JP5231978B2 - Image reading apparatus, image processing method and program, and image reading system - Google Patents
Image reading apparatus, image processing method and program, and image reading system Download PDFInfo
- Publication number
- JP5231978B2 JP5231978B2 JP2008330925A JP2008330925A JP5231978B2 JP 5231978 B2 JP5231978 B2 JP 5231978B2 JP 2008330925 A JP2008330925 A JP 2008330925A JP 2008330925 A JP2008330925 A JP 2008330925A JP 5231978 B2 JP5231978 B2 JP 5231978B2
- Authority
- JP
- Japan
- Prior art keywords
- light emission
- image
- read
- document
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Description
本発明は、原稿を読み取る画像読取装置に関する。 The present invention relates to an image reading apparatus that reads a document.
一般に画像読取装置には、読み取った画像から原稿のサイズや傾きを検出する輪郭検出処理が搭載されている。例えば、イメージセンサに対向する位置に配置される対向面部材を黒色にし、読み取った画像から特定の閾値で白黒バイナリ画像を作成し、原稿領域(白)と、背景(対向面部材/黒)の変化箇所に基づいて輪郭を検出している。しかしながら、原稿縁が黒い原稿では、背景と原稿部分の境界位置が検出しにくい。この問題を回避するために、特許文献1に開示された画像読取装置では、対向面部材の色を反射率の高い色にしているが、原稿縁が十分明るい原稿においては背景と原稿部分の境界位置が検出しにくい。
In general, an image reading apparatus is equipped with a contour detection process for detecting the size and inclination of a document from a read image. For example, the facing surface member arranged at a position facing the image sensor is made black, a black and white binary image is created from the read image with a specific threshold, and the original area (white) and the background (facing surface member / black) The contour is detected based on the changed part. However, in a document with a black document edge, it is difficult to detect the boundary position between the background and the document part. In order to avoid this problem, in the image reading apparatus disclosed in
また、特にシートフィードスキャナにおいては、イメージセンサの対向面部材を白色にし、読み取った画像を副走査方向に1次微分または2次微分を行って微分情報を生成するものも提案されている。これは、原稿の上方エッジ及び下方エッジにおいては微分情報の変化が大きいので、その変化を検出することによって、原稿の境界を検出するものである。 In particular, a sheet feed scanner has been proposed in which the opposing surface member of the image sensor is white and the read image is subjected to primary differentiation or secondary differentiation in the sub-scanning direction to generate differential information. This is because the change in differential information is large at the upper edge and the lower edge of the document, and the boundary of the document is detected by detecting the change.
上記従来技術では、いずれも原稿濃度と背景濃度との差が少ない場合に輪郭検出精度が低下する。つまり、輪郭検出精度が原稿の色や明度に左右されるという問題がある。 In any of the above prior arts, the contour detection accuracy decreases when the difference between the document density and the background density is small. That is, there is a problem that the contour detection accuracy depends on the color and brightness of the document.
本発明の目的は、原稿の色や明度に左右されずに、原稿の輪郭検出精度を向上することにある。 SUMMARY OF THE INVENTION An object of the present invention is to improve document outline detection accuracy regardless of the color and brightness of the document.
本発明によれば、搬送路に沿って搬送される原稿の画像を読み取る画像読取装置において、原稿の搬送方向である副走査方向に互いに離間して配置された第1及び第2の発光部と、前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段と、を備え、前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くしたことを特徴とする画像読取装置が提供される。 According to the present invention, in an image reading apparatus that reads an image of a document that is transported along a transport path, the first and second light emitting units that are spaced apart from each other in the sub-scanning direction that is the transport direction of the document , A line image sensor disposed between the first light emitting unit and the second light emitting unit, and a first light emitting intensity of the first light emitting unit is stronger than a light emitting intensity of the second light emitting unit. And switching means for alternately switching between a light emitting state and a second light emitting state in which the light emission intensity of the second light emitting section is stronger than the light emission intensity of the first light emitting section . When the image of the document including the upper edge and the lower edge in the document conveyance direction is read while alternately switching between the light emission state and the second light emission state, the reading resolution in the sub-scanning direction is set to be higher than the output resolution. that the higher the Image reading apparatus is provided to symptoms.
また、本発明によれば、原稿の搬送方向である副走査方向に互いに離間して配置された第1及び第2の発光部と、前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段と、を備えた画像読取装置が読み取った画像の画像処理方法であって、前記第1の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの一方に相当する位置を検出する工程と、前記第2の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの他方に相当する位置を検出する工程と、を備え、前記画像読取装置は、前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くして前記原稿の画像を読み取ることを特徴とする画像処理方法が提供される。 In addition, according to the present invention, the first and second light emitting units, the first light emitting unit, and the second light emitting unit, which are spaced apart from each other in the sub-scanning direction that is the document transport direction, A line image sensor disposed therebetween, a first light emission state in which a light emission intensity of the first light emitting unit is higher than a light emission intensity of the second light emitting unit, and a light emission intensity of the second light emitting unit An image processing method for an image read by an image reading apparatus comprising: a switching unit that alternately switches between a second light emission state that is stronger than the light emission intensity of one light emitting unit, wherein the image reading apparatus reads in the first light emission state. Detecting a position corresponding to one of the upper edge and the lower edge based on a read image of only the line, and based on a read image of only the line read in the second light emitting state, Position corresponding to the other side of the lower edge Comprising a step of detecting, wherein the image reading apparatus, while switching alternately said second light emitting state and the first light-emitting state by the switching means, the upper edge and lower edge in the transport direction of the document In addition, when reading the image of the original, an image processing method is provided in which the image of the original is read with the reading resolution in the sub-scanning direction higher than the output resolution .
また、本発明によれば、原稿の搬送方向である副走査方向に互いに離間して配置された第1及び第2の発光部と、前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段と、を備えた画像読取装置が読み取った画像を処理するために、コンピュータを、前記第1の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの一方に相当する位置を検出する手段、前記第2の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの他方に相当する位置を検出する手段、として機能させるプログラムであり、前記画像読取装置は、前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くして前記原稿の画像を読み取ることを特徴とするプログラムが提供される。
また、本発明によれば、原稿の画像を読み取る画像読取装置と、前記画像読取装置に接続されて前記画像読取装置を制御する外部装置とを備えた画像読取システムにおいて、前記画像読取装置は、原稿の搬送方向である副走査方向に互いに離間して配置された第1及び第2の発光部と、前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段とを備え、前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くして前記原稿の画像を読み取る一方、前記外部装置は、前記画像読取装置を用いて読み取った読取画像に基づいて、該読取画像における、読取対象原稿の上方エッジ及び下方エッジに相当する位置を検出するエッジ検出手段を備えたことを特徴とする画像読取システムが提供される。
In addition, according to the present invention, the first and second light emitting units, the first light emitting unit, and the second light emitting unit, which are spaced apart from each other in the sub-scanning direction that is the document transport direction, A line image sensor disposed therebetween, a first light emission state in which a light emission intensity of the first light emitting unit is higher than a light emission intensity of the second light emitting unit, and a light emission intensity of the second light emitting unit In order to process an image read by an image reading apparatus having a second light emission state stronger than the light emission intensity of one light emitting unit, and a switching means for alternately switching, the computer is operated in the first light emission state. Means for detecting a position corresponding to one of the upper edge and the lower edge based on a read image of only the read line; based on a read image of only the line read in the second light emitting state; Equivalent to the other side of the lower edge A program for causing a position to function as a unit, for detecting the that, the image reading apparatus, while switching alternately said second light emitting state and the first light-emitting state by said switching means, in the transport direction of the document In reading the image of the document including the upper edge and the lower edge, a program is provided that reads the image of the document with the reading resolution in the sub-scanning direction higher than the output resolution .
According to the present invention, in the image reading system comprising an image reading device that reads an image of a document and an external device that is connected to the image reading device and controls the image reading device, the image reading device comprises: First and second light emitting units arranged apart from each other in the sub-scanning direction, which is the document transport direction, and a line image sensor arranged between the first light emitting unit and the second light emitting unit And a first light emitting state in which the light emission intensity of the first light emitting part is higher than the light emission intensity of the second light emitting part, and the light emission intensity of the second light emitting part is higher than the light emission intensity of the first light emitting part. Switching means for alternately switching between the strong second light emission state, and the upper edge in the document transport direction while alternately switching between the first light emission state and the second light emission state by the switching means. And lower edge included In reading the image of the original, the reading resolution in the sub-scanning direction is set higher than the output resolution, and the image of the original is read. On the other hand, the external device is based on the read image read using the image reading device. An image reading system comprising edge detection means for detecting positions corresponding to the upper edge and the lower edge of the document to be read in the read image is provided.
本発明によれば、原稿の色や明度に左右されずに、原稿の輪郭検出精度を向上することにある。 According to the present invention, it is possible to improve the accuracy of detecting the contour of a document regardless of the color and brightness of the document.
<第1実施形態>
図1は、本発明の一実施形態に係る画像読取装置100の模式図である。以下、画像読取装置100が備える各構成について説明する。原稿台102は、読取対象となる原稿である原稿101を積載収納する。原稿台102上の原稿は、給紙ローラ106によって一枚ずつ分離して搬送路108に送り出され、搬送ローラ107によって搬送路108に沿って搬送され、排出部103に排出される。排出部103は画像読取処理を終えた原稿101を積載収納する。
<First Embodiment>
FIG. 1 is a schematic diagram of an
レジストセンサ109は搬送路108上を搬送される原稿101を検出する。レジストセンサ109が原稿101を検出すると、画像読取ユニット104で原稿の読み取りを開始する。本実施形態の場合、画像読取ユニット104は2つ設けられており、一方が原稿101の表面を、他方が原稿101の裏面を読み取る。無論、画像読取ユニット104を1つ設けて、原稿101の片面のみを読み取る構成としてもよい。各画像読取ユニット104に対向する位置には、対向面部材である背景板105がそれぞれ設けられている。背景板105は、例えば、白色である。
The
図2は、画像読取ユニット104の構成説明図であり、図1の2つの画像読取ユニット104のうち、右側の画像読取ユニット104を示している。しかし、図1の左側の画像読取ユニット104も同様の構成である。
FIG. 2 is an explanatory diagram of the configuration of the
画像読取ユニット104は、筐体1041と、搬送路108に面して設けられたガラス板1042とによって、内部が密封されたユニットである。画像読取ユニット104の内部には、ラインイメージセンサ1043と、一対の発光部1044と、が設けられている。ラインイメージセンサ1043は原稿101の搬送方向と直交する方向(主走査方向)に延設され、主走査方向の1ライン分の画像を1度に読み取る。ラインイメージセンサ1043は、例えば、CCDラインセンサやコンタクトイメージセンサである。
The
一対の発光部1044は、原稿101の搬送方向(副走査方向)に互いに離間して配置されている。発光部1044の一方は、ラインイメージセンサ1043に対して原稿101の搬送方向で上流側に、他方は下流側に配置され、ラインイメージセンサ1043は、一対の発光部1044の間に、挟みこまれるようにして配置されている。一対の発光部1044は、それぞれ、ラインイメージセンサ1043と略平行に延設されており、例えば、複数のLEDからなるLEDアレイにより構成される。
The pair of
ラインイメージセンサ1043は、図2において破線矢印で示すように、発光部1044からの光が原稿101で反射した反射光を受光して原稿101上の画像を読み取る。また、図2において破線矢印で示すように、原稿101が存在しない場合、ラインイメージセンサ1043は背景板105で反射した反射光を受光することになる。
The
次に、画像読取装置100の制御系の構成について説明する。図3は、画像読取装置100の制御系のブロック図及び画像読取装置100に接続可能なPC(パソコン)200のブロック図である。
Next, the configuration of the control system of the
画像読取装置100は、制御部10を備える。制御部10は、CPU11と、ROM12と、RAM13と、入出力I/F(インターフェース)14と、通信I/F(インターフェース)15と、を備える。
The
CPU11は、ROM12に記憶されたプログラムを実行し、画像読取装置100全体の制御を行う。ROM12には、CPU11が実行するプログラムや固定的なデータが記憶される。RAM13には、ラインイメージセンサ1043が読み取った画像データや、CPU11の演算結果といった可変データが記憶される。ROM12及びRAM13は他の記憶手段でもよい。
The
入出力I/F14には以下の構成が接続され、CPU11とデータの入出力が行われる。駆動回路22は、給紙ローラ106、搬送ローラ107等を駆動するモータ21をCPU11の命令に従って駆動する。センサ23には、上述したレジストセンサ109や原稿101の搬送終了を検出する排出検出センサ等が含まれ、その検出結果をCPU11は取得することができる。
The following configuration is connected to the input / output I /
駆動回路24は、各画像読取ユニット104の一対の発光部1044をCPU11の命令に従って駆動する。一対の発光部1044はそれぞれ独立して駆動される。また、駆動回路24は、発光部1044の発光強度を可変であるもの(例えば、発光部1044への供給電力量を可変とするもの)である。
The
A/D変換器25及び画像処理回路26は、各画像読取ユニット104のラインイメージセンサ1043毎に設けられる。A/D変換器25はイメージセンサ1043が出力する、画像を示す信号をアナログ画像信号をデジタル画像信号に変換する。画像処理回路26はA/D変換器25が変換したデジタル画像信号に対して、シェーディング補正等の画像処理を行う。CPU11は、画像処理回路26から出力される画像信号を取得することができる。
The A /
通信I/F15には、PC200が接続可能であり、これによりCPU11はPC200と通信可能である。通信I/F15はネットワークに接続するためのインターフェースであってもよい。
PC200は一般的なパソコンであり、制御部210を備える。制御部210は、CPU211と、ROM212と、RAM213と、入出力I/F(インターフェース)214と、通信I/F(インターフェース)215と、HDD(ハードディスクドライブ)216と、を備える。
The
The
CPU211は、ROM212やHDD216に記憶されたプログラムを実行する。HDD216には例えば画像読取装置100用のドライバが記憶される。ROM212及びRAM213及びHDD216は他の記憶手段でもよい。入出力I/F214には、ディスプレイ221や、キーボード、マウスといった入力部222が接続される。通信I/F215は画像読取装置100が接続される。
The CPU 211 executes a program stored in the
次に、画像読取装置100が実行する処理について説明する。画像読取装置100は、例えば、PC200を介して、ユーザが読み取り開始を指示した場合に原稿101の読み取りを開始する。CPU11はまず給紙ローラ106を駆動して原稿101の搬送を開始する。レジストセンサ109によって原稿101が画像読取ユニット104に到達したことが検出されると、CPU11は、発光部1044の発光を開始すると共に、ラインイメージセンサ1043を駆動して原稿101の画像を読み取る。
Next, processing executed by the
ここで、本実施形態では、ラインイメージセンサ1043が原稿101の画像を読み取る際、一対の発光部1044の発光状態を切り替える。詳細には、一方の発光部1044の発光強度が他方の発光部1044発光部の発光強度より強い第1の発光状態と、他方の発光部1044の発光強度が一方の発光部1044の発光強度より強い第2の発光状態と、を、例えば奇数ラインの読取時と偶数ラインの読取時とで、交互に切り替える。
Here, in the present embodiment, when the
発光状態を切り替えることにより、本実施形態では、原稿101の上方エッジ近傍及び下方エッジ近傍に対応する読取画像中の領域に、はっきりとした影が映り込むようにする。これにより、読取画像中の原稿101の輪郭検出を容易化する。
By switching the light emission state, in this embodiment, a clear shadow is reflected in the area in the read image corresponding to the vicinity of the upper edge and the vicinity of the lower edge of the
図4(a)及び(b)は、発光部1044の発光状態の切り替えによる、線状の影の映りこみの説明図である。まず、図4(a)に示すように、原稿101が矢印方向にラインイメージセンサ1043に到達する場合、原稿101が到達するまではラインイメージセンサ1043は背景板105を読み取り、到達した後は原稿101を読み取ることになる。ラインイメージセンサ1043は原稿101が到達する際、図4(a)で右側の発光部1044の発光強度が強い場合、右側の発光部1044からの光が原稿101で遮られて背景板105上に生じる影を読み取ることになる。なお、同図左側の発光部1044の発光強度が強い場合は、影が生じない。これにより、読取画像中の、原稿101の上方エッジに相当する部分に、例えば奇数ラインと偶数ラインのどちらかには原稿の影を映り込ませることができる。
FIGS. 4A and 4B are explanatory diagrams of reflection of a linear shadow due to switching of the light emission state of the
次に、図4(b)に示すように、原稿101が矢印方向にラインイメージセンサ1043を通過する場合、原稿101が通過するまではラインイメージセンサ1043は原稿101を読み取り、通過した後は背景板105を読み取ることになる。ラインイメージセンサ1043は原稿101が通過する際、図4(b)で左側の発光部1044の発光強度が強い場合、左側の発光部1044からの光が原稿101で遮られて背景板105上に生じる影を読み取ることになる。なお、同図右側の発光部1044の発光強度が強い場合は、影が生じない。これにより、読取画像中の、原稿101の下方エッジに相当する部分に、例えば奇数ラインと偶数ラインのどちらかには原稿の影を映り込ませることができる。
Next, as shown in FIG. 4B, when the
影の映り込みをよくするためには、一方の発光部1044の発光強度の強弱の差は大きい方が好ましく、例えば、一対の発光部1044のうち、一方を点灯、他方を消灯、としてもよい。また、第1の発光状態と第2の発光状態とで、一対の発光部1044のトータルの発光強度は一定であることが望ましい。例えば、第1の発光状態における一対の発光部1044のの発光強度の比を2:1(=合計3)とすると、第2の発光状態における一対の発光部1044のの発光強度の比を1:2(=合計3)とすることが望ましい。
In order to improve the reflection of shadows, it is preferable that the difference in intensity of light emission of one
また、影がより確実に映り込むように、或いは、より正確に検出できるようにするため、副走査方向の読取解像度は、出力解像度よりも高いことが好ましく、例えば、出力解像度の2倍の解像度であることが好ましい。出力解像度には、PC200へ出力する解像度、或いは、ユーザが画像の解像度として設定した解像度等、最終的な読取画像ファイルの解像度である。副走査方向の読取解像度の変更は、例えば、原稿101の送り速度を変更することで変更できる。出力解像度よりも高い解像度で読み取った画像は、後述する輪郭検出等を終えた後に、周知の倍率変換処理によって解像度を変換して出力解像度に合わせればよい。なお、主走査方向の読取解像度も、出力解像度よりも高くしてもよいが、データ量増大抑制等の観点から等倍であることが好ましい。
Also, in order to make shadows appear more reliably or to be detected more accurately, the reading resolution in the sub-scanning direction is preferably higher than the output resolution, for example, twice the output resolution. It is preferable that The output resolution is the resolution of the final read image file such as the resolution output to the
原稿101の輪郭検出を容易化するためには、第1及び第2の発光状態の切り替えは、予め定めたライン数毎であることが好ましい。複数ライン数毎に切り替えてもよいが、本実施形態では1ライン毎に切り替える。1ライン毎に切り替えることで、原稿101の上方及び下方エッジの検出精度が向上する。
In order to facilitate the detection of the outline of the
図5はCPU11が実行する照明切替制御の例を示すフローチャートである。この照明切替制御は、原稿101の読取動作中における発光部1044の駆動制御である。S1では、読取ライン数を示すパラメータkの値を1(1ライン目)とする。S2では、kの値が奇数か否かを判定する。該当する場合はS3へ進み、該当しない場合はS4へ進む。S3では第1発光状態で一対の発光部1044を駆動し、S4では第2発光状態で一対の発光部1044を駆動する。
FIG. 5 is a flowchart illustrating an example of illumination switching control executed by the
S5では、ラインイメージセンサ1043による一回の読み取り(1ラインの読み取り)が完了したか否かを判定する。該当する場合はS6へ進み、該当しない場合は待ちとなる。S6ではkの値を1つ加算する。S7ではkの値が予め定めた値Nに達したか否かを判定する。Nは読み取る原稿101のサイズに応じて設定される全ライン数である。達した場合は一単位の処理を終了し、達していない場合はS2へ戻って同様の処理を繰り返す。
In S5, it is determined whether or not one reading (one line reading) by the
図6は、照明切替制御を行った場合の原稿101の例とその読取画像IMGの例を示す。読取画像IMGにおいて、原稿101の上方エッジ及び下方エッジには、読み取られた複数本のラインに影の画像SHが映り込んでいる。よって、この影の画像SHを検出することで、読取画像IMGにおける原稿101の上方エッジ及び下方エッジを検出でき、ひいて原稿101の輪郭を検出できる。影の領域の広さ(副走査方向の長さ)は、ラインイメージセンサ1043、発光部1044、搬送路108を移動する原稿の位置、背景板105の位置関係から、幾何学的に求めることができる。よって、影の開始端、終了端を検出できれば、影と原稿画像との境界を検出できなくても、上方エッジ、下方エッジを特定できる。
FIG. 6 shows an example of the
このように本実施形態では、原稿の読取中、一対の発光部1044の発光状態を切り替えることで、原稿101の上方エッジ及び下方エッジを検出でき、ひいて原稿101の輪郭を検出できる。発光部1044の発光切り替えによる影を利用することで、原稿の色や明度に左右されずに原稿の輪郭検出精度を向上することができる。
As described above, in the present embodiment, the upper edge and the lower edge of the
次に、読取画像IMGから原稿101の上方エッジ及び下方エッジに相当する位置を検出し、原稿101の輪郭を検出する処理の例について説明する。この処理は、画像読取装置100側で行なってもよいし、PC200側で行なってもよい。本実施形態では、読取画像IMGを、奇数ラインの画像と偶数ラインの画像に分けた後、原稿101の上方エッジ及び下方エッジに相当する位置を検出する。
Next, an example of processing for detecting the positions corresponding to the upper and lower edges of the
図7(a)及び(b)は、読取画像IMGの奇数ラインの画像と偶数ラインの画像とを示す。本実施形態では1ライン毎に発光状態を切り替えるため、奇数ライン及び偶数ラインと発光状態との関係により、一方の画像は上方エッジに影の画像SHが映り込んだ画像となり、他方の画像は下方エッジに影の画像SHが映り込んだ画像となる。 FIGS. 7A and 7B show an odd line image and an even line image of the read image IMG. In the present embodiment, since the light emission state is switched for each line, one image becomes an image in which a shadow image SH is reflected on the upper edge, and the other image is lower, depending on the relationship between the odd line and even line and the light emission state. The shadow image SH is reflected on the edge.
図8(a)は図7(a)の線L1における明度と位置との関係を示す濃度グラフである。影が映り込んだ部分においては明度が暗いため、その範囲を特定でき、原稿101のエッジの読取画像IMG上の位置をより正確に特定できる。
FIG. 8A is a density graph showing the relationship between brightness and position on the line L1 in FIG. Since the brightness is dark in the portion where the shadow is reflected, the range can be specified, and the position of the edge of the
図8(b)も図8(a)と同様に濃度グラフを表しているが、グラフには白紙等表面が明るい原稿(明原稿)と、表面の暗い原稿(暗原稿)の両方の読取画像の濃度グラフを示している。図8(b)は、また、図9(b)を参照して後述する処理のいくつかのパラメータを示している。閾値thは、明度の暗い領域であるか否かを判定する予め定められた固定値である。長さhは、読取画像に映り込む影の長さを示し、ラインイメージセンサ1043、発光部1044、搬送路108を移動する原稿の位置、背景板105の位置関係から、幾何学的に求まる値である。pix(y)は、位置:yにおける画像明度である。
FIG. 8B also shows a density graph in the same manner as FIG. 8A. The graph shows both scanned images of a document with a bright surface (bright document) and a document with a dark surface (dark document), such as blank paper. The density | concentration graph of is shown. FIG. 8B also shows some parameters of the processing described later with reference to FIG. 9B. The threshold th is a predetermined fixed value for determining whether or not the area is dark. The length h indicates the length of the shadow reflected in the read image, and is a value obtained geometrically from the positional relationship between the
図9(a)は、読取画像IMGに対する画像処理の例を示すフローチャートである。S11では、原稿101の上方及び下方のエッジ検出処理を行い、S12では原稿101の輪郭検出処理を行なう。図9(b)はS11のエッジ検出処理の例を示すフローチャートである。
FIG. 9A is a flowchart illustrating an example of image processing for the read image IMG. In S11, the upper and lower edge detection processing of the
図9(b)のフローチャートは、奇数ラインの読取画像IMG又偶数ラインの読取画像IMGのうち、上方エッジ近傍に影が映り込んだ方の読取画像IMGを副走査方向に走査して、原稿101の上方エッジを検出する処理である。ここでは、上方エッジの検出について説明するが、下方エッジの検出についても同様である。なお、以下の説明において列とは、副走査方向の一連の画素を意味する。 In the flowchart of FIG. 9B, the scanned image IMG that has a shadow in the vicinity of the upper edge of the scanned image IMG of the odd lines or the scanned images of the even lines is scanned in the sub-scanning direction. This is a process for detecting the upper edge of. Here, the detection of the upper edge will be described, but the same applies to the detection of the lower edge. In the following description, a column means a series of pixels in the sub-scanning direction.
S21で初期化を行う。ここでは、演算に使用するパラメータy、edge、shadowを初期化する。yは副走査方向の画素位置、edgeは検出された原稿上方エッジ位置である。初期値として、y=0、edge=-1、shadow=-1を設定する。edgeの値が-1のときは、処理中の列にエッジが無かったということとしている。shadowは影の上端位置を示す。 Initialization is performed in S21. Here, the parameters y, edge, and shadow used for the calculation are initialized. y is the pixel position in the sub-scanning direction, and edge is the detected document upper edge position. As initial values, set y = 0, edge = -1, and shadow = -1. When the value of edge is −1, it means that there is no edge in the column being processed. shadow indicates the top position of the shadow.
以下に述べる処理を副走査方向の1画素ずつずらして行うために、S22からS24でループ処理を形成している。S22では、yの値が読取画像の高さ(総奇数ライン数又は総偶数ライン数)に達したか否かを判定し、達していない場合はS23へ進み、達している場合は一単位の処理を終了する。 In order to perform the process described below by shifting one pixel at a time in the sub-scanning direction, a loop process is formed from S22 to S24. In S22, it is determined whether or not the value of y has reached the height of the read image (total number of odd lines or total number of even lines). If not, the process proceeds to S23. The process ends.
S23では、pix(y)の値が閾値thより大きいか(明るいか)否かを判定する。該当する場合はS24へ進み、該当しない場合はS25へ進む。S24ではyを一つ加算してS22へ戻る。 In S23, it is determined whether or not the value of pix (y) is greater than the threshold value th (whether bright). If applicable, the process proceeds to S24, and if not, the process proceeds to S25. In S24, y is incremented by one and the process returns to S22.
pix(y)は上記の通り、y位置における画像明度(明るいほど大きい値)であり、pix(y)が明るいときを背景画像であると判断し、ループ処理を続ける。pix(y)がth以下となったとき(図8(b)の位置P)、影の上端を検出したと判断し、S25で影の上端位置shadowに、現在のyの値を記憶する。また、S26以下では影の後端すなわち原稿101の上方エッジを検出する処理を行うが、黒い原稿等で原稿上方エッジが見つけられなかったときのために、S26では原稿上方エッジ位置edgeにはshadow+hを記憶しておく。
As described above, pix (y) is the brightness of the image at the y position (a value that increases as it becomes brighter). When pix (y) is equal to or less than th (position P in FIG. 8B), it is determined that the upper end of the shadow has been detected, and the current y value is stored in the upper end position shadow of shadow in S25. In S26 and subsequent steps, processing for detecting the trailing edge of the shadow, that is, the upper edge of the
S26乃至S28は、S27の処理を副走査方向の1画素ずつずらして行うためのループ処理を形成しており、読取画像の高さ(総奇数ライン数又は総偶数ライン数)とshadow+hのいずれか小さいほうまで処理を行うようになっている。S27でpix(y)がthを上回ったとき、yが原稿の上方エッジに達したと判断して(図8の位置Q)、S29に移る。pix(y)がth以下の場合はS28へ進み、yを一つ加算してS26へ戻る。S29では上方エッジ位置をedgeに記憶して終了する。 S26 to S28 form a loop process for shifting the process of S27 pixel by pixel in the sub-scanning direction. The height of the read image (total number of odd lines or total number of even lines) and shadow + h Processing is performed up to the smaller one. When pix (y) exceeds th in S27, it is determined that y has reached the upper edge of the document (position Q in FIG. 8), and the process proceeds to S29. If pix (y) is less than or equal to th, the process proceeds to S28, one y is added, and the process returns to S26. In S29, the upper edge position is stored in edge and the process ends.
読取対象原稿が図8(b)に示すように明原稿であれば、上方エッジにて略確実にS27の判定がyesとなるが、暗原稿の場合はS27の判定がnoとなる場合が生じ得る。暗原稿の場合、S29の処理を行わずにループ処理を終了してしまうため、edgeの値はshadow+hのまま終了することになる。つまり、明原稿の場合は原稿の上方エッジを検出し、暗原稿の場合は影上端からの長さhでエッジ位置を算出することにより、原稿101の明るさによらず上方エッジの位置を特定することが出来る。なお、下方エッジを検出する場合、影下端から上方への長さhで下方エッジを検出することになる。こうして、原稿の色や明度に左右されずに原稿のエッジ位置の検出精度を向上することができる。 If the original to be read is a bright original as shown in FIG. 8B, the determination in S27 is almost certainly positive at the upper edge, but in the case of a dark original, the determination in S27 may be no. obtain. In the case of a dark original, since the loop process is terminated without performing the process of S29, the value of edge is terminated with shadow + h. In other words, the upper edge of the original is detected in the case of a bright original, and the position of the upper edge is specified regardless of the brightness of the original 101 by calculating the edge position with the length h from the top of the shadow in the case of a dark original. I can do it. When detecting the lower edge, the lower edge is detected with a length h upward from the lower end of the shadow. Thus, the detection accuracy of the edge position of the document can be improved without being influenced by the color or brightness of the document.
以上のようなエッジ検出処理をすべての列で行い、かつ、奇数ラインの読取画像及び偶数ラインの読取画像の双方に行なうことで、図10(a)及び(b)に示すようにedge位置の集合を得ることが出来る。図10(a)及び(b)は原稿101が斜行して読み取られた場合の図であり、このようなそれぞれ2辺ずつの輪郭を得ることが出来る。
The edge detection process as described above is performed on all the columns, and is performed on both the read image of the odd line and the read image of the even line, so that the edge position is detected as shown in FIGS. 10 (a) and 10 (b). You can get a set. FIGS. 10A and 10B are diagrams when the
S12の輪郭検出処理では、図10(a)及び(b)のedge位置の集合を合わせることで作ることができる。edge位置の集合の端部からお互いの端部への補助線を引くことで、図10(c)のように原稿全体の輪郭を得ることが出来る。斜行せずに読み取られた原稿101からは、上方及び下方のエッジの位置を示す2辺のみが得られるが、同様に補助線を引くことで原稿全体の輪郭情報を得ることができる。 In the contour detection process of S12, it can be created by combining the set of edge positions shown in FIGS. 10 (a) and 10 (b). By drawing an auxiliary line from the end of the set of edge positions to each other, the outline of the entire document can be obtained as shown in FIG. Only two sides indicating the positions of the upper and lower edges are obtained from the original 101 read without being skewed. Similarly, outline information of the entire original can be obtained by drawing auxiliary lines.
なお、輪郭検出処理は、周知の原稿サイズ検出処理と組み合わせて使用してもよく、輪郭が残る最小の領域を切り出すことで実現することが出来る。また、輪郭検出処理は、周知の傾き検出処理と組み合わせて使用してもよく、輪郭から傾きを算出して、傾きの大きい場合にユーザに警告を出してもよい。また、原稿画像を正立させるように回転処理を施してもよい。 Note that the contour detection process may be used in combination with a well-known document size detection process, and can be realized by cutting out the minimum region where the contour remains. Further, the contour detection process may be used in combination with a well-known tilt detection process, or the tilt may be calculated from the contour and a warning may be given to the user when the tilt is large. Further, a rotation process may be performed so that the document image is erected.
また、上記の画像処理の一部又は全てを、画像読取装置100に接続されたPC200等の外部装置で行ってもよい。この場合、画像読取装置100と外部装置を含むシステムが本発明の画像読取装置に相当する。
Further, part or all of the image processing may be performed by an external device such as the
100 画像読取装置
1043 ラインイメージセンサ
1044 発光部
100
Claims (9)
原稿の搬送方向である副走査方向に互いに離間して配置された第1及び第2の発光部と、
前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、
前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段と、を備え、
前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くしたことを特徴とする画像読取装置。 In an image reading apparatus that reads an image of a document conveyed along a conveyance path,
A first and a second light emitting unit that are spaced apart from each other in the sub-scanning direction, which is the document transport direction ;
A line image sensor disposed between the first light emitting unit and the second light emitting unit;
A first light emission state in which the light emission intensity of the first light emission part is higher than the light emission intensity of the second light emission part, and a light emission intensity of the second light emission part is stronger than the light emission intensity of the first light emission part. Switching means for alternately switching between the two light emitting states ,
When the image of the document including the upper edge and the lower edge in the document conveyance direction is read while alternately switching the first light emission state and the second light emission state by the switching unit, An image reading apparatus characterized in that the reading resolution is higher than the output resolution .
前記エッジ検出手段は、
前記第1の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの一方に相当する位置を検出し、
前記第2の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの他方に相当する位置を検出することを特徴とする請求項2又は3に記載の画像読取装置。 Edge detection means for detecting positions corresponding to the upper edge and the lower edge of the document to be read in the read image based on the read image read using the line image sensor;
The edge detection means includes
Detecting a position corresponding to one of the upper edge and the lower edge based on the read image of only the line read in the first light emission state;
The image reading apparatus according to claim 2, wherein a position corresponding to the other of the upper edge and the lower edge is detected based on a read image of only a line read in the second light emission state.
前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、
前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段と、
を備えた画像読取装置が読み取った画像の画像処理方法であって、
前記第1の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの一方に相当する位置を検出する工程と、
前記第2の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの他方に相当する位置を検出する工程と、
を備え、
前記画像読取装置は、前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くして前記原稿の画像を読み取ることを特徴とする画像処理方法。 A first and a second light emitting unit that are spaced apart from each other in the sub-scanning direction, which is the document transport direction ;
A line image sensor disposed between the first light emitting unit and the second light emitting unit;
A first light emission state in which the light emission intensity of the first light emission part is higher than the light emission intensity of the second light emission part, and a light emission intensity of the second light emission part is stronger than the light emission intensity of the first light emission part. Switching means for alternately switching between the two light emission states;
An image processing method for an image read by an image reading apparatus comprising:
Detecting a position corresponding to one of the upper edge and the lower edge based on a read image of only the line read in the first light emission state;
Detecting a position corresponding to the other of the upper edge and the lower edge based on a read image of only the line read in the second light emission state;
Equipped with a,
The image reading device reads an image of the document including an upper edge and a lower edge in the document transport direction while alternately switching between the first light emission state and the second light emission state by the switching unit. In this case , the image processing method is characterized in that the image of the original is read with the reading resolution in the sub-scanning direction higher than the output resolution .
前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、
前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段と、
を備えた画像読取装置が読み取った画像を処理するために、コンピュータを、
前記第1の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの一方に相当する位置を検出する手段、
前記第2の発光状態で読み取ったラインのみの読取画像に基づいて、前記上方エッジ及び下方エッジの他方に相当する位置を検出する手段、
として機能させるプログラムであり、
前記画像読取装置は、前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くして前記原稿の画像を読み取ることを特徴とするプログラム。 A first and a second light emitting unit that are spaced apart from each other in the sub-scanning direction, which is the document transport direction ;
A line image sensor disposed between the first light emitting unit and the second light emitting unit;
A first light emission state in which the light emission intensity of the first light emission part is higher than the light emission intensity of the second light emission part, and a light emission intensity of the second light emission part is stronger than the light emission intensity of the first light emission part. Switching means for alternately switching between the two light emission states;
In order to process an image read by an image reading apparatus comprising:
Means for detecting a position corresponding to one of the upper edge and the lower edge based on a read image of only the line read in the first light emission state;
Means for detecting a position corresponding to the other of the upper edge and the lower edge based on a read image of only the line read in the second light emission state;
Is a program that functions as
The image reading device reads an image of the document including an upper edge and a lower edge in the document transport direction while alternately switching between the first light emission state and the second light emission state by the switching unit. In this case, the program reads the image of the original with the reading resolution in the sub-scanning direction higher than the output resolution .
前記画像読取装置は、The image reading device includes:
原稿の搬送方向である副走査方向に互いに離間して配置された第1及び第2の発光部と、A first and a second light emitting unit that are spaced apart from each other in the sub-scanning direction, which is the document transport direction;
前記第1の発光部と前記第2の発光部との間に配置されたラインイメージセンサと、A line image sensor disposed between the first light emitting unit and the second light emitting unit;
前記第1の発光部の発光強度が前記第2の発光部の発光強度より強い第1の発光状態と、前記第2の発光部の発光強度が前記第1の発光部の発光強度より強い第2の発光状態と、を交互に切り替える切替手段とを備え、A first light emission state in which the light emission intensity of the first light emission part is higher than the light emission intensity of the second light emission part, and a light emission intensity of the second light emission part is stronger than the light emission intensity of the first light emission part. Switching means for alternately switching between two light emitting states,
前記切替手段によって前記第1の発光状態と前記第2の発光状態とを交互に切り替えながら、前記原稿の搬送方向における上方エッジ及び下方エッジを含めて前記原稿の画像を読み取るにあたり、副走査方向の読取解像度を出力解像度よりも高くして前記原稿の画像を読み取る一方、When the image of the document including the upper edge and the lower edge in the document conveyance direction is read while alternately switching the first light emission state and the second light emission state by the switching unit, While reading the image of the document with a reading resolution higher than the output resolution,
前記外部装置は、前記画像読取装置を用いて読み取った読取画像に基づいて、該読取画像における、読取対象原稿の上方エッジ及び下方エッジに相当する位置を検出するエッジ検出手段を備えたことを特徴とする画像読取システム。The external device includes edge detection means for detecting positions corresponding to the upper edge and the lower edge of the document to be read in the read image based on the read image read by the image reading device. An image reading system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008330925A JP5231978B2 (en) | 2008-12-25 | 2008-12-25 | Image reading apparatus, image processing method and program, and image reading system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008330925A JP5231978B2 (en) | 2008-12-25 | 2008-12-25 | Image reading apparatus, image processing method and program, and image reading system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010154305A JP2010154305A (en) | 2010-07-08 |
JP5231978B2 true JP5231978B2 (en) | 2013-07-10 |
Family
ID=42572839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008330925A Active JP5231978B2 (en) | 2008-12-25 | 2008-12-25 | Image reading apparatus, image processing method and program, and image reading system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5231978B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5865113B2 (en) * | 2012-02-20 | 2016-02-17 | 株式会社Pfu | Image processing apparatus, image processing system, image processing method, and image processing program |
JP5995620B2 (en) * | 2012-09-10 | 2016-09-21 | 理想科学工業株式会社 | Image forming apparatus |
JP2023042893A (en) | 2021-09-15 | 2023-03-28 | 株式会社リコー | Image processing apparatus, reading system, image formation system and feature amount detection method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0543083A (en) * | 1991-08-15 | 1993-02-23 | Ricoh Co Ltd | Document carrying control method for image reader |
JPH05145710A (en) * | 1991-11-18 | 1993-06-11 | Sharp Corp | Copying machine |
JPH0795363A (en) * | 1993-09-21 | 1995-04-07 | Canon Inc | Picture reader |
JP2001285585A (en) * | 2000-03-29 | 2001-10-12 | Konica Corp | Image reader, original size sensing method and image- forming device |
JP2003244403A (en) * | 2002-02-14 | 2003-08-29 | Sharp Corp | Original size detecting method and image reader |
JP2004246164A (en) * | 2003-02-14 | 2004-09-02 | Canon Inc | Image forming apparatus |
JP2004328154A (en) * | 2003-04-22 | 2004-11-18 | Sharp Corp | Original reading apparatus and original reading method |
JP2005115417A (en) * | 2003-10-02 | 2005-04-28 | Canon Inc | Image reading processor, image reading processing method, program, and storage medium |
JP2008017067A (en) * | 2006-07-05 | 2008-01-24 | Pfu Ltd | Paper edge detector |
-
2008
- 2008-12-25 JP JP2008330925A patent/JP5231978B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010154305A (en) | 2010-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4482898B2 (en) | Image processing apparatus and image reading apparatus | |
US20090268264A1 (en) | Image processing apparatus, image scanning apparatus, and image processing method | |
US8908235B2 (en) | Image reading apparatus | |
JP5556391B2 (en) | Image reading device | |
JP5783418B2 (en) | Image processing device | |
JP2009212815A (en) | Image processor, original document scanning apparatus, test chart and color/monochrome determining method | |
JP2018207398A (en) | Image reading apparatus, and control method and program thereof | |
JP5231978B2 (en) | Image reading apparatus, image processing method and program, and image reading system | |
JP6471423B2 (en) | Reader and program | |
JP4947314B2 (en) | Image processing apparatus, image reading apparatus, image processing method, and image processing program | |
JP5180054B2 (en) | Image reading apparatus, image reading system, and contour detection method | |
JP2008227625A (en) | Image processor, image processing method, image processing program and recording medium | |
US8121441B2 (en) | Image processing apparatus, image scanning apparatus, image processing method, and image processing program | |
JP2016066836A (en) | Image reading apparatus, control method of the same, and program | |
JP2013098720A (en) | Image reader | |
CN101610340B (en) | Image processing method and image processing apparatus | |
JP2006197445A (en) | Image processor | |
JP2006140902A (en) | Image reading apparatus | |
US11196898B2 (en) | Image reading apparatus, method of controlling image reading apparatus, and storage medium | |
JP6135190B2 (en) | Image reading device | |
JP2016116128A (en) | Image processing system and method for the same | |
JP2006005834A (en) | Double-sided image reader | |
JP2014003397A (en) | Image reader, image processing method and program | |
JP5935687B2 (en) | Image reading device | |
JP2018125766A (en) | Image reading apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130322 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5231978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |