JP7153424B2 - スキャナー、スキャンプログラムおよびスキャンデータの生産方法 - Google Patents

スキャナー、スキャンプログラムおよびスキャンデータの生産方法 Download PDF

Info

Publication number
JP7153424B2
JP7153424B2 JP2017009167A JP2017009167A JP7153424B2 JP 7153424 B2 JP7153424 B2 JP 7153424B2 JP 2017009167 A JP2017009167 A JP 2017009167A JP 2017009167 A JP2017009167 A JP 2017009167A JP 7153424 B2 JP7153424 B2 JP 7153424B2
Authority
JP
Japan
Prior art keywords
image
scanning direction
read
document
main scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017009167A
Other languages
English (en)
Other versions
JP2018121100A (ja
Inventor
喜代治 百瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017009167A priority Critical patent/JP7153424B2/ja
Priority to CN201711460325.8A priority patent/CN108347541B/zh
Priority to US15/859,921 priority patent/US10659653B2/en
Priority to EP18153019.7A priority patent/EP3352443B1/en
Publication of JP2018121100A publication Critical patent/JP2018121100A/ja
Priority to JP2022074406A priority patent/JP2022105122A/ja
Application granted granted Critical
Publication of JP7153424B2 publication Critical patent/JP7153424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00029Diagnosis, i.e. identifying a problem by comparison with a normal state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00798Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00819Self-calibrating reading means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02805Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a two-dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H04N1/1932Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays using an array of elements displaced from one another in the sub scan direction, e.g. a diagonally arranged array
    • H04N1/1933Staggered element arrays, e.g. arrays with elements arranged in a zigzag
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/1903Arrangements for enabling electronic abutment of lines or areas independently scanned by different elements of an array or by different arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0081Image reader

Description

本発明は、スキャナー、スキャンプログラムおよびスキャンデータの生産方法
に関する。
従来、複数のラインセンサーを使って原稿をスキャンし、各ラインセンサーが検知した出力を合成してスキャンデータを生成する技術が知られている。例えば、特許文献1や特許文献2に開示された技術おいては、複数のラインセンサーで重複した領域を読み取り、読み取り結果を合成することでスキャンデータが生成される。
特許4864021号公報 米国特許8345325号
上述した従来技術においては、原稿が原稿台から浮くなど、原稿が基準の読取位置から変位すると、複数のラインセンサーで重複して読み取られた領域の画像を正確に合成できない場合があった。
本発明は、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることを目的とする。
上記目的を達成するためのスキャナーは、第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーであって、第1センサー列と第2センサー列とは、読取領域が一部重複し、主走査方向に非平行かつ非垂直である直線を第1センサー列と第2センサー列とで重複して読み取った場合に、非直線の画像として合成する合成部を備える。この構成によれば、主走査方向に非平行かつ非垂直である直線が非直線になるものの、当該直線の分離などの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。
さらに、主走査方向に非平行かつ非垂直である直線が読み取られて合成された場合の非直線の画像は、両端部と、両端部の角度よりも主走査方向に近い角度である中央部とを有する構成であっても良い。この構成によれば、当該直線の分離などの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。
さらに、第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーにおいて、第1センサー列と第2センサー列とは、読取領域が一部重複し、原稿上の直線を第1センサー列と第2センサー列とで読み取った場合に、原稿が第1位置にある第1の場合と、原稿が第1位置から離れた第2位置にある第2の場合と、で同じ幅の画像として合成する合成部を備え、第1位置と第2位置とは、直線を検出する素子が1素子以上ずれる距離である構成であっても良い。この構成によれば、線の幅の増減などの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。
さらに、第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーであって、第1センサー列と第2センサー列とは、読取領域が一部重複し、第1センサー列と第2センサー列との読み取り結果が少なくとも4画素分、主走査方向にずれた場合であって、主走査方向に非平行かつ非垂直である直線を主走査方向の幅が2画素の画像として第1センサー列と第2センサー列とで読み取った場合に、直線を1本の線の画像として合成する合成部を備える構成であっても良い。この構成によれば、直線が非連続になるなどの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。
さらに、第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーであって、第1センサー列と第2センサー列とは、読取領域が一部重複し、第1センサー列と第2センサー列との読み取り結果が少なくとも4画素分、主走査方向にずれた場合であって、主走査方向に垂直である直線を主走査方向の幅が2画素の画像として読み取った場合に、直線を1本の線の画像として合成する合成部を備える構成であっても良い。この構成であれば、直線の分離などの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。
スキャナーのブロック図である。 スキャナーの副走査装置の周辺の構造を示す図である。 スキャナーの光学部の構成例を示す図である。 光学部による縮小を模式的に示す図である。 読み取り結果の合成を示す図である。 重複領域の説明図である。 第1読取画像および第2読取画像の説明図である。 混合の説明図である。 原稿の変位の影響を説明する説明図である。 基準読取位置からの変位が生じた状態での第1読取画像および第2読取画像の説明図である。 基準読取位置からの変位が生じた状態での混合の説明図である。 変形の説明図である。 文字を変形させた例を説明する説明図である。 スキャン処理のフローチャートである。 ずれ量算出処理のフローチャートである。 ずれ量算出における移動を示す図である。 移動後の差分の最小化を示す図である。 変形処理のフローチャートである。 変形の説明図である。 変形の説明図である。 補正処理のフローチャートである。 原稿の例を示す図である。 変形および混合を行わない場合のスキャンデータの例を示す図である。 混合を行った場合のスキャンデータの例を示す図である。 変形および混合を行った場合のスキャンデータの例を示す図である。 変形および混合を行った場合のスキャンデータの例を示す図である。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)スキャナーの構成:
(2)出力の合成:
(3)スキャン処理:
(4)ずれ量算出処理:
(5)変形処理:
(6)補正処理:
(7)例:
(8)他の実施形態:
(1)スキャナーの構成:
図1は、本発明の一実施例にかかるスキャナー1のブロック図である。スキャナー1は、コントローラー10と通信部70と操作部80と読取部(光源31、センサー21、副走査装置41、光学部61)を備える。コントローラー10は、図示しない記録媒体と、当該記録媒体からプログラムを読み出して実行するプロセッサー(特定の処理を実行するように回路が構成されたASIC等の専用回路であってもよいし、ASIC等とCPUとが協働していてもよいし、CPUであってもよい)を備える。
コントローラー10は合成部11と取得部12と補正部13とを備えており、スキャナー1の各部を制御し、合成部11の処理によって原稿を読み取り、取得部12および補正部13の処理によって読み取り結果を補正してスキャンデータを生成する。操作部80は、利用者に対して種々の情報を提供する出力部と、利用者による入力操作を受け付ける入力部とを備えている。コントローラー10は、操作部80を制御して読取条件の選択やスキャン開始指示等を行うための情報を出力部に表示させる。利用者は、当該出力部の出力に基づいて読取条件の選択やスキャン開始指示等を入力することができる。
スキャン開始指示が入力されると、合成部11は、スキャナー1の各部を制御し、原稿を読み取るための動作(例えば、原稿の搬送等)を行わせる。この動作により、ラインセンサーから読み取り結果が出力されると、合成部11が読み取り結果を合成し、取得部12および補正部13が読み取り結果を補正してスキャンデータを生成する。
通信部70は、外部の装置(本実施形態においては、外部のコンピューター90)と通信を行うための装置であり、コントローラー10は、任意の情報をコンピューター90に送信し、コンピューター90から各種の指示等を受け取ることができる。本実施形態において、コントローラー10の補正部13がスキャンデータを生成すると、補正部13が通信部70を介してスキャンデータをコンピューター90に送信する。むろん、スキャンデータは、種々の態様で利用されてよく、スキャナー1が備える図示しない記録媒体に保存されてもよいし、可搬型の記録媒体に保存されてもよいし、通信部70を介してコンピューター90以外の装置に提供されてもよい。
本実施形態にかかるスキャナー1は原稿台を備えており、平面の原稿台に乗せられた原稿が読み取られる。従って、本実施形態において、原稿は、通常、原稿台上面(原稿を載せる面)の位置で読み取られる。本実施形態においては、当該原稿台上面を基準読み取り位置と呼ぶ。原稿台の原稿は、センサー21,光源31,副走査装置41,光学部61を備える読取部によって読み取られる。
図2は、原稿台50と読取部Uとをカバー51と模式的に示す図である。同図に示すX軸は副走査方向、Z軸は原稿台50に垂直な方向を示しており、この図においてはX軸およびZ軸に垂直な方向が主走査方向である。スキャナー1にはヒンジによって開閉可能なカバー51が取り付けられている。原稿台50に原稿が無い状態でカバー51を閉じるとカバー51の裏面に設けられた白基準板W,黒基準板B,合成マーク板Mと原稿台50とが接触する。従って、原稿台に原稿が無い状態でカバー51が閉じられると白基準板W,黒基準板B,合成マーク板Mの読み取りを行うことができる。
白基準板W,黒基準板B,合成マーク板Mは読み取り範囲内で任意の位置に配置可能であるが、本実施形態においては、白基準板W、黒基準板B、合成マーク板Mは原稿と重ならない位置に配置されている。すなわち、本実施形態においては、原稿台50の一方の端(X軸負方向)に原稿を合わせて配置するように構成されており、原稿を原稿台50に配置してカバー51を閉じた場合に原稿と、白基準板W、黒基準板B、合成マーク板Mとが接触しないような位置に配置してある。このため、原稿の読み取り前に、必要に応じて白基準板W、黒基準板B、合成マーク板Mの読み取りを行うことが可能である。
白基準板W,黒基準板B,合成マーク板Mは主走査方向に長い部材であり、少なくとも主走査方向の読み取り範囲の全域に渡って存在する。合成マーク板Mは、複数のラインセンサーで重複して読み取られる重複領域(詳細は後述)のそれぞれに合成マークが形成された部材である。合成マークは、各ラインセンサーで読み取った読取画像を合成する際の基準となる結合位置を特定するためのマークであり、カバー51を閉じた状態で各ラインセンサーによって合成マークを読み取った場合に、当該合成マークを読み取った素子の画素同士を重ねることによって結合が行われるように構成されている。白基準板Wは白色の基準となる白色の部材であり、原稿台50と接触する面は白基準になる白基準面である。黒基準板Bは、黒色の基準となる黒色の部材であり、原稿台50と接触する面は黒基準になる黒基準面である。
副走査装置41は、副走査方向(X軸方向)に読取部Uを往復動作させることが可能な装置である。コントローラー10は、合成部11の処理により、副走査装置41の動作を制御することができる。
光源31は、原稿台の所定方向に向けて照明光を照射するように副走査装置41に取り付けられたLEDを備えている。従って、原稿が読み取られる場合、LEDの向きが固定方向に向いた状態で光源31が副走査方向に移動し得る。すなわち、照射光が照射される位置が副走査方向に移動することで読み取り位置が変化し、副走査が行われる。なお、光源31は1色のLEDを備えていても良いし複数色のLEDを備えていても良い。すなわち、カラースキャンを行う場合には、複数色(典型的には3色)のLEDの1色を点灯させ、他の色を消灯させた状態で各色についての読み取りを行ってもよい。この場合、後述する合成等の処理は各色について行われてもよいし、代表色成分(LEDの任意の1色や複数色から算出された明度の画像等)に基づいて合成のための演算が行われ、演算結果に基づいて各色の合成が行われてもよい。
光学部61は、センサー21に原稿の画像を縮小しつつ結像させる光学部材を備えている。すなわち、光学部61は、光源31の光が原稿に照射されることで生じる原稿からの光をラインセンサーに導く光路を形成する光学部材を備える。光路は種々の構造によって提供されて良く、光学部材も種々の部材、例えば、絞りやレンズ、反射鏡等のいずれかまたは組み合わせによって構成可能である。
図3は、光路の一例を示す図であり、視線を主走査方向と平行にした状態で示している。図3においては、原稿台50に載せられた原稿Pに光を照射する光源31と光学部61(61a,61b)とセンサー21とを示している。光学部61は2個の反射鏡61a,61bを備えており、例えば、反射鏡61aを平面鏡、反射鏡61bを凹面鏡とすることにより、原稿Pの主走査方向(X軸、Z軸に垂直な方向)の1ライン分の光を主走査方向で分割し、縮小することによってラインセンサー21aに導く構成等が採用可能である。
基準読取位置に存在する物体(原稿や白基準板等)にて反射した光はセンサー21が備える複数のラインセンサー21aで受光される。各ラインセンサー21aは、1方向に延びるセンサーであり当該1方向に複数の光電変換素子(以後、素子と呼ぶ)が並べられたセンサーである。また、各ラインセンサー21aは、素子が並ぶ方向が直線状になるように主走査方向に並べられる。
センサー21は、図示しないアナログフロントエンドを備えている。アナログフロントエンドは、光の受光量に応じて素子が出力した信号にゲインを作用させて出力する回路やA/D変換する回路を含む。本実施形態においてアナログフロントエンドは、当該ゲインを示す情報を記録する記録媒体を備えており、アナログフロントエンドにおいては、当該ゲインを示す情報に基づいて、センサー21の黒レベルを最小の出力値、白レベルを最大の出力値にするゲイン調整を行う。
図4は、視線を副走査方向と平行にした状態で光学部61による作用を模式的に示している。図4においては、原稿Pからの光が光学部61を経てラインセンサー21aに導かれる様子が示されており、原稿Pからの光の光路を破線および一点鎖線で模式的に示している。すなわち、ラインセンサー21aは、主走査方向(Y軸方向)に並んでおり、原稿Pにおいて主走査方向において一部重複しながら隣接する部分毎の像は、原稿Pの各部分に対応した光学部61の各部分で縮小される。そして、原稿Pの各部分の像は、各部分に対応した各ラインセンサー21aに結像する。なお、図4において、破線および一点鎖線は光路の範囲を模式的に示しており、光学部61によって像はY方向に逆転し得る。
以上のように、本実施形態においてセンサー21が備える各ラインセンサー21aにおいて、隣接する各ラインセンサー21aは、原稿Pにおいて主走査方向に隣接する各部分を読み取り、隣接するラインセンサー21aは、その一部において原稿Pにおける同一の領域である重複領域を重複して読み取るように構成されている。従って、隣接するラインセンサー21aの一方で読み取られる原稿上の領域を第1領域とした場合、隣接するラインセンサー21aの他方で読み取られる原稿上の領域が第2領域である。また、第1領域と第2領域とが重複する領域が重複領域である。図4においては、第1領域R1と第2領域R2と重複領域Rcとの例を1個示しているが、図4に示すようにラインセンサー21aが16個存在するのであれば、重複領域は15個存在するし、ラインセンサー21aが18個存在するのであれば、重複領域は17個存在する。
(2)出力の合成:
各ラインセンサー21aにおいては、原稿Pの重複領域を重複して読み取るため、コントローラー10の合成部11が、隣接するラインセンサー21aが出力したデータを合成する。具体的には、合成部11は、合成マーク板Mに形成された合成マークに基づいて、複数のラインセンサー21aの出力を混合する。このために本実施形態においては、原稿Pの読み取りが行われる前に、合成マークの読み取りが行われる。
具体的には合成部11が副走査装置41を制御し、合成マークを読み取り可能な位置に読取部を移動させる。この状態で合成部11は、光源31を点灯させる。この結果、各ラインセンサー21aは、合成マークを読み取った画像を出力する。図5は、ラインセンサー21aが備える素子を示す模式図であり、素子を丸で示している。図5に示す例において合成マークは副走査方向に延びる直線であり、合成マーク面において合成マーク以外の部分は白色である。
当該合成マークは、隣接するラインセンサー21aの双方で読み取られる。図5においては、合成マーク板Mの同一位置に形成された合成マークを読み取ったラインセンサー21aの素子を黒に着色して模式的に示しており、合成マークをハッチングによって模式的に示し、合成マークを読み取った素子に重ねて示している。また、隣接するラインセンサー21aの一方を上部左側に配置し、他方を下部右側に配置し、合成マークを読み取った素子が縦方向に並ぶようにラインセンサー21aの模式図を配置している。ここでは、隣接するラインセンサー21aの一方を第1ラインセンサー21a1、他方を第2ラインセンサー21a2と呼ぶ。
第1ラインセンサー21a1、第2ラインセンサー21a2は、主走査方向にならぶ各素子の受光量に対応した出力をシリアルデータとして出力する。そこで、合成部11は、第1ラインセンサー21a1の出力を解析し、端部から6個目の素子S61で合成マークを検出したことを特定する。また、合成部11は、第2ラインセンサー21a2の出力を解析し、端部から6個目の素子S62で合成マークを検出したことを特定する。この場合、合成部11は、第1ラインセンサー21a1の端部から6個目の素子S61と、第2ラインセンサー21a2の端部から6個目の素子S62とが同一位置を読み取ったとみなし、各ラインセンサー21aに対応づけて各素子の位置を図示しないメモリに記録する。ここでは、同一位置を読み取った素子の位置を結合位置と呼ぶ。
合成部11は、以上の処理を主走査方向の端に位置するラインセンサー21aから順に実施し、複数のラインセンサー21aのそれぞれで結合位置を特定する。以上のようにして結合位置が特定されると、原稿Pが読み取られた際に、合成部11は、当該位置に基づいて各ラインセンサー21aの出力を混合することにより、1ライン分のデータを生成する。本実施形態において、当該混合は、隣接するラインセンサー21aの出力に対して重み付けを行った値を加算することによって行われる。
すなわち、第1ラインセンサー21a1の出力から生成された第1読取画像と、第2ラインセンサー21a2の出力から生成された第2読取画像とを合成する際に、結合位置を境にして一方の第1範囲の画素を第1読取画像のみによって生成し、他方の第2範囲の画素を第2読取画像のみによって生成すると画質が低下してしまう。例えば、継ぎ目となる結合位置を境に画像が不連続に見え、継ぎ目が認識されてしまうなどの画質低下が生じ得る。そこで、本実施形態においては第1範囲から第2範囲に向けて第1読取画像の重みを大きい値から徐々に小さい値に変化させ、第2読取画像の重みを小さい値から徐々に大きい値に変化させて合成する。具体的には、第1読取画像および第2読取画像の画素の位置を一方のラインセンサーの端からの位置i(iは1以上の整数)でEi,1、Ei,2と表現し、各ラインセンサーの結合位置の画素が同一の位置番号(図5に示す例においてはi=6)であると表現する。例えば、図5に示す第2ラインセンサー21a2の端の位置がi=1であり、第1ラインセンサー21a1の端の位置がi=11である。
この場合、位置iにおける合成後の画像の値はaii,1+bii,2となる。また、aiおよびbiは重み付けの値であって1=ai+biであり、本例においてaiは初期値1であるとともにiの増加とともに0まで減少し、biは初期値0であるとともにiの増加とともに1まで増加する。さらに、本実施形態においては、結合位置であるi=6における重み付けa6,b6が等しくなるように設定されている。すなわち、結合位置における混合率は50%であり、結合位置よりも第2ラインセンサー21a2側の第2範囲において第2読取画像の重み付けが大きくなり、結合位置よりも第1ラインセンサー21a1側の第1範囲において第1読取画像の重み付けが大きくなる。
以上のようにして混合による合成が行われる構成によれば、継ぎ目が目立たないように合成をすることができる。なお、重み付けの値は、第1範囲から第2範囲に向けて徐々に変化すれば良く、連続的に変化しても良いし段階的に変化しても良い。また、重み付けは主走査方向に沿って直線的に変化しても良いし曲線的に変化しても良い。
スキャナー1においては、副走査装置41によってセンサー21等を副走査方向に移動させることによって副走査を行う。この結果、原稿を2次元的に走査することができる。図6~図8は、隣接するラインセンサー21aの出力に基づいて行われる合成を2次元的に説明する説明図である。図6は、ある第1ラインセンサー21a1および第2ラインセンサー21a2によって読み取られる原稿上の文字の例「MNO」を示している。この例においては、第1領域R1に「MN」が書かれており、第2領域R2に「NO」が書かれている例を示している。また、この例において、重複領域Rcに「N」が書かれている。
図7は、図6に示す原稿を第1ラインセンサー21a1および第2ラインセンサー21a2によって読み取った場合の第1読取画像I1および第2読取画像I2の例を示している。このように、重複領域Rc内の文字は第1ラインセンサー21a1および第2ラインセンサー21a2の双方によって読み取られ、重複領域Rc外の文字は第1ラインセンサー21a1および第2ラインセンサー21a2のいずれか一方によって読み取られる。
図7においては、第1読取画像I1および第2読取画像I2の結合位置Pbを矢印によって示している。図7に示す例においては文字「N」の中央が結合位置Pbであるため、結合位置Pbの左右の画像のそれぞれが混合されることによって合成される。すなわち、図7に示す領域Z1L内の画像と領域Z2L内の画像とが位置毎に変化する重み付けによって混合される。また、図7に示す領域Z1R内の画像と領域Z2R内の画像とが位置毎に変化する重み付けによって混合される。
図8は、当該混合によって合成された後の画像を示す図であり、同図8においては、文字「N」の左側半分が、領域Z1L内の画像と領域Z2L内の画像との重み付け加算であることを「aZ1L+bZ2L」として示している。また、文字「N」の右側半分が、領域Z1R内の画像と領域Z2R内の画像との重み付け加算であることを「aZ1R+bZ2R」として示している。
以上の構成によれば、原稿の読み取り面が原稿台50の上面に接しており、原稿の読み取り面が基準読取位置に存在する場合に、複数のラインセンサーによって主走査方向の1ライン分の画像を適正に生成することができ、副走査された2次元画像を適正に生成することができる。しかし、本実施形態にかかるスキャナー1のユーザーは種々の態様で原稿の読み取りを行わせることができ、原稿が基準読取位置から変位した状態で読み取りが行われる場合もある。例えば、背表紙で綴じられた本の読み取りが行われる場合、綴じ部付近の原稿の全てが原稿台50に接した状態を実現することができず、原稿の少なくとも一部が浮いた状態で読み取りが行われる場合もある。
スキャナー1においては、光学部61を介して原稿からの光をラインセンサー21aに導くため、原稿が基準読取位置から変位した状態で読み取りが行われると、原稿が基準読取位置から変位していない状態と比較して、ラインセンサー21aに到達する光の光路が変動するため、同じ原稿の読み取り結果が異なってしまう。具体的には、本実施形態において原稿の位置が基準読取位置から変位して浮きが発生していると、この状態で読み取りが行われた場合の光路長は基準の光路長より長くなる。
図9は、図4に示す光学部61と原稿との一部を抽出し、拡大して示す図である。同図9において、光路の範囲は太い破線または太い一点鎖線で示されている。基準読取位置P1に存在する原稿が読み取られる場合、図9に示す第1領域R1と第2領域R2とが重複する領域が重複領域Rcとなる。一方、同一の原稿がZ軸正方向にシフトし、位置P2に存在する場合、第1ラインセンサー21a1は第1領域R12を読み取り、第2ラインセンサー21a2は第2領域R22を読み取る。従って、この場合、重複領域はRc2となる。
このように、原稿が基準読取位置から変位すると(浮きが発生すると)、光路長が長くなることに起因し、第1ラインセンサー21a1および第2ラインセンサー21a2で読み取る範囲が広くなる。例えば、図6のような原稿が位置P2に存在する場合、第1領域R12は第1領域R1より広くなり、第2領域R22は第2領域R2より広くなり、重複領域Rc2は重複領域Rcより広くなる。
第1ラインセンサー21a1および第2ラインセンサー21a2の素子数および大きさは変化しないため、適正な基準読取位置に原稿が存在する場合よりも広い範囲が読み取られると、第1ラインセンサー21a1および第2ラインセンサー21a2の読み取り結果である第1読取画像と第2読取画像は、基準読取位置P1に存在する原稿が読み取られた場合と比較して縮小された状態となる。
図10は、図6に示す第1領域R12と第2領域R22が読み取られた場合の第1読取画像I12および第2読取画像I22の例を示している。すなわち、図10に示す例においては、変位が生じていない場合の読み取り結果よりも画像が縮小され、変位が生じていない場合に文字「N」のみが読み取られていた領域Z1L,領域Z1R,領域Z2L,領域Z2Rに他の文字「O」や「M」の一部が含まれている。このような縮小が発生した状態で、変位が生じていない場合と同一の結合位置で合成が行われる場合でも、結合位置に基づいて混合が行われる限り、図10に示す領域Z1L内の画像と領域Z2L内の画像とが位置毎に変化する重み付けによって混合される。また、図10に示す領域Z1R内の画像と領域Z2R内の画像とが位置毎に変化する重み付けによって混合される。
結合位置Pbの画像は、図9において細い破線または一点鎖線で示される光路を通るため、原稿が基準読取位置P1に存在する場合には、同じ位置の読み取り結果を示す画像になるが、原稿が基準読取位置P1に存在しない場合には、同じ位置の読み取り結果を示す画像にならない。図10に示す例においては、第1読取画像I12と第2読取画像I22とにおいて文字「N」の斜線の異なる部位が結合位置Pbで切断される。従って、結合位置Pbの画像を重ねても画像は適正に結合されない。
図11は、図10に示す読み取り結果が混合によって合成された後の画像を示す図である。この例に示すように、図10に示す領域Z1L内の画像と領域Z2L内の画像とが大きくずれているため、これらの領域の画像に基づいて重み付け加算(aZ1L+bZ2L)が行われたとしても、ずれを解消することはできず、第1読取画像I12に基づく画像が濃く現れ、第2読取画像I22に基づく画像が薄く現れる。
また、図10に示す領域Z1R内の画像と領域Z2R内の画像とが大きくずれているため、これらの領域の画像に基づいて重み付け加算(aZ1R+bZ2R)が行われたとしても、ずれを解消することはできず、第1読取画像I12に基づく画像が薄く現れ、第2読取画像I22に基づく画像が濃く現れる。さらに、結合位置Pbにおいて、Nの斜線が異なる直線に分離してしまう。すなわち、原稿の位置の基準読取位置からの変動が考慮されずに合成されると、重複領域上で主走査方向に非平行かつ非垂直である直線(文字「N」の斜線部分)が2本の異なる直線に分離するなどの画質の低下が生じ得る。
そこで、本実施形態において、合成部11は、混合の前に、重複領域の画像を主走査方向に変形させる。図12は、主走査方向の変形を説明するための図である。図12においては、第1読取画像の例を実線、第2読取画像の例を一点鎖線で示しており、横軸が画素の位置、縦軸が濃度(各素子の検出強度に対応した値)である。また、この例において、位置i=6が結合位置Pbである。なお、各画像は画素の各位置における濃度情報であるため、濃度は位置毎に離散的な値をとるが、図12においては、変形の理解の容易のため、濃度変化を線によって示している。すなわち、画素の位置の間の濃度は、連続的に変化すると推定され、画素の位置の間の濃度は例えばキュービック補間等の補間演算によって求めることも可能である。
図12においては、結合位置i=6の前後で濃度が一定値V2から他の一定値V1に向けて急変し、かつ、結合位置i=6において濃度がVmとなるような図形が重複領域に形成されていることが想定されている。従って、原稿が基準読取位置から変位していない状態で読み取られた場合に、理想的には結合位置i=6の濃度がVmとなり、その前後で濃度が急変することが期待される。
図12に示す第1読取画像、第2読取画像における位置i=6の濃度はVmではなく、濃度が急変する領域もずれている。すなわち、図10に示すような縮小を伴う読み取りが行われた場合、各読取画像においては、正規の像の各部位が画像の端部から中央部寄りに移動するように収縮する。例えば、図12に示す第1読取画像においては、濃度の急変領域がグラフの左側(位置iの値が小さい領域側)にずれ、第2読取画像においては、濃度の急変領域がグラフの右側(位置iの値が大きい領域側)にずれる。
そこで、本実施形態において、合成部11は、画像の中央部から端部側に画像を拡大させる変形を行う。例えば、図12に示す第1読取画像はグラフの右側(位置iの値が大きい領域側)に向けて拡大され、図12に示す第2読取画像はグラフの左側(位置iの値が小さい領域側)に向けて拡大される。このとき、合成部11は、第1読取画像の拡大率および第2読み取画像の拡大率を同じ値(またはほぼ同じ値)とする。このため、第1読取画像と第2読取画像とは各画素の濃度値が結合位置Pbに向けて互いに近づくように補正される。この結果、第1読取画像と第2読取画像との双方は拡大によって、図12に示すように結合位置を中心として前後に濃度が急変する破線のような画像に近づく。
図13は、図10に示す第1読取画像I12および第2読取画像I22を変形させた場合の例を示している。当該図13においては文字「N」の斜線部分が変形された場合の例を示しており、変形によって斜線の角度が主走査方向に近づくように変化しているものの、斜線は1本の直線になっている。すなわち、原稿が原稿台の基準読取位置から浮いた状態は、本の綴じ部(背表紙の逆側)等によって生じるため、局部的に生じることが多い。従って、拡大は原稿の一部において実施すれば良いことが多い。そして、画像の一部を主走査方向に拡大させると、主走査方向に非平行かつ非垂直である直線は主走査方向に延びるため、直線の角度が主走査方向に近づく。
また、一部で拡大が行われ、その周囲(主走査方向の両端)で拡大が行われない場合、拡大が行われていない部位において直線の角度は読み取られたままの角度である。このため、直線が読み取られた場合の非直線の画像は、図13に示す両端部Peと、両端部の角度よりも主走査方向に近い角度である中央部Pcとを有する状態となる。本実施形態においては、このように主走査方向に非平行かつ非垂直である直線を、当該両端部と中央部とを有する画像として合成する。
従って、図13に示す文字「N」の斜線部分のように主走査方向に非平行かつ非垂直である直線が、非直線になるものの、直線の分離などの著しい画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサー21aの出力を合成したスキャンデータの画質を向上させることができる。なお、ここで、主走査方向に対する非平行、非垂直は方向が厳密に判定される必要はない。すなわち、主走査方向および副走査方向から傾斜した斜めの直線の少なくとも1個(例えば両方向に対して45°の直線)が非直線の画像として読み取られる状況を想定すれば、本実施形態における効果を確認することができる。
(3)スキャン処理:
次に、スキャン処理の手順を図14に示すフローチャートに沿って説明する。利用者が原稿台に原稿を載せ、操作部80によってスキャン指示を行うと、コントローラー10は当該スキャン指示を受け付け、図14に示すスキャン処理を開始する。スキャン処理が開始されると、コントローラー10は、結合位置を取得し、白レベル、黒レベルを測定する(ステップS100)。
結合位置は、原稿のスキャン前に取得されていれば良く、本実施形態においては利用者によって任意のタイミングで結合位置Pbの取得処理が行われる。当該取得処理が開始されると、コントローラー10は副走査装置41を制御して合成マークの読み取り位置まで移動させ、合成マークを読み取る。コントローラー10は、合成マークの読み取り結果から、各ラインセンサー21aの結合位置Pbとなる素子の位置をメモリに記録する。ここでは、当該結合位置Pbの取得処理が予め実行されていることが想定されている。この場合、コントローラー10はステップS100において当該メモリを参照し、各ラインセンサー21aの結合位置Pbを取得する。
次に、コントローラー10は、黒レベルを測定する。すなわち、コントローラー10は、副走査装置41を制御して黒基準板Bの読み取り位置まで移動させ、黒基準板Bの読み取りを行い、読み取り結果を黒レベルとして取得する。次に、コントローラー10は、白レベルを測定する。すなわち、コントローラー10は、副走査装置41を制御して白基準板Wを読み取り可能な位置まで移動させ、白基準板Wの読み取りを行い、読み取り結果を白レベルとして取得する。
次に、コントローラー10は、黒レベルおよび白レベルを設定する(ステップS105)。すなわち、コントローラー10は、ステップS100において測定された黒レベルおよび白レベルに基づいて、各ラインセンサー21aの素子の黒レベルおよび白レベルを設定する。具体的には、コントローラー10は、ステップS100において測定された黒レベルと白レベルとの間の強度を測定できるようにゲインを設定する。
次に、コントローラー10は、原稿を読み取る(ステップS110)。すなわち、コントローラー10は、光源31を制御してLEDを点灯させ、ラインセンサー21aおよび副走査装置41を制御してラインセンサー21aの出力の取得と副走査装置41の移動とを繰り返し実行させる。このとき、コントローラー10は、シェーディング補正を行う。すなわち、各ラインセンサー21aは主走査方向に並ぶ複数の素子を備えており、各素子は図示しない増幅回路に接続されている。そこで、コントローラー10は、当該増幅回路のゲインをステップS105で設定されたゲインとし、各素子に検出結果としてのアナログ信号を出力させる。
各素子においてゲインが作用した後の検出結果が出力されると、当該出力としてのアナログ信号が各ラインセンサー21aの図示しない走査回路から順次シリアル出力される。センサー21は図示しないA/D変換回路を備えており、シリアル出力されたアナログ信号は当該A/D変換回路によってデジタル信号に変換される。変換されたデジタル信号は、読み取り元のラインセンサー21aに対応づけられた状態でコントローラー10に出力される。
次に、合成部11は、ずれ量算出処理を行う(ステップS120)。ずれ量算出処理は、第1読取画像と第2読取画像とから算出した濃淡の変動に基づいて、重複領域の同じ位置を読み取った第1読取画像と第2読取画像との主走査方向への相対的なずれ量を算出する処理である。
なお、本実施形態においてラインセンサー21aは複数個存在するため、隣接する2個のラインセンサー21aの組のそれぞれにおいて、重複領域が存在する。そして、隣接する2個のラインセンサー21aの一方の読み取り結果が第1読取画像、他方の読み取り結果が第2読取画像である。当該ずれ量の算出は、主走査方向の1ラインに生じる複数個の重複領域のそれぞれについて実行される。当該ずれ量算出処理の詳細は後述するが、原稿の読み取りが行われるたびに主走査方向に延びるラインのそれぞれについてステップS120が行われるため、原稿の態様(綴じ部の有無等)や状況(綴じ部を含むスキャンであるか否か等)によって異なり得るずれ量に応じて動的に変形を行うことができる。
次に、合成部11は、変形処理を行う(ステップS130)。変形処理は、ステップS120で算出されたずれ量に基づいて第1読取画像および第2読取画像を変形(本実施形態においては拡大)させる処理であり、詳細は後述する。むろん、変形処理も、主走査方向の1ラインに生じる複数の重複領域のそれぞれについて実行される。
次に、合成部11は、混合処理を行う(ステップS135)。混合処理は、第1読取画像、第2読取画像を重み付けして加算する処理であり、予め決められた上述の重み付けの値(ai、bi)を用いて第1読取画像と第2読取画像とを混合する処理を行う。むろん、混合処理も、主走査方向の1ラインに生じる複数の重複領域のそれぞれについて実行される。
副走査方向に並ぶ全ラインについて混合処理が終了すると、取得部12および補正部13は、補正処理を実行する(ステップS140)。補正処理は、ステップS120において算出されたずれ量に基づいて、合成後の画像を補正する処理であり、詳細は後述する。
補正処理によってスキャンデータが生成されると、コントローラー10は、スキャン設定によって決められた大きさの画像を切り出す切り出し処理を実行し(ステップS145)、得られたスキャンデータを出力する(ステップS150)。すなわち、コントローラー10は、通信部を介してスキャンデータをコンピューター90に出力する。
(4)ずれ量算出処理:
次に、ずれ量算出処理の手順を図15に示すフローチャートに沿って説明する。本実施形態においては、第1読取画像と第2読取画像との少なくとも一方を主走査方向に移動させた場合の移動量と、移動後の第1読取画像と第2読取画像との一致度合いとに基づいてずれ量が算出される。従って、当該算出を有効に実施できない状況下においては有意なずれ量が算出できない。そこで、本実施形態においては、有意なずれ量が算出できない場合にはずれ量を算出せずに不明とする処理が採用されている。このため、ずれ量算出処理においては、まず、有意なずれ量が算出できるか否かを判定するための処理(ステップS200~S215)が行われる。
具体的には、合成部11は、重複領域の読取画像の濃淡のコントラストを取得し(ステップS200)、コントラストが予め決められた第1閾値より小さいか否かを判定する(ステップS205)。そして、ステップS205において、コントラストが予め決められた第1閾値より小さいと判定された場合、合成部11は、ずれ量を不明に設定する(ステップS240)。すなわち、重複領域における濃淡のコントラストが小さい場合、第1読取画像と第2読取画像とを移動させた場合の一致度が有意に変化しているのか否か判定することが困難である。そこで、コントラストが小さい場合には、ずれ量が算出されることなく不明とされる。
なお、コントラストは、一致度の変化が有意であるか否かを判定できる程度の濃淡変動があるのか否かを評価する指標であれば良く、例えば、重複領域に含まれる第1読取画像および第2読取画像の濃度の最大値と最小値との差分等によって算出することができる。また、重複領域は予め決められていれば良く、例えば、結合位置Pbの前後に特定の画素数の領域が重複領域とされる構成等が採用可能である。また、第1閾値は、有意なずれ量の算出が不可能になる程度に小さいコントラストを排除するための閾値として予め決められた値である。
ステップS205において、コントラストが予め決められた第1閾値より小さいと判定されない場合、合成部11は、重複領域の読取画像の濃淡の周期を取得し(ステップS210)、濃淡の周期が予め決められた第2閾値より小さいか否かを判定する(ステップS215)。そして、ステップS215において、濃淡の周期が予め決められた第2閾値より小さいと判定された場合、合成部11は、ずれ量を不明に設定する(ステップS240)。
すなわち、重複領域の濃淡の周期が小さい場合、第1読取画像と第2読取画像とにおいて濃淡の変動が激しく、第1読取画像と第2読取画像とを主走査方向に相対的に移動させた場合に複数の移動量で両者が頻繁に一致する。このため、どのような移動量が第1読取画像と第2読取画像とにおける主走査方向の真のずれ量であるのかを算出することが困難である。そこで、濃淡の周期が短い場合には、ずれ量が算出されることなく不明とされる。
なお、濃淡の周期は、第1読取画像および第2読取画像の位置変化に対する濃度の変化の繰り返し頻度を評価する指標であれば良く、例えば、隣接画素間の濃度変化の絶対値を重複領域に渡って足し合わせた値等によって算出することができる。この値は、図12に示す例であれば、(位置i+1の濃度-位置iの濃度)の絶対値を、第1読取画像および第2読取画像の双方についてi=1~10まで算出して足し合わせることによって取得可能である。また、第2閾値は、有意な一致度の特定が不可能になる程度に短い周期を排除するための閾値として予め決められた値である。
ステップS215において、濃淡の周期が第2閾値より小さいと判定されない場合、合成部11は、重複領域の読取画像を主走査方向に移動させる(ステップS220)。本実施形態においては、第1読取画像および第2読取画像のいずれか一方を予め決められた方向に1画素分移動させる処理を繰り返す。すなわち、本実施形態のように、原稿の基準読取位置からの変位が原稿台からの浮き方向に発生する構成において、原稿の変位は、図12に示すように第1読取画像において画像をグラフの左側へと移動させ、第2読取画像において画像をグラフの右側へと移動させる。
そこで、合成部11は、原稿の変位による画像の移動と逆方向に読取画像を移動させる。すなわち、合成部11は、第1読取画像の移動方向を図12に示すグラフの右方向とし、第2読取画像の移動方向を図12に示すグラフの左方向とする。そして、合成部11は、ステップS220~S230のループ処理の1回につき、第1読取画像および第2読取画像のいずれか一方を1画素分移動させる。また、ループ処理の繰り返し過程において合成部11は、第1読取画像および第2読取画像を交互に移動させる。例えば、あるループ処理において第1読取画像の移動が行われた場合、次のループ処理においては第2読取画像の移動が行われる。各読取画像の移動量はメモリに記録される。
図16は、図12に示す例においてループ処理の初回の処理で第1読取画像がグラフの右側に1画素分移動した場合の例を示している。図17は、図12に示す例においてループ処理の4回目の処理で第1読取画像がグラフの右側に2画素分移動し、第2読取画像がグラフの左側に2画素分移動した場合の例を示している。
次に、合成部11は、差分合計値を取得する(ステップS225)。すなわち、合成部11は、移動後の第1読取画像および第2読取画像の、位置毎に濃度の差分を取得し、合計値を取得する。例えば、図16において差分合計値は、第1読取画像と第2読取画像とによって挟まれた領域Z15の面積に相当する値である。図17においては、第1読取画像と第2読取画像とがほぼ一致しているため、差分合計値はほぼ0である。
差分合計値が取得されると、合成部11は、最大移動量の処理が終了したか否かを判定し(ステップS230)、最大移動量の処理が終了したと判定されるまでステップS220以降の処理を繰り返す。なお、最大移動量は、第1読取画像または第2読取画像の移動量の最大値として予め決められた値であり、想定し得るずれの最大値から予め算出される。
ステップS230において、最大移動量の処理が終了したと判定された場合、合成部11は、差分合計値を最小化する移動量をずれ量として取得する(ステップS235)。すなわち、合成部11は、移動後の第1読取画像と第2読取画像との濃淡の差を示す差分合計値が小さいほど一致度が高いと見なし、差分合計値を最小化する移動量をずれ量として取得する。移動量をずれ量として取得する際、合成部11は、メモリを参照し、第1読取画像の移動量と、第2読取画像の移動量との和を移動量、すなわち、ずれ量として取得する。
例えば、図17に示す移動後の差分合計値が最小である場合、第1読取画像の移動量である2と、第2読取画像の移動量である2との和である4がずれ量として取得される。むろん、ずれ量の取得法は、他にも種々の手法が採用されてよく、例えば、最小の差分合計値が算出された段階でのループ処理の実行回数等に基づいてずれ量が特定されても良い。なお、取得されたずれ量は、重複領域の位置と対応づけられてメモリに記録される(ステップS240において不明とされた場合もその旨が記録される)。
なお、差分合計値が最小化される移動量が複数個取得された場合、一方の移動量(例えば、移動量が少ない方)が採用される。この場合、ずれ量が整数でない可能性がある(例えば、0.5画素分のずれ量である)が、この程度のずれが残存したとしても、その影響は混合処理によって効果的に低減される。
原稿の浮きによって原稿が基準読取位置に存在しない場合、基準読取位置に存在する場合と比較して縮小されて画像が読み取られるため、第1読取画像および第2読取画像における結合位置Pbの画素は同じ位置の画像を示していない場合が多い。しかし、原稿の浮きによる影響は縮小に伴う像の移動であるため、少なくとも主走査方向に画像を移動させれば同じ位置の読み取り結果が重なる(またはほぼ重なる)状態を生成することができる。また、移動後の第1読取画像と第2読取画像とが一致するのであれば、同じ位置iの画像が同じ位置の読み取り結果である可能性が高い。従って、ステップS220~S230のループによって移動後の画像の一致度合いを解析すれば、本来の読み取り結果からどの程度ずれていたのか特定することができ、移動量を特定することができる。
(5)変形処理:
次に、変形処理の手順を図18に示すフローチャートに沿って説明する。本実施形態においては、重複領域の読み取り結果を示す第1読取画像の画素と第2読取画像の画素とを、変形によって主走査方向へ相対的にずれ量だけ移動するように変形を行う。このために、変形処理において合成部11は、処理対象の重複領域におけるずれ量が不明または0であるか否かを判定する(ステップS300)。
すなわち、本実施形態においては主走査方向に延びる1ライン内に複数個の重複領域が含まれ、それぞれが処理対象となって変形処理が実行されるため、合成部11は、処理対象の重複領域におけるずれ量がステップS240で不明に設定されたか否かを判定する。また、当該処理対象の重複領域におけるずれ量がステップS235で0として取得されたか否かを判定する。ステップS300において、ずれ量が不明または0であると判定された場合、合成部11は、処理対象の重複領域を変形対象とせず、ステップS305,S310をスキップする。
ステップS300において、ずれ量が不明または0であると判定されない場合、合成部11は、変形比率を取得する(ステップS305)。変形比率は、原稿が変位していない場合に結合位置Pbで読み取られる部分の読み取り結果を結合位置Pbまで移動させるための処理である。本実施形態において、第1読取画像と第2読取画像とのそれぞれにおいては、ラインセンサー21aの中央側の画素から結合位置Pb側に向けて変形が行われる。
当該変形を行うために合成部11は、結合位置Pbよりラインセンサー21aの中央側に位置する変形開始位置を決定する。変形開始位置は変形の起点となる画素の位置であり、結合位置Pbよりもラインセンサー21aの中央側に、ずれ量を超える距離だけ移動した位置に存在する画素である。図19、図20は、変形を説明するための図であり、図19は第1読取画像、図20は第2読取画像を模式的に示している。これらの図においては、図5と同等の第1ラインセンサー21a1,第2ラインセンサー21a2によって第1読取画像,第2読取画像が読み取られたことが想定されており、双方の画像に共通の位置iを用いて画素の位置を説明する。
また、これらの図においては、第1読取画像の変形前の濃度をPL1~PL11で示し、第2読取画像の変形前の濃度をPR1~PR11で示している。さらに、これらの図において、結合位置Pbは位置i=6である。ここでは、図19の第1読取画像のずれ量が2、図20の第2読取画像のずれ量が1であることが想定されている。各画像のずれ量は、ステップS235で特定された主走査方向の相対的なずれ量の1/2である。相対的なずれ量の1/2が非整数である場合には、例えば、繰り上げした値が第1読取画像のずれ量、繰り下げした値が第2読取画像のずれ量と見なされる構成等が採用される。
また、図19に示す第1読取画像の例において、第1ラインセンサー21a1の中央側は、位置iが1より小さい値で示される画素が存在する領域である。図20に示す第2読取画像の例において、第2ラインセンサー21a2の中央側は、位置iが11より大きい値で示される画素が存在する領域である。
これらの例において、変形開始位置は結合位置Pbよりも中央側にずれ量+一定値2だけ移動した位置である。従って、図19において変形開始位置Psは、結合位置Pbよりも中央側にずれ量2+一定値2だけ移動した位置i=2の画素であり、図20において変形開始位置Psは、結合位置Pbよりも中央側にずれ量1+一定値2だけ移動した位置i=9の画素である。
変形開始位置が決定されると、合成部11は、第1読取画像と第2読取画像とのそれぞれについて、変形率を(結合位置Pbと変形開始位置Psとの距離)/((結合位置Pbと変形開始位置Psとの距離)-ずれ量)として取得する。例えば、図19に示す例において変形率は2(=4/(4-2))であり、図20に示す例において変形率は3/2(=3/(3-1))である。
次に、合成部11は、第1読取画像と第2読取画像のそれぞれを、それぞれの変形率で変形させる(ステップS310)。すなわち、合成部11は、変形開始位置を起点に中央側と逆側に存在する画素を、変形前における変形開始位置からの距離に応じて移動させる。具体的には、合成部11は、変形前における変形開始位置からの距離に変形率を乗じ、得られた値だけ変形開始位置から離れた位置に変形前濃度の画素を移動させる。変形後に予め決められた範囲を超える画素は無視される。
例えば、図19に示す例において、変形前に位置i=4に存在する画素(濃度値PL4)は、変形開始位置Psからの距離が2であり、第1読取画像の変形率2が乗じられた値は4である。従って、変形が行われると、位置i=4に存在する画素が位置i=6に移動され、位置i=6に存在する画素の変形後濃度が濃度値PL4となる。図20に示す例において、変形前に位置i=7に存在する画素(濃度値PR7)は、変形開始位置Psからの距離が2であり、第1読取画像の変形率3/2が乗じられた値は3である。従って、変形が行われると、位置i=7に存在する画素が位置i=6に移動され、位置i=6に存在する画素の変形後濃度が濃度値PR7となる。変形は所定の範囲内で実施され、図19、図20に示す例においては、変形によって位置i=1~11の範囲外の位置となる画素は無視される。
なお、以上のように変形率に基づいて画素の移動距離が特定される構成においては、移動によって位置iが整数にならない画素や、変形前の画素の移動によって埋められない画素が発生し得る。この場合、変形後に位置iが整数になる画素の濃度が補間演算によって生成される。例えば、図19に示す例において、変形後に位置i=3となる画素において、変形後における変形開始位置からの距離は1である。従って、変形前における変形開始位置からの距離は、変形後の変形開始位置からの距離/変形率(1/2)である。従って、変形後に位置i=3となる画素の濃度値は、位置i=2.5の画素の濃度値PL2.5である。
図20に示す例において、変形後に位置i=7となる画素において、変形後における変形開始位置からの距離は2である。従って、変形前における変形開始位置からの距離は、変形後の変形開始位置からの距離/変形率(2/(3/2))である。従って、変形後に位置i=7となる画素の濃度値は、位置i=7と(2/3)の画素の濃度値PL7(2/3)である。なお、非整数の位置の画素の濃度は、整数の位置の画素の濃度に基づいて補間演算(例えば、バイキュービック補間やバイリニア補間等)によって取得される。むろん、非整数の位置の画素の濃度算出を省略し、ニアレストネイバー補間等によって変形後の画素の濃度が算出されても良い。特に高速スキャン(例えばA4原稿を600dpiで100ppm以上の速さでのスキャン)を行うような場合には、バイリニア補間やニアレストネイバー補間のような計算量が少ない補間方式を採用することが望ましい。
以上の変形によれば、重複領域の同じ位置の読み取り結果を示す第1読取画像の画素と第2読取画像の画素とを、変形によって主走査方向へ相対的にずれ量だけ移動させることができる。例えば、図19、図20に示す例において、第1読取画像のずれ量は2、第2読取画像のずれ量は1である。このため、原稿が変位していない状態で結合位置Pbにおいて、第1読取画像および第2読取画像の双方で読み取られるべき画像の濃度は、図19において結合位置Pbから中央側に位置2だけずれた位置i=4の濃度PL4であり、図20において結合位置Pbから中央側に位置1だけずれた位置i=7の濃度PR7である。
そして、これらの例において、位置i=4の濃度PL4と、位置i=7の濃度PR7との双方が変形により結合位置Pbに移動しており、両者の移動量の総和は3である。当該移動量の総和は、ステップS235によって特定された相対的なずれ量の値と一致するため、ステップS310の変形は、重複領域の同じ位置の読み取り結果を示す第1読取画像の画素と第2読取画像の画素とを、変形によって主走査方向へ相対的にずれ量だけ移動させる変形である。この構成によれば、ずれが解消または低減するように変形を行うことが可能である。
さらに、本実施形態においては、基準読取位置からの原稿の変位(浮き)が大きくなるほどずれ量が大きくなり、基準読取位置からの原稿の変位が大きくなるほど画像上での原稿の大きさが小さくなる。そこで、本実施形態において合成部11は、ずれ量が大きい場合は、小さい場合よりも主走査方向への重複領域の画像の変形率が増大するように変形を行う。例えば、図19に示す第1読取画像のずれ量は図20に示す第2読取画像のずれ量よりも大きいため、第1読取画像の変形率は第2読取画像の変形率よりも大きい値に設定される。この構成によれば、ずれ量に対応した原稿の変位による影響を低減させるように変形させることができる。
さらに、本実施形態において合成部11は、変形の際に画像をシフトさせるのではなく、変形開始位置を起点にした変形(拡大)を行っている。また、変形は所定範囲(図19、図20においては位置i=1~11)において実施され、変形後に所定範囲外の位置となる画素は無視される。従って、変形に伴って、画素数が増減することはなく、スキャンの際に設定された解像度が維持される。
(6)補正処理:
次に、補正処理の手順を図21に示すフローチャートに沿って説明する。補正処理が開始されると、補正部13は、合成部11の処理によって合成されたスキャンデータに対してガンマ補正と色補正とを実行する(ステップS400)。ガンマ補正は、スキャンデータの値に対する濃度の関係を調整する補正であり、予め決められたガンマ特性に基づいてスキャンデータの値に対する濃度の関係が補正される。色補正は、カラーマッチングのための色の補正やホワイトバランスの調整のための補正であり、種々の手法によって実施可能である。
次に、取得部12は、ずれ量を取得する(ステップS405)。すなわち、取得部12は、ステップS235またはS240でメモリに記録されたずれ量(主走査方向および副走査方向に並ぶ全重複領域におけるずれ量)を取得する。図22は、原稿としての本を示す図であり、同図22においては、グラデーションによって本の綴じ部(原稿台に乗せられた場合に原稿台から浮くように変位する領域)を示している。なお、スキャナー1において重複領域は主走査方向に複数個存在するが、ここでは、簡単のために重複領域ZM1~ZM5が合計5カ所である例が想定されている。表1は、当該図22に示す原稿が読み取られた場合において取得されたずれ量の一部の例示である。
Figure 0007153424000001
本実施形態においては、合成部11の処理過程において、全ての副走査位置についての全重複領域ZM1~ZM5についてずれ量を取得する処理が行われ、ずれ量が不明とされるか、または、何らかの値が対応づけられる。なお、表1においては、図22に示す原稿の重複領域ZM3上に文字が存在しないことを反映し、重複領域ZM3におけるすべての副走査位置についてずれ量が不明となっている。
ずれ量が取得されると、補正部13は、ステップS405で取得されたずれ量の分布に基づいて補正対象領域を決定する(ステップS410)。すなわち、本実施形態においてずれ量は各重複領域について取得されるため、主走査方向に離散的な局所的なずれ量が取得されることになる。そして、ずれや変位の程度が局所的に観測されるとしても、実際の利用態様においてはより広い範囲においてずれや変位が発生している可能性が高い。
例えば、図22に示すように、本の綴じ部は本の高さ方向A(背表紙の長さ方向)に渡って存在するため、綴じ部であることに起因するずれや変位は原稿である本の高さ方向に渡って存在する。そこで、ずれ量の分布を特定すれば、当該分布に基づいて同等のずれや当該ずれに対応した原稿の変位が存在する領域を推定することができる。
なお、重複領域は、異なるラインセンサー21aによって重複して読み取られる領域であるため、ラインセンサー21aの数の増加に伴って重複領域の数が増加する。そして、主走査方向に沿って3個以上ラインセンサー21aが並べられると、重複領域が主走査方向に複数個になる。この場合、重複領域は、主走査方向に複数存在し、副走査方向に重複領域が延びるように配置される。従って、重複領域が増えるほど原稿の面積に占める重複領域の数が増加する。
このため、重複領域が主走査方向に複数個存在する本実施形態によれば、原稿の広範囲に渡る原稿の変位やずれ量の程度を解析することが可能になる。従って、この構成において複数個の重複領域における原稿の変位やずれ量の分布を解析すれば、より正確にずれや変位を解析することが可能であり、補正対象領域をより正確に決定することが可能になる。
分布は種々の手法で解析されて良く、補正部13は、閾値以上のずれ量が分布している領域を本の綴じ部であると推定し、補正対象領域として取得する。ただし、ずれ量が不明である場合もあるため、本実施形態においては、ずれ量の分布に基づいて不明であったずれ量を推定する。当該推定は、ずれ量が不明の重複領域の近傍においてずれ量が特定されている場合、当該ずれ量が参照されることによって実施される。本実施形態においては、ずれ量が不明である重複領域から最も近い重複領域において特定されたずれ量の平均値によって不明であったずれ量が代替される。
例えば、表1に示す例において、副走査位置n+1の重複領域ZM3のずれ量は不明であるが、当該重複領域に最も近い8個の重複領域のうち、5個においてはずれ量が判明している。そこで、補正部13は、当該5個のずれ量の平均値を取得し、四捨五入してずれ量を1と特定する。補正部13は、当該推定を順次繰り返して各重複領域のずれ量を取得する。表2は、表1に示したずれ量に基づいて当該推定を行った結果得られたずれ量の例示である。
Figure 0007153424000002
ずれ量が得られると、補正部13は、閾値以上のずれ量が分布する領域を特定する。表2に示す例において閾値が2である場合、太線で示す領域が特定される。補正部13は、ずれ量が閾値以上である当該領域を補正対象領域として取得する。この結果、例えば、図22に示す例において、主走査方向の全域に渡り、かつ、副走査方向に範囲Zsの領域が補正対象領域として取得される。
次に、補正部13は、ずれ量に基づいて補正対象領域内の画像の明るさと鮮鋭度を補正する。すなわち、基準読取位置から原稿が変位した状態で読取が行われると、基準の光路長と異なる光路長の光路で原稿が読み取られるため、光の拡散の程度が変化し、読み取り結果の明るさが変動し得る。そこで、明るさ補正が行われると、当該明るさの変動を解消または低減することができる。一方、光路長の変化により、光学部61を介して検知される像が予定通り合焦しない場合があり、この場合、鮮鋭度が低下し得る。そこで、鮮鋭度補正が行われると、当該鮮鋭度の低下を解消または低減することができる。
このような明るさおよび鮮鋭度の補正を行うために補正部13は、ずれ量に基づいて明るさ(濃淡)の補正係数および鮮鋭度の補正係数(アンシャープマスク処理の強度の補正係数)を取得する(ステップS415)。具体的には、本実施形態においては、ずれ量に比例して明るさが低下すると見なされており、ずれ量1あたりの明るさの低下度合いを示す係数Kmが予め特定されている。また、ずれ量の増加に比例して鮮鋭度が低下すると見なされており、ずれ量1あたりの鮮鋭度の低下を補うためにアンシャープマスク処理の強度を増加させるための係数Ksが予め特定されている。
補正部13は、係数Kmおよび係数Ksと、補正対象領域内の各画素のずれ量に基づいて各画素の補正係数を特定する。なお、補正対象領域内の各画素のずれ量は、各画素の周囲に存在する重複領域のずれ量に基づいて特定されれば良く、例えば、複数の重複領域のずれ量に基づいた補間演算等によって各画素のずれ量が特定される構成等を採用可能である。各画素のずれ量が特定されると、補正部13は、1/(1-Km×各画素のずれ量)を各画素の明るさの補正係数として取得する。また、補正部13は、(1+Ks×各画素のずれ量)を各画素の鮮鋭度の補正係数として取得する。
次に、補正部13は、ステップS135によって得られた合成後の画像を、補正係数に基づいて補正する(ステップS420)。すなわち、補正部13は、補正前の画像の各画素の濃度値に対して、明るさの補正係数1/(1-Km×各画素のずれ量)を乗じることによって補正する。各画素のずれ量が大きいほど補正係数の分母が小さくなるため、各画素のずれ量が大きいほど補正係数が大きくなる。このため、本実施形態においては、ずれ量が大きい場合に小さい場合よりも補正量が大きくなるように補正を行うことになる。
また、補正部13は、アンシャープマスク処理によって鮮鋭度を高くする処理を行う。本実施形態においては、アンシャープマスク処理における基準の処理強度Sが予め決められており、当該Sに鮮鋭度の補正係数(1+Ks×各画素のずれ量)を乗じた強度で各画素に対してアンシャープマスク処理を行う。当該補正係数は、各画素のずれ量が大きいほど大きくなるため、本実施形態においては、ずれ量が大きい場合に小さい場合よりも鮮鋭度の補正量が大きくなるように補正を行うことになる。
以上の構成によれば、画素毎のずれ量に応じた強度で補正を行うことができる。なお、明るさの補正は一例であり、補正量が、ずれ量が大きい場合に小さい場合よりも増大する構成、すなわち、ずれ量に応じて変形率が連続的または段階的に変化する構成であれば良い。また、鮮鋭度の補正は一例であり、補正量が、ずれ量が大きい場合に小さい場合よりも増大する構成、すなわち、ずれ量に応じて変形率が連続的または段階的に変化する構成であれば良い。
なお、本実施形態において重複領域は主走査方向に離散的に存在するため、補正部13が重複領域毎のずれ量から重複領域間に存在する各画素の補正量を算出し、各画素に対して明るさの補正や鮮鋭度の補正を行う本実施形態においては、重複領域の画像と重複領域に連続する領域の画像とに対して同種の補正が行われることになる。すなわち、重複領域は原稿上で離散的に存在するが、原稿の変位は重複領域を超えて連続的に生じている可能性が高い。従って、重複領域において発生している画質の低下は、重複領域に連続する領域においても連続的に発生している可能性が高い。そこで、重複領域の画像と重複領域に連続する領域の画像とに対して同種の補正を行う本実施形態によれば、連続的に発生している画質の低下を効果的に解消または低減することが可能になる。
(7)例:
図23~図25は、基準読取位置から変位した原稿を読み取ったスキャンデータの例を示す図である。なお、これらの例におけるずれ量は4である。これらの図は、副走査方向にS、N、II(ローマ数字の2)、III(ローマ数字の3)、画、像の各文字が並んでいる原稿のスキャンデータの例である(画像は日本語でimageを意味する文字列)。また、図23は、画像の変形処理および混合処理が行われなかった場合のスキャンデータの例、図24は、画像の変形処理が行われず、混合処理が行われた場合のスキャンデータの例、図25は、画像の変形処理および混合処理が行われた場合のスキャンデータの例である。
原稿が基準読取位置から変位していると、原稿が基準読取位置に存在する場合と比較して読み取り結果が縮小された状態となり、重複領域上で主走査方向に非平行かつ非垂直である直線は、図11に示すように、分離し得る。例えば、図23に示す文字Nの斜線のように、本来1本の斜線であるべき直線が2本に分離して見えてしまう。原稿の基準読取位置からの変位量が大きいと、混合処理が行われてもこのような分離は解消されず、図24に示すように2本の直線が混合されない状態となってしまう。
しかし、重複領域において画像が変形されると、重複領域上で主走査方向に非平行かつ非垂直である直線が非直線になるものの、1本に結合した画像として合成される。例えば、図25に示す文字Nの斜線は、1本の線になっている。また、文字Nの斜線は、図13に示すような両端部Peと、両端部の角度よりも主走査方向に近い角度である中央部Pcとを有する画像となっている。このように直線が非直線になる変化は、重複領域上で主走査方向に非平行かつ非垂直である直線において一般に観測される。従って、例えば、重複領域外から重複領域を通り重複領域外に達するような直線がスキャナー1で読み取られる場合、重複領域内の直線は、重複領域外の直線よりも主走査方向に近い角度となる。このため、本実施形態は、重複領域上で主走査方向に非平行かつ非垂直である直線を非直線の画像として合成する構成を備え、さらに、直線が読み取られた場合の非直線の画像は、両端部と、両端部の角度よりも主走査方向に近い角度である中央部とを有する構成であると言える。
さらに、本実施形態においては、原稿の基準読取位置からの変位量が異なっていても同等の読み取り結果となるような合成を行うことができる。例えば、重複領域内の直線を読み取る場合において、原稿の基準読取位置からの変位量が異なっていることにより、ラインセンサーにおいて重複領域上の直線を検出した素子が互いに1素子以上ずれている2個の状態を想定する。
すなわち、原稿を原稿台に載せる位置が同一である状態で同じ原稿を2回読み取ると、それぞれにおいて同一の直線はラインセンサー上の同一の素子で読み取られる。しかし、原稿を原稿台に載せる位置が同一であっても、原稿と基準読取位置との距離が異なる状態で2回読み取りが行われると、同一の直線はラインセンサー上の異なる素子で読み取られ得る。このような状況は、直線を含む原稿が基準読取位置から第1距離離れた位置にある第1の場合と、基準読取位置から第2距離離れた位置にある第2の場合とで読み取りが行われ、当該直線はラインセンサー上で1素子以上ずれた素子で読み取られた状況であるといえる。
このように、基準読取位置からの距離が異なる状態で原稿の同じ位置が読み取られた場合、同じ位置の画像と結合位置との相対距離が異なる状態で読み取りが行われ、直線が分離するなどの画質低下が発生し得る。従って、画像の変形が行われずに、単に混合処理のみによって分離した直線を1本にしようとすると、直線の幅が過度に増大する。しかし、本実施形態のように合成部11が、重複領域の画像を主走査方向に変形させて合成させると、1本の線に見えるように画像を修正することができるため、混合等によって線の幅を変化させる必要はなく、線の数の増減などの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサー21aの出力を合成したスキャンデータの画質を向上させることができる。
図25,図26は、第1の場合、第2の場合の例であり、それぞれのずれ量が4、3である。このため、ラインセンサー上で1素子以上ずれた素子で直線の読み取りが行われ得る。これらの例において、例えば、文字「S」「N」の斜線等は同一のラインセンサー上で1素子以上ずれた素子で読み取られ得る。これらの読み取り結果において、文字「S」「N」の斜線等は同じ幅の画像として合成されている。なお、同じ幅か否かは、例えば、特定方向(主走査方向や副走査方向)の画素数等で評価されてよく、文字を構成する画素であるか否かは各画素の階調値が所定の閾値以上である場合に文字を構成すると見なす構成等を採用可能である。また、同じ幅であるか否かを判定する際に幅の差分が所定値以下である場合には同じ幅であると見なされる構成であっても良い。
さらに、合成部11は、第1領域と前記第2領域との読み取り結果を少なくとも4画素分、主走査方向に相対的に変化させることによって、重複領域上で主走査方向に非平行かつ非垂直である直線を主走査方向の幅が2画素の画像として読み取った場合に、直線を1本の線の画像として合成する構成であると言える。
すなわち、重複領域の同じ位置を読み取った第1読取画像と第2読取画像との主走査方向への相対的なずれの程度が4画素である状態(ずれ量が4である状態)は、主走査方向に2画素の幅を有する直線の読取に際して極めて大きいずれである。例えば、図23、図24、図25に示す例において、文字「S」「N」の斜線が主走査方向に2画素の幅を有する線に相当する(閾値による2値化後に幅が2となる)。この状態で当該直線の読取が行われた場合、本実施形態における変形および混合を行わずに合成が行われると、例えば、図23に示すように、直線が明らかに非連続になる。また、このような大きいずれが生じていると、図24に示すように混合処理が行われた場合であっても線が1本にならないことが多い(影のような像が現れることがある)。
しかし、本実施形態における変形が行われると、線幅から見て大きいずれが生じていたとしても、図25に示すように主走査方向の幅が2画素の1本の線として合成することができる。この結果、直線が非連続になるなどの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。なお、直線の合成結果である1本の線の画像は、線の分離等によって非連続になっておらず、1本の線として認識される画像であれば良く、折れ線、曲線等の非直線の画像であっても良い。
さらに、合成部11は、第1領域と第2領域との読み取り結果を少なくとも4画素分、主走査方向に相対的に変化させることによって、重複領域上で主走査方向に垂直である前記直線を主走査方向の幅が2画素の画像として読み取った場合に、直線を1本の線の画像として合成する。
すなわち、重複領域の同じ位置を読み取った第1読取画像と第2読取画像との主走査方向への相対的なずれの程度が4画素である状態(ずれ量が4である状態)は、主走査方向に2画素の幅を有する直線の読取に際して極めて大きいずれである。例えば、図23、図24、図25に示す例において、文字「III(ローマ数字の3)」「画」における中央の縦線(副走査方向に平行な線)が主走査方向に垂直な2画素の幅を有する線に相当する(閾値による2値化後に幅が2となる)。この状態で当該直線の読取が行われた場合、本実施形態における変形および混合を行わずに合成が行われると、例えば、図23に示すように、直線が明らかに分離して2本に見えてしまう。また、このような大きいずれが生じていると、図24に示すように混合処理が行われた場合であっても線が分離したままであることが多い。
しかし、本実施形態における変形が行われると、線幅から見て大きいずれが生じていたとしても、図25に示すように主走査方向の幅が2画素の1本の線として合成することができる。この結果、直線の分離などの画質低下を生じさせずに合成を行うことが可能になる。従って、複数のラインセンサーの出力を合成したスキャンデータの画質を向上させることができる。なお、直線の合成結果である1本の線の画像は、線の分離等によって非連続になっておらず、1本の線として認識される画像であれば良く、折れ線、曲線等の非直線の画像であっても良い。
(8)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、本発明の一実施形態にかかるスキャナーは、読み取り以外の目的にも使用される電子機器である複合機等に備えられていても良い。
さらに、以上の実施形態のように第1ラインセンサー21a1が出力した第1スキャンデータと第2ラインセンサー21a2が出力した第2スキャンデータとを合成してスキャンデータを生成する手法は、プログラムの発明、方法の発明やスキャンデータの生成方法の発明としても実現可能である。
さらに、読み取りを行って生成したスキャンデータは、コンピューター90に対して出力するほかに、自装置に装着されたUSBメモリ等の記憶媒体に出力してスキャンデータを記憶させたり、印刷機構に出力してスキャンデータを印刷(すなわちコピー)させたり、モニタに表示出力してもよい。さらに、合成部11,取得部12,補正部13の少なくとも1部における処理を、コンピューター90のドライバプログラム又はアプリケーションプログラムに実施させ、合成を行わせることで最終的なスキャンデータを生成させてもよい。この場合、コンピューター90をスキャナーの一部とみなすことができる。
上述の第1領域、第2領域、重複領域は原稿上の領域であり、スキャナー1が備えるラインセンサー21aと、スキャナー1に対してセットされた原稿との関係によって規定される。すなわち、スキャナー1は、複数のラインセンサー21aで同じ位置を重複して読み取るようにラインセンサー21aの位置や光学系(レンズ等の光学部や光源等)が設計されている。このような構成において、原稿が第1ラインセンサー21a1および第2ラインセンサー21a2で読み取られると、原稿のある領域が第1ラインセンサー21a1および第2ラインセンサー21a2の双方で読み取られる。当該領域が重複領域である。なお、スキャナー1はラインセンサー21aを少なくとも2個備えていれば良く、複数個備えている限り数は限定されない。従って、3個以上であっても良い。この場合、第1領域および第2領域は複数個存在することになる。
スキャナー1は種々の態様で原稿をスキャンして良く、ADF(オートドキュメントフィーダー)で原稿を搬送しながらスキャンする構成であっても良いし、原稿台に載せられた原稿に対してラインセンサー21a等の光学ユニットを移動させながらスキャンする構成であっても良く、種々の構成を採用可能である。また、スキャナー1はモノクロラインセンサーと複数色の光源の切り替えによってスキャンを行うものに限らず、モノクロラインセンサーと単色の光源によってスキャンを行うモノクロスキャナーであってもよいし、複数のラインセンサー21aのそれぞれが複数色のそれぞれに対応した複数のセンサー列を備え、白色光源を用いてスキャンを行うカラースキャナーであってもよい。
なお、原稿台を備えるスキャナーにおいて基準読取位置からの原稿の変位方向は浮き方向の1方向であるが、ADFで原稿を搬送する構成を備えるスキャナーなど、基準読取位置からの原稿の変位方向が2方向(浮き方向または沈み方向)に定義できる場合がある。この場合、光源から原稿、ラインセンサーに達する光路長が基準の光路長に対して正負に変動し得る。従って、原稿の変位が発生した場合において、画像が縮小された状態で読み取られる場合と、画像が拡大されて読み取られた場合とが発生し得る。
画像が拡大された場合、上述のステップS220において第1読取画像と第2読取画像とを互いに遠ざける方向に移動させることによって差分合計値を最小化し得る。従って、原稿の変位が2方向である場合、ステップS220~S230のループ処理においては、第1読取画像と第2読取画像とを近づける方向への移動と、遠ざける方向への移動とを試行し、差分合計値を取得することになる。また、ステップS235においては、これらの移動方向のいずれかによって取得されたずれ量を正、逆方向への移動によって取得されたずれ量を負としてずれ量が取得される。
上述の実施形態において直線が読み取られて合成される非直線は、連続した線の向きが一方向ではない線であれば良い。従って、連続した線の少なくとも一カ所に屈曲点を有する図形であってもよいし、曲線であっても良いし、これらの組み合わせであっても良い。すなわち、上述の実施形態においては、基準読取位置から原稿が変位した状態であっても、重複領域に存在する直線が変形されるため、線の角度が原稿上の直線と異なる角度になり得る。しかし、当該角度の変化を許容すれば線を分離させることなく一本の線として読み取ることができる。
なお、重複領域に存在する直線は、原稿上で直線であり、原稿の位置の変位がなければ直線として読み取られるべき図形であれば良い。従って、本の綴じ部など、原稿自体が曲がった状態でスキャンされるとしても、原稿を平面にした場合に直線になる図形が主走査方向、副走査方向に傾斜していれば、重複領域上で主走査方向に非平行かつ非垂直である直線に該当し得る。
さらに、直線が中央部と両端部を有する非直線として合成される構成において、中央部は、両端部よりも主走査方向に近い角度(両端部よりも中央部の方が主走査方向との鋭角の交差角が小さい状態)であればよい。すなわち、合成部11により、主走査方向への画像の拡大が行われた場合、主走査方向に非平行かつ非垂直の線は主走査方向に近い角度になるように変形するため、中央部は、当該変形を反映した角度の線であれば良い。両端部は、当該角度の線の両端に位置する線であり、拡大等の変形が行われない、または変形の影響が少ない部分である。従って、中央部は主に重複領域上の図形の読み取り結果であり、両端部は主に重複領域外の図形(または変形されない領域の図形)の読み取り結果で構成される。
基準読取位置は、適正な原稿の位置であれば良く、スキャナー1の態様に応じて種々の決め方を採用可能である。例えば、ADF(オートドキュメントフィーダー)で原稿を搬送しながらスキャンするスキャナー1であれば、例えば原稿搬送路内の特定の位置が基準読取位置となり、原稿台に載せられた原稿をスキャンするスキャナー1であれば、例えば原稿台に原稿が載せられた状態における原稿台と原稿との接触位置が基準読取位置となる。
ずれ量は、第1読取画像と第2読取画像との一致度合いに基づいて取得されれば良く、一致度合いは、同じ位置を読み取った第1読取画像と第2読取画像とが本来の位置からどの程度ずれているのかを特定するために定義されれば良い。従って、第1読取画像と第2読取画像との中で、同じ位置の読み取り結果が含まれ得る範囲について検証されれば良く、例えば、重複領域を読み取る画素の範囲が予め決められており、当該範囲について第1読取画像と第2読取画像とが移動され、一致度が検証されて良い。また、一致度は、第1読取画像と第2読取画像とが類似している程、高い一致度になるように定義されれば良い。
さらに、ずれ量を特定する際に解析される画像の濃淡は、ラインセンサーの検出値を反映した値であれば良く、ラインセンサー素子の出力値であっても良いし、ガンマ補正等の画像処理後の値であっても良いし、色成分毎の階調値であっても良いし、明度等の値であっても良く、種々の構成を採用可能である。
さらに、上述の実施形態において、変形率はずれ量に応じて線形的に変化したが、変形率は、ずれ量が大きい場合に小さい場合よりも増大する構成であればよい。すなわち、ずれ量に応じて変形率が連続的または段階的に変化する構成であれば良い。
さらに、上述の実施形態において補正部13は、ずれ量(第1読取画像と第2読取画像との主走査方向への相対的なずれ量)に基づいて、明るさや鮮鋭度の補正を実行するが、他の構成であっても良い。例えば、取得部12によって原稿の基準読取位置からの変位の程度を取得し、補正部13によって合成後の画像を当該変位の程度に基づいて補正する構成であっても良い。
すなわち、原稿の基準読取位置からの変位の程度が直接的に取得されれば、当該原稿の基準読取位置からの変位に起因する画質の低下を解消または低減する補正を行うことが可能である。当該ずれは、例えば、スキャナー1が備えるセンサー(距離センサー等)によって測定される構成等を採用可能である。なお、変位の程度は、基準読取位置からの変位量として取得されても良いし、他の構成、例えば、変位の状態が異なる2状態において相対的に変位の程度が取得される構成等が採用されても良い。
さらに、補正部13による補正の手法は、上述の手法の他にも種々の手法を採用可能である。例えば、補正部13が、補正対象領域の外部の画像に基づいて補正対象領域の内部の画像を補正する構成が採用されてもよい。すなわち、補正対象領域は原稿の変位に起因して明るさの低下や鮮鋭度の低下等の画質低下が発生し得るが、その外部においては、原稿の変位に起因する画質低下は発生していないと推定される。そこで、補正対象領域の外部の画像を解析すれば、補正対象領域内の画質低下を解消するまたは低減する補正を特定することができる。例えば、補正対象領域外の明るさや鮮鋭度に近づくように補正対象領域内の画像を補正することにより、画質の低下を解消または低減することができる。
この構成は、例えば、補正対象領域の内部をその周辺の下地の色に基づいて補正する構成等として実現される。より具体的には、ずれ量1による最大限の明るさの低下を補正する係数として係数Kmaxを予め定義しておく。そして、補正部13が、補正係数1/(1-Kmax×各画素のずれ量)を各画素の濃度値に対して乗じることによって各画素の仮の濃度値を取得し、当該仮の濃度値が原稿の下地の色よりも明るい場合には画素の色を下地の色とし、当該仮の濃度値が原稿の下地の色よりも暗い場合には画素の色を仮の濃度値とみなす構成等によって実現可能である。
1…スキャナー、10…コントローラー、11…合成部、12…取得部、13…補正部、14…同資料、21…センサー、21a…ラインセンサー、21a1…第1ラインセンサー、21a2…第2ラインセンサー、31…光源、41…副走査装置、50…原稿台、51…カバー、61…光学部、61a…反射鏡、61b…反射鏡、70…通信部、80…操作部、90…コンピューター

Claims (4)

  1. 第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーであって、
    前記第1センサー列と前記第2センサー列とが主走査方向に並ぶとともに、読取領域が一部重複し、
    主走査方向に非平行かつ非垂直であるフラットベット上の直線を前記第1センサー列と前記第2センサー列とで一部を重複して読み取った場合に、前記直線の一部であり、主走査方向に並ぶ複数の画素を主走査方向に変形した画像として合成して外部へ出力する合成部を備えるスキャナー。
  2. 前記変形した画像は、両端部と中央部とを有する線の画像であって、
    主走査方向との間の角度のうち小さい側の角度は、中央部の方が両端部よりも小さい、
    請求項1に記載のスキャナー。
  3. 第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーであって、前記第1センサー列と前記第2センサー列とが主走査方向に並ぶとともに読取領域が一部重複するスキャナーを制御するコンピューターを、
    主走査方向に非平行かつ非垂直であるフラットベット上の直線を前記第1センサー列と前記第2センサー列とで一部を重複して読み取った場合に、前記直線の一部であり、主走査方向に並ぶ複数の画素を主走査方向に変形した画像として合成して外部へ出力する合成部、
    として機能させるスキャンプログラム。
  4. 第1センサー列と第2センサー列とによって読み取った画像を合成するスキャナーであって、前記第1センサー列と前記第2センサー列とが主走査方向に並ぶとともに読取領域が一部重複するスキャナーを用いてスキャンデータを生産する方法であって、
    主走査方向に非平行かつ非垂直であるフラットベット上の直線を前記第1センサー列と前記第2センサー列とで一部を重複して読み取った場合に、前記直線の一部であり、主走査方向に並ぶ複数の画素を主走査方向に変形した画像として合成して外部へ出力する、
    スキャンデータの生産方法。
JP2017009167A 2017-01-23 2017-01-23 スキャナー、スキャンプログラムおよびスキャンデータの生産方法 Active JP7153424B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017009167A JP7153424B2 (ja) 2017-01-23 2017-01-23 スキャナー、スキャンプログラムおよびスキャンデータの生産方法
CN201711460325.8A CN108347541B (zh) 2017-01-23 2017-12-28 扫描仪、非易失性存储介质以及扫描数据的生成方法
US15/859,921 US10659653B2 (en) 2017-01-23 2018-01-02 Scanner that combines images read by first and second sensor arrays, scan program, and method of producing scan data
EP18153019.7A EP3352443B1 (en) 2017-01-23 2018-01-23 Scanner, scan program, and method of producing scan data
JP2022074406A JP2022105122A (ja) 2017-01-23 2022-04-28 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017009167A JP7153424B2 (ja) 2017-01-23 2017-01-23 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022074406A Division JP2022105122A (ja) 2017-01-23 2022-04-28 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Publications (2)

Publication Number Publication Date
JP2018121100A JP2018121100A (ja) 2018-08-02
JP7153424B2 true JP7153424B2 (ja) 2022-10-14

Family

ID=61027476

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017009167A Active JP7153424B2 (ja) 2017-01-23 2017-01-23 スキャナー、スキャンプログラムおよびスキャンデータの生産方法
JP2022074406A Pending JP2022105122A (ja) 2017-01-23 2022-04-28 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022074406A Pending JP2022105122A (ja) 2017-01-23 2022-04-28 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Country Status (4)

Country Link
US (1) US10659653B2 (ja)
EP (1) EP3352443B1 (ja)
JP (2) JP7153424B2 (ja)
CN (1) CN108347541B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037714A (ja) * 2016-08-29 2018-03-08 セイコーエプソン株式会社 スキャンシステムおよび画像データの生成方法
JP2022167412A (ja) * 2021-04-23 2022-11-04 キヤノン株式会社 画像読取装置、その制御方法、及びプログラム
CN116156342B (zh) * 2023-04-04 2023-06-27 合肥埃科光电科技股份有限公司 多线阵图像传感器拼接方法、线阵采像系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336440A (ja) 2006-06-19 2007-12-27 Ricoh Co Ltd 繋ぎ目画像データ補正方法、画像読み取り装置及び画像形成装置
JP2009135919A (ja) 2007-11-07 2009-06-18 Ricoh Co Ltd 画像読取装置、画像形成装置および画像データ処理プログラム
JP2015201843A (ja) 2014-04-04 2015-11-12 キヤノン株式会社 画像読取装置及びその補正方法
WO2016147832A1 (ja) 2015-03-16 2016-09-22 三菱電機株式会社 画像読取装置及び画像読取方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61277254A (ja) * 1985-05-31 1986-12-08 Dainippon Screen Mfg Co Ltd 画像読取装置
US6233066B1 (en) * 1997-08-06 2001-05-15 Matsushita Electric Industrial Co., Ltd. Image processing apparatus, method for image processing, and image reader apparatus
US6348981B1 (en) * 1999-01-19 2002-02-19 Xerox Corporation Scanning system and method for stitching overlapped image data
US7460279B2 (en) 2004-09-08 2008-12-02 Ricoh Company, Ltd. Adjustment method, image reading device, and image forming apparatus for adjusting read sensors
WO2008013527A1 (en) 2006-07-26 2008-01-31 Hewlett-Packard Development Company, L.P. Segmented reflective optical system
JP4864021B2 (ja) 2008-02-12 2012-01-25 株式会社リコー 画像読取装置及び画像形成装置
JP5202267B2 (ja) * 2008-12-11 2013-06-05 三菱電機株式会社 画像読取装置
JP4947072B2 (ja) * 2009-03-04 2012-06-06 三菱電機株式会社 画像読取装置
JP5609288B2 (ja) * 2009-07-30 2014-10-22 株式会社リコー 画像読取装置
JP5495710B2 (ja) * 2009-10-22 2014-05-21 三菱電機株式会社 画像結合装置及び画像結合位置算出方法
JP2012109737A (ja) * 2010-11-16 2012-06-07 Mitsubishi Electric Corp 画像結合装置、画像結合方法、画像入出力システム、プログラム、及び記録媒体
JP5821563B2 (ja) * 2011-11-21 2015-11-24 三菱電機株式会社 画像読取装置および画像読取方法、並びにmtf補正パラメータ決定方法
JP5925161B2 (ja) * 2013-06-28 2016-05-25 京セラドキュメントソリューションズ株式会社 画像読取装置、画像形成装置、画像読取方法
US9936098B2 (en) * 2015-04-09 2018-04-03 Mitsubishi Electric Corporation Image combination device, image reading device and image combination method
JP6536183B2 (ja) * 2015-06-01 2019-07-03 富士ゼロックス株式会社 画像読取装置及びプログラム
CN105787202B (zh) * 2016-03-22 2019-04-02 北京卫星环境工程研究所 基于自动化裁床需求的卫星保护罩cad电子图纸快速处理方法
JP6759662B2 (ja) * 2016-03-30 2020-09-23 コニカミノルタ株式会社 画像読み取り装置、同装置における読み取りガラス面の異物検出方法及び異物検出プログラム
CN107547772B (zh) * 2016-06-28 2020-08-21 精工爱普生株式会社 扫描仪、传感器芯片

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336440A (ja) 2006-06-19 2007-12-27 Ricoh Co Ltd 繋ぎ目画像データ補正方法、画像読み取り装置及び画像形成装置
JP2009135919A (ja) 2007-11-07 2009-06-18 Ricoh Co Ltd 画像読取装置、画像形成装置および画像データ処理プログラム
JP2015201843A (ja) 2014-04-04 2015-11-12 キヤノン株式会社 画像読取装置及びその補正方法
WO2016147832A1 (ja) 2015-03-16 2016-09-22 三菱電機株式会社 画像読取装置及び画像読取方法

Also Published As

Publication number Publication date
US10659653B2 (en) 2020-05-19
JP2018121100A (ja) 2018-08-02
JP2022105122A (ja) 2022-07-12
CN108347541A (zh) 2018-07-31
US20180213118A1 (en) 2018-07-26
EP3352443A1 (en) 2018-07-25
EP3352443B1 (en) 2022-06-22
CN108347541B (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
JP2022105122A (ja) スキャナー、スキャンプログラムおよびスキャンデータの生産方法
US10397434B2 (en) Scanner that combines images read by first and second sensor arrays, scan program, and method of producing scan data
JP4771569B2 (ja) 歪み補正方法、及び歪み補正装置
US8374460B2 (en) Image processing unit, noise reduction method, program and storage medium
US8564829B2 (en) Image processing apparatus, method, and computer-readable medium for converting frames of image data to higher resolution image data
JP6213182B2 (ja) 画像形成装置及び濃度ムラの補正方法
JP7153425B2 (ja) スキャナー、スキャンプログラムおよびスキャンデータの生産方法
US7969626B2 (en) Scanner and method of scanning
US7839545B2 (en) Image reading apparatus correcting noise in image data
US20100053694A1 (en) Image reading apparatus and information processing apparatus, and image reading method and information processing method
US20130057926A1 (en) Image compensation in regions of low image contrast
US9036219B2 (en) Image processing device and image processing method for preventing image quality deterioration
US8330997B2 (en) Image processing apparatus, image forming apparatus and image processing method
US8416469B2 (en) Image processing apparatus, image processing method and computer program
JP2000261653A (ja) 画像処理装置
KR101610756B1 (ko) 스캐너 및 컬러 부정합 보정 방법
US11601566B2 (en) Image reading device, image reading program, image processing device, and image processing program
JP2008252292A (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
US20080024824A1 (en) Data processing method and multifunction printer
JP2005057381A (ja) 画像読取装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210507

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210511

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210618

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210622

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211130

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220823

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220920

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7153424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150