JP6488735B2 - 補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム - Google Patents

補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム Download PDF

Info

Publication number
JP6488735B2
JP6488735B2 JP2015019653A JP2015019653A JP6488735B2 JP 6488735 B2 JP6488735 B2 JP 6488735B2 JP 2015019653 A JP2015019653 A JP 2015019653A JP 2015019653 A JP2015019653 A JP 2015019653A JP 6488735 B2 JP6488735 B2 JP 6488735B2
Authority
JP
Japan
Prior art keywords
correction data
blank
image
data generation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015019653A
Other languages
English (en)
Other versions
JP2016144093A (ja
Inventor
瀬川 哲
哲 瀬川
昌並 沖
昌並 沖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015019653A priority Critical patent/JP6488735B2/ja
Publication of JP2016144093A publication Critical patent/JP2016144093A/ja
Application granted granted Critical
Publication of JP6488735B2 publication Critical patent/JP6488735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラムに関する。
スタンド型画像入力装置など、撮像対象物である原稿と撮像部とが離れている画像入力装置では、影の映り込みなどにより撮像画像に明るさレベルのムラ(斑)が生じる場合がある。これに対して、何も書かれておらずムラのない白色、かつ、撮像部の視野範囲(撮像範囲)を超える大きさの、専用の白基準シートを用意し、画像入力装置が当該白基準シートを撮像して得られた画像データから補正用データを生成する方法がある。白基準シートに影が映り込んでいれば、その部分の明るさレベルが小さくなる(暗くなる)ので、明るさレベルが小さい部分の明るさレベルを大きくする(明るくする)補正用データを生成する。この補正用データを用いて、撮像対象を撮像した際の画像データにおいて、影が映り込んでいる部分の明るさレベルを大きくする補正を行う。
また、特許文献1に記載の画像補正装置では、画像読取装置により物体の画像をプリスキャンして得られる第1読取画像を画像解析することにより画像補正領域を特定し、画像読取装置による読取をプリスキャンから本スキャンに切り替えて物体の画像を読み取って得られる第2読取画像から画像解析で特定される画像補正領域に基づいて影補正対象領域を特定し、影補正対象領域の影補正を実行する。
特許文献1では、これにより、外光変化が生じても画像の輝度ばらつきを低減し、良好な物体読取画像を得ることができる、とされている。
また、特許文献2に記載の画像入力装置では、角度検出部は、被写体載置台および支柱の挟角θを検出する。制御部は、挟角θに応じて補正メモリから読み出される第1補正係数に基づいて複数のLEDの発光強度を個別に制御する。CCDで光電変換された画像信号は、プロセス部で画像処理される。A/D変換回路は、画像信号をディジタル信号に変換してシェーディング補正回路に送る。シェーディング補正回路は、補正メモリから読み出される第2補正係数に応じて画像信号の信号レベルを調整する。D/A変換回路は、シェーディング補正回路で補正された画像信号をアナログ映像信号に変換する。アナログ映像信号は、外部の表示用モニターなどに出力される。
特許文献2では、これにより、画像入力装置の光源部を構成する個々のLEDの発光強度を変えて照明むらを緩和する、とされている。
また、特許文献3に記載の画像読取方法は、撮像対象物を置く原稿台と入射光量に対応する信号を出力するエリアイメージセンサと前記エリアイメージセンサで前記原稿台及び前記原稿台に置かれた原稿をカラー撮影するための光学系と、白と異なる色の原稿台を読取って得た原稿台読取画像データと予め既知の若しくは画像データから得た原稿台反射率に対応する値を用いて白色の読取画像データを推定してシェーディングデータを生成するシェーディングデータ推定部とを備える。
特許文献3では、これにより、基準シートを用いずにシェーディングデータ取得が可能となり、基準シートを置く煩わしい手間を省くことができ、使い勝手の向上を図れる、とされている。
特開2011−035876号公報 特開2001−298595号公報 特開2008−199556号公報
専用の白基準シートを用いて補正用データを生成する方法では、当該白基準シートを用意し、かつ、画像入力装置の撮像部の視野範囲全体を覆うように白基準シートを正確に置く必要がある。このことから、補正の方法を受講した保守員のみが補正用データ生成の作業を行うといった運用がなされており、補正用データの生成が制限されている。仮に、白基準シートを紛失した場合など、原稿サイズの白紙で代用する場合、白紙を真っ直ぐに置いていない、白紙が折れ曲がっている、また、若干の書き込みがあるなどにより、必要とされる視野範囲内に白以外の部分が発生することが考えられる。白以外の部分が発生することで、適切な補正用データを得られない可能性がある。
また、特許文献1に記載の画像補正装置では、プリスキャンおよび本スキャンの2回の画像読取を行うこと、および、プリスキャンと本スキャンとの間に影補正のための画像解析を行うことから、予め画像補正用データを生成しておく方法と比較すると、画像取得に要する時間が長くなる。
また、特許文献2に記載の画像入力装置では、影の形状が複雑な場合や、影による濃度差が急峻である場合に、影を複雑な形状に対応させて消すことや、急峻な濃度差に対応させて消すことは困難と思われ、この点で影の除去の精度が低くなる。
また、特許文献3に記載の画像読取方法では、何も載置しない原稿台そのものの画像からシェーディングデータを生成しており、極端に暗い原稿が置かれた場合には、何も原稿が置かれていない状態と区別ができず、生成されるシェーディングデータの精度が低下する可能性がある。
本発明は、上述の課題を解決することのできる補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラムを提供することを目的としている。
本発明の第1の態様によれば、補正用データ生成装置は、画像データを取得する画像データ取得部と、前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出部と、前記非白紙部分検出部による前記非白紙部分の検出結果、および、前記画像データのうち白紙の像に対応する部分のデータとして前記非白紙部分検出部が検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定部と、前記補正用データ生成可否判定部が、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成部と、を備える。
本発明の第2の態様によれば、補正用データ生成システムは、画像入力装置と、補正用データ生成装置とを備え、前記画像入力装置は、光電変換を行って白紙の像を含む画像データを生成する撮像部を備え、前記補正用データ生成装置は、前記画像入力装置から画像データを取得する画像データ取得部と、前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出部と、前記非白紙部分検出部による前記非白紙部分の検出結果、および、前記画像データのうち白紙の像に対応する部分のデータとして前記非白紙部分検出部が検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定部と、前記補正用データ生成可否判定部が、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成部と、を備える。
本発明の第3の態様によれば、補正用データ生成方法は、補正用データ生成装置が、画像データを取得する画像データ取得ステップと、前記補正用データ生成装置が、前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出ステップと、前記補正用データ生成装置が、前記非白紙部分検出ステップでの前記非白紙部分の検出結果、および、前記画像データのうち白紙の像に対応する部分のデータとして前記非白紙部分検出ステップで検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定ステップと、前記補正用データ生成装置が、前記補正用データ生成可否判定ステップで、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成ステップと、を有する。
本発明の第4の態様によれば、プログラムは、コンピュータに、画像データを取得する画像データ取得ステップと、前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出ステップと、前記非白紙部分検出ステップでの前記非白紙部分の検出結果、および、前記画像データのうち白紙の像に対応する部分のデータとして前記非白紙部分検出ステップで検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定ステップと、前記補正用データ生成可否判定ステップで、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成ステップと、を実行させるためのプログラムである。
本発明によれば、専用の白基準シートを必要とせず、比較的高精度な補正用データを取得することができ、かつ、補正を実行する際にプリスキャンを行う必要がない。
本発明の第1の実施形態における画像入力システムの装置構成の例を示す概略構成である。 同実施形態における処理装置の機能構成を示す概略ブロック図である。 画像入力装置専用の白基準シートの外形の例を示す概略外形図である。 白基準シートを原稿台に載置する際の向きを示す説明図である。 白基準シートの窪みと、ガイドの突起部との対応関係を示す説明図である。 同実施形態における画像入力システムで用いられる白紙の外形を、白基準シートとの比較にて示す説明図である。 同実施形態における非白紙部分検出部が非白紙部分として検出する部分の例を示す説明図である。 同実施形態における非白紙部分と画素との関係の例を示す説明図である。 同実施形態における補正用データ生成部が行う画素値の代表値の変換の例を示す説明図である。 同実施形態における補正用データ生成部が行う画素値の代表値の変換の、もう1つの例を示す説明図である。 同実施形態における処理装置が行う、補正用データを生成する処理の手順を示すフローチャートである。 同実施形態における、影が映り込んだ白紙の画像の例を示す説明図である。 同実施形態における、補正された白紙の画像の例を示す説明図である。 本発明の第2の実施形態における処理装置の機能構成を示す概略ブロック図である。 同実施形態における、裏うつりのある白紙の画像の例を示す説明図である。 同実施形態における処理装置が行う、補正用データを生成する処理の手順を示すフローチャートである。 同実施形態における処理装置が行う、裏うつり検出による補正用データ生成の処理の手順を示すフローチャートである。 同実施形態において、ユーザが白紙を移動させる例を示す説明図である。 本発明に係る補正用データ生成装置の最小構成を示す概略ブロック図である。 本発明に係る補正用データ生成システムの最小構成を示す概略ブロック図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
<第1の実施形態>
図1は、本発明の第1の実施形態における画像入力システムの装置構成の例を示す概略構成である。同図において、画像入力システム1は、画像入力装置100と、処理装置200とを備える。画像入力装置100は、原稿台110と、スタンド部120と、撮像部130とを備える。撮像部130は、鏡131と、レンズ132と、イメージセンサ133とを備える。
ここでいう画像入力装置とは、写真、絵、図柄、文字、またはこれらの組み合わせの画像を画像データにて他の装置に送信(入力)するための装置である。また、ここでいう画像入力システムとは、画像入力装置を備えるシステムである。
画像入力システム1は、画像入力装置100にて撮像を行って画像データを生成し、得られた画像データに対して、影の映り込みや照明の具合などによる明るさレベルのムラを除去または軽減する補正を行う。なお、ここでいう撮像とは、画像入力装置100など画像データを生成する装置が、当該装置に入力された光を光電変換して画像データを生成することである。画像入力装置100が、動作状態において常時、撮像を行うようにしてもよい。あるいは、画像入力装置100が、画像入力システム1のユーザが指示するタイミングで撮像を行うなど、所定のタイミングで撮像を行うようにしてもよい。以下では、画像入力システム1のユーザを、単にユーザと称する。また、ユーザが行う操作をユーザ操作と称する。
また、ここでいう明るさレベルとは、明度または輝度である。原稿など光を反射するものの場合、明度を明るさレベルと称する。一方、原稿の画像を表示する画面など自ら光を発するものの場合、輝度を明るさレベルと称する。画像データにおいて明るさレベルは画素値にて示される。画素値が大きいほど明るさレベルは明るくなる。なお、画像データにおいて画素毎にRGB(赤、緑、青)の3つの画素値を有するなど複数の画素値を有する場合、例えば複数の画素値の合計にて明るさレベルが示される。
ここで、図1に示されるように、画像入力装置100は、撮像対象物(画像入力装置100によって撮像される物)を載置される原稿台110と、撮像を行う撮像部130とが離れて設けられている、スタンド型あるいは書画カメラ型の画像入力装置であり、影の映り込みや照明の具合などによるムラが生じ得る。図1の例では、原稿台110に撮像対象物910が載置されており、照明機器920からの光により撮像対象物910が照らされている。また、置物930によって照明機器920からの光が遮られ、撮像対象物910に置物930の影931が映り込んでいる。この状態で画像入力装置100が撮像を行うと、影931の映り込みによるムラのある画像が得られる。そこで、画像入力システム1は、画像データに対して、画像における明るさレベルのムラを除去または軽減する補正を行う。
なお、画像入力システム1が、補正にて得られた画像データを他の機器に出力するようにしてもよいし、画像として表示するようにしてもよい。
また、画像入力システム1は、補正用データ生成システムの例に該当し、画像データに対する補正の前処理として補正用データを生成する処理を行う。ここでいう補正用データは、画像データに対する補正に用いられるデータである。例えば、補正用データは、画像データの画素毎に明るさレベルの補正値を示すデータであり、画像入力システム1は、補正用データを用いて画像データの明るさレベルを補正する。なお、画像入力システム1が、補正用データを用いて画像データの明るさレベルに加えて色合いも補正するようにしてもよい。
画像入力装置100は、撮像対象物を撮像して画像データを生成し、得られた画像データを処理装置200へ出力する。
画像入力装置100における撮像対象物は、いろいろなものであってよいが、特に、書類、写真、または、書籍など、文字、静止画像(例えば、写真画像または絵)、または、これらの組み合わせを示すものであってもよい。撮像対象物に文字が記載されている場合、得られた撮像画像にムラがあると、ムラのある部分に書かれた文字を認識しづらくなる点で、ムラを除去または軽減する補正が有効である。また、撮像対象物に静止画像が掲載されている場合、得られた撮像画像からムラを除去または軽減して元の静止画像に近付けるために補正が有効である。以下では、画像入力システム1によって撮像され画像データを補正される撮像対象物を原稿と称する。
また、画像入力システム1が補正用データを生成する処理を行う場合、撮像対象物として白紙が設置され、画像入力装置100は、白紙の画像データを処理装置200へ出力する。ここでいう白紙の画像データとは、白紙を撮像して得られる画像データである。後述するように、ここで用いられる白紙は画像入力システム1専用の紙である必要は無く、例えばA4普通紙など一般的な規格の大きさの普通紙でよい。
原稿台110は、撮像対象物を載置するための台である。具体的には、原稿台110には、原稿が載置される。また、画像入力システム1が補正用データを生成する処理を行う場合、原稿台110には白紙が載置される。
スタンド部120は、撮像部130を原稿台110より距離をおいて支持する。スタンド部120によって撮像部130と原稿台110との間に距離が設けられていることで、撮像部130が原稿台110に載置された撮像対象物を撮像する際に、必要な視野範囲を確保することができる。
撮像部130は、撮像対象物を撮像して画像データを生成する。具体的には、撮像部130は、撮像対象物からの光(照明機器920から出力され撮像対象物にて反射した光)を光電変換し、得られたアナログの画像データをデジタル変換して、デジタルの画像データを生成する。
鏡131は、撮像対象物からの光をレンズ132に向けて反射させる。
レンズ132は、鏡131を経由して得られる撮像対象物からの光を、イメージセンサ133の位置で集光させる。これにより、イメージセンサ133の位置で撮像対象物の像が結ばれる。
イメージセンサ133は、レンズ132によって集光された撮像対象物からの光を光電変換して、アナログの電気信号による画像データを生成する。例えば、イメージセンサ133が、CCD(Charge Coupled Device)イメージセンサを備えて光電変換を行うようにしてもよいし、CMOS(Complementary MOS、相補型MOS)イメージセンサを備えて光電変換を行うようにしてもよい。
イメージセンサ133が生成するアナログの画像データを、撮像部130が、デジタルの画像データに変換する。撮像部130が、イメージセンサ133としてデジタルのイメージセンサ(デジタル信号にて画像データを出力するイメージセンサ)を備えるようにしてもよい。あるいは、撮像部130が、イメージセンサ133の外部にアナログ/デジタル変換部を備えて、イメージセンサ133からのアナログ信号をデジタル信号に変換するようにしてもよい。
なお、撮像対象物からの光が直接レンズ132に到達し、レンズ132を経由した光がイメージセンサ133に到達する位置および向きに、レンズ132およびイメージセンサ133を配置し、撮像部130が鏡131を備えない構成としてもよい。
処理装置200は、画像入力装置100が原稿を撮像して出力する画像データに対して、影の映り込みや照明の具合などによる明るさレベルのムラを除去または軽減する補正を行う。処理装置200が、補正にて得られた画像データを他の機器に送信するようにしてもよいし、画像にて表示部230に表示するようにしてもよい。
また、処理装置200は、補正用データ生成装置の例に該当し、画像入力装置100が白紙を撮像して出力する画像データに基づいて補正用データを生成する。
処理装置200は、例えばパーソナルコンピュータ(Personal Computer;PC)などのコンピュータを用いて構成される。あるいは、処理装置200が画像入力システム1専用に設計された装置であってもよい。
図2は、処理装置200の機能構成を示す概略ブロック図である。同図において、処理装置200は、画像データ取得部210と、操作入力部220と、表示部230と、記憶部270と、制御部280とを備える。制御部280は、補正用データ処理部281と、補正処理部291とを備える。補正用データ処理部281は、非白紙部分検出部282と、補正用データ生成可否判定部283と、補正用データ生成部284とを備える。また、同図において、画像入力装置100の撮像部130が示されている。
画像データ取得部210は、画像入力装置100がデジタル信号にて出力する画像データを取得する。特に、画像入力システム1が、原稿の画像データを取得して補正する処理において、画像データ取得部210は、原稿の画像データ(撮像部130が原稿を撮像して得られる画像データ)を取得する。また、画像入力システム1が補正用データを生成する処理において、画像データ取得部210は、白紙の画像データ(撮像部130が白紙を撮像して得られる画像データ)を取得する。
例えば、画像データ取得部210は通信回路を備え、画像入力装置100が送信する画像データを受信する。
操作入力部220は、例えばキーボードなどの入力デバイスを備え、ユーザ操作を受け付ける。
表示部230は、例えば液晶パネルなどの表示画面を備え、各種画像を表示する。特に、表示部230は、画像入力システム1が補正用データを生成する処理において、補正用データ生成可否判定部283が、補正用データ生成不可と判定した場合に出力する、補正用データ生成不可を示す警告のメッセージを表示する。
記憶部270は、処理装置200が備える記憶デバイスを含んで構成され、各種データを記憶する。特に、記憶部270は、補正用データ生成部284が生成する補正用データを記憶する。
制御部280は、処理装置200の各部を制御して各種処理を実行する。制御部280は、例えば、処理装置200が備えるCPU(Central Processing Unit、中央処理装置)が、記憶部270からプログラムを読み出して実行することで実現される。
補正用データ処理部281は、補正用データを生成する処理を行う。特に、補正用データ処理部281は、画像データ取得部210が取得する白紙の画像データに基づいて補正用データを生成可能か否か判定し、補正用データ生成可能と判定した場合、当該画像データに基づいて補正用データを生成する。
非白紙部分検出部282は、画像データ取得部210が取得する白紙の画像データが示す画像のうち、白紙の像以外の部分を検出する。ここで、画像入力システム1が補正用データを生成する処理において原稿台110に載置される白紙は、撮像部130の視野範囲よりも小さい(狭い)ものでよく、撮像部130が生成する画像データが示す画像には、白紙の像以外の部分が含まれ得る。この点について、図3〜図6を参照して、画像入力システム1に用いられる白紙と、画像入力装置専用の白基準シートとの比較にて説明する。
図3は、画像入力装置専用の白基準シートの外形の例を示す概略外形図である。同図において、白基準シート1010はおよそ長方形の形状をしており、また、白基準シート1010の上辺および左辺には窪み1011が設けられている。白基準シート1010は、何も書かれておらずムラのない白色、かつ、撮像部の視野範囲を超える大きさのシートである。
画像入力装置による撮像画像における明るさレベルのムラを補正するための補正用データを生成する方法として、白基準シート1010が原稿台に載置された状態で撮像を行い、得られた画像データに基づいて補正用データを生成する方法がある。白基準シート1010に影が映り込んでいれば、その部分の明るさレベルが小さくなるので、明るさレベルが小さい部分の明るさレベルを大きくする補正用データを生成する。
ここで、画像入力装置では、原稿が原稿台にまっすぐに載置されなかった場合や、載置指定位置から多少ずれて載置された場合を想定して、撮像部の視野範囲が、原稿台に載置された最大サイズの原稿よりも広い視野範囲に設定されていることが一般的である。例えば、A4サイズ対応の画像入力装置では、撮像部が、原稿台に載置されたA4サイズの原稿を撮像する際に、原稿の周囲を含んで撮像するようにA4サイズよりも大きい(広い)視野範囲が設定されていることが一般的である。
この視野範囲全体について補正用データを生成するために、視野範囲を超える大きさの白基準シート1010が用いられる。従って、白基準シート1010の大きさは、原稿の最大サイズよりも大きくなっている。
仮に、白基準シート1010が原稿台に載置された状態で撮像を行い、得られた画像データに基づいて補正用データを生成する方法において、白基準シート1010に代えて原稿サイズの普通紙を用いた場合、撮像部の視野範囲のうち普通紙の像以外の部分では原稿台の像が撮像される。普通紙の明度と原稿台の明度との違いにより、原稿台の像が撮像された部分については、適切な補正用データを得られない可能性がある。
また、図3に示すように、白基準シート1010には窪み1011が設けられている。
図4は、白基準シート1010を原稿台に載置する際の向きを示す説明図である。白基準シート1010を原稿台1110に載置する際、載置を行う者は、同図に示すように、窪み1011がある部分を原稿台1110のガイド1111に合せて載置する。
図5は、白基準シート1010の窪み1011と、ガイド1111の突起部1112との対応関係を示す説明図である。突起部1112は、影対策のために設けられている。ここで、原稿をガイド1111に当てた際に、ガイド1111の影が原稿に映り込むのを防止する方法として、ガイド1111のうち原稿に接触する側の端部を薄くすることが考えられる。しかしながら、ガイド1111の端部を薄くすると原稿がガイド1111に乗り上げてしまい、原稿の位置決めをするというガイド1111の役目を果たさなくなる可能性がある。一方、ガイド1111のうち原稿に接触する側の端部が熱くなっていると、その厚みによって影が原稿に比較的きつく投影されてしまう可能性がある。そこで、ガイド1111と原稿との間に隙間を設けてガイド1111による影の影響を低減させるために、突起部1112が設けられている。
また、原稿がガイド1111の向きから少しずれて載置された場合を想定して、突起部1112の先端よりも少し外側(ガイド1111側)の部分まで撮像部の視野範囲に含めることが行われている。このため、突起部1112の先端部よりも少し外側の部分まで白基準シートで覆うことができるように、白基準シートに窪み1011が設けられている。載置を行う者は、図5に矢印で示すように、白基準シート1010の窪み1011を、ガイド1111の突起部1112に突き当てて載置する。
このように、白基準シート1010が原稿台に載置された状態で撮像を行い、得られた画像データに基づいて補正用データを生成する方法では、原稿サイズよりも大きく、かつ、窪みが設けられている専用の白基準シートが必要となる。また、白基準シートを原稿台に載置する際、白基準シートに設けられた窪みを、原稿台のガイドに設けられた突起部につき合わせて、位置および向きを正確に載置する必要がある。
このため、実務での画像入力装置の運用において、補正用データを新規設定または更新する必要が生じた場合、保守教育として白基準シートの載置方法等の講習を受けた保守員に作業を依頼するといった方法が取られており、作業を依頼する者、保守員双方にとって負担となっている。
これに対し、画像入力システム1では、補正用データを新規設定または更新する際、専用の白基準シートを必要とせず、白紙として原稿サイズの普通紙を用いることができる。また、白紙を原稿台に載置する際、位置や向きが多少ずれていても補正用データを得られる。このため、講習を受けた保守員に限らずユーザが直接、白紙を原稿台に載置する等の作業を行うことができる。
図6は、画像入力システム1で用いられる白紙911の外形を、白基準シート1010との比較にて示す説明図である。
同図に示すように、画像入力システム1で用いられる白紙911は、上述した専用の白基準シート1010よりも小さくてよく、また、白基準シートに設けられている窪み1011のような特別な形状を必要としない。例えば、原稿の印刷に用いられる規格サイズ(例えば、JIS規格におけるA4サイズなど)の普通紙を白紙911として用いることができる。
このように、画像入力システム1では、撮像部130の視野範囲よりも小さい白紙を用いることができ、撮像部130が生成する画像データが示す画像には、白紙の像以外の部分が含まれ得る。そこで、非白紙部分検出部282は、画像データ取得部210が取得する白紙の画像データにおける画素値に基づいて、当該画像データが示す画像のうち、白紙の像以外の部分を検出する。例えば、非白紙部分検出部282は、当該画像データが示す各画素と所定の閾値とを比較する。そして、非白紙部分検出部282は、所定の閾値以下の明るさレベルを示していると判定した画素を、白紙の像以外の部分の画素として検出する。
当該検出に際し、非白紙部分検出部282は、白紙に影が映り込んだ部分と、白紙の像以外の部分とを区別する。例えば、原稿台110の上面(原稿や白紙が載置される面)の色(特に明るさレベル。無彩色でもよい)を、白紙に影が映り込んだ場合に想定される明るさレベルよりも暗い色にしておく。そして、非白紙部分検出部282が用いる上記の閾値を、白紙に影が映り込んだ場合に想定される明るさレベルよりも暗く、かつ、原稿台110の上面の明るさレベルよりも明るい閾値にしておく。閾値を、原稿台110の上面の明るさレベルよりも明るく設定するのは、照明の具合等による明るさレベルの変化を想定してマージンを持たせるためである。この閾値を用いて、非白紙部分検出部282は、白紙の像以外の部分を、白紙に影が映り込んだ部分と区別して検出する。
あるいは、原稿台110の上面の色を所定の有彩色にしておき、非白紙部分検出部282が、当該有彩色を検出することで、白紙の像以外の部分を検出するようにしてもよい。
以下では、画像データ取得部210が取得する白紙の画像データが示す画像のうち、非白紙部分検出部282が白紙の像以外の部分として検出する部分を、非白紙部分と称する。
また、非白紙部分検出部282は、非白紙部分の検出により、画像データ取得部210が取得する白紙の画像データのうち、白紙の像に対応する部分以外の部分のデータ(以下、非白紙部分の画像データと称する)を検出する。
また、非白紙部分検出部282は、画像データ取得部210が取得する白紙の画像データが示す画像のうち、非白紙部分以外の部分を、白紙の像の部分として検出する。以下では、画像データ取得部210が取得する白紙の画像データが示す画像のうち、非白紙部分検出部282が白紙の像の部分として検出する部分を、白紙部分と称する。
また、非白紙部分検出部282は、白紙部分の検出により、画像データ取得部210が取得する白紙の画像データのうち、白紙の像に対応する部分のデータ(以下、白紙部分の画像データと称する)を検出する。
図7は、非白紙部分検出部282が非白紙部分として検出する部分の例を示す説明図である。同図において、領域A101は、撮像部130の視野範囲を示している。白紙911に覆われた領域は、撮像部130の視野範囲(領域A101)よりも狭く、領域A111には原稿台110(の部分)の像が撮像されている。また、領域A112では、白紙911が折れ曲がっていることで、原稿台110(の部分)の像が撮像されている。また、領域A113は、白紙911に対する書込がある領域である。
非白紙部分検出部282は、図7に示される各領域のうち、原稿台110の像が撮像されている領域A111およびA112を非白紙部分として検出する。また、非白紙部分検出部282が各画素の明るさレベルを閾値と比較することで非白色部分を検出する場合、領域A113における書込の明るさレベルが閾値よりも小さい(暗い)ときは、領域A113も非白色部分として検出する。
図8は、非白紙部分と画素との関係の例を示す説明図である。同図では、画像データ取得部210が取得した画像データの一部が示されており、撮像部130の視野範囲を示す領域A200には、白紙の像の部分の領域A210と、白紙の像以外の部分の領域A220とが含まれている。また、画像データ取得部210が取得した画像データにおける画素C200のうち、白紙の像の部分の領域A210に対応する画素を画素C210と表記し、白紙の像以外の部分の領域A220に対応する画素を画素C220と表記する。
上記のように、非白紙部分検出部282は、画素C200の各々の明るさレベルと所定の閾値とを比較する。そして、非白紙部分検出部282は、閾値以下の明るさレベルを示すと判定した画素を、白紙の像以外の部分の領域A220に対応する画素C220として検出する。また、非白紙部分検出部282は、画素C220のうち、画素C220として検出した画素以外の画素(従って、閾値よりも大きい明るさレベルを示すと判定した画素)を、白紙の像の部分の領域A210に対応する画素C210として検出する。
なお、書込の明るさレベルが閾値よりも大きい(明るい)場合や、非白紙部分検出部282が、所定の有彩色を非白紙部分として検出する場合の書込の検出については、第2の実施形態において後述する。
補正用データ生成可否判定部283は、非白紙部分検出部282による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。具体的には、補正用データ生成可否判定部283は、画像データ取得部210が取得する白紙の画像データにおいて、非白紙部分に対応する画素の数を計数し、得られた画素数と所定の閾値(定数)とを比較する。そして、補正用データ生成可否判定部283は、非白紙部分に対応する画素の数が閾値以下であると判定した場合、補正用データ生成可能と判定し、閾値よりも大きいと判定した場合、補正用データ生成不可と判定する。
但し、補正用データ生成可否判定部283が補正用データ生成の可否を判定する方法は、非白紙部分に対応する画素の数に基づく方法に限らない。例えば、補正用データ生成可否判定部283が、白紙部分に対応する画素の数と所定の閾値とを比較して、補正用データ生成の可否を判定するようにしてもよい。あるいは、補正用データ生成可否判定部283が、非白紙部分に対応する画素の数の画像データにおける全画素数に対する割合と、所定の閾値とを比較して、補正用データ生成の可否を判定するようにしてもよい。あるいは、補正用データ生成可否判定部283が、非白紙部分に対応する部分の面積を求め、当該面積の画像全体の面積に対する割合と、所定の閾値とを比較して、補正用データ生成の可否を判定するようにしてもよい。
また、画像入力システム1が明るさレベルの補正に加えて色の補正を行う場合、補正用データ生成可否判定部283が、色に関しても補正用データ生成可否を判定するようにしてもよい。
また、補正用データ生成可否判定部283が、上記の判定では補正用データ生成可能と判定した場合、さらに、画像データ取得部210が取得した画像データのうち、白紙部分のデータとして非白紙部分検出部282が検出した部分の色情報に基づいて、補正用データ生成の可否を判定するようにしてもよい。さらに具体的には、補正用データ生成可否判定部283が、白紙部分の色(従って、白紙の像であるはずの部分の色)が白か否かを判定し、白でないと判定した場合に、補正用データ生成不可と判定するようにしてもよい。
例えば、補正用データ生成可否判定部283は、白紙部分に対応する複数(白紙部分の全画素であってもよいし、一部の画素であってもよい)の画素の画素値を、RGB(赤、緑、青)の色毎に平均する。そして、補正用データ生成可否判定部283は、得られた平均値のRGBの比が所定の範囲にあるか否かを判定する。得られた平均値のRGBの比が所定の範囲内にある場合、補正用データ生成可否判定部283は、補正用データ生成可能と判定する。一方、得られた平均値のRGBの比が所定の範囲内にない場合、補正用データ生成可否判定部283は、補正用データ生成不可と判定する。
ここで、原稿台110に載置された紙に色が付いている場合、色があることで紙の明るさレベルが小さくなることが考えられる。白紙との比較で明るさレベルが大幅に小さくなっている場合、この紙を用いたのでは適切な補正用データを生成できない。そこで、補正用データ生成可否判定部283は、上記の判定により、RGBの比が白と大きく異なると判断される場合に、補正用データ生成不可と判定する。
一方、原稿台110に載置された紙に色が付いていても白色に近い場合は、この紙を用いて適切な補正用データを生成し得る。そこで、補正用データ生成可否判定部283は、上記の判定により、RGBの比が白に近いと判断される場合に、補正用データ生成可能と判定する。
補正用データ生成不可と判定した場合、補正用データ生成可否判定部283は、警告を出力する。例えば、補正用データ生成可否判定部283は、補正用データ生成不可と判定した場合、補正用データを生成できない旨の警告の表示指示を表示部230へ出力し、表示部230が当該警告を文字にて表示する。
但し、補正用データ生成可否判定部283が警告を出力する方法は、表示部230に警告を表示させる方法に限らない。例えば、補正用データ生成可否判定部283がスピーカを備え、表示部230が、補正用データを生成できない旨の警告を音声にて出力するようにしてもよい。あるいは、補正用データ生成可否判定部283が、警告として、補正用データを生成できないことを示す信号を他の機器(処理装置200以外の機器)に送信するようにしてもよい。
補正用データ生成部284は、補正用データ生成可否判定部283が、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する。補正用データの生成する際、補正用データ生成部284は、まず、画像データ取得部210が取得した画像データにおいて、非白紙部分に対応する画素の画素値を、白紙部分であったと仮定した場合の画素値に変換し、得られた画素値に基づいて補正用データを生成する。補正用データ生成部284が、画素値を直接変換するようにしてもよいし、以下に説明するように画素値の代表値を変換するようにしてもよい。
図9は、補正用データ生成部284が行う画素値の代表値の変換の例を示す説明図である。同図に示すグラフは、画像データ取得部210が取得する画像データの画素値のうち、線L111の位置に対応する画素の画素値を示している。線L111の位置は、白紙911を載置された原稿台110において、白紙911に覆われた部分と白紙911のない部分とを含んでいる。
同図に示すグラフの横軸は、線L111における位置を示し、縦軸は、位置毎(画素毎)の明るさレベルを示す。
位置X11は、白紙911に覆われた部分にある点P11の位置に対応する位置である。位置X12は、白紙911に覆われた部分と白紙911のない部分との境にある点P12の位置に対応する位置である。位置X13は、白紙911のない部分にある点P13の位置に対応する位置である。従って、位置X11から位置X12までの区間は、白紙部分に該当する区間である。また、位置X12から位置X13までの区間は、非白紙部分に該当する区間である。
線L121は、画素値が示す明るさレベルを示している。例えば、画像データ取得部210が取得する画像データがモノトーンの画像データである場合、画素値そのものによって明るさレベルが示される。あるいは、画像データ取得部210が取得する画像データが、画素毎にRGB(赤、緑、青)のデータを含む場合、例えば、RGBの合計値によって明るさレベルが示される。画像データ取得部210が取得する画像データが、画素毎にRGB(赤、緑、青)のデータを含む場合、例えば、補正用データ生成部284は、RGBの比を保って画素値の変換を行う。
図9において、白紙部分に該当する位置X11から位置X12までの区間の方が、非白紙部分に該当する位置X12から位置X13までの区間よりも明るさレベルが大きくなっている。
線L131およびL132は、画素値が示す明るさレベルの代表値を示す。線L131は、白紙部分における代表値を示し、線L132は、非白紙部分における代表値を示している。
明るさレベルの代表値として、例えば、移動平均値を用いることができる。具体的には、補正用データ生成部284は、画素毎に、当該画素から所定の距離以内に位置する全ての画素について画素値の平均値を求め、得られた平均値を、当該画素の位置における代表値とする。
但し、補正用データ生成部284が代表値を求める方法は、移動平均による方法に限らない。例えば、補正用データ生成部284が、直線近似または二次曲線近似など、公知の近似方法を用いて画素値を近似することで代表値を求めるようにしてもよい。
線L133は、非白紙部分に該当する位置X12から位置X13までの区間が、白紙部分に該当する区間であったと仮定した場合の代表値の例を示す。補正用データ生成部284は、線L132で示される位置X12から位置X13までの代表値に、白紙911で覆われた部分と白紙911のない部分との境での明るさレベルの低下分(位置X12付近における明るさレベルの低下分)を加算することで、線L133に示される代表値を算出する。これにより、補正用データ生成部284は、線L131が示す明るさレベルに対して大幅に小さい明るさレベルである、線L132が示す明るさレベルを、線L131が示す明るさレベルと同様の大きさの明るさレベルである、線L133が示す明るさレベルに変換する。
このように、補正用データ生成部284は、非白紙部分に該当する位置における明るさレベルを、白紙部分に該当する位置における明るさレベルに近付ける変換を行う。そして、補正用データ生成部284は、後述するように、得られた明るさレベルに基づいて補正用データを生成する。非白紙部分に該当する位置における明るさレベルを、白紙部分に該当する位置における明るさレベルに近付ける変換を行う点で、補正用データ生成部284は、画像データのうち白紙の像に対応する部分のデータとして非白紙部分検出部282が検出した部分のデータに基づいて、非白紙部分の補正用データを生成する。
また、補正用データ生成部284は、非白紙部分に該当する位置における明るさレベルまたは代表値に、白紙911で覆われた部分と白紙911のない部分との境での明るさレベルの低下分を加算することで、白紙部分に該当する位置における明るさレベルに近付ける変換を行う。この点において、補正用データ生成部284は、非白紙部分の画素値の画素間における変化に基づいて、非白紙部分の補正用データを生成する。
なお、補正用データ生成部284が、明るさレベルの低い非白紙部分では、明るさレベルの高い白紙部分よりも明るさレベルの差が出にくいことに対応した変換を行うようにしてもよい。
図10は、補正用データ生成部284が行う画素値の代表値の変換の、もう1つの例を示す説明図である。同図において、図9と同様の部分には同一の符号(110、911、L111、L131、P11、P12、P13、X11、X12、X13)を付して説明を省略する。
図10では、領域A310にガイドの影が映り込んでいる点で、図9の場合と異なる。原稿台110に対して、同図に向かって右側から照明光があたることで、領域A310にガイドの影が出来ている。位置X14は、影のある部分とない部分との境(領域A310の境界)に対応する位置である。
領域A310に影があることで、画素値が示す明るさレベルを示す線L221の形状が、図9における線L131の形状と異なっている。特に、位置X14から位置X13までの区間(影のある領域A310に対応する区間)の明るさレベルが、位置X12から位置X14までの区間(影がない領域に対応する区間)の明るさレベルよりも小さくなっている。
これにより、非白紙部分における代表値を示す線L232の形状も、図9における線L132の形状と異なっている。特に、位置X14から位置X13までの区間の代表値が、位置X12から位置X14までの区間の代表値よりも小さくなっている。
線L233は、非白紙部分に該当する位置X12から位置X13までの区間が、白紙部分に該当する区間であったと仮定した場合の代表値の例を示す。
図9の例では、補正用データ生成部284は、変更前の代表値に対して、位置X12から位置X13までの全ての位置で一律に、白紙911で覆われた部分と白紙911のない部分との境での明るさレベルの低下分を加算している。これにより、線L133は、線L132の形を保ったまま上側(明るさレベルの大きい側)に移動させた線になっている。
これに対して、図10の例では、線L233に示される変更後の代表値では、線L232に示される変更前の代表値から、明るさレベルの違いを強調した値になっている。すなわち、線L233の形状は、線L232を縦方向(明るさレベルの大小を示す方向)に拡大した形状になっている。
ここで、白紙911よりも明るさレベルが小さい原稿台110の上面では、白紙911よりも反射率が小さいため明るさレベルの変化が生じにくい。従って、仮に、位置X12から位置X13までの範囲が白紙部分に対応している場合を考えると、位置X12から位置X13までの範囲における画素値では、線L221に示される明るさレベルよりも明るさレベルのばらつきが大きいはずである。同様に、位置X12から位置X13までの範囲における代表値では、線L232に示される代表値よりも明るさレベルのばらつきが大きいはずである。
そこで、補正用データ生成部284は、非白紙部分について、画素値(線L221)から得られた代表値(線L232)に、1よりも大きい所定の定数を乗算することで、代表値における明るさレベルのばらつきを強調する。線L234は、線L232で示される代表値に、1よりも大きい所定の定数を乗算した値を示している。
その後、補正用データ生成部284は、X12からX13までの範囲において、明るさレベルのばらつきを強調した代表値に対して一律に明るさレベルを増加させることで、位置X12における明るさレベルの急激な変化をキャンセルして、線L233で示される変換後の代表値を取得する。
以上では、補正用データ生成部284が代表値を変換する場合を例に説明したが、補正用データ生成部284が画素値を変換する場合も同様である。
非白紙部分の画素値を白紙部分であったと仮定した場合の画素値に変換した補正用データ生成部284は、変換後の画像データを用いて補正用データを生成する。
例えば、補正用データ生成部284は、式(1)に基づいて画素毎に補正係数を算出する。
Figure 0006488735
ここでいう、補正係数は、補正用データの構成要素であり、画像データに対する補正を行う際に画素値に乗算する係数である。従って、補正係数が大きいほど、補正後の画像において、当該補正係数を乗算された画素が明るくなる。
また、明るさレベル基準値は、予め設定されている定数であり、補正後の画像データにおける所望の白レベル値を示す。ここでいう、所望の白レベル値は、補正後の画像における、何も書かれていない白紙の像の明るさレベルである。例えば、256階調(画素値0〜255)のグレー画像において、画素値の最大値(最も明るさレベルが大きい値)255の約9割である230明るさレベル基準値として設定しておく。
なお、イメージセンサ133の出力信号にオフセットがある場合や、意図的に黒レベルを下げることが必要とされる場合など、補正用データ生成部284が、補正係数から所定の値を引減算する、あるいは、補正係数に所定の値を加算する処理を行うようにしてもよい。
あるいは、画素値に対して直接、非白紙部分の値を白紙部分であったと仮定した場合の値に変換する処理を行った場合、補正用データ生成部284は、式(1)に代えて式(2)に基づいて画素毎に補正係数を算出する。
Figure 0006488735
なお、補正用データ生成部284が画像データから補正用データを生成する方法としては、白基準シートを撮像した画像データから補正用データを生成する公知の方法を用いることができる。
なお、処理装置200が、明るさレベルの補正に加えて色合い(RGBの比)の補正も行う場合において、非白紙部分に対応する部分に関しては、明るさレベルの補正のみを行い色合いの補正を行わない補正係数を生成するようにしてもよい。例えば、補正用データ生成部284は、非白紙部分に対応する画素値を、色合いを表す情報(RGBの比)と、明暗を表す輝度レベルとに分割し、これらのうち輝度レベルのみを用いて、該当する画素における補正係数を生成するようにしてもよい。
補正処理部291は、画像データに対する補正を行う。具体的には、補正処理部291は、画像データにおける画素毎に、当該画素に対する補正係数を補正用データから読みし、読み出した補正係数を画素値に乗算する。画素毎に複数の画素値がある場合(特に、RGB各々の画素値がある場合)、補正処理部291は、画素に対応する補正係数を当該画素の各画素値に乗算する。
なお、画像入力システム1において、補正用データ生成装置と補正装置とが、別個の装置として構成されていてもよい。この場合、画像入力装置100は、白紙の画像データを補正用データ生成装置へ送信し、原稿の画像データを補正装置へ送信する。
次に、図11を参照して、処理装置200の動作について説明する。
図11は、処理装置200が行う、補正用データを生成する処理の手順を示すフローチャートである。処理装置200は、補正用データの生成を指示するユーザ操作が行われると同図の処理を行う。
なお、操作入力部220が、補正用データの生成を指示するユーザ操作を受け付けるようにしてもよい。あるいは、画像入力装置100が補正用データの生成を指示する押ボタンを備えるなど、画像入力装置100が当該ユーザ操作を受け付けるようにしてもよい。
図11の処理において、画像データ取得部210は、画像入力装置100から白紙の画像データを取得する(ステップS101)。例えば、表示部230が、原稿台110に白紙を載置するよう指示するメッセージを表示する。そして、ユーザは、当該メッセージに応じて原稿台110に白紙を載置し、載置完了を示すユーザ操作を操作入力部220にて行う。当該ユーザ操作を受けた画像入力システム1では、撮像部130が撮像を行って白紙の画像データを生成し、画像入力装置100は、当該画像データを処理装置200へ送信する。そして、画像データ取得部210が当該画像データを受信する。
上述したように、ここでの白紙は撮像部130の視野範囲全体を覆うものである必要は無く、例えば、原稿の印刷に用いられるサイズの普通紙を用いることができる。
次に、非白紙部分検出部282は、画像データ取得部210が取得した白紙の画像データにおいて、非白紙部分を検出する(ステップS102)。具体的には、非白紙部分検出部282は、画像データ取得部210が取得した画像データの画素毎に、当該画素の画素値が示す明るさレベルと、定数にて予め設定されている閾値とを比較し、明るさレベルが閾値以下の画素を非白紙部分の画素として検出する。
次に、補正用データ生成可否判定部283は、非白紙部分の有無を判定する(ステップS103)。具体的には、補正用データ生成可否判定部283は、ステップS102で非白紙部分検出部282が非白紙部分の画素として検出した画素の有無を判定する。
非白紙部分なしと判定した場合(ステップS103:NO)、補正用データ生成部284は、画像データ取得部210が取得した画像データから補正用データを生成する(ステップS111)。具体的には、補正用データ生成部284は、上述したように画像データの画素毎に補正係数を算出する。そして、補正用データ生成部284は、画素毎に当該画素の位置と補正係数とが対応付けて示される補正用データを生成する。
そして、補正用データ生成部284は、得られた補正用データを記憶部270に記憶させる(ステップS141)。
ステップS141の後、図11の処理を終了する。
一方、ステップS103において、非白紙部分ありと判定した場合(ステップS103:YES)、補正用データ生成可否判定部283は、補正用データを生成可能か否か判定する(ステップS121)。例えば、補正用データ生成可否判定部283は、上述したように、画像データ取得部210が取得する白紙の画像データにおいて、非白紙部分に対応する画素の数を計数し、得られた画素数と所定の閾値(定数)とを比較する。そして、補正用データ生成可否判定部283は、非白紙部分に対応する画素の数が閾値以下であると判定した場合、補正用データ生成可能と判定し、閾値よりも大きいと判定した場合、補正用データ生成不可と判定する。
補正用データ生成可能と補正用データ生成可否判定部283が判定した場合(ステップS121:YES)、補正用データ生成部284は、画像データ取得部210が取得した画像データのうち、非白紙部分の画素の画素値を、白紙部分であったと仮定した場合の画素値に変換する(ステップS131)。具体的には、図9および図10を参照して説明したように、補正用データ生成部284は、白紙部分と非白紙部分との境における明るさレベルの差を無くすように、境における明るさレベルの差に相当する値を非白紙部分の画素値に加算する。
次に、補正用データ生成部284は、ステップS131で画素値を変換後の画像データに基づいて補正用データを生成する(ステップS132)。例えば、補正用データ生成部284は、式(1)および式(2)を参照して上述したように、補正用データの各画素について、明るさレベル基準値を当該画素における代表値または当該画素における明るさレベルで除算して、補正係数を算出する。
ステップS131の後、ステップS141へ進む。
一方、ステップS121において、補正用データ生成不可と判定した場合(ステップS121:NO)、補正用データ生成可否判定部283は、補正用データを生成できない旨の警告の表示指示を表示部230へ出力し、表示部230が当該警告を表示する(ステップS151)。
ステップS151の後、図11の処理を終了する。
図12は、影が映り込んだ白紙の画像の例を示す説明図である。同図において、白紙の画像の領域A300は、白紙部分の領域A310と非白紙部分の領域A320とを含んでいる。領域A311は、白紙部分の領域A310のうち影が映り込んだ部分の領域である。領域A321は、非白紙部分の領域A320のうち影が映り込んだ部分の領域である。
図13は、補正された白紙の画像の例を示す説明図である。同図では、図12に示される影が映り込んだ白紙の画像に対して、仮に、補正処理部291が補正を行った場合の画像の例を示している。
同図において、白紙の画像の領域A300は、白紙部分の領域A310と非白紙部分の領域A320とを含んでいる。図12の場合と比較すると、白紙部分の領域A310、非白紙部分の領域A320共に、影の映り込みが除去されている。
以上のように、非白紙部分検出部282は、画像データにおける画素値に基づいて、画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する。そして、補正用データ生成可否判定部283は、非白紙部分検出部282による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。そして、補正用データ生成部284は、補正用データ生成可否判定部283が補正用データ生成可能と判定した場合、画像データ取得部210が取得した画像データに基づいて補正用データを生成する。
このように、補正用データ生成可否判定部283が、非白紙部分検出部282による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。専用の白基準シートが用いられず非白紙部分がある場合に補正用データ生成可否を判定する点で、処理装置200によれば、専用の白基準シートを必要とせず、比較的高精度に補正用データを生成することができ、かつ、補正を実行する際にプリスキャンを行う必要がない。
また、補正用データ生成可否判定部283は、補正用データ生成不可と判定した場合、警告を出力する。
これにより、ユーザは、白紙部分の影響により補正用データを得られないことを把握でき、例えばB5サイズの白紙を使用していた場合にA4サイズの白紙に変更するなど、補正用データを得るための対策を行い得る。
また、補正用データ生成部284は、画像データのうち白紙の像に対応する部分のデータとして非白紙部分検出部282が検出した部分のデータに基づいて、非白紙部分の補正用データを生成する。
これにより、補正用データ生成部284は、例えば図9および図10を参照して説明したように、非白紙部分の画素が示す明るさレベルを白紙部分の画素が示す明るさレベルに合せる処理を行うなど、非白紙部分が白紙であったと仮定した場合の画素値を求めることができる。補正用データ生成部284が、非白紙部分が白紙であったと仮定した場合の画素値を求めることで、白基準シートを必要とせずに補正用データを生成することができる。
また、補正用データ生成部284は、画像データ取得部210が取得した画像データのうち、白紙の像に対応する部分のデータとして非白紙部分検出部が検出した部分のデータに加えて、非白紙部分の画素値の画素間における変化に基づいて、非白紙部分の補正用データを生成する。これにより、補正用データ生成部284は、非白紙部分における照明の具合や影の映り込みなど、非白紙部分における画素毎の明るさレベルの違いを反映させることができ、より高精度な補正用データを生成することができる。
また、補正用データ生成可否判定部283は、画像データ取得部210が取得した画像データのうち白紙の像に対応する部分のデータとして非白紙部分検出部282が検出した部分の色情報に基づいて、補正用データ生成の可否を判定する。
ここで、原稿台110に載置された紙に色が付いている場合、色があることで紙の明るさレベルが小さくなることが考えられる。白紙との比較で明るさレベルが大幅に小さくなっている場合、この紙を用いたのでは適切な補正用データを生成できない。そこで、補正用データ生成可否判定部283が、白紙部分の色情報に基づいて、補正用データ生成の可否を判定することで、色があることで紙の明るさレベルが大幅に小さくなっており適切な補正用データを生成できない場合に該当するか否かを判定することができる。色があることで紙の明るさレベルが大幅に小さくなっており適切な補正用データを生成できない場合に該当すると補正用データ生成可否判定部283が判定した場合に、精度の低い補正用データの生成を抑制することができる。この点において、処理装置200によれば精度の高い補正用データが得られる。
<第2の実施形態>
図14は、本発明の第2の実施形態における処理装置の機能構成を示す概略ブロック図である。同図において、処理装置300は、画像データ取得部210と、操作入力部220と、表示部230と、記憶部270と、制御部380とを備える。制御部380は、補正用データ処理部381と、補正処理部291とを備える。補正用データ処理部381は、非白紙部分検出部282と、補正用データ生成可否判定部383と、補正用データ生成部284と、裏うつり検出部385とを備える。また、同図において、画像入力装置100の撮像部130が示されている。
図14において、図2の各部に対応して同様の機能を示す部分には、同一の符号(100、130、210、220、230、270、282、284、291)を付して説明を省略する。また、画像入力装置100の構成は図1を参照して説明したのと同様であり、図示および説明を省略する。
図14では、補正用データ処理部381が裏うつり検出部385を備える点で、処理装置200(図2)の場合と異なる。
裏うつり検出部385は、画像データ生成用に原稿台110に設置される白紙における裏うつりを検出する。ここでいう裏うつりとは、原稿台110に載置された白紙の下面(原稿台110に接する面)への記載が、撮像部130が撮像する白紙の像に写ることである。
図15は、裏うつりのある白紙の画像の例を示す説明図である。同図において、領域A401は、撮像部130が撮像した白紙の画像の領域全体(非白紙部分を含む)を示す。撮像部130が撮像した画像に白紙911の像が含まれており、白紙911の像には、書込のある領域A411と裏うつりのある領域A412とが含まれている。図15の例の場合、裏うつり検出部385は、裏うつりのある領域A412を検出する。また、裏うつり検出部385は、書込のある領域A411も検出する。
図16は、処理装置300が行う、補正用データを生成する処理の手順を示すフローチャートである。処理装置300は、補正用データの生成を指示するユーザ操作が行われると同図の処理を行う。
ステップS201〜S203、S221、S231、S251は、それぞれ、図11のステップS101〜S103、S121、S131、S151と同様である。ステップS211において、処理装置300は、裏うつりを検出および補正用データ生成の処理を行う。
図17は、処理装置300が行う、裏うつり検出による補正用データ生成の処理の手順を示すフローチャートである。処理装置300は、図16のステップS211において図17の処理を行う。
図17の処理において、裏うつり検出部385は、図16のステップS201で画像データ取得部210が取得した白紙の画像データを表示部230へ出力して表示させる(ステップS301)。
次に、裏うつり検出部385は、表示された画像に裏うつりがあれば白紙を動かすよう促すメッセージを、表示部230に表示させる(ステップS302)。当該メッセージを見たユーザは、表示された画像データを見て裏うつりの有無を判定し、裏うつりありと判定した場合は、白紙を原稿台110に載置された状態のまま移動させ、移動させた旨を示すユーザ操作を行う。
図18は、ユーザが白紙を移動させる例を示す説明図である。同図において、領域A501は、移動前の白紙が位置する領域を示す。領域A502は、移動後の白紙が位置する領域を示す。このように、ユーザは、白紙を原稿台110に載置された状態のまま移動させる。
次に、裏うつり検出部385は、白紙を移動させた旨を示すユーザ操作が行われたか否かを判定する(ステップS302)。
当該ユーザ操作が行われたと判定した場合(ステップS302:YES)、画像データ取得部210が、画像入力装置100から画像データを取得する(ステップS311)。当該ステップでは、画像データ取得部210は、ユーザが白紙を原稿台110上で移動させた後の白紙の画像を示す画像データを取得する。
次に、裏うつり検出部385は、図16のステップS201で得られた画像データと、ステップS311で得られた画像データそれぞれについて、画素値が小さい部分(従って、明るさレベルが小さい部分)を検出する(ステップS312)。例えば、裏うつり検出部385は、画素値が所定の閾値よりも小さい領域を検出する。あるいは、裏うつり検出部385が、画素値が周囲よりも小さい領域を検出するようにしてもよい。
次に、裏うつり検出部385は、白紙における裏うつりの部分を検出する(ステップS313)。具体的には、裏うつり検出部385は、ステップS312で検出した領域のうち、2つの画像データ間で同じ形状かつ同じ大きさの領域を、裏うつりの部分として検出する。
次に、補正用データ生成可否判定部383は、画像データ取得部210が取得した画像データのうち、ステップS313で裏うつり検出部385が検出した裏うつりの部分のデータに基づいて、補正用データ生成の可否を判定する(ステップS314)。具体的には、補正用データ生成可否判定部383は、裏うつりの部分の大きさ(例えば画素数)が所定の大きさ以下か否かを判定する。所定の大きさ以下であると判定した場合、補正用データ生成可否判定部383は、補正用データ生成可能と判定する。一方、裏うつり部分の大きさが所定の大きさより大きいと判定した場合、補正用データ生成可否判定部383は、補正用データ生成不可と判定する。
補正用データ生成不可と判定した場合(ステップS314:NO)、補正用データ生成可否判定部383は、補正用データを生成できない旨の警告の表示指示を表示部230へ出力し、表示部230が当該警告を表示する(ステップS331)。あるいは、補正用データ生成可否判定部383が、裏うつりのために補正用データを生成できない旨の警告の表示指示を表示部230へ出力し、表示部230が当該警告を表示するようにしてもよい。
ステップS331の後、図17の処理を終了し、図16の処理へ戻る。
一方、ステップS314で補正用データ生成可否判定部383が補正用データ生成可能と判定した場合(ステップS314:YES)、補正用データ生成部284は、裏うつりの部分の画素値を、裏うつりがなかったと仮定した場合の画素値に変換する(ステップS341)。具体的には、図9および図10を参照して説明したのと同様に、補正用データ生成部284は、裏うつりのない部分と裏うつりの部分との境における明るさレベルの差を無くすように、境における明るさレベルの差に相当する値を裏うつりの部分の画素値に加算する。
次に、補正用データ生成部284は、ステップS341で画素値を変換後の画像データに基づいて補正用データを生成する(ステップS342)。例えば、補正用データ生成部284は、式(1)および式(2)を参照して上述したのと同様に、補正用データの各画素について、明るさレベル基準値を当該画素における代表値または当該画素における明るさレベルで除算して、補正係数を算出する。
そして、補正用データ生成部284は、得られた補正用データを記憶部270に記憶させる(ステップS343)。
ステップS343の後、図17の処理を終了し、図16の処理へ戻る。
一方、ステップS302において、白紙を移動させた旨を示すユーザ操作が行われていないと判定した場合(ステップS302:NO)、裏うつり検出部385は、タイムアウトしたか否かを判定する(ステップS321)。具体的には、裏うつり検出部385は、ステップS302で表示部230がメッセージを表示してから所定時間経過したか否かを判定する。
タイムアウトしたと判定した場合(ステップS321:YES)、ステップS341へ進む。この場合、ユーザが裏うつりなしと判定したと考えられ、裏うつり検出部385は、裏うつりについては特に処理を行わずに、補正用データ生成部284に処理を引き継ぐ。
一方、ステップS321においてタイムアウトしていないと判定した場合(ステップS321:NO)、ステップS302へ戻る。
以上のように、裏うつり検出部385は、画像データ取得部210が取得する複数の画像データの比較により、画像データが示す画像のうち裏うつりの部分を検出する。そして、補正用データ生成可否判定部383は、非白紙部分検出部282による非白紙部分の検出結果に加えて、画像データのうち、裏うつり検出部385が検出した裏うつりの部分のデータに基づいて、補正用データ生成の可否を判定する。
このように、処理装置300では、補正用データ取得に用いられる白紙に裏うつりの部分があり補正用データの精度が低下すると考えられる場合に補正用データの生成を抑制する。この点において、処理装置300では、比較的高精度に補正用データを生成することができる。
次に、図19および図20を参照して本発明の最小構成について説明する。
図19は、本発明に係る補正用データ生成装置の最小構成を示す概略ブロック図である。同図において、補正用データ生成装置10は、画像データ取得部11と、非白紙部分検出部12と、補正用データ生成可否判定部13と、補正用データ生成部14とを備える。
かかる構成において、画像データ取得部11は、画像データを取得する。そして、非白紙部分検出部12は、画像データにおける画素値に基づいて、画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する。そして、補正用データ生成可否判定部13は、非白紙部分検出部12による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。そして、補正用データ生成部14は、補正用データ生成可否判定部13が、補正用データ生成可能と判定した場合、画像データに基づいて補正用データを生成する。
これにより、補正用データ生成装置10では、補正用データ生成可否判定部13が、非白紙部分検出部12による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。専用の白基準シートが用いられず非白紙部分がある場合に補正用データ生成可否を判定する点で、補正用データ生成装置10によれば、専用の白基準シートを必要とせず、比較的高精度に補正用データを生成することができ、かつ、補正を実行する際にプリスキャンを行う必要がない。
図20は、本発明に係る補正用データ生成システムの最小構成を示す概略ブロック図である。同図において、補正用データ生成システム3は、画像入力装置20と、補正用データ生成装置30とを備える。画像入力装置20は、撮像部21を備える。補正用データ生成装置30は、画像データ取得部31と、非白紙部分検出部32と、補正用データ生成可否判定部33と、補正用データ生成部34とを備える。
かかる構成において、撮像部21は、光電変換を行って白紙の像を含む画像データを生成する。そして、画像データ取得部31は、画像入力装置20から画像データを取得する。そして、非白紙部分検出部32は、画像データにおける画素値に基づいて、画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する。そして、補正用データ生成可否判定部33は、非白紙部分検出部32による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。そして、補正用データ生成部34は、補正用データ生成可否判定部33が、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する。
これにより、補正用データ生成システム3では、補正用データ生成可否判定部33が、非白紙部分検出部32による非白紙部分の検出結果に基づいて、補正用データ生成の可否を判定する。専用の白基準シートが用いられず非白紙部分がある場合に補正用データ生成可否を判定する点で、補正用データ生成システム3によれば、専用の白基準シートを必要とせず、比較的高精度に補正用データを生成することができ、かつ、補正を実行する際にプリスキャンを行う必要がない。
なお、処理装置200または300、または、補正用データ生成装置10または30の、全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1、2、3 画像入力システム
10、30 補正用データ生成装置
11、31、210 画像データ取得部
12、32、282 非白紙部分検出部
13、33、283、383 補正用データ生成可否判定部
14、34、284、384 補正用データ生成部
20、100 画像入力装置
110 原稿台
120 スタンド部
130 撮像部
131 鏡
132 レンズ
133 イメージセンサ
200、300 処理装置
220 操作入力部
230 表示部
270 記憶部
280、380 制御部
281 補正用データ処理部
291 補正処理部
385 裏うつり検出部

Claims (8)

  1. 画像データを取得する画像データ取得部と、
    前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出部と、
    前記非白紙部分検出部による前記非白紙部分の検出結果、および、前記画像データのうち白紙の像の部分のデータとして前記非白紙部分検出部が検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定部と、
    前記補正用データ生成可否判定部が、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成部と、
    を備える補正用データ生成装置。
  2. 前記補正用データ生成可否判定部は、補正用データ生成不可と判定した場合、警告を出力する、請求項1に記載の補正用データ生成装置。
  3. 前記補正用データ生成部は、前記画像データのうち白紙の像に対応する部分のデータとして前記非白紙部分検出部が検出した部分のデータに基づいて、前記非白紙部分の補正用データを生成する、請求項1または請求項2に記載の補正用データ生成装置。
  4. 前記補正用データ生成部は、前記画像データのうち白紙の像に対応する部分のデータとして前記非白紙部分検出部が検出した部分のデータに加えて、前記非白紙部分の画素値の画素間における変化に基づいて、前記非白紙部分の画素値の画素間における変化を強調し、かつ、前記非白紙部分の画素値を前記白紙の像に対応する部分の画素値に近づけるように、前記非白紙部分の補正用データを生成する、請求項3に記載の補正用データ生成装置。
  5. 前記画像データ取得部が取得する、白紙を移動させた場合の2つの画像データの間で、同じ形状かつ同じ大きさの領域を裏うつりの部分として検出する裏うつり検出部を備え、
    前記補正用データ生成可否判定部は、前記非白紙部分検出部による前記非白紙部分の検出結果に加えて、前記画像データのうち、前記裏うつり検出部が検出した裏うつりの部分のデータに基づいて、補正用データ生成の可否を判定する、請求項1からのいずれか一項に記載の補正用データ生成装置。
  6. 画像入力装置と、補正用データ生成装置とを備え、
    前記画像入力装置は、光電変換を行って白紙の像を含む画像データを生成する撮像部を備え、
    前記補正用データ生成装置は、
    前記画像入力装置から画像データを取得する画像データ取得部と、
    前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出部と、
    前記非白紙部分検出部による前記非白紙部分の検出結果、および、前記画像データのうち白紙の像の部分のデータとして前記非白紙部分検出部が検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定部と、
    前記補正用データ生成可否判定部が、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成部と、
    を備える補正用データ生成システム。
  7. 補正用データ生成装置が、画像データを取得する画像データ取得ステップと、
    前記補正用データ生成装置が、前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出ステップと、
    前記補正用データ生成装置が、前記非白紙部分検出ステップでの前記非白紙部分の検出結果、および、前記画像データのうち白紙の像の部分のデータとして前記非白紙部分検出ステップで検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定ステップと、
    前記補正用データ生成装置が、前記補正用データ生成可否判定ステップで、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成ステップと、
    を有する補正用データ生成方法。
  8. コンピュータに、
    画像データを取得する画像データ取得ステップと、
    前記画像データにおける画素値に基づいて、前記画像データが示す画像のうち白紙の像以外の部分である非白紙部分を検出する非白紙部分検出ステップと、
    前記非白紙部分検出ステップでの前記非白紙部分の検出結果、および、前記画像データのうち白紙の像の部分のデータとして前記非白紙部分検出ステップで検出した部分の色情報に基づいて、補正用データ生成の可否を判定する補正用データ生成可否判定ステップと、
    前記補正用データ生成可否判定ステップで、補正用データ生成可能と判定した場合、前記画像データに基づいて補正用データを生成する補正用データ生成ステップと、
    を実行させるためのプログラム。
JP2015019653A 2015-02-03 2015-02-03 補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム Active JP6488735B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015019653A JP6488735B2 (ja) 2015-02-03 2015-02-03 補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015019653A JP6488735B2 (ja) 2015-02-03 2015-02-03 補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016144093A JP2016144093A (ja) 2016-08-08
JP6488735B2 true JP6488735B2 (ja) 2019-03-27

Family

ID=56568985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015019653A Active JP6488735B2 (ja) 2015-02-03 2015-02-03 補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6488735B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6720035B2 (ja) * 2016-09-16 2020-07-08 キヤノン株式会社 読取装置、及びこれを有する画像形成装置、画像形成システム、読取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3752790B2 (ja) * 1997-07-22 2006-03-08 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置
JP2001292283A (ja) * 2000-04-06 2001-10-19 Minolta Co Ltd 画像読取装置
JP2004064331A (ja) * 2002-07-26 2004-02-26 Canon Electronics Inc 情報読取装置、その制御方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP2016144093A (ja) 2016-08-08

Similar Documents

Publication Publication Date Title
US8442347B2 (en) Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope
JP2020028029A (ja) 画像処理装置、画像処理システム、プログラムおよび画像処理方法
JP6182092B2 (ja) 画像処理装置および画像処理方法
JP7369175B2 (ja) 画像処理装置およびその制御方法及びプログラム
JP2009171008A (ja) 色再現装置および色再現プログラム
US9355466B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
JP2007034648A (ja) 画像評価方法および画像評価装置並びにプログラム
JP6488735B2 (ja) 補正用データ生成装置、補正用データ生成システム、補正用データ生成方法及びプログラム
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
JP2009171010A (ja) プロジェクタ
US20230000348A1 (en) Non-transitory computer-readable storage medium and ophthalmic image processing apparatus
JP2012042804A (ja) 画像処理装置および方法
JP2006048328A (ja) 顔検出装置および顔検出方法
JP2009005159A (ja) 画像処理装置
JP2018061187A (ja) 画像処理装置及び画像処理方法
JP2005217618A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2008252227A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP5444720B2 (ja) プロジェクタ
JP2013012089A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP2019149719A (ja) 画像処理装置及び方法、及び撮像装置
JP5750934B2 (ja) 画像処理装置および画像処理プログラム
KR102249187B1 (ko) 멀티 스캔 기법을 이용한 엑스레이 필름의 영상 처리장치
JP2012222508A (ja) 画像処理装置および画像処理プログラム
JP5520135B2 (ja) 画像処理装置
JP2006201548A (ja) 画像投射装置及び画像投射方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190211

R150 Certificate of patent or registration of utility model

Ref document number: 6488735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150