JP5434584B2 - 非接触スキャナ装置、画像補正方法およびプログラム - Google Patents

非接触スキャナ装置、画像補正方法およびプログラム Download PDF

Info

Publication number
JP5434584B2
JP5434584B2 JP2009298464A JP2009298464A JP5434584B2 JP 5434584 B2 JP5434584 B2 JP 5434584B2 JP 2009298464 A JP2009298464 A JP 2009298464A JP 2009298464 A JP2009298464 A JP 2009298464A JP 5434584 B2 JP5434584 B2 JP 5434584B2
Authority
JP
Japan
Prior art keywords
correction
image
date
scan
correction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009298464A
Other languages
English (en)
Other versions
JP2011139332A (ja
Inventor
充 杉本
哲 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009298464A priority Critical patent/JP5434584B2/ja
Publication of JP2011139332A publication Critical patent/JP2011139332A/ja
Application granted granted Critical
Publication of JP5434584B2 publication Critical patent/JP5434584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、非接触スキャナ装置、画像補正方法およびプログラムに関する。
2次元の画像データを生成する装置の一つに、置き台の上方に支柱で固定されたヘッドから、置き台に置かれたスキャン対象物を撮像して画像データを生成する非接触スキャナ装置がある。非接触スキャナ装置は、例えば、金融機関等における帳票の読み取りなどに用いられる。非接触スキャナ装置は、フラットベッドスキャナ装置と異なりスキャン対象物をガラス台に密着させる必要が無いので、スキャン時の操作が容易であり、かつ、スキャン対象物を傷めるおそれが少ない。
一方、非接触スキャナ装置は、周囲の照明等の光源の変化等による照度変動の影響を受け易い。この照度変動の影響を軽減する方法の一つに、照度変動を検出して読み取りゲイン値を再設定する方法がある。例えば、特許文献1では、読み取り処理を行った際に、画像データの階調値を測定し、測定した階調値と前回読み取り時の階調値とを比較して照度変動の有無を判断し、読み取りゲイン値を再設定する方法が示されている。
しかし、この読み取りゲイン値を再設定する方法では、読み取り範囲全体の照度が均一に変動する場合には対応できるが、読み取り範囲の一部のみに直射日光が当たるなど、読み取り範囲内の各部で照度が異なる場合には対応できない。特に非接触スキャナ装置では、支柱やヘッドの影が読み取り範囲に含まれることにより、影領域と影以外の領域とで照度が異なってしまう。
そこで、読み取り範囲に含まれる影領域を算出し、影領域に応じた画像補正を行うことが考えられる。例えば、特許文献2では、航空写真に含まれる影を除去する方法が示されている。この方法では、建物等の高さ情報や、太陽の位置情報に基づいて、影領域を算出し、算出した影領域の画素を削除する。非接触スキャナ装置でも、ヘッドや支柱の位置情報や、太陽の位置情報に基づいて、ヘッドや支柱の影領域を算出し、算出した影領域に応じた画像補正を行うことが考えられる。
特開2004−178352号公報 特開平10−269347号公報
しかしながら、読み取り範囲に含まれる影領域を算出し、影領域に応じた画像補正を行うと、それにより演算量が増加する。上記のように、ヘッドや支柱の大きさや高さの情報や太陽の位置情報に基づいてヘッドや支柱の影領域を算出して画像補正を行う場合、例えば、太陽の位置情報を算出する処理や、太陽の位置情報に基づいて影領域を算出する処理や、スキャン画像の各画素が影領域に含まれるか否かを判定し、判定結果に基づいて画素毎の補正係数を決定する処理や、補正係数に基づいて画素毎に補正を行う処理を行う必要があり、演算量が増加する。この演算量の増加により、処理時間や消費電力が増大するおそれがある。
本発明は、このような事情を考慮してなされたものであり、その目的は、より少ない演算量で影の影響に対応した画像を生成できる非接触スキャナ装置、画像補正方法およびプログラムを提供することにある。
[1]この発明は上述した課題を解決するためになされたもので、本発明の一態様による非接触スキャナ装置は、スキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を行う非接触スキャナ装置であって、スキャンを行った日時に基づいて、前記照度差に対する画像補正の補正係数を決定する補正係数決定部と、前記補正係数決定部が決定した前記補正係数に基づいて、前記照度差に対する画像補正を行う補正画像生成部と、スキャンを行った日時に基づいて、前記画像補正の要否を判定し、前記画像補正が必要と判定した場合は、前記照度差に対する画像補正を行うよう前記補正画像生成部を制御し、前記画像補正が不要と判定した場合は、前記照度差に対する画像補正を行わないよう前記補正画像生成部を制御する補正要否判定部と、を具備することを特徴とする。
[2]また、本発明の一態様による非接触スキャナ装置は上述の非接触スキャナ装置であって、前記補正係数決定部は、前記スキャンを行った日時の太陽の位置情報および太陽光線を遮蔽する遮蔽物の位置情報を用いて前記影領域を算出する影領域算出部と、前記算出した影領域の輝度値を大きくする、あるいは、前記算出した影領域以外の領域の輝度値を小さくする前記補正係数を生成する補正係数生成部と、を具備することを特徴とする。
[3]また、本発明の一態様による非接触スキャナ装置は上述の非接触スキャナ装置であって、前記補正要否判定部は、前記影領域算出部が算出した影領域に基づいて、前記スキャン画像に影領域と影以外の領域とが含まれるか否かを判定し、含まれると判定した場合は、前記照度差に対する画像補正を行うよう前記補正画像生成部を制御し、含まれないと判定した場合は、前記照度差に対する画像補正を行わないよう前記補正画像生成部を制御することを特徴とする。
[4]また、本発明の一態様による非接触スキャナ装置は上述の非接触スキャナ装置であって、前記補正係数と太陽の位置情報とを対応付けて複数記憶する補正係数記憶部と、明度が既知のスキャン対象物をスキャンする測定用スキャンのスキャン画像の各画素の輝度値に基づいて前記補正係数を生成し、前記生成した補正係数を前記測定用スキャン時の太陽の位置情報と対応付けて前記補正係数記憶部に書き込む補正係数生成部と、前記画像補正が必要な日時を記憶する要補正日時記憶部と、前記測定用スキャンのスキャン画像の各画素の輝度値のばらつきに基づいて前記画像補正が必要な日時を決定して前記要補正日時記憶部に書き込む要補正日時決定部と、をさらに具備し、前記補正係数決定部は、前記補正係数記憶部が記憶する補正係数から、前記スキャン時の太陽の位置情報と前記測定用スキャン時の太陽の位置情報とに基づいて補正係数を選択して読み出し、前記補正要否判定部は、前記スキャンを行った日時に基づいて前記要補正日時記憶部から補正の要否を示す情報を読み出し、読み出した情報に基づいて前記画像補正の要否を判定することを特徴とする。
[5]また、本発明の一態様による画像補正方法は、スキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を行う非接触スキャナ装置の画像補正方法であって、前記非接触スキャナ装置が、スキャンを行った日時に基づいて、前記画像補正の要否を判定する補正要否判定ステップと、前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記非接触スキャナ装置が、前記スキャンを行った日時に基づいて、前記照度差に対する画像補正の補正係数を決定する補正係数決定ステップと、前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記非接触スキャナ装置が、前記補正係数決定ステップにて決定した前記補正係数に基づいて、前記照度差に対する画像補正を行う補正画像生成ステップと、を具備することを特徴とする。
[6]また、本発明の一態様によるプログラムは、コンピュータに、非接触スキャナ装置のスキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を実行させるプログラムであって、スキャンを行った日時に基づいて、前記画像補正の要否を判定する補正要否判定ステップと、前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記スキャンを行った日時に基づいて、前記照度差に対する画像補正の補正係数を決定する補正係数決定ステップと、前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記補正係数決定ステップにて決定した前記補正係数に基づいて、前記照度差に対する画像補正を行う補正画像生成ステップと、を実行させるプログラムである。
本発明によれば、より少ない演算量で、影の影響に対応した画像を生成できる。
本発明の第1の実施形態における非接触スキャナ装置1の外形を示す概略外形図である。 同実施形態における非接触スキャナ装置1の構成を示す概略ブロック図である。 同一日中の時刻の違いによる太陽位置の違い、および、それに伴う影の位置の違いを示す図である。 月日の変化による太陽位置の違い、および、それに伴う影の位置の違いを示す図である。 同実施形態において非接触スキャナ装置1がスキャンを行う処理手順を示すフローチャートである。 同実施形態における非接触スキャナ装置1の一変形例である非接触スキャナ装置2の構成を示す概略ブロック図である。 本発明の第2の実施形態における非接触スキャナ装置6の構成を示す概略ブロック図である。 同実施形態において要補正日時記憶部57が記憶する要補正日時情報のデータ構成を示すデータ構成図である。 同実施形態において非接触スキャナ装置6が測定用スキャンを行う処理手順を示すフローチャートである。 同実施形態において、非接触スキャナ装置6が要求対応スキャンを行う処理手順を示すフローチャートである。
<第1の実施形態>
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明の第1の実施形態における非接触スキャナ装置1の外形を示す概略外形図である。同図において、非接触スキャナ装置1は、ヘッド401と支柱402と本体403とを具備する。本体403の上面は、置き台431を構成する。さらに本体403は、電源ボタンや、スキャン実行ボタンや、解像度等の設定を行う選択ボタンおよび設定ボタンや、スキャン結果出力端子等を具備するが、図示および説明を省略する。
ヘッド401は、撮像装置を具備し、スキャン対象物を撮像して生画像を生成する。ここでいう「生画像」とは、まだ画像補正されていないスキャン画像である。
支柱402は、ヘッド401を本体403の上方に固定する。
本体403は、CPUおよびメモリを具備し、ヘッド401が撮像する生画像を補正する。本体403において、置き台431は、スキャン対象物を置く台である。
図2は、非接触スキャナ装置1の構成を示す概略ブロック図である。
同図において非接触スキャナ装置1は、生画像生成部11と配置情報記憶部12と太陽位置取得部13と補正係数決定部14と補正要否判定部15と静的補正画像生成部21と補正画像生成部22とを具備する。補正係数決定部14は、影領域算出部141と補正係数生成部142とを具備する。
配置情報記憶部12は、ヘッド401(図1)の位置情報や支柱402(図1)の位置情報や置き台431(図1)の位置情報や、非接触スキャナ装置1が設置されている部屋の窓の位置情報を記憶する。配置情報記憶部12は、これらの位置情報を、例えば非接触スキャナ装置1が設置されている部屋のある1点を原点とし、東をX軸、北をY軸、上をZ軸とする三次元座標にて記憶する。例えば、支柱402の中心軸の上部の座標と底部の座標とをこの3次元座標にて記憶しておき、併せて、支柱の幅を記憶しておく。また、これらの位置情報は、例えば、非接触スキャナ装置1を設置する際に、非接触スキャナ装置1の管理者により入力される。以下では、ヘッド401や支柱402や部屋の壁が直射日光を遮蔽する遮蔽物となる場合について説明するが、反射光や間接光など直射日光以外の光が遮蔽されて影が生じる場合も、影の位置を算出可能な限りにおいて本実施形態の処理を適用できる。
生画像生成部11は、スキャン対象物を撮像して生画像を生成する。生画像生成部11は、生成した生画像を静的補正画像生成部21に出力する。
静的補正画像生成部21は、生画像生成部11から出力される生画像の、置き台の突き当て辺(左辺および上辺)部分にできる微小な影(静的な影)を補正する静的補正を行って、静的補正画像を生成する。静的補正画像生成部21は、生成した静的補正画像を補正画像生成部22に出力する。
太陽位置取得部13は、現在(スキャン実行時)の日時に基づいて太陽の位置を算出し、算出した太陽の位置を示す太陽位置情報を影領域算出部141に出力する。太陽位置情報取得部13は、例えば、配置情報記憶部12が記憶する座標の原点を原点とし、真北と太陽の方向との角度を上から見て右回りを正の角として表現した角度(例えば、太陽が真東に位置するときは90度)と、水平方向から太陽の方向への仰角とで記憶する。
影領域算出部141は、配置情報記憶部12が記憶する各位置情報を読み出し、これらの位置情報と太陽位置取得部13から出力される太陽位置情報とに基づいて、スキャン画像に含まれる影領域を算出する。影領域算出部141は、算出した影領域を示す影領域情報を、補正要否判定部15と補正係数生成部142とに出力する。ここでいう「影領域」とは、非接触スキャナ装置1が設置されている部屋の壁あるいはヘッド401などの影となり照度が低い領域である。
補正要否判定部15は、影領域算出部141から出力される影領域情報に基づいて、スキャン画像に影領域と影以外の領域とが含まれるか否かを判定する。スキャン画像に影領域と影以外の領域とが含まれると判定した場合は、この影領域と影以外の領域との照度差に対する画像補正を行う必要があると判定する。この場合、補正要否判定部15は、補正係数生成部142が補正係数を生成するよう制御し、この補正係数に基づいて、補正画像生成部22が画像補正を行うよう制御する。
一方、スキャン画像に影領域と影以外の領域とが含まれないと判定した場合は、影領域と影以外の領域との照度差に対する画像補正を行う必要はないと判定する。この場合、補正要否判定部15は、補正係数生成部142が補正係数を生成しないよう制御し、補正画像生成部22が画像補正を行わないよう制御する。
具体的には、補正要否判定部15は、補正係数生成部142と補正画像生成部22とに制御信号を出力することにより、これらの制御を行う。
補正係数生成部142は、補正要否判定部15によって補正係数を生成するよう制御された場合は、影領域算出部141から出力される影領域情報に基づいて補正係数を生成する。具体的には、影領域の輝度を大きくする補正係数を生成する。なお、補正係数生成部142が、影以外の領域の輝度を小さくする補正係数を生成するようにしてもよい。あるいは、補正係数生成部142が、影領域の輝度を大きくし、かつ、影以外の領域の輝度を小さくする補正係数を生成するようにしてもよい。補正係数生成部142は、生成した補正係数を補正画像生成部22に出力する。
補正画像生成部22は、補正要否判定部15によって画像補正を行うように制御された場合は、補正係数生成部142から出力される補正係数に基づいて、静的補正画像生成部21から出力される静的補正画像に対して画像補正を行う。補正画像生成部22は、画像補正の結果得られる画像をスキャン結果の画像として非接触スキャナ装置1の外部に出力する。一方、補正要否判定部15によって画像補正を行わないように制御された場合は、補正画像生成部22は、静的補正画像生成部21から出力される静的補正画像を、スキャン結果の画像として非接触スキャナ装置1の外部に出力する。
生画像生成部11は、ヘッド401(図1)を本体403(図1)内のCPUが制御することにより実現される。太陽位置取得部13と補正係数決定部14と補正画像生成部22と補正要否判定部15とは、本体403内のCPUが、同じく本体403内のメモリからプログラムを読み出して実行することにより実現される。配置情報記憶部12は、本体403内のメモリ上に実現される。
非接触スキャナ装置1は、ヘッド401(図1)や支柱402(図1)や部屋の壁が直射日光を遮ることによって読み取り範囲内に生じる影の影響を補正する。その際、太陽の位置は日時により変化するので、非接触スキャナ装置1は、スキャンを実行する日時(月日および時刻)に基づいて太陽位置情報を取得し、取得した太陽位置情報を用いて補正を行う。
図3は、同一日中の時刻の違いによる太陽位置の違い、および、それに伴う影の位置の違いを示す図である。
同図において、非接触スキャナ装置1が机902上に置かれており、窓901から差し込む直射日光により、読み取り範囲内にヘッド401および支柱402の影が生じる。
例えば、午前10時の太陽位置U201からの直射日光により、影H201が生じる。また、12時(正午)の太陽位置U202からの直射日光により、影H202が生じる。影H201と影H202とでは、太陽位置の違いにより影の位置が互いに異なる。
一方、午後3時の太陽位置U203の場合は、窓901から差し込む直射日光は読み取り範囲に当たらず、スキャン画像全体が、壁による影の領域となる。この場合は、スキャン画像に影以外の領域は含まれないので、影領域と影以外の領域との照度差に対する補正を行う必要はない。そこで、影領域算出部141が、スキャン画像全体が影領域となることを算出し、補正要否判定部15は、画像補正が不要であると判定する。そして、補正要否判定部15は、補正係数生成部142が補正係数を生成しないよう制御し、補正画像生成部が画像補正を行わないよう制御する。これにより、各処理に要する時間や非接触スキャナ装置1の負荷や消費電力を削減できる。
図4は、月日の変化による太陽位置の違い、および、それに伴う影の位置の違いを示す図である。
太陽位置U301と太陽位置U302とは、共に午前10時の太陽位置だが、太陽位置U301は6月の位置であるのに対し、太陽位置U302は12月の太陽位置であり位置が異なる。これにより、太陽位置U301に対する影H301と太陽位置U302に対する影H302とでは、影の位置が互いに異なる。
次に、非接触スキャナ装置1の動作について説明する。
図5は、非接触スキャナ装置1がスキャンを行う処理手順を示すフローチャートである。非接触スキャナ装置1は、スキャン実行ボタンが押下されると、スキャンを開始する。
ステップS1において、生画像生成部11は、ヘッド401(図1)の撮像装置を用いて撮像を行い、生画像を生成する。生画像生成部11は、生成した生画像を静的補正画像生成部21に出力する。
ステップS2において、静的補正画像生成部21は、生画像生成部11から出力される生画像に対して静的補正を行い、静的補正画像を生成する。静的補正画像生成部21は、生成した静的補正画像を補正画像生成部22に出力する。
ステップS3において、太陽位置取得部13は、現在の日時(スキャン実行ボタンが押下された日時)に基づいて、太陽の位置を取得する。太陽位置取得部13は、例えば、日時から太陽の位置を算出する式を予め記憶し、この式を用いて太陽の位置を算出する。あるいは、太陽位置取得部13が、予め、日時と太陽の位置とを対応付けて記憶するようにしてもよい。太陽位置取得部13は、現在の日時に最も近い日時に対応付けられた太陽の位置を読み出すことにより、太陽の位置を取得する。太陽位置取得部13は、取得した太陽の位置を示す太陽位置情報を影領域算出部141に出力する。
ステップS4において、影領域算出部141は、ヘッド401の位置情報や、支柱402(図1)の位置情報や置き台431(図1)の位置情報や、非接触スキャナ装置1が設置されている部屋の窓の位置情報を配置情報記憶部12から読み出し、これらの位置情報と太陽位置取得部13から出力される太陽位置情報とに基づいて、レイトレーシングの手法により、スキャン画像上の影領域を示す影領域情報を生成する。
例えば、影領域算出部141は、支柱402の中心軸の上部の座標と底部の座標とを配置情報記憶部12から読み出して支柱402の高さを算出し、この高さと太陽の仰角とから支柱の影の長さを算出する。そして、支柱402の中心軸の底部の座標と置き台431の座標と太陽の方向とから、置き台431上の支柱402の影の向きを算出する。さらに、支柱402の幅を影の幅として、置き台431上での支柱402の影領域を算出する。そして、影領域算出部141は、置き台431の位置とスキャン画像の画素との対応関係を予め記憶しておき、この対応関係に基づいてスキャン画像に含まれる支柱402の影領域を決定する。他の遮蔽物についても同様に、遮蔽物の座標と置き台の座標と太陽の位置とに基づいて影領域を算出し、スキャン画像に含まれる影領域を決定し、影領域情報を生成する。
影領域算出部141は、生成した影領域情報を補正係数生成部142と補正要否判定部15とに出力する。
ステップS5において、補正要否判定部15は、影領域算出部141から出力される影位置情報に基づいて、スキャン画像に影領域と影以外の領域とが含まれるか否かを判定することにより、画像補正の要否を判定する。画像補正が必要と判定した場合(ステップS5:YES)はステップS6に進み、画像補正が不要と判定した場合(ステップS5:NO)はステップS11に進む。
ステップS6において、補正係数生成部142は、影領域算出部141から出力される影領域情報に基づいて、スキャン画像の画素毎の補正係数を生成する。直射日光が当たらないために、影領域の画素は影以外の領域の画素よりも輝度値が小さくなる。そこで、補正係数生成部142は、影領域の画素の輝度値をX(0<X≦1.0)分の1倍する補正係数を生成する。一方、光照射領域の画素に対しては、輝度値をそのままとする補正係数(例えば、輝度値を1倍する補正係数)を生成する。
ここで、Xは、影領域の輝度と光照射領域の輝度との比に応じた値であり、例えば、補正係数生成部142が予めXの値を記憶しておく。あるいは、補正係数生成部142が、静的補正画像生成部21から出力される静的補正画像の、影領域の輝度値の平均を光照射領域の輝度値の平均で除してXの値を算出するようにしてもよい。
あるいは、補正係数生成部142が、天気に応じてXの値を決定するようにしてもよい。曇りや雨のときは、晴れのときよりも影が薄くなる。そして、一般には、曇りや雨のときは、晴れのときよりも湿度が高くなる。そこで、補正係数生成部142が湿度の入力を受け、湿度が高いときはXの値が大きくなり、湿度が高いときはXの値が小さくなるように、Xの値を算出あるいは選択するようにしてもよい。
補正係数生成部142は、生成した補正係数を補正画像生成部22に出力する。
ステップS7において、補正画像生成部22は、静的補正画像生成部21から出力される静的補正画像の各画素に対して、補正係数生成部142から出力される補正係数を乗じて補正画像を生成する。
ステップS8において、補正画像生成部22は、生成した補正画像を非接触スキャナ装置1の外部に出力する。その後、非接触スキャナ装置1は、スキャンを終了する。
ステップS11において、補正画像生成部22は、静的補正画像生成部21から出力された静的補正画像を非接触スキャナ装置1の外部に出力する。その後、非接触スキャナ装置1は、スキャンを終了する。
以上のように、非接触スキャナ装置1は、スキャン画像に影領域が含まれるか否かを判定し、含まれると判定した場合は影領域の画素の輝度値を大きくする補正を行う。このように、補正が必要な場合のみ補正を行うことにより、より少ない演算量で影の影響に対応した画像を生成できる。
なお、太陽位置取得部13が、予め、日時と太陽位置情報とを対応付けて記憶している場合、非接触スキャナ装置1がスキャンを行う時間帯が予め決まっているときは、太陽位置取得部13が当該時間帯内の日時と対応位置情報とのみを記憶するようにしてもよい。例えば、非接触スキャナ装置1が9時から15時の間のみ銀行窓口業務で使用される場合、太陽位置取得部13は、例えば16時の太陽位置情報を記憶する必要はなく、記憶量を削減することができる。
なお、補正画像生成部22が、上述したスキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正に加えて、画像全体に対する補正を行うようにしてもよい。例えば、図5のステップS5で、補正要否判定部15が、スキャン画像全体が影領域であると判定した場合、ステップS11に進み、補正画像生成部22は、スキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を行わない。この場合に、補正画像生成部22が、スキャン画像全体の輝度値を大きくする補正を行うことにより、全体が影領域で暗いスキャン画像が明るくなって見易くなる。
なお、非接触スキャナ装置が、補正が必要な日時を予め記憶しておくようにしてもよい。図6は、非接触スキャナ装置1の一変形例である非接触スキャナ装置2の構成を示す概略ブロック図である。
同図において、非接触スキャナ装置2は、生画像生成部11と配置情報記憶部12と太陽位置取得部33と補正係数決定部34と補正要否判定部35と静的補正画像生成部21と補正画像生成部22と要補正日時記憶部37とを具備する。補正係数決定部34は、影領域算出部341と補正係数生成部142とを具備する。
同図において、図2の各部に対応する部分には同一の符号(11、12、142、21、22)を付し、説明を省略する。また、非接触スキャナ装置2の外形は、図1と同様である。
要補正日時記憶部37は、補正が必要な日時を記憶する。補正が必要な日時は、例えば影領域算出部341が予め算出して要補正日時記憶部37に書き込んでおく。例えば、影領域算出部341は、配置情報記憶部12から窓の位置情報と置き台431(図1)の位置情報とを読み出し、太陽位置取得部33から太陽位置情報を取得して、日光が壁に遮られずに非接触スキャナ装置2の置き台431に照射する時間帯を日毎に算出する。影領域算出部341は、算出した時間帯を、補正が必要な時間帯として、「7月12日:8時02分〜14時55分」というように、日毎に要補正日時記憶部37に書き込んでおく。
補正要否判定部35は、現在(スキャン実行時)の日時と、要補正日時記憶部37が記憶する補正が必要な時間帯とを対比して、補正の要否を判定する。補正が不要と判定した場合、補正要否判定部35は、図2の補正要否判定部15と同様に、補正係数生成部142が補正を生成しないように制御し、補正画像生成部22が補正を行わないように制御する。加えて、補正が不要と判定した場合、補正要否判定部35は、太陽位置取得部が太陽位置を取得しないように制御し、影領域算出部が影領域を算出しないように制御する。これにより、非接触スキャナ装置1の場合よりも処理時間をさらに短縮し、非接触スキャナ装置2の負荷を軽減できる。
また、太陽位置取得部33が、予め、日時と太陽位置情報とを対応付けて記憶している場合、要補正日時記憶部37が記憶する補正が必要な日時以外の日時の太陽位置情報は記憶する必要がなく、記憶量を削減できる。
<第2の実施形態>
図7は、本発明の第2の実施形態における非接触スキャナ装置6の構成を示す概略ブロック図である。
同図において非接触スキャナ装置6は、生画像生成部51と太陽位置取得部53と要補正日時決定部58と補正係数生成部542と要補正日時記憶部57と補正係数記憶部59と補正要否判定部55と補正係数決定部54と静的補正画像生成部61と補正画像生成部22とを具備する。
同図において、図1の各部に対応する部分には同一の符号(22)を付し、説明を省略する。
非接触スキャナ装置6は、生画像生成部51と太陽位置取得部53と要補正日時決定部58と補正係数生成部542と要補正日時記憶部57と補正係数記憶部59とを用いて、測定用スキャンを行う。測定用スキャンは、明度が既知のスキャン対象物をスキャンして、補正係数と画像補正が必要な日時の情報とを予め生成しておくためのスキャンであり、スキャン画像を外部に出力しない。非接触スキャナ装置6は、例えば4分毎など、予め定められた時間間隔で測定用スキャンを行う。また、非接触スキャナ装置6は、ユーザによりスキャン実行ボタンが押下されると、生画像生成部51と要補正日時記憶部57と補正係数記憶部59と補正要否判定部55と補正係数決定部54と補正画像生成部22とを用いてスキャンを行い、スキャン画像を外部に出力する。
以下では、ユーザによりスキャン実行ボタンが押下された際に非接触スキャナ装置6が行うスキャンを、「要求対応スキャン」という。
生画像生成部51は、要求対応スキャン時と、測定用スキャン時とに、スキャン対象物を撮像して生画像を生成する。生画像生成部51は、生成した生画像を静的補正画像生成部61に出力する。
静的補正画像生成部61は、生画像生成部51から出力される生画像に対して静的補正を行い、静的補正画像を生成する。そして、要求対応スキャン時には、静的補正画像生成部61は、静的補正画像を補正画像生成部22に出力する。一方、測定用スキャン時には、静的補正画像生成部61は、静的補正画像を要補正日時決定部58と補正係数生成部542とに出力する。
太陽位置取得部53は、要求対応スキャン時や測定用スキャン時の日時に基づいて太陽の位置を算出し、算出した太陽の位置を示す太陽位置情報を、要求対応スキャン時は補正係数決定部54に出力し、測定用スキャン時は補正係数生成部542に出力する。なお、図5のステップS3で説明したのと同様、太陽位置取得部13が、予め、日時と太陽の位置とを対応付けて記憶し、現在の日時に基づいて太陽の位置を読み出すようにしてもよい。
要補正日時記憶部57は、日時と補正の要否とを対応付けた要補正日時情報を記憶する。
要補正日時決定部58は、測定用スキャン時に静的補正画像生成部61から出力される静的補正画像の画素の輝度値のばらつきに基づいて補正の要否を判定し、判定結果と現在(測定用スキャン時)の日時に基づいて要補正日時記憶部57の要補正日時情報を更新する。また、要補正日時決定部58は、補正の要否を示す情報を補正係数生成部542に出力する。
補正係数生成部542は、要補正日時決定部58から補正が必要であることを示す情報が出力されると、静的補正画像に基づいて補正係数を生成する。補正係数生成部542は、生成した補正係数を、太陽位置取得部53から出力される太陽の位置と対応付けて補正係数記憶部59に書き込む。
補正要否判定部55は、要求対応スキャン時の日時をキーとして要補正日時決定部を検索して補正要否情報を読み出し、補正の要否を判定する。補正要否判定部55は、判定結果を補正画像生成部22と補正係数決定部54とに出力する。
補正係数決定部54は、補正要否判定部55から補正が必要であることを示す情報が出力されると、太陽位置取得部53から出力される太陽位置情報をキーして補正係数記憶部を検索し、補正係数を読み出すことにより補正係数を決定する。
補正画像生成部22は、補正要否判定部55から補正が必要であることを示す情報が出力されると、補正係数決定部54から出力される補正係数に従って静的補正画像に対して画像補正を行い、補正した画像をスキャン画像として非接触スキャナ装置6の外部に出力する。一方、補正画像生成部22は、補正要否判定部55から補正が不要であることを示す情報が出力されると、静的補正画像をスキャン画像として非接触スキャナ装置6の外部に出力する。
図8は、要補正日時記憶部57が記憶する要補正日時情報のデータ構成を示すデータ構成図である。同図に示すように、要補正日時記憶部57は日時と補正の要否とを対応付けて記憶する。要補正日時記憶部57は、例えば過去1年分の要補正日時情報を記憶する。
補正要否判定部55は、要補正日時記憶部57が記憶する要補正日時情報のうち、例えば、要補正日時情報に含まれる日付と要求対応スキャン時との日付の差が1週間以内で、かつ、要求対応スキャン時に最も時間が近い要補正日時情報を読み出すなど、要求対応スキャン時の日時に近い日時の要補正日時情報を読み出し、読み出した要補正日時情報が示す補正の要否に従って補正の要否を決定する。なお、複数の要補正日時情報を読み出した場合は、補正要否判定部55は、例えば、読み出した要補正日時情報のうち、補正が必要であることを示すものが1つでもあれば補正が必要と判定する。
なお要補正日時記憶部57が記憶するデータの構成は図8に示すものに限らない。例えば、要補正日時記憶部57が日時の情報に代えて、当該日時の太陽の位置と補正の要否とを対応付けて記憶するようにしてもよい。この場合、補正要否判定部55は、要求対応スキャン時の太陽位置情報を太陽位置取得部53から取得し、取得した太陽の位置に最も近い太陽の位置の要補正日時情報を要補正日時記憶部57から読み出し、読み出した要補正日時情報が示す補正の要否に従って補正の要否を決定する。
次に、非接触スキャナ装置6の動作について説明する。
図9は、非接触スキャナ装置6が測定用スキャンを行う処理手順を示すフローチャートである。
非接触スキャナ装置6は、電源がオンされると同図に示す処理を開始する。
ステップS41において、生画像生成部51は、所定の時間間隔で予め設定された測定時刻か否かを判定する。予め設定された測定時刻であると判定した場合(ステップS41:YES)はステップS42に進み、そうでないと判定した場合(ステップS41:NO)はステップS41に戻る。
ステップS42において、生画像生成部51は、要求対応スキャン実行中か否かを判定する。要求対応スキャン実行中であると判定した場合(ステップS42:YES)はステップS42に戻り、要求対応スキャン実行中で無いと判定した場合(ステップS42:NO)はステップS43に進む。
ステップS43において、生画像生成部51は、撮像を行って生画像を生成する。この際、例えば、非接触スキャナ装置6が、明度が均一の置き台を具備し、また、ユーザが、要求対応スキャン時以外は置き台に物をおかないことにより、生画像生成部51は、明度が均一の撮像対象を撮像して生画像を生成する。生画像生成部51は、生成した生画像を静的補正画像生成部61に出力する。
ステップS44において、静的補正画像生成部61は、生画像生成部11から出力される生画像に対して静的補正を行い、静的補正画像を生成する。静的補正画像生成部61は、生成した静的補正画像を補正係数生成部542と要補正日時決定部58とに出力する。
ステップS45において、要補正日時決定部58は、静的補正画像生成部61から出力される静的補正画像の画素の輝度値のばらつきに基づいて補正の要否を決定する。例えば、要補正日時決定部58は、静的補正画像の輝度値の最大値と最小値との差が予め定められた閾値以下の場合は補正不要と決定し、それ以外の場合は補正が必要と決定する。補正が必要と決定した場合(ステップS45:YES)はステップS46に進み、不要と決定した場合(ステップS45:NO)はステップS51に進む。
ステップS46において、要補正日時決定部58は、測定用スキャン時の日時と補正が必要であること示す情報とを対応付けて要補正日時記憶部57に書き込む。また、要補正日時決定部58は、補正が必要であることを示す情報を補正係数生成部542に出力する。
ステップS47において、補正係数生成部542は、静的補正画像生成部61から出力される静的補正画像に基づいて画素毎に補正係数を生成する。例えば、補正係数生成部542は、輝度値が低い画素ほど輝度値を高くする補正係数を生成する。すなわち、測定用スキャン時に輝度値が低い画素は、影領域に含まれる画素であり、補正係数生成部542が、この画素に対して輝度を高くする補正係数を生成しておく。要求対応スキャン時に、補正画像生成部22が、この補正係数を用いて画像補正を行うことにより、影領域に含まれる画素の輝度値を高くする画像補正を行うことができる。
補正係数生成部542は生成した補正係数を、太陽位置取得部から出力される太陽の位置と対応付けて補正係数記憶部59に書き込む。その後ステップS41に戻る。
ステップS51において、要補正日時決定部58は、測定用スキャン時の日時と補正が不要であること示す情報とを対応付けて要補正日時記憶部57に書き込む。また、要補正日時決定部58は、補正が不要であることを示す情報を補正係数生成部542に出力する。その後ステップS41に戻る。
非接触スキャナ装置6は、電源がオフされるまで、同図に示す処理を行う。
図10は、非接触スキャナ装置6が要求対応スキャンを行う処理手順を示すフローチャートである。非接触スキャナ装置6は、スキャナ実行ボタンが押下されると、同図に示す処理を開始する。
ステップS61において、生画像生成部51は、撮像対象物を撮像して生画像を生成する。生画像生成部51は、生成した生画像を静的補正画像生成部61に出力する。
ステップS62において、静的補正画像生成部61は、生画像生成部11から出力される生画像に対して静的補正を行い、静的補正画像を生成する。静的補正画像生成部61は、生成した静的補正画像を補正画像生成部22に出力する。
ステップS63において、補正要否判定部55は要求対応スキャン時の日時に近い日時の要補正日時情報を要補正日時記憶部57から読み出し、読み出した要補正日時情報が示す補正の要否に従って補正の要否を判定する。前述のように、要補正日時記憶部57は、例えば過去1年間の要補正日時情報を記憶している。補正要否判定部は、要求対応スキャン実行時の日時に近い日時の要補正日時情報を読み出すことにより、時刻の違いによる太陽の位置の違い、および、月日の変化による太陽の位置の違いの両方が小さい日時の要補正日時情報を読み出すことができる。これにより、要求対応スキャン時の太陽の位置に対して、太陽の位置の差が小さい日時における画像補正の要否に基づいて、画像補正の要否を決定できる。
補正が必要と判定した場合(ステップS63:YES)はステップS64に進み、補正が不要と判定した場合(ステップS63:NO)はステップS71に進む。
ステップS64において、太陽位置取得部53は要求対応スキャン時の太陽の位置を取得して、この太陽の位置を示す太陽位置情報を補正係数決定部54に出力する。また、補正要否判定部55は補正が必要であることを示す情報を補正係数決定部54と補正画像生成部22とに出力する。
ステップS65において、補正係数決定部54は、太陽位置取得部53から出力される太陽の位置に最も近い太陽の位置に対応付けられた補正係数を、補正係数記憶部59から読み出すことにより補正係数を決定する。補正係数決定部54は、決定した補正係数を補正画像生成部22に出力する。
ステップS66において、補正画像生成部22は、補正係数決定部54から出力される補正係数に基づいて、静的補正画像生成部61から出力される静的補正画像に対して画像補正を行い、補正像を生成する。
ステップS67において、補正画像生成部22は、ステップS66で生成した補正画像を、スキャン画像として非接触スキャナ装置6の外部に出力する。その後、同図に示す処理を終了する。
ステップS71において、補正画像生成部22は、静的補正画像生成部61から出力される静的補正画像を、スキャン画像として非接触スキャナ装置6の外部に出力する。その後、同図に示す処理を終了する。
以上のように、非接触スキャナ装置6は、測定時スキャン画像に基づいて補正係数を生成するので、例えば、近くのビルが太陽光線を遮蔽するなど、遮蔽物の位置情報が得られない場合や、近くのビルの窓からの反射光や窓から入る間接光など、直射日光以外の光によってスキャン画像に影領域と影以外の領域とが含まれる場合や、窓ガラスの材質を考慮する必要があるなど影以外の領域の輝度値を算出するための演算量が多くなる場合なども、画像補正を行って影の部分と影以外の部分との輝度値の差を減少させることができる。
また、補正画像生成部22が予め生成された補正係数を用いて画像補正を行うので、スキャン実行ボタン押下後に補正係数を生成する必要がなく、要求対応スキャン時の処理時間を短縮できる。また、補正要否判定部55が補正必要と判定した場合のみ、補正画像生成部22が画像補正を行うので、要求対応スキャン時に補正要否判定部55が補正不要と判定した場合は処理時間を短縮できる。
なお、非接触スキャナ装置1、2、6の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
本発明は、非接触スキャナ装置、画像補正方法およびプログラムに用いて好適である。
1、2、6 非接触スキャナ装置
11、51 生画像生成部
12 配置情報記憶部
13、33、53 太陽位置取得部
14、34、54 補正係数決定部
141、341 影領域算出部
142、542 補正係数生成部
15、35、55 補正要否判定部
21、61 静的補正画像生成部
22 補正画像生成部
37、57 要補正日時記憶部
58 要補正日時決定部
59 補正係数記憶部
401 ヘッド
402 支柱
403 本体
431 置き台

Claims (6)

  1. スキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を行う非接触スキャナ装置であって、
    スキャンを行った日時に基づいて、前記照度差に対する画像補正の補正係数を画素毎に決定する補正係数決定部と、
    前記補正係数決定部が決定した前記補正係数に基づいて、前記照度差に対する画像補正を行う補正画像生成部と、
    スキャンを行った日時に基づいて、前記画像補正の要否を判定し、前記画像補正が必要と判定した場合は、前記照度差に対する画像補正を行うよう前記補正画像生成部を制御し、前記画像補正が不要と判定した場合は、前記照度差に対する画像補正を行わないよう前記補正画像生成部を制御する補正要否判定部と、
    を具備することを特徴とする非接触スキャナ装置。
  2. 前記補正係数決定部は、
    前記スキャンを行った日時の太陽の位置情報および太陽光線を遮蔽する遮蔽物の位置情報を用いて前記影領域を算出する影領域算出部と、
    前記算出した影領域の輝度値を大きくする、あるいは、前記算出した影領域以外の領域の輝度値を小さくする前記補正係数を生成する補正係数生成部と、
    を具備することを特徴とする請求項1に記載の非接触スキャナ装置。
  3. 前記補正要否判定部は、前記影領域算出部が算出した影領域に基づいて、前記スキャン画像に影領域と影以外の領域とが含まれるか否かを判定し、含まれると判定した場合は、前記照度差に対する画像補正を行うよう前記補正画像生成部を制御し、含まれないと判定した場合は、前記照度差に対する画像補正を行わないよう前記補正画像生成部を制御することを特徴とする請求項2に記載の非接触スキャナ装置。
  4. 前記補正係数と太陽の位置情報とを対応付けて複数記憶する補正係数記憶部と、
    明度が既知のスキャン対象物をスキャンする測定用スキャンのスキャン画像の各画素の輝度値に基づいて前記補正係数を生成し、前記生成した補正係数を前記測定用スキャン時の太陽の位置情報と対応付けて前記補正係数記憶部に書き込む補正係数生成部と、
    前記画像補正が必要な日時を記憶する要補正日時記憶部と、
    前記測定用スキャンのスキャン画像の各画素の輝度値のばらつきに基づいて前記画像補正が必要な日時を決定して前記要補正日時記憶部に書き込む要補正日時決定部と、
    をさらに具備し、
    前記補正係数決定部は、前記補正係数記憶部が記憶する補正係数から、前記スキャン時の太陽の位置情報と前記測定用スキャン時の太陽の位置情報とに基づいて補正係数を選択して読み出し、
    前記補正要否判定部は、前記スキャンを行った日時に基づいて前記要補正日時記憶部から補正の要否を示す情報を読み出し、読み出した情報に基づいて前記画像補正の要否を判定する
    ことを特徴とする請求項1に記載の非接触スキャナ装置。
  5. スキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を行う非接触スキャナ装置の画像補正方法であって、
    前記非接触スキャナ装置が、スキャンを行った日時に基づいて、前記画像補正の要否を判定する補正要否判定ステップと、
    前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記非接触スキャナ装置が、前記スキャンを行った日時に基づいて、前記照度差に対する画像補正の補正係数を決定する補正係数決定ステップと、
    前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記非接触スキャナ装置が、前記補正係数決定ステップにて決定した前記補正係数に基づいて、前記照度差に対する画像補正を行う補正画像生成ステップと、
    を具備することを特徴とする画像補正方法。
  6. コンピュータに、非接触スキャナ装置のスキャン画像に含まれる影領域と影以外の領域との照度差に対する画像補正を実行させるプログラムであって、
    スキャンを行った日時に基づいて、前記画像補正の要否を判定する補正要否判定ステップと、
    前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記スキャンを行った日時に基づいて、前記照度差に対する画像補正の補正係数を決定する補正係数決定ステップと、
    前記補正要否判定ステップにて前記画像補正が必要と判定した場合のみ、前記補正係数決定ステップにて決定した前記補正係数に基づいて、前記照度差に対する画像補正を行う補正画像生成ステップと、
    を実行させるプログラム。


JP2009298464A 2009-12-28 2009-12-28 非接触スキャナ装置、画像補正方法およびプログラム Active JP5434584B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009298464A JP5434584B2 (ja) 2009-12-28 2009-12-28 非接触スキャナ装置、画像補正方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009298464A JP5434584B2 (ja) 2009-12-28 2009-12-28 非接触スキャナ装置、画像補正方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011139332A JP2011139332A (ja) 2011-07-14
JP5434584B2 true JP5434584B2 (ja) 2014-03-05

Family

ID=44350296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009298464A Active JP5434584B2 (ja) 2009-12-28 2009-12-28 非接触スキャナ装置、画像補正方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5434584B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6584179B2 (ja) * 2015-07-13 2019-10-02 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム
JP6613225B2 (ja) * 2016-12-29 2019-11-27 富士通フロンテック株式会社 情報処理装置、制御プログラムおよび制御方法
CN111474175B (zh) * 2020-05-22 2024-06-04 北京工业大学 一种光照强度自适应的图像测霜传感器及识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238177A (ja) * 1999-10-28 2001-08-31 Fuji Photo Film Co Ltd 画像処理方法および装置
JP4678649B2 (ja) * 2005-10-31 2011-04-27 富士通株式会社 画像処理装置

Also Published As

Publication number Publication date
JP2011139332A (ja) 2011-07-14

Similar Documents

Publication Publication Date Title
EP1145568B1 (en) Software correction of image distortion in digital cameras
JP5609080B2 (ja) 画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法
WO2017154706A1 (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
US9542615B2 (en) Image processing apparatus and image processing method
JP5471965B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JPWO2014129007A1 (ja) 液晶表示装置
JP5434584B2 (ja) 非接触スキャナ装置、画像補正方法およびプログラム
KR20150031022A (ko) 깊이 정보 기반 광학 왜곡 보상 장치 및 방법
CN101750764B (zh) 一种LCD屏的gamma曲线检测方法及系统
JP4214480B2 (ja) 画像処理装置および方法、並びにプログラム
US20110001854A1 (en) Lens shading correction for autofocus and zoom lenses
JP3699177B2 (ja) 改良型色調調整のための低精度ルックアップ・テーブルからの高精度ルックアップ・テーブル
JPH0879529A (ja) 画像処理装置
JPH07177354A (ja) 感光素子を有するスキャナー
CN101271524A (zh) 图像处理装置,图像处理方法,及计算机程序产品
JP6030890B2 (ja) 画像処理ユニット、画像処理方法、およびスタンド型スキャナ
JP6137464B2 (ja) 画像処理装置および画像処理プログラム
JP2013157965A (ja) 画像処理装置
CN113452920A (zh) 一种对焦点确定方法、装置、设备及介质
JPH10285379A (ja) 原稿角度補正方法及び原稿角度補正装置
JP4321666B2 (ja) 画像データ補正装置
JP2016048828A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6613225B2 (ja) 情報処理装置、制御プログラムおよび制御方法
US5374996A (en) Image processing system
US20220397966A1 (en) Image quality improving method, optical navigation device control method, and optical navigation device using the methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

R150 Certificate of patent or registration of utility model

Ref document number: 5434584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150