JP4251312B2 - 画像入力装置 - Google Patents

画像入力装置 Download PDF

Info

Publication number
JP4251312B2
JP4251312B2 JP2002063655A JP2002063655A JP4251312B2 JP 4251312 B2 JP4251312 B2 JP 4251312B2 JP 2002063655 A JP2002063655 A JP 2002063655A JP 2002063655 A JP2002063655 A JP 2002063655A JP 4251312 B2 JP4251312 B2 JP 4251312B2
Authority
JP
Japan
Prior art keywords
subject
imaging
image
image input
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002063655A
Other languages
English (en)
Other versions
JP2003262785A (ja
Inventor
充 渡辺
正人 岩川
聡司 新宮
久登 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2002063655A priority Critical patent/JP4251312B2/ja
Priority to US10/384,886 priority patent/US7778443B2/en
Priority to DE60332684T priority patent/DE60332684D1/de
Priority to EP03004975A priority patent/EP1343110B1/en
Publication of JP2003262785A publication Critical patent/JP2003262785A/ja
Application granted granted Critical
Publication of JP4251312B2 publication Critical patent/JP4251312B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00Sorting according to destination
    • B07C3/10Apparatus characterised by the means used for detection ofthe destination
    • B07C3/14Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths

Description

【0001】
【発明の属する技術分野】
本発明は、画像入力装置に関し、特に画像認識を行って郵便物を区分するために郵便物を照明光源によって照射し、その照射された部分のモノクロ画像又はカラー画像を入力する画像入力装置に関する。
【0002】
【従来の技術】
この種の画像入力装置は、既にレター(はがき、定形郵便物)及びフラットメールと呼ばれる郵便物に対してそれを区分する装置(それぞれレター区分機及びフラットメール区分機)に搭載され実用化されている。区分機は、画像入力装置で郵便物表面のイメージを取り込み、郵便物表面に記載されている宛名を後段の認識処理部で読み取り、その結果に従って方面別の区分箱へ分類収納するものである。この種の郵便物等の宛名を自動的に読み取る従来技術は、特開2001−243458号公報、特開昭63−189978号公報、特開平2−171883号公報、特開平9−131573号公報及び特開平10−187952号公報に開示されている。
【0003】
ところで、フラットメールは、レターと比べ、厚みが薄いものから厚いもの(最大50mm)まで幅があり、面積も最大で縦400mm、横300mmと広いため、フラットメール用の画像入力装置は上記要求を満たすよう、レター用のそれよりもより広い視野、深い深度を確保するよう光学系の設計がなされている。
【0004】
【発明が解決しようとする課題】
小包と呼ばれる郵便物は、高さ最大600mm、縦500mm、幅500mm程度のものでフラットメールより更にサイズの大きいものである。この小包み郵便物に対する区分機(以下、小包み区分機という)において画像認識による区分を考えた場合、従来のフラットメール用画像入力装置の技術の延長では、特に厚さに関して要求が10倍以上であり、照明の照射深度、カメラの被写界深度(ピントが合って見える被写体位置の範囲)の限界から実現困難である。
【0005】
そこで、本発明の目的は、上記小包など大小様々な郵便物が流れる区分機において、レター区分機、フラットメール区分機同様の画像認識処理による高速・高性能な区分を可能にするための画像入力装置を提供することにある。
【0006】
【課題を解決するための手段】
前述の課題を解決するため、本発明による画像入力装置は、次のような特徴的な構成を採用している。
【0007】
本発明は、搬送手段により任意の間隔で一定方向に移動される縦、横及び高さが不均一なサイズの小包み郵便物である被写体の表面の画像を撮像する画像入力装置において、
前記搬送手段により一定方向に移動する前記被写体に向けて前記搬送手段の移動方向に対して略直交方向の線状光を照射する照明手段と、
前記搬送手段の移動方向の下流側であって且つ前記搬送手段の上方に配置され、前記線状光に照射された前記被写体をリニアアレイCCDで撮像する撮像手段と、
前記搬送手段の移動方向に関し前記撮像手段より上流に配置され、前記被写体の通過の検知をし、前記検知に基づく前記被写体の通過時に、高さ方向に配列した複数のエリアビームにより、前記被写体の高さに対応するエリアセンサデータを検知して前記撮像手段から前記被写体の表面までの撮像距離データを前記被写体の撮像前に検知する検知手段と、
前記撮像手段による前記被写体の撮像時に、前記検知手段により検知した距離データに応じて前記撮像手段の前記リニアアレイCCDを移動させてピントを前記被写体に自動的に合わせるオートフォーカス手段と、
前記搬送手段における被写体載置平面に対し前記撮像手段の光軸がなす角度と、前記エリアセンサデータで表される前記被写体の高さとに応じて、当該被写体の通過時から該撮像手段による当該被写体の撮像開始までの時間を制御する撮像タイミング制御手段と
を備える。
【0008】
本発明は、前記撮像手段の前記リニアアレイCCDと共に遮光板を使用し、前記リニアアレイCCDのうち実使用画素以外の露光を阻止する。
【0009】
本発明は、前記撮像手段で撮像された前記被写体の画像を補正する画像補正手段を設け、前記リニアアレイCCDの取り込み方向(順方向)とその逆方向から包絡線を検知して、諧調補正及び配光補正を行う。
【0021】
【発明の実施の形態】
次に本発明の好適な実施の形態について図面を参照して詳細に説明する。
先ず、本発明の第1の実施形態の構成について図面を用いて説明する。
図1において、郵便物2は搬送コンベア1に載せられて一定速度で移動する。光電センサ3は、郵便物2の通過を検知し、その検知信号をカメラユニット5へ出力する。ロータリーエンコーダ9は、搬送コンベア1の速度に比例した周期のパルスを生成しカメラユニット5へ出力する。
【0022】
照明ユニット6は、郵便物2を線状に照射するものである。この照明ユニット6の構成について図2を参照して詳細に説明する。図2はツマミネジ18を緩め、前面の開閉部を開いた図である。図示の通り、照明ユニット6は、3本のランプ管14とその各々に対応する反射板17、側面に取り付けられた吸気ファン15とその反対側面の排気ファン16、開閉部で照明の開口部分を仕切る前面ガラス19、さらにその開閉部の先に取り付けられる補助反射板20で構成される。吸気ファン15と排気ファン16により照明ユニット6の内部は空冷される。また、塵や埃が入らないよう各ファン15、16に防塵メッシュが取り付けられている。
【0023】
反射板17及び補助反射板20は、ランプ管14が高圧ナトリウムランプの場合、メタルハライドランプの場合でそれぞれ、必要な被写深度の深さ、視野にてなるべく均一にかつ高照度にカメラ視野を照射するよう設計され、取り付けられる。また、ランプの特性に応じて、ランプ管14の表面及び前面ガラス19に熱線カット、紫外線カットのコーティングを施し、熱線及び紫外線の照射を極力抑えてかつ可視光域による高輝度照射を実現している。
【0024】
次に図3を参照して本発明の第1の実施形態の回路構成について説明する。
カメラユニット5は、処理する信号形態から光学部分と電気部分に分けて考えられる。光学部分は、カメラ視野11の反射光21を数回折り返すミラー22、シェーディング補正を行うシェーディング補正板24、各フィルタ類、そして集光・結像するレンズ27及びその像を受けるリニアアレイCCD29で構成される。
【0025】
電気部分は、光電変換を行うCCD回路30、CCD駆動信号を生成するCCD駆動回路32、CCD回路からの電気信号を増幅し信号レベルを正規化してデジタル変換し、さらに各デジタル画像補正を行うビデオ信号処理回路33、ビデオ信号をパラレルシリアル変換して認識ユニット7の画像認識処理部35へ送出する画像データ伝送回路34、さらに光電センサ3、エリアセンサ4、ロータリーエンコーダ9からの各信号を受信し認識ユニット7のパラメータ制御部36と通信を行い、パラメータ設定をオートフォーカスモジュール31、ビデオ信号処理回路33に対して行う制御回路37で構成される。
【0026】
ここで、オートフォーカスモジュール31の構成を図4を参照して詳細に説明する。リニアステッピングモータ38は、モータ固定冶具42で固定される。このモータ固定冶具42は、熱伝導のよい金属を用いモータの熱を逃がす役目も担っている。
【0027】
リニアステッピングモータ38のシャフトの先端には、CCDボード固定冶具43が取り付けられる。リニアアレイCCD29、その一部を遮光する遮光板28及びCCD回路30が搭載されたCCDボード44はCCDボード固定ネジ45によって上記CCDボード固定冶具43に取り付けられる。また、シャフトには原点、エッジを検出するためのモータ用遮蔽板41が取り付けられ、原点用光電センサ39、エッジリミット用光電センサ40が設置されている。
【0028】
電源ユニット13は、図5に示すように、ランプファン46などの各種アラームを検出しカメラユニット5へ出力するアラーム信号生成回路47と、電源48と、メインテナンスのため通電時間を積算表示するアワーメータ49と、電源ブレーカ50から構成されている。
【0029】
認識ユニット7は、画像データ伝送回路34からの画像データに対し画像認識処理を行う画像認識処理部35と、エリアセンサ4のデータ値に応じ、光電センサ3のあるタイミングにて各パラメータをオートフォーカスモジュール31及びビデオ信号処理回路33に送信するパラメータ制御部36から構成される。
【0030】
次に上記本発明の第1の実施形態の動作について説明する。
図1において、照明ユニット6は、図6にも示す通りカメラ光軸角度51と同様に搬送方向8の垂直方向に対して鋭角をなすようその照明光軸角度52が設定され、かつカメラ光軸角度51とは若干異なる角度で照明を行っている。これによりビニール封筒などによる正反射の発生の軽減が図られている。
【0031】
また、必要な被写界深度、カメラ視野の範囲で出来るだけ均一でかつ高照度となるよう照明を行っている。図7は各高さ位置のカメラ視野での照明照度を示している。0mmから1,000mmまでの高さ変動は補助反射板20による効果で、最小値に対する最大値が4倍強から2倍弱までに抑制され、より均一化が図られている。
【0032】
ここで、図1に示すように郵便物2は搬送コンベア1によって一定速度で搬送される。エリアセンサ4の手前に設置された透過型の光電センサ3からの信号は、エリアセンサデータの取り込みタイミング及び撮像タイミング信号としてカメラユニット5へ送られる。
【0033】
カメラユニット5の制御回路37は、ロータリーエンコーダ9のパルス信号を用い、光電センサ3の信号を光電センサ3とエリアセンサ4の距離分だけ遅延させてエリアセンサデータを取り込む。また、この光電センサ3の信号から制御回路37は郵便物の間隔を検知する。
【0034】
エリアセンサ4のデータは、制御回路37を通してパラメータ制御部36へ送られる。このエリアセンサデータに応じてパラメータ制御部36はLUT形式でゲイン補正パラメータ、間引きパラメータをビデオ信号処理回路33に、郵便物がカメラ視野11にかかって撮像を開始する直前に設定する。
【0035】
図8に示すように、ゲイン補正パラメータ57はアナログゲインアンプ58に設定され、照明の高さに応じた明るさ変動に起因するビデオ信号56のレベル変動をA/D変換前に抑制する。照明の高さに応じた照度変動は、反射板17及び補助反射板20で図7に示す程度までに抑えられている。ここで、反射板の設計をより詳細に行うことでさらに明るさ変動を抑制することも可能であるが、コストと量産性の両面から現実的ではない。そのため照明の反射板設計による変動抑制は図7に示す程度の粗調整までとし、微調整をこのゲイン補正部にて行う。
【0036】
ここで、カメラ光軸10が搬送コンベア1に対し斜めの角度を持つ場合、郵便物がカメラ視野11にかかるタイミングは郵便物の高さ、すなわちエリアセンサデータに応じて変わる。例えば、カメラ光軸角度51が18度である場合、高さ50cmの差で約16cmだけ撮像開始の位置が異なってくる(50cm×TAN(18度))。そのため撮像開始タイミングの遅延もカメラ光軸角度51を元に予め計算してパラメータ制御部36にてテーブル化し、LUT形式でエリアセンサデータに応じた遅延パラメータを読み出して制御回路37に設定する。
【0037】
また、パラメータ制御部36はリニアステッピングモータ38の移動ステップ数をオートフォーカスモジュール31に設定する。このタイミングは、オートフォーカスモジュール31の動作時間を考慮に入れる必要がある。前後の郵便物の間隔が原点復帰を行ってからの位置決め移動時間(最大約180ms)以上に空いている場合には絶対位置決めを行う。
【0038】
絶対位置決めにおいて、リニアステッピングモータ38のステップ数の設定はパラメータ制御部36に予め設定されたステップ数だけ設定される。その設定タイミングは、撮像の180ms前になされ、同時に原点復帰動作が開始される。原点復帰後、自動的に設定されたステップ数だけ位置決め移動が行われる。
【0039】
一方、前後の郵便物の間隔が上記以下である場合には相対位置決めを行う。相対位置決めにおいて、リニアステッピングモータ38のステップ数の設定はパラメータ制御部36に予め設定されたステップ数から、一つ前の郵便物のそれを引いた数だけ設定される。その減算結果の符号は方向を表し、−の場合はCCDをレンズ(被写体)に近づける方向に、+の場合は遠ざける方向にそれぞれ絶対値分のステップ数だけリニアステッピングモータ38を移動させる。設定のタイミングは、撮像のタイミングに対しステップ数に比例した時間に加減速のオフセットを加えた時間分だけ前になされ、同時にそのステップ数の移動が開始される。
【0040】
但し、郵便物の間隔がこの相対位置決めの時間もないほどに狭い場合、次の郵便物を優先させる。即ち、次の郵便物の撮像に間に合うよう、現在の郵便物の撮像中にリニアステッピングモータ38の移動を開始させる。これは単純に郵便物2の間隔が非常に狭い場合の他、例えば図6に示すような場合に起こり得る。カメラ光軸角度51と前後の郵便物の間隔、及びそれらのエリアセンサデータから図6のような場合が予め予測できるため、上記対応が可能である。
【0041】
移動ステップ数は、図9に示すように実験的に求めた測定データ63の近似曲線62と、幾何光学にて理論的に求めた曲線にオフセットを足しこんだ曲線61でほぼ一致する。そのため一度ステップ数を定めればオフセットの調整のみで設定が可能である。
【0042】
このオフセットの調整は、フォーカス調整用チャートを高さ0mmのカメラ視野11上におき、CCDを高さ0mmの以前のステップ数で移動させて固定しレンズフォーカスリング回すことによっても、又はレンズは動かさず実際に画像を取り込みながらCCDを自動的に1ステップずつ動かし最も画像がシャープだった位置でのステップ数を今回の高さ0mmでの値として設定し直すことによっても行うことができる。
【0043】
ここで、郵便物2の高さが搬送方向8に対して一定の場合、ステッピングモータの移動は上述の相対位置決め又は絶対位置決めだけが行われるが、それが変動している場合、エリアセンサにて得られた高さプロファイルに合わせてオートフォーカスを追従移動させることも可能である。この場合、ステッピングモータの追従移動のスピードは搬送スピードに合わせ、高さプロファイルに応じたステップ数だけ順に相対位置決めにより移動させる。
【0044】
郵便物2の表面からの反射光21は、図3に示すように複数枚のミラー22で複数回反射された後にレンズ27によってCCD29に結像する。
【0045】
ミラー22は、特にカメラ視野11方向に細長い大きなサイズが必要であり、取り付け時に歪が生じないよう、λ/4の高面精度でかつ厚みが10mm以上のものを用いる。複数枚の使用は限られたスペースの中で光路長をできるだけ長くし郵便物2の高さ変動に伴う画像の倍率変動を極力抑えるために行っている。
【0046】
しかし、例えば光路長約3.5mにおいても、倍率変動は図10の曲線65に示すような倍率変動となってしまうため、高さに応じた間引き処理が行われ、曲線64のように高さ1000mmでも変動が10%以下となるよう補正している。
【0047】
間引きは、図11のように間引きパラメータ74をビデオ信号処理回路33の画像補正回路60にゲイン補正パラメータ57と同様のタイミングで設定することにより行われる。
【0048】
またミラー22のうちの2つは、光路を45度で反射させかつ互いの面法線が直角であって同時に動かすことの出来る可動ミラーブロック23に取り付けられる。この可動ミラーブロック23を前後に動かすことで光路長を移動の2倍分変化させることができ、特に上述のように光路が長い場合に、光路を調整するのに有利である。
【0049】
図3に示すように、レンズ27の前にはシェーディング補正板24、偏光フィルタ25、赤外カットフィルタ26がそれぞれ配置される。シェーディング補正板24は例えば半円形状であり、光束の中心部を減光してレンズ自身の特性によるシェーディング(明るさムラ)を補正する。赤外カットフィルタ26は照明光に残留する近赤外線から赤外線をカットし、ボールペンなど近赤外光で反射するインクで記入された文字のコントラストを高める。偏光フィルタ25はビニールなど正反射を生じやすい包装材で包まれた郵便物からの正反射光を抑制する。
【0050】
ここで、特にカラー撮像で光源をオレンジ色の高圧ナトリウムランプとする場合には、さらにシャープカットカラーフィルタを備え、青から緑の色はそのまま透過させ赤色成分のみ減光透過させるものを用いて粗く色バランス調整を行う。
【0051】
レンズ27は、例えばスキャン方向分解能8.0本/mmの倍率で視野512mmを取り込むように選定する。するとCCD29で実使用される画素数は4096画素(=8.0(画素/mm)×512mm)となる。
【0052】
このCCD29にてレンズ27で結像した光を電気信号へ変換する。低コスト化のためCCDは、上記使用画素以上の画素数を有した汎用のものを使用しているが、搬送方向の分解能を上げるため露光時間を全画素転送時間以下にして用いている。その際、露光済み画素の転送途中に次の露光が重なることによるイメージ品質劣化を避けるため、遮光板28を用い、実使用画素以外は露光しないようにしている。
【0053】
ここで、遮光板とCCDの隙間から回折による光漏れが生じ遮光板端部でも若干露光してしまうことを考慮しなければならない。そのため実使用画素に加えてそれに連続する未使用画素の一部も空転送している。この結果、実際の露光時間は実使用画素に空転送画素分を加えたものとなる。
【0054】
CCD回路30から出力されるビデオ信号56は、図8に示す通り、ビデオ信号処理回路33にてゲイン補正された後、A/D変換される。
【0055】
画像補正回路60では、先ずリニアアレイCCDの順方向とその逆方向の包絡線を検知して階調変換、配光補正を行い、その後間引き処理を行う。その回路構成を図11に示す。
【0056】
先ず、A/D変換器59にてデジタル化された信号を複数ライン保持できる容量のある原イメージメモリ66にリニアアレイCCDの出力順に書き込む。ここで1ライン分のイメージデータに対し平滑処理67を施した後、CCDの出力順の方向、及びその逆方向からイメージデータを読み出して包絡線検知処理を行い、そのデータをそれぞれ順方向包絡線メモリ68及び逆方向包絡線メモリ69に書き込む。
【0057】
ここで包絡線検知の原理を図12(A)から(D)を用いて説明する。図12(A)及び(B)は順方向包絡線検知を図示したものである。ここでは原イメージメモリ66から読み出し平滑処理67を施したイメージライン信号77に対し、注目する画素とCCD順方向に一つ先の画素のレベルを比較する。注目する画素のレベルの方が大きければ、その値からある一定値を引いたものをその画素値とし、そうでなければ一つ先の画素のレベルをその画素値とする。そうして1ライン分の順方向包絡線追従信号78を生成し、順方向包絡線メモリ68に書き込む。
【0058】
一方、図12(C)及び(D)は逆方向包絡線検知を図示したものである。ここでは原イメージメモリ66から読み出し平滑処理67を施したイメージライン信号77に対し、注目する画素とCCD順方向に一つ手前の画素のレベルを比較する。注目する画素のレベルの方が大きければ、その値からある一定値を引いたものをその画素値とし、そうでなければ一つ先の画素のレベルをその画素値とする。そうして1ライン分の逆方向包絡線追従信号81を生成し、逆方向包絡線メモリ69に書き込む。
【0059】
両包絡線検知における減算の値は、目的とする画像認識処理に最も適した値を用いる必要があり、調整にて定める。
【0060】
ここで順方向包絡線追従信号78を白基準レベルとして階調変換を行う補正を考えると、紙面レベル75よりレベルの小さい黒レベル76に対し、その幅が十分小さい場合には順方向包絡線追従信号78と黒レベル76とのコントラストは保つことができる。一方、紙面レベルより値の大きい正反射光レベル80がある場合、その正反射光の幅に関わらずイメージライン信号77が紙面レベル75に戻っても順方向包絡線追従信号78はすぐに下がらずそれらの間にコントラストが生じてしまう。逆方向包絡線追従信号81だけで考えても同様である。
【0061】
そこでこれら計算された2つの包絡線信号について各画素毎の比較を行い、小さい方を配光補正のための紙面レベル追従信号として用いることを考える。すると、その処理後の包絡線追従信号82は図12(E)及び(F)に示すようになり、図12(B)及び(D)で示したような正反射前後の包絡線信号とイメージライン信号とのコントラストが1画素分のずれを除き完全に除去できる。
【0062】
順方向包絡線追従信号78と逆方向包絡線追従信号81の比較は比較処理70にて行う。その結果の包絡線追従信号82はROM71に上位アドレスとして与えられる。また下位アドレスとしてこの包絡線信号を計算する元となった原イメージライン信号は、原イメージメモリ66から与える。
【0063】
ここでROM71には予め、
(配光補正データ)=(白基準レベル)÷(紙面レベル追従値)×(イメージ値)
なる演算を紙面レベル追従値の全てのとり得る値、及びイメージ値の全てのとり得る値に対して行い、紙面レベル追従値をROM上位アドレス、イメージ値をROM下位アドレスとして、その演算結果を書き込んでおく。但し、紙面レベル追従値がある閾値以下である場合には、紙面とみなして無理に白基準レベルに持ち上げないように設定しておく。
【0064】
これにより、計算された包絡線追従信号82を紙面レベル追従値として白基準レベルに設定し、階調を最適に保つと共に1ラインスキャンにおける照明ムラ、レンズのシェーディングなどによるムラを補正し、さらに照明の電源ONからの時間変動、及び長期的劣化に変動も吸収でき、いつでも均一な明るさのイメージを得ることが出来る。
【0065】
また上述の式はイメージ値に対し単純に線形であるが、さらにイメージ値に応じて変化する正規化された重み定数をかけることでγ補正演算も可能である。
【0066】
上述の演算結果である配光補正データ73は、認識ユニット7のパラメータ制御部36にて計算され、制御回路37を通じて、出荷調整時などのタイミングで書き込まれる。
【0067】
階調変換、配光補正のなされたROM71の出力は、前述のようにエリセンサの値に応じて間引き処理72が施され、画像データ伝送回路34へ送られる。
【0068】
画像データ伝送回路34は、画像データを光ファイバまたはLVDS信号で画像認識ユニット7の画像認識処理部35に画像を送信する。画像認識処理としては、郵便番号、宛名、書籍のISBNコード番号などの文字認識処理、インディシアなどの検知処理などを行うことが可能である。特にISBNコード番号はカラフルなものが多いため、カラー撮像による認識が有利である。
【0069】
なお、上記で示した視野、分解能などの数値は一例にすぎず、本発明はこれに制限されるものではない。
【0070】
次に、本発明の第2の実施形態について図面を参照して詳細に説明する。
本実施形態は、第1の実施形態において、照明ユニットを2つとし、カメラ光軸10を搬送方向に垂直にしたものであり、図13のような配置となる。
【0071】
カメラ光軸が搬送方向に垂直であるため、第1の実施形態のように、エリアセンサの値に応じて撮像タイミングが変わることがなく、また図6のように次の郵便物との高さ関係で撮像が不可能になるようなことが生じない。そして照明が倍になることでより高照度で被写体を照射することができ、レンズ絞りを絞ることによるメカ的なオートフォーカスによらないカメラ深度向上につながり、被写体のスキャン方向の凹凸に対してよりピントの合った撮像を可能にする。さらにシャッター時間を短くすることでより高分解能の画像取り込みが可能となる。
【0072】
次に、本発明の第3の実施形態について図面を参照して詳細に説明する。
本実施形態は、第1の実施形態又は第2の実施形態において、カメラユニット5に高分解能モノクロ撮像と低分解能カラー撮像の両機能を搭載させたものである。
【0073】
図14はカメラユニット5の構成を示すブロック図である。
モノクロ撮像用反射光101とカラー撮像用反射光102は一定の距離だけ離れて平行を保ってミラー22に反射される。モノクロとカラーの反射光のCCDまでの光路の構成はカラー撮像用の場合にシャープカットカラーフィルタ103がある以外はほぼ同じである。その後段においても基本的にはモノクロとカラーは同じ構成である。但しカラー撮像系のビデオ信号処理回路33においては、モノクロで配光補正を行う処理において、さらに白補正が加わる。また分解能の違いからステッピングモータのステップ数が、見ている位置の差から画像取り込みのタイミングを図る遅延パラメータが異なる。
【0074】
カラー低分解能の画像は、認識ユニット7の画像認識領域検知部104に送られ、高分解能モノクロ画像取り込んだ画像のうち、実際に画像認識させる領域を見つけ出す用途に用いられる。これにより高分解能で全ての視野を画像認識させることがなくなり、より処理の高速化を図ることができる。
【0075】
例えば、画像認識させる対象エリアがいつでも青い枠で書かれている場合、赤いハートマークがある場合など、先ずそれらを低分解能カラー画像で検知し、その位置からある程度マージンを含んだエリアに足し、高分解能白黒画像で画像認識を行う。
【0076】
次に、本発明の第4の実施形態について詳細に説明する。
本実施形態は、第1の実施形態において、特にカメラ光軸角度51を45度とし、被写体の上面だけでなく後面(又は前面)も撮像するものである。
【0077】
図1のようにカメラ光軸10が搬送方向の斜め後方から下向きになるようカメラユニット5が設置されている場合、上面の撮像を第1の実施形態同様に行った後、オートフォーカスを高さに応じて追従させながら高さ0mmまで後面の撮像を行う。
【0078】
カメラ光軸10が搬送方向の斜め前方から下向きになるようカメラユニット5が設置されている場合には、先ずオートフォーカスを高さ0mmから郵便物の高さまで追従させて前面を撮像し、その後上面を第1の実施形態と同様にして撮像する。
【0079】
一方、図15に示すように、郵便物の側面を読み取るようにカメラユニット5及び照明ユニット6を設置し、カメラ光軸10が搬送方向斜め後方の向きになっている場合、先ず郵便物の側面を方向112の向きに、位置検知用エリアセンサ111に応じてオートフォーカスを位置決めして撮像する。次に方向113の向きに、オートフォーカスを追従させながら郵便物の後面を撮像する。
【0080】
ここで位置検知用エリアセンサ111は光電センサ3や高さ検知用のエリアセンサ4と同様、カメラ光軸10より搬送コンベアの手前の、搬送コンベアの繋ぎ目に上下に設置する。
【0081】
図15でカメラ光軸10が搬送方向斜め前方の向きになっている場合には、先ずオートフォーカスを追従させて前面を、次にオートフォーカス固定で側面を撮像する。
【0082】
次に、本発明の第5の実施形態について図面を参照して詳細に説明する。
本実施形態は、第1の実施形態のカメラユニットを複数台用い、第4の実施形態の配置をそれぞれのカメラで別々にとらせ、郵便物を全6方向から撮像するものである。
【0083】
図16(A)は、本実施形態のカメラユニットの配置を側面から見た図である。この図16(A)及び(B)において、各カメラユニットと対になる照明ユニット、光電センサ3、高さ検知用のエリアセンサ4、位置検知用エリアセンサ111などは省略している。
【0084】
図16(A)に示すように、搬送コンベア1の上面には、カメラ光軸10が搬送方向の斜め前方から下向きになるよう設置された前面及び上面読み取り用カメラユニット121が、またコンベアの繋ぎ目から上方にカメラ光軸を持った底面読み取り用カメラユニット122が配置される。
【0085】
底面読み取り用カメラユニット122については、オートフォーカスは特に用いる必要はない。またカメラユニット121の照明が直接入射しないような配置にする。
【0086】
一方、図16(B)は本実施形態のカメラユニットの配置を上面から見た図であり、搬送コンベア1の片側側面にはカメラ光軸10が搬送方向の斜め後方から前向きになるよう設置された後面及び側面読み取り用カメラユニット124が、また反対側の側面にはその側目読み取り用カメラユニット123が配置される。
【0087】
これら計4台のカメラユニット構成により、郵便物を全6方向から撮像することが可能となる。
【0088】
【発明の効果】
以上説明した通り、本発明の画像入力装置によれば、次のような格別顕著な効果が得られる。
【0089】
(1)大小様々な郵便物に対しオートフォーカスを用いてピントの合った画像を取り込むことができ、その画像に対し画像認識処理することにより自動的に郵便物を区分することが可能となる。
【0090】
(2)高分解能のモノクロ撮像系と低分解能のカラー撮像系を一体化させ、低分解能カラーで認識対象の領域の位置を、そして高分解能のカラーで画像認識処理を行うことにより、より高速に区分処理を行うことができる。
【0091】
(3)偏光フィルタ、包絡線検知手段及びカメラ光軸と照明光軸の位置関係により郵便物が正反射を生じた際の画像のコントラスト劣化を抑えることができる。
【0092】
(4)遮光手段によりCCD未使用部分を遮光し必要範囲のみ使用することにより高速化が図れると共に汎用の安価なCCDの使用が可能となる。
【0093】
(5)また、本発明の画像入力装置を複数台用いることで郵便物を全6方向から撮像して全面の画像認識処理を行うことができ、郵便物を搬送コンベアに載せる際に、特に画像認識処理を行う面を意識して載せる必要がなくなり、作業者の負担軽減が図れる。
【図面の簡単な説明】
【図1】本発明による画像入力装置の第1の実施形態の概略の構成を示す斜視図である。
【図2】図1に示す照明ユニットの構成を示す斜視図である。
【図3】図1に示す回路構成の概略を示すブロック図である。
【図4】図3に示すオートフォーカスモジュール31の構成を示す斜視図である。
【図5】図1に示す電源ユニット13の構成を示すブロック図である。
【図6】郵便物の前後の関係により撮像が出来なくなる場合を説明する図である。
【図7】照明補助反射板20の効果を説明する図である。
【図8】ビデオ信号処理回路33の概略を示すブロック図である。
【図9】リニアステッピングモータ38の移動ステップ数を示す図である。
【図10】倍率変動に対する間引きの効果を説明する図である。
【図11】画像補正回路60の構成を示すブロック図である。
【図12】本発明の実施形態における諧調変換や配光補正処理を説明するための信号波形図である。
【図13】本発明による画像入力装置の第2の実施形態の光学系の構成を示すブロック図である。
【図14】本発明による画像入力装置の第3の実施形態の回路構成の概略を示すブロック図である。
【図15】郵便物の側面及び後面を読み取る配置構成の概略を示すブロック図である。
【図16】本発明による画像入力装置の第5の実施形態のカメラユニット配置構成の概略を示す側面図と上面図である。
【符号の説明】
1 搬送コンベア
2 郵便物
3 光電センサ
4 エリアセンサ
5 カメラユニット
6 照明ユニット
7 認識ユニット
8 搬送方向
9 ロータリーエンコーダ
10 カメラ光軸
11 カメラ視野
12 エリアセンサビーム
13 電源ユニット
14 ランプ管
15 吸気ファン
16 排気ファン
17 反射板
18 ツマミネジ
19 前面ガラス
20 補助反射板
21 反射光
22 ミラー
23 可動ミラーブロック
24 シェーディング補正板
25 偏光 フィルタ
26 赤外カットフィルタ
27 レンズ
28 遮光板
29 CCD
30 CCD回路
31 オートフォーカスモジュール
32 CCD駆動回路
33 ビデオ信号処理回路
34 画像データ伝送回路
35 画像認識処理部
36 パラメータ制御部
37 各制御回路
38 リニアステッピングモータ
39 原点用光電センサ
40 エッジリミット用光電センサ
41 モータ用遮蔽板
42 モータ固定冶具
43 CCDボード固定冶具
44 CCDボード
45 CCDボード固定ネジ
46 ランプファン
47 アラーム信号生成回路
48 電源
49 アワーメータ
50 電源ブレーカ
51 カメラ光軸角度
52 照明光軸角度
53 照明光軸
54 補助反射板なしの照度データ
55 補助反射板ありの照度データ
56 ビデオ信号
57 ゲイン補正パラメータ
58 アナログゲインアンプ
59 A/D変換器
60 画像補正回路
61 理論曲線(オフセット追加)
62 測定データへの近似曲線
63 測定データ
64 間引き処理を行った場合の倍率変動曲線
65 間引き処理を行わない場合の倍率変動曲線
66 原イメージメモリ
67 平滑処理
68 順方向包絡線メモリ
69 逆方向包絡線メモリ
70 比較処理
71 ROM
72 間引き処理
73 配光補正パラメータ
74 間引きパラメータ
75 紙面レベル
76 黒レベル
77 イメージライン信号
78 順方向包絡線追従信号
79 CCD順方向
80 正反射光レベル
81 逆方向包絡線追従信号
82 比較処理後の包絡線追従信号
101 モノクロ撮像用反射光
102 カラー撮像用反射光
103 シャープカットカラーフィルタ
104 画像認識領域検知部
111 位置検知用エリアセンサ
112 側面読み取り方向
113 後面読み取り方向
121 前面及び上面読み取り用カメラユニット
122 底面読み取り用カメラユニット
123 側面読み取り用カメラユニット
124 側面及び後面読み取り用カメラユニット

Claims (3)

  1. 搬送手段により任意の間隔で一定方向に移動される縦、横及び高さが不均一なサイズの小包み郵便物である被写体の表面の画像を撮像する画像入力装置において、
    前記搬送手段により一定方向に移動する前記被写体に向けて前記搬送手段の移動方向に対して略直交方向の線状光を照射する照明手段と、
    前記搬送手段の移動方向の下流側であって且つ前記搬送手段の上方に配置され、前記線状光に照射された前記被写体をリニアアレイCCDで撮像する撮像手段と、
    前記搬送手段の移動方向に関し前記撮像手段より上流に配置され、前記被写体の通過の検知をし、前記検知に基づく前記被写体の通過時に、高さ方向に配列した複数のエリアビームにより、前記被写体の高さに対応するエリアセンサデータを検知して前記撮像手段から前記被写体の表面までの撮像距離データを前記被写体の撮像前に検知する検知手段と、
    前記撮像手段による前記被写体の撮像時に、前記検知手段により検知した距離データに応じて前記撮像手段の前記リニアアレイCCDを移動させてピントを前記被写体に自動的に合わせるオートフォーカス手段と、
    前記搬送手段における被写体載置平面に対し前記撮像手段の光軸がなす角度と、前記エリアセンサデータで表される前記被写体の高さとに応じて、当該被写体の通過時から該撮像手段による当該被写体の撮像開始までの時間を制御する撮像タイミング制御手段と
    を備えることを特徴とする画像入力装置。
  2. 前記撮像手段の前記リニアアレイCCDと共に遮光板を使用し、前記リニアアレイCCDのうち実使用画素以外の露光を阻止することを特徴とする請求項1に記載の画像入力装置。
  3. 前記撮像手段で撮像された前記被写体の画像を補正する画像補正手段を設け、前記リニアアレイCCDの取り込み方向(順方向)とその逆方向から包絡線を検知して、諧調補正及び配光補正を行うことを特徴とする請求項1又は2に記載の画像入力装置。
JP2002063655A 2002-03-08 2002-03-08 画像入力装置 Expired - Fee Related JP4251312B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002063655A JP4251312B2 (ja) 2002-03-08 2002-03-08 画像入力装置
US10/384,886 US7778443B2 (en) 2002-03-08 2003-03-07 Image focusing device with motor
DE60332684T DE60332684D1 (de) 2002-03-08 2003-03-10 Bildeingabegerät
EP03004975A EP1343110B1 (en) 2002-03-08 2003-03-10 Image input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002063655A JP4251312B2 (ja) 2002-03-08 2002-03-08 画像入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008291854A Division JP4807402B2 (ja) 2008-11-14 2008-11-14 画像入力装置

Publications (2)

Publication Number Publication Date
JP2003262785A JP2003262785A (ja) 2003-09-19
JP4251312B2 true JP4251312B2 (ja) 2009-04-08

Family

ID=27751255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002063655A Expired - Fee Related JP4251312B2 (ja) 2002-03-08 2002-03-08 画像入力装置

Country Status (4)

Country Link
US (1) US7778443B2 (ja)
EP (1) EP1343110B1 (ja)
JP (1) JP4251312B2 (ja)
DE (1) DE60332684D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690692B (zh) * 2018-08-24 2020-04-11 菱光科技股份有限公司 外部觸發之線性相機檢測系統及其影像曝光處理方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005216169A (ja) * 2004-01-30 2005-08-11 Toshiba Tec Corp 画像読取装置
ES2289633T3 (es) 2004-10-11 2008-02-01 Sick Ag Dispositivo y procedimiento para la vigilancia de objetos en movimiento.
DE102004049482A1 (de) * 2004-10-11 2006-04-13 Sick Ag Vorrichtung zur Überwachung von bewegten Objekten
DE102006017337A1 (de) * 2006-04-11 2007-10-18 Sick Ag Verfahren zur optischen Erfassung von bewegten Objekten und Vorrichtung
JP5302511B2 (ja) * 2007-03-28 2013-10-02 三菱重工業株式会社 2波長赤外線画像処理装置
US20080257795A1 (en) * 2007-04-17 2008-10-23 Eriez Manufacturing Co. Multiple Zone and Multiple Materials Sorting
JP4906609B2 (ja) 2007-06-29 2012-03-28 キヤノン株式会社 撮像装置および方法
CH699243A2 (de) * 2008-07-25 2010-01-29 Ferag Ag Optisches Kontrollverfahren zur Erkennung von Druckereierzeugnissen bei der Druckweiterverarbeitung.
US20120182588A1 (en) * 2011-01-14 2012-07-19 Mampe John J Distributed image acquisition for postal processing
USD668656S1 (en) * 2011-01-24 2012-10-09 Datalogic ADC, Inc. Tunnel scanner
US9167348B1 (en) 2012-03-08 2015-10-20 shenYon, Inc. Wireless waterproof headphone system
EP2763105B1 (en) * 2013-01-31 2018-08-22 Neopost Technologies Image acquisition system for processing and tracking mail pieces
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
US9805257B1 (en) * 2016-09-07 2017-10-31 Datamax-O'neil Corporation Printer method and apparatus
CN106269532B (zh) * 2016-09-14 2018-05-25 山东大学 自动化物流分拣系统
CN110721916B (zh) * 2019-10-18 2021-05-07 兴盛社区网络服务股份有限公司 一种物流分拣系统及其分拣方法
CN113218900A (zh) * 2021-05-07 2021-08-06 江苏凤凰通达印刷有限公司 一种书籍印刷品质检测系统

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52143824A (en) 1976-05-26 1977-11-30 Hitachi Ltd Search device for micro=fiche
DE2914517A1 (de) * 1979-04-10 1980-10-23 Siemens Ag Halbleiterschaltung mit taktgesteuerten ladungsverschiebungsanlagen
US4578749A (en) * 1982-06-23 1986-03-25 Kabushiki Kaisha Toyota Chuo Kenkyusho Method for measuring driving amount of motor and apparatus therefor
US4553193A (en) * 1983-02-01 1985-11-12 Gamma One Conversions, Inc. Scanning light system
US4575248A (en) * 1984-06-18 1986-03-11 Itek Corporation Wavefront sensor employing novel D.C. shearing interferometer
US4734612A (en) * 1985-07-15 1988-03-29 Kabushiki Kaisha Toshiba High pressure metal vapor discharge lamp
US4755044A (en) * 1986-01-06 1988-07-05 Massachusetts Institute Of Technology Remote ophthalmoscope and fundus photography unit
JPS62254001A (ja) * 1986-04-28 1987-11-05 Hitachi Ltd 高精度測長機
JPH0713832B2 (ja) 1987-02-02 1995-02-15 松下電器産業株式会社 画像情報入力装置
US4725879A (en) * 1987-03-27 1988-02-16 Honeywell Inc. Chroma responsive inspection apparatus selectively producing analog voltage levels based on the luminance, the phase of the chrominance subcarrier, or the amplitude of the chrominance subcarrier
US4972494A (en) * 1988-02-26 1990-11-20 R. J. Reynolds Tobacco Company Package inspection system
JPH02171883A (ja) 1988-12-23 1990-07-03 Nec Corp 光学文字読取装置
JPH02254001A (ja) 1989-03-28 1990-10-12 Kanai Hiroyuki 自動車用車輪及びその製造方法
DE69127112T2 (de) * 1990-02-28 1998-03-05 Sanyo Electric Co Automatisches Fokussierungsgerät zur automatischen Fokusanpassung in Abhängigkeit von Videosignalen
JPH04331562A (ja) * 1990-07-31 1992-11-19 Xerox Corp 文書複写機
US6736321B2 (en) * 1995-12-18 2004-05-18 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) system employing wavefront control methods for reducing the power of speckle-pattern noise digital images acquired by said system
JP3160906B2 (ja) 1990-11-29 2001-04-25 株式会社ニコン フィルム画像読取り装置
US5255088A (en) * 1992-01-29 1993-10-19 Arc Machines, Inc. System and process for video monitoring a welding operation
US5461417A (en) * 1993-02-16 1995-10-24 Northeast Robotics, Inc. Continuous diffuse illumination method and apparatus
IL107265A0 (en) 1993-10-12 1994-01-25 Galai Lab Ltd Parcel sorting system
WO1995024278A1 (en) 1994-03-07 1995-09-14 International Business Machines Corporation Improvements in image processing
DE69536129D1 (de) * 1994-04-19 2011-01-27 Eastman Kodak Co Kamera mit automatischer Belichtungssteuerung unter Verwendung von CCD-Sensor mit verstellbarem Belichtungsindex
DE19535038A1 (de) 1994-09-22 1996-03-28 Nec Corp Vorrichtung und Verfahren zum Erfassen einer Aufkleber/Fenster-Position
US5699161A (en) * 1995-07-26 1997-12-16 Psc, Inc. Method and apparatus for measuring dimensions of objects on a conveyor
DE19532842C1 (de) 1995-09-05 1996-12-19 Ibm Bildaufnahmesystem
FR2746330B1 (fr) 1996-03-22 1998-04-17 Alcatel Postal Automation Syst Systeme d'acquisition d'images pour le tri de paquets
DE19639854A1 (de) * 1996-09-27 1998-06-10 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zur Erfassung von auf potentiell großflächigen Gegenständen aufgebrachten, optisch erfaßbaren Informationen
US6115147A (en) * 1996-10-01 2000-09-05 Fuji Photo Film Co., Ltd. Image reading apparatus
CA2271063C (en) 1997-01-23 2003-05-20 United Parcel Service Of America, Inc. Optically-guided indicia reader system
US6040677A (en) * 1997-02-10 2000-03-21 Asahi Kogaku Kogyo Kabushiki Kaisha Apparatus for driving stepper motor of camera
US6704501B1 (en) * 1997-02-18 2004-03-09 Canon Kabushiki Kaisha Image blur prevention apparatus
US6421451B2 (en) * 1997-09-16 2002-07-16 Kabushiki Kaisha Toshiba Step difference detection apparatus and processing apparatus using the same
US6484066B1 (en) * 1999-10-29 2002-11-19 Lockheed Martin Corporation Image life tunnel scanner inspection system using extended depth of field technology
JP2001174695A (ja) 1999-12-21 2001-06-29 Nec Corp オートフォーカス装置及びその方法
JP3606151B2 (ja) * 2000-03-02 2005-01-05 日本電気株式会社 画像入力装置
US6750435B2 (en) * 2000-09-22 2004-06-15 Eastman Kodak Company Lens focusing device, system and method for use with multiple light wavelengths
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690692B (zh) * 2018-08-24 2020-04-11 菱光科技股份有限公司 外部觸發之線性相機檢測系統及其影像曝光處理方法

Also Published As

Publication number Publication date
US7778443B2 (en) 2010-08-17
EP1343110B1 (en) 2010-05-26
EP1343110A3 (en) 2005-03-30
DE60332684D1 (de) 2010-07-08
JP2003262785A (ja) 2003-09-19
EP1343110A2 (en) 2003-09-10
US20030169364A1 (en) 2003-09-11

Similar Documents

Publication Publication Date Title
JP4251312B2 (ja) 画像入力装置
JP3707810B2 (ja) スキャナ用アダプタ
US20050269531A1 (en) Apparatus for detecting light-transmissive sheet-like body
US4618254A (en) Automatic light control system
JP3606151B2 (ja) 画像入力装置
JP4807402B2 (ja) 画像入力装置
US6566646B1 (en) Image input apparatus for reading conveyed items using air flow cooling of illumination windows
US6201619B1 (en) Autofocus process and system with fast multi-region sampling
JP5423094B2 (ja) 画像入力装置、画像入力方法、及び、紙葉類処理装置
JP2003503865A (ja) パケット表面の撮像装置
JP3125522B2 (ja) 画像読取装置
JP3179854B2 (ja) 画像読取装置
JP2827645B2 (ja) 写真焼付機の測光装置
JP2001016400A (ja) ラインセンサ及びこれを用いた画像処理装置
JPH02135970A (ja) 画像読取装置
JP2004226462A (ja) カメラのフォーカス調整方法および装置
JPH10233901A (ja) 撮像装置
JPH06205169A (ja) 原稿画像読取り装置
JP3170328B2 (ja) 原稿読取装置
JPH11195109A (ja) 撮像装置
JP2009199081A (ja) 書籍コピー機のためのデュアルミラー照明システム
JP2005167933A (ja) 画像読取装置
JP2002247308A (ja) 画像読取装置
JPH04266260A (ja) 光学読取装置
JPH05183703A (ja) 画像読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080509

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090108

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees