JP5264996B2 - 工作機械用の、コントラストの移行を識別する画像処理装置および当該画像処理装置を作動させる方法 - Google Patents

工作機械用の、コントラストの移行を識別する画像処理装置および当該画像処理装置を作動させる方法 Download PDF

Info

Publication number
JP5264996B2
JP5264996B2 JP2011508850A JP2011508850A JP5264996B2 JP 5264996 B2 JP5264996 B2 JP 5264996B2 JP 2011508850 A JP2011508850 A JP 2011508850A JP 2011508850 A JP2011508850 A JP 2011508850A JP 5264996 B2 JP5264996 B2 JP 5264996B2
Authority
JP
Japan
Prior art keywords
image processing
digital
processing apparatus
evaluation unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011508850A
Other languages
English (en)
Other versions
JP2011523808A (ja
Inventor
ニーゼン ヴォルフガング
ケーダー ティロ
プラッツァー ヨアヒム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2011523808A publication Critical patent/JP2011523808A/ja
Application granted granted Critical
Publication of JP5264996B2 publication Critical patent/JP5264996B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、請求項1の上位概念に記載された、コントラストの移行を識別する画像処理装置に関する。
従来技術
DE102005005348A1号には、自動車内の画像処理装置が記載されている。この画像処理装置を介して走行路内の車両位置が求められ、ここでは、目標経路を逸脱した場合に警報信号が出力される。この画像処理装置はビデオカメラを含んでおり、このビデオカメラは、走行路のアナログビデオ信号を形成する。このビデオ信号は評価ユニットにおいて評価される。この評価ユニットは、微分器を備えたフィルタ並びに閾値回路を含んでいる。ここでビデオ信号はコントラスの移行を識別するために、微分器において微分され、このように形成された信号は閾値回路内で基準値と比較される。この微分された信号が対応する基準値を超えると、コントラストの移行が識別される。これは、側方の走行路マークを越えたことを示唆し、これに基づいて警報信号が形成される。
ビデオカメラを使用することによって多大なコストがかかってしまい、これによって相応に、使用領域が制限されてしまう。
発明の開示
本発明の課題は、容易に実現される手段によって、低コストの画像処理装置を提供することである。
上述の課題は本発明によって、請求項1の特徴部分に記載されている構成によって解決される。従属請求項には有利な発展形態が記載されている。
本発明の画像処理装置は、コントラストの移行を識別するために使用される。ここで有利な使用領域は工作機械、殊に、例えば手によって案内される形式の糸鋸のような手によって案内される形式の工作機械である。画像処理装置によって、この画像処理装置が内部に組み込まれている機械が辿るべき目標経路ないしは目標ラインが識別される。工作機械内で使用される場合に目標経路は、処理されるべき未加工品上の目標ラインないしは刻み線(Anrisslinie)であり得る。この線に沿って、工作機械の工具による処理が行われるべきである。従って有利な使用は手によって案内される形式の工作機械内で行われ、ここでは基本的に準静的なまたは静的な工作機械も考えられる。
さらなる使用領域は車両内での使用であり、殊に目標経路検出のための使用である。これは走行路マークが画像処理装置によって識別されることによって実現される。さらに、対象物を処理する工具が装備されている家庭用機器内での使用も考えられる。これは例えば電気的なキッチン機器であり、ここでは画像処理装置が例えば、切断線と、接している領域との間のコントラストを検出し、切断線から逸脱した場合には警報信号が形成される。この警報信号は表示されてもよく、通常は機器を停止させるためにも使用される。
コントラストの移行を識別するこの画像処理装置は光学的なセンサユニットを含んでいる。このセンサユニットはデジタル画像検出ユニットとして構成されており、行形状およびスリット形状のデジタル画像を、デジタルセンサ信号の形状で形成する。これらのデジタルセンサ信号は、後置接続されている評価ユニットに供給される。評価ユニット内では、このセンサ信号が分析され、殊に信号変化が求められる。なぜなら信号変化は、撮影された画像内のコントラスト移行を表しており、目標経路を識別する、ないしは目標経路からの逸脱を識別するのに用いられるからである。デジタル画像検出ユニットとしては殊に、比較的容易に構成されるデジタルカメラが考えられる。なぜなら使用領域が制限されており、タスクは、コントラストを伝達するということだけだからである。例えば、ピクセル数が少ない、比較的低い解像度でも十分である。
クオリティに関する要求が低いので、他のデジタル画像検出ユニットも使用可能である。これは例えば、マウスセンサ等の光学センサである。
デジタル画像検出ユニットに後置接続される評価ユニットを、アナログ入力信号を処理するために、またはデジタル入力信号を処理するために設けることができる。ここで基本的には、アナログ信号処理の択一的な形態も追加的形態も、デジタル信号処理の択一的形態も追加的形態も可能である。
アナログ信号処理の場合には評価ユニットはデジタルアナログ変換器を含んでいる。このアナログデジタル変換器には、画像検出ユニットのデジタルセンサ信号が入力量として供給され、アナログデジタル変換器はデジタル信号をアナログ信号に変換する。この信号は次にそれ自体公知の方法において評価ユニット内で分析および評価される。例えば評価ユニットに割り当てられ、かつデジタルアナログ変換器に後置接続されている微分器においてこれが行われる。この微分器内では信号の微分が行われる。信号の微分を介して、コントラスト移行を表す、輝度移行が増幅される。次に、同じように評価ユニットに割り当てられた比較器において、微分器において求められた信号と、基準量とが比較される。信号における輝度の違いが基準値を超えると、コントラストの移行が識別される。このような基準値を変えることによって、評価感度が調節される。
デジタル評価の場合には、デジタルアナログ変換器を省くことができる。なぜなら、センサ信号は、光学的な画像検出ユニットの出力側で既にデジタル形状で存在しているからである。この場合には評価ユニット内での分析および評価は例えば論理ゲート、アンド素子等を介して行われる。このアンド素子では、画像検出ユニットから生じた種々のデジタル信号が論理的に結合される。ここで、コントラストの移行が存在する場合には、論理結合の結果は特定の値に相応しなくてはならない、ないしは所定の規定領域内に位置しなくてはならない。しかし基本的には論理ゲートに対して択一的に、マイクロコントローラ内でのデジタル信号の処理も可能である。このマイクロコントローラには例えば、入力状態変化時割り込み機能(Interrupt-on-change-Funktion)が装備されている。最後に、いわゆるエッジフィルターを介して、デジタルに受信された信号を評価することも可能である。エッジフィルターは評価ユニットの構成部分である。あらゆる場合において、評価ユニット内の評価を介して、観察している画像部分内に、目標経路をあらわすコントラスト移行があるか否かが確認される。デジタル評価の場合には、低い値のビットをマスキングすることによって感度を調整することもできる。これは例えば、トライステートレジスター内の相応の構造によって、既にハードウェア側で実行可能である。従って、付加的な計算コストは必要ない。
さらなる利点および有利な構成を以下の請求項、図面の説明および図に記載する。
手によって案内される形式の糸鋸として構成されている工作機械の斜視図であり、この工作機械は、糸鋸の工具が追従すべき目標ラインを識別するための画像処理装置を備えている。 異なる強さのコントラストと、割り当てられている画像処理装置信号とを有する走行路部分の概略図。 アナログ評価ユニットを介した、デジタルカメラ内で生成されたセンサ信号の評価。 デジタル評価ユニット内のデジタルセンサ信号の評価。
図1に示された工作機械1は、手によって案内される形式の糸鋸2である。これは、ハウジング3内に、鋸刃8として構成されている作動工具7を駆動させる電気的駆動モータを有している。ここでこの鋸刃8は矢印16に従って、ストローク運動を行う。鋸刃8はフットプレート4を通して案内される。ここでこのフットプレートはハウジング3と接続されており、処理時には、処理されるべき未加工品5上に置かれる。未加工品5には、刻み線ないしは目標ラインをあらわすマーク9が設けられており、このマークに沿って糸鋸2を介した処理が行われるべきである。糸鋸2を保持するためにハウジング3には、弓形グリップ10が設けられており、スイッチ11を介してオンおよびオフが行われる。鋸刃8は工具収容部12内で保持されている。
ハウジング3の前方領域には、デジタルカメラ18が配置されている。このデジタルカメラを介して、鋸刃8の直前にある作動領域が検出される。前進方向ないしは作動方向が矢印6によって示されており、これに相応して、デジタルカメラ18によって検出される領域が、矢印6の方向で見て鋸刃8の前に位置する。
糸鋸2は部分的に自動化されている工具として構成されており、鋸刃8のストローク運動を担う電気的駆動モータに対して付加的に、別の調節素子13および14を、鋸刃の位置を調節するために有している。従って、鋸刃は位置調節が可能な範囲において自動的に、未加工品5上の目標ライン9を辿ることができる。第1の調節素子13は、工具収容部12上方にあるハウジング3の上方部分内にあり、矢印15に従った、鋸刃軸を中心した鋸刃8の回転ないし旋回を可能にする。第2の調節素子14は糸鋸2の下方領域にあり、前進方向6に対して横向きの鋸刃8の並進運動および/または回転運動を可能にする。これによって鋸刃の振り子運動が調整される。
糸鋸2内の全ての調節素子、すなわち、電気的駆動モータおよび2つの調節素子13および14は、閉ループ制御ユニットないしは開ループ制御ユニット17の調節信号を介して調整される。閉ループ制御ユニットないしは開ループ制御ユニットは、インプットとして、デジタルカメラ18の信号を受信し、これらの受信信号から、駆動モータないし調節素子に加えられる調節信号を形成する。センサ装置であるデジタルカメラ18、閉ループ制御ユニットないしは開ループ制御ユニット17並びにアクチュエータとして機能する調節素子13および14並びに駆動モータを介して、閉ループ制御回路が実現される。
糸鋸の動作時には、デジタルカメラ18を介して、目標ライン9が検出される。これは未加工品5の表面に記されている。デジタルカメラ18は閉ループ制御ユニットないしは開ループ制御ユニット17とともに、画像処理装置を形成する。これは、目標ライン9と、目標ラインに接している未加工品5の領域との間のコントラストの移行を識別する。
デジタルカメラの代わりに、デジタルに構成され、相応のデジタル信号を供給する光学式画像検出ユニットも使用可能である。このような、付加的なデジタルセンサは例えば、参照番号19で示されている。
図2には、鋸刃の直前の糸鋸の作動領域の部分が示されている。この作動領域は、処理されるべき未加工品5の表面上にあり、ここでは工具の目標ラインをあらわすマークが参照番号9で示されている。目標ライン9は、未加工品5の直接的な周辺領域に対して強いコントラストを有している。
付加的に、未加工品5の表面上に、目標ライン9と平行してストリップ30が存在する。これは、未加工品5の表面の周辺領域に関して、目標ライン9よりも弱いコントラストを有している。ストリップ30は例えば未加工品表面におけるノイズであるが、射影等であってもよい。目標ライン9とストリップ30の異なるコントラストに基づいて以下で作用を説明する。
作動領域はデジタル画像検出ユニットによって撮影される。これは異なる信号を供給し、これらの信号は評価ユニット内で分析および評価される。一方で行内のビット値に対するY0(LSB)からY7(MSB)によって表示されており、他方で種々異なるスリットに対する数字1から95によって示されているように、デジタル画像検出ユニットはデジタルの、行形状およびスリット形状のラスタを供給する。ここで各ラスタ場所には値「0」ないしは値「1」が入れられている。ここで「1」は、コントラストが識別されたことをあらわし、「0」の場合には、コントラストは検出されていない。目標ライン9には、比較的強いコントラストの故に、全幅にわたって、全てのY値において値「1」が割り当てられている。これとは異なりストリップ30にはY値Y0、Y1およびY2においてのみ、値「1」が割り当てられており、残りのY値Y3からY7はこれとは異なり値「0」を有している。
図3には、図2から求められたデータセットが写し取られている。このデータセットはアナログ処理をする評価ユニット31に供給される。評価ユニット31は殊に、閉ループ制御ユニットないしは開ループ制御ユニット17の構成部分である(図1)。
図3に示された評価ユニット31はプロセッサまたはラッチ32、デジタルアナログ変換器33ならびに微分器34を有している。評価ユニット31に供給されたデジタルデータは、デジタルアナログ変換器33内でアナログ信号に変換され、次に後置接続された微分器34において微分される。微分時には、信号経過特性の変化時の差が増幅される。これに対して変化の無い信号は、微分時に出力値を供給しない。これによって、「状態」で示された信号経過特性が得られる。これはそれぞれストリップ30ないし目標ライン9と、未加工品上面の直接的に隣接する領域との間の移行において振れ(偏位)を有している。ストリップ30のコントラストは、目標ライン9のコントラストよりも低いので、これに相応して、ストリップ30に割り当てられた振れも、目標ライン9に割り当てられた振れよりも小さい。微分器34からの信号が供給され、同じよう評価ユニットの一部である比較器を介して信号が評価されてもよい。これは、振れが、目標ラインに対応付けされているコントラストが識別されるのに、充分に大きいか否かを確認することによって実現される。これとは異なり信号が小さい場合には、相応してコントラストも低く、相応して、このコントラストが目標ラインに属しているものではないことが確認される。
図4には、評価ユニット31に対する別の実施例が示されている。しかしこれは、図3とは異なり、アナログベースで作動するのではなく、デジタルベースで作動する。評価ユニット31は択一的に、論理ゲート35かマイクロコントローラ36を有する。論理ゲートは例えばアンド素子として構成されている。これは、全てのY値が値「1」である場合にのみ、結果「1」を供給する。これはストリップ30の場合には当てはまらないので、論理ゲート35はストリップ30の場合には結果値「0」を供給する。これに対して目標ライン9の場合には結果値「1」が供給される。なぜなら、目標ライン9の全てのY値が値「1」だからである。このようにして、目標ライン9に関する充分なコントラストとストリップ30に関する不十分なコントラストとが区別される。
マイクロコントローラ36としての実施例では、数値方法で信号が処理される。この場合には基準値が設定され、ここで基準値のレベルを介して感度が調節される。
さらなる手法として、エッジフィルターを備えたデジタル評価ユニット31の実施形態が可能である。

Claims (10)

  1. 手動工作機械(1)用の目標ライン(9)を検出するためにコントラストの移行を識別する画像処理装置であって、
    光学的なセンサユニットを有しており、当該センサユニットのセンサ信号は評価ユニット(31)に供給され、当該評価ユニットにおいて、前記目標ライン(9)のコントラストの移行を識別するため信号変化が求められる画像処理装置において、
    前記光学的なセンサユニットがデジタル画像検出ユニット(18)として構成されており、当該デジタル画像検出ユニットのデジタルセンサ信号が前記評価ユニット(31)内で処理され、
    前記評価ユニット(31)はデジタルアナログ変換器(33)を含んでおり、当該デジタルアナログ変換器(33)内で、前記デジタルのセンサ信号がアナログ信号に変換される、
    ことを特徴とする、手動工作機械(1)用の、コントラストの移行を識別する画像処理装置。
  2. 前記デジタル画像検出ユニットはデジタルカメラ(18)である、請求項1記載の画像処理装置。
  3. 前記評価ユニット(31)は、前記デジタルアナログ変換器(33)に後置接続されている微分器(34)を有している、請求項1または2記載の画像処理装置。
  4. 前記微分器(4)に比較器が割り当てられており、当該比較器を介して、当該微分器(34)内で求められた信号が基準量と比較される、請求項記載の画像処理装置。
  5. 前記評価ユニット(31)は論理ゲート(35)を有しており、当該論理ゲート内でデジタルセンサ信号が評価される、請求項1からまでのいずれか1項記載の画像処理装置。
  6. 前記評価ユニット(31)はマイクロコントローラ(36)を有しており、当該マイクロコントローラ内でデジタルセンサ信号が評価される、請求項1からまでのいずれか1項記載の画像処理装置。
  7. 前記評価ユニット(31)はエッジフィルターを有しており、当該エッジフィルター内でデジタルセンサ信号が評価される、請求項1からまでのいずれか1項記載の画像処理装置。
  8. 前記デジタルセンサ信号に割り当てられている評価ユニット(31)内で、低い値のビットが調節可能にマスキングされる、請求項1からまでのいずれか1項記載の画像処理装置。
  9. 請求項1から8までのいずれか1項記載の画像処理装置を備えている、手動工作機械。
  10. 糸鋸である、請求項9記載の手動工作機械。
JP2011508850A 2008-05-14 2009-03-16 工作機械用の、コントラストの移行を識別する画像処理装置および当該画像処理装置を作動させる方法 Expired - Fee Related JP5264996B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102008001760.4 2008-05-14
DE102008001760A DE102008001760A1 (de) 2008-05-14 2008-05-14 Bildverarbeitungseinrichtung zur Kontrastübergangserkennung, insbesondere in einer Werkzeugmaschine
PCT/EP2009/053082 WO2009138274A1 (de) 2008-05-14 2009-03-16 Bildverarbeitungseinrichtung zur kontrastübergangserkennung, insbesondere in einer werkzeugmaschine

Publications (2)

Publication Number Publication Date
JP2011523808A JP2011523808A (ja) 2011-08-18
JP5264996B2 true JP5264996B2 (ja) 2013-08-14

Family

ID=40678047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011508850A Expired - Fee Related JP5264996B2 (ja) 2008-05-14 2009-03-16 工作機械用の、コントラストの移行を識別する画像処理装置および当該画像処理装置を作動させる方法

Country Status (7)

Country Link
US (1) US20110122243A1 (ja)
EP (1) EP2283461A1 (ja)
JP (1) JP5264996B2 (ja)
CN (1) CN102027506A (ja)
DE (1) DE102008001760A1 (ja)
RU (1) RU2010150846A (ja)
WO (1) WO2009138274A1 (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041271A (en) * 1991-10-10 2000-03-21 Finn-Power International, Inc. Apparatus to determine the operational effectiveness of a machine tool and method therefor
US6161055A (en) * 1993-05-17 2000-12-12 Laser Measurement International Inc. Method of determining tool breakage
US5446271A (en) * 1993-08-06 1995-08-29 Spectra-Physics Scanning Systems, Inc. Omnidirectional scanning method and apparatus
CA2305315C (en) * 1997-09-30 2008-07-15 Siemens Aktiengesellschaft Process and device for automatically supported guidance of aircraft to a parking position and management system therefor
US6542185B1 (en) * 1998-01-07 2003-04-01 Intel Corporation Method and apparatus for automated optimization of white and color balance on video camera
JP2001136762A (ja) * 1999-11-01 2001-05-18 Seiko Instruments Inc 超音波モータ付駆動機構および超音波モータ付電子機器
US6681672B2 (en) * 2000-02-07 2004-01-27 Warren L. Myrfield Optimized band saw feed speed system
KR100373002B1 (ko) * 2000-04-03 2003-02-25 현대자동차주식회사 차량의 차선 이탈 판단 방법
JP2002166393A (ja) * 2000-11-29 2002-06-11 Sanyo Electric Co Ltd カッティング機
US20030226438A1 (en) * 2002-06-11 2003-12-11 Adams Steven L. Automatic workpiece cutting apparatus
DE202004005478U1 (de) * 2004-04-02 2004-07-15 Atlas Copco Electric Tools Gmbh Stichsäge mit einem geführten Sägeblatt
JP4093208B2 (ja) * 2004-05-28 2008-06-04 トヨタ自動車株式会社 車両用走路判定装置
DE102004047962A1 (de) * 2004-10-01 2006-04-06 Patent-Treuhand-Gesellschaft für elektrische Glühlampen mbH Sensorsystem
DE102005005348A1 (de) 2005-01-31 2006-08-03 Kayser, Albrecht, Dipl.-Ing. Gewindewellen-Dichtung mit hydraulisch erzeugter Radialkraft zur Kompensation der Wellenbelastung, sowie mit Stillstands- Aufsetz-Dichtring
US20070168729A1 (en) * 2005-12-06 2007-07-19 Mediatek Inc. System and method for testing and debugging electronic apparatus in single connection port
US20090259780A1 (en) * 2008-04-10 2009-10-15 Weistech Technology Co., Ltd. Portable electronic device for controlling under-controlled devices

Also Published As

Publication number Publication date
CN102027506A (zh) 2011-04-20
WO2009138274A1 (de) 2009-11-19
US20110122243A1 (en) 2011-05-26
RU2010150846A (ru) 2012-06-20
DE102008001760A1 (de) 2009-11-19
EP2283461A1 (de) 2011-02-16
JP2011523808A (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
US7664294B2 (en) System for automatic quality inspection of a printed image, comprising an image sensor, evaluation unit and display
US9676072B2 (en) Machining device with visual sensor for locating contaminants
JP2006301722A (ja) 画像処理装置
JP5875232B2 (ja) 物体検出装置、および、物体検出方法
CN111064870A (zh) 视觉机器人的镜头清洁方法、控制装置及存储介质
DE102019109717A1 (de) Arbeitsrobotersystem und Arbeitsroboter
CN109544472B (zh) 对象驱动装置及对象驱动方法
JP7270499B2 (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JPH11104833A (ja) 溶接中の溶接線倣い方法
JP6821310B2 (ja) 工作機械
KR20150130004A (ko) 와이퍼 블레이드의 노후 상태를 판단하는 시스템 및 방법
JP5264996B2 (ja) 工作機械用の、コントラストの移行を識別する画像処理装置および当該画像処理装置を作動させる方法
CN109286783A (zh) 车辆图像处理系统
JP2008254554A (ja) 洗車装置
JP4810659B2 (ja) 外観検査装置、外観検査方法、外観検査プログラム及びそれを記録した情報記録媒体
JPS63306894A (ja) 安全監視方法
DE102017129813A1 (de) Mobile Werkzeugmaschine
JPH0872641A (ja) 車両用画像認識装置
US20180121743A1 (en) System and method for diagnosis of lighting system
EP1720353B1 (en) Object detection apparatus and method for a vehicle
JP2019156146A (ja) 乗員監視装置
JPH09167017A (ja) 無人車の走行制御装置
JPH10148681A (ja) 雨滴検出方法
JP4532089B2 (ja) 車外監視装置
JP4888290B2 (ja) 侵入者検知装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120919

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees