JP4449862B2 - 可動部の操作装置及び操作方法 - Google Patents

可動部の操作装置及び操作方法 Download PDF

Info

Publication number
JP4449862B2
JP4449862B2 JP2005251535A JP2005251535A JP4449862B2 JP 4449862 B2 JP4449862 B2 JP 4449862B2 JP 2005251535 A JP2005251535 A JP 2005251535A JP 2005251535 A JP2005251535 A JP 2005251535A JP 4449862 B2 JP4449862 B2 JP 4449862B2
Authority
JP
Japan
Prior art keywords
movement
unit
movable part
operation step
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005251535A
Other languages
English (en)
Other versions
JP2007066014A (ja
Inventor
隆 室崎
益美 上島
功 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005251535A priority Critical patent/JP4449862B2/ja
Publication of JP2007066014A publication Critical patent/JP2007066014A/ja
Application granted granted Critical
Publication of JP4449862B2 publication Critical patent/JP4449862B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Numerical Control (AREA)

Description

本発明は、設備又は装置の可動部を操作するための操作装置及び操作方法に関し、より詳しくは、簡単な操作で設備又は装置の可動部を所定位置に移動させる操作装置及び操作方法に関する。
生産設備等、可動部を有する設備又は装置(以下単に設備等という)において、保守作業のためにロボットのアームや部品等を搬送するユニットのような可動部を手作業で操作することがある。通常このような操作は、直接又はモニタに写し出された可動部を目視で確認しながら、操作盤に設けられた、操作対象となる可動部の並進動作・回転動作等を規定した操作スイッチをON/OFFする、ジョグ送りと呼ばれる方法によって行う。
しかし、操作スイッチを使用して可動部を操作しようとすると、実際の可動部の動作と、操作スイッチの前進・後進等の対応をつけ難く、操作者に熟練が求められた。例えば、前進動作といっても、回転動作も可能な可動部では、全く回転していない状態と、180度回転している状態とでは、動く方向が正反対であり、必ずしも操作者の実感と実際の動作とが対応しない場合もあるためである。
特に、可動部が複数となり、対応する操作スイッチの数が増えると、操作スイッチと可動部の対応付けが尚更困難となり、設備に所望の動作をさせるために相当の時間を要し、或いは誤った操作によって故障を誘発してしまうといった問題があった。
一方、ロボットのアームをジョグ送りする方法として、ロボットのグラフィック画像をモニタ上に表示し、モニタ上に表示された画像におけるロボットのアームの先端部を直接触れて動作方向を指示することにより、アームの操作を簡便化する方法が開示されている(特許文献1参照)。また、塗装用ロボットについて、画面上で経路指示することでアームの動作を指示する装置が開示されている(特許文献2参照)。さらに、電子部品実装装置において、基板等のワークに付された位置特定用の認識マークを、特定座標に移動させるため、そのワークを撮影した画像上で、認識マークの座標と移動目的地の座標を指示し、その指示に従って、撮像手段をワークに対して相対的に移動させる方法が開示されている(特許文献3参照)。
しかしながら、上記で開示された各装置又は方法では、個々の可動部毎に操作することが必要であり、可動部を複数有する設備等において、全ての可動部を所定の位置に移動させるような場合、個々の可動部毎に操作を行なう必要があり、操作が煩雑となる。特に、調整のために各可動部を動作ステップごとに順次移動させる場合、その煩雑さは非常に耐え難いものとなる。そこで、複数の可動部を有する設備等に対しても、簡便な操作で可動部を所定の位置へ移動させることができる装置装置及び操作方法の開発が望まれている。
WO98/03314号公報 特開平7−308878号公報 特開2000−213915号公報
上記の問題点に鑑み、本発明は、簡単な操作で設備等の可動部を所定位置へ移動させることが可能な可動部の操作装置及び操作方法を提供することを目的とする。
また本発明は、多数のセンサを必要とすることなく、正確に可動部を所定位置へ移動させることが可能な可動部の操作装置及び操作方法を提供することを目的とする。
本発明の請求項1に記載の形態によれば、本発明の一つの形態に係る、複数の動作ステップに分割されて移動し、各動作ステップにおいて所定の基準位置から移動開始する可動部の操作装置が、操作手段から入力された移動指示情報に基づいて、複数の移動目的地情報から移動目的地情報を特定する移動目的地情報特定部と、その特定された移動目的地情報に基づいて移動目的地を決定する移動目的地決定部と、可動部を移動目的地に移動させる移動指示部と、移動目的地情報及び撮像手段で撮影された画像データに基づいて、可動部が移動目的地に移動したか否かを判定する移動終了判定部を有する制御手段を有する。
そして移動目的地情報特定部は、移動指示情報を受信すると、撮像手段により取得された最新の画像データに基づいて可動部の現在位置を検出し、現在の動作ステップにおける基準位置を含む現在の移動目的地情報を記憶手段より読み出し、現在位置に基づいて、可動部が現在の動作ステップにおける基準位置に存在するか否かを判定し、基準位置に存在すると判定した場合、現在の動作ステップに移動指示情報により指定されたステップを加えた動作ステップを操作後動作ステップとする。また移動目的地決定部は、操作後動作ステップに相当する操作後移動目的地情報を記憶手段から読み出し、操作後移動目的地情報に含まれる操作後動作ステップにおける可動部の基準位置を移動目的地とする。
これにより、本発明の一つの形態に係る可動部の操作装置は、移動目的地を指定するという簡単な操作だけで、可動部を移動目的地へ移動させることができる。なお、設備等は、複数の可動部を有してもよく、さらに複数の可動部を同時に移動させるものであってもよい。
また、本発明の一つの形態に係る操作装置は、動作ステップに従って、逐次的に可動部を移動させることが簡単に行なえる。そのため、設備等の動作確認を容易に行なうことが可能となる。
また請求項2に記載のように、移動目的地情報特定部は、可動部が現在の動作ステップにおける基準位置に存在しないと判定した場合、現在の動作ステップを操作後動作ステップとすることが好ましい。
さらに、請求項3に記載のように、操作手段が1度の操作で移動指示情報を入力する移動情報入力部を有することにより、非常に簡単な操作で可動部を所定の移動目的地へ移動させることができる。
特に、請求項4に記載のように、移動情報入力部が、可動部を、現在の動作ステップに対して1ステップ先の動作ステップの基準位置へ移動させる前進ボタンと、可動部を現在の動作ステップの基準位置又は現在の動作ステップに対して1ステップ前の動作ステップの基準位置へ移動させる後進ボタンとを有することにより、可動部を現在の動作ステップの基準位置へ簡単に原点復帰させたり、簡単に次の動作ステップの基準位置へ進めることができる。なお、現在の動作ステップとは、操作手段から移動指示情報が入力された時点での動作ステップをいう。
また請求項5に記載のように、移動目的地情報を、可動部の画像データにおける目的地の位置座標とし、移動終了判定部が、画像データから検出した可動部の位置座標と目的地の位置座標との距離を算出し、その距離が所定値以下であれば、可動部が移動目的地に移動したと判定することで、可動部の位置を検出するためのセンサを多数備えなくとも、可動部を正確に移動目的地へ移動させることができる。特に、設備等が複数の可動部を有する場合には、多数のセンサを省略できるため、設備等の低コスト化を達成することが可能となる。
同様に、請求項6に記載のように、移動目的地情報を、目的地に存在する可動部を撮影した参照画像データとし、移動終了判定部が、参照画像データと画像データとの不一致度が所定の閾値以下であれば、可動部が移動目的地に移動したと判定することでも、可動部を正確に移動目的地へ移動させることができるとともに、設備等の低コスト化を達成することが可能となる。
また、本発明の請求項7に記載の形態によれば、本発明の他の形態に係る、複数の動作ステップに分割されて移動し、各動作ステップにおいて所定の基準位置から移動開始する可動部の操作方法は、入力された移動指示情報移動に基づいて、複数の移動目的地情報から特定の移動目的地情報を決定し、その特定された移動目的地情報から移動目的地を決定し、可動部をその移動目的地に移動させ、特定された移動目的地情報及び可動部を撮影した画像データに基づいて、可動部が移動目的地に移動したか否かを判定する。
そして移動目的地情報を決定するステップは、移動指示情報を受信すると、可動部を撮影した最新の画像データに基づいて可動部の現在位置を検出し、現在の動作ステップにおける基準位置を含む現在の移動目的地情報を記憶手段より読み出し、現在位置に基づいて、可動部が現在の動作ステップにおける基準位置に存在するか否かを判定し、基準位置に存在すると判定した場合、現在の動作ステップに移動指示情報により指定されたステップを加えた動作ステップを操作後動作ステップとする。また移動目的地を決定するステップは、操作後動作ステップに相当する操作後移動目的地情報を記憶手段から読み出し、操作後移動目的地情報に含まれる操作後動作ステップにおける可動部の基準位置を移動目的地とする。
これにより、本発明の他の形態に係る可動部の操作方法は、移動目的地を指定するという簡単な操作だけで、可動部を移動目的地へ正確に移動させることができる。
以下、図面を参照しつつ本発明に係る操作装置について詳細に説明する。
本発明に係る操作装置は、例えば組み立て装置、搬送装置、若しくは梱包装置などに適用され、特に複数の可動部を有する設備等に対して好ましく適用される。また、操作者が簡単な指示を与えるだけで、全ての可動部が所定の位置へ移動するため、各可動部を個別に操作して、可動部の位置を確認しつつ移動させる必要がなく、操作が簡単な操作装置である。
以下に、一例として本発明に係る操作装置を、可動部を複数備える組み立て装置2の制御装置として実装した実施形態について説明する。
図1に、本発明に係る操作装置1を実装した組み立て装置2の構成ブロック図を示す。
本発明に係る操作装置1は、操作手段11、撮像手段12、制御手段13、及び記憶手段14を備える。
一方、本発明に係る操作装置1を実装した組み立て装置2は、一例として、直径50mm、高さ50mmの円筒形をした基幹部品(ワーク)の中心に、直径20mm、高さ10mmの円筒形の部品を上方から嵌め込んで完成品を製造するものである。そして、操作装置1は、組み立て装置2の各動作ステップごとに、撮像手段12で撮影した画像データに基づいて、制御手段13が可動部の位置を確認し、可動部が所定の基準位置にいることを確認した後に次の動作ステップを行なわせる制御信号を各可動部に対して出力することにより、組み立て装置2を逐次的に動作させる。このような構成として、組み立て装置2において、可動部の位置、動作を検知するための各種センサをなくし、簡便な構成で動作するシステムを構築したものである。
図2に、組み立て装置2の概略上面図を示す。
組み立て装置2は、可動部である搬送ユニット21及び上下ユニット22の他、ワーク搬入部23、部品投入部24、組み立て部25及びワーク排出部26を備える。
本実施形態に係る組み立て装置2では、図2に示すように、ワーク3は、ワーク搬送路27に沿ってワーク搬入部23から搬入され、ワーク排出部26により排出される。一方、部品4は、部品投入部24により、ワーク搬入部23と略直交する方向から投入され、ワーク搬入部23とワーク排出部26の中間にある組み立て部25で、ワーク3に組み付けられる。
搬送ユニット21は、ワーク搬送路27と略平行に取り付けられ、ワーク搬入部23の終端付近の入口231にあるワーク3を捕捉し、ワーク排出部26の方へ平行移動して組み立て部25へ搬送する。さらに部品組み付け済みのワーク(完成品)5をワーク排出部26に存在する出口261へと搬送する。組み立て部25に配置した上下ユニット22は、上部ユニット221が部品4を捕捉して上下運動し、下部ユニット222がワーク3を固定することにより、ワーク3に部品4を組み付けて完成品5を製造する。
可動部の一つである搬送ユニット21は、ワーク搬送方向と略並行方法の長さ150mm、略垂直方向の幅50mmからなる部材211と、部材211の下部に取り付けられたグリッパ212及び駆動用のサーボモータを備える。グリッパ212は、ワーク搬送方向にワークの幅とほぼ等しい間隔で配置した2本の爪で構成し、同時に2つのワークを保持可能なように、ワーク搬送路27に沿って2セット配置する。
また搬送ユニット21は、ワーク搬送路27の存在する平面内で、ワーク搬送路27と直交する方向、及びワーク搬送路27と平行方向に移動可能である。また搬送ユニット21の原点位置を、搬送ユニット21がワーク搬送路27上にあるワーク3と接触しないよう、ワーク搬送路27から約30mm後方に離れた位置に設定する。そして、原点位置にある搬送ユニット21に送り動作を指示すると、ワーク搬送路27に沿って、ワーク排出方向へ向けて最大約70mm移動する(なお、最もワーク排出方向側の移動限界点を便宜上送り位置と呼ぶ)。さらに、送り位置にある搬送ユニット21に、戻り動作が指示されると、原点位置へ戻るように、ワーク搬送路27に沿って、ワーク搬入方向に最大約70mm移動する。一方、原点位置若しくは送り位置にある搬送ユニット21に前進動作が指示されると、搬送ユニット21は、ワーク搬送路27に近づく方向に最大約30mm移動する。逆に、ワーク搬送路27に近接した位置にある搬送ユニット21に対し、後退動作が指示されると、搬送ユニット21はワーク搬送路27から離れる方向に最大約30mm移動する。
もう一つの可動部である上下ユニット22は、上部ユニット221、及び下部ユニット222で構成される。下部ユニット222は組み立て部25へ搬送されてきたワーク3を固定する。一方、上部ユニット221は、開閉可能な爪からなるワークチャック223、及びワークチャック223が取り付けられるチャックシリンダ224、及びこれらを駆動するサーボモータを備えている。
このうち上部ユニット221は、上下方向に移動可能であり、この上下方向の移動距離は、最大約60mmである。
なお、搬送ユニット21及び上下ユニット22は、それらを撮影した画像データを解析することにより、それらの位置を検出することが可能なように、検出マークを備える。検出マークは、撮像手段12を構成するCCDカメラが撮影可能な位置に形成される。すなわち、搬送ユニット21の部材211の搬入部23側端部の上面に検出マーク213を、及び排出部26側端部の上面に検出マーク214を取り付ける。検出マーク213及び214は、直径5mmの赤い円形シールであり、撮像手段12で撮影する画像において、搬送ユニット21がどの位置にあっても、どちらかの検出マークが写り込むようになっている。なお、検出マーク213及び214は上記のものに限られるわけではなく、画像上で明確に判別可能なものであればよく、部材211自体の特有の形状等で代用することも可能である。
また、上下ユニット22の上部ユニット221においても、チャックシリンダ224の上面に検出マーク225が取り付けられている。検出マーク225は、搬送ユニット21に取り付けた検出マーク同様、直径5mmの赤い円形シールである。さらに、撮像手段12で撮影する画像において、上部ユニット221が如何なる位置にあっても、検出マーク225が写り込むよう構成されている。なお、検出マーク225は、検出マーク213、214と同じマークである必要は無く、画像上で明確に判別可能なものであればよい。同様に、ワークチャック223の上面にも、検出マーク226が設けられる。
図3に、組み立て装置2の1回の動作サイクルにおける動作ステップのフローチャートを示す。以下に説明する各動作ステップでは、搬送ユニット21などの可動部が所定位置まで移動したか否かを、撮像手段12が撮影した画像データに基づいて制御手段13が判断し、所定位置に存在すると判断した場合、その動作ステップを終了する。そして、その所定位置は、次の動作ステップにおける、各可動部の基準位置となる。
初期状態では、搬送ユニット21は原点位置、上下ユニット22については、上部ユニット221が上方に退避した位置に存在する。
最初に、制御手段13は、内蔵のモータドライバを通じて搬送ユニット21にワーク搬送路27に近づくよう前進動作させる制御信号を送信する。その制御信号に基づいて、搬送ユニット21がワークを掴むために前進動作する(ステップS01)。
制御手段13が、搬送ユニット21の前進動作は終了したと判定した場合、制御手段13は、モータドライバを通じて搬送ユニット21のサーボモータに搬送ユニット21を後退動作させるよう制御信号を送信する。その制御信号に基づいて、搬送ユニット21はワークを保持したまま後退動作を行う(ステップS02)。この後退動作に伴って、ワーク3に取り付ける部品4が、部品投入部より組み立て部25に移動する。
制御手段13が、搬送ユニット21の後退動作は終了したと判定した場合、モータドライバを通じて上部ユニット221のサーボモータに制御信号を送信する。その制御信号に基づいて、上部ユニット221が下降する(ステップS03)。
制御手段13が、上部ユニット221の下降動作は終了したと判定した場合、次の動作として、ワークチャック223を閉じるよう、モータドライバを通じて上部ユニット221のサーボモータに制御信号を送信する。その制御信号に基づいてワークチャック223が閉じて組み立て部25にある部品4を捕捉する(チャック動作)(ステップS04)。
制御手段13が、ワークチャック223のチャック動作は終了したと判定した場合、制御手段13は、モータドライバを通じて上部ユニット221のサーボモータに上部ユニット221を上昇させるよう制御信号を送信する。その制御信号に基づいて、上部ユニット221は部品を保持したまま上昇する(ステップS05)。
制御手段13が、上部ユニット221の上昇動作は終了したと判定した場合、次の動作として、搬送ユニット21を送り動作させ、その後前進動作させるよう、モータドライバを通じて搬送ユニット21のサーボモータに制御信号を送信する。その制御信号に基づいて、搬送ユニット21はワーク3を組み立て部25に搬送するため、部品を保持したままワーク搬送路27に沿って送り動作し、その後前進動作する(ステップS06)。
制御手段13は、搬送ユニット21の移動は終了したと判定した場合、次の動作として、上部ユニット221を下降させるよう、モータドライバを通じて上部ユニット221のサーボモータに制御信号を送信する。その制御信号に基づいて、上部ユニット221が下降し、組み立て部25にあるワーク3に、部品4を取り付ける(ステップS07)。この時、下部ユニット222は、ワーク3を固定する。
制御手段13は、上部ユニット221の下降動作は終了したと判定した場合、次の動作として、搬送ユニット21に後退動作させ、その後戻り動作をさせる。同時に、ワークチャック223に対し、部品4をリリースするよう開く動作(アンチャック動作)を行わせる。そのため、制御手段13は、モータドライバを通じて、搬送ユニット21のサーボモータに制御信号を送信する。その制御信号に基づき、搬送ユニット21がワーク3をリリースして後退し、その後戻り動作して原点位置に復帰する。同様に、上部ユニット221のサーボモータに制御信号を送信する。その制御信号に基づき、ワークチャック223はアンチャック動作を行う(ステップS08)。
搬送ユニット21の移動完了、ワークチャック223のアンチャック動作の完了が確認されると、制御手段13は、次の動作として、上部ユニット221を上昇させるよう、モータドライバを通じて上部ユニット221のサーボモータに制御信号を送信する。その制御信号に基づき、上部ユニット221は上昇する(ステップS09)。
制御手段13が、上部ユニット221の上昇動作は終了したと判定した場合、次の動作として、部品組み付け済みのワーク(完成品)5を捕捉するため、搬送ユニット21を前進させる。そのため、制御手段13は、モータドライバを通じて搬送ユニット21のサーボモータに対して制御信号を送信する。その制御信号に基づいて、搬送ユニット21は前進動作する(ステップS10)。
搬送ユニット21の前進が終了したと判定された場合、制御手段13は、モータドライバを通じて搬送ユニット21のサーボモータに対して後退動作をさせる制御信号を送信する。その制御信号に基づいて、搬送ユニット21は完成品5を保持したまま後退する(ステップS11)。
搬送ユニット21の後退が終了したと判定された場合、制御手段13は、モータドライバを通じて、搬送ユニット21のサーボモータに対して送り動作及び前進動作をさせる制御信号を送信する。その制御信号に基づき、搬送ユニット21は完成品5をワーク排出部26へ排出するために、完成品5を保持したまま、送り動作し、その後前進する(ステップS12)。
搬送ユニット21の前進終了を確認すると、完成品5がワーク排出部26のワーク出口261に排出される。そして、制御手段13は、モータドライバを通じて搬送ユニット21のサーボモータに対して、搬送ユニット21が、後退動作した後、戻り動作を行うよう制御信号を送信する。そしてその制御信号に基づき、搬送ユニット21は原点位置に復帰する(ステップS13)。
上記のように、組み立て装置2は、ステップS01からS13までを1サイクルとして繰り返し動作することによって、ワーク3と部品4を組み立てて完成品5を製造する。
次に、本発明に係る操作装置1について説明する。本発明に係る操作装置1は、組み立て装置2の搬送ユニット21及び上下ユニット22といった各可動部に対して移動操作及び移動制御を行うものである。
まず、通常運転時の場合、各動作ステップごとに、撮像手段12により一定時間間隔で撮影された組み立て装置2の撮影画像データを制御手段13で解析して、各可動部の位置を検出する。そして、各可動部が所定の基準位置にいることを確認した後、各可動部に対して所定の制御信号を出力し、その動作ステップを実行する。
一方、保守作業などの場合には、操作手段11から移動指示信号を入力することにより、制御手段13は内部に記憶している動作ステップ情報と比較して、各可動部をどの動作ステップの基準位置に移動させるかを決定する。そして、記憶手段14から、特定された動作ステップの基準位置を示す移動目的地情報を取得する。制御手段13は、移動目的地情報を取得すると、各可動部の移動目的地を設定する。
その後、制御手段13は、各可動部を移動目的地に向けて移動させる。そして、撮像手段12から受信した最新の画像データを解析し、移動中の各可動部の現在位置を検出する。そして、各可動部の現在位置及び、移動目的地情報に基づいて、各可動部が移動目的地に到達したか否かを判定する。全ての可動部が移動目的地に到達したと判定した場合、可動部の移動を終了させる。
以下、本発明に係る操作装置1の各部について詳細に説明する。
操作手段11は、タッチパネル、マウスなどのポインティングデバイスと、液晶ディスプレイなどの表示デバイスで構成される。また操作手段11は、各可動部を所定の位置へ移動させるため移動指示情報などを入力する1又は複数の操作指示ボタンを有する。操作指示ボタンは、表示デバイス上に表示される特定の領域であり、操作指示ボタンに相当する領域をポインティングデバイスで指し示す(例えば、タッチパネルの場合は、その領域に指などで触る、マウスの場合は、その領域にマウスカーソルを移動してクリックを行なう)ことで、その操作指示ボタンに対応付けられる操作指示信号が制御手段13へ出力される。また、好ましくは制御手段13から受信した画像データ又は組み立て装置2の状態を表す情報を表示し、設備の最新の状態を操作者に提示する。
操作者が特定の操作指示ボタンを指し示すことにより、各可動部を組み立て装置2の動作シーケンスに沿って逐次的に移動させることができる。或いは、組み立て装置2の運転状態を切り替えることができる。
図4に、操作手段11として機能するタッチパネル付きモニタの画面の概略構成図を示す。操作者は、以下に説明する各ボタンに相当するモニタ上の領域を指で触れることにより、各ボタンに対応付けられた操作を行なうことができる。なお、この操作を、以下では便宜上「ボタンを押下する」という。
画像表示部111は、制御手段13より受信した画像データを表示し、現在の組み立て装置2の状態を操作者に提示する。情報表示部112は、組み立て装置2の装置状態を示す各種情報、異常発生時の警告などを表示する。
操作手段11は、組み立て装置2に対する操作指示信号を入力する複数のボタンを有する。まず、手動操作ボタン113又は自動実行ボタン114を押下することにより、組み立て装置2の運転モードを切り替えることができる。すなわち、操作手段11の手動操作ボタン113は、通常運転中の組み立て装置2の動作を一時停止させ、各可動部を操作者の指示によって移動させる手動運転にする。一方、自動実行ボタン114を押下することにより、手動運転中の組み立て装置2を通常運転に復帰させる。
ステップ前進ボタン115及びステップ後進ボタン116は、1度のボタン操作で各可動部を移動させるための移動指示情報を入力する移動指示部に相当する。ステップ前進ボタン115は、そのボタン押下時点の動作ステップに対して1ステップ次の動作ステップの基準位置へ各可動部へ移動させる移動指示情報を制御手段13へ送信する。一方、ステップ後進ボタン116は、そのボタン押下時点の動作ステップに対して1ステップ前の動作ステップの基準位置へ各可動部へ移動させる移動指示情報を制御手段13へ送信する。また、ステップ前進ボタン115又はステップ後進ボタン116を連続して複数回操作することにより、その操作回数だけ動作ステップを進め、若しくは後退させることができる。なお、通常運転中は、ステップ前進ボタン115又はステップ後進ボタン116の操作は無視される。
状態表示部117は、現在実行中の処理内容を表示する。例えば、通常運転中では、「通常運転」、一時停止中は「一時停止」、可動部が次の動作ステップの基準点へ移動中の場合には「前進」、可動部が現時点の動作ステップの基準点へ移動中の場合には「原点復帰」、可動部が前の動作ステップの基準点へ移動中の場合には「後進」と表示する。
非常停止ボタン118は、組み立て装置2の動作を完全に停止して、再起動しない限り組み立て装置2を動作不能とする。
上記のように、操作者は、ステップ前進ボタン115又はステップ後進ボタン116を操作するという簡便な操作だけで、全ての可動部を何れかの動作ステップの基準位置へ移動させることができる。
次に、撮像手段12について説明する。
撮像手段12は、搬送ユニット21、及び上下ユニット22の操作中の様子を捉えることを可能とするため、搬送ユニット21、及び上下ユニット22の可動範囲を全て1枚の画像に収めた静止画を、ビデオレート(30Hz)で連続して取得し、制御手段13へ送信する。この目的のため、撮像手段12として、1/4インチ41万画素CCD、焦点距離4.3mm(画角69.8°)、24ビット(RGB各8ビット)出力のCCDカメラを用いる。そして、上述した組み立て部25の斜め上方、部品投入部側に約30°の方向に配置される。しかし、撮像手段12としては、上記のCCDカメラに限られるものではなく、組み立て装置2の各部を1枚の画像に収めることが可能で、且つ検出マーク等の判別ができるものであればよい。同様に、上記の配置に限られるものではない。
次に、記憶手段14について説明する。
記憶手段14は、RAM又はフラッシュメモリのような半導体メモリ、又はハードディスク、CD−ROM、CD−RAM、DVD−ROM、DVD−RAMなどで構成される。また、記憶手段14は、各動作ステップ(S01,S02,...,S13)の基準位置を示す移動目的地情報Ri(i=1,2,...,13)を記憶する。移動目的地情報Riは、動作ステップSiにおける、各可動部の基準位置を表す画像データ上の座標値の組である。この座標値の組は、各可動部が移動開始可能と判断される基準位置に位置する状態で、撮像手段12によって撮影された画像データを事前に解析して求められる。
次に、制御手段13について説明する。
制御手段13は、パーソナルコンピュータ(PC)の中央演算装置(CPU)、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)などの1次記憶装置、PCに読み込まれたプログラム、及びRS232Cといった外部出力ポートなどで構成される。さらに、搬送ユニット21、上下ユニット22のサーボモータを制御するためのモータドライバを内蔵する。
図1に示すように、制御手段13は、操作手段11を通じて入力された移動指示情報に基づいて、記憶手段14に記憶されている複数の移動目的地情報から特定の移動目的地情報を決定する移動目的地情報特定部131と、特定された移動目的地情報から各可動部の移動目的地を決定する移動目的地決定部132と、各可動部を移動目的地に移動させる移動指示部133と、移動目的地情報及び画像データに基づいて、各可動部が移動目的地に移動したか否かを判定する移動終了判定部134などで構成される。
移動目的地情報特定部131は、現時点での組み立て装置2の動作ステップを表す、ステップ番号Inと、操作手段11のステップ前進ボタン115又はステップ後進ボタン116の押下によって得られる移動指示情報から、各可動部をどの動作ステップの基準位置へ移動させるかを、操作後ステップ番号Irとして決定する。
すなわち、操作手段11のステップ前進ボタン115が押下されると、各可動部は、現在の動作ステップの次の動作ステップの基準位置へ移動させるため、操作後ステップ番号Irは、Inに1を加えた値とする。ただし、Inが、組み立て装置2の最後の動作ステップ(ステップS13)の場合には、Ir=0とする。
一方、操作手段11のステップ後進ボタン116が押下された場合、全ての可動部が現在の動作ステップの基準位置にいれば、各可動部を一つ前の動作ステップの基準位置へ移動させるため、操作後ステップ番号Irは、Inから1を引いた値とする。ただし、Inが、組み立て装置2の最初の動作ステップ(ステップS01)の場合には、Ir=13とする。
さらに、操作手段11のステップ後進ボタン116が押下された場合、何れかの可動部が現在の動作ステップの基準位置にいなければ、各可動部を現在の動作ステップの基準位置へ移動させるため、操作後ステップ番号Irは、Inとする。
ここで、移動目的地情報特定部131は、ステップ後進ボタン116が押下された場合、各可動部を現在の動作ステップの基準位置へ移動させるのか、又は一つ前の動作ステップの基準位置へ移動させるのかを決定するために、撮像手段12から取得した最新の画像データに基づいて、各可動部が、現在の動作ステップの基準位置に存在するか否かを判定する。
この判定は、以下のように行う。
まず、ステップ番号Inに基づいて、記憶手段14からそのステップ番号Inに対応する移動目的地情報Rnを読み出す。そして、移動目的地情報Rnに含まれる、現在の動作ステップにおける、各可動部の基準位置座標を取得する。
一方、撮像手段12から取得した最新の画像データを解析して、各可動部の現在の位置座標を検出する。そして、各可動部について、現在の位置座標と、基準位置座標との距離を算出する。ある可動部について算出された距離が、予め定められた所定の閾値以下の場合、その可動部は基準位置にいると判定する。
ここで、各可動部の位置検出の手順及び各可動部が基準位置に存在するか否かの判定手順について、搬送ユニット21を例として、以下に詳述する。
まず、位置検出については、最初に、現在の動作ステップにおいて、搬送ユニット21に付された検出マーク213が存在する可能性のある領域に関心領域を設定する。この関心領域は、一つの検出マークだけを含むように設定することが好ましい。他の検出マークを誤って検出することによる、搬送ユニット21の位置の検出の失敗を防止するためである。また、以下の処理は関心領域内だけで行う。扱うデータ量が少なくなり、処理を高速化できるためである。
次に、画像データを、検出マーク213とそれ以外に分離可能するために2値化する。2値化の閾値は組み立て装置2の設置環境等を勘案して経験的に設定する。
本実施形態では、1画素あたりのデータが赤(R)、緑(G)、青(B)各8ビットで表される。そこで関心領域中の任意の画素の値P(=(R, G, B))とし、対応する2値化画像の任意の画素値をPbinとすると、検出マーク213は赤色であることから、例えば
bin = 1 (R≧128、G<32、B<32)(検出マーク213に相当)
bin = 0 (上記以外のとき)
とすることができる。
2値化が終了すると、検出マーク213に相当する(Pbin=1)画素の重心G(Gx、Gy)を算出する。その重心Gを、搬送ユニット21の位置とする。
なお、動作ステップによっては、検出マーク213が上下ユニット22の後方に隠れて検出できない場合もある。この場合には、検出マーク213の代わりに検出マーク214を用い、上記と同様の手順によって搬送ユニット21の位置を検出することができる。
次に、搬送ユニット21が動作ステップの基準位置に存在するか否かの判定については、以下のように行う。すなわち、上記の手順によって検出された搬送ユニット21の位置座標と、移動目的地情報Rnから取得した搬送ユニット21の基準位置の座標との距離dを算出する。そして、算出された距離dが予め定められた所定の閾値Thd(例えば2画素)以下であれば、搬送ユニット21は基準位置に存在すると判定する。
なお、この閾値Thdは、搬送ユニット21に要求される位置精度、撮像手段12で取得される画像データの解像度、及び撮像手段から搬送ユニット21までの距離に基づいて、最適な値を設定する。
移動目的地決定部132は、操作後ステップ番号Irが求まると、その値を参照して、記憶手段14から、操作後ステップ番号Irに対応する移動目的地情報Rrを読み出す。
そして、移動目的地情報Rrに含まれる、各可動部の基準位置座標を、それぞれ移動目的地として設定する。そして、ステップ番号In及び移動目的地の座標に基づいて、各可動部の移動経路を設定する。
移動指示部133は、各可動部を設定された移動経路に沿って移動目的地へ移動させるように、モータドライバ及び外部出力ポートを通じて各可動部のサーボモータへ制御信号を出力する。
移動終了判定部134は、撮像手段12から取得した最新の画像データに基づいて、各可動部の位置を検出する。全ての可動部が、移動目的地に存在すると判定した場合、全ての可動部の移動を終了する。そして、操作後ステップ番号Irを、ステップ番号Inに代入し、改めてステップ番号Inとして保存する。一方、何れかの可動部が移動目的地に存在しないと判定した場合、その移動目的地に存在しないと判定された可動部については、移動が継続される。
なお、各可動部の位置検出及び各可動部が移動目的地に存在するか否かの判定は、移動目的地情報特定部131において説明した、各可動部の位置検出の手順及び各可動部が基準位置に存在するか否かの判定手順と同様の手順を用いて実行する。
また、各可動部の移動開始からの経過時間が、予め定められた制限時間(例えば、30秒)を超える場合、移動終了判定部134は、操作手段11に警告情報を送信し、操作手段11では、情報表示部112に、当該警告情報を表示して、操作者に対して注意を促す。
以上、組み立て装置2の保守作業時における動作を中心に、制御手段13について説明してきた。一方、組み立て装置2の通常運転時では、移動目的情報特定部131が、操作手段11から移動指示情報を取得する代わりに、プログラムされた動作シーケンスにしたがって、順次各動作ステップに相当する移動目的地情報Riを取得する。そして、移動目的地決定部132、移動指示部133、及び移動終了判定部134が上記のとおりに機能して、組み立て装置2は自動的に組み立てサイクルを繰り返す。
なお、制御手段13及び記憶手段14は上記に限られるものではなく、専用のハードウェア、ファームウェア等で構成してもよい。また、制御手段13及び記憶手段14と、モータドライバを、別個のハードウェアとして構成し、互いに通信可能な構成としてもよい。例えば、制御手段13及び記憶手段14をPC及び内蔵プログラムで構成し、モータドライバをプログラマブルロジックコントローラ(PLC)で構成してもよい。
以下、図5に示すフローチャートを参照しつつ、本発明に係る操作装置1が組み立て装置2の可動部を移動させる動作手順について説明する。
操作手段11のステップ前進ボタン115又はステップ後進ボタン116が押下されると、操作手段11は、ステップ前進ボタン115又はステップ後進ボタン116に一意に対応する移動指示情報を制御手段13に送信する(ステップT01)。
制御手段13は、操作手段11からの移動指示情報を受信すると、制御手段13は、撮像手段12から受信した最新の画像データを解析し、各可動部の現在位置を検出する。また、現在の動作ステップInに相当する移動目的地情報Rnを記憶手段14から取得し、各可動部が動作ステップInの基準位置に存在するか否かを判定する。そして、その判定結果に基づいて、操作後ステップ番号Irを決定する(ステップT02)。
ただし、ステップ前進ボタン115が押下された場合には、自動的に、現在の動作ステップ番号Inに1を加えた値を、操作後ステップ番号Irとする。
操作後ステップ番号Irが求まると、その値を参照して、記憶手段14から、操作後ステップ番号Irに対応する移動目的地情報Rrを読み出す(ステップT03)。移動目的地情報Rrは、ステップ番号Irに相当する動作ステップにおける、各可動部の基準位置を示す画像データ上の座標値を含む。
制御手段13は、移動目的地情報Rrを取得すると、各可動部の基準位置の座標値を移動目的地として設定する(ステップT04)。
次にステップ番号In、Ir及び現在の各可動部の位置に基づいて、各可動部の移動経路を決定する。その移動方向は、前進動作の場合、通常運転時における動作ステップ番号Inでの各可動部の移動経路と同一であり、後進動作の場合、通常運転時における移動経路を逆に進む経路となる。移動経路を決定すると、制御手段13は、各可動部に対して、モータドライバを通じて制御信号を送信し、各可動部を移動させる(ステップT05)。
各可動部が移動を開始すると、制御手段13は、撮像手段12から画像データを取得する(ステップT06)。
そして、その画像データに基づいて、各可動部の位置を上記の方法により検出し、各可動部の現在位置と、その移動目的地との距離をそれぞれ算出する(ステップT07)。
次に、算出されたそれぞれの距離が予め定められた所定の閾値以下か否かを判定する(ステップT08)。
算出された全ての距離が閾値以下の場合、すなわち、全ての可動部が、移動目的地から所定範囲内にあると判定された場合、制御手段13は、全ての可動部に対する制御信号の出力を停止して、全ての可動部の移動を終了する。また、操作後ステップ番号Irを、ステップ番号Inに代入して更新し、記憶する(ステップT09)。
一方、何れかの距離が閾値よりも大きい場合、すなわち各可動部のうちの何れかが、移動目的地から所定範囲外にあると判定した場合には、所定範囲外にあると判定された可動部についてのみ、移動させる制御信号の出力を継続する。そして、再度撮像手段12より画像データを取得し、上記のステップT05〜T08を繰り返す。
また、各ユニットの移動開始からの経過時間が、予め定められた制限時間(例えば、30秒)以内に全ての可動部が移動を終了したか否かを判定し(ステップT10)、移動終了していない場合には、制御手段13は、操作手段11に警告情報を送信し、操作手段11では、情報表示部112に、当該警告情報を表示して、操作者に対して注意を促す(ステップT11)。
このようにして、1回の操作指示で、全ての可動部を所定の動作ステップの基準位置へ移動させることができる。
なお、上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。
例えば、検出マークを抽出する際、2値化処理の代わりに、エッジ検出処理を用いてもよい。エッジ検出処理によって、上記検出マークの境界に相当するエッジ画素を抽出し、エッジ画素の重心、左上端等の位置を求めて可動部の位置としてもよい。
また、各動作ステップにおいて、全ての可動部が基準位置に存在する場合の画像データを基準画像として予め取得し、可動部の基準位置を特定するための移動目的地情報Riとして使用してもよい。この場合、各可動部が基準位置に移動したか否かの判定は、その動作ステップにおける基準画像と、撮像手段が取得した最新画像データとの間でパターンマッチング処理を行い、最新画像データと基準画像データ間における画素値の差分絶対値の平均値について最小値を求め、その最小値が所定の閾値以下となれば各可動部が基準位置に達したと判定する。代わりとして、最新画像データと基準画像データ間で単純に対応画素間の差分値を求め、その差分絶対値の平均値が所定の閾値以下となれば各可動部が基準位置に達したと判定してもよい。何れの場合においても、検出マークの位置検出の場合と同様に、関心領域を設定し、その関心領域に含まれる画素のみを用いることが好ましい。
また、上述した実施形態においては、各可動部を、動作ステップのシーケンスに沿って、次又は前の動作ステップの基準位置へ移動させるように説明したが、例えば、操作手段において、任意の動作ステップを予め選択し、その後各可動部をその選択した動作ステップの基準位置に移動させるように構成すれば、一度に複数の動作ステップ分の移動を行なうこともできる。
さらに、各可動部の移動先は、各動作ステップにおける基準位置に限られない。移動目的地情報Riに、各可動部を移動させたい目的地の座標を設定しておけば、その目的地へ各可動部を移動させることもできる。
上記のように、本発明に係る操作装置は、実装される設備等の仕様に応じて、本発明の範囲内で適宜最適化される。
本発明に係る操作装置を実装した組み立て装置の構成ブロック図である。 本発明に係る操作装置の操作対象となる組み立て装置の概略上面図である。 本発明に係る操作装置を実装した組み立て装置の動作サイクルのフローチャートである。 本発明に係る操作装置の操作手段の概略構成図である。 本発明に係る操作装置による、組み立て装置の可動部を移動させる場合の動作を示すフローチャートである。
符号の説明
1 操作装置
11 操作手段
111 画像表示部
112 情報表示部
113 手動操作ボタン
114 自動実行ボタン
115 前進ボタン
116 後進ボタン
117 状態表示部
118 非常停止ボタン
12 撮像手段
13 制御手段
131 移動目的地情報特定部
132 移動目的地決定部
133 移動指示部
134 移動終了判定部
14 記憶手段
2 組み立て装置
21 搬送ユニット
211 部材
212 グリッパ
22 上下ユニット
221 上部ユニット
222 下部ユニット
223 ワークチャック
224 チャックシリンダ
213、214、225、226 検出マーク
23 ワーク搬入部
24 部品投入部
25 組み立て部
26 ワーク排出部
27 ワーク搬送路
3 ワーク
4 部品
5 完成品

Claims (7)

  1. 複数の動作ステップに分割されて移動し、各動作ステップにおいて所定の基準位置から移動開始する可動部を有する設備又は装置に対して、該可動部に対する複数の移動目的地情報を記憶する記憶手段と、
    前記可動部を移動させるための移動指示情報を入力する操作手段と、
    前記可動部を撮影し、画像データを取得する撮像手段と、
    前記移動指示情報に基づいて、前記複数の移動目的地情報から特定の移動目的地情報を決定する移動目的地情報特定部と、前記移動目的地情報から前記可動部の移動目的地を決定する移動目的地決定部と、前記可動部を前記移動目的地に移動させる移動指示部と、前記移動目的地情報及び前記画像データに基づいて、前記可動部が前記移動目的地に移動したか否かを判定する移動終了判定部とを有する制御手段と、
    を有し、
    前記移動目的地情報特定部は、
    前記移動指示情報を受信すると、前記撮像手段により取得された最新の画像データに基づいて前記可動部の現在位置を検出し、
    現在の動作ステップにおける前記基準位置を含む現在の移動目的地情報を前記記憶手段より読み出し、
    前記現在位置に基づいて、前記可動部が前記現在の動作ステップにおける前記基準位置に存在するか否かを判定し、当該基準位置に存在すると判定した場合、現在の動作ステップに前記移動指示情報により指定されたステップを加えた動作ステップを操作後動作ステップとし、
    前記移動目的地決定部は、
    前記操作後動作ステップに相当する操作後移動目的地情報を前記記憶手段から読み出し、前記操作後移動目的地情報に含まれる前記操作後動作ステップにおける前記可動部の基準位置を前記移動目的地とする、
    ことを特徴とする可動部の操作装置。
  2. 前記移動目的地情報特定部は、前記可動部が前記現在の動作ステップにおける前記基準位置に存在しないと判定した場合、現在の動作ステップを前記操作後動作ステップとする、請求項1に記載の操作装置。
  3. 前記操作手段は、1度の操作で前記移動指示情報を入力する移動情報入力部を有する、請求項2に記載の操作装置。
  4. 前記移動情報入力部は、前記可動部を、現在の動作ステップに対して1ステップ先の動作ステップの前記基準位置へ移動させる前進ボタンと、前記可動部を現在の動作ステップの基準位置又は現在の動作ステップに対して1ステップ前の動作ステップの前記基準位置へ移動させる後進ボタンとを有する、請求項3に記載の操作装置。
  5. 前記移動目的地情報は、前記可動部の前記画像データにおける目的地の位置座標であり、前記移動終了判定部は、前記画像データから検出した前記可動部の位置座標と前記目的地の位置座標との距離を算出し、該距離が所定の閾値以下であれば、前記可動部が移動目的地に移動したと判定する、請求項1〜4の何れか一項に記載の操作装置。
  6. 前記移動目的地情報は、前記目的地に存在する前記可動部を撮影した参照画像データであり、前記移動終了判定部は、該参照画像データと前記画像データとの不一致度が所定の閾値以下であれば、前記可動部が移動目的地に移動したと判定する、請求項1〜4の何れか一項に記載の操作装置。
  7. 複数の動作ステップに分割されて移動し、各動作ステップにおいて所定の基準位置から移動開始する可動部を有する設備又は装置に対して、可動部を移動させる移動指示情報を取得するステップと、
    前記移動指示情報に基づいて、複数の移動目的地情報から特定の移動目的地情報を決定するステップと、
    前記移動目的地情報から移動目的地を決定するステップと、
    前記可動部を前記移動目的地に移動させるステップと、
    前記可動部を撮影し、画像データを取得するステップと、
    前記移動目的地情報及び前記画像データに基づいて、前記可動部が前記移動目的地に移動したか否かを判定するステップと、
    を有し、
    前記移動目的地情報を決定するステップは、
    前記移動指示情報を受信すると、前記可動部を撮影した最新の画像データに基づいて前記可動部の現在位置を検出し、
    現在の動作ステップにおける前記基準位置を含む現在の移動目的地情報を記憶手段より読み出し、
    前記現在位置に基づいて、前記可動部が前記現在の動作ステップにおける前記基準位置に存在するか否かを判定し、当該基準位置に存在すると判定した場合、現在の動作ステップに前記移動指示情報により指定されたステップを加えた動作ステップを操作後動作ステップとし、
    前記移動目的地を決定するステップは、
    前記操作後動作ステップに相当する操作後移動目的地情報を前記記憶手段から読み出し、前記操作後移動目的地情報に含まれる前記操作後動作ステップにおける前記可動部の基準位置を前記移動目的地とする、
    ことを特徴とする可動部の操作方法。
JP2005251535A 2005-08-31 2005-08-31 可動部の操作装置及び操作方法 Expired - Fee Related JP4449862B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005251535A JP4449862B2 (ja) 2005-08-31 2005-08-31 可動部の操作装置及び操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005251535A JP4449862B2 (ja) 2005-08-31 2005-08-31 可動部の操作装置及び操作方法

Publications (2)

Publication Number Publication Date
JP2007066014A JP2007066014A (ja) 2007-03-15
JP4449862B2 true JP4449862B2 (ja) 2010-04-14

Family

ID=37928143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005251535A Expired - Fee Related JP4449862B2 (ja) 2005-08-31 2005-08-31 可動部の操作装置及び操作方法

Country Status (1)

Country Link
JP (1) JP4449862B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009190864A (ja) * 2008-02-15 2009-08-27 Toshiba Elevator Co Ltd 乗客コンベア

Also Published As

Publication number Publication date
JP2007066014A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
WO2018066576A1 (ja) 外観検査方法
JP4862765B2 (ja) 表面検査装置及び表面検査方法
JP4776034B2 (ja) 自動切断装置及び開先加工品の製造方法
Nerakae et al. Using machine vision for flexible automatic assembly system
US10675759B2 (en) Interference region setting apparatus for mobile robot
CN109384039B (zh) 物品搬运装置
JP2011183537A (ja) ロボットシステム及びロボット装置並びにワーク取り出し方法
US20160084739A1 (en) Device and method for inspection of tire
JP6856590B2 (ja) センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
JP2007523334A (ja) 欠陥位置特定方法及びマーキングシステム
JP4462161B2 (ja) 監視制御装置及び監視制御方法
JP2006260443A (ja) 監視制御装置及び監視制御方法
KR100517635B1 (ko) 불량품 검출 및 취출 시스템
JP2011110627A (ja) ロボット制御方法、ロボット制御プログラムおよびロボット制御方法に用いられるティーチングペンダント
JP4449862B2 (ja) 可動部の操作装置及び操作方法
JP5062102B2 (ja) 自動運転装置
JP2006235699A (ja) シミュレーション装置及びシミュレーション方法
JP4349298B2 (ja) 監視制御装置及び監視制御方法
US20210385413A1 (en) Product assembly machine having vision inspection station
JP2008160635A (ja) カメラ状態検出方法
CN115003464A (zh) 机器人系统
JP4544117B2 (ja) 制御情報生成装置
KR101432493B1 (ko) 분류 시스템
US11557027B2 (en) Vision inspection system and method of inspecting parts
US11130241B2 (en) Robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100118

R151 Written notification of patent or utility model registration

Ref document number: 4449862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees