JP5509645B2 - 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 - Google Patents

位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 Download PDF

Info

Publication number
JP5509645B2
JP5509645B2 JP2009074378A JP2009074378A JP5509645B2 JP 5509645 B2 JP5509645 B2 JP 5509645B2 JP 2009074378 A JP2009074378 A JP 2009074378A JP 2009074378 A JP2009074378 A JP 2009074378A JP 5509645 B2 JP5509645 B2 JP 5509645B2
Authority
JP
Japan
Prior art keywords
component
posture
camera
recognition
light spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009074378A
Other languages
English (en)
Other versions
JP2010223909A (ja
Inventor
尚己 小池
公宏 若林
宏之 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2009074378A priority Critical patent/JP5509645B2/ja
Priority to US12/543,163 priority patent/US8194929B2/en
Priority to CN2009101705973A priority patent/CN101846494B/zh
Publication of JP2010223909A publication Critical patent/JP2010223909A/ja
Application granted granted Critical
Publication of JP5509645B2 publication Critical patent/JP5509645B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor

Description

本発明は、位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置に関する。
特許文献1には、球面収差の大きい撮影レンズを持つカメラを用いてLED等の光点を撮影し、撮影画像上の光像の位置から光点の方向を求め、その光像の径から光点までの距離を求めるという、いわゆる計測法が開示されている。
また、特許文献2には、その計測法における計測対象へのIDの付与方法が開示されている。
特開2004−212328号公報
特開2008−70343号公報
本発明は、位置および姿勢の高精度な計測が可能な位置・姿勢認識方法および位置・姿勢認識装置、並びに、位置および姿勢の高精度な計測法を活用した部品把持方法および部品把持装置、部品配置方法および部品配置装置、部品組立方法および部品組立装置を提供することを目的とする。
請求項1の位置・姿勢認識方法は、
一つの平面上に置かれないように三次元的に分散配置された複数の光点からなる光点群が配置された被計測体上の該光点群をカメラで撮影する第1の撮影過程と、
第1の撮影過程での撮影で得られた第1の撮影画像上の、上記光点群を構成する各光点を表わす光像に基づいて、被計測体の位置および姿勢を認識する第1の認識過程とを有する。
また、請求項2の位置・姿勢認識方法は、請求項1記載の位置・姿勢認識方法において、上記被計測体が、互いに離れた位置に置かれた3つの第1の光点と該3つの第1の光点それぞれを頂点とする三角形の参照面から垂直方向に離れた位置に置かれた1つの第2の光点とを含む光点群が配置された被計測体であって、上記第1の撮影過程は、上記第2の光点を通る参照面への垂線と撮影光軸とが不一致の第1の位置にカメラを置いて、該カメラで被計測体上の光点群を撮影する撮影過程である。
また、請求項3の位置・姿勢認識方法は、請求項2記載の位置・姿勢認識方法において、上記第1の撮影過程が、上記カメラを、上記第1の位置であって、かつ参照面を向く姿勢に置いて、そのカメラで光点群を撮影する過程である。
また、請求項4の位置・姿勢認識方法は、請求項2記載の位置・姿勢認識方法において、上記第1の撮影過程が、上記カメラを、上記第1の位置であって、かつ垂線と平行な方向を向く姿勢に置いて、カメラで光点群を撮影する過程である。
また、請求項5の位置・姿勢認識方法は、請求項2から4のうちのいずれか1項記載の位置・姿勢認識方法において、上記第1の撮影過程における撮影に先立って実行される、
上記カメラを第2の位置に置いてそのカメラにより光点群を撮影する第2の撮影過程と、
上記第2の撮影過程で得られた第2の撮影画像上の、上記光点群を構成する各光点を表わす光像に基づいて、被計測体の位置および姿勢を認識する第2の認識過程とを有し、
上記第1の撮影過程が、上記カメラを、上記第2の光点を通る上記参照面への垂線と撮影光軸とが不一致の位置であって、かつ被計測体の位置および姿勢についての上記第2の認識過程での認識よりも高精度な認識のための撮影が可能な上記第1の位置に移動させて、カメラで光点群を撮影する過程である。
また、請求項6の部品把持方法は、請求項1から5のうちのいずれか1項記載の位置・姿勢認識方法により被計測体の位置および姿勢を認識する位置・姿勢認識過程と、
上記被計測体自体からなる部品又は上記被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた部品を把持するロボットを、位置・姿勢認識過程で認識した被計測体の位置および姿勢に基づいてその部品に正対させて、ロボットに部品を把持させる部品把持過程とを有する。
尚、本発明にいう「把持」は、部品を機械的に挟むものであってよいが、それに限られるものではなく、部品を真空吸着するもの、あるいは電磁石で部品を磁気的に吸着するもの等、部品を持ち上げ得る状態にするものであればよい。
また、請求項7の部品配置方法は、請求項1から5のうちのいずれか1項記載の位置・姿勢認識方法により被計測体の位置および姿勢を認識する位置・姿勢認識過程と、
部品を把持し把持した部品を上記被計測体に対し相対的にあらかじめ定められた位置および姿勢に配置するためのロボットにその部品を把持させ、位置・姿勢認識過程で認識した被計測体の位置および姿勢に基づいてその部品をあらかじめ定められた位置および姿勢に正対させて、その部品をあらかじめ定められた位置および姿勢に配置させる部品配置過程とを有する。
さらに、請求項8の部品組立方法は、請求項1から5のうちいずれか1項記載の位置・姿勢認識方法により被計測体の位置および姿勢を認識する位置・姿勢認識過程と、
第1の部品に組み立てられる第2の部品をロボットに把持させ、位置・姿勢認識過程で認識した被計測体の位置および姿勢に基づいて、第2の部品を、被計測体自体からなる第1の部品又は被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた前記第1の部品に正対させて、第2の部品を第1の部品に組み立てさせる部品組立過程とを有する。
また、請求項9の位置・姿勢認識装置は、
カメラと、
一つの平面上に置かれないように三次元的に分散配置された複数の光点からなる光点群が配置された被計測体上の該光点群を上記カメラに撮影させる第1の撮影過程を実行するカメラ制御部と、
第1の撮影過程での撮影で得られた第1の撮影画像上の、上記光点群を構成する各光点を表わす光像に基づいて、被計測体の位置および姿勢を認識する第1の認識過程を実行する位置・姿勢認識部とを備えている。
また、請求項10の位置・姿勢認識装置は、請求項9の位置・姿勢認識装置において、上記被計測体が、互いに離れた位置に置かれた3つの第1の光点と該3つの第1の光点それぞれを頂点とする三角形の参照面から垂直方向に離れた位置に置かれた1つの第2の光点とを含む光点群が配置された被計測体であって、上記カメラが、上記第2の光点を通る上記参照面への垂線と撮影光軸とが不一致の第1の位置に置かれたカメラである。
また、請求項11の位置・姿勢認識装置は、請求項9記載の位置・姿勢認識装置の前記第1の撮影過程において、上記カメラが、上記第1の位置であって、かつ参照面を向く姿勢に置かれたカメラである。
また、請求項12の位置・姿勢認識装置は、請求項9記載の位置・姿勢認識装置の前記第1の撮影過程において、上記カメラが、上記第1の位置であって、かつその垂線と平行な方向を向く姿勢に置かれたカメラである。
また、請求項13の位置・姿勢認識装置は、請求項9から12のうちのいずれか1項記載の位置・姿勢認識装置において、上記カメラは、位置および姿勢の変更が自在なカメラであり、上記カメラ制御部が、上記第1の撮影過程における撮影に先立ってカメラを第2の位置に置いて第2の位置にあるカメラにより光点群を撮影させる第2の撮影過程を実行するものであり、
上記位置・姿勢認識部が、上記第2の撮影過程で得られた第2の撮影画像上の、上記光点群を構成する各光点を表わす光像に基づいて、被計測体の位置および姿勢を認識する第2の認識過程を実行するものであって、
上記カメラ制御部は、上記第1の撮影過程において、上記カメラを、上記第2の法点を通る上記参照面への垂線と撮影光軸とが不一致の位置であって、かつ被計測体の位置および姿勢についての上記第2の認識過程での認識よりも高精度な認識のための撮影が可能な上記第1の位置に移動させて、カメラに光点群を撮影させるものである。
また、請求項14の位置・姿勢認識装置は、請求項9から12のうちのいずれか1項記載の位置・姿勢認識装置において、カメラとロボットは、互いに固定されて一体的にのみ位置および姿勢の変更が可能なものである。
また、請求項15の位置・姿勢認識装置は、請求項9から12のうちのいずれか1項記載の位置・姿勢認識装置において、カメラとロボットは、互いに独立に位置および姿勢の変更が可能なものである。
また、請求項16の位置・姿勢認識装置は、請求項9から15のうちのいずれか1項記載の位置・姿勢認識装置において、上記光点が発光ダイオードである。
また、請求項17の位置・姿勢認識装置は、請求項9から15のうちのいずれか1項記載の位置・姿勢認識装置において、上記光点が入射光を入射方向に反射させる再帰反射体である。
さらに、請求項18の部品把持装置は、請求項9から17のうちのいずれか1項記載の位置・姿勢認識装置と、
被計測体自体からなる部品又は被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた部品を把持するためのロボットと、
ロボットを位置・姿勢認識過程で認識した被計測体の位置および姿勢に基づいて部品に正対させてロボットにその部品を把持させるロボット制御部とを備えている。
さらに、請求項19の部品配置装置は、請求項9から17のうちのいずれか1項記載の位置・姿勢認識装置と、
部品を把持し把持した部品を被計測体に対し相対的にあらかじめ定められた位置および姿勢に配置するためのロボットと、
ロボットに部品を把持させ、位置・姿勢認識装置で認識した被計測体の位置および姿勢に基づいてその部品をあらかじめ定められた位置および姿勢に正対させて、その部品をあらかじめ定められた位置および姿勢に配置させるロボット制御部とを備えている。
さらに、請求項20の部品組立装置は、請求項9から17のうちいずれか1項記載の位置・姿勢認識装置と、
第1の部品に対し組み立てられる第2の部品を把持し把持した第2の部品を該第1の部品に組み立てるロボットと、
ロボットに第2の部品を把持させ、位置・姿勢認識装置で認識した被計測体の位置および姿勢に基づいて、第2の部品を、被計測体自体からなる第1の部品又は被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた第1の部品に正対させて、第2の部品を第1の部品に組み立てさせるロボット制御部とを備えている。
請求項1の位置・姿勢認識方法および請求項9の位置・姿勢認識装置によれば、光点が二次元的に配置されている場合と比べ高精度な計測が可能となる。
また、請求項2の位置・姿勢認識方法および請求項10の位置・姿勢認識装置によれば、請求項1の位置・姿勢認識方法および請求項9の位置・姿勢認識装置と比べ、より高精度な計測が可能となる。
また、請求項3の位置・姿勢認識方法および請求項11の位置・姿勢認識装置によれば、参照面が撮影画像の隅に写し込まれる場合と比べ、より高精度な計測が可能となる。
また、請求項4の位置・姿勢認識方法および請求項12の位置・姿勢認識装置によれば、カメラの姿勢調整は不要である。
また、請求項5の位置・姿勢認識方法および請求項13の位置・姿勢認識装置によれば、高精度な二段階計測が可能である。
また、請求項6の部品把持方法および請求項18の部品把持装置によれば、本発明の計測法を採用しない場合と比べ部品の正確な把持が可能となる。
また、請求項7の部品配置方法および請求項19の部品配置装置によれば、本発明の計測法を採用しない場合と比べ部品の正確な配置が可能となる。
さらに、請求項8の部品組立方法および請求項20の部品組立装置によれば、本発明の計測法を採用しない場合と比べ部品の正確な組立てが可能となる。
また、請求項14の位置・姿勢認識装置によれば、移動・姿勢制御機構が1つで済む。
また、請求項15の位置・姿勢認識装置によれば、カメラ、ロボットそれぞれに必要な動作のみ行なわさせることができる。
また、請求項16の位置・姿勢認識装置によれば、カメラによる撮影画像上で明るい光像を得ることができる。
さらに、請求項17の部品把持装置によれば、被計測体への発光のための電力の供給が不要である。
従来の計測法を用いた部品把持方法の一例を示す模式図である。 図1に示す部品把持方法の問題点を示す模式図である。 新規な計測法の説明図である。 本発明の第1実施形態としての部品把持方法のうちの1つの過程を示す図である。 本発明の第1実施形態としての部品把持方法のうちの1つの過程を示す図である。 本発明の第1実施形態としての部品把持方法のうちの1つの過程を示す図である。 本発明の第1実施形態としての部品把持方法のうちの1つの過程を示す図である。 本発明の第2実施形態の部品把持方法で採用される整列トレイ積載板および整列トレイ等の平面図である。 整列トレイを載せた整列トレイ積載板の搬送機構を示す、側面図(A)および平面図(B)である。 昇降機構に載って停止した状態の整列トレイ積載板および整列トレイを示す図ある。 整列トレイ上の部品の把持および取出方法のうちの1つの過程を示す図である。 整列トレイ上の部品の把持および取出方法のうちの1つの過程を示す図である。 整列トレイ上の部品の把持および取出方法のうちの1つの過程を示す図である。 整列トレイ上の部品の把持および取出方法のうちの1つの過程を示す図である。 本発明の第3実施形態の部品把持方法のうちの1つの過程を示す図である。 本発明の第3実施形態の部品把持方法のうちの1つの過程を示す図である。 本発明の第3実施形態の部品把持方法のうちの1つの過程を示す図である。 本発明の第3実施形態の部品把持方法のうちの1つの過程を示す図である。 本発明の第4実施形態としての部品配置方法および部品組立方法の説明図である。 本発明の第5実施形態としての部品配置方法および部品組立方法の説明図である。 本発明の第6実施形態としての部品配置方法および部品組立方法の説明図である。 画像形成装置の主要部の概略構成図である。 感光体組立体の組立てに用いられるロボットの斜視図である。 組立パレットとその組立パレットに支持された樹脂部品である枠体を示した斜視図である。 整列トレイとその整列トレイ上に並べられた清掃部材を示す斜視図である。 清掃部材の取出し前の、整列トレイにロボットが近づいてきた状態を示す斜視図である。 整列トレイ上の清掃部材のうちの一本がロボットにより取り出された状態を示す斜視図である。 清掃部材を吸着した状態のロボットが組立パレットに近づいてきた様子を示す斜視図である。 枠体に清掃部材が組み付けられた状態を示す斜視図である。 組立て終了後の感光体組立体の斜視図である。 組立て終了後の感光体組立体を図30とは別の視点から見たときの斜視図である。 枠体を示す図である。 枠体に清掃部材が組み付けられた状態を示す図である。 さらに感光体が組み付けられた状態を示す図である。 さらに感光体保持体が組み付けられた状態を示す図である。 感光体保持体が組み付けられた状態の部分拡大斜視図である。 さらに支持板が組み付けられた状態を示す図である。 支持板組付け直前の状態を示す部分拡大斜視図である。 さらに後カバーが組み付けられた状態を示す図である。 後カバーが組み付けられた状態の部分拡大斜視図である。 さらに前カバーが組み付けられた状態を示す図である。 前カバーの組付け直前の状態を示す部分拡大斜視図である。 さらに帯電器が組み付けられた状態を示す図である。
ここでは先ず、比較例として、従来の計測法について説明し、次いで、本発明の各種実施形態について説明する。
図1は、従来の計測法を用いた部品把持方法の一例を示す模式図である。
図1には、整列トレイ11が複数段積み重ねられており、各整列トレイ11には、LED基板12と、この整列トレイ11からの取出し対象の複数の部品13が整列している。
積み重ねられた整列トレイ11の上部には、ロボット20が置かれている。このロボット20は、ロボットアーム21と、部品13を取り出すためのロボットハンド22とを有し、このロボットハンド22にカメラ30が固定されている。このロボット20は、制御部40によりその位置や姿勢が制御される。カメラ30は、ロボットハンド22に固定されているため、ロボットハンド22の移動や姿勢と一体的に移動や姿勢が制御される。また、この制御部40は、ロボットハンド22による部品13の把持の制御、カメラ30による撮影制御も行なう。この制御部40は、例えばコンピュータとそのコンピュータ内で実行される制御プログラムとで構成される。
また、LED基板12には、複数のLED12aが配置されている。基本的にはLED基板12上の互いに離れた位置にLED12aが3個配置されていれば、それら3個のLED12aを撮影して得た撮影画像が位置・姿勢認識部50に入力され、位置・姿勢認識部50内での演算により求められる。位置・姿勢認識部50では、さらにそれら3個のLED12aそれぞれを頂点とする三角形の平面の位置および姿勢が求められ、このLED基板12の位置および姿勢が認識される。LED基板12は、整列トレイ11のあらかじめ決められた位置に固定されており、その整列トレイ11上の複数の部品13も、それぞれあらかじめ定められた各位置に置かれている。位置・姿勢認識部50ではさらに、これらの情報を基に、その整列トレイ11上の各部品13のそれぞれの位置および姿勢が認識される。この位置・姿勢認識部50も、制御部40と同様、コンピュータとそのコンピュータ内で実行される位置・認識プログラムにより構成することができる。コンピュータは、制御部40を構成するコンピュータと共用してもよい。
ここで、カメラ30による撮影画像に基づく計測法は、基本的には以下の通りである。すなわち、カメラ30の位置および姿勢は既知であり、その位置および姿勢が既知のカメラ30でLED基板12上の各LED12aを撮影し、撮影画像上のLED12aの像の位置から、カメラ30から見たときの各LED12aの方向が求められる。各LED12a相互の相対位置関係はあらかじめ分かっており、したがってカメラ30から見たときの各LED12aの方向が求められると、それらの情報からそれらのLED12aで決まる平面、すなわちLED基板12の位置および姿勢が求められる。
あるいは、球面収差の大きな撮影レンズを搭載したカメラ30を使用し、各LED12aの撮影画像上の像の寸法を利用してもよい。球面収差の大きな撮影レンズを搭載したカメラ30を使用すると、各LED12aの撮影画像上の像は略円形にボケた像となる。しかもその像の寸法は、カメラ30から各LED12aまでの距離によって異なる。これを利用し、そのLED12aの像の寸法に基づいて、カメラ30から各LED12aまでの距離が求められる。またカメラ30から見たときの各LED12aの方向は、上記と同様、撮影画像上の像の位置から求められる。このようにして、LED基板12上の3個のLED12aのそれぞれの方向と距離が求められると、3個のLED12aそれぞれの三次元的な位置が求められ、その3個のLED12aで決まる平面、すなわちLED基板12の位置および姿勢が求められる。ここでは従来の計測法を2例紹介したが、それらの計測法を併用してもよい。
上述したように、LED基板12には整列トレイ11のあらかじめ定められた位置に固定されているため、LED基板12の位置及び姿勢が求められると整列トレイ11自体の位置および姿勢も求められ、その整列トレイ11上の各部品13それぞれの位置および姿勢も求められる。
このようにして、各部品13の位置および姿勢が求められると、ロボット20は、そのロボットハンド22を、順次、各部品13に正対させて整列トレイ11から取り出す。最上段に積み重ねられた整列トレイ11上の全ての部品13が取り出されると、その空の整列トレイ11自体が積み重ねの最上段から取り外され、この取り外しによって新たに最上段になった整列トレイ11について同様の処理が行なわれる。
図2は、図1に示す部品把持方法の問題点を示す模式図である。
上述した計測法の場合、カメラ30から見たときの各LED12aの方向についてはかなり高精度に計測されるが、距離の分解能が低く、カメラ30と各LED12aとの間の距離については低い精度でしか計測できない。
このため、図2(A)に示すように部品13を把持することができなかったり、あるいは図2(B)に示すようにロボットハンド22が部品13あるいは整列トレイ11に衝突してしまう可能性がある。衝突が発生すると、部品13を把持することができないばかりか、部品13を破損させてしまうおそれもある。
以上の比較例を踏まえ、以下本発明の各種実施形態を説明する。
図3は、以下の各実施形態で採用される、新規な計測法の説明図である。
ここには、LED基板120とカメラ30が示されている。
LED基板120には、そのLED基板120の表面の互いに離れた位置に4個のLED121が配置されており、その表面から少し立ち上がった位置に1個のLED122が配置されている。これら合計5個のLED121,122の配置位置は、既知である。
ここで、LED基板120の表面に配置された4個のLED121のうちの3個は、その3個のLED121それぞれを頂点とする三角形の参照面(すなわち、ここではLED基板120の表面と重なる三角形の面)の位置および姿勢を決めるためのLEDであり、LED基板120の表面に配置されたもう1個のLED121は、その配置位置がLED基板120ごとに異なっている。この1個のLED12は、そのLED基板120を他のLED基板120と区別してそのLED基板120を特定するためのID(Identification)としての機能を有するLEDである。ただし、それら4個のLED121の全てをLED基板120の位置および姿勢の認識に利用することで、認識精度をさらに高めてもよい。
さらにもう1個のLED122は、上記参照面(ここではLED基板120の表面と重なっている)から垂直方向に離れた位置に置かれている。
図3では、カメラ30は、このLED基板120の表面(3個のLED121により形成される三角形の参照面)へのLED122を通る垂線Pと撮影レンズの光軸とが不一致の位置から、その参照面を向いた姿勢に置かれている。このように、カメラ30を垂線Pと光軸とが不一致の位置に置いて、その位置に置いたカメラ30からLED121,122を撮影すると、その撮影方向に応じてLED基板120の表面のLED121とその表面から少し立ち上がった位置にある1個のLED122の、撮影画面上での位置のずれ方が異なる。
このようにして、前述した従来の計測法の2例のうちのいずれか又は双方を採用し、さらにその計測法に加え、LED121とLED122の、撮影画面上での位置のずれ方の違いを利用することで、参照面の位置および姿勢、すなわち図3の例ではLED基板12の位置および姿勢を、従来の計測法による計測よりも高精度に特定することができる。
図4〜図7は、本発明の第1実施形態としての部品把持方法の各過程を示す図である。
図1、図2に示す比較例と同一の要素には同一の符号を付して示し説明は省略する。相違点は、この第1実施形態では、整列トレイ11上に図3に示すLED基板120が置かれている点である。また、制御部40によるロボット20およびカメラ30の制御内容および位置・姿勢認識部50による位置・姿勢の認識のための演算も、図1、図2の比較例とは異なり、制御部40および位置・姿勢認識部50では、以下に説明する制御や位置・姿勢認識が行なわれる。
この第1実施形態としての部品把持方法の場合、先ず図4に示すように、積み重ねられた整列トレイ11のうちの最上段に置かれた整列トレイ11上のLED基板120が、ロボット20が初期位置にあるときに、カメラ30により撮影される。
ロボット20が初期位置にあるとき、カメラ30は、LED基板120の直上にある。ただし、積み重ねられた整列トレイ11は、作業者により台の上にラフに置かれたものであり、カメラ30は整列トレイ11が標準の位置に置かれた場合の真上にあるのであって、整列トレイ11が実際に置かれた位置によっては、LED基板120はカメラ30の直下から外れる場合もある。ただし、LED基板120は、ロボット20が初期位置にあるときのカメラ30の撮影画角内には十分に入っているものとする。
ここでは先ず、図4に示すように、ロボット20が初期位置にあるときのカメラ30により第一段階目の位置・姿勢計測が行なわれる。
ここで採用されているLED基板120は、図3に示すように、1個のLED122が他のLED121よりも少し立ち上がった位置にあるが、第一段階目の計測の場合、カメラ30はLED基板120のほぼ直上にあり、かつ距離の分解能が低いため、1個のLED122が少し立ち上がった位置にあってもLED基板120の位置や姿勢を特定するための精度向上にはあまり寄与せず、したがってこの第一段階目の計測では、低い精度での位置・姿勢の特定となる。
次に、この第一段階目での計測により得られたLED基板120の位置・姿勢を元に、原理上最も高精度な計測が可能な位置にロボット20を移動させる(図3参照)。この高精度計測が可能な位置は、カメラ30の撮影光軸とLED基板120への図3に示す少し立ち上がったLED122を通る垂線とが不一致の位置であり、図3に示す少し立ち上がったLED122の、カメラ30による撮影画面上での撮影位置のずれ方が大きい位置である。
また、この第1実施形態ではカメラ30の位置を移動させるだけでなく、LED基板120がカメラ30の撮影光軸上に置かれるようにカメラ30の姿勢も変更している。
カメラ30を高精度な計測が可能な位置に移動させた後、第二段階目の撮影が行なわれる(図6参照)。
この第二段階目の計測では、従来の計測法に加え、図3に示すLED122が他のLED121により形成される平面(LED基板120の表面)から立ち上がった位置に置かれていることに起因して撮影画面上の位置がずれていることに基づく計測を行なうことにより、LED基板120の位置および姿勢が高精度に求められる。
この第二段階目の計測によりLED基板120の位置および姿勢が高精度に特定されることになり、そのLED基板120があらかじめ定められた位置に置かれている整列トレイ11の位置および姿勢も高精度に特定され、その整列トレイ11上のあらかじめ定められた各位置に置かれた複数の部品13それぞれの位置および姿勢も高精度に特定される。
次に、図7に示すようにロボットハンド22が整列トレイ11から取り出そうとしている部品13に正対する位置および姿勢に置かれて、その部品13がロボットハンド22により把持されて整列トレイ11から取り出される。取り出そうとする部品13の位置および姿勢は高精度に特定されているため、ロボットハンド22による部品13の把持およびその把持した部品13の整列トレイ11からの取出しの失敗を大きく減らすことができる。
最上段の整列トレイ11内の部品13が全て取り出されて最上段の整列トレイ11が空になると、その最上段の整列トレイ11自体が最上段から取り外され、新たに最上段になった整列トレイ11について同様の作業が行なわれる。
最上段の空の整列トレイ11の取り外しは、人手によって行なってよく、あるいはロボット20により取り外す構成としてもよい。
ここで、図4〜図7に示す第1実施形態の場合、図5、図6に示すように、第二段階目の撮影の際、カメラ30は、LED基板120の方向を向くように斜めの姿勢に移動させているが、カメラ30は、垂線Pと同一方向を向けたままとし、カメラ30の撮影画面上の中心から外れた位置にLED基板120上のLED121,122が写し込まれるようにしてもよい。その場合、カメラ30の撮影レンズの、LED121,122が撮影画面上の中央から外れることにより生じる収差も考慮に入れることが好ましい。
また、この第1実施形態では、LED基板120の位置および姿勢を特定するにあたり、第一段階目の撮影と第二段階目の撮影とに分けて最終的に高精度な計測を行なっているが、整列トレイ11の置き場所や置いたときの姿勢が大きくはばらつかないことが予想できるときは、第一段階目の撮影を省略し、LED基板120が標準的な位置および姿勢にあるものとして、いきなり第二段階目の撮影を行なって、LED121,122の方向および距離を測定してもよい。
また、この第1実施形態では、カメラ30とロボット20は一体的にのみ、位置および姿勢の変更が可能であり、この場合、移動機構は1つで済むが、ロボット20とカメラ30を別々に移動可能としてもよい。こうすると、ロボット20用とカメラ30用のそれぞれの移動機構が必要となるが、ロボット20に撮影のための無駄な動作を行なわさせる必要がなく、またカメラ30に部品13の取り出しのための無駄な動作を行なわさせる必要がなく、無駄な動きが減ることによる移動機構の寿命の延長が期待できる。
また、この第1実施形態ではLED121,122を点灯させるための電力供給方法については言及していないが、LED基板120上に電池が搭載され、その電池からLED121,122に電力を供給してもよい。あるいはLED基板120上にコイル又はアンテナを搭載し、外部から電磁誘導あるいは電波により電力を供給し、その供給を受けた電力でLED121,122を点灯させてもよい。この場合、LED基板120上に消耗品である電池を搭載する必要がなく、保守性の向上につながる。
さらに、この第1実施形態におけるLED121,122に代えて、再帰反射体(再帰反射体)を用いてもよい。再帰反射体は、その再帰反射体への入射光をその入射方向に反射させる性質を有する。LED基板120上のLED121,122の代わりに再帰反射体を置き、カメラ30側から照明してその反射光をカメラ30で撮影することによりLED121,122を置いたときと同等の計測が可能であり、かつ再帰反射体自体には電力は不要であるため、この場合も保守性の向上が図られる。
再帰反射体の場合、整列トレイ11側に電力を供給したり電力発生源を置かずに済むため、防爆環境にも適性がある。
次に、本発明の第2実施形態の部品把持方法について説明する。尚、この第2実施形態以降の各実施形態では、図示の煩雑さを避けるため、図4〜図7に示した制御部40および位置・姿勢認識部50に対応する要素の図示は省略する。
図8は、本発明の第2実施形態の部品把持方法で採用される整列トレイ積載板および整列トレイ等の平面図である。
この第2実施形態では、整列トレイ62は、整列トレイ積載板61上に置かれている、整列トレイ積載板61には、整列トレイ62の4隅に対応する各位置に整列トレイ固定部611を備えており、整列トレイ62は、それらの整列トレイ固定部611により確実に位置決めされた状態で整列トレイ積載板61に積載される。この整列トレイ62上のそれぞれあらかじめ定められた各位置に取出し対象の部品である部品13が載せられている。また、整列トレイ積載板61には、あらかじめ定められた位置にLED基板120が固定されている。このLED基板120は、図3に示す形状のものであり、LED基板120の表面に4個のLED121、その表面から少し立ち上がった箇所に1個のLED122を備えている。ここで、前述と同様な計測によりLED基板120の位置および姿勢が認識されると、この整列トレイ積載板61に積載されている整列トレイ62の位置および姿勢が一義的に定められ、その整列トレイ62に載せられている複数の部品13それぞれの位置および姿勢も一義的に定められる。
図9は、整列トレイ62に載せた整列トレイ積載板の搬送機構を示す、側面図(A)および平面図(B)である。
ここでは、部品13が載せられた整列トレイ62が整列トレイ積載板61に積載された状態で搬送台64上に置かれ、矢印A方向に搬送され、A方向先頭にある整列トレイ62が昇降機構65に載せられ、突当部66に当接して停止する。
図10は、昇降機構65に載って停止した状態の整列トレイ積載板61および整列トレイ62を示す図である。
図10に示す破線は、整列トレイ積載板61の正規の位置および姿勢を示している。
整列トレイ積載板61は、搬送台64上に適当な姿勢に置かれることも多く、また、昇降機構65の突当部66に突き当たる際に傾いたりして、図10に示すように位置ずれや傾きをもって停止する場合がある。
ここでは、整列トレイ積載板61が昇降機構65上に、図10に示すように位置ずれや傾きをもって停止した場合であっても、カメラ30によるLED基板120に配置されたLED121,122(図3参照)の撮影およびその撮影画像に基づくLED基板120の位置および姿勢の認識により、整列トレイ積載板61の位置および姿勢が正確に認識され、整列トレイ62の位置および姿勢およびその整列トレイ62に載せられている各部品13の位置および姿勢も正確に定められる。各部品13の位置および姿勢が正確に定められた後、ロボットハンド22が、位置および姿勢が正確に定められた部品13に正対し、その部品13を確実に把持し、その整列トレイ62から部品13が確実に取り出される。搬送台64から昇降機構65に移動した整列トレイ積載板61に載置させられている整列トレイ62上の部品13が全て取り出されると、昇降機構65が矢印B方向に下降し、さらに空の整列トレイ62を積載した整列トレイ積載板61が昇降機構65から搬送台64に渡され、搬送台64により矢印C方向に搬送される。
昇降機構65は、再び上昇し、搬送台64によって矢印A方向に搬送させてきた次の整列トレイ積載板61を受け入れる。
以上を繰り返すことにより、複数の整列トレイ積載板61に積載された複数の整列トレイ62上の部品13が次々と取り出される。
図11〜図14は、整列トレイ62上の部品13の把持および取出方法の各過程を示す図である。
図11〜図14に示す各過程は、図4〜図7に示す第1実施形態における、図4〜図7に示す各過程にそれぞれ対応している。すなわち、この第2実施形態では、整列トレイ62の形状が異なり、また整列トレイ62が整列トレイ積載板61に積載されていること、およびLED基板120が整列トレイ積載板61に固定されていることを除き、LED基板120の位置および姿勢の求め方や部品13の把持や取出し方法等は図4〜図7に示す第1実施形態と同一である。したがってここでは詳細説明は省略する。
図15〜図18は、本発明の第3実施形態の部品把持方法の各過程を示す図である。これらの図15〜図18は、第1実施形態における図4〜図7にそれぞれ対応する図である。
ここでは、ロボットハンド22により部品70が把持される。
この部品70には、その表面の形態により再帰反射体71が形成されている。この再帰反射体71は、その再帰反射体71がどの方向から入射光を受けても、その入射光の入射方向と同一方向に反射光を返す性質を有する。再帰反射体71は、1つずつが図3に示すLED基板120上のLED121,122に対応するものであり、部品70の表面の、あらかじめ定められた互いに離れた各位置に、合計4個以上形成されている。その4個以上の再帰反射体71のうちの3個により、それら3個の再帰反射体71のそれぞれを頂点とする三角形の参照面が定まる。もう1個の再帰反射体71は、その参照面からは、その参照面への垂線の方向に少しずれた位置に置かれている。
また、この第3実施形態では、カメラ30が、その前面の撮影レンズ31の周りを取り巻く環状光源32を備えている。この環状光源32は、部品70に形成された再帰反射体71を照明するためのものである。各再帰反射体71は環状光源32からの照明光を受けるとその光をカメラ30に向けて反射する。カメラ30はその反射光を捉えた撮影を行ない、その撮影画像に基づいて部品70の位置および姿勢が認識される。
図15〜図18に示す第3実施形態の、図4〜図7に示す第1実施形態からの相違点は以上の点である。すなわち、図4〜図7に示す第1実施形態ではLED基板120上のLED121,122からLED基板120の位置および姿勢が求められ、それに基づいて部品13の位置および姿勢が求められ、その部品13がロボットハンド22により把持されて整列トレイ11から取り出されたが、この図15〜図18に示す第3実施形態の場合、LEDに代わる再帰反射体71からの反射光を捉えて部品70自身の位置および姿勢が求められ、ロボットハンド22によりその部品70が把持されて持ち上げられる。これらの点を除き、部品70の位置および姿勢の求め方や部品70の把持方法等は図4〜図7に示す第1実施形態と共通であり、共通点についての説明は省略する。
図19は、本発明の第4実施形態としての部品配置方法および部品組立方法の説明図である。これまで説明してきた第1〜第3実施形態から自明の点については図示および説明を省略する。
ここでは、組立パレット71上の、それぞれあらかじめ定められた各位置にLED基板120と第1の部品72が置かれている。LED基板120は、図3を参照して説明した形状のものである。この組立パレット71は、LED基板120と第1の部品72を載せた状態で搬送台79により矢印D方向に搬送され、概ねこの図19に示す位置で、例えば図示できない突当部に突き当たるなどして停止する。
カメラ30は、停止した組立パレット71上のLED基板120を斜めに撮影する位置および姿勢に固定されている。すなわち、この第4実施形態では、例えば図4〜図7に示す第1実施形態のような2段階にわたる計測は行われず、その第1実施形態の第二段階目に相当する計測のみが行なわれる。こうすることにより、第1実施形態のように2段階の計測を行なう場合と比べ計測時間が短縮される。組立パレット71の停止位置や停止姿勢が大きくは変動しない場合、この図19に示す第4実施形態のようにLED基板120の垂線から傾いた位置から1回だけ撮影、計測を行なってLED基板120の位置および姿勢を求めてもよい。LED基板120の位置および姿勢が求められると、それに基づいて、同じ組立パレット71のあらかじめ定められた位置に載せられている第1の部品72の位置および姿勢も求められる。
一方、ロボットハンド22には第2の部品73が把持されている。この第2の部品73は組立パレット71上の第1の部品72に組み付けられる部品である。ロボット20は、カメラ30での撮影画像に基づいて求めた第1の部品72の位置および姿勢の情報に基づいてその位置および姿勢を変え、第2の部品73を組立パレット71上の第1の部品72に正対させ、その第2の部品73を第1の部品72に組み付ける。
この第4実施形態は、第2の部品73を第1の部品72に組み付けるという観点では、本発明の部品組立方法の一実施形態に相当し、第2の部品73を組立パレット71上に置くという観点からすると本発明の部品配置方法の一実施形態にも相当する。
また、この第4実施形態では、カメラ30は固定されているものとして説明したが、カメラ30の位置や姿勢を変えるための移動機構を設けて、カメラ30をロボット20とは独立に移動させ、図4〜図7に示す第1実施形態のような2段階の計測を行なってもよい。
図20は、本発明の第5実施形態としての部品配置方法および部品組立方法の説明図である。ここでは図19に示す第4実施形態との相違点について説明する。
この図20に示す第5実施形態の場合は、LED基板120が組立パレット71上のあらかじめ定められた位置に斜めに固定されており、カメラ30はその斜めに固定されたLED基板120直上から撮影する位置に固定されている。
こうすると、LED基板120をその垂線に対し斜めの方向から撮影してLED基板120の位置および姿勢を高精度に求めるという作用はそのまま維持した上で、カメラ30を直上に固定することができることから設備配置空間の削減が図られる。
図21は、本発明の第6実施形態としての部品配置方法および部品組立方法の説明図である。図19に示す第4実施形態との相違点について説明する。
図19に示す第4実施形態の場合、カメラ30は移動不能に固定されているが、この図21に示す第6実施形態の場合、カメラ30は図4〜図7に示す第1実施形態の場合と同様、ロボットハンド22に固定されていて、ロボットハンド22の移動とともに移動する。
2段階の計測を行なわずにLED基板120を斜めからのみ撮影することで位置および姿勢を求める場合であっても、この図21に示すように、カメラ30をロボット20に固定してもよい。カメラ30をロボット20に固定すると、組付け時にロボット20とカメラ30との干渉を確実に避けることができ、組み付けのためのロボット20の移動の自由度が向上する。
次に、本発明の位置・姿勢認識方法、部品把持方法、部品配置方法および部品組立方法の全てを総合した実施形態である第7実施形態について説明する。ここでは先ず、その前提となる画像形成装置についてその概要を説明する。
図22は、画像形成装置の主要部の概略構成図である。
図22に示すように、この画像形成装置100には、4つの画像形成部110Y,110M,110C,110Kが備えられており、各画像形成部には、それぞれ、矢印A方向に回転する感光体111Y,111M,111C,111K、帯電器113Y,113M,113C,113K、露光器114Y,114M,114C,114K、現像ロール112Y,112M,112C,112K、一次転写ロール120Y,120M,120C,120K、および清掃部材115Y,115M,115C,115Kが備えられている。
尚、この画像形成装置100では、フルカラーの印刷が可能となっており、上記の各構成要素の末尾に付された符号Y、M、CおよびKは、それぞれイエロー、マゼンタ、シアン、および黒の画像形成用の構成要素であることを示している。
また、この画像形成装置100には、矢印B方向に循環する中間転写ベルト130、二次転写ロール140、テンションローラ131、および、各画像形成部110Y,110M,110C,110Kに画像情報を送信する画像情報処理部150も備えられている。
この画像情報処理部150は、外部から入力されてきた画像情報を各色毎の画像情報に分解して露光器114Y,114M,114C,114Kに送信する。
この画像形成装置100の基本的な画像形成動作について説明する。
この画像形成装置100では、先ず、イエローの画像形成部110Yによるトナー像形成が開始され、矢印A方向に回転する感光体111Yの表面に、帯電器113Yにより所定の電荷が付与される。次に、画像情報処理部150から送信されてくる画像情報に応じて、露光器114Yにより生成されたイエロー画像に相当する露光光が感光体111Yの表面に照射され、静電潜像が形成される。その静電潜像は現像ロール112Yによりイエローのトナーで現像されて感光体111Y上にイエローのトナー像が形成される。そのトナー像は一次転写ロール120Yの作用により中間転写ベルト130に転写される。
ここで、この画像形成装置100では、トナーと、トナーの帯電特性を確保するための外添剤によって被覆された磁性キャリアを含む現像剤が用いられ、画像情報に応じて感光体上に形成された静電潜像が現像剤のうちのトナーで現像される。また、この画像形成装置100では、上記のような現像剤が充填された現像剤カートリッジが装置内に装填された後はトナーの充填のみが行なわれ、トナーと磁性キャリアとが混ざりあうことで、トナーはマイナスに帯電され、磁性キャリアの外添剤はプラスに帯電される。
中間転写ベルト130は、その中間転写ベルト130上に転写されたイエローのトナー像が次の色の画像形成部110Mの一次転写ロール120Mに到達するタイミングに合わせて、次の色のマゼンタのトナー像が一次転写ロール120Mに到達するように、マゼンタの画像形成部110Mによるトナー像形成が行なわれる。こうして形成されたマゼンタのトナー像は、一次転写ロール120Mの作用により、中間転写ベルト130上のイエローのトナー像の上に重ねて転写される。
続いて、シアンおよび黒の画像形成部110C,110Kによるトナー像形成が上記と同様のタイミングで行なわれ、各一次転写ロール120C,120の作用により中間転写ベルト130のイエローおよびマゼンタのトナー像の上に順次重ねて転写される。
こうして、中間転写ベルト130上に転写された多色トナー像は、二次転写ロール140によって最終的に用紙150に二次転写され、多色トナー像は用紙150とともに矢印C方向に搬送され、図示しない定着器により定着されることにより用紙150上にカラー画像が形成される。
中間転写ベルト130への転写後に各感光体111Y,111M,111C,111K上に残有するトナーは清掃部材115Y,115M,115C,115Kで感光体111Y,111M,111C,111K上から掻き落とされて排トナーとなる。この掻き落とされた排トナーは図示しない機構により、図22の紙面に垂直な方向に搬送され、図示しない排トナー受けタンク等に排出される。
ここで、例えばイエローの画像形成部110Yを例に挙げると、感光体111Yと、帯電器113Yと、清掃部材115Yは1つの感光体組立体として組み立てられて、この画像形成装置100に配備される。他の画像形成部についても同様である。
以下では、この感光体組立体の組立てを例にした本発明の第7実施形態について説明する。
図23は、感光体組立体の組立てに用いられるロボットの斜視図である。
ここには、ロボット200を構成するロボットアーム201とロボットハンド202が示されている。ロボットハンド202には、真空吸着により部品を吸着(本発明にいう把持の一例)して部品を持ち上げる吸着パッド203が備えられている。また、このロボットハンド202には、大きな球面収差を持つ撮影レンズを備えた計測用のカメラ290も固定されている。ロボットハンド202は、位置および姿勢が自在に変更される。
図24は、組立パレットとその組立パレットに支持された樹脂部品である枠体を示した斜視図である。この枠体410は感光体組立体の枠体であって感光体組立体を構成する部品の1つである。
組立パレット300には、4つの保持片301が固定されており、その保持片301により、組立パレット300上にLED基板310が固定されている。このLED基板310上には、計測用の3個のLED311と、このLED基板310を他のLED基板と区別して特定するためのIDとして使用されるLED312と、LED基板310よりも少し立ち上がった位置に固定された1個のLED313とを有する。LED基板310の位置および姿勢計測用としては、3個のLED311と1個のLED313が用いられる。1個のLED312は、その配置位置がLED基板310ごとに異なり、この配置位置を特定することによりこのLED基板310を他のLED基板から区別することができる。LED基板310上のLED311,313を用いてLED基板310の位置および姿勢を求める方法は、これまでに説明した実施形態と同様であり、ここでの詳細説明は省略する。
この組立パレット300には、枠体410を保持するための2つの保持片302と、組立パレット300上での枠体410の位置決めのための2つの位置決めピン303が図示されている。枠体410には2つの位置決め穴411が設けられており、この枠体410は、保持片302に載せられ位置決めピン303が位置決め穴411に入り込むことにより、組立パレット300のあらかじめ定められた定位置に置かれている。
このように、この組立パレット300上には、それぞれ定まった位置にLED基板310と枠体410が配置されており、LED基板300の位置および姿勢を求めることにより、枠体410の位置および姿勢も一義的に求められる。
図25は、整列トレイとその整列トレイ上に並べられた清掃部材を示す斜視図である。
この図25に示す整列トレイ330には、10本の清掃部材420が整列している。この清掃部材420は、その1本ずつが、図22に示す清掃部材115Y,115M,115C,115Kの1本に相当するものである。図25に示す清掃部材420は、感光体に直接に接するゴム部品421と、そのゴム部品421を支持する板金部品422との複合部品である。
整列トレイ330には、清掃部材420が1本ずつ収容される10本の収容溝331を有し、清掃部材420は、各収容溝331に1本ずつ収容され、これにより、各清掃部材420の整列トレイ330上での位置および姿勢が、あらかじめそれぞれ定められた位置および姿勢に保たれている。
また、この整列トレイ330には、LED基板340が嵌り込む窪み332が設けられており、その窪み332にはLED基板340が嵌り込んでいる。LED基板340は、窪み332に嵌り込むことにより、整列トレイ330上の位置および姿勢があらかじめ定められた位置および姿勢に固定されている。
このLED基板340には、図24に示すLED基板310と同じ位置に、3個のLED341と1個のLED343を備えている。もう1個のLED342は、図24に示すLED基板310上のLED312とはその配置位置が異なっている。これは配置位置をLED基板ごとに変えることにより、LED基板を特定するIDとしての役割りを担わせるためである。
図25のLED基板340についても、カメラ290による計測によりそのLED基板310の位置および姿勢が認識され、これに基づいて整列トレイ330に並んだ清掃部材420一本一本の位置および姿勢が求められる。この整列トレイ330に並んだ清掃部材420のうちの一本が図23に示すロボット200により取り出されて、図24に示す枠体410に組み付けられる。
以下では、清掃部材420の、枠体410への組付け順序について説明する。
図26は、清掃部材420の取出し前の、整列トレイ330にロボット200が近づいてきた状態を示す斜視図である。
この後、カメラ290でLED基板340の位置および姿勢が計測され、それに基づいて清掃部材420の位置および姿勢が把握され、ロボットハンド220の吸着パッド221が、取り出そうとする清掃部材420に正対する位置および姿勢に制御される。
図27は、整列トレイ330上の清掃部材420のうちの一本がロボット200により取り出された状態を示す斜視図である。
ロボット200は、吸着パッド203を、整列トレイ330上の清掃部材420のうちの今回取り出そうとしている清掃部材に正対させた後、吸着パッド203がその清掃部材420に押し当てられ、真空吸着によりその清掃部材420を吸着パッド203に吸着させ、そのままその清掃部材420が上に持ち上げられることにより、清掃部材420が整列トレイ330から取り出される。
図28に、清掃部材を吸着した状態のロボットが組立パレットに近づいてきた様子を示す斜視図である。
組立パレット330に近づいてきたロボッ200は、そのロボット200に取り付けられたカメラ290によってLED基板310の位置および姿勢が計測され、それに基づいて枠体410の位置および姿勢が把握され、ロボットハンド202の吸着パッド203に吸着された清掃部材420が組立パレット300に固定された枠体410に対し正対した位置および姿勢となるようにロボット200が移動する。
図29は、枠体410に清掃部材420が組み付けられた状態を示す斜視図である。
上記のようにして清掃部材420を枠体410に正対させた後、図29に示すように枠体410上に清掃部材420が組み付けられる。その後、吸着パッド203による吸着が解除され、ロボット200が上昇して吸着パッド203が清掃部材420から離れる。
枠体410に清掃部材420を組み付けた後は、その清掃部材420の組付けと同様にして、後述する各種の部材が順次組み付けられる。
図30、図31は、組立て終了後の感光体組立体を互いに別の視点から見たときの各斜視図である。
ここには、感光体組立体400の構成部品として、枠体部材410、感光体430、感光体保持体440、支持板450、後カバー460、前カバー470および帯電器480が示されている。感光体430は、図22に示す感光体111Y,111M,111C,111Kのうちの1つに相当し、帯電器480は、図22に示す帯電器113Y,113M,113C,113Kの1つに相当する。
尚、枠体410に最初に組み付けられた清掃部材420(例えば図27参照)は、感光体430に覆われていて図30、図31には示されていない。
感光体保持体440、支持板450は、感光体430のそれぞれ後端、前端の支持する部材であり、後カバー460、前カバー470は、この感光体組立体400の、それぞれ後方、前方を覆うカバーである。ただし、後カバー450には感光体430に回転駆動力を伝えるための開口461が形成されている。また前カバー470には、感光体430の累計の回転回数を記録しておくメモリを搭載した基板471が固定されている。
次に、感光体組立体400を構成する各部品の組立て手順を説明する。
図32は、枠体410を示す図である。
上述の説明では不要であったため省略したが、以下に説明する各図には、以下に説明するように、組付けの各段階を判別するための目印が付されている。これらの目印は、例えばLEDや再帰反射体等、カメラ290(図23参照)で明瞭に撮影されるものであることが望ましい。
この図32に示す枠体410には、支持板判別目印501、清掃部材判別目印502、感光体判別目印503および帯電器判別目印504が形成されている。
図33は枠体410に清掃部材420が組み付けられた状態を示す図である。
ここでは、枠体410に清掃部材420が組み付けられたことにより、その清掃部材420で清掃部材判別目印502(図32参照)が覆われ、カメラ290により、あるいは作業者の目により容易に、枠体410に清掃部材420が組み付けられた状態にあることが認識される。
図34は、さらに感光体430を組み付けた状態を示す図である。
感光体430の組み付けにより、それまで見えていた感光体判別目印503(図33参照)が覆われる。これにより、カメラ290あるいは作業者の目により容易に、感光体430が組み付けられた状態にあることが認識される。
図35は、さらに感光体保持体440が組み付けられた状態を示す図、図36はその状態の部分拡大斜視図である。
感光体保持体440には、新たな目印である感光体保持体判別目印505が形成されており、カメラ290又は作業者の目で、支持板判別目印501および帯電器判別目印504のほかに、新たに感光体保持体判別目印505が加わったことを認識することにより、感光体保持体440が組み付けられた状態にあることが認識される。
図37は、さらに支持板450が組み付けられた状態を示す図、図38は、支持板組付け直前の状態を示す部分拡大斜視図である。
支持板450は、図38に示すように、感光体430の前端から矢印E方向に差し込むようにして組み付けられる。この支持板450の組付け前は支持板判別目印501が見えているが、支持板450の組付けによりその支持板判別目印501が覆われる。カメラ290又は作業者によりこの支持板判別目印501が覆われたことが認識され、これにより支持板450が組み付けられた状態にあることが認識される。
図39は、さらに後カバー460が組み付けられた状態を示す図、図40は、その状態の部分拡大斜視図である。
後カバー460には新たな目印である後カバー判別目印506が形成されており、この後カバー判別目印506が追加されたことがカメラ290又は作業者の目で認識され、これにより後カバー460が組み付けられた状態にあることが容易に認識される。
図41は、さらに前カバー470が組み付けられた状態を示す図、図42は、前カバー470の組付け直前の状態を示す部分拡大斜視図である。
前カバー470は図42に示すように支持板450に前方から矢印F方向に押し当てるようにして支持板450に組み付けられる。
この前カバー470には新たな目印である前カバー判別目印507が形成されており、この前カバー判別目印507が新たに追加されたことで、カメラ290により、又は作業者の目により容易に、前カバー470が組み付けられた状態にあることが認識される。
図43は、さらに帯電器480が組み付けられた状態を示す図である。
帯電器480が組み付けられるとその帯電器480で帯電器判別目印504が覆われる。これによりカメラ290により、るあいは作業者により一目で、帯電器480が組み付けられた状態にあることが認識される。
以上のように、感光体組立体を構成する各部品の組付けの各段階に応じて、目印があらわれるパターンが変化するように目印を形成しておくことで、カメラにより、あるいは作業者により一目で容易に、組付け段階を認識することができる。
11,62 整列トレイ
12,120,310 LED基板
12a,121,122,312,313,341,342,343 LED
13 部品
20 ロボット
22 ロボットハンド
30 カメラ
40 制御部
50 位置・姿勢認識部
61 整列トレイ積載板
64 搬送台
65 昇降機構
70 部品
71 再帰反射体
72 第1の部品
73 第2の部品
100 画像形成装置
110Y,110M,110C,110K 画像形成部
111Y,111M,111C,111K 感光体
112Y,112M,112C,112K 現像ロール
113Y,113M,113C,113K 帯電器
114Y,114M,114C,114K 露光器
115Y,115M,115C,115K 清掃部材
120 一次転写ロール
130 中間転写ベルト
131 テンションローラ
140 二次転写ロール
150 画像情報処理部
200 ロボット
201 ロボットアーム
202 ロボットハンド
203 吸着パット
290 カメラ
300 組立パレット
400 感光体組立体
410 枠体
420 清掃部材
430 感光体
440 感光体保持体
450 支持板
460 後カバー
470 前カバー
480 帯電器
501 支持板判別目印
502 清掃部材判別目印
503 感光体判別目印
504 帯電器判別目印
505 感光体保持体判別目印
506 後カバー判別目印
507 前カバー判別目印

Claims (10)

  1. 一つの平面上に置かれないように三次元的に分散配置された複数の光点からなる光点群が配置された被計測体上の該光点群をカメラで撮影する第1の撮影過程と、
    前記第1の撮影過程での撮影で得られた第1の撮影画像上の、前記光点群を構成する各光点を表わす光像に基づいて、前記被計測体の位置および姿勢を認識する第1の認識過程とを有し、
    前記被計測体が、互いに離れた位置に置かれた3つの第1の光点と該3つの第1の光点それぞれを頂点とする三角形の参照面から垂直方向に離れた位置に置かれた1つの第2の光点とを含む光点群が配置された被計測体であり、
    前記第1の撮影過程が、前記第2の光点を通る前記参照面への垂線と撮影光軸とが不一致の第1の位置であって、かつ該垂線と平行な方向を向く姿勢にカメラを置いて、該カメラで該被計測体上の前記光点群を撮影する過程であることを特徴とする位置・姿勢認識方法。
  2. 前記第1の撮影過程における撮影に先立って実行される、
    前記カメラを第2の位置に置いて該カメラにより前記光点群を撮影する第2の撮影過程と、
    前記第2の撮影過程で得られた第2の撮影画像上の、前記光点群を構成する各光点を表わす光像に基づいて、前記被計測体の位置および姿勢を認識する第2の認識過程とを有し、
    前記第1の撮影過程が、前記カメラを、前記第2の光点を通る前記参照面への垂線と撮影光軸とが不一致の位置であって、かつ前記被計測体の位置および姿勢についての前記第2の認識過程での認識よりも高精度な認識のための撮影が可能な前記第1の位置に移動させて、該カメラで前記光点群を撮影する過程であることを特徴とする請求項項記載の位置・姿勢認識方法。
  3. 請求項1又は2のいずれか1項記載の位置・姿勢認識方法により前記被計測体の位置および姿勢を認識する位置・姿勢認識過程と、
    前記被計測体自体からなる部品又は該被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた部品を把持するロボットを、前記位置・姿勢認識過程で認識した該被計測体の位置および姿勢に基づいて該部品に正対させて、該ロボットに該部品を把持させる部品把持過程とを有することを特徴とする部品把持方法。
  4. 請求項1又は2のいずれか1項記載の位置・姿勢認識方法により前記被計測体の位置および姿勢を認識する位置・姿勢認識過程と、
    部品を把持し把持した部品を前記被計測体に対し相対的にあらかじめ定められた位置および姿勢に配置するためのロボットに該部品を把持させ、前記位置・姿勢認識過程で認識した該被計測体の位置および姿勢に基づいて該部品を該あらかじめ定められた位置および姿勢に正対させて、該部品を該あらかじめ定められた位置および姿勢に配置させる部品配置過程とを有することを特徴とする部品配置方法。
  5. 請求項1又は2のいずれか1項記載の位置・姿勢認識方法により前記被計測体の位置および姿勢を認識する位置・姿勢認識過程と、
    第1の部品に組み立てられる第2の部品をロボットに把持させ、前記位置・姿勢認識過程で認識した前記被計測体の位置および姿勢に基づいて、該第2の部品を、該被計測体自体からなる第1の部品又は該被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた前記第1の部品に正対させて、該第2の部品を前記第1の部品に組み立てさせる部品組立過程とを有することを特徴とする部品組立方法。
  6. カメラと、
    一つの平面上に置かれないように三次元的に分散配置された複数の光点からなる光点群が配置された被計測体上の該光点群を前記カメラに撮影させる第1の撮影過程を実行するカメラ制御部と、
    前記第1の撮影過程での撮影で得られた第1の撮影画像上の、前記光点群を構成する各光点を表わす光像に基づいて、前記被計測体の位置および姿勢を認識する第1の認識過程を実行する位置・姿勢認識部とを備え
    前記被計測体が、互いに離れた位置に置かれた3つの第1の光点と該3つの第1の光点それぞれを頂点とする三角形の参照面から垂直方向に離れた位置に置かれた1つの第2の光点とを含む光点群が配置された被計測体であり、
    前記カメラが、前記第2の光点を通る前記参照面への垂線と撮影光軸とが不一致の第1の位置であって、かつ前記垂線と平行な方向を向く姿勢に置かれたカメラであることを特徴とする位置・姿勢認識装置。
  7. 前記カメラは、位置および姿勢の変更が自在なカメラであって、
    前記カメラ制御部が、前記第1の撮影過程における撮影に先立って前記カメラを第2の位置に置いて該第2の位置にあるカメラにより前記光点群を撮影させる第2の撮影過程を実行するものであり、
    前記位置・姿勢認識部が、前記第2の撮影過程で得られた第2の撮影画像上の、前記光点群を構成する各光点を表わす光像に基づいて、前記被計測体の位置および姿勢を認識する第2の認識過程を実行するものであって、
    前記カメラ制御部は、前記第1の撮影過程において、前記カメラを、前記第2の光点を通る前記参照面への垂線と撮影光軸とが不一致の位置であって、かつ前記被計測体の位置および姿勢についての前記第2の認識過程での認識よりも高精度な認識のための撮影が可能な前記第1の位置に移動させて、該カメラに前記光点群を撮影させるものであることを特徴とする請求項項記載の位置・姿勢認識装置。
  8. 請求項6又は7のいずれか1項記載の位置・姿勢認識装置と、
    前記被計測体自体からなる部品又は該被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた部品を把持するためのロボットと、
    前記ロボットを前記位置・姿勢認識過程で認識した該被計測体の位置および姿勢に基づいて該部品に正対させて該ロボットに該部品を把持させるロボット制御部とを備えたことを特徴とする部品把持装置。
  9. 請求項6又は7のいずれか1項記載の位置・姿勢認識装置と、
    部品を把持し把持した部品を前記被計測体に対し相対的にあらかじめ定められた位置および姿勢に配置するためのロボットと、
    前記ロボットに前記部品を把持させ、前記位置・姿勢認識装置で認識した前記被計測体の位置および姿勢に基づいて該部品を前記あらかじめ定められた位置および姿勢に正対させて、該部品を該あらかじめ定められた位置および姿勢に配置させるロボット制御部とを備えたことを特徴とする部品配置装置。
  10. 請求項6又は7のいずれか1項記載の位置・姿勢認識装置と、
    第1の部品に対し組み立てられる第2の部品を把持し把持した第2の部品を該第1の部品に組み立てるロボットと、
    前記ロボットに前記第2の部品を把持させ、前記位置・姿勢認識装置で認識した前記被計測体の位置および姿勢に基づいて、該第2の部品を、前記被計測体自体からなる第1の部品又は該被計測体に対し相対的にあらかじめ定められた位置および姿勢に置かれた前記第1の部品に正対させて、該第2の部品を該第1の部品に組み立てさせるロボット制御部とを備えたことを特徴とする部品組立装置。
JP2009074378A 2009-03-25 2009-03-25 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 Expired - Fee Related JP5509645B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009074378A JP5509645B2 (ja) 2009-03-25 2009-03-25 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置
US12/543,163 US8194929B2 (en) 2009-03-25 2009-08-18 Position/attitude recognizing method, part holding method, part arranging method, part assembling method, position/attitude recognizing apparatus, part holding apparatus, part arranging apparatus and part assembling apparatus
CN2009101705973A CN101846494B (zh) 2009-03-25 2009-09-18 位置/姿态识别以及零件保持、布置、装配的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009074378A JP5509645B2 (ja) 2009-03-25 2009-03-25 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置

Publications (2)

Publication Number Publication Date
JP2010223909A JP2010223909A (ja) 2010-10-07
JP5509645B2 true JP5509645B2 (ja) 2014-06-04

Family

ID=42771194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009074378A Expired - Fee Related JP5509645B2 (ja) 2009-03-25 2009-03-25 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置

Country Status (3)

Country Link
US (1) US8194929B2 (ja)
JP (1) JP5509645B2 (ja)
CN (1) CN101846494B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319831B2 (en) * 2009-03-25 2012-11-27 Fuji Xerox Co., Ltd. Component manipulating method, component extracting method, component assembling method, component manipulating apparatus, component extracting apparatus, and component assembling apparatus
CN102486373B (zh) * 2010-12-01 2014-05-14 原相科技股份有限公司 测距方法及测距系统
CN102073148B (zh) * 2011-01-14 2012-07-04 北京理工大学 一种微小型结构件高精度视觉同轴光学对位装配系统
JP5370398B2 (ja) * 2011-03-15 2013-12-18 オムロン株式会社 画像処理装置および画像処理プログラム
JP6294588B2 (ja) * 2013-01-28 2018-03-14 東北電力株式会社 三次元表示可能な地中レーダシステム
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
JP6639181B2 (ja) * 2015-10-13 2020-02-05 キヤノン株式会社 撮像装置、生産システム、撮像方法、プログラム及び記録媒体
US10699923B2 (en) * 2016-04-27 2020-06-30 Mit Semiconductor Pte Ltd Transfer system for flipping and multiple checking of electronic devices
CN106679563B (zh) * 2016-12-13 2019-05-07 广州视源电子科技股份有限公司 待测板卡的针盒位置的确定方法和装置
JP6680720B2 (ja) * 2017-04-10 2020-04-15 ファナック株式会社 ロボットの動作軌跡を自動で生成する装置、システム、および方法
JP6904327B2 (ja) * 2018-11-30 2021-07-14 オムロン株式会社 制御装置、制御方法、及び制御プログラム
JP7006714B2 (ja) * 2020-03-23 2022-01-24 カシオ計算機株式会社 位置測定システム、位置測定装置、位置測定方法及びプログラム
CN112461124B (zh) * 2020-10-26 2021-11-30 东风汽车集团有限公司 一种车身地板检测支架定位系统及方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0716900B2 (ja) * 1986-10-23 1995-03-01 株式会社日立製作所 ロボットへの動作自動教示方法
JPS63288683A (ja) * 1987-05-21 1988-11-25 株式会社東芝 組立てロボット
JPH03287394A (ja) * 1990-03-30 1991-12-18 Nec Corp 遠隔ハンドリング装置
JPH0487794A (ja) * 1990-07-27 1992-03-19 Nec Corp 遠隔ハンドリング装置
JPH04304980A (ja) * 1991-04-02 1992-10-28 Mitsubishi Electric Corp 遠隔操作支援方法
JPH06259536A (ja) * 1991-11-27 1994-09-16 Yoshihiko Nomura 撮像位置、姿勢の三次元補正方法およびロボットの三次元位置補正方法
US5521843A (en) * 1992-01-30 1996-05-28 Fujitsu Limited System for and method of recognizing and tracking target mark
JPH05301183A (ja) 1992-04-28 1993-11-16 Fujitsu Ltd ロボット制御装置及びロボット制御方法
JPH05312521A (ja) * 1992-05-13 1993-11-22 Nec Corp ターゲットマーク
JP3333001B2 (ja) * 1993-06-30 2002-10-07 松下電器産業株式会社 カメラ取付位置測定方法
JP3208953B2 (ja) * 1993-09-29 2001-09-17 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JPH07234105A (ja) * 1994-02-23 1995-09-05 Wacom Co Ltd 光点位置計測方法
JPH1163952A (ja) * 1997-08-21 1999-03-05 Nippon Steel Corp 三次元形状計測用ターゲットおよび視準面の傾き測定方法
JPH11156764A (ja) 1997-11-28 1999-06-15 Denso Corp 移動ロボット装置
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
JP3370049B2 (ja) * 1999-05-26 2003-01-27 三洋電機株式会社 形状測定装置
JP2000337833A (ja) * 1999-05-26 2000-12-08 Sanyo Electric Co Ltd 形状測定装置
JP3772063B2 (ja) * 2000-02-28 2006-05-10 オリンパス株式会社 位置検出装置、及び、位置検出システム
JP2001241927A (ja) * 2000-03-01 2001-09-07 Sanyo Electric Co Ltd 形状測定装置
JP3574044B2 (ja) * 2000-03-23 2004-10-06 三洋電機株式会社 形状測定装置
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
JP3902137B2 (ja) * 2001-05-16 2007-04-04 鈴鹿富士ゼロックス株式会社 Ledプリントヘッド
JP2003035515A (ja) * 2001-07-23 2003-02-07 Nippon Telegr & Teleph Corp <Ntt> 三次元位置検出方法,装置および三次元位置検出用のマーカ
DE50313389D1 (de) * 2002-11-15 2011-02-17 Leica Geosystems Ag Verfahren und Vorrichtung zur Kalibrierung eines Messsystems
JP2004212213A (ja) * 2002-12-27 2004-07-29 Yasuki Hatao 動作データ作成用コンピュータプログラムパッケージ、動作データ作成方法及び基準マーカーユニット
JP3975917B2 (ja) * 2003-01-08 2007-09-12 富士ゼロックス株式会社 位置計測システム
JP2004219265A (ja) * 2003-01-15 2004-08-05 Tamagawa Seiki Co Ltd 姿勢測定方法
JP2005055244A (ja) 2003-08-01 2005-03-03 Yokogawa Electric Corp テストトレイ
DE102004046584A1 (de) * 2003-09-26 2005-05-19 Micro-Epsilon Messtechnik Gmbh & Co Kg Verfahren und Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts
JP2005138223A (ja) * 2003-11-06 2005-06-02 Fanuc Ltd ロボット用位置データ修正装置
JP2006004122A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 画像処理装置及びロボット装置ならびに車両誘導装置
JP4602704B2 (ja) * 2004-06-29 2010-12-22 学校法人東京理科大学 単眼視3次元位置計測装置および方法
JP2008070343A (ja) * 2006-09-15 2008-03-27 Fuji Xerox Co Ltd 位置計測システム
JP2008216089A (ja) * 2007-03-06 2008-09-18 Natl Inst Of Radiological Sciences 被験体の3次元的位置及び向き測定装置
US8319831B2 (en) * 2009-03-25 2012-11-27 Fuji Xerox Co., Ltd. Component manipulating method, component extracting method, component assembling method, component manipulating apparatus, component extracting apparatus, and component assembling apparatus

Also Published As

Publication number Publication date
US8194929B2 (en) 2012-06-05
US20100246895A1 (en) 2010-09-30
CN101846494A (zh) 2010-09-29
JP2010223909A (ja) 2010-10-07
CN101846494B (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
JP5509645B2 (ja) 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置
US8319831B2 (en) Component manipulating method, component extracting method, component assembling method, component manipulating apparatus, component extracting apparatus, and component assembling apparatus
US8582121B2 (en) Article recognition apparatus and article processing apparatus using the same
JP5376220B2 (ja) 部品組付検査方法および部品組付検査装置
US20110234788A1 (en) Assembly inspection apparatus and assembly processing apparatus using the same
EP2900049B1 (en) Electronic circuit component mounting machine
EP3173194A1 (en) Manipulator system, image capturing system, transfer method of object, and carrier medium
US8351681B2 (en) Structure for recognizing article to be collected, and collection information recognition apparatus and collection processing apparatus that use the structure
US10694647B2 (en) Transfer unit, transfer apparatus, and holding unit
JP2010221381A (ja) 部品組立方法および部品組立装置
CN105652611B (zh) 位置确定装置和方法、平版印刷设备及物品制造方法
CN111890361A (zh) 一种传送带视觉跟踪机器人抓取系统及其使用方法
CN104798458B (zh) 元件安装机
WO2013153834A1 (ja) 部品実装機
US8462359B2 (en) Position measuring device
TW201537309A (zh) 位置偏移檢測方法、位置偏移檢測裝置、描繪裝置及基板檢查裝置
TWI661240B (zh) 透鏡元件搬送機構、控制器、光軸調整裝置、光學模組製造設備及其製造方法
CN107926142B (zh) 测定装置
TW571378B (en) Slot detector of cassette for substrate
KR101402123B1 (ko) 웨이퍼 정렬장치
JPH06260798A (ja) 部品供給装置
JP2012027063A (ja) カメラモジュールの製造方法及びカメラモジュールのレンズユニット
TWI759612B (zh) 電子部件處理設備用拍攝裝置
JP4472451B2 (ja) 基板搬送装置及びそれを備えた画像形成装置並びに基板搬送方法
JP2003124696A (ja) 部品吸着ノズル、部品実装装置、及び部品吸着ノズルの認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140310

R150 Certificate of patent or registration of utility model

Ref document number: 5509645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees