JP4239055B2 - Robot and operation mode control method of robot - Google Patents

Robot and operation mode control method of robot Download PDF

Info

Publication number
JP4239055B2
JP4239055B2 JP2001107078A JP2001107078A JP4239055B2 JP 4239055 B2 JP4239055 B2 JP 4239055B2 JP 2001107078 A JP2001107078 A JP 2001107078A JP 2001107078 A JP2001107078 A JP 2001107078A JP 4239055 B2 JP4239055 B2 JP 4239055B2
Authority
JP
Japan
Prior art keywords
robot
image
light
operation target
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001107078A
Other languages
Japanese (ja)
Other versions
JP2001347478A (en
Inventor
浩一 中込
邦雄 佐藤
宣男 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2001107078A priority Critical patent/JP4239055B2/en
Publication of JP2001347478A publication Critical patent/JP2001347478A/en
Application granted granted Critical
Publication of JP4239055B2 publication Critical patent/JP4239055B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Position Or Direction (AREA)
  • Manipulator (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、駆動部と画像センサを備えたロボット、及び、ロボットの動作態様制御方法に関する。
【0002】
【従来の技術】
入力信号または周囲環境条件などを検出するセンサを備え、測定結果に応じて自身が適切な反応または行動を起こすために必要な操作・誘導装置やプログラムなどを内蔵しているような機械システムのことを一般にロボット(robot)という。ロボットは、その用途に応じて様々な形態に分かれており、例えば、工場の製造ラインなどで用いられる据え付け型のものや、物流などの分野で用いられる自走型のものなど多種多様であるが、多くのロボットは操作対象を認識し、その操作対象に対して何らかの行為を行なう点で共通する。
【0003】
操作対象の認識手法としては、ロボット自らが画像認識手段を備え、その画像信号を処理して操作対象の位置情報を取得する自律型や、ロボットに対して外部から操作対象の位置情報を与えて認識させる遠隔型の二つがある。特に、後者の遠隔型はロボットの構造を簡素化できるばかりか、使用環境に応じて自在に操作対象を指定できる点で柔軟性があり、例えば、自走型のロボットに用いて好適な手法である。
【0004】
遠隔型の操作対象認識手法を適用した従来のロボット技術として、無線を用いたものが知られている。この従来技術のシステムは、ロボット本体と遠隔操縦装置とからなり、遠隔操縦装置をオペレータが操作して任意の操作対象の位置情報を適宜にロボット本体に与えるというものである。
【0005】
例えば、図24において、所定の作業エリア1に存在する操作対象2の位置情報をロボット3に与える場合は、オペレータ4は当該作業エリア1の座標系(以下「作業座標系」という)で表現された操作対象2の位置座標を遠隔操縦装置5にインプットする。遠隔操縦装置5とロボット3との間は、無線電波6を媒体にして相互通信可能に接続されており、上記インプットされた情報(操作対象2の位置座標)はロボット3に伝えられ、ロボット3の内部でロボット座標系に変換された後、当該ロボット3の自律的動作プログラムの入力情報として利用されるようになっている。
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来のロボット技術にあっては、以下の(1)、(2)の理由により、オペレータ4による操作ミスの発生を否めず、操作対象の認識を正確且つ安定的に行なえないという問題点がある。また、以下の(3)の理由により、ロボット本体の処理負担が大きいという問題点がある。
(1)操作対象2の位置認定はもっぱらオペレータ4の目視判断によって行われるが、目視による作業エリア1内の正確な位置座標の判読は相当困難であり、位置認定の誤差は避けられない。
(2)仮に正確な位置認定をし得たとしても、その位置情報の遠隔操縦装置5へのインプットをオペレータ4による手動操作で行なうため、入力ミスの発生を否めない。
(3)ロボット本体で座標変換(作業座標系からロボット座標系への変換)を行なうため、当該変換処理のオーバヘッドが大きい。
【0007】
したがって、本発明が解決しようとする課題は、ロボットにおける操作対象の認識を正確且つ安定的に行なうことができる技術を提供することにある。
【0008】
【課題を解決するための手段】
請求項1記載の発明は、駆動部(28)を備えたロボット(14)において、画像センサ(18)と、この画像センサから周期的に出力されるフレームに対応する画像に、このロボットの外部に存在する光線発射装置(33)から発射されたビーム光線(11)によるスポット光が当てられた操作対象物(12)の画像が含まれているか否かを判定する第1の判定手段(20)と、この第1の判定手段により前記スポット光が当てられた操作対象物の画像が含まれると判定すると、このロボットと前記操作対象物までの距離、又は、このロボットからみた前記操作対象物の方向の少なくとも一つを演算する演算手段(20)と、前記第1の判定手段によりスポット光が当てられた画像が含まれると判定すると、このスポット光の変調種別を判定する第2の判定手段(20)と、この第2の判定手段により判定された変調種別に対応するコマンド処理の実行を含め、前記演算手段により演算された結果を前記駆動部に出力してこのロボットの前記操作対象物に対する動作態様を制御する制御手段(28)と、を備えたことを特徴とする。
また、請求項2記載の発明は、上記請求項1記載の発明において、前記操作対象物に向けて、この操作対象物を捕捉した旨を宣言する情報を含むビーム光線を照射する照射手段(20、46、47)を更に備えたことを特徴とする
請求項3記載の発明は、駆動部と画像センサとを備えたロボットの動作態様制御方法であって、前記画像センサから周期的に出力されるフレームに対応する画像に、このロボットの外部に存在する光線発射装置(33)から発射されたビーム光線(11)によるスポット光が当てられた操作対象物の画像が含まれているか否かを判定する第1の判定ステップ(ステップS12)と、この第1の判定ステップにてスポット光が当てられた操作対象物の画像が含まれていると判断すると、このスポット光の変調種別を判定する第2の判定ステップ(ステップS21)と、前記第1の判定ステップにて前記スポット光が当てられた操作対象物の画像が含まれると判定すると、このロボットと前記操作対象物までの距離、又は、このロボットからみた前記操作対象物の方向の少なくとも一つを演算する演算ステップ(ステップS14)と、前記第2の判定ステップにて判定された変調種別に対応するコマンド処理の実行を含め、前記演算ステップにて演算された結果を前記駆動部に出力してこのロボットの前記操作対象物に対する動作態様を制御する制御ステップ(ステップS15、S22〜S25)と、を含むことを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
(第1の実施の形態)
図1は実施の形態の全体的なシステム構成図である。この図において、光線発射装置10は、細く絞り込まれたビーム光線11を発射する例えば市販のレーザーポインタであり、図示を略したオペレータは、この光線発射装置10を手持ち操作してビーム光線11の照射方向をコントロールする。今、ビーム光線11を任意の対象物12(以下「操作対象物」)に向けて照射したとすると、操作対象物12の表面にビーム光線11のビーム幅に対応した小面積のスポット光13が形成される。スポット光13は操作対象物12の表面上で乱反射し、その一部がロボット14に設けられた受光ユニット15によって受光される。
【0010】
受光ユニット15は、スポット光13を集光して結像する光学レンズ16と、スポット光13の波長域以外の外乱光を取り除く光学フィルタ17と、上記結像を画像信号に変換する二次元画像センサ(典型的にはCCD:Charge Coupled Device)18と、アナログの画像信号をディジタルの画像信号に変換する画像信号生成部19と、所定の制御プログラム(特に後述の「操作対象物認識プログラム」)を実行して受光ユニット15の動作を制御する制御部(発明の要旨に記載の特定手段、生成手段、判別手段、発生手段に相当)20と、上記所定の制御プログラムを格納するプログラムメモリ21と、画像信号生成部19で生成された画像信号をフレーム単位に格納する画像メモリ22と、上記所定の制御プログラムの実行によって生成された情報(ロボット14の現在位置からスポット光13までの距離と方向を表す情報)を走行部25に出力するインターフェース23と、各部を接続するバス24とを備える。
【0011】
走行部25は、受光ユニット15からの出力情報26aや不図示の各種センサ(例えば、方位センサや走行距離センサ)からの出力情報26b、26cを取り込む情報入力部26と、これらの入力情報に基づいてロボット14の自走制御値を演算するコントローラ27と、その自走制御値に基づいてロボット14の走行機構を駆動する走行駆動部28とを備える。なお、走行部25はロボット14の反応または行動を起こすための主要部分である。本実施の形態では同主要部分における動作態様を“走行”として取り扱うが、これは説明上の一例であって、これに限定されない。例えば、アーム形のロボットであれば、アームの駆動やアーム先端の把持機構の動きなどが上記動作態様に対応する。
【0012】
図2は受光ユニット15の制御部20(特定手段、生成手段、判別手段、発生手段)で実行される操作対象物認識プログラムのフローチャートである。このフローチャートは、まず、二次元画像センサ18から周期的に出力されるフレーム画像の1枚分(1画面分)に対応する画像(以下「CCD画像」という)を取り込んで画像メモリ22に書込み(ステップS11)、次いで、画像メモリ22の記憶情報(CCD画像)にスポット光が当てられた画像が含まれているか否かを判定し(ステップS12)、含まれていなければ、受光ユニット15の撮像方向を規則的にサーチまたは不規則にランダムサーチ(ステップS13)した後、ステップS11に復帰する一方、スポット光が当てられた画像ありを判定した場合は、その画像に対応する操作対象物までの距離と方向を演算し(ステップS14)、その演算値を走行部25に出力(ステップS15)した後、再びステップS11に復帰するという動作を繰り返す。
【0013】
ここで、上記ステップS14における操作対象物までの距離と方向の演算概念を図を用いて説明する。図3(a)は、操作対象物12にビーム光線11を照射し、その反射光であるスポット光13をロボット14の受光ユニット15で受光した直後のCCD画像29(発明の要旨に記載の出力画像に相当)である。この図において、CCD画像29に含まれるスポット光が当てられた画像30の位置を図示のとおりとすると、すなわち、CCD画像29の横方向中心Paから距離Dだけずれ、且つ、CCD画像29の下端Pbから距離Lだけずれているものとすると、これらのパラメータ(DおよびL)より、所定の操作対象物12までの距離と方向を求めることができる。距離Dはロボット14から見た方位に対応し、距離Lはロボット14からスポット光13が当てられた画像30までの離隔距離に対応するからである。
【0014】
したがって、上記DおよびLの値もしくはそれらに相関する値を、上記ステップS14における操作対象物12までの距離と方向の演算値とし、これらの演算値を走行部25に与えて当該演算値を減少するようにロボット14の現在位置を移動更新することにより、最終的には、図3(b)に示すように、CCD画像29に含まれるスポット光13が当たった操作対象物12を含む画像31の位置を座標(Pa、Pb)付近に収束させることができ、その結果、ロボット14の正面間近に操作対象物12を位置させることができる。
【0015】
図4は上記実施の形態を用いたロボット14の走行制御例を示す図であり、自在に走り回る複数の操作対象物12a〜12cの一つを指定し、その指定した操作対象物をロボット14が追跡する例を示す図である。図において、オペレータ32は光線発射装置10のビーム光線11を一つの操作対象物(図では操作対象物12a)に向けて照射しており、ロボット14はその操作対象物12aで反射されたスポット光13を受光している。上記のとおり、実施の形態のロボット14はスポット光13の画像を二次元画像センサで撮像してCCD画像を生成するとともに、そのCCD画像に含まれる操作対象物12を含む画像において、操作対象物12の位置を所定の位置(Pa、Pb)に収束させるように走行制御を行なうものであり、ロボット14の正面間近に操作対象物12aを位置させ得るものであるから、結局、任意の操作対象物12aにビーム光線11を照射し続けるだけで、当該操作対象物12aの動きにロボット14を追随させることができるという作用が得られる。
【0016】
(第2の実施の形態)
ところで、上記実施の形態では、操作対象物12aにビーム光線11を照射して操作対象物12aの位置情報をロボット14に与えているが、同時にロボット14に対して各種のコマンド指令を与えることができない点で改善の余地がある。
【0017】
図5は本実施の形態における光線発射装置33の構成図であり、上記実施の形態の光線発射装置10を改良して、操作対象物12aの位置情報とともに、各種のコマンド情報もロボット14に与えることができるようにしたものである。図において、複数(図ではN個)のコマンドボタン34〜37はそれぞれ第1コマンドボタン34、第2コマンドボタン35、第3コマンドボタン36、……、第Nコマンドボタン37である。これらのコマンドボタンにはロボット14の各種動作コマンドが割り当てられている。
【0018】
第i(iは1〜N;以下同様)コマンドボタン34〜37の各々は第1変調信号発生部38、第2変調信号発生部39、第3変調信号発生部40、……、第N変調信号発生部41に接続されており、第iコマンドボタンを操作することによって、そのコマンドボタンに接続された第i変調信号発生部から第i変調信号が出力されるようになっている。ここに、第1変調信号発生部38で発生する第1変調信号をM1、第2変調信号発生部39で発生する第2変調信号をM2、第3変調信号発生部40で発生する第3変調信号をM3、……、第N変調信号発生部41で発生する第N変調信号をMNとすると、M1〜MNは、それぞれ異なる変調状態の信号であり、例えば、オンオフ周期の異なる信号である。
【0019】
信号選択部42はM1からMNまでの変調信号のうちの一つ(操作状態にある第iコマンドボタンに対応した変調信号)を選択して、その選択変調信号Miを出力し、光駆動部43はその選択変調信号Miに従ってビーム光線45を発光する発光部44の発光動作を駆動する。
【0020】
図6は本実施の形態における受光ユニット15の制御動作を示すフローチャートであり、前記実施の形態の操作対象物認識プログラム(図2参照)の一部を改良した例である。この図において、図2と共通の処理部分に同一のステップ番号を付すことにすると、本実施の形態におけるポイントは、スポット光が当てられた画像ありを判定(ステップS12)した後に、この画像のスポット光に基づく変調状態の判定と各判定ごとのコマンド処理を行なうステップS20を含む点にある。
【0021】
すなわち、ステップS12で画像ありを判定すると、まず、ステップS21で当該画像から反射されるスポット光の時間的な輝度変化の傾向からスポット光の変調種別を判定する。そして、その変調種別(第1変調、第2変調、第3変調、……、第N変調)ごとに、第1コマンド処理(ステップS22)、第2コマンド処理(ステップS23)、第3コマンド処理(ステップS24)、……、第Nコマンド処理(ステップS25)を実行した後、前記実施の形態と同様に、操作対象物までの距離と方向を演算する(ステップS14)。
【0022】
したがって、本実施の形態によれば、光線発射装置33からのビーム光線45を任意の操作対象物に照射することによって、前記実施の形態と同様に、その操作対象物の位置情報をロボット14に与えることができるとともに、光線発射装置33のコマンドボタン34〜37を選択的に操作することによって、N種のコマンド処理の一つをロボット14で実行させることができるという特有の効果が得られる。
【0023】
(第3の実施の形態)
図7は本発明の第3の実施の形態を示す図であり、ロボット14aの受光ユニット15aに光駆動部46と発光部47を追加した例である。光駆動部46は制御部20から所定の変調種別の変調信号が与えられたときに発光部47の発光動作を当該変調種別で駆動し、発光部47は光駆動部46の駆動によって上記の所定の変調種別の変調信号で変調されたビーム光線48を発射する。ここで、ビーム光線48の発射方向はスポット光13の入射方向にできるだけ一致していることが望ましい。詳細は後述するが、当該スポット光13を反射する操作対象物(の表面におけるスポット光13の反射点近く)にビーム光線48を照射するためである。
【0024】
図8は本実施の形態における受光ユニット15aの制御動作を示すフローチャートであり、前記実施の形態の操作対象物認識プログラム(図2参照)の一部を改良した例である。この図において、図2と共通の処理部分に同一のステップ番号を付すことにすると、本実施の形態におけるポイントはステップS30を含む点にある。すなわち、画像ありを判定(ステップS12)した後に、スポット光(反射光)の変調状態が所定の変調種別であるか否かを判定し(ステップS31)、その判定結果が“YES”であれば、前記実施の形態と同様にランダムサーチ(ステップS13)を行なう一方、“NO”であれば、所定の変調種別で発光部47を駆動(ステップS32)した後、前記実施の形態と同様に操作対象物までの距離と方向を演算(ステップS14)する点にある。
【0025】
図9は本実施の形態を用いたロボットの走行制御例を示す図であり、自在に走り回る複数の操作対象物12a〜12cの一つを指定し、その指定した操作対象物を、複数(図では便宜的に2台)のロボット14aの1台に追跡させる例を示す図である。以下、図において、ロボット14aの各々に符号A、Bを付して識別することにする。
【0026】
いま、図中の一つの操作対象物12aに不図示の光線発射装置からビーム光線が照射され、そのビーム光線の反射光(スポット光)が、例えば、ロボット14a(A)によって先に捕捉されたと仮定する。この場合、ロボット14a(A)における図8のステップS31の判定結果は“NO”となり、ステップS32を実行する結果、所定の変調種別で変調されたビーム光線48がロボット14a(A)から操作対象物12aに向けて発射される。そして、このビーム光線48の反射光(スポット光48a)が他のロボット14a(B)によって捕捉されると、このロボット14a(B)における図8のステップS31の判定結果は“YES”となるため、このロボット14a(B)ではステップS32は実行されず、代わりにランダムサーチ(ステップS13)が実行されることになる。
【0027】
つまり、本実施の形態によれば、指定された操作対象物12aを先に捕捉したロボット14a(A)からその旨を宣言する情報(所定の変調種別)を含むビーム光線48がその操作対象物12aに向けて発射されるため、このビーム光線48の反射光(所定の変調種別で変調されたスポット光48a)を受光した他のロボット14a(B)は、その操作対象物12aを無視して追跡しないという弁別作用が得られる。したがって、複数のロボット14a(A)、14a(B)が存在する環境下であっても、任意の1台のロボットに対して一つに操作対象物を割り当てることができるという特有の効果が得られる。
【0028】
(第4の実施の形態)
以上の各実施の形態では、ロボットの操作対象を“物”として扱っているが、本発明の意図する範囲はこれに限定されない。例えば、図10に示すように、オペレータ32によって手持ちされた光線発射装置10からのビーム光線11を床面や路面等の物以外の操作対象(以下「路面50」という)に照射し、その反射光(スポット光13)をロボット51の受光ユニット52で捕捉させるようにしてもよい。図示のロボット51は自走型のロボット(例えば、自走車両)であり、前述の各実施の形態と同様に、スポット光13の画像信号に基づいてロボット51の進行方向を自律的に制御するものである。
【0029】
この実施の形態によれば、ロボット51は、ビーム光線11の照射点を追いかけるように走行するため、無線操縦の如き遠隔走行案内を行なうことができ、例えば、無人の消火車両や爆発物搬送車両または地雷探知車両などの遠隔操縦システムに適用することができる。しかも、光線発射装置10からのビーム光線の照射方向をコントロールするだけの簡単な操作でよく、無線操縦のように特別な訓練を必要としないから、誰でも容易にロボット51の走行案内を行なうことができるという特有の効果が得られる。
【0030】
(第5の実施の形態)
図11は、自走型ロボット(以下、単にロボットという)の具体的な外観例を示す図であり、(a)は斜視図、(b)は左側面図、(c)は底面図である。ロボット60は、本体61と、この本体61の上面に固定的に取り付けられた受光ユニット62(検知手段)とから構成されている。
【0031】
本体61は、左右一対の前輪63L、63R(添え字のLは左、Rは右を示す。以下同様。)と一つの後輪64とを備えており、図示の例では、前方二輪、後方一輪の三輪方式で前進運動及び左右旋回運動を行うようになっている。すなわち、左右の前輪63L、63Rは、それぞれ左右のモータ65L、65Rによって個別に駆動され、また、後輪64は、回転フリーの従動輪であって、しかも、アーム66によってその従動方向が自由に変化するように本体61に取り付けられており、左右のモータ65L、65Rを同量回転させることにより前進を、また、左右のモータ65L、65Rを差動回転させる(回転量に差を付ける)ことにより左右への旋回を行うようになっている。
【0032】
受光ユニット62には、横方向に配列された三つの受光センサ67L、67C、67Rが実装されている。これらの受光センサ67L、67C、67R(添え字のCは中央を示す。)は、前記第4の実施の形態における受光ユニット52と同様に、床面や路面等、物以外の操作対象(図10の路面50参照)からの反射光(図10のスポット光13参照;このスポット光13は発明の要旨に記載の「輝点」に相当する。)を捕捉するものである。
【0033】
図12(a)は、本実施の形態におけるロボット60の内部システム構成図である。この図において、制御部70(判定手段、移動制御手段)は、受光ユニット62の三つの受光センサ67L、67C、67Rから取り出された出力信号(PdR、PdC、PdL)を取り込み、それら三つの信号(PdR、PdC、PdL)に基づいて前記反射光の方向を判定し、その方向にロボット60を自走させるための制御値を演算する。
【0034】
制御値は、たとえば、ロボット60が、前進、停止、左旋回または右旋回の各々の運動を行うものとすると、これら四つの運動状態は2ビットの情報で表すことができるため、ここでは、「00=停止」「11=前進」、「01=左旋回」、「10=右旋回」とすることにし、上位ビットを左駆動信号DLに、また、下位ビットを右駆動信号DRとして、それぞれを右モータ65R用の駆動部71R(以下「右輪駆動部71R」という。)及び左モータ65L用の駆動部71L(以下「左輪駆動部71L」という。)に入力することにする。
【0035】
図12(b)は、右輪駆動部71R(または左輪駆動部71L)の構成図である。以下、代表して右輪駆動部71Rの構成を説明するが、左輪駆動部71Lの構成も同一である。右輪駆動部71Rは、切換部72からの制御によって接点が切り替わる二つのスイッチ素子73、74と、スイッチ素子73、74の接点がA位置(またはC位置)にあるときにモータ65Rに対して直流電圧を供給するバッテリ73と、スイッチ素子73、74の接点がB位置(またはC位置)にあるときにモータ65Rの起電力を消費して回生制動をかける負荷素子74とを備える。
【0036】
なお、モータ65Rは、スイッチ素子73、74の接点がA位置にある時に一方向に回転(以下「正転」という。)し、右前輪63Rは、この正転により前進方向に回転するものとする。ちなみに、スイッチ素子73、74の接点をC位置にすると、バッテリ73の極性が入れ替わってモータ65Rに与えられるようになっている。この場合、モータ65Rは逆転し、右前輪63Rは、この逆転により後進方向に回転する。ただし、本実施の形態においては、「後進運動」を想定していないため、以下の説明では、C位置については特に触れない。
【0037】
右輪駆動部71Rの切換部72には、右駆動信号DRが入力されており、この右駆動信号DRは、「00=停止」「11=前進」、「01=左旋回」及び「10=右旋回」のそれぞれの下位ビットである。すなわち、DRの論理値は、停止制御時と右旋回制御時で「0」、前進制御時と左旋回制御時で「1」になるので、右輪駆動部71Rの切換部72は、DR=1のときにスイッチ素子73、74の接点をA位置にし、DR=0のときに同接点をB位置にする。
【0038】
同様に、左輪駆動部71Lの切換部72には、左駆動信号DLが入力されており、この左駆動信号DLは、「00=停止」「11=前進」、「01=左旋回」及び「10=右旋回」のそれぞれの上位ビットである。すなわち、DLの論理値は、停止制御時と左旋回制御時で「0」、前進制御時と右旋回制御時で「1」になるので、左輪駆動部71Lの切換部72は、DL=1のときにスイッチ素子73、74の接点をA位置にし、DL=0のときに同接点をB位置にする。
【0039】
したがって、制御部70から出力される制御値(「DL,DR」)が「00=停止」である場合は、右前輪63R駆動用のモータ65Rは回生制動をかけて回転を止め、左前輪63L駆動用のモータ65Lも回生制動をかけて回転を止めるから、ロボット60はその場で「停止」する。
【0040】
また、同制御値(「DL,DR」)が「01=左旋回」である場合は、右前輪63R駆動用のモータ65Rは正転し、左前輪63L駆動用のモータ65Lは回生制動をかけて回転を止めるから、ロボット60はその場で「左旋回」する。
【0041】
また、同制御値(「DL,DR」)が「10=右旋回」である場合は、右前輪63R駆動用のモータ65Rは回生制動をかけて回転を止め、左前輪63L駆動用のモータ65Lは正転するから、ロボット60はその場で「右旋回」する。
【0042】
次に、ロボット60の制御部70の構成と、その処理動作について説明する。図13は、制御部70の構成図及びその制御部70の内部で実行される制御プログラムのフローチャートである。まず、構成を説明すると、制御部70は、制御プログラムを実行するCPU71aと、制御プログラムを格納するROM71bと、CPU71aにワークエリア(制御プログラムの実行エリア)を提供するRAM71cと、受光ユニット62の三つの受光センサ67L、67C、67Rから取り出された出力信号(PdR、PdC、PdL)を所定の周期でディジタル信号に変換して取り込む入力インターフェース(図ではI/Fと略している。)71dと、制御値(DL,DR)を出力する出力インターフェース71eと、これら各部を接続するバス71fとを備えている。
【0043】
次に、制御プログラムは、受光ユニット62の三つの受光センサ67L、67C、67Rから取り出された出力信号(PdR、PdC、PdL)を取り込むためのサンプリング処理(ステップS40)と、制御値(DL,DR)を演算して出力するための駆動制御処理(ステップS41)とを周期的に実行する。
【0044】
図14は、駆動制御処理の具体例を示す図であり、この例では、まず、PdR、PdC及びPdLの各サンプリング値(以下「iL」、「iC」、「iR」とする。)の最大値を求め、その最大値と所定のしきい値SL1とを比較する(ステップS41a)。Max( )は、引数で渡された複数の値のうち最大値を戻り値とする汎用関数である。
【0045】
今、Max(iL、iC、iR)の戻り値がしきい値SL1を超えない場合、受光ユニット62の三つの受光センサ67L、67C、67Rから取り出された出力信号(PdR、PdC、PdL)は、いずれも小さな値であり、床面などからの反射光(図10のスポット光13参照)を捕捉していないので、停止用の制御値(「00」)を発生し(ステップS41b)、その下位ビット(0)をDRとして右輪駆動部71Rに出力すると共に、その上位ビット(0)をDLとして左輪駆動部71Lに出力する。
【0046】
一方、Max(iL、iC、iR)の戻り値がしきい値SL1を超えている場合は、受光ユニット62の三つの受光センサ67L、67C、67Rから取り出された出力信号(PdR、PdC、PdL)のいずれかが大きな値であり、床面などからの反射光(図10のスポット光13参照)を捕捉している状態であるので、その捕捉方向を判定するために、どの信号が最大値を示したかを特定する(ステップS41c)。
【0047】
たとえば、iLが最大値である場合は反射光の捕捉方向はロボット60の進行方向に対して左側であり、または、iRが最大値である場合は反射光の捕捉方向はロボット60の進行方向に対して右側である。したがって、iLが最大値である場合は、左旋回用の制御値(「01」)を発生し(ステップS41d)、その下位ビット(1)をDRとして右輪駆動部71Rに出力すると共に、その上位ビット(0)をDLとして左輪駆動部71Lに出力する。または、iRが最大値である場合は、右旋回用の制御値(「10」)を発生し(ステップS41e)、その下位ビット(0)をDRとして右輪駆動部71Rに出力すると共に、その上位ビット(1)をDLとして左輪駆動部71Lに出力する。
【0048】
これにより、ロボット60は、自分の進行方向に対して左側に反射光を捕捉した場合は左旋回し、右側に反射光を捕捉した場合は右旋回する結果、その旋回運動によって、反射光(すなわち「輝点」)を追いかけながら進路を動的に変えて進むという運動作用が得られる。
【0049】
ここで、iCが最大値である場合は、反射光の捕捉方向はロボット60の進行方向にあるから、そのまま、前進用の制御値(「11」)を発生(ステップS41h)してもよいが、受光センサ67L、67C、67R(特に67C)の感度特性を考慮すると、iCとiRの差(iC−iR)およびiCとiLの差(iC−iL)を演算し、それらの差値がいずれも所定のしきい値SL2を超えて大きい場合にのみ、前進用の制御値(「11」)を発生(ステップS41h)し、その下位ビット(1)をDRとして右輪駆動部71Rに出力すると共に、その上位ビット(1)をDLとして左輪駆動部71Lに出力することが望ましい。
【0050】
図15(a)は、受光センサ67L、67C、67Rの感度特性を示す図である。この図において、0度を通る線は受光センサの光軸中心線を示し、±30度や±60度あるいは±90度を通る線はそれぞれ光軸中心からの角度線を示している。受光センサ67L、67C、67Rは、光軸中心線において、最も良好な感度を持つが、この光軸中心を外れた角度においても低いながら一応の感度を持つ。したがって、受光センサ67L、67C、67Rの信号は、それぞれの光軸中心を最大感度とし、且つ、光軸中心から離れるにつれて徐々に感度を低下する略山形状の分布を持っている。
【0051】
図15(b)は、iL=iC=iR<SL1の場合の特性図である。なお、θLは受光センサ67Lの光軸中心角、θCは受光センサ67Cの光軸中心角、θRは受光センサ67Rの光軸中心角である。この場合、三つの受光センサ67L、67C、67Rから取り出された出力信号(PdR、PdC、PdL)は、いずれも小さな値であり、床面などからの反射光(図10のスポット光13参照)を捕捉していないから、停止用の制御値(「00」)を発生すればよい(ステップS41b)。
【0052】
図15(c)は、iL>SL1、iC=iR<SL1の場合の特性図である。この場合、iLが最大値であり、反射光の捕捉方向はロボット60の進行方向に対して左側であるから、左旋回用の制御値(「01」)を発生すればよい(ステップS41d)。
【0053】
図15(d)は、iR>SL1、iC=iL<SL1の場合の特性図である。この場合、iRが最大値であり、反射光の捕捉方向はロボット60の進行方向に対して右側であるから、右旋回用の制御値(「10」)を発生すればよい(ステップS41e)。
【0054】
これらに対して、図16(a)は、iC>SL1、iL=iR<SL1、且つ、iC>>iL=iRの場合の特性図である。明らかにiCが最大値(iC>>iL=iR)である場合、反射光の捕捉方向はロボット60の進行方向になるから、前進用の制御値(「11」)を発生すればよい(ステップS41h)。
【0055】
しかし、iC>SL1、iL=iR<SL1であっても、iCとiLの差(iC−iL)またはiCとiRの差(iC−iR)が小さい場合、たとえば、図16(b)や図16(c)のような場合は、反射光の捕捉方向はロボット60の進行方向よりも若干右寄りになっているため、単に前進制御を行うよりも、小刻みに進路変更(図16(b)の場合であれば右旋回制御)をすべきである。すなわち、図14におけるステップS41fおよびステップS41gは、このような小刻みな進路変更を行うために、あえて設けられたものである。
【0056】
以上のとおり、この第5の実施の形態においても、ロボット60は、床面などからの反射光(輝点)を追いかけるよう自走するから、たとえば、レーザポインタのような簡単な光線発射具を用いて所望の道筋を指し示すだけで、離れた位置から容易に遠隔走行案内を行なうことができる。さらに、前記他の実施の形態のような画像認識処理(図3参照)を必要とせず、複数の受光センサ(たとえば、三つの受光センサ67R、67C、67L)と、それらのセンサからの信号を処理する処理部(制御部70)とを具備すればよいから、前記他の実施の形態と比較して、コストの低減を図ることができる。また、光線発射具は、手持ちされるもの(例:レーザポインタ)のみに限らない。たとえば、天井や壁面等の屋内建造物もしくは電柱等の屋外建造物などの固定構造物に取り付けられ、遠隔操作によって自在な方向にビームを照射可能なもの(例:投光器)であってもよい。
【0057】
なお、本実施の形態では、三つの受光センサ67R、67C、67Lを備えているが、これに限定されない。たとえば、左右に配置された二つの受光センサによっても実現可能である。ロボット60の進行方向正面に反射光が位置している場合、二つの受光センサの出力信号はほぼ同じ大きさとなり、また、同進行方向の右側に反射光が位置している場合、右側の受光センサの出力信号が大きくなり、また、同進行方向の左側に反射光が位置している場合、左側の受光センサの出力信号が大きくなるからである。また、複数(二つまたは三つもしくはそれ以上)の受光センサは、図示のように、それぞれが物理的に独立した個別の受光素子(受光センサ67R、67C、67L)であってもよいが、一つのパッケージ(または基盤上に)に複数の受光素子を実装したもの、たとえば、PSDやCCDあるいはCMOS型などの受光デバイスであってもよい。
【0058】
(第6の実施の形態)
あるいは、単一の受光センサで実現することも可能である。図17(a)は、第6の実施の形態におけるロボット80の外観図である。なお、図17(a)において、前記第5の実施の形態と共通する構成要素には同一の符号を付し、その説明を省略する。ロボット80の受光ユニット81は、1個の受光センサ82を実装すると共に、水平旋回可能に、ロボット80の本体61に取り付けられており、受光ユニット81の旋回軸83は、本体61の内部に設けられたモータ84の回転軸85に、軸心一致で固定されている。
【0059】
図17(b)は、受光ユニット82の水平旋回運動の模式図である。受光ユニット82は、モータ84の駆動により、最大180度の旋回運動を行うことができるようになっている。すなわち、ロボット80の進行方向をθ0としたとき、最大でθ0−90度からθ0+90度までの間を旋回することができるようになっている。本実施の形態におけるロボット80は、この最大旋回範囲(±90度)を粗サーチ範囲として床面などからの反射光(輝点に相当)86を大まかに捕捉し、さらに、その反射光86の捕捉角度θa(θ0に対する角度)を中心とした狭い旋回範囲(たとえば、±15度)で密サーチを行うことにより、反射光86の方向を精密に特定し、その方向にロボット80を自走させることができる。
【0060】
図18(a)は、本実施の形態におけるロボット80の内部システム構成図である。この図において、制御部90(探索手段、判定手段、移動制御手段)は、受光ユニット81の1個の受光センサ82から取り出された出力信号(Pd)を取り込み、その信号(Pd)に基づいて前記反射光86の方向を判定し、その方向にロボット80を自走させるための制御値(DL,DR)を演算する点で前記第5の実施の形態と共通するが、受光ユニット81を旋回させるための制御値(DU)を演算して、受光ユニット81の旋回駆動用の駆動部91(内部構成は右輪駆動部71Rや左輪駆動部71Lと同じ)に出力する点で前記第5の実施の形態と相違する。
【0061】
本実施の形態における制御部90の構成は、基本的に、前記第5の実施の形態の制御部70と同じである。すなわち、CPUで制御プログラムを実行し、その実行結果を制御値として出力する点で類似し、相違点は、制御プログラムの内容と、受光ユニット81を旋回させるための制御値(DU)を新たに出力するようにした点にある。
【0062】
図18(b)は、受光ユニット81の旋回動作中における受光センサ82の出力信号(Pd)の強度iの変化特性図である。この図において、θ0はその時点のロボット80の進行方向、θaは反射光86の方向である。受光センサ82の出力信号(Pd)の強度iは、受光センサ82の光軸中心がθaの方向に接近するにつれて大きくなり、受光センサ82の光軸中心がθaの方向と一致したときに最大、受光センサ82の光軸中心がθaの方向から遠ざかるにつれて小さくなるという変化特性を示す。
【0063】
制御部90で実行する制御プログラムは、受光ユニット81の旋回運動を制御しつつ、かかる変化特性上のiピーク点の角度(θa)を特定できるものでなければならないが、受光センサ82の出力信号(Pd)は、所定周期ごとのサンプリング(すなわち、ディジタイズ)を経て制御部90に取り込まれるため、実際の強度iの変化特性は、図18(b)のような連続的な曲線とはならず、サンプリング周期ごとに離散化された飛び飛びの値(離散値)となる。このため、制御部90の演算性能が特段に優れていない限り、一度のサーチ(受光ユニット81の広範囲な旋回運動)だけで、変化特性上のiピーク点の角度(θa)を特定することは困難である。
【0064】
本実施の形態は、このような点に鑑み、受光ユニット81の粗サーチと密サーチとを併用するようにしたものである。図19(a)は、粗サーチの概念図、図19(b)は、密サーチの概念図である。粗サーチでは±90度のサーチ範囲を設定し、その範囲を10度刻みに分割してそれぞれの角度ごとに受光ユニット81を止めながら受光センサ82の出力信号(Pd)のサンプリングを行う。一方、密サーチでは±15度のサーチ範囲を設定し、その範囲を1.5度刻みに分割してそれぞれの角度ごとに受光ユニット81を止めながら受光センサ82の出力信号(Pd)のサンプリングを行う。いずれもサーチ範囲を細分化し、それぞれの角度ごとにサンプリングを行う点で共通する。
【0065】
図において、Δθは細分化角度、θSTARTはサーチ範囲開始角度である。なお、図では、粗サーチのΔθを10度、θSTARTを−90度とし、密サーチのΔθを1.5度、θSTARTを−15度としているが、これは一例に過ぎない。受光センサ82の感度特性や制御部90の演算性能並びにモータ84の応答特性などを勘案して最適に設定すればよい。
【0066】
図20は、本実施の形態における制御プログラムの要部(特に「駆動制御処理」)フローチャートである。このフローチャートは、まず、上記粗サーチによる探索モードを実行して反射光86の角度θaを大まかに測定し、次いで、上記密サーチによる捕捉モードを実行して反射光86の角度θaを精密に測定するというものである。
【0067】
<探索モード>
このモードでは、まず、Δθに10度をセットし、θSTARTに−90度をセットすると共に、ループカウンタCに0をセットするという初期化処理を実行する(ステップS50)。次いで、スキャン処理を実行する(ステップS51)。図21は、スキャン処理のサブルーチンフローである。このスキャン処理では、θSTART+Δθ×Cを演算し、その角度になるように受光ユニット81の旋回量を制御する(ステップS51a)。
【0068】
そして、θSTART+Δθ×C度(C=0、1、2、3、・・・・)に向いたときの受光センサ82の出力信号(Pd)を取り込み、そのサンプリング値iを図22に示す配列テーブル92に格納(ステップS51b)した後、Cを+1して更新し(ステップS51c)、スキャンを完了するまで(すなわち、Cの値が粗サーチ範囲の分割数(±90/10=18)に達するまで)、ステップS51a以降を繰り返すと、配列テーブル92に、C=0,1,2,3,・・・・、18の各々に対応するiの値(i0,i1,i2,i3,・・・・、i18)が格納される。
【0069】
そして、スキャン完了を判定(ステップS51dの“YES判定”)すると、配列テーブル92の中からiの最大値を検索し、その最大値を変数imaxにセットするとともに、最大値を格納していた配列Cの値をCmaxにセットして(ステップS51e)、ステップS52の処理に移行する。
【0070】
次に、imaxと所定のしきい値SL1とを比較し(ステップS52)、imax>SL1でない場合は、停止制御値(DL=0,DR=0)を出力してロボット80を停止(ステップS53)させる。一方、imax>SL1である場合は、Ca=<Cmax<=Cbの範囲にCmaxがあるか否かを判断する(ステップS54)。ここにおいて、所定値Caは、ロボット80の進行方向(θ0=0度)に対応するCの値であり、粗サーチを行っている場合は、Ca=6(すなわち、分割数18の1/3の値)である。また、所定値Cbは、ロボット80の進行方向(θ0=0度)に対応するCの値であり、粗サーチを行っている場合は、Ca=12(すなわち、分割数18の2/3の値)である。すなわち、ほぼ前方向でimaxを検出したか否かステップS54で判断し、検出したならばステップS55以降の補足モードに移行する。また、検出できなければ再度ステップS50の処理に戻る。
【0071】
<捕捉モード>
このモードでは、まず、Δθに1.5度をセットし、θSTARTに−15度をセットすると共に、ループカウンタCに0をセットするという初期化処理を実行する(ステップS55)。次いで、前述と同様のスキャン処理(図21)を実行する(ステップS56)。図21において、スキャン処理では、θSTART+Δθ×Cを演算し、その角度になるように受光ユニット81の旋回量を制御する(ステップS51a)。
【0072】
そして、θSTART+Δθ×C度(C=0、1、2、3、・・・・)に向いたときの受光センサ82の出力信号(Pd)を取り込み、そのサンプリング値iを図22に示す配列テーブル92に格納(ステップS51b)した後、Cを+1して更新し(ステップS51c)、スキャンを完了するまで(すなわち、Cの値が密サーチ範囲の分割数(±15/1.5度=20)に達するまで)、ステップS51a以降を繰り返すと、配列テーブル92に、C=0,1,2,3,・・・・、20の各々に対応するiの値(i0,i1,i2,i3,・・・・、i20)が格納される。
【0073】
そして、スキャン完了を判定(ステップS51dの“YES判定”)すると、配列テーブル92の中からiの最大値を検索し、その最大値を変数imaxにセットするとともに、最大値を格納していた配列Cの値をCmaxにセットして(ステップS51e)、ステップS57の処理に移行する。
【0074】
次に、imaxと所定のしきい値SL1とを再度比較し(ステップS57)、imax>SL1でない場合は、再び探索モードに復帰する一方、imax>SL1である場合は、前進/旋回処理(図23)を実行する(ステップS58)。
【0075】
図23において、この前進/旋回処理では、まず、Cmaxが所定値Ccに一致するか否かを判定する(ステップS58a)。ここに、所定値Ccは、ロボット80の進行方向(θ0=0度)に対応するCの値であり、密サーチを行っている場合は、Cc=10(すなわち、分割数20の1/2の値)である。
【0076】
今、Cmax=Cc、すなわち、Cmax=10である場合は、密サーチ範囲の中央(0度)にimaxが位置しているため、反射光の角度θaはロボット80の進行方向である。したがって、この場合は、前進制御値(DL=1,DR=1)を出力してロボット80を前進(ステップS58b)させる。
【0077】
一方、Cmax=Ccでない場合、すなわち、Cmax=10でない場合は、密サーチ範囲の中央(0度)以外にimaxが位置しているため、反射光の角度θaはロボット80の右側または左側である。したがって、この場合は、Cmaxが右側にあるか左側にあるかを、0=<Cmax<Ccの範囲にCmaxがあるか否かで判断する(ステップS58c)。すなわち、0=<Cmax<Ccの範囲にCmaxがあれば、密サーチ範囲の−15度から中央にimaxが位置しているためYes判定となり、0=<Cmax<Ccの範囲にCmaxが無ければ、密サーチ範囲の中央から+15度にimaxが位置していると判断し、No判定となる。そして、この判断結果に応じ、左旋回制御値(DL=0,DR=1)を出力してロボット80を左旋回(ステップS54d)させ、あるいは、右旋回制御値(DL=1,DR=0)を出力してロボット80を右旋回(ステップS54e)させる。
【0078】
このように、本実施の形態においても、ロボット80は、床面などからの反射光86を追いかけながら自走し、たとえば、レーザポインタのような簡単な光線発射具を用いて所望の道筋を指し示すだけで、離れた位置から容易に遠隔走行案内を行なうことができる。したがって、以上の各実施の形態と同様の効果が得られるうえ、さらに、受光センサの数を1個にすることができ、光学系の構成を簡素化することができる。
【0079】
【発明の効果】
本発明によれば、ロボットは、スポット光の画像を操作対象として特定し、その操作対象までの距離又は操作対象の方向を演算し、そのスポット光の変調種別に対応するコマンド処理の実行を含んだ、前記の演算の結果を駆動部に出力して動作態様を制御するので、操作対象の認識を正確且つ安定的に行なうことができる。
【図面の簡単な説明】
【図1】第1の実施の形態の全体的なシステム構成図である。
【図2】受光ユニット15の制御部20で実行される操作対象物認識プログラムのフローチャートである。
【図3】操作対象物までの距離と方向の演算概念図である。
【図4】ロボット14の走行制御例を示す図である。
【図5】第2の実施の形態における光線発射装置33の構成図である。
【図6】受光ユニット15の制御動作を示すフローチャートである。
【図7】第3の実施の形態におけるロボット14aの受光ユニット15aの構成図である。
【図8】受光ユニット15aの制御動作を示すフローチャートである。
【図9】ロボットの走行制御例を示す図である。
【図10】第4の実施の形態におけるロボット51の走行制御例を示す図である。
【図11】自走型ロボットの斜視図及び左側面図並びに底面図である。
【図12】ロボット60の内部システム構成図及び右輪駆動部71R(または左輪駆動部71L)の構成図である。
【図13】制御部70の構成図及びその制御部70の内部で実行される制御プログラムのフローチャートである。
【図14】駆動制御処理の具体例を示す図である。
【図15】受光センサ67L、67C、67Rの感度特性を示す図である。
【図16】iC>SL1、iL=iR<SL1、且つ、iC>>iL=iRの場合の特性図である。
【図17】ロボット80の外観図及び受光ユニット82の水平旋回運動の模式図である。
【図18】ロボット80の内部システム構成図及び受光ユニット81の旋回動作中における受光センサ82の出力信号(Pd)の強度iの変化特性図である。
【図19】粗サーチの概念図及び密サーチの概念図である。
【図20】制御プログラムの要部(特に「駆動制御処理」)のフローチャートである。
【図21】スキャン処理のサブルーチンフローである。
【図22】配列テーブル92の概念図である。
【図23】前進/旋回処理のサブルーチンフローである。
【図24】従来技術におけるロボット3の走行制御例を示す図である。
【符号の説明】
10 光線発射装置
11 ビーム光線
12 操作対象物(操作対象)
14 ロボット
14a(A) ロボット
14a(B) ロボット
18 二次元画像センサ
20 制御部(特定手段、生成手段、判別手段、発生手段)
29 CCD画像(出力画像)
30 スポット画像
33 光線発射装置
45 ビーム光線
51 ロボット
60 ロボット
62 受光ユニット(検知手段)
67R 受光センサ
67C 受光センサ
67L 受光センサ
70 制御部(判定手段、移動制御手段)
80 ロボット
82 受光センサ
86 反射光(輝点)
90 制御部(探索手段、判定手段、移動制御手段)
[0001]
BACKGROUND OF THE INVENTION
  The present inventionA robot equipped with a drive unit and an image sensor,as well as, Robot operation mode control methodAbout.
[0002]
[Prior art]
A mechanical system equipped with a sensor that detects input signals or ambient environmental conditions, and that incorporates operation / guidance devices and programs necessary for the device to respond appropriately or act according to the measurement results. Is generally called a robot. Robots are divided into various forms according to their use. For example, there are various types such as a stationary type used in a factory production line and a self-propelled type used in fields such as logistics. Many robots are common in that they recognize an operation target and perform some action on the operation target.
[0003]
As a method for recognizing the operation target, the robot itself has an image recognition means and processes the image signal to acquire the position information of the operation target. There are two remote types to be recognized. In particular, the latter remote type not only simplifies the structure of the robot, but is flexible in that the operation target can be freely specified according to the use environment. For example, it is a method suitable for use in a self-propelled robot. is there.
[0004]
As a conventional robot technology to which a remote type operation object recognition technique is applied, one using radio is known. This prior art system is composed of a robot body and a remote control device, and an operator operates the remote control device to give position information of an arbitrary operation target to the robot body appropriately.
[0005]
For example, in FIG. 24, when the position information of the operation target 2 existing in a predetermined work area 1 is given to the robot 3, the operator 4 is expressed in the coordinate system of the work area 1 (hereinafter referred to as “work coordinate system”). The position coordinates of the operated object 2 are input to the remote control device 5. The remote control device 5 and the robot 3 are connected so as to be able to communicate with each other using a radio wave 6 as a medium. The input information (positional coordinates of the operation target 2) is transmitted to the robot 3, and the robot 3 After being converted into the robot coordinate system, it is used as input information for the autonomous operation program of the robot 3.
[0006]
[Problems to be solved by the invention]
However, in the above-described conventional robot technology, there is a problem in that the operation target cannot be recognized accurately and stably without unavoidably causing an operation error by the operator 4 for the following reasons (1) and (2). There is a point. In addition, there is a problem that the processing load on the robot body is heavy for the following reason (3).
(1) Although the position recognition of the operation object 2 is performed exclusively by the visual judgment of the operator 4, it is considerably difficult to interpret the accurate position coordinates in the work area 1 by visual observation, and an error in position recognition is inevitable.
(2) Even if accurate position recognition can be performed, the input of the position information to the remote control device 5 is performed manually by the operator 4, so an input error cannot be denied.
(3) Since coordinate conversion (conversion from the working coordinate system to the robot coordinate system) is performed by the robot body, the overhead of the conversion process is large.
[0007]
  Therefore, the problem to be solved by the present invention is:In robotsAn object of the present invention is to provide a technique capable of accurately and stably recognizing an operation target.
[0008]
[Means for Solving the Problems]
  The invention described in claim 1In the robot (14) provided with the drive unit (28),An image sensor (18) and an image corresponding to a frame periodically output from the image sensor,Spot light by a beam ray (11) emitted from a ray emitting device (33) existing outside the robotWas hitImage of operation object (12)By the first determination means (20) for determining whether or not is included, and the first determination meansAboveSpot light was appliedImage of operation objectIs determined to be included,The distance between this robot and the operation target, or the direction of the operation target viewed from this robotWhen the calculation means (20) for calculating at least one of the above and the image to which the spotlight is applied by the first determination means are includedJudgmentThen, of this spot lightModulation typeThe second determination means (20) for determiningModulation typeIncluding the execution of command processing corresponding to theThe drive unitOutput toFor the operation object of this robotAnd a control means (28) for controlling the operation mode.
  The invention according to claim 2 is the invention according to claim 1,The operation objectTowardsThis operation objectIt further has irradiation means (20, 46, 47) for irradiating a beam including information declaring that it has been captured..
  According to a third aspect of the present invention, there is provided an operation mode control method for a robot including a drive unit and an image sensor, wherein the image sensorTo images corresponding to frames output periodically fromSpot light by a beam ray (11) emitted from a ray emitting device (33) existing outside the robotWas hitOf the operation objectFirst determination step (step S12) for determining whether or not an image is included, and the first determinationAt stepSpot light was appliedOf the operation objectIncludes imagesIt is rareThe spot lightModulation typeIn the second determination step (step S21) for determining the above and the first determination stepAboveSpot light was appliedImage of operation objectIs determined to be included,The distance between this robot and the operation target, or the direction of the operation target viewed from this robotA calculation step (step S14) for calculating at least one;In the second determination stepJudgedModulation typeIncluding execution of command processing corresponding toIn the calculation stepCalculated resultsIn the drive unitOutputFor the operation object of this robotAnd a control step (steps S15 and S22 to S25) for controlling the operation mode.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is an overall system configuration diagram of the embodiment. In this figure, a light beam emitting device 10 is, for example, a commercially available laser pointer that emits a narrowly narrowed beam beam 11. An operator (not shown) operates this light beam emitting device 10 to irradiate the beam beam 11. Control the direction. Now, assuming that the beam ray 11 is irradiated toward an arbitrary object 12 (hereinafter, “operation object”), a spot light 13 having a small area corresponding to the beam width of the beam ray 11 is formed on the surface of the operation object 12. It is formed. The spot light 13 is irregularly reflected on the surface of the operation target 12, and a part thereof is received by the light receiving unit 15 provided in the robot 14.
[0010]
The light receiving unit 15 includes an optical lens 16 that focuses the spot light 13 to form an image, an optical filter 17 that removes disturbance light other than the wavelength region of the spot light 13, and a two-dimensional image that converts the image to an image signal. A sensor (typically a CCD: Charge Coupled Device) 18, an image signal generator 19 for converting an analog image signal into a digital image signal, and a predetermined control program (especially an “operation object recognition program” described later) To control the operation of the light receiving unit 15 (corresponding to the specifying means, generating means, discriminating means, and generating means described in the gist of the invention) 20, a program memory 21 for storing the predetermined control program, An image memory 22 that stores the image signal generated by the image signal generation unit 19 in units of frames, and information generated by executing the predetermined control program. It includes an interface 23 for outputting (information indicating the distance and direction from the current position of the robot 14 to the spot light 13) to the traveling section 25, and a bus 24 that connects the respective units.
[0011]
The traveling unit 25 is based on the information input unit 26 that captures output information 26a from the light receiving unit 15 and output information 26b and 26c from various sensors (not shown) (for example, an orientation sensor and a travel distance sensor), and the input information. A controller 27 that calculates a self-running control value of the robot 14 and a travel drive unit 28 that drives the travel mechanism of the robot 14 based on the self-running control value. The traveling unit 25 is a main part for causing the robot 14 to react or act. In the present embodiment, the operation mode in the main part is handled as “running”, but this is an example for explanation, and the present invention is not limited to this. For example, in the case of an arm type robot, the driving of the arm, the movement of the gripping mechanism at the tip of the arm, and the like correspond to the above-described operation mode.
[0012]
FIG. 2 is a flowchart of an operation object recognition program executed by the control unit 20 (identifying means, generating means, determining means, generating means) of the light receiving unit 15. In this flowchart, first, an image (hereinafter referred to as “CCD image”) corresponding to one frame image (one screen) periodically output from the two-dimensional image sensor 18 is captured and written into the image memory 22 ( Step S11) Next, it is determined whether or not the stored information (CCD image) in the image memory 22 includes an image irradiated with the spot light (Step S12). After the direction is regularly searched or randomly searched (step S13), the process returns to step S11. On the other hand, when it is determined that there is an image irradiated with the spot light, the operation object corresponding to the image is detected. The distance and direction are calculated (step S14), and the calculated value is output to the traveling unit 25 (step S15), and then the process returns to step S11 again. This operation is repeated.
[0013]
Here, the calculation concept of the distance and direction to the operation target in step S14 will be described with reference to the drawings. FIG. 3A shows a CCD image 29 (output described in the gist of the invention) immediately after the operation object 12 is irradiated with the beam 11 and the spot light 13 as reflected light is received by the light receiving unit 15 of the robot 14. Equivalent to an image). In this figure, if the position of the image 30 to which the spot light included in the CCD image 29 is applied is as shown in the figure, that is, it is shifted by a distance D from the lateral center Pa of the CCD image 29 and the lower end of the CCD image 29 If it is assumed that there is a distance L from Pb, the distance and direction to the predetermined operation object 12 can be obtained from these parameters (D and L). This is because the distance D corresponds to the orientation viewed from the robot 14, and the distance L corresponds to the separation distance from the robot 14 to the image 30 to which the spot light 13 is applied.
[0014]
Therefore, the values of D and L or values correlated therewith are used as calculated values of the distance and direction to the operation target 12 in step S14, and these calculated values are given to the traveling unit 25 to decrease the calculated values. Thus, by moving and updating the current position of the robot 14, finally, as shown in FIG. 3B, an image 31 including the operation target object 12 struck by the spot light 13 included in the CCD image 29. Can be converged to the vicinity of the coordinates (Pa, Pb), and as a result, the operation target 12 can be positioned close to the front of the robot 14.
[0015]
FIG. 4 is a diagram showing an example of travel control of the robot 14 using the above embodiment. One of the plurality of operation objects 12a to 12c that freely run around is designated, and the robot 14 designates the designated operation object. It is a figure which shows the example tracked. In the figure, an operator 32 irradiates the beam 11 of the beam emitting device 10 toward one operation target (the operation target 12a in the figure), and the robot 14 spot light reflected by the operation target 12a. 13 is received. As described above, the robot 14 according to the embodiment captures an image of the spot light 13 with the two-dimensional image sensor to generate a CCD image, and in the image including the operation object 12 included in the CCD image, the operation object Since the travel control is performed so that the position of 12 is converged to a predetermined position (Pa, Pb), and the operation target 12a can be positioned close to the front of the robot 14, any operation target is eventually obtained. Only by continuing to irradiate the object 12 a with the beam 11, the robot 14 can follow the movement of the operation target 12 a.
[0016]
(Second Embodiment)
By the way, in the above-described embodiment, the operation target 12a is irradiated with the beam 11 and the position information of the operation target 12a is given to the robot 14. At the same time, various command commands can be given to the robot 14. There is room for improvement in that it cannot be done.
[0017]
FIG. 5 is a configuration diagram of the light beam emitting device 33 according to the present embodiment. The light beam emission device 10 according to the above embodiment is improved, and various command information is given to the robot 14 together with position information of the operation target 12a. It is something that can be done. In the figure, a plurality (N in the figure) of command buttons 34 to 37 are a first command button 34, a second command button 35, a third command button 36,. Various operation commands of the robot 14 are assigned to these command buttons.
[0018]
Each of the i-th (i is 1 to N; the same applies hereinafter) command buttons 34 to 37 are a first modulation signal generator 38, a second modulation signal generator 39, a third modulation signal generator 40,. The i-th modulation signal is output from the i-th modulation signal generation unit connected to the command button by operating the i-th command button. Here, the first modulation signal generated by the first modulation signal generator 38 is M1, the second modulation signal generated by the second modulation signal generator 39 is M2, and the third modulation signal is generated by the third modulation signal generator 40. Assuming that the signal is M3,..., And the Nth modulation signal generated by the Nth modulation signal generator 41 is MN, M1 to MN are signals in different modulation states, for example, signals having different on / off cycles.
[0019]
The signal selection unit 42 selects one of the modulation signals from M1 to MN (the modulation signal corresponding to the i-th command button in the operation state), outputs the selected modulation signal Mi, and the optical drive unit 43 Drives the light emitting operation of the light emitting unit 44 that emits the beam 45 in accordance with the selected modulation signal Mi.
[0020]
FIG. 6 is a flowchart showing the control operation of the light receiving unit 15 in the present embodiment, and is an example in which a part of the operation object recognition program (see FIG. 2) of the embodiment is improved. In this figure, if the same step number is assigned to the processing portion common to FIG. 2, the point in the present embodiment is that after determining that there is an image irradiated with spot light (step S12), This is in that it includes step S20 for determining the modulation state based on the spot light and performing command processing for each determination.
[0021]
That is, when it is determined that there is an image in step S12, first, in step S21, the modulation type of the spot light is determined from the tendency of temporal luminance change of the spot light reflected from the image. Then, for each modulation type (first modulation, second modulation, third modulation,..., Nth modulation), a first command process (step S22), a second command process (step S23), and a third command process. (Step S24)... After executing the Nth command process (Step S25), the distance and direction to the operation target are calculated (Step S14) as in the above embodiment.
[0022]
Therefore, according to the present embodiment, by irradiating an arbitrary operation target object with the beam 45 from the light emitting device 33, the position information of the operation target object is transmitted to the robot 14 as in the above-described embodiment. In addition, by selectively operating the command buttons 34 to 37 of the light emitting device 33, a specific effect that one of N types of command processing can be executed by the robot 14 is obtained.
[0023]
(Third embodiment)
FIG. 7 is a diagram showing a third embodiment of the present invention, which is an example in which a light driving unit 46 and a light emitting unit 47 are added to the light receiving unit 15a of the robot 14a. The light driving unit 46 drives the light emitting operation of the light emitting unit 47 with the modulation type when a modulation signal of a predetermined modulation type is given from the control unit 20. A beam 48 modulated with a modulation signal of the modulation type is emitted. Here, it is desirable that the emitting direction of the beam 48 is as close as possible to the incident direction of the spot light 13. Although details will be described later, it is for irradiating the operation target object that reflects the spot light 13 (near the reflection point of the spot light 13 on the surface thereof) with the beam ray 48.
[0024]
FIG. 8 is a flowchart showing the control operation of the light receiving unit 15a in the present embodiment, and is an example in which a part of the operation object recognition program (see FIG. 2) of the embodiment is improved. In this figure, if the same step numbers are assigned to the processing portions common to FIG. 2, the point in the present embodiment is that it includes step S30. That is, after determining the presence of an image (step S12), it is determined whether or not the modulation state of the spot light (reflected light) is a predetermined modulation type (step S31), and if the determination result is “YES” The random search (step S13) is performed in the same manner as in the above embodiment. If “NO”, the light emitting unit 47 is driven with a predetermined modulation type (step S32), and then the same operation as in the above embodiment is performed. The point is to calculate the distance and direction to the object (step S14).
[0025]
FIG. 9 is a diagram showing an example of robot traveling control using the present embodiment. One of a plurality of operation objects 12a to 12c that freely run around is designated, and a plurality of the designated operation objects (FIG. FIG. 4 is a diagram showing an example in which two robots 14a are tracked for convenience. Hereinafter, in the figure, each of the robots 14a will be identified with reference numerals A and B.
[0026]
Now, it is assumed that a beam beam is irradiated from a beam emitting device (not shown) to one operation target 12a in the drawing, and reflected light (spot light) of the beam beam is first captured by the robot 14a (A), for example. Assume. In this case, the determination result in step S31 of FIG. 8 in the robot 14a (A) is “NO”, and as a result of executing step S32, the beam ray 48 modulated with the predetermined modulation type is the operation target from the robot 14a (A). Fired toward the object 12a. When the reflected light (spot light 48a) of the beam 48 is captured by another robot 14a (B), the determination result in step S31 of FIG. 8 in this robot 14a (B) is “YES”. In this robot 14a (B), step S32 is not executed, and a random search (step S13) is executed instead.
[0027]
In other words, according to the present embodiment, the beam ray 48 including information (predetermined modulation type) declaring that from the robot 14a (A) that has previously captured the designated operation object 12a is the operation object. The other robot 14a (B) receiving the reflected light of the beam 48 (spot light 48a modulated with a predetermined modulation type) ignores the operation target 12a. The discriminating effect of not tracking is obtained. Therefore, even in an environment where there are a plurality of robots 14a (A) and 14a (B), a specific effect is obtained in which an operation target can be assigned to any one robot. It is done.
[0028]
(Fourth embodiment)
In each of the above embodiments, the operation target of the robot is handled as an “object”, but the intended scope of the present invention is not limited to this. For example, as shown in FIG. 10, a beam 11 from a beam emitting device 10 held by an operator 32 is irradiated to an operation target other than an object such as a floor surface or a road surface (hereinafter referred to as “road surface 50”), and the reflection thereof. The light (spot light 13) may be captured by the light receiving unit 52 of the robot 51. The illustrated robot 51 is a self-propelled robot (for example, a self-propelled vehicle), and autonomously controls the traveling direction of the robot 51 based on the image signal of the spot light 13 as in the above-described embodiments. Is.
[0029]
According to this embodiment, since the robot 51 travels so as to follow the irradiation point of the beam 11, it can perform remote travel guidance such as radio control, for example, an unmanned fire extinguishing vehicle or explosive material transporting vehicle. Or it can apply to remote control systems, such as a landmine detection vehicle. In addition, it is possible to perform simple operation only by controlling the irradiation direction of the beam from the light emitting device 10, and no special training is required unlike radio control, so that anyone can easily guide the traveling of the robot 51. A unique effect is obtained.
[0030]
(Fifth embodiment)
FIG. 11 is a diagram showing a specific example of the appearance of a self-propelled robot (hereinafter simply referred to as a robot), where (a) is a perspective view, (b) is a left side view, and (c) is a bottom view. . The robot 60 includes a main body 61 and a light receiving unit 62 (detecting means) fixedly attached to the upper surface of the main body 61.
[0031]
The main body 61 includes a pair of left and right front wheels 63L and 63R (the subscript L indicates left and R indicates right. The same applies hereinafter) and one rear wheel 64. It is designed to perform forward movement and left / right turning movement in a three-wheel system. That is, the left and right front wheels 63L and 63R are individually driven by the left and right motors 65L and 65R, respectively, and the rear wheel 64 is a rotation-free driven wheel, and the arm 66 freely moves the driven direction. It is attached to the main body 61 so as to change, and the left and right motors 65L and 65R are rotated by the same amount to advance, and the left and right motors 65L and 65R are differentially rotated (the amount of rotation is made different). To turn left and right.
[0032]
In the light receiving unit 62, three light receiving sensors 67L, 67C, 67R arranged in the horizontal direction are mounted. These light receiving sensors 67L, 67C, and 67R (subscript C indicates the center) are operation objects other than objects such as a floor surface and a road surface as in the light receiving unit 52 in the fourth embodiment (see FIG. 10 (see spot light 13 in FIG. 10; this spot light 13 corresponds to “bright spot” described in the gist of the invention).
[0033]
FIG. 12A is an internal system configuration diagram of the robot 60 in the present embodiment. In this figure, the control unit 70 (determination means, movement control means) takes in the output signals (PdR, PdC, PdL) taken out from the three light receiving sensors 67L, 67C, 67R of the light receiving unit 62, and these three signals. The direction of the reflected light is determined based on (PdR, PdC, PdL), and a control value for causing the robot 60 to self-run in that direction is calculated.
[0034]
For example, if the robot 60 performs forward, stop, left turn, or right turn movements, these four movement states can be represented by 2-bit information. “00 = stop”, “11 = forward”, “01 = turn left”, “10 = turn right”, the upper bit is the left drive signal DL, and the lower bit is the right drive signal DR. These are input to the drive unit 71R for the right motor 65R (hereinafter referred to as “right wheel drive unit 71R”) and the drive unit 71L for the left motor 65L (hereinafter referred to as “left wheel drive unit 71L”).
[0035]
FIG. 12B is a configuration diagram of the right wheel drive unit 71R (or the left wheel drive unit 71L). Hereinafter, the configuration of the right wheel drive unit 71R will be described as a representative, but the configuration of the left wheel drive unit 71L is also the same. The right wheel drive unit 71R has two switch elements 73 and 74 whose contacts are switched by the control from the switching unit 72, and the motor 65R when the contact points of the switch elements 73 and 74 are at the A position (or C position). A battery 73 that supplies a DC voltage, and a load element 74 that consumes the electromotive force of the motor 65R and applies regenerative braking when the contacts of the switch elements 73 and 74 are at the B position (or C position).
[0036]
The motor 65R rotates in one direction (hereinafter referred to as “forward rotation”) when the contact points of the switch elements 73 and 74 are at the A position, and the right front wheel 63R rotates in the forward direction by this forward rotation. To do. By the way, when the contacts of the switch elements 73 and 74 are set to the C position, the polarity of the battery 73 is switched and applied to the motor 65R. In this case, the motor 65R rotates in the reverse direction, and the right front wheel 63R rotates in the reverse direction due to the reverse rotation. However, in the present embodiment, since “backward movement” is not assumed, the C position is not particularly mentioned in the following description.
[0037]
The right drive signal DR is input to the switching unit 72 of the right wheel drive unit 71R, and the right drive signal DR is “00 = stop”, “11 = forward”, “01 = left turn”, and “10 = The lower bits of “turn right”. That is, since the logical value of DR is “0” during stop control and right turn control, and “1” during forward control and left turn control, the switching unit 72 of the right wheel drive unit 71R When = 1, the contacts of the switch elements 73 and 74 are set to the A position, and when DR = 0, the contacts are set to the B position.
[0038]
Similarly, the left drive signal DL is input to the switching unit 72 of the left wheel drive unit 71L. The left drive signal DL is “00 = stop”, “11 = forward”, “01 = left turn”, and “ “10 = turn right”. That is, the logical value of DL is “0” during stop control and left turn control, and “1” during forward control and right turn control. Therefore, the switching unit 72 of the left wheel drive unit 71L has DL = When 1, the contacts of the switch elements 73 and 74 are set to the A position, and when DL = 0, the contacts are set to the B position.
[0039]
Therefore, when the control value (“DL, DR”) output from the control unit 70 is “00 = stop”, the motor 65R for driving the right front wheel 63R stops revolving by applying regenerative braking, and the left front wheel 63L. Since the driving motor 65L also applies regenerative braking to stop the rotation, the robot 60 "stops" on the spot.
[0040]
When the control value (“DL, DR”) is “01 = left turn”, the motor 65R for driving the right front wheel 63R rotates forward and the motor 65L for driving the left front wheel 63L applies regenerative braking. Therefore, the robot 60 "turns left" on the spot.
[0041]
When the control value (“DL, DR”) is “10 = turn right”, the motor 65R for driving the right front wheel 63R stops its rotation by applying regenerative braking, and the motor for driving the left front wheel 63L. Since 65L rotates forward, the robot 60 "turns right" on the spot.
[0042]
Next, the configuration of the control unit 70 of the robot 60 and the processing operation thereof will be described. FIG. 13 is a configuration diagram of the control unit 70 and a flowchart of a control program executed in the control unit 70. First, the configuration will be described. The control unit 70 includes a CPU 71a that executes a control program, a ROM 71b that stores the control program, a RAM 71c that provides a work area (control program execution area) to the CPU 71a, and a light receiving unit 62. An input interface (abbreviated as I / F in the figure) 71d that converts the output signals (PdR, PdC, PdL) extracted from the two light receiving sensors 67L, 67C, 67R into digital signals at a predetermined cycle, and 71d. An output interface 71e that outputs control values (DL, DR) and a bus 71f that connects these units are provided.
[0043]
Next, the control program includes a sampling process (step S40) for acquiring output signals (PdR, PdC, PdL) taken out from the three light receiving sensors 67L, 67C, 67R of the light receiving unit 62, and a control value (DL, DR) is periodically executed with a drive control process (step S41) for calculating and outputting (DR).
[0044]
FIG. 14 is a diagram showing a specific example of the drive control process. In this example, first, the maximum of the respective sampling values of PdR, PdC, and PdL (hereinafter referred to as “iL”, “iC”, and “iR”). A value is obtained, and the maximum value is compared with a predetermined threshold value SL1 (step S41a). Max () is a general-purpose function whose maximum value is a return value among a plurality of values passed as arguments.
[0045]
If the return value of Max (iL, iC, iR) does not exceed the threshold value SL1, the output signals (PdR, PdC, PdL) taken out from the three light receiving sensors 67L, 67C, 67R of the light receiving unit 62 are Since both are small values and the reflected light from the floor surface or the like (see spot light 13 in FIG. 10) is not captured, a control value (“00”) for stopping is generated (step S41b). The lower bit (0) is output as DR to the right wheel drive unit 71R, and the upper bit (0) is output as DL to the left wheel drive unit 71L.
[0046]
On the other hand, when the return value of Max (iL, iC, iR) exceeds the threshold value SL1, output signals (PdR, PdC, PdL) taken out from the three light receiving sensors 67L, 67C, 67R of the light receiving unit 62 are displayed. ) Is a large value, and the reflected light from the floor surface or the like (see the spot light 13 in FIG. 10) is captured, so which signal is the maximum value to determine the capturing direction. Is identified (step S41c).
[0047]
For example, when iL is the maximum value, the captured direction of reflected light is on the left side with respect to the traveling direction of the robot 60, or when iR is the maximum value, the captured direction of reflected light is the traveling direction of the robot 60. On the right side. Therefore, when iL is the maximum value, a left turn control value ("01") is generated (step S41d), and its lower bit (1) is output as DR to the right wheel drive unit 71R. The upper bit (0) is output as DL to the left wheel drive unit 71L. Alternatively, if iR is the maximum value, a control value for right turn (“10”) is generated (step S41e), and its lower bit (0) is output as DR to the right wheel drive unit 71R. The upper bit (1) is output as DL to the left wheel drive unit 71L.
[0048]
As a result, the robot 60 turns left when the reflected light is captured on the left side with respect to its traveling direction, and turns right when the reflected light is captured on the right side. It is possible to obtain a movement effect of dynamically changing the course while following the “bright spot”).
[0049]
Here, when iC is the maximum value, the reflected light is captured in the traveling direction of the robot 60, so the forward control value ("11") may be generated as it is (step S41h). Taking into account the sensitivity characteristics of the light receiving sensors 67L, 67C, 67R (especially 67C), the difference between iC and iR (iC-iR) and the difference between iC and iL (iC-iL) are calculated. Only when the predetermined value SL2 is larger than the predetermined threshold value SL2, the forward control value ("11") is generated (step S41h), and the lower bit (1) is output as DR to the right wheel drive unit 71R. At the same time, it is desirable to output the upper bit (1) as DL to the left wheel drive unit 71L.
[0050]
FIG. 15A is a diagram illustrating sensitivity characteristics of the light receiving sensors 67L, 67C, and 67R. In this figure, the line passing through 0 degrees indicates the optical axis center line of the light receiving sensor, and the lines passing through ± 30 degrees, ± 60 degrees, or ± 90 degrees each indicate an angle line from the optical axis center. The light receiving sensors 67L, 67C, and 67R have the best sensitivity at the optical axis center line, but have a low sensitivity even at an angle off the optical axis center. Therefore, the signals of the light receiving sensors 67L, 67C, and 67R have a substantially mountain-shaped distribution in which each optical axis center has the maximum sensitivity and the sensitivity gradually decreases as the distance from the optical axis center increases.
[0051]
FIG. 15B is a characteristic diagram when iL = iC = iR <SL1. ΘL is the optical axis central angle of the light receiving sensor 67L, θC is the optical axis central angle of the light receiving sensor 67C, and θR is the optical axis central angle of the light receiving sensor 67R. In this case, the output signals (PdR, PdC, PdL) extracted from the three light receiving sensors 67L, 67C, 67R are all small values, and reflected light from the floor surface (see spot light 13 in FIG. 10). Is not captured, a stop control value (“00”) may be generated (step S41b).
[0052]
FIG. 15C is a characteristic diagram when iL> SL1 and iC = iR <SL1. In this case, since iL is the maximum value and the captured direction of the reflected light is on the left side with respect to the traveling direction of the robot 60, a control value for turning left ("01") may be generated (step S41d).
[0053]
FIG. 15D is a characteristic diagram in the case of iR> SL1 and iC = iL <SL1. In this case, since iR is the maximum value and the captured direction of the reflected light is on the right side with respect to the traveling direction of the robot 60, a control value ("10") for turning right may be generated (step S41e). .
[0054]
On the other hand, FIG. 16A is a characteristic diagram when iC> SL1, iL = iR <SL1, and iC >> iL = iR. Obviously, when iC is the maximum value (iC >> iL = iR), the capture direction of the reflected light is the traveling direction of the robot 60, and therefore, a forward control value ("11") may be generated (step 11). S41h).
[0055]
However, even if iC> SL1 and iL = iR <SL1, if the difference between iC and iL (iC-iL) or the difference between iC and iR (iC-iR) is small, for example, FIG. In the case of 16 (c), since the reflected light capturing direction is slightly to the right of the traveling direction of the robot 60, the course is changed in small increments rather than simply performing forward control (see FIG. 16 (b)). If so, right turn control) should be performed. That is, step S41f and step S41g in FIG. 14 are intentionally provided in order to make such a small course change.
[0056]
As described above, also in the fifth embodiment, since the robot 60 is self-propelled to follow the reflected light (bright spot) from the floor surface or the like, for example, a simple light emitting tool such as a laser pointer is used. It is possible to easily perform remote travel guidance from a remote location simply by pointing to a desired route. Further, the image recognition processing (see FIG. 3) as in the other embodiments is not required, and a plurality of light receiving sensors (for example, three light receiving sensors 67R, 67C, 67L) and signals from these sensors are received. Since a processing unit (control unit 70) for processing may be provided, the cost can be reduced as compared with the other embodiments. Further, the light emitting tool is not limited to a hand-held one (eg, laser pointer). For example, it may be one that is attached to a fixed structure such as an indoor structure such as a ceiling or a wall surface or an outdoor structure such as a utility pole, and can irradiate a beam in any direction by remote control (for example, a projector).
[0057]
In the present embodiment, the three light receiving sensors 67R, 67C, and 67L are provided, but the present invention is not limited to this. For example, it can be realized by two light receiving sensors arranged on the left and right. When the reflected light is positioned in front of the robot 60 in the traveling direction, the output signals of the two light receiving sensors have substantially the same magnitude, and when the reflected light is positioned on the right side in the traveling direction, the right light reception is performed. This is because the output signal of the left light receiving sensor increases when the output signal of the sensor increases and the reflected light is positioned on the left side in the traveling direction. Further, as shown in the drawing, the plurality (two, three, or more) of the light receiving sensors may be individual light receiving elements (light receiving sensors 67R, 67C, 67L) that are physically independent, A light receiving device in which a plurality of light receiving elements are mounted in one package (or on a substrate), for example, a light receiving device such as a PSD, a CCD, or a CMOS type may be used.
[0058]
(Sixth embodiment)
Alternatively, it can be realized by a single light receiving sensor. FIG. 17A is an external view of a robot 80 according to the sixth embodiment. In FIG. 17A, the same reference numerals are given to the same components as those in the fifth embodiment, and the description thereof is omitted. The light receiving unit 81 of the robot 80 has one light receiving sensor 82 mounted thereon and is attached to the main body 61 of the robot 80 so as to be able to turn horizontally. A turning shaft 83 of the light receiving unit 81 is provided inside the main body 61. The shaft 84 coincides with the rotation shaft 85 of the motor 84.
[0059]
FIG. 17B is a schematic diagram of the horizontal turning motion of the light receiving unit 82. The light receiving unit 82 can perform a turning motion of a maximum of 180 degrees by driving the motor 84. In other words, the traveling direction of the robot 80 is θ0Is the maximum θ0-90 degrees to θ0You can turn up to +90 degrees. The robot 80 in the present embodiment roughly captures reflected light (corresponding to a bright spot) 86 from the floor surface or the like with the maximum turning range (± 90 degrees) as a rough search range, and further, Capture angle θa (θ0By performing a fine search in a narrow turning range (for example, ± 15 degrees) centered on the angle with respect to the angle), the direction of the reflected light 86 can be accurately specified, and the robot 80 can be caused to self-run in that direction.
[0060]
FIG. 18A is an internal system configuration diagram of the robot 80 in the present embodiment. In this figure, a control unit 90 (search means, determination means, movement control means) takes in an output signal (Pd) taken out from one light receiving sensor 82 of the light receiving unit 81, and based on the signal (Pd). Although the same as the fifth embodiment in that the direction of the reflected light 86 is determined and the control values (DL, DR) for causing the robot 80 to self-run in that direction are calculated, the light receiving unit 81 is turned. The fifth control value (DU) is calculated and output to the driving unit 91 for driving the turning of the light receiving unit 81 (the internal configuration is the same as the right wheel driving unit 71R and the left wheel driving unit 71L). This is different from the embodiment.
[0061]
The configuration of the control unit 90 in the present embodiment is basically the same as that of the control unit 70 in the fifth embodiment. That is, the control program is executed by the CPU and the execution result is output as a control value. The difference is that the contents of the control program and the control value (DU) for turning the light receiving unit 81 are newly set. It is in the point made to output.
[0062]
FIG. 18B is a change characteristic diagram of the intensity i of the output signal (Pd) of the light receiving sensor 82 during the turning operation of the light receiving unit 81. In this figure, θ0Is the traveling direction of the robot 80 at that time, and θa is the direction of the reflected light 86. The intensity i of the output signal (Pd) of the light receiving sensor 82 increases as the optical axis center of the light receiving sensor 82 approaches the direction of θa, and is maximum when the optical axis center of the light receiving sensor 82 matches the direction of θa. A change characteristic is shown in which the optical axis center of the light receiving sensor 82 becomes smaller as the distance from the direction of θa increases.
[0063]
The control program executed by the control unit 90 must be able to specify the angle (θa) of the i peak point on the change characteristic while controlling the turning motion of the light receiving unit 81, but the output signal of the light receiving sensor 82 Since (Pd) is taken into the control unit 90 after sampling (that is, digitizing) every predetermined period, the actual change characteristic of the intensity i does not become a continuous curve as shown in FIG. The jump value (discrete value) is discretized for each sampling period. For this reason, unless the calculation performance of the control unit 90 is particularly excellent, it is not possible to specify the angle (θa) of the i peak point on the change characteristic by only one search (a wide range of turning motion of the light receiving unit 81). Have difficulty.
[0064]
In the present embodiment, in consideration of such points, the coarse search and the fine search of the light receiving unit 81 are used in combination. FIG. 19A is a conceptual diagram of the coarse search, and FIG. 19B is a conceptual diagram of the fine search. In the coarse search, a search range of ± 90 degrees is set, and the range is divided into increments of 10 degrees, and the output signal (Pd) of the light receiving sensor 82 is sampled while stopping the light receiving unit 81 for each angle. On the other hand, in the fine search, a search range of ± 15 degrees is set, and the range is divided into steps of 1.5 degrees, and the output signal (Pd) of the light receiving sensor 82 is sampled while stopping the light receiving unit 81 for each angle. Do. Both are common in that the search range is subdivided and sampling is performed for each angle.
[0065]
In the figure, Δθ is the subdivision angle, θSTARTIs the search range start angle. In the figure, Δθ of the coarse search is 10 degrees, θSTARTIs -90 degrees, Δθ of the fine search is 1.5 degrees, θSTARTIs -15 degrees, but this is only an example. What is necessary is just to set optimally considering the sensitivity characteristic of the light receiving sensor 82, the calculation performance of the control unit 90, the response characteristic of the motor 84, and the like.
[0066]
FIG. 20 is a flowchart (particularly “drive control process”) of the control program in the present embodiment. In this flowchart, first, the search mode by the coarse search is executed to roughly measure the angle θa of the reflected light 86, and then the capture mode by the fine search is executed to precisely measure the angle θa of the reflected light 86. It is to do.
[0067]
<Search mode>
In this mode, first, Δθ is set to 10 degrees and θSTARTIs set to -90 degrees, and initialization processing is executed to set the loop counter C to 0 (step S50). Next, a scan process is executed (step S51). FIG. 21 is a subroutine flow of scan processing. In this scan process, θSTART+ Δθ × C is calculated, and the turning amount of the light receiving unit 81 is controlled so as to be the angle (step S51a).
[0068]
And θSTARTThe output signal (Pd) of the light receiving sensor 82 when it is directed to + Δθ × C degrees (C = 0, 1, 2, 3,...) Is taken, and the sampling value i is stored in the array table 92 shown in FIG. After storing (step S51b), C is incremented by 1 (step S51c), and scanning is completed (that is, until the value of C reaches the number of divisions (± 90/10 = 18) of the coarse search range). When step S51a and subsequent steps are repeated, the value of i corresponding to each of C = 0, 1, 2, 3,.0, I1, I2, IThree, ..., i18) Is stored.
[0069]
When the scan completion is determined (“YES determination” in step S51d), the maximum value of i is searched from the array table 92, the maximum value is set in the variable imax, and the array in which the maximum value is stored is stored. The value of C is set to Cmax (step S51e), and the process proceeds to step S52.
[0070]
Next, imax is compared with a predetermined threshold value SL1 (step S52). If imax> SL1, the stop control value (DL = 0, DR = 0) is output and the robot 80 is stopped (step S53). ) On the other hand, if imax> SL1, it is determined whether Cmax is in the range of Ca = <Cmax <= Cb (step S54). Here, the predetermined value Ca is the traveling direction of the robot 80 (θ0= 0 degree), and when coarse search is performed, Ca = 6 (that is, 1/3 of the number of divisions 18). In addition, the predetermined value Cb is the traveling direction of the robot 80 (θ0= 0 degree), and when coarse search is performed, Ca = 12 (that is, 2/3 of the number of divisions 18). That is, it is determined in step S54 whether or not imax has been detected substantially in the forward direction, and if detected, the process proceeds to a supplement mode after step S55. If it cannot be detected, the process returns to step S50 again.
[0071]
<Capture mode>
In this mode, first, Δθ is set to 1.5 degrees and θSTARTIs set to −15 degrees, and initialization processing is executed to set the loop counter C to 0 (step S55). Next, the same scan process (FIG. 21) as described above is executed (step S56). In FIG. 21, in the scanning process, θSTART+ Δθ × C is calculated, and the turning amount of the light receiving unit 81 is controlled so as to be the angle (step S51a).
[0072]
And θSTARTThe output signal (Pd) of the light receiving sensor 82 when it is directed to + Δθ × C degrees (C = 0, 1, 2, 3,...) Is taken, and the sampling value i is stored in the array table 92 shown in FIG. After storing (step S51b), C is incremented by 1 (step S51c), and scanning is completed (that is, the value of C is equal to the number of divisions of the fine search range (± 15 / 1.5 degrees = 20)). , Until step S51a is repeated, the value of i corresponding to each of C = 0, 1, 2, 3,.0, I1, I2, IThree, ..., i20) Is stored.
[0073]
When the scan completion is determined (“YES determination” in step S51d), the maximum value of i is searched from the array table 92, the maximum value is set in the variable imax, and the array in which the maximum value is stored is stored. The value of C is set to Cmax (step S51e), and the process proceeds to step S57.
[0074]
Next, imax is compared again with a predetermined threshold value SL1 (step S57). If imax> SL1, the search mode is returned again. On the other hand, if imax> SL1, forward / turn processing (FIG. 23) is executed (step S58).
[0075]
In FIG. 23, in the forward / turning process, first, it is determined whether or not Cmax matches a predetermined value Cc (step S58a). Here, the predetermined value Cc is the traveling direction of the robot 80 (θ0= 0 degree), and when a fine search is performed, Cc = 10 (that is, a value that is 1/2 of the number of divisions 20).
[0076]
If Cmax = Cc, that is, Cmax = 10, imax is located at the center (0 degree) of the fine search range, and thus the angle θa of the reflected light is the traveling direction of the robot 80. Therefore, in this case, the forward control value (DL = 1, DR = 1) is output to advance the robot 80 (step S58b).
[0077]
On the other hand, if Cmax = Cc, that is, if Cmax = 10, imax is located outside the center (0 degree) of the fine search range, and therefore the angle θa of the reflected light is on the right or left side of the robot 80. . Therefore, in this case, whether Cmax is on the right side or the left side is determined by whether Cmax is in the range of 0 = <Cmax <Cc (step S58c). That is, if Cmax is in the range of 0 = <Cmax <Cc, imax is located in the center from −15 degrees of the fine search range, so a Yes determination is made. If Cmax is not in the range of 0 = <Cmax <Cc, Then, it is determined that imax is located at +15 degrees from the center of the dense search range, and No determination is made. Then, according to this determination result, a left turn control value (DL = 0, DR = 1) is output to turn the robot 80 left (step S54d), or a right turn control value (DL = 1, DR = 0) is output to turn the robot 80 to the right (step S54e).
[0078]
As described above, also in the present embodiment, the robot 80 travels while chasing the reflected light 86 from the floor surface or the like, and points to a desired route using a simple light emitting tool such as a laser pointer. It is possible to easily perform remote travel guidance from a remote location. Therefore, the same effects as those of the above embodiments can be obtained, and the number of light receiving sensors can be reduced to one, and the configuration of the optical system can be simplified.
[0079]
【The invention's effect】
  According to the present invention,The robotThe spot light image is specified as the operation target, the distance to the operation target or the direction of the operation target is calculated, and the spot lightModulation typeSince the operation result is controlled by outputting the result of the calculation including the execution of command processing corresponding to the above to the drive unit, the operation target can be recognized accurately and stably.
[Brief description of the drawings]
FIG. 1 is an overall system configuration diagram of a first embodiment;
FIG. 2 is a flowchart of an operation object recognition program executed by the control unit 20 of the light receiving unit 15;
FIG. 3 is a conceptual diagram of calculation of distance and direction to an operation target.
4 is a diagram illustrating an example of traveling control of the robot 14. FIG.
FIG. 5 is a configuration diagram of a light beam emitting device 33 according to a second embodiment.
FIG. 6 is a flowchart showing a control operation of the light receiving unit 15;
FIG. 7 is a configuration diagram of a light receiving unit 15a of a robot 14a according to a third embodiment.
FIG. 8 is a flowchart showing a control operation of the light receiving unit 15a.
FIG. 9 is a diagram illustrating a travel control example of a robot.
FIG. 10 is a diagram illustrating an example of traveling control of the robot 51 in the fourth embodiment.
FIG. 11 is a perspective view, a left side view, and a bottom view of a self-propelled robot.
12 is an internal system configuration diagram of a robot 60 and a configuration diagram of a right wheel driving unit 71R (or a left wheel driving unit 71L). FIG.
13 is a configuration diagram of the control unit 70 and a flowchart of a control program executed inside the control unit 70. FIG.
FIG. 14 is a diagram illustrating a specific example of drive control processing.
FIG. 15 is a diagram showing sensitivity characteristics of light receiving sensors 67L, 67C, and 67R.
FIG. 16 is a characteristic diagram when iC> SL1, iL = iR <SL1, and iC >> iL = iR.
17 is an external view of a robot 80 and a schematic diagram of a horizontal turning movement of a light receiving unit 82. FIG.
18 is an internal system configuration diagram of the robot 80 and a change characteristic diagram of the intensity i of the output signal (Pd) of the light receiving sensor 82 during the turning operation of the light receiving unit 81. FIG.
FIG. 19 is a conceptual diagram of a coarse search and a conceptual diagram of a fine search.
FIG. 20 is a flowchart of a main part (particularly “drive control processing”) of a control program.
FIG. 21 is a subroutine flow of scan processing.
22 is a conceptual diagram of an arrangement table 92. FIG.
FIG. 23 is a subroutine flow of forward / turn processing.
FIG. 24 is a diagram showing an example of traveling control of the robot 3 in the prior art.
[Explanation of symbols]
10 Light emitting device
11 Beam rays
12 Operation target (operation target)
14 Robot
14a (A) Robot
14a (B) Robot
18 Two-dimensional image sensor
20 control unit (identifying means, generating means, discriminating means, generating means)
29 CCD image (output image)
30 spot images
33 Ray launcher
45 beam rays
51 robot
60 robots
62 Light receiving unit (detection means)
67R light receiving sensor
67C Light receiving sensor
67L Light receiving sensor
70 Control unit (determination means, movement control means)
80 robots
82 Light receiving sensor
86 Reflected light (bright spot)
90 control unit (search means, determination means, movement control means)

Claims (3)

駆動部(28)を備えたロボット(14)において、
画像センサ(18)と、
この画像センサから周期的に出力されるフレームに対応する画像に、このロボットの外部に存在する光線発射装置(33)から発射されたビーム光線(11)によるスポット光が当てられた操作対象物(12)の画像が含まれているか否かを判定する第1の判定手段(20)と、
この第1の判定手段により前記スポット光が当てられた操作対象物の画像が含まれると判定すると、このロボットと前記操作対象物までの距離、又は、このロボットからみた前記操作対象物の方向の少なくとも一つを演算する演算手段(20)と、
前記第1の判定手段によりスポット光が当てられた画像が含まれると判定すると、このスポット光の変調種別を判定する第2の判定手段(20)と、
この第2の判定手段により判定された変調種別に対応するコマンド処理の実行を含め、前記演算手段により演算された結果を前記駆動部に出力してこのロボットの前記操作対象物に対する動作態様を制御する制御手段(28)と、
を備えたことを特徴とするロボット。
In the robot (14) provided with the drive unit (28),
An image sensor (18);
An operation object ( to which an image corresponding to a frame periodically output from the image sensor is irradiated with spot light by a beam beam (11) emitted from a beam emitting device (33) existing outside the robot ( 12) first determination means (20) for determining whether or not the image of 12) is included;
When it is determined that includes an image of the first determination operation target of the spot light is devoted by means, the distance to the operation object and the robot, or, in the direction of the operation target viewed from the robot Computing means (20) for computing at least one;
Determining that the spot light includes image devoted by the first judging means Then, a second determination means for determining modulation type of the spot light (20),
Including the execution of command processing corresponding to the modulation type determined by the second determination means, the result calculated by the calculation means is output to the drive unit to control the operation mode of the robot with respect to the operation object Control means (28) for
A robot characterized by comprising
前記操作対象物に向けて、この操作対象物を捕捉した旨を宣言する情報を含むビーム光線を照射する照射手段(20、46、47)を更に備えたことを特徴とする請求項1に記載のロボット。 The irradiation unit (20, 46, 47) for irradiating the operation target with a beam of light including information declaring that the operation target has been captured is further provided. Robot. 駆動部と画像センサとを備えたロボットの動作態様制御方法であって、
前記画像センサから周期的に出力されるフレームに対応する画像に、このロボットの外部に存在する光線発射装置(33)から発射されたビーム光線(11)によるスポット光が当てられた操作対象物の画像が含まれているか否かを判定する第1の判定ステップ(ステップS12)と、
この第1の判定ステップにてスポット光が当てられた操作対象物の画像が含まれていると判断すると、このスポット光の変調種別を判定する第2の判定ステップ(ステップS21)と、
前記第1の判定ステップにて前記スポット光が当てられた操作対象物の画像が含まれると判定すると、このロボットと前記操作対象物までの距離、又は、このロボットからみた前記操作対象物の方向の少なくとも一つを演算する演算ステップ(ステップS14)と、
前記第2の判定ステップにて判定された変調種別に対応するコマンド処理の実行を含め、前記演算ステップにて演算された結果を前記駆動部に出力してこのロボットの前記操作対象物に対する動作態様を制御する制御ステップ(ステップS15、S22〜S25)と、
を含むことを特徴とする動作態様制御方法。
An operation mode control method for a robot including a drive unit and an image sensor,
An image of an operation target object in which spot light from a light beam (11) emitted from a light emitting device (33) existing outside the robot is applied to an image corresponding to a frame periodically output from the image sensor. A first determination step (step S12) for determining whether an image is included;
When the image of the first determination operation object spotlight devoted at step determines that included, a second determination step of determining a modulation type of the spot light (step S21), and
If it is determined to include the image of the first determination operation target of the spot light is devoted step, the direction of this distance the robot up to the operation target object, or, the operation target viewed from the robot calculation step of calculating at least one of (step S14), and
Including the execution of command processing corresponding to the modulation type determined in the second determination step, the result calculated in the calculation step is output to the drive unit, and the operation mode of the robot with respect to the operation target Control steps (steps S15, S22 to S25) for controlling
The operation mode control method characterized by including.
JP2001107078A 2000-04-06 2001-04-05 Robot and operation mode control method of robot Expired - Fee Related JP4239055B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001107078A JP4239055B2 (en) 2000-04-06 2001-04-05 Robot and operation mode control method of robot

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000105128 2000-04-06
JP2000-105128 2000-04-06
JP2001107078A JP4239055B2 (en) 2000-04-06 2001-04-05 Robot and operation mode control method of robot

Publications (2)

Publication Number Publication Date
JP2001347478A JP2001347478A (en) 2001-12-18
JP4239055B2 true JP4239055B2 (en) 2009-03-18

Family

ID=26589598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001107078A Expired - Fee Related JP4239055B2 (en) 2000-04-06 2001-04-05 Robot and operation mode control method of robot

Country Status (1)

Country Link
JP (1) JP4239055B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100641113B1 (en) * 2004-07-30 2006-11-02 엘지전자 주식회사 Mobile robot and his moving control method
JP4520337B2 (en) * 2005-03-15 2010-08-04 本田技研工業株式会社 Vehicle guidance device
JP4910787B2 (en) * 2006-03-06 2012-04-04 オムロン株式会社 Parking assistance device and method, parking position setting device and method, recording medium, and program
JP4574609B2 (en) * 2006-12-14 2010-11-04 国立大学法人豊橋技術科学大学 Transport method by overhead crane using laser pointer and overhead crane system
KR102124235B1 (en) * 2013-12-19 2020-06-24 에이비 엘렉트로룩스 Robotic cleaning device with perimeter recording function
WO2022137796A1 (en) * 2020-12-25 2022-06-30 パナソニックIpマネジメント株式会社 Travel map creation device, autonomous travel robot, travel control system for autonomous travel robot, travel control method for autonomous travel robot, and program

Also Published As

Publication number Publication date
JP2001347478A (en) 2001-12-18

Similar Documents

Publication Publication Date Title
US9914219B2 (en) Robot cleaner and controlling method thereof
KR102612350B1 (en) Variable resolution light radar system
US5896488A (en) Methods and apparatus for enabling a self-propelled robot to create a map of a work area
EP2963515A2 (en) Robot cleaner and method for controlling the same
US9089249B2 (en) Direction device and operation system utilizing the same
US20120125363A1 (en) Robot cleaner and control method thereof
KR20160144682A (en) Moving robot and controlling method thereof
JP2007149088A (en) Own position recognition method for moving robot and its apparatus
JP2003262520A (en) Direction detecting device and self-traveling cleaner loaded with it
US20220197299A1 (en) Recharging method for mobile robot and mobile robot
CN108177162A (en) The interference region setting device of mobile robot
JP4239055B2 (en) Robot and operation mode control method of robot
JP4745151B2 (en) Mobile robot
JP4745159B2 (en) Mobile robot
US20220163666A1 (en) Method for eliminating misjudgment of reflective lights and optical sensing system
CN114938927A (en) Automatic cleaning apparatus, control method, and storage medium
US11141860B2 (en) Method for operating an automatically moving cleaning device and cleaning device of this type
JP2005349497A (en) Self-propelled robot
JP4745150B2 (en) Mobile robot
CN216167276U (en) Self-moving robot
CN217365667U (en) Automatic cleaning equipment
CN109965783A (en) Mobile robot
US20230225580A1 (en) Robot cleaner and robot cleaner control method
US20230367326A1 (en) Self-propelled Device
JP6863049B2 (en) Autonomous mobile robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4239055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees