JP5953658B2 - ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置 - Google Patents

Description

本明細書に開示の技術は、例えば人の住環境で活動し、人とコミュニケーションをしたり、物体把持などの作業をしたりするロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにプログラム記憶媒体に係り、特に、カメラのレンズの汚れと傷、及び、ハンドの汚れと傷の違いを検出するロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにプログラム記憶媒体に関する。

急激な高齢化社会の到来により、高齢者ができる限り要介護状態とならず健康で活き活きと暮らせること、また、要介護状態となってもできる限り悪化を防ぎ、自立した生活を送ることができる社会としなければならない。今後、介護や家事手伝いのニーズが高まるにつれ、１人のユーザーに対して１人のヘルパーを付けると、ヘルパーの数が不足する。そこで、高齢者介護施設や高齢者を抱える家庭を中心として、人とコミュニケーションをとり、さらには物体把持などの作業をして家事や介護を人に代行することを目的としたロボットなどのメカトロ機器への要求が高まっている。

この種のロボット装置の多くは、カメラを備え、カメラの撮影画像に基づいて作業空間内の物体を検出又は認識して、把持などの作業を行なう。このため、カメラのレンズに汚れや傷があると、物体の検出・認識性能に大きく影響し、作業効率の低下にもつながる。また、ハンドなどの物体の把持部に汚れがあると、把持した物体を汚してしまい、人に手渡す際に心的に悪い影響を与えてしまう。

例えば、同一領域における複数の画像を比較し、同一領域における画像間の差異からカメラのレンズの汚れの有無を検出するロボット装置について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、このロボット装置は、同一領域における画像間の差異がカメラのレンズの汚れと傷のいずれに起因するものか、言い換えれば、カメラのレンズの汚れと傷の相違を検出することはできない。また、このロボット装置は、ハンドの汚れを検出したり、ハンドの汚れと傷の相違を検出したりすることもできない。

特開２００８−１６０６３５号公報

本明細書で開示する技術の目的は、カメラのレンズの汚れと傷、及び、ハンドの汚れと傷の違いを好適に検出することができる、優れたロボット装置及びロボット装置の制御方法を提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
カメラと、
ハンドと、
前記カメラで撮像した画像を処理するとともに、ハンドの動作を制御する制御部と、
を具備し、
前記制御部は、
前記ハンドを前記カメラに対して特定の位置に設定して前記ハンドを撮像したリファレンス画像を取得し、
汚れ検査時に前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出し、
前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する、
ロボット装置である。

本願の請求項２に記載の技術によれば、請求項１に記載のロボット装置の制御部は、前記第１の検査画像と前記リファレンス画像が画像全体にわたって相関が高いときには前記カメラのレンズ及び前記ハンドのいずれにも汚れがないと判定し、画像上に相関の低い低相関部位があるときには前記低相関部位で前記カメラのレンズ又は前記ハンドの汚れを検出するように構成されている。

本願の請求項３に記載の技術によれば、請求項２に記載のロボット装置の制御部は、前記第２の検査画像と前記第１の検査画像を比較したときに、画像上の前記低相関部位において相関が高いときには前記カメラのレンズに汚れがあると判定し、画像上の前記低相関部位において相関が低いときには前記ハンドに汚れがあると判定するように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載のロボット装置の制御部は、前記カメラのレンズに汚れがあると判定したときには、前記カメラのレンズの汚れ部分を拭いた後、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第３の検査画像を前記リファレンス画像と比較して、前記カメラのレンズの傷の有無を検出するように構成されている。

本願の請求項５に記載の技術によれば、請求項１に記載のロボット装置の制御部は、前記ハンドに汚れがあると判定したときには、前記ハンドの汚れ部分を拭いた後、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第４の検査画像を前記リファレンス画像と比較して、前記ハンドの傷の有無を検出するように構成されている。

また、本願の請求項６に記載の技術は、
ハンドをロボットのカメラに対して特定の位置に設定して前記ハンドを撮像してリファレンス画像を取得するステップと、
汚れ検査時において、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出する汚れ検出ステップと、
前記汚れ検出ステップにおいて前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する判定ステップと、
を有するロボット装置の制御方法である。

また、本願の請求項７に記載の技術は、
ハンドをロボットのカメラに対して特定の位置に設定して前記ハンドを撮像してリファレンス画像を取得するステップと、
汚れ検査時において、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出する汚れ検出ステップと、
前記汚れ検出ステップにおいて前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する判定ステップと、
をコンピューターに実行させる、ロボット装置を制御するためのコンピューター・プログラムである。

本願の請求項７に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項７に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項６に係るロボット装置の制御方法と同様の作用効果を得ることができる。

また、本願の請求項８に記載の技術は、
ハンドをロボットのカメラに対して特定の位置に設定して前記ハンドを撮像してリファレンス画像を取得するステップと、
汚れ検査時において、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出する汚れ検出ステップと、
前記汚れ検出ステップにおいて前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する判定ステップと、
をコンピューターに実行させるロボット装置の制御プログラムを格納するプログラム記憶媒体である。

本明細書に開示の技術によれば、カメラのレンズの汚れと傷、及び、ハンドの汚れと傷の違いを好適に検出することができる、優れたロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにプログラム記憶媒体を提供することができる。

本明細書に開示の技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用可能なロボット装置１００の外観を示した図である。 図２は、本明細書で開示する技術を適用可能なロボット装置１００の関節自由度構成を模式的に示した図である。 図３は、本明細書で開示する技術を適用可能なロボット装置１００の機能的構成を模式的に示した図である。 図４は、制御ユニット３２０の構成を示した図である。 図５は、ロボット装置１００がカメラのレンズの汚れと傷、及び、ハンドの汚れと傷の違いを検出するための処理手順を示したフローチャートである。 図６は、頭部のステレオ・カメラ・レンズにハンドを近接させて、ハンド画像Ａを取得する様子を示した図である。 図７は、頭部の魚眼カメラ・レンズにハンドを近接させて、ハンド画像Ａを取得する様子を示した図である。 図８は、リファレンス画像として取得したハンド画像Ａの一例を示した図である。 図９は、ハンド画像Ａと、部位Ｘを含むハンド画像Ｂを並べて示した図である。 図１０は、カメラのレンズの汚れ又は傷があるために、ハンド画像Ｂ及びハンド画像Ｃの両画像上の部位Ｘで相関が高くなる様子を示した図である。 図１１は、ハンドの表面のレンズの汚れ又は傷があるために、ハンドの移動とともに汚れ又は傷が移動して、ハンド画像Ｂ及びハンド画像Ｃの両画像上の部位Ｘで相関が低くなる様子を示した図である。 図１２は、ロボット装置１００が頭部の魚眼カメラ・レンズの汚れを拭き取っている様子を示した図である。

以下、図面を参照しながら本明細書に開示の技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用可能なロボット装置１００の外観を示している。ロボット装置１００は、複数のリンクを関節で接続されたリンク構造帯であり、各関節はアクチュエーターによって動作する。図２には、このロボット装置１００の関節自由度構成を模式的に示している。図示のロボット装置１００は、主に家庭環境に設置されて家事や介護などを行なうが、産業用などさまざまな用途で使用することも可能である。

図示のロボット装置１００は、移動手段として、ベース部に対向する２輪の駆動輪１０１Ｒ及び１０１Ｌを備えている。各駆動輪１０１Ｒ及び１０１Ｌは、それぞれピッチ回りに回転する駆動輪用アクチュエーター１０２Ｒ及び１０２Ｌによって駆動する。なお、図２中において、参照番号１５１、１５２、１５３は、実在しない劣駆動関節であり、ロボット装置１００の床面に対するＸ方向（前後方向）の並進自由度、Ｙ方向（左右方向）の並進自由度、並びに、ヨー回りの回転自由度にそれぞれ相当し、ロボット装置１００が仮想世界を動き回ることを表現したものである。

移動手段は、股関節を介して上体に接続される。腰関節は、ピッチ回りに回転する腰関節ピッチ軸アクチュエーター１０３によって駆動する。上体は、左右２肢の腕部と、首関節を介して接続される頭部で構成される。左右の腕部は、それぞれ肩関節３自由度、肘関節２自由度、手首関節２自由度の、計７自由度とする。肩関節３自由度は、肩関節ピッチ軸アクチュエーター１０４Ｒ／Ｌ、肩関節ロール軸アクチュエーター１０５Ｒ／Ｌ、肩関節ヨー軸アクチュエーター１０６Ｒ／Ｌによって駆動する。肘関節２自由度は、肘関節ピッチ軸アクチュエーター１０７Ｒ／Ｌ、肘関節ヨー軸アクチュエーター１０８Ｒ／Ｌによって駆動する。手首関節２自由度は、手首関節ロール軸アクチュエーター１０９Ｒ／Ｌ、手首関節ピッチ軸アクチュエーター１１０Ｒ／Ｌによって駆動する。また、首関節２自由度は、首関節ピッチ軸アクチュエーター１１１、首関節ヨー軸アクチュエーター１１２によって駆動する。また、手関節１自由度は、手関節ロール軸アクチュエーター１１３Ｒ／Ｌによって駆動する。

なお、図示のロボット装置１００は、対向２輪式の移動手段を備えているが、本明細書で開示する技術の要旨は、対向２輪式の移動手段に限定されるものではない。例えば、脚式の移動手段を備えたロボット装置１００であっても、同様に本明細書で開示する技術を適用することができる。

図３には、ロボット装置１００の機能的構成を模式的に示している。ロボット装置１００は、全体の動作の統括的制御やその他のデータ処理を行なう制御ユニット３２０と、入出力部３４０と、駆動部３５０と、電源部３６０とで構成される。以下、各部について説明する。

入出力部３４０は、入力部として、ロボット装置１００の目に相当するカメラ３０５、耳に相当するマイクロフォン３０６、頭部や背中などの部位に配設されてユーザーの接触を感知する感圧センサー３０８などを含む。また、出力部として、口に相当するスピーカー３０７、点滅の組み合わせや点灯のタイミングにより顔の表情を形成するＬＥＤインジケーター（目ランプ）３０９などを装備している。なお、カメラ３０５は、左右の眼に相当するステレオ・カメラの他に、頭部のほぼ中央の魚眼レンズ付きカメラを含んでいてもよい。

駆動部３５０は、ロボット装置１００の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど軸毎に設けられた複数の駆動ユニットで構成される。各駆動ユニットは、所定軸回りの回転動作を行うモーター３５１と、モーター３５１の回転位置を検出するエンコーダー３５２と、エンコーダー３５２の出力に基づいてモーター３５１の回転位置や回転速度を適応的に制御するドライバー３５３の組み合わせで構成される。

電源部３６０は、ロボット装置１００内の各電気回路などに対して給電を行なう機能モジュールであり、充電バッテリー３６１と、充電バッテリー３６１の充放電状態を管理する充放電制御部３６２とで構成される。

また、図４には、制御ユニット３２０の構成をさらに詳細に図解している。同図に示すように、制御ユニット３２０は、メイン・コントローラーとしてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１が、メモリーやその他の各回路コンポーネントや周辺機器とバス接続された構成となっている。ＣＰＵ４０１は、アドレスを指定することによってバス４０８上の各装置と通信することができる。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が実行するプログラム・コードをロードしたり、実行プログラムによる作業データの一時的な保存したりするために使用される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０３は、電源投入時に実行する自己診断テスト・プログラムや、ロボット装置１００の動作を規定する制御プログラムなどを恒久的に格納している。不揮発性メモリー４０４は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ ＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）のように電気的に消去再書き込みが可能なメモリー素子で構成され、暗号鍵やその他のセキュリティ情報、出荷後にインストールすべき制御プログラムなどの逐次更新すべきデータを不揮発的に保持するために使用される。

ロボット装置１００の制御プログラムには、カメラ３０５やマイクロフォン３０６、感圧センサー３０８などのセンサー入力を処理して認識する認識処理プログラムや、各関節モーター３５１の駆動やスピーカー３０７の音声出力などの動作を制御する制御プログラムなどが含まれる。

インターフェース４０５は、制御ユニット３２０外の機器と相互接続し、データ交換を可能にするための装置である。インターフェース４０５は、例えば、カメラ３０５やマイクロフォン３０６、スピーカー３０７との間でデータ入出力を行なう。また、インターフェース４０５は、駆動部３５０内の各ドライバー３５３−１…との間でデータやコマンドの入出力を行なう。インターフェース２５は、ＩＥＥＥ１３９４などのパラレル・インターフェース、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェース、メモリーカード・インターフェース（カード・スロット）などのような、コンピューターの周辺機器接続用の汎用インターフェースを備え、ローカル接続された外部機器との間でプログラムやデータの移動を行なうようにしてもよい。

さらに、制御ユニット３２０は、無線通信インターフェース４０６やネットワーク・インターフェース・カード（ＮＩＣ）４０７などを含み、Ｂｌｕｅｔｏｏｔｈのような近接無線データ通信や、ＩＥＥＥ８０２．１１のような無線ネットワーク、あるいはインターネットなどの広域ネットワークを経由して、外部のさまざまなホスト・コンピューターとデータ通信を行なうことができる。

本実施形態に係るロボット装置１００は、自律動作により、カメラ３０５のレンズの汚れと傷を検出する機能を備えているが、ハンドなどロボット装置１００の特定の部位をカメラ３０５で撮像した画像をリファレンス画像として、カメラ３０５のレンズの汚れと傷を検出する点に主な特徴がある。ここで、ハンドをカメラ３０５で撮像した画像をリファレンス画像として用いる場合、検出時において、検出された汚れや傷がカメラ３０５のレンズ又はハンドの双方に起因する可能性があるが、本実施形態に係るロボット装置１００は、後述するように、カメラ３０５のレンズ又はハンドのうちいずれに起因するものか、並びに、汚れと傷の違いを検出することができる。

ハンドなどの物体の把持部に汚れがあると、把持した物体を汚してしまい、人に手渡す際に心的に悪い影響を与えてしまう。これに対し、本実施形態に係るロボット装置１００は、ハンドの汚れを検出し、さらには自律的な清掃動作などにより汚れを除去することができるので、ユーザーに心的に悪い影響を与えなくて済む。

図５には、ロボット装置１００がカメラのレンズの汚れと傷、及び、ハンドの汚れと傷の違いを検出するための処理手順をフローチャートの形式で示している。

この処理手順を開始する前提として、リファレンス画像を事前に取得しておく。上述したようにハンドを撮影した画像をリファレンス画像に用いる場合、カメラ３０５に対してハンドを特定の位置に設定して撮像したハンド画像をリファレンス画像として登録する。リファレンス画像に用いるハンド画像を、以下では「ハンド画像Ａ」と呼ぶことにする。

カメラ３０５が、左右の眼に相当するステレオ・カメラの他に、頭部のほぼ中央の魚眼レンズ付きカメラを含んでいる場合、ステレオ・カメラ・レンズ、及び、魚眼カメラ・レンズの双方について、ハンド画像Ａを取得し、登録しておく。図６には、頭部のステレオ・カメラ・レンズにハンドを近接させて、ハンド画像Ａを取得する様子を示している。また、図７には、頭部の魚眼カメラ・レンズにハンドを近接させて、ハンド画像Ａを取得する様子を示している。また、図８には、リファレンス画像として取得したハンド画像Ａの一例（同図中、点線で囲んだ領域がハンド画像Ａに相当）を示している。

検出処理では、まず、検出画像を取得する（ステップＳ５０１）。検出画像の取得は、図６並びに図７に示したような、リファレンス画像を取得するときと同じ姿勢をとり、頭部のステレオ・カメラ、並びに、頭部の魚眼レンズ付きカメラの各々で、ハンドの撮影を行なう。検出画像として取得したハンド画像を、以下では「ハンド画像Ｂ」と呼ぶことにする。

次いで、ハンド画像Ａとハンド画像Ｂの相関をとる（ステップＳ５０２）。カメラのレンズ、及び、ハンドの表面のいずれにも、汚れも傷もなければ、ハンド画像Ａとハンド画像Ｂは、画像全体にわたって相関が高いはずである。したがって、ステップＳ５０２で画像間の相関をとった結果、画像全体にわたって相関が高いときには、カメラのレンズ、及び、ハンドの表面のいずれにも、汚れも傷もないと判定して（ステップＳ５０３）、本処理ルーチンを終了する。

他方、ハンド画像Ａを取得した後、カメラのレンズが汚れ、又は傷が入った場合、並びに、ハンドの表面が汚れ、又は傷が入った場合には、汚れ又は傷がある部位で画像間の相関が低くなる。そこで、ステップＳ５０２で画像間の相関をとった結果、相関の低い部位が検出されたときには、カメラのレンズ又はハンドの表面のうち少なくとも一方に、汚れや傷があると判定して、後続の処理を実行する。ここで、画像間の相関の低い部位を、以下では「部位Ｘ」と呼ぶことにする。図９には、ハンド画像Ａと、部位Ｘを含むハンド画像Ｂを並べて示している（同図中、点線で囲んだ領域がそれぞれハンド画像Ａ、ハンド画像Ｂに相当）。同図から、部位Ｘにおいて画像間の相関が低くなることを理解できよう。

ステップＳ５０２で、カメラのレンズ又はハンドの表面のうち少なくとも一方に、汚れや傷があると判定した場合、続いて、部位Ｘにおいて相関が低くなった原因がカメラのレンズ又はハンドの表面のいずれであるかを特定するための処理を実施する。

まず、図６並びに図７に示したような、リファレンス画像を取得するときと同様の姿勢で、ハンドをカメラに対して移動させて、ハンドの別の位置を撮像する（ステップＳ５０４）。このときの取得画像を、以下では「ハンド画像Ｃ」とする。そして、ハンド画像Ｂとハンド画像Ｃの相関をとる（ステップＳ５０５）。

ハンド画像Ａとハンド画像Ｂの相関をとった際に、相関が低かった部位Ｘが、カメラのレンズの汚れ又は傷に起因するものであれば、ハンドを移動させても、画像上の部位Ｘの相関は高いままである。したがって、ステップＳ５０５において、ハンド画像Ｂ及びハンド画像Ｃ間で相関をとり、画像上の部位Ｘの相関が依然として高いときには、カメラのレンズに汚れ又は傷があると判定する（ステップＳ５０６）。図１０には、カメラのレンズの汚れ又は傷があるために、ハンド画像Ｂ及びハンド画像Ｃの両画像上の部位Ｘで相関が高くなる様子を示している（同図中、点線で囲んだ領域がそれぞれハンド画像Ｂ、ハンド画像Ｃに相当）。

他方、ハンド画像Ｂの部位Ｘがハンドの表面の汚れ又は傷に起因するものであれば、ハンドを移動させたときのハンド画像上ではその部位も移動する。したがって、ハンド画像Ｂとハンド画像Ｃの相関をとり、画像上の部位Ｘの相関は低くなったときには、ハンドの表面に汚れ又は傷があると判定する（ステップＳ５０７）。図１１には、ハンドの表面のレンズの汚れ又は傷があるために、ハンドの移動とともに汚れ又は傷が移動して、ハンド画像Ｂ及びハンド画像Ｃの両画像上の部位Ｘで相関が低くなる様子を示している（同図中、点線で囲んだ領域がそれぞれハンド画像Ｂ、ハンド画像Ｃに相当）。

カメラのレンズに汚れ又は傷があると判定した場合、まず汚れであると仮定して、部位Ｘに相当するレンズの汚れの部分を清掃する（ステップＳ５０８）。レンズの清掃作業は、ユーザーが手作業で行ってもよいが、本実施形態では、ロボット装置１００がハンドを用い、レンズ・クリーナーなどで汚れを拭取るという自律的な作業とする。図１２には、ロボット装置１００が頭部の魚眼カメラ・レンズの汚れを拭き取っている様子を示している。

レンズの汚れを拭き取った後、再度、図６並びに図７に示したような、リファレンス画像を取得するときと同じ姿勢をとり、頭部のステレオ・カメラ、並びに、頭部の魚眼レンズ付きカメラの各々で、ハンドの撮影を行なう（ステップＳ５０９）。拭き取り後に取得したハンド画像を、以下では「ハンド画像Ｂ´」と呼ぶことにする。そして、ハンド画像Ａとハンド画像Ｂ´の相関を改めてとる（ステップＳ５１０）。

カメラのレンズの汚れであれば、清掃により部位Ｘにおけるレンズの汚れが除去され、ハンド画像Ｂ´はリファレンス画像であるハンド画像Ａに近づく。ハンド画像Ａとハンド画像Ｂ´の相関をとった結果、画像全体にわたって相関が高いときには、カメラのレンズの清掃が終了したとして（ステップＳ５１２）、本処理ルーチンを終了する。

他方、カメラのレンズの傷であれば、清掃しても除去されないので、ハンド画像Ｂ´は部位Ｘにおいてハンド画像Ａとの相関が低いままである。ハンド画像Ａとハンド画像Ｂ´の相関をとった結果、相関の低い部位が検出されたときには、カメラのレンズの傷であると判定する（ステップＳ５１１）。カメラのレンズに傷がある場合、ロボット装置１００は、ユーザーにレンズの交換要求を行なってから（ステップＳ５１３）、本処理ルーチンを終了するようにしてもよい。

また、ハンドの表面に汚れ又は傷があると判定した場合、まず汚れであると仮定して、部位Ｘに相当するハンドの表面の汚れの部分を清掃する（ステップＳ５１４）。ハンドの清掃作業は、ユーザーが手作業で行ってもよいが、本実施形態では、ロボット装置１００の自律的な作業とする。

ハンドの表面の汚れを拭き取った後、再度、図６並びに図７に示したような、リファレンス画像を取得するときと同じ姿勢をとり、頭部のステレオ・カメラ、並びに、頭部の魚眼レンズ付きカメラの各々で、ハンドの撮影を行ない（ステップＳ５１５）、ハンド画像Ｂ´を取得する。そして、ハンド画像Ａとハンド画像Ｂ´の相関を改めてとる（ステップＳ５１６）。

ハンドの表面のレンズの汚れであれば、清掃により部位Ｘにおけるハンドの表面の汚れが除去され、ハンド画像Ｂ´はリファレンス画像であるハンド画像Ａに近づく。ハンド画像Ａとハンド画像Ｂ´の相関をとった結果、画像全体にわたって相関が高いときには、ハンドの表面のレンズの清掃が終了したとして（ステップＳ５１８）、本処理ルーチンを終了する。

他方、ハンドの表面の傷であれば、清掃しても除去されないので、ハンド画像Ｂ´は部位Ｘにおいてハンド画像Ａとの相関が低いままである。ハンド画像Ａとハンド画像Ｂ´の相関をとった結果、相関の低い部位が検出されたときには、ハンドの表面の傷であると判定する（ステップＳ５１７）。ハンドの表面に傷がある場合、ロボット装置１００は、ユーザーにハンドの交換要求を行なってから（ステップＳ５１９）、本処理ルーチンを終了するようにしてもよい。

なお、図５には図示しなかったが、ステップＳ５１１におけるカメラのレンズの清掃終了後や、ステップＳ５１６におけるハンドの表面の清掃終了後に、ロボット装置１００は、図６並びに図７に示したような姿勢を取ってハンドを撮像し、リファレンス画像を更新するようにしてもよい。

上述したように、本実施形態に係るロボット装置１００は、カメラのレンズの汚れを自動的に検出し、清掃することができる。また、カメラのレンズの汚れを自動で検出し、清掃することによって、画像の誤検出を軽減することができる。さらに、ロボット装置１００は、カメラのレンズの傷を自動で検出し、ユーザーに交換を要求することができる。

また、本実施形態に係るロボット装置１００は、ハンドの表面の汚れを自動的に検出し、清掃することができる。また、ハンドの表面の汚れを自動で検出し、清掃することによって、ハンドで把持した物体を清潔に保つことができる。さらに、ロボット装置１００は、ハンドの表面の傷を自動で検出し、ユーザーに交換を要求することができる。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）カメラと、ハンドと、前記カメラで撮像した画像を処理するとともに、ハンドの動作を制御する制御部を具備し、
前記制御部は、
前記ハンドを前記カメラに対して特定の位置に設定して前記ハンドを撮像したリファレンス画像を取得し、
汚れ検査時に前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出し、
前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する、
ロボット装置。
（２）前記制御部は、前記第１の検査画像と前記リファレンス画像が画像全体にわたって相関が高いときには前記カメラのレンズ及び前記ハンドのいずれにも汚れがないと判定し、画像上に相関の低い低相関部位があるときには前記低相関部位で前記カメラのレンズ又は前記ハンドの汚れを検出する、（１）に記載のロボット装置。
（３）前記制御部は、前記第２の検査画像と前記第１の検査画像を比較したときに、画像上の前記低相関部位において相関が高いときには前記カメラのレンズに汚れがあると判定し、画像上の前記低相関部位において相関が低いときには前記ハンドに汚れがあると判定する、（２）に記載のロボット装置。
（４）前記制御部は、前記カメラのレンズに汚れがあると判定したときには、前記カメラのレンズの汚れ部分を拭いた後、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第３の検査画像を前記リファレンス画像と比較して、前記カメラのレンズの傷の有無を検出する、（１）に記載のロボット装置。
（５）前記制御部は、前記ハンドに汚れがあると判定したときには、前記ハンドの汚れ部分を拭いた後、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第４の検査画像を前記リファレンス画像と比較して、前記ハンドの傷の有無を検出する、（１）に記載のロボット装置。
（６）ハンドをロボットのカメラに対して特定の位置に設定して前記ハンドを撮像してリファレンス画像を取得するステップと、
汚れ検査時において、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出する汚れ検出ステップと、
前記汚れ検出ステップにおいて前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する判定ステップと、
を有するロボット装置の制御方法。
（７）ハンドをロボットのカメラに対して特定の位置に設定して前記ハンドを撮像してリファレンス画像を取得するステップと、汚れ検査時において、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出する汚れ検出ステップと、前記汚れ検出ステップにおいて前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する判定ステップと、をコンピューターに実行させる、ロボット装置を制御するためのコンピューター・プログラム。
（８）ハンドをロボットのカメラに対して特定の位置に設定して前記ハンドを撮像してリファレンス画像を取得するステップと、汚れ検査時において、前記ハンドを前記特定の位置に設定して前記ハンドを撮像した第１の検査画像を前記リファレンス画像と比較して、前記カメラのレンズ又は前記ハンドの汚れの有無を検出する汚れ検出ステップと、前記汚れ検出ステップにおいて前記カメラのレンズ又は前記ハンドの汚れを検出したときに、前記ハンドを前記特定の位置から移動して前記ハンドを撮像した第２の検査画像を前記第１の検査画像と比較して、前記カメラのレンズ又は前記ハンドのうちのいずれに汚れがあるかを判定する判定ステップと、をコンピューターに実行させるロボット装置の制御プログラムを格納するプログラム記憶媒体

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書に開示の技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、対向２輪型のロボット装置に適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。他の移動手段を備え、あるいは移動手段を備えていなくても、カメラ並びにハンドを備えたロボット装置であれば、同様に本技術を適用することができる。

また、本明細書では、ロボット装置のハンドを撮像した画像をリファレンス画像に用いているが、ハンド以外のロボット装置の他の部位を撮像した画像をリファレンス画像に用いることもできる。

また、本明細書では、家庭用ロボットに関する実施形態を中心に説明してきたが、勿論、産業用ロボットを始めさまざまな用途のロボット装置に対しても、同様に本技術を適用することができる。

要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…ロボット装置
１０１…駆動輪
１０２…駆動輪用アクチュエーター
１０３…腰関節ピッチ軸アクチュエーター
１０４…肩関節ピッチ軸アクチュエーター
１０５…肩関節ロール軸アクチュエーター
１０６…肩関節ヨー軸アクチュエーター
１０７…肘関節ピッチ軸アクチュエーター
１０８…肘関節ヨー軸アクチュエーター
１０９…手首関節ロール軸アクチュエーター
１１０…首関節ピッチ軸アクチュエーター
１１１…首関節ピッチ軸アクチュエーター
１１３…手関節ロール軸アクチュエーター
１５１、１５２、１５３…劣駆動関節
３０５…カメラ
３０６…マイクロフォン
３０７…スピーカー
３０８…感圧センサー
３０９…ＬＥＤインジケーター
３２０…制御ユニット
３４０…入出力部
３５０…駆動部
３５１…モーター
３５２…エンコーダー
３５３…ドライバー
３６０…電源部
３６１…充電バッテリー
３６２…充放電制御部
４０１…ＣＰＵ
４０２…ＲＡＭ
４０３…ＲＯＭ
４０４…不揮発性メモリー
４０５…インターフェース
４０６…無線通信インターフェース
４０７…ネットワーク・インターフェース・カード
４０８…バス

Claims (13)

1. 可動部と撮像装置を備えたロボットのためのロボット制御装置であって、
   前記撮像装置により前記ロボットの特定の部位を撮像したリファレンス画像を取得し、
   前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして前記撮像装置により前記ロボットの前記特定の部位を撮像して第１の画像を取得し、
   前記第１の画像と前記リファレンス画像と比較して、前記撮像装置のレンズの汚れの有無を判定し、
   前記レンズに汚れがあると判定した場合には、
   前記可動部により前記レンズを清掃し、
   前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして、前記レンズを清掃した後の前記撮像装置により前記特定の部位を撮像して第２の画像を取得し、
   前記第２の画像を前記リファレンス画像又は前記第１の画像と比較した結果に基づく通知を出力するよう制御する、
   ロボット制御装置。
2. 前記第１の画像を前記リファレンス画像全体において相関が所定の値より高いときには前記レンズに汚れがないと判定し、画像の一部だけ相関が低いときには前記レンズに汚れがあると判定する、
   請求項１に記載のロボット制御装置。
3. 前記レンズに汚れがあると判定した場合、前記レンズを拭くように前記可動部を制御する、
   請求項１に記載のロボット制御装置。
4. 前記第１の画像を前記リファレンス画像と比較した結果に基づいて、前記レンズ又は前記特定の部位の汚れの有無を判定する、
   請求項１に記載のロボット制御装置。
5. 前記第１の画像と前記リファレンス画像全体において相関が所定の値より高いときには前記撮像装置のレンズ及び前記特定の部位のいずれにも汚れがないと判定し、画像の一部だけ相関が低いときには前記レンズ又は前記特定の部位に汚れがあると判定する、
   請求項４に記載のロボット制御装置。
6. 前記特定の部位を前記第１の画像を撮影したときの位置から移動した後に前記撮像装置で撮像した第３の画像を前記第１の画像と比較して、前記レンズ又は前記特定の部位のうちのいずれに汚れがあるかを判定する、
   請求項１に記載のロボット制御装置。
7. 前記第３の画像と前記第１の画像を比較したときに、前記第１の画像と前記リファレンス画像間で相関が低い部位における前記第３の画像と前記第１の画像間の相関が所定の値より高いときには前記レンズに汚れがあると判定し、前記部位において相関が所定の値より低いときには前記特定の部位に汚れがあると判定する、
   請求項６に記載のロボット制御装置。
8. 前記特定の部位に汚れがあると判定した場合、前記可動部に前記特定の部位を清掃させ、
   清掃した後の前記特定の部位を前記撮像装置により撮像した第４の画像を前記リファレンス画像又は前記第１の画像と比較した結果に基づく通知を出力する、
   請求項６に記載のロボット制御装置。
9. 前記可動部は前記ロボットのハンドである、
   請求項１に記載のロボット制御装置。
10. 可動部と撮像装置を備えたロボットのためのロボット装置の制御方法であって、
    前記撮像装置により前記ロボットの特定の部位を撮像したリファレンス画像を取得するステップと、
    前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして前記撮像装置により前記ロボットの特定の部位を撮像して第１の画像を取得するステップと、
    前記第１の画像と前記リファレンス画像と比較して、前記撮像装置のレンズの汚れの有無を判定する判定ステップと、
    前記レンズに汚れがあると判定した場合に、前記可動部により前記レンズを清掃させる清掃ステップと、
    前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして、前記レンズを清掃した後の前記撮像装置により前記特定の部位を撮像して第２の画像を取得するステップと、
    前記第２の画像を前記リファレンス画像又は前記第１の画像と比較した結果に基づく通知を出力する出力ステップと、
    を有するロボット装置の制御方法。
11. 可動部と撮像装置を備えたロボットのためのロボット装置を制御するためのコンピューター・プログラムであって、
    前記撮像装置により前記ロボットの特定の部位を撮像したリファレンス画像を取得する取得ステップ、
    前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして前記撮像装置により前記ロボットの特定の部位を撮像して第１の画像を取得するステップ、
    前記第１の画像と前記リファレンス画像と比較して、前記撮像装置のレンズの汚れの有無を判定する判定ステップ、
    前記レンズに汚れがあると判定した場合に、前記可動部により前記レンズを清掃させる清掃ステップ、
    前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして、前記レンズを清掃した後の前記撮像装置により前記特定の部位を撮像して第２の画像を取得するステップと、
    前記第２の画像を前記リファレンス画像又は前記第１の画像と比較した結果に基づく通知を出力する出力ステップ、
    をコンピューターに実行させるコンピューター・プログラム。
12. 可動部と撮像装置を備えたロボットのためのロボット装置を制御プログラム格納するプログラム記憶媒体であって、前記制御プログラムは、
    前記撮像装置により前記ロボットの特定の部位を撮像したリファレンス画像を取得する取得ステップ、
    前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして前記撮像装置により前記ロボットの特定の部位を撮像して第１の画像を取得するステップ、
    前記第１の画像と前記リファレンス画像と比較して、前記撮像装置のレンズの汚れの有無を判定する判定ステップ、
    前記レンズに汚れがあると判定した場合に、前記可動部により前記レンズを清掃させる清掃ステップ、
    前記ロボットを前記リファレンス画像の撮影時と同じ姿勢にして、前記レンズを清掃した後の前記撮像装置により前記特定の部位を撮像して第２の画像を取得するステップと、
    前記第２の画像を前記リファレンス画像又は前記第１の画像と比較した結果に基づく通知を出力する出力ステップ、
    をコンピューターに実行させる、プログラム記憶媒体。
13. 可動部と、撮像装置と、請求項１乃至９のいずれかに記載のロボット制御装置を備えたロボット装置。