JP7529907B2 - 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置 - Google Patents

Description

本発明は、視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置に関する。

従来からカメラにて対象物を撮像して得られた画像を処理することにより、対象物の３次元の位置を検出する装置が知られている。例えば、ステレオカメラに含まれる２台のカメラにて撮像した画像から物体の位置を検出して、検出した物体の位置に基づいて作業を行う装置が知られている（例えば、特開２００９－２６９１１０号公報）。

また、カメラにて画像を撮像する時のカメラの状態に依存して、カメラにて撮像される画像に影響が生じる場合が有る。例えば、撮影者がカメラを持って画像を撮像する時に手振れにより画像が乱れる場合が有る。従来の技術においては、カメラにて画像を撮像するときの影響を補正することが知られている（例えば、特開平１１－４４９００号公報および特開２０１１－２５９３１４号公報）。

特開２００９－２６９１１０号公報 特開平１１－４４９００号公報 特開２０１１－２５９３１４号公報

カメラにて撮像された２次元の画像における位置に基づいて３次元の位置を算出する場合に、予め定められた計算モデルにより対象物の３次元の位置を算出することが知られている。計算モデルには、２次元の画像における位置から３次元の位置を計算する為に、様々なパラメータが含まれる。

カメラは、様々な方向に向けて対象物を撮像することができる。例えば、レンズの光軸が水平方向から傾いた状態にて対象物を撮像することができる。また、カメラは、ロボット等のアクチュエータにて位置および姿勢を変更することができる。例えば、多関節ロボットにカメラを取り付けることにより、様々な向きにて対象物を撮像して、対象物の位置を検出することができる。そして、ロボットを備える装置は、検出した対象物の位置に基づいて、様々な作業を行うことができる。このように、カメラを固定せずに移動させて使用することにより、カメラを使用することができる作業が多くなったり、カメラの価値を高めたりすることができる。

ところで、アクチュエータ等によってカメラの姿勢が変わった場合に、カメラの視線の向きも変化する。このときに、カメラの自重またはレンズの自重により、レンズとカメラの受光素子との相対的な位置関係が僅かにずれてしまう場合がある。この結果、対象物の３次元の位置がずれて算出される場合が有る。

対象物の３次元の位置の検出精度を高める方法としては、ワークに対するカメラの姿勢を固定することができる。予め定めたカメラの姿勢の付近で計算モデルのパラメータを設定することにより、３次元の位置の誤差を小さくすることができる。すなわち、対象物を撮像するためのカメラの位置および姿勢を定めて、その位置および姿勢に対応したパラメータを利用することができる。

一方で、予め定められたカメラの位置および姿勢にて計算モデルのパラメータを設定しない場合には、対象物の３次元の位置を精度よく取得することが難しくなる。例えば、カメラの姿勢を任意の姿勢に変更して、対象物の３次元の位置を検出する場合がある。それぞれの姿勢に応じた計算モデルのパラメータを設定する必要がある。ところが、パラメータを無数に設定する必要があるため、実際にはパラメータの設定が困難であるという問題があった。このために、簡単な制御にてカメラの姿勢に応じて精度よく対象物の位置を検出できる装置が期待されている。

本開示の態様の撮像装置は、対象物を撮像する視覚センサを備える。撮像装置は、重力方向を検出する重力方向検出部と、重力方向に対する視覚センサの姿勢を検出する姿勢検出部とを備える。撮像装置は、視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部と、視覚センサの姿勢に対応するパラメータを設定するための設定情報を記憶する記憶部とを備える。撮像装置は、対象物の画像において予め定められた特徴部分を検出する特徴検出部と、パラメータ設定部にて設定されたパラメータを用いて、特徴部分の３次元の位置を算出する特徴位置算出部とを備える。パラメータ設定部は、重力方向、視覚センサの姿勢、および設定情報に基づいてパラメータを設定する。

本開示の態様によれば、視覚センサの姿勢に応じて精度よく対象物の３次元の位置を検出する撮像装置を提供することができる。

実施の形態におけるロボットシステムの概略図である。 実施の形態におけるロボットシステムのブロック図である。 実施の形態における第１のワークの平面図である。 第１のワークを撮像した時の画像の例である。 第２のワークを撮像する時のロボットシステムの概略図である。 実施の形態における第２のワークの平面図である。 第２のワークを撮像した時の画像の例である。 カメラ座標系および重力方向を説明するカメラの斜視図である。 ロボットシステムの制御を説明するフローチャートである。

図１から図９を参照して、実施の形態における撮像装置について説明する。本実施の形態の撮像装置は、視覚センサにて撮像された画像に基づいて画像における特定位置の３次元の位置を算出する３次元位置取得装置として機能する。

図１は、本実施の形態における撮像装置を備えるロボットシステムの概略図である。図２は、本実施の形態におけるロボットシステムのブロック図である。図１および図２を参照して、本実施の形態のロボットシステム３は、対象物としての第１のワーク３８の位置を検出して第１のワーク３８を把持して搬送する。また、ロボットシステム３は、対象物としての第２のワーク３９の位置を検出し、第２のワーク３９の凹部３９ａに第１のワーク３８を配置する作業を実施する。

ロボットシステム３は、第１のワーク３８を把持する作業ツールとしてのハンド５と、ハンド５を移動するロボット１とを備える。ロボットシステム３は、ロボットシステム３を制御する制御装置２を備える。また、ロボットシステム３は、第１のワーク３８を載置する架台９５と、第２のワーク３９を支持する架台９６とを備える。第２のワーク３９は、所定の支持部材により架台９６に支持されている。

本実施の形態のハンド５は、ワーク３８を把持したり解放したりする作業ツールである。ロボット１に取り付けられる作業ツールとしては、この形態に限られず、ロボットシステム３が行う作業に応じた任意の作業ツールを採用することができる。例えば、作業ツールとして、溶接を実施する溶接トーチ等を採用することができる。

本実施の形態のロボット１は、複数の関節部１８を含む多関節ロボットである。ロボット１は、上部アーム１１と下部アーム１２とを含む。下部アーム１２は、旋回ベース１３に支持されている。旋回ベース１３は、ベース１４に支持されている。ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、ハンド５を固定するフランジ１６を含む。ロボット１の構成部材は、予め定められた駆動軸の周りに回転するように形成される。ロボット１としては、この形態に限られず、作業ツールの姿勢を変更することができる任意のロボットを採用することができる。

本実施の形態のロボット１は、上部アーム１１等の構成部材を駆動する駆動モータを有するロボット駆動装置２１を含む。ハンド５は、ハンド５を駆動するハンド駆動装置２２を含む。本実施の形態のハンド駆動装置２２は、空気圧によりハンド５を駆動する。ハンド駆動装置２２は、シリンダに圧縮空気を供給するための空気ポンプおよび電磁弁を含む。

制御装置２は、制御装置本体４０と、作業者が制御装置本体４０を操作するための教示操作盤２６とを含む。制御装置本体４０は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット１は、制御装置２の動作指令に基づいて駆動する。ロボット１は、動作プログラム６１に基づいて第１のワーク３８を自動的に搬送する。

制御装置本体４０は、ロボットシステム３に関する任意の情報を記憶する記憶部４２を含む。記憶部４２は、情報の記憶が可能で非一時的な記憶媒体にて構成されることができる。例えば、記憶部４２は、揮発性メモリ、不揮発性メモリ、磁気記憶媒体、または光記憶媒体等の記憶媒体にて構成することができる。

制御装置２には、ロボット１の動作を行うために予め作成された動作プログラム６１が入力される。または、作業者が教示操作盤２６を操作してロボット１を駆動することにより、ロボット１の教示点を設定することができる。制御装置２は、教示点に基づいて動作プログラム６１を生成することができる。

動作プログラム６１は、記憶部４２に記憶される。動作制御部４３は、動作プログラム６１に基づいてロボット１を駆動するための動作指令をロボット駆動部４４に送出する。ロボット駆動部４４は、駆動モータを駆動する電気回路を含み、動作指令に基づいてロボット駆動装置２１に電気を供給する。また、動作制御部４３は、ハンド駆動装置２２を駆動する動作指令をハンド駆動部４５に送出する。ハンド駆動部４５は、空気ポンプ等を駆動する電気回路を含み、動作指令に基づいて空気ポンプ等に電気を供給する。

動作制御部４３は、動作プログラム６１に従って駆動するプロセッサに相当する。プロセッサは、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサが動作プログラム６１を読み込んで、動作プログラム６１に定められた制御を実施することにより、動作制御部４３として機能する。

ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器を含む。本実施の形態における状態検出器は、ロボット駆動装置２１の各駆動軸の駆動モータに取り付けられた位置検出器２３を含む。位置検出器２３は、例えば、駆動モータの出力軸の回転位置を検出するエンコーダにて構成することができる。それぞれの位置検出器２３の出力により、ロボット１の位置および姿勢が検出される。

ロボットシステム３には、ロボット１の位置および姿勢が変化した時に不動の基準座標系７１が設定されている。図１に示す例では、ロボット１のベース１４に基準座標系７１の原点が配置されている。基準座標系７１は、ワールド座標系とも称される。基準座標系７１では、原点の位置が固定され、更に、座標軸の向きが固定されている。基準座標系７１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

教示操作盤２６は、通信装置を介して制御装置本体４０に接続されている。教示操作盤２６は、ロボット１およびハンド５に関する情報を入力する入力部２７を含む。入力部２７は、キーボードおよびダイヤルなどの入力部材により構成されている。教示操作盤２６は、ロボット１およびハンド５に関する情報を表示する表示部２８を含む。表示部２８は、液晶表示パネルまたは有機ＥＬ（Electro Luminescence）表示パネル等の情報の表示が可能な表示パネルにて構成されることができる。なお、教示操作盤がタッチパネル方式の表示パネルを備える場合に、表示パネルは入力部および表示部として機能する。

ロボットシステム３には、作業ツールの任意の位置に設定された原点を有するツール座標系７４が設定されている。ツール座標系７４は、作業ツールと共に位置および姿勢が変化する。本実施の形態では、ツール座標系７４の原点は、ハンド５のツール先端点に設定されている。ロボット１の位置は、基準座標系７１におけるツール先端点の位置（ツール座標系７４の原点の位置）に対応する。また、ロボット１の姿勢は、基準座標系７１に対するツール座標系７４の姿勢に対応する。

本実施の形態におけるロボットシステム３は、ワーク３８，３９の位置を検出する撮像装置を備える。撮像装置は、ワーク３８の画像を撮像する視覚センサとしてのカメラ６を備える。本実施の形態のカメラ６は、２次元の画像を撮像する２次元カメラである。カメラ６は、ロボット１に支持されている。カメラ６は、支持部材を介してハンド５に固定されている。カメラ６は、ハンド５とともに位置および姿勢が変化する。

カメラ６は、視野６ａにて画像を撮像することができる。カメラ６は、ピントを調整するためのピント調整機構２４を有する。本実施の形態のピント調整機構２４は、自動的にピントを合わせる機能を有する。すなわち、カメラ６は、オートフォーカスの機能を有する。カメラ６は、ロボット１が位置および姿勢を変更した場合に、自動的にワーク３８，３９に対してピントを合わせて、ワーク３８，３９を撮像するように形成されている。ピント調節機構としては、コントラスト検出方式または位相差方式等の任意の制御にてピントを合わせる機構を採用することができる。

または、視覚センサとして液体レンズを備えるカメラを採用することができる。この場合に、ピント調整機構としては、液体レンズの形状を変更するための機構を採用することができる。例えば、液体レンズに加える電圧を変更する機構または液体レンズに加える水圧を変更するための液体レンズの保持部材を移動する機構等を採用することができる。

ロボットシステム３では、カメラ６に対してセンサ座標系としてのカメラ座標系７２が設定されている。カメラ座標系７２は、カメラ６と共に位置および姿勢が変化する。カメラ座標系７２の原点は、カメラ６のレンズ中心または光学中心等のカメラ６の予め定められた位置に設定されている。カメラ座標系７２は、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。本実施の形態のカメラ座標系７２は、Ｚ軸がカメラ６のレンズの光軸と平行な方向に延びるように設定されている。本実施の形態では、カメラ６がハンド５に固定されているために、ツール座標系７４に対するカメラ座標系７２の位置および姿勢は一定である。

本実施の形態の撮像装置は、カメラ６を移動する移動装置を備える。ロボットシステム３では、ロボット１が移動装置として機能する。ロボット１の位置および姿勢が変化すると、カメラ６の位置および姿勢が変化する。

撮像装置は、視覚センサにて撮像した画像を処理する画像処理装置を備える。本実施の形態のロボットシステム３では、制御装置本体４０が画像処理装置として機能する。制御装置本体４０は、カメラ６にて撮像した画像を処理する画像処理部５０を含む。画像処理部５０は、カメラ６に対して画像を撮像する指令を送出する撮像制御部５８を含む。

画像処理部５０は、重力方向を検出する重力方向検出部５１と、重力方向に対するカメラ６の姿勢を検出する姿勢検出部５２とを含む。画像処理部５０は、カメラ６にて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部５３を含む。

画像処理部５０は、ワーク３８，３９の画像において、予め定められた特徴部分を検出する特徴検出部５４を含む。画像処理部５０は、パラメータ設定部５３にて設定されたパラメータを用いて、特徴部分の３次元の位置を算出する特徴位置算出部５５を含む。画像処理部５０は、ロボットが駆動する時の視覚センサの加速度を検出する加速度検出部５６を含む。画像処理部５０は、画像処理の結果に基づいてロボット１およびハンド５の動作指令を生成する動作指令生成部５９を含む。

画像処理部５０は、動作プログラム６１に従って駆動するプロセッサに相当する。特に、重力方向検出部５１、姿勢検出部５２、パラメータ設定部５３、特徴検出部５４、特徴位置算出部５５、加速度検出部５６、撮像制御部５８、および動作指令生成部５９のそれぞれのユニットは、動作プログラム６１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム６１を読み込んで、動作プログラム６１に定められた制御を実施することにより、それぞれのユニットとして機能する。

図１を参照して、本実施の形態のロボットシステム３では予め定められた方法により架台９５の表面にワーク３８を配置する。例えば、作業者または他のロボットシステムが架台９５の表面の予め定められた位置にワーク３８を配置する。また、同様の方法にて架台９６の表面にワーク３９を配置する。そして、ロボット１が位置および姿勢を変化させて、架台９５の上面に配置されたワーク３８をハンド５にて把持する。ロボットシステム３は、矢印１０１に示すように、ロボット１の位置および姿勢を変化することにより、ワーク３８をワーク３９の凹部３９ａに配置する。ワーク３８が凹部３９ａに配置されたワーク３８，３９は、予め定められた方法により搬送される。例えば、作業者または他のロボットシステムがワーク３８，３９を予め定められた位置まで搬送する。

ところで、架台９５の表面にワーク３８を配置する場合に、架台９５におけるワーク３８の位置がずれる場合がある。図１に示す例では、ロボット１の位置および姿勢を教示するときの教示作業においてワーク３８の基準位置が定められる。基準位置は、ワーク３８を配置することが望ましい位置である。ところが、実際にワーク３８を架台９５の上面に配置したときには、基準位置からずれた位置にワーク３８が配置される場合がある。ワーク３９についても同様に、架台９６の表面にワーク３９が配置される時に、教示作業において定められた基準位置からずれる場合が有る。また、それぞれのワーク３８，３９には、寸法の誤差が有る。本実施の形態のロボットシステム３では、カメラ６にて撮像した画像に基づいてワーク３８，３９の３次元の位置を検出する。

本実施の形態のロボットシステム３では、第１のワーク３８を把持するときに、カメラ６にてワーク３８を撮像する。画像処理部５０は、ワーク３８の画像に基づいてワーク３８の３次元の位置を算出する。画像処理部５０は、ワーク３８の位置に対応するように、ロボット１の位置および姿勢を制御する。そして、画像処理部５０は、ロボット１の位置および姿勢を変更して、ハンド５にてワーク３８を把持する。

第１のワーク３８を第２のワーク３９の凹部３９ａに配置するときにも、ワーク３８の３次元の位置を検出する制御と同様に、ワーク３９の３次元の位置を検出する制御を実施する。カメラ６にてワーク３９を撮像する。画像処理部５０は、ワーク３９の画像に基づいてワーク３９の３次元の位置を算出する。画像処理部５０は、ワーク３９の凹部３９ａにワーク３８を配置するためのロボット１の位置および姿勢を算出する。画像処理部５０は、ロボット１の位置および姿勢を変更して、ワーク３８をワーク３９の凹部３９ａに配置する。この後に、ハンド５はワーク３８を解放して、ロボット１は作業の開始時の位置および姿勢に戻る。

図３に、本実施の形態における第１のワークの平面図を示す。図１および図３を参照して、ワーク３８は、板状部３８ａと板状部３８ａの上側に形成された板状部３８ｂとを有する。それぞれの板状部３８ａ，３８ｂは、直方体の形状を有する。板状部３８ｂは、上面の外周部に縁部３８ｃを有する。縁部３８ｃは、板状部３８ｂに形成された角に相当する部分である。本実施の形態では、縁部３８ｃがワーク３８の特徴部分になる。

図１を参照して、本実施の形態においては、ワーク３８を把持する時に、ワーク３８の鉛直方向の上側にカメラ６が配置される。この時に、ワーク３８の特徴部分が形成されている表面からカメラ６までの距離は予め定められている。ここでの例では、板状部３８ｂの上面の位置がカメラ座標系７２の所定のＺ軸の値になるように、ロボット１の位置および姿勢が制御される。また、カメラ６のレンズの光軸がワーク３８の特徴部分を有する板状部３８ｂの表面にほぼ垂直になるように、カメラ６の姿勢が調整される。

図４に、カメラにて第１のワークを撮像した時の画像の例を示す。カメラ６は、ピント合わせを実施して画像６６を撮像する。画像６６には、第１のワーク３８の画像６８が含まれている。また、カメラにて撮像された画像６６には、画像座標系７３が設定されている。画像処理部５０の特徴検出部５４は、パターンマッチングを行うことにより、縁部３８ｃをワーク３８の特徴部分として検出する。パターンマッチングにおいて、縁部３８ｃの位置を検出するための基準画像は、予め作成されて記憶部４２に記憶されている。特徴検出部５４は、基準画像を用いて、カメラ６にて撮像された画像において特徴部分である縁部３８ｃを検出する。

特徴位置算出部５５は、カメラ６にて撮像された画像におけるワーク３８の特徴部分の位置を算出する。例えば、画像６８における縁部３８ｃの角の位置を画像座標系７３の座標値にて検出する。特徴位置算出部５５は、画像における特徴部分の位置に基づいて、計算モデルを用いて特徴部分の３次元の位置を検出する。このようなワーク３８の特徴部分の位置は、基準座標系７１にて算出することができる。更に、特徴位置算出部５５は、ワーク３８の特徴部分の３次元の位置に基づいてワーク３８の位置を算出する。ワーク３８の位置としては、ワーク３８に対して設定された任意の設定点の位置を算出することができる。ワーク３８の位置についても基準座標系７１にて算出することができる。

動作指令生成部５９は、特徴位置算出部５５によって算出されたワーク３８の３次元の位置に基づいて、ロボット１の位置および姿勢を算出する。そして、ワーク３８を把持するためのロボット１の位置および姿勢を動作制御部４３に送出する。動作制御部４３は、動作指令生成部５９から受信した動作指令に基づいて、ロボット１およびハンド５を駆動してワーク３８を把持する。

図５に、ロボットシステムが第１のワークを第２のワークの凹部に配置するときの概略図を示す。第１のワーク３８を第２のワーク３９の凹部３９ａに配置するときも、第１のワーク３８を把持する制御と同様の制御を実施する。動作制御部４３は、ハンド５にて第１のワーク３８を把持した後に、ロボット１の位置および姿勢を変更する。ロボット１は、カメラ６を第２のワーク３９を撮像する位置および姿勢に配置する。

図６に、本実施の形態における第２のワークの平面図を示す。図５および図６を参照して第２のワーク３９は直方体状の形状を有する。ワーク３９の上面は平面状である。ワーク３９の上面には、第１のワーク３８の板状部３８ａの形状に対応する凹部３９ａが形成されている。第２のワーク３９の凹部３９ａの段差の部分は、カメラ６にて画像を撮像したときの特徴部分になる。

図７に、第２のワークをカメラにて撮像した時の画像の例を示す。画像６７には、第２のワーク３９の上面の画像６９が含まれている。図５から図７を参照して、第２のワーク３９を撮像する時にワーク３９の特徴部分が形成されている上面からカメラ６までの距離は予め定められている。カメラ座標系７２におけるワーク３９の上面のＺ軸の位置が予め定められている。また、カメラ６のレンズの光軸がワーク３９の特徴部分を有する上面にほぼ垂直になるように、カメラ６の姿勢が調整される。このようなロボット１の基準となる位置および姿勢は予め定められている。

図２、図５、および図７を参照して、画像処理部５０の特徴検出部５４は、パターンマッチングを行うことにより、ワーク３９の特徴部分としての凹部３９ａを検出する。凹部３９ａを検出するための基準画像は、予め作成されて記憶部４２に記憶されている。特徴位置算出部５５は、カメラ６にて撮像された画像６９における特徴部分の位置に基づいて、計算モデルを用いてワーク３９の特徴部分の３次元の位置を算出する。例えば、特徴位置算出部５５は、凹部３９ａの平面形状の角の３次元の位置を算出することができる。そして、特徴位置算出部５５は、特徴部分の３次元の位置に基づいてワーク３９の３次元の位置を算出することができる。

動作指令生成部５９は、特徴位置算出部５５において算出された第２のワーク３９の位置に基づいてロボット１の位置および姿勢を算出する。動作指令生成部５９は、第１のワーク３８を第２のワーク３９の凹部３９ａに配置する為のロボット１の位置および姿勢を算出する。そして、動作指令生成部５９は、ワーク３８をワーク３９の凹部３９ａに配置するためのロボット１の位置および姿勢を動作制御部４３に送信する。動作制御部４３は、動作指令生成部５９から受信した動作指令に基づいて、ロボット１およびハンド５を駆動して第１のワーク３８を第２のワーク３９の凹部３９ａに配置する。

本実施の形態のワークを搬送する制御では、特徴検出部５４が特徴部分を検出し、特徴位置算出部５５が特徴部分の位置に基づいてワーク３８，３９の３次元の位置を精度よく算出する。このために、ロボットシステム３は、精度よくワーク３８を把持したり、ワーク３８をワーク３９の凹部３９ａに配置したりすることができる。架台９５におけるワーク３８の位置が、基準の位置からずれている場合またはワーク３８の寸法誤差がある場合でも、ロボットシステム３は、ワーク３８を精度よく把持することができる。また、架台９６におけるワーク３９の位置が基準の位置からずれている場合またはワーク３９の寸法誤差がある場合でも、精度よくワーク３８をワーク３９の凹部３９ａに配置することができる。

本実施の形態の特徴位置算出部５５は、予め定められた計算モデルを用いて２次元の画像における特定の位置から３次元の位置を算出する。ここで、カメラの姿勢が変化した場合に、カメラに加わる自重およびレンズの自重等の影響により、レンズに対するカメラの受光素子の相対的な位置関係が変化する場合が有る。また、液体レンズを含むカメラの場合には、カメラの姿勢の変化に応じてレンズの形状が変化する場合が有る。この結果、カメラ６にて撮像された２次元の画像の特定位置に対する３次元の位置が変化して、対象物の３次元の位置を正確に算出できない場合が有る。

本実施の形態の画像処理部５０は、カメラ６の姿勢を考慮して３次元の位置を補正する機能を有する。カメラ６の姿勢に対応してパラメータを設定するための設定情報６３は予め定められている。設定情報６３は、記憶部４２に記憶されている。パラメータ設定部５３は、カメラ６にて撮像した画像における特徴部分の位置から３次元の特徴部分の位置を算出する計算モデルにおけるパラメータを、重力方向、カメラ６の姿勢、および設定情報６３に基づいて算出する。特徴位置算出部５５は、カメラ６の姿勢に対応して設定されたパラメータを用いて、ワークの表面における特徴部分の３次元の位置を算出する。更に、本実施の形態では、カメラ６の姿勢が変化したときに、パラメータ設定部５３は、カメラ６の姿勢に応じてパラメータの値を変更する。

次に、カメラにて撮像した画像における特定位置から空間における３次元の位置を算出する計算モデルについて説明する。空間上の任意の位置に対応するカメラにより撮像された画像における位置は、ピンホールカメラのモデルにより、一般的に次の式（１）にて示される。

本実施の形態では、３次元の位置の座標値（Ｘ，Ｙ，Ｚ）は、基準座標系７１にて表現されている。画像上の位置の座標値（ｕ，ｖ）は、画像座標系７３にて表現されている。外部パラメータの行列は、空間における３次元の位置をカメラ座標系７２の座標値に変換するための変換行列である。また、内部パラメータの行列は、カメラ座標系７２の座標値を、画像における画像座標系７３の座標値に変換する為の行列である。ここで、基準座標系７１における３次元の位置のＺ軸の値、または、カメラ座標系７２におけるＺ軸の座標値は、カメラからワークまでの距離に対応して予め定められている。

上記の式（１）は、レンズの歪み等が存在しない理想的な例である。実際にはレンズの歪み等によるパラメータの変化を考慮する。式（１）における空間における３次元の位置と外部パラメータの行列との部分の演算は、次の式（２）にて表すことができる。

式（２）により、基準座標系７１にて表現された座標値（Ｘ，Ｙ，Ｚ）をカメラ座標系７２にて表現された座標値（ｘ，ｙ，ｚ）に変換することができる。次に、カメラのレンズの歪みを考慮するために、変数ｘ'および変数ｙ'を、次の式（３）および式（４）に示すように定義する。さらに、歪みを考慮した変数ｘ''および変数ｙ''を、式（５）および式（６）に示すように算出する。ここで、変数ｘ'、変数ｙ'、および変数ｒの関係は、式（７）に示すようになる。

式（５）および式（６）において、係数ｋ₁～ｋ₆は、半径方向のレンズの歪みに関する係数であり、係数ｐ₁，ｐ₂は、円周方向のレンズの歪みに関する係数である。レンズの歪みを考慮した変数ｘ''および変数ｙ''を用いて、画像座標系７３における画像上の座標値（ｕ，ｖ）は、次の式（８）および式（９）に示すように算出することができる。式（８）および式（９）は、上記の式（１）における内部パラメータの行列による演算に対応する部分である。

上記の説明においては、空間上の３次元の位置から画像における位置を算出する方法を説明している。しかしながら、本実施の形態では、上記の関係式に基づいて、画像上の位置の座標値（ｕ，ｖ）およびカメラ座標系７２におけるカメラ６からワーク３８，３９までの距離（カメラ座標系７２のＺ軸の座標値）に基づいて、空間上の３次元の位置（Ｘ，Ｙ，Ｚ）を算出する。カメラ６からワーク３８までの距離は、予め定めて記憶部４２に記憶させておくことができる。特徴位置算出部５５は、計算モデルに基づいて、画像上の特定の位置の座標値（ｕ，ｖ）から空間上の３次元の位置（Ｘ，Ｙ，Ｚ）を算出する。

ここで、式（２）から式（９）を参照して、画像における位置から３次元の位置を算出する計算モデルには、焦点距離と画像の有効サイズとの積の変数ｆである積ｆ_x，ｆ_y、画像中心の変数ｃである画像中心ｃ_x，ｃ_y、および歪みに関する係数である変数ｋ，ｐとして、係数ｋ₁～ｋ₆，ｐ₁，ｐ₂が必要になる。これらの計算モデルのパラメータは、カメラ６の姿勢に依存する。すなわち、計算モデルのパラメータは、重力の方向に対するカメラの姿勢に依存する。または、計算モデルのパラメータは、重力等のカメラに作用する力（加速度）に依存する。

図８に、重力方向に対するカメラ座標系の姿勢を説明するカメラの斜視図を示す。本実施の形態では、カメラ座標系７２のＺ軸がレンズの光軸６ｂと重なるように、カメラ座標系７２が設定されている。本実施の形態では、重力方向に対するカメラの姿勢を表現するためにカメラ座標系７２の姿勢を利用する。矢印１０２に示す方向が重力方向であり、カメラ座標系７２は重力方向に対して傾いている。

重力方向検出部５１は、重力の方向を検出する。本実施の形態では、基準座標系７１にて重力の方向を示す座標値が予め記憶部４２に記憶されている。重力方向検出部５１は、記憶部４２から重力の方向を示す基準座標系７１の座標値を取得する。または、カメラと共に姿勢が変化するロボットのリスト等に重力センサを配置することができる。重力方向検出部５１は、重力センサの出力に基づいて重力の方向を検出することができる。更には、カメラが重力センサを含む場合がある。この場合には、重力方向検出部５１は、カメラの重力センサから重力の方向を検出しても構わない。

姿勢検出部５２は、ロボット１の位置および姿勢とカメラ６が取り付けられているロボット１における位置とに基づいて、重力方向に対するカメラ６の姿勢を検出する。本実施の形態のカメラ６はハンド５に固定されている。ロボット１におけるカメラ６の位置およびハンド５に対する姿勢は一定である。このために、姿勢検出部５２は、位置検出器２３の出力に基づいて、カメラ座標系７２の位置および姿勢を算出する。カメラ座標系７２の位置および姿勢は、基準座標系７１の座標値を用いて表現することができる。または、姿勢検出部５２は、位置検出器２３の出力に基づいて、基準座標系７１を用いてツール座標系７４の位置および姿勢を算出する。そして、姿勢検出部５２は、ツール座標系７４の位置および姿勢からカメラ座標系７２の位置および姿勢を算出しても構わない。

次に、姿勢検出部５２は、重力方向に対するカメラ座標系７２の姿勢を算出する。本実施の形態では、重力方向をカメラ座標系７２のＸ軸、Ｙ軸、およびＺ軸の方向の成分に分解する。すなわち、重力方向をＸ軸の座標値、Ｙ軸の座標値、およびＺ軸の座標値にて表現する。重力の大きさに対応する矢印１０２の長さは、任意の長さを採用することができる。本実施の形態では、重力の大きさを９．８とする。本実施の形態では、矢印１０２に示す重力方向のベクトルの座標値（ｇ_x，ｇ_y，ｇ_z）が、重力方向に対するカメラ座標系７２の姿勢に対応する。矢印１０２に示す重力方向のベクトルの大きさを変数ｇで表すと、次の式（１０）の関係が成立する。

例えば、カメラ６のレンズの光軸６ｂが鉛直方向に平行な場合に、矢印１０２に示すベクトルの座標値（０, ０, ９．８）が、重力方向に対するカメラ座標系７２の姿勢に相当する。次に、本実施の形態では、重力方向に対するカメラ６の姿勢に対応するパラメータを設定するための設定情報６３が予め定められている。パラメータ設定部５３は、重力方向に対するカメラ６の姿勢および設定情報６３を用いて、計算モデルのパラメータを設定する。表１に、設定情報６３として、カメラ６の姿勢に対応するパラメータの値の表の一部分を示す。

ここでは、パラメータの例として、焦点距離と画素の有効サイズとの積ｆ_xの値が示されている。ここでの設定情報６３は、複数の離散的なカメラ６の姿勢を示す変数である座標値（ｇ_x，ｇ_y，ｇ_z）に対して、パラメータである積ｆ_x1～ｆ_x13の値が予め定められている。

パラメータ設定部５３は、重力方向に対するカメラ６の姿勢ごとに定められたパラメータの値に基づいて、計算モデルにおけるパラメータを設定する。例えば、パラメータ設定部５３は、カメラ６にて画像を撮像したときのカメラの姿勢に関する座標値が最も近い２つの座標値（ｇ_x，ｇ_y，ｇ_z）の積ｆ_xを取得する。パラメータ設定部５３は、２つの積ｆ_xの値をカメラの姿勢に関する座標値にて内挿することによりパラメータを設定することができる。または、離散的なパラメータの値を含む表を用いて任意の方法によりパラメータを設定することができる。例えば、２つの座標値に対応する２つのパラメータの中央値を採用したり、いずれかの近い方の座標値に対応するパラメータの値を採用したりしても構わない。その他のパラメータである積ｆ_y、画像中心の変数ｃ、歪みに関する変数ｋ，ｐについても、同様の方法により設定することができる。

離散的なカメラの姿勢に対するパラメータの値を含む設定情報を用いることにより、パラメータ設定部は、任意のカメラの姿勢に応じたパラメータを設定することができる。パラメータ設定部は、簡易な計算にてパラメータを設定することができる。または、次に説明する関数の設定が難しい場合でも、カメラの姿勢に応じたパラメータを設定することができる。

次に、設定情報としては、カメラの姿勢に応じてパラメータを算出するための関数を定めることができる。カメラの姿勢に関する変数を含む数式にてパラメータを算出することができる。例えば、式（１１）に示すように、カメラの姿勢に関する座標値を変数として、変数ｇ_x，ｇ_y，ｇ_zに対して変数ｆを算出する関数ｆ（ｇ_x，ｇ_y，ｇ_z）を予め定めておくことができる。または、式（１２）に示すように、カメラの姿勢に関する変数に対して歪みの係数ｋを算出する関数ｋ（ｇ_x，ｇ_y，ｇ_z）を予め定めておくことができる。

このような関数としては、例えば、カメラの姿勢に関する変数ｇ_x，ｇ_y，ｇ_zの高次の式を採用することができる。パラメータ設定部５３は、関数を用いてそれぞれのパラメータを設定することができる。特徴位置算出部５５は、パラメータ設定部５３にて設定されたパラメータに基づいて、特徴部分の３次元の位置を算出することができる。

または、設定情報としては、カメラの姿勢に応じてパラメータを算出するための機械学習を採用しても構わない。例えば、パラメータ設定部は、重力方向に対するカメラの姿勢と、カメラの姿勢に対応するパラメータの値との多くの組を教師データ（ラベル）として取得する。パラメータ設定部は、教師有り学習により学習モデルを生成する。そして、パラメータ設定部は、学習モデルを用いてカメラの姿勢に関する変数からパラメータの値を設定しても構わない。

上記の実施の形態においては、重力方向に対するカメラの姿勢を示す変数として、重力方向のベクトルをカメラ座標系のＸ軸方向、Ｙ軸方向、およびＺ軸方向の成分に分解しているが、この形態に限られない。重力方向に対するカメラの姿勢を表す変数であれば、任意の変数を採用することができる。例えば、基準座標系７１の座標値にて表現したカメラ座標系の姿勢の座標値（基準座標系７１のＷ軸、Ｐ軸、およびＲ軸の座標値）を、重力方向に対するカメラの姿勢を示す変数として算出しても構わない。

図９に、本実施の形態における制御のフローチャートを示す。図１、図２、および図９を参照して、作業者は、予め計算モデルのパラメータを設定するための設定情報を定める。そして、作業者は、記憶部４２に設定情報６３を記憶させる。始めに、ロボットシステム３がワーク３８を把持する制御を例に取り上げて説明する。

ステップ８１において、動作制御部４３は、ワーク３８を撮像するための予め定められた撮像位置にカメラ６を移動する。本実施の形態においては、ワーク３８の基準の位置の真上にカメラ６を配置する。次に、ステップ８２において、カメラ６のピント調整機構２４は、カメラ６のピントを合わせる。本実施の形態のピント調整機構２４は、オートフォーカスの機能を有するために、自動的にピントを合わせる。撮像制御部５８は、カメラ６にて画像を撮像する。

ステップ８３において、重力方向検出部５１は、重力方向を検出する。例えば、重力方向検出部５１は、基準座標系７１の座標値にて表現された重力方向を示す座標値を記憶部４２から取得する。姿勢検出部５２は、ロボット１の位置および姿勢に基づいてカメラ６の姿勢を検出する。例えば、姿勢検出部５２は、基準座標系７１の座標値にてカメラ座標系７２の姿勢を検出することができる。次に、姿勢検出部５２は、画像を撮像したときの重力方向に対するカメラの姿勢を検出する。

ステップ８４において、パラメータ設定部５３は、カメラ６の姿勢に関する変数および設定情報に基づいて、特徴部分の３次元の位置を算出するための計算モデルのパラメータを設定する。

次に、ステップ８５において、特徴検出部５４は、パターンマッチングを行うことにより、画像における特徴部分を検出する。ここでの例では、板状部３８ｂの縁部３８ｃの基準画像を用いてパターンマッチングを行うことにより、画像における縁部３８ｃを検出する。特徴位置算出部５５は、画像における特徴部分の位置を検出する。

次に、本実施の形態の制御例では、ワークの特徴部分の位置が検出できない場合に、ワーク３８に対するカメラ６の位置を変更して画像を撮像する制御を実施する。例えば、照明の光が反射して特徴部分が白くなり、特徴部分が不明確になる場合がある。このような場合に、カメラの位置を移動することにより、特徴部分を明確に撮像することができる場合がある。

ステップ８６において、画像処理部５０は、特徴部分の位置を検出できたか否かを判定する。特徴位置算出部５５が特徴部分の位置を検出できない場合に、制御はステップ８７に移行する。

ステップ８７において、動作指令生成部５９は、カメラ６の位置を変更する指令を生成する。例えば、動作指令生成部５９は、予め定められた方向に予め定められた移動量にてカメラ６を平行移動する指令を生成する。動作指令生成部５９は、カメラ座標系７２のＺ軸に垂直な方向にカメラ６を平行移動することができる。図１を参照して、例えば、動作指令生成部５９は、カメラ座標系７２のＸ軸の方向にカメラ６を移動する指令を生成する。

動作指令生成部５９は、ロボット１の動作指令を動作制御部４３に送出する。動作制御部４３は、ロボット１の位置および姿勢を変更する。そして、制御はステップ８２に戻る。画像処理部５０は、ステップ８２からステップ８６までの制御を繰り返す。

ステップ８６において、特徴位置算出部５５が特徴部分の位置を検出できた場合には、制御はステップ８８に移行する。なお、複数回にてロボットの位置および姿勢の変更を行っても特徴部分を検出できない場合には、制御を中止しても構わない。

ステップ８８において、特徴位置算出部５５は、画像における特徴部分の位置に基づいて特徴部分の３次元の位置を算出する。特徴位置算出部５５は、画像における画像座標系７３の座標値に基づいて、基準座標系７１の座標値を算出する。特徴位置算出部５５は、特徴部分の３次元の位置に基づいてワークの位置を算出する。ワークの位置は、例えば基準座標系７１にて算出することができる。

ステップ８９において、動作指令生成部５９は、ワーク３８の位置に基づいてロボット１の位置および姿勢を算出する。そして、ステップ９０において、動作指令生成部５９は、ロボット１を駆動する動作指令を動作制御部４３に送出する。動作制御部４３は、動作指令に基づいてロボット１およびハンド５を駆動する。

図２、図５、および図９を参照して、第１のワーク３８を第２のワーク３９の凹部３９ａに配置するときにも、図９に示す制御と同様の制御を実施することができる。ステップ８１において、ロボット１は、カメラ６をワーク３９の表面に垂直な方向に配置する。ステップ８２において、カメラ６はワーク３９の表面の画像を撮像する。ステップ８３において、重力方向検出部５１は、重力方向を検出する。姿勢検出部５２は、重力方向に対するカメラの姿勢を検出する。ステップ８４において、パラメータ設定部５３は、重力方向に対するカメラ６の姿勢に基づいて、計算モデルにおけるパラメータを算出する。

次に、ステップ８５において、特徴検出部５４は、画像におけるワークの特徴部分を検出する。例えば、ワーク３９の凹部３９ａの角の部分の位置を検出する。特徴位置算出部５５は、画像における特徴部分の位置を検出する。

ステップ８６において、画像処理部５０は、特徴部分の位置を検出できたか否かを判定する。特徴部分の位置を検出できない場合には、ステップ８７において、動作指令生成部５９は、カメラ６の位置を変更する。例えば、カメラ座標系７２のＺ軸に垂直な方向にカメラ６を平行移動する。そして、カメラ６の位置を変更した後に、ステップ８２からステップ８６の制御を繰り返す。

ステップ８６において特徴部分の位置を検出できた場合に、ステップ８８において、特徴位置算出部５５は、第２のワーク３９の位置を算出する。そして、第２のワーク３９の位置に基づいて第１のワーク３８を配置する時のロボット１の位置および姿勢を算出する。すなわち、第２のワーク３９の凹部３９ａに、第１のワーク３８が挿入される時のロボット１の位置および姿勢を算出する。そして、ステップ９０においてロボットを駆動する。動作制御部４３は、動作指令に基づいてロボット１およびハンド５を駆動する。第１のワーク３８を凹部３９ａに配置した後に、ハンド５はワーク３８を解放する。

本実施の形態における撮像装置は、視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するための計算モデルのパラメータをカメラの姿勢に応じて設定する。そして、視覚センサの姿勢に応じたパラメータに基づいて、特定位置の３次元の位置を算出する。この制御により、カメラの姿勢に応じて特徴部分の３次元の位置を精度よく検出することができる。特に、ワークに対するカメラの姿勢を予め固定する必要は無く、ワークの姿勢に応じた任意のカメラの姿勢にて画像を撮像して、誤差の少ない３次元の位置を算出することができる。本実施の形態の撮像装置では、従来の技術に比べて、ロボットを駆動できる範囲が拡大したり、ロボットを駆動するパターンが増えたりする。

また、視覚センサのピント調整機構がピントを自動的に合わせる機能を有する場合には、重量が大きくなる。また、レンズの位置を移動する機構を有するために、レンズの内部の機構のがたつきが大きくなる。この結果、カメラの受光素子に対するレンズの相対的な位置関係の変化が大きくなる。このために、カメラがピントを自動的に合わせる機能を有する場合には、本実施の形態の制御の効果が顕著になる。

なお、視覚センサは、自動的にピントを合わせる機能を有していなくても構わない。例えば、手動にてピントを合わせるレンズを備えるカメラでも構わない。または、ピントの位置が固定されたレンズを備えるカメラであっても構わない。

また、本実施の形態のロボットシステムは、視覚センサを移動する移動装置としてのロボットを備える。ロボットは、カメラの姿勢を変更することができる。ロボットにてカメラの姿勢を変化しても、本実施の形態の撮像装置は、カメラの姿勢に応じてパラメータを設定することができて、ワークの３次元の位置を精度よく検出することができる。

図２を参照して、本実施の形態の教示操作盤２６の表示部２８は、パラメータ設定部５３にて設定されたパラメータの値を表示する。作業者は、教示操作盤２６の表示部２８に表示されたパラメータの値を確認することができる。特に、特徴位置算出部５５にて算出された３次元の位置が正しくない場合に、作業者は、カメラ６の姿勢に応じて設定されているパラメータの値を確認することができる。

また、本実施の形態のパラメータ設定部５３は、重力の影響を排除した時のパラメータを設定できるように形成されている。重力の影響を排除した時のパラメータは、予め定めて記憶部４２に記憶させておくことができる。パラメータ設定部５３は、このパラメータを記憶部４２から取得することができる。

本実施の形態の表示部２８は、重力方向に対するカメラの姿勢に対応するパラメータにて算出した特徴部分の３次元の位置と、重力の影響を排除した時のパラメータにて算出した特徴部分の３次元の位置とを表示するように形成されている。この構成により、作業者は、重力の影響による位置のずれの大きさを確認することができる。作業者は、重力が画像に与える影響の大きさを確認することができる。また、作業者は、画像における特徴部分の位置のずれ量またはワークの３次元の位置のずれ量を確認することができる。作業者は、ロボットシステムの作業の正確性を確認することができる。

上記の実施の形態においては、重力方向に対するカメラの姿勢に基づいて２次元の画像における位置を３次元の位置に変換するためのパラメータを設定しているが、この形態に限られない。パラメータ設定部５３は、温度を変数に含む設定情報に基づいてパラメータを設定することができる。

図２を参照して、本実施の形態のロボットシステム３は、カメラ６の本体の温度を検出する温度検出器３１がカメラ６に取り付けられている。温度としては、カメラ６の本体の温度に限られず、カメラ６の温度に関連する任意の温度を採用することができる。例えば、レンズの温度、またはロボットシステム３の周りの気温を採用しても構わない。

カメラを長時間にて駆動するとカメラの内部の電子部品の温度が上昇する場合がある。または、レンズを駆動するモータの温度が上昇する場合がある。この結果、カメラの本体の温度、レンズの温度、およびレンズを支持する支持部材等の温度が変化して、レンズの歪みまたはレンズに対するセンサの相対位置などが変化する場合がある。このために、温度が変化すると計算モデルにおけるパラメータが変化する場合がある。そこで、パラメータ設定部５３は、重力方向に対するカメラの姿勢に加えて温度を変数として、計算モデルのパラメータを設定しても構わない。

このような温度を変数に加えたパラメータの設定方法としては、表１に示すような重力方向に対するカメラの姿勢の変数に加えて温度を変数に追加することができる。すなわち、重力方向を示す座標値の変数ｇ_x，ｇ_y，ｇ_zに加えて、温度ｔを変数にしたパラメータの値の表を作成することができる。または、次の式（１３）に例示するように、変数ｇ_x，ｇ_y，ｇ_zに加えて、温度ｔを変数にした関数ｆ（ｇ_x，ｇ_y，ｇ_z，ｔ）にてパラメータを算出しても構わない。

この制御により、重力方向に対するカメラの姿勢に加えて、温度の影響を考慮して、精度よく３次元の位置を算出することができる。特に、液体レンズを含むカメラの場合には、液体レンズが温度の影響を強く受ける。例えば、液体レンズは、表面張力を変えてレンズの曲率を変えるために液体の温度の影響を強く受ける。このために、カメラの姿勢に加えて温度に基づいて計算モデルにおけるパラメータを設定することにより、３次元の位置を精度よく算出することができる。

前述の実施の形態においては、カメラが静止した状態でワークの撮像を行っているが、この形態に限られない。カメラを移動しながらワークを撮像しても構わない。例えば、図１を参照して、架台９５の代わりにワーク３８を水平方向に移動するコンベヤを採用することができる。

この場合に、カメラ６がワーク３８の移動に追従するようにロボット１の位置および姿勢を制御することができる。例えば、コンベヤによりワーク３８が基準座標系７１のＹ軸の方向に移動する時に、カメラ６は基準座標系７１のＹ軸の方向に移動しながら撮像する。そして、ワーク３８が移動している期間中にワーク３８を把持しても構わない。このような場合に、カメラ６が加速している期間中またはカメラ６が減速している期間中にワーク３８を撮像する場合がある。すなわち、カメラ６に対して加速度が加わる期間中に画像を撮像する場合が有る。

図２を参照して、本実施の形態の画像処理部５０のパラメータ設定部５３は、カメラ６にて画像を撮像するときにカメラ６に加わる加速度を、重力加速度に加算することができる。加速度検出部５６は、位置検出器２３の出力に基づいて、カメラ座標系７２の原点の位置を算出する。加速度検出部５６は、カメラ座標系７２の原点の位置と時刻とに基づいて、カメラ座標系７２に加わる加速度を算出する。すなわち、加速度検出部５６は、カメラ６に加わる加速度の大きさと加速度の方向とを算出する。

パラメータ設定部５３は、カメラ座標系７２に加わる加速度をカメラ座標系７２のＸ軸方向の成分ａ_x、Ｙ軸方向の成分ａ_y、およびＺ軸方向の成分ａ_zに分解することができる。カメラの移動による加速度と重力加速度とを合わせて、カメラ座標系７２に加わる加速度の座標軸の成分ｇ'_x，ｇ'_y，ｇ'_zは、次の式（１４）から式（１６）にて表わすことができる。

このように、カメラ６に対してカメラ座標系７２における座標値（ｇ'_x，ｇ'_y，ｇ'_z）の加速度がカメラ６に加わっていると判断することができる。そして、パラメータ設定部５３は、変数ｇ'_x，ｇ'_y，ｇ'_zおよび表１に示すような設定情報に基づいて、パラメータである変数ｆ'，ｃ'，ｋ'，ｐ'の値を設定することができる。または、パラメータ設定部５３は、式（１１）および式（１２）に示すような関数に基づいて、変数ｇ'_x，ｇ'_y，ｇ'_zから計算モデルのパラメータである変数ｆ'，ｃ'，ｋ'，ｐ'を算出することができる。そして、特徴位置算出部５５は、算出した計算モデルのパラメータに基づいて、特徴部分の３次元の位置を算出することができる。

ロボット１の駆動にてカメラ６に加わる加速度を重力加速度に加える制御を実施することにより、カメラが加速したり減速したりする時に画像を撮像しても、精度よく３次元の位置を検出することができる。

なお、上記の実施の形態においては、重力方向に基づいて計算モデルのパラメータを算出し、算出したパラメータを用いてカメラにて撮像した２次元の画像の位置を３次元の位置に変換しているが、この形態に限られない。重力方向検出部５１にて検出した重力方向に基づいて、パラメータである変数ｆ'，ｃ'，ｋ'，ｐ'を算出し、これらのパラメータを用いて２次元の画像座標系７３にて示される画像の位置を補正しても構わない。そして、２次元の画像座標系７３にて示される画像の補正後の位置を、重力の影響を排除したパラメータを用いて３次元の位置に変換しても構わない。

例えば、２次元の画像における特徴部分の任意の位置の座標値（ｕ₁，ｖ₁）を、重力の影響を考慮したパラメータである変数ｆ'，ｃ'，ｋ'，ｐ'に基づいて、補正後の位置の座標値（ｕ₁'，ｖ₁'）に変換しても構わない。すなわち、重力の影響がないときに得られる２次元の画像に変換することができる。次に、重力の影響を排除した計算モデルのパラメータを用いて、画像における座標値（ｕ１'，ｖ１'）に基づいて、３次元の位置を算出することができる。このように、カメラにて取得される画像を重力の影響を排除した画像に変換する画像処理を行うことができる。この後に、画像の位置に基づいて重力の影響を排除したパラメータを用いて、３次元の位置を算出することができる。この方法によっても、精度の良く３次元の位置の検出を行うことができる。

上記の実施の形態においては、ロボット１がカメラ６の姿勢を変更するが、この形態に限られない。カメラの位置および姿勢は固定されていても構わない。また、カメラの姿勢を変更する移動装置としては、ロボットに限られず、カメラの姿勢を変化させる任意の装置を採用することができる。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。

１ ロボット
２ 制御装置
３ ロボットシステム
６ カメラ
６ｂ 光軸
２３ 位置検出器
２４ ピント調整機構
２６ 教示操作盤
２８ 表示部
３１ 温度検出器
３８，３９ ワーク
３８ｃ 縁部
３９ａ 凹部
４０ 制御装置本体
４２ 記憶部
５０ 画像処理部
５１ 重力方向検出部
５２ 姿勢検出部
５３ パラメータ設定部
５４ 特徴検出部
５５ 特徴位置算出部
５６ 加速度検出部
６３ 設定情報
６６，６７ 画像
６８，６９ ワークの画像
７１ 基準座標系
７２ カメラ座標系
７３ 画像座標系
７４ ツール座標系

Claims (8)

1. 対象物を撮像する視覚センサと、
   重力方向を検出する重力方向検出部と、
   重力方向に対する前記視覚センサの姿勢を検出する姿勢検出部と、
   前記視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部と、
   前記視覚センサの姿勢に対応するパラメータを設定するための設定情報を記憶する記憶部と、
   前記対象物の画像において予め定められた特徴部分を検出する特徴検出部と、
   前記パラメータ設定部にて設定されたパラメータを用いて、特徴部分の３次元の位置を算出する特徴位置算出部と、を備え、
   前記パラメータ設定部は、重力方向、前記視覚センサの姿勢、および前記設定情報に基づいてパラメータを設定する、撮像装置。
2. 前記パラメータ設定部は、前記視覚センサの姿勢が変化したときに、前記視覚センサの姿勢に応じてパラメータの値を変更する、請求項１に記載の撮像装置。
3. 前記視覚センサの姿勢を変更するロボットを備え、
   前記姿勢検出部は、ロボットの位置および姿勢と前記視覚センサが取り付けられているロボットにおける位置とに基づいて、重力方向に対する前記視覚センサの姿勢を検出する、請求項１または２に記載の撮像装置。
4. 温度を検出する温度検出器を備え、
   前記パラメータ設定部は、重力方向、前記視覚センサの姿勢、温度、および前記設定情報に基づいてパラメータを設定する、請求項１から３のいずれか一項に記載の撮像装置。
5. 前記視覚センサの姿勢を変更するロボットと、
   ロボットが駆動する時の前記視覚センサの加速度を検出する加速度検出部と、を備え、
   前記パラメータ設定部は、重力方向、前記視覚センサの加速度、前記視覚センサの姿勢、および前記設定情報に基づいてパラメータを設定する、請求項１に記載の撮像装置。
6. 前記視覚センサは、ピントを自動的に合わせる機能を有する、請求項１から５のいずれか一項に記載の撮像装置。
7. 前記特徴位置算出部にて算出された特徴部分の３次元の位置を表示する表示部を備え、
   前記パラメータ設定部は、重力の影響を排除した時のパラメータを設定できるように形成されており、
   前記表示部は、重力方向および前記視覚センサの姿勢に基づいて設定したパラメータにて算出した特徴部分の３次元の位置と、重力の影響を排除した時のパラメータにて算出した特徴部分の３次元の位置とを表示するように形成されている、請求項１から６のいずれか一項に記載の撮像装置。
8. 前記パラメータ設定部にて設定されたパラメータの値を表示する表示部を備える、請求項１から６のいずれか一項に記載の撮像装置。

Images