JP6785687B2 - ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Description

本発明は、ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。

マニピュレータにロボットビジョンを組み合わせて、対象となるワークを撮像して高さ情報を取得した上で、適切な位置を把持（ピック）して、所望の位置に載置（プレース又はプレースメント）可能なロボット装置が開発されている。このようなロボット装置を用いて、バラ積みピッキングと呼ばれる、通い箱に入れられた多数のワークを、カメラやセンサ部で撮像して姿勢を把握し、適切な把持位置を把握した上で、この把持位置までロボットのアームを移動させ、ハンド部等のエンドエフェクタで把持して、通い箱の外の決められた位置にプレースすることが行われている。

このバラ積みピッキングを正しく運用できるよう、予めバラ積みピッキングを行うロボットのピックやプレース動作のシミュレーションを三次元的に行うロボットシミュレーション装置が開発されている。このようなロボットシミュレーション装置では、ワークの三次元形状を有するＣＡＤモデルをワークモデルとして、仮想作業空間に無作為に配置して、ロボットの取出工程、すなわちバラ積みピッキングをシミュレーションしている。

このようなバラ積みピッキングシミュレーションではワークがとり切れずに残ってしまうことがある。この場合は、残ってしまったワークをピッキングできるように、ユーザ側で設定を変更する必要がある。

しかしながら従来のロボットシミュレーション装置では、シミュレーションでピッキングに失敗した場合に、その原因や解決策が提示されないため、ユーザがどのようにパラメータ等を変更すればよいのかが分からないという問題があった。また、パラメータを変更した場合においても、当該変更がどの程度効果的であったのかを検証することができなかった。

特許第４１５３５２８号公報 特開２０１５−２１５２５９号公報 特開２００２−３３１４８０号公報

本発明は、このような事情に鑑みてなされたものであり、その目的の一は、シミュレーション結果、取り出しが不可能なワークモデルが存在する場合に、その原因の解析を支援し、シミュレーション条件の再設定に資するようにしたロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。

課題を解決するための手段及び発明の効果

本発明の第１の形態に係るロボットシミュレーション装置によれば、作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするためのロボットシミュレーション装置であって、ワークの三次元形状をモデル化したワークモデルを設定するためのワークモデル設定部と、前記ワークモデル設定部で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するためのバラ積みデータ生成部と、前記バラ積みデータ生成部で生成されたバラ積みデータに基づいて、前記仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するためのピッキング動作シミュレート部と、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、当該ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析するための原因解析部と、前記原因解析部による解析の結果を表示させるための表示部とを備えることができる。上記構成により、取り出しが不可能となった取り出し失敗原因を表示させることで、どのように修正すればよいかの対策を講じ易くなり、バラ積みピッキング動作をシミュレーションしながら、適切な設定に調整する作業を容易に行うことが可能となる。

また、第２の形態に係るロボットシミュレーション装置によれば、上記構成に加えて、前記原因解析部が、原因候補としてロボットの動作範囲外か否かを解析するよう構成できる。

さらに、第３の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補としてロボットとワークモデル又はワークモデルを投入する容器を仮想的に表示させる容器モデルとの干渉の有無を解析するよう構成できる。

さらにまた、第４の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補としてロボットと周囲の障害物モデルとの干渉の有無を解析するよう構成できる。

さらにまた、第５の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補としてサーチの可否を解析するよう構成できる。

さらにまた、第６の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補をワークモデル単位で前記表示部上に表示させることができる。

さらにまた、第７の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記表示部が、前記仮想作業空間内に配置された、エンドエフェクタを仮想的に表現したエンドエフェクタモデルを表示可能に構成できる。

さらにまた、第８の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補をエンドエフェクタモデル側に識別表示させることができる。

さらにまた、第９の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補として、エンドエフェクタモデルが他のワークモデル又はワークモデルを投入する容器を仮想的に表示させる容器モデルに干渉するか否かを前記表示部上に表示可能に構成できる。

さらにまた、第１０の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、原因候補として、エンドエフェクタモデルが周囲の障害物モデルと干渉するか否かを前記表示部上に表示可能に構成できる。

さらにまた、第１１の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、取り出しが不可能とされたワークモデルに対して取り出し失敗原因を解析して、前記表示部上に表示可能に構成できる。

さらにまた、第１２の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、取り出しができないワークモデルを取り出し失敗原因別に色分けして表示可能に構成できる。上記構成により、取り出し失敗の原因が色分けによって視覚的に一目で判るようにでき、何を修正したらよいのかユーザが判断しやすくなる。

さらにまた、第１３の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、ワークモデルが取り出しができない全体的な主原因が何かを統計的に解析して前記表示部上に表示可能に構成できる。

さらにまた、第１４の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、ユーザが前記表示部上で選択した特定の取り出し失敗とされたワークモデルに対する取り出し失敗原因を、前記表示部上に表示可能に構成できる。

さらにまた、第１５の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、ワークモデルを取り出し失敗とされた取り出し失敗原因が、該エンドエフェクタモデルと他のワークモデル又は容器モデルとの干渉である場合に、どのような干渉が問題になっているかを前記表示部上にグラフィカルに表示可能に構成できる。

さらにまた、第１６の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部が、取り出しが不可能とされたワークモデルの取り出し失敗原因に応じて、取り得る解決策を前記表示部上に提案又は誘導するよう構成できる。

さらにまた、第１７の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、三次元サーチでワークモデルを検出不可能であった場合、前記ピッキング動作シミュレート部によりワークモデルの検出するためのサーチ設定の変更を促すよう構成できる。

さらにまた、第１８の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、三次元サーチでワークモデルを検出不可能であった場合、前記ピッキング動作シミュレート部によりワークモデルの検出するためのサーチ設定の変更として、サーチモデルの回転・傾斜角度、サーチ精度、一致度に対する閾値の変更の少なくとも何れかを含むことができる。

さらにまた、第１９の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、三次元サーチでワークモデルを検出不可能であった場合、ワークを撮像するセンサ部の撮像又は投影の設定の変更を促すよう構成できる。

さらにまた、第２０の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが他のワークモデル、容器モデル、障害物モデルのいずれかと干渉することであった場合、前記仮想作業空間上でロボットがワークモデルを把持する位置の追加又は修正を促すよう構成できる。

さらにまた、第２１の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが他のワークモデル、容器モデル、障害物モデルのいずれかと干渉することであった場合、前記仮想作業空間上におけるロボットのエンドエフェクタの形状の変更を促すよう構成できる。

さらにまた、第２２の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボットの可動範囲外であった場合、前記仮想作業空間上におけるロボットをモデル化したロボットモデル、容器モデル、センサモデルの位置関係の修正を促すよう構成できる。

さらにまた、第２３の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、エンドエフェクタモデルの取り出し失敗の主原因または選択されたワークモデルの原因に対し、調整すべきパラメータのウィンドウを優先的に立ち上げるよう構成できる。

さらにまた、第２４の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、エンドエフェクタモデルの取り出し失敗の主原因または選択されたワークモデルの原因に対し、調整すべきパラメータのウィンドウを順番に立ち上げていくよう構成できる。

さらにまた、第２５の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが干渉することである場合に、どのような干渉が問題になっているかを前記表示部上にグラフィカルに表示可能に構成できる。上記構成により、把持位置やエンドエフェクタの形状をどのように修正したら良いかが判り易くなる。

さらにまた、第２６の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが干渉することである場合に、追加すべき把持位置の候補を前記表示部上に提示するよう構成できる。

さらにまた、第２７の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが干渉することである場合に、複数のワークモデルから共通して干渉が発生しにくい領域を算出して前記表示部上に提示するよう構成できる。

さらにまた、第２８の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、エンドエフェクタの形状の修正を前記表示部上に提示するよう構成できる。

さらにまた、第２９の形態に係るロボットシミュレーション装置によれば、上記いずれかの構成に加えて、エンドエフェクタの形状を設定するための設定ウィンドウを前記表示部上に提示するよう構成できる。

さらにまた、第３０の形態に係るロボットシミュレーション方法によれば、作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするロボットシミュレーション方法であって、ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定工程と、前記ワークモデル設定工程で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するバラ積みデータ生成工程と、前記バラ積みデータ生成工程で生成されたバラ積みデータに基づいて、前記仮想作業空間内の前記ワークモデルのピッキング動作を検証するためのピッキング動作シミュレーションを実行するピッキング動作シミュレーション工程と、前記ピッキング動作シミュレーション工程の結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、当該ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析して、解析の結果を表示部に表示させる工程とを含むことができる。これにより、取り出しが不可能となった取り出し失敗原因を表示させることで、どのように修正すればよいかの対策を講じ易くなり、バラ積みピッキング動作をシミュレーションしながら、適切な設定に調整する作業を容易に行うことが可能なる。

さらにまた、第３１の形態に係るロボットシミュレーションプログラムによれば、作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするロボットシミュレーションプログラムであって、ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定機能と、前記ワークモデル設定機能で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するバラ積みデータ生成機能と、前記バラ積みデータ生成機能で生成されたバラ積みデータに基づいて、前記仮想作業空間内の前記ワークモデルのピッキング動作を検証するためのピッキング動作シミュレーションを実行するピッキング動作シミュレーション機能と、前記ピッキング動作シミュレーション機能の結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、当該ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析して、解析の結果を表示部に表示させる機能とをコンピュータに実現させることができる。上記構成により、取り出しが不可能となった取り出し失敗原因を表示させることで、どのように修正すればよいかの対策を講じ易くなり、バラ積みピッキング動作をシミュレーションしながら、適切な設定に調整する作業を容易に行うことが可能なる。

さらにまた、第３２の形態に係るコンピュータで読み取り可能な記録媒体または記憶した機器は、上記ロボットシミュレーションプログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

ロボットシステムを用いてバラ積みピッキング動作を行う様子を示す模式図である。 ロボットシステムのブロック図である。 実施形態１に係るロボットシミュレーション装置を示すブロック図である。 実施形態１Ｂに係るピッキング動作シミュレーションシステムを示すブロック図である。 実施形態２に係るピッキング動作シミュレーションシステムを示すブロック図である。 センサ部の一例を示す斜視図である。 図７Ａは収納容器にワークを無作為に投入して積み上げた例を示す模式断面図、図７Ｂはワークを床面上に積み上げた例を示す模式断面図、図７Ｃはワークを一定姿勢でトレイ上に配列した状態を示す斜視図である。 図８Ａはエンドエフェクタでワークを把持する例を示す模式図、図８Ｂは空洞を有するワークを内面から把持する例を示す模式図、図８Ｃは板状のワークを吸引して把持する例を示す模式図である。 ピッキング動作シミュレーションシステムを示すブロック図である。 実施形態４に係るピッキング動作シミュレーションシステムを示すブロック図である。 実施形態５に係るロボットシミュレーション装置を示すブロック図である。 実施形態６に係るロボットシミュレーション装置を示すブロック図である。 実施形態７に係るロボットシミュレーション装置を示すブロック図である。 シミュレーション環境の設定手順を示すフローチャートである。 図１５Ａはワークモデルを示す斜視図、図１５Ｂは図１５Ａのワークモデル上に領域を指定した状態を示す斜視図である。 図１６Ａは図ＩＡのワークモデルをワイヤーフレームで表示した斜視図、図１６Ｂは図１６Ａのワークモデル上で領域を指定する様子を示す斜視図である。 ワークモデルの一例を示す斜視図である。 図１７のワークモデルの展開図である。 図１９ＡはＬａｍｂｅｒｔ反射モデルを説明する模式図、図１９ＢはＰｈｏｎｇ鏡面反射モデルを説明する模式図である。 反射光の分布の例を示すグラフである。 図２１Ａは入射光と観測点方向と正反射方向の関係を示す模式図、図２１Ｂは入射光と観測点の方向に対してワークの角度を変化させる様子を示す模式図である。 図２１Ｂのワークで傾斜角度を変化させたときの入射光と反射光の比率を示すグラフである。 図２３Ａは拡散反射の割合が高い高さ画像を二次元表示した例を示すイメージ図、図２３Ｂは図２３Ａを三次元表示した斜視図、図２３Ｃは鏡面反射の割合が高い高さ画像の例を示すイメージ図、図２３Ｄは図２３Ｃの斜視図である。 実施形態８に係るロボットシミュレーション装置の機能ブロック図である。 ピッキング動作シミュレーションの手順を示すフローチャートである。 物理シミュレーションでワークモデルのバラ積み状態を生成する手順を示すフローチャートである。 円筒形のワークモデルをバラ積みしたバラ積みデータを示すイメージ図である。 図２８Ａは円筒形のワークモデルをバラ積みした初期状態、図２８Ｂは終了状態から２０回遡った状態、図２８Ｃは終了状態から１０回遡った状態、図２８Ｄは終了状態を、それぞれ示すイメージ図である。 図２９Ａはデータの保存を考慮した物理シミュレーションの手順の一部を示すフローチャートである。 図２９Ｂは図２９Ａに続くデータの保存を考慮した物理シミュレーションの手順を示すフローチャートである。 Ｔ字型のワークが不安定な姿勢で存在している状態を示す模式図である。 ワークモデルの投下時の姿勢に制限を加えてバラ積み状態を生成する手順を示すフローチャートである。 ワークモデルの投下後の姿勢に制限を加えてバラ積み状態を生成する手順を示すフローチャートである。 ワークモデルの投下時と投下後の姿勢に制限を加えてバラ積み状態を生成する手順を示すフローチャートである。 図３４Ａはワークの表面、図３４Ｂはワークの裏面を示す斜視図である。 図３４Ａ、図３４Ｂのワークがバラ積みされた状態を示す斜視図である。 図３６Ａは収納容器にワークが整列されて詰め込まれた状態を示す斜視図、図３６Ｂはワークが収納容器内で段積みされた状態を示す斜視図である。 実施形態９に係るワークモデルの位置、姿勢に制限を加えてバラ積み状態を生成する手順を示すフローチャートである。 ワークモデルの基本姿勢設定画面の一例を示すイメージ図である。 姿勢条件設定画面の一例を示すイメージ図である。 ワークモデルの傾斜角度０°、回転角度±１８０°に指定した場合のワークモデルの姿勢の例を示すイメージ図である。 ワークモデルの傾斜角度１５°、回転角度±１８０°に指定した場合のワークモデルの姿勢の例を示すイメージ図である。 配置条件設定画面の一例を示すイメージ図である。 図４３Ａはワークモデルを収納容器内に完全ランダムに配置した例、図４３Ｂは一方向に配置した例、図４３Ｃは複数方向、複数段に配列した例を示すイメージ図である。 姿勢安定性の演算方法を示すフローチャートである。 図４５ＡはＴ字状のワークを示す斜視図、図４５Ｂは図４５Ａに対する外接立方体を設定した状態を示す斜視図、図４５Ｃは図４５Ｂの最大面積を取る面を示す平面図である。 図４６Ａは図４５Ａのワークが傾斜姿勢で置かれた状態を示す斜視図、図４６Ｂは図４６Ａの接触部の領域を示す平面図である。 図４７Ａは図４５Ａのワークが直立姿勢で置かれた状態を示す斜視図、図４７Ｂは図４７Ａの接触部の領域を示す平面図である。 図４８Ａは図４５Ａのワークが壁面に寄りかかった姿勢で置かれた状態を示す斜視図、図４８Ｂは図４８Ａの接触部の領域を示す平面図である。 図４９Ａは図４６Ｂの平面図、図４９Ｂは図４９Ａから最小面積外接矩形を得た状態を示す平面図である。 図５０Ａは図４７Ｂの平面図、図５０Ｂは図５０Ａから最小面積外接矩形を得た状態を示す平面図である。 図５１Ａは図４８Ｂの平面図、図５１Ｂは図５１Ａから最小面積外接矩形を得た状態を示す平面図である。 実施形態１０に係るロボットシミュレーション装置を示すブロック図である。 実施形態１１に係るロボットシミュレーション装置を示すブロック図である。 ワークを収納容器内に中敷きを介して複数段に配列した例を示す模式断面図である。 ワークを収納容器内に間仕切りを介して配列した例を示す模式断面図である。 バラ積みされたワークモデル群を示すイメージ図である。 図５６においてハッチングされたワークモデルを除去した状態を示すイメージ図である。 図５６においてハッチングされたワークモデルを除去した状態で物理シミュレーションを再実行した結果を示すイメージ図である。 ピッキング動作シミュレーションにおいて、ワークモデルの数を一つ減らす手順の詳細を示すフローチャートである。 図６０Ａはバラ積みデータの斜視図、図６０Ｂは図６０Ａを高さ画像に変換したバラ積み画像、図６０Ｃは図６０Ｂを点群で示した斜視図、図６０Ｄは図６０Ａを傾斜面を無効として高さ画像に変換したバラ積み画像、図６０Ｅは図６０Ｄを点群で示した斜視図である。 図６１Ａは鏡面反射の弱いワークの三次元形状を取得可能な角度範囲を示す模式断面図、図６１Ｂは鏡面反射の強いワークの三次元形状を取得可能な角度範囲を示す模式断面図である。 図６２Ａは樹脂製のワークをバラ積みしたバラ積みデータを示すイメージ図であり、図６２Ｂは図６２Ａの内、樹脂製ワークを拡大した要部拡大図であり、図６２Ｃは金属製のワークをバラ積みしたバラ積みデータを示すイメージ図であり、図６２Ｄは図６２Ｃの内、金属製のワークを拡大した要部拡大図である。 バラ積み画像を示すイメージ図である。 パターンプロジェクション方式でカメラ側からワークが見えない状態を示す模式図である。 図６５Ａはカメラからワークが見えている例、図６５Ｂにカメラからワークが見えない例、図６５Ｃは複数のカメラのいずれかで見えている例を示す模式図である。 実施形態１２に係るピッキング動作シミュレーションの手順を示すフローチャートである。 実施形態１２に係る物理シミュレーションでワークモデルのバラ積み状態を生成する手順を示すフローチャートである。 バラ積み画像を生成する手順を示すフローチャートである。 ワーク上の注目位置と各カメラと結ぶ直線を示す模式図である。 カメラと注目位置とを結ぶ直線上に障害物がないかをチェックする様子を示す模式図である。 実施形態１３に係るロボットシミュレーション装置を示すブロック図である。 バラ積みされたワーク群を実際に三次元計測した高さ画像を示すイメージ図である。 樹脂製のワークの角度分布ヒストグラムを示すグラフである。 金属製のワークの角度分布ヒストグラムを示すグラフである。 シミュレーション環境の設定手順を示すフローチャートである。 バラ積み状態のワーク群を撮像した高さ画像を示すイメージ図である。 図７７Ａは実際に撮像した三次元計測データのプロファイル、図７７Ｂは図７７Ａに三次元サーチ結果を重ね合わせた状態を示す図である。 実施形態１４に係るシミュレーション環境の設定手順を示すフローチャートである。 図７９Ａはあるワークをシミュレーション上で表示する様子を示すイメージ図であり、図７９Ｂは図７９Ａのワークの実運用時に計測した状態を示すイメージ図である。 ピッキング動作シミュレーション結果として、把持の失敗原因を示す原因解析結果表示画面のイメージ図である。 原因解析機能を含めたピッキング動作シミュレーションの手順を示すフローチャートである。 三次元サーチ設定画面を示すイメージ図である。 干渉確認画面を示すイメージ図である。 把持位置登録画面を示すイメージ図である。 ロボットモデル位置修正画面を示すイメージ図である。 図８６Ａは、エンドエフェクタモデルがワークモデルを把持可能な状態、図８６Ｂはエンドエフェクタモデルと周辺データが干渉している状態、図８６Ｃはエンドエフェクタモデルがロボットの動作範囲外の状態を示す原因解析結果表示画面のイメージ図である。 ワークモデルに対してエンドエフェクタモデルの位置姿勢を移動させて、把持位置を登録する方法を示すイメージ図である。 図８８Ａは、ピッキング動作シミュレーションの結果、エンドエフェクタモデルが周辺データと干渉してＮＧである状態を表示する原因解析結果表示画面のイメージ図、図８８Ｂは図８８Ａの状態からエンドエフェクタモデルを移動させて取り出しＯＫとなった状態を表示する原因解析結果表示画面のイメージ図である。

以下、本発明の実施形態を図面に基づいて説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施形態の部材に特定するものでは決してない。特に実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一若しくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（ロボットシステム）

ロボットシステム１０００を用いた、ワークのバラ積みピッキング動作が行われている。このようなロボットシステム１０００の構成例を図１に、またロボットシステム１０００のブロック図を図２に、それぞれ示す。このようなバラ積みピッキングでは、作業空間に積み上げられた複数のワークＷＫを、ロボットを用いて順次取り出し、所定の位置に配置する。例えば、収納容器ＢＸに無作為に投入された多数の部品を、カメラや照明等のセンサ部で三次元形状を取得し、ワークＷＫを一つづつ、ロボットのアームＡＲＭの先端に設けられたエンドエフェクタＥＥＴでもって把持し、所定の位置、例えばコンベアベルト状に並べていく。
（ピッキング動作シミュレーション）

このようなロボットシステム１０００でバラ積みピッキング動作を行うにあたり、予めシミュレーションを行ってバラ積みピッキング動作の検証を行うことが行われている。例えばロボットの設置位置やワークの収納容器ＢＸ、載置位置の相対位置、高さ等によっては、正しくワークを把持できないことがある。またセンサ部の設置される位置や角度によっては、ワークを正しく撮像できず、その三次元形状を正確に測定することも困難となる。そこで、予めバラ積みピッキングを行うロボットのピックやプレース動作の三次元的なピッキング動作シミュレーションを、ロボットシミュレーション装置を用いて行う。ロボットシミュレーション装置では、ワークの三次元形状を有するＣＡＤモデルをワークモデルとして、仮想的な作業空間である仮想作業空間に無作為に配置して、ロボットの取出工程、すなわちバラ積みピッキングをシミュレーションする。このようなシミュレーションで十分にピッキングが成功していないとユーザが判断した場合、ユーザはロボットを動作させるパラメータを修正してシミュレーションをやり直す。例えば、ピッキング動作シミュレーションの結果に基づいて、三次元サーチのパラメータの変更や、ロボットのエンドエフェクタなどの改善を行う。このようなシミュレーションパラメータの調整後に、再度、ピッキング動作シミュレーションを実行する。

ところで従来のロボットシミュレーション装置では、ワークモデルの配置はランダムとなっている。ランダムに配置されたワークモデルを初期状態としてピッキング動作シミュレーションを行った結果、ある時点で何らかの要因により、それ以上シミュレーションの処理が先に進めなくなる状態が発生することがある。例えば、三次元サーチができない、ロボットがワークモデルに接近できない等の状態となると、シミュレーション処理を進めることができなくなる。このような際に、ユーザは先に進めなくなった要因に応じて、三次元サーチのパラメータを変更したり、ロボットのエンドエフェクタの形状を変更する等して、ワークモデルを適切にピッキング可能と考えられる状態とするように、各種のシミュレーションパラメータを変更していく。

このようにシミュレーションパラメータを修正した状態において、新たにピッキング動作シミュレーションを行った結果、改めてランダムに配置された全てのワークモデルを取り出せる状態と判断された場合を考える。ここで奏功した原因としては、ユーザの設定に起因する場合と、シミュレーションに起因する場合が考えられる。すなわち、ユーザの行った三次元サーチのパラメータ変更やエンドエフェクタの形状変更が適切だったという場合以外に、改めてワークモデルがランダムに配置された結果、ワークモデルの初期状態が前回とは異なる状態となって、しかもこの初期状態が偶偶良かったために、パラメータを変更せざるを得ない要因となった状態が発生しなかった場合にあたるという偶発的な要因が考えられる。

しかしながら、従来のようなワークモデルを毎回ランダムに配置する方法では、両者の区別が難しく、ユーザが行ったパラメータ変更などの対応がどの程度効果的であったかを見極めることが難いという問題があった。
（実施形態１）
（ロボットシミュレーション装置）

そこで、実施形態１においては、このようなユーザによるシミュレーションパラメータの調整作業の影響が明確となるようにすることを企図している。

このような本発明の実施形態１に係るロボットシミュレーション装置１００のブロック図を図３に示す。図３に示すロボットシミュレーション装置１００は、ワークモデル設定部１１と、バラ積みデータ生成部２０と、バラ積みデータ記憶部２３と、ピッキング動作シミュレート部３０と、シミュレーションパラメータ調整部２９とを備える。

ワークモデル設定部１１は、ワークの三次元形状をモデル化したワークモデルを設定するための部材である。

バラ積みデータ生成部２０は、姿勢条件設定部１６により設定された姿勢条件に従って、仮想作業空間内に複数のワークモデルを積み上げたバラ積みデータを生成するための部材である。

ピッキング動作シミュレート部３０は、バラ積みデータ生成部２０で生成されたバラ積みデータに対して、仮想作業空間内のワークモデルのピッキング動作を検証するバラ積みピッキング動作シミュレーションを実行するための部材である。

バラ積みデータ記憶部２３は、ピッキング動作シミュレート部３０によるピッキング動作シミュレーションの実行前のバラ積みデータ、又はピッキング動作シミュレーション実行途中のバラ積みデータの少なくとも何れかを記憶するための部材である。

シミュレーションパラメータ調整部２９は、ピッキング動作シミュレート部３０によるピッキング動作シミュレーションの結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、ロボットの動作に係るシミュレーションパラメータを調整するための部材である。

ピッキング動作シミュレート部３０は、シミュレーションパラメータ調整部２９により調整されたシミュレーションパラメータを用いて、バラ積みデータ記憶部２３に記憶されたシミュレーション実行前またはシミュレーション実行途中のバラ積みデータを読み出して、ピッキング動作シミュレーションを再実行としている。これにより、ピッキング動作シミュレーションに用いたバラ積みデータを記憶することで、シミュレーションパラメータを調整した結果が効果的であったかどうかの判断が容易となる。
（表示部３）

またロボットシミュレーション装置は、バラ積みデータ記憶部２３に記憶されたバラ積みデータを表示可能な表示部３を備えることもできる。これにより、保存済みのバラ積みデータをユーザが視覚的に確認しながら、シミュレーションパラメータを調整することが可能となり、操作性を向上させることができる。
（実施形態１Ｂ）

さらにロボットシミュレーション装置は、ピッキング動作シミュレート部３０によるピッキング動作シミュレーションの結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、このワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析するための原因解析部２４を備えることもできる。これにより、取り出しが不可能となった取り出し失敗原因を表示させることで、どのように修正すればよいかの対策を講じ易くなり、バラ積みピッキング動作をシミュレーションしながら、適切な設定に調整する作業を容易に行うことが可能なる。このような例を実施形態１Ｂとして、図４に示す。この図に示すロボットシミュレーション装置は、ワークモデル設定部１１と、バラ積みデータ生成部２０と、バラ積みデータ記憶部２３と、ピッキング動作シミュレート部３０と、シミュレーションパラメータ調整部２９と、表示部３と、原因解析部２４を備える。実施形態１Ｂにおいても、上述した実施形態１と同じ部材については、同一の符号を付して詳細説明を適宜省略する。原因解析部２４の詳細については後述する。
（実施形態２）

ピッキング動作シミュレーションにおいて、ロボットのエンドエフェクタを模したエンドエフェクタモデルで把持可能と判定されても、実際に運用しようとすると、うまくバラ積みピッキングできないことがある。これは、ピッキング動作シミュレーション時には、図７９Ａに示すような、仮想的な三次元形状を有するワークモデルＷＭでもって判定しているところ、実際の運用時にはワークの三次元形状を取得できない場合があることに起因する。例えばワークが金属製の場合など、鏡面反射が強い場合には、ワークの姿勢によって計測できない部位が生じる。例えば図７９Ｂに示すように、作業空間の上方からセンサ部で撮像する結果、ワークＷＫの傾斜が急峻となる部位については三次元形状を計測できない。さらに複数のワークが重なり合っている際に、下側にあるワークの形状を三次元計測できないという問題もある。この結果、シミュレーション上では三次元形状をサーチできるが、実運用時にはサーチに失敗してしまうことがあった。

そこで、実施形態２においては、実際のワークを三次元計測した状態にできる限り近い状態でシミュレーションできるように、バラ積み状態のワークモデルの姿勢に基づいて、計測不可能となる部分を除外した三次元計測データを生成し、これに基づいてピッキング動作シミュレーションを行う。具体的には、バラ積み状態の姿勢から定まる、ワークモデルの表面の角度に基づいて、一定以上急峻な角度となる部分は三次元計測不可として、ピッキング動作シミュレーションで生成するバラ積みデータから除外する。これにより、センサ部を設置したりワークを実際に準備するといった手間のかかる確認作業や設定調整をしなくても、実際にバラ積みワークを撮像した状態に近い状態を実現できる。
（物理シミュレーション部）

またロボットシミュレーション装置は、ワークを積み上げたバラ積み状態を仮想的に再現する物理シミュレーションを行って、バラ積みデータを生成することもできる。このような例を実施形態２として図５に示す。この図に示すロボットシミュレーション装置は、ワークモデル設定部１１と、姿勢条件設定部１６と、物理シミュレーション部６０と、バラ積みデータ生成部２０と、バラ積みデータ記憶部２３と、領域推定部２２と、ピッキング動作シミュレート部３０とを備える。このロボットシミュレーション装置は、ワークを積み上げたバラ積み状態を仮想的に再現する物理シミュレーションを行って、バラ積みデータを生成する。

これにより、明らかに不自然な姿勢のワークモデルを除外するなど、ユーザの実運用環境に合わせたバラ積みデータを生成してピッキング動作シミュレーションを行えるため、実際にワークを用意することなく、実運用時に近い形で事前に適切な設定調整や、検証を行うことができるようになる。

バラ積みデータ生成部２０は、姿勢条件設定部１６で設定された姿勢条件に合致しないワークモデルを排除したバラ積みデータを生成することができる。あるいはバラ積みデータ生成部２０は、物理的に発生確率が低いワークモデルを排除したバラ積みデータを生成するよう構成してもよい。この場合は、物理的に発生確率が低いワークモデルを、ユーザが姿勢条件設定部１６で指定する他、予めロボットシミュレーション装置側で物理的に発生確率が低いワークモデルの条件を用意しておくこともできる。このような規定値による姿勢条件の設定も、姿勢条件設定部１６に包含する。

またバラ積みデータ生成部２０は、姿勢条件設定部１６で設定された姿勢条件に合致しないワークモデルが、バラ積みデータ内に存在する場合、あるいは所定割合以上存在する場合は、バラ積みデータを作成し直すよう構成してもよい。これにより、実運用時から懸け離れたバラ積みデータが得られた場合には、ピッキング動作シミュレーションを行わずに、バラ積みデータを作成し直し、実運用時に近いバラ積みデータに対してのみピッキング動作シミュレーションを行うことで、より正確なシミュレーション結果を得ることができる。

姿勢条件設定部１６は、ワークモデル設定部１１で設定されたワークモデルを、仮想的な作業空間である仮想作業空間内に配置する際に、このワークモデルが取り得る姿勢に関する条件を姿勢条件として設定するための部材である。姿勢条件は、ユーザが手動で設定する他、予めロボットシミュレーション装置側で既定値として提示する構成としてもよい。また、ロボットシミュレーション装置が提示する姿勢条件の初期値を、ユーザが調整可能としてもよい。なお姿勢条件設定部１６は、ワークモデルの基準姿勢からの許容回転角度、傾斜角度を姿勢条件として設定可能に構成できる。また姿勢条件設定部１６は、ワークモデルの床面または他のワークモデルとの接触位置を真上から投影し、投影された接触位置を囲む外接矩形の面積と、ワークモデルの最大外接矩形の最大面積の比率を、姿勢条件として設定可能に構成してもよい。さらに姿勢条件設定部１６は、ワークモデルの床面との接触位置や他のワークモデルとの接触位置、あるいは接触面の内で、最下方に位置する接触位置と重心位置との高さ方向の差分を姿勢条件として設定可能に構成することもできる。重心に対して低い位置で支えられているワークモデルは不安定と捉えることができる。さらにまた姿勢条件設定部１６は、ワークモデルの特定の面が底面となるように姿勢条件を設定可能に構成してもよい。加えて姿勢条件設定部１６は、ワークモデル間のＸ方向及び／またはＹ方向の配置間隔と、ワークモデルの段数を、姿勢条件として設定可能に構成することも可能である。

物理シミュレーション部６０は、ワークモデル設定部１１で設定されたワークモデルを用いて、ワークを重力の作用を受けて作業空間に投入する動作を、ワークモデルを仮想作業空間に投入することでシミュレーションするための部材である。また、このようなワークモデルを仮想作業空間に投入するシミュレーションを、物理シミュレーションや投入動作シミュレーションと呼ぶ。また、本明細書において「投入」や「投下」とは、物理的に高所から落下させる動作に限られず、例えば転がりを検証するため、所定の高さから水平方向に押し出しながら落下させたり、放物線状に投げ上げて落下させたり、あるいは収納容器や床面にワークモデルを載置、あるいは静置する動作も含む意味で使用する。さらに、物理シミュレーションは、ワークモデルを一つづつ作業空間内に順次投入する他、複数のワークモデルを同時に投入、例えば落下させたり静置させる動作をシミュレーションすることもできる。

このようにして物理シミュレーションを複数回繰り返し、あるいは一括して行い、得られた結果、すなわち複数のワークモデルが無作為に、あるいは所定の態様で積み上げられたワークモデル群に基づいて、バラ積みデータ生成部２０は、仮想作業空間内に複数のワークモデルが積み上げられた、仮想的な三次元のバラ積みデータを生成する。

ピッキング動作シミュレート部３０は、生成されたバラ積みデータに対して、仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するための部材である。これにより、ワークの三次元位置及び姿勢の検出可否など、手間のかかる確認作業や設定調整を、実際にワークを用意することなく、実運用に近い形で事前に行うことができる（詳細は後述）。

特に物理シミュレーション部６０は、ピッキング動作シミュレート部３０による一のワークモデルを把持し少なくとも取り出し動作を開始した後、このワークモデルが取り出された後の状態のバラ積みデータに対して物理シミュレーションを再度実行する。物理シミュレーションを再度実行するタイミングは、ワークモデルを把持し、載置位置にプレースされた後とする他、ワークモデルの取り出し作業の途中であってもよい。すなわち、エンドエフェクタモデルでワークモデルを把持して、このワークモデルが持ち上げられた状態では、一のワークモデルが除去されたことで、このワークモデルの周辺にあった他のワークモデルの配置が移動可能となるため、把持されたワークモデルが載置されるまで待つ必要はない。よって、物理シミュレーションの再実行のタイミングは、一のワークモデルが把持されて持ち上げられたタイミング、あるいはその後、他のワークモデルの状態が重力の作用で移動して安定するまで待った後のタイミングとすることができる。例えば、ワークモデルが把持されて持ち上げられた時点から所定の時間の経過後（例えば１０秒後）としてもよい。

これを受けてバラ積みデータ生成部２０は、物理シミュレーション部６０による物理シミュレーションの再実行の結果に応じて、ピッキング動作シミュレート部３０によるピッキング動作のシミュレーション中に、バラ積みデータを更新する。このようにしてピッキング動作シミュレート部３０は、ピッキング動作シミュレーション中にバラ積みデータからワークモデルが一つ取り出されると、これに応じてバラ積みされたワークモデル群が崩れるといった動作も物理シミュレーションにより演算されるので、より正確なバラ積みピッキングのシミュレーションが実現される。

また物理シミュレーション部は、バラ積みデータ生成部２０が姿勢条件設定部１６で設定された姿勢条件に合致しないワークモデルを排除した場合、この姿勢条件に合致しないワークモデルを排除した後の状態のバラ積みデータに対して、再度物理シミュレーションを適用するよう構成することもできる。これにより、例えば空中に浮いている等、物理的に存在し得ない姿勢のワークモデルが物理シミュレーション時には発生し得るため、このようなワークモデルを排除することで、信頼性の高い物理シミュレーション結果を得ることが可能となる。
（初期姿勢）

物理シミュレーション部は、姿勢条件設定部１６により設定された姿勢条件に基づいてワークモデルの初期姿勢を決定し、初期姿勢のワークを作業空間に落下させる物理シミュレーションを実行するよう構成してもよい。また物理シミュレーション部により物理シミュレーションを実行した場合、更に姿勢条件設定部１６により設定された姿勢条件に合致しないワークモデルを排除するよう構成してもよい。

これらの部材は、例えばマイクロプロセッサ（ＭＰＵ）やＣＰＵ、ＬＳＩ、ＦＰＧＡやＡＳＩＣ等のゲートアレイ、ＤＳＰ等のハードウエアやソフトウエア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図３等に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図３に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。

例えば、図５の例では物理シミュレーション部６０はバラ積みデータ生成部２０と個別に用意されているが、バラ積みデータ生成部に物理シミュレーション部を統合することもできる。あるいはピッキング動作シミュレート部に、物理シミュレーション部とバラ積みデータ生成部とを統合させてもよい。

一方、図２のブロック図に示すロボットシステム１０００は、センサ部２と、画像処理部１と、表示部３と、操作部４と、ロボット本体５と、ロボットコントローラ６と、ロボット操作具７とを備える。センサ部２は、作業空間を撮像すると共に、三次元形状を計測する部材である。また画像処理部１は、三次元サーチ、干渉判定、把持解算出を行う部材である。なおセンサ部２を、作業空間を撮像するのみとして、画像処理部１側で三次元形状を計測する構成とすることもできる。三次元形状を取得する方法は、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法、ＴＯＦ方式などがある。本実施形態においては、パターン投影法の内、位相シフト法を用いている。

このような三次元形状計測技術に応じて、センサ部２の構成が決定される。センサ部２は、カメラ、照明又はプロジェクタ等を備える。例えば位相シフト法でワークの三次元形状を計測する場合は、センサ部２として図６に示すように、プロジェクタＰＲＪと複数のカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４を備える。センサ部２は、カメラやプロジェクタといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラやプロジェクタを統合してヘッド状とした３Ｄ撮像ヘッドをセンサ部とすることができる。

画像処理部１は、このようにして得られたワークのバラ積みデータに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。この画像処理部１は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用のコントローラ等が利用できる。なお図２では、画像処理部１を別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部と画像処理部を一体化したり、あるいはロボットコントローラに画像処理部を組み込むこともできる。また、センサ部側で撮像したデータに基づいて、画像処理部側でワークの三次元形状を取得するように構成してもよい。

表示部３は、画像処理部１で取得されたワークの三次元形状を表示させたり、各種設定や動作状態の確認を行うための部材であり、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等が利用できる。操作部４は、画像処理等の各種設定を行うための部材であり、キーボードやマウス等の入力デバイスが利用できる。また表示部３をタッチパネルとすることで、操作部と表示部を一体化することもできる。

例えばロボットシミュレーション装置や画像処理部を、ロボットシミュレーションプログラムをインストールしたコンピュータとした場合、表示部上にはロボットシミュレーションプログラムのグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。表示部上に表示されたＧＵＩ上から各種の設定を行うことができ、またシミュレーション結果等の処理結果を表示させることができる。この場合、表示部を各種の設定を行うための設定部として利用できる。

ロボットコントローラ６は、センサ部２で撮像した情報に基づいてロボットの動作を制御する。またロボット操作具７は、ロボット本体５の動作設定を行うための部材であり、ペンダントなどが利用できる。

ロボット本体５は、可動式のアームＡＲＭと、アームＡＲＭの先端に固定されたエンドエフェクタＥＥＴを備える。このロボット本体５はロボットコントローラ６に制御されて、アームＡＲＭを動作させ、一個のワークＷＫをピッキングして、これを所望の位置に移動させてプレースした後、リリースする。このためアームＡＲＭの先端には、ワークＷＫを把持するためのエンドエフェクタＥＥＴを備えている。またワークＷＫをプレースする載置位置は、例えばトレイ上やコンベア上等が挙げられる。

ワークＷＫは、図１に示すように複数個が通い箱等の収容容器ＢＸに無作為に収納されている。このような作業空間の上方には、センサ部２が配置されている。センサ部２はカメラや照明を備えており、このセンサ部２で、ワークＷＫの三次元形状を計測することができる。ロボットコントローラ６は、センサ部２で計測されたワークＷＫの三次元形状に基づいて、複数のワークの内から、把持対象のワークＷＫを特定して、このワークＷＫを把持するよう、ロボットを制御する。そして、ワークＷＫを把持したまま、アームＡＲＭを動作させて予め定められた載置位置まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、センサ部２でピッキング対象のワークＷＫを特定し、このワークＷＫをエンドエフェクタＥＥＴで把持して、把持したワークＷＫを所定の基準姿勢にて、プレースする位置である載置位置に載置してエンドエフェクタＥＥＴを開放するようにロボットの動作を制御する。

ここで本明細書においてバラ積みピッキングとは、図７Ａに示すような収納容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットで把持して、所定の位置に載置する他、図７Ｂに示すような収納容器を用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは図７Ｃに示すような所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。

また、図１の例ではセンサ部２を作業空間の上方に固定しているが、作業空間を撮像できる位置であれば足り、例えば斜めや側方、下方など、任意の定位置に配置できる。ただし、アームＡＲＭ上のような、可動する不定位置にセンサ部を配置する態様は除かれる。さらにセンサ部が有するカメラや照明の数も、一に限らず複数としてもよい。さらにまたセンサ部２やロボット、ロボットコントローラ６との接続は、有線接続に限られず、無線接続としてもよい。

またワークの把持とは、図８Ａに示すようにワークＷＫの外側を挟み込む把持の他、図８Ｂに示すような、空洞を有するワークＷＫ２の内部にエンドエフェクタＥＥＴ２の爪部を挿入して拡開させることによって保持する例や、図８Ｃに示すような板状のワークＷＫ３を吸引して保持するエンドエフェクタＥＥＴ３の例を含む意味で使用する。以下では、ワークの把持の例としてワークの外側面を両側から掴む態様について説明する。またワークは、図１に示すように収納容器ＢＸに多数個が収納されて無作為に積み上げられた状態で、このような複数のワークＷＫに対して一つづつ、エンドエフェクタＥＥＴでピックして、載置位置にプレースする作業を繰り返すバラ積みピッキング動作を、シミュレーションすることについて、以下説明する。

次に、ピッキング動作シミュレーション時のシステム構成のブロック図を図９に示す。この図に示すピッキング動作シミュレーションシステムは、画像処理部１と、表示部３と、操作部４を備える。この構成においては、画像処理部１上ですべてのシミュレーションを行う。すなわち、実運用時に画像処理部１となる部材が、ピッキング動作シミュレーション時にはロボットシミュレーション装置として機能する。ただ、ロボットシミュレーション装置を画像処理部と兼用する構成に限られず、ロボットシミュレーション装置を画像処理部とは個別に用意することもできる。
（実施形態４）

また本発明は、物理シミュレーションによりバラ積みされたワークモデル群に対して、そのままピッキング動作シミュレーションを実行する構成に限られず、バラ積みされたワークモデル群に対して、部位毎に三次元計測が可能かどうかを判定し、判定結果に基づいてピッキング動作シミュレーションを行うように構成してもよい。このような例を実施形態４に係るロボットシミュレーション装置として、図１０に示す。この図に示すロボットシミュレーション装置は、ワークモデル設定部１１と、姿勢条件設定部１６と、バラ積みデータ生成部２０と、領域推定部２２と、ピッキング動作シミュレート部３０と、表示部３とを備える。実施形態４において、上述した実施形態１と同じ部材については、同一の符号を付して詳細説明を適宜省略する。
（領域推定部２２）

図１０に示す領域推定部２２は、バラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、センサ部により三次元計測が困難と推定される推定領域を特定するための部材である。

このようにして得られた推定領域のデータに基づいて、ピッキング動作シミュレート部３０は、仮想作業空間内のワークモデルのバラ積みピッキング動作を検証するピッキング動作シミュレーションを実行する。すなわちピッキング動作シミュレート部３０は、バラ積みデータから推定領域を除去して、ピッキング動作シミュレーションを実行する。

なお、上記の例では領域推定部で推定される推定領域を、センサ部で三次元計測が困難と推定される領域としたが、逆にセンサ部で三次元計測が可能と推定される領域を推定領域としてもよい。
（実施形態５）

また、バラ積みデータから推定領域を除去したシミュレーション用データを生成するシミュレーション用データ生成部を付加してもよい。このような例を実施形態５として図１１に示す。この図に示すロボットシミュレーション装置２００は、ワークモデル設定部１１と、姿勢条件設定部１６と、物理シミュレーション部６０と、バラ積みデータ生成部２０と、領域推定部２２と、ピッキング動作シミュレート部３０と、シミュレーション用データ生成部４０と、表示部３を備えている。実施形態５において、上述した実施形態１と同じ部材については、同一の符号を付して詳細説明を適宜省略する。
（シミュレーション用データ生成部４０）

シミュレーション用データ生成部４０は、領域推定部２２により特定された推定領域のデータを含まないバラ積みデータをシミュレーション用データとして生成するための部材である。ピッキング動作シミュレート部３０は、シミュレーション用データ生成部４０で生成されたシミュレーション用データを用いて、ピッキング動作シミュレーションを実行する。

また表示部３は、バラ積みデータ生成部２０で生成されたバラ積みデータを表示させることができる。このバラ積みデータは、物理シミュレーション部６０により更新された際には、リアルタイムに更新して表示部３に表示させることもできる。これにより、従来のようにワークモデルが取り出された後、物理シミュレーションが再実行されずに中に浮いたワークモデルが存在するような状態を回避すると共に、表示部３上で物理シミュレーションを再実行した結果を表示させることで、ユーザに対し違和感なくバラ積み状態のワークを表示させることができる。

さらに表示部３は、シミュレーション用データ生成部４０で生成されたシミュレーション用データを表示させて、ユーザに対し、確認させることが可能となる。この際、後述する図６０Ｄや図６２Ａ、図６２Ｃ等に示すように、実運用時には計測できない領域を、測定可能な領域と区別して表示させてもよい。これにより、ユーザに対して実運用時にどのような見え方となるのかを視覚的に把握させやすくなる。
（実施形態６）

さらに、ピッキング動作シミュレーションに際して、仮想的なセンサモデルを設定するセンサモデル設定部を付加することもできる。このような例を実施形態６に係るロボットシミュレーション装置３００として図１２に示す。

図１２に示す実施形態６に係るロボットシミュレーション装置３００は、シミュレーション環境設定部１０と、検出用設定部５０と、バラ積みデータ生成部２０と、領域推定部２２と、シミュレーション用データ生成部４０と、ピッキング動作シミュレート部３０と、表示部３を備える。バラ積みデータ生成部２０は、物理シミュレーション部６０を備える。実施形態６においても、上述した実施形態１等と同じ部材については、同一の符号を付して詳細説明を適宜省略する。
（検出用設定部５０）

検出用設定部５０は、位置や姿勢の検出や、干渉判定、把持解算出を行うための各種の設定を行うための部材である。ここでの設定には、位置や姿勢の検出（三次元サーチ）に関する設定（例えば、データの間引き量や、姿勢制限、重視する特徴部位の指定など）、ワークに対するエンドエフェクタの把持姿勢の設定等が挙げられる。
（シミュレーション環境設定部１０）

またシミュレーション環境設定部１０は、バラ積み画像を取得するための各種の設定を行うための部材である。ここでのシミュレーション環境の設定には、バラ積みをさせるワークの数、収納容器の情報、床の情報、センサ部を構成するカメラやプロジェクタの設計情報等が挙げられる。またピッキング動作シミュレーション時には、収納容器に対して、実運用上発生し得る、ランダムな位置ずれを発生させることもでき、この際の位置ずれの範囲等をシミュレーション環境の設定に含めることもできる。シミュレーション環境設定部１０は、ワークモデル設定部１１と、センサモデル設定部１５と、姿勢条件設定部１６を備える。
（ワークモデル設定部１１）

ワークモデル設定部１１は、ワークモデルに関する条件を設定する。ワークモデルは、ＣＡＤで作成されたＣＡＤデータが利用できる。ワークのＣＡＤデータについて、ＣＡＤのデータ形式は特に限定されないが、本実施形態においては、三次元のＣＡＤデータとして、最もシンプルなＳＴＬ形式を用いている。ＳＴＬは、三角形のポリゴン情報（３点の座標とその面の法線ベクトル）の羅列のみで構成されるデータである。あるいはワークモデルとして、三次元情報を有する点群データで構成してもよい（後述する図６０Ｅにおいて、表示部３に表示された点群表示画像を示している）。あるいはまた、ワークモデルを、高さ情報を有する画像データ、例えば高さ画像や距離画像で構成してもよい。
（表面状態パラメータ設定部）

またワークモデル設定部１１は、表面状態パラメータ設定部１２を備えてもよい。表面状態パラメータ設定部１２は、ワークモデルの表面状態に関するパラメータを入力するための部材である。表面状態パラメータは、例えばワーク表面の反射率等を数値で規定する。あるいは、ワークの材質を規定する。個の場合、選択肢として「金属」、「ガラス」、「樹脂」等を挙げて、何れかをユーザに選択させるように構成してもよい。あるいはまた、表面状態を区別する官能的な選択肢、例えば「ぴかぴか」、「ざらざら」、「透明」、「つや消し」、「白っぽい」、「黒っぽい」等から選択させてもよい。この表面状態パラメータ設定部１２で設定された表面状態パラメータによって、後述する角度閾値（しきい値）を変化させることができる。
（容器モデル設定部１４）

さらにシミュレーション環境設定部１０は、通い箱など、ワークを収納する収納容器をモデル化した容器モデルを設定する容器モデル設定部１４を含めてもよい。この場合は、センサモデルと容器モデルとの相対的な位置関係に基づいて、推定領域を推定するよう構成できる。

姿勢条件設定部１６は、ワークモデルの特定の面又は辺が、容器モデルに対して、特定の関係となるように姿勢条件を設定可能に構成できる。

また物理シミュレーション部は、容器モデル設定部で設定される容器モデルの段数を設定し、複数のワークモデルを容器モデル内に同時に落下させる物理シミュレーションを実行可能に構成してもよい。
（センサモデル設定部１５）

センサモデル設定部１５は、センサ部を構成する部材、例えばワークの三次元計測を行うためのカメラやのいずれか又はすべてについて、位置や姿勢を仮想的に示すカメラモデルやプロジェクタモデルを設定する。センサモデルがカメラモデルのみか、あるいはプロジェクタモデルも含むかについては、センサ部が採用するワークの三次元形状の測定方法、及びこれを実現するための部材に依存する。例えばパッシブステレオ方式の場合は、プロジェクタが不要なのでカメラモデルのみで足りる。

この場合、領域推定部２２は、推定領域を、センサモデル設定部１５で設定されたセンサモデルから見て死角となる領域を、計測困難な死角領域として推定するよう構成できる。死角領域の定義は、センサモデル設定部１５で設定されたセンサモデルの種別によって異なる。例えばセンサ部で採用された三次元計測方法が縞投影方式や光切断方式の場合は、カメラモデルとプロジェクタモデルのいずれかから死角となる領域が死角領域となる。また複数のカメラを用いたステレオ法の場合は、複数のカメラモデルのいずれかから死角となる領域が死角領域となる。

さらに死角領域を、ワークモデルの平面内の位置に応じて変化させてもよい。計測視野の中央部よりも周辺部の方が死角が発生し易いため、これに対応させて死角領域を変化させることで、シミュレーションの精度を高めることできる。
（シミュレーション用データを更新）

さらにピッキング動作シミュレーションの実行中に、いずれか一つのワークモデルが取り出されると、残りのワークモデルに対して領域推定部２２が計測可能な領域を再度推定し、シミュレーション用データを更新することもできる。すなわちシミュレーション用データ生成部４０は、ピッキング動作シミュレート部３０によるバラ積みピッキング動作のシミュレーション実行中にいずれか一のワークモデルが取り出されると、残りのワークモデルに対して計測可能な領域を再度推定し、シミュレーション用データを更新することができる。これにより、従来は一度ピッキング動作シミュレーションが実行されると、ワークモデルが順次取り出されてもシミュレーション用データはそのまま維持されている結果、宙に浮いたような不自然なワークモデルが残る状態となっていたところ、実施形態５によれば、上方のワークモデルが取り出された場合に生じ得る、残りのワークモデルの変化を考慮した上で、その下方に位置するワークモデルの計測が可能となり、より正確なバラ積みピッキングのシミュレーションが実現される。

なおこの動作は、上述した実施形態１や後述する他の実施形態においても、領域推定部２２で再度推定された死角領域を、ピッキング動作シミュレート部３０で再度読み出してピッキング動作シミュレーション結果を更新させることができる。
（実施形態７）

以上の例では、領域推定部でバラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、センサ部により三次元計測が可能か否かを推定して推定領域を特定している。ただ本発明はこの構成に限られず、例えばワークモデルの表面状態に応じて三次元計測の可否を推定するよう構成することもできる。このような例を実施形態７に係るロボットシミュレーション装置として、図１３に基づき説明する。この図に示すロボットシミュレーション装置６００は、シミュレーション環境設定部１０と、バラ積みデータ生成部２０と、領域推定部２２と、シミュレーション用データ生成部４０と、ピッキング動作シミュレート部３０と、表示部３を備える。バラ積みデータ生成部２０は、物理シミュレーション部６０を備える。実施形態７においても、上述した実施形態１等と同じ部材については、同一の符号を付して詳細説明を適宜省略する。

シミュレーション環境設定部１０は、ワークモデル設定部１１と、姿勢条件設定部１６を備える。ワークモデル設定部１１は、表面状態パラメータ設定部１２と、角度閾値決定部１３を備える。表面状態パラメータ設定部１２は、ワークモデルの表面状態に関する表面状態パラメータを設定するための部材である。この表面状態パラメータ設定部１２により設定された表面状態パラメータに基づいて、角度閾値決定部１３は、センサ部により三次元計測が困難となるセンサ部の測定軸に対するワークモデル表面の角度閾値を決定する。そして領域推定部は、角度閾値決定部１３で決定された角度閾値よりも大きな傾斜角度を有するバラ積みデータ内の領域を、三次元計測が困難と推定される推定領域として特定する。この結果、シミュレーション用データ生成部は、領域推定部により推定された推定領域のデータを含まないバラ積みデータを、シミュレーション用データとして生成し、ピッキング動作シミュレート部３０が、このシミュレーション用データを用いて、ピッキング動作シミュレーションを実行する。これによって、ワークの表面状態に応じた三次元計測の結果を推測でき、より精度の高いピッキング動作のシミュレーションが可能となる。すなわち、ユーザが指定したワークの表面状態の情報から、三次元計測データとして採否を決定する角度閾値を決定できるので、用いるワークに応じた柔軟な調整が容易に行える利点が得られる。

特に従来のピッキング動作シミュレーションでは、単にワークモデルを読み込み、物理シミュレーションを行ってバラ積みデータを生成し、各ワークモデルが安定する位置や姿勢を求めて、その位置や姿勢にワークモデルを配置しているに過ぎなかった。このため、現実に作業空間内のワークを三次元計測する際には、計測できないはずの領域、例えばオクルージョンが発生していたり、ワークの表面が鏡面に近く、データが得られないといったデータも得られることになる。この結果、ピッキング動作シミュレーションン上では三次元サーチができたのに、実運用時にはサーチに失敗するなど、シミュレーション結果と、実際の結果が大きく乖離してしまうことが発生していた。

これに対して実施形態７では、ワークの表面状態を示す表面状態パラメータをユーザが指定可能としたことで、センサ部でプロジェクタの反射光をカメラで適切に受光できるかを正確に予測しやすくなり、ワーク上の各位置における三次元計測の可否の判定の精度を向上できる。
（実施形態７に係るシミュレーション環境の設定手順）

ここで、実施形態７に係るシミュレーション環境を設定する手順を、図１４のフローチャートに基づいて説明する。

まずステップＳ１４０１において、ワークモデルの表面状態を指定する。ここでは表面状態パラメータ設定部１２にて、対象となるワークに応じた表面状態パラメータを、ワークモデルの表面状態として指定する。

次にステップＳ１４０２において、表面状態が指定されたワークモデルのＣＡＤデータを、所定の数だけバラ積みして、三次元のバラ積みデータを得る。この例では、Ｚバッファ法を用いて高さ画像を生成していく中で、内部的に１ワーク毎に処理を行っている。１つのバッファに対し、全データを書き込んでいった後に、高さ画像が完成する。

そしてステップＳ１４０３において、このバラ積みデータから高さ画像を生成する。ここで高さ画像の生成方法について説明する。まず、ワークのＣＡＤデータであるワークモデルで構成された三次元のバラ積みデータに基づいて、陰影を消去するレンダリングによって二次元の高さ画像を描画する。レンダリング方法には、Ｚバッファ法、Ｚソート法、スキャンライン法、レイトレーシング法等が利用できる。ここではＺバッファ法を用いて、複数のワークモデルを高さ画像に描画していく。Ｚバッファ法では、Ｚバッファ＝高さ画像として実現される。また、Ｚバッファの初期化を、無限遠で行うのではなく、床面や箱の情報で最小に初期化する形を取る。Ｚバッファ法の過程で、各画素毎にワークモデルの面の法線情報を保持した、法線画像も同時に作成する。ここではＺバッファを上書きした画素について、法線データも更新する。なお、本明細書中では、高さ画像への変換方法としてＺバッファ法を例示するが、本発明はＺバッファ法に限定するものでなく、上述の通り、他の方法も適宜利用できる。

このようにして三次元のバラ積みデータから高さ画像に描画し直す。次に、ステップＳ１４０４において、すべてのワークモデルを描画したかを判定し、未だの場合はステップＳ１４０３に戻って処理を繰り返す。この結果、すべてのワークモデルの描画を終えた場合は、ステップＳ１４０５に進む。

ステップＳ１４０５では、画素毎に、指定された表面状態に基づいてデータを除去する角度閾値を決定する。この角度閾値の決定は、角度閾値決定部１３で行われ、詳細については後述する。そしてステップＳ１４０６において、当該画素における法線の角度が、決定された閾値を超えるものを除去する。この処理も、ワークモデル設定部１１の、例えば角度閾値決定部１３で行う。さらにステップＳ１４０７において、すべての画素で実施したか否かを判定し、未だの場合はステップＳ１４０６に戻って処理を繰り返す。そして、すべての画素で実施したと判定されると、処理を終了する。このようにして、ピッキング動作シミュレーションの環境設定が行われる。
（表面状態パラメータ）

ここで、ステップＳ１４０１においてワークモデルの表面状態を指定する手順について詳述する。表面状態を指定する表面状態パラメータには、ワークの材質、表面粗さ、加工方法、色、反射率等が挙げられる。これらは単独でも、あるいは複数を組み合わせて用いてもよい。

ワークの材質を表すパラメータ値の例としては、金属、樹脂、セラミック等が挙げられる。また表面粗さを表すパラメータ値の例としては、Ｒａなどの数値、三角記号、仕上げ面の名称（粗仕上げ、鏡面仕上など）等が挙げられる。さらに加工方法を表すパラメータの例としては、研削、フライス、ラップなどが挙げられる。さらにまた色を表すパラメータとして、黒、白、銀、つやあり、つやなし等が挙げられる。

また、ワークに対する指定方法として、ワーク全体に対して同じ表面状態を指定してもよいし、あるいは部分的に異なる表面状態を指定することもできる。このようなワークの表面を指定するには、ワークを仮想的に表したワークモデルを表示部上に表示させて行う。ここで、部分的に異なる表面状態の指定方法の一例として、図１５Ａ〜図１５Ｂに示すように、表示部上に三次元状に表示されたワークモデルに対して設定を行う方法が挙げられる。例えば図１５Ａに示すワークモデルＷＭの斜視図上において、表面状態を設定したい面をユーザがマウス等のポインティングデバイスで直接指定する。指定された指定領域ＤＳＡは、図１５Ｂに示すように着色されたりハイライトされる等して、指定された領域が他の領域と視覚的に区別し易くなるように表示態様を変更させることが好ましい。

あるいは図１６Ａに示すように、ワークモデルをワイヤーフレーム状ＷＭＦに表示させた状態で、表面状態を指定したい面を構成する頂点ＤＳＰを、図１６Ｂに示すように個別に指定あるいは選択するように構成してもよい。この場合は、選択された頂点で規定された領域が、表面状態を指定する領域として特定される。

また、３Ｄ表示状態で設定を行う方法に限られず、２Ｄ表示状態で設定を行う方法としてもよい。例えば、図１７に示すワークをＡ、Ｂの方向からそれぞれ見た平面図を、図１８に示すように表示させる。このように、ワークモデルの展開図ＷＭＤを作成して表示部上に表示させ、展開図ＷＭＤ上で指定を行ってもよい。
（角度閾値の決定方法）

次に、以上のようにしてワークモデルの表面状態が指定された状態から、図１４のステップＳ１４０５において、角度閾値を決定する方法を説明する。ここでは、プロジェクタモデルの光源の位置と反射モデルの式に基づいて、観測点における光と入射光との比率をワーク角度毎に算出し、この比率に対して閾値を設定する。設定された閾値を外れるワーク角度では計測できないものと判断して、三次元計測データから除去する。以下、具体的な方法を説明する。

シミュレーションにおける反射のモデルは、主にコンピュータグラフィックスの分野において多く研究され、提唱されている。ここでは簡単のため、Ｐｈｏｎｇの反射モデルを用いて具体的な手順を記載する。なお本発明においては、反射モデルはＰｈｏｎｇの反射モデルに限定されず、他の反射モデルを用いてもよい。

Ｐｈｏｎｇ反射モデルによれば、表面からの反射光は次式のように表現される。

…（１）式
なお上式において、各項は以下を表している。
Ｉ：反射光；Ｉｄ：拡散反射成分；Ｉｓ：鏡面反射成分；Ｉａ：環境光成分

ここでは、光源から出射した光線がどの程度、観測点に到達するかを算出することが目的であるので、簡単のため、ここではＩａ＝０とする。なお環境光が強い場合には、計測可否に影響が発生する場合があるので、Ｉａ≠０として計算することもできる。Ｉａ＝０と仮定した結果、（１）式は次式のように表現できる。

…（２）式

次に、それぞれの成分について説明する。ここでは、各反射成分を記述する数式は入射光が平行光線だった場合を想定している。なお、光源が他の様態であった場合には、その光源に合ったモデル式を用いればよい。
［拡散反射成分］

まず拡散反射のモデルとして、Ｌａｍｂｅｒｔ反射モデルを用いることができる。Ｌａｍｂｅｒｔ反射モデルは、理想的な拡散反射面が持つべき性質であり、どの方向から見ても輝度が一定になる反射モデルである。この様子を図１９Ａに示す。ここで入射光の輝度をＩ、入射角をα、拡散反射成分の割合をｋｄ、拡散反射光の反射率をｒｄとすると、拡散反射光の輝度Ｉｄは次式で表される。

上式において、α：ワーク法線と入射光の角度を示している。なおここではＬａｍｂｅｒｔ反射モデルを用いて説明を行うものの、本発明においてはＬａｍｂｅｒｔ反射モデルに限定せず、他の拡散反射モデルを用いてもよい。
［鏡面反射成分］

次に鏡面反射モデルとして、例えばＰｈｏｎｇ鏡面反射モデル、Ｂｌｉｎｎ−Ｐｈｏｎｇ鏡面反射モデル、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗ鏡面反射モデル、Ｂｌｉｎｎ鏡面反射モデル等が挙げられる。本明細書においてはＰｈｏｎｇ鏡面反射モデルを説明するが、本発明はこれに限らず、上述したものを含め、他の鏡面反射モデルを用いることもできる。

図１９Ｂに、Ｐｈｏｎｇ鏡面反射モデルの概略図を示す。この図において、αはワーク表面に対する法線と入射光の角度、βは正反射方向と観測点の角度、ｎは光の広がり度合いを表すパラメータを、それぞれ示している。図１９Ｂに示すように、鏡面反射の場合、正反射方向を中心として少し広がりを持って反射する。また正反射方向から観測点が外れると、輝度が低下する。ここで入射光の輝度をＩ、正反射方向と観測点の角度をβ、拡散反射成分の割合をｋｓ、鏡面反射光の反射率をｒｓとすると、拡散反射光の輝度Ｉｓは次式で表される。

上式におけるｎは、鏡面反射の度合いを表す係数である。ｎが大きいほど、広がりが少ない反射をすることになる。またここでは、環境光だけでなく、物体の自発光や物体による光の吸収がないものとして計算する。この反射光の輝度Ｉｒは次式で表される。

上式における各係数をどのように設定するかについては、前もって積分球などを使った測定器によって計測された値を設定しておいてもよい。あるいは、複数方向から照明をあてて簡易的に求めたり、ユーザが入力したりするのでも良い。ここでは各係数を、ｋｄ＝０．５ｋｓ；ｋｓ＝０．５；ｒｄ＝０．７；ｒｓ＝０．９８；入射角度（α）＝２５°；鏡面反射光の広がり度合い（ｎ）＝２００；観測点角度＝１５°とする。この係数での反射光の分布は、図２０のようになる。

このように、観測される方向によって、光の強さが変化する。観測される光の強さが小さいということは、光が当たっていない部分との差が小さいので、三次元計測ができないことになる。ここでプロジェクタから構造化されたパターンの光（構造光）をワークに照射することを考えると、光が当たっている部分からの反射光が、観測点にどの程度届くかによって、光が当たっていない部分とのコントラストが取れるかが決まってくるため、その度合いによって計測ができるかどうかが決まる。例えば、下記のような実施例を考える。
（実施例１）

拡散反射：鏡面反射＝９：１；ワークの傾き＝４０°；入射光の強さ＝Ｉ；ｋｄ＝０．９Ｉ；ｋｓ＝０．１Ｉ；ｒｄ＝０．７０；ｒｓ＝０．９８；α＝４０°；β＝５０°；ｎ＝１００

この場合、ある点に当たった光を観測点から観察した時の輝度は、次式で表現される。

（実施例２）

拡散反射：鏡面反射＝１：９；ワークの傾き＝４０°；入射光の強さ＝Ｉ；ｋｄ＝０．１Ｉ；ｋｓ＝０．９Ｉ；ｒｄ＝０．７０；ｒｓ＝０．９８；α＝４０°；β＝５０°；ｎ＝１００

この場合、ある点に当たった光を観測点から観察した時の輝度は、次式で表現される。

このように、図２１Ａに示すような入射光、観測点方向、正反射方向において、入射方向や観測方向、ワークの角度が同じであったとしても、拡散反射と鏡面反射の割合が異なると、観測される輝度は大きく異なることになる。ここで図２１Ｂのような状況を考える。ここで、入射光の強さ＝Ｉ；ｋｄ＝０．１Ｉ；ｋｓ＝０．９Ｉ；ｒｄ＝０．７０；ｒｓ＝０．９８；ｎ＝１００とすると、図２１Ｂのワークを傾けた時の入射光と反射光の比率は、図２２のグラフに示すようになる。

入射光と反射光の比率が低いということは、ワークのある部分に光が当たっていても、観測点に光が返ってこないので、光が当たっていない部分との区別がつかないということを意味する。つまり、この比率はワーク面を観測したときに得られるコントラストの値に近いものと考えられる。そこで、この比率に対して閾値を設け、計測結果を計算する時の角度閾値とする。例えば、比率の閾値を０．４としたとき、ワーク角度２０°のものについては、拡散反射割合が０．６より大きいワークであれば計測できるものとする。

また、閾値は、上述したように一つの固定値としてもよいし、何らかの関数としたり、ユーザに指定させてもよい。

鏡面反射成分が大きい場合、観測点がちょうど正反射方向にあると、かなり強い光が観測点方向に来てしまうため（例えば図２１Ｂのワーク角度１０°の場合）、カメラなどで受けた場合、画素が飽和して計測できなくなってしまうことがある。そういった箇所も判断するために、上側に閾値を設けるようにしてもよい。

このように決められた閾値を用いて計測を行った時の模式図を、図２３Ａ〜図２３Ｄに示す。これらの図において、図２３Ａは拡散反射の割合が高い高さ画像を二次元表示した例を示すイメージ図、図２３Ｂは図２３Ａを三次元表示した斜視図、図２３Ｃは鏡面反射の割合が高い高さ画像の例を示すイメージ図、図２３Ｄは図２３Ｃの斜視図を、それぞれ示している。

この方法を用いれば、より現実に近いシミュレーションを行うことができる。また、そのための設定方法をユーザがわかりやすい「材質」や「表面粗さ」などのキーワードで設定することができるようになるので、より簡単に設定を行うことができる。

以上の例では、ピッキング動作シミュレート部３０とは別に、バラ積みデータ生成部２０や領域推定部２２を設ける例を説明した。ただ本発明はこの構成に限らず、ピッキング動作シミュレート部にバラ積みデータやバラ積み画像の生成機能を持たせてもよい。このような例を実施形態８に係るシミュレーション装置４００として、図２４の機能ブロック図に示す。この図に示すロボットシミュレーション装置４００は、ピッキング動作シミュレート部３０Ｂと、シミュレーション環境設定部１０と、検出用設定部５０と、バラ積みデータ記憶部２３を備える。実施形態８においても、上述した実施形態１等と同じ部材については、同一の符号を付して詳細説明を適宜省略する。

ピッキング動作シミュレート部３０Ｂは、バラ積み画像生成部３１と、位置姿勢検出部３２と、把持解算出部３３を備える。バラ積み画像生成部３１は、複数のワークモデルがバラ積みされた三次元のバラ積みデータから、バラ積みされた状態を示す二次元の高さ画像として、バラ積み画像を生成する。このバラ積み画像は、センサ部から見た平面図とできる。位置姿勢検出部３２は、バラ積み画像に含まれる各ワークモデルの位置及び姿勢を検出するための部材である。把持解算出部３３は、各ワークモデルの位置及び姿勢から、ワークモデル同士の干渉判定を行い、さらにエンドエフェクタを模したエンドエフェクタモデルで把持可能な場合は、このワークモデルを把持するためのエンドエフェクタモデルの姿勢を算出する。
（ピッキング動作シミュレーションの手順）

次に、ピッキング動作シミュレーションの手順を、図２５のフローチャートに基づいて説明する。まず、ステップＳ２５０１において、シミュレーション環境を設定する。例えば、図２４のシミュレーション環境設定部１０から、バラ積み画像を生成するための設定をユーザに行わせる。

次にステップＳ２５０２において、ワークモデルのバラ積み画像を生成する。ここでは、ワークを作業空間内に積み上げた状態を仮想的に再現するため、物理シミュレーションを実行する。物理シミュレーションは、ワークモデルを一つづつ仮想作業空間に落下させる動作を繰り返して、複数のワークモデルが無作為に積み上げられたバラ積みデータを構成するものである（詳細は後述）。

このようにしてステップＳ２５０２でバラ積み画像が得られると、次にステップＳ２５０３において、ワークモデルの位置及び姿勢を示す位置姿勢情報を出力するか否かを判定する。出力する場合はステップＳ２５０４に進み、ワークモデルの位置姿勢情報を出力した上でステップＳ２５０５に進む。一方、位置姿勢情報を出力しない場合は、ステップＳ２５０４を経ることなく、ステップＳ２５０５に進む。

そしてステップＳ２５０５において、各ワークモデルの位置及び姿勢の検出を試みる。さらにステップＳ２５０６において、各ワークモデルの位置と姿勢が検出できたか否かを判定し、検出できる場合はステップＳ２５０７に進む。

一方、検出できない場合はステップＳ２５１１にジャンプして、残ったワークモデルに関する情報を抽出する。ここで残ったワークモデルに関する情報には、認識が正しくなされなかった結果ピッキングできずに残ってしまったワークモデルの個数や、位置姿勢情報が検出できたワークモデルについては当該位置姿勢情報を含む。

続いてステップＳ２５１２で、この抽出されたワークモデルの位置姿勢情報を出力するか否かを判定する。出力する場合はステップＳ２５１３に進み、ワークモデルの位置姿勢情報を出力して処理を終了し、一方出力しない場合はそのまま処理を終了する。

ステップＳ２５０６でワークモデルの位置と姿勢が検出できた場合は、ステップＳ２５０７において、エンドエフェクタモデルと周辺データとの干渉判定と、把持解の算出を試みる。そしてステップＳ２５０８において、把持解を算出できたか否かを判定し、算出できた場合はステップＳ２５０９に進み、算出できない場合はステップＳ２５１１にジャンプして、上述の通り残ったワークモデルに関する位置姿勢情報を抽出し、ステップＳ２５１２で出力を判定した後、処理を終了する。

ステップＳ２５０８で把持解を算出できた場合は、ステップＳ２５０９に進み、バラ積みデータを構成するワークモデルの数を一つ減らす。そしてステップＳ２５１０において、未処理のワークモデルが残っているか否かを判定し、残っている場合はステップＳ２５０２に戻ってバラ積み画像の生成から上記処理を繰り返し、一方残っていない場合は処理を終了する。

このようにして、ピッキング動作シミュレーションがピッキング動作シミュレート部によって実行される。実行された結果は、必要に応じて表示部に表示させることができる。ユーザはこれに基づいて、現在の設定の適否を判断できる。また必要に応じて、各種の設定を変更する。例えばロボット本体部の設置位置や収納容器を置く位置、センサ部の姿勢などを調整する。変更した設定を、シミュレーション環境設定部に入力して、再度ピッキング動作シミュレーションを実行し、その適否を確認するという作業を繰り返して、ユーザの環境に応じた適切な設定条件を決定できる。
（バラ積み画像の生成手順）

次に、上記図２５のフローチャートのステップＳ２５０２において、ワークモデルのバラ積み画像を生成する手順の詳細を、図２６のフローチャートを用いて説明する。

まずステップＳ２６０１において、初期状態データを読み込むか否かを判定する。この判定は、ユーザに対して初期状態データを読み込むか否かの判断を促す。なお、初期状態データは、予めバラ積みデータ記憶部２３等に保存されているものとする。

初期状態データを読み込む場合はステップＳ２６０２に進み、保存された初期状態データに記録されている位置、姿勢にワークモデルを設定する。次いでステップＳ２６０３において、物理シミュレーションを実行する。例えば、ワークモデルを所定の高さから落下させる（詳細は後述）。さらにステップＳ２６０４において、シミュレーション環境設定部で指定された数のワークモデルが配置されたか否かをシミュレーションパラメータが判定し、未だの場合はステップＳ２６０２に戻って処理を繰り返す。そして、指定された数のワークモデルが投下されたと判定されると、ステップＳ２６０８に進み、ワークモデルの位置及び姿勢に基づいたバラ積み画像を生成し、処理を終了する。

一方、ステップＳ２６０１において初期状態データを読み込まないと判定された場合は、ステップＳ２６０５に進み、ワークモデルの初期状態を設定する。初期状態には、ワークモデルに物理シミュレーションを行う開始位置と姿勢が含まれる。例えば、収納容器の壁際の位置にワークモデルを配置したい場合等、ユーザが所望の位置にワークモデルをバラ積みしたい場合は、そのような位置と姿勢とを決定する。あるいは、乱数に基づいてワークモデルの位置と姿勢とを決定する。

次にステップＳ２６０６において、このワークモデルに対して物理シミュレーションを実行する。さらにステップＳ２６０７において、指定された数のワークモデルが配置されたか否かを判定し、未だの場合はステップＳ２６０５に戻って処理を繰り返す。そして、指定された数のワークモデルが投下されたと判定されると、上記と同様にステップＳ２６０８に進み、ワークモデルの位置及び姿勢に基づいたバラ積み画像を生成し、処理を終了する。このようにしてバラ積み画像が生成される。
（物理シミュレーション）

なお、物理シミュレーションを行うに際には、必ずしもワークモデルを落下させる必要はない。例えば床面上にワークモデルを配置させたり、あるいは既存のワークモデルの上に他のワークモデルを接するように配置させた状態から物理シミュレーションをスタートさせても良い。すなわち、ワークモデルを落下させるという動作は、物理シミュレーションにおいては必ずしも必要でない。ただし、ワークを実際に床面上やバラ積みされた他のワーク上に置いた状態で、倒れたり、傾いたり、滑ったりといった、実際のワークが重力や摩擦などの自然に作用する応力や抵抗を受けて動く可能性を考慮する。また、ワークを配置させた直後のみならず、その後に他のワークをピッキングしたことで、バラ積みされたワークのバランスが崩れてさらに動くといった動作も考慮して、ワークモデルの仮想的な動きをシミュレーションする。すなわち本明細書でいうワークやワークモデルが「重力の作用を受け」るとは、ワーク等を落下させることに限定されず、載置されたワーク等が傾いたり崩れたり滑ったり、あるいは摩擦によって滑らない状態となること、ワークの反発係数により移動量が変わること等、自然界に働く応力や抵抗力により、安定した状態から不安定な状態となって動くことを包含する意味で使用する。
（シミュレーションの初期状態の再現）

ここで、図２７に示すような円筒形のワークモデルＷＭＣをバラ積みして、ピッキング動作シミュレーションを行う例について説明する。ここでは、図２８Ａに示すワークモデルＷＭＣをバラ積みしたバラ積みデータの初期状態に対して、ピッキング動作シミュレーションを行い、ワークモデルの一つづつ取り出す処理を行った結果、図２８Ｄに示す状態で、ピッキング動作シミュレーションが終了した場合を考える。

ここで、バラ積みデータの初期状態がランダムの場合は、以前の物理シミュレーションで得られた状態を同じ状態を作ることができない。すなわち、物理シミュレーションの度毎にランダムなバラ積みデータが生成されるため、図２８Ａに示す初期状態は一過性のものとなって、再現性がない。

一方、ユーザがピッキング動作パラメータの設定の見直しなどを行い、その効果を確認しようとする場合、以前のピッキング動作シミュレーションでうまくいかなかった状態を再現して、このバラ積みデータに対して確認するのが最も効率的である。例えば、あるワークモデルに対するエンドエフェクタモデルの把持解が見つからずに全てのワークモデルを取り出せなかった場合に、その対策としてユーザが把持の教示位置を増やした場合を考える。この場合、ユーザが変更した設定が、前回発生した問題に対して有効であったか否かを判断するためには、前回うまく行かなかった状態、又はこれと近い状態を再現して確認することが最も有効である。

加えて、問題が発生した正にその状態だけでなく、その問題が発生するに至った過程の状態から開始できるようにしてもよい。例えば問題が発生したバラ積みデータを、ワークモデルを順次追加して構成している場合は、問題が発生した段階の数回前の、ワークモデルの数が数回分少ない状態で、対応できるかどうかを確認することが考えられる。

これらを実現するために、本実施形態においては、バラ積みデータの初期状態や終了状態、あるいは中間状態等、ユーザが再利用したいと考える状態のデータを保存しておき、ピッキング動作パラメータの調整後に、このような保存済みのバラ積みデータを呼び出して、検証することを可能としている。

例えば図２８Ｄの終了状態をバラ積みデータ記憶部２３に保存しておくことで、ユーザがピッキング動作に失敗した原因を推測し、予想されるシミュレーションパラメータをシミュレーションパラメータ設定部で再設定後、この状態で再度ピッキング動作シミュレーションを実行し、ピッキングが可能かどうかを確認できる。あるいは、ピッキング動作シミュレーションに失敗して終了した状態のみならず、その前の段階からピッキング動作を検証するため、ピッキング途中の状態のバラ積みデータをバラ積みデータ記憶部２３に保存しておくこともできる。例えば図２８Ｃは、図２８Ｄの終了状態から１０回遡った状態のバラ積みデータを示しており、この段階から、シミュレーションパラメータを再設定したピッキング動作を検証することもできる。あるいはより古いデータに遡って、図２８Ｂに示すように、図２８Ｄの終了状態から２０回遡った状態のバラ積みデータを保存し、これを読み出して再度ピッキング動作シミュレーションを実行することもできる。

また、バラ積みデータの保存は、上述したようにユーザが所定のタイミングで行う他、所定のタイミングで自動で保存されるように構成してもよい。所定のタイミングとして、例えば、ピッキング動作シミュレーション実行前の初期状態や、ピッキング動作シミュレーション完了後の最終状態で、これ以上ピッキングできるワークモデルがない状態、あるいは中間でワークモデルが取り出される際毎に定期的に保存するようにしてもよい。

また、別の所定のタイミングとして、例えばバラ積みされるワークの数が、５個おきや１０個おきといった一定個数毎としたり、あるいはバラ積みデータを作成する経過時間で５分おき、１０分おきなどとしてもよい。また、自動保存されるバラ積みデータの容量や数に制限を設けてもよい。例えば自動保存されたバラ積みデータが５００個を越えると、古いデータを上書きするようにしたり、あるいは自動保存されたデータの総和が５００ＭＢを越えた場合に、古いデータから順に上書きして削除するようにするなどのルールを設けることができる。

さらに、これら自動又は手動で保存されたデータを遡って読み出す際のユーザインターフェース画面として、例えば早送り、巻き戻しのようなＶＴＲ等で一般的なボタン類を配置したり、ジョグシャトルやジョグダイヤルのような回転式の部材でもって送り方向と戻し方向をスムーズに切り替え可能な操作部を用意することもできる。または、スクロールバーやスライダのような、直線的な部材でもって過去の位置を指定するように構成してもよい。

また、このような保存済みのバラ積みデータを読み出す代わりに、新たにバラ積みデータをランダムに生成することもできる。例えばピッキング動作シミュレーション中にユーザに対し、過去のバラ積みデータを利用するか、新規のバラ積みデータを利用するかを選択させるように構成してもよい。
（物理シミュレーションの過程におけるデータの保存）

一般的にバラ積みデータでシミュレーションを行うには、物理シミュレーションが用いられる。物理シミュレーションでは、重力が設定された仮想作業空間において、質量を持つワーク等の物体の動きが動的にシミュレーションされる。各々の物体が衝突した場合には、予め設定された反発係数や摩擦係数を考慮して、物体が衝突後どのような動きになるかが示される。このような物理シミュレーションの手順を、図２９Ａ、図２９Ｂのフローチャートに基づいて以下説明する。

まずステップＳ２９０１において、仮想空間を作成する。次にステップＳ２９０２において、作成された仮想空間の設定を行う。ここでは、仮想空間内の重力など、物理シミュレーション全体に拘わるパラメータを設定する。なお、仮想空間の作成と設定を同時に行ってもよい。

さらにステップＳ２９０３において、ワークモデルをばら積みする収納容器を設定する。例えば、収納容器の縦、横、高さの長さ等を設定する。次にステップＳ２９０４において、ワークモデルをばら積みする収納容器の配置を設定する。バラ積みデータを生成する物理シミュレーションでは多くの場合、収納容器は静的なオブジェクトとして配置される。

そしてステップＳ２９０５において、ワークモデルのサイズを設定する。例えばワークモデルのサイズや形状、密度、重量など、ワークモデルに特有の設定を行う。次にステップＳ２９０６において、ワークモデル位置情報の読み取りを行う。

さらにステップＳ２９０７において、ワークモデルの初期位置が指定されているか否かの判定を行う。指定されていない場合は、ステップＳ２９０８において、ワークモデルの初期位置及び姿勢をランダムに設定してステップＳ２９１０に進む。一方、ワークモデルの初期位置が設定されている場合は、ステップＳ２９０９において、ワークモデルの位置及び姿勢を指定位置姿勢に設定してステップＳ２９１０に進む。なお、ワークモデルの初期位置は、例えばテキストデータ等の設定ファイルを読み込んで設定してもよいし、あるいはＧＵＩ等を用いてユーザが指定できるようにしてもよい。

次にステップＳ２９１０において、ワークモデルの生成を行う。そしてステップＳ２９１１において、指定された数量のワークモデルが生成されたか否かを判定し、未だの場合はステップＳ２９０６に戻って上記工程を繰り返す。一方、指定された数のワークモデルが生成された場合は、ステップＳ２９１２に進み、単位時間後のワークモデルの位置・姿勢をシミュレーションする。ここでは、ワークモデルに限らず、全ての物体について、他のワークモデルとの衝突なども考慮した上で、単位時間後のワークモデルの位置・姿勢を計算する。そしてステップＳ２９１３において、全てのワークモデルがその位置及び姿勢で安定しているか否かを判定する。安定していない場合はステップＳ２９１２に戻って上記工程を繰り返す。一方、安定していると判定された場合はステップＳ２９１４に進み、ワークモデルの位置・姿勢情報を保存するか否かを判定する。保存の要否はユーザが判断する。ユーザは、例えば後に設定の見直しやシミュレーションのやり直しをする可能性がある場合など、データ保存の必要性を感じる場合に保存する。保存する場合はステップＳ２９１５に進み、ワークモデルの位置・姿勢情報の保存や出力処理を行った上で処理を終了する。なおここで、ユーザに出力の有無を都度指定させても良い。あるいは物理シミュレーション部の内部で、常にロギングしておいてもよい。さらには、保存するデータを回数で指定させてもよい。例えばＮ回ごとや１０回分など、任意のタイミングや数を指定できる。一方、保存が不要と判断された場合は、そのまま処理を終了する。

このようにして、ワークモデルの位置や姿勢を考慮した物理シミュレーションが行われる。この方法によれば、ステップＳ２９１４においてユーザが設定の見直しをする必要性を感じた状態を保持しておき、後から呼び出すことが可能となる。この結果、ユーザが行った設定の見直しが、ユーザが直面している課題に対して効果的だったかどうかを明確に判断することが可能となる。このため、ユーザがロボットの立ち上げを行うときに、より短い時間で正しい設定を行うことができるようになり、立ち上げ時間の短縮、実運用の安定化に?がる。
（ワークモデルの姿勢の制限）

また、三次元のバラ積みデータやバラ積み画像の生成において、仮想作業空間上に配置するワークモデルの姿勢に制限を加えてもよい。すなわち従来のバラ積みピッキングのシミュレーションに際して、ワークモデルを仮想作業空間上にランダムに配置させる結果、実際の運用時の環境と異なる状態でのシミュレーションとなってしまっていることがあった。例えば図３０に示すように、Ｔ字型のワークモデルＷＭＴが直立するような不安定な姿勢で存在することが生じていた。実際の運用時には、このような不安定な姿勢でワークが存在することは起こり難い。

また実際にピッキング対象のワークが提供される態様は、無作為に積み上げられた状態に限られず、段積み状態のケースや、ワークの向きが固定化された状態で積まれているケースも多く、実運用時のワークの状態に合わせた適切な設定調整や、検証が行えない状態であった。

そこで本実施の形態では、ワークの姿勢を完全にランダムとするのでなく、一定の制限を加えた状態でバラ積みデータを準備することにより、実運用時の環境や条件に合わせたシミュレーション結果が得られるようにしている。すなわち、バラ積みデータの生成を、ユーザの用途やワークの形状等に応じてカスタマイズした、バラ積みデータ生成の個別設定を可能としている。

このようなワークの姿勢の制限は、物理シミュレーションの実行に際して行うことができる。一例として、（Ｉ）物理シミュレーションを行う際に、仮想作業空間上にワークモデルをランダムな姿勢で投下させるのではなく、姿勢制限を加えた状態で投下させる。また、姿勢制限を超えた姿勢になってしまったものは、物理シミュレーション過程で除外することで、姿勢制限を行うこともできる。

あるいは、（ＩＩ）物理シミュレーションを行う際に、仮想作業空間上にワークモデルを１つ１つランダムな姿勢で投下させるのではなく、規定の姿勢で、一定の間隔で複数配置させた状態で、同時に落下させてもよい。

このようにして、実運用時の状態に合わせたバラ積みデータを生成することができるため、ピッキング動作シミュレーションの結果も実運用時に近い状態で実行でき、より正確なシミュレーション結果が得られる。これにより、実際にワークを用意することなく、実運用時に近い形で事前に適切な設定調整や、検証を行うことができるようになる。以下、図２５のステップＳ２５０２において、ワークモデルのバラ積み状態を、姿勢条件設定部１６で姿勢に制限を加えた上で、バラ積みデータ生成部２０で生成する際の手順を説明する。
（Ｉ：ワークモデルを一つづつ投下させる物理シミュレーションにおける姿勢制限）

まず、物理シミュレーションにおいてワークモデルを一つづつ投下させる際の姿勢制限について、説明する。ここでは、ワークモデルの姿勢のみに制限を加える方法について説明する。ここでは、ワークモデルの位置については制約のないランダムとしている。姿勢制限を加える方法としては、
１．物理シミュレーションにおけるワークモデルの投下時に、姿勢制限を加える。
２．物理シミュレーションの実行後に、姿勢制限範囲外のワークモデルを除外する。
３．上記１．、２．の両方を行う。
の３パターンが挙げられる。
（１．ワークモデルの投下時に姿勢制限）

まず、１．の物理シミュレーションにおけるワークモデルの投下時に、姿勢制限を加える手順について、図３１のフローチャートに基づいて説明する。ここでは、ワークモデルに対して許容される姿勢を、姿勢条件設定部１６で予め姿勢条件として設定されたものとする。例えば、ワークモデルに対して許容される姿勢の角度範囲を、姿勢制限範囲として規定する。あるいは、ワークモデルの基準姿勢からの許容回転角度、傾斜角度を姿勢条件として設定することもできる。

このように姿勢条件が設定された状態で、まずステップＳ３１０１において、乱数に基づいてワークモデルの姿勢及び投下位置を生成する。次に、ステップＳ３１０２において、生成されたワークモデルの姿勢が、姿勢条件設定部で設定された姿勢制限範囲内の姿勢か否かを判定する。この判定は、バラ積みデータ生成部で行う。姿勢制限範囲でないと判定された場合は、ステップＳ３１０１に戻って、新たなワークモデルの姿勢及び投下位置を生成し直す。なお、姿勢及び投下位置を生成して投下されるワークモデルは、１つずつとすることもできるし、複数のワークを一括して姿勢、投下位置を生成して、これらを同時に落下させてもよい。

一方、姿勢制限範囲と判定された場合は、ステップＳ３１０３に進み、このワークモデルを投下させる物理シミュレーションを実施する。そしてステップＳ３１０４において、指定された数だけワークモデルが投下されたか否かを判定し、未だの場合はステップＳ３１０１に戻り、処理を繰り返す。このようにして、指定された数のワークモデルが投下されたと判定された場合は、処理を終了する。以上のようにして、ワークモデルを投下させる前の姿勢を、姿勢制限範囲内にあるか判定し、制限範囲外のワークモデルを除外することで、不自然なワークモデルの存在を排除できる。この方法であれば、制限範囲外のワークモデルに対しては、落下させる物理シミュレーション自体を行わないので、シミュレーションに係る処理を簡素化できる利点が得られる。
（２．ワークモデルの投下後に姿勢制限）

一方、ワークモデルを投下させた後の姿勢に対して、制限範囲内にあるか否かを判定することでも、不自然なワークモデルを排除できる。以下、２．の物理シミュレーションの実行後に、姿勢制限範囲外のワークモデルを除外してバラ積みデータを生成する手順について、図３２のフローチャートに基づいて説明する。

まずステップＳ３２０１において、乱数に基づいてワークモデルの姿勢及び投下位置を生成する。次にステップＳ３２０２において、このワークモデルを投下させる物理シミュレーションを実施する。ここでも、姿勢及び投下位置を生成して投下されるワークモデルは、１つずつとすることもできるし、複数のワークを一括して姿勢、投下位置を生成して、これらを同時に落下させてもよい。

そしてステップＳ３２０３において、落下されたワークモデルの内、姿勢条件設定部で設定された姿勢制限範囲外のワークモデルがあるか否かを判定する。姿勢制限範囲外にあるワークありと判定された場合は、ステップＳ３２０４に進み、姿勢制限範囲外のワークモデルを除外して、再度落下させる物理シミュレーションを実施した上で、ステップＳ３２０３に戻って判定を繰り返す。

一方、姿勢制限範囲外のワークモデルなしと判定された場合は、ステップＳ３２０５に進み、指定された数だけワークモデルが投下されたか否かを判定し、未だの場合はステップＳ３２０１に戻り、処理を繰り返す。このようにして、指定された数のワークモデルが投下されたと判定された場合は、処理を終了する。以上のようにして、ワークモデルを投下させた後の姿勢が、姿勢制限範囲内にあるかを判定し、制限範囲外のワークモデルを除外することで、不自然なワークモデルの存在を排除できる。この方法であれば、落下されたワークモデルに対して姿勢を判定することから、不自然なワークモデルをより確実に除外できる利点が得られる。
（３．ワークモデルの投下前後に姿勢制限）

さらに、ワークモデルを投下させる前の姿勢と、透過後の姿勢の両方に対して、制限範囲内にあるか否かを判定することでも、不自然なワークモデルを排除できる。ここでは、ワークモデルに対して許容される投下時の姿勢を投下後の姿勢を、姿勢条件設定部で予め設定する。これらは同じ姿勢とすることもできるが、好ましくは投下時のワークモデルの姿勢と、投下後のワークモデルの姿勢とを個別に設定することが好ましい。以下、３．の物理シミュレーションの実行の前後に、姿勢制限範囲外のワークモデルを除外してバラ積みデータを生成する手順について、図３３のフローチャートに基づいて説明する。

まずステップＳ３３０１において、乱数に基づいてワークモデルの姿勢及び投下位置を生成する。次に、ステップＳ３３０２において、生成されたワークモデルの姿勢が、姿勢条件設定部で設定された姿勢制限範囲内の姿勢か否かを判定する。姿勢制限範囲でないと判定された場合は、ステップＳ３３０１に戻って、新たなワークモデルの姿勢及び投下位置を生成し直す。なお、ここでも姿勢及び投下位置を生成して投下されるワークモデルは、１つずつとすることもできるし、複数のワークを一括して姿勢、投下位置を生成して、これらを同時に落下させてもよい。

一方、姿勢制限範囲と判定された場合は、ステップＳ３３０３に進み、このワークモデルを投下させる物理シミュレーションを実施する。そしてステップＳ３３０４において、落下されたワークモデルの内、姿勢条件設定部で設定された姿勢制限範囲外のワークモデルがあるか否かを判定する。姿勢制限範囲外にあるワークありと判定された場合は、ステップＳ３３０５に進み、姿勢制限範囲外のワークモデルを除外して、再度落下させる物理シミュレーションを実施した上で、ステップＳ３３０４に戻って判定を繰り返す。

一方、姿勢制限範囲外のワークモデルなしと判定された場合は、ステップＳ３３０６に進み、指定された数だけワークモデルが投下されたか否かを判定し、未だの場合はステップＳ３３０１に戻り、処理を繰り返す。このようにして、指定された数のワークモデルが投下されたと判定された場合は、処理を終了する。以上のようにして、ワークモデルを投下させた後の姿勢が、姿勢制限範囲内にあるかを判定し、制限範囲外のワークモデルを除外することで、不自然なワークモデルの存在を排除できる。この方法であれば、落下の前後でワークモデルの姿勢を確認することから、最も確実に不自然なワークモデルを除外できる。

このようにして、ワークモデル投下時や投下後、あるいはその両方のタイミングでワークの姿勢に対し制限を加えることで、不自然な形で直立するワークが存在しこのようなワークに対してもピッキング動作シミュレーションを実行してしまう事態を避けることが可能となる。また、ワークの形状によって片面しか見えないようなバラ積み状態を実現することもできる。例えば図３４Ａ、図３４Ｂに示すような、表面と裏面の面積が異なるワークＷＫ６に対して、図３５に示すように、バラ積み状態では各ワークＷＫ６の表面側のみしか見えないような場合であっても、実運用に合わせてこのようなバラ積み状態を生成し、仮想的に再現することが可能となる。例えば、許容される姿勢条件として、ワークモデルの特定の面が底面となるように姿勢条件設定部で設定する。これによって、ピッキング動作シミュレーションにおける設定の調整や検証といった時間のかかる作業を、実際にワークを用意することなく、実運用に近い形で事前に行うことができるようになる。また、対象となるワークがどのようなバラ積みをされるかによって、最適な設定が変わるところ、姿勢条件に制限を加えることで、ピッキング動作シミュレーションの実行前に設定を合わせこむことが可能となる。
（実施形態９）

以上の方法では、バラ積みデータの生成に際してワークモデルの姿勢にのみ制限をかける例を説明した。ただ本発明は、この例に限られず、ワークモデルの姿勢と位置の両方に制限を加えることもできる。例えば、図３６Ａに示すように、収納容器に板状のワークＷＫ７が整列されて詰め込まれた状態や、図３６Ｂに示すように、円筒状のワークＷＫ８が収納容器内で段積みされた状態を考える。このようなバラ積み状態にあるワークは、収納容器内にランダムに存在しているのでなく、概ね一定の姿勢や位置にあるという制約を受ける。このため、従来の物理シミュレーションのような、ワークを完全にランダムに生成される方法では、このようなバラ積み状態を再現できない。そこで、このようなバラ積み状態にあるワークに対しても、正確なピッキング動作シミュレーションが実行できるよう、バラ積み状態を生成する条件として、ワークの姿勢のみならず位置にも制約を設ける。以下、このような方法を実施形態９として、図３７のフローチャートに基づき説明する。

まずステップＳ３７０１において、規定の姿勢、規定の間隔で複数のワークモデルの投下位置及び姿勢を設定する。ここでは、ワークモデルに対して許容される姿勢や位置、間隔などの配置条件を、姿勢条件設定部で設定する。例えば、ワークモデルの姿勢、Ｘ方向の配置数と配置間隔、Ｙ方向の配置数と配置間隔、ワークモデル段数等が挙げられる。例えば図３６ＡのワークＷＫ７のバラ積み状態を物理シミュレーションするには、配置条件として、Ｘ方向の配置数を８個、Ｙ方向の配置数を１個、段数を１に設定する。また例えば図３６ＢのワークＷＫ８のバラ積み状態を物理シミュレーションするには、配置条件として、Ｘ方向の配置数を５個、Ｙ方向の配置数を３個、段数を３に設定する。

次にステップＳ３７０２において、乱数に基づいて、複数のワークモデルの位置及び姿勢に外乱を加える。さらにステップＳ３７０３において、ワークモデルを同時に投下させて物理シミュレーションを実施する。このようにして、規定の姿勢で、指定された配置位置にワークモデルを用意した状態で、ワークモデルを同時に投下させて物理シミュレーションを行うことができる。特にワークモデルを投下させる前に、乱数に基づいて、位置及び姿勢に外乱を加えることで、毎回異なる状態のデータを作成することができる。

そしてステップＳ３７０４において、指定された段数分、ワークモデルが投下されたか否かを判定し、未だの場合はステップＳ３７０１に戻って処理を繰り返す。すべてのワークモデルが投下されたと判定された場合は、処理を終了する。このようにして、ワークが収納容器内に整列されて詰め込まれた状態や、段積み状態にあるバラ積み状態を再現したシミュレーション用のバラ積みデータを作り出すことができる。特に規定の姿勢で一定の間隔で複数配置させた状態で、ワークモデルを同時に投下させることで、ワークモデルの位置と姿勢の両方に制限を加えることが可能となる。この結果、設定の調整や検証といった時間のかかる作業を、実際にワークを用意することなく、実運用時に近い形で事前に行うことができるようになる。特に対象となるワークがどのようなバラ積みにされるかに応じて、最適な設定が変わるところ、事前に設定をカスタマイズして合わせこむことができる。
（姿勢条件の設定画面）

次に、このような姿勢条件を設定する手順の一例を、図３８、図３９等に基づいて説明する。これらの図において、図３８は姿勢条件設定部の一態様であるロボットシミュレーションプログラムのユーザインターフェース画面において、表示部上に示されたワークモデルＷＭ６に対して基本姿勢を規定する様子を示すイメージ図であり、図３９は、同じく姿勢条件を設定する姿勢条件設定画面１１０を示している。
（基本姿勢の設定）

まず、ワークモデルの投下時の基本姿勢を規定する。例えば、図３８に示す基本姿勢設定画面上で、投下方向に対するワークモデルＷＭ６の姿勢を調整する。この例では、Ｚ軸方向が投下方向である。例えば画面上でワークモデルＷＭ６をドラッグして投下姿勢を自由に変更できる。

次に、基本姿勢の状態に対する、許容角度を指定する。角度の指定方法は、投下方向の軸に対する傾斜角度と、投下方向に軸に対する回転角度の２つを、範囲で指定する。例えば、図３９に示す姿勢条件設定画面１１０上で、傾斜角度と回転角度を数値で入力する。この例では回転角度の範囲を±で示しているが、下限と上限の値を個別に指定可能にしてもよい。例えば傾斜角度を０°、回転角°を±１８０°に指定した場合、図４０に示すように、基本姿勢に対し、投下方向に向かって傾斜のない姿勢で投下される。なお、投下方向の軸に対する回転角度はランダムに変化される。また傾斜角度を１５°、回転角度を±０°に指定すると、図４１に示すように、基本姿勢に対し、投下方向の軸に対する回転方向には変化がないが、傾斜角のみに外乱が加わった姿勢にてワークモデルが投下されることになる。なお、傾斜角度の範囲、回転角度の範囲がいずれもゼロでない場合、それぞれの範囲内で傾斜角度、回転角度がランダムに変化させた姿勢にて、ワークモデルが投下されることになる。

このようにして、基本姿勢と、この基本姿勢に対する傾斜角度、回転角度の範囲を１セットとし、これを必要に応じて複数セット設定する。例えば、ワークの表面のみが見えるようなバラ積み状態に対しては、１セットのみを設定して実現できる。一方、ワークの側面は上を向かないが、表面と裏面の両面が上を向くようなバラ積みに対しては、「表面が上を向いた状態の基本姿勢で設定」したものと、「裏面が上を向いた状態の基本姿勢で設定」したものの２セットをそれぞれ定義し、１回の投下毎に、どのセットが選ばれるか自体をランダムに選択させることで、所望のバラ積み状態を実現できる。
（ワークモデルの配置条件設定）

次に、実施形態９として説明した、ワークモデルの配置条件を設定する方法について、以下説明する。ワークモデルの姿勢のみならず、位置等に関しても設定する方法としては、例えば、１．Ｘ方向の配置数と配置間隔、Ｙ方向の配置数と配置間隔、ワークモデルの段数を入力させる方法や、２．最初に配置パターンを選択させ、それに応じて必要な配置条件を入力させる方法等が挙げられる。まず、１．の方法について説明する。姿勢条件設定部の他の態様として、例えば図４２に示すような配置条件設定画面１２０から、ワークモデルのＸ方向の配置数と配置間隔、Ｙ方向の配置数と配置間隔、ワークモデルの段数を、それぞれ入力させる。
（配置パターン選択）

次に、２．の方法について説明する。この方法では、先にワークモデルの配置パターンをユーザに選択させて、次に選択に応じた必要なパラメータを入力させる。ワークモデルの配置パターン選択画面として、例えば、図４３Ａ、図４３Ｂ、図４３Ｃに示すように、ワークモデルが収納容器内で完全ランダムな場合、一方向に配置されている場合、それ以外の複数方向、複数段に配列されている場合の３パターンを、表示部にそれぞれ表示させる。表示は、これらを一覧表示させてもよいし、複数の画面を切り替えて表示させてもよい。ユーザが、いずれかの配置パターンを選択すると、詳細な配置条件のパラメータを設定する配置条件設定画面が表示される。例えば、図４３Ａの完全ランダムな配置パターンが選択された場合、配置条件としてバラ積みの個数のみを入力させる。また図４３Ｂの一方向に配置されている配置パターンが選択された場合は、配置数、配置方向（Ｘ又はＹ）、配置間隔をそれぞれ入力させる。あるいは図４３Ｃの複数方向、複数段に配列されている配置パターンが選択された場合は、Ｘ方向の配置数、配置間隔、Ｙ方向の配置数、配置間隔、Ｚ方向の段数を、それぞれ入力させる。このようにして、ユーザは表示部に表示されたガイダンスに従い、必要な設定を順次遺漏なく行うことができる。
（姿勢安定性パラメータ決定部１７）

以上のようにして、ユーザがワークモデルの許容される姿勢等の姿勢条件を予め設定し、条件に合致しないワークモデルを排除することで、バラ積みデータに不自然な姿勢や不安定な姿勢のワークモデルが含まれないようにできる。ただ本発明は、ワークモデルが安定な姿勢にあるかどうかを判定できるよう、ワークモデルが不安定な姿勢であることを自動検知するように構成してもよい。例えば、不安定な姿勢のワークモデルが検知されると、このようなワークモデルをバラ積みデータから自動的に除外するよう構成することで、同様にバラ積みデータを実運用環境に近い状態として、ピッキング動作シミュレーションの精度を高めることが期待できる。またこの場合は、姿勢安定性が悪いワークモデルを表示部上で、排除対象のワークモデル候補として表示させてユーザに対し排除するよう促したり、あるいはこのような姿勢安定性のワークモデルを選択する指針をユーザに対して与えることもできる。さらには、ユーザが姿勢条件等を手動で設定しなくとも、ロボットシミュレーション装置側で自動的に不自然な姿勢や不安定な姿勢のワークモデルを排除させて、適切な条件に設定された状態でピッキング動作シミュレーションを実行させることもでき、ユーザの利便性の面でも有利となる。

このような姿勢安定性の演算は、姿勢安定性パラメータ決定部で行うことができる。姿勢安定性パラメータ決定部１７は、例えば図１２に示すように、姿勢条件設定部１６に含めることができる。例えば、姿勢条件設定部１６で姿勢条件を設定する際、姿勢安定性パラメータ決定部１７で演算された姿勢安定性に基づき、好ましい数値範囲をユーザに提示することができる。ユーザは提示された数値を参照して、姿勢条件として姿勢範囲の角度などを設定、あるいはこれを微調整することができる。また姿勢安定性パラメータ決定部は、必ずしも姿勢条件設定部に含める必要はなく、別部材としてもよい。

さらに、予め姿勢安定性パラメータをロボットシミュレーション装置側で規定しておき、既定値の姿勢安定性パラメータに従い、姿勢安定性が低いワークモデルを自動的に排除するよう構成してもよい。この場合は、姿勢安定性パラメータを含めた姿勢条件の設定をユーザが行う必要はない。このように、姿勢条件の設定をユーザが行わない態様も、本発明に包含する。いいかえると、姿勢条件設定部１６は、必ずしもユーザによる姿勢条件の設定を受け付ける構成は必須でなく、姿勢条件設定部１６による姿勢条件の設定には、ユーザ指定の他、既定値による設定も含む意味で使用する。
（姿勢安定性の演算方法）

ここで、姿勢安定性を演算する方法を、図４４のフローチャートに基づいて説明する。ここでは、図３０に示したＴ字型のワークモデルＷＭＴを例に挙げて説明する。まず、ステップＳ４４０１でワークモデルＷＭＴの形状に外接する立方体を求める。例えば図４５Ａに示すワークモデルＷＭＴに対する外接立方体を求めると、図４５Ｂのようになる。次に、外接立方体を構成する６面の中で最大面積となる面を求める。例えば図４５Ｂの例では、図４５Ｃのように側面が最大面積となる。

次にステップＳ４４０２で、ワークモデルＷＭＴに対して物理シミュレーションを行い、このワークモデルＷＭＴが他の物体に接触している部位を、真上から投影した領域を求める。例えば物理シミュレーションの結果、図４５ＡのワークモデルＷＭＴが図４６Ａのように倒れた姿勢で仮想作業空間内に置かれた場合は、このワークモデルＷＭＴが仮想作業空間の床面と接触している部位を真上から見た投影領域は、図４６Ｂのようになる。

また、物理シミュレーションの結果、図４５ＡのワークモデルＷＭＴが図４７Ａのように直立した姿勢で仮想作業空間内に置かれた場合は、このワークモデルＷＭＴが仮想作業空間の床面と接触している部位の投影領域は、図４７Ｂのようになる。

あるいはまた、物理シミュレーションの結果、図４５ＡのワークモデルＷＭＴが図４８Ａのように収納容器の壁面にもたれかかる姿勢で置かれた場合は、このワークモデルＷＭＴが仮想作業空間の床面と接触している部位の投影領域は、図４８Ｂのようになる。

このようにして得られた投影領域に対して、ステップＳ４４０３で最小面積で外接する矩形を求める。例えば図４９Ａに示す投影領域に対する最小面積外接矩形は、図４９Ｂのようになる。また図５０Ａに示す投影領域に対する最小面積外接矩形は、図５０Ｂのようになる。さらに図５１Ａに示す投影領域に対する最小面積外接矩形は、図５１Ｂのようになる。

最後にステップＳ４４０４で、ステップＳ４４０１で求めた最大面の面積に対するステップＳ４４０３で求めた外接矩形の面積の比率を求め、これを姿勢安定性とし、一定以下の比率のものは不安定姿勢と判定する。例えば、図４６Ｂ及び図４９Ｂの場合は、（最小面積外接矩形の面積）÷最大面積）＝２８／４９≒約５７％となる。また図４７Ｂ及び図５０Ｂの場合は、（最小面積外接矩形の面積）÷最大面積）＝４／４９≒約８％となる。さらに図４８Ｂ及び図５１Ｂの場合は、（最小面積外接矩形の面積）÷最大面積）＝２０／４９≒約４１％となる。この結果から、姿勢安定性の低い図４７Ａの直立姿勢のワークモデルＷＭＴを不安定として排除することができる。ここで不安定姿勢と判定する閾値は、固定値とする他、必要に応じてユーザが調整可能としてもよい。
（実施形態１０）

以上の例では、ユーザがワークモデルの許容される姿勢等を予め設定し、条件に合致しないワークモデルを排除する構成、いいかえるとワークモデルをバラ積みデータから除外するための排除条件を予め設定することで、バラ積みデータに不自然なワークモデルが含まれないようにしてピッキング動作シミュレーションの精度や再現性を向上させる例を説明した。ここでは、ユーザが姿勢条件設定部を用いて、ワークモデルの姿勢や位置に制限を加えることで、カスタマイズされたバラ積みデータを生成している。ただ、本発明は必ずしもユーザがワークモデルをバラ積みデータから除外するための排除条件を手動で設定する必要はなく、ワークモデルを除外する条件を自動で設定するように構成してもよい。このような例を実施形態１０に係るロボットシミュレーション装置として、図５２のブロック図に示す。この図に示すロボットシミュレーション装置は、ワークモデル設定部１１と、バラ積みデータ生成部２０と、表示部３と、除外ワーク選択部１８と、除外条件算出部１９と、ピッキング動作シミュレート部３０とを備える。実施形態１０において、上述した実施形態１等と同じ部材については、同一の符号を付して詳細説明を適宜省略する。

除外ワーク選択部１８は、表示部３上に表示されたバラ積みデータを構成するワークモデルの内、ピッキング動作シミュレーションから除外したいワークモデルをユーザに選択させるための部材である。

除外条件算出部は、除外ワーク選択部で選択された除外対象のワークモデルに対して、該ワークモデルを除外するための除外条件を自動的に算出するための部材である。

これにより、ユーザが手動で不自然な姿勢のワークモデルを除外するための条件を設定すること無く、除外するように指定されたワークモデルの位置や姿勢から、自動的にワークモデルを排除する条件を算出して、このような排除条件に合致するワークモデルをバラ積みデータから排除するように構成できる。この結果、ユーザ側でワークの排除条件を詳細に設定する手間をなくすことができる。またユーザは、除外したいワークモデルの一部を選択することで、自動的に排除条件が算出されて、他の排除すべきワークモデルも自動で選択されるので、この点においても利便性の向上が図られる。
（実施形態１１）

また、ユーザがワークモデルを排除するための排除条件を手動で設定することと、ロボットシミュレーション装置側での排除条件の自動算出を併用することもできる。このような例を実施形態１１に係るロボットシミュレーション装置として、図５３のブロック図に示す。この図に示すロボットシミュレーション装置は、ワークモデル設定部１１と、検出用設定部５０と、バラ積みデータ生成部２０と、表示部３と、除外ワーク選択部１８と、除外条件算出部１９と、ピッキング動作シミュレート部３０とを備える。検出用設定部５０は、姿勢条件設定部１６を備えている。実施形態１１においても、上述した実施形態１等と同じ部材については、同一の符号を付して詳細説明を適宜省略する。このように、ユーザが手動でワークモデルの排除条件を設定しつつ、ロボットシミュレーション装置側でも自動的に排除条件を算出して、必要に応じて排除条件の修正や好ましい角度範囲を提案するなどして、ユーザによる姿勢条件等の排除条件の設定作業をサポートすることが可能となる。

なお、ワークモデルの姿勢を制限する方法は、上述した図３８等の方法に限定されるものでなく、他の方法も適宜採用できる。例えば、ワークモデルの姿勢をＺＹＸオイラー角で表現する場合、Ｘ軸に対する角度Ｒｘ、Ｙ軸に対する角度Ｒｙ、Ｚ軸に対する角度Ｒｚのそれぞれに対し、規定の範囲内になるように制限を行うことができる。また、Ｚ軸に対する第一の回転角Ｒ１、Ｙ軸に対する第二の回転角Ｒ２、Ｚ軸に対する第三の回転角Ｒ３のそれぞれに対し、規定の範囲内になるように制限を行うように構成してもよい。

さらにワークを段積みして収納容器に収納する態様には、図５４で示すような中敷きや、図５５で示すような間仕切りが存在する場合もある。このような場合に、各段の間に、中敷きや間仕切りをモデル化したデータを介在させて物理シミュレーションを実行することで、このような中敷きや間仕切りも考慮した段積み状態を生成することができる。これら中敷きや間仕切りもＣＡＤデータ等でモデル化することができる。また、これら中敷きや間仕切りもロボットでピッキングする場合のピッキング動作シミュレーションも合わせて行うこともできる。この場合、中敷きや間仕切りは、吸引式のエンドエフェクタで排除する他、予め中敷きや間仕切りの一部に、把持式や挿入式のエンドエフェクタで把持し易いように、開口部やスリット等を設けておくこともできる。

ここで、ワークモデルを一つ、ワークモデル群から取り出した後のワークモデル群の変化について検討する。従来、バラ積みされたワークモデルのいずれかがエンドエフェクタモデルで把持可能と判断され、ピッキング動作シミュレーションによって取り出される場合、取り出し時や取り出された後の、バラ積みされたワークモデル群の状態については、考慮されていなかった。例えば、図５６に示すバラ積みされたワークモデル群において、破線の丸で囲まれたワークモデルは、その下に位置するハッチングで示すワークモデルが存在することによって支えられている。このため、ハッチングされたワークモデルが取り去られたとすれば、本来は倒れるべきである。

しかしながら、従来の物理シミュレーションでは、ハッチングされたワークモデルがなくなったとしても、図５７に示すように、その他のワークモデルの位置や姿勢に変化は生じなかった。これは、物理シミュレーションの動作自体が重い処理のため、一度実行させるのみで足りるとして、敢えて再実行させることが考慮されていなかったためと考えられる。しかしながら、図５７に示す破線の丸で囲まれたワークモデルのように、支えるものがないのに宙に浮いたような姿勢で止まることには現実にはあり得ず、このような状態でピッキング動作シミュレーションを行っても、現実のワークの位置や姿勢と合致せず、よってピッキング動作シミュレーションが成功したとしても、実運用時には失敗するなど、ピッキング動作シミュレーションの再現性や精度に問題が生じることが考えられる。また、ワークの下側に位置するワークのみならず、周囲で接触しているワークであっても、これらが取り出されると、その近傍のワークモデルにも影響が生じて、バランスが崩れるなどしてワークモデルの位置が変わることも考えられる。従来は、このようなワークの取り出しによる、残りのワーク群の変化については考慮されておらず、このことがピッキング動作シミュレーションの精度に影響を与えることを本発明者らは見出した。

そこで、このような知見に基づき、ワークが取り出された結果、残りのワーク群の位置や姿勢に変化が生じることをも推測することで、より実運用時のワークのバラ積み状態に近付けた精度の高いピッキング動作シミュレーションを実現するべく、本発明を成すに至った。具体的には、物理シミュレーションを再実行することを許容するものである。この結果、図５８に示す破線の丸で囲まれたワークモデルのように、位置のワークモデルが除去された後、ワークモデル群が重力の作用を受けて状態が変化した様子を再現できるので、ピッキング動作シミュレーションもこれに基づいて、より実運用時に近い状態で実行させることができる。
（物理シミュレーションを再実行する範囲）

物理シミュレーションを再実行する範囲は、例えば、ピッキング動作シミュレート部により一のワークモデルの取り出しが行われた後、バラ積みデータに含まれる残りのワークモデルのすべてに対して、再実行するよう構成することができる。あるいは、一のワークモデルの取り出しが行われた後、バラ積みデータに含まれる残りのワークモデルの内、取り出されたワークモデルの周囲に存在するワークモデルに対して、物理シミュレーションを再実行するよう構成してもよい。あるいはまた、一のワークモデルの取り出しが行われた後、バラ積みデータに含まれる残りのワークモデルの内で、取り出されたワークモデルに接触していたワークモデル、又は取り出しの過程でロボット又はこれに把持されたワークモデルと干渉するワークモデルに対して、物理シミュレーションを再実行するよう構成してもよい。
（物理シミュレーションを再実行するタイミング）

また物理シミュレーションを再実行するタイミングは、典型的には、ピッキング動作シミュレーション中にワークモデルを取り出すタイミングである。すなわち上述した図２５のステップＳ２５０９のような、ワークモデルの数を一つ減らすタイミングである。例えばピッキング動作シミュレーションで一のワークモデルが取り出される度に、毎回物理シミュレーションを再実行するよう構成できる。ただ本発明は、物理シミュレーションを再実行するタイミングを、ワークモデルを取り出すタイミングに限定しない。例えば、ピッキング動作シミュレーションが実行されている間、予め定めた頻度で物理シミュレーションを再実行するよう構成してもよい。あるいは、一のワークモデルが取り出される度毎に、物理シミュレーションを再実行するか否かの要否を判定してもよい。この場合、不要と判定された場合は物理シミュレーションの再実行を行わない。

さらに、一のワークモデルが取り出された際に、この取り出されるワークモデルに接触していたワークモデルが存在しない場合には、物理シミュレーションの再実行が不要と判定してもよい。
（表示ユーザインタフェース）

さらに、表示部において、更新されたバラ積みデータをリアルタイムに更新して、ユーザに視覚的にバラ積みデータの変化の状態を示すことも可能となる。特に表示部の表示内容の更新頻度を上げることで、バラ積みデータすなわちバラ積みされたワークモデル群がワークモデルの取り出しによって移動したり崩れる様子などを動画のように表示でき、ユーザに対してより視覚的に判り易い表示態様を提供できる。
（ワークモデルの数を一つ減らす手順）

ここで、上記図２５のステップＳ２５０９において、ワークモデルの数を一つ減らす手順の詳細を、図５９のフローチャートに基づいて説明する。

まずステップＳ５９０１において、ピッキング動作により取り出される対象となるワークモデルの、取り出し経路等の取り出しパラメータを設定する。取り出しパラメータとは、例えばどのワークを、どの位置で把持して、どの方向に、どのくらいの速度で取り出すか、ワークの特性（例えば反発係数）、等が挙げられる。

次にステップＳ５９０２において、物理シミュレーション部が起動しているか否かを判定し、起動している場合はステップＳ５９０４に進み、物理シミュレーション部を起動する。一方、起動していない場合は、ステップＳ５９０３に進んで、物理シミュレーション部を起動した上でステップＳ５９０４に進む。

ステップＳ５９０４においては、ワークモデルの取り出し動作を実行する。この段階で、ワークモデルの状態に応じて、物理シミュレーションの再実行の有無を判定させてもよい。例えば上述の通り、ユーザに対し、物理シミュレーションの再実行の有無を選択させるように、表示部のユーザインターフェース画面上から促す。あるいは、取り出されるワークモデルが、他のワークモデルに接触していない場合は、物理シミュレーションの再実行をしないと判定する。

そして、物理シミュレーションの再実行がユーザにより指定されるなど、物理シミュレーションの再実行がなされた場合には、ステップＳ５９０５において、一定時間後の各ワークモデルの状態を確認する。すなわち、ワークモデルが取り出されることで、他のワークモデルが崩れたり滑ったり傾いたりといった何らかの移動が生じている場合には、その移動が終わって静止状態となるまでの間、待った上で、静止状態を表示させる。なお、このようなワークモデル群の動きは、表示部上でリアルタイムに表示させる他、非表示としてロボットシミュレーション装置で内部的に行わせてもよい。この場合は、演算により物理シミュレーション後の状態を生成するため、一定時間の経過を物理的にウェイトする必要は必ずしも必須でない。

次にステップＳ５９０６において、取り出し対象のワークモデルが他のワークモデルに干渉しないか否かを判定し、干渉する場合はステップＳ５９０４に戻って処理を繰り返し、干渉している場合は、ステップＳ５９０７に進み、取り出し対象であるワークモデルが取り出されたものとして、仮想作業空間から削除する。

さらにステップＳ５９０８において、一定時間後の各ワークモデルの状態を確認して、ステップＳ５９０９に進み、全てのワークモデルの位置及び姿勢が前回の確認時から変化していないか否かを判定し、変化が生じている場合はステップＳ５９０８に戻って処理を繰り返し、変化が生じていない場合は処理を終了する。このようにして、ピッキング動作シミュレーションにおいて、物理シミュレーションを必要なタイミング、範囲で再実行することにより、ワークが順次ピッキングされる度に生じ得る変化をも再現して、より正確なシミュレーション結果を得ることが可能となり、実運用時との乖離の少ない、適切な条件設定に寄与し得る。

なお、上記の例ではピッキング動作シミュレーションにおいて、ワークモデルを取り出すシミュレーションを行う例を説明したが、本発明はこの例に限らず、例えばワークモデルの取り出しシミュレーションを行わずに、取り出し対象のワークモデルを一つ削除し、削除後の状態を初期状態として物理シミュレーションを開始しても良い。この方法であれば、シミュレーションの処理を簡素化できる。また物理シミュレーションの再実行は、毎回行うのではなく、所定の回数毎に物理シミュレーションを行うようにしても良い。さらに、取り出し対象のワークモデルの近傍のワークモデルに関してのみ、物理シミュレーションを行うように、物理シミュレーションの範囲を制限してもよい。この設定は、例えば後述するシミュレーション環境設定部で行わせることができる。あるいは、取り出し対象のワークモデルの周囲の状況を確認し、このワークモデルが取り出される経路上に他のワークモデルがあるときのみ、物理シミュレーションを実行するようにしても良い。

このようにして、より実運用時に近い状態のピッキング動作シミュレーションをユーザに提供することが可能となる。また、ピッキング動作シミュレーションを用いた網羅的な機能を確認することもできる。例えば、ピッキング動作において、前回取り出されたワークモデルの周辺のワークモデルは、次回の取り出し対象としないといった技術が提供されている。この方法では、あるワークモデルを取り出した後に、位置や姿勢が変化していないと想定されるワークモデルについては、再撮像を実行しないでピッキング動作に移ることとしている。しかしながら、いずれかのワークモデルを取り出した後の状態を再度物理シミュレーションしないと、本来崩れるはずの場所も崩れない状態となっているため、その機能については正しく検証できない状態になってしまう。そこで、上述の通りワークモデルの取り出し後に再度物理シミュレーションを実行させることで、ワークモデルの動きによって動作の成否が変わる機能に対しても、検証を行うことができるようになる。

以上のようにして、バラ積みデータから順次ワークモデルを取り出すピッキング動作シミュレーションにおいて、いずれか一つのワークモデルがロボットにより取り出された後に、このワークモデルが取り出された後の状態のバラ積みされたワークモデル群に対して、重力の作用を適用する物理シミュレーションを適用して、バラ積みデータを更新することができる。これにより、いずれか一つのワークモデルが取り出されたことにより、取り出されたワークモデルに接触していた他のワークモデルが物理的に不自然な状態、例えば中に浮いたような状態になることを防止できる。
（ワークモデルのバラ積み画像の生成）

ここで上記図２５のステップＳ２５０２における、物理シミュレーションによって得られるワークモデルのバラ積み画像の生成について詳述する。図２６に示した物理シミュレーションにより得られた、複数個のワークモデルが積み上げられた位置姿勢データを元に、三次元のバラ積みデータ（３Ｄ計測データ）が生成される。ステップＳ２５０２では、このバラ積みデータから、バラ積み画像として高さ画像を生成する。高さ画像とは、画像を構成する各画素値に、高さの値が格納されている画像である。典型的には、高さを輝度値で表現した画像である。高さ画像の生成方法については、上述した通りＺバッファ法が好適に利用できる。
（無効画素）

このようにして高さ画像を生成した後、同時に作成しておいた法線画像を参照して、面が一定以上傾いている画素を無効画素化する。この高さ画像と法線画像とは、各画素が一対一で対応している。なお、無効画素とは、三次元計測することができなかった箇所を示す画素である。例えば、画素値が０になっておれば、当該画素を無効画素と判断できる。

例えば、センサ部を構成するプロジェクタとカメラの両方で見えていない部位すなわち画素を無効画素とする。なお、画素の無効化については、一定の閾値を基準として一律に無効化する他、角度範囲に応じて重み付けをしてもよい。

以上の構成により、実運用時の三次元計測の可否を考慮した正確なバラ積みデータを構築できる。金属ワーク等の鏡面反射の強いワークは、面が一定以上傾くと、センサ部を構成するプロジェクタからの投影パターンが反射しなくなるため、三次元計測ができなくなる。従来のピッキング動作シミュレーションでは、この点が考慮されておらず、すべてのワークの三次元形状が計測されるものとの前提でシミュレーションが行われていたため、実運用時との齟齬や乖離が生じていた。例えば物理シミュレーションの結果、図６０Ａに示すようなバラ積みデータが得られた状態で、ワークモデルＷＭの各面の傾斜などを考慮することなく単純に高さ画像としたバラ積み画像では、図６０Ｂの平面図や図６０Ｃの点群表示画像に示すようになる。このバラ積み画像では、実運用時には三次元計測できない急峻な傾斜面も計測できる結果となってしまっている。

これに対し本実施形態によれば、バラ積みデータをそのまま利用するのでなく、ピッキング動作シミュレーション上でワークの三次元形状の計測の可否状態を再現したシミュレーション用データを生成することができる。この結果、図６０Ａのバラ積みデータから、図６０Ｄの平面図や図６０Ｅの斜視図に示すような、急な斜面は三次元計測できない無効画素として表示された、より実運用時に近いバラ積み画像を生成することができる。これにより、ピッキング動作シミュレーションを実運用時と近付けて、より正確なシミュレーションに基づき、事前の設定作業を行うことが可能となる。

以上のように、ＣＡＤデータがあれば、実際のワークを用意したりバラ積みさせたりしなくても、実運用に近い状態で、効率的に検証することができるようになる。ただ、実際のワークを用意してバラ積みした状態でピッキング動作シミュレーションを行うことも可能である。
（角度閾値）

次に、ワークモデルを構成する面の傾斜角度の閾値を設定する手順について説明する。ここで、図６のセンサ部２を用いて、鏡面反射の弱いワークＷＫ４の三次元形状を取得可能な角度範囲を図６１Ａに、鏡面反射の強いワークＷＫ５の三次元形状を取得可能な角度範囲を図６１Ｂに、それぞれ示す。これらの図に示すように、ワークを構成する材質が、樹脂等のような、鏡面反射が弱い、いいかえると拡散反射の強い場合と、金属等のような、鏡面反射が強い、いいかえると拡散反射の弱い場合とでは、計測可能な角度範囲に違いが生じる。すなわち、鏡面反射が強いと、プロジェクタの投影パターンがワークの表面で反射され難くなり、面が少し傾くと計測不可となる。図６１Ａに示す樹脂製のワークＷＫ４では、センサ部２からワークに下ろした鉛直面から７５°の範囲までの傾斜面であれば計測可能となっている。一方図６１Ｂに示す金属製のワークＷＫ５では、鉛直面から４５°の範囲までの傾斜面であれば計測可能となっている。なお角度閾値は、上述の通り鉛直方向からの傾斜角度として表現する他、カメラとプロジェクタの傾斜角度で表現してもよい。

そこで本実施形態では、水平面に対し何度の傾斜面まで計測できるかを示す角度閾値を設定可能とすることができる。角度閾値を、対象となるワークの材質に応じて、調整できるようにすることで、ワークに応じた適切なピッキング動作シミュレーションが実現される。
（検出用設定部５０）

このような角度閾値は、上述した図２４の検出用設定部５０から行うように構成できる。検出用設定部５０で行われた角度閾値の設定に基づいて、領域推定部２２は、センサモデル設定部１５で設定されたセンサモデルの仮想的な三次元測定光源から延長された測定軸に対して、予め定めた角度閾値以上の傾斜角度を有する領域を、三次元計測が困難な領域として推定する。

角度閾値は、予め定めた固定値としてもよい。あるいは、角度閾値を、表面状態パラメータ設定部１２で設定された表面状態パラメータによって変化させてもよい。さらにセンサ部で実測した三次元計測データに基づいて、角度閾値を変化させてもよい。

上述の通り角度閾値は、対象となるワークに応じて設定できる。例えば、樹脂製のワークを想定し、７５°の傾斜面まで計測可能として角度閾値を設定した場合に得られるバラ積み画像の例を図６２Ａに、その要部拡大図として樹脂製ワークモデルＷＭ４を示す拡大図を図６２Ｂに、それぞれ示す。また金属製のワークを想定し、４５°の傾斜面まで計測可能として角度閾値を設定した場合に得られるバラ積み画像の例を図６２Ｃに、その内の金属製ワークモデルＷＭ５を拡大した要部拡大図を図６２Ｄに、それぞれ示す。これらの図に示すように、樹脂製のワークに対して金属製のワークは計測できる部分が限られることから、ピッキング動作シミュレーションの対象が金属製ワークである場合に、この限られた形状特徴でも、ワークの位置及び姿勢を正しく検出できるか否かを、事前に検証することができる。

また、角度閾値によって、計測できる／できないを単純に２値化的に決定するのではなく、乱数を用いて確率的に決定することもできる。ここで、実運用時の計測では、表面状態が一様ではないため、計測できる／できないの境目が綺麗に境界になるわけではない。この結果、無効画素へのなり易さ、なり難さが確率的に変わるような形になる。そのため、乱数を用いて、傾斜角度が小さいところは、除外する確率を下げ、傾斜角度が大きいところは、除外する確率を上げるようにする。このように乱数によって確率的に決定することで、より実際の計測に近い状態を実現できる。

このようにロボットシミュレーション装置によれば、ピッキング動作シミュレーションにおいて、実運用時の計測結果に近い状態の画像を用いて、設定パラメータの調整や最適化が可能となる。例えば、ピッキング動作シミュレーションの結果、ワークの検出自体が難しいことが判明した場合には、対策としてワークの搬送方法や積み方を改善する必要があるなどを講じることができるようになる。このようにして、実際にワークを準備したり、センサ部を設置することなく、事前に順当な対応策を検証できるようになる。
（カメラの位置に基づく困難領域の排除）
（実施形態１２）

また、領域推定部で困難領域を推定する方法は、上述した面の傾斜角度に限られず、センサ部のカメラの位置に基づいて決定することもできる。このようなロボットシミュレーション方法を、実施形態１２として以下説明する。

上述した通り、バラ積みピッキングのシミュレーションにおける、シミュレーション用データの生成に際して、ワークの三次元のＣＡＤモデルと、このＣＡＤモデルをワークモデルとしてバラ積みしたときの各ワークモデルの位置及び姿勢のデータがあれば、上述したＺバッファ法等を利用して、上から見たときの仮想的な画像、すなわちバラ積み画像を生成できる。

しかしながら、Ｚバッファ法では上から見えるデータはすべて描画される。この結果、周囲にワークモデルが積まれていても、上から見たときに見えている限りは描画されてしまう。例えば図６３のバラ積み画像に示す例を考える。ここで三次元計測を行うセンサ部が、例えばＴＯＦ方式を用いたＴＯＦセンサの場合は、実際もこのような画像になる。しかしながら、図６４に示すようなパターンプロジェクション方式のように、投影位置と撮像位置が異なる場合は、両方の位置から見えることが計測できる条件になる。そのため、図６４のように、プロジェクタモデルＰＭからは見えても、カメラモデルＣＭＭから見えない位置にある奥まった部位は計測できないことになる。実運用時に近いピッキング動作シミュレーション結果を得るには、このような点は除去することが望ましい。

そこで実施形態１２においては、高さ画像を作成した後に、この高さ画像を構成する各画素で、カメラモデルから見えるかどうかを判定し、見えるものだけを残すようにする。例えば、図３等の領域推定部２２が、センサモデルで三次元計測を行う際の仮想的な三次元測定光源と、バラ積みデータを構成する各点とをそれぞれ結ぶ線分を仮想光軸として定義し、仮想光軸上に別のワークモデルの点が存在するか否かを判定する。そして別のワークモデルの点がある場合は、三次元計測が困難な点と推定し、このような三次元計測が困難な点の集合でもって推定領域を規定する。これにより、仮想光軸とワークモデルとの干渉の有無に基づいて、計測の困難さを推定することができ、もってシミュレーションの精度を高めることができる。

このような他のワークモデルにより死角となる領域の判定する具体的な手法として、三次元のバラ積みデータを構成する各点（ボクセル）において、この点とカメラモデルとを結ぶ線分を定義する。この線分上に、別のボクセル点がある場合は、カメラモデルからその点は見えないと判定する。

また図６に示したように、センサ部２にカメラが２つ以上ある場合は、少なくとも１つのカメラモデルから見えている点を残すようにする。例えば図６５Ａにおいては、カメラモデルＣＭＭからワークモデルＷＭが見えているので、有効なボクセルと扱う。一方、図６５Ｂに示すように、ワークモデルＷＭ６の一部が他のワークモデルＷＭ７に隠れてカメラモデルＣＭＭから見えない場合は無効なボクセルと扱う。また図６５Ｃに示すように複数のカメラモデルＣＭＭ２、ＣＭＭ３のいずれかでワークモデルＷＭが見えている場合は、有効なボクセルとして扱う。このようにすることで、奥まっていて実際には見えないような部位は、バラ積み画像上から除外して、実運用時に撮像した画像に近い画像を得ることで、正確なバラ積みシミュレーションを行える。
（実施形態１２に係るピッキング動作シミュレーションの手順）

ここで、実施形態１２に係るピッキング動作シミュレーションの手順を、図６６のフローチャートに基づいて説明する。上述した実施形態１に係る図２５のフローチャートと同じ動作については、詳細説明を適宜省略する。まず、ステップＳ６６０１において、シミュレーション環境を設定する。次にステップＳ６６０２において、ワークモデルのバラ積み画像を生成する。このワークモデルのバラ積み画像を生成する手順の詳細を、図６７のフローチャートを用いて説明する。
（実施形態１２に係るバラ積み画像の生成手順）

まずステップＳ６７０１において、乱数に基づいてワークモデルの姿勢、投下位置を設定する。次にステップＳ６７０２において、ワークモデルを投下させて物理シミュレーションを実施する。さらにステップＳ６７０３において、指定された数のワークモデルが投下されたか否かを判定し、未だの場合はステップＳ６７０１に戻って処理を繰り返す。そして、指定された数のワークモデルが投下されたと判定すると、ステップＳ６７０４に進み、各ワークモデルの位置、姿勢に基づいて、ワークモデルのバラ積み画像を生成する。ここでは、三次元のバラ積みデータから高さ画像を生成する。
（バラ積み画像の生成手順）

ここで、ステップＳ６７０４においてバラ積み画像を生成する手順の詳細を、図６８のフローチャートに基づいて説明する。まずステップＳ６８０１において、バラ積みデータを、ＣＡＤデータを登録された位置及び姿勢に変換する。次にステップＳ６８０２において、これをＺバッファ法で高さ画像に描画し直す。そしてステップＳ６８０３において、すべてのワークモデルを描画したかを判定し、未だの場合はステップＳ６８０１に戻って処理を繰り返す。この結果、すべてのワークモデルの描画を終えた場合はステップＳ６８０４に進む。

ステップＳ６８０４では、高さ画像の１点とカメラモデルとを結ぶ直線を計算する。ここでは、三次元の仮想作業空間内におけるカメラモデルの位置は、事前に定義されているものとする。その上で、図６９に示すようにワークモデルＷＭの高さ画像の各画素で各カメラモデルＣＭＭと結ぶ直線式を計算する。例えば次式で近似する。

ａｘ＋ｂｙ＋ｃｚ＝ｄ

そしてステップＳ６８０５において、図７０に示すように、カメラモデルＣＭＭと結ぶ直線上に障害物、ここでは別のワークモデルＷＭが存在するかをチェックする。具体的な方法としては、高さ画像上での二次元線に変換する。その線上の高さ画像の各点と、その位置で線上のＺ値を計算し、高さ画像の点のほうが高い位置にある場合は、カメラモデルから見えないと判断する。

さらにステップＳ６８０６において、すべてのカメラモデルから見えない点を除去する。さらにステップＳ６８０７において、すべての画素で実施したか否かを判定し、未だの場合はステップＳ６８０４に戻って処理を繰り返す。そして、すべての画素で実施したと判定されると、処理を終了する。

このようにして図６８、図６７の手順を経て、図６６のステップＳ６６０２でバラ積み画像が得られると、次にステップＳ６６０３において、各ワークモデルの位置と姿勢の検出を試みる。さらにステップＳ６６０４において、各ワークモデルの位置と姿勢が検出できたか否かを判定し、検出できる場合はステップＳ６６０５に進み、検出できない場合はステップＳ６６０９にジャンプして、残ったワークモデルに関する情報を抽出した後、処理を終了する。

ワークモデルの位置と姿勢が検出できた場合は、ステップＳ６６０５において、エンドエフェクタモデルと周辺データとの干渉判定を行い、把持解の算出を試みる。そしてステップＳ６６０６において、把持解を算出できたか否かを判定し、算出できた場合はステップＳ６６０７に進み、算出できない場合はステップＳ６６０９にジャンプして、残ったワークモデルに関する情報を抽出した後、処理を終了する。

把持解を算出できた場合はステップＳ６６０７において、ワークモデルの数を一つ減らす。そしてステップＳ６６０８において、未処理のワークモデルが残っているか否かを判定し、残っている場合はステップＳ６６０２に戻って処理を繰り返し、残っていない場合はステップＳ６６０９に進む。ステップＳ６６０９においては、残ったワークモデルに関する情報を抽出する。

このようにして、ピッキング動作シミュレーションがピッキング動作シミュレート部によって実行される。このようにして、カメラを用いたセンサ部でワークの三次元形状を測定できない測定困難領域を、より正確に推定することが可能となる。

なお、以上の例では、カメラ側から見えるか否かで無効画素を判定したが、カメラだけではなくプロジェクタの位置も定義し、プロジェクタから照射されるパターンが投影され、かつカメラの何れかから見えるという条件に設定することもできる。パターンプロジェクションなどの計測をより正確に模擬するには上記の方が望ましい。簡易的に似たような効果を得るには、計測された三次元点群の内、周りの点よりも一定以上低い点は消すなどして、同様の効果を得てシミュレーションすることもできる。

以上のようにロボットシミュレーション装置によれば、現実にセンサ部を配置したりワークを積み上げる等の準備をしなくとも、バラ積みワークを撮像した状態に近い状態を仮想的に構築して、シミュレーションを事前に行うことが可能となる。特に実運用時に三次元計測ができない領域を考慮したシミュレーションを行うことで、シミュレーションと実運用時の乖離を低減でき、信頼性の高いシミュレーションが可能となる。
（実施形態１３）

以上の例では、仮想的なバラ積みデータに基づいて角度閾値を設定する例を説明した。ただ本発明はこの構成に限らず、実際にワークをバラ積みした状態をセンサ部で測定した結果に基づいて、角度閾値を設定することもできる。この場合は、ワークを無作為にバラ積みしたワーク群に対して、実際にセンサ部で三次元計測を行う。このため、画像処理部であるロボットシミュレーション装置に、センサ部を接続する。

このようなロボットシミュレーション装置の詳細を、実施形態１３として図７１のブロック図に基づいて説明する。この図に示すロボットシミュレーション装置５００は、センサ部２と、計測データ記憶部５２と、角度閾値決定部５４と、ワークモデル設定部１１と、物理シミュレーション部６０と、バラ積みデータ生成部２０と、シミュレーション用データ生成部４０と、ピッキング動作シミュレート部３０とを備えている。実施形態１３においても、上述した実施形態１等と同じ部材については、同一の符号を付して詳細説明を適宜省略する。

計測データ記憶部５２は、積み上げられた複数の異なる姿勢のワークを、センサ部２により三次元計測した、センサ部２の測定軸に対する傾斜角度の情報を各位置毎に有する三次元計測データを記憶するための部材である。このような計測データ記憶部５２は、ハードディスクのような固定記憶媒体、半導体メモリやその他の可搬メディア等が利用できる。

角度閾値決定部５４は、計測データ記憶部５２に記憶された複数のワークの三次元計測データを構成する各点の、センサ部２の測定軸に対する傾斜角度情報に基づいて、三次元計測の可否を判定する基準となる角度閾値を決定するための部材である。なおセンサ部２の測定軸とは、センサ部２が三次元計測を行うための三次元測定光源が発する測定光の光軸である。またセンサ部２の測定軸は、鉛直方向等、所定の方向としてもよい。

図７１に示す領域推定部は、バラ積みデータ生成部２０で生成されたバラ積みデータ内の各ワークモデルを構成する各点の仮想傾斜角度と、角度閾値決定部５４で決定された角度閾値とを比較し、該角度閾値よりも大きな仮想傾斜角度を有する点を、計測困難と推定される推定領域として特定する。これにより、現実にセンサ部２で計測したワークの傾斜角度に基づいて定めた角度閾値を基準として、測定困難と推定されるデータを予め排除した上でシミュレーション用データを取得できるため、より精度の高いピッキング動作のシミュレーションが可能となる。

また実施形態１３に係るロボットシミュレーション装置５００は、表示部３を備えてもよい。この表示部３は、計測データ記憶部５２に記憶された複数のワークの三次元計測データを構成する各点の、センサ部２の測定軸に対する傾斜角度情報に基づいて、各点の傾斜角度を累積した分布を示す角度分布ヒストグラムを表示可能としている。

ここで、実測データに基づいて三次元計測可能なワークモデルの姿勢を決定する方法について説明する。センサ部によってバラ積みされたワーク群の三次元計測できるか否かを判定する際には、上述の通り予め設定された角度閾値を参照する。しかしながら、角度閾値はワークによって異なる。例えば、相対的に計測し易い樹脂製のワークは、表面が傾斜していても計測できる。しかし、光沢の強い金属製のワークでは計測できない。そのため、対象となるワークに応じて角度閾値を調整することが望ましい。しかしながら、その設定は容易でなく、設定された値によっては望む結果を得ることができなくなる。

そこで実施形態１３においては、実際にワークを三次元計測した三次元計測データに基づいて、最適な角度閾値を決定する。具体的には、角度閾値決定部５４でもって、実際にバラ積みされたワーク群を撮像した画像の、各画素に対して表面傾きを計算し、全体の角度分布を測定する。この角度分布を使って、どの程度表面が傾いても計測できるワークであるかを判定し、最適な閾値を決定する。この方法であれば、ワークの材質や表面状態のばらつき、用いられるセンサとの相性や湿度、気温等による変動等によらず、実際に計測した三次元計測データに基づいて、角度閾値を決定できるため、信頼性の高い角度閾値の選択が可能となる。
（角度分布ヒストグラム）

ワークの三次元計測データを構成する各点の傾斜角度を累積した分布を示す角度分布ヒストグラムは、例えば角度閾値決定部５４で行われる。あるいは、センサ部に角度閾値決定部や計測データ記憶部を統合してもよい。

一例として、図７２に示すようなバラ積みされたワーク群を実際に三次元計測した高さ画像から、角度分布ヒストグラムを図７３、図７４にそれぞれ示す。図７３は樹脂製のワークの角度分布ヒストグラムを、図７４は金属製のワークの角度分布ヒストグラムを、それぞれ示している。樹脂製のワークは表面が乱反射するため、表面とセンサ測定軸との傾斜がある程度大きくても三次元形状を測定できる。そのため図２７に示すように広い角度範囲に計測された点が分布している。一方、金属製のワークは正反射成分が大きいため、表面とセンサ測定軸との傾斜が大きくなると測定できなくなってしまう。よって図２８のように傾斜角度が小さい領域に分布が固まっている。このような角度分布ヒストグラムは、表示部３の、例えば角度分布ヒストグラム表示領域に表示させる。角度分布ヒストグラム表示領域は、例えばロボットシミュレーション装置であるコンピュータにインストールされた、ロボットシミュレーションプログラムのＧＵＩで実現される。

このようにして表示された角度分布ヒストグラムから、どのくらいの角度範囲において三次元計測結果が得られているかどうかを判断することができる。ユーザは、表示部上に表示された角度分布ヒストグラムから、多くの点すなわち画素で三次元測定がなされている角度範囲を数値で、あるいは画面上から直接指定して、角度閾値を手動で設定できる。例えば図７３、図７４の例では、いずれも８０％以上の画素が含まれる角度範囲として、樹脂製のワークの場合６０°、金属製のワークの場合３５°を指定している。

また、角度閾値の設定は、ユーザが手動で行う他、ロボットシミュレーション装置側で自動的に設定するように構成してもよい。例えば、角度閾値決定部でもって、画素の８０％以上で三次元測定可能な角度を角度閾値として、自動的に演算する。この場合、角度分布ヒストグラムの表示は任意であり、表示させずに内部的に演算してもよい。すなわち、角度分布の情報が得られれば、ヒストグラム状に表示させることは必須でない。また、自動的に演算された角度閾値を表示部上に表示させてもよい。この際、角度分布ヒストグラムに対し、角度閾値を満たす範囲をハイライトさせて表示させてもよい。

実施形態１３に係るロボットシミュレーション装置５００を用いたピッキング動作シミュレーションは、上述した図６７、図６８と同様の方法で行われる。角度閾値の設定は、例えば図６７のステップＳ６７０１のシミュレーション環境の設定時に行う。ここで、シミュレーション環境の設定手順を、図７５のフローチャートに基づいて説明する。
（実施形態１３に係るシミュレーション環境の設定手順）

まずステップＳ７５０１において、バラ積み状態のワーク群の三次元形状をセンサ部で計測する。これによって、図７６に示すような高さ情報を有する高さ画像が得られる。この例では、パターンプロジェクション方式で三次元計測を行っているが、他の方法、例えばステレオ計測やＴＯＦなどを利用することもできる。

次にステップＳ７５０２において、撮像された三次元の高さ画像を構成する画素毎に、傾き情報を生成する。ここでは、高さ画像に対して微分処理を行うことで、法線マップを作成できる。この法線のＺ成分から、各点の傾きを計算する。各点の傾きは、次式で表現できる。

θ＝ａｃｏｓＮｚ（Ｎｚ：法線のＺ成分）

そしてステップＳ７５０３において、傾き情報の分布を示す角度分布を演算する。ここでは、選択した範囲内の傾き分布を作成する。ここで高さ画像中に含まれる床面を演算に含めると、傾き０の割合が増えてしまう。そこで、このような領域を排除するようマスク処理を行うことが好ましい。例えば、一定以下の高さは無視する。また、無効画素の近傍では、法線の情報が不安定になりやすいため、これも無視してもよい。

最後にステップＳ７５０４において、演算された角度分布から、ピッキング動作シミュレーションに用いる角度閾値を決定する。例えば、累積分布が８０％以上になる角度を、計測できる角度の閾値とする。このようにして、ピッキング動作シミュレーションの環境設定の１つとして、角度閾値を決定できる。

なお、以上の例ではバラ積みされたワーク群を１回撮像した結果から角度分布を作成しているが、本発明はこの構成に限られない。例えば、ワーク群を複数回撮像した結果から分布を作成してもよい。例えば複数回の撮像で得られた高さ画像の平均から、角度分布を作成することで、散発的なノイズの影響等を低減して安定度を向上させることができる。

このように実施形態１３によれば、バラ積みピッキングのシミュレーションを行う際に、ワークの位置及び姿勢を既知としてシミュレーションしない。これに代えて、センサ部での撮像を模した画像を作成し、この模擬画像に対して三次元サーチ処理を行って、ワークの位置及び姿勢を得る。これによって得られた位置及び姿勢を使ってシミュレーションを行う。これにより、仮想的に得たワークの位置及び姿勢でなく、実際のワークの位置及び姿勢に応じた、より実際に近いシミュレーション結果を得ることができる。

なお、さらに実際に近い模擬画像を得るために、ワークの表面のすべてを三次元計測可能とせず、ワークの表面の角度によって計測可能か否かを判断し、計測できない場合は模擬画像からデータを削除してもよい。例えば上述した実施形態１のように、領域推定部でもって無効画素をバラ積みデータから除去する。具体的には、図７１に示す計測データ記憶部５２に記憶された複数のワークの三次元計測データを構成する各点の、センサ部２の測定軸に対する傾斜角度情報に基づいて、三次元計測の信頼性が低い点を無効画素として除去する。そして無効画素を除去したデータに基づいて、角度閾値決定部５４で角度分布を演算する。

このようにして、実施形態１３に係るロボットシミュレーション装置５００によれば、撮像シミュレーションを行う際の最適な角度閾値を実測データに基づいて決定でき、より実際に近いバラ積みシミュレーションを行える。
（実施形態１４）

以上の例では、バラ積み状態のワーク群をセンサ部で実際に撮像した高さ画像のヒストグラム等に基づいて角度閾値を決定する例を説明した。さらに本発明は、実際に撮像した画像に対して三次元サーチを行い、このサーチ結果を用いて、計測できる角度範囲を決定することもできる。このような例を実施形態１４として、図７７Ａ、図７７Ｂに基づいて説明する。図７７Ａは、実際にバラ積み状態のワーク群を三次元計測して得られた点群データである三次元計測データのプロファイル、図７７Ｂは、これにサーチ結果を重ね合わせた状態を、それぞれ示している。ここでは、三次元サーチ結果をもとに、サーチモデルとして用いたワークモデルの面上の各点を、図７７Ｂに示すように計測データ上に配置する。そして各面上の点において、対応する計測データがあるかどうかをチェックし、計測できる角度範囲を決定する。図７７Ａでは、プロファイルの凸状部分が計測可能な領域、両側の平坦部分が計測不可能領域を示している。これに対して、同種のワークに対応するワークモデルでもって三次元サーチを行う。例えば円柱状のワークモデルで三次元サーチしたとすると、図７７Ｂに示すように、合致した部分、図において左側の三点は計測可能と判定し、合致していない部分、図７７Ｂにおいて右側の二点は、計測不可能と判定する。

このような実施形態１４に係るロボットシミュレーション装置を用いたピッキング動作シミュレーションの手順やバラ積み画像の生成手順は、上述した図６６や図６７と同様の手順が利用できるので、詳細説明を省略する。三次元サーチのサーチ結果を用いた角度閾値の設定は、例えば図６７のステップＳ６７０１のシミュレーション環境の設定時に行う。ここで、シミュレーション環境の設定手順を、図７８のフローチャートに基づいて説明する。

まずステップＳ７８０１において、三次元サーチ用のサーチモデルの登録を行う。ここでサーチモデルは、上述の通りワークモデル、ここでは三次元のＣＡＤデータを用いて登録できる。あるいは、センサ部で実際に撮像した高さ画像を用いて登録してもよい。また登録時に、サーチモデル上の各点において面の傾きを示す法線情報を保存しておく。

次にステップＳ７８０２において、実際のワークのバラ積み状態を作り、三次元計測を行う。ここでは投影法で三次元計測を行い、点群データを取得しているが（図７７Ａ）、これに限らずステレオ計測やＴＯＦなど、他の方法を用いてもよい。

次にステップＳ７８０３において、得られた点群データに対してサーチモデルを用いて三次元サーチを行い、各ワークの位置及び姿勢を決定する（図７７Ｂ）。

そしてステップＳ７８０４において、サーチモデルの各点において対応する計測点が存在するか否かを確認する。ここでは三次元サーチの結果、決定されたワークの位置及び姿勢を用いて、サーチモデル上の点を三次元空間に配置する。この配置した点の近傍に三次元計測データが存在する場合は、当該点は計測ができているものと判定する（図７７Ｂ）。

最後にステップＳ７８０５において、計測点が存在する点の傾き範囲に基づいて、角度閾値を決定する。ここでは三次元サーチで得られたサーチモデルの位置及び姿勢を用いて、計測できたワーク上の点の法線を、三次元空間に配置する。そして、この法線の傾きを計算する。このようにして計測できた点の法線角度範囲を集計することで、ワークが計測できる表面傾きの閾値を、角度閾値決定部でもって決定する。このようにして、三次元サーチの結果に基づいて、角度閾値を決定することができる。

なお、三次元サーチで用いるサーチモデルを構成する各点に法線情報を持たせることで、三次元サーチの結果位置及び姿勢が得られたサーチモデルと重ねたワークの実測値である点群データに傾き情報が得られていなくても、サーチモデル側の傾き情報を利用することができる。例えば図３１Ｂにおいて、点で示す位置の傾き情報としてサーチモデル側の情報を利用することで、実測値が得られていない点（例えば計測不可とされた点）の情報を補うことが可能となる。この際、点群データの内、実測値が得られた点についても、サーチモデル側の傾き情報を利用してもよい。
（原因解析部２４）

またロボットシミュレーション装置は、ピッキング動作シミュレート部３０によるピッキング動作シミュレーションの結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、このワークモデルの取り出し失敗原因を解析する原因解析機能を備えることもできる。例えば図４に示した実施形態１Ｂに係るロボットシミュレーション装置は、原因解析部２４を備える。原因解析部２４は、ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析し、表示部に表示させる。これにより、取り出しが不可能となった取り出し失敗原因を提示させることで、ユーザはパラメータ等をどのように修正すればよいかの対策を講じ易くなり、バラ積みピッキング動作をシミュレーションしながら、適切な設定に調整する作業を行うことが容易となる。ここで複数の原因候補としては、例えばワークモデルの検出ができていない、エンドエフェクタモデルが周辺データと干渉している、エンドエフェクタモデルを接続したロボットアームの動作範囲外等が挙げられる。

上述したバラ積みのピッキング動作シミュレーションでは、シミュレーションの結果、ワークがとり切れずに残ってしまうことがある。残ってしまったワークを把持できるようにするためには、ユーザ側で設定の修正作業が必要となる。しかしながら、残った理由によって修正すべき設定内容は異なる。

例えば、三次元サーチに失敗してワークが残ってしまったのであれば、三次元サーチの設定を修正する必要がある。また、三次元サーチは成功しワークモデルの位置は把握できたものの、エンドエフェクタモデルが周辺データと干渉しない把持解が見つからなかった場合は、把持位置の追加やエンドエフェクタ形状の修正などが必要になる。あるいは、把持動作自体は干渉しないものの、ロボットの動作範囲外となってしまう場合は、ロボットの位置を変えたり、より可動範囲の広いロボットに変更するといった修正案が考えられる。

このように、ピッキング動作シミュレーションの結果、ＮＧとなった原因によって修正方法が異なる。しかしながら、従来は単にピッキング動作シミュレーションの結果がＮＧと示されるだけで、ユーザ側においてはどのように修正すればよいのかが判らなかった。

そこで本実施形態においては、取り出しできないワークモデルが残ってしまった場合に、それらのワークモデルを取り出しできなかった原因が判るようにしている。一例として、図８０に示す原因解析結果表示画面１３０のように、ピッキング動作シミュレーションの結果、把持に失敗した原因を示している。ここでは原因解析部２４でワークモデルの取り出しに失敗した失敗原因を、失敗原因毎に、かつワークモデル毎に色分けして着色して表示している。一例として、青色で示すワークは三次元サーチの結果、検出できていないワークモデル、赤色で示すワークは、三次元サーチで検出できたが、エンドエフェクタモデルが周辺データと干渉しない把持解がないワークモデル、黄色で示すワークモデルは、干渉しない把持解があるものの、ロボットの動作範囲外となって利用できないワークモデルを、それぞれ示している。このように、取り出し失敗の原因が色分けによって視覚的に一目で判るので、ユーザはどの設定を修正したらよいのかを判断し易くなる。
（原因解析機能を含めたピッキング動作シミュレーションの手順）

ここで、原因解析機能を含めたピッキング動作シミュレーションの手順について、図８１のフローチャートに基づいて説明する。なお上述した図６６等のフローチャートと同じ手順については、詳細説明を適宜省略する。まず、ステップＳ８１０１において、シミュレーション環境を設定する。次にステップＳ８１０２において、ワークモデルのバラ積み状態を生成し、さらにステップＳ８１０３において、各ワークモデルのバラ積み画像を生成する。さらにステップＳ８１０４において、各ワークモデルの位置と姿勢の検出を試みる。さらにステップＳ８１０５において、各ワークモデルの位置と姿勢が検出できたか否かを判定し、検出できる場合はステップＳ８１０６に進み、検出できない場合はステップＳ８１０９にジャンプする。

ワークモデルの位置と姿勢が検出できた場合は、ステップＳ８１０６において、エンドエフェクタモデルと周辺データとの干渉判定を行い、把持解の算出を試みる。そしてステップＳ８１０７において、把持解を算出できたか否かを判定し、算出できた場合はステップＳ８１０８に進み、算出できない場合はステップＳ８１０９にジャンプする。把持解を算出できた場合はステップＳ８１０８において、ワークモデルの数を一つ減らし、ステップＳ８１０３に戻って上記の処理を繰り返す。

一方、ステップＳ８１０９においては、未処理のワークモデルが残っているか否かを判定し、残っていない場合は処理を終了する。残っている場合はステップＳ８１１０に進み、残っているワークモデルの情報を表示する。すなわち、原因解析機能により、各ワークモデルに対して、図８０等に示すように失敗原因毎に色分けして表示部の原因解析結果表示画面１３０に表示させる。最後にステップＳ８１１１において、ユーザは失敗原因に応じてシミュレーション環境の修正を行う。

このようにして、ピッキング動作シミュレーションを実行させつつ、取り出し失敗となったワークモデルに対してユーザが対応するパラメータの調整を行い易くできる。
（原因解析機能の詳細）

ここで、原因解析部２４が失敗原因を解析する手順の一例について説明する。まず、複数のワークモデルのバラ積み状態を生成する際に、各ワークモデルに対し、フラグ１、２を用意しておく。ここでフラグ１は、三次元サーチができたか否かを示す。またフラグ２は、エンドエフェクタモデルの周辺データと干渉しない把持解があるか否かを示す。

そしてピッキング動作シミュレーションにおいて三次元サーチを実行する毎に、各ワークモデルのフラグ１を更新する。さらに、把持解を算出する毎にフラグ２を更新する。そして原因解析結果表示画面１３０において、取り出し失敗で残ってしまったワークモデルを表示する際に、これらのフラグ１、２を参照して、その結果に応じて色分けして表示させる。これによりユーザは、この原因解析表示を見て、必要な環境設定を変更し、すべてのワークモデルがとり切れるように設定を変更していく。
（三次元サーチ設定画面１４０）

ここで設定の変更の例を示すと、例えば三次元サーチで検出できていないワークモデルが多い（青色のワークモデルが多い）場合は、対応策として撮像設定を変更したり、三次元サーチの設定を変更することが挙げられる。三次元サーチの設定の変更は、例えば図８２に示す三次元サーチ設定画面１４０において行う。この三次元サーチ設定画面１４０では、図において左側の画像表示領域１４１に三次元サーチを行うために登録されたサーチモデルＳＨＭを示し、右側の設定領域１４２において、検出閾値１４３（一致度）や、三次元サーチ精度１４４（速度優先か、制度優先か）、姿勢制限１４５等の設定欄が設けられる。なお姿勢制限とは、サーチモデルＳＨＭの形状に応じて、例えば基準姿勢からの傾斜角度や回転角度を何度まで許容して検出するか等で指定できる。ユーザは、この三次元サーチ設定画面１４０から三次元サーチの各パラメータを調整する。

あるいは、ワークモデルの取り出し失敗原因が、三次元サーチでワークモデルを検出不可能であった場合、ワークを撮像するセンサ部の撮像又は投影の設定の変更をユーザに促すように誘導してもよい。
（干渉確認画面１５０）

また、把持解が干渉しているワークモデルが多い（赤色のワークモデルが多い）場合は、把持解を追加する、エンドエフェクタの形状を修正する等の対応が考えられる。エンドエフェクタモデルと周辺データとの干渉位置の確認は、例えば図８３に示す干渉確認画面１５０から行う。この干渉確認画面１５０では、左側の画像表示領域１４１にバラ積み画像と登録したエンドエフェクタモデルＥＥＭを三次元状に示している。また右側の設定領域１４２において、検出されたワークモデルの選択欄１５３や、選択されたワークモデルに対して複数の把持解がある場合に、表示させる把持解を切り替える把持解選択欄１５４が設けられるユーザは、この干渉確認画面１５０から干渉状態を確認して、対応を検討する。例えば干渉しない把持解が見つからなかった場合は、把持位置の追加が必要になる。この場合において、既存の把持位置でどのように干渉してしまっているのかを表示させることで、どのような把持位置を追加すればよいかを検討し易い利点が得られる。
（把持位置登録画面１６０）

また、把持位置の追加登録を行う把持位置登録画面１６０の例を、図８４に示す。この図に示す把持位置登録画面１６０は、左側の画像表示領域１４１にエンドエフェクタモデルＥＥＭとワークモデルを三次元状に表示させ、右側の設定領域１４２において、エンドエフェクタモデルＥＥＭの位置姿勢を指定する。ここでは、画像表示領域１４１に表示されたエンドエフェクタモデルＥＥＭの三次元空間座標位置を示すＸ、Ｙ、Ｚ座標１６３や、回転角度１６４を示すＲＸ、ＲＹ、ＲＺ等を設定領域１４２において示している。この状態で座標を数値で記入すると、指定された姿勢にエンドエフェクタモデルＥＥＭが移動するように画像表示領域１４１の表示内容が更新される。あるいは、画像表示領域にあるエンドエフェクタモデルを直接ドラッグするなどして位置や姿勢を変更すると、これに応じてＸ、Ｙ、Ｚ座標や、ＲＸ、ＲＹ、ＲＺ等の数値も更新されるようにしてもよい。

あるいは、ワークモデルの取り出し失敗原因が、ロボットが他のワークモデルや容器モデル、障害物モデル等と干渉することの場合に、仮想作業空間上におけるロボットのエンドエフェクタの形状の変更を促すようにユーザに提案するようにしてもよい。

あるいはまた、複数のワークモデルから共通して干渉が発生し難い領域を算出して、表示部上に提示するように構成してもよい。
（ロボットモデル位置修正画面１７０）

さらに、動作範囲外のワークモデルが多い（黄色のワークモデルが多い）場合は、ロボットを仮想的に表現したロボットモデルの位置を変える、可動範囲の広いロボットモデルに変更する等の対応が考えられる。例えば、ロボットアームを模したロボットモデルＲＢＭ、収納容器を模した収納容器モデルＢＸＭ、カメラ部を模したカメラモデルＣＭＭ４との位置関係を、図８５に示すロボットモデル位置修正画面１７０において修正する。この図に示すロボットモデル位置修正画面１７０は、左側の画像表示領域１４１にロボットモデルＲＢＭ、収納容器モデルＢＸＭ、カメラモデルＣＭＭ４を三次元状に表示させ、右側の設定領域１４２において、これらロボットモデルＲＢＭ、収納容器モデルＢＸＭ、カメラモデルＣＭＭ４の位置や姿勢を指定する。ここでは、画像表示領域１４１に表示されたロボットモデルＲＢＭ、収納容器モデルＢＸＭ、カメラモデルＣＭＭ４の三次元空間座標位置を示すＸ、Ｙ、Ｚ座標１７３をそれぞれ、設定領域１４２において示している。図８４と同様に、この状態で座標を数値で記入すると、指定された姿勢にロボットモデル、収納容器モデル、カメラモデルＣＭＭ４等が移動するように画像表示領域１４１の表示内容が更新される。あるいは、画像表示領域にあるロボットモデル、収納容器モデル、カメラモデルを直接ドラッグするなどして位置を変更すると、これに応じてＸ、Ｙ、Ｚ座標の数値も更新されるようにしてもよい。また図８４と同様に、回転角度を示すＲＸ、ＲＹ、ＲＺ等を追加してもよい。
（把持位置候補の追加）

以上の例では、原因解析部２４がワークモデル側に原因解析表示を付加する構成について説明した。ただ本発明は、原因解析機能をこの構成に限定せず、例えばエンドエフェクタモデルやロボットモデル側に原因解析表示を付加することもできる。上述の通り、エンドエフェクタモデルと周辺データが干渉しない把持解がない場合には、把持位置の候補を編集、追加、もしくはエンドエフェクタの形状を変える必要がある。しかしながら、どのような把持位置の候補があり、それがどのように周辺と干渉していたのかが判らなければ、適切な把持解を編集、追加することは困難となる。また、干渉していなくとも、把持解の位置姿勢がロボットの動作範囲を超えている場合には、その位置姿勢で把持することはできない。この場合は、上記の把持位置候補の追加以外に、ロボットの位置を変更するという解決策もある。このように、取り出し失敗原因によって解決策が変わってくるため、最適な把持登録を探す作業は難易度が高いといえる。

そこで本実施形態においては、把持可能な把持解のみならず、干渉判定やロボットの可動範囲のチェックで失敗となった解も含めて表示できるようにして、各失敗原因を表示態様で判別できるようにする。このような例を図８６Ａ〜図８６Ｃの原因解析結果表示画面１３０に示す。これらの図において、図８６Ａは、エンドエフェクタモデルＥＥＭがワークモデルＷＭを把持可能な状態、図８６ＢはエンドエフェクタモデルＥＥＭと周辺データが干渉している状態、図８６ＣはエンドエフェクタモデルＥＥＭがロボットの動作範囲外の状態の原因解析結果表示画面１３０を、それぞれ示している。ここでは、エンドエフェクタモデルＥＥＭがワークモデルＷＭを把持可能な状態では、エンドエフェクタモデルＥＥＭを白色で表示させ、周辺データが干渉している状態ではエンドエフェクタモデルＥＥＭを赤色に表示させ、ロボットの動作範囲外の状態ではエンドエフェクタモデルＥＥＭを黄色に、それぞれ着色して表示させるように原因解析部２４が制御している。このように、エンドエフェクタモデルＥＥＭの表示態様、例えば色を失敗原因に応じて変化させることで、どのような把持位置や姿勢が候補として出てきていて、なぜ取り出し失敗だったのかを表示することで、問題の解決の一助となる。

あるいは、ワークモデルが取出し不可能とされた取り出し失敗の原因が、このロボットモデルと他のワークモデルや容器モデルと干渉することである場合に、どのような干渉が問題になっているかを表示部上にグラフィカルに表示するように原因解析部を構成してもよい。あるいはまた、取出しが不可能とされたワークモデルの取り出し失敗原因に応じて、取り得る解決策を原因解析部が表示部上に提案又は誘導するように構成してもよい。

このようなエンドエフェクタモデル側に原因解析表示を付加する手順の一例を説明する。まず、登録したワークモデルとエンドエフェクタモデルとの位置関係と、ワークモデルの三次元サーチ結果より、エンドエフェクタモデルの把持位置姿勢候補を演算する。次に、各把持位置姿勢候補について、以下のチェックを行う。
１．事前に登録したエンドエフェクタモデルを把持位置姿勢に描画したときに、周囲の障害物や周囲のワークと干渉しないかどうかチェックする。
２．ロボットとカメラとの位置関係データにより、把持位置姿勢をロボット座標に変換し、動作範囲内かどうかチェックする。
このようにして、すべての把持位置姿勢候補の中から指定した把持について、登録したエンドエフェクタモデルを把持位置姿勢に表示すると共に、上記チェックの結果によって表示を変えてチェック結果が一目でわかるようにする。

また、ＣＡＤ空間上で把持位置を追加したり、カメラとロボットとの位置関係を変えて、再テストできるようにしてもよい。
（取り出し失敗位置からの把持位置候補追加機能）

さらに本実施形態に係るロボットシミュレーション装置によれば、取り出し失敗位置を基準とし、この位置から把持位置候補を追加する機能を備えることもできる。バラ積みピッキングにおいて把持位置を登録する方法は、以下の２つが知られている。すなわち、ワークを実際に撮像して認識し、さらにロボットを実際に把持位置に移動させて、把持位置を登録する方法と、図８７のイメージ図に示すように、ワークを示すＣＡＤデータ等のワークモデルに対してエンドエフェクタモデルＥＥＭの位置姿勢を移動させて、把持位置を登録する方法が挙げられる。これらの方法では、バラ積み状態から把持解を算出したときに干渉しない解が見つからない場合は、新しく把持位置を登録する必要があるところ、これらの登録方法では課題がある。すなわち、前者の方法では、シミュレーションを行う際にもロボットを用意しなくてはならない点、後者の方法では、どのような把持位置を追加すればよいかが判り難い点が挙げられる。

これに対して本実施形態に係るロボットシミュレーション装置では、ピッキング動作シミュレーション結果として表示されたＮＧ解を基準にして、登録把持姿勢の編集、追加を可能としている。例えば、図８８Ａに示すように、ピッキング動作シミュレーションの結果、エンドエフェクタモデルＥＥＭが周辺データと干渉して取り出し失敗となったことを表示する状態を考える。この状態で、エンドエフェクタモデルＥＥＭを、取り出し失敗として表示されている位置から、移動部で移動させる。そして図８８Ｂに示すように、干渉しない位置までエンドエフェクタモデルＥＥＭを移動させると、この状態でエンドエフェクタモデルＥＥＭが赤色に着色されたＮＧ状態から、把持解として成立することを示すＯＫ状態に原因解析部２４で変更させる。このようにして、ＮＧとして表示されている状態を起点として、ここから移動させることで、どうすればＮＧでなくなるのかが一目瞭然となり、ユーザに対して判り易い解決策を提示することが可能となる。また、エンドエフェクタモデルＥＥＭを移動させながら、再度干渉判定を行うことで、どの程度移動させればよくなるのかも確認できる利点が得られる。

さらに原因解析部が、ワークモデルを取出しできない全体的な主原因が何であるかを統計的に解析して、表示部上に表示させるように構成してもよい。あるいは、ユーザに表示部上で特定の取出し不可能とされたワークモデルを選択させ、このワークモデルに対する取り出し失敗原因を、表示部上に表示させるように原因解析部を構成してもよい。

本発明のロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、ロボットのバラ積みピッキングの動作を検証する用途に好適に利用できる。

１０００…ロボットシステム
１００、２００、３００、４００、５００、６００…ロボットシミュレーション装置
１…画像処理部
２…センサ部
３…表示部
４…操作部
５…ロボット本体
６…ロボットコントローラ
７…ロボット操作具
１０…シミュレーション環境設定部
１１…ワークモデル設定部
１２…表面状態パラメータ設定部
１３…角度閾値決定部
１４…容器モデル設定部
１５…センサモデル設定部
１６…姿勢条件設定部
１７…姿勢安定性パラメータ決定部
１８…除外ワーク選択部
１９…除外条件算出部
２０…バラ積みデータ生成部
２２…領域推定部
２３…バラ積みデータ記憶部
２４…原因解析部
２９…シミュレーションパラメータ調整部
３０、３０Ｂ…ピッキング動作シミュレート部
３１…バラ積み画像生成部
３２…位置姿勢検出部
３３…把持解算出部
４０…シミュレーション用データ生成部
５０…検出用設定部
５２…計測データ記憶部
５４…角度閾値決定部
６０…物理シミュレーション部
１１０…姿勢条件設定画面
１２０…配置条件設定画面
１３０…原因解析結果表示画面
１４０…三次元サーチ設定画面
１４１…画像表示領域
１４２…設定領域
１４３…検出閾値
１４４…三次元サーチ精度
１４５…姿勢制限
１５０…干渉確認画面
１５３…ワークモデルの選択欄
１５４…把持解選択欄
１６０…把持位置登録画面
１６３…Ｘ、Ｙ、Ｚ座標
１６４…回転角度
１７０…ロボットモデル位置修正画面
１７３…Ｘ、Ｙ、Ｚ座標
ＥＥＴ、ＥＥＴ２、ＥＥＴ３…エンドエフェクタ
ＡＲＭ…アーム
ＷＫ…ワーク
ＷＫ２…空洞を有するワーク
ＷＫ３…板状のワーク
ＷＫ４…樹脂製のワーク
ＷＫ５…金属製のワーク
ＷＫ６…表面と裏面の面積が異なるワーク
ＷＫ７…板状のワーク
ＷＫ８…円筒状のワーク
ＷＭ、ＷＭ６、ＷＭ７…ワークモデル
ＷＭ４…樹脂製ワークモデル
ＷＭ５…金属製ワークモデル
ＷＭＴ…Ｔ字型のワークモデル
ＷＭＣ…円筒形のワークモデル
ＰＲＪ…プロジェクタ
ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４…カメラ
ＣＭＭ、ＣＭＭ２、ＣＭＭ３…カメラモデル
ＳＨＭ…サーチモデル
ＥＥＭ…エンドエフェクタモデル
ＲＢＭ…ロボットモデル
ＢＸ…収納容器
ＢＸＭ…収納容器モデル
ＳＬ…中敷き
ＤＩＶ…間仕切り
ＤＳＡ…指定領域
ＷＭＦ…ワイヤーフレーム状のワークモデル
ＤＳＰ…指定頂点
ＷＭＤ…ワークモデルの展開図
ＰＭ…プロジェクタモデル

Claims (32)

1. 作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするためのロボットシミュレーション装置であって、
   ワークの三次元形状をモデル化したワークモデルを設定するためのワークモデル設定部と、
   前記ワークモデル設定部で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するためのバラ積みデータ生成部と、
   前記バラ積みデータ生成部で生成されたバラ積みデータに基づいて、前記仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するためのピッキング動作シミュレート部と、
   前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、当該ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析するための原因解析部と、
   前記原因解析部による解析の結果を表示させるための表示部と
   を備えるロボットシミュレーション装置。
2. 請求項１に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補としてロボットの動作範囲外か否かを解析するよう構成してなるロボットシミュレーション装置。
3. 請求項１に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補としてロボットとワークモデル又はワークモデルを投入する容器を仮想的に表示させる容器モデルとの干渉の有無を解析するよう構成してなるロボットシミュレーション装置。
4. 請求項１に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補としてロボットと周囲の障害物モデルとの干渉の有無を解析するよう構成してなるロボットシミュレーション装置。
5. 請求項１に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補としてサーチの可否を解析するよう構成してなるロボットシミュレーション装置。
6. 請求項１〜５のいずれか一項に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補をワークモデル単位で前記表示部上に表示させてなるロボットシミュレーション装置。
7. 請求項１〜６のいずれか一項に記載のロボットシミュレーション装置であって、
   前記表示部が、前記仮想作業空間内に配置された、エンドエフェクタを仮想的に表現したエンドエフェクタモデルを表示可能に構成してなるロボットシミュレーション装置。
8. 請求項７に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補をエンドエフェクタモデル側に識別表示させてなるロボットシミュレーション装置。
9. 請求項７又は８に記載のロボットシミュレーション装置であって、
   前記原因解析部が、原因候補として、エンドエフェクタモデルが他のワークモデル又はワークモデルを投入する容器を仮想的に表示させる容器モデルに干渉するか否かを前記表示部上に表示可能に構成してなるロボットシミュレーション装置。
10. 請求項７〜９のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、原因候補として、エンドエフェクタモデルが周囲の障害物モデルと干渉するか否かを前記表示部上に表示可能に構成してなるロボットシミュレーション装置。
11. 請求項７〜１０のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、取り出しが不可能とされたワークモデルに対して取り出し失敗原因を解析して、前記表示部上に表示可能に構成してなるロボットシミュレーション装置。
12. 請求項１〜１１のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、取り出しができないワークモデルを取り出し失敗原因別に色分けして表示可能に構成してなるロボットシミュレーション装置。
13. 請求項１〜１２のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、ワークモデルが取り出しができない全体的な主原因が何かを統計的に解析して前記表示部上に表示可能に構成してなるロボットシミュレーション装置。
14. 請求項１〜１３のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、ユーザが前記表示部上で選択した特定の取り出し失敗とされたワークモデルに対する取り出し失敗原因を、前記表示部上に表示可能に構成してなるロボットシミュレーション装置。
15. 請求項７〜１４のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、ワークモデルを取り出し失敗とされた取り出し失敗原因が、該エンドエフェクタモデルと他のワークモデル又は容器モデルとの干渉である場合に、どのような干渉が問題になっているかを前記表示部上にグラフィカルに表示可能に構成してなるロボットシミュレーション装置。
16. 請求項１〜１５のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部が、取り出しが不可能とされたワークモデルの取り出し失敗原因に応じて、取り得る解決策を前記表示部上に提案又は誘導するよう構成してなるロボットシミュレーション装置。
17. 請求項１６に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、三次元サーチでワークモデルを検出不可能であった場合、前記ピッキング動作シミュレート部によりワークモデルの検出するためのサーチ設定の変更を促すよう構成してなるロボットシミュレーション装置。
18. 請求項１６又は１７に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、三次元サーチでワークモデルを検出不可能であった場合、前記ピッキング動作シミュレート部によりワークモデルの検出するためのサーチ設定の変更として、サーチモデルの回転・傾斜角度、サーチ精度、一致度に対する閾値の変更の少なくとも何れかを含むロボットシミュレーション装置。
19. 請求項１６〜１８のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、三次元サーチでワークモデルを検出不可能であった場合、ワークを撮像するセンサ部の撮像又は投影の設定の変更を促すよう構成してなるロボットシミュレーション装置。
20. 請求項１９に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが他のワークモデル、容器モデル、障害物モデルのいずれかと干渉することであった場合、前記仮想作業空間上でロボットがワークモデルを把持する位置の追加又は修正を促すよう構成してなるロボットシミュレーション装置。
21. 請求項１９又は２０に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが他のワークモデル、容器モデル、障害物モデルのいずれかと干渉することであった場合、前記仮想作業空間上におけるロボットのエンドエフェクタの形状の変更を促すよう構成してなるロボットシミュレーション装置。
22. 請求項１〜２１のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、エンドエフェクタモデルの可動範囲外であった場合、前記仮想作業空間上におけるロボットをモデル化したロボットモデル、容器モデル、センサモデルの位置関係の修正を促すよう構成してなるロボットシミュレーション装置。
23. 請求項１９〜２２のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、エンドエフェクタモデルの取り出し失敗の主原因または選択されたワークモデルの原因に対し、調整すべきパラメータのウィンドウを優先的に立ち上げるよう構成してなるロボットシミュレーション装置。
24. 請求項２３に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、エンドエフェクタモデルの取り出し失敗の主原因または選択されたワークモデルの原因に対し、調整すべきパラメータのウィンドウを順番に立ち上げていくよう構成してなるロボットシミュレーション装置。
25. 請求項１〜２４のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが干渉することである場合に、どのような干渉が問題になっているかを前記表示部上にグラフィカルに表示可能に構成してなるロボットシミュレーション装置。
26. 請求項２５に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが干渉することである場合に、追加すべき把持位置の候補を前記表示部上に提示するよう構成してなるロボットシミュレーション装置。
27. 請求項２６に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ロボット又はエンドエフェクタモデルが干渉することである場合に、複数のワークモデルから共通して干渉が発生しにくい領域を算出して前記表示部上に提示するよう構成してなるロボットシミュレーション装置。
28. 請求項１〜２７のいずれか一項に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ワークモデルが干渉することである場合に、
    エンドエフェクタの形状の修正を前記表示部上に提示するよう構成してなるロボットシミュレーション装置。
29. 請求項２７に記載のロボットシミュレーション装置であって、
    前記原因解析部により解析されたワークモデルの取り出し失敗原因が、前記ピッキング動作シミュレート部によるピッキング動作シミュレーションの実行時に、ワークモデルが干渉することである場合に、
    エンドエフェクタの形状を設定するための設定ウィンドウを前記表示部上に提示するよう構成してなるロボットシミュレーション装置。
30. 作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするロボットシミュレーション方法であって、
    ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定工程と、
    前記ワークモデル設定工程で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するバラ積みデータ生成工程と、
    前記バラ積みデータ生成工程で生成されたバラ積みデータに基づいて、前記仮想作業空間内の前記ワークモデルのピッキング動作を検証するためのピッキング動作シミュレーションを実行するピッキング動作シミュレーション工程と、
    前記ピッキング動作シミュレーション工程の結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、当該ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析して、解析の結果を表示部に表示させる工程と、
    を含むロボットシミュレーション方法。
31. 作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするロボットシミュレーションプログラムであって、
    ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定機能と、
    前記ワークモデル設定機能で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するバラ積みデータ生成機能と、
    前記バラ積みデータ生成機能で生成されたバラ積みデータに基づいて、前記仮想作業空間内の前記ワークモデルのピッキング動作を検証するためのピッキング動作シミュレーションを実行するピッキング動作シミュレーション機能と、
    前記ピッキング動作シミュレーション機能の結果、ロボットによる取り出しが不可能なワークモデルが存在する場合に、当該ワークモデルの取り出し失敗原因が、予め定義された複数の原因候補の中のいずれに該当するかを解析して、解析の結果を表示部に表示させる機能と、
    をコンピュータに実現させるためのロボットシミュレーションプログラム。
32. 請求項３１に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体または記憶した機器。