JP6806845B2 - ロボットシステムおよびロボット制御方法 - Google Patents

Description

本発明は、ロボットシステムおよびロボット制御方法に関するものである。

従来、物体の３次元情報を取得するレンジセンサと、２次元画像を取得するカメラとを組み合わせて、３次元の物体の位置を特定する技術が知られている（例えば、特許文献１参照。）。
特許文献１の技術では、カメラにより取得された２次元画像を処理して２次元画像内の物体の像を検出して物体の２次元位置情報を取得し、取得された２次元位置情報に基づいて３次元情報から物体の３次元の位置および姿勢を計算している。

特開２０１３−１０１０４５号公報

しかしながら、特許文献１の技術では、静止している３次元の物体については、精度よく認識できるが、人間やロボット等の形状が変化する物体については特定することができないという不都合がある。

したがって、人間やロボット等の形状が変化する物体についても精度よく認識することができるロボットシステムおよびロボット制御方法が望まれている。

本発明の参考例としての発明の一態様は、所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像部と、該撮像部により取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、前記撮像部により取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定部とを備える物体認識装置と、前記監視領域内の所定の作業領域で作業するロボットと、該ロボットを制御するロボット制御部とを備え、前記物体認識装置が、前記物体が安全監視対象であると認識した場合に、前記物体が前記作業領域に侵入するのを検出し、前記ロボット制御部が、前記物体認識装置によって前記作業領域への前記物体の侵入が検出された場合に前記ロボットを停止させるロボットシステムである。

本発明の第１態様は、所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像部と、該撮像部により取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、前記撮像部により取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより、前記物体が前記基準画像に対応付けられている安全監視対象であるか前記基準画像に対応付けられていない非対象物体であるかを判定する判定部とを備える物体認識装置と、前記監視領域内の所定の作業領域で作業するロボットと、該ロボットを制御するロボット制御部とを備え、前記物体認識装置が、前記物体が前記安全監視対象であると認識した場合は、前記物体が前記作業領域に侵入するのを許容する一方、前記物体が前記非対象物体であると認識した場合は、前記物体が前記作業領域に侵入するのを検出し、前記ロボット制御部が、前記物体認識装置によって前記作業領域への前記非対象物体の侵入が検出された場合に前記ロボットを停止させるロボットシステムである。

本発明の参考例としての発明の他の一態様は、所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像ステップと、該撮像ステップにより取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、前記撮像ステップにより取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定ステップと、該判定ステップにより前記物体が安全監視対象と識別された場合に、ロボットが作業する前記監視領域内の所定の作業領域に前記物体が侵入するのを検出する検出ステップと、該検出ステップにより前記作業領域への前記物体の侵入が検出された場合に前記ロボットを停止させるロボット停止ステップとを含むロボット制御方法である。

本発明の第２態様は、所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像ステップと、該撮像ステップにより取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、前記撮像ステップにより取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより、前記物体が前記基準画像に対応付けられている安全監視対象であるか前記基準画像に対応付けられていない非対象物体であるかを判定する判定ステップと、該判定ステップにより前記物体が安全監視対象と識別された場合は、ロボットが作業する前記監視領域内の所定の作業領域に前記物体が侵入するのを許容する一方、前記物体が前記非対象物体と識別された場合は、前記物体が前記作業領域に侵入するのを検出する検出ステップと、該検出ステップにより前記作業領域への前記非対象物体の侵入が検出された場合に前記ロボットを停止させるロボット停止ステップとを含むロボット制御方法である。

本発明の参考例としての発明の別の一態様は、所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像部と、該撮像部により取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、前記撮像部により取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定部とを備える物体認識装置である。

本態様によれば、撮像部により所定の監視領域が撮影されて２次元画像および３次元画像が取得されると、取得された３次元画像において所定範囲の画素値を有する領域が物体抽出部により抽出され、取得された２次元画像において画像探索部により基準画像が探索され、抽出された領域内に基準画像が存在するか否かが判定部により判定されることによって、物体の種別が判定される。３次元画像内の物体の形状ではなく、３次元画像内に抽出された物体の位置に予め登録された基準画像が存在することによって監視領域内の物体の種別を認識するので、人間やロボット等の形状が変化する物体についても精度よく認識することができる。

上記態様においては、前記物体抽出部により抽出された前記領域を包含するように、前記画像探索部による探索領域を設定する探索領域設定部を備えていてもよい。
このようにすることで、物体抽出部により抽出された物体を表す領域の形状そのものを用いるのではなく、その領域を包含するように単純化された探索領域を設定することができ、画像探索部による探索演算を容易にすることができる。

また、上記態様においては、前記画像探索部が、前記撮像部により取得された前記３次元画像の各部における前記撮像部からの距離に基づいて、前記基準画像の縮尺を変更して探索を行ってもよい。
撮像部からの距離が近い位置に配置されている物体に付されているマークは２次元画像中に大きく写り、撮像部からの距離が遠い位置に配置されている物体に付されているマークは２次元画像中に小さく写る。このようにすることで、撮像部からの距離に応じて基準画像の縮尺を変更することにより、探索すべきマークの大きさに基準画像を近づけて、探索を容易にすることができる。

また、上記態様においては、前記画像探索部が、前記撮像部により取得された前記３次元画像の各部の前記撮像部の光軸に対する傾斜角度に基づいて、前記基準画像を変形して探索を行ってもよい。
マークが付されている物体の表面が撮像部の光軸に対して傾斜していると、マークが歪む。このようにすることで、物体の表面の傾斜角度に応じて基準画像を変形することにより、探索すべきマークの形状に基準画像を近づけて、探索を容易にすることができる。

また、本発明の参考例としての発明のさらに別の態様は、所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像ステップと、該撮像ステップにより取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、前記撮像ステップにより取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定ステップとを含む物体認識方法である。

本発明によれば、人間やロボット等の形状が変化する物体についても精度よく認識することができるという効果を奏する。

本発明の一実施形態に係る物体認識装置を示す全体構成図である。 図１の物体認識装置により取得された３次元画像の一例を示す図である。 図２の３次元画像から抽出された物体の２値化画像の一例を示す図である。 図３において抽出された物体を含む探索領域の一例を示す図である。 図４において設定された探索領域に対応する２次元画像における探索領域の一例を示す図である。 図１の物体認識装置を用いた物体認識方法を説明するフローチャートである。 図１の物体認識装置により取得された３次元画像における３次元傾きの一例を示す図である。 図７の３次元画像から抽出された物体の２次元画像の一例を示す図である。 図１の物体認識装置のアプリケーションの一例であるロボットシステムを示す平面図である。 図９のロボットシステムの正面図である。

本発明の一実施形態に係る物体認識装置１および物体認識方法について、図面を参照しながら以下に説明する。
本実施形態に係る物体認識装置１は、図１に示されるように、所定の監視領域Ａを撮影する撮像部２と、該撮像部２により取得された２次元画像Ｇ２および３次元画像Ｇ１に基づいて物体の種別を認識する画像処理部３とを備えている。

撮像部２は、監視領域Ａを含む領域を撮影して監視領域Ａの２次元画像Ｇ２を取得する２次元カメラ４と、監視領域Ａの３次元画像Ｇ１を取得する３次元カメラ５とを備えている。２次元カメラ４と３次元カメラ５との相対位置は予め設定されており、２次元カメラ４により取得される２次元画像Ｇ２の各画素位置と３次元カメラ５により取得される３次元画像Ｇ１の各画素位置とは、相互に精密に対応づけられている。なお、２次元カメラ４と３次元カメラ５とは別体ではなく一体であってもよい。

３次元カメラ５は、例えば、監視領域Ａの上方に鉛直下向きに配置されている。２次元カメラ４は、図１に示す例では、３次元カメラ５に対して若干角度を設けることにより、３次元カメラ５と同一の監視領域Ａを視野内に配置して、監視領域Ａを平面視した２次元画像Ｇ２を取得するようになっている。一方、３次元カメラ５は、監視領域Ａ内の各部の高さの分布を示す３次元画像Ｇ１を取得するようになっている。

画像処理部３は、３次元カメラ５により取得された３次元画像Ｇ１において、監視領域Ａ内の物体Ｂを抽出する物体抽出部６と、該物体抽出部６により抽出された物体Ｂを含む探索領域Ｃ１を設定する探索領域設定部７と、探索領域設定部７において設定された探索領域Ｃ１を２次元カメラ４により取得された２次元画像Ｇ２内の探索領域Ｃ２に変換する画像対応演算部８と、２次元画像Ｇ２の探索領域Ｃ２内において基準画像Ｍと同一の画像を探索する画像探索部９と、探索領域Ｃ２内に基準画像Ｍと同一の画像が発見されたか否かによって物体Ｂの種別を判定する判定部１００とを備えている。

本実施形態においては、物体Ｂとして、図２に示されるように、頭部、例えば、ヘルメットに正方形のマークＭ１を付与した人間および、天板に三角形のマークＭ２を付与した作業台を例示している。

物体抽出部６による物体Ｂの抽出は、３次元画像Ｇ１における監視領域Ａ内の所定の高さ範囲に配置されている画素を物体Ｂが存在する領域であるとして抽出するようになっている。具体的には、図３に示されるように、３次元画像Ｇ１の画素値を所定の値によって２値化することにより、地表からの高さが所定の高さ以上である領域を物体Ｂとして抽出するようになっている。そして、物体抽出部６は、２値化により抽出された画素が連続する領域を単一の物体Ｂを表す領域であるとして抽出するようになっている。

探索領域設定部７は、物体抽出部６により抽出された物体Ｂを表す領域を、図４に示されるように、当該抽出された領域を含みかつ単純な形状、例えば、長方形の形状を有する領域（以下、探索領域という。）Ｃ１に置き換えるようになっている。

画像対応演算部８は、２次元画像Ｇ２と３次元画像Ｇ１との対応位置関係を示すデータを記憶しており、図４に示されるように探索領域設定部７により設定された３次元画像Ｇ１内の探索領域Ｃ１を図５に示されるように２次元画像Ｇ２内の探索領域Ｃ２に変換して画像探索部９に送るようになっている。

画像探索部９は、探索すべき基準画像、例えば、人間に付された正方形のマークＭ１および作業台に付された三角形のマークＭ２と同一形状の基準画像Ｍをそれぞれ記憶している。すなわち、四角形の基準画像Ｍを人間と対応付け、三角形の基準画像Ｍを作業台と対応づけて記憶している。

画像探索部９は、公知のパターンマッチング等の画像処理により、画像対応演算部８から送られて来た２次元画像Ｇ２の探索領域Ｃ２内において各基準画像Ｍと同一の画像を探索するようになっている。
そして、基準画像Ｍと同一の画像が２次元画像Ｇ２の探索領域Ｃ２内において発見された場合には、判定部１００において、物体Ｂの種別が、基準画像Ｍに対応づけられた種別であると認識され、発見されない場合には、物体Ｂの種別が異物であると認識されるようになっている。

このように構成された本実施形態に係る物体認識装置１を用いた物体認識方法について以下に説明する。
本実施形態に係る物体認識方法は、図６に示されるように、撮像部２により監視領域Ａの２次元画像Ｇ２および３次元画像Ｇ１を取得する撮像ステップＳ１と、３次元画像Ｇ１から物体Ｂの存在する領域を抽出する物体抽出ステップＳ２と、物体Ｂが抽出されたか否かを判定するステップＳ３と、物体Ｂが抽出された場合に、２次元画像Ｇ２において、記憶している基準画像Ｍと同一のマークを探索する画像探索ステップＳ４と、基準画像Ｍと同一のマークが探索領域Ｃ２内に発見されたか否かを判定するステップＳ５と、発見された否かによって物体Ｂの種別を判定する判定ステップＳ６，Ｓ７とを含んでいる。

ステップＳ３において物体Ｂが抽出されなかったと判定された場合には、ステップＳ１からの工程が繰り返されるようになっている。
ステップＳ５においてマークが発見されなかった場合には、探索が終了したか否かを判定し（ステップＳ８）、終了している場合には、判定ステップＳ７において物体Ｂが異物であると認識されるようになっている。探索が終了していない場合には、ステップＳ４からの工程が繰り返される。

ステップＳ５において、マークが探索領域Ｃ２内に発見された判定されたと判定された場合には、判定ステップＳ６において、当該物体Ｂが基準画像Ｍに対応する物体であると認識され、探索が終了したか否かを判定し（ステップＳ９）、終了していない場合にはステップＳ４からの工程が繰り返される。

このように、本実施形態に係る物体認識装置１および物体認識方法によれば、３次元画像Ｇ１によって物体Ｂの存否を認識し、２次元画像Ｇ２によって物体Ｂの種別を認識するので、人間やロボットのように形状が変化する物体Ｂであってもより確実に物体Ｂの種別を認識することができるという利点がある。
また、本実施形態においては、全ての人間にマークＭ１を付与することにより、マークＭ１が探索領域Ｃ１，Ｃ２に検出されればその物体Ｂが人間であると認識できるが、特定の人間のみにマークＭ１を付与することにより、物体Ｂが特定の人間であるということも認識できるという利点もある。

また、本実施形態においては、３次元カメラ５によって取得された３次元画像Ｇ１において、所定範囲の高さ情報を有する連続した領域を単一の物体Ｂとして抽出するので、人間のみならず人間が持っている物品についても物体Ｂの一部として認識することができる。
また、３次元画像Ｇ１から抽出された物体Ｂを包含する探索領域Ｃ１，Ｃ２として長方形等の単純な形状の領域を定義したので、基準画像Ｍが探索領域Ｃ２内に存在するか否かを簡易に判定することができる。

また、本実施形態においては、画像探索部９が、３次元カメラ５によって取得された３次元画像Ｇ１の各部の高さ情報（３次元カメラ５からの距離情報）に基づいて、基準画像Ｍの縮尺を調整することにしてもよい。２次元画像Ｇ２内において物体Ｂに付されているマークＭ１，Ｍ２は物体Ｂの高さに応じて、その大きさが変化するので、高さが高い位置にマークＭ１，Ｍ２が付されている場合には、基準画像Ｍの大きさを大きく、高さが低い位置にマークＭ１，Ｍ２が付されている場合には、基準画像Ｍの大きさを小さくするように調節する。これにより、２次元画像Ｇ２内における基準画像Ｍと同一の画像の探索を容易に行うことができる。

また、画像探索部９が、３次元カメラ５によって取得された３次元画像Ｇ１の各部の高さ情報に基づいて、物体Ｂに付されているマークＭ１，Ｍ２が３次元カメラ５の光軸に対して傾斜した面に付されている場合には、３次元カメラ５の光軸に対する傾斜角度に基づいて基準画像Ｍを変形して探索を行うことにしてもよい。すなわち、図７に示されるように、３次元画像Ｇ１における各部の高さ情報ｈに基づいて、各部の法線ベクトルＶを求めることができ、求められた法線ベクトルＶの方向に従って、長方形の基準画像Ｍを台形状に変形すればよい。

図８に示されるように、２次元画像Ｇ２内に写っているマークＭ１，Ｍ２は、高さが低い方向に漸次小さくなる台形状になっているため、台形状の基準画像Ｍを用いてマークＭ１，Ｍ２の位置を容易に探索することができるという利点がある。

次に、本実施形態に係る物体認識装置１および物体認識方法を用いたロボットシステム７０およびロボット制御方法について説明する。
このロボットシステム７０は、図９および図１０に示すように、所定の作業を行うロボット１０と、ロボット１０が作業を行う作業台２０と、ロボット１０および作業台２０を囲う安全柵３０とを備えている。

このロボットシステム７０では、作業者Ｓが作業台２０上の治具、型、ワーク等の交換や調整を行う際に、作業者Ｓが作業台２０の上方に手や頭を配置する場合がある。作業台２０を挟んでロボット１０とは反対側に位置する部分において、安全柵３０における一部分に作業者Ｓが作業台２０にアクセスするための開口部３１が設けられている。

このロボットシステム７０は、作業台２０の上方に設けられ、ロボット１０の作業領域の少なくとも一部と作業者Ｓが侵入し得る領域の少なくとも一部とが写されるように図９および図１０に二点鎖線で示されている視野Ｗで２次元画像Ｇ２および３次元画像Ｇ１を、所定のフレームレートで時間間隔をあけて取得する撮像部４０と、安全柵３０により支持された表示装置５０とをさらに備えている。表示装置５０は、液晶画面を有し、開口部３１の近くの作業者Ｓから見える位置に配置されている。

ロボット１０は、例えば、床面に固定された６軸多関節型のロボットであり、作業台２０上のワーク（図示略）の移動、ワークへの加工等を行うように構成されている。ロボット１０の形態は任意でよい。
ロボット１０は、ロボット制御部１６に接続され、該ロボット制御部１６により各軸の動作が制御されるようになっている。

図９および図１０においては、撮像部４０を単一のカメラにより表示しているが、図１と同様に、例えば、ステレオカメラ、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の３次元カメラ５と、ＣＣＤあるいはＣＭＯＳイメージセンサのような２次元カメラ４とを別々に備えていてもよい。

このロボットシステム７０は、撮像部４０により取得された２次元画像Ｇ２および３次元画像Ｇ１に基づき、画像処理部３において、物体Ｂを識別し、識別結果を表示装置５０に表示するとともにロボット制御部１６にロボット１０を制御させるようになっている。撮像部４０および画像処理部３により、本実施形態に係る物体認識装置１が構成されている。

このロボットシステム７０においては、時系列に取得された３次元画像Ｇ１において、図９および図１０に示されるように、一点鎖線で囲われた作業者認識領域Ａ１および斜線で示された共通作業領域Ａ２が設定される。共通作業領域Ａ２は作業者Ｓがアクセス可能であるとともにロボット１０もアクセス可能な領域である。

また、このロボットシステム７０においては、時系列に取得された３次元画像Ｇ１において図９および図１０に示す作業者側境界Ｂ１およびロボット側境界Ｂ２が設定される。作業者側境界Ｂ１は作業者Ｓが共通作業領域Ａ２にアクセスする際に越える境界面であり、ロボット側境界Ｂ２はロボット１０が共通作業領域Ａ２にアクセスする際に越える境界面である。

作業者認識領域Ａ１および共通作業領域Ａ２を監視領域として、時系列に取得された３次元画像Ｇ１により監視領域内の物体Ｂを抽出して探索領域Ｃ１を設定し、同時に時系列に取得された２次元画像Ｇ２の対応する探索領域Ｃ２内において基準画像、例えば、図９に示すようなマークＭが存在しているか否かが判定される。マークＭが存在している場合には、検出された物体Ｂは、安全監視対象の作業者Ｓであると認識され、マークＭが存在していない場合には、非対象物体であると認識される。

図９に示す例では、マークＭは作業者Ｓのヘルメットや帽子の上面に付けられた３つの黒い正方形着色部からなる。３つの正方形着色部は作業者Ｓの幅方向（左右方向）に並ぶように配置され、中央の正方形着色部は他の２つに対して作業者Ｓの前方に配置されている。これにより、マークＭを見ると、作業者Ｓがどちらの方向を向いているかを判断または推定することができる。

本実施形態によれば、時系列に取得される２次元画像Ｇ２および３次元画像Ｇ１において作業者Ｓが安全監視対象として認識され、２次元画像Ｇ２および３次元画像Ｇ１中で追跡される。このため、２次元画像Ｇ２および３次元画像Ｇ１中で作業者Ｓを見失わずに監視することができる。これにより、作業者Ｓが侵入することが許容されていない境界（ロボット側境界Ｂ２）に侵入したことを確実に検出することができる。そして、侵入の検出によりロボット１０を停止させ、あるいはロボット１０に危険回避動作を行わせることができる。

３次元画像Ｇ１中において、作業者Ｓ側から共通作業領域Ａ２にアクセスするために越える作業者側境界Ｂ１と、共通作業領域Ａ２におけるロボット１０側に存在するロボット側境界Ｂ２とが設定され、安全監視対象と認識されると作業者側境界Ｂ１を越えて共通作業領域Ａ２にアクセスできるが、安全監視対象として認識されていない非対象物体は共通作業領域Ａ２にアクセスするために越える作業者側境界Ｂ１への侵入が検出される。このため、例えば、作業者Ｓではなく安全作業の知識が十分でない者（マークＭを付されていない者）が共通作業領域Ａ２に向かって移動した時、作業者側境界Ｂ１に侵入した時点でその移動が検出されるので、例えば、ロボット１０を停止させること、または、ロボット１０に危険回避動作を行わせることにより、安全作業の知識が十分でない者がロボット１０と接触することが回避される。

また、ロボット１０は非対象物体であるから、ロボット１０が共通作業領域Ａ２を通過して作業者側境界Ｂ１を越える等の異常が生じた場合に、当該異常を検出することができる。または、共通作業領域Ａ２内の治具やワーク等が作業者Ｓ側に意図せず移動する等の異常や、作業者Ｓが持っている治具やワークが作業者Ｓの手から離れて共通作業領域Ａ２内に入る等の異常がある場合に、これらの異常を検出することができる。

なお、３次元画像Ｇ１中で作業者Ｓを追跡する際に、１フレーム前でマークＭが認識された近傍においてマークＭの照合を試みる構成とすることにより、処理時間を短縮するとともに、誤検出の可能性を低減することが可能となる。
また、安全監視対象として認識される作業者Ｓは複数であってもよい。この場合は、複数の作業者Ｓの各々について前述と同様の処理が行われる。つまり、全ての作業者Ｓが認識されなくなるまで前述の安全監視の処理が行われる。

本実施形態では、非対象物体による侵入が検出されるとロボット１０を停止させるので、作業者Ｓの安全の確保やロボット１０の故障防止を図ることができる。
また、作業者Ｓだけではなく、作業者Ｓにより運搬される物品も安全監視対象となるので、当該物品とロボット１０との接触等を防止することが可能になり、作業者Ｓの安全の確保やロボット１０の故障防止を図ることができる。
また、非対象物体による侵入が検出された場合でもロボット１０を共通作業領域Ａ２の外で作業を継続するようにしてもよい。この場合、ロボット１０の稼働率を下げることなく、作業者Ｓの安全が確保される。

また、本実施形態では、表示装置５０を見ることで、作業者Ｓは、自らが安全監視対象として認識されているか否かを確認でき、安全監視対象として認識されていないのに共通作業領域Ａ２で作業を行ってしまうことや、安全監視対象として認識されているか否かがわからずに待機する待機時間の発生が防止される。

また、基準画像Ｍは、作業者Ｓの身長および体格に関する情報に対応づけられていてもよい。３次元画像Ｇ１は、該３次元画像Ｇ１中の作業者Ｓの頭部や肩部の高さ情報を有するので、基準画像Ｍに作業を許可された作業者Ｓの頭部や肩部の高さ情報を対応づけることにより、ヘルメットにマークＭを付けた者が作業を許可された作業者Ｓであるか否かを判断することが可能となる。

この場合、ヘルメットにマークＭを付けているが作業を許可された者ではないと判断されたときには、その者は非対象物体であると認識され、作業者側境界Ｂ１に侵入した際にはロボット１０を停止させることになる。

また、ロボット１０にもロボット用マークを付け、２次元画像Ｇ２中においてロボット１０に付けられたロボット用マークを探索してロボット１０を認識するための他の基準画像を格納していてもよい。この場合、作業者Ｓと同様にロボット１０も安全監視対象として認識し、また、安全監視対象以外の物体がロボット側境界Ｂ２に侵入したことを検出するように構成できる。

これにより、ロボット１０の位置も追跡することができるようになり、共通作業領域Ａ２において作業者Ｓが越えることは許されるがロボット１０が越えることは許されていない作業者側境界Ｂ１を越える場合や、ロボット１０が通常とは異なる動きを行った場合等に、これら事象をすぐに知ることができ、安全性を向上する上で有利である。

なお、本実施形態では、３次元画像Ｇ１中において作業者認識領域Ａ１、共通作業領域Ａ２、作業者側境界Ｂ１、およびロボット側境界Ｂ２を設定した。これに代えて、床面にテープ等で作業者認識領域Ａ１、共通作業領域Ａ２、作業者側境界Ｂ１、およびロボット側境界Ｂ２を設けておき、２次元画像Ｇ２中に写るこれら領域および境界を作業者認識領域Ａ１、共通作業領域Ａ２、作業者側境界Ｂ１、およびロボット側境界Ｂ２として用いることも可能である。この場合、３次元画像Ｇ１中で検出された物体Ｂが、作業者側境界Ｂ１やロボット側境界Ｂ２に重なった時に、これら境界に物体Ｂが侵入したと判断されればよい。

１ 物体認識装置
２，４０ 撮像部
６ 物体抽出部
７ 探索領域設定部
９ 画像探索部
１０ ロボット
１６ ロボット制御部
７０ ロボットシステム
１００ 判定部
Ａ 監視領域
Ａ１ 作業者認識領域（監視領域）
Ａ２ 共通作業領域（監視領域）
Ｂ 物体
Ｃ１，Ｃ２ 探索領域
Ｍ 基準画像
Ｇ１ ３次元画像
Ｇ２ ２次元画像
Ｓ１ 撮像ステップ
Ｓ２ 物体抽出ステップ
Ｓ４ 画像探索ステップ
Ｓ５ 判定ステップ

Claims (2)

1. 所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像部と、
   該撮像部により取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、
   前記撮像部により取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、
   該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより、前記物体が前記基準画像に対応付けられている安全監視対象であるか前記基準画像に対応付けられていない非対象物体であるかを判定する判定部とを備える物体認識装置と、
   前記監視領域内の所定の作業領域で作業するロボットと、
   該ロボットを制御するロボット制御部とを備え、
   前記物体認識装置が、前記物体が前記安全監視対象であると認識した場合は、前記物体が前記作業領域に侵入するのを許容する一方、前記物体が前記非対象物体であると認識した場合は、前記物体が前記作業領域に侵入するのを検出し、
   前記ロボット制御部が、前記物体認識装置によって前記作業領域への前記非対象物体の侵入が検出された場合に前記ロボットを停止させるロボットシステム。
2. 所定の監視領域を撮影して３次元画像および２次元画像を取得する撮像ステップと、
   該撮像ステップにより取得された前記３次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、
   前記撮像ステップにより取得された前記２次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、
   該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより、前記物体が前記基準画像に対応付けられている安全監視対象であるか前記基準画像に対応付けられていない非対象物体であるかを判定する判定ステップと、
   該判定ステップにより前記物体が前記安全監視対象と識別された場合は、ロボットが作業する前記監視領域内の所定の作業領域に前記物体が侵入するのを許容する一方、前記物体が前記非対象物体と識別された場合は、前記物体が前記作業領域に侵入するのを検出する検出ステップと、
   該検出ステップにより前記作業領域への前記非対象物体の侵入が検出された場合に前記ロボットを停止させるロボット停止ステップとを含むロボット制御方法。

Images