JP3444171B2 - 物品認識装置 - Google Patents
物品認識装置Info
- Publication number
- JP3444171B2 JP3444171B2 JP34826997A JP34826997A JP3444171B2 JP 3444171 B2 JP3444171 B2 JP 3444171B2 JP 34826997 A JP34826997 A JP 34826997A JP 34826997 A JP34826997 A JP 34826997A JP 3444171 B2 JP3444171 B2 JP 3444171B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hypothesis
- estimated
- input
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、積荷を自動的に移
載するロボットや産業機械において、積まれた荷物の配
置を認識する物品認識装置に関するものである。
載するロボットや産業機械において、積まれた荷物の配
置を認識する物品認識装置に関するものである。
【０００２】
【従来の技術】従来の技術１．従来の技術１について、
特開平８ー２９３０２９号公報に記載された内容をもと
に説明する。図１１は同公報に記載された、従来の技術
１の内容を説明するための図である。また、図１２は同
公報に記載された、従来の技術１の実施例の動作を示す
フローチャートであり、図１３は従来の技術１の実施例
に関わる説明図である。以下、従来の技術１の内容につ
いて、これらの図をもとに説明する。
特開平８ー２９３０２９号公報に記載された内容をもと
に説明する。図１１は同公報に記載された、従来の技術
１の内容を説明するための図である。また、図１２は同
公報に記載された、従来の技術１の実施例の動作を示す
フローチャートであり、図１３は従来の技術１の実施例
に関わる説明図である。以下、従来の技術１の内容につ
いて、これらの図をもとに説明する。
【０００３】図１１には、箱状の物体（アルファベット
で表示）がパレット（１１０２）上に積まれたようすを
示している。システムが起動される（ＳＴ１２０１）
と、パレット直上に設置された撮像装置（１１０３）よ
り画像が入力される。ＳＴ１２０３では物体の積み方の
基準パターンに関する基本状態情報が入力部（１１０
７）より入力される。これは基本積みつけパターンと物
体の寸法データからなり、システム内部では荷姿認識モ
デル生成部（１１１１）によって、３次元的な荷姿モデ
ルとして格納される。
で表示）がパレット（１１０２）上に積まれたようすを
示している。システムが起動される（ＳＴ１２０１）
と、パレット直上に設置された撮像装置（１１０３）よ
り画像が入力される。ＳＴ１２０３では物体の積み方の
基準パターンに関する基本状態情報が入力部（１１０
７）より入力される。これは基本積みつけパターンと物
体の寸法データからなり、システム内部では荷姿認識モ
デル生成部（１１１１）によって、３次元的な荷姿モデ
ルとして格納される。
【０００４】続くＳＴ１２０４では、前記荷姿モデルか
ら物体の外形線の３次元位置情報が生成され、さらにＳ
Ｔ１２０５において撮像装置の幾何学的パラメータを用
いて外形線情報が透視変換部（１１１３）によって透視
変換される。透視変換データは、３次元データである積
み荷の基本状態データが画像ではどのように見えるべき
かを表現したものであり、図１３においては、基準パタ
ーン（１３０２）として摸式的に表している。
ら物体の外形線の３次元位置情報が生成され、さらにＳ
Ｔ１２０５において撮像装置の幾何学的パラメータを用
いて外形線情報が透視変換部（１１１３）によって透視
変換される。透視変換データは、３次元データである積
み荷の基本状態データが画像ではどのように見えるべき
かを表現したものであり、図１３においては、基準パタ
ーン（１３０２）として摸式的に表している。
【０００５】一方、ＳＴ１２０６、ＳＴ１２０７におい
ては撮像した画像（１３０１）からエッジ検出を行な
い、前記透視変換された基準パターン（１３０２）と比
較される。図１３の１３０３に示したように、基本状態
情報との比較によって、箱状物体それぞれの有無が判定
される（ＳＴ１２０７）。ＳＴ１２０８ではあるべき物
体が実際に存在するならば物体の情報がロボットに対し
て出力され（ＳＴ１２０９）、存在しないならばそのま
ま終了（ＳＴ１２１０）する。ロボットは存在する物体
の位置情報をもとに把持および移載動作を行なう。
ては撮像した画像（１３０１）からエッジ検出を行な
い、前記透視変換された基準パターン（１３０２）と比
較される。図１３の１３０３に示したように、基本状態
情報との比較によって、箱状物体それぞれの有無が判定
される（ＳＴ１２０７）。ＳＴ１２０８ではあるべき物
体が実際に存在するならば物体の情報がロボットに対し
て出力され（ＳＴ１２０９）、存在しないならばそのま
ま終了（ＳＴ１２１０）する。ロボットは存在する物体
の位置情報をもとに把持および移載動作を行なう。
【０００６】従来の技術２．従来の技術２について、特
開平６ー２４９６３１号公報に記載された内容をもとに
説明する。図１４、１６、１７は同公報に記載された、
従来の技術２の内容を説明するための図である。また、
図１５は同公報に記載された、従来の技術２の実施例の
動作を示すフローチャートである。以下、従来の技術２
の内容について、これらの図をもとに説明する。
開平６ー２４９６３１号公報に記載された内容をもとに
説明する。図１４、１６、１７は同公報に記載された、
従来の技術２の内容を説明するための図である。また、
図１５は同公報に記載された、従来の技術２の実施例の
動作を示すフローチャートである。以下、従来の技術２
の内容について、これらの図をもとに説明する。
【０００７】同技術における計測システムは、積まれた
箱状の荷物の上方に設置されている。図１４（Ａ）に計
測対象たる積荷と、計測手段との位置関係が示されてい
る。本システムが起動されると（ＳＴ１５０１）、最初
にＳＴ１５０２において空間コード画像が生成される。
箱状の荷物の上方に設置されている。図１４（Ａ）に計
測対象たる積荷と、計測手段との位置関係が示されてい
る。本システムが起動されると（ＳＴ１５０１）、最初
にＳＴ１５０２において空間コード画像が生成される。
【０００８】ここで、空間コード画像の生成方法を簡単
に述べる。図１６に示したように、同技術はパレット
（１６１）の後ろ上方に配置された投光器（１６２）と
カメラ（１６３）を用いる。投光器（１６２）には、各
種のパターン光を時系列的に投光することにより、測定
空間を互いに積層された楔状測定領域ｒ0 〜ｒn に分割
する。図１７に投光器によって投光されたパターン光と
それをカメラによって計測する視点の位置関係を示す。
パターン光としては、例えば図１６に示されたようなス
リットパターンが用いられる。同図では、Ａ，Ｂ，Ｃの
３つのパターンが示されており、白黒の２値パターンと
なっている。白は光の当たっている部分、黒は当たって
いない部分である。このようなパターンは、例えば液晶
シャッターのようなドットマトリクス電気シャッターを
用いて作ることができる。光が当たっている状態を
“１”、当たっていない状態を“０”と表現すると、図
１６においては、パターンＡが投光されている時は前か
ら後ろに向かって、半分づつ１，０となる。同じく、パ
ターンＢでは、前から順に１／４づつ１，０，１，０と
なる。パターンＣでは１／８づつ１，０，１，０，１，
０，１，０となる。これら３つのパターンを投光して、
それぞれ画像を撮像すると、各画素については“００
０”から“１１１”の３ビットコードにコード化された
データのどれかに対応させることができる。このような
コードを空間コードと呼ぶ。ある空間コードに対応する
のは、３次元空間上では楔状領域であり、そこに物体Ｗ
が存在していれば物体の表面上の画像領域にコードが割
り当てられることになる。一方、カメラで撮像した画像
から、画像上のある画素の空間コードがわかれば、どの
楔状領域に相当するかがわかるので、三角測量の原理に
よって物体表面の高さ、すなわちカメラからの距離がわ
かることになる。この説明ではパターンの種類をＡ，
Ｂ，Ｃの３種類としたため、画像全体を８つの楔状領域
に分割したが、例えばパターンの種類を８種類とすれ
ば、楔状領域の数は２５６になり、より精密に距離情報
の精度を向上させることができる。
に述べる。図１６に示したように、同技術はパレット
（１６１）の後ろ上方に配置された投光器（１６２）と
カメラ（１６３）を用いる。投光器（１６２）には、各
種のパターン光を時系列的に投光することにより、測定
空間を互いに積層された楔状測定領域ｒ0 〜ｒn に分割
する。図１７に投光器によって投光されたパターン光と
それをカメラによって計測する視点の位置関係を示す。
パターン光としては、例えば図１６に示されたようなス
リットパターンが用いられる。同図では、Ａ，Ｂ，Ｃの
３つのパターンが示されており、白黒の２値パターンと
なっている。白は光の当たっている部分、黒は当たって
いない部分である。このようなパターンは、例えば液晶
シャッターのようなドットマトリクス電気シャッターを
用いて作ることができる。光が当たっている状態を
“１”、当たっていない状態を“０”と表現すると、図
１６においては、パターンＡが投光されている時は前か
ら後ろに向かって、半分づつ１，０となる。同じく、パ
ターンＢでは、前から順に１／４づつ１，０，１，０と
なる。パターンＣでは１／８づつ１，０，１，０，１，
０，１，０となる。これら３つのパターンを投光して、
それぞれ画像を撮像すると、各画素については“００
０”から“１１１”の３ビットコードにコード化された
データのどれかに対応させることができる。このような
コードを空間コードと呼ぶ。ある空間コードに対応する
のは、３次元空間上では楔状領域であり、そこに物体Ｗ
が存在していれば物体の表面上の画像領域にコードが割
り当てられることになる。一方、カメラで撮像した画像
から、画像上のある画素の空間コードがわかれば、どの
楔状領域に相当するかがわかるので、三角測量の原理に
よって物体表面の高さ、すなわちカメラからの距離がわ
かることになる。この説明ではパターンの種類をＡ，
Ｂ，Ｃの３種類としたため、画像全体を８つの楔状領域
に分割したが、例えばパターンの種類を８種類とすれ
ば、楔状領域の数は２５６になり、より精密に距離情報
の精度を向上させることができる。
【０００９】すなわち、空間コード画像を生成すること
によって、画像上のそれぞれの画素のカメラからの距離
が計測できるのである。本従来技術では、続くステップ
（ＳＴ１５０３）で、積荷の最上段領域を抽出してい
る。計測手段が図１４（Ａ）のような位置関係にある
時、同図（Ｄ）のような空間コード画像が得られる。そ
の際、画像を水平に左から右に走査し、もっとも空間コ
ードの大きいデータを持つ領域を抽出すれば、その領域
は同図（Ｅ）のように最上段物体の上面部分に対応す
る。ＳＴ１５０４では、最上段物体領域をグループ化し
ている。本従来の技術によれば、空間コード画像におい
て隣接する画素間で空間コードが所定の範囲内に近接し
ている時、それら領域を同じグループと判断したり、各
積荷上縁間に生じる溝状の部分やすき間部分の空間コー
ドの変化をもとにグループ化している。グループ化され
た各物体は、続くステップ（ＳＴ１５０５）で各物体の
３次元位置が計測される。グループ化された物体の辺縁
部分に相当する部分の３次元座標を何点かサンプリング
し、それらをもとに物体の重心位置と姿勢、および高さ
情報を得（ＳＴ１５０６）、処理を終了する（ＳＴ１５
０７）。この様子は図１４（Ｆ）〜図１４（Ｊ）に示さ
れている。
によって、画像上のそれぞれの画素のカメラからの距離
が計測できるのである。本従来技術では、続くステップ
（ＳＴ１５０３）で、積荷の最上段領域を抽出してい
る。計測手段が図１４（Ａ）のような位置関係にある
時、同図（Ｄ）のような空間コード画像が得られる。そ
の際、画像を水平に左から右に走査し、もっとも空間コ
ードの大きいデータを持つ領域を抽出すれば、その領域
は同図（Ｅ）のように最上段物体の上面部分に対応す
る。ＳＴ１５０４では、最上段物体領域をグループ化し
ている。本従来の技術によれば、空間コード画像におい
て隣接する画素間で空間コードが所定の範囲内に近接し
ている時、それら領域を同じグループと判断したり、各
積荷上縁間に生じる溝状の部分やすき間部分の空間コー
ドの変化をもとにグループ化している。グループ化され
た各物体は、続くステップ（ＳＴ１５０５）で各物体の
３次元位置が計測される。グループ化された物体の辺縁
部分に相当する部分の３次元座標を何点かサンプリング
し、それらをもとに物体の重心位置と姿勢、および高さ
情報を得（ＳＴ１５０６）、処理を終了する（ＳＴ１５
０７）。この様子は図１４（Ｆ）〜図１４（Ｊ）に示さ
れている。
【００１０】このようにして得られた積荷の位置データ
を用いて、ロボット等で積荷をひとつずつ移載すること
ができる。
を用いて、ロボット等で積荷をひとつずつ移載すること
ができる。
【００１１】
【発明が解決しようとする課題】上記従来の技術１に示
された画像処理装置では、積み荷に関する基本状態情報
を必要とする、すなわち物体がどのように配列されてい
るべきかをあらかじめ知っておく必要があった。したが
って、物体の位置が何らかの原因で基本状態とは異なっ
た状態に置かれていた場合には認識が不可能になるとい
う問題点があった。このような事態は、たとえばパレッ
トに積まれた箱状物体が輸送中に荷崩れを起こしたり、
あるいはパレットに荷物を積む作業者が規定通りに積ま
なかったりする場合として、日常的に頻繁に発生するも
のである。ここでは、箱状物体の表面に貼られたガムテ
ープなどの影響を少なくして物体の位置認識を行なうこ
とを目的としているが、本質的に物体の稜線のずれ量を
許容しない認識方式にすることでガムテープと物体稜線
との誤認を無くしているのであって、一般的に位置ずれ
を起こしている物体の認識が不可能であるという問題点
があった。
された画像処理装置では、積み荷に関する基本状態情報
を必要とする、すなわち物体がどのように配列されてい
るべきかをあらかじめ知っておく必要があった。したが
って、物体の位置が何らかの原因で基本状態とは異なっ
た状態に置かれていた場合には認識が不可能になるとい
う問題点があった。このような事態は、たとえばパレッ
トに積まれた箱状物体が輸送中に荷崩れを起こしたり、
あるいはパレットに荷物を積む作業者が規定通りに積ま
なかったりする場合として、日常的に頻繁に発生するも
のである。ここでは、箱状物体の表面に貼られたガムテ
ープなどの影響を少なくして物体の位置認識を行なうこ
とを目的としているが、本質的に物体の稜線のずれ量を
許容しない認識方式にすることでガムテープと物体稜線
との誤認を無くしているのであって、一般的に位置ずれ
を起こしている物体の認識が不可能であるという問題点
があった。
【００１２】一方、上記第２の従来技術に示された画像
処理装置では、積荷の認識に必要な情報をすべて空間コ
ード画像から獲得するため、例えば解像度２５６×２５
６または５１２×５１２画素といった高い解像度の距離
画像を生成する必要があった。そのため、高精度のパタ
ーン投光器が必要であり、しかもそれは時系列的に投光
パターンを変化させる機構を有するものでなければなら
ない。従って、パターン投光装置の装置規模が大きくな
り、高価になるという問題があった。さらに、時系列で
発生させた複数の投光パターンそれぞれに対応させて、
画像を入力する必要があるため、多くの画像メモリを必
要とし、またそれに要する画像入力時間の総計も多くか
かるという問題点があった。さらに、同技術では物体の
稜線を距離の不連続としてのみ検出しているため、例え
ば多数の箱状の物体が密接して置かれている場合のよう
に物体間の境界部に距離(高さ)の不連続が明確でないと
きは、認識の信頼性が低下するという問題があった。こ
の問題は通常の箱状物体が密接して並べられていること
から考えると日常的に発生すると考えられる。
処理装置では、積荷の認識に必要な情報をすべて空間コ
ード画像から獲得するため、例えば解像度２５６×２５
６または５１２×５１２画素といった高い解像度の距離
画像を生成する必要があった。そのため、高精度のパタ
ーン投光器が必要であり、しかもそれは時系列的に投光
パターンを変化させる機構を有するものでなければなら
ない。従って、パターン投光装置の装置規模が大きくな
り、高価になるという問題があった。さらに、時系列で
発生させた複数の投光パターンそれぞれに対応させて、
画像を入力する必要があるため、多くの画像メモリを必
要とし、またそれに要する画像入力時間の総計も多くか
かるという問題点があった。さらに、同技術では物体の
稜線を距離の不連続としてのみ検出しているため、例え
ば多数の箱状の物体が密接して置かれている場合のよう
に物体間の境界部に距離(高さ)の不連続が明確でないと
きは、認識の信頼性が低下するという問題があった。こ
の問題は通常の箱状物体が密接して並べられていること
から考えると日常的に発生すると考えられる。
【００１３】本発明は、上記の問題点を解決するために
なされたものであり、位置ずれした積荷に対しても正し
い物体配置の認識が可能であり、また複雑で高精度な画
像取得手段を必要としない物体配置の認識装置を実現す
ることを目的とする。
なされたものであり、位置ずれした積荷に対しても正し
い物体配置の認識が可能であり、また複雑で高精度な画
像取得手段を必要としない物体配置の認識装置を実現す
ることを目的とする。
【００１４】
【課題を解決するための手段】本発明の第１の構成によ
る物品認識装置は、画像取得手段と、画像から物体の候
補を抽出する物体候補抽出手段と、物体候補の配置の組
合せの仮説を少なくとも１つ生成する物体配置仮説生成
手段と、前記各仮説から推定される入力画像を生成する
推定画像生成手段と、前記推定画像と実際に画像取得手
段により入力された入力画像とを比較し整合性を評価す
る画像比較手段と、この比較によって最も実際の入力情
報に近い推定画像を発生する前記仮説を最良仮説として
選択する最良仮説選択手段とを備えたものである。
る物品認識装置は、画像取得手段と、画像から物体の候
補を抽出する物体候補抽出手段と、物体候補の配置の組
合せの仮説を少なくとも１つ生成する物体配置仮説生成
手段と、前記各仮説から推定される入力画像を生成する
推定画像生成手段と、前記推定画像と実際に画像取得手
段により入力された入力画像とを比較し整合性を評価す
る画像比較手段と、この比較によって最も実際の入力情
報に近い推定画像を発生する前記仮説を最良仮説として
選択する最良仮説選択手段とを備えたものである。
【００１５】本発明の第２の構成による物品認識装置
は、前記第１の構成による物品認識装置において、前記
画像取得手段として濃淡画像取得手段および距離画像取
得手段を有し、前記物体候補抽出手段として濃淡画像か
ら抽出したエッジ情報から物体の候補を抽出する手段を
持ち、前記物体配置仮説生成手段によって生成された各
仮説から推定エッジ画像を生成する手段および推定距離
画像を生成する手段を備え、これら推定画像と実際の入
力画像との比較によって最良仮説を選択するものであ
る。
は、前記第１の構成による物品認識装置において、前記
画像取得手段として濃淡画像取得手段および距離画像取
得手段を有し、前記物体候補抽出手段として濃淡画像か
ら抽出したエッジ情報から物体の候補を抽出する手段を
持ち、前記物体配置仮説生成手段によって生成された各
仮説から推定エッジ画像を生成する手段および推定距離
画像を生成する手段を備え、これら推定画像と実際の入
力画像との比較によって最良仮説を選択するものであ
る。
【００１６】本発明の第３の構成による物品認識装置
は、前記第１の構成による物品認識装置において、前記
画像比較手段によって算出した入力画像と定画像との整
合性評価結果に基づき、高い整合性を有する複数の仮説
を優良仮説として選択する優良仮説選択手段と、前記優
良仮説を表示する優良仮説表示手段と、表示された仮説
を人間が確認し、最も好ましい仮説を指示する選択仮説
指示手段と、指示された仮説を最良仮説として選択する
最良仮説選択手段を備えたものである。
は、前記第１の構成による物品認識装置において、前記
画像比較手段によって算出した入力画像と定画像との整
合性評価結果に基づき、高い整合性を有する複数の仮説
を優良仮説として選択する優良仮説選択手段と、前記優
良仮説を表示する優良仮説表示手段と、表示された仮説
を人間が確認し、最も好ましい仮説を指示する選択仮説
指示手段と、指示された仮説を最良仮説として選択する
最良仮説選択手段を備えたものである。
【００１７】
【発明の実施の形態】実施の形態１．図１は本発明の実
施の形態１による物品認識装置の構成を示すブロック図
であり、図２は本発明の実施の形態１による物品認識装
置の動作の流れを示すフローチャートである。以下、こ
のフローチャートにそって本物品認識装置の動作を説明
する。
施の形態１による物品認識装置の構成を示すブロック図
であり、図２は本発明の実施の形態１による物品認識装
置の動作の流れを示すフローチャートである。以下、こ
のフローチャートにそって本物品認識装置の動作を説明
する。
【００１８】なお、ここでは説明の簡単化のために認識
すべき物体の形状について、例えば段ボール箱のような
多面体形状を想定している。また、物体は同一形状およ
び同一サイズのものが積まれている状態を想定する。
すべき物体の形状について、例えば段ボール箱のような
多面体形状を想定している。また、物体は同一形状およ
び同一サイズのものが積まれている状態を想定する。
【００１９】まず最初に、装置が起動されると（ＳＴ２
０１）、画像取得手段（１０１）によって認識対象の濃
淡画像が入力される。画像取得手段（１０１）はたとえ
ば白黒ＣＣＤカメラであり、物体が積まれたパレットの
上方に鉛直下方に向けて配置される。画像取得手段（１
０１）によって入力された濃淡画像はエッジ検出が行な
われ（ＳＴ２０３）、エッジ情報をもとにテンプレート
マッチングによって箱状物体のコーナー部が検出され、
物体候補抽出手段（１０２）によってＮ個の物体候補が
抽出される（ＳＴ２０４）。図３は本発明の実施の形態
１の処理の様子を摸式的に表現した図であり、前記物体
候補とは図中候補Ｃ１、Ｃ２、．．．ＣＮで示された位
置と姿勢で存在する箱状物体のことである（３０３ａ，
３０３ｂ，３０３ｃ，および３０３Ｄ）。これら箱状物
体は、必ずしも実際に存在する正しい物体ばかりではな
く、箱状物体の表面に貼られたガムテープや印刷文字な
どの影響によって誤って抽出された物体（偽候補物体と
呼ぶ）も含まれている。例えば、図３では、物体候補Ｃ
３などは誤った候補である。したがって、候補数Ｎは、
実際に空間に存在してカメラから見えている物体の個数
よりも大きな数になる。
０１）、画像取得手段（１０１）によって認識対象の濃
淡画像が入力される。画像取得手段（１０１）はたとえ
ば白黒ＣＣＤカメラであり、物体が積まれたパレットの
上方に鉛直下方に向けて配置される。画像取得手段（１
０１）によって入力された濃淡画像はエッジ検出が行な
われ（ＳＴ２０３）、エッジ情報をもとにテンプレート
マッチングによって箱状物体のコーナー部が検出され、
物体候補抽出手段（１０２）によってＮ個の物体候補が
抽出される（ＳＴ２０４）。図３は本発明の実施の形態
１の処理の様子を摸式的に表現した図であり、前記物体
候補とは図中候補Ｃ１、Ｃ２、．．．ＣＮで示された位
置と姿勢で存在する箱状物体のことである（３０３ａ，
３０３ｂ，３０３ｃ，および３０３Ｄ）。これら箱状物
体は、必ずしも実際に存在する正しい物体ばかりではな
く、箱状物体の表面に貼られたガムテープや印刷文字な
どの影響によって誤って抽出された物体（偽候補物体と
呼ぶ）も含まれている。例えば、図３では、物体候補Ｃ
３などは誤った候補である。したがって、候補数Ｎは、
実際に空間に存在してカメラから見えている物体の個数
よりも大きな数になる。
【００２０】続くＳＴ２０５では、物体配置仮説生成手
段（１０３）によって前記複数の物体候補の配置の組合
せを、物体配置仮説（３０４）として生成する。仮説は
Ｎ個の物体の組合せとして、Ｈ1 ，Ｈ2，．．．ＨMのＭ
個生成される（３０４ａ，３０４ｂ，３０４ｃ，３０４
ｄ）。図３の例においては、仮説Ｈ1 は候補物体Ｃ1，
Ｃ2 などの組合せでできており、仮説Ｈ2 は物体候補Ｃ
1 ，Ｃ3 などからできている。この時点で、Ｍ個の仮説
のなかから最も正しい仮説を選択すれば物体を認識した
ことに相当する。処理手順ＳＴ２０６以降の処理ではい
かにして正しい仮説を選択するかを説明する。まず、仮
説Ｈ1 について正しさを評価する。ＳＴ２０６では、推
定画像生成手段（１０６）によって、仮説Ｈ1 に相当す
る濃淡エッジ画像を推定して生成する（３０５）。仮説
Ｈ1 は３次元物体の組合せとして記述されているので、
３次元記述であるＨ1 をカメラの幾何学的パラメータを
用いて画像平面に投影することで簡単に推定エッジ画像
を生成することが可能である。
段（１０３）によって前記複数の物体候補の配置の組合
せを、物体配置仮説（３０４）として生成する。仮説は
Ｎ個の物体の組合せとして、Ｈ1 ，Ｈ2，．．．ＨMのＭ
個生成される（３０４ａ，３０４ｂ，３０４ｃ，３０４
ｄ）。図３の例においては、仮説Ｈ1 は候補物体Ｃ1，
Ｃ2 などの組合せでできており、仮説Ｈ2 は物体候補Ｃ
1 ，Ｃ3 などからできている。この時点で、Ｍ個の仮説
のなかから最も正しい仮説を選択すれば物体を認識した
ことに相当する。処理手順ＳＴ２０６以降の処理ではい
かにして正しい仮説を選択するかを説明する。まず、仮
説Ｈ1 について正しさを評価する。ＳＴ２０６では、推
定画像生成手段（１０６）によって、仮説Ｈ1 に相当す
る濃淡エッジ画像を推定して生成する（３０５）。仮説
Ｈ1 は３次元物体の組合せとして記述されているので、
３次元記述であるＨ1 をカメラの幾何学的パラメータを
用いて画像平面に投影することで簡単に推定エッジ画像
を生成することが可能である。
【００２１】次に、ＳＴ２０７において画像比較手段
（１０５）によって前記推定画像と実際の入力エッジ画
像とを比較し、整合性を評価する（３０６）。整合性の
評価方法としては、例えば整合度合いＳを以下のように
定義して計算する。
（１０５）によって前記推定画像と実際の入力エッジ画
像とを比較し、整合性を評価する（３０６）。整合性の
評価方法としては、例えば整合度合いＳを以下のように
定義して計算する。
【００２２】
【数１】
【００２３】ここで、ａ，ｂは画像のサイズ、Ｉは入力
エッジ画像、Ｇは推定画像である。整合度Ｓは、推定画
像と入力画像が似ているほど小さい値をとる。ＳＴ２０
８では、計算されたＳがこれまで計算されたすべての仮
説のもつ整合度よりも高い整合度（すなわち小さなＳ）
をとる場合にはその仮説を最良仮説として登録し（ＳＴ
２０９）、そうでない場合にはすべての仮説を調べるま
でＳＴ２０６〜ＳＴ２１０までの処理を繰り返す。この
処理は最良仮説選択手段（１０６）によって行なわれ
る。
エッジ画像、Ｇは推定画像である。整合度Ｓは、推定画
像と入力画像が似ているほど小さい値をとる。ＳＴ２０
８では、計算されたＳがこれまで計算されたすべての仮
説のもつ整合度よりも高い整合度（すなわち小さなＳ）
をとる場合にはその仮説を最良仮説として登録し（ＳＴ
２０９）、そうでない場合にはすべての仮説を調べるま
でＳＴ２０６〜ＳＴ２１０までの処理を繰り返す。この
処理は最良仮説選択手段（１０６）によって行なわれ
る。
【００２４】すべての仮説に対して推定画像と入力エッ
ジ画像との整合性を評価し、最も整合性の高い仮説が得
られたならば、それを最良の仮説すなわち認識結果とし
て出力し、処理を終了する（ＳＴ２１１）。
ジ画像との整合性を評価し、最も整合性の高い仮説が得
られたならば、それを最良の仮説すなわち認識結果とし
て出力し、処理を終了する（ＳＴ２１１）。
【００２５】以上説明したように、本実施の形態１で
は、あらかじめエッジ画像から多数抽出した物体候補の
配置の組合せとして物体配置の仮説を多数生成し、その
中から最も実際の入力画像と整合する仮説を選ぶことに
より複数の物体を同時に認識するのである。
は、あらかじめエッジ画像から多数抽出した物体候補の
配置の組合せとして物体配置の仮説を多数生成し、その
中から最も実際の入力画像と整合する仮説を選ぶことに
より複数の物体を同時に認識するのである。
【００２６】本実施の形態１においては、物体配置の推
定を現実に取得した荷姿の画像にもとづいて行なうの
で、基準パターンの照合を行なう従来の技術に比べて、
物体配置が不規則であっても配置の認識が可能である。
定を現実に取得した荷姿の画像にもとづいて行なうの
で、基準パターンの照合を行なう従来の技術に比べて、
物体配置が不規則であっても配置の認識が可能である。
【００２７】なお本実施の形態１では、物体候補の抽出
手法としてエッジ画像によるテンプレートマッチングを
用いたが、通常の濃淡画像によるテンプレートマッチン
グや、濃淡画像を一旦２値化して２値画像のテンプレー
トマッチングを用いる方法やエッジ検出結果からハフ変
換などのパラメトリックなパターン抽出の手法により箱
状物体の特徴的なパターンを抽出して候補として扱うこ
ともできる。
手法としてエッジ画像によるテンプレートマッチングを
用いたが、通常の濃淡画像によるテンプレートマッチン
グや、濃淡画像を一旦２値化して２値画像のテンプレー
トマッチングを用いる方法やエッジ検出結果からハフ変
換などのパラメトリックなパターン抽出の手法により箱
状物体の特徴的なパターンを抽出して候補として扱うこ
ともできる。
【００２８】また、本実施の形態１では、推定画像と入
力画像との整合性判定において、濃淡エッジ画像を用い
る方法を説明したが、濃淡画像を直接推定できる場合に
は濃淡画像を用いたり、２値画像に変換して整合性を比
較したり、あるいは画像取得手段としてカラーカメラを
用いる場合にはカラー情報を使った整合性比較を行なっ
ても同様の効果が得られることはいうまでもない。
力画像との整合性判定において、濃淡エッジ画像を用い
る方法を説明したが、濃淡画像を直接推定できる場合に
は濃淡画像を用いたり、２値画像に変換して整合性を比
較したり、あるいは画像取得手段としてカラーカメラを
用いる場合にはカラー情報を使った整合性比較を行なっ
ても同様の効果が得られることはいうまでもない。
【００２９】さらに、本実施の形態１では、整合性比較
計算において式 (１) に示されるように推定画像と入力
画像との差に着目した方法を述べたが、画像間の類似度
を計算すれば良いのであるから、例えば相互相関値等を
用いても同様の効果を奏することはいうまでもない。
計算において式 (１) に示されるように推定画像と入力
画像との差に着目した方法を述べたが、画像間の類似度
を計算すれば良いのであるから、例えば相互相関値等を
用いても同様の効果を奏することはいうまでもない。
【００３０】さて、以上説明した実施の形態１では、冒
頭でも述べたように認識すべき対象物体として多面体即
ち箱状の物体の単一品種物体を想定していた。しかしな
がら、例えばセメント袋、米袋などの袋状の物体であっ
ても、本発明の構成要素を何ら変更することなく同一の
構成で画像認識を実現することができる。
頭でも述べたように認識すべき対象物体として多面体即
ち箱状の物体の単一品種物体を想定していた。しかしな
がら、例えばセメント袋、米袋などの袋状の物体であっ
ても、本発明の構成要素を何ら変更することなく同一の
構成で画像認識を実現することができる。
【００３１】また、以上説明した本実施の形態１では、
単一の品種の物体が積まれている状況を想定したが、処
理装置内部に複数の物体の寸法データをあらかじめ格納
しておき、複数の物体候補を生成し、その配置組合せと
して物体配置の仮説を生成しさえすれば、異なる種類の
物体が複数個積まれている状況に対しても本発明が効果
を奏することはいうまでもない。
単一の品種の物体が積まれている状況を想定したが、処
理装置内部に複数の物体の寸法データをあらかじめ格納
しておき、複数の物体候補を生成し、その配置組合せと
して物体配置の仮説を生成しさえすれば、異なる種類の
物体が複数個積まれている状況に対しても本発明が効果
を奏することはいうまでもない。
【００３２】実施の形態２．図４は本発明の実施の形態
２による物品認識装置の構成を示すブロック図であり、
図５は本発明の実施の形態２による物品認識装置の動作
の流れを示すフローチャートである。以下、このフロー
チャートにそって本物品認識装置の動作を説明する。
２による物品認識装置の構成を示すブロック図であり、
図５は本発明の実施の形態２による物品認識装置の動作
の流れを示すフローチャートである。以下、このフロー
チャートにそって本物品認識装置の動作を説明する。
【００３３】なお、実施の形態１と同じく、説明の簡単
化のために認識すべき物体の形状について、例えば段ボ
ール箱のような多面体形状を想定する。また、物体は同
一形状および同一サイズのものが積まれている状態を想
定する。図６は本実施の形態の処理の様子を摸式的に表
した図であるが、図のような３次元シーン（６００）を
カメラ（６０１）が観測している状況を考える。
化のために認識すべき物体の形状について、例えば段ボ
ール箱のような多面体形状を想定する。また、物体は同
一形状および同一サイズのものが積まれている状態を想
定する。図６は本実施の形態の処理の様子を摸式的に表
した図であるが、図のような３次元シーン（６００）を
カメラ（６０１）が観測している状況を考える。
【００３４】まず最初に、装置が起動されると（ＳＴ５
０１）、濃淡画像取得手段（４０１）によって認識対象
の濃淡画像が入力される（ＳＴ５０２）。濃淡画像取得
手段は例えば白黒ＣＣＤカメラ（６０１）であり、物体
が積まれたパレットの上方に鉛直下方に向けて配置され
る。前記画像取得手段によって入力された濃淡画像はエ
ッジ検出手段（４０２）によってエッジ検出が行なわれ
（ＳＴ５０３）、濃淡エッジ画像（６０２）が生成され
る。
０１）、濃淡画像取得手段（４０１）によって認識対象
の濃淡画像が入力される（ＳＴ５０２）。濃淡画像取得
手段は例えば白黒ＣＣＤカメラ（６０１）であり、物体
が積まれたパレットの上方に鉛直下方に向けて配置され
る。前記画像取得手段によって入力された濃淡画像はエ
ッジ検出手段（４０２）によってエッジ検出が行なわれ
（ＳＴ５０３）、濃淡エッジ画像（６０２）が生成され
る。
【００３５】次に、ＳＴ５０４では、距離画像取得手段
（４０３）によって対象物体の距離画像（６０３）が取
得される。距離画像取得手段は例えばステレオカメラで
あり、濃淡画像取得手段と光軸を共有している。距離画
像とは、ある視点から見えているシーンの各点におい
て、基準点から各点までの距離情報を画像上に格納した
ものである。続くＳＴ５０５では、物体候補抽出手段
（４０４）において物体の候補が抽出される。濃淡エッ
ジ画像からの物体候補の抽出処理については実施の形態
１に示したように、テンプレートマッチングによるコー
ナーパターン検出が用いられる。抽出された物体候補
は、図６において、Ｃ1 ，Ｃ2 ，．．．ＣN で示された
位置と姿勢で存在する箱状物体である（６０４ａ，６０
４ｂ，６０４ｃ，および６０４ｄ）。これら箱状物体
は、必ずしも実際に存在する正しい物体ばかりではな
く、箱状物体の表面に貼られたガムテープや印刷文字な
どの影響によって誤って抽出された物体 (偽候補物体と
呼ぶ) も含まれている。例えば、図６では、物体候補Ｃ
3 などは誤った候補である。
（４０３）によって対象物体の距離画像（６０３）が取
得される。距離画像取得手段は例えばステレオカメラで
あり、濃淡画像取得手段と光軸を共有している。距離画
像とは、ある視点から見えているシーンの各点におい
て、基準点から各点までの距離情報を画像上に格納した
ものである。続くＳＴ５０５では、物体候補抽出手段
（４０４）において物体の候補が抽出される。濃淡エッ
ジ画像からの物体候補の抽出処理については実施の形態
１に示したように、テンプレートマッチングによるコー
ナーパターン検出が用いられる。抽出された物体候補
は、図６において、Ｃ1 ，Ｃ2 ，．．．ＣN で示された
位置と姿勢で存在する箱状物体である（６０４ａ，６０
４ｂ，６０４ｃ，および６０４ｄ）。これら箱状物体
は、必ずしも実際に存在する正しい物体ばかりではな
く、箱状物体の表面に貼られたガムテープや印刷文字な
どの影響によって誤って抽出された物体 (偽候補物体と
呼ぶ) も含まれている。例えば、図６では、物体候補Ｃ
3 などは誤った候補である。
【００３６】ＳＴ５０６では、物体配置仮説生成手段
（４０５）によって前記複数の物体候補の配置の組合せ
を、物体配置仮説（６０５）として生成する。仮説はＮ
個の物体の組合せとして、Ｈ1 ，Ｈ2 ，．．．ＨM のＭ
個生成される（６０５ａ，６０５ｂ，６０５ｃ，６０５
ｄ）。図６においては、仮説Ｈ1 は候補物体Ｃ1 ，Ｃ2
などの組合せでできており、仮説Ｈ2 は物体候補Ｃ1 ，
Ｃ3 などからできている。
（４０５）によって前記複数の物体候補の配置の組合せ
を、物体配置仮説（６０５）として生成する。仮説はＮ
個の物体の組合せとして、Ｈ1 ，Ｈ2 ，．．．ＨM のＭ
個生成される（６０５ａ，６０５ｂ，６０５ｃ，６０５
ｄ）。図６においては、仮説Ｈ1 は候補物体Ｃ1 ，Ｃ2
などの組合せでできており、仮説Ｈ2 は物体候補Ｃ1 ，
Ｃ3 などからできている。
【００３７】この時点で、Ｍ個の仮説のなかから最も正
しい仮説を選択すれば物体を認識したことに相当するの
で、処理手順ＳＴ５０７以降では、如何にして正しい仮
説を選択するかを説明する。まず仮説Ｈ1 について正し
さを評価する。ＳＴ５０７では、推定エッジ画像生成手
段（４０６）および推定距離画像生成手段（４０７）に
よって、それぞれ仮説Ｈ1 に相当する濃淡エッジ画像と
距離画像を推定して生成する（６０６）。仮説Ｈ1 は３
次元物体の組合せとして記述されているので、３次元記
述であるＨ1 をカメラの幾何学的パラメータを用いて画
像平面に投影することで簡単に推定エッジ画像を生成す
ることが可能である。また、距離画像についても濃淡画
像取得手段であるカメラと光軸を共有し、また距離画像
取得に関する光学系の幾何学的パラメータが既知である
から簡単に推定画像を生成することが可能である。
しい仮説を選択すれば物体を認識したことに相当するの
で、処理手順ＳＴ５０７以降では、如何にして正しい仮
説を選択するかを説明する。まず仮説Ｈ1 について正し
さを評価する。ＳＴ５０７では、推定エッジ画像生成手
段（４０６）および推定距離画像生成手段（４０７）に
よって、それぞれ仮説Ｈ1 に相当する濃淡エッジ画像と
距離画像を推定して生成する（６０６）。仮説Ｈ1 は３
次元物体の組合せとして記述されているので、３次元記
述であるＨ1 をカメラの幾何学的パラメータを用いて画
像平面に投影することで簡単に推定エッジ画像を生成す
ることが可能である。また、距離画像についても濃淡画
像取得手段であるカメラと光軸を共有し、また距離画像
取得に関する光学系の幾何学的パラメータが既知である
から簡単に推定画像を生成することが可能である。
【００３８】次に、ＳＴ５０８において、入力画像と推
定画像の比較が行なわれる（６０７）。 濃淡エッジ画
像に関しては、エッジ画像比較手段 （４０８）によっ
て推定エッジ画像と入力エッジ画像との比較が行なわ
れ、距離画像に関しては、距離画像比較手段（４０９）
によって推定距離画像と入力距離画像との比較が行なわ
れる。図７および図８には、これら画像比較の方法を摸
式的に例示している。図７においては、実際の認識対象
となる３次元シーン（７０１）から得られた入力エッジ
画像（７０３）と、仮説のひとつ（７０２）から推定さ
れた推定エッジ画像（７０４）とを比較し、一致しない
エッジ成分（７０５）を検出してこれが小さいほど整合
性がよいと判定する。図８では、同様に認識対象（８０
１）から得られた実際の入力距離画像（８０３）と、仮
説の一つ（８０２）から推定された推定距離画像（８０
４）とを比較し、距離データが一致しない部分（８０
５）を検出してこれが小さいほど整合性が高いと判断す
るものである。
定画像の比較が行なわれる（６０７）。 濃淡エッジ画
像に関しては、エッジ画像比較手段 （４０８）によっ
て推定エッジ画像と入力エッジ画像との比較が行なわ
れ、距離画像に関しては、距離画像比較手段（４０９）
によって推定距離画像と入力距離画像との比較が行なわ
れる。図７および図８には、これら画像比較の方法を摸
式的に例示している。図７においては、実際の認識対象
となる３次元シーン（７０１）から得られた入力エッジ
画像（７０３）と、仮説のひとつ（７０２）から推定さ
れた推定エッジ画像（７０４）とを比較し、一致しない
エッジ成分（７０５）を検出してこれが小さいほど整合
性がよいと判定する。図８では、同様に認識対象（８０
１）から得られた実際の入力距離画像（８０３）と、仮
説の一つ（８０２）から推定された推定距離画像（８０
４）とを比較し、距離データが一致しない部分（８０
５）を検出してこれが小さいほど整合性が高いと判断す
るものである。
【００３９】ＳＴ５０９では、評価された画像の整合性
が、これまで計算されたすべての仮説のもつ整合度より
も高い整合度を持つ場合にはその仮説を最良仮説として
登録し（ＳＴ５１０）、そうでない場合にはすべての仮
説を調べるまでＳＴ５０７〜ＳＴ５１１までの処理を繰
り返す。この処理は最良仮説選択手段（４１０）によっ
て行なわれる。
が、これまで計算されたすべての仮説のもつ整合度より
も高い整合度を持つ場合にはその仮説を最良仮説として
登録し（ＳＴ５１０）、そうでない場合にはすべての仮
説を調べるまでＳＴ５０７〜ＳＴ５１１までの処理を繰
り返す。この処理は最良仮説選択手段（４１０）によっ
て行なわれる。
【００４０】すべての仮説に対して推定画像と入力エッ
ジ画像との整合性を評価し、最も整合性の高い仮説が得
られたならば、それを最良の仮説すなわち認識結果とし
て出力し、処理を終了する（ＳＴ５１２）。
ジ画像との整合性を評価し、最も整合性の高い仮説が得
られたならば、それを最良の仮説すなわち認識結果とし
て出力し、処理を終了する（ＳＴ５１２）。
【００４１】以上説明したように、実施の形態２では、
あらかじめエッジ画像から多数抽出した物体候補の配置
の組合せとしてシーン記述の仮説を多数生成し、その中
から最も実際の入力画像と整合する仮説を選ぶことによ
り複数の物体を同時に認識するのである。図６では、仮
説Ｈ3 が最も入力画像と整合性の高い仮説であると判定
され（６０８）ている。
あらかじめエッジ画像から多数抽出した物体候補の配置
の組合せとしてシーン記述の仮説を多数生成し、その中
から最も実際の入力画像と整合する仮説を選ぶことによ
り複数の物体を同時に認識するのである。図６では、仮
説Ｈ3 が最も入力画像と整合性の高い仮説であると判定
され（６０８）ている。
【００４２】本実施の形態２においては、濃淡エッジ画
像と距離画像を用いているので濃淡エッジ画像のみを用
いる実施の形態１に比べて、より信頼性の高い物体配置
の認識が可能である。
像と距離画像を用いているので濃淡エッジ画像のみを用
いる実施の形態１に比べて、より信頼性の高い物体配置
の認識が可能である。
【００４３】なお本実施の形態２では、物体候補の抽出
手法としてエッジ画像によるテンプレートマッチングを
用いたが、通常の濃淡画像によるテンプレートマッチン
グや、濃淡画像を一旦２値化して２値画像のテンプレー
トマッチングを用いる方法や、エッジ検出結果からハフ
変換などのパラメトリックなパターン抽出の手法により
箱状物体の特徴的なパターンを抽出して候補として扱う
こともできる。
手法としてエッジ画像によるテンプレートマッチングを
用いたが、通常の濃淡画像によるテンプレートマッチン
グや、濃淡画像を一旦２値化して２値画像のテンプレー
トマッチングを用いる方法や、エッジ検出結果からハフ
変換などのパラメトリックなパターン抽出の手法により
箱状物体の特徴的なパターンを抽出して候補として扱う
こともできる。
【００４４】また、本実施の形態２では、距離画像取得
手段として、濃淡画像の取得手段とカメラ光軸を共有す
る光学系を有する方法を例にしたが、これら情報取得手
段の相互位置関係が既知であれば、必ずしもカメラ光軸
を共有する必要はなく、本発明において同様の効果を奏
することはいうまでもない。
手段として、濃淡画像の取得手段とカメラ光軸を共有す
る光学系を有する方法を例にしたが、これら情報取得手
段の相互位置関係が既知であれば、必ずしもカメラ光軸
を共有する必要はなく、本発明において同様の効果を奏
することはいうまでもない。
【００４５】さて、以上説明した実施の形態２では、冒
頭でも述べたように認識すべき対象物体として多面体即
ち箱状の物体の単一品種物体を想定していた。しかしな
がら、例えばセメント袋、米袋などの袋状の物体であっ
ても、本発明の構成要素を何ら変更することなく同一の
構成で画像認識を実現することができる。
頭でも述べたように認識すべき対象物体として多面体即
ち箱状の物体の単一品種物体を想定していた。しかしな
がら、例えばセメント袋、米袋などの袋状の物体であっ
ても、本発明の構成要素を何ら変更することなく同一の
構成で画像認識を実現することができる。
【００４６】また、以上説明した実施の形態２では、単
一の品種の物体が積まれている状況を想定したが、処理
装置内部に複数の物体の寸法データをあらかじめ格納し
ておき、複数の物体候補を生成し、その配置組合せとし
てシーン仮説を生成しさえすれば、異なる種類の物体が
複数個積まれている状況に対しても同様な効果を奏する
ことはいうまでもない。
一の品種の物体が積まれている状況を想定したが、処理
装置内部に複数の物体の寸法データをあらかじめ格納し
ておき、複数の物体候補を生成し、その配置組合せとし
てシーン仮説を生成しさえすれば、異なる種類の物体が
複数個積まれている状況に対しても同様な効果を奏する
ことはいうまでもない。
【００４７】実施の形態３．図９は本発明の実施の形態
３による物品認識装置の構成を示すブロック図であり、
図１０は本発明の実施の形態３による物品認識装置の動
作の流れを示すフローチャートである。以下、このフロ
ーチャートにそって本物品認識装置の動作を説明する。
３による物品認識装置の構成を示すブロック図であり、
図１０は本発明の実施の形態３による物品認識装置の動
作の流れを示すフローチャートである。以下、このフロ
ーチャートにそって本物品認識装置の動作を説明する。
【００４８】装置が起動されると（ＳＴ１００１）、画
像取得手段（９０１）によって認識対象の濃淡画像が入
力される（ＳＴ１００２）。画像取得手段はたとえば白
黒ＣＣＤカメラであり、物体が積まれたパレットの上方
に鉛直下方に向けて配置される。画像取得手段によって
入力された濃淡画像はエッジ検出が行なわれ（ＳＴ１０
０３）、エッジ情報をもとにテンプレートマッチングに
よって箱状物体のコーナー部が検出され、物体候補抽出
手段（９０２）によって物体候補が抽出される（ＳＴ１
００４）。続くＳＴ１００５では、物体配置仮説生成手
段（９０３）によって前記複数の物体候補の配置の組合
せを、物体配置仮説として生成する。物体候補抽出およ
び物体候補からの仮説の生成については、実施の形態１
における図３と同様の動作となる。
像取得手段（９０１）によって認識対象の濃淡画像が入
力される（ＳＴ１００２）。画像取得手段はたとえば白
黒ＣＣＤカメラであり、物体が積まれたパレットの上方
に鉛直下方に向けて配置される。画像取得手段によって
入力された濃淡画像はエッジ検出が行なわれ（ＳＴ１０
０３）、エッジ情報をもとにテンプレートマッチングに
よって箱状物体のコーナー部が検出され、物体候補抽出
手段（９０２）によって物体候補が抽出される（ＳＴ１
００４）。続くＳＴ１００５では、物体配置仮説生成手
段（９０３）によって前記複数の物体候補の配置の組合
せを、物体配置仮説として生成する。物体候補抽出およ
び物体候補からの仮説の生成については、実施の形態１
における図３と同様の動作となる。
【００４９】次に、生成された複数仮説の中から最も正
しい仮説を選択する処理について説明する。複数の仮説
すべてについて、ＳＴ１００６では、推定画像生成手段
（９０４）によって仮説に相当する濃淡エッジ画像を推
定して生成する。さらに、これら推定画像を画像比較手
段（９０５）によって入力画像と比較し、整合性を判定
する（ＳＴ１００７）。ＳＴ１００８では、整合性があ
らかじめ設定したしきい値より高い仮説を、優良な仮説
として優良仮説表示手段（９０７）によって人間の操作
者（９０８）に対して、例えば図３（３０４）のような
３次元的表示によって表示する。人間の操作者は複数の
優良な仮説を、目視で確認し、最も正しいと思われる仮
説を選択仮説指示手段（９０９）によって指示する（Ｓ
Ｔ１００９）。
しい仮説を選択する処理について説明する。複数の仮説
すべてについて、ＳＴ１００６では、推定画像生成手段
（９０４）によって仮説に相当する濃淡エッジ画像を推
定して生成する。さらに、これら推定画像を画像比較手
段（９０５）によって入力画像と比較し、整合性を判定
する（ＳＴ１００７）。ＳＴ１００８では、整合性があ
らかじめ設定したしきい値より高い仮説を、優良な仮説
として優良仮説表示手段（９０７）によって人間の操作
者（９０８）に対して、例えば図３（３０４）のような
３次元的表示によって表示する。人間の操作者は複数の
優良な仮説を、目視で確認し、最も正しいと思われる仮
説を選択仮説指示手段（９０９）によって指示する（Ｓ
Ｔ１００９）。
【００５０】人間によって選択された最終的な仮説は、
最良仮説選択手段（９１０）によって最良仮説、即ち認
識結果であるとして登録され、処理を終了する（ＳＴ１
０１１）。以上説明したように、実施の形態３では、あ
らかじめエッジ画像から多数抽出した物体候補の配置の
組合せとしてシーン記述の仮説を多数生成し、その中か
ら最も実際の入力画像と整合する仮説を選ぶことで複数
の物体を同時に認識するが、その際に、整合性がある程
度高いもの複数個をピックアップして人間に見せ、人間
が介在して最終的な認識を行なうことで複雑な判定を正
確に行なうように動作する。
最良仮説選択手段（９１０）によって最良仮説、即ち認
識結果であるとして登録され、処理を終了する（ＳＴ１
０１１）。以上説明したように、実施の形態３では、あ
らかじめエッジ画像から多数抽出した物体候補の配置の
組合せとしてシーン記述の仮説を多数生成し、その中か
ら最も実際の入力画像と整合する仮説を選ぶことで複数
の物体を同時に認識するが、その際に、整合性がある程
度高いもの複数個をピックアップして人間に見せ、人間
が介在して最終的な認識を行なうことで複雑な判定を正
確に行なうように動作する。
【００５１】なお本実施の形態３では、物体候補の抽出
手法としてエッジ画像によるテンプレートマッチングを
用いたが、通常の濃淡画像によるテンプレートマッチン
グや、濃淡画像を一旦２値化して２値画像のテンプレー
トマッチングを用いる方法や、エッジ検出結果からハフ
変換などのパラメトリックなパターン抽出の手法により
箱状物体の特徴的なパターンを抽出して候補として扱う
こともできる。
手法としてエッジ画像によるテンプレートマッチングを
用いたが、通常の濃淡画像によるテンプレートマッチン
グや、濃淡画像を一旦２値化して２値画像のテンプレー
トマッチングを用いる方法や、エッジ検出結果からハフ
変換などのパラメトリックなパターン抽出の手法により
箱状物体の特徴的なパターンを抽出して候補として扱う
こともできる。
【００５２】また、本実施の形態３では、推定画像と入
力画像との整合性判定において、濃淡エッジ画像を用い
る方法を説明したが、濃淡画像を直接推定できる場合に
は濃淡画像を用いたり、２値画像に変換して整合性を比
較したり、あるいは画像取得手段としてカラーカメラを
用いる場合にはカラー情報を使った整合性比較を行なっ
ても同様の効果が得られることはいうまでもない。無
論、実施の形態２のように距離画像を併用した整合性判
定を行なっても良い。
力画像との整合性判定において、濃淡エッジ画像を用い
る方法を説明したが、濃淡画像を直接推定できる場合に
は濃淡画像を用いたり、２値画像に変換して整合性を比
較したり、あるいは画像取得手段としてカラーカメラを
用いる場合にはカラー情報を使った整合性比較を行なっ
ても同様の効果が得られることはいうまでもない。無
論、実施の形態２のように距離画像を併用した整合性判
定を行なっても良い。
【００５３】
【発明の効果】本発明は、以上説明したように構成され
ているので、以下に示すような効果を奏する。
ているので、以下に示すような効果を奏する。
【００５４】本発明の第１の構成である物品認識装置に
よれば、画像取得手段と、画像から物体の候補を抽出す
る物体候補抽出手段と、物体候補の配置の組合せの仮説
を少なくとも１つ生成する物体配置仮説生成手段と、前
記各仮説から推定される入力画像を生成する推定画像生
成手段と、前記推定画像と実際に画像取得手段により入
力された入力画像とを比較し整合性を評価する画像比較
手段と、この比較によって最も実際の入力情報に近い推
定画像を発生する前記仮説を最良仮説として選択する最
良仮説選択手段とを備えたので、物体配置の基準パター
ンとの一致を要求されることなく、任意の物体配置を認
識することができる。
よれば、画像取得手段と、画像から物体の候補を抽出す
る物体候補抽出手段と、物体候補の配置の組合せの仮説
を少なくとも１つ生成する物体配置仮説生成手段と、前
記各仮説から推定される入力画像を生成する推定画像生
成手段と、前記推定画像と実際に画像取得手段により入
力された入力画像とを比較し整合性を評価する画像比較
手段と、この比較によって最も実際の入力情報に近い推
定画像を発生する前記仮説を最良仮説として選択する最
良仮説選択手段とを備えたので、物体配置の基準パター
ンとの一致を要求されることなく、任意の物体配置を認
識することができる。
【００５５】本発明の第２の構成である物品認識装置に
よれば、前記第１の構成による物品認識装置において、
前記画像取得手段として濃淡画像取得手段および距離画
像取得手段を有し、前記物体候補抽出手段として濃淡画
像から抽出したエッジ情報から物体の候補を抽出する手
段を持ち、前記物体配置仮説生成手段によって生成され
た各仮説から推定エッジ画像を生成する手段および推定
距離画像を生成する手段を備え、これら推定画像と実際
の入力画像との比較によって最良仮説を選択するように
したので、画像取得手段として濃淡画像取得手段と距離
画像取得手段を併用したので、より信頼性の高い物体配
置の認識が可能である。
よれば、前記第１の構成による物品認識装置において、
前記画像取得手段として濃淡画像取得手段および距離画
像取得手段を有し、前記物体候補抽出手段として濃淡画
像から抽出したエッジ情報から物体の候補を抽出する手
段を持ち、前記物体配置仮説生成手段によって生成され
た各仮説から推定エッジ画像を生成する手段および推定
距離画像を生成する手段を備え、これら推定画像と実際
の入力画像との比較によって最良仮説を選択するように
したので、画像取得手段として濃淡画像取得手段と距離
画像取得手段を併用したので、より信頼性の高い物体配
置の認識が可能である。
【００５６】本発明の第３の構成である物品認識装置に
よれば、前記第１の構成による物品認識装置において、
前記画像比較手段によって算出した入力画像と定画像と
の整合性評価結果に基づき、高い整合性を有する複数の
仮説を優良仮説として選択する優良仮説選択手段と、前
記優良仮説を表示する優良仮説表示手段と、表示された
仮説を人間が確認し、最も好ましい仮説を指示する選択
仮説指示手段と、指示された仮説を最良仮説として選択
する最良仮説選択手段を備えたもので、提示された複数
の仮説の中から、操作者が最良の仮説を選択できる様に
したので、更に信頼性の高い物体配置の認識が可能であ
る。
よれば、前記第１の構成による物品認識装置において、
前記画像比較手段によって算出した入力画像と定画像と
の整合性評価結果に基づき、高い整合性を有する複数の
仮説を優良仮説として選択する優良仮説選択手段と、前
記優良仮説を表示する優良仮説表示手段と、表示された
仮説を人間が確認し、最も好ましい仮説を指示する選択
仮説指示手段と、指示された仮説を最良仮説として選択
する最良仮説選択手段を備えたもので、提示された複数
の仮説の中から、操作者が最良の仮説を選択できる様に
したので、更に信頼性の高い物体配置の認識が可能であ
る。
【図１】 本発明の実施の形態１による物品認識装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図２】 本発明の実施の形態１による物品認識装置の
動作の流れを示すフローチャートである。
動作の流れを示すフローチャートである。
【図３】 本発明の実施の形態の処理の様子を摸式的に
表した図である。
表した図である。
【図４】 本発明の実施の形態２による物品認識装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図５】 本発明の実施の形態２による物品認識装置の
動作の流れを示すフローチャートである。
動作の流れを示すフローチャートである。
【図６】 本発明の実施の形態の処理の様子を摸式的に
表した図である。
表した図である。
【図７】 画像比較の方法を摸式的に例示した図であ
る。
る。
【図８】 画像比較の方法を摸式的に例示した図であ
る。
る。
【図９】 本発明の実施の形態３による物品認識装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図１０】 本発明の実施の形態３による物品認識装置
の動作の流れを示すフローチャートである。
の動作の流れを示すフローチャートである。
【図１１】 従来の技術１の内容を説明するための図で
ある。
ある。
【図１２】 従来の技術１の実施例の動作を示すフロー
チャートである。
チャートである。
【図１３】 従来の技術１実施例に関わる説明図であ
る。
る。
【図１４】 従来の技術２の内容を説明するための図で
ある。
ある。
【図１５】 従来の技術２の実施例の動作を示すフロー
チャートである。
チャートである。
【図１６】 従来の技術２の内容を説明するための図で
ある。
ある。
【図１７】 従来の技術２の内容を説明するための図で
ある。
ある。
１０１ 画像取得手段、１０２ 物体候補抽出手段、１
０３ 物体配置仮説生成手段、４０１ 濃淡画像取得手
段、４０２ エッジ検出手段、４０８ エッジ画像比較
手段、４０９ 距離画像比較手段、４１０ 最良仮説選
択手段、６００３次元シーン、６０１ 白黒ＣＣＤカメ
ラ、６０２ 濃淡エッジ画像、７０１３次元シーン、７
０３ 入力エッジ画像、７０４ 推定エッジ画像、８０
１認識対象、８０３ 入力距離画像、８０４ 測定距離
画像、９０２ 物体候補抽出手段、９０３ 物体配置仮
説生成手段、９０４ 推定画像生成手段、９０５画像比
較手段、９０７ 優良仮説表示手段、９０８ 操作者、
９０９ 選択仮説指示手段、９１０ 最良仮説選択手
段。
０３ 物体配置仮説生成手段、４０１ 濃淡画像取得手
段、４０２ エッジ検出手段、４０８ エッジ画像比較
手段、４０９ 距離画像比較手段、４１０ 最良仮説選
択手段、６００３次元シーン、６０１ 白黒ＣＣＤカメ
ラ、６０２ 濃淡エッジ画像、７０１３次元シーン、７
０３ 入力エッジ画像、７０４ 推定エッジ画像、８０
１認識対象、８０３ 入力距離画像、８０４ 測定距離
画像、９０２ 物体候補抽出手段、９０３ 物体配置仮
説生成手段、９０４ 推定画像生成手段、９０５画像比
較手段、９０７ 優良仮説表示手段、９０８ 操作者、
９０９ 選択仮説指示手段、９１０ 最良仮説選択手
段。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 黒田 伸一
東京都千代田区丸の内二丁目２番３号
三菱電機株式会社内
(56)参考文献 特開 平７−88791（ＪＰ，Ａ)
特開 平７−299782（ＪＰ，Ａ)
特開 平６−249631（ＪＰ，Ａ)
特開 平８−293029（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G01B 11/00
G06T 1/00
G01N 21/84 - 21/958
H04N 7/18
Claims (3)
- 【請求項１】 画像取得手段と、画像から物体の候補を
抽出する物体候補抽出手段と、物体候補の配置の組合せ
の仮説を少なくとも１つ生成する物体配置仮説生成手段
と、前記各仮説から推定される入力画像を生成する推定
画像生成手段と、前記推定画像と実際に画像取得手段に
より入力された入力画像とを比較し整合性を評価する画
像比較手段と、この比較によって最も実際の入力情報に
近い推定画像を発生する前記仮説を最良仮説として選択
する最良仮説選択手段とを備えたことを特徴とする物品
認識装置。 - 【請求項２】 前記請求項１の発明において、前記画像
取得手段として濃淡画像取得手段および距離画像取得手
段を有し、前記物体候補抽出手段として濃淡画像から抽
出したエッジ情報から物体の候補を抽出する手段を持
ち、前記物体配置仮説生成手段によって生成された各仮
説から推定エッジ画像を生成する手段および推定距離画
像を生成する手段を備え、これら推定画像と実際の入力
画像との比較によって最良仮説を選択することを特徴と
する物品認識装置。 - 【請求項３】 前記請求項１の発明において、前記画像
比較手段によって算出した入力画像と推定画像との整合
性評価結果に基づき、高い整合性を有する複数の仮説を
優良仮説として選択する優良仮説選択手段と、前記優良
仮説を表示する優良仮説表示手段と、表示された仮説を
人間が確認し、最も好ましい仮説を指示する選択仮説指
示手段と、指示された仮説を最良仮説として選択する最
良仮説選択手段を備えたことを特徴とする物品認識装
置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34826997A JP3444171B2 (ja) | 1997-12-17 | 1997-12-17 | 物品認識装置 |
| TW087105127A TW364108B (en) | 1997-12-17 | 1998-04-04 | Goods recognition apparatus |
| KR1019980019189A KR100276445B1 (ko) | 1997-12-17 | 1998-05-27 | 물품인식장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34826997A JP3444171B2 (ja) | 1997-12-17 | 1997-12-17 | 物品認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11175729A JPH11175729A (ja) | 1999-07-02 |
| JP3444171B2 true JP3444171B2 (ja) | 2003-09-08 |
Family
ID=18395904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34826997A Expired - Fee Related JP3444171B2 (ja) | 1997-12-17 | 1997-12-17 | 物品認識装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP3444171B2 (ja) |
| KR (1) | KR100276445B1 (ja) |
| TW (1) | TW364108B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10315865B2 (en) | 2015-11-12 | 2019-06-11 | Kabushiki Kaisha Toshiba | Conveying device, conveying system, and conveying method |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3785061B2 (ja) * | 2000-10-27 | 2006-06-14 | 三菱重工業株式会社 | 荷役クレーンにおけるコンテナ位置検知方法及び装置並びにコンテナ着床、段積制御方法 |
| JP2006300929A (ja) * | 2005-03-22 | 2006-11-02 | Jfe Engineering Kk | 物体の３次元位置認識装置およびデパレタイズシステム |
| KR101097732B1 (ko) | 2009-12-02 | 2011-12-22 | 한국생산기술연구원 | 로봇의 물체인식 능력 평가 시스템 및 평가 방법 |
| JP6686890B2 (ja) * | 2014-10-03 | 2020-04-22 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3028016B2 (ja) * | 1993-02-26 | 2000-04-04 | 村田機械株式会社 | 積荷の三次元画像計測方法 |
| JP3426002B2 (ja) * | 1993-09-20 | 2003-07-14 | 三菱電機株式会社 | 物体認識装置 |
| JP3516067B2 (ja) * | 1994-04-26 | 2004-04-05 | 川崎重工業株式会社 | デパレタイズ用画像作成方法および画像作成装置 |
| JPH08293029A (ja) * | 1995-04-20 | 1996-11-05 | Kobe Steel Ltd | 箱状物体の積重ね状態認識装置 |
-
1997
- 1997-12-17 JP JP34826997A patent/JP3444171B2/ja not_active Expired - Fee Related
-
1998
- 1998-04-04 TW TW087105127A patent/TW364108B/zh not_active IP Right Cessation
- 1998-05-27 KR KR1019980019189A patent/KR100276445B1/ko not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10315865B2 (en) | 2015-11-12 | 2019-06-11 | Kabushiki Kaisha Toshiba | Conveying device, conveying system, and conveying method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100276445B1 (ko) | 2000-12-15 |
| JPH11175729A (ja) | 1999-07-02 |
| TW364108B (en) | 1999-07-11 |
| KR19990062408A (ko) | 1999-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5773436B2 (ja) | 情報端末装置 | |
| JPH07141463A (ja) | ２値画像内の機械印刷された金額の検出方法 | |
| US11232589B2 (en) | Object recognition device and object recognition method | |
| TW201104508A (en) | Stereoscopic form reader | |
| TWI500925B (zh) | Check the device, check the method and check the program | |
| CN113592886A (zh) | 建筑图纸的审图方法、装置、电子设备及介质 | |
| WO2014063836A1 (en) | Method and device for identifying a two-dimensional barcode | |
| US8913852B2 (en) | Band-based patch selection with a dynamic grid | |
| JP3444171B2 (ja) | 物品認識装置 | |
| JP5111055B2 (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
| EP2458556A1 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program therefor | |
| JP7419846B2 (ja) | 液面検出方法及び液面検出装置 | |
| JP4919171B2 (ja) | 文字読取り装置、文字読取り方法及び該文字読取り装置に用いられる文字読取り制御プログラム | |
| EP0651337A1 (en) | Object recognizing method, its apparatus, and image processing method and its apparatus | |
| JP2001076055A (ja) | 査定金額算出方法及び損害査定システム | |
| JP2001074452A (ja) | 写真測量用画像処理装置、写真測量用画像処理方法および写真測量用画像処理プログラムを格納した記憶媒体 | |
| JP2006229685A (ja) | 帳票歪み判定装置 | |
| JP4675055B2 (ja) | マーカ処理方法、マーカ処理装置、プログラム、および、記録媒体 | |
| US7346193B2 (en) | Method for detecting object traveling direction | |
| JP2002536709A (ja) | 第１の構造と少なくとも１つの予め設定された第２の構造との類似度を算出するための方法及び装置 | |
| JP3607433B2 (ja) | 建設図面の電気記号抽出方法及びその装置 | |
| US20170200383A1 (en) | Automated review of forms through augmented reality | |
| JP2024004231A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| JP6909360B1 (ja) | 物体計測装置、及び計測装置 | |
| JPH11183159A (ja) | 画像処理装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080627 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080627 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090627 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |