JPH07302343A - 物体認識システム及び方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、画像処理を利用してシーン
内の物体を認識するシステムおよび装置を提供すること
である。 【構成】 このシステムには、シーンを照明するための
光源が含まれる。光源を制御することによって、画像処
理システムは、高いレベルで照明された物体を含むシー
ンの第１のディジタル化された画像と、低いレベルで照
明された物体を含む第２のディジタル化された画像を撮
影することができる。アルゴリズムを使用して、撮影さ
れた２つのディジタル化された画像を比較することによ
って、シーンの背景画像から物体画像をセグメント化す
る。処理された物体の画像（特徴の特性記述に使用する
ことができる）を、記憶された基準画像と比較する。一
致が発生する時に、物体が認識される。このシステム
は、寸法や個数と無関係に物体を認識することができ、
元々認識するようにプログラムされていない物体を認識
するようにトレーニングすることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータ化された
光学走査装置を使用する物体の認識（すなわち、識別、
分類、格付けおよび検証）の分野に関する。具体的に言
うと、本発明は、画像処理を使用する嵩高品目の認識に
関するトレーニング可能なシステムおよび方法である。

【０００２】

【従来の技術】画像処理システムは、物体の認識に関す
る従来技術に存在する。これらのシステムは、ヒストグ
ラムを使用してこの認識を実行することがしばしばであ
る。一般的なヒストグラム方法では、物体を含む（カラ
ーの）画像から、グレイ・スケール・ヒストグラムまた
は色ヒストグラムのいずれかを展開する。その後、これ
らのヒストグラムを、基準画像のヒストグラムと直接に
比較する。もしくは、ヒストグラムの特徴を抽出し、基
準物体を含む画像のヒストグラムから抽出された特徴と
比較する。

【０００３】これらのヒストグラムの基準ヒストグラム
または基準特徴は、通常はコンピュータ記憶装置に記憶
される。従来技術では、しばしば、これらの方法を実行
して、画像内の目標物体が実際に予期された物体である
ことを検証し、おそらくは、基準ヒストグラムに対する
相対的な外見の質に従って、その物体を格付けまたは分
類する。これに代わる目的としては、目標画像の物体の
ヒストグラムを、複数の物体の基準画像のヒストグラム
と比較することによって、目標物体を識別することが考
えられる。

【０００４】本明細書において、識別とは、基準物体ま
たは基準クラスの組を前提に、目標物体がどの基準物体
であるか、または、目標物体がどの基準クラスに属する
かの判定と定義される。分類または格付けとは、目標物
体が、特定の物体であると判ることか、その物体の質が
ある定量的な値であることか、その両方の判定と定義さ
れる。ここで、クラスの１つを「拒絶」クラスとするこ
とができる。これは、物体の質が低すぎるか、物体が既
知のクラスの構成要素でないかのいずれかを意味する。
その一方で、検証とは、目標が特定の物体またはクラス
であることが判ることの判定であり、単にこれが真か偽
かを検証することと定義される。認識とは、識別、分
類、格付けまたは検証もしくはこれらの任意の組合せと
定義される。

【０００５】嵩高品目には、スーパーマーケットや食料
品店、小売店、金物屋で大量に販売される品目が含まれ
る。例としては、農産物（果物と野菜）、砂糖、コーヒ
ー豆、キャンディ、釘、ナット、ボルト、金物全般、部
品、パッケージ品が含まれる。

【０００６】画像処理において、ディジタル画像は、絵
を画素と称する固定された数の位置に分割し、これらの
画素での画像の値を固定された個数の値に量子化するこ
とによって離散表現に変換された、カメラからのアナロ
グ画像である。結果のディジタル画像をコンピュータ・
アルゴリズムによって処理して、他の画像を展開するこ
とができる。これらの画像は、記憶装置に記憶したり、
写された物体に関する情報の判定に使用することができ
る。画素とは、ディジタル画像の画像要素である。

【０００７】画像処理とコンピュータ視覚は、画像を修
正したり、画像から結像された物体の正体や位置などの
特性を得るために、コンピュータによってディジタル画
像を処理することである。

【０００８】シーンには、１つまたは複数の問題の物体
と、その物体と共に結像される周囲とが含まれる。これ
らの周囲を、背景と呼ぶ。背景は通常、カメラから問題
の物体より遠くにある。

【０００９】セグメント化（図形／地分離とも称する）
とは、シーンの画像を物体画像と背景画像に分離するこ
とである。セグメント化は、物体の画像に含まれる画像
画素を、背景の画像に属する画素から識別することを指
す。セグメント化された物体画像は、完全なシーンの原
画像での物体を含む画素の集合である。セグメント化さ
れた物体画像の面積は、物体画像内の画素の数である。

【００１０】照明とは、シーンとその中の物体を照らす
光である。シーン全体の照明が、シーン内の個々の物体
の照明を直接に決定し、したがって、ビデオ・カメラな
どの結像装置に受け取られる物体の反射光を決定する。

【００１１】周囲照明とは、ある物体の結像のために特
に使用される特殊な光を除く全ての光源からの照明であ
る。たとえば、周囲照明は、屋外の太陽や屋内の室内灯
など、環境内で発生する光源に起因する照明である。

【００１２】グレアまたは鏡面反射とは、光沢のある
（鏡のような、おそらくは局所的な鏡面反射特性を示
す）物体から反射される大量の光である。グレアの色
は、ほとんどが照明光の色である（物体の本来の色では
ない）。

【００１３】画像の特徴は、計算によって抽出できる画
像の特性のいずれかとして定義される。通常、特徴は、
たとえばＲ０ないしＲ１など、特定の範囲内にある数値
を有する。従来技術では、画像全体または画像内のウィ
ンドウ（部分画像）に対してヒストグラムを計算する。
ある画像の特徴のヒストグラムは、画像またはウィンド
ウ全体の特徴値の分布を数値的に表現したものである。
特徴のヒストグラムは、特徴の範囲Ｒ０ないしＲ１をＭ
個の区間（ビン）に分割し、画素ごとに特徴を計算する
ことによって得られる。各ビンに含まれる画像画素また
はウィンドウ画素を数えるだけで、特徴ヒストグラムが
得られる。

【００１４】画像特徴には、色とテクスチャが含まれる
が、これに限られるものではない。色は、例えば色相と
彩度または画素の他の色記述（下で説明する）のように
２次元の特性であるが、しばしば、３次元の特性とし
て、すなわち赤、緑および青（ＲＧＢ）として扱われ
る。従来技術では、（１）ＲＧＢ空間、（２）反対色空
間、（３）マンセル（Ｈ、Ｖ、Ｃ）色空間および（４）
色相、彩度および輝度（Ｈ、Ｓ、Ｉ）空間を含む、様々
な色記述が使用されている。後者の場合、マンセル空間
に類似しているが、色相は画素の色（赤から緑、青へ）
を指し、彩度は色の「深さ」（たとえば、淡い緑から濃
い緑まで）を指し、輝度は明るさ、またはグレイ・スケ
ール画像でその画素がどのように見えるかを指す。

【００１５】その一方で、テクスチャは、計算的に把握
がはるかに困難な視覚的な画像特徴であり、単一画素に
帰することはできないが、画像データのパッチに帰する
特徴である。画像パッチのテクスチャは、そのパッチ内
での空間的な輝度変動の記述である。これは、朝鮮あざ
みやパイナップルのパターンのような（テクセルの）繰
返しパターンであるか、パセリの葉のパターンのような
ランダムなパターンである可能性がある。これらをそれ
ぞれ構造的テクスチャまたは統計的テクスチャと称す
る。広い範囲のテクスチャが存在し、２次元平面の碁盤
目上のテクセルという純粋に決定的な配置から、「塩と
胡椒」のホワイト・ノイズまでに及ぶ。画像テクスチャ
に関する研究は、３０年以上にわたって進められてお
り、１次元または多次元の計算的測定が開発されてき
た。しかし、従来技術では、テクスチャ特徴のヒストグ
ラムは、本発明人の知る範囲では存在しない。

【００１６】画像内のある境界の形状は、複数の境界画
素の特徴である。境界形状とは、曲率半径などの局所的
な特徴を指す。リンゴは、おおむね一定の曲率の境界を
有するが、キュウリは、低い曲率の部分、低い負の曲率
の部分、および２つの高い曲率の部分（両端）を有す
る。他の境界形状尺度を使用することもできる。

【００１７】従来技術の一部では、色ヒストグラムを使
用して物体を識別する。目標物体の（Ｒ、Ｇ、Ｂ）カラ
ー画像に対して、ヒストグラムに使用される色表現は、
反対色すなわち、ｒｇ＝Ｒ−Ｇ、ｂｙ＝２×Ｂ−Ｒ−Ｇ
およびｗｂ＝Ｒ＋Ｇ＋Ｂである。ｗｂ軸は、８つの部分
に分割され、ｒｇ軸とｂｙ軸は、１６個の部分に分割さ
れる。これは、２０４８ビンの３次元ヒストグラムをも
たらす。このシステムは、６６個の事前に記憶された基
準画像ヒストグラムに対して目標画像のヒストグラムを
照合する。６６個の事前に記憶された基準画像ヒストグ
ラムの組は、固定されており、したがって、これはトレ
ーニング可能なシステムではない、すなわち、ある場合
で認識されない目標画像は、後の場合にも認識されな
い。

【００１８】米国特許第５０６０２９０号明細書に、グ
レイ・スケール・ヒストグラムに基づくアーモンドの格
付けが開示されている。落下するアーモンドが、均一の
光を受け、リニア・カメラのそばを通過する。アーモン
ドの画像の１６段階に量子化されたグレイ・スケール・
ヒストグラムを展開する。このヒストグラムは、すべて
のビン・カウントを１７００で除算することによって正
規化される。この場合、１７００画素が、予想される最
大のアーモンドの寸法である。このヒストグラムから、
（１）ピークのグレイ値、（２）ヒストグラムの範囲、
（３）ピークの画素数、（４）ピークの右側のビンの画
素数および（５）ビン４の画素数という５つの特徴を抽
出する。参照テーブルを介して、８桁のコードを展開
し、このコードがライブラリ内にある場合、そのアーモ
ンドを受け入れる。このシステムは、トレーニング可能
ではない。許容可能な品質のアーモンドの外見は、アル
ゴリズムにハード・コードされており、このシステム
は、新しいアーモンドの例を見せることによって異なる
格付けを行うようにトレーニングすることができない。

【００１９】米国特許第４７３５３２３号明細書に、検
査される物体を位置合せし、搬送するための機構が開示
されている。このシステムは、具体的にはオレンジの格
付けに関する。搬送されるオレンジは、所定の波長範囲
内の光で照らされる。反射光を受け取り、電気信号に変
換する。６４ビンに分割されたレベル・ヒストグラムを
展開する。ここで レベル＝（反射光全体の強度）／（オレンジが反射した
緑の光の強度） である。このヒストグラムの中央値Ｎを決定し、これが
オレンジの色を表すものとみなす。Ｎに基づいて、オレ
ンジの発色を、「優」、「良」、「可」、「不可」の４
段階に分類することができ、さらに細かく格付けするこ
とができる。このシステムは、異なる格付けのオレンジ
の外見がアルゴリズムにハード・コードされている点
で、トレーニング可能ではない。

【００２０】グレイ・スケールと色ヒストグラムの使用
は、画像内の物体の格付または検証に非常に効果的な方
法である。この主な理由は、ヒストグラムが、画像内の
物体の位置や向きに依存しない、基準物体の非常にコン
パクトな表現であるということである。

【００２１】しかし、画像ヒストグラムに基づく認識が
機能するためには、いくつかの条件を満たす必要があ
る。すなわち（１）画像内の物体の寸法が大まかにわか
っていることと、（２）物体の吸蔵が比較的わずかであ
る（すなわち、物体の大半が、画像内にあり、他の物体
によって遮られていない）ことと、（３）基準物体ヒス
トグラムを展開する画像（基準画像）と目標物体ヒスト
グラムを展開する画像（目標画像）を撮影するシーンの
照明にほとんど差がないことと、（４）物体を背景から
簡単にセグメント化できるか、背景の乱れが比較的少な
いことが必要である。これらの条件の下で、目標物体画
像のヒストグラムと基準物体画像のヒストグラムの比較
が、従来技術で多数の方法で達成されてきた。

【００２２】従来技術に関する問題点の陳述 従来技術の照合システムおよび方法の一部は、背景の乱
れ、視点の変動、吸蔵および画像解像度の変化に対して
堅牢であると主張している。しかし、この従来技術の一
部では、ライティング条件が制御されない。これらのシ
ステムは、基準物体ヒストグラムを取得するための照明
の色が、目標物体画像ヒストグラムを得る時の照明の色
と異なる時に誤動作する。ある画像の１画像点のＲＧＢ
値は、照明の色に非常に依存する（しかし人間は、画像
全体を与えられればほとんど何の苦もなく色の名前を言
うことができる）。その結果、ある画像の色ヒストグラ
ムは、照明の色（光周波数分布）が変化した時に劇的に
変化する可能性がある。さらに、これら従来技術のシス
テムでは、物体が背景からセグメント化されず、したが
って、画像のヒストグラムは、面積正規化されない。こ
れは、正確な認識のために、目標画像内の物体が、基準
画像内の物体と同一の寸法でなければならないことを意
味する。というのは、画素寸法に関する物体寸法の変動
が、色ヒストグラムの大きな変化を引き起こす可能性が
あるからである。これはまた、画像のうちで背景に対応
する部分が、無色（たとえば黒）であるか、少なくとも
物体に存在しない色でなければならないことを意味し、
そうでなければ、導出される画像色ヒストグラムが大き
く攪乱される。

【００２３】米国特許第５０６０２９０号明細書に開示
されたものなどの従来技術は、画像内のアーモンドの寸
法が予想と劇的に異なる場合に誤動作する。やはり、こ
れは、そのシステムが背景から物体を明示的に分離しな
いからである。このシステムは、アーモンドの格付けだ
けに使用される。アーモンドと（たとえば）ピーナッツ
を区別することはできない。

【００２４】同様に、米国特許第４７３５３２３号明細
書に開示されたものなどの従来技術は、格付けの異なる
オレンジだけを認識する。赤味がかったグレープフルー
ツは、おそらく非常に大きいオレンジと判定されるであ
ろう。このシステムは、１時に複数の種類の果物を扱う
ようには設計されておらず、したがって、白に対する緑
の反射の比などの弱い特徴で間に合わせることができ
る。

【００２５】要約すると、米国特許第４７３５３２３号
明細書および米国特許第５０６０２９０号明細書を典型
とする農業界での従来技術の多くが、農産物品目の分類
または格付けに関連する。この従来技術は、物体／製品
／農産物が、１時に１つだけスキャナを通過する場合に
限って、それらを分類または格付けすることができる。
また、物体／製品／農産物の寸法の範囲（その物体に可
能な最小の寸法から最大の寸法まで）を前もって知って
おく必要がある。これらのシステムは、同時に複数の品
目を走査する場合、より正確に言えば、複数の物体が同
時に走査位置に現れる場合に、誤動作する。

【００２６】さらに、従来技術は、品目が所定の空間的
位置に搬送される際のライティング条件を注意深く制御
されることと、注意深く工作された高価な機械環境を必
要とすることがしばしばである。これらの装置は、ある
タイプの形状を有する物体（丸、楕円など）専用に設計
され、他の物体タイプを扱えるように変更することは不
可能であるか、少なくとも簡単ではない。物体の形状
は、物体搬送の手段を示唆し、この搬送手段が異なる物
体タイプを搬送することは、不可能または困難である。
これは、ブロッコリーや生姜などの半端な形状の物体の
場合に特にあてはまる。このことと、特定の物体のため
に特に選択された特徴を使用することから、従来技術で
は農産物の種類を区別できない。

【００２７】さらに、従来技術のいずれもが、人間また
はコンピュータの介入を介して、新しい品目を学習した
り古い品目を破棄する、トレーニング可能なシステムで
はない。すなわち、これらのシステムは、そのシステム
で元々プログラムされていない物体を認識したり、その
システムで元々プログラムされていた物体の認識を停止
するようにトレーニングすることができない。

【００２８】従来技術が効果的になれなかった領域の１
つが、農産物の集計である。農産物集計用の現在の手段
および方法には、問題がある。新鮮な農産物にラベル
（ＰＬＵ、値札）を貼り付けるのは、顧客と農産物の小
売／卸売業者に嫌われる。あらかじめパッケージ化され
た農産物は、パッケージ化のコスト増、処分（固形ご
み）、あらかじめパッケージ化された形態で農産物の品
質を検査できないことから、嫌われる。

【００２９】農産物集計の処理は、食料品店が初めて現
れて以来大きく変化してはいない。店頭（ＰＯＳ）で、
レジ係りが農産物の品目を認識し、その品目の重量を計
るか個数を数え、価格を判断しなければならない。現
在、ほとんどの店では、後者が、農産物に関連付けられ
た略号でないＰＬＵコードを手入力することによって達
成されている。これらのコードは、印刷されたリストの
形か、絵のある小冊子の形でＰＯＳで利用できる。

【００３０】この農産物集計の処理から、下記の複数の
問題が発生する。 （１）店のこうむる損（減価）。まず、レジ係りは、う
っかり誤ったコード番号を入力する可能性がある。これ
が顧客にとって有利な場合、その顧客は、この誤りにつ
いてレジ係りの注意を促す動機が少なくなる。第２に、
友人や親戚のために、レジ係りが故意により低価格の品
目のコードを入力する可能性がある（仲間内の値付
け）。 （２）農産物の識別という問題のために、農産物の集計
が集計処理の速度を低下させる傾向がある。 （３）新人のレジ係り全員に、農産物の名前と外見、お
よびＰＬＵコードについて教育する必要がある。

【００３１】

【発明が解決しようとする課題】本発明の目的は、農産
物などの物体を認識するための改良された装置および方
法を提供することである。

【００３２】本発明のもう１つの目的は、農産物などの
物体を認識するための改良されたトレーニング可能な装
置および方法を提供することである。

【００３３】本発明のもう１つの目的は、店頭または農
産物課で農産物などの物体を認識し値付けするための改
良された装置および方法を提供することである。

【００３４】本発明のもう１つの目的は、農産物など
の、自動化製品識別のためのユーザ・インターフェース
の改良された手段および方法を提供することである。

【００３５】

【課題を解決するための手段】本発明は、画像処理を使
用してシーン内の物体を認識するシステムおよび装置で
ある。このシステムには、シーンを照明するための光源
が含まれる。光源を制御することによって、画像処理シ
ステムが、より高いレベルで照明された物体を含むシー
ンの第１のディジタル化された画像と、より低いレベル
で照明された物体を含む第２のディジタル化された画像
とを撮影することができる。あるアルゴリズムを使用し
て、撮影した２つのディジタル化された画像を比較する
ことによって、物体画像をシーンの背景画像から新規な
形でセグメント化する。その後、物体の処理された画像
（特徴の特性記述に使用することができる）を、記憶さ
れた基準画像と比較する。物体は、一致が発生した時に
認識される。

【００３６】認識されない物体の処理済み画像に、ある
判断基準に基づいて、物体の識別を用いてラベルを付
け、記憶装置に記憶することができ、その結果、この認
識されない物体が、将来に結像される時に認識されるよ
うになる。この新規な形で、本発明は、以前には未知で
あった物体を認識するようにトレーニングされる。

【００３７】物体画像が、基準画像との比較の前に新規
な形で正規化されるので、物体の認識は、物体の寸法や
個数から独立している。

【００３８】任意指定として、物体の他の特徴（重量な
ど）を判定する装置とユーザ・インターフェースを、こ
のシステムと共に使用することができる。

【００３９】

【実施例】図１に示された装置１００は、画像処理を使
用して１つまたは複数の物体１３１を自動的に認識す
る、本発明の好ましい実施例の１つである。

【００４０】時間に関して一定の光周波数分布を有する
光源１１０が、物体１３１を照らす。この光は、非単色
であり、赤外周波数や紫外周波数を含んでよい。光が非
単色で一定周波数分布であることによって、物体１３１
の色の外見が、異なる画像の間での光の変動に起因する
変化を受けず、所与の物体の記憶された画像を、後にそ
の物体から撮影された画像と照合できることが保証され
る。好ましい光源は、フラッシュ管Mouser U-4425か、
２つのGE白色けい光球（２２Ｗと３３Ｗ）、GEFC8T9-CW
およびGE FC12T9-CWである。これらの光源は、周知であ
る。

【００４１】結像装置１２０を使用して、反射光線を画
像に変換する。通常、この画像は２次元である。好まし
いビデオ入力装置は、カラー・カメラであるが、光線を
画像に変換できる装置であれば、どのような装置でも使
用することができる。これらのカメラには、ＣＣＤカメ
ラとＣＩＤカメラが含まれるはずである。カラー・カメ
ラの出力は、ＲＧＢ、ＨＳＩ、ＹＣまたは他の色表現と
することができる。好ましいカメラの１つが、Sonyカー
ド・カメラCCB-C35YCまたはSony XC-999である。この結
像装置１２０のようなビデオ入力装置は、周知である。

【００４２】カラー画像は、本発明における好ましい感
覚様相である。しかし、他の感覚様相、たとえば、赤外
画像や紫外画像、匂い／香り（たとえば質量分析計によ
って測定可能）、熱減衰特性、超音波画像、磁気共鳴画
像、ＤＮＡ、基本振動数、剛性、硬さなどが可能であ
る。これらの様相は、物体１３１の照明、測定または標
本収集の既知の方法と、画像生成用の互換性を有する結
像装置１２０を用いて可能にすることができる。

【００４３】物体１３１は、装置１００によって結像さ
れ、認識される物体である。物体１３１に、１つまたは
複数の品目を含めることができる。物体１３１は、たと
えば１つまたは複数のリンゴなど、１種類であることが
好ましいが、これらの品目は、たとえばシリアルの箱
（物体Ａ）とリンゴ（物体Ｂ）など、異なる種類とする
ことができる。この場合、装置１００は、（１）物体
Ａ、（２）物体Ｂまたは（３）物体Ａと物体Ｂの両方の
いずれかとして物体を認識するか、（４）認識不能とし
てその物体を拒絶する。物体は、装置１００によって結
像することのできるものであれば事実上何でも構わない
が、好ましい物体１３１は、農産物（果物と野菜）、金
物、箱入りの品物などを含む嵩高品目である。

【００４４】通常はコンピュータである計算装置１４０
を使用して、結像装置１２０によって生成され、フレー
ム・グラバ１４２によってディジタル化（計算装置１４
０に対する互換性を有するように）された画像を処理す
る。

【００４５】この処理は、アルゴリズム２００によって
実行される。他の計算装置１４０には、パーソナル・コ
ンピュータとワークステーションが含まれる。計算装置
１４０は、独立型またはコンピュータ内蔵のいずれか
の、１つまたは複数のディジタル信号プロセッサとする
こともできる。これは、アルゴリズム２００を実施でき
る専用のハードウェアであってもよい。好ましい実施例
は、IBM社のValuePointコンピュータまたはIBM社の４６
９０シリーズのＰＯＳキャッシュ・レジスタに内蔵され
たDatatranslation社のDT 2871フレーム・グラバ・ボー
ドに結合されたDatatranslation社のＤＳＰボードDT 28
78である。フレーム・グラバ１４２は、結像装置１２０
からの画像信号をディジタル化する装置である。結像装
置１２０がディジタル・カメラの場合、フレーム・グラ
バ１４２は別に必要ない。ディジタル化機構は、計算装
置１４０から独立していても、その一体化された部分で
あってもよい。画像は、標準的な記憶装置１４４に記憶
できる。この開示を与えられれば、当業者は、計算装置
１４０およびフレーム・グラバ１４２と同等の他の機器
を開発できるはずである。

【００４６】任意指定の対話型入出力装置（以下、イン
ターフェースと呼称する）１６０を、レジ係などのユー
ザとの対話のために計算装置１４０に接続することがで
きる。インターフェース１６０には、ユーザが判断を行
うのを支援する画面１６４を含めることができ、また、
新物体を認識するため装置１００をトレーニングする手
段１６２を提供することができる。また、任意指定の計
量装置１７０によって、物体１３１の重量（または密
度）に関して計算装置１４０に入力を提供することがで
きる。下の説明（図１４）を参照されたい。

【００４７】図２は、コンピュータまたは計算装置１４
０によって実行されるアルゴリズム２００の流れ図であ
る。ステップ２１０で、認識しようとする目標物体を、
結像装置１２０によって結像する。このような結像は周
知である。その後、目標の物体１３１の画像を、新規の
形で背景からセグメント化する（ステップ２２０）。ス
テップ２２０の目的は、目標の物体１３１を背景から分
離し、その結果、装置１００が、シーンの背景と独立
に、分離された物体１３１の画像画素の特性を計算でき
るようにすることである。ステップ２３０で、物体１３
１の１つまたは複数の特徴を、好ましくは画素単位で、
セグメント化された物体画像から計算できる。ステップ
２４０で、これら画素単位で計算された特徴の組の特性
記述を展開する。ステップ２５０で正規化を行って、こ
れらの特性記述が、実際の面積、長さ、寸法または、画
像内で物体１３１が占める面積／長さ／寸法に関連する
特性に依存せず、その結果、物体１３１の１つまたは複
数の実体が、同一の物体タイプとして認識されることを
保証する。画像内で物体１３１が占めるセグメントによ
る特性記述を正規化するのに好ましい手段は、特徴特性
記述が計算される回数をカウントすることによって達成
される（これは、図８でさらに説明する。正規化の好ま
しい手段は、面積または長さによるものである）。ステ
ップ２６０で、目標物体のカウント正規化された特性記
述を、記憶域２７０に記憶された基準物体のカウント正
規化された特性記述と比較する。記憶域２７０は、記憶
装置１４４または計算装置１４０内に置くことができる
（図９の説明を参照されたい）。ステップ２５１で、記
憶域２７０内の記憶判断基準２５５に応じて、面積正規
化された特性記述を記憶する。このステップによって、
装置１００をトレーニングできるようになる。というの
は、記憶判断基準２５５によって、後に目標の物体１３
１の画像と比較することのできる新しい基準画像の記憶
（ステップ２５１）が可能になるからである（図１６の
説明を参照されたい）。

【００４８】ステップ２２０は、背景画像から目標物体
をセグメント化または分離するステップである。このス
テップは、目標物体の特徴をシーンの背景の影響や外乱
から無関係に処理できるようにするために実行される。
図３および図４に、物体画像を背景画像からセグメント
化する好ましい方法を２つ（それぞれ図３と図４に）示
す。

【００４９】図３には、２つのシーンが示されている。
第１のシーンの画像３１０には、結像装置１２０の視野
に他の物体が全く存在しない背景画像３１１が示されて
いる。第２のシーンの画像３２０には、シーンの背景画
像３１１と１つまたは複数の物体１３１の画像（以下、
物体画像と呼称する）１３０の両方が含まれる。この場
合、シーンの画像３２０のうちで物体１３１が存在する
区域の背景画像３１１の画素が、物体画像１３０の画素
に置換されている。したがって、これは、シーン内に物
体１３１の実体が存在する背景画像３１１である。

【００５０】画像３１０と画像３２０の、好ましくは画
素単位での比較によって、シーンの背景画像３１１から
物体画像１３０をセグメント化（分離）できるようにな
る。画像３２０内の所与の画素に関して、その輝度が、
画像３１０内の同一の画素の輝度と異なる（たとえば高
い）場合、この画素は、物体画像１３０に属する。画像
３２０内の所与の画素に関して、その輝度が、画像３１
０内の同一の画素の輝度と等しい場合、この画素は、背
景画像３１１に属する（図６の説明を参照されたい）。

【００５１】図４には、物体画像のセグメント化を可能
にする、本発明の好ましい実施例によって作られた、背
景と１つまたは複数の物体を有するシーンの２つの画像
が示されている。図４の画像３３０は、光源１１０がオ
フの状態のシーン（物体１３１と背景画像３１１を含
む）の画像である。すなわち、画像３３０は、環境光に
よって照らされた背景画像３１１からなる。画像３３０
には、背景を遮る物体画像１３５もある。光源１１０が
オフなので、物体画像１３５は、光源１１０によって照
らされないから画像３３０内では暗く見える。

【００５２】図４の画像３４０は、光源１１０がオンの
状態のシーンの画像である。この場合、光源１１０は、
環境光よりも強い光量で、カメラの視野の中の物体１３
１を照らす。これが、画像３３０内より明るい画像３４
０内の物体画像１３０をもたらす。

【００５３】図５は、シーン（図３および図４で説明し
たものなど）を結像し、物理的な背景３１２の背景画像
３１１から物体画像１３０をセグメント化し、物体１３
１を認識するための好ましいシステム４００を示すブロ
ック図である。このシステム４００の構成要素の全般的
な説明は、参照によって本明細書に組み込まれる米国特
許出願通し番号第＿＿／＿＿＿＿＿＿号明細書にある。

【００５４】好ましいシステム４００では、光源１１０
と結像装置１２０の上に物体１３１が置かれ、したがっ
て、物体１３１を下から見上げた画像がもたらされる。
システム４００は、物体１３１のための支持面４０５を
備え、また、物体が、結像装置１２０から固定された、
繰り返し可能な距離４０７にあることを保証する。さら
に、システム４００を用いると、偏光フィルタ４１０お
よび４２０からなるフィルタリング・システムを設ける
ことによって、光沢のある物体（プラスチックの袋な
ど）のグレア（鏡面反射）を抑えた結像が可能になる。

【００５５】システム４００には、光源１１０と結像装
置１２０のための不透明の格納装置４０１が含まれる。
この格納装置は、物体１３１に面する単一の開口４０３
を有する。開口４０３は、物体１３１を結像装置１２０
によって結像し、光源１１０によって照明するのに十分
な寸法を有する。開口は、正方形、円形または他の形状
とすることができる。透明な支持面４０５が、格納装置
４０１内の開口４０３をおおう。この支持面４０５は、
１枚のガラスとすることができる。透明な支持面４０５
は、結像される物体１３１をその上に置くことのできる
支えをもたらす。物体１３１を支持面４０５に置くこと
によって、結像装置１２０と物体１３１の間の距離４０
７が、固定され、したがって、繰り返し可能な結像の手
段がもたらされる。

【００５６】物体１３１（物体１３１自体と、おそらく
はそれを囲むプラスチックの袋）の画像からグレアを除
くため、偏光フィルタ４２０を、結像装置１２０のレン
ズに組み込むか、結像装置１２０のレンズの真上に置
く。第２の偏光フィルタ４１０を、光源１１０と開口４
０３の間に置く。これによって、物体１３１に達する光
が偏光になることが保証される。その代わりに、光を完
全に偏光子によって囲むことができる。光が、部分的に
箱に囲まれる（カメラのフラッシュなど）か、反射器に
よって部分的に囲まれる（写真用スポットライトなど）
場合、偏光子は、光を通すライト・アセンブリの開口の
上だけに置けばよい。偏光フィルタ４１０の偏光の向き
は、偏光フィルタ４２０の偏光の向きに対して垂直であ
る。従来技術から、物体（物体１３１など）から反射さ
れる鏡面反射は、物体から反射される拡散（無光沢）反
射と反対の偏光になることが周知である。したがって、
偏光フィルタ４２０を用いる物体１３１の結像では、画
像のグレアが減少する。さらに、偏光フィルタ４１０に
よって偏光化された光源１１０を用いて物体１３１を照
明すると、物体１３１上のグレアの量が減る。また、偏
光フィルタ４１０は、物体１３１から反射される鏡面反
射光の偏光角が、偏光フィルタ４２０に垂直になること
を保証する。したがって、偏光フィルタ４１０に垂直な
偏光フィルタ４２０を介する物体１３１の結像では、物
体画像１３０内のグレアの量がさらに少なくなる。

【００５７】光量制御４５０によって、光源１１０をオ
ン、オフするか、光源１１０を異なる輝度レベルの間で
切り替える。光量制御４５０は、計算装置１４０上で実
施するか、光源１１０に直接接続するか、別の装置とす
ることができる。光量制御は、ストロボに含まれるもの
などのタイミング装置として光源１１０の一部とするこ
とができる。光量制御は、結像装置または計算装置もし
くはその両方と同期させることができる。光量制御４５
０は、周知である。

【００５８】図２のセグメント化のステップ２２０を、
図６でさらに説明する。図６は、シーンから物体画像を
セグメント化するための好ましい方法を示す図である。

【００５９】ステップ５１０で、物体１３１を正しく照
明するように光源１１０をオンまたは高輝度に切り替え
て、シーンの画像（第１画像）を得る。光量制御４５０
によって、光源１１０の切替を制御する。

【００６０】ステップ５２０で、光源１１０をオフにす
るか、ステップ５１０でのレベルより低いレベルにセッ
トして、シーンの第２の画像を得る。光源１１０の設定
は、第２画像の物体１３１が、第１画像より暗く見える
ようになっていなければならない。これらの新規のステ
ップを実行することによって、下記の諸ステップで物体
画像１３０を背景画像３１１から分離またはセグメント
化することができる。

【００６１】さらに、第１画像と第２画像が空間的に重
ね合わせられていることを保証するために、物体１３
１、背景３１２および結像装置１２０は、ステップ５１
０とステップ５２０の両方で同一の位置にある必要があ
る。各画素に、画像の左上角から始めて、本を読むよう
に第１行を横切って進み、次に第２行に進むという順序
で番号を付けると仮定する。重ね合せとは、番号を付さ
れた第１画像の画素のそれぞれが、第２画像の同一の番
号を付された画素と同一のシーンの区域（物体１３１と
背景３１２）に対応することを意味する。正しい重ね合
せは、第１画像と第２画像を素早く連続して得るか、静
止した背景３１２に対して静止した物体１３１を結像す
るかのいずれかによって保証できる。

【００６２】第１画像と第２画像を得る順序は、反転す
ることができる。すなわち、ステップ５２０を、ステッ
プ５１０の前に実行することができる。

【００６３】アルゴリズム２２０のステップ５３０で
は、第１画像と第２画像をフレーム・グラバ１４２内で
ディジタル化する。計算装置１４０内で、ディジタル化
された第１画像のすべての画素を、それぞれ、ディジタ
ル化された第２画像の同一の位置のそれぞれの画素と比
較する。このような画素単位の比較は、画像処理分野で
既知である。たとえば、比較される対のそれぞれの画素
は互いに対応する（すなわち、各画像内で同一の相対位
置にある）必要があるが、画像内の対応する画素対は、
どのような順序でも比較することができる。さらに、た
とえば第２または第３の画素を比較するなど、代替比較
を行うことができる。

【００６４】ステップ５４０では、画素単位での検査を
行って、第１画像内のある画素が、第２画像内の対応画
素より値Ｔを超えて明るいかどうかを判定する。どの画
素の比較でも、第１画像画素が第２画像の対応画素より
値Ｔを超えて明るい場合、アルゴリズム２２０は、分岐
５４２を選択し、この画素が物体１３１に対応すると指
示する。同様に、画素比較の結果、第１画像の画素が第
２画像の対応画素より値Ｔを超えて明るくはない場合、
アルゴリズム２２０は、分岐５４４を選択し、この画素
が物理的な背景３１２の背景画像３１１に対応すると指
示する。

【００６５】許容範囲Ｔの値は、定数とすることができ
る。好ましい許容範囲Ｔは、最大の画像輝度の５％であ
る。その代わりに、Ｔの値を、画像内の画素の位置に応
じて変更するか、暗い画像内の画素の輝度に応じて変更
することができる。Ｔを位置に応じて変更すると、光源
１１０からの不均一な照明を補償できるようになる。暗
い輝度に応じてＴを変更すると、低い反射率の前景物体
（黒の物体など）を正しく識別できるようになる。値Ｔ
は、固定することも、システムによって時々再計算する
こともできる。たとえば、光源１１０の老化や、他の理
由（電球に供給される交流電源電圧の変動など）による
輝度変化の際に、Ｔの値を変更する必要が生じる可能性
がある。この再計算は、物体のない背景の画像の対（背
景３１２の一方の画像は明るく照らされ、他方は暗く照
らされる）に対して実行することができる。物体が存在
しないので、両方の背景画像は、同じ量の照明（環境光
による）を受けているように見えなければならない。し
かし、実際には、光源１１０が、高輝度に切り替えられ
た時に背景３１２をわずかに照らす可能性がある。した
がって、対応する画素対の比較のために、許容範囲Ｔを
選択する。許容範囲Ｔは、この背景画像の対の画素のう
ちのごく少数だけが実際にテストに合格するように設定
することができる。たとえば、好ましい実施例では、輝
度の差が許容範囲Ｔを超える画素対が１０％未満になる
ように設定されるはずである。

【００６６】好ましい実施例では、ステップ５３０とス
テップ５４０が、シーン画像内の画素位置のそれぞれに
ついて、画素単位で実行される。その結果、物体１３１
に対応する画素が、セグメント化された物体画像１３０
に集められる。具体的に言うと、セグメント化された物
体画像には、第２画像内の対応画素より実質的に明るい
第１画像からの画素のすべてが、セグメント化された物
体画像の、第１画像内でのその画素の位置に集められ
る。したがって、セグメント化された物体画像は、背景
３１２から取り除かれた物体１３１の所望の画像に対応
する。必要があれば、画像内の残りの画素（たとえば物
体画像１３０に対応しない画素）に、任意の所望の値を
割り当てるか、既知の画像処理技法を使用してさらに処
理することができる。

【００６７】同様の形で、背景３１２に対応する画素
が、セグメント化された背景画像３１１に集められる。
具体的に言うと、第２画像の対応画素より実質的に明る
くはない第１画像からの画素のすべてが、セグメント化
された背景画像の、第１画像でのその画素の位置に集め
られる（好ましい実施例では、「実質的に明るい」と
は、対応する画素対の画素の間の輝度の差が、許容範囲
Ｔを超えることを意味する）。セグメント化された背景
画像は、物体画像１３０を取り除かれた背景画像３１１
に対応する。必要があれば、セグメント化された背景画
像の残りの画素（すなわち、取り除かれた物体画素位置
に対応する画素）に、任意の所望の値を割り当てるか、
既知の画像処理技法を使用してさらに処理することがで
きる。

【００６８】物体画像１３０だけを所望する場合、背景
画像３１１を得るためのステップ５４４を実行する必要
はない。同様に、背景３１２の画像だけを所望する場
合、物体画像１３０を得るためのステップ５４２を実行
する必要はない。

【００６９】もう１つの好ましい実施例では、ステップ
５５２、５５４および５５６を追加することによって、
物体１３１の半透明部分（たとえば、プラスチックのカ
バー）を物体１３１の不透明部分から分離することがで
きる。

【００７０】この実施例では、分岐５４２が、図６の実
線ではなく破線の経路に進む。ステップ５５２の前に、
第１画像の画素が第２画像の対応画素より明るいことが
既に判定されている。ステップ５５２では、第２画像の
物体画像１３０（暗い照明の下での物体１３１）の画素
が、第２の許容範囲値Ｖより明るいかどうかを判定す
る。そうである場合、分岐５５３を選択し、ステップ５
５４で、この物体画素が、物体１３１の半透明部分に属
すると指示する（光源１１０が低輝度に切り替えられた
時に、多少の環境光が物体１３１を通過し、この位置で
結像されたので、この物体はこの画素位置で半透明であ
る）。そうでない場合、分岐５５５に進み、ステップ５
５６で、この画素が物体１３１の不透明部分に属すると
指示する（物体１３１の不透明部分を介しては、環境光
は測定されないか、許容範囲値Ｖ未満の値が測定され
る）。値Ｖは、第２画像の各画素について定数とする
か、たとえば第２画像内の画素の位置に応じて、可変と
することができる。値Ｖは、背景画像の９５％ないし８
５％がＶより明るくなるようにＶを選択することによっ
て、背景３１２だけの画像から、上で説明したように計
算することができる。Ｖの好ましい値は、最も明るい画
像輝度の２０％である。

【００７１】ステップ５５４で、半透明物体画像を作成
する。このステップでは、値Ｖより明るい第２画像内の
画素に対応する第１画像内の（物体に属する）各画素
が、物体１３１の半透明部分に対応し、半透明物体画像
に記憶される。第１画像と第２画像の全画素をこのよう
に処理した後に、半透明物体画像には、物体１３１の半
透明部分の画像だけが含まれる。必要があれば、半透明
物体画像の残りの画素に、任意の所望の値を割り当てる
か、さらに処理することができる。

【００７２】ステップ５５６で、不透明物体画像を作成
する。このステップでは、第２画像内の値Ｖ以下の明る
さの画素に対応する第１画像内の（物体に属する）画素
のそれぞれが、物体画像１３０の不透明部分に対応し、
不透明画像に記憶される。第１画像と第２画像のすべて
の画素がこうして処理された後に、不透明物体画像に
は、物体１３１の不透明部分の画像だけが含まれる。必
要があれば、不透明物体画像の残りの画素に、任意の所
望の値を割り当てるか、さらに処理することができる。

【００７３】物体１３１の不透明部分の画像だけを所望
する場合、ステップ５５４を実行する必要はない。同様
に、物体１３１の半透明部分だけを所望する場合、ステ
ップ５５６を実行する必要はない。

【００７４】もう１つの好ましい実施例では、ステップ
５５２をステップ５４０と組み合せ、物体画像１３０を
得るステップ５４２を取り除く。これによって、半透明
画像または不透明画像（もしくは両方）がもたらされる
が、完全なセグメント化された物体画像１３０はもたら
されない。

【００７５】ステップ５５２、５５４および５５６と前
のステップの他の組合せは、本発明の意図に含まれる。

【００７６】アルゴリズム２２０によって画像をセグメ
ント化した後に、１つまたは複数の目標物体特徴の計算
を実行する。図２のステップ２３０を参照されたい。こ
の計算のステップ２３０は、計算装置１４０によって実
行され、目標物体の特徴を判定するのに使用される。こ
の判定は、ステップ２２０で得られた目標物体の分離さ
れた（セグメント化された）物体画像１３０に対しての
み、このステップ２３０を新規の形で実行することによ
って行われる。セグメント化された物体画像内の画素の
それぞれについて、特徴を判定する。たとえば、このよ
うな特徴は、単一画素の色を使用するか、ある画素の
（色の）値とその周囲の画素の（色の）値を使用して計
算できる。特徴には、目標物体のセグメント化された画
像の色、形状、テクスチャ、密度が含まれるが、これに
限定されるものではない。通常、特徴は、１つまたは複
数の特徴値によって表現される。

【００７７】ステップ２３０で１つまたは複数の特徴を
判定した後に、特徴または特徴の組を、ステップ２４０
で特性記述する。ヒストグラム化が、特性記述ステップ
２４０を行うのに好ましい方法である。下の図７の説明
を参照されたい。しかし、特徴の特性を記述する他の方
法を使用することができる。たとえば、中央値特徴値、
計算された特徴値の１次（平均値）または高次もしくは
その両方の統計、または、計算された特徴値の組から導
出することのできる任意の統計値を使用することができ
る。この開示を与えられれば、当業者は、特徴の特性を
記述する他の同等な方法を開発できるはずである。

【００７８】アルゴリズム２００の正規化のステップ２
５０は、結像される実際の物体１３１の寸法から独立
な、物体の特性記述された特徴を作るための新規なステ
ップである。また、このステップでは、シーン内の物体
１３１の個数や物体１３１の寸法から独立に、装置１０
０によって１つまたは複数の物体１３１の実体を認識で
きるようになる。正規化のステップ２５０は、１つまた
は複数の計算された特徴特性記述に対して実行される。
正規化の好ましい方法は、たとえばセグメント化された
物体画像の画素数を数えることによるか（下の図８の説
明を参照されたい）、セグメント化された物体画像の境
界上の画素数を数えることによって（下の図１３の説明
を参照されたい）得られる、面積または長さに関して行
うことができる。

【００７９】正規化の他の方法、たとえば、セグメント
化された物体画像から導出される他の特性に関する正規
化も、本発明の意図に含まれる。

【００８０】本発明のもう１つの新規な特徴を用いる
と、装置１００をトレーニングすることができる。物体
１３１の正規化された特性記述が認識されない、すなわ
ち、基準情報と一致しない場合（ステップ２６０）、ス
テップ２５１で、正規化された特性記述を検査して、そ
れがある記憶判断基準２５５を満たすかどうかを調べ
る。認識されない物体の正規化された特性記述が記憶判
断基準２５５に合致する場合、この特性記述は、他の基
準情報と共に記憶域２７０に記憶される。したがって、
この物体１３１を装置１００によって次に結像する時に
は、これが基準画像と一致し、認識される。下の図１０
の説明を参照されたい。トレーニングを行うと、装置１
００が、認識するように「ハードワイヤ」（事前プログ
ラム）されていない物体を認識できるようになり、した
がって、システムがより柔軟になる。記憶された特性記
述は、正規化されており、その結果、基準特性記述に使
用される物体１３１の個数が、目標特性記述の展開に使
用される物体１３１の個数と異なっても構わないように
なっている。

【００８１】記憶判断基準には、装置１００の設計によ
って確立される判断基準であれば何でも含めることがで
きる。記憶判断基準２５５を選択または作成する能力
も、インターフェース１６０を介してユーザに与えるこ
とができる。単純な記憶判断基準は、認識されない物体
に関して供給されたすべての情報を、基準データベース
である記憶域２７０に記憶することであろう。他の記憶
判断基準には、（１）ステップ２１０の画像の品質が良
いこと、（２）目標物体の大きな比率がステップ２１０
の画像を占めること、（３）特性記述が、データベース
内の目標物体の基準に（図９で説明する比較のステップ
８４０の意味で）十分に近いことが含まれるが、これに
制限されるものではない。

【００８２】アルゴリズム２００のステップ２６０で
は、目標の物体１３１の正規化された特性記述を、１つ
または複数の正規化された基準物体特性記述と比較す
る。この比較のステップ２６０は、上のステップ２４０
で例を示した物体特徴の特性記述の方法に非常に依存す
る。ステップ２６０の比較の好ましい方法の１つは、面
積または長さに関して正規化されたヒストグラムを用い
て行われる。

【００８３】１つまたは複数の物体特性記述が、記憶装
置上の記憶域２７０に記憶される。この装置は、計算装
置１４０上の記憶装置か、独立の２次記憶装置である記
憶装置１４４に置くことができる。基準物体特性記述を
記憶域２７０に記憶するのに好ましい方法は、物体特徴
の特性を記述する一連の面積正規化された特徴ヒストグ
ラムを使用することである。これら一連の面積正規化さ
れたヒストグラムのそれぞれが、独自の物体タイプ識別
子を関連付けられれている。面積正規化されたヒストグ
ラムを記憶するのに好ましい方法は、正規化された特徴
ヒストグラムのベクトル、すなわち、異なる特徴値の出
現の正規化された頻度を使用することである。

【００８４】図７は、特徴のヒストグラムを展開するた
めの好ましい方法の１つを示す流れ図である。この制限
的でない例では、特徴Ｆ１として色相を使用する。しか
し、セグメント化された画像から抽出できる特徴であれ
ば、どのような特徴でも使用できる。本発明は、セグメ
ント化された物体画像１３０からのみ特徴を新規の形で
抽出することに留意されたい。ヒストグラム化される特
徴も、セグメント化された物体に関する他の情報から導
出できる。たとえば、色相は、カラー・マップ内の他の
いくつかの特徴から導出できる。

【００８５】ヒストグラム６５０を展開するために、ま
ずシーンを結像し（図２のステップ２１０）、物体画像
１３０をセグメント化する（ステップ２２０）。その
後、ヒストグラム化する特徴を、ステップ２３０で、好
ましくは画素ごとに（１画素おきまたは所定の画素のサ
ブセットとすることも可能である）従来技術の技法を使
用して計算または判定する。その後、従来技術の技法を
使用して、ステップ６４０で、特徴Ｆ１のヒストグラム
６５０を展開する。

【００８６】たとえば、Ｍ個の区間（ビン）のヒストグ
ラム・アレイを、まず０に初期設定する。次に、画素ご
とに、画素の色相を計算する。この計算された特定画素
の色相値を量子化し、その結果、ヒストグラムのＭ個の
ビンのうちの１つ、たとえばＢｉｎ（ｘ）におさまるよ
うにする。その後、Ｂｉｎ（ｘ）の内容を１つ増分す
る、すなわち、新Ｂｉｎ（ｘ）＝旧Ｂｉｎ（ｘ）＋１で
ある。これを、セグメント化された物体画像１３０の全
画素について、または、これらの画素から選択されたサ
ブセット（たとえば１つおき）について、実行する。

【００８７】色相のヒストグラム６５０は、セグメント
化された物体画像１３０内で色（色相）がどのように分
布しているかの表現である。言い換えると、各ビンの内
容は、そのビンが表す色を有する画素が物体画像１３０
に何個含まれるかを表す。Ｆ１が他の特徴である場合、
これは、その特徴が物体画像１３０内でどのように分布
しているかの表現である。各ビンの内容は、そのビンが
表す特徴値を有する画素が物体画像１３０に何個含まれ
るかを表す。

【００８８】図８は、ヒストグラム特徴を正規化するス
テップと、これらの正規化された特徴ヒストグラムが、
結像される物体１３１の寸法や個数に影響されない理由
を示す流れ図である。

【００８９】画像３２０は、１つのセグメント化された
物体１３１の物体画像１３０を示す、セグメント化され
たカラー画像である。画像７２０は、３つのセグメント
化された物体画像１３０を示す、物体１３１の３つの実
体のセグメント化されたカラー画像である。図７の説明
に従って１つまたは複数の特徴Ｆ１を計算し、２つのヒ
ストグラムすなわち、ヒストグラム７４５とヒストグラ
ム７４０を展開する。ステップ７５０で、各ヒストグラ
ム（７４５および７４０）を、同一の正規化方法を使用
して正規化する。本発明は、ステップ７５０で各画像
（３２０および７２０）のセグメント化された物体画像
（１３０）だけを新規の形で正規化するので、結果の正
規化されたヒストグラム（それぞれ７７０および７６
０）は、同一である。多数の物体１３１を有する画像７
２０は、少ない個数の物体１３１を有する画像３２０が
そのヒストグラム７４５に貢献するよりも、ヒストグラ
ム７４０の各ビンへより多くの画素数だけ貢献するにも
かかわらず、この結果が発生する（画像３２０内より画
像７２０内の物体１３１の寸法が大きい場合でも、同一
の効果が生じることに留意されたい）。たとえば、ヒス
トグラムに対するセグメント化された画像の貢献がそれ
ぞれの画像面積によって除算されるので、面積正規化に
よって、ほぼ等しい正規化されたヒストグラム（７６０
および７７０）が生成される。

【００９０】画像３２０内でのセグメント化された物体
画像１３０の面積である面積１は、ヒストグラム７４５
のすべてのビンの内容を加算することによって計算され
る。画像７２０に関する物体画像１３０のすべて（また
はより大きな寸法の物体）のセグメント化された面積で
ある面積２は、同様の形で計算される。面積に関して正
規化されたヒストグラム７６０を得るためには、ヒスト
グラム７４５を、ビンごとに面積１の値で除算する。面
積に関して正規化されたヒストグラム７７０は、ビンご
とにヒストグラム７４０を面積２で除算することによっ
て計算される。この演算の後に、面積に関して正規化さ
れたヒストグラム７６０は、面積に関して正規化された
ヒストグラム７７０とほぼ等しくなり、図９の説明にあ
るステップ２６０で簡単に比較できる。

【００９１】正規化は、セグメント化された物体画像１
３０から抽出できる特性であれば、どのような特性に関
しても実行できる。面積、長さおよび寸法がその例であ
る。形状を記述する他の尺度を使用することができ、こ
のような尺度には、２次および高次の（形状）モーメン
ト、境界矩形の寸法、物体画像１３０の凸包の面積が含
まれるが、これに制限されるものではない。

【００９２】図９は、セグメント化された目標の物体画
像１３０の正規化された特性記述である正規化されたヒ
ストグラム（７６０および７７０）を記憶域２７０に記
憶された１つまたは複数の正規化された基準特性記述と
比較するステップ８４０を実行する、アルゴリズム２０
０のステップ２６０を示す図である。特性記述８１０
は、目標物体を含むセグメント化された画像の正規化さ
れた特性記述を表す。この特性記述は、図８の説明に従
って得られる。ブロック（以下、データベースと呼称す
る）８２０は、たとえば図１０の記載に従って得られ
る、正規化された基準特性記述のリスト（データベー
ス）である。これは、システムが認識することのできる
物体の表現である。複数の正規化された特性記述表現の
それぞれに、通常は８３１ないし８３７のような符号を
付す。図には６つだけが示されているが、面積正規化さ
れたヒストグラム表現の個数は、たとえば数百個または
数千個など、非常に多数とすることができる。認識され
る物体のそれぞれは、少なくとも１つの正規化された特
性記述によって表現されなければならないが、複数の正
規化された特性記述によって表現することができる。デ
ータベース８２０内の面積正規化された特性記述のそれ
ぞれは、その正規化された特性記述を展開した元の物体
を表す識別子を関連付けられている。特性記述８１０と
データベース８２０の基準特性記述は、１つの特性記述
に制限されず、表現は、複数の特性記述とすることがで
きる。その場合、複数の特性記述が、目標物体の画像か
ら展開され、複数の特性記述が、基準物体のそれぞれを
表現する。やはり、そのような特性記述の集合のそれぞ
れに、独自の物体識別子が関連する。図１１の説明を参
照されたい。

【００９３】ステップ８４０は、基準特性記述に対する
目標特性記述の比較照合を表す。特性記述を比較照合す
るための好ましい手段は、目標ヒストグラムと基準ヒス
トグラムの間の距離尺度Ｌ１を決定することである。た
とえば、目標の特性記述８１０が、個数のベクトルＴと
して表現され、データベース８２０の基準ヒストグラム
が、ベクトルＲ１ないしＲＮとして表現されると仮定す
る。この開示に関して、目標ヒストグラムＴの最適一致
は、ＴとＲ１…ＲＩ…ＲＮの間の距離Ｌ１（マンハッタ
ン距離と称する場合もある）が最小の基準ヒストグラム
ＲＩとして定義される。すなわち、ＲＩは、下記の距離
Ｌ１の最小値をもたらすはずである。 Dist(T-RJ), ..., J = 1, 2, ...., N このような照合アルゴリズムは、最近傍分類として周知
である。距離尺度の通常の特性を示す距離の尺度であれ
ば（従来技術）、どのような尺度でも使用することがで
きる。さらに、距離の特性を示さない他の尺度、たとえ
ばヒストグラム共通部分を使用することも可能である。
目標ヒストグラムＴと基準ヒストグラムＲ１ないしＲＮ
の成分に重みを関連付け、成分ごとに重み付けされた距
離尺度をもたらすことができる。

【００９４】目標物体と基準物体が、複数のヒストグラ
ムによって表現される場合、好ましい表現は、複数の連
結されたヒストグラムＴ'およびＲ１'ないしＲＮ'を含
む高次元ベクトルとして見ることができる。このような
連結された目標ヒストグラムのＴ'との最適一致を定義
するのに好ましい方法の１つは、Ｔ'とＲ１'ないしＲ
Ｎ'の間の距離Ｌ１が最小になる連結された基準ヒスト
グラムＲＩ'として定義される。この場合、距離Ｌ１
で、異なる特徴ヒストグラムを表す異なる部分ベクトル
に異なる重みを割り当てることができる。やはり、どの
ような距離尺度でも使用することができ、また、距離の
特性を示さない尺度、たとえばヒストグラム共通部分を
適用することもできる。目標ヒストグラムＴ'および基
準ヒストグラムＲ１'ないしＲＮ'の成分のそれぞれに重
みを関連付け、成分ごとに重み付けされた距離尺度をも
たらすことができる。

【００９５】本発明では、示される物体１３１が１種類
であることが意図されている。複数の物体、物体Ａと物
体Ｂを提示すると、予期せぬ結果を生じる可能性があ
る。最も確度の高い結果は、物体が認識不能としてフラ
グを立てられることである。しかし、使用する距離尺度
が原因で、認識結果が（１）物体が物体Ａである、
（２）物体が物体Ｂである、（３）物体が物体Ａまたは
物体Ｂである（図６のユーザ・インターフェースに選択
肢として提示される）になる可能性もある。後者が発生
するのは、混合された物体が、グラニースミス種のリン
ゴとゴールデンデリシャス種のリンゴなど、類似した外
見を有する時である。物体が、データベース８２０に記
憶された他の物体Ｃとして認識される見込みはない。

【００９６】図１０は、記憶域２７０に、ある記憶判断
基準２５５に合致する（連結された）基準ヒストグラム
を追加することによってシステムをトレーニングする方
法（以下、トレーニング方法と呼称する）９１０のステ
ップを示す流れ図である。トレーニング方法９１０を用
いると、装置１００が新物体／品目すなわち、システム
の記憶域２７０内に元々記憶されていない物体または品
目を認識できるようになる。トレーニング方法９１０
は、物体／品目の画像９２０を装置に提示することから
始まる。この画像は、ステップ２２０でセグメント化さ
れた後に、上で説明したようにヒストグラム化のステッ
プ６４０のためにステップ２３０で特徴を判定される。
ステップ７５０で正規化された（連結された）ヒストグ
ラムは、前と同じくステップ２６０で比較される。目標
の正規化されたヒストグラムが、記憶域内の正規化され
た基準ヒストグラムと一致する場合、目標画像が認識さ
れる。そうでない場合、トレーニング方法９１０が継続
して、目標の正規化された画像を、ある記憶判断基準２
５５に対して検査する。記憶判断基準に合致しない場
合、この方法はステップ９４０で終了する。目標の正規
化された画像が記憶判断基準２５５に合致する場合、目
標の正規化された画像が、記憶域２７０に記憶され、後
に他の目標画像との照合に使用できるようになる。

【００９７】画像９２０を、前記物体１３１の異なる実
体を後に認識する際に使用されるのと同一の方法で動作
する装置を用いて取得することが重要である。このよう
な装置の好ましい実施例は、偏光フィルタ４１０を介し
て偏光された光とカメラ上の偏光フィルタ４２０と共に
図５に記載されている。偏光は、特に重要である。とい
うのは、トレーニング中と認識中に、物体１３１が非常
に予想し難い鏡面反射（グレア）効果を有する可能性が
あるからである。

【００９８】トレーニングは、インターフェース１６０
を介して達成することもできる。これは、レジのある側
のレジ係または奥の部屋の農産物管理者のいずれかによ
る人間の介入を介して達成できる。これは、図１６でさ
らに説明する。

【００９９】図１１は、画像から複数の特徴を抽出する
ステップと、複数の特徴を使用して物体を識別するステ
ップを示す流れ図である。この方法は、物体画像１３０
と背景画像３１１の画像３２０から始まる。前と同じ
く、物体画像１３０は、ステップ２２０で背景画像３１
１からセグメント化される。その後、上の説明で色相Ｆ
１を抽出した（ステップ２３０）のと同じ方法で、セグ
メント化された画像３２０から複数の特徴を抽出する。
ブロック１０１０ないし１０２０は、通常は抽出される
他の複数の特徴を指す。これには、彩度、輝度、テクス
チャ（図１２に記載）、境界形状（図１３に記載）およ
び密度（図１４に記載）が含まれるが、これに制限され
るものではない。色の場合と同じく、ＨＳＩ表現が、本
発明のために色を表現する好ましい手段である。ＲＧ
Ｂ、マンセル、反対色を含むが、これに制限されない、
他の色表現を使用することができる。

【０１００】特徴Ｆ１ないしＦＮを抽出した後に、上で
説明したようにこれらをヒストグラム化し、正規化す
る。色などの多くの特徴は、面積正規化することができ
るが、ある特徴に特に適すると思われる他の正規化（た
とえば、長さ、境界など）が可能である。たとえば、形
状ヒストグラムに関しては下の図１３を参照されたい。

【０１０１】ステップ８４０で、抽出された特徴Ｆ１な
いしＦＮのそれぞれを比較する。この比較は、既に図９
で説明済みである。本質的に、抽出されたＮ個（特徴Ｆ
１ないしＦＮ）のヒストグラムは、１つの長いヒストグ
ラムに連結され、比較は、目標の連結されたヒストグラ
ムと、基準の連結されたヒストグラムとの間の何らかの
距離尺度に基づく。この距離尺度では、個々の特徴Ｆ１
ないしＦＮのヒストグラムに、異なる重みｗ１ないしｗ
Ｎを与えることもできる。その代わりに、距離尺度で、
連結されたヒストグラムの個々の成分のそれぞれに、個
別の重みを与えることができる。上で述べたように、特
徴Ｆ１ないしＦＮには、色相、彩度、輝度、テクスチ
ャ、形状が含まれるが、これに制限されるものではな
い。これらの特徴のすべてが、等しい識別力を有するわ
けではなく、したがって、重みｗ１ないしｗＮを使用す
ることができる。さらに、個々の特徴、たとえばＦＩの
すべての成分が、等しい識別力を有しない可能性があ
る。したがって、個々の特徴ヒストグラムに、成分単位
で異なる重みを与えることができる。

【０１０２】図１２は、正規化された認識特徴としてテ
クスチャを使用する方法を示す図である。ステップ２１
０で、テクスチャの特徴を示す、物体画像１１２０を得
る。前と同様に、物体画像は、ステップ２２０で背景か
らセグメント化される。ステップ１１４０で、セグメン
ト化された画像からテクスチャ特徴を計算する。従来技
術で既知のすべてのテクスチャを、このステップ１１４
０の計算に使用することができる。しかし、２つの新規
の計算が好ましい。

【０１０３】第１の好ましいテクスチャ計算の手段は、
新規のテクスチャ尺度Ａである。

【０１０４】セグメント化された画像を、従来技術の方
法を使用して閾値Ｔｂを選択することによって、２進画
像に変換する。画像の輝度がＴｂより高い場合、２進画
像を１にセットし、画像の輝度がＴｂより低い場合、２
進画像を０にセットする。画像を２進化するための、当
業者に既知の他の手段も使用可能である。その結果は、
インクのしみのような白黒画像である。しみのそれぞれ
は、幅と長さによって特性を記述できる。あるしみに関
連するテクスチャ尺度（ＷＥ）は 幅(Width) 偏心率（Eccentricity）＝幅／長さ によって与えられる。これは、領域計算を使用して決定
されるテクスチャ尺度である。

【０１０５】第２の好ましい新規なテクスチャ尺度Ｂ
は、下記のとおりである。

【０１０６】［−１ ２ −１］のマスクを用いる従来
技術の方法を使用して画像を畳み込む。この畳み込み
は、垂直と水平の両方で実行され、それぞれをＶｃｏｎ
ｖおよびＨｃｏｎｖと表記する。畳み込みの結果がある
閾値Ｔ２を超える画素ｘのそれぞれで、 長さ＝sqrt(Vconv(x)**2 * Hconv(x)**2) 向き＝arctan(Vconv(x)/Hconv(x)) からなるベクトルを、テクスチャ尺度として定義する。
これは、エッジ計算を使用して決定されるテクスチャ尺
度である。

【０１０７】テクスチャ特徴も、ステップ１１５０で新
規の方法で、すなわち、セグメント化された物体画像１
１２０だけに対して、ヒストグラム化することができ
る。テクスチャ尺度は、上で述べたようにセグメント化
された画像に対してヒストグラム化される。テクスチャ
尺度Ａの場合、これが、（幅−偏心率）ヒストグラムを
もたらす。この幅と偏心率は、上で定義された値であ
る。テクスチャ尺度Ｂの場合、（長さ−向き）ヒストグ
ラムが得られる。この長さと向きは、上で定義された値
である。向きヒストグラムの場合、向きヒストグラム内
の最大の向きを計算し、このピークが中心になるように
ヒストグラムを巡回式にシフトする。これによって、向
きヒストグラムが、テクスチャを結像する時の回転と無
関係になる。

【０１０８】テクスチャ・ヒストグラムは、カウントに
よって正規化される。この場合のカウントは、セグメン
ト化された物体画像１１２０内の各画素とするか、セグ
メント化された物体画像１１２０内で実際にテクスチャ
を示す画素とすることができる。当業者であれば、テク
スチャ領域から抽出される他の形状尺度を想像できるは
ずである。結果の正規化されたテクスチャ・ヒストグラ
ムを、１１７０として図示する。物体認識にテクスチャ
・ヒストグラムを使用することは、新規であると思われ
る。

【０１０９】図１３は、認識特徴として形状を使用する
ステップを示す流れ図である。ステップ２１０で得られ
た画像は、上と同様にステップ２２０でセグメント化さ
れる。次に、物体画像１３０内のどの画素が境界画素で
あるかの判定を、ステップ１２１０で行う。画素Ｐは、
Ｐに隣接する１つまたは複数の画素が背景画像３１１に
属する場合に、境界画素である。次に、ステップ１２２
０で、境界画素Ｐのそれぞれについて、境界形状特性に
関する判定を行う。本発明によって使用される好ましい
形状尺度は、画素Ｐでの局所境界曲率である。中央の画
素Ｐと複数の周囲の境界画素にぴたりと合う円の半径Ｒ
を、まず計算装置１４０によって計算する。曲率１／Ｒ
は、画素Ｐに関する局所的な変化の度合を表す。すなわ
ち、０の曲率は直線の境界を表し、高い曲率は局所的に
「揺れ動く」境界を表す。リンゴは、おおむね一定の曲
率の境界を有するが、キュウリは、低い曲率の部分、低
い負の曲率の部分、および２つの高い曲率の部分（両
端）を有する。他の形状尺度が可能である。

【０１１０】その後、ステップ１２３０で境界形状特徴
をヒストグラム化する。このヒストグラム化は、境界画
素Ｐの計算された形状特性によって展開される。この場
合のヒストグラムは、面積に対するのではなく、物体画
像１３０の境界を構成する画素Ｐの集合から展開され
る。

【０１１１】ステップ１２３５で実行される正規化は、
形状ヒストグラムの長さ正規化である。ビンごとに、ス
テップ１２３０で得たヒストグラムを、境界画素Ｐの総
数で除算する。その結果、ある物体画像１３０の長さ正
規化された形状ヒストグラムが、複数の物体画像１３０
の長さ正規化されたヒストグラムと等しくなる。長さ正
規化された物体画像境界形状ヒストグラムは、本発明の
新規な特徴である。物体画像境界の長さに関連する他の
正規化が可能である。

【０１１２】密度は、重要な認識特徴である。５００ｇ
のタマネギは５００ｇのマッシュルームと同じ重さだ
が、このマッシュルームの体積は、タマネギよりはるか
に大きい。したがって、重量と体積の間の関係が重要で
ある。この関係は、次式によって決定される物体密度で
ある。 密度＝重量（物体１３１）／体積（物体１３１）

【０１１３】図１４は、物体１３１の重量を判定する計
量装置１７０に接続された計算装置１４０を示すブロッ
ク図である。認識特徴として重量を使用するため、計量
装置１７０は、物体１３１の重量を計算装置１４０に報
告する。好ましい実施例では、装置１００が、次式によ
る「密度」特徴として重量を使用する。 「密度」＝重量（物体１３１）／面積（セグメント化さ
れた物体画像１３０）

【０１１４】この尺度は、密度を示す便利な手段を実施
するものではなく、圧力の尺度である。これを、平均投
影密度と称する。

【０１１５】物体１３１の真の密度は、非常に大まかに
計算することしかできない。物体１３１の体積を大まか
につかむために、物体画像１３０の境界輪郭線を、楕円
で近似することができ、物体１３１の体積を、この近似
楕円から展開された回転楕円体の体積によって近似する
ことができる。その後、密度を、重量／体積によって得
る。

【０１１６】射影されたセグメント化された物体画像１
３０から体積を見積もるための他の手段は、本発明の範
囲に含まれる。

【０１１７】同一の特徴Ｆ１（たとえば色相）を表す複
数の基準ヒストグラムを使用して、所与の物体を認識す
ることができる。図１５は、セグメント化された物体画
像１３０が２つの別個の領域すなわち、葉１４１０とブ
ドウ１４２０を有する場合の画像１４０５を示す図であ
る。画像１４０５は、物体画像１３０と背景画像３１１
からなる。物体画像１３０は、その第１物体領域である
葉１４１０とその第２物体領域であるブドウ１４２０と
共にセグメント化される。これらの物体領域は、セグメ
ント化アルゴリズムを使用することによって認識され、
画定される。好ましいアルゴリズムは、複数の別個のピ
ークが存在するかどうかの検出に面積正規化された色相
ヒストグラムを使用することである。

【０１１８】これらの領域は、別々にヒストグラム化さ
れ、面積正規化される。面積正規化されたヒストグラム
１４５０および１４５５は、それぞれ葉１４１０領域と
ブドウ１４２０領域に対応し、上で述べたように基準ヒ
ストグラムと比較される。さらに、葉１４１０領域とブ
ドウ１４２０領域の相対位置１４３０を、照合（図９）
中に考慮に入れることができる。本発明のこの部分で
は、たとえば色（色に制限されるものではない）などの
特徴が物体１３１の表面全体で均一ではなく、したがっ
て、セグメント化された物体画像１３０全体で均一では
ない品目を考慮に入れたものである。典型的な例が、葉
の付いたニンジンである。

【０１１９】図１６に、任意指定のインターフェース１
６０を示す。これには、装置１００によって決定される
物体１３１のさまざまな可能な識別の絵図による（また
は他の説明による）記述１５１０、１５２０、１５３０
および１５４０を画面１６４に表示する好ましい手段が
含まれる。ほとんどの場合、物体１３１は、ステップ２
６０での記憶域２７０の基準データベースとの比較によ
って独自に識別できる。しかし、場合によっては、複数
の基準ヒストグラムとの一致が存在する可能性、すなわ
ち、目標物体の正規化されたヒストグラムが、複数の基
準ヒストグラムとほぼ同一になる可能性がある。この場
合、新規の形で、インターフェース１６０を介して人間
に最終的な認識判断を行うように求めることができる。
インターフェース１６０の好ましい実施例は、４つ以下
の選択肢すなわち１５１０、１５２０、１５３０および
１５４０を提供する。任意指定として、後で説明するよ
うに、より多くの選択肢を要求することもできる。人間
は、接触、音声、マウス、キーボードなど、任意の手段
を介して計算装置１４０に判断を伝えることができる。
さらに、手段１６２（ボタン）をインターフェース上に
設けて、あるヒストグラムを記憶域２７０のデータベー
ス８２０に追加しなければならない時と場合すなわち、
将来に装置１００に物体１３１の実体が提示された時に
これを認識（またはよりよく認識）するためにそのデー
タを用いてシステムをトレーニングしなければならない
場合をユーザが決定できるようにすることができる。

【０１２０】図１７は、ユーザが物体識別を求めて走査
表示できるようにする、走査検索キー様の機能を有する
インターフェース１６０を示す図である。走査検索キー
とは、人間に案内されたデータベース８２０での物体識
別の探索を絞りこむのに用いられるキーワードまたはキ
ー特徴である。このようなキーの例には、符号１６１０
に示されるように、Red（赤）１６１２、Green（緑）１
６１３、Yellow（黄）１６１４、Brown（茶）１６１
５、Round（丸）１６１６、Straight（直線）１６１
７、Leafy（葉状）１６１８、Apples（リンゴ）１６１
９、Citrus Fruits（柑橘類）１６２０、Peppers（コシ
ョウ）１６２１およびPotatoes（ジャガイモ）１６２２
が含まれるが、これに制限されるものではない。ユーザ
は、接触、音声、マウス、キーボードなどを介して通信
できる。キー１６００は、提示される選択肢１６１２な
いし１６２２がより具体的な、符号１６１０の別の実体
か、最終判断を行うことのできる画面１６３０のいずれ
かを用いて応答する。符号１６１９（たとえばリンゴ）
が選択された場合、キー１６００は、人間に画面１６３
０を提示し、物体１３１の識別の説明（スケッチ、写
真、単語）１６３１ないし１６４１を提供する。ユーザ
は、さまざまな既知の入力装置を使用して画面上で選択
を行うことができる。他の任意のヒューマン・フレンド
リな方法または手段を使用することもできる。

【０１２１】図１８は、装置１００と共に物体の値付け
に使用される任意指定の装置を示すブロック図である。
計量装置１７０を使用して、物体１３１の重量を判定す
る。装置１００は、上で説明したように物体を認識す
る。物体を認識した後に、物体の価格を決定する。値付
けに必要であれば、計量装置１７０から得られた重量ま
たは物体の個数（存在する品目の数）を使用する。物体
の価格は、記憶装置１４４に記憶される。

【０１２２】価格出力装置１７１０を装置１００に取り
付けて、価格をユーザに伝える。価格出力装置１７１０
は、印刷装置、表示装置または、物体の価格を伝えるた
めの他の手段とすることができる。価格は、インターフ
ェース１６０に表示することもできる。

【０１２３】価格が重量によって指定される場合、計算
装置１４０は、次式に従って価格を計算する 価格＝重量×（物体１３１の単位重量あたりの価格） 価格が個数によって指定される場合、計算装置１４０
は、次式に従って価格を計算する 価格＝個数×（物体１３１の単価） 品目の個数は、人間の介入によって得るか、見積もるこ
とができる。

【０１２４】人間の介入を介して個数を入力する場合、
装置１００は、物体１３１が計算装置１４０の記憶域内
で個数によって販売される（たとえばレモンやライム）
と示される場合に、個数を入力するように人間に指示メ
ッセージを出すだけである。個数を自動的に見積もるに
は、２つの方法がある。 ａ）装置１００が、記憶装置１４４に物体１３１の平均
重量を有し、セグメント化された物体画像１３０から物
体１３１の識別を確立した後に、次式に従って個数を計
算する 個数＝重量／平均重量（物体１３１） ｂ）装置１００が、セグメント化された物体画像１３０
の個数の見積を行う 個数＝セグメント化された物体画像１３０の個数

【０１２５】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１２６】（１）ａ．ある時間の期間にわたって一定
である非単色光周波数分布を有する、物体を照明するた
めの光源と、 ｂ．目標物体画像および背景画像を含むシーン画像を作
成するための視覚入力装置と、記憶装置と、シーン画像
内で物体画像を背景画像からセグメント化するためのア
ルゴリズムとを有するコンピュータ・システムと、 ｃ．コンピュータ記憶装置に記憶され、それぞれがセグ
メント化された基準物体と関連する特徴である、複数の
正規化された基準特性記述と、 ｄ．それぞれが、アルゴリズムによってシーンからセグ
メント化されたセグメント化された目標物体画像の特徴
である、１つまたは複数の正規化された目標特性記述と
を含み、正規化された目標特性記述が、１つまたは複数
の正規化された基準特性記述と比較され、目標特性記述
と基準特性記述が一致する場合に、目標物体が関連基準
物体として認識される物体を認識するためのシステム。 （２）特徴が色相である、上記（１）に記載のシステ
ム。 （３）特性記述がヒストグラムである、上記（１）に記
載のシステム。 （４）特性記述が色相ヒストグラムである、上記（１）
に記載のシステム。 （５）ａ．ある時間の期間にわたって一定である非単色
光周波数分布を有し、物体と背景を含むシーンを、第１
輝度レベルと第１輝度レベルより低い第２輝度レベルと
で照明するように制御される、シーンを照明するための
光源と、 ｂ．記憶装置と、目標物体画像および背景画像を含むシ
ーン画像を作成するための視覚入力装置と、シーン画像
内の目標物体画像を背景画像からセグメント化するアル
ゴリズムとを有し、アルゴリズムが、第１輝度レベルで
撮影されたシーン画像と第２輝度レベルで撮影されたシ
ーン画像とを比較することによって物体画像をセグメン
ト化する、コンピュータ・システムと、 ｃ．コンピュータ記憶装置に記憶され、それぞれがセグ
メント化された基準物体に関連する特徴である、複数の
正規化された基準ヒストグラムと、 ｄ．正規化された基準ヒストグラムと同一の方法で正規
化された、それぞれがセグメント化された目標物体画像
の特徴である、１つまたは複数の正規化された目標ヒス
トグラムとを含み、正規化された目標ヒストグラムが１
つまたは複数の正規化された基準ヒストグラムと比較さ
れ、特徴の正規化された目標ヒストグラムと特徴の正規
化された基準ヒストグラムが一致する場合に、目標物体
が関連基準物体として認識される物体を認識するための
システム。 （６）正規化が、面積正規化である、上記（５）に記載
のシステム。 （７）正規化が、長さ正規化である、上記（５）に記載
のシステム。 （８）正規化が、セグメント化された物体画像から抽出
された尺度に関するものである、上記（５）に記載のシ
ステム。 （９）特徴が、色相であり、色相特徴が、面積正規化さ
れる、上記（５）に記載のシステム。 （１０）特徴が、彩度であり、彩度ヒストグラムが、面
積正規化される、上記（５）に記載のシステム。 （１１）第２特徴が、彩度であり、物体を認識する前
に、セグメント化された画像の正規化された目標彩度ヒ
ストグラムも、正規化された基準彩度ヒストグラムと一
致しなければならない、上記（９）に記載のシステム。 （１２）特徴がテクスチャであり、これによって、目標
物体を認識するために、目標テクスチャ・ヒストグラム
が、基準テクスチャ・ヒストグラムと一致しなければな
らない、上記（５）に記載のシステム。 （１３）テクスチャが、領域計算を使用して決定され
る、上記（１２）に記載のシステム。 （１４）テクスチャが、エッジ計算を使用して決定され
る、上記（１２）に記載のシステム。 （１５）特徴が、形状であり、これによって、目標物体
を認識するために、目標形状ヒストグラムが基準形状ヒ
ストグラムと一致しなければならない、上記（７）に記
載のシステム。 （１６）ａ．目標物体を計量するはかりと、 ｂ．コンピュータ記憶装置に記憶される基準射影密度の
表現である、物体の基準セグメント化物体平均射影密度
と、 ｃ．目標セグメント化物体射影密度と をさらに含み、目標物体を識別するために、目標物体射
影密度が、基準射影密度と一致しなければならない上記
（５）に記載のシステム。 （１７）平均射影密度が、物体重量を物体面積で割るこ
とによって決定される、上記（１６）に記載のシステ
ム。 （１８）目標物体画像と基準物体画像との両方が、偏光
フィルタを介して得られる、上記（５）に記載のシステ
ム。 （１９）目標物体が、それぞれが目標物体上の別個の領
域を表す複数の目標領域特徴を有し、目標物体を認識す
るために、目標領域特徴ヒストグラムのそれぞれおよび
領域特徴の相対位置が、コンピュータ記憶装置に記憶さ
れたそれぞれの基準領域特徴ヒストグラムと一致しなけ
ればならない、上記（５）に記載のシステム。 （２０）目標物体領域特徴が、相対位置にあり、目標物
体が認識されるために、相対位置が、記憶された相対位
置と一致しなければならない、上記（１９）に記載のシ
ステム。 （２１）目標物体の面積が、物体を含まない第１画像と
物体を含む第２画像とを撮影し、第１画像が第２画像と
等しい画素位置で第２画像から第１画像を引くことによ
って、物体画像から背景を取り除くことによって決定さ
れる、上記（５）に記載のシステム。 （２２）光源がオフの時に第１画像を撮影し、光源がオ
ンの時に第２画像を撮影し、第１画像で暗く第２画像で
明るい画素を選択することによって、目標物体画像をセ
グメント化する、上記（５）に記載のシステム。 （２３）物体が、嵩高品目であり、視覚入力装置が、カ
ラー・ビデオ・カメラである、上記（５）に記載のシス
テム。 （２４）物体が、農産物であり、視覚入力装置が、カラ
ー・ビデオ・カメラである、上記（５）に記載のシステ
ム。 （２５）ａ．ある時間の期間にわたって一定である非単
色光周波数分布を有し、物体と背景とを含むシーンを、
第１輝度レベルと第１輝度レベルより低い第２輝度レベ
ルとで照明するように制御される、シーンを照明するた
めの光源と、 ｂ．記憶装置と、目標物体画像および背景画像を含むシ
ーン画像を作成するための視覚入力装置と、シーン画像
内の目標物体画像を背景画像からセグメント化するアル
ゴリズムとを有し、アルゴリズムが、第１輝度レベルで
撮影されたシーン画像と第２輝度レベルで撮影されたシ
ーン画像とを比較することによって物体画像をセグメン
ト化する、コンピュータ・システムと、 ｃ．コンピュータ記憶装置に記憶され、それぞれがセグ
メント化された基準物体に関連する特徴である、複数の
正規化された基準ヒストグラムと、 ｄ．正規化された基準ヒストグラムと同一の方法で正規
化された、それぞれがセグメント化された目標物体画像
の特徴である、１つまたは複数の正規化された目標ヒス
トグラムと、 ｅ．認識されない目標物体画像が１組の記憶判断基準に
合致するかどうかを判定する手段とを含み、正規化され
た目標ヒストグラムが、１つまたは複数の正規化された
基準ヒストグラムと比較され、特徴の目標ヒストグラム
と基準ヒストグラムとが一致しないので目標物体が関連
基準物体として認識されず、正規化された目標ヒストグ
ラムが、記憶判断基準に合致する場合に、正規化された
目標ヒストグラムが記憶される物体を認識するためのシ
ステム。 （２６）ユーザに対してユーザ・インターフェースを介
して物体を識別する、上記（２５）に記載のシステム。 （２７）ユーザ・インターフェースが、物体の複数の可
能な識別の選択をユーザに与える、上記（２６）に記載
のシステム。 （２８）ユーザ・インターフェースが、タッチ・スクリ
ーンである、上記（２６）に記載のシステム。 （２９）インターフェースが、音声認識システムであ
る、上記（２６）に記載のシステム。 （３０）インターフェースを用いて、ユーザが物体選択
全体を走査表示できる、上記（２６）に記載のシステ
ム。 （３１）物体を計量するはかりをさらに含み、これによ
って、嵩高品目の価格を、物体の重量および認識に基づ
いて決定する上記（２５）に記載のシステム。 （３２）ａ．ある時間の期間にわたって一定の非単色光
周波数分布を有する光源を用いて、物体を照明するステ
ップと、 ｂ．視覚入力装置、記憶装置および、シーンの背景画像
から物体画像をセグメント化するためのアルゴリズムを
有するコンピュータ・システムを用いて、目標物体画像
および背景画像を含むシーン画像を作成するステップ
と、 ｃ．それぞれがアルゴリズムによって決定されたセグメ
ント化された目標物体画像の特徴である１つまたは複数
の正規化された目標特性記述を、それぞれがセグメント
化された基準物体に関連する特徴である、記憶装置内の
１つまたは複数の正規化された基準特性記述と比較する
ステップと、 ｄ．１つまたは複数の正規化された目標特性記述が、１
つまたは複数の正規化された基準特性記述と一致する時
に、目標物体を基準物体として認識するステップとを含
む、物体を認識する方法。

【０１２７】

【発明の効果】本発明によれば、農産物などの物体を認
識するための改良された装置および方法が提供される。
また、農産物などの物体を認識するための改良されたト
レーニング可能な装置および方法が提供される。また、
店頭または農産物課で農産物などの物体を認識し値付け
するための改良された装置および方法が提供される。さ
らに、農産物などの、自動化製品識別のためのユーザ・
インターフェースの改良された手段および方法が提供さ
れる。

【図面の簡単な説明】

【図１】本発明の好ましい実施例の１つのブロック図で
ある。

【図２】本発明の物体を認識するための方法の好ましい
実施例を示す流れ図である。

【図３】シーンの物体画像と背景画像へのセグメント化
を示す図である。

【図４】シーンの物体画像と背景画像へのセグメント化
を示す図である。

【図５】画像をセグメント化し、画像内の物体を認識す
るための装置の好ましい実施例のブロック図である。

【図６】目標物体画像をセグメント化するための好まし
い方法の流れ図である。

【図７】目標物体特徴に対する基準の特性記述の好まし
い方法を示す流れ図である。

【図８】物体特徴特性記述の（面積／長さ）正規化のた
めの好ましい方法を示す流れ図である。

【図９】１つまたは複数の面積正規化された物体特性記
述に対する面積／長さ正規化された目標物体特性記述の
比較を示す図である。

【図１０】新画像を認識するために本装置をトレーニン
グする好ましい（アルゴリズム的）方法を示す流れ図で
ある。

【図１１】物体の複数の特徴が抽出されるのを示すブロ
ック図である。

【図１２】テクスチャの特徴のヒストグラム化と正規化
を示す流れ図である。

【図１３】境界形状の特徴のヒストグラム化と正規化を
示す流れ図である。

【図１４】計量装置を示すブロック図である。

【図１５】セグメント化された物体が、物体画像のセグ
メント化によって決定される２つの別個の領域を有し、
これらの領域が、認識アルゴリズムに組み込まれる場合
の画像を示す図である。

【図１６】結像される農産物の最も適した識別の順序付
けられた等級付けを提示する、本装置へのヒューマン・
インターフェースを示す図である。

【図１７】前に導入され記憶されたアイコン画像の全て
のサブセットを走査表示することによって物体の識別を
人間が判定し、これによってサブセットを選択する手段
を示す図である。

【図１８】物体の重量を使用して物体の値付けを行う、
本発明の好ましい実施例を示す図である。

【符号の説明】

１００ 装置 １１０ 光源 １２０ 結像装置 １３０ 物体画像 １３１ 物体 １４０ 計算装置 １４２ フレーム・グラバ １４４ 記憶装置 １６０ 対話型入出力装置（インターフェース） １７０ 計量装置 ２００ アルゴリズム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョナサン・ハドソン・コネル アメリカ合衆国10566 ニューヨーク州コ ートラント・マナー パメラ・ロード 25 (72)発明者 ノーマン・ハース アメリカ合衆国10549 ニューヨーク州マ ウント・キスコ フォックスウッド・サー クル 53 (72)発明者 ラケシュ・モーハン アメリカ合衆国06902 コネチカット州ス タンフォード ウェスト・ヒル・ロード 535 (72)発明者 ガブリエル・タウビン アメリカ合衆国10530 ニューヨーク州ハ ーツデール ポー・ストリート30

Claims (32)

【特許請求の範囲】
1. 【請求項１】ａ．ある時間の期間にわたって一定である
   非単色光周波数分布を有する、物体を照明するための光
   源と、 ｂ．目標物体画像および背景画像を含むシーン画像を作
   成するための視覚入力装置と、記憶装置と、シーン画像
   内で物体画像を背景画像からセグメント化するためのア
   ルゴリズムとを有するコンピュータ・システムと、 ｃ．コンピュータ記憶装置に記憶され、それぞれがセグ
   メント化された基準物体と関連する特徴である、複数の
   正規化された基準特性記述と、 ｄ．それぞれが、アルゴリズムによってシーンからセグ
   メント化されたセグメント化された目標物体画像の特徴
   である、１つまたは複数の正規化された目標特性記述と
   を含み、 正規化された目標特性記述が、１つまたは複数の正規化
   された基準特性記述と比較され、目標特性記述と基準特
   性記述が一致する場合に、目標物体が関連基準物体とし
   て認識される物体を認識するためのシステム。
2. 【請求項２】特徴が色相である、請求項１に記載のシス
   テム。
3. 【請求項３】特性記述がヒストグラムである、請求項１
   に記載のシステム。
4. 【請求項４】特性記述が色相ヒストグラムである、請求
   項１に記載のシステム。
5. 【請求項５】ａ．ある時間の期間にわたって一定である
   非単色光周波数分布を有し、物体と背景を含むシーン
   を、第１輝度レベルと第１輝度レベルより低い第２輝度
   レベルとで照明するように制御される、シーンを照明す
   るための光源と、 ｂ．記憶装置と、目標物体画像および背景画像を含むシ
   ーン画像を作成するための視覚入力装置と、シーン画像
   内の目標物体画像を背景画像からセグメント化するアル
   ゴリズムとを有し、アルゴリズムが、第１輝度レベルで
   撮影されたシーン画像と第２輝度レベルで撮影されたシ
   ーン画像とを比較することによって物体画像をセグメン
   ト化する、コンピュータ・システムと、 ｃ．コンピュータ記憶装置に記憶され、それぞれがセグ
   メント化された基準物体に関連する特徴である、複数の
   正規化された基準ヒストグラムと、 ｄ．正規化された基準ヒストグラムと同一の方法で正規
   化された、それぞれがセグメント化された目標物体画像
   の特徴である、１つまたは複数の正規化された目標ヒス
   トグラムとを含み、 正規化された目標ヒストグラムが１つまたは複数の正規
   化された基準ヒストグラムと比較され、特徴の正規化さ
   れた目標ヒストグラムと特徴の正規化された基準ヒスト
   グラムが一致する場合に、目標物体が関連基準物体とし
   て認識される物体を認識するためのシステム。
6. 【請求項６】正規化が、面積正規化である、請求項５に
   記載のシステム。
7. 【請求項７】正規化が、長さ正規化である、請求項５に
   記載のシステム。
8. 【請求項８】正規化が、セグメント化された物体画像か
   ら抽出された尺度に関するものである、請求項５に記載
   のシステム。
9. 【請求項９】特徴が、色相であり、色相特徴が、面積正
   規化される、請求項５に記載のシステム。
10. 【請求項１０】特徴が、彩度であり、彩度ヒストグラム
    が、面積正規化される、請求項５に記載のシステム。
11. 【請求項１１】第２特徴が、彩度であり、物体を認識す
    る前に、セグメント化された画像の正規化された目標彩
    度ヒストグラムも、正規化された基準彩度ヒストグラム
    と一致しなければならない、請求項９に記載のシステ
    ム。
12. 【請求項１２】特徴がテクスチャであり、これによっ
    て、目標物体を認識するために、目標テクスチャ・ヒス
    トグラムが、基準テクスチャ・ヒストグラムと一致しな
    ければならない、請求項５に記載のシステム。
13. 【請求項１３】テクスチャが、領域計算を使用して決定
    される、請求項１２に記載のシステム。
14. 【請求項１４】テクスチャが、エッジ計算を使用して決
    定される、請求項１２に記載のシステム。
15. 【請求項１５】特徴が、形状であり、これによって、目
    標物体を認識するために、目標形状ヒストグラムが基準
    形状ヒストグラムと一致しなければならない、請求項７
    に記載のシステム。
16. 【請求項１６】ａ．目標物体を計量するはかりと、 ｂ．コンピュータ記憶装置に記憶される基準射影密度の
    表現である、物体の基準セグメント化物体平均射影密度
    と、 ｃ．目標セグメント化物体射影密度とをさらに含み、目
    標物体を識別するために、目標物体射影密度が、基準射
    影密度と一致しなければならない請求項５に記載のシス
    テム。
17. 【請求項１７】平均射影密度が、物体重量を物体面積で
    割ることによって決定される、請求項１６に記載のシス
    テム。
18. 【請求項１８】目標物体画像と基準物体画像との両方
    が、偏光フィルタを介して得られる、請求項５に記載の
    システム。
19. 【請求項１９】目標物体が、それぞれが目標物体上の別
    個の領域を表す複数の目標領域特徴を有し、目標物体を
    認識するために、目標領域特徴ヒストグラムのそれぞれ
    および領域特徴の相対位置が、コンピュータ記憶装置に
    記憶されたそれぞれの基準領域特徴ヒストグラムと一致
    しなければならない、請求項５に記載のシステム。
20. 【請求項２０】目標物体領域特徴が、相対位置にあり、
    目標物体が認識されるために、相対位置が、記憶された
    相対位置と一致しなければならない、請求項１９に記載
    のシステム。
21. 【請求項２１】目標物体の面積が、物体を含まない第１
    画像と物体を含む第２画像とを撮影し、第１画像が第２
    画像と等しい画素位置で第２画像から第１画像を引くこ
    とによって、物体画像から背景を取り除くことによって
    決定される、請求項５に記載のシステム。
22. 【請求項２２】光源がオフの時に第１画像を撮影し、光
    源がオンの時に第２画像を撮影し、第１画像で暗く第２
    画像で明るい画素を選択することによって、目標物体画
    像をセグメント化する、請求項５に記載のシステム。
23. 【請求項２３】物体が、嵩高品目であり、視覚入力装置
    が、カラー・ビデオ・カメラである、請求項５に記載の
    システム。
24. 【請求項２４】物体が、農産物であり、視覚入力装置
    が、カラー・ビデオ・カメラである、請求項５に記載の
    システム。
25. 【請求項２５】ａ．ある時間の期間にわたって一定であ
    る非単色光周波数分布を有し、物体と背景とを含むシー
    ンを、第１輝度レベルと第１輝度レベルより低い第２輝
    度レベルとで照明するように制御される、シーンを照明
    するための光源と、 ｂ．記憶装置と、目標物体画像および背景画像を含むシ
    ーン画像を作成するための視覚入力装置と、シーン画像
    内の目標物体画像を背景画像からセグメント化するアル
    ゴリズムとを有し、アルゴリズムが、第１輝度レベルで
    撮影されたシーン画像と第２輝度レベルで撮影されたシ
    ーン画像とを比較することによって物体画像をセグメン
    ト化する、コンピュータ・システムと、 ｃ．コンピュータ記憶装置に記憶され、それぞれがセグ
    メント化された基準物体に関連する特徴である、複数の
    正規化された基準ヒストグラムと、 ｄ．正規化された基準ヒストグラムと同一の方法で正規
    化された、それぞれがセグメント化された目標物体画像
    の特徴である、１つまたは複数の正規化された目標ヒス
    トグラムと、 ｅ．認識されない目標物体画像が１組の記憶判断基準に
    合致するかどうかを判定する手段とを含み、 正規化された目標ヒストグラムが、１つまたは複数の正
    規化された基準ヒストグラムと比較され、特徴の目標ヒ
    ストグラムと基準ヒストグラムとが一致しないので目標
    物体が関連基準物体として認識されず、 正規化された目標ヒストグラムが、記憶判断基準に合致
    する場合に、正規化された目標ヒストグラムが記憶され
    る、 物体を認識するためのシステム。
26. 【請求項２６】ユーザに対してユーザ・インターフェー
    スを介して物体を識別する、請求項２５に記載のシステ
    ム。
27. 【請求項２７】ユーザ・インターフェースが、物体の複
    数の可能な識別の選択をユーザに与える、請求項２６に
    記載のシステム。
28. 【請求項２８】ユーザ・インターフェースが、タッチ・
    スクリーンである、請求項２６に記載のシステム。
29. 【請求項２９】インターフェースが、音声認識システム
    である、請求項２６に記載のシステム。
30. 【請求項３０】インターフェースを用いて、ユーザが物
    体選択全体を走査表示できる、請求項２６に記載のシス
    テム。
31. 【請求項３１】物体を計量するはかりをさらに含み、 これによって、嵩高品目の価格を、物体の重量および認
    識に基づいて決定する請求項２５に記載のシステム。
32. 【請求項３２】ａ．ある時間の期間にわたって一定の非
    単色光周波数分布を有する光源を用いて、物体を照明す
    るステップと、 ｂ．視覚入力装置、記憶装置および、シーンの背景画像
    から物体画像をセグメント化するためのアルゴリズムを
    有するコンピュータ・システムを用いて、目標物体画像
    および背景画像を含むシーン画像を作成するステップ
    と、 ｃ．それぞれがアルゴリズムによって決定されたセグメ
    ント化された目標物体画像の特徴である１つまたは複数
    の正規化された目標特性記述を、それぞれがセグメント
    化された基準物体に関連する特徴である、記憶装置内の
    １つまたは複数の正規化された基準特性記述と比較する
    ステップと、 ｄ．１つまたは複数の正規化された目標特性記述が、１
    つまたは複数の正規化された基準特性記述と一致する時
    に、目標物体を基準物体として認識するステップとを含
    む、物体を認識する方法。