JP5874141B2

JP5874141B2 - 物体識別装置

Info

Publication number: JP5874141B2
Application number: JP2012005112A
Authority: JP
Inventors: 護仁中道; 泰志方
Original assignee: 株式会社ブレイン
Priority date: 2012-01-13
Filing date: 2012-01-13
Publication date: 2016-03-02
Anticipated expiration: 2032-01-13
Also published as: JP2013145441A; US9219891B2; US20130182106A1

Description

本発明は、撮像された例えばパンや食品等の物体を識別するための物体識別装置に関し、特に識別対象である１以上の物体が撮像された画像に基づいて、個々の物体を識別するための前提処理として、トレー等の背景から物体を自動的に分離して切り出すための技術に係る。

従来、例えば特許文献１では、画像情報に含まれる物体を識別するために、その物体の輪郭線を得る技術が提案されている。
又、特許文献２では、画像情報に含まれる輪郭等の形状特徴を抽出して、これに類似するモデルとの対比により識別する技術が提案されている。
さらに、特許文献３では、例えば半透明又は透明な部分を含む物体を識別するために、白と黒というように均一色でかつ互いに異なる２種類の背景にて撮影し、２枚の画像において変化の少ない又は変化の無い領域を物体として識別する技術が提案されている。

特開平７−２２０８９号公報特開２０００−２１５３１５号公報特開２００４−５３１８２２号公報

ところで、近年、自家製のパンを販売するパン屋が増加傾向にあり、そのようなパン屋で製造・販売されるパンの種類も増加傾向にある。このようなパン屋では顧客が自己の欲するパンを陳列台からトレーに移し、トレーに載せた状態で代金計算が行われており、それに手間と時間を要している。すなわち、パンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。従って、販売員は、トレー上のパンの種類を正確に見分け、それに基づいて例えばＰＯＳレジスタに正確に入力する必要があり、これらに熟練作業が要求されることになる。このため、出願人において、トレー上のパンについてＣＣＤカメラにより撮像し、この画像情報からトレー上のパンの種類と数を自動的に認識して、代金計算を自動化し得る技術の開発を進めている。

このようなパンの識別において、パンは一般的に茶色系統の色を有するものが多いため、例えば白色のトレー上に載った茶色系統のパンであれば、色の差によって背景であるトレーから容易に分離することは容易に可能と考えられるものの、白色のパンが白色のトレー上に載っている場合には境界の抽出が困難となるため背景であるトレーからの分離は困難になると考えられる。

室内の環境光だけではなくて、積極的に照明を当てて影を有する画像を取得することも考えられるが、影の部分はパンとトレーとの双方の特徴を併せ持つことになり、影の部分が背景のトレーに属するのか、パンに属するのかの境界を判別することは困難なものとなると考えられる。

さらに、パンにかけられた白い粉砂糖や、表面の光沢の存在により、画像内のパンの一部分にトレーと同じ白く写る場合には、その部分はパンであり背景の一部ではないと判別する必要がある反面、例えばドーナッツ状のパンの場合には穴の内部に影が写り込んでいても、その部分はパンではなくて背景の一部であると判別する必要がある。後者の場合、ドーナッツ状のパンではなくても、例えば３つのパンが互いに接触してトレー上に載せられている場合に真ん中の空間が影として画像に写り込むと、同様の状況になると考えられる。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、撮像された画像に基づいて各物体を識別するにあたり、その物体と背景とを自動的に分離処理して識別対象の物体を確実に切り出し得る物体識別装置を提供することにある。

上記目的を達成するために、本発明では、トレーに載置された物体について撮像手段により撮像されたカラーデジタル画像を取り込み、このカラーデジタル画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置を対象にして、次の特定事項を備えたものとする。すなわち、前記撮像手段により撮像される際に前記トレーの背後からバックライトを照射するためのバックライト光源を備えることとし、前記トレーとして前記バックライトを前記撮像手段の側に透過させるよう少なくとも半透明に形成することとする。前記画像処理手段として、前記バックライト光源からバックライトが照射された状態で前記トレーの少なくとも一部を背景に含んで前記物体の全体を撮像し、撮像したカラーデジタル画像に含まれる物体に属する領域を背景領域から切り出して分離する背景分離処理部を備えるものとし、この背景分離処理部により分離された前記物体が属する領域毎に前記物体の種類についての識別処理を実行する構成とする。そして、前記背景分離処理部として、前記カラーデジタル画像をＬａｂ色空間を用いたＬａｂ画像に変換し、この変換画像の内の色の明度成分を表すＬ画像からエッジ検出を行うことで前記物体と背景との境界線である輪郭線を抽出する一方、前記変換画像の内のＬ画像、ａ画像及びｂ画像における分割領域毎に色空間の座標値により定義される色の分散の大小如何に基づいて、前記背景領域であるか、前記物体の属する領域であるかを判別し、この判別結果及び前記輪郭線に基づいて背景領域から前記物体が属する領域を切り出す構成とする（請求項１）。

本発明の場合、背景分離処理部により背景分離する対象であるカラーデジタル画像が、バックライト光源からバックライトが照射された状態で撮像されたものであるため、バックライトを用いない場合と比べ、次のような作用を得ることができる。すなわち、物体がトレーと同色系であったり、物体の一部にトレーと同色系の部分が存在していたりしても、バックライト照射の背景とすることで、そのような物体が属する領域をバックライトの明度が支配する背景領域から切り出してそれらの物体が属する領域の抽出を確実に行うことが可能となる。又、物体がある程度の高さを有していたり、複数個の物体がトレー上に載って影の影響を受けたり、あるいは、物体の内部に貫通穴を有しその貫通穴の内部に影が生じたりするような場合であっても、バックライト照射の背景とすることで、影の影響等を排除して物体が属する領域を的確に区別し得ることになる。しかも、その物体が属する領域の抽出を周囲の環境光の影響を受けることなく安定的に行うことが可能となる。これにより、物体の識別処理も、より的確に行うことができるようになる。加えて、バックライトが照射された状態で撮像されたカラーデジタル画像をＬａｂ色空間を用いたＬａｂ画像に変換し、この変換画像に内のＬ画像を用いて得たエッジに基づく輪郭線と、前記変換画像のＬ画像、ａ画像及びｂ画像における分割領域毎に色空間の座標値により定義される色の分散の大小如何に基づいて、前記背景領域であるか、前記物体の属する領域であるかを判別した判別結果とを用いて背景領域から前記物体が属する領域を切り出すようにしているため、物体の内部に貫通穴を有する場合であっても、その貫通穴の内部が背景領域と同様に色の分散状況が小となるため、かかる貫通穴の領域を確実に背景領域と判別することが可能となって、物体が属する領域をより的確に判別し得ることになる。なお、前記の識別処理としては個々の物体に属するものとして領域分けされた画像領域に対応するカラー画像部分の形状に関する特徴量に基づき各物体の種類を識別するようにすればよい。

又、前記発明の物体識別装置における背景分離処理部として、色空間における該当する色の座標値間の距離の大小如何に基づいて、前記背景領域であるか、前記物体の属する領域であるかを判別し、この判別結果を加えて、前記背景領域から前記物体が属する領域を切り出す構成とすることができる（請求項２）。このようにすることにより、前記の如く物体がトレーと同色系であったり、物体の一部にトレーと同色系の部分が存在していたりしても、これを背景領域と誤識別することなく、物体が属する領域をより的確に判別し得ることになる。

さらに、前記発明の物体識別装置におけるトレーに載置される物体として、任意数のパンとすることができる（請求項３）。

以上、説明したように、本発明の物体識別装置によれば、バックライト光源からバックライトが照射された状態で撮像されたカラーデジタル画像に基づき背景分離処理部により背景分離するようにしているため、バックライトを用いない場合と比べ、次のような格別な効果を得ることができる。すなわち、物体がトレーと同色系であったり、物体の一部にトレーと同色系の部分が存在していたりしても、バックライト照射の背景とすることで、そのような物体が属する領域をバックライトの明度が支配する背景領域から切り出してそれらの物体が属する領域の抽出を確実に行うことができる。又、物体がある程度の高さを有していたり、複数個の物体がトレー上に載って影の影響を受けたり、あるいは、物体の内部に貫通穴を有しその貫通穴の内部に影が生じたりするような場合であっても、バックライト照射の背景とすることで、影の影響等を排除して物体が属する領域を的確に区別することができる。しかも、その物体が属する領域の抽出を周囲の環境光の影響を受けることなく安定的に行うことができる。これにより、以後の物体の識別処理を、より的確に行うことができるようになる。加えて、バックライトが照射された状態で撮像されたカラーデジタル画像をＬａｂ色空間を用いたＬａｂ画像に変換し、この変換画像に内のＬ画像を用いて得たエッジに基づく輪郭線と、前記変換画像のＬ画像、ａ画像及びｂ画像における分割領域毎に色空間の座標値により定義される色の分散の大小如何に基づいて、前記背景領域であるか、前記物体の属する領域であるかを判別した判別結果とを用いて背景領域から前記物体が属する領域を切り出すようにしているため、物体の内部に貫通穴を有する場合であっても、その貫通穴の内部が背景領域と同様に色の分散状況が小となるため、かかる貫通穴の領域を確実に背景領域と判別することができ、物体が属する領域をより的確に判別することができるようになる。

特に、請求項２によれば、背景分離処理部において、色空間における該当する色の座標値間の距離の大小如何に基づいて、背景領域であるか、物体の属する領域であるかを判別し、この判別結果を加えて、前記背景領域から前記物体が属する領域を切り出す構成とすることで、物体がトレーと同色系であったり、物体の一部にトレーと同色系の部分が存在していたりしても、これを背景領域と誤識別することなく、物体が属する領域をより的確に判別することができるようになる。

本発明の物体識別装置の実施形態を示す斜視図である。図１の物体識別装置を側面から見た模式図である。図１の物体識別装置の一部を構成する画像処理装置を示すブロック図である。画像処理の例を示すフローチャートである。図４の画像処理に含まれる背景分離処理の例を示すフローチャートである。Ｌ画像の例を示す図である。ａ画像の例を示す図である。ｂ画像の例を示す図である。Ｃａｎｎｙアルゴリズムを用いて得たエッジ画像に膨張処理を施した後の画像例を示す図である。図９の画像に基づいて輪郭を抽出した画像の例を示す図である。図１０の画像に基づいて作成されたマスク画像の例を示す図である。図１１の画像に基づいて作成された輪郭抽出画像の例を示す図である。パンの領域を分離するために最終的に得られるマスク画像の例を示す図である。バックライト光源の例を示す平面説明図である。図１５（ａ）は赤色ＬＥＤのみを点灯させた状態の図１４対応図であり、図１５（ｂ）は青色ＬＥＤのみを点灯させた状態の図１４対応図である。図１６（ａ）は赤色ＬＥＤのみを点灯させて得られる画像例を示す図であり、図１６（ｂ）は青色ＬＥＤのみを点灯させて得られる画像例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係る物体識別装置を示す。符号２は撮像手段であり、例えばＣＣＤカメラにより構成され、トレー３上に載せられた物体４を真上から撮像するようになっており（図２も併せて参照）、その際、トレー３上のパン４には通常の室内環境の環境光があたる一方、トレー３の下からはバックライト光源５からのバックライトが上向きに照射されるようになっている。又、符号６は画像処理装置であり、７は画像処理装置６と通信接続された例えばＰＯＳレジスタである。前記の画像処理装置６は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク，通信インターフェースや、適宜の入力部・表示部を備えたパーソナルコンピュータにより構成されている。そして、前記ハードディスクには、オペレーティングシステムと、本実施形態による画像処理を実行するためのプログラムがインストールされており、以下説明する画像処理が実行可能となっている。前記の入力部としては例えばマウスやキーボード等、前記の表示部としては例えば液晶パネル等のディスプレイでもよいが、前記ディスプレイと、タッチパッド等の位置入力装置とを組み合わせたタッチパネル６１を採用するようにしてもよい。ＰＯＳレジスタ７は画像処理装置６からパン４ａ，４ｂの種類と個数との識別情報を受けて、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行するようになっている。ＰＯＳとは、販売時点情報管理（Point of sale system）の略称である。

前記のトレー３は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されたものである。加えて、上面（表面）には例えば環境光等を反射させないように微細な凹凸を付す（例えばマット加工）ことが望ましく、又、着色するにしても淡色とすることが望ましい。好ましい具体構成としては、白色でかつ半透明に形成すればよい。又、物体４としては例えば任意数のパンであり、図例では２個のパン４ａ，４ｂがトレー３上に載せられているものとして、以下説明する。なお、物体４としては、パン以外に、キャベツやにんじん等の野菜、リンゴや梨等の果物をはじめとする食品等が本発明の適用対象とし得る。つまり、形態として同一物ではなくて、ほぼ同じ似通った形態を有するものの、完全な同一形態にはならないような製造物・生産品を識別対象の物体として、本発明を適用し得るものである。

さらに、バックライト光源５は、図例では上面に透明盤５１を備えた扁平なケース５２内に収容され、透明盤５１の上にパン購入の顧客が購入対象のパンを載置した状態でトレー３を置くことで、撮像の実行で始まる後述の物体識別処理が開始されるようになっている。バックライト光源５の光源としてはＬＥＤを用いて構成しているが、これに限らず他の光源を利用することも可能である。そして、トレー３に載った状態のパン４をＣＣＤカメラ２により撮像する際には、そのトレー３の背後（裏面側）にバックライト光源５からバックライトが照射された状態になるようになっている。これにより、パン４（４ａ，４ｂ）の周囲に形成されることのある影を可及的に排除し得るようになる。ＣＣＤカメラ２により撮像する際にバックライト光源５からバックライトが照射された状態にするには、バックライト光源５の点灯作動をＣＣＤカメラ２の撮像作動に同期させたり、非同期にしてＣＣＤカメラ２やバックライト光源５を共に後述の画像処理装置６により作動制御したり、あるいは、バックライト光源５を常時点灯状態にしておくようにしたり、というように種々の手法があり、これらの内からいずれかを選択し又は切り換え可能に組み合わせて適用すればよい。

画像処理装置６は、図３に示すように、撮像されてＣＣＤカメラ２から取り込まれた画像（カラーデジタル画像）を記憶する画像記憶部６２と、撮像された画像からパン４をトレー３等の背景から分離する、すなわち識別対象のパン４だけを切り出して分離する背景分離処理部６３と、個々のパン４（４ａ，４ｂ）毎の種類を切り出されたパン４ａ，４ｂの画像に基づいて識別する識別処理部６４とを備えている。さらに、前記画像処理装置６は、前記識別処理部６４による識別のために、パンの種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め記憶登録されたマスタデータ記憶部６５と、このマスタデータ記憶部６５の登録情報を参照して識別処理部６４により識別処理を実行する際に取得される新たな特徴量等について学習処理し、マスタデータ記憶部６５の登録内容を更新する学習処理部６６とを備えている。そして、識別処理部６４による識別結果（パンの種類と個数）をＰＯＳレジスタ７に出力するようになっている。以上の画像記憶部６２、背景分離処理部６３、識別処理部６４及び学習処理部６６等の各処理は前記の如く所定のプログラムにより実行されるようになっており、画像処理装置６はかかる各処理を実行する機能を備えたものとして構成されている。

前記の画像処理装置６により実行される処理について図４を参照しつつ簡単に説明すると、次のようになる。なお、以下では、２種類のパン４ａ，４ｂがトレー３に載っているものとして説明する。すなわち、まず、例えばタッチパネル６１から画像取り込み指令を入力操作することで、バックライト光源５からのバックライトが照射された状態でトレー３に載ったパン４ａ，４ｂをＣＣＤカメラ２により撮像し、撮像されたカラーデジタル画像を取り込んで画像記憶部６２に記録する（ステップＳ１）。次に、記録されたカラーデジタル画像を用いてパン４ａ，４ｂの各輪郭線を抽出・確定して各パン４ａ，４ｂに属する領域の画像を区画分離する背景分離処理を実行した上で（ステップＳ２）、その画像に基づいて各パン４ａ，４ｂの種類を識別処理し（ステップＳ３）、識別結果をタッチパネル６１及び／又はＰＯＳレジスタ７等に出力する（ステップＳ４）。

次に、前記の背景分離処理（ステップＳ２）について、図５を参照しつつ詳細に説明する。この背景分離処理は、目的とする識別処理（ステップＳ３）の前段階に行うべき前提の処理である。すなわち、画像記憶部６２に記録された画像（初期画像；カラーデジタル画像）はトレー３上にパン４ａ，４ｂが載置された状態で撮像されて背景にトレー３が写り込んだものであり、以下の背景分離処理（ステップＳ２）の実行により、背景であるトレー３の部分を分離してパン４ａ，４ｂの部分のみを切り出すことで、マスタデータ記憶部６５に記録・更新されたパンの種類毎にモデル化された特徴量との照合等に基づく識別処理が可能となるのである。

まず、画像記憶部６２に取り込まれたカラーデジタル画像をＬａｂ画像に変換する（ステップＳ１１）。Ｌａｂ画像とは、Ｌａｂ色空間（Lab color space；CIELAB；Ｌ＊ａ＊ｂ＊表色系；均等色空間）を構成するＬ軸，ａ軸，ｂ軸をそれぞれ基準として変換したＬ画像，ａ画像及びｂ画像からなるものである。すなわち、前記のＬａｂ色空間とは、色の明度成分を表すＬ軸と、赤と緑との間の色位置を示すａ軸と、黄と青との間の色位置を示すｂ軸との三次元空間にて表色するようにしたものであり、例えば、ある色と比較する他の色との色差は、前記三次元空間におけるそれぞれの色の座標値の距離により表すことができる。前記のＬａｂ画像への変換は、取り込まれたカラーデジタル画像を、Ｌ軸の明度成分のみで表わされたＬ画像Ｇ−１（例えば図６参照）、ａ軸の色位置で表わされたａ画像Ｇ−２（例えば図７参照）、及び、ｂ軸の色位置で表わされたｂ画像Ｇ−３（例えば図８参照）にそれぞれ変換するものである。

次に、エッジ画像の作成を行う（ステップＳ１２）。エッジとは、画素値が急激に変化する点又はこれらの点を結んだ線分であり、このエッジを検出することで、パン４ａ，４ｂの輪郭線の他に各パン４ａ，４ｂの特徴的な形状線等が得られることになる。エッジ検出には種々の手法の採用が可能であるが、本実施形態では前記の明度のみによって表されたＬ画像Ｇ−１からＣａｎｎｙアルゴリズムに基づきエッジ検出を行い、検出されたエッジをより強調するために膨張処理を施してエッジ画像（例えば図９の画像Ｇ−４参照）を得るようにしている。例えば、画像処理用のオープンソースライブラリに含まれる SobelやLaplace 等の微分関数、あるいは、Canny等のエッジ検出関数を用いてエッジ検出を行い、検出したエッジを元のＬ画像Ｇ−１と同サイズの出力画像領域に出力すればよい。そして、得られたエッジ画像に対し膨張処理を施すことで、より強調された状態のエッジ画像Ｇ−４（図９参照）を得ることができる。

次の輪郭抽出処理（ステップＳ１３）において、前記のエッジ画像Ｇ−４に表れたエッジの内で最外縁（最外側の境界）の線を輪郭線として抽出する一方、Ｌ画像Ｇ−１，ａ画像Ｇ−２及びｂ画像Ｇ−３において分割領域毎に色の分散状況を判別することで、パン４ａ，４ｂの輪郭線の抽出を行い、輪郭抽出画像Ｇ−５（例えば図１０参照）を作成する。後者の色の分散状況を判別するのは、対象のパン４に例えばドーナッツ状の如く内部に貫通穴を有するものも含まれ、このような穴あき形状のパン４であっても確実に輪郭線の抽出を可能にするためである。ここで、背景であるトレー３はバックライトの照射を受けて白色系の均一な色となるため、色の分散は（変化率）は小となる一方、パン４ａ，４ｂの領域は色の分散は大となる。そして、前記の貫通穴の領域はバックライトの照射を受けているため、影等の影響を受けることなく前記の背景であるトレー３の領域と同様に色の分散は小となる。このため、ドーナッツ状の貫通穴等がパン４にたとえ存在していても、それを的確に背景として区分けすることができ、これにより、その貫通穴とパン４との境界線を輪郭線として抽出することができると同時に、パン４ａ，４ｂの領域の判別にも利用することができる。

そして、前記の色の分散が小の領域（背景）を除いた、色の分散が大の領域を、前景であるパン４ａ，４ｂの領域とすると共に、併せて背景であるトレー３の領域はトレー３を透過したバックライトの色（白色系）となるため、前記の分割領域毎と同じ分割領域毎にバックライトの色との距離（Ｌａｂ色空間におけるバックライトの色の座標値Ｌ１，ａ１，ｂ１と、比較する色の座標値Ｌ２，ａ２，ｂ２との距離；ΔＬ，Δａ，Δｂをそれぞれ二乗したものの和の平方根）を演算し、この距離が近ければ背景領域、遠ければ前景であるパン４ａ，４ｂの領域とする。以上の、色の分散に加え、色の距離に基づく遠景と前景との判別を行うことで、例えばパン４ａ，４ｂ自体が白いパンであったり、パン４ａ，４ｂの上面に白く光る光沢や白い粉砂糖が存在していたりしても、これを背景と誤識別することなく、パン４ａ，４ｂの領域であると的確に判別することができるようになる。このようにしてパン４ａ，４ｂの領域を画定させることで、マスク画像Ｇ−６（例えば図１１参照）を作成する。

最低限では、以上の処理によって、識別処理（ステップＳ３；図４参照）に移行することも可能であるが、本実施形態ではさらに精度を高めるために以下の処理を行うようにしている。すなわち、マスク画像Ｇ−６に対し収縮処理及び膨張処理を前処理として施し、この前処理を施した後のマスク画像に基づいて輪郭線を再度抽出して輪郭抽出画像Ｇ−７（例えば図１２参照）を作成し、この輪郭抽出画像Ｇ−７に基づいてマスク画像を再度作成する。そして、得られたマスク画像に対し収縮処理及び膨張処理を施してノイズを除去することで、最終マスク画像Ｇ−８（例えば図１３参照）を得る。そして、このマスク画像Ｇ−８の白色の透過領域に対応する領域の情報を当初のカラーデジタル画像から切り出して識別処理部６４に出力することで、それらの領域情報に基づいて識別処理（ステップＳ３；図４参照）が実行されて、パン４ａ，４ｂの種類が識別処理されることになる。

以上の本実施形態の場合、バックライトを照射した状態で撮像した画像に基づいて背景分離を行うようにしていることで、バックライトを用いない場合と比べ、次のような作用効果を得ることができる。すなわち、パン４ａ，４ｂが白いパンであり、それが白いトレー３に載った状態で撮像された場合であったり、あるいは、パン４ａ，４ｂに部分的に白い部分が存在していたりしても、バックライト照射の背景とすることで、その白いパン４ａ，４ｂあるいは白い部分を有するパン４ａ，４ｂを背景から切り出してそれらの領域抽出を確実に行うことができることになる。又、パン４ａ，４ｂがある程度の高さを有していたり、複数個のパン４ａ，４ｂによって影の影響を受けたり、あるいは、ドーナッツ状の如く内部に貫通穴を有しその貫通穴の内部に影が生じたりするような場合であっても、バックライト照射の背景とすることで、影の影響等を排除してパン４ａ，４ｂの領域抽出を行うことができ、しかも、そのパン４ａ，４ｂの領域抽出を周囲の環境光の影響をうけることなく安定的に行うことができるようになる。これにより、パン４ａ，４ｂの識別処理も、より的確に行うことができるようになる。すなわち、同一種類であっても焼き上がり形状の個体差が大きく、かつ、ほぼ円形の形状のものが多いとはいっても真円形状のものはなく、円形に近いものから楕円形に近いものまでいびつな形状を有するパン４を識別対象とする場合に、そのパン４の形態を的確に切り出すことができ、切り出した情報に基づいて識別することで、識別をより効率的に行うことができるようになる。そして、このような効果を得られるバックライト光源５もＬＥＤを用いることで薄型のものにすることができ、装置全体の小型化を図ることができる。

＜他の実施形態＞
なお、本発明は上記実施形態に限定されるものではなく、その他種々の実施形態を包含するものである。すなわち、例えば図１４に例示するように、バックライト光源５ａを比較的大きい色差を有する２種類のＬＥＤで構成し、各色別に点灯させることで、互いに異なる色のバックライトを照射した状態の２種類の画像を得ることができる。例えば赤色ＬＥＤ（図１４に「Ｒ」で表示）と、青色ＬＥＤ（同図に「Ｂ」で表示）とを平面方向に互い違いに配置（図例では縦８個×横８個を千鳥配置）して、バックライト光源５ａを構成する。そして、図１５（ａ）に示すように青色ＬＥＤ（Ｂ，Ｂ，…）を消灯状態（同図の網掛けハッチング参照）に維持しつつ赤色ＬＥＤ（Ｒ，Ｒ，…）のみを点灯することで、パン４ａ，４ｂが載ったトレー３の背後から赤色のバックライトを照射することができ、これにより、図１６（ａ）の示すようにパン４ａ，４ｂを除く背景Ｃが赤色に着色された画像Ｇ−Ｒが得られる。一方、図１５（ｂ）に示すように赤色ＬＥＤ（Ｒ，Ｒ，…）を消灯状態（同図の網掛けハッチング参照）に維持しつつ青色ＬＥＤ（Ｂ，Ｂ，…）のみを点灯することで、パン４ａ，４ｂが載ったトレー３の背後から青色のバックライトを照射することができ、これにより、図１６（ｂ）の示すようにパン４ａ，４ｂを除く背景Ｃが青色に着色された画像Ｇ−Ｂが得られる。これら赤色背景の画像Ｇ−Ｒと、青色背景の画像Ｇ−Ｂとを対比して、変化の無い領域あるいはこれに加え所定の閾値の範囲内の変化に止まる領域を切り出せば、これらの領域をパン４ａ，４ｂの領域であるとして背景分離することができる。

２ＣＣＤカメラ（撮像手段）
３トレー
４パン（物体）
４ａ，４ｂパン（物体）
５バックライト光源
６画像処理装置（画像処理手段）
６３背景分離処理部
６４識別処理部

Claims

トレーに載置された物体について撮像手段により撮像されたカラーデジタル画像を取り込み、このカラーデジタル画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置であって、
前記撮像手段により撮像される際に前記トレーの背後からバックライトを照射するためのバックライト光源を備え、
前記トレーは前記バックライトを前記撮像手段の側に透過させるよう少なくとも半透明に形成され、
前記画像処理手段は、前記バックライト光源からバックライトが照射された状態で前記トレーの少なくとも一部を背景に含んで前記物体の全体を撮像し、撮像したカラーデジタル画像に含まれる物体に属する領域を背景領域から切り出して分離する背景分離処理部を備え、この背景分離処理部により分離された前記物体が属する領域毎に前記物体の種類についての識別処理を実行するように構成され、
前記背景分離処理部は、前記カラーデジタル画像をＬａｂ色空間を用いたＬａｂ画像に変換し、この変換画像の内の色の明度成分を表すＬ画像からエッジ検出を行うことで前記物体と背景との境界線である輪郭線を抽出する一方、前記変換画像の内のＬ画像、ａ画像及びｂ画像における分割領域毎に色空間の座標値により定義される色の分散の大小如何に基づいて、前記背景領域であるか、前記物体の属する領域であるかを判別し、この判別結果及び前記輪郭線に基づいて背景領域から前記物体が属する領域を切り出すように構成されている
ことを特徴とする物体識別装置。
請求項１に記載の物体識別装置であって、
前記背景分離処理部は、色空間における該当する色の座標値間の距離の大小如何に基づいて、前記背景領域であるか、前記物体の属する領域であるかを判別し、この判別結果を加えて、前記背景領域から前記物体が属する領域を切り出すように構成されている、物体識別装置。
請求項１又は請求項２に記載の物体識別装置であって、
前記トレーに載置された物体は、任意数のパンである、物体識別装置。