JPH1183461A - 物品種別認識システム - Google Patents

Abstract

(57)【要約】 【課題】 簡易な装置でしかも様々な廃家電品の形状を
測定し、廃家電品の種類を高精度に認識する。 【解決手段】 廃家電品９を上面方向から上面カメラ５
と、廃家電品を側面方向から撮像する側面高カメラ６、
側面低カメラ７、これらカメラ６，７より得られた撮像
信号より廃家電品９の外形の３次元画像情報を形成し、
この３次元画像情報より廃家電品９の種別を判定する種
別認識装置１０とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、リサイクル用途
の物品、特に廃家電品の種別をその受け入れ時に認識す
る物品種別認識システムに関するものである。

【０００２】

【従来の技術】従来この種のシステムとして例えば、特
開平８−５２４５３号公報に開示された廃棄物供給装置
があった。この装置は、廃棄家電品が廃棄処理目的で受
け入れ口よりベルトコンベアに搬入されると、ベルトコ
ンベアで形状判別装置に搬送される。そして、形状判別
装置により廃棄家電品の形状を測定し、測定形状から廃
棄家電装置の種類、例えば冷蔵庫、洗濯機、テレビ等に
分類する。分類された各廃家電品９はそれぞれ専用のス
トックヤードに送られ分解工程に入るまで貯蔵される。

【０００３】

【発明が解決しようとする課題】従来の装置は以上のよ
うに廃棄家電品の形状を測定してその種類を分類した
が、実際市場には大小様々でしかも多種類の形状の家電
品が流れているため、それらの形状を自動的に的確に把
握し、形状に合った分解作業工程を組むとなると、高度
な形状測定が要求されると共に、装置全体が高価になる
という問題点があった。

【０００４】この発明は上記のような問題点を解決する
ためになされたもので、簡易な装置でしかも様々な物品
の形状を測定し、その種類を高精度に認識することがで
きる物品種別認識システムを得ることを目的とする。

【０００５】

【課題を解決するための手段】請求項１の発明に係る物
品種別認識システムは、物品を上面方向から撮像する第
１の撮像手段と、前記物品を側面方向から撮像する第２
の撮像手段と、これら撮像手段より得られた撮像信号よ
り前記物品の外形の３次元画像情報を得る信号処理手段
と、前記外形の３次元画像情報より物品の種別を判定す
る種別判定手段とを備えたものである。

【０００６】請求項２の発明に係る物品種別認識システ
ムは、物品を上面方向から撮像する第１の撮像手段と、
前記物品を側面方向から撮像する第２の撮像手段と、こ
れら撮像手段より得られた撮像信号より前記物品の画像
情報を得る信号処理手段と、前記画像情報より直線線分
を抽出する直線線分抽出手段と、抽出した直線線分から
閉領域を形成する直線を抽出し物品の外形および寸法を
推定して前記物品の種別を判定する種別判定手段とを備
えたものである。

【０００７】請求項３の発明に係る物品種別認識システ
ムにおける種別判定手段は、複数回の判定動作を通して
物品毎の特徴を学習して蓄積するものである。

【０００８】請求項４の発明に係る物品種別認識システ
ムにおける種別判定手段は物品の外形情報と予め学習し
て蓄積した種別の特徴を基にニューラルネッワークを利
用して物品の種別の判定するものである。

【０００９】請求項５の発明に係る物品種別認識システ
ムは、種別が既知な物品に対し、その外形画像から前記
物品の特定部位の位置を算出する算出手段を備えたもの
である。

【００１０】請求項６の発明に係る物品種別認識システ
ムは、第２の撮像手段を所定間隔で縦方向に配置した複
数のカメラで構成し、これらカメラを物品の高さにより
選択して前記物品を撮影するものである。

【００１１】請求項７の発明に係る物品種別認識システ
ムは、第２の撮像手段を単一のカメラで構成し、このカ
メラの撮影角度およびズームを物品の高さにより自動調
整して前記物品を撮影するものである。

【００１２】

【発明の実施の形態】

実施の形態１．以下、この発明の実施の形態１を図につ
いて説明する。図１は本実施の形態に係る物品種別認識
システムの構成図である。図において、１はパレット８
に載置された廃家電品９を目的の場所、例えば種別対応
の仕分けラインに搬送する駆動装置付きのチェーンコン
ベア（以下、コンベアと記載する）、４はコンベア１を
両側から跨ぐように立設されたコ字形状のカメラ設置架
台であり、このカメラ設置架台４を構成する一方の垂直
のポールには視野を対向する他方のポールに向けた２台
のカメラ（側面高カメラ６、側面低カメラ７）が上下に
設置され、且つ、コンベア１の上方にある水平なポール
には視野をコンベア１の中心に向けた上面カメラ５が設
置されている。尚、ポールの上方に設けた側面高カメラ
６は背丈の高い廃家電品９を側面から撮影し、ポールの
下方に設けた側面低カメラ７は背丈の低い廃家電品９を
側面から撮影する。また、上面カメラ５は廃家電品９を
上面から撮影する。

【００１３】Ｐ１はコンベア１の固定部に立設されたポ
ールであり、このポールＰ１はカメラ設置架台４に対し
てパレット８の入り側に設けられている。Ｐ２は同じく
コンベア１の固定部に立設されたポールであり、このポ
ールＰ２はカメラ設置架台４に対してパレット８の出側
に設けられている。各ポールＰ１，Ｐ２には搬送されて
くる廃家電品９を検知するセンサ（投光部と受光部より
なる）２、３が上下方向に２台設けられている。下方に
設けられたセンサ２は廃家電品９を検知し、上方に設け
られたセンサ３は背丈の高い廃家電品９を検知する。１
０は各カメラ５〜７からの映像信号を取り込んで搬送さ
れて来た廃家電品９の形状を測定し、種別を判定する種
別認識装置である。

【００１４】図２は種別認識装置１０の構成を示すブロ
ック図である。この種別認識装置１０は、センサ２或い
は３より検知信号２Ｓ或いは３Ｓを入力すると廃家電品
９の認識を示す認識信号Ｓ２を出力すると共に、コンベ
ア停止のための停止信号Ｓ１を出力する廃家電品検出処
理部１０ａ、廃家電品検出処理部１０ａより停止信号Ｓ
１を入力するとコンベア１に動作停止の制御信号Ｓ３を
出力すると共に、動作停止が確認されるとカメラ切り替
えのための切替信号Ｓ４を出力し、また後述する種別判
定処理部より種別判定の完了を示す種別信号Ｓ９が入力
されるとコンベア１に起動の制御信号Ｓ３を出力するコ
ンベア搬送制御処理部１０ｂ、コンベア搬送制御処理部
１０ｂより切替信号Ｓ４と廃家電品検出処理部１０ａよ
り検知信号２Ｓ或いは３Ｓに応じた認識信号Ｓ２を入力
すると、映像信号を入力するカメラ５〜７を切り替え、
切り替えたカメラからの映像信号の取り込みを指示する
取込信号Ｓ５を出力するカメラ切替処理部１０ｃ、カメ
ラ切替処理部１０ｃより出力されたアナログ映像情報で
ある映像信号を取込信号Ｓ５に応じて取り込み、ディジ
タル化し静止画として画像メモリ１０ｇに取り込む画像
処理部１０ｄ、画像メモリ１０ｇに格納された上面画像
と側面画像を画像処理して外形寸法等の特徴情報１０１
を抽出し、その特徴情報１０１を種別判定用の特徴情報
Ｓ８に処理して出力する画像特徴情報抽出処理部１０
ｅ、特徴情報Ｓ８を基に廃家電品９をテレビ、洗濯機、
冷蔵庫、エアコン室内機あるいはエアコン室外機等に種
別判定し、判定完了後に種別信号９をコンベア搬送制御
処理部１０ｂに出力してコンベア１を再起動させる種別
判定処理部１０ｆより構成される。尚、画像入力処理部
１０ｄは廃家電品９の上面画像処理が完了したならば完
了信号Ｓ６をカメラ切替処理部１０ｃへ出力してカメラ
を側面低カメラ７或いは側面高カメラ６に切り替えさせ
る。

【００１５】次に、本実施の形態における種別認識処理
装置１０の動作の概要を図３のフローチャートに従って
説明する。先ず、廃家電品検出処理１１においてセンサ
２および３からの検出信号２Ｓ，３Ｓを読み取り、廃家
電品９の検出とその高低を判別すると共に停止信号Ｓ１
を出力する。コンベア停止処理１２では停止信号Ｓ１の
入力に基づいてコンベア１を停止させる。

【００１６】コンベア１が停止し、パレット８に載置さ
れた廃家電品９が上面カメラ５の視野に入ったならば、
上面カメラ切替処理１３に入って撮像カメラを上面カメ
ラ５に切り替える。そして、上面画像入力処理１４では
上面カメラ５からのアナログ映像情報をディジタルの静
止画像として画像メモリ１０ｇに格納する。

【００１７】更に、側面カメラ切替処理１５では、低位
置のセンサ２のみからの検出信号２Ｓ或いは高位置のセ
ンサ３からも検出信号３Ｓが入力したかによって廃家電
品９の高さを判定し、高さに応じて側面低カメラ７或い
は側面高カメラ６からのアナログ映像情報の入力に切り
替える。側面画像入力処理１６では側面カメラ６或いは
７からのアナログ映像情報をディジタルの静止画像とし
て画像メモリ１０ｇに格納する。

【００１８】画像メモリ１０ｇに格納された上面画像と
側面画像はエッジ強調処理１７でエッジが強調され、更
に直線抽出処理１８では強調されたエッジを直線として
抽出し連結させる。そして、外形寸法推定処理１９にお
いて、抽出された直線から閉領域を形成する直線を抽出
し、廃家電品９の外形および寸法を推定する。

【００１９】このように抽出された直線情報および直線
からなる閉領域、推定された外形寸法より種別判定処理
２０で廃家電品９の種別を判定する。種別判定後に、コ
ンベア起動処理２１で廃家電品を種別対応の仕分けライ
ンに搬送すると共に、次の廃家電品９を種別認識場所に
搬送させるためコンベア１を再起動させる。

【００２０】以下、本実施の形態の詳細な動作説明を図
３の処理工程に沿って図１、図２を参照して説明する。
搬入された廃家電品９は人手或いはマテリアルハンド装
置で１個ずつパレット８に載置されコンベア１で自動搬
送される。コンベア１の途中には廃家電品９の種別を認
識する場所があり、この場所を通過する際に低位置に設
置されたセンサ２或いは高位置に設置されたセンサ３も
同時に廃家電品９の存在を検出する。この時、背丈の低
い廃家電品９であればセンサ２の検出信号２ＳはＯＮ、
センサ３の検出信号３ＳはＯＦＦとなり、また背丈の高
い廃家電品９であればセンサ２の検出信号２ＳはＯＮ、
センサ３の検出信号３ＳもＯＮなる。

【００２１】廃家電品検出処理部１０ａは検出信号２Ｓ
のＯＮで廃家電品９の存在を検出し、検出信号３ＳのＯ
ＮかＯＦＦで廃家電品９の高低（検出信号３ＳがＯＮで
高、検出信号３ＳがＯＦＦで低）を認識する。検出信号
２ＳのＯＮで廃家電品９の存在を検出すると、廃家電品
検出処理部１０ａはコンベア搬送制御処理部１０ｂにコ
ンベア１の停止を指示する停止信号Ｓ１を出力すると共
に、カメラ切替処理部１０ｃに廃家電品９の高低認識結
果を通知する認識信号Ｓ２を出力する。

【００２２】コンベア搬送制御処理部１０ｂは停止信号
Ｓ１に従ってコンベア停止処理１２に入り停止の制御信
号Ｓ３をコンベア１に出力して自動停止させる。そし
て、コンベア搬送制御処理部１０ｂはコンベア１の停止
を確認した後にカメラ切替処理部１０ｃにカメラ切替を
指示する切替信号Ｓ４を出力する。この結果、カメラ切
替処理部１０ｃは上面カメラ切替処理１３に入り、画像
入力処理部１０ｄに対して廃家電品９の上面画像の取り
込みを指示する取込信号Ｓ５を出力する。

【００２３】画像入力処理部１０ｄは上記指示に応答し
てカメラ切替処理部１０ｃを通して上面カメラ５からの
アナログ映像情報Ｓ４を取り込み、ディジタルの静止画
像に変換して画像メモリ１０ｇに取り込む上面画像入力
処理１４を行う。処理完了後にカメラ切替処理部１０ｃ
に処理の完了を通知する完了信号Ｓ６を出力する。

【００２４】カメラ切り替え処理部１０ｃは完了信号Ｓ
６を入力すると側面カメラ切替処理１５に入り、先に入
力されていた認識信号Ｓ２による廃家電品９の高低情報
に応じて高の場合は側面高カメラ６、低の場合は側面低
カメラ７へと切り替え、画像入力処理部１０ｄに対して
廃家電品９の側面画像の取り込みを取込信号Ｓ５にて指
示する。

【００２５】画像入力処理部１０ｄは上記指示に応答し
てカメラ切替処理部１０ｃを通して側面カメラ５または
６からのアナログ映像情報を取り込み、ディジタルの静
止画像に変換して画像メモリ１０ｇに取り込む側面画像
入力処理１６を行い、画像特徴情報抽出処理部１０ｅに
画像処理の開始を通知する処理開始信号Ｓ７を出力す
る。

【００２６】ここで、上面カメラ５、側面高カメラ６、
側面低カメラ７をそれぞれ１台ずつ設置する理由につい
て説明する。上面と側面の２方向からの画像で廃家電品
９の高さ、幅、奥行きの外形寸法を計測したり、廃家電
品９の上面と側面画像の特徴を抽出するためである。こ
の結果、廃家電品９の三次元形状を認識するための情報
を得ることができる。

【００２７】更に側面高カメラ（床より１２０ｃｍ〜２
００ｃｍの高さに設置）６、側面低カメラ（床より１２
０ｃｍ未満の高さに設置）７を設置することで、背丈の
高い廃家電品９に対しては側面高カメラ６に切り替えた
り、背丈の低い廃家電品９に対しては側面低カメラ７に
切り替える。この結果、背丈の低い廃家電品９の場合に
は側面低カメラ７に映る部分を大きくし、外形寸法の測
定精度を向上させることができる。

【００２８】画像特徴情報抽出処理部１０ｅは、画像メ
モリ１０ｇに格納された廃家電品９の上面および側面の
画像に対してエッジ強調処理１７、直線抽出処理１８お
よび外形寸法推定処理１９を行う。廃家電品９の特徴情
報抽出に直線を選択した理由は、廃家電品９の形状が直
線の組み合わせで構成されているという特徴によるもの
である。

【００２９】エッジ強調処理１７では、『森、板倉著
「画像認識の基礎〔II〕ｐ１０３〜ｐ１０７ オーム社
刊（１９９０）」』に示されているように、求める画素
の点（ｘ，ｙ）とその８近傍の輝度を以下のマトリック
スに示す。

【００３０】

【数１】

【００３１】この８近傍の輝度にＳｏｂｅｒオペレータ
を掛けて足したものをエッジ強度とする輝度分布の微分
を全画素について実施する。エッジの近傍では、そのエ
ッジ強度の絶対値が大きくなる性質を持つ。

【００３２】直線抽出処理１８では、エッジ強調処理１
７でエッジが強調された画像の各画素のエッジ強度を、
その位置を通る直線線分の存在する確率と見做し、その
位置を通る特定の直線上に存在する画素に対してエッジ
強度を足し合わせ、その合計値が大きかった直線をその
点を通るエッジの直線とする。この手法は一般にＨｏｕ
ｇｈ（ハフ）変換と呼ばれ、その詳細は『森、板倉著
「画像認識の基礎〔II〕の第III部 特徴抽出と表現II
11・2 直線検出 ｐ６〜ｐ８ オーム社刊（１９９
０）」』に示されている。

【００３３】外形寸法推定処理１９では、直線抽出処理
１８で求めた直線線分の位置情報から複数の直線で取り
囲まれた部分を閉領域として抽出し、その一番外側を廃
家電品９の外形とする。この処理を上面と側面の画像に
対して実施し、上面画像からは廃家電品９の幅と奥行
き、側面画像から高さを求める。又、画像の特徴情報と
して外形寸法（高さ、幅、奥行き）、外形寸法比（高
さ：幅、奥行き：幅、高さ：奥行き）、上面画像の閉領
域数、上面各閉領域と外形の比（幅、奥行き）、側面画
像の閉領域数、側面各閉領域と外形の比（高さ、幅）と
する。

【００３４】外形寸法推定処理１９が完了すると種別判
定処理部１０ｆに種別判定処理２０の実施を要求する。
種別判定処理部１０ｆでは、外形寸法推定処理１９で算
出した画像の特徴情報Ｓ８を入力し、廃家電品９の種別
１０２をテレビ、洗濯機、冷蔵庫、エアコン（室内
機）、エアコン（室外機）を出力信号とするニューラル
ネットワークモデルの一種であるＬＶＱ（Ｌｅａｒｎｉ
ｎｇｑ Ｖｅｃｔｏｒ Ｑｕａｎｉｔｉｚａｔｉｏｎ：
学習ベクトル量子化 久間、中山編著 ニューロコンピ
ュータ工学 第３章ｐ６２〜ｐ６５ 工学調査会刊 １
９９２年）を介して判定する。

【００３５】このようにニューラルネットワークモデル
を用いて廃家電品９の外形寸法より種別毎の特徴を学習
して蓄積すると共に、この蓄積された特徴と新たに得た
外形寸法より種別の決定を行うことで、種別判定処理回
数が増えるごとに判定精度が向上する。

【００３６】種別判定処理２０が完了すると種別判定処
理部１０ｆからコンベア搬送制御処理部１０ｂに当該廃
家電品９の種別を種別信号Ｓ９にて通知する。廃家電品
９の種別を受けたコンベア搬送制御処理部１０ｂは制御
信号Ｓ３をコンベア１に出力してコンベア起動処理を行
い、廃家電品９を種別対応の仕分けラインに搬送すると
共に、次の種別判定待ち廃家電品９を種別認識場所に搬
送する。尚、種別判定後、例えば廃家電品９がテレビで
あれば、外形形状から分解に注意を要するＣＲＴのサイ
ズ、その取り付け位置を容易に算出することができる。

【００３７】実施の形態２．上記実施の形態１では側面
低カメラ７、側面高カメラ６を固定とし、廃家電品の高
さに応じて撮影するカメラを選択したが、側面カメラを
１台とし廃家電品９の高さに応じてカメラの撮影角度お
よびズームを自動調整させるようにカメラ切替処理部１
０ｃで制御し、適度な大きさの画像を得るようにしても
よい。また、撮影角度およびズームの調整量は画像入力
処理部１０ｄの処理出力によるフィードバック制御であ
ってもよい。

【００３８】実施の形態３．上記実施の形態では廃家電
品９の種別認識の場合について説明したが、対象物の大
きさにより仕分けが必要となる自動倉庫や駐車場の管理
にも本システムが適用でき、同様な効果を奏する。

【００３９】

【発明の効果】請求項１の発明によれば、物品を上面方
向から撮像する第１の撮像手段と、前記物品を側面方向
から撮像する第２の撮像手段と、これら撮像手段より得
られた撮像信号より前記物品の外形の３次元画像情報を
得る信号処理手段と、前記外形の３次元画像情報より物
品の種別を判定する種別判定手段とを備えたので、簡易
な構成で画像情報より物品の種別の判定を行うことがで
きるという効果がある。

【００４０】請求項２の発明によれば、物品を上面方向
から撮像する第１の撮像手段と、前記物品を側面方向か
ら撮像する第２の撮像手段と、これら撮像手段より得ら
れた撮像信号より前記物品の画像情報を得る信号処理手
段と、前記画像情報より直線線分を抽出する直線線分抽
出手段と、抽出した直線線分から閉領域を形成する直線
を抽出し物品の外形および寸法を推定して前記物品の種
別を判定する種別判定手段とを備えたので、物品をより
詳細に種別することができるという効果がある。

【００４１】請求項３の発明によれば、種別判定手段が
複数回の判定動作を通して物品毎の特徴を学習して蓄積
することで、物品の種別をより詳細に、しかも高精度に
行うことができるという効果がある。

【００４２】請求項４の発明によれば、種別判定手段が
物品の外形情報と予め学習して蓄積した種別の特徴を基
にニューラルネッワークを利用して物品の種別の判定す
ることで、物品の種別認識速度を速めることができると
いう効果がある。

【００４３】請求項５の発明によれば、種別が既知な物
品に対し、その外形画像から前記物品の特定部位の位置
を算出する算出手段を備えたので、物品の種別をより詳
細に行うことができるという効果がある。

【００４４】請求項６の発明によれば、第２の撮像手段
を所定間隔で縦方向に配置した複数のカメラで構成し、
これらカメラを物品の高さにより選択して前記物品を撮
影することで、物品の画像情報をより正確に得ることが
できるという効果がある。

【００４５】請求項７の発明によれば、第２の撮像手段
を単一のカメラで構成し、このカメラの撮影角度および
ズームを物品の高さにより自動調整して前記物品を撮影
することで、システムの構成を簡易化できるという効果
がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係る物品種別認識
システムの全体構成図である。

【図２】 本実施の形態に係る種別認識装置の構成図で
ある。

【図３】 本実施の形態に係る種別認識装置の認識処理
行程を説明したフローチャートである。

【符号の説明】

１ コンベア、１０ 種別認識装置、２，３ センサ、
５〜７ カメラ、廃家電品検出処理部、１０ｃ カメラ
切り替え処理部、１０ｄ 画像入力処理部、１０ｅ 画
像特徴情報抽出処理部、１０ｆ 種別判定処理部。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 物品を上面方向から撮像する第１の撮像
   手段と、前記物品を側面方向から撮像する第２の撮像手
   段と、これら撮像手段より得られた撮像信号より前記物
   品の外形の３次元画像情報を得る信号処理手段と、前記
   外形の３次元画像情報より物品の種別を判定する種別判
   定手段とを備えたことを特徴とする物品種別認識システ
   ム。
2. 【請求項２】 物品を上面方向から撮像する第１の撮像
   手段と、前記物品を側面方向から撮像する第２の撮像手
   段と、これら撮像手段より得られた撮像信号より前記物
   品の画像情報を得る信号処理手段と、前記画像情報より
   直線線分を抽出する直線線分抽出手段と、抽出した直線
   線分から閉領域を形成する直線を抽出し物品の外形およ
   び寸法を推定して前記物品の種別を判定する種別判定手
   段とを備えたことを特徴とする物品種別認識システム。
3. 【請求項３】 種別判定手段は複数回の判定動作を通し
   て物品毎の特徴を学習して蓄積することを特徴とする請
   求項１または２に記載の物品種別認識システム。
4. 【請求項４】 種別判定手段は物品の外形情報と予め学
   習して蓄積した種別の特徴を基にニューラルネッワーク
   を利用して物品の種別の判定を行うことを特徴とする請
   求項３に記載の物品種別認識システム。
5. 【請求項５】 種別が既知な物品に対し、その外形画像
   から前記物品の特定部位の位置を算出する算出手段を備
   えたことを特徴とする請求項１ないし４のいずれかに記
   載の物品種別認識システム。
6. 【請求項６】 第２の撮像手段を所定間隔で縦方向に配
   置した複数のカメラで構成し、これらカメラを物品の高
   さにより選択して前記物品を撮影することを特徴とする
   請求項１ないし５のいずれかに記載の物品種別認識シス
   テム。
7. 【請求項７】 第２の撮像手段を単一のカメラで構成
   し、このカメラの撮影角度およびズームを物品の高さに
   より自動調整して前記物品を撮影することを特徴とする
   請求項１ないし５のいずれかに記載の物品種別認識シス
   テム。