WO2023042389A1

WO2023042389A1 - 物体処理装置

Info

Publication number: WO2023042389A1
Application number: PCT/JP2021/034381
Authority: WO
Inventors: 雅信本江; 健李; 裕紀谷崎
Original assignee: 株式会社Pfu
Priority date: 2021-09-17
Filing date: 2021-09-17
Publication date: 2023-03-23
Also published as: JPWO2023042389A1

Abstract

物体処理装置（１）は、搬送路（８）のうちの第１領域（１５）に配置される複数の物体が写る第１画像（５１）を撮像する撮像部（２７）と、複数の物体を搬送路（８）に沿って搬送方向（１１）に搬送する搬送部（３）と、複数の物体から選択された第１物体（５６）を搬送路（８）のうちの第１領域（１５）の搬送方向（１１）の下流側の第２領域（１６）で除去するロボット（２２）と、第１画像（５１）を画像処理することにより、第１画像（５１）と異なる第２画像（６１）を作成する画像作成部（３９）と、第２画像（６１）を表示する表示部（３１）とを備えている。

Description

物体処理装置

　本開示の技術は、物体処理装置に関する。

　搬送路に沿って搬送される複数のごみを素材毎に自動的に分別する資源ごみ自動分別装置が知られている。資源ごみ自動分別装置は、ごみの画像に基づいてそのごみの素材と位置とを判定する物体認識装置と、予め定められた素材から形成される資源ごみを搬送路から除去するロボットとを備えている。

特開平０９－１７８４３０号公報特開平１０－１８０６６７号公報特開２０２０－１９９４４４号公報

　搬送路のうちの資源ごみ自動分別装置の下流側の領域では、資源ごみのうちの資源ごみ自動分別装置により搬送路から除去されなかった残りの資源ごみが、作業者により除去される。しかしながら、作業者は、搬送路上に資源ごみ自動分別装置が設置されていることにより、残りの資源ごみが資源ごみ自動分別装置に隠れて見辛く、資源ごみ自動分別装置は、作業者が残りの資源ごみを除去する作業を困難にするという問題がある。

　開示の技術は、かかる点に鑑みてなされたものであって、ロボットに隠れている物体の状況をわかりやすく作業者に通知する物体処理装置を提供することを目的とする。

　本開示の一態様による物体処理装置は、搬送路のうちの第１領域に配置される複数の物体が写る第１画像を撮像する撮像部と、前記複数の物体を前記搬送路に沿って搬送方向に搬送する搬送部と、前記複数の物体から選択された第１物体を前記搬送路のうちの前記第１領域の前記搬送方向の下流側の第２領域で除去するロボットと、前記第１画像を画像処理することにより、前記第１画像と異なる第２画像を作成する画像作成部と、前記第２画像を表示する表示部とを備えている。

　開示の物体処理装置は、ロボットに隠れている物体の状況をわかりやすく作業者に通知することができる。

図１は、実施例１の物体処理装置が設けられた資源ごみ自動分別装置を示す平面図である。図２は、実施例１の物体処理装置を示す斜視図である。図３は、物体認識装置を示す断面図である。図４は、資源ごみ自動分別装置を示す他の斜視図である。図５は、実施例１の物体処理装置を示すブロック図である。図６は、撮像カメラにより撮像された選別用画像を示す図である。図７は、ロボットにより複数の除去対象が除去された後の複数の物体の状況を示す平面図である。図８は、画像作成部により作成された表示画像を示す図である。図９は、物体状況画像を示す図である。図１０は、第１選別用画像を示す図である。図１１は、第２選別用画像を示す図である。図１２は、第３選別用画像を示す図である。図１３は、合成画像を示す図である。図１４は、斜視画像を示す図である。図１５は、物体状況画像を示す図である。

　以下に、本願が開示する実施形態にかかる物体処理装置について、図面を参照して説明する。なお、以下の記載により本開示の技術が限定されるものではない。また、以下の記載においては、同一の構成要素に同一の符号を付与し、重複する説明を省略する。

　実施例１の物体処理装置１は、図１に示されているように、資源ごみ自動分別装置２に設けられている。図１は、実施例１の物体処理装置１が設けられた資源ごみ自動分別装置２を示す平面図である。資源ごみ自動分別装置２は、搬送装置３と物体処理装置１とを備えている。搬送装置３は、ベルトコンベアから形成され、ベルトコンベアフレーム５とベルト６とを備え、図示されていないベルト駆動装置を備えている。ベルトコンベアフレーム５は、資源ごみ自動分別装置２が設置される設置面７に載置されている。ベルト６は、可撓性を有する材料から形成され、ループ状の帯に形成されている。

　搬送装置３には、搬送路８が形成されている。搬送路８は、設置面７が沿う平面に平行である他の平面に沿い、搬送路８が沿う直線は、設置面７が沿う平面に平行である搬送方向１１に平行である。ベルト６は、搬送路対向部分１２を備えている。搬送路対向部分１２は、搬送路８の下に配置され、搬送路８に沿っている。ベルト６は、さらに、移動可能にベルトコンベアフレーム５に支持されている。ベルト駆動装置は、搬送路対向部分１２が搬送方向１１に移動するように、ベルト６を移動させる。

　搬送路８は、外部カメラ撮像領域１４と選別用画像撮像領域１５と物体除去領域１６と作業者作業用領域１７とを含み、図示されていない物体供給領域を含んでいる。物体供給領域は、外部カメラ撮像領域１４の搬送方向１１の上流側に配置されている。選別用画像撮像領域１５は、外部カメラ撮像領域１４の搬送方向１１の下流側に配置されている。物体除去領域１６は、選別用画像撮像領域１５の搬送方向１１の下流側に配置されている。作業者作業用領域１７は、物体除去領域１６の搬送方向１１の下流側に配置されている。

　物体処理装置１は、物体認識装置２１とロボット２２とを備えている。物体認識装置２１は、選別用画像撮像領域１５の近傍に配置されている。物体認識装置２１は、筐体２３を備えている。筐体２３は、光を遮光する材料から形成され、概ね箱形に形成されている。筐体２３は、搬送路８の選別用画像撮像領域１５の上に配置され、選別用画像撮像領域１５を覆っている。筐体２３は、ベルトコンベアフレーム５に固定され、ベルトコンベアフレーム５を介して設置面７に固定されている。ロボット２２は、物体除去領域１６の近傍に配置されている。

　図２は、実施例１の物体処理装置１を示す斜視図である。ロボット２２は、ロボット本体２４とロボットカバー２５とを備えている。ロボット本体２４は、物体除去領域１６に配置される物体を把持し、その把持された物体を搬送路８から除去し、その把持された物体を資源ごみ置き場（図示されていない）に移動させる。ロボットカバー２５は、概ね箱形に形成されている。ロボットカバー２５は、搬送路８の物体除去領域１６とロボット本体２４とがロボットカバー２５の内部に配置されるように、物体除去領域１６の上に配置されている。ロボットカバー２５は、ベルトコンベアフレーム５に固定され、ベルトコンベアフレーム５を介して設置面７に固定されている。ロボットカバー２５は、ロボット本体２４が物体を取り扱うときに、搬送路８に沿って搬送される物体が物体除去領域１６から飛散することを防止する。

　物体処理装置１は、外部カメラ２６をさらに備えている。外部カメラ２６は、外部カメラ撮像領域１４に向けられ、搬送路８の選別用画像撮像領域１５の上に配置されている。外部カメラ２６は、物体認識装置２１の筐体２３に固定され、筐体２３を介してベルトコンベアフレーム５に固定されている。外部カメラ２６は、このように配置されることにより、外部カメラ撮像領域１４に配置される物体が写る外部カメラ画像を、搬送方向１１の下流側の斜め上から見たように、撮像する。

　図３は、物体認識装置２１を示す断面図である。物体認識装置２１は、撮像カメラ２７と複数の照明機器２８とをさらに備えている。撮像カメラ２７は、選別用画像撮像領域１５に向けられ、選別用画像撮像領域１５の上に配置され、筐体２３の内部に配置されている。撮像カメラ２７は、筐体２３に固定され、筐体２３を介してベルトコンベアフレーム５に固定されている。撮像カメラ２７は、このように配置されることにより、選別用画像撮像領域１５外部カメラ撮像領域１４に配置される物体が写る選別用画像を、真上から見たように、撮像する。複数の照明機器２８は、選別用画像撮像領域１５または筐体２３の内壁面に向けられ、筐体２３の内部に配置されている。複数の照明機器２８は、筐体２３に固定され、筐体２３を介してベルトコンベアフレーム５に固定されている。

　図４は、資源ごみ自動分別装置２を示す他の斜視図である。物体処理装置１は、表示装置３１をさらに備えている。表示装置３１には、表示面３２が形成されている。表示装置３１は、表示面３２が作業者作業用領域１７を向くように、物体除去領域１６の上に配置されている。表示装置３１は、ロボットカバー２５に固定され、ロボットカバー２５を介してベルトコンベアフレーム５に固定されている。

　物体処理装置１は、図５に示されているように、音声装置３３と制御装置３４とをさらに備えている。図５は、実施例１の物体処理装置１を示すブロック図である。音声装置３３は、制御装置３４に制御されることにより、制御装置３４により合成された音を発生させる。

　制御装置３４は、コンピュータであり、記憶装置３５とＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３６とを備えている。記憶装置３５は、制御装置３４にインストールされるコンピュータプログラムを記録し、ＣＰＵ３６により利用される情報を記録する。ＣＰＵ３６は、制御装置３４にインストールされるコンピュータプログラムを実行することにより、情報処理し、記憶装置３５を制御し、撮像カメラ２７と複数の照明機器２８とロボット２２と外部カメラ２６と表示装置３１と音声装置３３とを制御する。

　制御装置３４にインストールされるコンピュータプログラムは、制御装置３４に複数の機能をそれぞれ実現させる複数のコンピュータプログラムを含んでいる。その複数の機能は、選別部３７とロボット制御部３８と画像作成部３９と音声装置制御部４０とを含んでいる。

　選別部３７は、選別用画像が撮像されるように、物体認識装置２１の撮像カメラ２７と複数の照明機器２８とを制御する。図６は、撮像カメラ２７により撮像された選別用画像５１を示す図である。選別用画像５１には、搬送路８の選別用画像撮像領域１５に配置される複数の物体をそれぞれ写す複数の像が映っている。複数の物体は、処理対象びん５２と処理対象外びん５３と危険物５４と残渣５５とを含んでいる。処理対象びん５２は、搬送路８から除去する必要がある資源ごみであり、資源ごみ置き場に移動する必要がある資源ごみである。処理対象びん５２としては、予め定められた色（たとえば、茶色）に着色されたガラスから形成されたびんが例示される。処理対象外びん５３は、搬送路８から除去する必要がないごみであり、たとえば、予め定められた色と異なる他の色（たとえば、緑色、無色）に着色されたガラスから形成されたびんが例示される。危険物５４は、作業者が気を付けて取り扱う必要があるごみであり、たとえば、電池、注射針が例示される。残渣５５は、複数の物体のうちの処理対象びん５２と処理対象外びん５３と危険物５４とに異なる物体であり、たとえば、びんの破片が例示される。

　選別部３７は、選別用画像５１を画像処理し、複数の選別データを算出する。複数の選別データは、選別用画像５１に写る複数の物体のうちの処理対象びん５２と危険物５４とに対応している。複数の選別データのうちのある物体に対応する選別データは、ラベル情報と、選別用画像５１が撮像された撮像時刻と、その物体の重心が撮像時刻に配置される重心位置とを示している。そのラベル情報は、その物体が処理対象びん５２であるときに「処理対象びん」を示し、その物体が危険物５４であるときに「危険物」を示している。

　ロボット制御部３８は、選別部３７により算出された複数の選別データに基づいて複数の制御データを算出する。複数の制御データは、処理対象びん５２のうちのロボット２２が搬送路８から除去することができる複数の除去対象５６に対応している。複数の制御データのうちのある除去対象に対応する制御データは、その除去対象が物体除去領域１６を通過する把持タイミングと、把持タイミングに除去対象の重心が配置される把持位置とを示している。ロボット制御部３８は、複数の除去対象５６が搬送路８から除去されて資源ごみ置き場に移動するように、複数の制御データに基づいてロボット２２を制御する。

　複数の除去対象５６がロボット２２により除去されることにより、搬送路８には、図７に示されているように、処理対象外びん５３と危険物５４と残渣５５とが残り、処理対象びん５２のうちの複数の除去対象５６と異なる作業者処理対象びん５７が残ることになる。図７は、ロボット２２により複数の除去対象５６が除去された後の複数の物体の状況を示す平面図である。

　画像作成部３９は、選別部３７により算出された複数の選別データと、ロボット制御部３８により算出された複数の制御データとに基づいて、資源ごみ量と危険物量とを算出する。資源ごみ量は、作業者処理対象びん５７の量を示している。危険物量は、危険物５４の量を示している。画像作成部３９は、搬送路８の外部カメラ撮像領域１４に配置される物体が写る外部カメラ画像が撮像されるように、外部カメラ２６を制御する。画像作成部３９は、外部カメラ２６により撮像された外部カメラ画像と、選別部３７により算出された複数の選別データと、ロボット制御部３８により算出された複数の制御データとに基づいて表示画像を作成する。

　図８は、画像作成部３９により作成された表示画像６１を示す図である。表示画像６１には、資源ごみ量レベルメーター画像６２と危険物量レベルメーター画像６３と物体状況画像６４とが映し出されている。資源ごみ量レベルメーター画像６２には、棒６５が映し出されている。棒６５の長さは、資源ごみ量に対応し、棒６５は、資源ごみ量が多いほど長い。危険物量レベルメーター画像６３には、棒６６が映し出されている。棒６６の長さは、危険物量に対応し、棒６６は、危険物量が多いほど長い。

　物体状況画像６４には、外部カメラ２６により撮像された外部カメラ画像が映し出され、選別用画像５１に写る複数の物体を写す複数の像が映し出されている。図９は、物体状況画像６４を示す図である。図９では、便宜的に、複数の物体を真上から見たように、物体状況画像６４が選別用画像５１と同様に描かれているが、物体状況画像６４は、複数の物体を搬送方向１１の下流側の斜め上から見たように、複数の像を映し出している。物体状況画像６４には、複数の像のうちの作業者処理対象びん５７を写す像７１が黄色に着色されて明るく映し出されている。物体状況画像６４には、複数の像のうちの危険物５４を写す像７２が赤色に着色されて明るく映し出されている。さらに、物体状況画像６４には、複数の像のうちの処理対象外びん５３と残渣５５と複数の除去対象５６を写す像７３が、像７１と像７２とに比較して目立たなくなるように、グレーに着色されて暗く映し出されている。

　音声装置制御部４０は、画像作成部３９により算出された資源ごみ量と危険物量とを示すメッセージ音声を作成し、その作成されたメッセージ音声が発生されるように、音声装置３３を制御する。

［資源ごみ自動分別装置２の動作］
　資源ごみ自動分別装置２の動作は、搬送路８に沿って複数のごみを搬送する動作と、複数の除去対象５６を搬送路８から除去する動作と、搬送路８に沿って搬送される複数のごみの状況を作業者に通知する動作とを備えている。搬送路８に沿って複数のごみを搬送する動作では、まず、ユーザは、搬送装置３を操作することにより、搬送装置３を起動させる。搬送装置３のベルト駆動部は、搬送装置３が起動することにより、予め定められた一定の搬送速度で搬送路対向部分１２が搬送方向１１に並進するように、ベルト６を移動させる。

　ユーザは、さらに、ベルト６の搬送路対向部分１２のうちの物体供給領域に対向する部分に複数のごみを載置する。搬送路対向部分１２に載置された複数のごみは、ベルト６が移動することにより、搬送路８に沿って搬送速度で搬送方向１１に搬送される。搬送路８に沿って搬送される複数のごみは、外部カメラ撮像領域１４に配置される。外部カメラ撮像領域１４に配置された複数の資源ごみは、搬送路８に沿ってさらに搬送されることにより、選別用画像撮像領域１５に配置される。選別用画像撮像領域１５に配置された複数の資源ごみは、搬送路８に沿ってさらに搬送されることにより、筐体２３の物体除去領域１６に配置される。物体除去領域１６に配置された複数の資源ごみは、搬送路８に沿ってさらに搬送されることにより、作業者作業用領域１７に配置される。

　複数の除去対象５６を搬送路８から除去する動作は、搬送路８に沿って複数のごみを搬送する動作が実行される最中に並行して実行される。制御装置３４は、複数の照明機器２８を制御することにより、複数の照明機器２８に光を発光させる。複数の照明機器２８から発光された光は、搬送路８に沿って搬送される複数のごみのうちの選別用画像撮像領域１５に配置されるごみに投光され、筐体２３の内部の壁面に投光される。筐体２３の内部の壁面に投光された光は、筐体２３の壁面を乱反射することにより、選別用画像撮像領域１５に配置されるごみに投光される。すなわち、複数の照明機器２８は、選別用画像撮像領域１５に配置されるごみを照明する。

　制御装置３４は、選別用画像撮像領域１５に配置されるごみが照明されているときに、撮像カメラ２７を制御することにより、選別用画像撮像領域１５に配置される複数のごみが写る選別用画像５１を撮像する。制御装置３４は、選別用画像５１が撮像された撮像時刻に対応付けて、選別用画像５１を記憶装置３５に記録する。制御装置３４は、選別用画像５１が撮像された後に、複数の照明機器２８を制御することにより、複数の照明機器２８を消灯する。

　制御装置３４は、選別用画像５１を画像処理することにより、選別用画像５１に写る複数の物体から処理対象びん５２と危険物５４とを選択し、処理対象びん５２の位置と危険物５４の位置とを算出し、複数の選別データを作成する。制御装置３４は、さらに、複数の選別データとロボット２２の処理能力とに基づいて処理対象びん５２から複数の除去対象５６を選択し、複数の除去対象５６毎に把持タイミングと把持位置とを算出し、複数の制御データを算出する。制御装置３４は、ロボット２２を制御することにより、把持タイミングに把持位置に配置される除去対象を把持タイミングに把持して資源ごみ置き場に移動させ、複数の除去対象５６を搬送路８から除去する。

　搬送路８に沿って搬送される複数のごみの状況を作業者に通知する動作は、搬送路８に沿って資源ごみを搬送する動作と、複数の除去対象５６を搬送路８から除去する動作とが実行される最中に並行して実行される。制御装置３４は、複数の選別データと複数の制御データとに基づいて、資源ごみ量と危険物量とを算出する。制御装置３４は、外部カメラ２６を制御することにより、外部カメラ撮像領域１４に配置される資源ごみが写る外部カメラ画像を撮像する。制御装置３４は、外部カメラ画像が撮像された撮像時刻に対応付けて、外部カメラ画像を記憶装置３５に記録する。

　制御装置３４は、外部カメラ画像と複数の選別データと複数の制御データとに基づいて表示画像６１を作成する。制御装置３４は、表示装置３１を制御することにより、表示画像６１の物体状況画像６４に写っている複数の物体が作業者作業用領域１７に配置される直前の通知タイミングで、表示面３２に表示画像６１を表示する。制御装置３４は、さらに、資源ごみ量と危険物量とを示すメッセージ音声を作成し、音声装置３３を制御することにより、その作成されたメッセージ音声を通知タイミングに発生させる。

　物体処理装置１の搬送方向１１の下流側にいる作業者は、搬送路８に沿って搬送されて作業者作業用領域１７に配置される作業者処理対象びん５７を搬送路８から除去して資源ごみ置き場に移動する。作業者は、さらに、作業者処理対象びん５７を搬送路８から除去する際に、危険物５４に気を付ける。作業者は、表示装置３１の表示面３２に表示される表示画像６１を見ることにより、作業者処理対象びん５７と危険物５４とが作業者作業用領域１７に配置される前に、ロボット２２に隠れた作業者処理対象びん５７と危険物５４との状況を知ることができる。作業者は、音声装置３３から発生されるメッセージ音声を聞くことにより、作業者処理対象びん５７と危険物５４とが作業者作業用領域１７に配置される前に、ロボット２２に隠れた作業者処理対象びん５７と危険物５４との状況を知ることができる。作業者は、ロボット２２に隠れた作業者処理対象びん５７と危険物５４との状況を知ることにより、作業者処理対象びん５７を搬送路８から除去する作業の心の準備をすることができ、その作業をスムーズに実行することができる。このため、物体処理装置１は、作業者の作業性を向上させることができる。

［実施例１の物体処理装置１の効果］
　実施例１の物体処理装置１は、撮像カメラ２７と搬送装置３とロボット２２と制御装置３４と表示装置３１とを備えている。撮像カメラ２７は、搬送路８のうちの選別用画像撮像領域１５に配置される複数の物体が写る選別用画像５１を撮像する。搬送装置３は、複数の物体を搬送路８に沿って搬送方向１１に搬送する。ロボット２２は、複数の物体から選択された複数の除去対象５６を搬送路８のうちの選別用画像撮像領域１５の搬送方向１１の下流側の物体除去領域１６で除去する。制御装置３４は、選別用画像５１を画像処理することにより、選別用画像５１と異なる表示画像６１を作成する。表示装置３１は、表示画像６１を表示する。

　この場合、実施例１の物体処理装置１は、選別用画像５１をそのまま表示装置３１に表示させることに比較して、ロボット２２の下流側にいる作業者に、搬送路８のうちのロボット２２に隠れている領域での複数の物体の状況をわかりやすく通知することができる。作業者は、表示画像６１を見ることにより、今から作業者作業用領域１７に配置される物体の状況を容易に予想することができ、作業者作業用領域１７に配置される複数の物体を容易に取り扱うことができる。

　また、実施例１の物体処理装置１の制御装置３４は、選別用画像５１を画像処理することにより、複数の物体から作業者処理対象びん５７を選択し、作業者処理対象びん５７に関する情報が表示画像６１に映し出されるように、表示画像６１を作成する。たとえば、実施例１の物体処理装置１の制御装置３４は、作業者処理対象びん５７の量を算出し、作業者処理対象びん５７の量を示す資源ごみ量レベルメーター画像６２が表示画像６１に映し出されるように、表示画像６１を作成する。また、制御装置３４は、作業者処理対象びん５７を写す像が表示画像６１に映し出される表示形式が、複数の除去対象５６を写す像が表示画像６１に映し出される表示形式に異なるように、表示画像６１を作成する。この場合、実施例１の物体処理装置１は、このような表示画像６１を表示することにより、ロボット２２の下流側の作業者に、搬送路８のうちのロボット２２に隠れている領域での作業者処理対象びん５７の状況をわかりやすく通知することができる。

　また、実施例１の物体処理装置１は、作業者処理対象びん５７の量を示すメッセージ音声を発生する音声装置３３をさらに備えている。この場合、実施例１の物体処理装置１は、ロボット２２の下流側の作業者が表示装置３１を見ていないときでも、搬送路８のうちのロボット２２に隠れている領域での作業者処理対象びん５７の状況をわかりやすく作業者に通知することができる。

　また、実施例１の物体処理装置１の制御装置３４は、選別用画像５１を画像処理することにより、複数の物体から危険物５４を選択し、危険物５４に関する情報が表示画像６１にさらに映し出されるように、表示画像６１を作成する。たとえば、実施例１の物体処理装置１の制御装置３４は、危険物５４の量を算出し、危険物５４の量を示す危険物量レベルメーター画像６３が表示画像６１に映し出されるように表示画像６１を作成する。また、危険物５４を写す像が表示画像６１に映し出される表示形式は、作業者処理対象びん５７の像が表示画像６１に映し出される表示形式と異なり、かつ、処理対象外びん５３の像と残渣５５の像とが表示画像６１に映し出される表示形式と異なっている。この場合、実施例１の物体処理装置１は、このような表示画像６１を表示することにより、ロボット２２の下流側の作業者に、搬送路８のうちのロボット２２に隠れている領域での危険物５４の状況をわかりやすく通知することができる。

　ところで、既述の実施例１の物体処理装置１の表示画像６１には、資源ごみ量レベルメーター画像６２と危険物量レベルメーター画像６３とが映し出されているが、これらのレベルメーターが映し出されていなくてもよい。このような場合でも、物体処理装置１は、表示画像６１に物体状況画像６４が映し出されることにより、ロボット２２の下流側にいる作業者に、搬送路８のうちのロボット２２に隠れている複数の物体の状況をわかりやすく通知することができる。

　ところで、既述の実施例１の物体処理装置１の表示画像６１には、物体状況画像６４が映し出されているが、物体状況画像６４が映し出されていなくてもよい。このような場合でも、物体処理装置１は、表示画像６１に資源ごみ量レベルメーター画像６２または危険物量レベルメーター画像６３が映し出されることにより、ロボット２２に隠れている複数の物体の状況を作業者にわかりやすく通知することができる。

　また、実施例１の物体処理装置１は、危険物５４の量を示すメッセージ音声を発生する音声装置３３をさらに備えている。この場合、実施例１の物体処理装置１は、ロボット２２の下流側の作業者が表示装置３１を見ていないときでも、搬送路８のうちのロボット２２に隠れている領域での危険物５４の状況をわかりやすく作業者に通知することができる。

　ところで、既述の実施例１の物体処理装置１の音声装置３３は、作業者処理対象びん５７の量または危険物５４の量を示すメッセージ音声を発生させているが、メッセージ音声と異なる他の音を発生させてもよい。その音としては、クリック音、楽音が例示される。クリック音は、繰り返し発生され、クリック音の間隔が短いほど危険物５４の量が多いことを示している。楽音は、音高が高いほど危険物５４の量が多いことを示している。このような場合でも、物体処理装置１は、ロボット２２の下流側にいる作業者に、搬送路８のうちのロボット２２に隠れている複数の物体の状況をわかりやすく通知することができる。

　また、実施例１の物体処理装置１は、搬送路８のうちの選別用画像撮像領域１５と異なる外部カメラ撮像領域１４に複数の物体が配置されるときに、複数の物体が写る外部カメラ画像を撮像する外部カメラ２６をさらに備えている。制御装置３４は、外部カメラ画像をさらに画像処理することにより、表示画像６１を作成する。この場合、実施例１の物体処理装置１は、複数の物体を搬送方向１１の下流側の斜め上から見たように複数の物体が写っている物体状況画像６４を容易に作成することができる。実施例１の物体処理装置１は、複数の物体を搬送方向１１の下流側の斜め上から見たように複数の物体が写っている表示画像６１を作成することにより、ロボット２２に隠れている複数の物体の状況をわかりやすく作業者に通知することができる。

　ところで、既述の実施例１の物体処理装置１の物体状況画像６４は、外部カメラ２６により撮像された外部カメラ画像が修正されたものであるが、修正されていない外部カメラ画像であってもよい。このとき、通知タイミングに表示装置３１により表示される表示画像６１の物体状況画像６４は、予め定められた時間だけ通知タイミングから遡った撮像タイミングに外部カメラ２６により撮像された外部カメラ画像を示している。このような場合でも、物体処理装置１は、表示画像６１に写っている複数の物体が作業者作業用領域１７に配置される直前の通知タイミングに、ロボットに隠れている物体の状況をわかりやすく作業者に通知することができる。

　ところで、既述の実施例１の物体処理装置１の物体状況画像６４には、作業者処理対象びん５７の像と危険物５４の像とその他の物体の像とが色分けされて映し出されているが、色と異なる他の表示形式を異ならせてもよい。たとえば、物体状況画像６４は、作業者処理対象びん５７の像と危険物５４の像とに、互いに異なる複数の印をそれぞれ重ねて映し出してもよい。

　実施例２の物体認識装置は、既述の実施例１の物体処理装置１の表示画像６１の作成方法が他の作成方法に置換され、他の部分は、既述の実施例１の物体処理装置１と同じである。実施例２の物体認識装置の画像作成部３９は、互いに異なる複数の撮像タイミングに撮像カメラ２７により撮像された複数の選別用画像を記憶装置３５から取得する。たとえば、画像作成部３９は、第１撮像タイミングで撮像カメラ２７により撮像された第１選別用画像８１を記憶装置３５から取得する。図１０は、第１選別用画像８１を示す図である。画像作成部３９は、さらに、第２撮像タイミングで撮像カメラ２７により撮像された第２選別用画像８２を記憶装置３５から取得する。図１１は、第２選別用画像８２を示す図である。第２選別用画像８２には、第１選別用画像８１に写る複数の物体の一部が写っておらず、第１選別用画像８１に写る複数の物体の他の一部が写っている。すなわち、第２撮像タイミングは、第１選別用画像８１に写る複数の物体の一部だけが第２選別用画像８２にも写るように、予め定められた時間だけ第１撮像タイミングから経過したタイミングに一致している。画像作成部３９は、さらに、第３撮像タイミングで撮像カメラ２７により撮像された第３選別用画像８３を記憶装置３５から取得する。図１２は、第３選別用画像８３を示す図である。第３選別用画像８３には、第２選別用画像８２に写る複数の物体の一部が写っておらず、第２選別用画像８２に写る複数の物体の他の一部が写っている。すなわち、第３撮像タイミングは、第２選別用画像８２に写る複数の物体の一部だけが第３選別用画像８３にも写るように、予め定められた時間だけ第２撮像タイミングから経過したタイミングに一致している。

　画像作成部３９は、第１選別用画像８１と第２選別用画像８２と第３選別用画像８３とを合成することにより、合成画像８４を作成する。図１３は、合成画像８４を示す図である。合成画像８４は、第１選別用画像８１の一部と第２選別用画像８２の一部と第３選別用画像８３の一部とが映し出されている。すなわち、合成画像８４は、搬送路８のうちの選別用画像撮像領域１５より広い領域に配置される複数の物体が合成画像８４に写るように、作成されている。

　画像作成部３９は、合成画像８４を画像処理することにより、斜視画像８５を作成する。図１４は、斜視画像８５を示す図である。斜視画像８５は、複数の物体を搬送方向１１の下流側の上から見た画像になるように作成されている。

　画像作成部３９は、斜視画像８５を画像処理することにより、物体状況画像８６を作成する。図１５は、物体状況画像８６を示す図である。物体状況画像８６は、作業者処理対象びん５７を写す像にトゲ印８７が重なって表示され、危険物５４を写す像に稲妻印８８が重なって表示されている。画像作成部３９は、既述の表示画像６１の物体状況画像６４が物体状況画像８６に置換された他の表示画像が表示面３２に表示されるように、表示装置３１を制御する。

　実施例２の物体処理装置は、既述の実施例１の物体処理装置１と同様に、物体状況画像８６を表示装置３１に表示することにより、搬送路８のうちのロボット２２に隠れている複数の物体の状況をロボット２２の下流側の作業者にわかりやすく通知することができる。実施例２の物体処理装置は、撮像カメラ２７により撮像された選別用画像に基づいて物体状況画像８６が作成されていることにより、撮像カメラ２７と異なる外部カメラ２６を備える必要がなく、外部カメラ２６を省略することができる。実施例２の物体処理装置は、外部カメラ２６が省略されることにより、部品点数を低減することができ、製造コストを低減することができる。

　実施例２の物体処理装置は、さらに、互いに異なる複数の撮像タイミングにそれぞれ撮像された選別用画像が合成されて物体状況画像８６が作成されていることにより、選別用画像撮像領域１５より広い領域の状況を作業者に通知することができる。実施例２の物体処理装置は、さらに、複数の物体を搬送方向１１の下流側の斜め上から見たように物体状況画像８６が作成されていることにより、ロボット２２に隠れている複数の物体を作業者作業用領域１７から見た画像のように、作業者に見せることができる。

　ところで、既述の実施例の物体処理装置は、複数の物体を搬送方向１１の下流側の斜め上から見た画像を表示装置３１に表示しているが、斜め上と異なる方向（たとえば、真上）から複数の物体を見た画像を表示装置３１に表示してもよい。このような場合でも、物体処理装置は、ロボット２２に隠れている複数の物体の状況を作業者にわかりやすく見せることができる。

　以上、実施例を説明したが、前述した内容により実施例が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施例の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。

　１　：物体処理装置
　３　：搬送装置
　８　：搬送路
　１１：搬送方向
　１４：外部カメラ撮像領域
　１５：選別用画像撮像領域
　１６：物体除去領域
　２２：ロボット
　２６：外部カメラ
　２７：撮像カメラ
　３１：表示装置
　３３：音声装置
　３４：制御装置
　３７：選別部
　３８：ロボット制御部
　３９：画像作成部
　４０：音声装置制御部
　５１：選別用画像
　５４：危険物
　５６：複数の除去対象
　５７：作業者処理対象びん
　６１：表示画像
　６２：資源ごみ量レベルメーター画像
　６３：危険物量レベルメーター画像

Claims

　搬送路のうちの第１領域に配置される複数の物体が写る第１画像を撮像する撮像部と、
　前記複数の物体を前記搬送路に沿って搬送方向に搬送する搬送部と、
　前記複数の物体から選択された第１物体を前記搬送路のうちの前記第１領域の前記搬送方向の下流側の第２領域で除去するロボットと、
　前記第１画像を画像処理することにより、前記第１画像と異なる第２画像を作成する画像作成部と、
　前記第２画像を表示する表示部
　とを備える物体処理装置。
　前記画像作成部は、前記第１画像を画像処理することにより、予め定められた条件を満たし前記第１物体に異なる第２物体を前記複数の物体から選択し、前記第２物体に関する情報が前記第２画像に映し出されるように、前記第２画像を作成する
　請求項１に記載の物体処理装置。
　前記画像作成部は、前記第２物体の量を算出し、前記量を示す第３画像が前記第２画像に映し出されるように前記第２画像を作成する
　請求項２に記載の物体処理装置。
　前記第２物体の量を示す音を発生する音声装置をさらに備え、
　前記画像作成部は、前記第２物体の量を算出する
　請求項２または請求項３に記載の物体処理装置。
　前記画像作成部は、前記第２物体を写す像が前記第２画像に映し出される第１表示形式が、前記複数の物体のうちの前記第２物体と異なる他の物体を写す像が前記第２画像に映し出される第２表示形式に異なるように、前記第２画像を作成する
　請求項２から請求項４のいずれか一項に記載の物体処理装置。
　前記画像作成部は、前記第１画像を画像処理することにより、予め定められた他の条件を満たし前記第１物体と前記第２物体とに異なる第３物体を前記複数の物体から選択し、前記第３物体に関する情報が前記第２画像にさらに映し出されるように、前記第２画像を作成する
　請求項２から請求項５のいずれか一項に記載の物体処理装置。
　前記画像作成部は、前記第３物体の量を算出し、前記第３物体の量を示す第４画像が前記第２画像に映し出されるように前記第２画像を作成する
　請求項６に記載の物体処理装置。
　前記第３物体の量を示す音を発生する音声装置をさらに備え、
　前記画像作成部は、前記第３物体の量を算出する
　請求項６または請求項７に記載の物体処理装置。
　前記画像作成部は、前記第３物体を写す像が前記第２画像に映し出される第３表示形式が、前記第２物体を写す像が前記第２画像に映し出される第１表示形式と異なり、かつ、前記複数の物体のうちの前記第２物体と前記第３物体とに異なる第４物体を写す像が前記第２画像に映し出される第４表示形式と異なるように、前記第２画像を作成する
　請求項６から請求項８のいずれか一項に記載の物体処理装置。
　前記第１画像に基づいて算出された前記第１物体の位置に基づいて、前記第１物体が除去されるように、前記ロボットを制御する制御部
　をさらに備える請求項１から請求項９のいずれか一項に記載の物体処理装置。
　前記搬送路のうちの前記第１領域と異なる第３領域に前記複数の物体が配置されるときに、前記複数の物体が写る第５画像を撮像する他の撮像部をさらに備え、
　前記画像作成部は、前記第５画像をさらに画像処理することにより、前記第２画像を作成する
　請求項１０に記載の物体処理装置。