JP2024089032A - 物体選別のための情報処理方法、プログラム及び情報処理システム - Google Patents

Abstract

【課題】分別対象物の組成分析をより適切に行うことが出来るようにレーザを照射する。
【解決手段】本方法は、（Ａ）コンベア上に配置され且つ組成に応じて分別すべき物体を含む範囲についての二次元画像を取得するステップと、（Ｂ）画像内において少なくとも物体の表面に存在する下地以外の異物についての第１の領域又は物体において第１の領域以外の領域である第２の領域を検出するように予め学習済みの学習済みモデルを用いて、二次元画像において第１の領域又は第２の領域を検出するステップと、（Ｃ）検出された第１の領域又は第２の領域に基づき、上記物体について組成分析用のレーザを照射すべき領域を特定する特定ステップとを含む。
【選択図】図１

Description

本発明は、分別対象物の組成分析のためにレーザを照射するための技術に関する。

使用済の自動車、家電等のリサイクル工程では、塗装膜等の異物が付着した不定形の破砕金属スクラップを大量に扱っており、このような破砕金属スクラップを高精度に分別可能なＬＩＢＳ（Laser-Induced Breakdown Spectroscopy：レーザ誘起ブレイクダウン分光）選別装置が求められている。

例えば、特許文献１には、基本的なＬＩＢＳ選別装置の構成が開示されているが、選別対象物を上面から撮影した平面画像において、選別対象物に外接する矩形の中心線に沿って直線状にレーザを照射することが開示されているに過ぎず、外接矩形の中心線上に、表面異物が存在している場合については考慮されていない。選別対象物によっては、本来測定したい下地の金属の分光スペクトルデータに、表面異物の元素組成に由来する分光スペクトルデータが重なり、ＬＩＢＳ分析精度の低下、合金種選別精度の低下につながる。

ＬＩＢＳにおいて、表面異物の影響を低減する方法としては、事前洗浄レーザ光を照射する方法（例えば特許文献２）、酸性またはアルカリ性の液体を用いて表面被覆を除去した後にＬＩＢＳ分析を行う方法（例えば特許文献３）、高速グラインディングデバイスで表面上の塗料又はコーティングを磨き取る方法（例えば特許文献４）等が存在している。このような技術では、表面異物の層が厚い場合（鉄製ボルトなど）に対応できなかったり、液体の廃棄に問題が生じたり、破砕片のような不定形なスクラップに対応できなかったり、問題が残ってしまう。

さらに、例えば、非特許文献５には、表面近傍の金属元素組成（濃度）が内部（バルク）の元素組成（濃度）と異なることに起因して合金種類の選別精度が低下するという問題に対して、ＬＩＢＳで分析した表面近傍の元素組成（濃度）情報を、グロー放電発光分光法などであらかじめ測定したバルクの元素組成（濃度）情報にマッチングすることで、内部（バルク）の元素組成（濃度）に応じた選別を行う技術が開示されている。しかしながら、アルミニウムの合金組成と無関係な塗料などの表面異物に対しては、表面組成情報をバルク組成情報に割り当てることが困難である。

このように従来技術では、様々な表面異物が存在するスクラップ片に対応できるわけではなく、廃液処理等の問題が新たに発生するなど、表面異物の問題に十分な解決策を提供できていない。

国際公開公報２０１８／０１２３４６ 特表２０２０－５１３５４７号公報 特表２０１４－５２９６７９号公報 特表２０２１－５０３６０４号公報 特表２０１９－５２０９６８号公報

従って、本発明の目的は、一側面によれば、分別対象物の組成分析をより適切に行うことが出来るようにレーザを照射するための技術を提供することである。

本発明に係る情報処理方法は、（Ａ）コンベア上に配置され且つ組成に応じて分別すべき物体を含む範囲についての二次元画像を取得するステップと、（Ｂ）画像内において少なくとも物体の表面に存在する下地以外の異物についての第１の領域又は物体において第１の領域以外の領域である第２の領域を検出するように予め学習済みの学習済みモデルを用いて、二次元画像において第１の領域又は第２の領域を検出するステップと、（Ｃ）検出された第１の領域又は第２の領域に基づき、上記物体について組成分析用のレーザを照射すべき領域を特定する特定ステップとを含む。

一側面によれば、分別対象物の組成分析をより適切に行うことが出来るようにレーザを照射できるようになる。

図１は、ＬＩＢＳ選別装置の概要を示す図である。 図２は、制御装置の機能ブロック図である。 図３は、二次元エリア画像生成処理の処理フローを示す図である。 図４は、三次元エリア画像生成処理の処理フローを示す図である。 図５は、異物検出処理の処理フローを示す図である。 図６は、下地露出領域の検出例を示す図である。 図７は、物体前処理の処理フローを示す図である。 図８は、平坦領域の検出例を示す図である。 図９は、三次元エリア画像において物体の外接矩形を検出した場面を示す図である。 図１０は、二次元エリア画像において物体の外接矩形を検出した場面を示す図である。 図１１は、二次元エリア画像に対するメッシング処理の処理例を示す図である。 図１２は、三次元エリア画像に対するメッシング処理の処理例を示す図である。 図１３は、メッシュ要素単位の平坦領域の一例を示す図である。 図１４は、メッシュ要素単位の下地露出領域の一例を示す図である。 図１５は、経路設定処理の処理フローを示す図である。 図１６は、分析好適領域の検出例を示す図である。 図１７は、経路設定処理の処理フローを示す図である。 図１８は、設定処理の処理フローを示す図である。 図１９は、レーザ照射経路の選択例を示す図である。 図２０は、レーザ照射経路の選択例を示す図である。 図２１は、制御処理の処理フローを示す図である。 図２２は、コンピュータの機能ブロック図である。

図１に、本発明の実施の形態に係るＬＩＢＳ選別装置１０の概要を示す。ＬＩＢＳ選別装置１０は、選別対象である物体Ｗを搬送するコンベヤ１１と、コンベヤ１１を横切って配置された光電センサ１２と、コンベヤ１１上を照射するレーザ投光器１３と、コンベヤ１１上を搬送される物体Ｗを１ライン毎に撮像する三次元画像カメラ１４と、同じく物体Ｗを１ライン毎に撮像する二次元カラー画像カメラ２１と、三次元画像カメラ１４及び二次元カラー画像カメラ２１の後流に配置され且つレーザ照射機構を有するＬＩＢＳ分析装置１５と、このＬＩＢＳ分析装置１５の後流に配置されて搬送路を切り替えるパドル（切替機構）１６と、三次元画像カメラ１４で撮像された三次元画像のデータ及び二次元カラー画像カメラ２１で撮像された二次元カラー画像のデータに基づきＬＩＢＳ分析装置１５のレーザ照射機構を制御する制御装置１７とを有する。なお、コンベヤ１１は、コンベヤ駆動モータ１１ａと当該コンベヤ駆動モータ１１ａと同軸で回転するインクリメンタルエンコーダ１１ｂとを備える。インクリメンタルエンコーダ１１ｂは、所定時間間隔でパルス信号を出力する。

物体Ｗが光電センサ１２の位置に達すると、三次元画像カメラ１４は、起動して、レーザ投光器１３が投影する投影線（コンベヤ１１の搬送方向に垂直な方向に形成される線）Ｌ１を物体Ｗが通過する時のレーザの反射光を光切断法の原理に従って一定の時間間隔ごとに記録する。ここで、投影線を形成するレーザの経路面を「ＹＺ鉛直面」と呼ぶものとする。当該ＹＺ鉛直面を通過した際に記録された１ライン分のデータはライン毎に制御装置１７に伝送され、以下で述べるように処理される。

また、物体Ｗが光電センサ１２の位置に達すると、二次元カラー画像カメラ２１も、起動して、投影線Ｌ１を物体Ｗが通過する時の二次元カラー画像を一定の時間間隔毎に記録する。ここで記録された１ライン分のデータはライン毎に制御装置１７に伝送され、以下で述べるように処理される。

そして、物体ＷがＬＩＢＳ分析装置１５のレーザ照射位置Ｌ２に到達すると、ＬＩＢＳ分析装置１５は、物体Ｗ表面にレーザを照射してプラズマを発生させ、プラズマの発光波長のスペクトルを分析する。その結果に基づいて、コンベヤ１１の下流側に設けられたパドル１６を動作させ物体の落下位置を変えることで選別する。

制御装置１７は、例えばパーソナルコンピュータであって、本体部１７ａと、モニタ１７ｂとを有する。なお、図示されてはいないが、カメラ１４及び２１からのデータを取り込むカメラ入力ボード、ＬＩＢＳ分析装置１５におけるレーザ照射機構に指示を出すカウンタボード及びＤ／Ａコンバータボードなどを備えている。制御装置１７は、さらに、ＬＩＢＳ分析装置１５からのスペクトルデータに基づき、物体Ｗの組成を特定し、当該物体Ｗの組成に基づき、パドル１６を制御する機構をも保持している。

また、ＬＩＢＳ分析装置１５は、筐体の内部に、レーザ光源とその制御回路、ミラーや集光レンズを含む光学系とその制御回路等を内蔵しており、制御装置１７からの指令信号に基づいて、ミラー角度を変化させてコンベヤ１１上でのベルト幅方向（Ｙ方向）のレーザ集光位置を制御し、集光レンズの位置を変化させてコンベヤ１１上での高さ方向（Ｚ方向）の集光位置を制御する。また、ＬＩＢＳ分析装置１５は、物体Ｗにレーザを照射したことにより生じるプラズマを感知してそのスペクトルデータを取得する分析部を備えるとともに、取得したスペクトルデータを制御装置１７に伝送可能に接続されている。

本実施の形態では、制御装置１７において、組成分析を行うべき物体Ｗのいずれの領域（より具体的には照射経路）にレーザを照射すべきかを判定する部分に特徴があるので、以下では、その部分の構成について説明する。レーザを照射すべき領域が特定されれば、それに合わせてレーザ照射機構を制御するのは、従来技術と同様であるから、詳細な説明については省略する。

図２に、制御装置１７の機能ブロック構成例を示す。制御装置１７は、二次元画像処理部１７０１と、三次元画像処理部１７０３と、二次元画像処理部１７０１の処理結果を格納する第１データ格納部１７０５と、三次元画像処理部１７０３の処理結果を格納する第２データ格納部１７０７と、異物検出部１７０９と、異物検出部１７０９の処理結果を格納する第３データ格納部１７１１と、照射経路を特定するための前処理を実行する前処理部１７１３と、前処理部１７１３の処理結果を格納する第４データ格納部１７１５と、照射経路設定部１７１７と、照射経路設定部１７１７の処理結果を格納する第５データ格納部１７１９と、ＬＩＢＳ分析装置１５のレーザ照射機構やパドル１６を制御する制御部１７２１とを含む。

二次元画像処理部１７０１は、二次元カラー画像カメラ２１から受信したライン毎のデータを結合して二次元エリア画像を生成し、第１データ格納部１７０５に格納する。三次元画像処理部１７０３は、三次元画像カメラ１４から受信したライン毎のデータを結合して三次元エリア画像を生成し、第２データ格納部１７０７に格納する。

異物検出部１７０９は、例えば、物体において、予め定められた表面異物を特定できるように又は表面異物以外の領域を特定できるように学習された学習済みモデルを含む。より具体的には、深層学習に含まれるセマンティックセグメンテーションという手法にて、物体Ｗの下地以外の表面異物の領域と、物体Ｗの下地の領域とを区別できるように学習する。表面異物は、例えば、「塗膜」、「鉄ボルト」、「鉄メッシュ」、「ビス」、「塗装被膜」、「メッキ被膜」、「酸化被膜」、「異素材（ガラス、樹脂等）部品」、「異種金属部品」、「異種合金部品」、「土石」、「固着油脂（潤滑材等）」、「固着異種金属（破砕時に固着）」などである。これらの種類を個別に識別できるようにしても良いが、表面異物の領域と下地の領域とを区別できれば良い。なお、セマンティックセグメンテーションについては、周知であるからここでは詳細には述べない。異物検出部１７０９は、表面異物の領域とそれ以外の領域とを区別できるようにしたセグメンテーション画像を生成し、第３データ格納部１７１１に格納する。

前処理部１７１３は、レーザの照射経路を設定する前処理を行う。本実施の形態では、三次元エリア画像において物体を検出する処理、物体矩形を特定する処理、三次元エリア画像及びセグメンテーション画像に対してメッシングを行う処理、三次元エリア画像において物体の平滑領域を特定する処理、セグメンテーション画像において物体の下地露出領域を特定する処理などを実行し、それらの処理結果を第４データ格納部１７１５に格納する。

照射経路設定部１７１７は、第４データ格納部１７１５に格納されているデータなどに基づき、物体においてレーザの照射経路を特定し、当該照射経路のデータを第５データ格納部１７１９に格納する。制御部１７２１は、第５データ格納部１７１９に格納されている照射経路のデータを用いて、ＬＩＢＳ分析装置１５のレーザ照射機構を制御し、ＬＩＢＳ分析装置１５から受信したスペクトルデータに基づき、物体の組成を特定して、当該組成に基づきパドル１６を制御する。

次に、図３乃至図２１を用いて、制御装置１７の処理内容について説明する。まず、二次元画像処理部１７０１が実行する二次元エリア画像生成処理について、図３を用いて説明する。

二次元画像処理部１７０１は、二次元カラー画像カメラ２１から１ライン分の撮影画像（ライン画像と呼ぶ）を受信する（ステップＳ１）。このライン画像の受信時には、インクリメンタルエンコーダ１１ｂからのパルス信号に応じてインクリメントされるカウント値を取得して、ライン画像と共に記録する。そして、二次元画像処理部１７０１は、受信したライン画像に対して所定のノイズ除去処理を実行する（ステップＳ３）。そして、二次元画像処理部１７０１は、ライン画像のサイズを調整する（ステップＳ５）。例えば、Ｙ軸方向の長さを一定値ｙ０に縮小する。なお、Ｘ軸方向は１ピクセル分となっている。ステップＳ３及びＳ５については、従来から採用されている周知の方法をそのまま適用可能であるから、ここでは説明は省略する。

次に、二次元画像処理部１７０１は、ノイズ除去及びサイズ調整後のライン画像において物体が写っているか否かを判断する（ステップＳ７）。例えば、コンベア１１の搬送面の画像（すなわち背景画像）との差分があるか否かに応じて判断する。物体が写っていないと判断された場合には、二次元画像処理部１７０１は、ライン画像を蓄積するためのバッファにライン画像が蓄積されているか否かを判断する（ステップＳ９）。バッファにライン画像の蓄積がない場合には、まだ物体が現れていない状態であるので、処理はステップＳ１に戻る。一方、バッファにライン画像が１本でも蓄積されていれば、物体の後端が現れたことになるので、処理はステップＳ１５に移行する。

一方、ノイズ除去及びサイズ調整後のライン画像において物体が写っていると判断された場合には、二次元画像処理部１７０１は、当該ライン画像と当該ライン画像の受信時におけるカウント値とをバッファに蓄積する（ステップＳ１１）。その後、二次元画像処理部１７０１は、バッファ内に所定本数（蓄積の上限本数ｈ０に相当する）のライン画像が蓄積されたか否かを判断する（ステップＳ１３）。バッファ内に所定本数未満のライン画像しか蓄積されていない場合には、処理はステップＳ１に戻る。一方、バッファ内に所定本数のライン画像が蓄積された場合には、処理はステップＳ１５に移行する。

そして、二次元画像処理部１７０１は、バッファに蓄積されたライン画像をまとめて二次元エリア画像を生成し、当該二次元エリア画像のデータと画像先頭のカウント値を、第１データ格納部１７０５に格納する（ステップＳ１５）。

このようにすれば、物体が１つ以上写っている二次元エリア画像が得られるようになる。なお、図３に示す処理は、二次元カラー画像カメラ２１からデータを受信している間は繰り返し実行される。

次に、図４を用いて、三次元画像処理部１７０３が実行する三次元エリア画像生成処理について説明する。

まず、三次元画像処理部１７０３は、三次元画像カメラ１４から１ライン分の撮影画像（三次元ライン画像と呼ぶ）を受信する（ステップＳ２１）。三次元ライン画像の受信時には、インクリメンタルエンコーダ１１ｂからのパルス信号に応じてインクリメントされるカウント値を取得して、三次元ライン画像と共に記録する。そして、三次元画像処理部１７０３は、受信した三次元ライン画像に対して所定のノイズ除去処理を実行する（ステップＳ２３）。そして、三次元画像処理部１７０３は、三次元ライン画像のサイズを調整する（ステップＳ２５）。例えば、Ｙ軸方向の長さを一定値ｙ０（二次元エリア画像生成処理におけるｙ０と同じ）に縮小する。なお、Ｘ軸方向は１ピクセル分となっている。ステップＳ２３及びＳ２５については、従来から採用されている周知の方法をそのまま適用可能であるから、ここでは説明は省略する。

次に、三次元画像処理部１７０３は、ノイズ除去及びサイズ調整後の三次元ライン画像において物体が写っているか否かを判断する（ステップＳ２７）。例えば、Ｚ方向の高さｚ値が０又は所定の閾値を超えるような画素が含まれていれば、物体が写っているものと判断する。物体が写っていないと判断された場合には、三次元画像処理部１７０３は、三次元ライン画像を蓄積するためのバッファに三次元ライン画像が蓄積されているか否かを判断する（ステップＳ２９）。バッファに三次元ライン画像の蓄積がない場合には、まだ物体が現れていない状態であるので、処理はステップＳ２１に戻る。一方、バッファに三次元ライン画像が１本でも蓄積されていれば、物体の後端が現れたことになるので、処理はステップＳ３５に移行する。

一方、ノイズ除去及びサイズ調整後の三次元ライン画像において物体が写っていると判断された場合には、二次元画像処理部１７０１は、当該三次元ライン画像と当該三次元ライン画像の受信時におけるカウント値とをバッファに蓄積する（ステップＳ３１）。その後、二次元画像処理部１７０１は、バッファ内に所定本数（蓄積の上限本数ｈ０に相当する）の三次元ライン画像が蓄積されたか否かを判断する（ステップＳ３３）。バッファ内に所定本数未満の三次元ライン画像しか蓄積されていない場合には、処理はステップＳ２１に戻る。一方、バッファ内に所定本数の三次元ライン画像が蓄積された場合には、処理はステップＳ３５に移行する。

そして、二次元画像処理部１７０１は、バッファに蓄積された三次元ライン画像をまとめて三次元エリア画像を生成し、当該三次元エリア画像のデータと画像先頭のカウント値を、第２データ格納部１７０７に格納する（ステップＳ３５）。

このようにすれば、物体が１つ以上写っている三次元エリア画像が得られるようになる。なお、図４に示す処理は、三次元画像カメラ２１からデータを受信している間は繰り返し実行される。

次に、図５を用いて、異物検出部１７０９が実行する異物検出処理について説明する。

異物検出部１７０９は、学習済みモデルに入力するために、第１データ格納部１７０５に格納された二次元エリア画像のリサイズを実行する（ステップＳ４１）。例えば、Ｘ方向のサイズをｈ１にし、Ｙ方向のサイズをｙ０からｙ１に変更する。そして、異物検出部１７０９は、リサイズ後の二次元エリア画像を上で述べた学習済みモデルに入力して、表面異物が存在する画素範囲を検出する（ステップＳ４３）。表面異物が存在する画素領域ではなく、下地が露出した画素範囲が得られるようにしても良く、その場合には物体の画素領域中、下地が露出した画素範囲以外の部分が、表面異物が存在する画素領域であるとして取り扱う。上でも述べたように、学習済みモデルはセマンティックセグメンテーションという手法によって実現されるので、ステップＳ４３において得られる、表面異物が存在する画素範囲が示されている画像をセグメンテーション画像と呼ぶものとする。

そして、異物検出部１７０９は、セグメンテーション画像を、三次元エリア画像に合わせて再度リサイズを行って、リサイズ後のセグメンテーション画像を第３データ格納部１７１１に格納する（ステップＳ４５）。例えば、Ｘ方向のサイズをｈ１からｈ０にし、Ｙ方向のサイズをｙ１からｙ０に変更する。

図６に、異物検出処理において得られるセグメンテーション画像の一例を示す。この例では、２つの物体が写っており、灰色部分が表面異物が存在する画素を表しており、白色部分が下地が露出した画素を表している。なお、矢印方向にコンベア１１が物体を搬送させているものとする。すなわち、上の方がカウント値が小さい値となる。

次に、図７を用いて、前処理部１７１３が実行する物体前処理を説明する。

前処理部１７１３は、第２データ格納部１７０７に格納されている三次元エリア画像において高さｚ値が閾値を超えている画素の領域から物体を検出し、各物体に対して識別子Ｐを付与する（ステップＳ５１）。例えば、図８に示すような三次元エリア画像が得られているものとする。図８において、灰色が濃いほど平坦度が小さく、灰色が薄いほど平坦度が大きいものとする。図６と同様に、矢印方向にコンベア１１が物体を搬送させているものとする。そして、ステップＳ５１を実行すると、図９に示すように、左側の物体に識別子Ｐ＝１が付与され、右側の物体に識別子Ｐ＝２が付与される。なお、ここでは、物体の識別と共に、物体の外接矩形の設定も行うものとする。

次に、前処理部１７１３は、三次元エリア画像における物体の外接矩形のデータに基づき、第３データ格納部１７１１に格納されているセグメンテーション画像において、各物体を検出すると共に、各物体に対して外接矩形を設定し、三次元エリア画像と同様に識別子Ｐを設定する（ステップＳ５３）。物体の検出は、三次元エリア画像における物体の外接矩形の範囲において、背景画像との差分がある領域として物体を検出する。三次元エリア画像とセグメンテーション画像とでは先頭のカウント値が異なっている場合があるが、画像サイズは同じであるから、画像内における物体の相対的な位置は同じものとして取り扱う。

例えば、図６に示したセグメンテーション画像の場合には、図１０に示すような形で各物体を検出して、各物体に対して外接矩形が設定される。なお、同一位置に配置されている物体の識別子Ｐは、三次元エリア画像のものと同じである。

そして、前処理部１７１３は、三次元エリア画像の各物体に対して（具体的には外接矩形に対して）、メッシングを行う（ステップＳ５５）。さらに、前処理部１７１３は、セグメンテーション画像の各物体に対して（具体的に外接矩形に対して）、同様のメッシングを行う（ステップＳ５７）。メッシングで生成される複数のメッシュ要素は、基本的には正方形で、その個々のサイズは、外接矩形のサイズなどに応じて設定される。なお、メッシュ要素は、以下で述べるように、平坦である領域を決める最小単位であるため、この点においても、メッシュ要素のサイズが決定される。さらに、メッシュ要素のサイズは、三次元エリア画像とセグメンテーション画像と同じにする。例えば、図９に示すような三次元エリア画像の場合には、図１１に示すようなメッシングが行われる。同様に、三次元エリア画像についてのメッシングのデータから、図１０に示すようなセグメンテーション画像に対しては、図１２に示すようなメッシングが行われる。

そして、前処理部１７１３は、三次元エリア画像の各物体内におけるメッシュ要素毎に平坦か否かを判定し、平坦領域を特定し、処理結果を第４データ格納部１７１５に格納する（ステップＳ５９）。例えば、メッシュ要素毎に、当該メッシュ要素に含まれる各画素の高さｚ値の平均値及び分散を算出し、当該平均値が閾値Ｂ以上且つ分散が閾値Ｃ未満のメッシュを検出する。その上で、各メッシュ要素については、平坦または非平坦という値を有するものとする。このような処理を行うことで、図１１に示すようなメッシング後の三次元エリア画像の場合には、図１３に示すように、塗りつぶされたメッシュ要素が平坦と特定されたメッシュ要素であり、それ以外の部分は非平坦と特定されたメッシュ要素である。なお、平坦領域にレーザ照射を行うのは、プラズマの発生確率やＳ／Ｎ比を向上させるためである。

さらに、前処理部１７１３は、セグメンテーション画像の各物体におけるメッシュ要素毎に、表面異物の画素割合が閾値Ｄ以下か否かを判定して、下地露出領域を特定し、処理結果を第４データ格納部１７１５に格納する（ステップＳ６１）。上で述べた処理において表面異物が存在する画素範囲が分かっているので、これを三次元エリア画像との対比を容易にするために、メッシュ要素単位で、メッシュ要素の全画素数に対する表面異物の画素数の割合で、下地露出領域か否かを判定するものである。但し、下地が露出している画素範囲が分かっている場合には、例えば、メッシュ要素の全画素数に対する下地露出の画素数の割合が一定値以上であるメッシュ要素を検出するようにしても良い。なお、各メッシュ要素については、下地露出又は非下地露出という値を有するものとする。図１２に示すようなメッシング後のセグメンテーション画像の場合には、図１４に示すように、塗りつぶされたメッシュ要素が下地露出と特定されたメッシュ要素であり、それ以外の部分は非下地露出と特定されたメッシュ要素である。

このような処理を行うことで、以下に述べるレーザ照射の経路設定処理を実行するための準備が完了することになる。すなわち、三次元エリア画像については平坦領域が特定されており、セグメンテーション画像については下地露出領域が特定されている状態となる。但し、平坦領域が検出されない場合、下地露出領域が検出されない場合、両方とも検出されない場合も生じ得る。

次に、図１５乃至図２０を用いて、照射経路設定部１７１７が実行する、レーザ照射の経路設定処理について説明する。

照射経路設定部１７１７は、まず、処理対象の物体の識別子Ｐを初期値１に設定する（ステップＳ７１）。そして、照射経路設定部１７１７は、識別子Ｐの物体について、第４データ格納部１７１５に格納されているセグメンテーション画像及び三次元エリア画像についてのデータを用いて、平坦領域と下地露出領域の重複領域である分析好適領域を抽出する（ステップＳ７３）。図１３に示すような三次元エリア画像における平坦領域と、図１４に示すようなセグメンテーション画像における下地露出領域との重複領域を、メッシュ要素単位で抽出する。そうすると、図１６に示すような結果が得られる。すなわち、図１６では、重複領域は塗りつぶされており、左側の識別子Ｐ＝１の物体については、重複領域は２つに分かれており、左側の大きな重複領域と、右側の１メッシュ要素からなる重複領域とが抽出されている。右側の識別子Ｐ＝２の物体については、１つのメッシュ要素からなる１つの重複領域のみが抽出される。なお、重複領域は抽出されない場合もある。

そして、照射経路設定部１７１７は、重複領域である分析好適領域が抽出できたか否かを判断する（ステップＳ７５）。分析好適領域が抽出できている場合には、照射経路設定部１７１７は、分析好適領域を、以下の処理における処理対象領域に設定する（ステップＳ７７）。そして、処理は端子Ａを介して図１７の処理に移行する。一方、分析好適領域が抽出できなかった場合には、照射経路設定部１７１７は、セグメンテーション画像において下地露出領域が特定できたか否かを判断する（ステップＳ７９）。下地露出領域が特定できている場合には、照射経路設定部１７１７は、下地露出領域を、以下の処理における処理対象領域に設定する（ステップＳ８１）。そして、処理は端子Ａを介して図１７の処理に移行する。一方、下地露出領域も特定できなかった場合には、照射経路設定部１７１７は、平坦領域を特定できたか否かを判断する（ステップＳ８３）。平坦領域が特定できている場合には、照射領域設定部１７１７は、平坦領域を、以下の処理における処理対象領域に設定する（ステップＳ８５）。そして、処理は端子Ａを介して図１７の処理に移行する。一方、平坦領域も特定できなかった場合には、照射経路設定部１７１７は、識別子Ｐの物体の外接矩形の中心線（具体的には、Ｙ軸方向の中心でＸ軸に沿った直線）を基本に経路設定すべきメッシュ要素を選択する（ステップＳ８７）。物体の外接矩形の中心線にレーザの照射経路を設定すること自体は従来でも行われていたが、複数物体間についての調整を要する場合もあるので、物体の外接矩形の中心線を含む、物体内のメッシュ要素について、開始位置座標（ｙ，ｘ）及び長さを特定する。この調整に関するルールについては、後に他のケースについての説明と併せて行うこととする。なお、複数物体間についての調整については、後に説明する。そして、処理は端子Ｃを介して図１７のステップＳ９１に移行する。

端子Ａを介して図１７の処理の説明に移行して、照射経路設定部１７１７は、処理対象領域に対して設定処理を実行する（ステップＳ８９）。この設定処理については、図１８を用いて説明する。

照射経路設定部１７１７は、識別子Ｐの物体の外接矩形の左上隅に基準点を設定する（ステップＳ１０１）。また、照射経路設定部１７１７は、Ｙ軸方向におけるメッシュ要素の位置座標ｙを０に初期化する（ステップＳ１０３）。そして、照射経路設定部１７１７は、外接矩形においてＸ軸方向に１列メッシュ要素群を、処理対象領域に含まれるメッシュ要素を探索するようにスキャンする（ステップＳ１０５）。例えば、図１９にスキャンの一例を示す。識別子Ｐ＝１の物体については、左端が基準点であるから、一番左の列を、矢印で示すように縦方向にスキャンして、処理対象領域に含まれるメッシュ要素を探索する。この例では、下から２番目のメッシュ要素が抽出される。同様に、左から２番目の列をスキャンすると、下から２番目のメッシュ要素が抽出される。さらに、左から３番目の列をスキャンすると、下３つのメッシュ要素が抽出される。以下、右端の列までのスキャンを繰り返す。図１９の例では、識別子Ｐ＝２の物体についても、同様のスキャンが行われるが、この場合、右端の列で、上から２番目のメッシュ要素のみが抽出される。

そして、照射経路設定部１７１７は、処理対象領域に含まれるメッシュ要素が見つかったか否かを判断する（ステップＳ１０７）。スキャンした列に、処理対象領域に該当するメッシュ要素が１つも存在しない場合には、処理はステップＳ１０９に移行する。一方、処理対象領域に含まれるメッシュ要素が検出された場合には、照射経路設定部１７１７は、検出されたメッシュ要素のデータを保存する（ステップＳ１０７）。例えば、スキャンした列において最初に検出されたメッシュ要素の位置座標（ｙ，ｘ）と検出されたメッシュ要素の長さとを保存する。図１９の例において、識別子Ｐ＝１の物体であれば、ｙ＝０でのスキャンであれば、最初に検出されたメッシュ要素の位置座標（０，４）と長さ１とが保存される。ｙ＝１でのスキャンであれば、メッシュ要素の位置座標（１，４）と長さ１とが保存される。ｙ＝２でのスキャンであれば、メッシュ要素の位置座標（２，３）と長さ３とが保存される。ｙ＝３でのスキャンであれば、メッシュ要素の位置座標（３，３）と長さ２とが保存される。同様に、識別子Ｐ＝２の物体であれば、ｙ＝６でのスキャンにおいて、メッシュ要素の位置座標（６，１）と長さ１とが保存される。

その後、照射経路設定部１７１７は、ｙが、識別子Ｐである物体の外接矩形の右端の値に達したか否かを判断する（ステップＳ１０９）。まだｙが外接矩形の右端の値に達していない場合には、照射経路設定部１７１７は、ｙを１インクリメントし（ステップＳ１１１）、処理はステップＳ１０５に戻る。

一方、ｙが外接矩形の右端の値に達した場合には、照射経路設定部１７１７は、所定ルールに基づき、ステップＳ１０７において保存されたデータに基づき、経路設定すべきメッシュ要素を選択する（ステップＳ１１３）。本実施の形態においてレーザの照射経路を決定する場合に適用すべきルールには、同一物体内におけるルールと、複数物体間についてのルールとがある。

本実施の形態では、レーザ照射は、コンベア１１の搬送方向、すなわちＸ軸方向に行うこととしている。従って、レーザの照射経路としては、Ｘ軸方向に重複して設定することは出来ない。一方、本実施の形態では、セグメンテーション画像及び三次元エリア画像に複数の物体が含まれる場合があるが、さらに各物体においてもレーザの照射経路の候補が複数検出される場合がある。図１９の例でも、識別子Ｐ＝１の物体については、２つの分離した領域が分析好適領域として検出されているので、どのようにレーザの照射経路を設定すべきかが問題となる。

本実施の形態では、Ｘ軸方向にレーザを照射することが決まっているので、Ｘ軸方向に上で述べたようなスキャンを行うことで、照射経路の候補を抽出する。これがステップＳ１０７に対応する。なお、ここで照射経路の候補というのは、メッシュ要素の列を意味するが、後に述べるように、メッシュ要素の列の中心に具体的な照射経路を設定するので、本ステップの説明では、メッシュ要素の列と照射経路とを同一視して説明する。

本実施の形態では、このような照射経路の候補に対して、同一物体内におけるルールを適用する。具体的には、Ａ）１つの物体において最低基準長以上の照射長をできる限り確保するというルールと、Ｂ）可能な限り、Ｙ軸方向の位置座標を変化させずに最低基準長以上の照射長を確保するというルールが含まれる。

このため、照射経路の候補から、長さが最も長い候補をまず抽出する。このように抽出された候補の長さが、最低基準長以上であれば、当該抽出された候補を採用して、残りの候補については不採用とする。一方、長さが最も長い候補の長さが最低基準長未満であれば、Ｙ軸方向の位置座標が同一で且つＸ軸方向の位置座標が異なる候補を抽出する。すなわち、Ｘ軸方向に間欠的にレーザを照射することが可能であるかを確かめるものである。このような候補が抽出できて、長さが最も長い候補の長さと、新たに抽出された候補の長さを足すことで最低基準長以上になれば、それらの候補を採用する。これでも最低基準長を確保できなければ、これまでに抽出された候補でカバーされるＸ軸方向の範囲と重複せず且つＹ軸方向の位置座標が異なる候補又は候補の一部を抽出する。Ｙ軸方向の位置座標が異なる候補を抽出する場合には、そのカバー範囲が既に抽出されている候補のカバー範囲と重複する場合があるので、重複しないように候補の一部のみを採用する場合もある。なお、Ｙ軸方向の位置座標が異なる候補を抽出する場合には、レーザの照射位置を変更するための時間分、開始位置座標を若干後ろにずらすことで長さを短くするようにしても良い。

このような物体内におけるルールを適用すると、図１９において識別子Ｐ＝１の物体については、位置座標（２，３）と長さ３の候補が、長さが最も長い候補として抽出される。なお、最低基準長が３であれば、それで処理が完了するが、最低基準長が４以上の場合には、図１９の場合には、Ｙ軸方向の位置座標が同一である候補は存在せず、Ｙ軸方向の位置座標が異なる候補はあっても、抽出された候補でカバーされるＸ軸方向の範囲と重複しない候補は存在しない。すなわち、この例では、長さが最も長い候補のみが抽出される。

一方、識別子Ｐ＝２の物体については、位置座標（６，１）で長さ１の候補のみが存在するので、この候補が抽出される。

これに対して、複数物体間についてのルールは、ａ）必ず全ての物体に照射経路を設定するというルールと、ｂ）Ｘ軸方向に照射経路が重複する場合には、短い照射経路の方を優先させるというルールとを含む。例えば、図１９の代わりに図２０に示すような状態である場合には、識別子Ｐ＝１の物体について選択される照射経路（すなわちメッシュ要素の列）は、位置座標（２，０）及び長さ６というものとなる。一方、識別子Ｐ＝２の物体について選択される照射経路（すなわちメッシュ要素の列）は、位置座標（５，１）及び長さ３というものとなる。このような場合、照射経路はＸ軸方向で重複してしまっているので、短い照射経路の方を優先させる。すなわち、識別子Ｐ＝２の物体についての照射経路を優先させて、識別子Ｐ＝１の物体についての照射経路を分断する。すなわち、点線で示されるように、（２，０）及び長さ１という照射経路と、（２，４）及び長さ２という照射経路に分断される。なお、識別子Ｐ＝２の物体についての照射経路については、Ｙ軸方向のレーザの照射位置を変更するための時間分、長さを短くするようにしても良い。特に照射開始位置を後ろにずらすようにして照射経路を短縮するようにしても良い。

ステップＳ１１３は各物体についての処理なので、ステップＳ１１３では物体内についてのルールを適用して、全物体について処理が完了した後で、複数物体間についてのルールを適用して調整するものとする。

また、ステップＳ８７においては、基本的なルールとして物体の外接矩形の中心線をレーザの照射経路として設定しているが、複数物体間についてのルールについては同様に適用する。

以上の処理を行うことで、個々の物体について、経路設定すべきメッシュ要素が抽出されるようになる。そして、処理は、呼び出し元の処理に戻る。

図１７の処理の説明に戻って、照射経路設定部１７１７は、Ｐが物体個数に達したか否かを判断する（ステップＳ９１）。まだ未処理の物体が存在しており、Ｐが物体個数に達していない場合には、照射経路設定部１７１７は、Ｐを１インクリメントし（ステップＳ９３）、処理は端子Ｂを介して図１５のステップＳ７３に戻る。一方、全ての物体について処理してＰが物体個数に達した場合には、照射経路設定部１７１７は、各物体について選択されたメッシュ要素のデータを用いて、複数物体間についてのルールに基づき、調整を行う（ステップＳ９５）。必ず全ての物体に照射経路を設定することを前提に、Ｘ軸方向に照射経路（すなわちメッシュ要素の列）が重複する場合には、短い照射経路の方を優先させ、上で述べたような長い方の照射経路を分割するなどの調整を行う。

そして、照射経路設定部１７１７は、調整後の選択メッシュ要素の中心線を照射経路として設定して、第５データ格納部１７１９に格納する（ステップＳ９７）。図１９及び図２０で点線で示すような具体的な照射経路を設定する。本ステップでは、照射開始の位置座標及び長さを、メッシュ要素についての位置座標及び長さではなく、画素の位置座標（Ｘ，Ｙ）及び長さ（ピクセル数）として設定する。

さらに、照射経路設定部１７１７は、設定したレーザの照射経路のデータを制御部１７２１に出力する（ステップＳ９９）。制御部１７２１は、このような照射経路のデータを受け取ると、レーザなどの制御処理を実行する。

次に、制御部１７２１の処理内容について、図２１を用いて説明する。なお、制御部１７２１の処理内容については、従来と同様であり、簡略的に説明する。

制御部１７２１は、レーザの照射経路のデータに基づき、各種設定を行う（ステップＳ１２１）。画素の位置座標（Ｘ，Ｙ）のＸ値が得られれば、レーザの照射開始タイミングを、インクリメンタルエンコーダ１１ｂが所定時間間隔で出力するパルス信号についてのカウント値に変換できるので、当該カウント値を算出する。長さＬで、照射時間を得る。さらに、画素の位置座標（Ｘ，Ｙ）からコンベア１１の面からの高さｚを例えば第２データ格納部１７０７から得ることで、レンズの焦点距離を決定する。さらに、画素の位置座標（Ｘ，Ｙ）のＹ値から、ミラーの角度データを設定する。

そして、制御部１７２１は、ＬＩＢＳ分析装置１５に、ステップＳ１２１での設定に従ってレーザ照射を実行させる（ステップＳ１２１）。そうすると、ＬＩＢＳ分析装置１５は、レーザ照射を行って、当該レーザ照射によって得られた、物体についてのスペクトルデータを、制御部１７２１に出力する。この処理内容については従来と同じである。そうすると、制御部１７２１は、スペクトルデータの分光分析を実行する（ステップＳ１２５）。分光分析自体については従来と同じであるから説明を省略する。そして、制御部１７２１は、分光分析の結果に基づき、物体の種別が特定されるので、当該物体の種別に基づき分別を行うように、パドル１６を制御する（ステップＳ１２７）。

以上のような処理を行うことで、物体が精度良く分別されるようになる。

特に、本実施の形態では、平坦領域であり且つ表面異物がない下地露出領域である分析好適領域にレーザを照射できるようになる。また、分析好適領域が抽出できなくても、表面異物がない下地露出領域にレーザを照射して表面異物の影響を抑制できるようにすることも可能である。さらに、下地露出領域もない場合においても、平坦領域にレーザを照射してプラズマの発生確率やＳ／Ｎ比を向上させることも可能である。

［セマンティックセグメンテーションの有効性について］
セマンティックセグメンテーションに従い、「塗膜」（６９４枚）、「鉄製ボルト」（３３２枚）、「鉄製メッシュ」（１６０枚）、「ビス」（３４０枚）、「その他」（２８０枚）の５種類にクラス分けした表面異物付アルミニウムスクラップの二次元カラーエリア画像（計１６２６枚）を学習させることで学習済みモデルを生成した。そして、未学習のアルミニウムスクラップ１８０個を別途用意してコンベヤ上に供給し、リアルタイムで撮影した二次元カラーエリア画像を学習済みモデルで判定することで、上述の５種類の表面異物の存在領域の検知精度を検証した。精度はｍＩＯＵ（mean Intersection Over Union）値で評価した。ＩＯＵについては、（予測が当たっている領域の画素数）／（予測した領域の画素数－正解の領域の画素数－予測が当たっている領域の画素数）で算出される。ｍは平均を表す。

塗装についてのｍＩＯＵは０．７１、鉄製ボルトについてのｍＩＯＵは０．５１、鉄製メッシュについてのｍＩＯＵは０．８７、ビスについてのｍＩＯＵは０．７０、その他についてのｍＩＯＵは０．７２となっており、全サンプルについてのｍＩＯＵは０．７５となった。このように、セマンティックセグメンテーションによる学習済みモデルは、表面異物の存在範囲を概ね良好に推定することができ、異物の存在しない表面領域を検知するというアプリケーションに利用することが可能である。

以上本発明の実施の形態について説明したが、本発明はこれに限定されるものではない。例えば、処理結果が変わらない限り、処理フローにおいて処理順番を入れ替えたり、複数のステップを同時に実行するようにしてもよい。機能ブロック構成についても、一例に過ぎず、プログラムモジュール構成とは異なる場合もある。

なお、上ではセマンティックセグメンテーションを用いる例を示したが、他の手法を採用するようにしても良い。さらに、分析好適領域などの処理対象領域においてレーザの照射経路を設定する処理についても、機械学習などの人工知能に関連する技術を用いて設定する場合もある。その場合にも、上で述べたルールに基づき学習がなされる。なお、制御装置１７において、機械学習を行って学習済みモデルを構築するようにしても良いし、他の装置において機械学習を行って学習済みモデルを構築した上で、当該学習済みモデルを制御装置１７に移植するようにしても良い。さらに、所定期間毎に分別結果に基づき学習済みモデルを更新するようにしても良い。

なお、上で述べた制御装置１７は、例えばパーソナルコンピュータのようなコンピュータ装置であり、このコンピュータ装置は図２２に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。なお、ＨＤＤはソリッドステート・ドライブ（ＳＳＤ：Solid State Drive）などの記憶装置でもよい。オペレーティング・システム（ＯＳ：Operating System）及び本発明の実施の形態における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

なお、上で述べたような処理を実行することで用いられるデータは、処理途中のものであるか、処理結果であるかを問わず、メモリ２５０１又はＨＤＤ２５０５等の記憶装置に格納される。

以上述べた実施の形態をまとめると以下のようになる。

実施の形態に係る情報処理方法は、（Ａ）コンベア上に配置され且つ組成に応じて分別すべき物体を含む範囲についての二次元画像を取得するステップと、（Ｂ）画像内において少なくとも物体の表面に存在する下地以外の異物についての第１の領域又は物体において第１の領域以外の領域である第２の領域を検出するように予め学習済みの学習済みモデルを用いて、二次元画像において第１の領域又は第２の領域を検出するステップと、（Ｃ）検出された第１の領域又は第２の領域に基づき、上記物体について組成分析用のレーザを照射すべき領域を特定する特定ステップとを含む。

このように物体の表面に存在する下地以外の異物にレーザを照射すると、下地部分とは異なる組成分析がなされてしまい、物体の分別を誤ってしまう可能性が高くなる。このように、予め学習済みの学習済みモデルを用いて、下地以外の異物を避けるようにレーザを照射すべき領域を特定できれば、組成分析の精度を向上させることが出来るようになる。すなわち、分別対象物の組成分析をより適切に行うことが出来るようになる。

上で述べた情報処理方法は、（Ｄ）上で述べた範囲についてコンベア面からの高さのデータを含む三次元画像を取得するステップと、（Ｅ）三次元画像におけるコンベア面からの高さのデータに基づき物体内における平坦領域を抽出するステップとをさらに含むようにしても良い。この場合、上で述べた特定ステップにおいて、三次元画像について抽出された平坦領域にさらに基づき、物体について組成分析用のレーザを照射すべき領域を特定するようにしても良い。平坦でない領域にレーザを照射するとプラズマの発生確率やＳ／Ｎ比が下がるので、表面異物の影響と共にこれを除去するようにする。

なお、上で述べた特定ステップにおいて、平坦領域と、第２の領域又は物体において第１の領域以外の領域との重複領域を、レーザを照射すべき領域として特定するようにしても良い。すなわち、組成分析においてより好ましい領域を特定するものである。

また、上で述べた特定ステップにおいて、重複領域が存在しない場合には、第２の領域又は物体において第１の領域以外の領域を、レーザを照射すべき領域として特定するようにしても良い。重複領域のような好適な領域が得られない場合もあるので、その場合には表面異物が存在しない領域又は下地露出領域を採用するものである。

さらに、上で述べた特定ステップにおいて、第２の領域又は物体において第１の領域以外の領域が存在しない場合には、平坦領域をレーザを照射すべき領域として特定するようにしても良い。さらに表面異物が存在しない領域又は下地露出領域が存在しない場合もあり、その場合には平坦領域を採用するものである。

また、上で述べた情報処理方法は、（Ｆ）レーザを照射すべき領域内において、コンベアの搬送方向に沿って特定される最も長い線分の長さが基準長未満であれば、レーザを照射すべき領域内において、コンベアの搬送方向に沿って最も長い線分より前又は後にレーザを照射可能な第２の線分を探索するステップをさらに含むようにしても良い。物体において組成分析用のレーザを照射すべき領域で、コンベアの搬送方向に沿って特定される最も長い線分が十分な長さを有しない場合には、それを補助する第２の線分を、最も長い線分とコンベアの搬送方向に重ならないように探索するものである。

なお、上で述べた第２の線分については、コンベアの搬送方向と直交する方向の座標が上記最も長い線分の座標と同じである線分を、コンベアの搬送方向とは直交する方向の座標が上記最も長い線分の座標とは異なる線分より優先的に採用するようにしても良い。物体はコンベアで搬送されるので、コンベアの搬送方向と直交する方向の座標が変わらない方がレーザの照射制御においては好ましいためである。

また、上で述べた情報処理方法において、二次元画像及び三次元画像において複数の物体が撮影されている場合、レーザを照射すべき領域を、複数の物体の各々について特定するようにしても良い。各物体について組成分析を行わなければならず、複数の物体の各々について、好ましい領域は異なるためである。すなわち、上で述べた重複領域が得られる物体もあれば、下地露出領域などのみ検出される物体、平坦領域のみが検出される物体がある場合もある。

さらに、上で述べた情報処理方法において、二次元画像及び三次元画像において複数の物体が撮影されている場合、複数の物体の各々について特定された、レーザの照射ラインの候補間で、コンベアの搬送方向の座標が重複する場合には、より短い候補を優先して採用し、より長い候補の線分を上記より短い候補とコンベアの搬送方向の座標が重複しないように短縮して採用するようにしても良い。このようにすれば、コンベアの搬送方向で重ならないようにしつつ、複数の物体の各々についてレーザ照射を行うことが出来るようになる。

なお、上記より短い候補の線分を短くした上で採用するようにしても良い。レーザの照射位置を変更する時間を考慮するためである。すなわち、レーザの照射開始位置を、コンベアの搬送方向に沿って後ろにずらすようにしても良い。

また、上で述べた平坦領域を抽出するステップにおいて、三次元画像を複数の区画（例えばメッシュ要素）に分割して、複数の区画の各々について、高さの平均及び分散を算出し、当該高さの平均及び分散に基づき、当該区画を平坦か否かを判定するようにしても良い。このようにすれば、適切に平坦領域を特定できるようになる。

以上述べた情報処理方法をコンピュータに実行させるためのプログラムを作成することができて、そのプログラムは、様々な記憶媒体に記憶される。

また、上で述べたような情報処理方法を実行する情報処理装置は、１台のコンピュータで実現される場合もあれば、複数台のコンピュータで実現される場合もあり、それらを合わせて情報処理システム又は単にシステムと呼ぶものとする。

Claims (13)

1. コンベア上に配置され且つ組成に応じて分別すべき物体を含む範囲についての二次元画像を取得するステップと、
   画像内において少なくとも物体の表面に存在する下地以外の異物についての第１の領域又は物体において前記第１の領域以外の領域である第２の領域を検出するように予め学習済みの学習済みモデルを用いて、前記二次元画像において第１の領域又は第２の領域を検出するステップと、
   検出された前記第１の領域又は前記第２の領域に基づき、前記物体について組成分析用のレーザを照射すべき領域を特定する特定ステップと、
   を、プロセッサに実行させるためのプログラム。
2. 前記範囲についてコンベア面からの高さのデータを含む三次元画像を取得するステップと、
   前記三次元画像における前記コンベア面からの高さのデータに基づき前記物体内における平坦領域を抽出するステップと、
   をさらに含み、
   前記特定ステップにおいて、
   前記三次元画像について抽出された前記平坦領域にさらに基づき、前記物体について組成分析用のレーザを照射すべき領域を特定する
   請求項１記載のプログラム。
3. 前記特定ステップにおいて、
   前記平坦領域と、前記第２の領域又は前記物体において前記第１の領域以外の領域との重複領域を、前記レーザを照射すべき領域として特定する
   請求項２記載のプログラム。
4. 前記特定ステップにおいて、
   前記重複領域が存在しない場合には、前記第２の領域又は前記物体において前記第１の領域以外の領域を、前記レーザを照射すべき領域として特定する
   請求項３記載のプログラム。
5. 前記特定ステップにおいて、
   前記第２の領域又は前記物体において前記第１の領域以外の領域が存在しない場合には、前記平坦領域を前記レーザを照射すべき領域として特定する
   請求項４記載のプログラム。
6. 前記レーザを照射すべき領域内において、前記コンベアの搬送方向に沿って特定される最も長い線分の長さが基準長未満であれば、前記レーザを照射すべき領域内において、前記コンベアの搬送方向に沿って前記最も長い線分より前又は後に前記レーザを照射可能な第２の線分を探索するステップ
   をさらに前記プロセッサに実行させる請求項１記載のプログラム。
7. 前記第２の線分については、前記コンベアの搬送方向と直交する方向の座標が前記最も長い線分の座標と同じである線分を、前記コンベアの搬送方向とは直交する方向の座標が前記最も長い線分の座標とは異なる線分より優先的に採用する
   請求項６記載のプログラム。
8. 前記二次元画像及び前記三次元画像において複数の物体が撮影されている場合、
   前記レーザを照射すべき領域を、前記複数の物体の各々について特定する、
   請求項１乃至４のいずれか１つ記載のプログラム。
9. 前記二次元画像及び前記三次元画像において複数の物体が撮影されている場合、
   前記複数の物体の各々について特定された、前記レーザの照射ラインの候補間で、前記コンベアの搬送方向の座標が重複する場合には、より短い候補を優先して採用し、より長い候補の線分を前記より短い候補と前記コンベアの搬送方向の座標が重複しないように短縮して採用する
   請求項１記載のプログラム。
10. 前記より短い候補の線分を短くした上で採用する
    ことを特徴とする請求項９記載のプログラム。
11. 前記平坦領域を抽出するステップにおいて、
    前記三次元画像を複数の区画に分割して、
    前記複数の区画の各々について、高さの平均及び分散を算出し、当該高さの平均及び分散に基づき、当該区画を平坦か否かを判定する
    請求項２記載のプログラム。
12. コンベア上に配置され且つ組成に応じて分別すべき物体を含む範囲についての二次元画像を取得するステップと、
    画像内において少なくとも物体の表面に存在する下地以外の異物についての第１の領域又は物体において前記第１の領域以外の領域である第２の領域を検出するように予め学習済みの学習済みモデルを用いて、前記二次元画像において第１の領域又は第２の領域を検出するステップと、
    検出された前記第１の領域又は前記第２の領域に基づき、前記物体について組成分析用のレーザを照射すべき領域を特定する特定ステップと、
    を含み、コンピュータにより実行される情報処理方法。
13. コンベア上に配置され且つ組成に応じて分別すべき物体を含む範囲についての二次元画像を取得する手段と、
    画像内において少なくとも物体の表面に存在する下地以外の異物についての第１の領域又は物体において前記第１の領域以外の領域である第２の領域を検出するように予め学習済みの学習済みモデルを用いて、前記二次元画像において第１の領域又は第２の領域を検出する手段と、
    検出された前記第１の領域又は前記第２の領域に基づき、前記物体について組成分析用のレーザを照射すべき領域を特定する手段と、
    を有する情報処理システム。

Images