JP7496278B2 - 仕分先特定装置、仕分先特定方法及びプログラム - Google Patents

仕分先特定装置、仕分先特定方法及びプログラム Download PDF

Info

Publication number
JP7496278B2
JP7496278B2 JP2020167392A JP2020167392A JP7496278B2 JP 7496278 B2 JP7496278 B2 JP 7496278B2 JP 2020167392 A JP2020167392 A JP 2020167392A JP 2020167392 A JP2020167392 A JP 2020167392A JP 7496278 B2 JP7496278 B2 JP 7496278B2
Authority
JP
Japan
Prior art keywords
record
recorded
sorting
holding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020167392A
Other languages
English (en)
Other versions
JP2022059669A (ja
Inventor
勝彦 ▲高▼橋
克己 森川
泰敏 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Hiroshima University NUC
Original Assignee
Kobelco Construction Machinery Co Ltd
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd, Hiroshima University NUC filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020167392A priority Critical patent/JP7496278B2/ja
Priority to CN202180065308.2A priority patent/CN116194361A/zh
Priority to US18/246,858 priority patent/US11987307B2/en
Priority to EP21875650.0A priority patent/EP4206062A1/en
Priority to PCT/JP2021/035725 priority patent/WO2022071349A1/ja
Publication of JP2022059669A publication Critical patent/JP2022059669A/ja
Application granted granted Critical
Publication of JP7496278B2 publication Critical patent/JP7496278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D67/00—Systematic disassembly of vehicles for recovery of salvageable components, e.g. for recycling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/56—Reuse, recycling or recovery technologies of vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Sustainable Development (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Combustion & Propulsion (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Transportation (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Operation Control Of Excavators (AREA)
  • Shovels (AREA)
  • Working Measures On Existing Buildindgs (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Of Solid Wastes (AREA)

Description

本発明は、仕分先特定装置及びこれに関連する技術に関する。
従来、作業アタッチメント先端に破砕機（ニブラー）を装着した作業機械（解体機）が知られている。例えば、特許文献１記載の解体機（１）においては、アタッチメント（４）の一部を構成するアーム（８）の先端部に破砕機（９）が装着されている（特許文献１の図１参照）。
ところで、ニブラーを備えた自動車解体機は、廃車に含まれるハーネスや小部品といったリサイクル可能な部品（解体部品）を回収する作業に用いられる。当該作業においては、自動車解体機が操作されることによって、廃車から部品が回収され、回収された部品が複数の仕分先のいずれかに仕分けられる。
より詳細には、作業領域において廃車から部品（ハーネス等）をニブラーで掴み、当該部品を掴んだ状態で旋回して複数の仕分先のいずれかに部品を放し、作業領域に戻るといった動作が繰り返される。
特開２０１７－１４１５５２号公報
上述した作業を分析する手法として、作業の様子を撮影し、撮影された動画を閲覧しながら予め定められた情報を手入力で記録することが考えられるが、膨大な時間と手間を要するため、必ずしも効率的であるとは言えない。
これに対し、本願の発明者らは、上述した作業中に被操作機械（自動車解体機等）で取得された作業データ（時系列データ）のみを用いて作業を分析できる手法を検討している。その中の課題の１つとして、作業データのみを用いて、対象物（解体部品等）が仕分けられた仕分先を複数の仕分先の中から正確に特定することが挙げられる。
上述した課題に対し、本願の発明者らは、当初、ニブラーの開放点の座標に基づいて解体部品（対象物）の仕分先を特定する手法を検討したが、十分な精度が得られなかった。精度が得られない原因を分析したところ、ニブラーで掴んだ解体部品が各仕分先に仕分けられる際に、旋回の勢いを利用して当該解体部品が各仕分先に対して放り投げられていることが判明した。その結果、ニブラーで掴んでいた解体部品が各仕分先よりも手前で放されていることがわかった。
つまり、ニブラーの開放点は実際の仕分先よりも手前に存在する可能性が高く、ニブラーの開放点の座標に基づいて仕分先を特定しようとすると、正確に特定できない可能性が高いことが明らかになった。
そこで、本発明の目的は、被操作機械の操作に伴って、作業領域で対象物を保持し、当該対象物を保持した状態で所定方向に旋回すると共に当該対象物を開放して複数の仕分先のいずれかに仕分け、所定方向とは反対に旋回して作業領域に戻る動作を繰り返す作業において、対象物の仕分先を正確に特定することが可能な技術を提供することにある。
上記目的を達成するために、本発明は、旋回部と対象物を保持する保持部とを備える被操作機械の操作に伴って、作業領域で前記対象物を保持し、前記対象物を保持した状態で所定方向に旋回すると共に前記対象物を開放して複数の仕分先のいずれかに仕分け、前記所定方向とは反対に旋回して前記作業領域に戻る動作を繰り返す作業において、前記対象物の仕分先を特定する仕分先特定装置であって、前記作業の作業期間中にサンプリングされた作業データであって、サンプリング時刻と、前記被操作機械の基準位置に対する旋回角度と、前記保持部の保持状態とが関連付けられたレコードが時系列に記録された作業データを取得する取得手段と、前記作業データのうち時系列に記録された前記旋回角度に基づいて前記被操作機械の旋回方向が前記所定方向から逆転した時刻に記録されたレコードを逆転位置レコードとして抽出し、前記逆転位置レコードの直前に記録されたレコードのうち保持状態に開放が記録されたレコードを開放位置レコードとして抽出し、直前に前記開放位置レコードを有する前記逆転位置レコードを開放後逆転位置レコードとして抽出する抽出手段と、前記開放後逆転位置レコードに記録された前記旋回角度に基づいて、前記対象物の仕分先を前記複数の仕分先の中から特定する特定手段と、を備えることを特徴とする仕分先特定装置を提供している。
ここで、前記レコードには、前記保持部の位置座標が更に関連付けられており、前記特定手段は、前記開放後逆転位置レコードに記録された前記旋回角度と前記開放位置レコードに記録された前記位置座標とに基づいて、前記対象物の仕分先を特定するのが好ましい。
また、前記開放後逆転位置レコードと前記開放位置レコードとに基づいて、機械学習用の入力データであって前記旋回方向が前記所定方向から逆転した際の旋回角度に関する情報と前記対象物が開放された開放位置に関する座標情報とを含む入力データを演算する演算手段と、前記入力データと、前記対象物の仕分先を示す出力データとを教師データとして機械学習し、前記対象物の仕分先を特定するための予測モデルを生成する生成手段と、を更に備え、前記特定手段は、前記予測モデルを用いて、前記対象物の仕分先を特定するのが好ましい。
また、前記予測モデルは、ランダムフォレストによって生成される複数の決定木であり、
前記入力データは、前記ランダムフォレストの説明変数であり、前記出力データは、前記ランダムフォレストの目的変数であり、前記特定手段は、前記教師データによって機械学習された前記複数の決定木を用いて前記対象物の仕分先を特定するのが好ましい。
更に、前記抽出手段は、前記作業データのうち時系列に記録された前記旋回角度を指数平滑化し、指数平滑化された前記旋回角度に基づいて前記逆転位置レコードを抽出するのが好ましい。
また、本発明は、旋回部と対象物を保持する保持部とを備える被操作機械の操作に伴って、作業領域で前記対象物を保持し、前記対象物を保持した状態で所定方向に旋回すると共に前記対象物を開放して複数の仕分先のいずれかに仕分け、前記所定方向とは反対に旋回して前記作業領域に戻る動作を繰り返す作業において、前記対象物の仕分先を特定する仕分先特定方法であって、前記作業の作業期間中にサンプリングされた作業データであって、サンプリング時刻と、前記被操作機械の基準位置に対する旋回角度と、前記保持部の保持状態とが関連付けられたレコードが時系列に記録された作業データを取得し、前記作業データのうち時系列に記録された前記旋回角度に基づいて前記被操作機械の旋回方向が前記所定方向から逆転した時刻に記録されたレコードを逆転位置レコードとして抽出し、前記逆転位置レコードの直前に記録されたレコードのうち保持状態に開放が記録されたレコードを開放位置レコードとして抽出し、直前に前記開放位置レコードを有する前記逆転位置レコードを開放後逆転位置レコードとして抽出し、前記開放後逆転位置レコードに記録された前記旋回角度に基づいて、前記対象物の仕分先を前記複数の仕分先の中から特定することを特徴とする仕分先特定方法を提供している。
更に、本発明は、旋回部と対象物を保持する保持部とを備える被操作機械の操作に伴って、作業領域で前記対象物を保持し、前記対象物を保持した状態で所定方向に旋回すると共に前記対象物を開放して複数の仕分先のいずれかに仕分け、前記所定方向とは反対に旋回して前記作業領域に戻る動作を繰り返す作業において、前記対象物の仕分先を特定するプログラムであって、コンピュータに、ａ）前記作業の作業期間中にサンプリングされた作業データであって、サンプリング時刻と、前記被操作機械の基準位置に対する旋回角度と、前記保持部の保持状態とが関連付けられたレコードが時系列に記録された作業データを取得するステップと、ｂ）前記作業データのうち時系列に記録された前記旋回角度に基づいて前記被操作機械の旋回方向が前記所定方向から逆転した時刻に記録されたレコードを逆転位置レコードとして抽出し、前記逆転位置レコードの直前に記録されたレコードのうち保持状態に開放が記録されたレコードを開放位置レコードとして抽出し、直前に前記開放位置レコードを有する前記逆転位置レコードを開放後逆転位置レコードとして抽出するステップと、ｃ）前記開放後逆転位置レコードに記録された前記旋回角度に基づいて、前記対象物の仕分先を前記複数の仕分先の中から特定するステップと、を実行させることを特徴とするプログラムを提供している。
本発明によれば、被操作機械の操作に伴って、作業領域で対象物を保持し、当該対象物を保持した状態で所定方向に旋回すると共に当該対象物を開放して複数の仕分先のいずれかに仕分け、所定方向とは反対に旋回して作業領域に戻る動作を繰り返す作業において、複数の仕分先の中から対象物の仕分先を正確に特定することが可能である。
本発明の実施形態による解体機（被操作機械）を示す側面図。 解体機による解体部品の仕分作業を説明するための概略平面図。 仕分作業の作業期間中にサンプリングされた作業データを示す図。 本発明の実施形態による仕分先特定装置を示す機能ブロック図。 仕分先特定プログラムによる仕分先特定処理を示すフローチャート。 ランダムフォレストの機械学習に用いられる説明変数及び目的変数を示す図。 教師データ集合からランダムフォレストの決定木を生成する様子を示す図。 予測モデルによる検証結果（複数の決定木による仕分精度）を示す図。 比較例（旋回角度を考慮しない予測モデル）による検証結果を示す図。 別の比較例（教師データを増やした予測モデル）による検証結果を示す図。
＜１．実施形態＞
本発明の実施形態に係る仕分先特定装置について図１から図１０に基づいて説明する。以下では、被操作機械の一例として、オペレータによって操作される解体機１０（図１参照）を例示する。また、仕分先特定装置の一例として、後述の仕分先特定処理を実行する仕分先特定装置１（図４参照）を例示する。
図１に示すように、解体機１０は、下部走行体１１と、上部旋回体１２と、アタッチメント１３とを備えて構成される。アタッチメント１３の先端には、解体対象（自動車等）から解体部品（ハーネスや小部品）を挟持して取り出すニブラー１４が装着されている。
ここで、上部旋回体１２は、本発明に係る「旋回部」の一例である。また、ニブラー１４は、本発明に係る「保持部」の一例である。更に、解体部品は、本発明に係る「対象物」の一例である。
解体機１０は、オペレータの操作に伴って、自動車等の解体対象からハーネスや小部品等の解体部品を掴んで取り出し、当該解体部品を所定の仕分先に仕分ける作業を行う。
詳細には、図２に示すように、解体機１０は、解体作業領域ＡＲ１において解体部品（ハーネス又は小部品）をニブラー１４によって挟持して保持し、ニブラー１４で解体部品を保持した状態のまま所定方向（図２では反時計回り）に旋回する。
そして、解体機１０は、ニブラー１４でハーネスを保持していた場合には当該ハーネスをハーネス仕分先ＡＲ２の近傍で開放する。一方、解体機１０は、ニブラー１４で小部品を保持していた場合には当該小部品を小部品仕分先ＡＲ３の近傍で開放する。これに伴い、ハーネスはハーネス仕分先ＡＲ２に仕分けられ、小部品は小部品仕分先ＡＲ３に仕分けられる。
この後、解体機１０は、所定方向とは反対（図２では時計回り）に旋回し、解体作業領域ＡＲ１に戻る。解体機１０は、オペレータ操作に伴って、上述したような動作を繰り返し実行する。
解体機１０は、上述した作業の作業期間中に一定のサンプリング間隔で各種作業情報を取得し、図３に示す作業データＤＴ１として蓄積する。具体的には、解体機１０は、ニブラー１４の位置座標と、上部旋回体１２の旋回角度と、ニブラー１４の開閉情報とを作業情報として取得し、作業データＤＴ１に蓄積する。
図３に示すように、作業データＤＴ１には、サンプリング時刻と、ニブラー１４の位置座標と、上部旋回体１２の旋回角度と、ニブラー１４の開閉情報とが関連付けられたレコードＲＣ１，ＲＣ２，ＲＣ３，…が時系列で記録されている。
ニブラー１４の位置座標としては、ニブラー１４のＸ座標の値とＹ座標の値とＺ座標の値とがそれぞれ蓄積されている。
また、上部旋回体１２の旋回角度としては、基準位置（例えば、解体作業領域ＡＲ１において解体部品を取り出す位置）に対する上部旋回体１２の旋回角度の値が蓄積されている。
更に、ニブラー１４の開閉情報としては、ニブラー１４を開閉させるためのシリンダに設けられたストロークセンサの出力値に基づく開閉状態が蓄積されている。
続いて、図４を参照しながら、仕分先特定装置１について詳細に説明する。仕分先特定装置１は、上述した作業データＤＴ１に基づいて解体部品の仕分先を特定するためのコンピュータである。図４に示すように、仕分先特定装置１は、制御部３と記憶部５とを備えて構成される。
制御部３は、中央処理装置（ＣＰＵ（Central Processing Unit））を備えて構成され、記憶部５に記憶されるプログラムやデータに基づいて各種の演算処理を実行する。
図４に示すように、制御部３は、作業データ取得部３１と、レコード抽出部３２と、入力データ演算部３３と、予測モデル生成部３４と、仕分先特定部３５とを備えて構成される。
作業データ取得部３１は、記憶部５に記録されている作業データＤＴ１を取得する処理部である。
レコード抽出部３２は、所定の条件に合致したレコードを作業データＤＴ１の中から抽出する処理部である。
入力データ演算部３３は、機械学習のアルゴリズムであるランダムフォレストに使用する説明変数を入力データとして演算する処理部である。
予測モデル生成部３４は、機械学習のアルゴリズムであるランダムフォレストを用いて解体部品の仕分先を特定するための予測モデルを生成する処理部である。
仕分先特定部３５は、予測モデルを用いて作業期間中における解体部品の仕分先を特定する処理部である。
記憶部５は、メモリや磁気ディスク装置を備えており、各種のプログラムやデータを記憶する。また、記憶部５は、制御部３のワークメモリとしても機能する。なお、記憶部５は、フラッシュメモリや光ディスク等の情報記憶媒体を備えて構成されてもよく、あるいは、当該情報記憶媒体から情報を読み取る読取装置を備えて構成されるようにしてもよい。
なお、上述したハードウェア構成はあくまで一例に過ぎない。例えば、上述したハードウェア構成では、記憶部５が仕分先特定装置１に内蔵されている場合を例示したが、これに限定されず、仕分先特定装置１と通信可能な記憶装置が外部接続されるようにしてもよい。
図４に示すように、記憶部５には、仕分先特定プログラムＰＧと、作業データＤＴ１と、教師データＤＴ２と、検証データＤＴ３と、検証結果データＤＴ４とが記憶されている。
仕分先特定プログラムＰＧは、作業期間中における解体部品の仕分先を特定する仕分先特定処理（図５に示すフローチャートの処理）を実行するためのプログラムである。
作業データＤＴ１は、上述したように、解体機１０が作業期間中に一定のサンプリング間隔で作業情報を取得し、蓄積したデータである（図３参照）。
教師データＤＴ２は、機械学習に用いられる入力データ及び出力データである。具体的には、教師データＤＴ２は、ランダムフォレストに用いられる説明変数ｖ＝（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７）と目的変数ｔと含むデータである。
説明変数ｖ＝（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７）は、入力データ演算部３３において演算された変数である。目的変数ｔは、実際の仕分先（作業期間中に撮影された動画を作業者が目視で確認した仕分先）を示す変数である。
検証データＤＴ３は、機械学習によって生成した予測モデルを検証するためのデータである。検証データＤＴ３は、ランダムフォレストの学習において教師データＤＴ２として用いられていないデータである。
検証結果データＤＴ４は、機械学習によって生成した予測モデルを検証データＤＴ３によって検証した結果である。
続いて、図５を参照しつつ仕分先特定プログラムＰＧによって実行される処理について詳細に説明する。なお、以下では、「ステップＳ」を単に「Ｓ」と表記する。
まず、Ｓ１において、作業データ取得部３１は、作業データＤＴ１を記憶部５から取得する。
次に、Ｓ２において、レコード抽出部３２は、作業データＤＴ１のうち時系列に記録された旋回角度を指数平滑化する。
そして、Ｓ３において、レコード抽出部３２は、指数平滑化された旋回角度に基づいて解体機１０の旋回方向が所定方向から逆転した時刻に記録されたすべてのレコードを逆転位置レコードとして抽出する。
具体的には、レコード抽出部３２は、指数平滑化された旋回角度の関数の傾きの符号が逆転（プラスからマイナス又はマイナスからプラスに逆転）した時刻に記録されたすべてのレコードを逆転位置レコードとして抽出する。
指数平滑化された旋回角度は、上部旋回体１２が所定方向に旋回している最中は増加（又は減少）し続け、上部旋回体１２が所定方向とは反対方向に旋回している最中は減少（又は増加）し続けるというという特性を有する。すなわち、上部旋回体１２の旋回方向が逆転すると、指数平滑化された旋回角度の関数の傾きの符号も逆転する。Ｓ３では、このような特性を利用することで逆転位置レコードが特定されている。
また、作業データＤＴ１に記録された旋回角度の元データは、単調増加又は単調減少するものではなく、ノイズを含んでいる。そのため、逆転位置レコードの抽出（Ｓ３）において旋回角度の元データをそのまま使用すると、逆転位置レコードが誤って抽出される可能性がある。そこで、本実施形態では、Ｓ２において旋回角度の元データを指数平滑化し、Ｓ３において指数平滑化された旋回角度を用いて逆転位置レコードを特定している。
Ｓ４において、レコード抽出部３２は、逆転位置レコードの直前に記録されたレコードのうちニブラー１４の開閉情報に「開」が記録されたレコードを開放位置レコードとして抽出する。より詳細には、レコード抽出部３２は、逆転位置レコードよりも前に記録された所定数のレコードのうちニブラー１４の開放情報に「開」が最初に記録されたレコードを開放位置レコードとして抽出する。
なお、本実施形態において、逆転位置レコードの直前に記録されたレコードとは、単に逆転位置レコードの１つ前のレコードを意味するものではなく、逆転位置レコードよりも前に記録された所定数のレコードを意味するものである。なお、所定数は、作業データＤＴ１のサンプリング間隔に応じて適宜設定される。
Ｓ５において、レコード抽出部３２は、直前に開放位置レコードを有する逆転位置レコードを開放後逆転位置レコードとして抽出する。つまり、レコード抽出部３２は、ニブラー１４が開放された後に旋回が逆転した時刻に記録されたレコードを開放後逆転位置レコードとして抽出する。逆に言えば、ニブラー１４が閉じた状態のまま旋回が逆転した時刻に記録されたレコードは、開放後逆転位置レコードとして抽出されない。
Ｓ６において、入力データ演算部３３は、機械学習のアルゴリズムであるランダムフォレストに用いる入力データ（説明変数ｖ＝（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７））を演算する。
具体的には、入力データ演算部３３は、Ｓ４で抽出した開放位置レコードに記録された作業情報とＳ５で抽出した開放後逆転位置レコードに記録された作業情報とを用いて入力データ（説明変数ｖ）を演算する。
より詳細には、図６に示すように、入力データ演算部３３は、逆転位置における旋回角度の角度偏差ｄ１、開放位置におけるニブラー１４の位置座標ｄ２，ｄ３，ｄ４、及び、開放位置から逆転位置までの経過時間ｄ５、移動距離ｄ６、移動旋回角度ｄ７を説明変数ｖとして演算する。
入力データ演算部３３は、抽出されたすべての開放位置レコード及び開放後逆転位置レコードに関して、上述した説明変数ｖ＝（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７）を演算する。
教師データＤＴ２は、説明変数ｖ＝（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７）と、目的変数ｔとを関連付けて記録したものである。なお、目的変数ｔは、上述したとおり、作業期間中に撮影された動画を作業者が目視で確認した仕分先（正しい仕分先）を示す変数である。
なお、説明の都合上、以下では、教師データＤＴ２を教師データ集合Ｓ＝｛（ｖ，ｔ）｝とも表現する（図６参照）。
Ｓ７において、予測モデル生成部３４は、ランダムフォレストによる予測モデルを生成する。なお、ランダムフォレストとは、公知の機械学習のアルゴリズムであり、複数の決定木（弱識別器）の結果をあわせて識別・回帰・クラスタリングを行うアンサンブル学習アルゴリズムである。
本実施形態では、複数の仕分先の中から解体部品の仕分先を特定するという分類問題を扱うため、ランダムフォレストの決定木として分類木が用いられる。
図７に示すように、予測モデル生成部３４は、教師データ集合Ｓの中から個々の決定木の学習に用いるトレーニングデータＳ１，Ｓ２，…，ＳＮをブートストラップによってランダムにサンプリングする。
予測モデル生成部３４は、まず、トレーニングデータＳ１の中から分岐に用いられるＭ個の変数をランダムサンプリングし、決定木Ｔ１を作成する。予測モデル生成部３４は、このような処理を、トレーニングデータＳ２，…，ＳＮに関しても繰り返し実行し、最終的に、Ｎ個の決定木Ｔ１，Ｔ２，…，ＴＮを生成する。
なお、各決定木は、予め定められた深さまで分割される。また、根ノード及び中間ノードの分割基準にはジニ係数の値が用いられる。更に、葉ノードには目的変数ｔが設定される。
Ｓ８において、仕分先特定部３５は、Ｎ個の決定木Ｔ１，Ｔ２，…，ＴＮに検証データＤＴ３を入力し、それぞれ決定木Ｔ１，Ｔ２，…，ＴＮによって分類された仕分先を多数決することで解体部品の仕分先を特定する。その結果、作業期間中における各解体部品の仕分先が、作業領域ＡＲ１とハーネス仕分先ＡＲ２と小部品仕分先ＡＲ３とのいずれかに分類される。
図８の検証結果データＤＴ４（ＤＴ４１）は、教師データＤＴ２を用いてＮ個の決定木Ｔ１，Ｔ２，…，ＴＮ（予測モデル）を生成し、検証データＤＴ３を用いて仕分精度を検証した結果である。
具体的には、検証結果データＤＴ４１の１行目は、教師データＤＴ２として１５番のデータを用いて予測モデル（Ｎ個の決定木Ｔ１，Ｔ２，…，ＴＮ）を生成し、検証データＤＴ３として１６～２０番のデータを用いて当該予測モデルを検証した結果である。
また、検証結果データＤＴ４１の２行目は、教師データＤＴ２として１６番のデータを用いて予測モデルを生成し、検証データＤＴ３として１５，１７～２０番のデータを用いて当該予測モデルを検証した結果である。検証結果データＤＴ４１の３～６行目も同様の基準で予測モデルを検証した結果である。
検証結果データＤＴ４１では、平均で９１．３パーセント（図８の太枠参照）の仕分精度が得られている。従来手法（ランダムフォレストを使用しないクラスタリング）では、平均で７２％の仕分精度しか得られていなかったため、仕分精度が大幅に向上していることがわかる。
また、図９の検証結果データＤＴ４（ＤＴ４２）は、上記実施形態よりも説明変数ｖの数を減らした予測モデル（比較例）による仕分精度を検証した結果である。比較例では、逆転位置における旋回角度の角度偏差ｄ１と、開放位置から逆転位置までの経過時間ｄ５、移動距離ｄ６、移動旋回角度ｄ７とを説明変数ｖから除外し、説明変数ｖ＝（ｄ２，ｄ３，ｄ４）として予測モデルが生成されている。つまり、比較例では、ニブラー１４の開放位置に関する情報のみを用いて予測モデルが生成されている。
図９に示すように、検証結果データＤＴ４２では、平均で８９．３パーセント（図９の太枠参照）の仕分精度が得られている。よって、上記実施形態と同様に、従来手法（ランダムフォレストを使用しないクラスタリング）に比べると仕分精度は向上している。
ただし、上記実施形態に比べると上記比較例の仕分精度は劣っている。そのため、逆転位置における旋回角度の角度偏差ｄ１と、開放位置から逆転位置までの経過時間ｄ５、移動距離ｄ６、移動旋回角度ｄ７とが仕分精度の向上に寄与していることがわかる。
上述したように、実際の作業では、ニブラー１４で掴んだ解体部品が各仕分先に仕分けられる際、ニブラー１４で掴んでいた解体部品が各仕分先よりも手前で放され、各仕分先に放り投げられている。そのため、ニブラー１４の開放点は実際の仕分先よりも手前である可能性が高い。よって、ニブラー１４の開放位置に関する情報のみで仕分先を特定しようとすると、仕分先を正確に特定できない可能性が高いことが推測されていた。
他方、上部旋回体１２は、ニブラー１４が開放され解体部品が放り投げられた後も慣性によって多少旋回する。そのため、上部旋回体１２の旋回が逆転する逆転位置が解体部品の仕分先と一致する可能性が高いと推測されていた。そこで、上記実施形態では、ニブラー１４の開放位置に関する情報のみならず、上部旋回体１２の旋回角度に関する情報がランダムフォレストの入力データ（説明変数）として用いられていた。
図８の検証結果データＤＴ４１と図９の検証結果データＤＴ４２とを比較すると、解体部品の仕分先の特定において上部旋回体１２の旋回角度に関する情報を考慮することが有効であることが明らかであるため、上述の推測が概ね正しかったと言える。
図１０の検証結果データＤＴ４（ＤＴ４３）は、教師データＤＴ２の数を増やして生成した予測モデルの仕分精度を検証した結果である。
具体的には、検証結果データＤＴ４３の１行目は、教師データＤＴ２として１５番のデータと１６番のデータとを用いて予測モデルを生成し、検証データＤＴ３として１７～２０番のデータを用いて当該予測モデルを検証した結果である。
また、検証結果データＤＴ４３の２行目は、教師データＤＴ２として１５番のデータと１７番のデータとを用いて予測モデルを生成し、検証データＤＴ３として１６，１８～２０番のデータを用いて当該予測モデルを検証した結果である。検証結果データＤＴ４３の３行目以降も同様の基準で予測モデルを検証した結果である。
検証結果データＤＴ４３では、平均で９６．０パーセント（図１０の太枠参照）の仕分精度が得られている。よって、教師データＤＴ２の数を増やした予測モデルでは、検証結果データＤＴ４１における平均の仕分精度（９１．３％）よりも高い仕分精度が得られることがわかる。
上述した実施形態によれば、解体部品の仕分作業において、ランダムフォレストによって機械学習したＮ個の決定木Ｔ１，Ｔ２，…，ＴＮを用いて、作業期間中の各解体部品（ハーネス又は小部品）の仕分先を正確に特定することが可能である。
特に、上述した実施形態によれば、ニブラー１４の開放位置に関する情報のみならず、上部旋回体１２の旋回角度に関する情報がランダムフォレストの入力データ（説明変数）として用いられている。そのため、解体部品の仕分作業において高い仕分精度を得ることが可能である。
＜２．変形例＞
本発明による仕分先特定装置は上述の実施形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
例えば、上記実施形態では、ランダムフォレストを用いて予測モデルを生成する場合を例示したが、これに限定されない。ランダムフォレスト以外の機械学習のアルゴリズムを用いて予測モデルを生成するようにしてもよい。
また、上記実施形態では、ランダムフォレストによる予測モデルで解体部品の仕分先を特定する場合を例示したが、これに限定されない。例えば、上述した開放後逆転位置レコードに記録された旋回角度が予め設定した範囲にあるか否かを判定することによって解体部品の仕分先を特定するようにしてもよい。
具体的には、ハーネス仕分先ＡＲ２に対応する旋回角度範囲ＲＧ１と、小部品仕分先ＡＲ３に対応する旋回角度範囲ＲＧ２とを予め設定するようにすればよい。そして、開放後逆転位置レコードに記録された旋回角度が旋回角度範囲ＲＧ１の範囲内である場合には解体部品の仕分先をハーネス仕分先ＡＲ２と特定し、開放後逆転位置レコードに記録された旋回角度が旋回角度範囲ＲＧ２の範囲内である場合には解体部品の仕分先を小部品仕分先ＡＲ３と特定するようにすればよい。
以上のように本発明による仕分先特定装置は、被操作機械の操作に伴って、作業領域で対象物を保持し、当該対象物を保持した状態で所定方向に旋回すると共に当該対象物を開放して複数の仕分先のいずれかに仕分け、所定方向とは反対に旋回して作業領域に戻る動作を繰り返す作業において、対象物の仕分先を正確に特定するのに適している。
１ 仕分先特定装置
３ 制御部
５ 記憶部
１０ 解体機
１１ 下部走行体
１２ 上部旋回体
１３ アタッチメント
１４ ニブラー
３１ 作業データ取得部
３２ レコード抽出部
３３ 入力データ演算部
３４ 予測モデル生成部
３５ 仕分先特定部
ＡＲ１ 解体作業領域
ＡＲ２ ハーネス仕分先
ＡＲ３ 小部品仕分先
ＤＴ１ 作業データ
ＤＴ２ 教師データ
ＤＴ３ 検証データ
ＤＴ４ 検証結果データ

Claims (7)

  1. 旋回部と対象物を保持する保持部とを備える被操作機械の操作に伴って、作業領域で前記対象物を保持し、前記対象物を保持した状態で所定方向に旋回すると共に前記対象物を開放して複数の仕分先のいずれかに仕分け、前記所定方向とは反対に旋回して前記作業領域に戻る動作を繰り返す作業において、前記対象物の仕分先を特定する仕分先特定装置であって、
    前記作業の作業期間中にサンプリングされた作業データであって、サンプリング時刻と、前記被操作機械の基準位置に対する旋回角度と、前記保持部の保持状態とが関連付けられたレコードが時系列に記録された作業データを取得する取得手段と、
    前記作業データのうち時系列に記録された前記旋回角度に基づいて前記被操作機械の旋回方向が前記所定方向から逆転した時刻に記録されたレコードを逆転位置レコードとして抽出し、前記逆転位置レコードの直前に記録されたレコードのうち保持状態に開放が記録されたレコードを開放位置レコードとして抽出し、直前に前記開放位置レコードを有する前記逆転位置レコードを開放後逆転位置レコードとして抽出する抽出手段と、
    前記開放後逆転位置レコードに記録された前記旋回角度に基づいて、前記対象物の仕分先を前記複数の仕分先の中から特定する特定手段と、
    を備えることを特徴とする仕分先特定装置。
  2. 前記レコードには、前記保持部の位置座標が更に関連付けられており、
    前記特定手段は、前記開放後逆転位置レコードに記録された前記旋回角度と前記開放位置レコードに記録された前記位置座標とに基づいて、前記対象物の仕分先を特定することを特徴とする請求項１に記載の仕分先特定装置。
  3. 前記開放後逆転位置レコードと前記開放位置レコードとに基づいて、機械学習用の入力データであって前記旋回方向が前記所定方向から逆転した際の旋回角度に関する情報と前記対象物が開放された開放位置に関する座標情報とを含む入力データを演算する演算手段と、
    前記入力データと、前記対象物の仕分先を示す出力データとを教師データとして機械学習し、前記対象物の仕分先を特定するための予測モデルを生成する生成手段と、
    を更に備え、
    前記特定手段は、前記予測モデルを用いて、前記対象物の仕分先を特定することを特徴とする請求項２に記載の仕分先特定装置。
  4. 前記予測モデルは、ランダムフォレストによって生成される複数の決定木であり、
    前記入力データは、前記ランダムフォレストの説明変数であり、
    前記出力データは、前記ランダムフォレストの目的変数であり、
    前記特定手段は、前記教師データによって機械学習された前記複数の決定木を用いて前記対象物の仕分先を特定することを特徴とする請求項３に記載の仕分先特定装置。
  5. 前記抽出手段は、前記作業データのうち時系列に記録された前記旋回角度を指数平滑化し、指数平滑化された前記旋回角度に基づいて前記逆転位置レコードを抽出することを特徴とする請求項１から４のうち何れかに記載の仕分先特定装置。
  6. 旋回部と対象物を保持する保持部とを備える被操作機械の操作に伴って、作業領域で前記対象物を保持し、前記対象物を保持した状態で所定方向に旋回すると共に前記対象物を開放して複数の仕分先のいずれかに仕分け、前記所定方向とは反対に旋回して前記作業領域に戻る動作を繰り返す作業において、前記対象物の仕分先を特定する仕分先特定方法であって、
    仕分先特定装置の制御部が、前記作業の作業期間中にサンプリングされた作業データであって、サンプリング時刻と、前記被操作機械の基準位置に対する旋回角度と、前記保持部の保持状態とが関連付けられたレコードが時系列に記録された作業データを取得し、
    前記制御部が、前記作業データのうち時系列に記録された前記旋回角度に基づいて前記被操作機械の旋回方向が前記所定方向から逆転した時刻に記録されたレコードを逆転位置レコードとして抽出し、前記逆転位置レコードの直前に記録されたレコードのうち保持状態に開放が記録されたレコードを開放位置レコードとして抽出し、直前に前記開放位置レコードを有する前記逆転位置レコードを開放後逆転位置レコードとして抽出し、
    前記制御部が、前記開放後逆転位置レコードに記録された前記旋回角度に基づいて、前記対象物の仕分先を前記複数の仕分先の中から特定することを特徴とする仕分先特定方法。
  7. 旋回部と対象物を保持する保持部とを備える被操作機械の操作に伴って、作業領域で前記対象物を保持し、前記対象物を保持した状態で所定方向に旋回すると共に前記対象物を開放して複数の仕分先のいずれかに仕分け、前記所定方向とは反対に旋回して前記作業領域に戻る動作を繰り返す作業において、前記対象物の仕分先を特定するプログラムであって、
    コンピュータに、
    ａ）前記作業の作業期間中にサンプリングされた作業データであって、サンプリング時刻と、前記被操作機械の基準位置に対する旋回角度と、前記保持部の保持状態とが関連付けられたレコードが時系列に記録された作業データを取得するステップと、
    ｂ）前記作業データのうち時系列に記録された前記旋回角度に基づいて前記被操作機械の旋回方向が前記所定方向から逆転した時刻に記録されたレコードを逆転位置レコードとして抽出し、前記逆転位置レコードの直前に記録されたレコードのうち保持状態に開放が記録されたレコードを開放位置レコードとして抽出し、直前に前記開放位置レコードを有する前記逆転位置レコードを開放後逆転位置レコードとして抽出するステップと、
    ｃ）前記開放後逆転位置レコードに記録された前記旋回角度に基づいて、前記対象物の仕分先を前記複数の仕分先の中から特定するステップと、
    を実行させることを特徴とするプログラム。
JP2020167392A 2020-10-02 2020-10-02 仕分先特定装置、仕分先特定方法及びプログラム Active JP7496278B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020167392A JP7496278B2 (ja) 2020-10-02 2020-10-02 仕分先特定装置、仕分先特定方法及びプログラム
CN202180065308.2A CN116194361A (zh) 2020-10-02 2021-09-28 分类目的地确定装置、分类目的地确定方法及程序
US18/246,858 US11987307B2 (en) 2020-10-02 2021-09-28 Sorting destination identification device, sorting destination identification method, and program
EP21875650.0A EP4206062A1 (en) 2020-10-02 2021-09-28 Sorting destination identification device, sorting destination identification method, and program
PCT/JP2021/035725 WO2022071349A1 (ja) 2020-10-02 2021-09-28 仕分先特定装置、仕分先特定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020167392A JP7496278B2 (ja) 2020-10-02 2020-10-02 仕分先特定装置、仕分先特定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022059669A JP2022059669A (ja) 2022-04-14
JP7496278B2 true JP7496278B2 (ja) 2024-06-06

Family

ID=80950476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020167392A Active JP7496278B2 (ja) 2020-10-02 2020-10-02 仕分先特定装置、仕分先特定方法及びプログラム

Country Status (5)

Country Link
US (1) US11987307B2 (ja)
EP (1) EP4206062A1 (ja)
JP (1) JP7496278B2 (ja)
CN (1) CN116194361A (ja)
WO (1) WO2022071349A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010138657A (ja) 2008-12-15 2010-06-24 Caterpillar Japan Ltd 解体作業機
WO2016125915A1 (ja) 2016-03-01 2016-08-11 株式会社小松製作所 評価装置及び評価方法
WO2020100823A1 (ja) 2018-11-14 2020-05-22 コベルコ建機株式会社 解体作業システム、解体作業機械、部品回収方法、及びシールセット
WO2020110780A1 (ja) 2018-11-29 2020-06-04 コベルコ建機株式会社 解体システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4037302A (en) * 1976-02-23 1977-07-26 Hollander John M Used vehicle parts disassembly system and method
FR2616729B1 (fr) * 1987-06-16 1989-09-29 Boyenval Hugues Procede modulaire de demontage de vehicules automobiles legers
NL9101988A (nl) * 1991-11-28 1993-06-16 Car Recycling Systems Werkwijze en inrichting voor het slopen van automobielen.
JP6703742B2 (ja) 2016-02-08 2020-06-03 コベルコ建機株式会社 破砕機及びこれを備えた油圧駆動装置
JP7163235B2 (ja) 2019-03-29 2022-10-31 コベルコ建機株式会社 作業分析方法、作業分析装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010138657A (ja) 2008-12-15 2010-06-24 Caterpillar Japan Ltd 解体作業機
WO2016125915A1 (ja) 2016-03-01 2016-08-11 株式会社小松製作所 評価装置及び評価方法
WO2020100823A1 (ja) 2018-11-14 2020-05-22 コベルコ建機株式会社 解体作業システム、解体作業機械、部品回収方法、及びシールセット
WO2020110780A1 (ja) 2018-11-29 2020-06-04 コベルコ建機株式会社 解体システム

Also Published As

Publication number Publication date
WO2022071349A1 (ja) 2022-04-07
CN116194361A (zh) 2023-05-30
EP4206062A1 (en) 2023-07-05
US20230382480A1 (en) 2023-11-30
JP2022059669A (ja) 2022-04-14
US11987307B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
Munroe et al. Multi-class and single-class classification approaches to vehicle model recognition from images
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
CN110879973A (zh) 一种驾驶员疲劳状态面部特征识别检测方法
US20190073538A1 (en) Method and system for classifying objects from a stream of images
JP7496278B2 (ja) 仕分先特定装置、仕分先特定方法及びプログラム
CN115270954A (zh) 基于异常节点识别的无监督的apt攻击检测方法和系统
JP6812076B2 (ja) ジェスチャ認識装置およびジェスチャ認識プログラム
CN114092686A (zh) 无人停车场车牌识别数据再匹配方法、介质、设备及装置
CN111060507B (zh) 一种车辆验证方法及装置
Roberts et al. Vision-based construction activity analysis in long video sequences via hidden Markov models: Experiments on earthmoving operations
CN117011962A (zh) 基于日志序列化的汽车状态数据异常检测方法及系统
US20230221944A1 (en) Methods and apparatus for automatically labeling data processing events in autonomous driving vehicles via machine learning
JP2020038514A (ja) 学習データ生成装置、学習データ生成方法、及びプログラム
JP7163235B2 (ja) 作業分析方法、作業分析装置及びプログラム
Grigore et al. Discovering Action Primitive Granularity from Human Motion for Human-Robot Collaboration.
JP2013029933A (ja) パターン認識装置
JP7483179B1 (ja) 推定装置、学習装置、推定方法及び推定プログラム
Xia et al. Combination of ACF detector and multi-task CNN for hand detection
JPWO2021181676A5 (ja) 情報処理装置、制御方法及びプログラム
CN114254763B (zh) 机器学习模型修复方法、系统、计算机设备及存储介质
Kaloskampis et al. Complex activity recognition and anomaly detection in multimedia streams
CN110389883B (zh) 一种基于多线程的模块日志实时监控系统
Arif et al. Object Regression: Multi-Modal Data Enhanced Object Detection for Leasing Vehicle Return Assessment
WO2022024985A1 (ja) 検査装置
KR102207291B1 (ko) 교차 검증을 이용한 음성 인증 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240527

R150 Certificate of patent or registration of utility model

Ref document number: 7496278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150