JP7429590B2 - 特装車 - Google Patents

特装車 Download PDF

Info

Publication number
JP7429590B2
JP7429590B2 JP2020063214A JP2020063214A JP7429590B2 JP 7429590 B2 JP7429590 B2 JP 7429590B2 JP 2020063214 A JP2020063214 A JP 2020063214A JP 2020063214 A JP2020063214 A JP 2020063214A JP 7429590 B2 JP7429590 B2 JP 7429590B2
Authority
JP
Japan
Prior art keywords
garbage
image data
processing unit
person
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020063214A
Other languages
English (en)
Other versions
JP2021160868A (ja
Inventor
聡 西▲崎▼
飛翔 今
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinmaywa Industries Ltd
Original Assignee
Shinmaywa Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinmaywa Industries Ltd filed Critical Shinmaywa Industries Ltd
Priority to JP2020063214A priority Critical patent/JP7429590B2/ja
Publication of JP2021160868A publication Critical patent/JP2021160868A/ja
Application granted granted Critical
Publication of JP7429590B2 publication Critical patent/JP7429590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Refuse-Collection Vehicles (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、例えば塵芥収集車等の特装車に関し、特に、車台上に架装された可動装置の近傍に人物がいるという判定に基づいて、その可動装置の作動を制御するようにした特装車に関する。
従来、一例として塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置(可動装置)が装備されており、その塵芥投入箱内に塵芥投入口から投入される塵芥を回転板や積込板などによって掻き込んで、塵芥収容箱に積み込むようになっている。また、そうして塵芥投入口に塵芥を投入する作業者等が、不注意によって塵芥積込装置に巻き込まれることを防止するために、塵芥投入口の近傍の人物を認識するようにした人物認識装置が提案されている(例えば、特許文献1参照)。
この特許文献1に記載の技術では、塵芥投入箱の後方上部に物体像取得部としてのカメラを配設して、塵芥投入口の近傍の所定エリアを撮影するようにしている。そして、塵芥積込装置の作動中にカメラによって撮影した画像のデータを画像処理装置に送信し、この画像において予め設定されている侵入禁止エリア内に人物が侵入したと判定すれば、塵芥積込装置の作動を停止させるようにしている。
特開2018-154464号公報
上述したような従来の技術では、人物認識処理の際、予め記憶部に保存された辞書データを参照し、カメラによって撮影された画像から抽出された物体像のデータを辞書データと比較することによって、塵芥投入口の近傍の人物をより正確に認識できるようにしている。辞書データは、予め多くの人物の画像(例えば人物の頭部の画像)を撮影して、その大きさや形状などの特徴を機械学習により抽出したものである。
上述の辞書データは、製造時に記憶部に保存され、その後は、同一の辞書データが継続して使用されていた。また、製造される全ての塵芥収集車に対して単一の辞書データが使用されていた。一方、塵芥収集車の使用環境等に応じて、辞書データを更新していくことも効果的であると考えられるものの、辞書データの更新は、作業者等の安全性を確保する観点から慎重に行う必要があった。具体的に説明すると、辞書データを使用環境等に応じたものに更新するためには、塵芥収集車の使用時に物体像取得部から得られた画像のデータを機械学習の教師データ用に使用していく必要がある。しかし、使用する画像のデータの質が悪い場合、辞書データの更新によって、今まで人物であると認識されていた作業者等が、人物ではないと誤認識される可能性があり、安全性を確保することが困難になる。
本発明は、上述したような実情を考慮してなされたものであって、安全性を確保しつつ、使用環境に適した辞書データに更新することが可能な特装車を提供することを目的とする。
本発明は、上述の課題を解決するための手段を以下のように構成している。すなわち、本発明は、車台上に可動装置が架装された特装車であって、前記可動装置の作業用アクチュエータを駆動するとともに前記可動装置近傍に位置するアクチュエータ操作部と、前記可動装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、前記物体像取得部によって取得された動画のデータに基づいて、記憶部に保存された辞書データを参照することによって、前記可動装置の近傍の人物検出用エリアに人物が入っているか否かを判定する人物検出部と、前記物体像取得部により取得された動画のデータから、所定タイミングで学習用画像データを抽出して前記記憶部に保存する学習用画像抽出部と、を備え、前記学習用画像データは、前記アクチュエータ操作部が操作されたタイミングで抽出されることを特徴とする。
上記構成によれば、物体像取得部によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データは記憶部に保存されるので、この保存された学習用画像データを使用して、辞書データをそれぞれの特装車の使用環境等に適したものに更新することができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。また、作業者がアクチュエータ操作部を操作したタイミングで、学習用画像データを抽出することにより、作業者が特装車のアクチュエータ操作部を操作するときの立ち位置や動作が特定された学習用画像データを取得して記憶部に保存することができる。これにより、当該学習用画像データを使用して、正確に人物と認識してほしい作業者の立ち位置や動作を強調して機械学習を行わせることができるので、使用環境に適した辞書データに更新することできる。
本発明において、前記学習用画像データは、前記可動装置の駆動源がオンまたはオフされたタイミングで抽出されることが好ましい。
上記構成によれば、作業者が可動装置の駆動源をオンまたはオフする操作部を操作したタイミングで、学習用画像データを抽出することにより、作業を行う前後での作業場所の背景が写された学習用画像データを取得して記憶部に保存することができる。これにより、当該学習用画像データを使用して、作業中の作業者(人物)と背景をより明確に区別できるように機械学習を行わせることができるので、使用環境に適した辞書データに更新することできる。
本発明において、前記学習用画像データには、作業用画像データおよび後退用画像データが含まれており、前記作業用画像データは、前記可動装置の作業用アクチュエータを駆動するアクチュエータ操作部が操作されたタイミングで抽出される一方、前記後退用画像データは、所定時間ごとに抽出され、前記作業用画像データの抽出タイミングと、前記後退用画像データの抽出タイミングとの切り換えが、車両後退信号の入力の有無に基づいて行われることが好ましい。
上記構成によれば、車両後退信号の入力がなかった場合には、作業用画像データの抽出タイミングに切り換えられ、車両後退信号の入力があった場合には、後退用画像データの抽出タイミングに切り換えられる。このように、車両後退信号の入力の有無に基づいて、作業用画像データの抽出タイミングと、後退用画像データの抽出タイミングとを自動的に切り換えることができ、作業用画像データの抽出および後退用画像データの抽出の両方を、1台の物体像取得部のみを用いて行うことができる。
本発明において、特装車としては、例えば塵芥収集車を挙げることができ、この場合、前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、前記人物検出部は、前記物体像取得部によって取得された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを判定する構成とすることが好ましい。
上記構成によれば、実際に塵芥収集車を使用する作業者を撮影した動画のデータに基づいて学習用画像データを抽出することができ、それぞれの塵芥収集車の使用環境等に適した辞書データを使用して人物認識処理を行うことができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
本発明に係る特装車によれば、学習用画像抽出部が所定タイミングで学習用画像データの抽出を行うので、機械学習させる人物の特徴を予め絞り込むことができる。これにより、記憶部に保存された学習用画像データを使用して、辞書データをそれぞれの特装車の使用環境等に適したものに更新することができる。その結果、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
本発明の実施形態に係る塵芥収集車を示す側面図である。 図1の塵芥収集車の後面図である。 塵芥収集車に装備された塵芥積込装置の作動の説明図である。 図3のX1線矢視図である。 塵芥収集車の塵芥積込装置の油圧回路図である。 塵芥収集車の本体制御部および画像処理ユニットとそれらの入出力状態を示す概略図である。 ごみ袋を塵芥投入口に積み込む作業者を側方から見た図であって、塵芥収集車の辞書データ更新システムの概略構成を示す図である。 カメラによって撮影された画像の一例であって、第1~第3の検知エリアを示す図である。 塵芥収集車で行われる画像処理制御において、画像処理ユニットが実行する制御の流れを示すフローチャートである。 画像処理ユニットが実行する人物認識処理の一例を示すフローチャートである。
本発明を塵芥収集車に適用した実施形態について、図面を参照して説明する。つまり、本発明に係る特装車が、車台上に架装された塵芥積込装置(可動装置)を備えた塵芥収集車である場合について説明する。なお、以下の説明においては、便宜上、塵芥収集車の前後左右を単に「前後左右」と言うこともある。
図1、図2には、本発明の実施形態に係る塵芥収集車100を示している。塵芥収集車100では、車台1上に塵芥収容箱2と塵芥投入箱3とが設けられており、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって塵芥収容箱2に対して軸支されており、左右一対の傾動シリンダ(図示省略)によって傾動されるようになっている。
また、塵芥投入箱3の背面における下寄りの部位には、塵芥G(図8参照)を投入するための略矩形状の塵芥投入口4が開口され、昇降可能なテールゲート5によって、塵芥投入口4が開閉されるようになっている。塵芥投入口4の左側方には、塵芥積込装置の作動などの操作のためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4およびその近傍のエリアを撮影するようにカメラユニット7が配設されている。カメラユニット7は、塵芥投入口4より上方に配設された塵芥投入箱3の傾斜後面部(湾曲状の後面部)3bから後方に突出する支持部材80を介して、塵芥投入箱3の上部に固定されている。
より具体的に説明すると、図2~図6に示すように、支持部材80は、傾斜後面部3bの左右両端部に基端部を有する枠状となっている。カメラユニット7は、支持部材80において塵芥投入箱3の左右中央部となる位置に固定されている。カメラユニット7は、塵芥投入口4の近傍の物体の物体像を動画で取得可能な物体像取得部としてのカメラ71と、報知部としての検出ランプ73と、第2の報知部としての作動中ランプ72とを有している。カメラ71によって撮影された画像(動画)のデータは、後述する画像処理ユニット9のメモリMに保存されるようになっている。
カメラ71は、塵芥投入箱3の後方上部に所定の取付角度で取り付けられている。具体的には、カメラ71は、カメラユニット7の左右中央部に設けられた凹部74の中に取付ブラケット75を介して取り付けられている。カメラ71は、撮像レンズ71aを有しており、この撮像レンズ71aが斜め下方に向くようにしてカメラユニット7の取付ブラケット75に対し水平軸回りに上下回動調整可能に取り付けられている。カメラユニット7の凹部74の左右両側には、水平面に対して後方上傾状の(車両後方に向かうにつれて上方に傾斜する)固定面7aが設けられている。左側の固定面7aには作動中ランプ72が下向きに取り付けられている。また、右側の固定面7aには、検出ランプ73が下向きに取り付けられている。つまり、作動中ランプ72と検出ランプ73は、カメラ71の撮像レンズ71aの近傍となるカメラ71の左右両側に設けられている。
次に、図3に示すように、塵芥投入箱3の内部には、投入された塵芥Gを塵芥収容箱2に積み込む塵芥積込装置(可動装置)が装備されている。この塵芥積込装置によって、塵芥投入箱3に投入された塵芥を、塵芥投入箱3の前方に連設された塵芥収容箱2へ押し込むようになっている。塵芥収容箱2には、収容された塵芥を排出する図示省略の塵芥排出装置が設けられている。この塵芥排出装置としては、例えば塵芥収容箱2を、車台1と塵芥収容箱2との間に介設されたダンプシリンダによって傾動させて塵芥を排出したり、塵芥収容箱2の内部に設けた排出板を排出シリンダにより塵芥収容箱2の後方に移動させて塵芥を排出したりするものが考えられる。
次に、本実施形態の塵芥積込装置について具体的に説明する。本実施形態の塵芥積込装置は、回転板(積込部材)10の回転によって塵芥Gを掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転板式の塵芥積込装置として構成されている。塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。この油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
具体的には、図3に実線で示すように、押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図3に仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
このようにして回転する回転板10は、塵芥Gを塵芥収容箱2側に掻き込んで、図3に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥Gが連続的に塵芥収容箱2に積み込まれる塵芥積込作動が行われる。このように回転板10および押込板20を作動させるための油圧回路および制御系の構成については後述する。
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。具体的には、図3に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられたドグ(図示省略)を検出するようになっており、スイッチLS3~LS4は、回転板10の回転軸11の端部に設けられたドグ(図示省略)を検出するようになっている。また、これらのスイッチLS1~LS4としては、例えばリミットスイッチ、光電スイッチ、近接スイッチなどを用いることができる。また、スイッチLS4は、図3にハッチングで示すように、回転板10が塵芥投入口4の前縁部(上縁部)4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部(下縁部)4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。
さらに、図1、図3に示すように、塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止ボタン60,61や、緊急停止プレート62などが配設されている。図1に示すように、塵芥投入口4の左側に設けられたスイッチボックス6の側面に緊急停止ボタン60(図6のスイッチSW1に対応)が配設され、また、図3に破線で示すように、塵芥投入口4の右側に緊急停止ボタン61(図6のスイッチSW3に対応)が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW2をオンオフするように配設されている。また、図2に示すように、スイッチボックス6の後面には、停止解除スイッチ63が配設されている。この停止解除スイッチ63は例えばモーメンタリのスイッチSW4をオンオフするように配設されている。停止解除スイッチ63は、後述する塵芥積込装置の塵芥積込動作の緊急停止を解除する際に操作される。
-塵芥積込装置の制御系-
次に、図5~図7を参照して、塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や、押込シリンダ24などに供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する本体制御部PLC(プログラマブル ロジック コントローラ)と、カメラ71からの画像データに基づいて人物認識処理を行う人物検出部としての画像処理ユニット9とを備えている。なお、本体制御部PLCは、塵芥積込装置の駆動だけでなく塵芥排出装置の駆動も制御するようになっている。また、画像処理ユニット9と本体制御部PLCとで架装物である塵芥積込装置の制御装置を構成している。
まず、図5を参照して油圧回路について説明する。この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2とを備えている。なお、油圧ポンプPには、車両走行駆動源としてのエンジン(図示省略)の動力を取り出すPTO(パワー テイク オフ)によって駆動力が伝達されるようになっている。
一例として、電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切換弁からなる。電磁制御弁V1は、本体制御部PLCによりソレノイドSOLaが励磁されると第1連通位置(図5の上位置)に切り換わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、電磁制御弁V1は、本体制御部PLCによりソレノイドSOLbが励磁されると第2連通位置(図5の下位置)に切り換わって、作動油をヘッド側油室に供給する。
そして、電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、いずれのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図5の中央位置)に復帰するようになる。
電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図5の下位置)に切り換わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させるほか、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図5の上位置)に切り換わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図5の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において、符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。
次に、図6を参照して本体制御部PLCおよび画像処理ユニット9の信号の入出力状態について説明する。まず、本体制御部PLCへの電力供給はバッテリBTによって行われる。このバッテリBTの正極から図6の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のイグニッションスイッチSWK、PTOスイッチ(動力源スイッチ)SWP、リレーコイルR1などが介設されている。
また、イグニッションスイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)にはリレーコイルR1の接点(リレースイッチ)r1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルR1が励磁されて接点r1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。
また、リレーコイルR1の接点r1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより本体制御部PLCの信号用電力供給部(図示省略)に電力が供給されるようになっている。つまり、接点r1が閉じられると、通電ラインK3,K4を介して本体制御部PLCに電力が供給される。
さらに、通電ラインK4から分岐する通電ラインK5によって、塵芥積込装置の塵芥積込作動中には必ず本体制御部PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3などが介設されている。これらのスイッチSW1~SW3によって通電(つまり、積込継続信号の入力)が遮断されると、本体制御部PLCは、電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御信号の出力をオフするようになっている。これにより、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、上述したスイッチLS1~LS4が介設されている。スイッチLS1~LS4からの信号は本体制御部PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、言い換えれば作動状況が検出される。
さらに、スイッチLS1~LS4の他にも本体制御部PLCへの入力側には、塵芥積込装置をサイクル作動させるためのアクチュエータ操作部としての積込スイッチSW5、塵芥積込装置の塵芥積込動作または塵芥排出装置の塵芥排出動作を切り換えるための切換スイッチSW6、塵芥投入箱3を傾動させて開放するためのスイッチSW7、塵芥積込動作の単動または連続の選択スイッチ(図示省略)、回転板10や押込板20を単独で作動させるスイッチ(図示省略)なども電気的に接続されている。切換スイッチSW6は、通電ラインK4から通電ラインK5が分岐する分岐位置に設けられており、通電ラインK5は、切換スイッチSW6の積込側に接続されている。
上述のように各種スイッチが入力側に接続されている一方、本体制御部PLCの出力側には、上述した電磁制御弁V1,V2のソレノイドSOLa~SOLdなどが接続されている。そして、本体制御部PLCは、スイッチSW1~SW3,LS1~LS4などから入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
具体的には、塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のイグニッションスイッチSWKおよびPTOスイッチSWPがいずれもオンになると、リレーコイルR1が励磁される。これにより、リレーコイルR1の接点r1が閉じられるので、通電ラインK3およびK4によって本体制御部PLCに電力供給されることにより、本体制御部PLCが作動可能な状態になって適宜、ソレノイドSOLa~SOLdに制御信号を出力するようになる。
この制御信号を受けてソレノイドSOLa~SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り換えられることで、油圧モータ13や押込シリンダ24などに作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、上述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
詳細には、まず図3に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、積込スイッチSW5の信号を受けた本体制御部PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り換えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
そして、所定の期間が経過すると本体制御部PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り換えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
これを受けて本体制御部PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥Gを塵芥収容箱2側に掻き込んでゆくが、こうして回動する回転板10が設定停止位置に至り、スイッチLS3からオン信号が出力される。
これを受けて本体制御部PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、本体制御部PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り換えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて本体制御部PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
また、図6に示すように、イグニッションスイッチSWKおよびPTOスイッチSWPの中間において、通電ラインK6の上流端が接続されており、この通電ラインK6には、画像処理ユニット9が接続されている。イグニッションスイッチSWKがオンになると、この通電ラインK6を介して、画像処理ユニット9に電力が供給される。画像処理ユニット9は、通電ラインK7を介してカメラユニット7のカメラ71に接続されている。また、画像処理ユニット9には、通電ラインK8を介して、車両の運転操作に基づく後退信号が入力されるようになっている。
画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、カメラ71からの画像データを取得し画像処理を行う画像処理部DSP、中央処理部CPUや画像処理部DSPにおいて使用されるデータを記憶する記憶部としてのメモリM、中央処理部CPUの指令を受けて監視用のモニタ93(図1参照)に画像処理の結果などを表示させる画像出力部VOP、データログの時刻を計時する計時部C、カメラ71の制御を行うカメラ制御部(図示省略)などが設けられている。画像処理部DSPは、画像処理ロジックを高速で行う集積回路であり、例えば図11のフローチャートに示すような人物認識処理のルーチンを実行する。なお、リレーコイルR1の接点r1よりも上流側において通電ラインK3から分岐するように、通電ラインK9の上流端が接続されており、この通電ラインK9を介して計時部Cへの電力供給が行われる。このため、イグニッションスイッチSWKがオフの場合にも、計時部Cへの通電が常時行われるようになっている。
また、画像処理ユニット9には、通電ラインK5から分岐する通電ラインK10が接続されている。この通電ラインK10は、画像処理ユニット9による人物認識処理について、塵芥積込装置の塵芥排出動作の際は機能せず、塵芥積込装置の塵芥積込動作の際に機能するための積込信号ラインになっている。通電ラインK10は、切換スイッチSW6の積込側に接続されており、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、画像処理ユニット9に積込ライン信号が入力されるようになっている。
画像処理ユニット9と、本体制御部PLCとの間には、作動スイッチSWSが介在されている。画像処理ユニット9には、人物安全信号の出力ポートが設けられており、この出力ポートと作動スイッチSWSとが通電ラインK16により接続されている。また、画像処理ユニット9には、データログ開始信号の入力ポートが設けられており、この入力ポートと作動スイッチSWSとが通電ラインK17により接続されている。また、作動スイッチSWSには、通電ラインK10から分岐された通電ラインK15が接続されている。
作動スイッチSWSがオン側に切り換えられている場合、通電ラインK16と通電ラインK12とを介して、画像処理ユニット9の人物安全信号の出力ポートと本体制御部PLCとが接続される。
ここで、画像処理ユニット9から出力される人物安全信号は、通電ラインK16と通電ラインK12とを通って本体制御部PLCに入力されるようになっている。しかし、塵芥積込装置の塵芥積込動作の際に人物が侵入禁止エリア(後述の第2の検知エリアY12)に入ると、画像処理ユニット9から人物安全信号が出力されず、本体制御部PLCに人物安全信号が入力されない。本体制御部PLCは、人物安全信号の入力がないことを条件の1つとして、塵芥積込装置の塵芥積込動作の緊急停止を行うようになっている。
また、作動スイッチSWSがオン側に切り換えられている場合、通電ラインK6から分岐された通電ラインK11が通電ラインK17と接続される。この場合、イグニッションスイッチSWKがオンになると、通電ラインK6に通電が行われることにより、通電ラインK11と通電ラインK17を通じて、データログ開始信号が画像処理ユニット9に送られる。そして、それをトリガとしてデータログが実行される。
一方、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK15と通電ラインK12とを介して、通電ラインK10と本体制御部PLCとが接続される。この場合、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、人物安全信号の代わりに本体制御部PLCに入力される。このため、画像処理ユニット9が侵入禁止エリアで人物を認識したか否かにかかわらず、本体制御部PLCは、人物安全信号の入力が常時あると認識するようになっている。
なお、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK17への通電は行われず、データログは開始されないようになっている。
また、画像処理ユニット9と、本体制御部PLCとの間には、停止解除スイッチ63に対応するスイッチSW4が介在されている。スイッチSW4は、通電ラインK10から分岐された通電ラインK13に介設されている。停止解除スイッチ63がオン操作されていない場合には、スイッチSW4がオフ状態になっており、本体制御部PLCには、信号が入力されないようになっている。一方、停止解除スイッチ63がオン操作された場合には、スイッチSW4がオン状態になり、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、停止解除のオン信号として本体制御部PLCに入力されるようになっている。なお、塵芥積込装置の塵芥排出動作の際には、画像処理ユニット9に積込ライン信号が入力されないため、停止解除スイッチ63の機能が無効になる。
本体制御部PLCは、停止解除スイッチ63のオン信号を認識した場合、画像処理ユニット9からの人物安全信号の入力がなくなったとしてもそれを条件として塵芥積込装置の塵芥積込動作の緊急停止を行わないようになっている。
画像処理ユニット9には、運転席周辺に配設されているパイロットランプ(図示省略)、塵芥投入口4の近傍に配設されている報知部としての作動中ランプ72および検出ランプ73が電気的に接続されており、それらの点灯制御が中央処理部CPUにより行われる。また、画像処理ユニット9には、後退警告音を出力するブザー91が接続されており、この制御についても中央処理部CPUにより行われる。作動中ランプ72、検出ランプ73およびブザー91の低電位側は、通電ラインK13を介してグランドラインK1に接続されている。
また、図7に示すように、画像処理ユニット9には、上述した中央処理部CPU、画像処理部DSP、メモリM、画像出力部VOP、計時部Cに加え、内蔵バッテリ94、学習用画像抽出部95などが備えられている。さらに、画像処理ユニット9は、事業所サーバ300を経由して管理センタサーバ200に接続可能になっている。詳細には、塵芥収集車100に備えられた第1通信部101が、例えばWi-Fi(登録商標)通信等の近距離無線通信を介して、事業所内の事業所サーバ300に備えられた第3通信部301と相互に通信可能になっており、事業所サーバ300の第3通信部301が、例えばインターネット等のネットワークを介して、管理センタ内の管理センタサーバ200に備えられた第2通信部201と相互に通信可能になっている。
また、図7に示すように、塵芥収集車100には、上述した第1通信部101、作動スイッチSWS、PTOスイッチ(駆動源スイッチ)SWP、積込スイッチ(アクチュエータ操作部)SW5、作動中ランプ72、検出ランプ73に加え、位置情報取得部102、機能メンテナンススイッチ103、通信状態表示部104などが備えられている。管理センタサーバ200には、機械学習部202、サーバ側記憶部203などが備えられている。
内蔵バッテリ94は、塵芥収集車100のエンジンが停止されている場合に、管理センタサーバ200、事業所サーバ300と通信するための電力を供給するものである。学習用画像抽出部95は、カメラ71によって取得された動画のデータから、所定タイミングで学習用画像データを抽出してメモリMに保存するものである。位置情報取得部102は、例えば図示しないGPS衛星からの電波を受信することにより塵芥収集車100の位置情報を取得することが可能になっている。機能メンテナンススイッチ103は、後述する辞書データ更新処理を行う際に操作される。通信状態表示部104は、塵芥収集車100の第1通信部101と、事業所サーバ300の第3通信部301との通信状態を表示可能になっている。
事業所サーバ300が設置される事業所は、例えば収集業者の事業所である。事業所内の予め設定された所定位置に塵芥収集車100が駐車(停車)されるようになっている。管理センタサーバ200が設置される管理センタは、例えば、画像処理ユニット9を含む塵芥収集車100を製造販売する架装メーカーが有するものである。機械学習部202による機械学習によって、積込用辞書データおよび後退用辞書データの更新用辞書データが作成される。機械学習部202によって作成された更新用辞書データは、サーバ側記憶部203に保存される。
そして、画像処理ユニット9の学習用画像抽出部95で取得された学習用画像データが、事業所サーバ300に送信され、さらに、管理センタサーバ200に送信されるようになっている。管理センタサーバ200では、受信した学習用画像データに基づいて、機械学習部202による機械学習が行われ、積込用辞書データおよび後退用辞書データの更新用辞書データが作成される。機械学習部202によって作成された更新用辞書データは、サーバ側記憶部203に保存される。
また、管理センタサーバ200の機械学習部202で作成された更新用辞書データ(サーバ側記憶部203に保存された更新用辞書データ)が、事業所サーバ300に送信され、さらに、画像処理ユニット9に送信されるようになっている。画像処理ユニット9では、受信した更新用辞書データに基づいて、メモリMに保存された積込用辞書データおよび後退用辞書データが更新される。このように、塵芥収集車100の画像処理ユニット9、管理センタサーバ200、および事業所サーバ300によって辞書データ更新システムが構成されている。
本実施形態では、カメラ71の撮像レンズ71aの左右両側に、作動中ランプ72および検出ランプ73が配設されている(図4参照)。作動中ランプ72は、原則として画像処理ユニット9に積込ライン信号が入力されている場合にオンされる(点灯される)。検出ランプ73は、原則として画像処理ユニット9に積込ライン信号が入力され、かつ、後述する人物認識処理によって塵芥投入口4近傍の人物検出用エリアに人物が入っていると判定された場合にオンされる(点灯される)。
また、図1、図3、図7に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ71が所定の取付角度で取り付けられ、その撮像レンズ71aが後方の斜め下に向けられている。図7、図8には、塵芥投入口4の近傍に立った人物H(作業者)が両腕を前方に伸ばして、塵芥G(図7、図8では、ごみ袋)を積み込む様子が示されている。カメラ71は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7、図8に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影する。
カメラ71の撮像レンズ71aの光軸は、図3のX1線に沿う方向に延びており、塵芥投入口4の後方を撮影するために、鉛直下向きから後方に振り向けられて、塵芥投入口4の近傍の人物Hおよび塵芥Gを上方から撮影するようになっている。そして、カメラ71によって撮影(取得)され、画像処理ユニット9に入力された画像のデータに基づいて、画像処理ユニット9は、作業者などの人物Hが塵芥投入口4およびその後方の人物検出用エリア(図8において破線で囲まれたエリアと実線で囲まれたエリア)にいるか否かを判定するようにしている。また、画像処理ユニット9が人物検出用エリアに人物Hがいると判定すれば、本体制御部PLCは、塵芥積込装置の作動を停止させるか否かを判定するようにしている。
具体的に説明すると、積込用の人物検出用エリアは、第1の検知エリアY11(図8に破線で示す)と第2の検知エリアY12(図8に実線で示す)とに分かれている。第2の検知エリアY12は、第1の検知エリアY11よりも塵芥投入口4の近傍に設けられ、侵入禁止エリアとしての機能を有している。画像処理ユニット9は、第1の検知エリアY11または第2の検知エリアY12に人物Hがいるか否かを判定し、侵入禁止エリアとしての第2の検知エリアY12に人物Hがいると判定すれば停止信号を本体制御部PLCに送り、本体制御部PLCが塵芥積込装置の作動を停止させるようにしている。例えば、第1の検知エリアY11は、作業者が塵芥積込作業を行う際の通常エリアであり、塵芥投入口4の近傍の矩形のエリアに設定される。第2の検知エリアY12は、塵芥投入口4の前縁部4aと後縁部4b近傍との間の矩形のエリアに設定される。この第2の検知エリアY12は、少なくとも塵芥投入口4の前縁部4a、後縁部4b、左縁部4c、および右縁部4dで囲まれた領域の一部を含むように設定される。
これに加え、車両の後退時、人物Hが塵芥投入口4の後方の第3の検知エリアY2(図7、図8に1点鎖線で示す)にいるか否かが画像処理ユニット9により判定される。そして、第3の検知エリアY2に人物Hがいると判定すれば、画像処理ユニット9が運転者に報知して注意を喚起するようにしている。第3の検知エリアY2は、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む矩形のエリアに設定される。なお、モニタ93上には、カメラ71の画像とともに、第1の検知エリアY11の外縁に対応するライン(図8に破線で示す)、第2の検知エリア(侵入禁止エリア)Y12の外縁に対応するライン(図8に実線で示す)、第3の検知エリアY2の外縁に対応するライン(図8に1点鎖線で示す)が表示されている。
-画像処理のルーチン-
次に、塵芥収集車100で行われる画像処理制御のルーチンについて、図9のフローチャートを参照して説明する。図9は、塵芥収集車100で行われる画像処理制御において、画像処理ユニット9が実行する制御の流れを示すフローチャートである。
まず、スタート後のステップS1において、ACC電源をオフからオンに切り換える操作が作業者により行われると、画像処理ユニット9の電源がオフからオンになる。ステップS2において、画像処理ユニット9の初期化処理(起動処理)が行われる。ステップS3において、画像処理ユニット9の内蔵バッテリ94が充電される。
次に、ステップS4において、画像処理ユニット9の中央処理部CPUは、作動スイッチSWSがオンか否かを判定する。作動スイッチSWSがオンの場合(YES)、ステップS5に進み、作動スイッチSWSがオフの場合(NO)、ステップS26に進む。ステップS26において、画像処理ユニット9は、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS27において、データログをオフとし、画像処理ユニット9のメモリMへのログ保存を行わないようにする。
そして、ステップS5において、画像処理ユニット9の中央処理部CPUは、車両の運転操作に基づく後退信号が入力されていないか否かを判定する。後退信号は、車両の後退操作があった場合に通電ラインK8を介して画像処理ユニット9に入力され、この後退信号の有無に基づいて、ステップS5の判定が行われる。そして、後退信号の入力がなかった場合(YES)、ステップS6に進み、後退信号の入力があった場合(NO)、ステップS19に進む。
次に、ステップS6において、画像処理ユニット9の中央処理部CPUは、積込ライン信号が入力されたか否かを判定する。積込ライン信号は、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、通電ラインK10を介して画像処理ユニット9に入力される。この積込ライン信号の有無に基づいて、ステップS6の判定が行われる。そして、積込ライン信号の入力があった場合(YES)、ステップS7に進み、積込ライン信号の入力がなかった場合(NO)、ステップS26に進む。
次に、ステップS7において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72を点灯させる。そして、ステップS8において、中央処理部CPUは、人物認識処理に用いる辞書データ(特徴データ)を積込用辞書データに設定し、また、人物検出判定に用いる検知エリアを積込用の人物検出用エリアに設定する。積込用辞書データは、後述する人物認識処理(ステップS9)の際に参照されるものであって、画像処理ユニット9のメモリMに格納されている。積込用辞書データは、予め多くの人物の頭部の画像を撮影して、その大きさや形状などの特徴を抽出したものである。積込用辞書データとして抽出される特徴については、人物を上方から見たときの頭部形状を主体としている。積込用の人物検出用エリアは、人物検出判定の際に用いられるものであって、画像処理ユニット9のメモリMに格納されている。上述したように、積込用の人物検出用エリアは、作業者が塵芥積込作業を行う際の通常エリアとして設定された第1の検知エリアY11と、侵入禁止エリアとしての第2の検知エリアY12とに分かれており、それぞれのエリアがメモリMに格納されている。
次に、ステップS9において、画像処理ユニット9の中央処理部CPUは、画像処理部DSPに人物認識処理を実行させる。画像処理ユニット9の画像処理部DSPが実行する人物認識処理の詳細について、図10のフローチャートを参照して説明する。
まず、スタート後のステップS91において、カメラ71によって撮影され、画像処理ユニット9に入力される画像のデータ(入力画像データ)に対する二値化処理が、画像処理部DSPによって行われる。この二値化処理は、例えば、入力画像データについて各画素の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
次に、ステップS92において、画像処理部DSPによってラベリング処理が行われる。このラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。
そして、ステップS93~S95において、画像処理部DSPによって、上述した第1の検知エリアY11または第2の検知エリアY12内で検知されたそれぞれの物体像についての人物識別処理が行われる。本実施形態では、塵芥投入口4の上方にカメラ71を配設し、下方の塵芥投入口4近傍を略真上から撮影するようにしている。このため、その画像には、図8に一例を示すように人物Hの頭部が大きく表示されるとともに、上方から見た顔の一部も表示されることになる。そこで、ステップS93では、予め設定されている積込用辞書データを参照し、この積込用辞書データの条件を満たすような物体像を、仮に人物Hの頭部と判定する。
次に、頭部と仮判定した物体像について、それ以外の物体像と識別する処理をステップS94,S95で行う。まず、ステップS94において、カメラ71から時系列に入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。この位置の変化、つまり、物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。
次に、ステップS95において、ステップS94で算出された移動速度が予め設定した閾値以下であるか否かを判定する。この閾値は、塵芥投入口4に塵芥を投入する作業者の頭部の移動速度と、投入される塵芥の移動速度とを区別できるように、予め実験などによって設定されている。そして、算出された移動速度が閾値よりも高ければ、動作が速すぎるので人物Hの頭部ではないと識別し、否定判定して(NO)、ルーチンを終了する(エンド)。
一方、ステップS95において、算出された移動速度が閾値以下であると肯定判定すれば(YES)、物体像は人物Hの頭部であると判定(本判定)して、ステップS96に進み、人物検出信号を出力する。
次に、ステップS97において、人物Hの頭部であると判定された物体像が、上述した第2の検知エリアY12に入っているか否かを判定する。ステップS97の判定は、物体像を形成する領域の外形をなす画素の位置座標が、第2の検知エリアY12に一部分でも含まれているか否かによって判定することが可能である。
そして、人物Hの頭部と識別した物体像が、第2の検知エリアY12に入っていると肯定判定すれば(YES)、ステップS98に進んで塵芥積込装置の作動を停止させるべく、中央処理部CPUへ停止信号を出力し、ルーチンを終了する(エンド)。一方、物体像が第2の検知エリアY12に入っていないと否定判定すれば(NO)、停止信号は出力せずにルーチンを終了する(エンド)。
図9のフローチャートに戻って、ステップS10において、画像処理ユニット9の中央処理部CPUは、上述したステップS9の人物認識処理の処理結果(ログ)をメモリMに保存する。具体的には、人物検出信号の出力の有無(ステップS96)や、停止信号の出力の有無(ステップS98)が、画像処理ユニット9のメモリMにログ保存される。この際、カメラ71によって取得された動画のデータから、学習用画像抽出部95によって抽出された学習用画像データも、画像処理ユニット9のメモリMにログ保存される。学習用画像データは、積込用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから所定タイミングで抽出される。積込用(作業用)の学習用画像データは、抽出時の位置情報および時刻情報と関連付けて保存される。積込用(作業用)の学習用画像データの抽出タイミング(取得タイミング)としては、例えば積込作業の開始時、積込スイッチSW5の操作時、緊急停止スイッチ(緊急停止ボタン60,61、緊急停止プレート62)の操作時、積込作業の終了時などがある。このうち、積込作業の開始時および終了時は、塵芥積込装置(可動装置)の駆動源としてのPTOがオンまたはオフされたタイミングであり、言い換えれば、駆動源スイッチとしてのPTOスイッチSWPがオンまたはオフに操作されたタイミングである。また、積込スイッチSW5の操作時は、塵芥積込装置(可動装置)を駆動する作業用アクチュエータを駆動するアクチュエータ操作部が操作されたタイミングである。
次に、ステップS11において、画像処理ユニット9の中央処理部CPUは、ステップS9の人物認識処理によって第1の検知エリアY11または第2の検知エリアY12内に人物が検出されたか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、人物検出信号の出力があったか否かが判定される。そして、人物検出信号の出力があった場合(YES)、ステップS12に進み、人物検出信号の出力がなかった場合(NO)、ステップS17に進む。
次に、ステップS12において、画像処理ユニット9の中央処理部CPUは、ステップS9の人物認識処理によって侵入禁止エリアとしての第2の検知エリアY12内に人物が侵入したか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、停止信号の出力があったか否かが判定される。そして、停止信号の出力があった場合(YES)、ステップS13に進み、停止信号の出力がなかった場合(NO)、ステップS15に進む。
次に、画像処理ユニット9の中央処理部CPUは、ステップS13において、検出ランプ73のオン信号を出力し、ステップS14において、人物安全信号を本体制御部PLCに出力せず、その後、ステップS28に進む。また、中央処理部CPUは、ステップS15において、検出ランプ73のオン信号を出力し、ステップS16において、人物安全信号を本体制御部PLCに出力し、その後、ステップS28に進む。さらに、中央処理部CPUは、ステップS17において、検出ランプ73のオン信号を出力せず、ステップS18において、人物安全信号を本体制御部PLCに出力し、その後、ステップS28に進む。
上述したステップS5の判定で後退信号の入力があった場合(NO)、画像処理ユニット9は、ステップS19において、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS20に進む。
そして、ステップS20において、人物認識処理に用いる辞書データ(特徴データ)を後退用辞書データに設定し、また、人物検出判定に用いる検知エリアを後退用の第3の検知エリアY2に設定する。後退用辞書データは、後述する人物認識処理(ステップS21)の際に参照されるものであって、画像処理ユニット9のメモリMに格納されている。後退用辞書データは、予め多くの人物の頭部の画像を撮影して、頭部の大きさや形状などの特徴を抽出したものである。後退用辞書データとして抽出される特徴については、人物を上述した積込用辞書データよりも前方寄りの斜め上方から見たときの頭部形状を主体としている。第3の検知エリアY2は、人物検出判定の際に用いられるものであって、画像処理ユニット9のメモリMに格納されている。上述したように、第3の検知エリアY2には積込用の第2の検知エリアY12と第1の検知エリアY11、およびその後方のエリアが含まれている。
次に、ステップS21において、画像処理部DSPによって人物認識処理が行われる。ステップS21の人物認識処理は、上述したステップS9の人物認識処理(図10参照)と略同様であって、二値化処理、ラベリング処理、人物識別処理等を含んでいる。なお、人物識別処理では、ステップS20で設定された後退用辞書データが用いられる、この後退用辞書データの条件を満たすような物体像を、人物Hと判定する。なお、人物Hの認識については、頭部形状を識別することに限定されず、例えば手や足などを識別するようにしてもよい。
そして、ステップS22において、画像処理ユニット9の中央処理部CPUは、上述したステップS21の人物認識処理の処理結果(ログ)をメモリMに保存する。この際、カメラ71によって取得された動画のデータから、学習用画像抽出部95によって抽出された学習用画像データも、画像処理ユニット9のメモリMにログ保存される。学習用画像データは、後退用辞書データの機械学習に用いられるもので、人物であると判定された物体像があった場合に、カメラ71によって取得された動画のデータから所定タイミングで抽出される。後退用の学習用画像データは、抽出時の位置情報および時刻情報と関連付けて保存される。後退用の学習用画像データの抽出タイミング(取得タイミング)としては、例えば数秒ごと等の所定時間ごととされる。
次に、ステップS23において、画像処理ユニット9の中央処理部CPUは、ステップS21の人物認識処理によって第3の検知エリアY2内に人物が検出されたか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、人物検出信号の出力があったか否かが判定される。そして、人物検出信号の出力があった場合(YES)、ステップS24において、画像処理ユニット9は、ブザー91を作動させて後退警告音を出力し、その後、ステップS28に進む。一方、人物検出信号の出力がなかった場合(NO)、ステップS25において、画像処理ユニット9は、ブザー91を作動させず、その後、ステップS28に進む。
続いて、ステップS28において、画像処理ユニット9は、ACC電源がオンのままである場合(NO)、ステップS3に戻り、再度ステップS3以降の処理を実行する。一方、ステップS28において、ACC電源の電源がオフになった場合(YES)、ステップS29に進む。ステップS29~S37は、各収集場所での収集作業を終えた塵芥収集車100が事業所に戻りエンジンを停止して、駐車(停車)した後に行われる辞書データ更新処理の手順である。
ステップS29において、機能メンテナンススイッチ103をオンに切り換える操作が作業者により行われた場合(YES)、ステップS30に進み、機能メンテナンススイッチ103がオフのままである場合(NO)、ルーチンを終了する。つまり、作業者によって機能メンテナンススイッチ103のオン操作が行われた場合に、以降の辞書データ更新処理が実行される。
ステップS30において、画像処理ユニット9の中央処理部CPUは、塵芥収集車100の車両位置が事業所内の予め設定された所定位置にあるか否かを判定する。この判定は、位置情報取得部102によって取得されたGPS信号に基づいて行われる。所定位置は、塵芥収集車100が事業所内に入ったことを判定可能であり、事業所サーバ300との無線通信が可能であれば、任意の位置あるいはエリアを設定することが可能である。そして、塵芥収集車100の車両位置が事業所内の所定位置にある場合(YES)、ステップS31に進む。一方、塵芥収集車100の車両位置が事業所内の所定位置にない場合(NO)、ステップS37に進む。
ステップS31において、画像処理ユニット9の中央処理部CPUは、事業所内に設置された無線通信用のアクセスポイントを検索し、無線通信(例えばWi-Fi通信)の自動接続を行う。これにより、塵芥収集車100の第1通信部101と、事業所サーバ300の第3通信部301とが、無線通信により接続される。
ステップS32において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第3通信部301との無線通信による接続が完了したか否かを判定する。そして、第1通信部101と第3通信部301との接続が完了できた場合(YES)、ステップS33に進む。一方、第1通信部101と第3通信部301との接続が完了できなかった場合(NO)、ステップS37に進む。ステップS37において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第3通信部301とが通信できない状態であることを表すエラー表示を通信状態表示部104にて行い、エラーログを作成し、ルーチンを終了する。
次に、ステップS33において、画像処理ユニット9の中央処理部CPUは、メモリMに保存された積込用の学習用画像データおよび後退用の学習用画像データを事業所サーバ300に送信する。事業所サーバ300に送信された積込用の学習用画像データおよび後退用の学習用画像データは、事業所サーバ300から管理センタサーバ200に送信される。管理センタサーバ200では、受信した積込用の学習用画像データおよび後退用の学習用画像データに基づいて、機械学習部202による機械学習が行われ、積込用辞書データおよび後退用辞書データの更新用辞書データが作成される。この際、積込用の学習用画像データに関連付けられた位置情報および時刻情報に基づいて、積込用辞書データの更新用辞書データが作成される。また、後退用の学習用画像データに関連付けられた位置情報および時刻情報に基づいて、後退用辞書データの更新用辞書データが作成される。機械学習部202によって作成された積込用辞書データおよび後退用辞書データの更新用辞書データは、サーバ側記憶部203に保存されるとともに、事業所サーバ300に送信される。
そして、ステップS34において、画像処理ユニット9の中央処理部CPUは、事業所サーバ300から積込用辞書データおよび後退用辞書データの更新用辞書データを受信する。ステップS35において、画像処理ユニット9の中央処理部CPUは、事業所サーバ300から受信した積込用辞書データの更新用辞書データに基づいてメモリMの積込用辞書データを更新する。また、中央処理部CPUは、事業所サーバ300から受信した後退用辞書データの更新用辞書データに基づいてメモリMの後退用辞書データを更新する。その後、ステップS36において、画像処理ユニット9の中央処理部CPUは、第1通信部101と第3通信部301との無線通信による接続を解除し、ルーチンを終了する。
本実施形態では、カメラ71により取得された動画のデータから、所定タイミングで学習用画像データ(積込用の学習用画像データ、後退用の学習用画像データ)を抽出してメモリMに保存する学習用画像抽出部95を備えており、学習用画像抽出部95により抽出された学習用画像データを用いて、メモリMの辞書データ(積込用辞書データ、後退用辞書データ)の更新を行うことによって、カメラ71によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部95が所定タイミングで学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データはメモリMに保存されるので、この保存された学習用画像データを使用して、辞書データをそれぞれの塵芥収集車100の使用環境等に適したものに更新することができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
上述したように、積込用(作業用)の学習用画像データの抽出タイミング(取得タイミング)は、例えば、塵芥積込装置(可動装置)の駆動源としてのPTOがオンまたはオフされたタイミング、言い換えれば、駆動源スイッチとしてのPTOスイッチSWPがオンまたはオフに操作されたタイミングとされる。また、抽出タイミングは、例えば、塵芥積込装置を駆動する作業用アクチュエータを駆動する積込スイッチSW5が操作されたタイミングや、緊急停止スイッチ(緊急停止ボタン60,61、緊急停止プレート62)が操作されたタイミングとされる。
このように、作業者がPTOスイッチSWPを操作したタイミングで積込用(作業用)の学習用画像データを抽出することにより、作業を行う前後での作業場所の背景が写された学習用画像データを取得してメモリMに保存することができる。これにより、当該学習用画像データを使用して、作業中の作業者(人物)と背景をより明確に区別できるように機械学習を行わせることができるので、使用環境に適した辞書データに更新することできる。
また、作業者が積込スイッチSW5等を操作したタイミングで積込用(作業用)の学習用画像データを抽出することにより、作業者が積込スイッチSW5を操作するときの立ち位置や動作が特定された学習用画像データを取得してメモリMに保存することができる。これにより、当該学習用画像データを使用して、正確に人物と認識してほしい作業者の立ち位置や動作を強調して機械学習を行わせることができるので、使用環境に適した辞書データに更新することできる。
また、上述したように、後退用の学習用画像データの抽出タイミング(取得タイミング)は、例えば所定時間ごと(数秒ごと)とされる。この場合、積込用(作業用)の学習用画像データの抽出タイミングと、後退用の学習用画像データの抽出タイミングとの切り換えが、車両後退信号の入力の有無に基づいて行われる。車両後退信号の入力がなかった場合には、積込用(作業用)の学習用画像データの抽出タイミングに切り換えられ、車両後退信号の入力があった場合には、後退用の学習用画像データの抽出タイミングに切り換えられる。このように、車両後退信号の入力の有無に基づいて、積込用(作業用)の学習用画像データの抽出タイミングと、後退用の学習用画像データの抽出タイミングとを自動的に切り換えることができ、積込用(作業用)の学習用画像データの抽出および後退用の学習用画像データの抽出の両方を、1台のカメラ71のみを用いて行うことができる。
-その他の実施形態-
今回、開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。本発明の技術的範囲は、前記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
上記実施形態では、塵芥収集車100の画像処理ユニット9を、事業所サーバ300を経由して管理センタサーバ200に接続可能としたが、塵芥収集車100の画像処理ユニット9を、事業所サーバ300を介さずに、例えばインターネット等のネットワークを介して管理センタサーバ200に接続可能としてもよい。
上記実施形態では、管理センタサーバ200の機械学習部202によって、積込用辞書データおよび後退用辞書データの更新用辞書データを作成したが、これらの更新用辞書データの作成を、塵芥収集車100の画像処理ユニット9で行ってもよいし、あるいは、事業所サーバ300で行うようにしてもよい。
上述した人物検出用エリア(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)は一例であって、上記以外のエリアを採用してもよい。例えば、塵芥投入口4の後縁部4bよりも前方側のエリア全体を第2の検知エリアY12(侵入禁止エリア)として設定してもよい。この場合、ステップT87の判定で、上述した物体像を形成する領域の外形をなす画素の位置座標が、塵芥投入口4の後縁部4bよりも前方側に含まれている場合には、第2の検知エリアY12に人物であると識別された物体像が検出されたと判定すればよい。
上記実施形態では、いわゆる回転板式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されている。しかし、これに限らず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。また、本発明はダンプトラック、ミキサ車、タンクローリ、コンテナ荷役車両、吸引車など、塵芥収集車以外の特装車にも適用することが可能であり、車台に架装される可動装置としては塵芥積込装置以外の種々のものが考えられる。
本発明は、車台上に可動装置が架装された特装車に利用可能であり、例えば塵芥投入箱の内部に配設された塵芥積込装置と、塵芥投入箱に取り付けられて塵芥投入箱の塵芥投入口の近傍の画像を取得する物体像取得部とを備えた塵芥収集車に利用可能である。
1 車台
3 塵芥投入箱
4 塵芥投入口
9 画像処理ユニット
71 カメラ(物体像取得部)
95 学習用画像抽出部
100 塵芥収集車(特装車)
M メモリ(記憶部)

Claims (4)

  1. 車台上に可動装置が架装された特装車であって、
    前記可動装置の作業用アクチュエータを駆動するとともに前記可動装置近傍に位置するアクチュエータ操作部と、
    前記可動装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、
    前記物体像取得部によって取得された動画のデータに基づいて、記憶部に保存された辞書データを参照することによって、前記可動装置の近傍の人物検出用エリアに人物が入っているか否かを判定する人物検出部と、
    前記物体像取得部により取得された動画のデータから、所定タイミングで学習用画像データを抽出して前記記憶部に保存する学習用画像抽出部と、を備え
    前記学習用画像データは、前記アクチュエータ操作部が操作されたタイミングで抽出されることを特徴とする特装車。
  2. 請求項1に記載の特装車において、
    前記学習用画像データは、前記可動装置の駆動源がオンまたはオフされたタイミングで抽出されることを特徴とする特装車。
  3. 請求項1に記載の特装車において、
    前記学習用画像データには、作業用画像データおよび後退用画像データが含まれており、
    前記作業用画像データは、前記可動装置の作業用アクチュエータを駆動するアクチュエータ操作部が操作されたタイミングで抽出される一方、前記後退用画像データは、所定時間ごとに抽出され、
    前記作業用画像データの抽出タイミングと、前記後退用画像データの抽出タイミングとの切り換えが、車両後退信号の入力の有無に基づいて行われることを特徴とする特装車。
  4. 請求項1~のいずれか1つに記載の特装車において、
    前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、
    前記人物検出部は、前記物体像取得部によって取得された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを判定する構成になっていることを特徴とする特装車。
JP2020063214A 2020-03-31 2020-03-31 特装車 Active JP7429590B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020063214A JP7429590B2 (ja) 2020-03-31 2020-03-31 特装車

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063214A JP7429590B2 (ja) 2020-03-31 2020-03-31 特装車

Publications (2)

Publication Number Publication Date
JP2021160868A JP2021160868A (ja) 2021-10-11
JP7429590B2 true JP7429590B2 (ja) 2024-02-08

Family

ID=78002432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020063214A Active JP7429590B2 (ja) 2020-03-31 2020-03-31 特装車

Country Status (1)

Country Link
JP (1) JP7429590B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004269137A (ja) 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 塵芥収集車の監視システム
JP2018036848A (ja) 2016-08-31 2018-03-08 株式会社デンソーアイティーラボラトリ 物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム
JP2019108214A (ja) 2017-12-19 2019-07-04 新明和工業株式会社 塵芥収集車

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004269137A (ja) 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 塵芥収集車の監視システム
JP2018036848A (ja) 2016-08-31 2018-03-08 株式会社デンソーアイティーラボラトリ 物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム
JP2019108214A (ja) 2017-12-19 2019-07-04 新明和工業株式会社 塵芥収集車

Also Published As

Publication number Publication date
JP2021160868A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
JP6798971B2 (ja) 塵芥収集車
JP6752533B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP2023105008A (ja) 塵芥収集車の人物認識装置
JP7057169B2 (ja) 塵芥収集車
JP7429590B2 (ja) 特装車
JP7394000B2 (ja) 特装車
JP7016600B2 (ja) 塵芥収集車
JP7421402B2 (ja) 特装車の人物認識システム
JP7394004B2 (ja) 特装車
JP7284670B2 (ja) 塵芥収集車
JP7464367B2 (ja) 塵芥収集車
JP6799496B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP6895802B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7393905B2 (ja) 塵芥収集車
JP7311377B2 (ja) 塵芥収集車のメンテナンス装置
JP6887306B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7146370B2 (ja) 特装車両
JP2024042484A (ja) 人物認識装置および塵芥収集車
JP7339785B2 (ja) 塵芥収集車
JP7299080B2 (ja) 塵芥収集車
JP7438636B2 (ja) 作業車両
JP2022156310A (ja) 塵芥収集車
JP7076933B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP2022054768A (ja) 画像認識検査装置およびその画像認識検査装置を備えた画像認識検査システム
JP2021160835A (ja) 塵芥収集車

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150