JP7394004B2 - 特装車 - Google Patents

特装車 Download PDF

Info

Publication number
JP7394004B2
JP7394004B2 JP2020063213A JP2020063213A JP7394004B2 JP 7394004 B2 JP7394004 B2 JP 7394004B2 JP 2020063213 A JP2020063213 A JP 2020063213A JP 2020063213 A JP2020063213 A JP 2020063213A JP 7394004 B2 JP7394004 B2 JP 7394004B2
Authority
JP
Japan
Prior art keywords
garbage
person
image
learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020063213A
Other languages
English (en)
Other versions
JP2021160867A (ja
Inventor
武伸 清上
聡 西▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinmaywa Industries Ltd
Original Assignee
Shinmaywa Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinmaywa Industries Ltd filed Critical Shinmaywa Industries Ltd
Priority to JP2020063213A priority Critical patent/JP7394004B2/ja
Publication of JP2021160867A publication Critical patent/JP2021160867A/ja
Application granted granted Critical
Publication of JP7394004B2 publication Critical patent/JP7394004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Refuse-Collection Vehicles (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば塵芥収集車等の特装車に関し、特に、車台上に架装された可動装置の近傍に人物がいるという判定に基づいて、その可動装置の作動を制御するようにした特装車に関する。
従来、一例として塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置(可動装置)が装備されており、その塵芥投入箱内に塵芥投入口から投入される塵芥を回転板や押込板等によって掻き込んで、塵芥収容箱に積み込むようになっている。また、そうして塵芥投入口に塵芥を投入する作業者等が、不注意によって塵芥積込装置に巻き込まれることを防止するために、塵芥投入口の近傍の人物を認識するようにした人物認識装置が提案されている(例えば、特許文献1参照)。
この特許文献1に記載の技術では、塵芥投入箱の後方上部に物体像取得部としてのカメラを配設して、塵芥投入口の近傍の所定エリアを撮影するようにしている。そして、塵芥積込装置の作動中にカメラによって撮影した画像のデータを画像処理装置に送信し、この画像において予め設定されている侵入禁止エリア内に人物が侵入したと判定すれば、塵芥積込装置の作動を停止させるようにしている。
特開2018-154464号公報
前述したような従来の技術では、人物認識処理の際、予め記憶部に保存された辞書データを参照し、カメラによって撮影された画像から抽出された物体像のデータを辞書データと比較することによって、塵芥投入口の近傍の人物をより正確に認識できるようにしている。辞書データは、予め多くの人物の画像(例えば人物の頭部の画像)を撮影して、その大きさや形状等の特徴を機械学習により抽出したものである。
前述の辞書データは、塵芥収集車の製造時に記憶部に保存され、その後は、同一の辞書データが継続して使用されていた。また、製造される全ての塵芥収集車に対して単一の辞書データが使用されていた。一方、塵芥収集車の使用環境等に応じて、辞書データを更新していくことも効果的であると考えられるものの、辞書データの更新は、作業者等の安全性を確保する観点から慎重に行う必要があった。具体的に説明すると、辞書データを使用環境等に応じたものに更新するためには、塵芥収集車の使用時に物体像取得部から得られた画像のデータを機械学習の教師データ用に使用していく必要がある。しかし、使用する画像のデータの質が悪いと、辞書データの更新によって、今まで人物であると認識されていた作業者等が、人物ではないと誤認識される可能性があり、安全性を確保することが困難になる。
本発明は、前述したような実情を考慮してなされたものであって、安全性を確保しつつ、使用環境に適した辞書データに更新することが可能な特装車を提供することを目的とする。
本発明は、前述の課題を解決するための手段を以下のように構成している。すなわち、本発明は、車台上に可動装置が架装された特装車であって、前記可動装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、人物の特徴が抽出された辞書データを保存する記憶部と、前記物体像取得部によって取得された動画のデータに基づいて、前記辞書データを参照することによって、前記可動装置の近傍の人物検出用エリアに人物が入っているか否かを画像解析によって判定する画像解析部と、前記物体像取得部によって取得された動画のデータから、所定タイミングで学習用画像データを抽出して前記記憶部に保存する学習用画像抽出部と、前記記憶部に保存した学習用画像データを使用した機械学習により前記辞書データを更新する機械学習部と、前記人物検出用エリアに面して配置されるとともに人の手で操作される操作部と、を備え、前記学習用画像抽出部は、前記操作部から延びる画素グループを人物の領域としてタグ付けし、前記機械学習部は、前記タグ付けされた学習用画像データを使用した機械学習により前記辞書データを更新することを特徴とする。
前記構成によれば、物体像取得部によって取得された動画のデータから学習用画像データを抽出するに際し、学習用画像抽出部が所定タイミングで当該学習用画像データの抽出を行うので、人物の立ち位置や動作、背景の種類等が特定された学習用画像データを抽出することができる。これにより、不規則なタイミングで学習用画像データの抽出を行う場合と比較して、機械学習させる人物の特徴を予め絞り込むことができる。また、所定タイミングで抽出された学習用画像データは記憶部に保存されるので、この保存された学習用画像データを使用して、車載の機械学習部により機械学習を行って辞書データを自動的に更新することにより、当該辞書データをそれぞれの特装車の使用環境等に適したものに自動的に更新することができる。その結果、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
また、この構成によれば、操作部が操作される状況では、人物検出用エリアに入っている人物の手が操作部(扉操作部またはアクチュエータ操作部)に延びて操作している。つまり、この場合、画像データにおいて操作部から延びた物体は人物(人物の手)である。また、操作部は画像データの中で位置が固定されている。このことを利用し、本解決手段では、操作部から延びている画素グループを人物の領域としてタグ付けし、このタグ付けされた学習用画像データを使用した機械学習により辞書データを更新するようにしている。これにより、タグ付けされた領域の物体像が人物であることが保証され、更新された辞書データが人物を対象としたデータであることが保証される。また、学習用画像データの中に人物と物体の両方が含まれている場合であって、かつ、画像解析部が人物を人物ではない物体像として認識したり物体を人物の物体像として認識したりする場合であっても、学習用画像抽出部は、学習用画像データの中の人物の領域を確実にタグ付けすることができる。このタグ付けは人手によらず自動的に行うことができる。そして、このタグ付けされた学習用画像データを使用して機械学習部が機械学習を行うことによって、前記辞書データをより良いものに自動的に更新することができる。その結果、画像解析部による人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができる。
本発明において、前記操作部に、扉および当該扉の開閉操作を行うために前記人物検出用エリアに面して配置された扉操作部が含まれている場合、前記学習用画像抽出部は、前記扉操作部が操作されたことを条件に前記学習用画像データを抽出することが好ましい。
扉操作部が操作される状況にあっては、可動装置の近傍の人物検出用エリアに人物が入っていることは確実である。従って、このタイミングで学習用画像抽出部による学習用画像データの抽出を行えば、この抽出した学習用画像データには人物の領域が含まれていることが保証される。このため、記憶部に保存したこの学習用画像データを使用した機械学習によって更新される辞書データが人物を対象としたデータであることの信頼性を高めることができ、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができる。
また、本発明において、前記操作部に、アクチュエータおよび当該アクチュエータを作動させるために前記人物検出用エリアに面して配置されたアクチュエータ操作部が含まれている場合、前記学習用画像抽出部は、前記アクチュエータ操作部が操作されたことを条件に前記学習用画像データを抽出するようにしてもよい。
アクチュエータ操作部が操作される状況にあっても、可動装置の近傍の人物検出用エリアに人物が入っていることは確実である。従って、このタイミングで学習用画像抽出部による学習用画像データの抽出を行うことによっても、この学習用画像データを使用した機械学習によって更新される辞書データが人物を対象としたデータであることの信頼性を高めることができ、人物認識処理の精度を向上させることができる。
本発明において、特装車としては、例えば塵芥収集車を挙げることができ、この場合、前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、前記画像解析部は、前記物体像取得部によって取得された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを画像解析によって判定する構成とすることが好ましい。
前記構成によれば、実際に塵芥収集車を使用する作業者を撮影した動画のデータに基づいて学習用画像データを抽出することができ、それぞれの塵芥収集車の使用環境等に適した辞書データを使用して人物認識処理を行うことができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
本発明に係る特装車によれば、学習用画像抽出部が所定タイミングで学習用画像データの抽出を行うので、機械学習させる人物の特徴を予め絞り込むことができる。さらに、記憶部に保存された学習用画像データを使用し、車載の機械学習部により機械学習を行うことによって辞書データをそれぞれの特装車の使用環境等に適したものに自動的に更新することができる。その結果、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
本発明の実施形態に係る塵芥収集車を示す側面図である。 図1の塵芥収集車の後面図である。 塵芥収集車に装備された塵芥積込装置の作動の説明図である。 図3のX1線矢視図である。 塵芥収集車の塵芥積込装置の油圧回路図である。 塵芥収集車の本体制御部および画像処理ユニットとそれらの入出力状態を示す概略図である。 ゴミ袋を塵芥投入口に積み込む作業者を側方から見た図であって、塵芥収集車の辞書データ更新システムの概略構成を示す図である。 カメラによって撮影された画像の一例であって、第1~第3の検知エリアを示す図である。 塵芥収集車で行われる画像処理制御において、画像処理ユニットが実行する制御の流れを示すフローチャートである。 画像処理ユニットが実行する人物認識処理の一例を示すフローチャートである。 作業者がテールゲートのハンドルを操作している状態を示す塵芥収集車の後部の側面図である。 作業者がテールゲートのハンドルを操作している状態を示す塵芥収集車の後部の平面図である。 作業者がスイッチボックスのスイッチを操作している状態を示す塵芥収集車の後部の側面図である。 作業者がスイッチボックスのスイッチを操作している状態を示す塵芥収集車の後部の平面図である。 人物検出用エリアに人物が入っていない状態でカメラによって撮影された画像の一例を示す図である。 図11に示す状態でカメラによって撮影された画像の一例を示す図である。 図16の画像に対する物体抽出を説明するための図である。
本発明を塵芥収集車に適用した実施形態について、図面を参照して説明する。つまり、本発明に係る特装車が、車台上に架装された塵芥積込装置(可動装置)を備えた塵芥収集車である場合について説明する。なお、以下の説明においては、便宜上、塵芥収集車の前後左右を単に「前後左右」と言うこともある。
図1、図2には、本発明の実施形態に係る塵芥収集車100を示している。塵芥収集車100では、車台1上に塵芥収容箱2と塵芥投入箱3とが設けられており、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって塵芥収容箱2に対して軸支されており、左右一対の傾動シリンダ(図示省略)によって傾動されるようになっている。
また、塵芥投入箱3の背面における下寄りの部位には、塵芥G(図8参照)を投入するための略矩形状の塵芥投入口4が開口され、昇降可能なテールゲート(本発明で言う扉)5によって、塵芥投入口4が開閉されるようになっている。このテールゲート5には、開閉操作時に作業者が把持するハンドル(本発明で言う扉操作部)51が設けられている。塵芥投入口4の左側方には、塵芥積込装置の作動(各種アクチュエータの作動)等の操作のためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4およびその近傍のエリアを撮影するようにカメラユニット7が配設されている。カメラユニット7は、塵芥投入口4より上方に配設された塵芥投入箱3の傾斜後面部(湾曲状の後面部)3bから後方に突出する支持部材80を介して、塵芥投入箱3の上部に固定されている。
より具体的に説明すると、図1~図4に示すように、支持部材80は、傾斜後面部3bの左右両端部に基端部を有する枠状となっている。カメラユニット7は、支持部材80において塵芥投入箱3の左右中央部となる位置に固定されている。カメラユニット7は、塵芥投入口4の近傍の物体の物体像を動画で取得可能な物体像取得部としてのカメラ71と、報知部としての検出ランプ73と、第2の報知部としての作動中ランプ72とを有している。カメラ71によって撮影された画像(動画)のデータは、後述する画像処理ユニット9のメモリMに保存されるようになっている。
カメラ71は、塵芥投入箱3の後方上部に所定の取付角度で取り付けられている。具体的には、カメラ71は、カメラユニット7の左右中央部に設けられた凹部74の中に取付ブラケット75を介して取り付けられている。カメラ71は、撮像レンズ71aを有しており、この撮像レンズ71aが斜め下方に向くようにしてカメラユニット7の取付ブラケット75に対し水平軸回りに上下回動調整可能に取り付けられている。カメラユニット7の凹部74の左右両側には、水平面に対して後方上傾状の(車両後方に向かうにつれて上方に傾斜する)固定面7aが設けられている。左側の固定面7aには作動中ランプ72が下向きに取り付けられている。また、右側の固定面7aには、検出ランプ73が下向きに取り付けられている。つまり、作動中ランプ72と検出ランプ73は、カメラ71の撮像レンズ71aの近傍となるカメラ71の左右両側に設けられている。
次に、図3に示すように、塵芥投入箱3の内部には、投入された塵芥Gを塵芥収容箱2に積み込む塵芥積込装置(可動装置)が装備されている。この塵芥積込装置によって、塵芥投入箱3に投入された塵芥Gを、塵芥投入箱3の前方に連設された塵芥収容箱2へ押し込むようになっている。塵芥収容箱2には、収容された塵芥Gを排出する図示省略の塵芥排出装置が設けられている。この塵芥排出装置としては、例えば塵芥収容箱2を、車台1と塵芥収容箱2との間に介設されたダンプシリンダによって傾動させて塵芥Gを排出したり、塵芥収容箱2の内部に設けた排出板を排出シリンダにより塵芥収容箱2の後方に移動させて塵芥Gを排出したりするものが考えられる。
次に、本実施形態の塵芥積込装置について具体的に説明する。本実施形態の塵芥積込装置は、回転板(積込部材)10の回転によって塵芥Gを掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転板式の塵芥積込装置として構成されている。塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。この油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
具体的には、図3に実線で示すように、押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図3に仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
このようにして回転する回転板10は、塵芥Gを塵芥収容箱2側に掻き込んで、図3に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥Gが連続的に塵芥収容箱2に積み込まれる塵芥積込作動が行われる。このように回転板10および押込板20を作動させるための油圧回路および制御系の構成については後述する。
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。具体的には、図3に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図3の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられたドグ(図示省略)を検出するようになっており、スイッチLS3,LS4は、回転板10の回転軸11の端部に設けられたドグ(図示省略)を検出するようになっている。また、これらのスイッチLS1~LS4としては、例えばリミットスイッチ、光電スイッチ、近接スイッチ等を用いることができる。また、スイッチLS4は、図3にハッチングで示すように、回転板10が塵芥投入口4の前縁部(上縁部)4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部(下縁部)4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。
さらに、図1、図2に示すように、塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止スイッチ60,61や、緊急停止プレート62等が配設されている。図1に示すように、塵芥投入口4の左側に設けられたスイッチボックス6の側面には、塵芥積込装置をサイクル作動させるための積込スイッチ64と塵芥積込装置を緊急停止させるための緊急停止スイッチ60(図6のスイッチSW1に対応)とが配設され、また、図3に破線で示すように、塵芥投入口4の右側に緊急停止スイッチ61(図6のスイッチSW3に対応)が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW2をオンオフするように配設されている。また、図2に示すように、スイッチボックス6の後面には、停止解除スイッチ63が配設されている。この停止解除スイッチ63は例えばモーメンタリのスイッチSW4をオンオフするように配設されている。停止解除スイッチ63は、後述する画像解析に基づく塵芥積込装置の塵芥積込動作の緊急停止を一時的に解除する際に操作される。前述した各種スイッチ60,61,62,64が本発明で言うアクチュエータ操作部に相当する。
-塵芥積込装置の制御系-
次に、図5~図7を参照して、塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や、押込シリンダ24等に供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する本体制御部PLC(プログラマブル ロジック コントローラ)と、カメラ71からの画像データに基づいて人物認識処理を行う画像処理ユニット9とを備えている。なお、本体制御部PLCは、塵芥積込装置の駆動だけでなく塵芥排出装置の駆動も制御するようになっている。また、画像処理ユニット9と本体制御部PLCとで架装物の制御装置を構成している。
まず、図5を参照して油圧回路について説明する。この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2とを備えている。なお、油圧ポンプPには、車両走行駆動源としてのエンジン(図示省略)の動力を取り出すPTO(パワー テイク オフ)によって駆動力が伝達されるようになっている。
一例として、電磁制御弁V1,V2は、何れも6ポート3位置の電磁式の方向切換弁からなる。電磁制御弁V1は、本体制御部PLCによりソレノイドSOLaが励磁されると第1連通位置(図5の上位置)に切り換わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、電磁制御弁V1は、本体制御部PLCによりソレノイドSOLbが励磁されると第2連通位置(図5の下位置)に切り換わって、作動油をヘッド側油室に供給する。
そして、電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、何れのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図5の中央位置)に復帰するようになる。
電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図5の下位置)に切り換わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させる他、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図5の上位置)に切り換わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
また、何れのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図5の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において、符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。
次に、図6を参照して本体制御部PLCおよび画像処理ユニット9の信号の入出力状態について説明する。まず、本体制御部PLCへの電力供給はバッテリBTによって行われる。このバッテリBTの正極から図6の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のイグニッションスイッチSWK、PTOスイッチ(動力源スイッチ)SWP、リレーコイルR1等が介設されている。
また、イグニッションスイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)にはリレーコイルR1の接点(リレースイッチ)r1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルR1が励磁されて接点r1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。
また、リレーコイルR1の接点r1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより本体制御部PLCの信号用電力供給部(図示省略)に電力が供給されるようになっている。つまり、接点r1が閉じられると、通電ラインK3,K4を介して本体制御部PLCに電力が供給される。
さらに、通電ラインK4から分岐する通電ラインK5によって、塵芥積込装置の塵芥積込作動中には必ず本体制御部PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、前述した緊急停止スイッチ60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3等が介設されている。これらのスイッチSW1~SW3によって通電(つまり、積込継続信号の入力)が遮断されると、本体制御部PLCは、電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御信号の出力をオフするようになっている。これにより、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、前述したスイッチLS1~LS4が介設されている。スイッチLS1~LS4からの信号は本体制御部PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、言い換えれば作動状況が検出される。
さらに、スイッチLS1~LS4の他にも本体制御部PLCへの入力側には、積込スイッチ64に対応するスイッチSW5、塵芥積込装置の塵芥積込動作または塵芥排出装置の塵芥排出動作を切り換えるための切換スイッチSW6、塵芥投入箱3を傾動させて開放するためのスイッチSW7、塵芥積込動作の単動または連続の選択スイッチ(図示省略)、回転板10や押込板20を単独で作動させるスイッチ(図示省略)等も電気的に接続されている。切換スイッチSW6は、通電ラインK4から通電ラインK5が分岐する分岐位置に設けられており、通電ラインK5は、切換スイッチSW6の積込側に接続されている。
前述のように各種スイッチが入力側に接続されている一方、本体制御部PLCの出力側には、前述した電磁制御弁V1,V2のソレノイドSOLa~SOLd等が接続されている。そして、本体制御部PLCは、スイッチSW1~SW3,LS1~LS4等から入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24等を作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
具体的には、塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のイグニッションスイッチSWKおよびPTOスイッチSWPが何れもオンになると、リレーコイルR1が励磁される。これにより、リレーコイルR1の接点r1が閉じられるので、通電ラインK3およびK4によって本体制御部PLCに電力供給されることにより、本体制御部PLCが作動可能な状態になって適宜、ソレノイドSOLa~SOLdに制御信号を出力するようになる。
この制御信号を受けてソレノイドSOLa~SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り換えられることで、油圧モータ13や押込シリンダ24等に作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24等がそれぞれ作動し、前述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
詳細には、まず図3に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、積込スイッチSW5の信号を受けた本体制御部PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り換えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
そして、所定の期間が経過すると本体制御部PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り換えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
これを受けて本体制御部PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥Gを塵芥収容箱2側に掻き込んでゆくが、こうして回動する回転板10が設定停止位置に至り、スイッチLS3からオン信号が出力される。
これを受けて本体制御部PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、本体制御部PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り換えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥Gを塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて本体制御部PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
また、図6に示すように、イグニッションスイッチSWKおよびPTOスイッチSWPの中間において、通電ラインK6の上流端が接続されており、この通電ラインK6には、画像処理ユニット9が接続されている。イグニッションスイッチSWKがオンになると、この通電ラインK6を介して、画像処理ユニット9に電力が供給される。画像処理ユニット9は、通電ラインK7を介してカメラユニット7のカメラ71に接続されている。また、画像処理ユニット9には、通電ラインK8を介して、車両の運転操作に基づく後退信号が入力されるようになっている。
画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、カメラ71からの画像データを取得し画像処理を行う画像処理部DSP、中央処理部CPUや画像処理部DSPにおいて使用されるデータを記憶する記憶部としてのメモリM、中央処理部CPUの指令を受けて監視用のモニタ93(図1参照)に画像処理の結果等を表示させる画像出力部VOP、データログの時刻を計時する計時部C、カメラ71の制御を行うカメラ制御部(図示省略)等が設けられている。画像処理部DSPは、画像処理ロジックを高速で行う集積回路であり、例えば図10のフローチャートに示すような人物認識処理のルーチンを実行する。より具体的に、この画像処理部DSPは、中央処理部CPUとともに本発明で言う画像解析部に相当する。画像処理部DSPおよび中央処理部CPUは、カメラ71によって取得された動画のデータに基づいて、メモリMに保存された辞書データを参照することによって、可動装置の近傍の人物検出用エリアY1に人物が入っているか否かを画像解析によって判定する。なお、リレーコイルR1の接点r1よりも上流側において通電ラインK3から分岐するように、通電ラインK9の上流端が接続されており、この通電ラインK9を介して計時部Cへの電力供給が行われる。このため、イグニッションスイッチSWKがオフの場合にも、計時部Cへの通電が常時行われるようになっている。
また、画像処理ユニット9には、通電ラインK5から分岐する通電ラインK10が接続されている。この通電ラインK10は、画像処理ユニット9による人物認識処理について、塵芥積込装置の塵芥排出動作の際は機能せず、塵芥積込装置の塵芥積込動作の際に機能するための積込信号ラインになっている。通電ラインK10は、切換スイッチSW6の積込側に接続されており、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、画像処理ユニット9に積込ライン信号が入力されるようになっている。
画像処理ユニット9と、本体制御部PLCとの間には、作動スイッチSWSが介在されている。画像処理ユニット9には、人物安全信号の出力ポートが設けられており、この出力ポートと作動スイッチSWSとが通電ラインK16により接続されている。また、画像処理ユニット9には、データログ開始信号の入力ポートが設けられており、この入力ポートと作動スイッチSWSとが通電ラインK17により接続されている。また、作動スイッチSWSには、通電ラインK10から分岐された通電ラインK15が接続されている。
作動スイッチSWSがオン側に切り換えられている場合、通電ラインK16と通電ラインK12とを介して、画像処理ユニット9の人物安全信号の出力ポートと本体制御部PLCとが接続される。
ここで、画像処理ユニット9から出力される人物安全信号は、通電ラインK16と通電ラインK12とを通って本体制御部PLCに入力されるようになっている。しかし、塵芥積込装置の塵芥積込動作の際に人物が侵入禁止エリア(後述の第2の検知エリアY12)に入ると、画像処理ユニット9から人物安全信号が出力されず、本体制御部PLCに人物安全信号が入力されない。本体制御部PLCは、人物安全信号の入力がないことを条件の1つとして、塵芥積込装置の塵芥積込動作の緊急停止を行うようになっている。
また、作動スイッチSWSがオン側に切り換えられている場合、通電ラインK6から分岐された通電ラインK11が通電ラインK17と接続される。この場合、イグニッションスイッチSWKがオンになると、通電ラインK6に通電が行われることにより、通電ラインK11と通電ラインK17を通じて、データログ開始信号が画像処理ユニット9に送られる。そして、それをトリガとしてデータログが実行される。
一方、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK15と通電ラインK12とを介して、通電ラインK10と本体制御部PLCとが接続される。この場合、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、人物安全信号の代わりに本体制御部PLCに入力される。このため、画像処理ユニット9が侵入禁止エリアで人物を認識したか否かにかかわらず、本体制御部PLCは、人物安全信号の入力が常時あると認識するようになっている。
なお、作動スイッチSWSがオフ側に切り換えられている場合、通電ラインK17への通電は行われず、データログは開始されないようになっている。
また、画像処理ユニット9と、本体制御部PLCとの間には、停止解除スイッチ63に対応するスイッチSW4が介在されている。スイッチSW4は、通電ラインK10から分岐された通電ラインK13に介設されている。停止解除スイッチ63がオン操作されていない場合には、スイッチSW4がオフ状態になっており、本体制御部PLCには、信号が入力されないようになっている。一方、停止解除スイッチ63がオン操作された場合には、スイッチSW4がオン状態になり、画像処理ユニット9に積込ライン信号が入力されているときに、通電ラインK10からの電圧が、停止解除のオン信号として本体制御部PLCに入力されるようになっている。なお、塵芥積込装置の塵芥排出動作の際には、画像処理ユニット9に積込ライン信号が入力されないため、停止解除スイッチ63の機能が無効になる。
本体制御部PLCは、停止解除スイッチ63のオン信号を認識した場合、画像処理ユニット9からの人物安全信号の入力がなくなったとしてもそれを条件として塵芥積込装置の塵芥積込動作の緊急停止を行わないようになっている。
画像処理ユニット9には、運転席周辺に配設されているパイロットランプ(図示省略)、塵芥投入口4の近傍に配設されている報知部としての作動中ランプ72および検出ランプ73が電気的に接続されており、それらの点灯制御が中央処理部CPUにより行われる。また、画像処理ユニット9には、後退警告音を出力するブザー91が接続されており、この制御についても中央処理部CPUにより行われる。作動中ランプ72、検出ランプ73およびブザー91の低電位側は、通電ラインK14を介してグランドラインK1に接続されている。
また、画像処理ユニット9には、テールゲートのハンドル51に内蔵されてこのハンドル51が操作されたことを画像処理ユニット9に伝えるためのセンサSeが接続されている。センサSeは、例えばタッチセンサよりなる。
また、図7に示すように、画像処理ユニット9には、前述した中央処理部CPU、画像処理部DSP、メモリM、画像出力部VOP、計時部Cに加え、学習用画像抽出部95、機械学習部96等が備えられている。
学習用画像抽出部95は、カメラ71によって取得された動画のデータから、所定タイミングで学習用画像データを抽出してメモリMに保存する。この学習用画像データを抽出する所定タイミング(学習用画像データを抽出する条件)については後述する。
機械学習部96は、メモリMに保存した学習用画像データを使用した機械学習により辞書データ(積込用辞書データ)の更新用辞書データを作成する。そして、この機械学習部96によって作成された更新用辞書データに基づいて、メモリMに保存された積込用辞書データが更新されるようになっている。このように、塵芥収集車100の画像処理ユニット9における学習用画像抽出部95および機械学習部96によって辞書データ更新システムが構成されている。
本実施形態では、カメラ71の撮像レンズ71aの左右両側に、作動中ランプ72および検出ランプ73が配設されている(図4参照)。作動中ランプ72は、原則として画像処理ユニット9に積込ライン信号が入力されている場合にオンされる(点灯される)。検出ランプ73は、原則として画像処理ユニット9に積込ライン信号が入力され、かつ、後述する人物認識処理によって塵芥投入口4近傍の人物検出用エリアY1に人物が入っていると判定された場合にオンされる(点灯される)。
また、図1、図3、図7に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ71が所定の取付角度で取り付けられ、その撮像レンズ71aが後方の斜め下に向けられている。図7、図8には、塵芥投入口4の近傍に立った人物H(作業者)が両腕を前方に伸ばして、塵芥G(図7、図8では、ゴミ袋)を積み込む様子が示されている。カメラ71は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7、図8に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影する。
カメラ71の撮像レンズ71aの光軸は、図3のX1線に沿う方向に延びており、塵芥投入口4の後方を撮影するために、鉛直下向きから後方に振り向けられて、塵芥投入口4の近傍の人物Hおよび塵芥Gを上方から撮影するようになっている。そして、カメラ71によって撮影(取得)され、画像処理ユニット9に入力された画像のデータに基づいて、画像処理ユニット9は、作業者等の人物Hが塵芥投入口4およびその後方の人物検出用エリアY1(図8において破線で囲まれたエリアと実線で囲まれたエリア)にいるか否かを判定するようにしている。また、画像処理ユニット9が人物検出用エリアY1に人物Hがいると判定すれば、本体制御部PLCは、塵芥積込装置の作動を停止させるか否かを判定するようにしている。
具体的に説明すると、積込用の人物検出用エリアY1は、第1の検知エリアY11(図8に破線で示す)と第2の検知エリアY12(図8に実線で示す)とに分かれている。第2の検知エリアY12は、第1の検知エリアY11よりも塵芥投入口4の近傍に設けられ、侵入禁止エリアとしての機能を有している。画像処理ユニット9(より具体的には中央処理部CPUおよび画像処理部DSP)は、第1の検知エリアY11または第2の検知エリアY12に人物Hがいるか否かを判定し、侵入禁止エリアとしての第2の検知エリアY12に人物Hがいると判定すれば停止信号を本体制御部PLCに送り、本体制御部PLCが塵芥積込装置の作動を停止させるようにしている。例えば、第1の検知エリアY11は、作業者が塵芥積込作業を行う際の通常エリアであり、塵芥投入口4の近傍の矩形のエリアに設定される。第2の検知エリアY12は、塵芥投入口4の前縁部4aと後縁部4b近傍との間の矩形のエリアに設定される。この第2の検知エリアY12は、少なくとも塵芥投入口4の前縁部4a、後縁部4b、左縁部4c、および右縁部4dで囲まれた領域の一部を含むように設定される。
これに加え、車両の後退時、人物Hが塵芥投入口4の後方の第3の検知エリアY2(図7、図8に1点鎖線で示す)にいるか否かが画像処理ユニット9により判定される。そして、第3の検知エリアY2に人物Hがいると判定すれば、画像処理ユニット9が運転者に報知して注意を喚起するようにしている。第3の検知エリアY2は、第2の検知エリアY12、第1の検知エリアY11、およびその後方のエリアを含む矩形のエリアに設定される。なお、モニタ93上には、カメラ71の画像とともに、第1の検知エリアY11の外縁に対応するライン(図8に破線で示す)、第2の検知エリア(侵入禁止エリア)Y12の外縁に対応するライン(図8に実線で示す)、第3の検知エリアY2の外縁に対応するライン(図8に1点鎖線で示す)が表示されている。
-画像処理のルーチン-
次に、塵芥収集車100で行われる画像処理制御のルーチンについて、図9のフローチャートを参照して説明する。図9は、塵芥収集車100で行われる画像処理制御において、画像処理ユニット9が実行する制御の流れの一部を示すフローチャートである。特に、人物認識処理および積込用辞書データの更新動作の流れを示すフローチャートである。
まず、スタート後のステップS1において、ACC電源をオフからオンに切り換える操作が作業者により行われると、画像処理ユニット9の電源がオフからオンになる。ステップS2において、画像処理ユニット9の初期化処理(起動処理)が行われる。
次に、ステップS3において、画像処理ユニット9の中央処理部CPUは、作動スイッチSWSがオンか否かを判定する。作動スイッチSWSがオンの場合(YES)、ステップS4に進み、作動スイッチSWSがオフの場合(NO)、ステップS17に進む。ステップS17において、画像処理ユニット9は、作動中ランプ72のオン信号および検出ランプ73のオフ信号を出力せず、ステップS18において、データログをオフとし、画像処理ユニット9のメモリMへのログ保存を行わないようにする。
ステップS4では、画像処理ユニット9の中央処理部CPUは、積込ライン信号が入力されたか否かを判定する。積込ライン信号は、PTOスイッチSWPがオンであって、切換スイッチSW6が積込側に切り換えられている場合に、通電ラインK10を介して画像処理ユニット9に入力される。この積込ライン信号の有無に基づいて、ステップS4の判定が行われる。そして、積込ライン信号の入力があった場合(YES)、ステップS5に進み、積込ライン信号の入力がなかった場合(NO)、ステップS17に進む。
次に、ステップS5において、画像処理ユニット9の中央処理部CPUは、作動中ランプ72を点灯させる。そして、ステップS6において、中央処理部CPUは、人物認識処理に用いる辞書データ(特徴データ)を積込用辞書データに設定し、また、人物検出判定に用いる検知エリアを積込用の人物検出用エリアY1に設定する。積込用辞書データは、後述する人物認識処理(ステップS7)の際に参照されるものであって、画像処理ユニット9のメモリMに格納されている。積込用辞書データは、予め多くの人物Hの頭部の画像を撮影して、その大きさや形状等の特徴を抽出したものである。積込用辞書データとして抽出される特徴については、人物Hを上方から見たときの頭部形状を主体としている。積込用の人物検出用エリアY1は、人物検出判定の際に用いられるものであって、画像処理ユニット9のメモリMに格納されている。前述したように、積込用の人物検出用エリアY1は、作業者が塵芥積込作業を行う際の通常エリアとして設定された第1の検知エリアY11と、侵入禁止エリアとしての第2の検知エリアY12とに分かれており、それぞれのエリアがメモリMに格納されている。
次に、ステップS7において、画像処理ユニット9の中央処理部CPUは、画像処理部DSPに人物認識処理を実行させる。画像処理ユニット9の画像処理部DSPが実行する人物認識処理の詳細について、図10のフローチャートを参照して説明する。
まず、スタート後のステップS91において、カメラ71によって撮影され、画像処理ユニット9に入力される画像のデータ(入力画像データ)に対する二値化処理が、画像処理部DSPによって行われる。この二値化処理は、例えば、入力画像データについて各画素の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
次に、ステップS92において、画像処理部DSPによってラベリング処理が行われる。このラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。
そして、ステップS93~S95において、画像処理部DSPによって、前述した第1の検知エリアY11または第2の検知エリアY12内で検知されたそれぞれの物体像についての人物識別処理が行われる。本実施形態では、塵芥投入口4の上方にカメラ71を配設し、下方の塵芥投入口4近傍を略真上から撮影するようにしている。このため、その画像には、図8に一例を示すように人物Hの頭部が大きく表示されるとともに、上方から見た顔の一部も表示されることになる。そこで、ステップS93では、予め設定されている積込用辞書データを参照し、この積込用辞書データの条件を満たすような物体像を、仮に人物Hの頭部と判定する。
次に、頭部と仮判定した物体像について、それ以外の物体像と識別する処理をステップS94,S95で行う。まず、ステップS94において、カメラ71から時系列に入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。この位置の変化、つまり、物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。
次に、ステップS95において、ステップS94で算出された移動速度が予め設定した閾値以下であるか否かを判定する。この閾値は、塵芥投入口4に塵芥Gを投入する作業者の頭部の移動速度と、投入される塵芥Gの移動速度とを区別できるように、予め実験等によって設定されている。そして、算出された移動速度が閾値よりも高ければ、動作が速すぎるので人物Hの頭部ではないと識別し、否定判定して(NO)、ルーチンを終了する(エンド)。
一方、ステップS95において、算出された移動速度が閾値以下であると肯定判定すれば(YES)、物体像は人物Hの頭部であると判定(本判定)して、ステップS96に進み、人物検出信号を出力する。
次に、ステップS97において、人物Hの頭部であると判定された物体像が、前述した第2の検知エリアY12に入っているか否かを判定する。ステップS97の判定は、物体像を形成する領域の外形をなす画素の位置座標が、第2の検知エリアY12に一部分でも含まれているか否かによって判定することが可能である。
そして、人物Hの頭部と識別した物体像が、第2の検知エリアY12に入っていると肯定判定すれば(YES)、ステップS98に進んで塵芥積込装置の作動を停止させるべく、中央処理部CPUへ停止信号を出力し、ルーチンを終了する(エンド)。一方、物体像が第2の検知エリアY12に入っていないと否定判定すれば(NO)、停止信号は出力せずにルーチンを終了する(エンド)。
図9のフローチャートに戻って、ステップS8において、画像処理ユニット9の中央処理部CPUは、前述したステップS7の人物認識処理の処理結果(ログ)をメモリMに保存する。具体的には、人物検出信号の出力の有無(ステップS96)や、停止信号の出力の有無(ステップS98)が、画像処理ユニット9のメモリMにログ保存される。この際、カメラ71によって取得された動画のデータから、学習用画像抽出部95によって抽出された学習用画像データも、画像処理ユニット9のメモリMにログ保存される。学習用画像データは、積込用辞書データの機械学習に用いられるもので、人物Hであると判定された物体像があった場合に、カメラ71によって取得された動画のデータから所定タイミングで抽出される。積込用(作業用)の学習用画像データは、抽出時の位置情報および時刻情報と関連付けて保存される。
また、本実施形態の特徴として、前記学習用画像データが抽出されるタイミングとしては、テールゲート5のハンドル51が操作されたタイミング、スイッチボックス6の各種スイッチ(緊急停止スイッチ60や停止解除スイッチ63等)が操作されたタイミング、緊急停止スイッチ61が操作されたタイミングも挙げられる。テールゲート5のハンドル51が操作されたことの判定は、作業者がハンドル51を把持した場合に、センサSeから出力される電気信号を画像処理ユニット9が受信することによって行われる。また、各種スイッチ60,63,61が操作されたことの判定は、その操作に伴って発信される電気信号を画像処理ユニット9が受信することによって行われる。
図11は、作業者がテールゲート5のハンドル51を操作している状態を示す塵芥収集車100の後部の側面図である。また、図12は、その際の塵芥収集車100の後部の平面図である。また、図13は、作業者がスイッチボックス6のスイッチ(例えば積込スイッチ64)を操作している状態を示す塵芥収集車100の後部の側面図である。また、図14は、その際の塵芥収集車100の後部の平面図である。作業者がテールゲート5のハンドル51を操作している状況や、作業者がスイッチ60,61,62,64を操作している状況にあっては、作業者は、カメラ71の撮影範囲内に存在し、その手が、テールゲート5のハンドル51またはスイッチ60,61,62,64に接触している。
そして、テールゲート5のハンドル51が操作された場合、または、スイッチ60,61,62,64の何れかが操作された場合に、学習用画像抽出部95は、カメラ71によって撮影された学習用画像データに対して、学習用画像データの中で人物Hが写っている領域を抽出する処理を行い、その抽出した領域に対してタグ付け(アノテーション)を行ってメモリMに保存する。
ここで、カメラ71によって撮影された画像に対して、画像に含まれる複数の物体像から人物Hを抽出して自動的なタグ付けの処理を行う原理について説明する。ここでは、テールゲート5のハンドル51が操作された場合を例に挙げて説明する。まず、PTOスイッチSWPがオンとなったタイミングにおいてカメラ71によって撮影された画像を取得しておく。図15は、この際に取得された画像を示している。図15において、実線の四角の外枠がカメラ71で撮影される範囲を示している(図16,図17も同じ)。この図15にあっては、塵芥収集車100の塵芥投入箱3の一部、および、塵芥投入箱3の後方に存在する不動の構造物A(例えば道路に設置されたポールや縁石等)が撮影されてこの画像内に含まれている。
その後、テールゲート5のハンドル51が操作された場合に、このことを条件として、カメラ71によって撮影された画像を取得する。図16は、この際に取得された画像を示している。この図16にあっては、前述した塵芥投入箱3の一部および不動の構造物Aに加えて、テールゲート5のハンドル51を操作している作業者(人物H)、図15の画像を取得した時点では存在していなかった物体B(例えばゴミ袋等)も撮影されてこの画像内に含まれている。
そして、これら図15の画像と図16の画像とを比較し、図16の画像に存在する物体3,A,B,Hから図15の画像に存在する物体3,Aを画像処理によって消去し、残された物体B,Hの画像のみを抽出する。これにより、図16の画像から、塵芥投入箱3および不動の構造物Aの画像が消去されることになって、テールゲート5のハンドル51を操作している作業者Hおよびゴミ袋等の物体Bの画像のみが抽出されることになる。図17は、このテールゲート5のハンドル51を操作している作業者Hおよびゴミ袋等の物体Bのみが抽出された画像を示している。
さらに、図17に示す画像における各画素グループのうち、テールゲート5のハンドル51から延びている画素グループのみを抽出し、この画素グループの画像データにタグを付してメモリMに保存する。つまり、テールゲート5のハンドル51が操作される状況にあっては、人物検出用エリアY1に人物Hが入っていることは確実である。また、この場合、人物検出用エリアY1に入っている人物Hの手がテールゲート5のハンドル51に延びて操作(把持)している。つまり、この場合、画像データにおいてテールゲート5のハンドル51から延びた物体は人物H(人物の手)である。このことを利用し、本実施形態では、テールゲート5のハンドル51から延びている画素グループを人物Hの領域としてタグ付けし、このタグ付けされた学習用画像データをメモリMに保存している。
ここで、テールゲート5のハンドル51が操作されたタイミングで画像を取得すれば、人物検出用エリアY1に人物Hが入っていることは確実である(このタイミングは、画像処理ユニット9の画像処理部DSPが人物Hを認識できるか否かに関わらず、認識センサSeの信号が画像処理ユニット9で受信することにより判断される)。しかし、そのタイミングだけで物体像が人物かどうかを判断しようとした場合、人物Hと物体Bの両方が人物検出エリアY1に入っていると、学習用画像抽出部95は、人物Hと物体Bのどちらの物体像を人物Hとして自動的にタグ付けすればよいか正確に判断できない可能性がある。特に、画像処理ユニット9がそもそも人物Hを人物ではない物体像として認識する場合や、物体Bが人物の特徴に似た形状であることにより画像処理ユニット9が物体Bを人物の物体像として認識する場合があり、これらの場合には、学習用画像抽出部95がタイミングだけでタグ付けするのは困難である。
このため、本実施形態では、テールゲート5のハンドル51が操作されたことを条件として学習用画像データの抽出を行うと共に、テールゲート5のハンドル51から延びている画素グループのみを抽出し、タグを付してメモリMに保存するようにしている。以上の動作により、学習用画像データの中で作業者(人物H)の領域がタグ付けされ、このタグ付けされた学習用画像データ(人物Hの学習用画像データ)がメモリMに保存されたことになる。
以上が、カメラ71によって撮影された画像に対して、人物Hの領域を抽出する処理である。
次に、ステップS9において、画像処理ユニット9の中央処理部CPUは、ステップS7の人物認識処理によって第1の検知エリアY11または第2の検知エリアY12内に人物Hが検出されたか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、人物検出信号の出力があったか否かが判定される。そして、人物検出信号の出力があった場合(YES)、ステップS10に進み、人物検出信号の出力がなかった場合(NO)、ステップS15に進む。
次に、ステップS10において、画像処理ユニット9の中央処理部CPUは、ステップS7の人物認識処理によって侵入禁止エリアとしての第2の検知エリアY12内に人物Hが侵入したか否かを判定する。この際、画像処理ユニット9のメモリMを参照して、停止信号の出力があったか否かが判定される。そして、停止信号の出力があった場合(YES)、ステップS11に進み、停止信号の出力がなかった場合(NO)、ステップS13に進む。
次に、画像処理ユニット9の中央処理部CPUは、ステップS11において、検出ランプ73のオン信号を出力し、ステップS12において、人物安全信号を本体制御部PLCに出力せず、その後、ステップS19に進む。また、中央処理部CPUは、ステップS13において、検出ランプ73のオン信号を出力し、ステップS14において、人物安全信号を本体制御部PLCに出力し、その後、ステップS19に進む。さらに、中央処理部CPUは、ステップS15において、検出ランプ73のオン信号を出力せず、ステップS16において、人物安全信号を本体制御部PLCに出力し、その後、ステップS19に進む。
ステップS19において、画像処理ユニット9は、ACC電源がオンのままである場合(NO)、ステップS3に戻り、再度ステップS3以降の処理を実行する。一方、ステップS19において、ACC電源の電源がオフになった場合(YES)、ステップS20に進む。
ステップS20において、画像処理ユニット9の中央処理部CPUは、メモリMにおいてタグ付けされて保存されている積込用の学習用画像データを機械学習部96に送信する。機械学習部96では、この送信された積込用の学習用画像データを使用した機械学習が行われ、積込用辞書データの更新用辞書データが作成される。この際、積込用の学習用画像データに関連付けられた位置情報および時刻情報に基づいて、積込用辞書データの更新用辞書データが作成される。ステップS21では、機械学習部96によって作成された積込用辞書データの更新用辞書データに基づいてメモリMの積込用辞書データが更新され、ルーチンを終了する。
-実施形態の効果-
以上説明したように、本実施形態の塵芥収集車100では、カメラ71により取得された動画のデータから、所定タイミングで学習用画像データ(積込用の学習用画像データ)を抽出してメモリMに保存する学習用画像抽出部95と、機械学習部96とを備えている。学習用画像抽出部95により人物Hがタグ付けされた学習用画像データを用いて、機械学習部96による機械学習を行い、メモリMの辞書データ(積込用辞書データ)の更新を行うことによって、それぞれの塵芥収集車100の使用環境等に適した辞書データを使用して人物認識処理を行うことができる。これにより、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができ、作業者等の安全性を確保することができる。
前述したように、積込用(作業用)の学習用画像データの抽出タイミング(取得タイミング)は、テールゲート5のハンドル51が操作されたタイミング、および、スイッチ60,61,62,64の何れかが操作されたタイミングとなっている。テールゲート5のハンドル51が操作される状況にあっては、可動装置の近傍の人物検出用エリアY1に人物Hが入っていることは確実である。また、スイッチ60,61,62,64が操作される状況にあっても、可動装置の近傍の人物検出用エリアY1に人物Hが入っていることは確実である。従って、このタイミングで学習用画像抽出部95による学習用画像データの抽出を行うことにより、この抽出した学習用画像データには人物Hの領域が含まれていることが保証される。このため、メモリMに保存したこの学習用画像データを使用した機械学習によって更新される辞書データが人物Hを対象としたデータであることの信頼性を高めることができ、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができる。
また、本実施形態では、学習用画像抽出部95は、抽出された学習用画像データの中で、テールゲート5のハンドル51、スイッチ60,61,62,64の何れかから延びている画素グループを人物Hの領域としてタグ付けし、機械学習部96が、このタグ付けされた学習用画像データを使用して機械学習により辞書データを更新するようにしている。つまり、テールゲート5のハンドル51が操作される状況や、スイッチ60,61,62,64の何れかが操作される状況では、人物検出用エリアY1に入っている人物Hの手がこれらの操作部に延びて操作している。この場合、画像データにおいて操作部から延びた物体は人物H(人物の手)である。このことを利用し、本実施形態では、操作部から延びている画素グループを人物Hの領域としてタグ付けし、このタグ付けされた学習用画像データを使用した機械学習により辞書データを更新するようにしている。これにより、タグ付けされた領域の物体像が人物Hであることが保証され、更新された辞書データが人物Hを対象としたデータであることが保証される。その結果、人物認識処理での誤認識を抑制して人物認識処理の精度を向上させることができる。
-その他の実施形態-
今回、開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。本発明の技術的範囲は、前記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
前述した人物検出用エリアY1(第1の検知エリアY11、第2の検知エリアY12、第3の検知エリアY2)は一例であって、前記以外のエリアを採用してもよい。例えば、塵芥投入口4の後縁部4bよりも前方側のエリア全体を第2の検知エリアY12(侵入禁止エリア)として設定してもよい。
前記実施形態では、いわゆる回転板式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されている。しかし、これに限らず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。また、本発明は、ダンプトラック、ミキサ車、タンクローリ、コンテナ荷役車両、吸引車等、塵芥収集車以外の特装車にも適用することが可能であり、車台に架装される可動装置としては塵芥積込装置以外の種々のものが考えられる。
また、前記実施形態では、物体像取得部としてカメラ71を用いたが、物体像取得部はカメラ71以外であってもよく、例えば、距離画像センサや、ステレオカメラ、3D-LIDAR等のような画像の取得および距離の計測が可能なものであってもよい。
本発明は、車台上に可動装置が架装された特装車に利用可能であり、例えば塵芥投入箱の内部に配設された塵芥積込装置と、塵芥投入箱に取り付けられて塵芥投入箱の塵芥投入口の近傍の画像を取得する物体像取得部とを備えた塵芥収集車に利用可能である。
1 車台
3 塵芥投入箱
4 塵芥投入口
5 テールゲート(扉)
51 ハンドル(扉操作部)
9 画像処理ユニット
13 油圧モータ(アクチュエータ)
24 押込シリンダ(アクチュエータ)
60,61 緊急停止スイッチ(アクチュエータ操作部)
63 停止解除スイッチ(アクチュエータ操作部)
71 カメラ(物体像取得部)
95 学習用画像抽出部
96 機械学習部
100 塵芥収集車(特装車)
M メモリ(記憶部)
Y1 人物検出用エリア
Y11 第1の検知エリア
Y12 第2の検知エリア(侵入禁止エリア)
CPU 中央処理部(画像解析部)
DSP 画像処理部(画像解析部)

Claims (4)

  1. 車台上に可動装置が架装された特装車であって、
    前記可動装置の近傍の物体の物体像を動画で取得可能な物体像取得部と、
    人物の特徴が抽出された辞書データを保存する記憶部と、
    前記物体像取得部によって取得された動画のデータに基づいて、前記辞書データを参照することによって、前記可動装置の近傍の人物検出用エリアに人物が入っているか否かを画像解析によって判定する画像解析部と、
    前記物体像取得部によって取得された動画のデータから、所定タイミングで学習用画像データを抽出して前記記憶部に保存する学習用画像抽出部と、
    前記記憶部に保存した学習用画像データを使用した機械学習により前記辞書データを更新する機械学習部と、
    前記人物検出用エリアに面して配置されるとともに人の手で操作される操作部と、を備え
    前記学習用画像抽出部は、前記操作部から延びる画素グループを人物の領域としてタグ付けし、
    前記機械学習部は、前記タグ付けされた学習用画像データを使用した機械学習により前記辞書データを更新することを特徴とする特装車。
  2. 請求項1に記載の特装車において、
    前記操作部は、扉および当該扉の開閉操作を行うために前記人物検出用エリアに面して配置された扉操作部を含み
    前記学習用画像抽出部は、前記扉操作部が操作されたことを条件に前記学習用画像データを抽出することを特徴とする特装車。
  3. 請求項1または2に記載の特装車において、
    前記操作部は、アクチュエータおよび当該アクチュエータを作動させるために前記人物検出用エリアに面して配置されたアクチュエータ操作部を含み
    前記学習用画像抽出部は、前記アクチュエータ操作部が操作されたことを条件に前記学習用画像データを抽出することを特徴とする特装車。
  4. 請求項1~3のうち何れか1つに記載の特装車において、
    前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、
    前記画像解析部は、前記物体像取得部によって取得された動画のデータに基づいて、前記塵芥投入箱の背面に開口する塵芥投入口の近傍の人物検出用エリアに人物が入っているか否かを画像解析によって判定する構成となっていることを特徴とする特装車。
JP2020063213A 2020-03-31 2020-03-31 特装車 Active JP7394004B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020063213A JP7394004B2 (ja) 2020-03-31 2020-03-31 特装車

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020063213A JP7394004B2 (ja) 2020-03-31 2020-03-31 特装車

Publications (2)

Publication Number Publication Date
JP2021160867A JP2021160867A (ja) 2021-10-11
JP7394004B2 true JP7394004B2 (ja) 2023-12-07

Family

ID=78002424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020063213A Active JP7394004B2 (ja) 2020-03-31 2020-03-31 特装車

Country Status (1)

Country Link
JP (1) JP7394004B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004269137A (ja) 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 塵芥収集車の監視システム
JP2018036848A (ja) 2016-08-31 2018-03-08 株式会社デンソーアイティーラボラトリ 物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム
JP2018206321A (ja) 2017-06-09 2018-12-27 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019108214A (ja) 2017-12-19 2019-07-04 新明和工業株式会社 塵芥収集車
JP2019156564A (ja) 2018-03-13 2019-09-19 新明和工業株式会社 塵芥収集車およびこれに装備された人物認識装置
JP2020046928A (ja) 2018-09-19 2020-03-26 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004269137A (ja) 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 塵芥収集車の監視システム
JP2018036848A (ja) 2016-08-31 2018-03-08 株式会社デンソーアイティーラボラトリ 物体状況推定システム、物体状況推定装置、物体状況推定方法、及び物体状況推定プログラム
JP2018206321A (ja) 2017-06-09 2018-12-27 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019108214A (ja) 2017-12-19 2019-07-04 新明和工業株式会社 塵芥収集車
JP2019156564A (ja) 2018-03-13 2019-09-19 新明和工業株式会社 塵芥収集車およびこれに装備された人物認識装置
JP2020046928A (ja) 2018-09-19 2020-03-26 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2021160867A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
JP6798971B2 (ja) 塵芥収集車
JP7527249B2 (ja) 塵芥収集車の人物認識装置
JP7057169B2 (ja) 塵芥収集車
JP6752533B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7394004B2 (ja) 特装車
JP7016600B2 (ja) 塵芥収集車
JP7429590B2 (ja) 特装車
JP7284670B2 (ja) 塵芥収集車
JP7394000B2 (ja) 特装車
JP7464367B2 (ja) 塵芥収集車
JP6895802B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7421402B2 (ja) 特装車の人物認識システム
JP6799496B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP7146370B2 (ja) 特装車両
JP7531297B2 (ja) 塵芥収集車
JP6887306B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7393905B2 (ja) 塵芥収集車
JP7551250B2 (ja) 塵芥収集車
JP7311377B2 (ja) 塵芥収集車のメンテナンス装置
JP7339785B2 (ja) 塵芥収集車
JP7076933B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP7299080B2 (ja) 塵芥収集車
JP2024042484A (ja) 人物認識装置および塵芥収集車
JP2022054768A (ja) 画像認識検査装置およびその画像認識検査装置を備えた画像認識検査システム
JP2022054767A (ja) 作業車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231127

R150 Certificate of patent or registration of utility model

Ref document number: 7394004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150