JP6752533B2 - 塵芥収集車およびこれに装備された人物認識装置 - Google Patents

塵芥収集車およびこれに装備された人物認識装置 Download PDF

Info

Publication number
JP6752533B2
JP6752533B2 JP2018045190A JP2018045190A JP6752533B2 JP 6752533 B2 JP6752533 B2 JP 6752533B2 JP 2018045190 A JP2018045190 A JP 2018045190A JP 2018045190 A JP2018045190 A JP 2018045190A JP 6752533 B2 JP6752533 B2 JP 6752533B2
Authority
JP
Japan
Prior art keywords
dust
person
image
color information
garbage truck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018045190A
Other languages
English (en)
Other versions
JP2019156564A (ja
Inventor
賢二 島田
賢二 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinmaywa Industries Ltd
Original Assignee
Shinmaywa Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinmaywa Industries Ltd filed Critical Shinmaywa Industries Ltd
Priority to JP2018045190A priority Critical patent/JP6752533B2/ja
Publication of JP2019156564A publication Critical patent/JP2019156564A/ja
Application granted granted Critical
Publication of JP6752533B2 publication Critical patent/JP6752533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Refuse-Collection Vehicles (AREA)

Description

本発明は、塵芥収集車およびこれに装備された人物認識装置に関する。
従来より、塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置が装備されており、塵芥投入箱内に塵芥投入口から投入される塵芥を、回転板や積込板などによって掻き込んで、塵芥収容箱への積み込みを行うようになっている。また、塵芥投入口に塵芥を投入する作業者などが、不注意によって塵芥積込装置に巻き込まれることを防止するために、塵芥投入口の近傍の人物を監視する監視システムが提案されている(例えば、特許文献1参照)。
この特許文献1に記載の監視システムでは、塵芥投入箱の後方上部に撮像手段としてのカメラを配設して、下方の塵芥投入口およびその後方の所定エリアを撮影するようにしている。そして、塵芥積込装置の作動中にカメラによって撮影した画像のデータを画像処理装置に送信し、この画像において予め設定されている侵入禁止エリア内に人物が侵入したと判定すれば、塵芥積込装置の作動を停止させるようにしている。
特許第4283568号公報
ところで、作業者は、その手でごみ袋を塵芥投入口に積み込むことが多く塵芥積込装置に巻き込まれることを防ぐためには、作業者の手を識別することが望ましい。この場合、作業者の手に装着した装着物(例えば、手袋、リストバンドなど)の色情報(例えばRGB値など)に基づいて、作業者の手を識別することが可能である。
例えば、予め登録された数種類の検出対象色に対応する装着物を使用して、作業者が積込作業を行うことで、カメラによって撮影された画像中に検出対象色が検出された場合、画像中の物体像が人物の手であると識別するようにしている。そして、手であると識別された物体像が、塵芥投入口近傍の所定エリアに入っているか否かを判定するようにしている。
しかし、従来では、検出対象色とそれに対応する装着物の組み合わせが限られていたため、実際に装着した装着物の色が検出対象色と僅かに異なる場合があり、この場合、装着物の色情報を検出したとしても人物の手ではないと識別される可能があった。また、塵芥収集車の塗装色やごみ袋の色が検出対象色に類似している場合があり、この場合、装着物以外の物(塵芥収集車やごみ袋)を人物の手であると誤って識別する可能があった。
本発明は、上述したような実情を考慮してなされたものであって、カメラによって撮影された画像に基づいて、人物の手や足であるか否かの識別を精度よく行うことが可能な塵芥収集車およびこれに装備された人物認識装置を提供することを目的とする。
本発明は、上述の課題を解決するための手段を以下のように構成している。すなわち、本発明は、塵芥収集車の塵芥投入口の近傍をカメラによって撮影し、その画像のデータに基づいて、前記塵芥投入口近傍の人物を認識するようにした人物認識装置であって、前記カメラによって撮影された画像における物体像の色情報を検出し、検出された色情報を人物の手または足への装着物について記憶部に登録された検出対象色と比較して、前記物体像が人物の手または足であるか否かを識別する人物識別部と、前記人物識別部の識別で用いる前記検出対象色として、前記カメラによって予め撮影された画像における前記装着物の色情報を前記記憶部に登録する色情報登録部と、前記人物識別部によって手または足であると識別された物体像が、前記塵芥投入口近傍の所定エリアに入っているか否かを判定する人物位置判定部と、を備えていることを特徴としている。
上記構成によれば、手や足への装着物の色情報そのものを検出対象色として記憶部に登録するのではなく、カメラによって撮影された画像における装着物の色情報を取得し、取得した色情報を登録対象色として記憶部に登録するようにしている。これにより、作業者が実際に使用する装着物の色情報を、登録対象色として予め記憶部に登録することができるので、塵芥投入口の近傍を撮影するカメラの画像に基づいて、人物の手や足であるか否かの識別を精度よく行うことができる。
そして、従来とは異なり、検出対象色とそれに対応する装着物の組み合わせが制限されることがなくなり、作業環境に適した色を有する装着物を自由に選択して使用することができる。例えば、塵芥収集車の車体色や指定のごみ袋の色は地域によって異なっているが、これらの色と間違いなく識別できるような色を有する装着物を使用することができる。また、装着物を新たに購入したり、経年劣化により装着物の色の変化等に起因して、人物の手や足であるか否かの識別精度の低下が確認された場合には、新たな検出対象色の登録を容易に行うことができ、装着物の経年劣化や買い換え等に柔軟に対応することができ、識別精度を向上させることができる。
本発明において、前記カメラによって撮影された画像をモニタに表示させる画像出力部を備え、前記色情報登録部は、前記モニタに表示された画像のうち、指定された所定位置の画像の色情報を取得し、取得した色情報を前記検出対象色として前記記憶部に登録するように構成されていることが好ましい。この構成によれば、塵芥投入口の近傍を撮影するカメラの画像に基づいて、モニタに表示された装着物の画像を確認しながら、検出対象色の登録を容易に行うことができる。
本発明において、前記装着物は、手袋、リストバンド、および靴の少なくとも1つであることが好ましい。ここで、リストバンドの場合、このリストバンドを周回するような縞模様を設けることが好ましい。こうすれば、リストバンドを周回する縞模様の色情報を、手の向きに関係なく同じように検出することができる。
見方を変えると本発明は、上記のような人物認識装置が装備された塵芥収集車であって、前記塵芥投入口は、塵芥収集車の後部に設けられた塵芥投入箱の背面に開口し、この塵芥投入箱内に、塵芥収容箱に塵芥を積み込み可能な塵芥積込装置が装備されている。そして、上記のような画像処理装置の人物位置判定部において、人物の手または足であると識別された物体像が前記所定エリアに入っていると判定された場合には、前記塵芥積込装置の作動を停止するように構成されている。この構成によれば、塵芥投入口の近傍の人物をカメラの画像に基づいて認識する場合に、その画像中の物体像の大きさや形状が変化しやすい手や足についても、装着物の色の情報によって正確に識別することができる。そして、この判定に基づき必要に応じて塵芥積込装置を停止させることによって、安全性の確保を図ることができる。
本発明に係る塵芥収集車の人物認識装置によれば、手や足への装着物の色情報そのものを検出対象色として記憶部に登録するのではなく、カメラによって撮影された画像における装着物の色情報を取得し、取得した色情報を登録対象色として記憶部に登録するようにしている。これにより、作業者が実際に使用する装着物の色情報を、登録対象色として予め記憶部に登録することができるので、塵芥投入口の近傍を撮影するカメラの画像に基づいて、人物の手や足であるか否かの識別を精度よく行うことができる。
本発明の実施形態に係る塵芥収集車を示す側面図である。 図1の塵芥収集車に装備された塵芥積込装置の作動の説明図である。 図1の塵芥収集車の塵芥積込装置の油圧回路図である。 図1の塵芥収集車の制御装置とその入出力状態を示す概略図である。 図1の塵芥収集車に装備された人物認識装置の概略構成を示す説明図である。 ごみ袋を塵芥投入口に積み込む作業者を斜め後方から示す説明図である。 カメラによって撮影された画像であって、モニタに表示された画像の一例を示す説明図である。 画像処理・判断ルーチンの一例を示すフローチャートである。 リストバンドについて一例を示す説明図である。
本発明を回転式の塵芥収集車に適用した実施形態について、図面を参照して説明する。なお、以下の説明においては、便宜上、塵芥収集車の前後左右を単に「前後左右」と言うこともある。
図1には、本発明の実施形態に係る人物認識装置を装備した塵芥収集車100を示している。塵芥収集車100では、車台1上に塵芥収容箱2と塵芥投入箱3とが設けられており、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって塵芥収容箱2に対して軸支されており、図示しない左右一対の傾動シリンダによって傾動されるようになっている。
また、塵芥投入箱3の背面における下寄りの部位には、塵芥を投入するための略矩形状の塵芥投入口4が開口され、昇降可能なテールゲート5によって、塵芥投入口4が開閉されるようになっている。塵芥投入口4の左側方には、塵芥積込装置の作動などの操作のためのスイッチボックス6が設けられている。また、塵芥投入口4の上方には、塵芥投入口4の近傍のエリアを撮影するようにカメラ7が配設されている。さらに、塵芥投入口4の上方には塵芥投入口4の近傍のエリアを照らすように作業灯8が配設されている。
図2に示すように、塵芥投入箱3の内部には、投入された塵芥を塵芥収容箱2に積み込む塵芥積込装置が装備されている。本実施形態の塵芥積込装置は、回転板(積込部材)10の回転によって塵芥を掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転式の塵芥積込装置として構成されている。具体的には、塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
図示の例では、回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。この油圧モータ13の回転が減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
一方、押込板20は、回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
具体的には、図2に実線で示すように、押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図2に仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
このようにして回転する回転板10は、塵芥を塵芥収容箱2側に掻き込んで、図2に実線で示すように、前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると、今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥を塵芥収容箱2に押し込んでいく。そして、押込板20が再び前進限界位置に達すると、再び回転板10が上方へ回動するようになる。
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥が連続的に塵芥収容箱2に積み込まれる塵芥積込作動が行われる。このように回転板10および押込板20を作動させるための油圧回路および電子制御装置(制御系)の構成については後述する。
塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1〜LS4が設けられている。具体的には、図2に示すように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4とが設けられている。
なお、スイッチLS1,LS2は、押込板20の揺動軸21の端部に設けられた図示しないドグを検出するようになっており、スイッチLS3〜LS4は、回転板10の回転軸11の端部に設けられた図示しないドグを検出するようになっている。また、これらのスイッチLS1〜LS4としては、例えばリミットスイッチ、光電スイッチ、近接スイッチなどを用いることができる。
また、スイッチLS4は、図2にハッチングで示すように、回転板10が塵芥投入口4の前縁部4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出するためのセンサである。この角度範囲Zにおいては回転板10が作業者の体の一部を巻き込む危険性があるので、以下では「危険な角度範囲Z」と言う。
さらに、図1、図2に示すように、塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止ボタン60,61や、緊急停止プレート62などが配設されている。図1に示すように、塵芥投入口4の左側のスイッチボックス6に緊急停止ボタン60が配設され、また、図2に破線で示すように、塵芥投入口4の右側に緊急停止ボタン61が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW3をオンオフするように配設されている。
−塵芥積込装置の制御系−
次に、図3、図4を参照して、塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や、押込シリンダ24などに供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する制御装置PLC(プログラマブル ロジック コントローラ)とを備えている。
まず、図3を参照して油圧回路について説明する。この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2とを備えている。なお、油圧ポンプPには、図示しないエンジンの駆動力がPTO(パワー テイク オフ)を介して伝達されるようになっている。
一例として、電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切替弁からなる。電磁制御弁V1は、制御装置PLCによりソレノイドSOLaが励磁されると第1連通位置(図3の上位置)に切り替わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する。一方、電磁制御弁V1は、制御装置PLCによりソレノイドSOLbが励磁されると第2連通位置(図3の下位置)に切り替わって、作動油をヘッド側油室に供給する。
そして、電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、いずれのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図3の中央位置)に復帰するようになる。
電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図3の下位置)に切り替わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させるほか、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図3の上位置)に切り替わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図3の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において、符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。
次に、図4を参照して制御装置PLCなどの信号の入出力状態について説明する。まず、制御装置PLCへの電力供給は図4の左上(図4のモニタ93の下方)に示すバッテリBTによって行われる。このバッテリBTの正極から図4の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のキースイッチSWK、PTOスイッチSWP、リレーコイルCR1などが介設されている。
また、キースイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)にはリレーコイルCR1の接点cr1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルCR1がオンになって接点cr1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。
また、リレーコイルCR1の接点cr1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより制御装置PLCの信号用電力供給部(図示せず)に電力が供給されるようになっている。つまり、接点cr1が閉じられると、通電ラインK3,K4を介して制御装置PLCに電力が供給される。
さらに、通電ラインK4から分岐する通電ラインK5によって、塵芥積込装置の塵芥積込作動中には必ず制御装置PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1〜SW3などが介設されている。
これらのスイッチSW1〜SW3によって通電(つまり、積込継続信号の入力)が遮断されると、制御装置PLCの作動が停止される。これにより、電磁制御弁V1,V2のソレノイドSOLa〜SOLdを励磁させるための制御装置PLCからの制御信号の出力が全て途絶えて、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、上述したスイッチLS1〜LS4が介設されている。そのうちのスイッチLS1〜LS3からの信号は制御装置PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、言い換えれば作動状況が検出される。
さらに、スイッチLS1〜LS3の他にも制御装置PLCへの入力側には、図示しない塵芥積込装置の始動および停止スイッチ、塵芥積込作動の単動または連続の選択スイッチ、塵芥積込作動および塵芥排出作動の選択スイッチ、回転板10や押込板20を単独で作動させるスイッチ、塵芥投入箱3を傾動させて開放するスイッチなども接続されている。
また、上述したように回転板10が危険な角度範囲Zにあることを検出するスイッチLS4からの信号は、制御装置PLCにではなく、画像処理ユニット9へ入力されるようになっている。これを受けて画像処理ユニット9の中央処理部CPUは、詳しくは後述するが、画像処理部DSPの画像処理結果に基づいて作業者などの人物Hが危険なエリアにいると判定すればリレースイッチSW4を開放させて、通電ラインK5による制御装置PLCへの通電を遮断する。
上述のように各種スイッチが入力側に接続されている一方、制御装置PLCの出力側には、上述した電磁制御弁V1,V2のソレノイドSOLa〜SOLdなどが接続されている。そして、制御装置PLCは、スイッチSW1〜SW3,LS1〜LS3などから入力する信号に基づいて、予め設定された手順に従い、油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa〜SOLdに出力するようにプログラムされている。
具体的には、塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のキースイッチSWKおよびPTOスイッチSWPがいずれも閉じられて、リレーコイルCR1に通電される。これにより、リレーコイルCR1の接点cr1が閉じられるので、通電ラインK3〜K5によって通電されることにより、制御装置PLCが作動可能な状態になって適宜、ソレノイドSOLa〜SOLdに制御信号を出力するようになる。
この制御信号を受けてソレノイドSOLa〜SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り替えられることで、油圧モータ13や押込シリンダ24などに作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、上述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
詳細には、まず図2に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、始動スイッチの信号を受けた制御装置PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り替えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
そして、所定の期間が経過すると制御装置PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り替えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
これを受けて制御装置PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥を塵芥収容箱2側に掻き込んでゆくが、こうして回動する押込板20が設定停止位置に至り、スイッチLS3からオン信号が出力される。
これを受けて制御装置PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、制御装置PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り替えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥を塵芥収容箱2に押し込んでいき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて制御装置PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、つまり、押込板20の前方への揺動が停止し、一連の動作が終了する。
また、図4に示すように、緊急停止用のスイッチSW1〜SW3が介設されている通電ラインK5には、画像処理ユニット9が介設されているとともに、この画像処理ユニット9をバイパスするバイパスラインK6によって制御装置PLCに通電するための切替スイッチSWSも介設されている。また、画像処理ユニット9の出力側(図4の右側)には、作業灯8およびパイロットランプ91が接続されており、その点灯制御が行われる。
−人物認識装置および緊急停止装置−
ところで、上述したように塵芥積込装置が塵芥積込作動をしているときには、塵芥投入口4に塵芥を投入している作業者が不注意から回転板10などに巻き込まれるおそれがある。そこで、本実施形態の塵芥収集車100においては、塵芥投入口4の近傍を撮影するようにカメラ7を配設し、画像処理によって塵芥投入口4近傍の人物が危険なエリアにいると判定すれば、直ちに塵芥積込装置の作動を停止させるようにしている。
具体的には、図5〜図7に示すように、塵芥投入箱3の背面の上部、言い換えれば、塵芥投入口4の上方にはカメラ7が配設され、その撮像レンズ70が後方の斜め下に向けられている。このカメラ7は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影するようになっている。
カメラ7の撮像レンズ70の光軸Aは、塵芥投入口4の後方を撮影するために、鉛直下向きから後方に振り向けられて、塵芥投入口4の近傍の人物Hを上方から撮影するようになっている。また、そのカメラ7の下方に配設された作業灯8も後方斜め下向きとされ、撮像レンズ70の光軸Aと略平行に光を照射して、人物Hをカメラ7の撮影する方向に略正面から照射するようになっている。
このようにして略正面から照明光を当てるようにすれば、人物Hの姿勢が多少、変化してもその見え方が大きく変化することはないので、夜間や地下スペースなどの暗い場所でも、撮影した画像中における人物Hの物体像の変化はあまり大きくならない。また、カメラ7の下方に作業灯8を配設しているので、雨風による作業灯8の汚れを抑制できる上に、そのオンオフを作業者などが視認しやすい。
そして、図4に示すように、カメラ7は、信号分配器92を介して監視用のモニタ93および画像処理ユニット9(画像処理装置であり、例えば図1に破線で示すように、運転席周辺に配設されている)に接続されている。このモニタ93は、塵芥収集車100の運転者にカメラ7の画像を提供するものであり、それと同じ画像が画像処理ユニット9に送信されて、作業者などの人物Hが危険なエリアにいるか否か判定される。
具体的には、図5〜図7には、塵芥投入口4の近傍に立った作業者(人物H)が両腕を前方に伸ばして、ごみ袋を積み込む様子が示されており、この人物Hが危険なエリアにいるか否かを画像処理ユニット9において判定するようになっている。このため、画像処理ユニット9には、図5に模式的に示すように、カメラ7からの画像データを取得して、公知の画像処理を行う画像処理部DSPが設けられている。画像処理部DSPは、公知の画像処理ロジックを高速で行う一般的な集積回路である。
また、画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、この中央処理部CPUや画像処理部DSPにおいて使用されるデータを記憶する記憶部としてのメモリM、中央処理部CPUの指令を受けて開閉されるリレースイッチSW4なども設けられている。そして、中央処理部CPUは、画像処理部DSPの画像処理結果に基づいて人物Hが危険なエリアにいると判定すれば、リレースイッチSW4を開放させる。
ここで、上述したように、塵芥積込装置の積込作動時には、キースイッチSWKおよびPTOスイッチSWPがいずれも閉じられており、通電ラインK3〜K5によって制御装置PLCに通電されている。そして、その通電ラインK5の途中に画像処理ユニット9が介設されているので、この状態でリレースイッチSW4が開放されると、制御装置PLCへの通電が遮断されて、塵芥積込装置の作動が停止されることになる。
つまり、画像処理ユニット9の中央処理部CPUおよびリレースイッチSW4によって、塵芥積込装置の作動を停止させる緊急停止装置が構成されている。また、緊急停止装置として機能する他に、中央処理部CPUは、画像処理ユニット9の作動中には作業灯8を点灯させる一方、故障などの非作動時には消灯させるようになっており、このような作業灯8のオンオフ制御を行う点灯制御部としても機能する。さらに、画像処理ユニット9には、中央処理部CPUの指令を受けてモニタ93に画像処理の結果などを表示させる画像出力部VOP、人物認識処理で用いる検出対象色の登録を行う色情報登録部94、カメラ7の制御を行うカメラ制御部(図示せず)なども設けられている。
−画像処理・判断のルーチン−
画像処理ユニット9は、例えば図8のフローチャートに示すような画像処理・判断のルーチンを実行する。具体的に、図8のフローチャートでは、まず、スタート後のステップS1において、画像処理部DSPによって二値化処理が行われる。この二値化処理は、例えば、入力画像データについて各画素毎の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。なお、このような二値化処理を行う一方で、入力画像データはメモリMに一時保持しておき、これに含まれる色情報を後述する人物識別処理(ステップS3)に使用する。あるいは、入力画像データについてカラー二値化処理も行い、各画素毎の色相値が予め設定された範囲にあるものを色情報として抽出する一方、それ以外は色相の情報を削除するようにしてもよい。
次に、ステップS2において、画像処理部DSPによってラベリング処理が行われる。このラベリング処理は、二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域とみなす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。
そして、ステップS3において、画像処理部DSPによってそれぞれの物体像についての人物識別処理が行われる。本実施形態では、塵芥投入口4の上方に配設したカメラ7によって、下方の塵芥投入口4近傍を撮影するようにしているので、その画像には、図7に一例を示すように人物Hの頭部や手が表示される。ここで、人物Hに対する人物識別処理を行うには、人物Hの頭部を識別することが考えられるが、作業者(人物H)は、塵芥投入口4にごみ袋を投入する際に、両腕を前方に伸ばしてごみ袋を積み込むことがある。よって、その手が塵芥積込装置に巻き込まれることを防止するために、人物Hの頭部よりもむしろその手を識別することが望ましい。しかし、人の手は、開いたり閉じたりすることによって大きく形状が変化する上に、どの向きから撮影するかによって画像中の物体像の形状が大きく変化することになり、さらに、手袋などを装着した場合は、これによって大きさも変化するようになる。このことから、人の手を画像処理によって識別することは困難であると考えられる。
そのような実情を考慮して本実施形態では、図9に一例を示すようなリストバンドLBを作業者の手首に装着させ、リストバンドLBの色情報(例えばRGB値)を検出するようにしている。より詳細には、リストバンドLBを周回するように表示した縞模様SPの色情報を検出するようにしている。リストバンドLBを周回する縞模様SPの色情報は、手の向きに関係なく同じように検出可能になっている。そして、検出されたリストバンドLBの縞模様SPの色情報を予めメモリMに登録されている検出対象色と比較し、検出されたリストバンドLBの縞模様SPの色情報が、検出対象色と一致するか否かを判定することによって、画像中の物体像が人物Hの手を表すものであるか否かを識別するようにしている。なお、リストバンドLBに縞模様SPを設けずに、全体的に所定の色に着色されたリストバンドLBを用いてもよい。
そして、ステップS4において、上記ステップS1〜S3の画像処理部DSPの画像処理結果に基づいて、中央処理部CPUは、人物Hの手であると識別した物体像が予め設定されている危険なエリアに入っているか否かを判定する。この危険なエリアは、例えば図7に示すように、塵芥投入口4の前縁部4aおよび後縁部4bの中央の境界線Bよりも前方、具体的には、塵芥投入口4の奥側が、手に関しての危険なエリアとされている。なお、上述した危険なエリアは一例であって、例えば塵芥投入口4の前縁部4a近傍の矩形の領域を、危険なエリアとして設定してもよい。
詳細には、上述のように人物Hの手であると識別した物体像(領域)の外形をなす画素の位置座標が、危険なエリアに入っているか否か、言い換えれば、境界線Bよりも前方にあるか否かが判定される。そして、人物Hの手が危険なエリアに入っている場合(YES)、ステップS5へ進み、人物Hの手が危険なエリアに入っていない場合(NO)、ステップS7へ進む。
ステップS5において、中央処理部CPUによって塵芥積込装置の回転板10が危険な角度範囲Z(図2参照)にあるか否かが判定される。この判定は、スイッチLS4からの信号の有無に基づいて行われる。そして、スイッチLS4からの信号がオンであり、塵芥積込装置の回転板10が危険な角度範囲Zに有る場合(YES)、ステップS6へ進み、スイッチLS4からの信号がオフであり、回転板10が危険な角度範囲Zに無い場合(NO)、ステップS7へ進む。
ステップS6において、塵芥積込装置の作動を停止させるべく、中央処理部CPUは停止信号(積込装置停止信号)を出力し、画像処理・判断ルーチンを終了する(エンド)。具体的には、中央処理部CPUは、画像処理部DSPの画像処理結果に基づいて人物Hが危険なエリアにいると判定すると、リレースイッチSW4を開放させる。すなわち、図示しないリレーコイルに通電してスイッチの接点を開くことにより、通電ラインK5による制御装置PLCへの通電を遮断する。これにより制御装置PLCの作動が強制的に停止されるので、仮に制御装置PLCに何らかの異常があっても、電磁制御弁V1,V2の全てのソレノイドSOLa〜SOLdへの通電が停止されることになる。よって、第1連通位置または第2連通位置にある電磁制御弁V1,V2が全て中立位置に復帰するようになり、その結果、直ちに油圧モータ13および押込シリンダ24の作動が停止される。つまり、画像処理ユニット9において人物Hの手が一部でも危険なエリアに入っていると判定されれば、塵芥積込装置の作動を停止させるようになっており、これにより、塵芥を積み込む作業者などの安全性の確保が図られている。
ステップS7において、中央処理部CPUにより、画像中の全ての物体像について、人物Hの手であるか否かの識別が済み、かつ、人物Hの手であると識別した物体像が危険なエリアに入っているか否かの判定が済んでいるか否かが判定される。画像中の全ての物体像についての識別および判定が済んでいれば(YES)、このルーチンを終了し、まだ済んでいなければ(NO)、ステップS4へ戻って、上述した手順を繰り返す。
上述したように、ステップS3の人物識別処理では、人物Hの手への装着物の色情報、例えば図9のようなリストバンドLBの色情報を検出し、この検出した装着物の色情報に基づいて、画像中の物体像が人物Hの手であるか否かの識別を行うようにしている。そして、ステップS4では、人物Hの手であると識別した物体像が危険なエリアに入っているか否かの判定を行うようにしている。
ここで、画像処理ユニット9には、色情報登録部94が備えられており、ステップS3の人物認識処理で用いられる検出対象色として、カメラ7によって撮影された画像中の物体像における装着物の色情報(例えばRGB値)を登録可能になっている。具体的には、カメラ7によって撮影された画像中の物体像における装着物の色情報を取得し、この取得した色情報をメモリMに格納する色情報登録プログラムが備えられており、この色情報登録プログラムを中央処理部CPUが実行することによって、カメラ7によって撮影された画像のデータから装着物の色情報を抽出し、この抽出した色情報を検出対象色としてメモリMに格納するように構成されている。以下、人物認識処理で用いられる検出対象色の登録について説明する。
図7には、塵芥投入口4およびその後方の所定範囲をカメラ7によって撮影した画像が、モニタ93に表示された様子を示している。カメラ7によって撮影された画像は、画像処理ユニット9へ入力され、画像処理部DSPにより画像処理された後、画像出力部VOPを介してモニタ93に表示されるようになっている。
本実施形態では、人物認識処理で用いられる検出対象色は、モニタ93に表示された画像、言い換えれば、カメラ7によって撮影された画像に基づいて登録される。検出対象色の登録を行う際には、例えば運転席周辺に設けられた図示しないモード切替スイッチを操作することによって、色情報登録モードに設定する。この色情報登録モードでは、モニタ93に表示された画像のうち、ユーザによって指定された所定位置の画像の色情報(例えばRGB値)が取得(抽出)され、取得された色情報が検出対象色としてメモリMに格納されることによって、検出対象色の登録が行われる。
モニタ93は、例えばタッチパネル式とする。この場合、モニタ93に表示された画像の位置(座標)の指定は、ユーザがモニタ93を直接、押したり、タッチ操作することによって行ってもよいし、あるいは、タッチペン等の操作具を用いて行ってもよい。また、画像処理ユニット9にパソコンなどのコンピュータ装置を接続し、当該コンピュータ装置のモニタ上に表示されるカーソルを画像の所定領域に合わせた状態で、マウスをクリック操作するによって行うことも可能である。なお、上述した画像の色情報の取得は一例であって、他の手段によって画像の色情報を取得してもよい。例えば、画像の位置(1点)ではなく、領域を指定することによって、画像の色情報を取得してもよい。
検出対象色の登録の際には、色情報登録モードに設定した後、ユーザは手にリストバンドLB等の装着物を装着した状態で、塵芥投入口4の近傍に立つ。そして、作業灯8を点灯させた状態で、塵芥投入口4の近傍に立ったユーザ自身をカメラ7によって撮影する。リストバンドLB等の装着物がカメラ7によって撮影可能な範囲内にあれば、ユーザが立つ位置は特に限定されない。
次に、ユーザはモニタ93に表示された画像を見て、カメラ7によって撮影された画像を確認する。そして、モニタ93に表示された画像のうち、リストバンドLB等の装着物が表示された位置P1(図7参照)を、例えば指やタッチペンでモニタ93を直接、押すことによって指定する。これにより、指定した位置P1の色情報(例えばRGB値)が取得(抽出)され、取得された色情報が検出対象色としてメモリMに格納される。
本実施形態では、上述のようにして登録された検出対象色が、上述したステップS3の人物認識処理で用いられる。具体的には、塵芥投入口4の上方に配設したカメラ7によって撮影された画像中に含まれる物体像の色情報が検出され、検出された色情報が検出対象色と一致するか否かが判定される。この場合、検出された色情報が検出対象色と完全に一致していない場合であっても、検出された色情報が検出対象色の所定範囲内に含まれていれば、「一致する」と判定することが可能である。例えば、検出された色情報のRGB値の各値が、検出対象色のRGB値の±5の範囲内に含まれていれば、「一致する」と判定することが可能である。
そして、上記の判定結果に基づいて、カメラ7によって撮影された画像中の物体像が人物Hの手であるか否かが識別される。つまり、検出された色情報が検出対象色と一致すると判定された場合、画像中の物体像が人物Hの手であると識別される。一方、検出された色情報が検出対象色と一致しないと判定された場合、画像中の物体像が人物Hの手ではないと識別される。
本実施形態では、手への装着物(例えばリストバンドLB)の色情報そのものを検出対象色としてメモリMに登録するのではなく、カメラ7によって撮影された画像における装着物の色情報を取得し、取得した色情報を登録対象色としてメモリMに登録するようにしている。これにより、作業者が実際に使用する装着物の色情報を、登録対象色として予めメモリMに登録することができるので、塵芥投入口4の近傍を撮影するカメラ7の画像に基づいて、人物Hの手であるか否かの識別を精度よく行うことができる。
このため、従来とは異なり、検出対象色とそれに対応する装着物の組み合わせが制限されることがなくなり、作業環境に適した色を有する装着物を自由に選択して使用することができる。例えば、塵芥収集車の車体色や指定のごみ袋の色は地域によって異なっているが、これらの色と間違いなく識別できるような色を有する装着物を使用することができる。また、リストバンドLB等の装着物を新たに購入したり、経年劣化により装着物の色の変化等に起因して、人物Hの手であるか否かの識別精度の低下が確認された場合には、新たな検出対象色の登録を容易に行うことができ、装着物の経年劣化や買い換え等に柔軟に対応することができ、識別精度を向上させることができる。
また、色情報登録部94は、モニタ93に表示された画像のうち、指定された所定位置の画像の色情報を取得し、取得した色情報を検出対象色としてメモリMに登録するように構成されているので、塵芥投入口4の近傍を撮影するカメラ7の画像に基づいて、モニタ93に表示された装着物の画像を確認しながら、検出対象色の登録を容易に行うことができる。
−その他の実施形態−
今回、開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。本発明の技術的範囲は、前記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。
上記実施形態では、作業者の手や足に装着する装着物としてリストバンドLBを挙げたが、これに限らず、装着物は、手袋や、靴等であってもよい。この場合、手袋や靴に、上述したリストバンドLBの縞模様SPと同様の模様を設けてもよいし、あるいは、全体的に所定の色に着色された手袋や靴を用いてもよい。
上記実施形態において、人物認識処理で用いられる検出対象色として複数の色情報を登録可能としてもよい。この場合、異なる色の複数のリストバンドLBについてそれぞれ色情報を登録してもよい。また、リストバンドLBの色情報に加えて、手袋の色情報や、靴の色情報を併せて登録してもよい。なお、色情報として、RGB値以外のものを用いてもよい。
上記実施形態において、カメラ7によって撮影された画像中の物体像が人物Hの手であるか否かの識別を次のようにして行ってもよい。画像中の物体像に含まれる検出対象色と一致する画素数をカウントし、一致する画素数が所定値以上の場合に、画像中の物体像を人物Hの手であると識別し、一致する画素数が所定値未満の場合に、画像中の物体像を人物Hの手ではないと識別してもよい。
上記実施形態では、画像処理ユニット9を制御装置PLCへの通電ラインK4に介設して、リレースイッチSW4の開放により制御装置PLCへの通電を遮断するようにしている。しかし、これに限らず、例えば画像処理ユニット9において人物Hが危険なエリアにいると判定したときに、制御装置PLCに停止信号を出力し、これを受けた制御装置PLCによって電磁制御弁V1,V2のソレノイドSOLa〜SOLdへの制御信号の出力を停止させるようにしてもよく、その他、塵芥積込装置の作動を停止させることができる構成であれば採用可能である。
上記実施形態では、いわゆる回転式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されている。しかし、これに限らず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。
本発明は、塵芥投入口の近傍を撮影するカメラの画像に基づいて、人物の手や足であるか否かの識別を行う塵芥収集車およびこれに装備された人物認識装置に利用可能である。
1 車台
2 塵芥収容箱
3 塵芥投入箱
4 塵芥投入口
7 カメラ
9 画像処理ユニット(画像処理装置)
93 モニタ
94 色情報登録部
100 塵芥収集車
LB リストバンド(装着物)
M メモリ(記憶部)

Claims (4)

  1. 塵芥収集車の塵芥投入口の近傍をカメラによって撮影し、その画像のデータに基づいて、前記塵芥投入口近傍の人物を認識するようにした人物認識装置であって、
    前記カメラによって撮影された画像における物体像の色情報を検出し、検出された色情報を、人物の手または足への装着物について記憶部に登録された検出対象色と比較して、前記物体像が人物の手または足であるか否かを識別する人物識別部と、
    前記人物識別部の識別で用いる前記検出対象色として、前記カメラによって予め撮影された画像における前記装着物の色情報を前記記憶部に登録する色情報登録部と、
    前記人物識別部によって手または足であると識別された物体像が、前記塵芥投入口近傍の所定エリアに入っているか否かを判定する人物位置判定部と、を備えていることを特徴とする塵芥収集車の人物認識装置。
  2. 請求項1に記載の塵芥収集車の人物認識装置において、
    前記カメラによって撮影された画像をモニタに表示させる画像出力部を備え、
    前記色情報登録部は、前記モニタに表示された画像のうち、指定された所定位置の画像の色情報を取得し、取得した色情報を前記検出対象色として前記記憶部に登録するように構成されていることを特徴とする塵芥収集車の人物認識装置。
  3. 請求項1または2に記載の塵芥収集車の人物認識装置において、
    前記装着物は、手袋、リストバンド、および靴の少なくとも1つであることを特徴とする塵芥収集車の人物認識装置。
  4. 請求項1〜3のいずれか1つに記載の人物認識装置が装備された塵芥収集車であって、
    前記塵芥投入口は、塵芥収集車の後部に設けられた塵芥投入箱の背面に開口し、この塵芥投入箱内に、塵芥収容箱に塵芥を積み込み可能な塵芥積込装置が装備されており、
    前記人物位置判定部の判定で、人物の手または足であると識別された物体像が前記所定エリアに入っていると判定された場合には、前記塵芥積込装置の作動を停止するように構成されていることを特徴とする塵芥収集車。
JP2018045190A 2018-03-13 2018-03-13 塵芥収集車およびこれに装備された人物認識装置 Active JP6752533B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018045190A JP6752533B2 (ja) 2018-03-13 2018-03-13 塵芥収集車およびこれに装備された人物認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018045190A JP6752533B2 (ja) 2018-03-13 2018-03-13 塵芥収集車およびこれに装備された人物認識装置

Publications (2)

Publication Number Publication Date
JP2019156564A JP2019156564A (ja) 2019-09-19
JP6752533B2 true JP6752533B2 (ja) 2020-09-09

Family

ID=67992300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018045190A Active JP6752533B2 (ja) 2018-03-13 2018-03-13 塵芥収集車およびこれに装備された人物認識装置

Country Status (1)

Country Link
JP (1) JP6752533B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7311377B2 (ja) * 2019-09-30 2023-07-19 新明和工業株式会社 塵芥収集車のメンテナンス装置
JP7394000B2 (ja) * 2020-03-30 2023-12-07 新明和工業株式会社 特装車
JP7394004B2 (ja) * 2020-03-31 2023-12-07 新明和工業株式会社 特装車
JP7438636B2 (ja) 2020-09-28 2024-02-27 新明和工業株式会社 作業車両
CN112362107B (zh) * 2020-11-16 2022-07-12 成都中科大旗软件股份有限公司 智慧环境环保监测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4283568B2 (ja) * 2003-03-07 2009-06-24 富士重工業株式会社 塵芥収集車の監視システム
JP2004343297A (ja) * 2003-05-14 2004-12-02 Hitachi Constr Mach Co Ltd 建設機械の周囲監視装置
JP4485423B2 (ja) * 2005-07-07 2010-06-23 富士フイルム株式会社 監視カメラ、監視方法、及び監視プログラム
JP4509883B2 (ja) * 2005-07-11 2010-07-21 富士フイルム株式会社 撮像システム、撮像装置、撮像方法、及び撮像プログラム

Also Published As

Publication number Publication date
JP2019156564A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6752533B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP6798971B2 (ja) 塵芥収集車
JP7026540B2 (ja) 塵芥収集車の塵芥集計システム
JP7057169B2 (ja) 塵芥収集車
JP6895802B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP2021178736A (ja) 塵芥収集車の人物認識装置
JP6799496B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP6785173B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP6887306B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7016600B2 (ja) 塵芥収集車
JP7284670B2 (ja) 塵芥収集車
JP6887308B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7146370B2 (ja) 特装車両
JP7438636B2 (ja) 作業車両
JP7393905B2 (ja) 塵芥収集車
JP7311377B2 (ja) 塵芥収集車のメンテナンス装置
JP7339785B2 (ja) 塵芥収集車
JP7394004B2 (ja) 特装車
JP7429590B2 (ja) 特装車
JP7299080B2 (ja) 塵芥収集車
JP2021054551A (ja) 塵芥収集車
JP2022054768A (ja) 画像認識検査装置およびその画像認識検査装置を備えた画像認識検査システム
JP7394000B2 (ja) 特装車
JP7076933B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP7421402B2 (ja) 特装車の人物認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200515

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200818

R150 Certificate of patent or registration of utility model

Ref document number: 6752533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250