JP7146370B2 - 特装車両 - Google Patents

特装車両 Download PDF

Info

Publication number
JP7146370B2
JP7146370B2 JP2017099681A JP2017099681A JP7146370B2 JP 7146370 B2 JP7146370 B2 JP 7146370B2 JP 2017099681 A JP2017099681 A JP 2017099681A JP 2017099681 A JP2017099681 A JP 2017099681A JP 7146370 B2 JP7146370 B2 JP 7146370B2
Authority
JP
Japan
Prior art keywords
area
person
garbage
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017099681A
Other languages
English (en)
Other versions
JP2018193205A (ja
Inventor
優介 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinmaywa Industries Ltd
Original Assignee
Shinmaywa Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinmaywa Industries Ltd filed Critical Shinmaywa Industries Ltd
Priority to JP2017099681A priority Critical patent/JP7146370B2/ja
Publication of JP2018193205A publication Critical patent/JP2018193205A/ja
Application granted granted Critical
Publication of JP7146370B2 publication Critical patent/JP7146370B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00Technologies for solid waste management
    • Y02W30/10Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Refuse-Collection Vehicles (AREA)

Description

本発明は、例えば塵芥収集車などの特装車両に関し、特に、車台上に架装された可動装置の近傍に人物がいると判定すれば、その可動装置の作動を停止させるようにしたものに係る。
従来より、一例として塵芥収集車においては、車台の後部に設けられた塵芥投入箱内に塵芥積込装置(可動装置)が装備されており、その塵芥投入箱内に塵芥投入口から投入される塵芥を回転板や積込板などによって掻き込んで、塵芥収容箱に積み込むようになっている。また、そうして塵芥投入口に塵芥を投入する作業者などが、不注意によって塵芥積込装置に巻き込まれることを防止するために、塵芥投入口の近傍の人物を監視する監視システムが種々、提案されている。
例えば特許文献1に記載の監視システムでは、塵芥投入箱の後方上部に撮像手段としてのカメラを配設し、下方の塵芥投入口およびその後方を撮影するようにしている。そして、塵芥積込装置の作動中に前記のカメラによって撮影した画像のデータを画像処理装置に送信し、この画像において予め設定されている進入禁止領域内に人物が侵入したと判定すれば、塵芥積込装置の作動を停止させるようにしている。
特許第4283568号公報
ところで、前記従来例のような監視システムにおいて、塵芥投入口の近傍を撮影するカメラとしては、塵芥収集車の運転者が後方を監視するためのバックカメラを利用することができるものの、その画像のデータを入力する画像処理装置は専用に設けなくてはならないので、コストアップが問題となる。
すなわち、近年の画像処理技術の向上によりカメラの画像において人物を認識し、その位置が予め設定した領域(従来例の進入禁止領域)内か否かをかなり正確に判定できるようになっているが、そのような万が一の安全装置としての機能だけでは、システムのコストに見合った導入メリットがあるとは言えず、このことが普及の妨げとなっていると考えられる。
本発明は、かかる問題点に着目してなされたものであり、例えば塵芥積込装置のような可動装置の近傍に人物がいることを判定し、必要に応じて可動装置を緊急停止させるようにしたシステムに、日常の作業にも寄与する付加価値を追加することによって、その普及を促すことを目的とする。
前記の目的を達成するために本発明は、車台上に可動装置が架装された特装車両を対象として、前記可動装置の近傍をカメラによって撮影した画像のデータを入力し、前記可動装置の近傍に予め設定された第1のエリアと第2エリアと第3エリアに人物がいることを判定する画像処理装置と、前記画像処理装置によって第1のエリアに人物がいると判定されれば、前記可動装置の作動を停止させる緊急停止装置とを備えている。
そして、前記画像処理装置は、前記第1のエリアよりも可動装置から離れた第2のエリアに人物がいるか否か、および、さらに離れた第3のエリアに人物がいるか否かも判定するように構成され、前記第3のエリアに人物がいると判定されたときに、第2のエリアにいると判定されたときよりも作動速度が高くなるように、前記可動装置を制御する制御装置を備え、前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、前記塵芥投入箱の背面に開口する塵芥投入口の近傍に、前記第1のエリアが設定され、この第1のエリアよりも後方の所定範囲が前記第2のエリアに設定され、この第2のエリアよりも後方の所定範囲が前記第3のエリアに設定され、前記画像処理装置は、前記画像における物体像の特徴データを人物の特徴データと比較して、物体像が人物を表すものか否か仮判定する人物識別部と、前記人物識別部によって人物の特徴を表すと仮判定された物体像が、前記第1、第2および第3のエリアに入っているか否か判定する人物位置判定部とを備え、さらに、前記画像処理装置は、前記仮判定された物体像が所定の閾値以下の移動速度である場合に、前記仮判定された物体像を人物の頭部と判定し、人物の頭部と判定された物体像が前記第2のエリアと前記第3のエリアとに跨っているときには、前記第2のエリアにいると判定されたときよりも作動速度が高くなるようにする前記制御を行わないように構成したものである。
このような構成の特装車両においては、その車台上に架装された可動装置近傍の第1のエリアに人物がいると、このことが画像処理装置によって判定されて、緊急停止装置によって前記可動装置の作動が停止される。前記第1のエリアは、上述した従来例(特許文献1)の進入禁止領域と同様に予め設定しておけば、この従来例と同様に人物が可動装置に巻き込まれることを防止でき、安全性の確保が図られる。
一方、前記第1のエリアよりも可動装置から離れた第2、第3のエリアに人物がいるときには、可動装置の作動を緊急停止させる必要はなく、特に第3のエリアに人物がいるときには、第2のエリアを飛び越して第1のエリアに進入する心配はない。そこで、このときには制御手段によって、第2のエリアにいると判定されたときよりも作動速度が高くなるように、可動装置の制御が行われる。
つまり、可動装置の近傍にいる人物の安全性を確保するためのシステムを利用して、この人物と可動装置との間隔について判定し、可動装置から所定以上、離れていて、直ちに危険なエリアに入る心配がないときには、可動装置の作動速度を高めるようにしている。このことによって可動装置の作業効率を高め、日常の作業に寄与する付加価値を追加することができるので、緊急停止装置の普及が促進される。
前記のような特装車両としては例えば、上述した従来例(特許文献1)に記載の塵芥収集車が好ましく、この場合に前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置である。そして、その塵芥投入箱の背面に開口する塵芥投入口の近傍に、前記第1のエリアを設定され、この第1のエリアよりも後方の所定範囲を前記第2のエリアに設定し、この第2のエリアよりも後方の所定範囲を前記第3のエリアに設定すればよい。
こうすれば、ごみ袋などの塵芥を投入する作業者が塵芥投入口に近づき過ぎて、巻き込まれるおそれのある第1のエリアに進入したときに、塵芥積込装置の作動を緊急停止させて、その安全性を確保することが出来る。一方、塵芥を運ぶために作業者が塵芥投入口から離れて、第2のエリアの外に出れば、塵芥積込装置の作動速度が高くなるので、次に塵芥を投入するまでの待ち時間を短縮でき、作業効率が高くなる。
より好ましいのは前記制御装置によって、前記第3のエリアにおける人物の位置および移動速度の少なくとも一方を検知し、その位置が塵芥投入口から遠いほど、或いは、その移動速度が低いほど、前記可動装置の作動速度が高くなるように制御することである。こうすれば、より危険が少ないときほど、より作動速度を高めるという、きめ細かな速度制御によって作業効率を一層、高めることができ、安全性の確保と作業効率の向上とを高次元で両立できる。
本発明に係る特装車両は、車台に架装された可動装置の近傍に人物がいることを判定し、必要に応じて可動装置を緊急停止させるシステムを利用して、その人物が可動装置から所定以上、離れていて、直ちに危険なエリアに入る心配がないときには、可動装置の作動速度を高め、作業効率を高めるようにしている。これにより、作業者などの人物の安全性を確保しつつ、日常の作業にも寄与する付加価値を追加して、システムの普及を促進することができる。
本発明の実施形態に係る塵芥収集車を示す側面図である。 図1の塵芥収集車に装備された塵芥積込装置の作動の説明図である。 図1の塵芥収集車の塵芥積込装置の油圧回路図である。 図1の塵芥収集車の制御装置とその入出力状態を示す概略図である。 図1の塵芥収集車に装備された人物認識装置の概略構成を示す説明図である。 ごみ袋を塵芥投入口に積み込む作業者を斜め後方から示す説明図である。 カメラによって撮影された画像の一例を示す説明図である。 画像処理ルーチンの一例を示すフローチャートである。 作業者が増速エリアにいる場合について示す図5相当図である。
以下、本発明を回転式の塵芥収集車(特装車両)として具現化した実施形態について、図面を参照して説明する。なお、以下の説明においては便宜上、塵芥収集車の前後左右を単に前後左右と呼ぶこともある。
図1には、本発明の実施形態に係る人物認識装置を装備した塵芥収集車100を示し、その車台1上には塵芥収容箱2と塵芥投入箱3とが設けられていて、塵芥収容箱2の後方の開口部と塵芥投入箱3の前面の開口部とが連通されている。また、塵芥投入箱3は、その上部に設けられた左右方向の枢軸3aによって軸支されており、図示しないが、左右一対の傾動シリンダによって傾動されるようになっている。
また、前記塵芥投入箱3の背面における下寄りの部位には、塵芥を投入するための矩形状の塵芥投入口4(図6、7も参照)が開口され、昇降可能なテールゲート5によって開閉されるようになっている。この塵芥投入口4の左側方には、塵芥積込装置の作動などの操作のためのスイッチボックス6が設けられており、また、塵芥投入口4の上方には、詳しくは後述するが、塵芥投入口4の近傍を撮影するようにカメラ7が配設され、その下方には塵芥投入口4の近傍を照らすように作業灯8が配設されている。
図2に拡大して示すように塵芥投入箱3の内部には、投入された塵芥を塵芥収容箱2に積み込む塵芥積込装置(可動装置)が装備されている。本実施形態の塵芥積込装置は、回転板10の回転によって塵芥を掻き上げるとともに、押込板20によって塵芥収容箱2内へと押し込む、いわゆる回転式のものである。すなわち、まず、塵芥投入箱3内の下部においてその幅方向に延びるように回転軸11が架設され、これに回転板10の基端側が固定されている。
図示の例では前記回転軸11の端部に減速機構12を介して正逆回転可能な油圧モータ13が連結されている。よって、油圧モータ13の回転は減速機構12によりトルクアップされて回転軸11に伝達され、この回転軸11と一体に回転板10が回転されることで、その先端部は、断面略半円弧状に形成された塵芥投入箱3の底壁に沿って前後方向に移動するようになる。
一方、押込板20は、前記回転板10の上方において塵芥投入箱3の幅方向全体に亘って設けられ、その上部に設けられた左右方向の揺動軸21の周りに前後方向に揺動自在に支持されている。また、押込板20には、揺動軸21よりも上方に延びる延設部22が設けられ、この延設部22とその前方の支持ピン23との間に押込シリンダ24が架設されており、その伸縮作動によって押込板20を前後方向に揺動させるようになっている。
すなわち、図2に実線で示すように押込板20が塵芥収容箱2の側に最も揺動した位置(前進限界位置)にあるときは、この押込板20に干渉することなく回転板10が上方に回動するようになり、これに遅れて押込板20が塵芥投入口4側へ揺動する。そして、押込板20が塵芥投入口4側に最も揺動し、図2には仮想線で示す後退限界位置に達した後も、回転板10の回動は継続される。
こうして回転する回転板10は、塵芥を塵芥収容箱2側に掻き込んで、図2に実線で示すように前方の塵芥収容箱2側に延びる設定停止位置に一旦、停止する。そうすると今度は押込板20が塵芥収容箱2側に揺動して、回転板10上の塵芥を塵芥収容箱2に押し込んでゆく。そして、押込板20が再び前記の前進限界位置に達すれば、再び回転板10が上方へ回動するようになる。
このように互いに同期して回転板10の回転および押込板20の揺動が繰り返されることによって、塵芥投入箱3に投入された塵芥が連続的に塵芥収容箱2に積み込まれる(以下、塵芥積込作動と呼ぶ)。そのように回転板10および押込板20を作動させるための油圧回路および電子制御装置(制御系)の構成については以下に述べるが、そのために塵芥投入箱3の内部には、回転板10および押込板20の位置を検出するためのスイッチLS1~LS4が設けられている。
すなわち、図2に表れているように、押込板20が前進限界位置または後退限界位置にあるときにそれぞれオンになるスイッチLS1,LS2と、回転板10が設定停止位置にあるときにオンになるスイッチLS3と、その設定停止位置から回転板10が正の向き(図1の時計回り)に所定角度回転したときにオンになり、さらに所定角度回転したときにオフになるスイッチLS4と、が設けられている。
なお、スイッチLS1,LS2は、押込板20の揺動軸21(例えばその端部)に設けられた図示省略のドグを検出するようになっており、スイッチLS3,LS4は、回転板10の回転軸11の端部に設けられた図示省略のドグを検出するようになっている。これらのスイッチLS1~LS4としては例えばリミットスイッチ、光電スイッチ、近接スイッチなどを使用することができる。
また、スイッチLS4は、図2にハッチングで示すように、回転板10が塵芥投入口4の前縁部4aの真下から、その後方へ回転しつつ下降して塵芥投入口4の後縁部4bに最も近接するまでの角度範囲Zを検出するもので、回転板10が塵芥投入口4の近傍にて作動していることを検出する。この角度範囲Zにおいては回転板10が作業者の体の一部を巻き込む危険性があるので、以下では危険な角度範囲Zと呼ぶ。
さらに、図1、2に表れているように塵芥投入口4の近傍には、塵芥積込装置の作動を停止させるための緊急停止ボタン60,61や緊急停止プレート62などが配設されている。図1に表れているように塵芥投入口4の左側のスイッチボックス6に緊急停止ボタン60が配設され、また、図2に破線で示すように塵芥投入口4の右側に緊急停止ボタン61が配設されている。緊急停止プレート62は、塵芥投入口4の下方においてスイッチSW3をオンオフするように配設されている。
-塵芥積込装置の制御系-
次に、図3および図4を参照して、前記のように塵芥積込装置を作動させるための制御系について説明する。この制御系は、塵芥積込装置の油圧モータ13や押込シリンダ24などに供給する油圧を制御する油圧回路と、この油圧回路に設けられた電磁制御弁V1,V2に制御信号を出力する制御装置PLC(プログラマブル ロジック コントローラ)と、を備えている。
まず、図3を参照して油圧回路について説明すると、この油圧回路は、油圧ポンプPと、オイルリザーバTと、押込シリンダ24を制御するための電磁制御弁V1と、油圧モータ13を制御するための電磁制御弁V2と、を備えている。なお、油圧ポンプPは、電磁油圧式のアクチュエータACTの作動によって傾転角が変更され、ポンプ容量が変化するプランジャポンプであり、図示しないが、エンジンの駆動力がPTO(パワー テイク オフ)を介して伝達されるようになっている。
一例として電磁制御弁V1,V2は、いずれも6ポート3位置の電磁式の方向切換弁からなる。電磁制御弁V1は、制御装置PLCによりソレノイドSOLaが励磁されると第1連通位置(図の上位置)に切り換わって、油圧ポンプPからの作動油を一対の押込シリンダ24のロッド側油室に供給する一方、制御装置PLCによりソレノイドSOLbが励磁されると第2連通位置(図の下位置)に切り換わって、作動油をヘッド側油室に供給する。
そうして電磁制御弁V1から作動油がヘッド側油室に供給されると、一対の押込シリンダ24が伸長作動して押込板20を前方に揺動させる。一方、作動油がロッド側油室に供給されると、一対の押込シリンダ24は収縮作動して、押込板20を後方に揺動させる。また、いずれのソレノイドSOLa,SOLbも励磁されていないときに、電磁制御弁V1は中立位置(図の中央位置)に復帰するようになる。
一方、電磁制御弁V2は、ソレノイドSOLcが励磁されると第1連通位置(図の下位置)に切り換わって、作動油を油圧モータ13の正転側油室に供給し、当該油圧モータ13を正転作動させるほか、押込シリンダ24も伸縮作動させることができる。一方、ソレノイドSOLdが励磁されると電磁制御弁V2は第2連通位置(図の上位置)に切り換わって、作動油を油圧モータ13の逆転側油室に供給し、当該油圧モータ13を逆転作動させる。
また、いずれのソレノイドSOLc,SOLdも励磁されていないときに、電磁制御弁V2は中立位置(図の中央位置)に復帰するようになる。電磁制御弁V1,V2の両方が中立位置にあるとき、作動油はオイルリザーバTへ還流するようになる。なお、図示の油圧回路において符号V3はチェック弁であり、また、符号V4は、油圧ポンプPの吐出圧の上限を設定するためのリリーフ弁である。
次に、図4を参照して制御装置PLCなどの信号の入出力状態について説明する。まず、制御装置PLCへの電力供給は図の左上(図中のモニタ93の下方)に示すバッテリBTによって行われる。このバッテリBTの正極から図の右側に延びてグランドラインK1に至る通電ラインK2には、塵芥収集車100のキースイッチSWK、PTOスイッチSWP、リレーコイルCR1などが介設されている。
また、前記キースイッチSWKおよびバッテリBTの中間において通電ラインK2から分岐するように、通電ラインK3の上流端が接続されており、その上流側(バッテリBTに近い側)には前記リレーコイルCR1の接点cr1が介設されている。この通電ラインK3には電源ランプLが介設されており、リレーコイルCR1がオンになって接点cr1が閉じられると、通電ラインK3に通電することによって電源ランプLが点灯する。
また、前記リレーコイルCR1の接点cr1および電源ランプLの中間において通電ラインK3から分岐するように、通電ラインK4の上流端が接続されており、これにより制御装置PLCの信号用電力供給部(図示せず)に電力が供給されるようになっている。つまり、前記のように接点cr1が閉じられると、通電ラインK3,K4を介して制御装置PLCに電力が供給される。
さらに、前記の通電ラインK4から分岐する通電ラインK5によっても、塵芥積込装置の塵芥積込作動中には必ず制御装置PLCに通電されるようになっている。つまり、通電ラインK5は、いわゆる積込継続信号を入力するラインであり、ここには、図2を参照して上述した緊急停止ボタン60,61および緊急停止プレート62の操作に対応して開閉されるスイッチSW1~SW3などが介設されている。
これらのスイッチSW1~SW3によって通電(即ち積込継続信号の入力)が遮断されると、制御装置PLCの作動が停止される。これにより、電磁制御弁V1,V2のソレノイドSOLa~SOLdを励磁させるための制御装置PLCからの制御信号の出力が全て途絶えて、電磁制御弁V1,V2が中立位置に復帰するようになり、塵芥積込装置の作動が停止されるようになっている。
また、通電ラインK4にはその途中から分岐する複数の分岐ラインが接続されており、これらの分岐ラインのそれぞれに、図2を参照して上述したスイッチLS1~LS4が介設されている。そのうちのスイッチLS1~LS3からの信号は制御装置PLCに入力されるようになっており、これらの信号に基づいて塵芥積込装置の回転板10および押込板20の位置、即ち作動状況が検出される。
なお、前記のスイッチLS1~LS3の他にも制御装置PLCへの入力側には、図示はしないが、塵芥積込装置の始動および停止スイッチ、塵芥積込作動の単動または連続の選択スイッチ、塵芥積込作動および塵芥排出作動の選択スイッチ、回転板10や押込板20を単独で作動させるスイッチ、塵芥投入箱3を傾動させて開放するスイッチなども接続されている。
また、図2を参照して上述したように回転板10が危険な角度範囲Zにあることを検出するスイッチLS4からの信号は、制御装置PLCにではなくて、画像処理ユニット9へ入力されるようになっている。画像処理ユニット9の中央処理部CPUは、スイッチLS4からの信号を入力しているときに、後述するように画像処理部DSPから停止信号が発せられると、リレースイッチSW4を開放させて、通電ラインK5による制御装置PLCへの通電を遮断する。
前記のように各種スイッチが入力側に接続されている一方、制御装置PLCの出力側には、図3を参照して上述した電磁制御弁V1,V2のソレノイドSOLa~SOLd、油圧ポンプPのアクチュエータACTなどが接続されている。そして、制御装置PLCは、スイッチSW1~SW3,LS1~LS3などから入力する信号に基づいて、予め設定された手順に従い油圧モータ13や押込シリンダ24などを作動させるべく、対応するソレノイドSOLa~SOLdに出力するようにプログラムされている。
すなわち、例えば塵芥積込装置が塵芥積込作動するときには、通電ラインK2上のキースイッチSWKおよびPTOスイッチSWPがいずれも閉じられて、リレーコイルCR1に通電される。これにより、リレーコイルCR1の接点cr1が閉じられるので、通電ラインK3~K5によって通電されることにより、制御装置PLCが作動可能な状態になって適宜、ソレノイドSOLa~SOLdに制御信号を出力するようになる。
この制御信号を受けてソレノイドSOLa~SOLdが励磁され、電磁制御弁V1,V2の位置が適宜、切り換えられることで、油圧モータ13や押込シリンダ24などに作動油圧が供給される。これにより、油圧モータ13や押込シリンダ24などがそれぞれ作動し、図2を参照して上述したように、回転板10の回転および押込板20の揺動が互いに同期して繰り返されることになる。
詳しくは、まず図2に実線で示すように押込板20が前進限界位置にあって、スイッチLS1からオン信号が出力されるとともに、回転板10が設定停止位置にあって、スイッチLS3からもオン信号が出力されるときに、始動スイッチの信号を受けた制御装置PLCから制御信号が出力され、電磁制御弁V2が第1連通位置に切り換えられて、油圧モータ13が正転作動を開始する。これにより、回転板10は上方に回動し始める。
そして、所定の期間が経過すると制御装置PLCから電磁制御弁V1のソレノイドSOLaへ制御信号が出力されて、電磁制御弁V1が第1連通位置に切り換えられ、押込シリンダ24が収縮作動を開始する。これにより押込板20は後方の塵芥投入口4側へ揺動するようになり、この押込板20が後退限界位置に達すると、スイッチLS2からオン信号が出力される。
これを受けて制御装置PLCがソレノイドSOLaへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込板20の揺動が停止する。また、そうして押込板20が揺動している間も回転板10の回動は継続しており、塵芥を塵芥収容箱2側に掻き込んでゆくが、こうして回動する押込板20が設定停止位置に至り、スイッチLS3からオン信号が出力される。
これを受けて制御装置PLCが、電磁制御弁V2のソレノイドSOLcへの制御信号の出力を停止することで、電磁制御弁V2が中立位置に復帰し、油圧モータ13の回動が停止する。また、制御装置PLCは、電磁制御弁V1のソレノイドSOLbへ制御信号を出力し、電磁制御弁V1が第2連通位置に切り換えられて、押込シリンダ24が伸長作動を開始することで、押込板20が前方へ揺動し始める。
こうして前方の塵芥収容箱2側に揺動する押込板20が、回転板10上の塵芥を塵芥収容箱2に押し込んでゆき、前進限界位置に達すれば、スイッチLS1からオン信号が出力される。これを受けて制御装置PLCがソレノイドSOLbへの制御信号の出力を停止することで、電磁制御弁V1が中立位置に復帰し、押込シリンダ24の伸長作動、即ち、押込板20の前方への揺動が停止し、一連の動作が終了する。
なお、図4に表れているように、緊急停止用のスイッチSW1~SW3が介設されている通電ラインK5には、以下に説明する画像処理ユニット9が介設されているとともに、この画像処理ユニット9をバイパスするバイパスラインK6によって制御装置PLCに通電するための切替スイッチSWSも介設されている。また、画像処理ユニット9の出力側(図4の右側)には作業灯8およびパイロットランプ91が接続されており、その点灯制御が行われるようになっている。
-人物認識装置および緊急停止装置-
ところで、前記のように塵芥積込装置が塵芥積込作動をしているときには、塵芥投入口4に塵芥を投入している作業者が不注意から回転板10などに巻き込まれるおそれがある。そこで、本実施形態の塵芥収集車100においては、塵芥投入口4の近傍を撮影するようにカメラ7を配設し、画像処理によって塵芥投入口4近傍の人物が予め設定された危険なエリア(第1のエリア)にいると判定すれば、塵芥積込装置の作動を停止させるようにしている。
すなわち、前記の図1、2に表れている他、図5、6にも示すように、塵芥投入箱3の背面の上部、即ち塵芥投入口4の上方にはカメラ7が配設され、その撮像レンズ70が後方の斜め下に向けられている。このカメラ7は本来、塵芥収集車100の運転者が後方を監視するためのバックカメラとして用いられるものであり、図7に一例を示すように塵芥投入口4およびその後方の所定範囲を撮影するようになっている。
そうして塵芥投入口4の後方を撮影するためにカメラ7の撮像レンズ70の光軸Aは、鉛直下向きから後方に振り向けられており、塵芥投入口4の近傍の人物Hを上方から撮影する。また、そのカメラ7の下方に配設された作業灯8も後方斜め下向きとされ、撮像レンズ70の光軸Aと略平行な向きに光を照射して、人物Hをカメラ7の撮影する方向にほぼ正面から照射するようになっている。
こうしてほぼ正面から光を当てれば、人物Hの姿勢が多少、変化しても、その見え方が大きく変化することはないので、夜間や地下スペースなどの暗い場所でも、撮影した画像中における人物Hの物体像の変化はあまり大きくならない。また、カメラ7の下方に作業灯8を配設しているので、雨風による作業灯8の汚れを抑制できる上に、そのオンオフを作業者などが視認しやすい。
そして、前記の図4に表れているようにカメラ7は、信号分配器92を介して監視用のモニタ93および画像処理ユニット9(画像処理装置であり、例えば図1に破線で示すように運転席周辺に配設されている)に接続されている。そのモニタ93は、塵芥収集車100の運転者にカメラ7の画像を提供するものであり、それと同じ画像が画像処理ユニット9に送信されて、作業者などが危険なエリアにいるか否かの判定に供される。
すなわち、前記の図5~7には、塵芥投入口4の近傍に立った作業者(人物H)が両腕を前方に伸ばして、ごみ袋を積み込む様子が示されており、この人物Hが危険なエリアにいるか否かを画像処理ユニット9において判定するようになっている。そのために画像処理ユニット9には、図5に模式的に示すように、カメラ7からの画像データを入力して、以下に説明する公知の画像処理を行う画像処理部DSPが設けられている。
また、画像処理ユニット9には、所定のプログラムを実行して各種の制御を行う中央処理部CPU、この中央処理部CPUや前記画像処理部DSPにおいて使用されるデータを記憶するメモリM、中央処理部CPUの指令を受けて開閉されるリレースイッチSW4なども設けられている。そして、画像処理部DSPにおいて人物Hが危険なエリアにいると判定すれば、中央処理部CPUがリレースイッチSW4を開放させる。
ここで、図4を参照して上述したように塵芥積込装置の積込作動時には、キースイッチSWKおよびPTOスイッチSWPがいずれも閉じられており、通電ラインK3~K5によって制御装置PLCに通電されている。そして、その通電ラインK5の途中に画像処理ユニット9が介設されているので、ここにおいて前記のようにリレースイッチSW4が開放されると、制御装置PLCへの通電が遮断されて、塵芥積込装置の作動が停止されることになる。
つまり、画像処理ユニット9の中央処理部CPUおよびリレースイッチSW4によって、塵芥積込装置の作動を停止させる緊急停止装置が構成されている。また、中央処理部CPUは、詳しくは後述するが、画像処理の結果に応じて制御装置PLCに増速指令を出力し、塵芥積込装置の作動速度を高める機能も有している。なお、画像処理ユニット9には、中央処理部CPUの指令を受けてモニタ93に画像処理の結果などを表示させる画像出力部VOPやカメラ7の制御を行うカメラ制御部(図示せず)なども設けられている。
-画像処理のルーチン-
前記の画像処理部DSPは、公知の画像処理ロジックを高速で行う一般的な集積回路であり、例えば入力画像データの二値化処理と、この二値化された画像データにおいて互いに近接する各画素について領域化するラベリング処理と、ラベリングにより領域化された物体像の領域が人物像であることを識別する人物識別処理と、人物像と識別された物体像の位置が危険なエリアか否か判定する人物位置判定処理とを行う。
具体的に、図8のフローチャートを参照して画像処理のルーチンについて説明すると、まず、スタート後のステップS1において二値化処理が行われる。これは例えば、入力画像データについて各画素毎の輝度値が予め設定された閾値以上である場合に最大輝度値とし、閾値未満であれば最小輝度値とする処理である。生成される二値化画像データは、ノイズや光量変化の影響の多くが除去されたものとなる。
次にステップS2ではラベリング処理が行われる。これは、前記の二値化画像データにおいて互いに近接する各画素を領域化するものであり、例えば同じ輝度値に属するとともに、所定距離内で密接する複数の画素について1つの領域と見なす処理である。ラベリング処理は画像平面全体について行われ、これにより1つの領域とされたものが、それぞれ物体像として認識される。
そして、続くステップS3~S5において、前記それぞれの物体像についての人物識別処理が行われる。本実施形態では、図5~7を参照して上述したように塵芥投入口4の上方にカメラ7を配設し、下方の塵芥投入口4近傍を撮影するようにしている。このため、その画像には、図7に一例を示すように人物Hの頭部が大きく表示されるとともに、上方から見た顔の一部も表示されることになる。つまり、画像データには人物Hの顔の情報も含まれている。
そこで、まずステップS3では、予め設定されている頭部(顔も含む)の特徴データ、即ち例えば頭部の大きさや形状、頭髪の状態などを示すデータを参照し、この特徴データの条件を満たすような物体像を、仮に人物Hの頭部と判定する。なお、特徴データについては予め多くの人物の頭部(顔も含む)の画像を撮影して、その大きさや形状などの特徴を抽出したものであって、画像処理ユニット9のメモリMに格納されている。
そうして「仮に頭部」と判定した物体像について、それ以外の物体像と識別する処理をステップS4,S5で行う。まず、ステップS4では、カメラ7から時系列に入力される複数の画像データの差分処理(各画素毎の輝度値の差を求める処理)によって、物体像の位置の変化を検出する。そして、この位置の変化、即ち物体像の移動距離を、それに要した時間(画像データを取得する時間間隔)で除算して、物体像の移動速度を算出する。
そして、算出した移動速度が予め設定した閾値以下であるか否か、ステップS5において判定する。この閾値は、塵芥投入口4に塵芥を投入する作業者の頭部の移動速度と、投入される塵芥の移動速度とを区別できるように、予め実験などによって設定されている。よって、算出した移動速度が閾値よりも高ければ、動作が速すぎるので人物Hの頭部ではないと識別し、否定判定して(NO)ルーチンを終了する(エンド)。
一方、前記ステップS5において移動速度が閾値以下であると肯定判定すれば(YES)、物体像は人物Hの頭部であると識別してステップS6に進み、この物体像が予め設定されている危険なエリアに入っているか否か判定する。これは、物体像を形成する領域の外形をなす画素の位置座標が危険なエリアの境界線B1(塵芥投入口4の後縁部4b)よりも前方にあるか否かによって判定できる。
すなわち、人物Hの頭部と識別した物体像が全て危険なエリア外にあると否定判定すれば(NO)、後述のステップS8に進む一方、人物Hの頭部と識別した物体像が一部でも危険なエリア内にあると肯定判定すれば(YES)、ステップS7に進んで塵芥積込装置の作動を停止させるべく、中央処理部CPUへ停止信号を出力し、画像処理ルーチンを終了する(エンド)。
そうして画像処理部DSPから停止信号が発せられると、これを受けた中央処理部CPUは、スイッチLS4からの信号がオンであれば、即ち、回転板10が危険な角度範囲Zにあれば、リレースイッチSW4を開放させる。すなわち、図示しないリレーコイルに通電してスイッチの接点を開くことにより、通電ラインK5による制御装置PLCへの通電を遮断する。
これにより制御装置PLCの作動が強制的に停止されるので、仮に制御装置PLCに何らかの異常があっても、電磁制御弁V1,V2の全てのソレノイドSOLa~SOLdへの通電が停止されることになる。よって、第1連通位置または第2連通位置にある電磁制御弁V1,V2が全て中立位置に復帰するようになり、その結果、直ちに油圧モータ13および押込シリンダ24の作動が停止される。
つまり、前記画像処理ユニット9において人物Hの頭部(顔も含む)が一部でも危険なエリアに入っていると判定されれば、塵芥積込装置の作動を停止させるようになっており、これにより、塵芥を積み込む作業者などの安全性の確保が図られている。なお、人物Hの認識については、その頭部(顔も含む)を識別することに限定されず、例えば手や足などを識別するようにしてもよい。
ところで、前記のような画像処理を行うための画像処理ユニット9は専用に設けなくてはならず、画像データを取得するためのカメラ7はバックカメラを利用することができるものの、コストアップが問題となる。すなわち、前記のように画像処理の結果に基づいて万が一のときに塵芥積込装置を停止させるシステムは、作業者の安全性を確保するだけではコストに見合った導入メリットがあるとは言えず、このことが、普及を妨げていると考えられる。
この点に着目して本実施形態では、前記のように作業者の安全性を確保する機能だけでなく、日常の作業にも寄与する付加価値を追加している。具体的には、前記したフローのステップS6において、人物Hの頭部と識別した物体像が危険なエリアに入っていないと否定判定した場合、ステップS8に進んで、この物体像が前記危険なエリアよりも後方の通常エリアに入っているか否か判定する。
この通常エリアは、図5や図7に表れているように、危険なエリアの境界線B1から後方に予め設定した距離(例えば1mくらい)までとして設定された第2のエリアであり、その後縁の境界線B2よりも後方、例えばカメラ7の視野の範囲内が第3のエリア(以下に説明する増速エリア)として設定されている。これら通常エリアおよび増速エリアに人物Hがいるときには、塵芥積込装置の作動を緊急停止させる必要はない。
前記ステップS8の判定もステップS6の判定と同様に、人物Hの頭部と識別した物体像を形成する領域の外形をなす画素の位置座標が、通常エリアの境界線B2よりも前方にあるか否かによって行われる。そして、例えば図9に示すように人物Hがごみ袋を持って塵芥投入口4へ歩み寄っているときなど、その頭部を表す物体像の全てが通常エリア外(即ち増速エリア内)にあるときは、否定判定して(NO)ステップS9に進み、中央処理部CPUへ増速信号を出力して、画像処理ルーチンを終了する(エンド)。
こうして画像処理部DSPから増速信号が発せられると、これを受けた中央処理部CPUが制御装置PLCに増速指令を出力する。これを受けて制御装置PLCは、アクチュエータACTの作動により油圧ポンプPの傾転角を変更させたり、エンジンを増速させたりして、油圧ポンプPの吐出量を増大させる。これにより、油圧モータ13および押込シリンダ24への作動油の供給流量が増大し、それらの作動速度が高くなる。
すなわち、前記の増速エリアに人物Hがいると判定されたときには、通常エリアを飛び越して危険なエリアに進入する心配はないので、このときには通常エリアにいるときよりも作動速度が高くなるように、塵芥積込装置の増速制御が行われるのである。この際、増速エリアにおける人物Hの位置および移動速度の少なくとも一方に応じて、塵芥積込装置の作動速度を変更することが好ましい。
例えば、人物Hが増速エリアにおいて塵芥投入口4から後方に離れているほど、危険なエリアに進入する可能性は低いので、塵芥積込装置の作動速度はより高くすることができる。また、前記ステップS4で算出した移動速度が低いときも、危険なエリアに進入する可能性は低くなるので、このときも作動速度を高くすることができる。こうしてきめ細かな速度制御を行えば、安全性を確保しつつ作業効率を一層、高めることができる。
一方、本実施形態では、人物Hの頭部を表す物体像が一部でも通常エリア内にあれば、それ以外の部位が境界線B2を越えて後方の増速エリアにあっても、前記ステップS8で肯定判定して(YES)増速信号は出力せずに画像処理ルーチンを終了する(エンド)。つまり、人物Hが通常エリアと増速エリアとに跨っているときには、安全性を優先して前記塵芥積込装置の増速制御は行わないようにしている。
前記図8のフローのステップS3を実行することによって画像処理部DSPは、物体像が人物Hの頭部を表すものか否か判定する人物識別部を構成し、さらに、ステップS4を実行することによって、その物体像が塵芥投入口4近傍の危険なエリアに入っているか否か判定する人物位置判定部を構成する。つまり、画像処理部DSPは、危険なエリアに人物Hがいることを判定する判定装置を構成する。
また、ステップS6,S8を実行することによって画像処理部DSPは、人物Hの頭部を表す物体像が危険なエリアよりも塵芥投入口4から離れた通常エリアに入っているか否か、および、さらに離れた増速エリアに入っているか否かも判定するものとなる。そして、ステップS9において画像処理部DSPから出力された増速信号を受けて、中央処理部CPUから塵芥積込装置の制御装置PLCに増速指令が出力される。
こうして制御装置PLCに増速指令を出力する画像処理ユニット9の中央処理部CPUと、この増速指令を受けて塵芥積込装置の油圧モータ13や押込シリンダ24の作動速度を通常よりも高くする制御装置PLCとによって、人物Hが増速エリアにいるときに通常エリアにいるときよりも作動速度が高くなるように、塵芥積込装置を制御する制御装置が構成される。
以上、説明したように本実施形態に係る塵芥収集車では、まず、塵芥投入口4の上方に配設したカメラ7からの画像のデータを入力して、画像処理ユニット9により塵芥投入口4近傍の危険なエリアに人物Hがいると判定すれば、塵芥積込装置の作動を停止させるようにしている。これにより、人物Hが塵芥積込装置に巻き込まれることを防止して、その安全性を確保することができる。
これに対し、前記の危険なエリアよりも後方に離れた通常エリアや増速エリアにおいては塵芥積込装置の作動を停止させる必要はない。特に、図9に一例を示すように人物Hが増速エリアにいるときには、ここから通常エリアを飛び越して危険なエリアに進入する心配はないので、このときには通常エリアにいるときよりも作動速度が高くなるように、塵芥積込装置を制御することで、作業効率を向上できる。
つまり、塵芥を積み込む作業者などが塵芥投入口4近傍の危険なエリアにいるときには、塵芥積込装置の作動を停止させて、その安全性を確保することができる一方、塵芥投入口4から十分に離れていれば塵芥積込装置の作動速度を高めることによって、作業の効率を高めることができる。このように、日常の作業に寄与する付加価値を追加することができるので、画像処理ユニット9などによるコストアップがあってもシステムの普及を促進できる。
-その他の実施形態-
以上、本発明の好適な実施形態について説明したが、これは1つの具体例を示したに過ぎず、特に本発明を限定するものではないから、具体的な構成などは適宜、設計変更可能である。例えば前記の実施形態では、カメラ7の画像データを画像処理ユニット9に入力し、画像処理によって人物Hの位置を判定するようにしているが、これに限らず、例えば塵芥投入口4の近傍に配設したレーダーや超音波センサなどによって、人物を判定するようにしてもよい。
また、前記の実施形態では、画像処理ユニット9を制御装置PLCへの通電ラインK4に介設して、リレースイッチSW4の開放により制御装置PLCへの通電を遮断するようにしているが、これにも限定されない。すなわち、例えば画像処理ユニット9において人物Hが危険なエリアにいると判定したときに、制御装置PLCに停止信号を出力し、これを受けた制御装置PLCによって電磁制御弁V1,V2のソレノイドSOLa~SOLdへの制御信号の出力を停止させるようにしてもよく、その他、塵芥積込装置の作動を停止させることができる構成であれば採用可能である。
さらに、前記の実施形態では、いわゆる回転式の塵芥積込装置を装備した塵芥収集車100として本発明を具現化した場合について説明しており、塵芥積込装置の主要部は回転板10および押込板20により構成されているが、これにも限定されず、塵芥積込装置の主要部は昇降板および押込板によって構成されていてもよく、その構造を特に限定するものではない。また、本発明は塵芥収集車以外の特装車両にも適用することができ、可動装置としては塵芥積込装置以外の種々のものが考えられる。
100 塵芥収集車(特装車両)
1 車台
2 塵芥収容箱
3 塵芥投入箱
4 塵芥投入口
7 カメラ
9 画像処理ユニット(画像処理装置:判定装置)
10 回転板(塵芥積込装置:可動装置)
13 油圧モータ(塵芥積込装置:可動装置)
20 押込板(塵芥積込装置:可動装置)
24 押込シリンダ(塵芥積込装置:可動装置)
H 人物
CPU 画像処理ユニットの中央処理部(緊急停止装置)
DSP 画像処理ユニットの画像処理部(人物識別部、人物位置判定部)
SW4 画像処理ユニットのリレースイッチ(緊急停止装置)

Claims (2)

  1. 車台上に可動装置が架装された特装車両であって、
    前記可動装置の近傍をカメラによって撮影した画像のデータを入力し、前記可動装置の近傍に予め設定された第1のエリアと第2エリアと第3エリアに人物がいることを判定する画像処理装置と、
    前記画像処理装置によって第1のエリアに人物がいると判定されれば、前記可動装置の作動を停止させる緊急停止装置とを備え、
    前記画像処理装置は、前記第1のエリアよりも可動装置から離れた第2のエリアに人物がいるか否か、および、さらに離れた第3のエリアに人物がいるか否かも判定するように構成され、
    前記第3のエリアに人物がいると判定されたときに、第2のエリアにいると判定されたときよりも作動速度が高くなるように、前記可動装置を制御する制御装置を備え、
    前記可動装置は、塵芥投入箱の内部に配設された塵芥積込装置であり、
    前記塵芥投入箱の背面に開口する塵芥投入口の近傍に、前記第1のエリアが設定され、この第1のエリアよりも後方の所定範囲が前記第2のエリアに設定され、この第2のエリアよりも後方の所定範囲が前記第3のエリアに設定され、
    前記画像処理装置は、前記画像における物体像の特徴データを人物の特徴データと比較して、物体像が人物を表すものか否か仮判定する人物識別部と、
    前記人物識別部によって人物の特徴を表すと仮判定された物体像が、前記第1、第2および第3のエリアに入っているか否か判定する人物位置判定部とを備え、
    さらに、前記画像処理装置は、前記仮判定された物体像が所定の閾値以下の移動速度である場合に、前記仮判定された物体像を人物の頭部と判定し、人物の頭部と判定された物体像が前記第2のエリアと前記第3のエリアとに跨っているときには、前記第2のエリアにいると判定されたときよりも作動速度が高くなるようにする前記制御を行わないように構成したことを特徴とする特装車両。
  2. 前記制御装置は、前記第3のエリアにおける人物の位置および移動速度の少なくとも一方を検知して、その位置が塵芥投入口から遠いほど、或いは、その移動速度が低いほど、前記可動装置の作動速度が高くなるように制御する、請求項1に記載の特装車両。
JP2017099681A 2017-05-19 2017-05-19 特装車両 Active JP7146370B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017099681A JP7146370B2 (ja) 2017-05-19 2017-05-19 特装車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017099681A JP7146370B2 (ja) 2017-05-19 2017-05-19 特装車両

Publications (2)

Publication Number Publication Date
JP2018193205A JP2018193205A (ja) 2018-12-06
JP7146370B2 true JP7146370B2 (ja) 2022-10-04

Family

ID=64571344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017099681A Active JP7146370B2 (ja) 2017-05-19 2017-05-19 特装車両

Country Status (1)

Country Link
JP (1) JP7146370B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299080B2 (ja) * 2019-06-20 2023-06-27 新明和工業株式会社 塵芥収集車

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004269137A (ja) 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 塵芥収集車の監視システム
JP2007288460A (ja) 2006-04-17 2007-11-01 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP5265547B2 (ja) 2006-08-25 2013-08-14 コーニング インコーポレイテッド 滑らかで緻密な光学膜を製造する方法
JP2016193473A (ja) 2015-04-01 2016-11-17 富士電機株式会社 駆動制御装置および安全制御システム
JP2018103345A (ja) 2016-12-28 2018-07-05 川崎重工業株式会社 ロボットシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63306894A (ja) * 1987-06-02 1988-12-14 トヨタ自動車株式会社 安全監視方法
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2006039760A (ja) * 2004-07-23 2006-02-09 Victor Co Of Japan Ltd 移動ロボット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004269137A (ja) 2003-03-07 2004-09-30 Fuji Heavy Ind Ltd 塵芥収集車の監視システム
JP2007288460A (ja) 2006-04-17 2007-11-01 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP5265547B2 (ja) 2006-08-25 2013-08-14 コーニング インコーポレイテッド 滑らかで緻密な光学膜を製造する方法
JP2016193473A (ja) 2015-04-01 2016-11-17 富士電機株式会社 駆動制御装置および安全制御システム
JP2018103345A (ja) 2016-12-28 2018-07-05 川崎重工業株式会社 ロボットシステム

Also Published As

Publication number Publication date
JP2018193205A (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6798971B2 (ja) 塵芥収集車
JP7026540B2 (ja) 塵芥収集車の塵芥集計システム
JP2023105008A (ja) 塵芥収集車の人物認識装置
JP6752533B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7146370B2 (ja) 特装車両
JP7057169B2 (ja) 塵芥収集車
JP6895802B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7016600B2 (ja) 塵芥収集車
JP6799496B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP6887308B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP6887306B2 (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7284670B2 (ja) 塵芥収集車
JP2018154464A (ja) 塵芥収集車およびこれに装備された人物認識装置
JP7464367B2 (ja) 塵芥収集車
JP7076933B2 (ja) 塵芥収集車およびこれに装備された緊急停止装置
JP7339785B2 (ja) 塵芥収集車
JP7394004B2 (ja) 特装車
JP7299080B2 (ja) 塵芥収集車
JP2022156310A (ja) 塵芥収集車
JP7429590B2 (ja) 特装車
JP7394000B2 (ja) 特装車
JP7438636B2 (ja) 作業車両
JP7421402B2 (ja) 特装車の人物認識システム
JP2024042484A (ja) 人物認識装置および塵芥収集車
JP2021160835A (ja) 塵芥収集車

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210805

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210813

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210817

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210910

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210914

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211221

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220517

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220823

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220920

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220921

R150 Certificate of patent or registration of utility model

Ref document number: 7146370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150