JP7045532B1 - 駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法 - Google Patents

駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法 Download PDF

Info

Publication number
JP7045532B1
JP7045532B1 JP2021568670A JP2021568670A JP7045532B1 JP 7045532 B1 JP7045532 B1 JP 7045532B1 JP 2021568670 A JP2021568670 A JP 2021568670A JP 2021568670 A JP2021568670 A JP 2021568670A JP 7045532 B1 JP7045532 B1 JP 7045532B1
Authority
JP
Japan
Prior art keywords
video
surveillance camera
layout
train
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021568670A
Other languages
English (en)
Other versions
JPWO2022249271A1 (ja
Inventor
裕貴 井浦
浩 西本
潤 水口
裕康 佐野
明▲徳▼ 平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP7045532B1 publication Critical patent/JP7045532B1/ja
Publication of JPWO2022249271A1 publication Critical patent/JPWO2022249271A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

駅ホーム監視システム(50)は、列車(30)に搭載された運転台のモニタ装置(25)に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信する車上局装置(20)と、制御情報に基づいて映像レイアウトを決定し、映像レイアウトに基づいて、駅ホーム(17)に設置された1つ以上の監視カメラ(16)から取得した映像を用いて監視カメラ映像を生成し、監視カメラ映像を車上局装置(20)に伝送する監視カメラ映像伝送装置(10)と、を備える。

Description

本開示は、駅ホームの状況を監視する駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法に関する。
従来、列車の運転士は、ワンマン運転などの場合、列車の扉の開閉などの際、運転席に設置されたモニタ装置を用いて、駅ホームの状況、すなわち乗降客の状況を監視する業務を行っている。モニタ装置には、駅に設置されている監視カメラなどで撮影された映像が送られてきており、運転士は、映像を切り替えることによって所望の位置の駅ホームの状況を監視することができる。モニタ装置に表示される映像については、自動で切り替える制御が検討されている。特許文献1には、映像切換システムが運転指令所に設置されているモニタ装置に表示される映像を自動的に切り替えることによって、列車のモニタ装置が故障した場合などにおいて、運転指令所の指令員による列車の運行を支援する技術が開示されている。
特開平9-24832号公報
特許文献1に記載の技術を列車のモニタ装置に適用することで、運転士は、映像の切り替え操作を行うことなく、駅ホームの状況を監視することができる。しかしながら、駅ホームの状況、すなわち乗降客の状況は一定ではなく、駅ホームの位置、時間帯などによっても異なり、突発的に混雑状況が変化することもある。そのため、映像が自動的に切り替えられても、運転士が所望する駅ホームの位置の映像を早急に確認できない場合がある、という問題があった。運転士が所望の駅ホームの位置の映像を早急に確認するためには、駅に設置されている各監視カメラで撮影された映像を列車のモニタ装置に常時送信しておくことで、モニタ装置が表示する映像を瞬時に切り替えることができるが、駅から列車へ送信する映像データが多くなるほど必要な通信容量も増大する。
本開示は、上記に鑑みてなされたものであって、駅と列車との間の通信容量を抑制しつつ、駅ホームの所望の位置の状況を列車のモニタ装置で監視可能な駅ホーム監視システムを得ることを目的とする。
上述した課題を解決し、目的を達成するために、本開示の駅ホーム監視システムは、列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信する車上局装置と、制御情報に基づいて映像レイアウトを決定し、映像レイアウトに基づいて、駅ホームに設置された1つ以上の監視カメラから取得した映像を用いて監視カメラ映像を生成し、監視カメラ映像を車上局装置に伝送する監視カメラ映像伝送装置と、を備えることを特徴とする。
本開示に係る駅ホーム監視システムは、駅と列車との間の通信容量を抑制しつつ、駅ホームの所望の位置の状況を列車のモニタ装置で監視できる、という効果を奏する。
実施の形態に係る駅ホーム監視システムの構成例を示す図 実施の形態に係る駅ホーム監視システムの動作を示すフローチャート 実施の形態に係る駅ホーム監視システムで使用される映像レイアウトの例を示す図 実施の形態に係る監視カメラ映像伝送装置の映像制御部において映像レイアウトを自動的に切り替える例を示す第1の図 実施の形態に係る列車と駅ホームとの位置関係を示す第1の図 実施の形態に係る監視カメラ映像伝送装置の映像制御部において映像レイアウトを自動的に切り替える例を示す第2の図 実施の形態に係る列車と駅ホームとの位置関係を示す第2の図 実施の形態に係る監視カメラ映像伝送装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成の一例を示す図 実施の形態に係る監視カメラ映像伝送装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の構成の一例を示す図
以下に、本開示の実施の形態に係る駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法を図面に基づいて詳細に説明する。
実施の形態.
図1は、本実施の形態に係る駅ホーム監視システム50の構成例を示す図である。駅ホーム監視システム50は、駅ホーム17に停車している、または入線してくる列車30に搭載されている車上局装置20に対して、監視カメラ映像伝送装置10が、監視カメラ16で撮影された映像によって構成された監視カメラ映像を伝送するシステムである。列車30の乗務員26は、車上局装置20のモニタ装置25に表示される監視カメラ映像を確認することによって、駅ホーム17の状況を監視することができる。駅ホーム監視システム50は、監視カメラ映像伝送装置10と、車上局装置20と、を備える。
車上局装置20は、列車30に搭載された運転台のモニタ装置25に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信する。車上局装置20は、映像構成指示受付部21と、映像構成指示部22と、5GDU/RU(5th Generation Decentralized Unit/Radio Unit)23と、映像再生部24と、モニタ装置25と、を備える。
映像構成指示受付部21は、列車30の乗務員26から監視カメラ映像の具体的な映像レイアウトを受け付ける。映像構成指示受付部21は、例えば、タッチパネル、ボタンなどである。乗務員26は、映像構成指示受付部21を介して、予め規定された複数の映像レイアウトの中から所望の映像レイアウトを選択することができる。
映像構成指示部22は、映像構成指示受付部21で受け付けられた映像レイアウトに基づいて、監視カメラ映像の映像レイアウトを具体的に指示する映像レイアウト情報を生成する。
5GDU/RU23は、監視カメラ映像伝送装置10との間でUL(Up Link)、およびDL(Down Link)の通信を行う通信部である。5GDU/RU23は、監視カメラ映像伝送装置10の5GCU(5th Generation Central Unit)12から監視カメラ映像伝送装置10の5GDU/RU11を介して、5GDU/RU制御信号、QoS(Quality of Service)情報などを受信し、5GDU/RU制御信号、QoS情報などに基づいて動作を行う。5GDU/RU23は、列車30の乗務員26から受け付けられた映像レイアウトに基づいて映像構成指示部22で生成された映像レイアウト情報を、監視カメラ映像の映像レイアウトを決定するための制御情報として監視カメラ映像伝送装置10に送信する。また、5GDU/RU23は、列車30の図示しない速度発電機からの信号などに基づいて車上制御装置などで演算された列車30の位置を示す列車30の位置情報を、監視カメラ映像の映像レイアウトを決定するための制御情報として監視カメラ映像伝送装置10に送信する。5GDU/RU23は、監視カメラ映像伝送装置10から監視カメラ映像を受信する。
映像再生部24は、5GDU/RU23で受信された監視カメラ映像をモニタ装置25に再生する。
モニタ装置25は、映像再生部24で再生された監視カメラ映像を乗務員26に対して表示する。
監視カメラ映像伝送装置10は、車上局装置20から受信した制御情報に基づいて映像レイアウトを決定する。監視カメラ映像伝送装置10は、映像レイアウトに基づいて、駅ホーム17に設置された1つ以上の監視カメラ16から取得した映像を用いて監視カメラ映像を生成し、監視カメラ映像を車上局装置20に伝送する。監視カメラ映像伝送装置10は、5GDU/RU11と、5GCU12と、位置情報処理部13と、映像制御部14と、映像生成部15と、監視カメラ16と、を備える。
5GDU/RU11は、車上局装置20との間でUL、およびDLの通信を行う通信部である。5GDU/RU11は、車上局装置20から制御情報として受信した映像レイアウト情報を映像制御部14に出力し、車上局装置20から制御情報として受信した列車30の位置情報を位置情報処理部13に出力する。5GDU/RU11は、5GCU12から5GDU/RU制御信号、QoS情報などを取得し、車上局装置20の5GDU/RU23に送信する。監視カメラ映像伝送装置10の5GDU/RU11、および車上局装置20の5GDU/RU23は、5GDU/RU制御信号、QoS情報などに基づいて、監視カメラ映像伝送装置10と車上局装置20との間の無線通信において、無線信号の生成、無線信号の変復調などを行う。
5GCU12は、5GDU/RU制御信号、QoS情報を5GDU/RU11に出力する。5GCU12は、例えば、後述するように映像制御部14を介して映像生成部15から取得したQoS情報に基づいて、5GDU/RU制御信号を生成する。
位置情報処理部13は、5GDU/RU11から取得した列車30の位置情報に基づいて、監視カメラ映像の映像レイアウトを具体的に指示する映像レイアウト情報を生成する駅設備である。位置情報処理部13は、例えば、列車30と駅ホーム17との位置関係によって対応する映像レイアウトが規定されたテーブルなどを保持することで、取得した列車30の位置情報から映像レイアウト情報を生成することができる。また、位置情報処理部13は、5GDU/RU11から列車30の位置情報を取得していない場合、軌道回路、地上子などを用いたシステムによって列車30の位置を検出し、検出した列車30の位置情報に基づいて、監視カメラ映像の映像レイアウトを具体的に指示する映像レイアウト情報を生成する。位置情報処理部13は、生成した映像レイアウト情報、および5GDU/RU11から取得した列車30の位置情報または位置情報処理部13で検出した列車30の位置情報を映像制御部14に出力する。
映像制御部14は、制御情報である映像レイアウト情報、または制御情報である列車30の位置情報から位置情報処理部13で生成される映像レイアウト情報に基づいて、映像生成部15で生成される映像レイアウトを決定する。以降の説明において、位置情報処理部13で生成される映像レイアウト情報を第1の映像レイアウト情報と称し、車上局装置20で生成される制御情報である映像レイアウト情報を第2の映像レイアウト情報と称することがある。映像制御部14は、位置情報処理部13から取得した列車30の位置情報を用いて、映像レイアウトを決定してもよい。映像制御部14は、第1の映像レイアウト情報および第2の映像レイアウト情報をともに取得した場合、第2の映像レイアウト情報を優先して用いる。
映像生成部15は、映像制御部14で決定された映像レイアウトに基づいて、駅ホーム17に設置された1つ以上の監視カメラ16から取得した映像を用いて監視カメラ映像を生成する。また、映像生成部15は、監視カメラ16について故障の有無などの状態を把握し、監視カメラ16の状態の情報を映像制御部14に通知する。映像生成部15は、生成した監視カメラ映像を、5GDU/RU11を介して列車30の車上局装置20に伝送する。このとき、映像生成部15は、伝送する映像種別によって、5GCU12に対して必要とするQoS情報を出力する。映像生成部15は、例えば、映像制御部14を介して、QoS情報を5GCU12に出力する。
監視カメラ16は、駅ホーム17に設置され、駅ホーム17の状況を撮影し、撮影した映像を映像生成部15に出力する。なお、駅ホーム17には複数の監視カメラ16が設置されているものとする。そのため、監視カメラ16は、映像生成部15が各監視カメラ16の位置および識別番号が対応付けられた情報を保持している場合、撮影した映像とともに、映像生成部15が各監視カメラ16を識別するための識別番号を出力する。なお、監視カメラ16は、映像生成部15が各監視カメラ16の位置および識別番号が対応付けられた情報を保持していない場合、撮影した映像とともに、映像生成部15が各監視カメラ16の位置を特定するための位置情報を出力してもよい。
このように、監視カメラ映像伝送装置10は、制御情報として監視カメラ映像の映像レイアウトを具体的に指示する第2の映像レイアウト情報を取得し、第2の映像レイアウト情報に基づいて、生成する監視カメラ映像の映像レイアウトを決定する。または、監視カメラ映像伝送装置10は、制御情報として列車30の位置を示す列車30の位置情報を取得し、列車30の位置情報に基づいて、生成する監視カメラ映像の映像レイアウトを決定する。なお、監視カメラ映像伝送装置10は、列車30から制御情報を取得していない場合、位置情報処理部13で検出された列車30の位置情報に基づいて、生成する監視カメラ映像の映像レイアウトを決定することができる。具体的には、位置情報処理部13は、列車30から制御情報を取得していない場合、検出した列車30の位置情報に基づいて、第1の映像レイアウト情報を生成する。映像制御部14は、第1の映像レイアウト情報に基づいて、生成する監視カメラ映像の映像レイアウトを決定する。
つづいて、駅ホーム監視システム50の動作について説明する。図2は、本実施の形態に係る駅ホーム監視システム50の動作を示すフローチャートである。
車上局装置20において、映像構成指示受付部21は、列車30の乗務員26から監視カメラ映像の具体的な映像レイアウトを受け付ける(ステップS101)。図3は、本実施の形態に係る駅ホーム監視システム50で使用される映像レイアウトの例を示す図である。図3に示す映像レイアウトは、駅ホーム監視システム50、すなわち監視カメラ映像伝送装置10および車上局装置20において、予め規定されたものである。図3において、1から4は監視カメラ16を識別するための識別番号である。なお、実際の映像レイアウトは図3の例に限定されない。映像レイアウトには、識別番号2,3の監視カメラ16の映像を用いた2分割モード、識別番号3,4の監視カメラ16の映像を用いた2分割モード、識別番号2の監視カメラ16の映像を用いた全画面モードなどが含まれる。
映像構成指示部22は、映像構成指示受付部21で受け付けられた映像レイアウトに基づいて、監視カメラ映像の映像レイアウトを具体的に指示する第2の映像レイアウト情報を生成する(ステップS102)。
5GDU/RU23は、映像構成指示部22で生成された第2の映像レイアウト情報、および図示しない車上制御装置などで演算された列車30の位置を示す列車30の位置情報を、監視カメラ映像の映像レイアウトを決定するための制御情報として監視カメラ映像伝送装置10に送信する(ステップS103)。なお、5GDU/RU23は、制御情報として、映像構成指示部22で生成された第2の映像レイアウト情報、または列車30の位置情報の一方のみを送信してもよい。すなわち、5GDU/RU23は、制御情報として、映像構成指示部22で生成された第2の映像レイアウト情報、および列車30の位置情報のうち少なくとも1つを送信する。
監視カメラ映像伝送装置10において、5GDU/RU11は、車上局装置20の5GDU/RU23から監視カメラ映像の映像レイアウトを決定するための制御情報を受信する(ステップS104)。5GDU/RU11は、制御情報として第2の映像レイアウト情報を受信したときは第2の映像レイアウト情報を映像制御部14に出力し、制御情報として列車30の位置情報を受信したときは列車30の位置情報を位置情報処理部13に出力する。
位置情報処理部13は、5GDU/RU11から取得した列車30の位置情報に基づいて、監視カメラ映像の映像レイアウトを具体的に指示する第1の映像レイアウト情報を生成する(ステップS105)。前述のように、位置情報処理部13は、5GDU/RU11から列車30の位置情報を取得していない場合、軌道回路、地上子などを用いたシステムによって列車30の位置を検出し、検出した列車30の位置情報に基づいて、第1の映像レイアウト情報を生成する。位置情報処理部13は、生成した第1の映像レイアウト情報、および列車30の位置情報を映像制御部14に出力する。
映像制御部14は、第1の映像レイアウト情報、または第2の映像レイアウト情報に基づいて、映像レイアウトを決定する(ステップS106)。具体的には、映像制御部14は、5GDU/RU11から第2の映像レイアウト情報を取得している場合は第2の映像レイアウト情報に基づいて、映像レイアウトを決定する。映像制御部14は、5GDU/RU11から第2の映像レイアウト情報を取得せず、位置情報処理部13から第1の映像レイアウト情報を取得している場合は第1の映像レイアウト情報に基づいて、映像レイアウトを決定する。映像制御部14は、車上局装置20から制御情報として、第2の映像レイアウト情報を取得し、位置情報処理部13から第1の映像レイアウト情報を取得した場合、第2の映像レイアウト情報に基づいて、生成する監視カメラ映像の映像レイアウトを決定する。監視カメラ映像伝送装置10を主体にして記載すると、監視カメラ映像伝送装置10は、車上局装置20から制御情報として、第2の映像レイアウト情報、および列車30の位置情報を取得した場合、第2の映像レイアウト情報に基づいて、生成する監視カメラ映像の映像レイアウトを決定する。
このように、映像制御部14は、第1の映像レイアウト情報よりも第2の映像レイアウト情報を優先して用いる。第2の映像レイアウト情報が車上局装置20において乗務員26から指示された映像レイアウトに基づいて生成されたものであるのに対して、第1の映像レイアウト情報は列車30の位置情報から生成されたものである。そのため、映像制御部14は、乗務員26の意思を反映させるため、第2の映像レイアウト情報を優先して用いる。なお、映像制御部14は、5GDU/RU11から第2の映像レイアウト情報を取得してから規定された期間、つぎの第2の映像レイアウト情報を取得しない場合、第1の映像レイアウト情報を用いて映像レイアウトを決定するようにしてもよい。
映像制御部14は、決定した映像レイアウトを映像生成部15に出力する。映像制御部14から映像生成部15に出力される映像レイアウトは、例えば、映像制御部14で決定された映像レイアウトが図3の左上に示す4分割モードであった場合、画面を4分割にして、左上に識別番号1の監視カメラ16の映像を使用し、右上に識別番号2の監視カメラ16の映像を使用し、左下に識別番号3の監視カメラ16の映像を使用し、右下に識別番号4の監視カメラ16の映像を使用することを指示するものである。
なお、映像制御部14は、映像生成部15から監視カメラ16の状態の情報を取得し、第2の映像レイアウト情報または第1の映像レイアウト情報に基づいて決定した映像レイアウトに使用する監視カメラ16の映像が監視カメラ16の故障などによって映像生成部15で取得できていない場合、映像レイアウトを変更する。例えば、映像制御部14は、識別番号1,2の監視カメラ16の映像を用いた図3に示す2分割モードの映像レイアウトに決定していたが、識別番号2の監視カメラ16の故障で識別番号2の監視カメラ16の映像が映像生成部15で取得できていない場合、識別番号1,3の監視カメラ16の映像を用いた図3に示す2分割モードの映像レイアウトに変更する。このように、監視カメラ映像伝送装置10は、監視カメラ16の状態を監視し、映像レイアウトを決定する際、規定された品質の映像を取得できていない監視カメラ16の映像を、監視カメラ映像に使用する映像から除外する。具体的には、映像生成部15は、監視カメラ16の状態を監視し、監視カメラ16の状態を映像制御部14に通知する。映像制御部14は、映像レイアウトを決定する際、規定された品質の映像を取得できていない監視カメラ16の映像を、監視カメラ映像に使用する映像から除外する。規定された品質の映像を取得できない場合には、監視カメラ16の故障によって監視カメラ16で撮影されていない場合、監視カメラ16で撮影された映像が鮮明ではない場合などの他、監視カメラ16と映像生成部15との間の伝送経路の劣化などによって映像生成部15で鮮明な映像を取得できない場合が含まれる。
映像生成部15は、映像制御部14から取得した映像レイアウトに基づいて、監視カメラ16から取得した映像を用いて監視カメラ映像を生成する(ステップS107)。例えば、映像生成部15は、映像制御部14から取得した映像レイアウトが識別番号1,2の監視カメラ16の映像を用いた図3に示す2分割モードであった場合、識別番号1,2の監視カメラ16から取得した映像を用いて監視カメラ映像を生成する。
ここで、映像生成部15は、監視カメラ映像が実際に表示される車上局装置20のモニタ装置25の解像度に合わせて、生成する監視カメラ映像の解像度を適宜変更する。例えば、監視カメラ映像伝送装置10から監視カメラ映像が伝送される対象の列車30のモニタ装置25の解像度が全て同一の場合、映像生成部15は、予め設定された解像度に基づいて監視カメラ映像を生成する。監視カメラ映像伝送装置10から監視カメラ映像が伝送される対象の列車30のモニタ装置25の解像度が列車30によって異なる場合、車上局装置20は、制御情報とともにモニタ装置25の解像度の情報を監視カメラ映像伝送装置10に送信する。映像生成部15は、車上局装置20から取得したモニタ装置25の解像度の情報に基づいて監視カメラ映像を生成する。映像生成部15は、車上局装置20のモニタ装置25の解像度の情報が不明の場合、想定される最も低い解像度で監視カメラ映像を生成する。映像生成部15は、生成した監視カメラ映像を、5GDU/RU11を介して、車上局装置20に伝送する(ステップS108)。
なお、監視カメラ映像伝送装置10において、映像制御部14は、第2の映像レイアウト情報に基づいて映像レイアウトを決定している場合、監視カメラ映像に含める監視カメラ16から取得した映像の組み合わせを規定された時間間隔で自動的に切り替えるように、映像レイアウトを決定してもよい。図4は、本実施の形態に係る監視カメラ映像伝送装置10の映像制御部14において映像レイアウトを自動的に切り替える例を示す第1の図である。図5は、本実施の形態に係る列車30と駅ホーム17との位置関係を示す第1の図である。列車30の乗務員26が駅ホーム17に設置された全てまたは複数の監視カメラ16の映像を確認したい場合のため、車上局装置20の映像構成指示受付部21は、自動切り替えモードの選択を受け付け可能な構成とする。
映像制御部14は、車上局装置20のモニタ装置25に表示される監視カメラ映像を、識別番号1,2の監視カメラ16の映像→識別番号2,3の監視カメラ16の映像→識別番号3,4の監視カメラ16の映像のように規定された時間間隔で自動的に切り替えるように、映像レイアウトを決定する。これにより、乗務員26は、駅ホーム17の乗降客の混雑状況などに応じて、モニタ装置25に表示される監視カメラ映像を自動的に切り替えるモードを選択することができる。監視カメラ映像伝送装置10において、映像制御部14は、列車30の運行を管理する図示しない列車運行管理装置などから列車30の編成の情報、例えば、列車30を構成する車両数の情報を取得し、列車30の車両数、すなわち列車30の長さによって使用する監視カメラ16を選択してもよい。また、映像制御部14は、列車30の長さ、列車30の停車時間などによって、前述の時間間隔の長さを適宜変更してもよい。
また、監視カメラ映像伝送装置10において、映像制御部14が第1の映像レイアウト情報に基づいて映像レイアウトを決定している場合、位置情報処理部13は、駅ホーム17に入線する列車30の位置情報に基づいて映像レイアウトを自動的に切り替えるように、第1の映像レイアウト情報を生成してもよい。映像制御部14は、自動的に切り替えられる第1の映像レイアウト情報に基づいて映像レイアウトを切り替えるように、映像レイアウトを決定する。すなわち、監視カメラ映像伝送装置10は、駅ホーム17に入線する列車30の位置情報に基づいて映像レイアウトを自動的に切り替えるように、映像レイアウトを決定する。図6は、本実施の形態に係る監視カメラ映像伝送装置10の映像制御部14において映像レイアウトを自動的に切り替える例を示す第2の図である。図7は、本実施の形態に係る列車30と駅ホーム17との位置関係を示す第2の図である。図4および図5の場合と同様、車上局装置20の映像構成指示受付部21は、自動切り替えモードの選択を受け付け可能な構成とする。
図6および図7において、識別番号1,2の監視カメラ16の設置位置について、識別番号1の監視カメラ16が駅ホーム17に入線する列車30に近い位置に設置され、識別番号2の監視カメラ16が駅ホーム17に入線する列車30から遠い位置に設置されているものとする。位置情報処理部13は、列車30が識別番号2の監視カメラ16が監視する領域に近づくにつれて識別番号2の監視カメラ16の映像が大きくなるように、第1の映像レイアウト情報を生成する。これにより、乗務員26は、列車30の位置に応じて、モニタ装置25に表示される監視カメラ映像を自動的に切り替えるモードを選択することができる。
ここで、監視カメラ映像伝送装置10から車上局装置20に伝送される監視カメラ映像のデータサイズは、映像レイアウトに係わらず同じデータサイズである。監視カメラ映像の映像レイアウトが図3に示す4分割モードであっても、2分割モードであっても、同じデータサイズである。すなわち、監視カメラ映像に含まれる映像の数に係わらず、監視カメラ映像のデータサイズは、車上局装置20が備えるモニタ装置25で表示される分のデータサイズになる。これにより、監視カメラ映像伝送装置10は、監視カメラ映像の映像レイアウトに係わらず一定のデータサイズで車上局装置20に監視カメラ映像を伝送することができる。そのため、駅ホーム監視システム50は、監視カメラ映像に含まれる映像が増えた場合でも、監視カメラ映像伝送装置10と列車30との間の通信容量を抑制することができる。
車上局装置20において、5GDU/RU23は、監視カメラ映像伝送装置10から監視カメラ映像を受信する(ステップS109)。5GDU/RU23は、受信した監視カメラ映像を映像再生部24に出力する。映像再生部24が監視カメラ映像を再生することによって、モニタ装置25は、監視カメラ映像を乗務員26に対して表示する(ステップS110)。列車30の乗務員26は、車上局装置20のモニタ装置25に表示される監視カメラ映像を確認することによって、駅ホーム17の状況を監視する。
つづいて、本実施の形態に係る監視カメラ映像伝送装置10のハードウェア構成について説明する。監視カメラ映像伝送装置10において、5GDU/RU11は通信装置である。監視カメラ16は、デジタルカメラなどのセンサである。5GCU12、位置情報処理部13、映像制御部14、および映像生成部15は処理回路により実現される。処理回路は、プログラムを格納するメモリ、およびメモリに格納されるプログラムを実行するプロセッサであってもよいし、専用のハードウェアであってもよい。処理回路は制御回路とも呼ばれる。
図8は、本実施の形態に係る監視カメラ映像伝送装置10が備える処理回路をプロセッサ91およびメモリ92で実現する場合の処理回路90の構成の一例を示す図である。図8に示す処理回路90は制御回路であり、プロセッサ91およびメモリ92を備える。処理回路90がプロセッサ91およびメモリ92で構成される場合、処理回路90の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ92に格納される。処理回路90では、メモリ92に記憶されたプログラムをプロセッサ91が読み出して実行することにより、各機能を実現する。すなわち、処理回路90は、監視カメラ映像伝送装置10の処理が結果的に実行されることになるプログラムを格納するためのメモリ92を備える。このプログラムは、処理回路90により実現される各機能を監視カメラ映像伝送装置10に実行させるためのプログラムであるともいえる。このプログラムは、プログラムが記憶された記憶媒体により提供されてもよいし、通信媒体など他の手段により提供されてもよい。
上記プログラムは、映像制御部14が、列車30に搭載された運転台のモニタ装置25に表示される監視カメラ映像の映像レイアウトを決定するための制御情報、または制御情報から生成される第1の映像レイアウト情報に基づいて映像レイアウトを決定する第1のステップと、映像生成部15が、映像レイアウトに基づいて、駅ホーム17に設置された1つ以上の監視カメラ16から取得した映像を用いて監視カメラ映像を生成し、監視カメラ映像を列車30の車上局装置20に伝送する第2のステップと、を監視カメラ映像伝送装置10に実行させるプログラムであるとも言える。
ここで、プロセッサ91は、例えば、CPU(Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはDSP(Digital Signal Processor)などである。また、メモリ92は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(登録商標)(Electrically EPROM)などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはDVD(Digital Versatile Disc)などが該当する。
図9は、本実施の形態に係る監視カメラ映像伝送装置10が備える処理回路を専用のハードウェアで構成する場合の処理回路93の構成の一例を示す図である。図9に示す処理回路93は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。処理回路93については、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路93は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
以上では、監視カメラ映像伝送装置10のハードウェア構成について説明したが、車上局装置20のハードウェア構成も同様である。車上局装置20において、映像構成指示受付部21はタッチパネル、ボタンなどのインタフェースである。5GDU/RU23は通信装置である。モニタ装置25はLCD(Liquid Crystal Display)などのディスプレイである。映像構成指示部22および映像再生部24は処理回路により実現される。処理回路は、プログラムを格納するメモリ、およびメモリに格納されるプログラムを実行するプロセッサであってもよいし、専用のハードウェアであってもよい。
以上説明したように、本実施の形態によれば、駅ホーム監視システム50において、車上局装置20は、列車30に搭載された運転台のモニタ装置25に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信する。監視カメラ映像伝送装置10は、制御情報に基づいて映像レイアウトを決定し、映像レイアウトに基づいて、駅ホーム17に設置された1つ以上の監視カメラ16から取得した映像を用いて監視カメラ映像を生成し、監視カメラ映像を車上局装置20に伝送する。
監視カメラ映像伝送装置10は、車上局装置20に対して、モニタ装置25の1つ分の監視カメラ映像を伝送すればよく、監視カメラ映像に含まれない監視カメラ16の映像を伝送する必要がない。これにより、駅ホーム監視システム50は、駅と列車30との間の通信容量を抑制しつつ、駅ホーム17の所望の位置の状況を列車30のモニタ装置25で監視することができる。駅ホーム監視システム50は、監視カメラ映像を用いた乗務員26による監視の利便性を向上させることが可能である。また、駅ホーム監視システム50は、乗務員26が複数の監視カメラ16の映像を確認したい場合でも、車上局装置20がモニタ装置25を1つ備えていればよいことから、省設備化を実現できる。
以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
10 監視カメラ映像伝送装置、11,23 5GDU/RU、12 5GCU、13 位置情報処理部、14 映像制御部、15 映像生成部、16 監視カメラ、17 駅ホーム、20 車上局装置、21 映像構成指示受付部、22 映像構成指示部、24 映像再生部、25 モニタ装置、26 乗務員、30 列車、50 駅ホーム監視システム。

Claims (26)

  1. 列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信する車上局装置と、
    前記制御情報に基づいて前記映像レイアウトを決定し、前記映像レイアウトに基づいて、駅ホームに設置された1つ以上の監視カメラから取得した映像を用いて前記監視カメラ映像を生成し、前記監視カメラ映像を前記車上局装置に伝送する監視カメラ映像伝送装置と、
    を備えることを特徴とする駅ホーム監視システム。
  2. 前記制御情報は、前記監視カメラ映像の前記映像レイアウトを具体的に指示する映像レイアウト情報であり、
    前記監視カメラ映像伝送装置は、前記映像レイアウト情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項1に記載の駅ホーム監視システム。
  3. 前記監視カメラ映像伝送装置は、前記監視カメラ映像に含める前記監視カメラから取得した前記映像の組み合わせを規定された時間間隔で自動的に切り替えるように、前記映像レイアウトを決定する、
    ことを特徴とする請求項2に記載の駅ホーム監視システム。
  4. 前記車上局装置は、前記制御情報として、前記列車の乗務員から受け付けた前記映像レイアウト情報を前記監視カメラ映像伝送装置に送信する、
    ことを特徴とする請求項2または3に記載の駅ホーム監視システム。
  5. 前記制御情報は、前記列車の位置を示す前記列車の位置情報であり、
    前記監視カメラ映像伝送装置は、前記列車の位置情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項1に記載の駅ホーム監視システム。
  6. 前記監視カメラ映像伝送装置は、前記駅ホームに入線する前記列車の位置情報に基づいて前記映像レイアウトを自動的に切り替えるように、前記映像レイアウトを決定する、
    ことを特徴とする請求項5に記載の駅ホーム監視システム。
  7. 前記車上局装置は、前記制御情報として、前記列車で検出された前記列車の位置情報を前記監視カメラ映像伝送装置に送信する、
    ことを特徴とする請求項5または6に記載の駅ホーム監視システム。
  8. 前記監視カメラ映像伝送装置は、前記車上局装置から前記制御情報として、前記監視カメラ映像の前記映像レイアウトを具体的に指示する映像レイアウト情報、および前記列車の位置情報を取得した場合、前記映像レイアウト情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項5から7のいずれか1つに記載の駅ホーム監視システム。
  9. 前記監視カメラ映像伝送装置は、前記列車から前記制御情報を取得していない場合、駅設備で検出された前記列車の位置情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項5から7のいずれか1つに記載の駅ホーム監視システム。
  10. 前記監視カメラ映像伝送装置は、前記監視カメラの状態を監視し、前記映像レイアウトを決定する際、規定された品質の前記映像を取得できていない前記監視カメラの前記映像を、前記監視カメラ映像に使用する前記映像から除外する、
    ことを特徴とする請求項1から8のいずれか1つに記載の駅ホーム監視システム。
  11. 前記監視カメラ映像伝送装置から前記車上局装置に伝送される前記監視カメラ映像のデータサイズは、前記映像レイアウトに係わらず同じデータサイズである、
    ことを特徴とする請求項1から10のいずれか1つに記載の駅ホーム監視システム。
  12. 列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報、または前記制御情報から生成される第1の映像レイアウト情報に基づいて前記映像レイアウトを決定する映像制御部と、
    前記映像レイアウトに基づいて、駅ホームに設置された1つ以上の監視カメラから取得した映像を用いて前記監視カメラ映像を生成し、前記監視カメラ映像を前記列車の車上局装置に伝送する映像生成部と、
    を備えることを特徴とする監視カメラ映像伝送装置。
  13. 前記制御情報は、前記監視カメラ映像の前記映像レイアウトを具体的に指示する第2の映像レイアウト情報であり、
    前記映像制御部は、前記第2の映像レイアウト情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項12に記載の監視カメラ映像伝送装置。
  14. 前記映像制御部は、前記監視カメラ映像に含める前記監視カメラから取得した前記映像の組み合わせを規定された時間間隔で自動的に切り替えるように、前記映像レイアウトを決定する、
    ことを特徴とする請求項13に記載の監視カメラ映像伝送装置。
  15. 前記制御情報は、前記列車の位置を示す前記列車の位置情報であり、
    さらに、
    前記列車の位置情報に基づいて、前記監視カメラ映像の前記映像レイアウトを具体的に指示する前記第1の映像レイアウト情報を生成する位置情報処理部、
    を備え、
    前記映像制御部は、前記第1の映像レイアウト情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項12に記載の監視カメラ映像伝送装置。
  16. 前記位置情報処理部は、前記駅ホームに入線する前記列車の位置情報に基づいて前記映像レイアウトを自動的に切り替えるように、前記第1の映像レイアウト情報を生成する、
    ことを特徴とする請求項15に記載の監視カメラ映像伝送装置。
  17. 前記映像制御部は、前記車上局装置から前記制御情報として、前記監視カメラ映像の前記映像レイアウトを具体的に指示する第2の映像レイアウト情報を取得し、前記位置情報処理部から前記第1の映像レイアウト情報を取得した場合、前記第2の映像レイアウト情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項15または16に記載の監視カメラ映像伝送装置。
  18. 前記位置情報処理部は、前記列車から前記制御情報を取得していない場合、検出した前記列車の位置情報に基づいて、前記第1の映像レイアウト情報を生成し、
    前記映像制御部は、前記第1の映像レイアウト情報に基づいて、生成する前記監視カメラ映像の前記映像レイアウトを決定する、
    ことを特徴とする請求項15または16に記載の監視カメラ映像伝送装置。
  19. 前記映像生成部は、前記監視カメラの状態を監視し、前記監視カメラの状態を前記映像制御部に通知し、
    前記映像制御部は、前記映像レイアウトを決定する際、規定された品質の前記映像を取得できていない前記監視カメラの前記映像を、前記監視カメラ映像に使用する前記映像から除外する、
    ことを特徴とする請求項12から18のいずれか1つに記載の監視カメラ映像伝送装置。
  20. 前記車上局装置に伝送される前記監視カメラ映像のデータサイズは、前記映像レイアウトに係わらず同じデータサイズである、
    ことを特徴とする請求項12から19のいずれか1つに記載の監視カメラ映像伝送装置。
  21. 列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を監視カメラ映像伝送装置に送信し、前記監視カメラ映像伝送装置から前記監視カメラ映像を受信する通信部と、
    前記監視カメラ映像を前記モニタ装置に再生する映像再生部と、
    を備えることを特徴とする車上局装置。
  22. 前記列車の乗務員から前記監視カメラ映像の具体的な前記映像レイアウトを受け付ける映像構成指示受付部と、
    前記映像構成指示受付部で受け付けられた前記映像レイアウトに基づいて、前記監視カメラ映像の前記映像レイアウトを具体的に指示する映像レイアウト情報を生成する映像構成指示部と、
    を備え、
    前記通信部は、前記制御情報として、前記映像レイアウト情報を前記監視カメラ映像伝送装置に送信する、
    ことを特徴とする請求項21に記載の車上局装置。
  23. 前記通信部は、前記制御情報として、前記列車で検出された前記列車の位置を示す前記列車の位置情報を前記監視カメラ映像伝送装置に送信する、
    ことを特徴とする請求項21に記載の車上局装置。
  24. 駅ホーム監視システムを制御するための制御回路であって、
    列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信、
    前記制御情報に基づいて前記映像レイアウトを決定し、前記映像レイアウトに基づいて、駅ホームに設置された1つ以上の監視カメラから取得した映像を用いて前記監視カメラ映像を生成し、前記監視カメラ映像を車上局装置に伝送、
    を前記駅ホーム監視システムに実施させることを特徴とする制御回路。
  25. 駅ホーム監視システムを制御するためのプログラムが記憶された記憶媒体であって、
    前記プログラムは、
    列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信、
    前記制御情報に基づいて前記映像レイアウトを決定し、前記映像レイアウトに基づいて、駅ホームに設置された1つ以上の監視カメラから取得した映像を用いて前記監視カメラ映像を生成し、前記監視カメラ映像を車上局装置に伝送、
    を前記駅ホーム監視システムに実施させることを特徴とする記憶媒体。
  26. 車上局装置が、列車に搭載された運転台のモニタ装置に表示される監視カメラ映像の映像レイアウトを決定するための制御情報を送信する第1のステップと、
    監視カメラ映像伝送装置が、前記制御情報に基づいて前記映像レイアウトを決定し、前記映像レイアウトに基づいて、駅ホームに設置された1つ以上の監視カメラから取得した映像を用いて前記監視カメラ映像を生成し、前記監視カメラ映像を前記車上局装置に伝送する第2のステップと、
    を含むことを特徴とする駅ホーム監視方法。
JP2021568670A 2021-05-25 2021-05-25 駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法 Active JP7045532B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019738 WO2022249271A1 (ja) 2021-05-25 2021-05-25 駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法

Publications (2)

Publication Number Publication Date
JP7045532B1 true JP7045532B1 (ja) 2022-03-31
JPWO2022249271A1 JPWO2022249271A1 (ja) 2022-12-01

Family

ID=81254745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568670A Active JP7045532B1 (ja) 2021-05-25 2021-05-25 駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法

Country Status (2)

Country Link
JP (1) JP7045532B1 (ja)
WO (1) WO2022249271A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0268267A (ja) * 1988-08-31 1990-03-07 Mitsubishi Electric Corp 乗降客監視装置
JPH09226584A (ja) * 1996-02-22 1997-09-02 Hitachi Ltd 信号受信方法、対移動体信号送信方法、対移動体信号伝送装置、信号受信装置、信号送信装置
JPH10304346A (ja) * 1997-04-24 1998-11-13 East Japan Railway Co 安全確認用itvシステム
JP2004196259A (ja) * 2002-12-20 2004-07-15 Taesung Mis Co Ltd 地下鉄プラットホームの線路監視のための無線モニタリングシステム
JP2009255782A (ja) * 2008-04-17 2009-11-05 Panasonic Corp 映像伝送システム及び映像伝送装置
JP2018149906A (ja) * 2017-03-13 2018-09-27 三菱電機株式会社 列車制御システムおよび中央制御装置
JP2019041328A (ja) * 2017-08-28 2019-03-14 沖電気工業株式会社 メディア処理装置、プログラム及び方法
JP2019145939A (ja) * 2018-02-19 2019-08-29 富士通フロンテック株式会社 映像表示システム、映像表示方法および制御装置
JP2020090236A (ja) * 2018-12-07 2020-06-11 東日本旅客鉄道株式会社 列車位置検出装置及び列車位置検出システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0268267A (ja) * 1988-08-31 1990-03-07 Mitsubishi Electric Corp 乗降客監視装置
JPH09226584A (ja) * 1996-02-22 1997-09-02 Hitachi Ltd 信号受信方法、対移動体信号送信方法、対移動体信号伝送装置、信号受信装置、信号送信装置
JPH10304346A (ja) * 1997-04-24 1998-11-13 East Japan Railway Co 安全確認用itvシステム
JP2004196259A (ja) * 2002-12-20 2004-07-15 Taesung Mis Co Ltd 地下鉄プラットホームの線路監視のための無線モニタリングシステム
JP2009255782A (ja) * 2008-04-17 2009-11-05 Panasonic Corp 映像伝送システム及び映像伝送装置
JP2018149906A (ja) * 2017-03-13 2018-09-27 三菱電機株式会社 列車制御システムおよび中央制御装置
JP2019041328A (ja) * 2017-08-28 2019-03-14 沖電気工業株式会社 メディア処理装置、プログラム及び方法
JP2019145939A (ja) * 2018-02-19 2019-08-29 富士通フロンテック株式会社 映像表示システム、映像表示方法および制御装置
JP2020090236A (ja) * 2018-12-07 2020-06-11 東日本旅客鉄道株式会社 列車位置検出装置及び列車位置検出システム

Also Published As

Publication number Publication date
JPWO2022249271A1 (ja) 2022-12-01
WO2022249271A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
US11394885B2 (en) Image display system and image display method
GB2558694A (en) Monitoring system and monitoring method
JP2008269048A (ja) 車両用画像記録装置
JP2023106588A (ja) 遠隔監視制御装置、システム、方法、及びプログラムが格納される非一時的なコンピュータ可読媒体
JP7045532B1 (ja) 駅ホーム監視システム、監視カメラ映像伝送装置、車上局装置、制御回路、記憶媒体および駅ホーム監視方法
KR20070000643A (ko) 감시카메라와 비상벨 장치가 결합된 방범시스템
KR20120103352A (ko) 차량 주행기록장치와 이를 이용한 운행 관제 시스템 및 방법
JP3888932B2 (ja) 鉄道等車両監視用の画像伝送装置
JP2023105049A (ja) 情報処理装置
JP4832360B2 (ja) 移動体端末装置
JP3196041B2 (ja) 監視カメラによる現場の映像をウインド画面でモニタ表示する機能を備えた防災システム
JP4413100B2 (ja) リモートコントロールシステム及び電子機器
JPH1116067A (ja) エレベータ乗かご内監視レコーダ装置
KR100245425B1 (ko) 교통사고 자동녹화 시스템
JP5375973B2 (ja) エレベータの表示制御装置
JP5040305B2 (ja) 車載機器の管理システム
JP3238549U (ja) 車両死角モニター装置
JP4511693B2 (ja) 監視カメラシステム
KR100571751B1 (ko) 동시녹화가 가능한 복합기록기기 및 그의 동시녹화방법
JP3322532B2 (ja) エレベータシステム
JPH06284323A (ja) テレビカメラの遠隔制御装置
JP2024046933A (ja) 列車監視システム
KR20160133961A (ko) 영상 감시 기능을 제공하는 엘리베이터 조작 패널 장치
KR100529135B1 (ko) 일체형 타임랩스 영상 녹화/재생장치에서의 자가 진단 방법
JP3445928B2 (ja) リモコン制御回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220318

R150 Certificate of patent or registration of utility model

Ref document number: 7045532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150