JPWO2015019415A1 - 列車内監視方法及び列車内監視システム - Google Patents

列車内監視方法及び列車内監視システム Download PDF

Info

Publication number
JPWO2015019415A1
JPWO2015019415A1 JP2015530581A JP2015530581A JPWO2015019415A1 JP WO2015019415 A1 JPWO2015019415 A1 JP WO2015019415A1 JP 2015530581 A JP2015530581 A JP 2015530581A JP 2015530581 A JP2015530581 A JP 2015530581A JP WO2015019415 A1 JPWO2015019415 A1 JP WO2015019415A1
Authority
JP
Japan
Prior art keywords
memory
image
data
temporary
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015530581A
Other languages
English (en)
Other versions
JP6238989B2 (ja
Inventor
健一 石栗
健一 石栗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2015019415A1 publication Critical patent/JPWO2015019415A1/ja
Application granted granted Critical
Publication of JP6238989B2 publication Critical patent/JP6238989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081On-board diagnosis or maintenance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L99/00Subject matter not provided for in other groups of this subclass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0018Communication with or on the vehicle or train
    • B61L15/0036Conductor-based, e.g. using CAN-Bus, train-line or optical fibres

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Traffic Control Systems (AREA)

Abstract

列車内監視方法において、メモリ使用効率を向上させるために、イベント発生時には、画像用一時メモリ21に記録した画像情報のデータを、イベント発生検知時からイベントに応じた前後期間だけ加工せずに画像用保存メモリ23に記録し、一定期間経過後に、ファイルサイズが小さくなるように加工して画像用保存メモリ23に記録するようした。

Description

本発明は、列車内監視方法及び列車内監視システムに関するものである。
従来から、イベント(例えば、事故)の発生時の画像情報を監視カメラ等により取得して記録する監視システムの開発が進められている。このような監視システムにより、特にイベント発生前の情報を参照することができれば、イベントの発生原因の究明が進むと考えられる。
例えば、特許文献1には、「移動体に搭載されたカメラで動画を撮影する動画撮影手段と、前記撮影した動画から所定のサンプリング周期で画像を取得する画像取得手段と、前記取得した画像に固有な固有情報を取得する固有情報取得手段と、タイムスタンプを取得する所定のサーバに、前記取得した固有情報を送信する固有情報送信手段と、イベントの発生を検出するイベント検出手段と、前記イベント検出手段でイベントを検出した際に、イベント発生時からそれ以前の少なくとも所定記録時間の動画が記憶されている動画記憶手段と、を具備」するドライブレコーダが開示されている。該ドライブレコーダは、取得した所定の記録時間前から現在までの動画を更新しつつデータ格納部に画像情報を記録している。
特開2010−72787号公報
しかしながら、上記従来の技術によれば、取得した画像情報はそのまま保存される。そのため、メモリの使用効率が低い、という問題があった。
本発明は、上記に鑑みてなされたものであって、イベント発生前後の画像情報を取得することが可能であり、メモリの使用効率の高い列車内監視方法を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、カメラが画像情報を取得するステップと、前記監視情報記録装置が前記カメラの前記画像情報のデータを前記一時メモリに一時的に記録するステップと、イベント発生時には、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記保存メモリに記録するステップと、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記保存メモリに記録するステップと、前記監視情報記録装置が前記一時メモリの前記画像情報のデータを破棄するステップと、を含むことを特徴とする。
この発明によれば、イベント発生前後の画像情報を取得することが可能であり、メモリの使用効率の高い列車内監視方法を得ることができる、という効果を奏する。
図1は、実施の形態1にかかる列車内監視方法を実施可能な列車を示す図である。 図2は、実施の形態1にかかる列車内監視システムにおける監視情報記録装置の構成を示す図である。 図3は、実施の形態1にかかる列車内監視方法において、監視カメラが取得した画像情報を監視情報記録装置に送る手順を説明するフローチャートである。 図4は、実施の形態1にかかる列車内監視方法において、イベント不発生時及びイベント発生時における画像用一時メモリのデータと、画像用保存メモリのデータの構造を示す図である。 図5は、実施の形態2にかかる列車内監視システムにおける監視情報記録装置の構成を示す図である。 図6は、実施の形態2にかかる列車内監視方法において、マイクが取得した音声情報を監視情報記録装置に送る手順を説明するフローチャートである。
以下に、本発明にかかる列車内監視方法及び列車内監視システムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明にかかる列車内監視方法の実施の形態1を実施可能な列車を示す図である。図1に示す列車は、n両(nは自然数)の車両15−1〜15−nが連結されたn両編成の列車である。先頭車両である車両15−1は、監視情報記録装置10と、車両情報管理装置11と、マスコン12と、ブレーキ装置13と、放送装置14と、監視カメラ16−1a,16−1bと、非常通報器17−1と、を備える。車両15−2は、監視カメラ16−2a,16−2bと、非常通報器17−2a,17−2bと、を備える。車両15−1以外の車両は車両15−2と同様の構成であり、車両15−nは、監視カメラ16−na,16−nbと、非常通報器17−na,17−nbと、を備える。
監視情報記録装置10は、監視カメラ16−1a,16−1b,16−2a,16−2b,16−na,16−nb(以下、これらを総括して監視カメラ16と呼ぶ。)により車内から取得した画像情報を記録する装置である。
なお、図2は、監視情報記録装置10の構成を示す図である。監視情報記録装置10は、CPU20と、画像用一時メモリ21と、画像用保存メモリ23と、を備える。
車両情報管理装置11は、図1に示すn両編成の列車において、各車両の力行やブレーキ、出区点検、車内空調管理、行先表示機、車内案内表示装置などの各種車載機器を一括して管理する。マスコン12は、運転台に設置されており、鉄道車両の速度を遠隔制御する。ブレーキ装置13は、鉄道車両を減速する。放送装置14は、各車両の非常通報器17−1,17−2a,17−2b,17−na,17−nb(以下、これらを総括して非常通報器17と呼ぶ。)に接続されており、これらの非常通報器と乗務員室(運転席)との通話を可能にする。
監視カメラ16は画像情報を取得する。画像情報とは、視覚によって認識可能な情報をいい、画像情報には、動画及び静止画が含まれる。監視カメラ16は、車両内を監視可能な位置に設置されており、必要に応じて複数台備えられる。また、監視カメラ16は、ドアの異常開閉を監視するために、ドアの近傍に設置されていてもよいし、乗務員室にも設置されていてもよい。監視カメラ16は、すべて監視情報記録装置10に接続されており、監視カメラ16により取得した画像情報は、すべて監視情報記録装置10に送られる。監視カメラ16が取得した画像情報を監視情報記録装置10に送る手順について、図3を参照して以下に説明する。
図3は、監視カメラ16が取得した画像情報を監視情報記録装置10に送る手順を説明するフローチャートである。まず、監視カメラ16が画像情報を取得する(ステップS1)。
取得した画像情報のデータは監視情報記録装置10の画像用一時メモリ21に一時的に記録される(ステップS2)。このとき、画像用一時メモリ21には記録されるデータが多くの情報を含む形式で記録する。例えば、画像情報が静止画であれば高解像度で記録し、動画であれば高解像度且つ高フレームレートで記録する。その後、イベント発生の判定を行う(ステップS3)。
イベントの発生が検出された場合(ステップS3でYesに分岐)には、監視情報記録装置10は、イベントの種類に応じて設定されたイベント発生前後の記録期間について、画像用一時メモリ21の画像情報のデータを、ファイルサイズを小さくする加工を行わずに画像用保存メモリ23に記録する(ステップS4)。すなわち、イベント発生を検出した時点から所定の期間だけ遡った期間についての画像用一時メモリ21に記録した画像情報のデータ(イベント発生前のデータ)と、イベント発生を検出した時点から所定の期間が経過するまで取得する画像情報のデータ(イベント発生後のデータ)と、を画像用保存メモリ23に加工することなく記録する。
なお、ファイルサイズを小さくする加工としては、解像度の低減または高圧縮率の圧縮方法による圧縮が挙げられる。または、画像情報が動画であれば、低フレームレートの動画への変換が挙げられる。または、画像用一時メモリ21に記録する画像情報のデータを動画とし、画像用保存メモリ23に記録する画像情報のデータを静止画としてもよい。または、画像情報が静止画であれば、画像用保存メモリ23に記録する際にデータの一部を一定の間隔で削除してもよく、例えば、画像用保存メモリ23に記録する際に、画像用一時メモリ21に記録した静止画2枚につき1枚を画像用保存メモリ23に記録してもよい。
次に、イベントの発生が検出されたか否かに関わらず、所定期間が経過したか否かの判定を行う(ステップS5)。
なお、ここで、「所定期間」は、画像用一時メモリ21に画像情報を蓄積していき、画像用一時メモリ21の記録容量の1/2が埋まる程度の期間であり、例えば、イベントの発生時に、「画像用一時メモリ21の画像情報を画像用保存メモリ23に加工せずに記録する期間」のうち最大のものの約2倍に設定すればよい。
所定期間が経過していない場合(ステップS5でNoに分岐)には、ステップS1に戻り、監視カメラ16は画像情報の取得を継続する。所定期間が経過している場合(ステップS5でYesに分岐)には、監視情報記録装置10は、画像用一時メモリ21に記録した画像情報のデータのうち前半分についてファイルサイズが小さくなるように加工し(ステップS6)、加工したデータを画像用保存メモリ23に記録し(ステップS7)、画像用一時メモリ21の画像情報のデータのうち加工して画像用保存メモリ23に記録した分のデータを破棄する(ステップS8)。なお、イベント発生前後については、ファイルサイズが小さくなるように加工されて画像用保存メモリ23に記録されたデータと、加工されずに画像用保存メモリ23に記録されたデータが併存することになるが、ファイルサイズが小さくなるように加工されたデータを削除してもよい。
なお、上記説明したように、ステップS6において、ファイルサイズが小さくなるように行う加工は、画像用一時メモリ21に記録した画像情報のデータのうち前半分についてのみ行うこととしている。これは、ステップS6において、画像用一時メモリ21に記録した画像情報のデータのすべてを一括して加工して破棄してしまうと、再び処理をスタートして画像情報の取得(ステップS1)を開始し、開始直後にイベントが発生した場合に、イベント発生前については画像用一時メモリ21に記録した画像情報のデータが破棄されてしまっていることになり、イベント発生前の画像情報のデータを加工することなく画像用保存メモリ23に保存することができないためである。上記説明したように、ファイルサイズが小さくなるように行う加工を、画像用一時メモリ21に記録した画像情報のデータのうち前半分についてのみ行うことにより、再び処理をスタートして開始直後にイベントが発生した場合であっても、未加工の画像情報のデータを画像用保存メモリ23に保存することが可能となる。
このように、所定期間経過時に前半分のみを記録する場合について具体的な例を示して説明する。画像用一時メモリ21に記録可能な時間が20分であり、所定期間を10分とすると、所定期間経過後(すなわち10分経過後)に処理をスタートしてから5分間(開始後0分〜5分)の画像情報のデータを加工して(ステップS6)、加工した処理をスタートしてから5分間のデータを画像用保存メモリ23に記録し(ステップS7)、画像用一時メモリ21の加工した5分間のデータを破棄する(ステップS8)。その後、再び処理をスタートして画像情報の取得(ステップS1)を開始し、イベントが発生しなければ(ステップS3でNoに分岐)、再び処理をスタートしてから所定期間経過後(再び処理をスタートしてから10分経過後、すなわち最初の処理開始から20分経過後)に再び処理をスタートしてから5分経過後まで(すなわち最初の処理開始から5〜15分)の画像情報のデータを加工して(ステップS6)、加工した10分間のデータを画像用保存メモリ23に記録し(ステップS7)、画像用一時メモリ21の加工した10分間のデータを破棄する(ステップS8)。
このように動作させることで、再び処理をスタートして画像情報の取得(ステップS1)を開始するときには、画像用一時メモリ21には後半5分のデータが残っているため、画像情報の取得の開始直後にイベントが発生したとしても、イベント発生から概ね5分程度遡って未加工のデータを保存することができる。
また、ファイルサイズが小さくなるように加工されて記録されたデータと、加工されずに記録されたデータと、を併存させることなく画像用保存メモリ23への記録を行ってもよい。これらのデータが併存しない場合には、画像用保存メモリ23のメモリ使用効率がさらに向上する。これらのデータを併存させない場合には、例えば、イベント発生を検出した時にステップS5の「所定期間」の計時を停止し、イベント発生時におけるイベント発生前後の記録期間満了後、画像用保存メモリ23に記録したデータを画像用一時メモリ21から削除し、その後、ステップS5の「所定期間」の計時を再開すればよい。
例えば、ステップS5における「所定期間」が10分間であり、スタートから4分の時点で「発生前3分間と発生後3分間を加工せずに記録するイベント」が発生したときには、計時は4分の時点で停止し、画像用一時メモリ21に記録された発生前3分間のデータと発生後3分間に取得するデータが画像用保存メモリ23に記録される。そして、画像用保存メモリ23への記録が終わった時点で、画像用保存メモリ23に記録したデータは画像用一時メモリ21から破棄する。そして、計時は、停止した4分の時点から再開し、10分に達すると、ステップS6に移行する。
このように、イベントの発生を検知した場合のみ画像用保存メモリ23に圧縮等を行わずにそのままの情報を記録するため、イベント発生前後については情報量の多い(高フレームレートまたは高解像度の)画像情報のデータが記録され、イベント不発生時については情報量の少ない(低フレームレートまたは低解像度の)画像情報が記録されることとなる。そのため、イベント発生前後についてはより詳細な情報が得られ、イベント不発生時にはメモリの使用量を抑えることができるため、メモリの使用効率が高い。
イベントの発生の検知は、イベントが発生したことを示す信号(イベント信号)がCPU20に送られて行われる。イベント信号は、例えば車両情報管理装置11から監視情報記録装置10に送られればよい。車両情報管理装置11は、列車の速度、ノッチの変化、ブレーキ(非常ブレーキを含む。)、非常通報、及びドアの異常開閉の情報を把握しているためである。また、非常ブレーキの情報については、ブレーキ装置13から監視情報記録装置10に送られてもよい。また、非常通報の情報については、放送装置14から監視情報記録装置10に送られてもよい。
なお、ドアの異常開閉としては、例えば、走行中にドアが開くこと、及び、退避中等に駅でない場所でドアが開くことが挙げられる。
図4は、通常時(イベント不発生時)及びイベント発生時における画像用一時メモリ21に記録されるデータと、画像用保存メモリ23に保存されるデータの構造の一例を示す図である。図4(a−1)は、通常時の画像用一時メモリ21に記録されるデータを示し、図4(a−2)は、通常時の画像用保存メモリ23に保存されるデータを示し、図4(b−1)は、イベント発生時の画像用一時メモリ21に記録されるデータを示し、図4(b−2)は、イベント発生時の画像用保存メモリ23に保存されるデータを示す。
図4(a−1),(a−2)に示すように、通常時には、画像用一時メモリ21に記録された動画データのファイルサイズを小さく加工して画像用保存メモリ23に記録する。イベントの発生が検知されると、図4(b−1),(b−2)に示すように、(緊急)イベント発生前後の所定期間については、画像用一時メモリ21に記録された動画データがフレームレートを低減させずにそのまま記録される。ここで、フレームレートを低減させずにそのまま記録されるt秒間は、イベントの種類に応じて決定する。発生したイベントが「非常通報ボタンが押されたこと」である場合には、非常通報ボタンが押されるまでの経緯や、非常通報ボタンを押した人物の特定のために、例えば、イベント発生前3分及びイベント発生後5分を記録期間とすればよい。または、発生したイベントが「非常ブレーキ」である場合には、例えば、イベント発生後1分のみを記録期間としてもよい。
以上説明した本実施の形態の列車内監視方法は、列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、カメラが画像情報を取得するステップと、前記監視情報記録装置が前記カメラの前記画像情報のデータを前記一時メモリに一時的に記録するステップと、イベント発生時には、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記保存メモリに記録するステップと、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記保存メモリに記録するステップと、前記監視情報記録装置が前記一時メモリの前記画像情報のデータを破棄するステップと、を含むことを特徴とする。
また、上記説明した列車内監視方法を実行するためには、CPU20が上記説明した列車内監視方法のプログラムを実行すればよい。
また、上記説明した列車内監視方法を適用して列車内監視システムを構成することもできる。本実施の形態の列車内監視システムは、列車内を監視して画像情報を取得するカメラと、前記画像情報が一時的に記録される一時メモリ及び前記一時メモリのデータの一部が保存される保存メモリを有する監視情報記録装置と、を備える列車内監視システムであって、前記監視情報記録装置が、前記一時メモリに記録された前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記保存メモリに記録し、イベント発生時には、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ加工せずに前記保存メモリに記録し、前記保存メモリへの記録後に前記一時メモリの前記画像情報のデータは破棄されることを特徴とする。
以上説明したように、本実施の形態の列車内監視方法または列車内監視システムによれば、イベント発生前後の画像情報を取得することが可能であり、メモリの使用効率の高い列車内監視システムを得ることができる。
実施の形態2.
実施の形態1では、画像情報のみを取得する形態について説明したが、本発明はこれに限定されない。本実施の形態では、画像情報とともに音声情報を取得する形態について説明する。なお、以下の説明において、実施の形態1と同様の構成であるものには同じ符号を用いるものとする。
図5は、本実施の形態の監視情報記録装置10aを示す図である。監視情報記録装置10aは、CPU20と、画像用一時メモリ21と、画像用保存メモリ23と、音声用一時メモリ22と、音声用保存メモリ24と、を備えており、音声用一時メモリ22及び音声用保存メモリ24を備える点が、実施の形態1の監視情報記録装置10と異なる。画像用一時メモリ21には監視カメラ16が接続され、音声用一時メモリ22には非常通報器17が接続されている。
なお、図5には、非常通報器17に備えられたマイクを用いる例を示しているが、非常通報器17とは異なるマイクが別途設けられていてもよい。
監視カメラ16によって取得される画像情報のデータ及びマイクによって取得される音声情報のデータの双方には、時刻(またはタイムスタンプ)及びイベントID等が付され、画像情報と音声情報は同期させることが可能な構成とする。
図6は、非常通報器17に備えられたマイクが取得した音声情報を監視情報記録装置10aに送る手順を説明するフローチャートである。まず、マイクが音声情報を取得する(ステップS11)。
取得した音声情報は監視情報記録装置10aの音声用一時メモリ22に一時的に記録される(ステップS12)。その後、イベント発生の判定を行う(ステップS13)。
イベントの発生が検出された場合(ステップS13でYesに分岐)には、監視情報記録装置10aは、イベントの種類に応じて設定されたイベント発生前後において、イベント発生を検出した時点から所定の期間だけ遡った期間についての音声用一時メモリ22に記録した音声情報のデータ(イベント発生前のデータ)と、イベント発生を検出した時点から所定の期間が経過するまで取得する音声情報のデータ(イベント発生後のデータ)と、を音声用保存メモリ24に記録する(ステップS14)。
次に、イベントの発生が検出されたか否かに関わらず、所定期間が経過したか否かの判定を行う(ステップS15)。なお、ここで、「所定期間」は、音声用一時メモリ22に音声情報を蓄積していき、音声用一時メモリ22の記録容量の1/2が埋まる程度の期間であり、実施の形態1の画像情報を記録するステップにおける「所定期間」と等しくすればよい。
所定期間が経過していない場合(ステップS15でNoに分岐)には、ステップS11に戻り、マイクは音声情報の取得を継続する。所定期間が経過している場合(ステップS15でYesに分岐)には、イベントの発生、不発生に関わらず、監視情報記録装置10aは音声用一時メモリ22の音声情報のデータのうち前半分を破棄する(ステップS16)。
なお、ステップS15における「所定期間」の計時は、イベント発生時に停止させてもよいし、停止させなくてもよい。
なお、上記説明したように、ステップS16において、音声用一時メモリ22から破棄するデータは、前半分までのデータであり、後半分は破棄されない。これは、ステップS16において、音声用一時メモリ22に記録した音声情報のデータのすべてを一括して破棄してしまうと、再び処理をスタートして音声情報の取得(ステップS11)を開始し、開始直後にイベントが発生した場合に、イベント発生前については音声用一時メモリ22に記録した音声情報のデータが破棄されてしまっていることになり、イベント発生前の音声情報のデータを音声用保存メモリ24に保存することができないためである。上記説明したように、所定期間経過時に音声用一時メモリ22に記録した音声情報のデータのうち後半分を残して破棄することにより、再び処理をスタートして開始直後にイベントが発生した場合であっても、音声情報のデータを音声用保存メモリ24に保存することが可能となる。
このように、所定期間経過時に前半分までのデータを破棄する場合について具体的な例を示して説明する。音声用一時メモリ22に記録可能な時間が20分であり、所定期間を10分とすると、所定期間経過後(すなわち10分経過後)に処理をスタートしてから5分間(開始後0分〜5分)の音声用一時メモリ22の音声情報のデータを破棄する(ステップS16)。その後、再び処理をスタートして音声情報の取得(ステップS11)を開始し、イベントが発生しなければ(ステップS13でNoに分岐)、再び処理をスタートしてから所定期間経過後(再び処理をスタートしてから10分経過後、すなわち最初の処理開始から20分経過後)に再び処理をスタートしてから5分経過後(すなわち最初の処理開始から5〜15分)までのデータを破棄する(ステップS16)。
このように動作させることで、再び処理をスタートして音声情報の取得(ステップS11)を開始するときには、音声用一時メモリ22には後半5分のデータが残っているため、音声情報の取得の開始直後にイベントが発生したとしても、イベント発生から概ね5分程度遡って音声情報のデータを保存することができる。
以上説明したように音声情報を監視情報記録装置10aに記録することができる。音声用保存メモリ24に保存される音声情報には時刻情報やイベントID等が付されているため、図3に示す手順で監視カメラ16により取得されて画像用保存メモリ23に記録された画像情報と同期させることができる。なお、画像用保存メモリ23と音声用保存メモリ24は、同一記憶装置の異なる領域に設けられてもよいし、それぞれ異なる記憶装置に設けられてもよい。
以上説明したように、画像情報と音声情報の双方を取得し、取得した画像情報と音声情報を同期させることができる。
なお、本発明の列車内監視方法は、イベントの種類に応じて画像情報の記録期間等を異ならせている。表1は、イベント内容と、記録期間と、録音データの取得の有無と、監視対象号車と、を表す具体例である。
Figure 2015019415
第1の例として、「走行中にドアが開く」イベントを検知した場合には、全号車が監視対象号車であり、録音データは不要であるため、画像用一時メモリ21に記録されたイベント発生前30秒間及びイベント発生後30秒間の画像情報が画像用保存メモリ23に記録される。
第2の例として、「非常通報ボタンが押される」イベントを検知した場合には、非常通報ボタンが押された号車のみが監視対象号車であり、録音データを取得するため、画像用一時メモリ21及び音声用一時メモリ22に記録されたイベント発生前3分間及びイベント発生後5分間の画像情報及び音声情報が、それぞれ画像用保存メモリ23及び音声用保存メモリ24に記録される。なお、第2の例においては、非常通報者の声が検知されている間のみ記録する構成であってもよい。
第3の例として、「非常ブレーキがかかる」イベントを検知した場合には、全号車が監視対象号車であり、録音データは不要であり、且つイベント発生前の情報は不要であるため、画像用一時メモリ21に記録されたイベント発生後1分間の画像情報が画像用保存メモリ23に記録される。
このように記録する画像情報と音声情報は、イベントの種類に応じて取得する期間及び監視対象号車を異ならせるとメモリの使用効率を高めることができるため、好ましい。
以上説明した本実施の形態の列車内監視方法は、列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、カメラが時刻データを含む画像情報を取得するステップと、マイクが時刻データを含む音声情報を取得するステップと、前記監視情報記録装置が前記カメラの前記画像情報のデータを画像用一時メモリに一時的に記録するステップと、前記監視情報記録装置が前記マイクの前記音声情報のデータを音声用一時メモリに一時的に記録するステップと、イベント発生時には、前記監視情報記録装置が、前記画像用一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記画像用保存メモリに記録し、前記音声用一時メモリに記録した前記音声情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ音声用保存メモリに記録するステップと、前記監視情報記録装置が、前記画像用一時メモリに記録した前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して画像用保存メモリに記録するステップと、前記監視情報記録装置が前記画像用一時メモリ及び前記音声用一時メモリの前記画像情報のデータを破棄するステップと、を含むことを特徴とする。
また、上記説明した列車内監視方法を実行するためには、CPU20が上記説明した列車内監視方法のプログラムを実行すればよい。
また、上記説明した列車内監視方法を適用して列車内監視システムを構成することもできる。本実施の形態の列車内監視システムは、列車内を監視して画像情報を取得するカメラと、音声情報を取得するマイクと、前記画像情報が一時的に記録される画像用一時メモリ、前記画像用一時メモリのデータの一部が保存される画像用保存メモリ、前記音声情報が一時的に記録される音声用一時メモリ、及び前記音声用一時メモリのデータの一部が保存される音声用保存メモリを有する監視情報記録装置と、を備える列車内監視システムであって、前記監視情報記録装置が、前記画像用一時メモリに記録された前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記画像用保存メモリに記録し、イベント発生時には、前記画像用一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ加工せずに前記画像用保存メモリに記録し、前記音声用一時メモリに記録した前記音声情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ前記音声用保存メモリに記録し、前記保存メモリへの記録後に前記画像用一時メモリの前記画像情報のデータ及び前記音声用一時メモリの前記音声情報のデータを破棄することを特徴とする。
本実施の形態にて説明したように、イベント発生前後の画像情報を取得することが可能であり、メモリの使用効率の高い列車内監視システムを得ることができる。
以上のように、本発明にかかる列車内監視方法及び列車内監視システムは、監視カメラを備える列車に有用である。
10,10a 監視情報記録装置、11 車両情報管理装置、12 マスコン、13 ブレーキ装置、14 放送装置、15−1,15−2,…,15−n 車両、16,16−1a,16−1b,16−2a,…,16−nb 監視カメラ、17,17−1,17−2a,17−2b,…,17−nb 非常通報器、20 CPU、21 画像用一時メモリ、22 音声用一時メモリ、23 画像用保存メモリ、24 音声用保存メモリ、S1〜S8,S11〜S16 ステップ。
上述した課題を解決し、目的を達成するために、本発明は、列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、カメラが画像情報を取得するステップと、前記監視情報記録装置が前記カメラの前記画像情報のデータを前記一時メモリに一時的に記録するステップと、イベント発生時には、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記保存メモリに記録するステップと、前記監視情報記録装置が、一定期間経過後に、前記一時メモリに記録した前記画像情報のデータのうち前半分のデータ、ファイルサイズが小さくなるように加工して前記保存メモリに記録するステップと、前記監視情報記録装置が前記一時メモリの前記画像情報のデータのうち、前記保存メモリに記録した前記前半分のデータを破棄するステップと、を含むことを特徴とする。
上述した課題を解決し、目的を達成するために、本発明は、列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、カメラが画像情報を取得するステップと、前記監視情報記録装置が前記カメラの前記画像情報のデータを前記一時メモリに一時的に記録するステップと、イベント発生時には、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記保存メモリに記録するステップと、前記監視情報記録装置が、一定期間経過後に、前記一時メモリに記録した前記画像情報のデータのうち記録時刻が前半分のデータを、ファイルサイズが小さくなるように加工して前記保存メモリに記録するステップと、前記監視情報記録装置が、前記一時メモリの前記画像情報のデータのうち、前記保存メモリに記録した前記前半分のデータを破棄するステップと、を含むことを特徴とする。

Claims (14)

  1. 列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、
    カメラが画像情報を取得するステップと、
    前記監視情報記録装置が前記カメラの前記画像情報のデータを前記一時メモリに一時的に記録するステップと、
    イベント発生時には、前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記保存メモリに記録するステップと、
    前記監視情報記録装置が、前記一時メモリに記録した前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記保存メモリに記録するステップと、
    前記監視情報記録装置が前記一時メモリの前記画像情報のデータを破棄するステップと、を含むことを特徴とする列車内監視方法。
  2. 列車内を監視して、一時メモリ及び保存メモリを備える監視情報記録装置に情報を記録する列車内監視方法であって、
    カメラが時刻データを含む画像情報を取得するステップと、
    マイクが時刻データを含む音声情報を取得するステップと、
    前記監視情報記録装置が前記カメラの前記画像情報のデータを画像用一時メモリに一時的に記録するステップと、
    前記監視情報記録装置が前記マイクの前記音声情報のデータを音声用一時メモリに一時的に記録するステップと、
    イベント発生時には、前記監視情報記録装置が、前記画像用一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけファイルサイズを加工せずに前記画像用保存メモリに記録し、前記音声用一時メモリに記録した前記音声情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ音声用保存メモリに記録するステップと、
    前記監視情報記録装置が、前記画像用一時メモリに記録した前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して画像用保存メモリに記録するステップと、
    前記監視情報記録装置が前記画像用一時メモリ及び前記音声用一時メモリの前記画像情報のデータを破棄するステップと、を含むことを特徴とする列車内監視方法。
  3. ファイルサイズを小さくする前記加工が、低フレームレートへの変換であることを特徴とする請求項1または請求項2に記載の列車内監視方法。
  4. ファイルサイズを小さくする前記加工が、動画データから静止画データへの変換であることを特徴とする請求項1または請求項2に記載の列車内監視方法。
  5. ファイルサイズを小さくする前記加工が、ファイルの圧縮であることを特徴とする請求項1または請求項2に記載の列車内監視方法。
  6. ファイルサイズを小さくする前記加工が、解像度の低減であることを特徴とする請求項1または請求項2に記載の列車内監視方法。
  7. ファイルサイズを小さくする前記加工が、データの一部の削除であることを特徴とする請求項1または請求項2に記載の列車内監視方法。
  8. 列車内を監視して画像情報を取得するカメラと、前記画像情報が一時的に記録される一時メモリ及び前記一時メモリのデータの一部が保存される保存メモリを有する監視情報記録装置と、を備える列車内監視システムであって、
    前記監視情報記録装置が、前記一時メモリに記録された前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記保存メモリに記録し、イベント発生時には、前記一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ加工せずに前記保存メモリに記録し、
    前記保存メモリへの記録後に前記一時メモリの前記画像情報のデータは破棄されることを特徴とする列車内監視システム。
  9. 列車内を監視して画像情報を取得するカメラと、音声情報を取得するマイクと、前記画像情報が一時的に記録される画像用一時メモリ、前記画像用一時メモリのデータの一部が保存される画像用保存メモリ、前記音声情報が一時的に記録される音声用一時メモリ、及び前記音声用一時メモリのデータの一部が保存される音声用保存メモリを有する監視情報記録装置と、を備える列車内監視システムであって、
    前記監視情報記録装置が、前記画像用一時メモリに記録された前記画像情報のデータを、一定期間経過後に、ファイルサイズが小さくなるように加工して前記画像用保存メモリに記録し、イベント発生時には、前記画像用一時メモリに記録した前記画像情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ加工せずに前記画像用保存メモリに記録し、前記音声用一時メモリに記録した前記音声情報のデータを、前記イベントの発生検知時から前記イベントに応じた前後期間だけ前記音声用保存メモリに記録し、
    前記保存メモリへの記録後に前記画像用一時メモリの前記画像情報のデータ及び前記音声用一時メモリの前記音声情報のデータを破棄することを特徴とする列車内監視システム。
  10. ファイルサイズを小さくする前記加工が、低フレームレートへの変換であることを特徴とする請求項8または請求項9に記載の列車内監視システム。
  11. ファイルサイズを小さくする前記加工が、動画データから静止画データへの変換であることを特徴とする請求項8または請求項9に記載の列車内監視システム。
  12. ファイルサイズを小さくする前記加工が、ファイルの圧縮であることを特徴とする請求項8または請求項9に記載の列車内監視システム。
  13. ファイルサイズを小さくする前記加工が、解像度の低減であることを特徴とする請求項8または請求項9に記載の列車内監視システム。
  14. ファイルサイズを小さくする前記加工が、データの一部の削除であることを特徴とする請求項8または請求項9に記載の列車内監視システム。
JP2015530581A 2013-08-06 2013-08-06 列車内監視方法及び列車内監視システム Active JP6238989B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/071245 WO2015019415A1 (ja) 2013-08-06 2013-08-06 列車内監視方法及び列車内監視システム

Publications (2)

Publication Number Publication Date
JPWO2015019415A1 true JPWO2015019415A1 (ja) 2017-03-02
JP6238989B2 JP6238989B2 (ja) 2017-11-29

Family

ID=52460788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015530581A Active JP6238989B2 (ja) 2013-08-06 2013-08-06 列車内監視方法及び列車内監視システム

Country Status (4)

Country Link
US (1) US10049282B2 (ja)
EP (1) EP3031695B1 (ja)
JP (1) JP6238989B2 (ja)
WO (1) WO2015019415A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015159154A2 (en) * 2014-04-16 2015-10-22 Societe Bic Systems and methods for displaying free-form drawing on a contact sensitive display
US10984355B2 (en) * 2015-04-17 2021-04-20 Xerox Corporation Employee task verification to video system
US10819943B2 (en) * 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
JP6823661B2 (ja) * 2016-09-26 2021-02-03 株式会社Fuji 部品実装機の機外作業エリア監視システム
JP6503146B2 (ja) * 2016-09-26 2019-04-17 株式会社日立国際電気 車両監視システム、管理装置、及び監視方法
JP2018093425A (ja) * 2016-12-06 2018-06-14 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム
JP7194251B2 (ja) * 2016-12-06 2022-12-21 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム並びに記録媒体
JP6962712B2 (ja) * 2017-05-30 2021-11-05 矢崎エナジーシステム株式会社 車載画像記録装置
WO2018230104A1 (ja) * 2017-06-16 2018-12-20 コニカミノルタ株式会社 被監視者監視支援システムの中央処理装置および中央処理方法ならびに被監視者監視支援システム
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置
JP7118529B2 (ja) * 2018-03-29 2022-08-16 矢崎総業株式会社 車内監視モジュール、及び、監視システム
DE102020212140A1 (de) * 2020-09-28 2022-03-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Aufzeichnung von Ereignisdaten in einem Fahrzeug
KR102349606B1 (ko) * 2021-03-18 2022-01-11 주식회사 케이알씨티 철도용 이벤트레코드 시스템
FR3134067B1 (fr) * 2022-03-30 2024-03-08 SNCF Voyageurs Système de vidéoprotection pour un matériel roulant et procédé d’acquisition d’informations contextuelles pour un système de vidéoprotection.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312238A (ja) * 2000-01-21 2001-11-09 Ag:Kk 列車における画像表示システム
JP2009088674A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 画像表示装置、プログラム、及び撮像装置
JP2009093548A (ja) * 2007-10-11 2009-04-30 Panasonic Corp ドライブレコーダ装置
JP2011065432A (ja) * 2009-09-17 2011-03-31 Mitsubishi Electric Corp ドライブレコーダ

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981233A (ja) 1995-09-18 1997-03-28 Mitsubishi Electric Corp 監視制御支援装置
US20030067542A1 (en) 2000-10-13 2003-04-10 Monroe David A. Apparatus for and method of collecting and distributing event data to strategic security personnel and response vehicles
GB2341290A (en) * 1998-09-04 2000-03-08 Jasmin Simtec Ltd Method of operating a surveillance system
DE19920510A1 (de) * 1999-05-05 2000-11-16 Motorola Inc Nachrichtenverarbeitungsgerät mit einer Vorrichtung, sowie ein Verfahren zur ständigen Speicherung von Daten
US6831556B1 (en) * 2001-05-16 2004-12-14 Digital Safety Technologies, Inc. Composite mobile digital information system
WO2003028358A2 (en) * 2001-09-24 2003-04-03 Nice Systems Ltd. System and method for the automatic control of video frame rate
US20030081935A1 (en) * 2001-10-30 2003-05-01 Kirmuss Charles Bruno Storage of mobile video recorder content
JP4201570B2 (ja) * 2002-05-20 2008-12-24 淳一 棚橋 監視装置及び監視システム
JP2004056473A (ja) 2002-07-19 2004-02-19 Matsushita Electric Ind Co Ltd 監視制御装置
US8350907B1 (en) 2003-09-12 2013-01-08 L-3 Communications Mobile-Vision, Inc. Method of storing digital video captured by an in-car video system
US20090051515A1 (en) * 2005-04-15 2009-02-26 Nikon Corporation Imaging Apparatus and Drive Recorder System
US7865280B2 (en) * 2005-05-09 2011-01-04 Nikon Corporation Imaging apparatus and drive recorder system
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
JP4387415B2 (ja) * 2007-01-22 2009-12-16 セイコープレシジョン株式会社 映像情報システム、動作方法およびプログラム
JP4195064B2 (ja) 2007-02-13 2008-12-10 富士通テン株式会社 ドライブレコーダ及びドライブレコーダの制御方法
JP2009032143A (ja) 2007-07-30 2009-02-12 Seiko Epson Corp ドライブレコーダ、ドライブレコーダシステム、ドライブレコーダの制御方法およびプログラム
JP2009056921A (ja) 2007-08-31 2009-03-19 Yahata Denki Sangyo Kk 鉄道車両用のカメラ付き非常通報装置
JP2010003110A (ja) * 2008-06-20 2010-01-07 Panasonic Corp 車載用動画像データ記録装置
JP5225218B2 (ja) 2008-07-02 2013-07-03 パナソニック株式会社 車両搭載型画像記録装置および画像記録方法
JP5240768B2 (ja) 2008-09-17 2013-07-17 セイコーインスツル株式会社 画像記憶装置
JP4751465B2 (ja) * 2009-07-01 2011-08-17 シャープ株式会社 画像処理装置及び画像処理システム
JP5622308B2 (ja) 2010-07-14 2014-11-12 矢崎エナジーシステム株式会社 車載映像記録装置
JP2012216102A (ja) 2011-04-01 2012-11-08 Hitachi Kokusai Electric Inc 画像蓄積システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312238A (ja) * 2000-01-21 2001-11-09 Ag:Kk 列車における画像表示システム
JP2009088674A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 画像表示装置、プログラム、及び撮像装置
JP2009093548A (ja) * 2007-10-11 2009-04-30 Panasonic Corp ドライブレコーダ装置
JP2011065432A (ja) * 2009-09-17 2011-03-31 Mitsubishi Electric Corp ドライブレコーダ

Also Published As

Publication number Publication date
EP3031695A4 (en) 2017-07-19
EP3031695B1 (en) 2021-03-03
US10049282B2 (en) 2018-08-14
US20160162739A1 (en) 2016-06-09
WO2015019415A1 (ja) 2015-02-12
EP3031695A1 (en) 2016-06-15
JP6238989B2 (ja) 2017-11-29

Similar Documents

Publication Publication Date Title
JP6238989B2 (ja) 列車内監視方法及び列車内監視システム
JP5225789B2 (ja) 車両用情報記録システム及び車両用情報記録方法
JP6293013B2 (ja) 映像送信装置、映像送信方法及び映像送信プログラム
US20160098868A1 (en) Triggering a specialized data collection mode
CA3146281C (en) Real-time data acquisition and recording system viewer
US9143670B1 (en) Video capture system including two independent image sensors
US20180297543A1 (en) Method for Operating a Motor Vehicle During an Emergency Call
CN109743531B (zh) 自动驾驶列车的乘客报警系统和方法、车载报警装置
JP2008244674A (ja) 無線端末、車載用無線端末ホルダ、サーバ、およびドライブレコーダシステム
EP3076582A1 (en) Onboard data recording device and management system for data obtained by capturing image of train interior
CN110015320B (zh) 基于轨道交通的监控图像显示方法、装置和系统
US20210407227A1 (en) On-vehicle recording control apparatus, on-vehicle recording apparatus, on-vehicle recording control method, and non-transitory computer-readable recording medium
JP2008216113A (ja) 不具合情報集約システムおよび車両
CN106600743A (zh) 一种基于云后视镜的租赁车辆监控管理系统以及管理方法
JP2007095111A (ja) 映像データ及び検査データの記録システム
JP3888932B2 (ja) 鉄道等車両監視用の画像伝送装置
JP2009020777A (ja) 車両用画像記録装置
JP2008221902A (ja) 運転状況記録装置
CN208538196U (zh) 一种行车记录器
KR101308150B1 (ko) 멀티미디어부를 이용한 철도차량 또는 선로에 대한 점검장치 및 그 장치를 이용한 점검방법
JP2019086895A (ja) ドライブレコーダシステムおよびそれに用いられる車両、情報収集装置、ならびに方法
JP7447455B2 (ja) 車両用記録制御装置および車両用記録制御方法
KR20140068312A (ko) 차량 블랙박스와 연동한 교통사고 정보 관리 방법 및 이를 위한 장치
JP2004314784A (ja) 事故現場情報通報システム
JP2015151222A (ja) エレベータ監視装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171031

R150 Certificate of patent or registration of utility model

Ref document number: 6238989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250