JP7456536B2 - 移動体追跡システム、移動体追跡方法及びプログラム - Google Patents

移動体追跡システム、移動体追跡方法及びプログラム Download PDF

Info

Publication number
JP7456536B2
JP7456536B2 JP2023072005A JP2023072005A JP7456536B2 JP 7456536 B2 JP7456536 B2 JP 7456536B2 JP 2023072005 A JP2023072005 A JP 2023072005A JP 2023072005 A JP2023072005 A JP 2023072005A JP 7456536 B2 JP7456536 B2 JP 7456536B2
Authority
JP
Japan
Prior art keywords
camera
moving object
moving
intersection
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023072005A
Other languages
English (en)
Other versions
JP2023083585A (ja
Inventor
純 三浦
朋彰 田中
慎哉 山本
二郎 川俣
勝 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023083585A publication Critical patent/JP2023083585A/ja
Application granted granted Critical
Publication of JP7456536B2 publication Critical patent/JP7456536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

[関連出願についての記載]
本発明は、日本国特許出願:特願2018-165566号(2018年9月5日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、移動体追跡システム、移動体追跡方法及びプログラムに関する。
道路整備計画や街づくりの計画策定の基礎資料として、自動車起終点調査(Origin-Destination(OD)調査)が実施されている。例えば、国土交通省は、5年ごとに、全国的なOD調査を実施している。
特許文献1に、移動体の計測を自動的に行い、計測結果を集約することができるという自動交通量計測装置、自動交通量計測システムが開示されている。同文献によると、この自動交通量計測装置は、移動体検出手段を備え、ビデオカメラが撮影する映像の1フレームを静止画像と、比較基準となる基準画像とを比較し、比較結果に従って当該静止画像から前記移動体の存在を検出する。この自動交通量計測装置は、さらに、種類特定手段を備え、前記移動体検出手段によって当該移動体として検出された画像の画素面積を元に、当該移動体の種類を特定する。この自動交通量計測装置は、さらに、速度算出手段を備え、前記移動体検出手段によって当該移動体の存在が検出されている連続する複数の前記静止画像の数を元に、当該移動体の移動速度を算出する。この自動交通量計測装置は、さらに、データ生成手段を備え、前記ビデオカメラが撮影する映像と、少なくとも当該移動体の種類、移動速度、検出された時刻とが関連付けて記述される記述データを生成する。
特許文献2に、精度よくかつ効率的に道路上を走行する特定車両の追跡を行なうことができるという交通情報管理装置が開示されている。同文献によると、この交通情報管理装置は、道路上の複数の地点P1~P6のそれぞれに設けられたカメラなどにより構成される交通情報収集装置200a~fを備える。各交通情報収集装置が、車両の大きさや色などの特徴量を検出することで、各装置間の旅行時間T1~T5が推定される。この推定された旅行時間に基づいて、特定車両の各地点における到着時刻を予測し、その予測された時刻において特定車両の検出を行なう。これにより、特定車両の検出精度が向上する、と記載されている。
特許文献3に、車両が一部または全部検出されなくとも認識精度を低下させないことができるという交通流計測装置が開示されている。同文献によると、この交通流計測装置は、時刻tの画像データから車両候補を抽出し、時刻(t-1)との対応付けが完了した車両候補に対して、予測位置を用いて位置補正する位置補正手段24を備える。また、この交通流計測装置は、抽出に失敗した車両を、予測位置を与えて車両候補に加える車両候補補正手段25を備える。また、この交通流計測装置は、所定領域に存在しない車両候補を通過車両と判定する通過判定手段26を備え、前記位置補正又は車両候補の追加、及び、通過車両を加味して交通情報を算出するとされている。
特開2005-4426号公報 特開2000-353290号公報 特開平8-147591号公報
以下の分析は、本発明によって与えられたものである。上記したOD調査は、アンケートなどを併用しているため、費用や時間が掛かるという問題点がある。一方で、カメラ等で撮影した画像に写った像から、人や車両等の移動している物体(移動体)を特定する装置も各種提案され、その精度も向上している(特許文献1~3参照)。しかしながら、特許文献1の自動交通量計測装置では、ビデオカメラを設置した位置におけるディスクリプションデータ(記述データ)しか取れないという問題点がある。この点は、特許文献3も同様であり、道路上の走行する車両の進行方向に向かって道路を撮影するカメラを用いて交通流を計測することを目的としている。
特許文献2の構成では、右左折する車両の追跡は想定されておらず、これを行うには、想定される車両の進行方向に沿ってカメラを多数設置する必要があり、費用が掛かってしまうという問題点がある。
本発明は、交差点に進入する車両等の移動体の追跡調査に要する費用や調査時間の削減に貢献できる移動体追跡システム、移動体追跡方法及びプログラムを提供することを目的とする。
第1の視点によれば、交差点に進入する移動体を撮影する第1のカメラと、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数の第2のカメラと、を含む移動体追跡システムが提供される。この移動体追跡システムは、さらに、前記第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の向きの変化により該移動体の進行方向を判定する進行方向判定部を含む。この移動体追跡システムは、さらに、前記移動体の進行方向に基づいて前記第2のカメラを選択し、前記第2のカメラの撮影データから、前記特定した移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する経路特定部と、を含む。
前記第1の視点の変形として、交差点に進入する移動体を撮影する第1のカメラと、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数の第2のカメラと、前記第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の向きの変化により該移動体の進行方向を判定する進行方向判定部と、前記移動体の進行方向に基づいて前記第2のカメラを選択し、前記第2のカメラの撮影データから、特定した移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する経路特定部と、を含み、選択された前記第2のカメラが設置されている前記地点への前記移動体の到達予定時刻を推定し、当該到達予定時刻に、選択された前記第2のカメラが設置されている前記地点で前記移動体の移動経路を特定できるか否かにより前記移動体を見失ったか否かを判断し、前記移動体を見失った場合に前記移動体の追跡を終了する機能を備え、前記第1のカメラの電源として、前記交差点にある信号機に供給されている電源を用いる、移動体追跡システムとすることができる。
第2の視点によれば、交差点に進入する移動体を撮影する第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の進行方向を判定するステップと、前記移動体の進行方向に基づいて、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数のカメラの中から第2のカメラを選択し、前記第2のカメラの撮影データから、前記移動体が撮影されたフレームを検索することで、前記特定した移動体の移動経路を特定するステップと、を含む移動体追跡方法が提供される。本方法は、上記した第1、第2のカメラのそれぞれで撮影された撮影データにアクセス可能なコンピュータという、特定の機械に結びつけられている。
前記第2の視点の変形として、コンピュータを用いて移動体を追跡する移動体追跡方法であって、交差点に進入する移動体を撮影する第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の進行方向を判定するステップと、前記移動体の進行方向に基づいて、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数のカメラの中から第2のカメラを選択し、前記第2のカメラの撮影データから、前記移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定するステップと、を含み、選択された前記第2のカメラが設置されている前記地点への前記移動体の到達予定時刻を推定し、当該到達予定時刻に、選択された前記第2のカメラが設置されている前記地点で前記移動体の移動経路を特定できるか否かにより前記移動体を見失ったか否かを判断し、追跡中の前記移動体を見失った場合に前記移動体の追跡を終了し、前記第1のカメラの電源として、前記交差点にある信号機に供給されている電源を用いる、移動体追跡方法とすることができる。
第3の視点によれば、交差点に進入する移動体を撮影する第1のカメラと、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数の第2のカメラと、のそれぞれで撮影された撮影データにアクセス可能なコンピュータに、前記第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の進行方向を判定する処理と、前記移動体の進行方向に基づいて前記第2のカメラを選択し、前記第2のカメラの撮影データから、前記移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な(非トランジトリーな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
前記第3の視点の変形として、交差点に進入する移動体を撮影する第1のカメラと、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数の第2のカメラと、のそれぞれで撮影された撮影データにアクセス可能なコンピュータに、前記第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の進行方向を判定する処理と、前記移動体の進行方向に基づいて前記第2のカメラを選択し、前記第2のカメラの撮影データから、前記移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する処理と、を実行させ、選択された前記第2のカメラが設置されている前記地点への前記移動体の到達予定時刻を推定し、当該到達予定時刻に、選択された前記第2のカメラが設置されている前記地点で前記移動体の移動経路を特定できるか否かにより前記移動体を見失ったか否かを判断し、追跡中の前記移動体を見失った場合に前記移動体の追跡を終了し、前記第1のカメラの電源として、前記交差点にある信号機に供給されている電源を用いる、プログラムとすることができる。
本発明によれば、交差点に進入する車両等の移動体の追跡調査に要する費用や調査時間を削減することが可能となる。即ち、本発明は、背景技術に示した移動体の追跡調査をp行う構成を、その費用や調査時間の面で飛躍的に改善させたものへと変換するものとなっている。
本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第1の実施形態の移動体追跡システムの構成を示す図である。 本発明の第1の実施形態のタグ付け済み撮影データ記憶部に保持される情報の一例を示す図である。 映像タグ付けエンジンの機能を説明するための図である。 本発明の第1の実施形態の移動体経路データ記憶部に保持される情報の一例を示す図である。 本発明の第1の実施形態の移動体追跡システムの動作を表したフローチャートである。 本発明の第1の実施形態の移動体追跡システムによる移動体の追跡動作を説明するための図である。 本発明の第2の実施形態の移動体追跡システムの構成を示す図である。 本発明の第2の実施形態の移動体追跡システムによる経路表示態様の一例を示す図である。 本発明の移動体追跡システムを構成するコンピュータの構成を示す図である。
[発明の概要]
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。また、以下の説明において、「A及び/又はB」は、A及びB、又はA若しくはBという意味で用いる。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。また、コンピュータ装置は、通信インタフェースを介して装置内又は外部の機器(コンピュータを含む)と、有線、無線を問わず、交信可能に構成される。また、以下の説明において、「A及び/又はB」は、A及びBの少なくともいずれかという意味で用いる。
本発明は、その一実施形態において、図1に示すように、第1のカメラ11と、複数台の第2のカメラ12A、12Bと、進行方向判定部21と、経路特定部22と、を含む移動体追跡システム20Aにて実現できる。より具体的には、第1のカメラ11は、交差点(例えば、図1の交差点A)に進入する移動体を撮影する。第2のカメラ12A、12Bは、前記交差点に進入した移動体の移動先として設定された複数の地点に設置され、前記交差点を通過した移動体を撮影する。
進行方向判定部21は、前記第1のカメラ11の撮影データに基づいて、前記交差点に進入する移動体の向きの変化により該移動体の進行方向を判定する。例えば、図2に示すように、車両Vが交差点Aに進入し、右折した場合、進行方向判定部21は、第1のカメラ11の撮影データに基づいて、車両Vが右折したと判定する。
そして、経路特定部22は、前記移動体の進行方向に基づいて前記第2のカメラ12Aを選択し、前記第2のカメラ12Aの撮影データから、前記特定した移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する。例えば、図3に示すように、経路特定部22は、前記第2のカメラ12Aの撮影データから識別情報(CAR)が42である車両の移動を確認すると、当該車両が交差点Aから第2のカメラ12Aが設置された地点B1に移動したと判定する。同様のような処理を繰り返すことで、複数の区間を移動する移動体の追跡も可能となる。
このようにして、移動体追跡システム20Aは、交差点に侵入してきた車両等の移動体の経路を特定する。上記した説明からも明らかなとおり、進行方向判定部21は、移動体の進行方向を判定し、経路特定部22は、この進行方向に基づいて第2のカメラの選択を行う。これにより、カメラの設置台数を抑え、移動体の追跡を効率よく行うことができるため、費用や調査時間を削減することが可能となる。
[第1の実施形態]
続いて、本発明をOD調査に適用した第1の実施形態について図面を参照して詳細に説明する。図4は、本発明の第1の実施形態の移動体追跡システムの構成を示す図である。図4を参照すると、複数台のカメラ10と、映像タグ付けエンジン40と、タグ付け済み撮影データ記憶部50と、移動体追跡システム20と、移動体経路データ記憶部60とを含む構成が示されている。
複数台のカメラ10は、OD調査を行うエリアの交差点に、各1台配置される。それぞれのカメラ10は、前後左右方向から交差点に進入する移動体を撮影し、それぞれの方向から前記交差点に進入した移動体についてその進行方向を特定できる位置に設置される。これらのカメラ10の電源としては、信号機のある交差点については、信号機に供給される電源を用いることができる。カメラ10の設置位置は、交差点の状況や装着するレンズの焦点距離等に応じて適切な場所が選択される。本実施形態では、これらのカメラ10が上述した第1、第2のカメラとして機能することになる。
また、カメラ10は可搬型のものであることが好ましい。このようにすることで、OD調査を実施するエリアにカメラ10を持ち込んで、必要箇所にカメラ10を設置して調査を実施することが可能となり、調査コストをより削減することが可能となる。
映像タグ付けエンジン40は、ネットワーク30を介して各カメラ10と接続され、それぞれのカメラ10にて撮影された撮影データを解析して、撮影データに写っている物体を認識し、タグ付けを行う。このような映像タグ付けエンジン40としては、車載用の物体認識装置を用いることができる。映像タグ付けエンジン40がタグ付けした撮影データは、タグ付け済み撮影データ記憶部50に記憶される。
タグ付け済み撮影データ記憶部50は、撮影データとともに、映像タグ付けエンジン40が作成したタグ情報を記憶する。
図5は、タグ付け済み撮影データ記憶部50に保持される情報の一例を示す図である。図5の例では、物体ID、フレーム番号、ボックス座標1、ボックス座標2、物体種別、撮影時刻、カメラ位置情報をパラメータとして持つタグ情報が示されている。
ここで、映像タグ付けエンジン40の動作の例について説明する。図6は、映像タグ付けエンジン40に入力された撮影データの例である。
ステップP1:映像タグ付けエンジン40は、取り込んだ撮影データの中で車両、自転車、人等の物体を抽出し、四角い枠(バウンディングボックスとも言う。)を付け、検出した物体毎にID(物体ID)を付与する。映像タグ付けエンジン40は、その撮影データの撮影日時、フレーム番号、カメラ設置場所の位置情報(カメラ位置情報)を取得する。これらは撮影データに付加されているメタデータから取得することができる。
ステップP2:映像タグ付けエンジン40は、前述の四角い枠に対し、画像左上端を原点(0,0)とした場合の四角い枠(バウンディングボックス)の左上(x1,y1)と右下(x2,y2)の座標を取得する。この座標が、図5のボックス座標1、ボックス座標2に相当する。ボックス座標1、ボックス座標2により、物体の大きさやカメラとの距離を把握することが可能となる。
ステップP3:映像タグ付けエンジン40は、前記抽出した物体が車両、自転車か人であるかを判定する。この判定結果が、図5の物体種別情報となる。なお、物体の種別は、例えば、予め定めた標準的な物体画像との類似度を計算する方法や、AI(Artificial Intelligence)を用いる方法など種々の方法を用いて判定することができる。なお、この判定過程において、物体の種類の確度が得られている場合は、確度のタグ情報に含めてもよい。
以上により、図5の各情報が取得される。なお、上記した映像タグ付けエンジン40の動作や図5のタグ情報は、あくまで一例を示したものであり、種々の変更を加えることが可能である。例えば、車両のナンバープレート情報等が得られている場合、車両の物体IDとして、ナンバープレートの番号を用いることも可能である。
移動体追跡システム20は、上記したタグ付け済み撮影データ記憶部50に記憶された撮影データ及びタグ情報を用いて、移動体の経路を特定し、移動体経路データ記憶部60に記憶する。
より具体的には、移動体追跡システム20は、追跡対象選択部23と、進行方向判定部21と、速度推定部24と、経路特定部22とを備える。
追跡対象選択部23は、追跡を実施する物体IDが入力されると、タグ付け済み撮影データ記憶部50から該当する物体IDが付与されたデータを読み出して、進行方向判定部21に送る。
進行方向判定部21は、図5に例示するタグ情報の撮影時刻が古いフレームと、新しいフレームとを選択し、ボックス座標1、2の変化により、移動体の進行方向を判定する。例えば、X座標、Y座標の双方が大きく変化している場合、進行方向判定部21は、移動体(車両)が交差点で右折または左折をしたと判定する。一方、X座標、Y座標の一方のみが大きく変化している場合、進行方向判定部21は、移動体(車両)が交差点を直進していると判定する。進行方向判定部21は、判定結果として、物体IDと、その判定結果を速度推定部24に送る。
速度推定部24は、図5に例示するタグ情報の撮影時刻が古いフレームと、新しいフレームとを選択し、ボックス座標1、2の変化により、移動体の移動距離を計算する。次に、速度推定部24は、計算した移動距離を、撮影時刻の差分で除算することで、移動体の速度を計算する。速度推定部24は、判定結果として、物体IDと、その推定速度を経路特定部22に送る。
経路特定部22は、進行方向判定部21及び速度推定部24で得られた進行方向と推定速度と、交差点相互間の接続関係に基づいて、移動体が次に通過すると想定される交差点とその推定到達時間を計算する。そして、経路特定部22は、該当する交差点を撮影しているカメラ10にて撮影された撮影データの中から、前記推定到達時間の撮影データを読み出す。そして、経路特定部22は、読み出した撮影データに、物体IDにて特定される被写体と類似する被写体が写っている場合、同一の移動体と判定し、該当する物体IDの移動経路として記録する。
以上の動作を繰り返し、移動体追跡システム20は、移動体の経路情報を作成し、移動体経路データ記憶部60に記憶する。
図7は、移動体経路データ記憶部60に保持されている経路情報の一例を示す図である。図7の例では、物体IDごとのその通過位置と、その撮影時刻を順次記録することで構成された移動体の経路情報が示されている。
続いて、本実施形態の動作について図面を参照して詳細に説明する。図8は、本発明の第1の実施形態の移動体追跡システムの動作を表したフローチャートである。図8を参照すると、まず、移動体追跡システム20は、任意の地点を起点として、追跡対象とする移動体を選択する(ステップS001)。この追跡対象とする移動体の選択は、ユーザから指示されたものでもよいし、移動体追跡システム20が選択した物体IDであってもよい。例えば、移動体追跡システム20が、タグ付け済み撮影データ記憶部50を参照して、任意の地点にて検出された物体IDのすべてを追跡する形態も採用可能である。
次に、移動体追跡システム20は、選択した物体IDを持つ移動体の進行方向を判定する(ステップS002)。
次に、移動体追跡システム20は、選択した物体IDを持つ移動体の速度を推定する(ステップS003)。
次に、移動体追跡システム20は、選択した物体IDを持つ移動体の移動先となる交差点の撮影データのうち、推定速度から求められた撮影時刻のデータを参照し、経路を特定する(ステップS004)。
次に、移動体追跡システム20は、選択した物体IDを持つ移動体の追跡を終了すべきか否かを判定する(ステップS005)。移動体の追跡を終了する条件としては、次のようなものが考えられる。第1の条件は、追跡中の移動体がOD調査を行うエリアの端の交差点に到達した場合である。この場合、起点と終点とその間の経路の特定が完了していることになるので、追跡を終了することができる。第2の条件は、追跡中の移動体を見失った場合である。この場合の理由としては、移動体が目的地に着くなどして、最後の交差点から移動を止めてしまったことが考えられる。この場合も、起点と終点とその間の経路の特定が完了していることになるので、追跡を終了することができる。追跡中の移動体を見失う別の理由としては、移動体が道路の途中でUターンをするなどして、追跡に失敗したケースである。この場合は、調査を打ち切っても良いし、あるいは、探索対象を広げて調査を継続してもよい。
前記判定の結果、追跡を継続すると判定した場合(ステップS005のNO)、移動体追跡システム20は、該当する移動体が最後に進入した交差点の撮影データを読み出して、ステップS002~S004の処理を継続する。
一方、追跡を終了すると判定した場合(ステップS005のYES)、移動体追跡システム20は、移動体経路データ記憶部60に、図7に例示する経路情報を記録して、処理を終了する。
図9を参照して、本実施形態の移動体追跡システム20の動作を具体的に説明する。以下の説明では、A地点を起点とする移動体のOD調査を行うものとして説明する。例えば、物体ID=42の車両が、9時34分20秒にA地点を通過したものとする。この場合、移動体追跡システム20は、A地点の撮影データに基づいて、物体ID=42の車両が、B地点に向かい、その到達予定時刻は、9時34分30秒であると推定する。
次に、移動体追跡システム20は、A地点で判定した進行方向と到達予定時刻に基づいて、B地点の撮影データのうち、9時34分30秒前後にB地点を通過した車両を特定する。図9の例では、物体ID=42の車両と、物体ID=130の車両IDが写っているが、移動体追跡システム20は、より外観が類似する物体ID=42の車両の方を選択する。そして、移動体追跡システム20は、B地点の撮影データに基づいて、物体ID=42の車両が、C地点に向かい、その到達予定時刻は、9時34分40秒であると推定する。
以下同様に、移動体追跡システム20は、B地点で判定した進行方向と到達予定時刻に基づいて、C地点の撮影データのうち、9時34分40秒前後にC地点を通過した車両を特定する。図9の例では、物体ID=42の車両と、物体ID=10の車両IDが写っているが、移動体追跡システム20は、より外観が類似する物体ID=42の車両の方を選択する。以下、同様に、移動体追跡システム20は、物体ID=42の車両が地点Dに到達したことを確認し、そこで、追跡を終了する。
以上、説明したように、本実施形態によれば、1つの交差点につき、1台以上のカメラを設置することで、移動体を追跡することが可能となる。その理由は、移動体追跡システム20が進行方向を判定し、移動体を追跡する構成を採用したことにある。また、本実施形態によれば、その調査時間も短縮させることが可能となる。その理由は、移動体追跡システム20が移動体の速度を推定し、移動体の到達予定時間を用い効率よく追跡を実施する構成を採用したことにある。なお、移動体は必ずしもカメラを設置した交差点だけを通過するわけではなく、上記したステップS005で述べたように一定数の移動体を失探(ロスト)することも考えられる。しかしながら、現状のOD調査におけるアンケートの回収率も3~6割程度であり(平成27年度国交省実施分)、本実施形態の方式でも十分な調査データを得ることができる。
[第2の実施形態]
続いて、上記第1の実施形態の構成を用いて特定の移動体の経路を表した地図情報の表示機能を追加した第2の実施形態について図面を参照して詳細に説明する。図10は、本発明の第2の実施形態の移動体追跡システムの構成を示す図である。図10を参照すると、移動体追跡システム20Bに選択受付応答部25を追加した構成が示されている。
選択受付応答部25は、所定のユーザ端末から受け付けた移動体の移動経路を所定の地図上に表示した地図情報を表示する機能を備えている。具体的には、選択受付応答部25は、所定のユーザ端末から、移動体の選択を受け付けると、移動体経路データ記憶部60から該当する物体IDの経路情報を取り出す。そして、選択受付応答部25は、前記ユーザ端末に対して、前記選択を受け付けた移動体の移動経路を所定の地図上に表示した地図情報を応答する。
図11は、本発明の第2の実施形態の移動体追跡システムによる経路表示態様の一例を示す図である。例えば、選択受付応答部25は、所定のユーザ端末から、物体ID=42の車両の指定を受け付けたものとする。
この場合、移動体追跡システムは、移動体経路データ記憶部60から物体ID=42の経路情報が取り出される。前記ユーザ端末には、図11に示すように、物体ID=42の移動経路を所定の地図上に表示した地図情報が表示される。
ユーザ端末のユーザは、このような地図情報を参照して、不審車両の移動履歴を確認することが可能となる。もちろん、物体IDとして車両以外の移動体を指定し、その移動履歴を確認することも可能である。例えば、犯罪者が逃走に利用した自転車を追跡し、犯罪捜査に役立てることも可能である。
以上のように、本発明は、OD調査のみならず、任意の車両を指定した追跡(移動履歴を表示)システムとしても利用することが可能となる。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
また、上記した第1、第2の実施形態に示した手順は、移動体追跡システム20、20A、20Bとして機能するコンピュータ(図12の9000)に、これらのシステムとしての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図12のCPU(Central Processing Unit)9010、通信インタフェース9020、メモリ9030、補助記憶装置9040を備える構成に例示される。すなわち、図12のCPU9010にて、進行方向判定プログラムや速度推定プログラムを実行し、その補助記憶装置9040等に保持された各計算パラメータの更新処理を実施させればよい。
即ち、上記した第1、第2の実施形態に示した移動体追跡システムの各部(処理手段、機能)は、これらのシステムに搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点による移動体追跡システム参照)
[第2の形態]
上記した移動体追跡システムは、さらに、
前記第1のカメラの撮影データに記録された移動体の位置に基づいて、前記移動体の速度を推定する速度推定部を備え、
前記経路特定部は、前記移動体の速度に基づいて前記第2のカメラの撮影データを選択する構成を採ることができる。
[第3の形態]
Origin-Destination(OD)調査を行うエリアの交差点に、カメラをそれぞれ配置し、
上記した移動体追跡システムは、
前記カメラを前記第1、第2のカメラとして機能させて、Origin-Destination(OD)調査を実施する構成を採ることができる。
[第4の形態]
上記した移動体追跡システムにおいて、
前記第1のカメラは、前後左右方向から交差点に進入する移動体を撮影し、それぞれの方向から前記交差点に進入した移動体についてその進行方向を特定できる位置に設置されていることが好ましい。
[第5の形態]
上記した移動体追跡システムにおいて、さらに、
前記特定した移動体毎に、移動経路を示す経路情報を記憶する経路記憶部と、
所定のユーザ端末から受け付けた移動体の移動経路を所定の地図上に表示した地図情報を表示する地図情報表示部と、を備える構成を採ることができる。
[第6の形態]
(上記第2の視点による移動体追跡方法参照)
[第7の形態]
(上記第3の視点によるプログラム参照)
なお、上記第6~第7の形態は、第1の形態と同様に、第2~第5の形態に展開することが可能である。
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
10 カメラ
11 第1のカメラ
12A、12B 第2のカメラ
20、20A、20B 移動体追跡システム
21 進行方向判定部
22 経路特定部
23 追跡対象選択部
24 速度推定部
25 選択受付応答部
30 ネットワーク
40 映像タグ付けエンジン
50 タグ付け済み撮影データ記憶部
60 移動体経路データ記憶部
9000 コンピュータ
9010 CPU
9020 通信インタフェース
9030 メモリ
9040 補助記憶装置
V 車両

Claims (8)

  1. 交差点に進入する移動体を撮影する第1のカメラと、
    前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数の第2のカメラと、
    前記第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の向きの変化により該移動体の進行方向を判定する進行方向判定部と、
    前記移動体の進行方向に基づいて前記第2のカメラを選択し、前記第2のカメラの撮影データから、特定した移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する経路特定部と、
    を含み、
    選択された前記第2のカメラが設置されている前記地点への前記移動体の到達予定時刻を推定し、当該到達予定時刻に、選択された前記第2のカメラが設置されている前記地点で前記移動体の移動経路を特定できるか否かにより前記移動体を見失ったか否かを判断し、前記移動体を見失った場合に前記移動体の追跡を終了する機能を備え、
    前記第1のカメラの電源として、前記交差点にある信号機に供給されている電源を用いる、
    移動体追跡システム。
  2. さらに、前記第1のカメラの撮影データに記録された移動体の位置に基づいて、前記移動体の速度を推定する速度推定部を備え、
    前記経路特定部は、前記移動体の速度に基づいて前記第2のカメラの撮影データを選択する請求項1の移動体追跡システム。
  3. Origin-Destination(OD)調査を行うエリアの交差点に、カメラをそれぞれ配置し、
    前記カメラを前記第1、第2のカメラとして機能させて、Origin-Destination(OD)調査を実施する機能を備えた請求項1又は2の移動体追跡システム。
  4. 前記第1のカメラは、前後左右方向から交差点に進入する移動体を撮影し、それぞれの方向から前記交差点に進入した移動体についてその進行方向を特定できる位置に設置される請求項1から3いずれか一の移動体追跡システム。
  5. さらに、
    前記特定した移動体毎に、移動経路を示す経路情報を記憶する経路記憶部と、
    所定のユーザ端末から受け付けた移動体の移動経路を所定の地図上に表示した地図情報を表示する地図情報表示部と、を備える請求項1から4いずれか一の移動体追跡システム。
  6. コンピュータを用いて移動体を追跡する移動体追跡方法であって、
    交差点に進入する移動体を撮影する第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の進行方向を判定するステップと、
    前記移動体の進行方向に基づいて、前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数のカメラの中から第2のカメラを選択し、前記第2のカメラの撮影データから、前記移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定するステップと、
    を含み、
    選択された前記第2のカメラが設置されている前記地点への前記移動体の到達予定時刻を推定し、当該到達予定時刻に、選択された前記第2のカメラが設置されている前記地点で前記移動体の移動経路を特定できるか否かにより前記移動体を見失ったか否かを判断し、追跡中の前記移動体を見失った場合に前記移動体の追跡を終了し、
    前記第1のカメラの電源として、前記交差点にある信号機に供給されている電源を用いる、
    移動体追跡方法。
  7. さらに、前記カメラの撮影データに記録された移動体の位置に基づいて、前記移動体の速度を推定するステップと、
    前記移動体の速度に基づいて前記第2のカメラの撮影データを選択するステップと、含む請求項6の移動体追跡方法。
  8. 交差点に進入する移動体を撮影する第1のカメラと、
    前記交差点に進入した移動体の移動先として設定された複数の地点に設置された複数の第2のカメラと、のそれぞれで撮影された撮影データにアクセス可能なコンピュータに、
    前記第1のカメラの撮影データに基づいて、前記交差点に進入する移動体の進行方向を判定する処理と、
    前記移動体の進行方向に基づいて前記第2のカメラを選択し、前記第2のカメラの撮影データから、前記移動体が撮影されたフレームを検索することで、前記移動体の移動経路を特定する処理と、
    を実行させ、
    選択された前記第2のカメラが設置されている前記地点への前記移動体の到達予定時刻を推定し、当該到達予定時刻に、選択された前記第2のカメラが設置されている前記地点で前記移動体の移動経路を特定できるか否かにより前記移動体を見失ったか否かを判断し、追跡中の前記移動体を見失った場合に前記移動体の追跡を終了し、
    前記第1のカメラの電源として、前記交差点にある信号機に供給されている電源を用いる、
    プログラム。
JP2023072005A 2018-09-05 2023-04-26 移動体追跡システム、移動体追跡方法及びプログラム Active JP7456536B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018165566 2018-09-05
JP2018165566 2018-09-05
JP2020541275A JP7272365B2 (ja) 2018-09-05 2019-09-04 移動体追跡システム、移動体追跡方法及びプログラム
PCT/JP2019/034824 WO2020050328A1 (ja) 2018-09-05 2019-09-04 移動体追跡システム、移動体追跡方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020541275A Division JP7272365B2 (ja) 2018-09-05 2019-09-04 移動体追跡システム、移動体追跡方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2023083585A JP2023083585A (ja) 2023-06-15
JP7456536B2 true JP7456536B2 (ja) 2024-03-27

Family

ID=69722389

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020541275A Active JP7272365B2 (ja) 2018-09-05 2019-09-04 移動体追跡システム、移動体追跡方法及びプログラム
JP2023072005A Active JP7456536B2 (ja) 2018-09-05 2023-04-26 移動体追跡システム、移動体追跡方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020541275A Active JP7272365B2 (ja) 2018-09-05 2019-09-04 移動体追跡システム、移動体追跡方法及びプログラム

Country Status (3)

Country Link
US (1) US11990041B2 (ja)
JP (2) JP7272365B2 (ja)
WO (1) WO2020050328A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140043B2 (ja) * 2019-05-07 2022-09-21 株式会社デンソー 情報処理装置
JP7339196B2 (ja) * 2020-03-19 2023-09-05 株式会社Soken 移動体検出システム
WO2021199350A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 遠隔監視システム、装置、方法、及びコンピュータ可読媒体
JP7363717B2 (ja) 2020-08-26 2023-10-18 トヨタ自動車株式会社 物体検出システム、物体検出方法及びプログラム
TWI773112B (zh) * 2021-01-29 2022-08-01 財團法人資訊工業策進會 道路監測系統、裝置及方法
KR20220117491A (ko) * 2021-02-17 2022-08-24 한국전자통신연구원 재식별 방법 및 장치
WO2024075271A1 (ja) * 2022-10-07 2024-04-11 日本電気株式会社 来客分析システム、来客分析方法、及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005353004A (ja) 2004-06-14 2005-12-22 Sumitomo Electric Ind Ltd 車両走行計測システム及び車両追跡方法
JP2012038089A (ja) 2010-08-06 2012-02-23 Nikon Corp 情報管理装置、データ解析装置、信号機、サーバ、情報管理システム、およびプログラム
JP2015060443A (ja) 2013-09-19 2015-03-30 株式会社 日立産業制御ソリューションズ 交通流把握装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2783175B2 (ja) 1994-11-17 1998-08-06 日本電気株式会社 交通流計測装置
JP3402263B2 (ja) 1999-06-10 2003-05-06 住友電気工業株式会社 交通情報管理装置および交通情報管理方法
JP2005004426A (ja) 2003-06-11 2005-01-06 Toshiba Corp 自動交通量計測装置、および自動交通量計測システム
JP2005215909A (ja) 2004-01-29 2005-08-11 Hitachi Ltd 動画像処理技術を使用した市街の交通状況調査システム
JP5374067B2 (ja) 2008-04-21 2013-12-25 株式会社豊田中央研究所 交通状態シミュレーション装置及びプログラム
US20120033123A1 (en) 2010-08-06 2012-02-09 Nikon Corporation Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program
CN106663325B (zh) 2014-08-06 2020-06-16 索尼半导体解决方案公司 图像处理装置及其图像处理方法
JP5971828B1 (ja) * 2015-06-19 2016-08-17 株式会社福山コンサルタント Od交通量の実数推定方法、od交通量の実数推定装置、od交通量の実数推定プログラム、並びに情報記録媒体
JP6390671B2 (ja) 2016-07-29 2018-09-19 オムロン株式会社 画像処理装置および画像処理方法
WO2018180454A1 (ja) * 2017-03-28 2018-10-04 日本電産株式会社 移動体
US10976174B2 (en) * 2017-10-20 2021-04-13 Panasonic I-Pro Sensing Solutions Co., Ltd. Investigation assist system and investigation assist method
US10984254B2 (en) * 2017-10-20 2021-04-20 Panasonic I-Pro Sensing Solutions Co., Ltd. Investigation assist system and investigation assist method
JP2020065200A (ja) * 2018-10-18 2020-04-23 パナソニックi−PROセンシングソリューションズ株式会社 車両等検知システムおよび車両等検知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005353004A (ja) 2004-06-14 2005-12-22 Sumitomo Electric Ind Ltd 車両走行計測システム及び車両追跡方法
JP2012038089A (ja) 2010-08-06 2012-02-23 Nikon Corp 情報管理装置、データ解析装置、信号機、サーバ、情報管理システム、およびプログラム
JP2015060443A (ja) 2013-09-19 2015-03-30 株式会社 日立産業制御ソリューションズ 交通流把握装置及び方法

Also Published As

Publication number Publication date
US11990041B2 (en) 2024-05-21
JPWO2020050328A1 (ja) 2021-08-30
JP2023083585A (ja) 2023-06-15
JP7272365B2 (ja) 2023-05-12
WO2020050328A1 (ja) 2020-03-12
US20210256848A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
JP7456536B2 (ja) 移動体追跡システム、移動体追跡方法及びプログラム
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11333517B1 (en) Distributed collection and verification of map information
JP6568437B2 (ja) 区画線認識装置
JP4677981B2 (ja) 自車位置特定方法及び自車位置特定装置
KR20180046798A (ko) 실시간 교통 정보 제공 방법 및 장치
KR102096926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
WO2012086821A1 (ja) 測位装置、測位方法
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
JP2014228526A (ja) 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
KR102189926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
JP6224344B2 (ja) 情報処理装置、情報処理方法並びに情報処理システム及び情報処理プログラム
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN111448602B (zh) 交叉点内的行驶轨道数据生成装置、交叉点内的行驶轨道数据生成程序以及存储介质
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
JP7265961B2 (ja) アノテーション支援方法、アノテーション支援装置、及びアノテーション支援プログラム
JP2012159373A (ja) データ管理システム、データ管理方法、及びデータ管理プログラム
JP7102383B2 (ja) 路面画像管理システム及びその路面画像管理方法
JP2018010320A (ja) サーバ装置、端末装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP6224343B2 (ja) サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP2021092795A (ja) サーバ装置、端末装置、情報通信方法、及び、サーバ装置用プログラム
JP2018031782A (ja) サーバ装置、端末装置、情報通信方法、及び、サーバ装置用プログラム
KR20220107679A (ko) 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버
JP4902453B2 (ja) 交通規制情報生成装置及び交通規制情報生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R151 Written notification of patent or utility model registration

Ref document number: 7456536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151