JP7384181B2 - 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム - Google Patents

画像収集装置、画像収集方法及び画像収集用コンピュータプログラム Download PDF

Info

Publication number
JP7384181B2
JP7384181B2 JP2021022546A JP2021022546A JP7384181B2 JP 7384181 B2 JP7384181 B2 JP 7384181B2 JP 2021022546 A JP2021022546 A JP 2021022546A JP 2021022546 A JP2021022546 A JP 2021022546A JP 7384181 B2 JP7384181 B2 JP 7384181B2
Authority
JP
Japan
Prior art keywords
image
moving object
distance
predetermined
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021022546A
Other languages
English (en)
Other versions
JP2022124740A (ja
Inventor
俊貴 瀧
陽平 晴山
浩之 天野
和之 香川
祐希 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021022546A priority Critical patent/JP7384181B2/ja
Priority to US17/554,660 priority patent/US20220262122A1/en
Priority to CN202210129012.9A priority patent/CN114944082A/zh
Publication of JP2022124740A publication Critical patent/JP2022124740A/ja
Application granted granted Critical
Publication of JP7384181B2 publication Critical patent/JP7384181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、所定のシーンが表された画像を収集する画像収集装置、画像収集方法及び画像収集用コンピュータプログラムに関する。
所定のシーンが表された画像を適宜収集する技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された技術では、交差点で発生したイベントの種別ごとに、イベントの発生当時の状況を示す画像の抽出条件が保持される。そして入力部を介して入力された、イベントの種別を含むイベント情報に応じて、イベントの発生当時の状況を示す画像の抽出条件を含む画像検索キーが生成される。生成された画像検索キーは、複数の交差点のそれぞれに設置された個々のカメラの撮像画像をカメラ情報及び交差点情報に対応付けて記憶する捜査支援装置へ送信される。
特開２０１９－４０３６８号公報
上記の技術では、交差点で発生した所定のイベントの画像を検索するためには、その所定のイベントを特定するためのイベント情報を入力することが求められる。そのため、交通事故のような所定のイベントが実際に発生していないときに、その所定のイベントと関連しそうな画像を収集するために上記の技術を利用することは困難である。
そこで、本発明は、交通の安全性に関して注意すべきシーンが表されている可能性が有る画像を適切に収集可能な画像収集装置を提供することを目的とする。
一つの実施形態によれば、画像収集装置が提供される。この画像収集装置は、撮像部により得られた所定の地点または所定の車両の周囲を表す画像から移動物体を検出する検出部と、画像から検出された移動物体と他の物体との距離を推定し、推定した距離に基づいて、移動物体と他の物体とが衝突する危険が有るか否かを判定する判定部と、危険が有ると判定した場合、画像を記憶部に保存する保存部とを有する。
この画像収集装置において、判定部は、推定した距離が所定の距離閾値以下である場合、危険が有ると判定することが好ましい。
あるいは、この画像収集装置において、判定部は、検出された移動物体を画像よりも過去に撮像部により得られた画像に表された移動物体と対応付けることで移動物体を追跡し、移動物体の追跡結果に基づいて移動物体が通る軌跡を予測し、予測した軌跡上の何れかの位置における移動物体と他の物体間の距離が所定の距離閾値よりも小さい第２の閾値以下となった場合、危険が有ると判定することが好ましい。
また、この画像収集装置において、保存部は、危険が有ると判定された画像が得られた時点から一定期間の間に撮像部により得られた時系列の一連の画像を記憶部に保存することが好ましい。
この場合において、検出部は、一定期間内において、移動物体が他の物体と衝突したこと、または移動物体が他の物体との衝突を避ける挙動を行ったことをさらに検出し、保存部は、一連の画像のうち、移動物体が他の物体と衝突したとき、または移動物体がその挙動を行ったときの画像を識別する情報を一連の画像とともに記憶部に保存することが好ましい。
他の実施形態によれば、画像収集方法が提供される。この画像収集方法は、撮像部により得られた所定の地点または所定の車両の周囲を表す画像から移動物体を検出し、画像から検出された移動物体と他の物体との距離を推定し、推定した距離に基づいて、移動物体と他の物体とが衝突する危険が有るか否かを判定し、危険が有ると判定した場合、画像を記憶部に保存する、ことを含む。
さらに他の実施形態によれば、画像収集用コンピュータプログラムが提供される。この画像収集用コンピュータプログラムは、撮像部により得られた所定の地点または所定の車両の周囲を表す画像から移動物体を検出し、画像から検出された移動物体と他の物体との距離を推定し、推定した距離に基づいて、移動物体と他の物体とが衝突する危険が有るか否かを判定し、危険が有ると判定した場合、画像を記憶部に保存する、ことをコンピュータに実行させるための命令を含む。
本開示に係る画像収集装置は、交通の安全性に関して注意すべきシーンが表されている可能性が有る画像を適切に収集できるという効果を奏する。
画像収集装置を含む画像収集システムの概略構成図である。 画像収集装置の一例であるサーバのハードウェア構成図である。 画像収集処理に関連するサーバのプロセッサの機能ブロック図である。 （ａ）及び（ｂ）は、それぞれ、画像を要注意画像とするか否かの判定の概要を説明する図である。 画像収集処理の動作フローチャートである。
以下、図を参照しつつ、画像収集装置、及び、画像収集装置にて実行される画像収集方法並びに画像収集用コンピュータプログラムについて説明する。この画像収集装置は、所定の地点を撮影するように設置されたカメラにより生成されたその地点の画像から、検出対象となる１以上の物体（例えば、車両、歩行者等）を検出する。そしてこの画像収集装置は、検出された物体と他の物体との距離に基づいて、移動物体と他の物体とが衝突する危険が有るか否かを判定する。移動物体と他の物体とが衝突する危険が有ると判定した場合、この画像収集装置は、その画像を、衝突事故が生じる可能性が有るといった、交通の安全性に関して注意すべきシーンが表されている可能性が有る要注意画像としてストレージ装置に記憶する。これにより、この画像収集装置は、要注意画像を適切に収集できる。
本実施形態による画像収集装置により収集された個々の要注意画像は、ＡＩまたは人工知能に関する技術分野において、いわゆるビッグデータに含まれる個々のデータとして利用される。例えば、収集された個々の要注意画像は、画像を入力することで、事故などの危険な状況が生じる可能性の有無を判定する、機械学習あるいは深層学習に基づく識別器を学習するための教師データとして利用される。そのような識別器は、いわゆるニューラルネットワークに基づくものとして構成されるが、これに限定されず、他の機械学習システムに基づくものとして構成されてもよい。
さらに、本実施形態による画像収集装置により収集された要注意画像を用いて学習された識別器は、例えば、自動運転制御される車両において、あるいは、道路の管理システムにおいて利用される。
図１は、画像収集装置を含む画像収集システムの概略構成図である。本実施形態では、画像収集システム１は、画像収集装置の一例であるサーバ２と、少なくとも一つのカメラ３とを有する。カメラ３は、例えば、ビッグデータなどの先進技術を活用するスマートシティあるいはコネクティッドシティ内の道路の観測に使用される。カメラ３は、交差点といった所定の地点を撮影するように設置され、サーバ２が接続される通信ネットワーク４とゲートウェイ（図示せず）などを介して接続される。そのため、カメラ３は、通信ネットワーク４を介してサーバ２と通信可能となっている。なお、図１では、一つのカメラ３のみが図示されているが、画像収集システム１は複数のカメラ３を有してもよい。
カメラ３は、撮像部の一例であり、所定の撮影周期ごとに、所定の地点を撮影して、その所定の地点が表された画像を生成する。カメラ３は、さらに、メモリを有し、生成した画像をそのメモリに一時的に記憶する。そしてカメラ３は、メモリに記憶されている画像の枚数が所定枚数に達し、あるいは、メモリに記憶されている画像のデータ量が所定量に達すると、記憶されている各画像を、通信ネットワーク４を介してサーバ２へ送信する。
図２は、画像収集装置の一例であるサーバ２のハードウェア構成図である。サーバ２は、通信インターフェース１１と、ストレージ装置１２と、メモリ１３と、プロセッサ１４とを有する。通信インターフェース１１、ストレージ装置１２及びメモリ１３は、プロセッサ１４と信号線を介して接続されている。サーバ２は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。
通信インターフェース１１は、通信部の一例であり、サーバ２を通信ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース１１は、カメラ３と、通信ネットワーク4を介して通信可能に構成される。そして通信インターフェース１１は、カメラ３から通信ネットワーク４を介して受信した画像をプロセッサ１４へわたす。
ストレージ装置１２は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置１２は、カメラ３から受信した画像などを記憶する。さらに、ストレージ装置１２は、プロセッサ１４上で実行される、画像収集処理を実行するためのコンピュータプログラムを記憶してもよい。
メモリ１３は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ１３は、画像収集処理で使用される各種の情報、例えば、距離閾値、画像に表された移動物体を検出するために用いられる識別器を特定するためのパラメータセット、カメラ３の焦点距離、光軸方向、設置高さなどを記憶する。さらに、メモリ１３は、カメラ３から受け取った画像及び画像収集処理の実行中に生成される各種データなどを一時的に記憶する。
プロセッサ１４は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１４は、論理演算ユニット、数値演算ユニット、あるいは、グラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ１４は、カメラ３から画像を受信する度に、受信した画像に対して画像収集処理を実行する。
図３は、画像収集処理に関連するプロセッサ１４の機能ブロック図である。プロセッサ１４は、検出部２１と、判定部２２と、保存部２３とを有する。プロセッサ１４が有するこれらの各部は、例えば、プロセッサ１４上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ１４が有するこれらの各部は、プロセッサ１４に設けられる、専用の演算回路であってもよい。
検出部２１は、画像に表された検出対象となる物体を検出する。本実施形態において、検出対象となる物体（以下、単に物体あるいは対象物体と呼ぶことがある）は、衝突事故を生じる危険がある移動物体であり、例えば、車両及び歩行者などである。
検出部２１は、例えば、画像を識別器に入力することで、画像に表された対象物体を検出する。そのような識別器として、検出部２１は、例えば、Single Shot MultiBox Detector、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)を用いることができる。あるいは、検出部２１は、AdaBoost識別器といった、他の機械学習手法に基づく識別器を用いてもよい。このような識別器は、画像から検出対象となる物体を検出するように予め学習される。
識別器は、検出された物体が表された領域（以下、物体領域）を表す情報を出力する。例えば、識別器は、そのような情報として、物体領域を囲む外接矩形を出力する。そこで検出部２１は、検出された物体のそれぞれについて、物体領域を表す情報を判定部２２へわたす。
判定部２２は、カメラ３から受信した画像から検出された各物体について、その物体と他の物体間の距離を推定し、推定した距離に基づいて、その物体が他の物体と衝突する危険が有るか否かを判定する。そして判定部２２は、画像から検出された何れかの物体について、他の物体と衝突する危険が有ると判定した場合、その画像を、保存対象となる要注意画像とする。
本実施形態では、判定部２２は、画像から検出された物体のうちの何れかについて、他の検出された物体との距離が所定の距離閾値以下である場合、その物体が他の物体と衝突する危険が有ると判定し、それらの物体が表された画像を要注意画像とする。そこで判定部２２は、物体領域を表す情報に基づいて、検出された物体のそれぞれについて、最も近い他の物体を特定する。
判定部２２は、検出された物体のそれぞれについて、その物体とその物体に最も近い他の物体間の距離を、それらの物体が表された物体領域の位置及び物体領域間の間隔に基づいて推定する。画像上での各画素は、カメラ３から見た方位と１対１に対応するので、画像上での物体領域の所定の位置（例えば、物体領域の重心の位置）に基づいて、カメラ３から見たその物体領域に表された物体への方位が特定される。さらに、検出された物体は路面上に位置すると推定されるので、判定部２２は、検出された物体の実空間における位置を、カメラ３から見たその物体への方位、カメラ３の焦点距離、光軸方向及び設置高さに基づいて推定することができる。したがって、判定部２２は、検出された物体とその物体に最も近い他の物体の位置を画像上でのそれらの物体が表された物体領域の位置、カメラ３の焦点距離、光軸方向及び設置高さに基づいて推定することで、実空間におけるそれら物体間の距離を推定すればよい。
判定部２２は、検出された物体のそれぞれについて、その物体とその物体に最も近い他の物体間の距離を推定すると、距離の推定値が最小となる物体の組を特定する。そして判定部２２は、特定した物体の組についての物体間の距離の推定値を閾値と比較し、その距離の推定値が閾値以下である場合、特定した物体の組に含まれる物体同士が衝突する危険が有ると判定し、それら物体が表された画像を要注意画像とする。
図４（ａ）及び図４（ｂ）は、それぞれ、画像を要注意画像とするか否かの判定の概要を説明する図である。図４（ａ）に示される画像４００及び図４（ｂ）に示される画像４１０からは、それぞれ、車両４０１と歩行者４０２とが検出されている。
図４（ａ）に示される例では、車両４０１と歩行者４０２との距離d1が所定の距離閾値Th以下となっている。そのため、判定部２２は、車両４０１と歩行者４０２とが衝突する危険が有ると判定し、画像４００を、要注意画像とする。一方、図４（ｂ）に示される例では、車両４０１と歩行者４０２との距離d2が所定の距離閾値Thよりも大きい。そのため、判定部２２は、画像４１０が生成された時点においては車両４０１と歩行者４０２とが衝突する危険が無いと判定し、画像４１０を、要注意画像でないとする。
変形例によれば、判定部２２は、画像上での物体領域間の距離の最小値を所定の距離閾値と比較し、その最小値が所定の距離閾値以下である場合、その画像を要注意画像としてもよい。この場合、判定部２２は、検出された物体間の距離の推定に要する演算量を削減できる。
他の変形例によれば、判定部２２は、最新の画像から検出された物体を、過去にカメラ３により得られた画像から検出された物体と対応付けることで追跡して、検出された物体のそれぞれについて、その追跡結果に基づいてその物体が通る軌跡を予測してもよい。そして判定部２２は、何れかの物体について、予測した軌跡上の位置（以下、予測位置と呼ぶことがある）と追跡中の他の物体の予測位置との距離が第２の閾値以下となる時点がある場合、追跡中の物体と他の物体とが衝突する危険が有ると判定してもよい。なお、第２の閾値は、上記の所定の閾値よりも小さい値に設定される。
この場合、判定部２２は、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、カメラ３により得られた最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された物体を追跡する。そのため、判定部２２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして判定部２２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、判定部２２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された物体を追跡してもよい。
判定部２２は、追跡中の各物体について、カメラ３の光軸方向、焦点距離及び設置高さなどの情報を用いて視点変換処理を実行することで、その物体の画像内座標を鳥瞰画像上の座標（鳥瞰座標）に変換する。そして判定部２２は、追跡中に得られた一連の画像から得られた各鳥瞰座標に対してKalman FilterまたはParticle filterなどを用いた予測処理を実行することで、その物体の所定時間先までの予測軌跡を推定することができる。
判定部２２は、追跡中の各物体について、所定時間先までの各時点における予測位置と他の追跡中の物体の予測位置との距離を求めることで、その物体の予測位置と他の追跡中の物体の予測位置との距離の最小値を求めればよい。そして判定部２２は、その最小値を第２の距離閾値と比較することで、追跡中の各物体について、他の追跡中の物体と衝突する危険が有るか否かを判定すればよい。
さらに他の変形例によれば、判定部２２は、検出された物体の実空間における位置に応じて、適用する距離閾値を変更し、あるいは、検出された物体自体を、衝突の危険性の判定対象から外すようにしてもよい。例えば、判定部２２は、検出された物体が歩行者であり、かつ、その歩行者の位置が歩道上である場合には、他の歩行者との距離に基づいて衝突の危険性の有無を判定しないようにしてもよい。また、判定部２２は、検出された物体が車両である場合には、その車両が走行する車線と隣接する車線を走行する他の車両との距離と比較される距離閾値を、車両と歩行者間の距離と比較される距離閾値よりも小さくしてもよい。なお、本実施形態では、カメラ３は固定設置されているので、実空間における歩道、各車線などに対する画像上の位置は既知である。そこで、歩道、各車線などの画像上の位置を示す参照マップがメモリ１３に予め記憶されていればよい。判定部２２は、その参照マップ及び検出された物体の画像上の位置を参照することで、検出された物体の実空間上の位置を特定することができる。また、実空間上の位置ごとに、適用される距離閾値もメモリ１３に予め記憶されていればよい。さらに、判定部２２は、カメラ３が所定の地点を撮影したタイミングにおける、その地点に設けられた信号機の点灯状態に応じて、適用する距離閾値を変更してもよい。例えば、信号機が赤信号であれば、その交差点の手前で停止するため、その車両の前方を歩行者が通行しても、その車両と歩行者とが荘とする危険は無い。そこで、判定部２２は、信号機の点灯状態が赤信号である場合に適用される距離閾値を、信号機の点灯状態が青信号である場合に適用される距離閾値よりも小さくしてもよい。なお、判定部２２は、画像上で信号機が表された領域の色の平均値を算出し、その平均値を、信号機の灯状態ごとに予め設定された色の範囲と比較する。そして判定部２２は、色の平均値が含まれる範囲に相当する点灯状態を、実際の信号機の点灯状態として判定すればよい。あるいは、判定部２２は、画像から信号機の点灯状態を判定する他の手法に従って、信号機の点灯状態を判定してもよい。
判定部２２は、カメラ３から受信した画像が要注意画像であるか否かの判定結果を保存部２３に通知する。
保存部２３は、カメラ３から受信した画像について、判定部２２から要注意画像であるとの判定結果を受け取ると、その画像をストレージ装置１２に保存する。その際、保存部２３は、画像から検出された物体を含む物体領域及び検出された物体の種類を表す情報を、画像とともにストレージ装置１２に保存してもよい。一方、保存部２３は、カメラ３から受信した画像について、判定部２２から要注意画像でないとの判定結果を受け取ると、その画像を廃棄する。
図５は、画像収集処理の動作フローチャートである。プロセッサ１４は、カメラ３から画像を受信する度に、受信した画像に対して下記の動作フローチャートに従って画像収集処理を実行する。
プロセッサ１４の検出部２１は、画像に表された検出対象となる物体を検出する（ステップＳ１０１）。プロセッサ１４の判定部２２は、検出された物体のそれぞれについて、その物体から他の物体までの距離を推定し、各物体について推定された距離のうちの最小値を求める（ステップＳ１０２）。そして判定部２２は、距離の最小値が所定の距離閾値Th以下となるか否か判定する（ステップＳ１０３）。
距離の最小値が閾値Th以下となる場合（ステップＳ１０３－Ｙｅｓ）、判定部２２は、カメラ３から受信した画像において衝突の危険が有ると判定する（ステップＳ１０４）。そしてプロセッサ１４の保存部２３は、衝突の危険が有ると判定された画像を要注意画像としてストレージ装置１２に保存する（ステップＳ１０５）。
一方、距離の最小値が閾値Thよりも大きい場合（ステップＳ１０３－Ｎｏ）、判定部２２は、カメラ３から受信した画像において衝突の危険は無いとと判定する（ステップＳ１０６）。そして保存部２３は、画像を廃棄する（ステップＳ１０７）。ステップＳ１０５またはＳ１０７の後、プロセッサ１４は、画像収集処理を終了する。
以上に説明してきたように、この画像収集装置は、カメラにより生成された所定の地点の画像から、検出対象となる１以上の物体を検出し、検出された物体と他の物体との距離に基づいて、移動物体と他の物体とが衝突する危険が有るか否かを判定する。そして移動物体と他の物体とが衝突する危険が有ると判定した場合、この画像収集装置は、その画像を、要注意画像としてストレージ装置に記憶する。これにより、この画像収集装置は、要注意画像を適切に収集できる。
変形例によれば、判定部２２は、ある時点で得られた画像について、その画像から検出された物体同士の距離が所定の距離閾値以下となった場合、その時点から一定期間の間にカメラ３から得られる時系列の一連の画像のそれぞれを要注意画像としてもよい。そして保存部２３は、その一定期間に得られた時系列の一連の要注意画像をストレージ装置１２に保存してもよい。これにより、画像収集装置は、事故が生じたとき、あるいは、事故にならないまでも車両または歩行者が緊急回避行動を取った時の画像を保存対象にできる可能性を高めることができる。なお、一定期間は、予め設定された長さの期間であってもよく、あるいは、判定部２２は、検出された物体同士の距離の最小値が所定の距離閾値よりも大きくなった時点でその一定期間を終了させてもよい。
さらに、検出部２１は、その一定期間において、事故が生じたこと、または、緊急回避行動が行われたこと（以下、説明の便宜上、これらをまとめて要注意イベントと呼ぶ）を検出してもよい。そして保存部２３は、要注意イベントが検知された画像を識別する情報、及び、要注意イベントに関連する物体を示す情報を、一連の要注意画像とともにストレージ装置１２に保存してもよい。
この場合、検出部２１は、一定期間中の何れかの画像において、その画像から検出された二つの物体間の距離が接触判定閾値よりも小さい場合、その画像において要注意イベントが生じたと判定し、その二つの物体を、要注意イベントに関連する物体として特定する。接触判定閾値は、上記の所定の距離閾値よりも小さい値、例えば、数10cm程度の値に設定される。
あるいは、検出部２１は、一定期間中の何れかの画像において他の物体との距離が所定の距離閾値以下となった物体の姿勢が特定の姿勢となったことを検出すると、要注意イベントが生じたと判定してもよい。特定の姿勢は、例えば、歩行者についての路面に横たわる姿勢、または、車両についての道路の延伸方向を横切る向きとなる姿勢とすることができる。この場合、検出部２１は、例えば、対象となる物体を含む物体領域を、その物体の姿勢を検出するように予め学習された識別器に入力することで、その物体の姿勢が特定の姿勢であるか否かを判定する。検出部２１は、姿勢検出用の識別器として、例えば、DeepPoseあるいはHRNetといった、CNN型のアーキテクチャを有するDNNを用いることができる。あるいは、検出部２１は、対象となる物体を含む物体領域のアスペクト比に基づいて、その物体の姿勢が特定の姿勢であるか否かを判定してもよい。例えば、歩行者は、通常、路面に対する鉛直方向の長さ（以下、高さと呼ぶ）の方が、路面と平行な水平方向の長さ（以下、幅と呼ぶ）よりも長い。しかし、歩行者が路面に横たわっていると、物体領域の幅の方が物体領域の高さよりも長くなる。そこで検出部２１は、対象となる物体を含む物体領域の幅に対する高さの比が所定の比率以下である場合に、その物体の姿勢が特定の姿勢であると判定してもよい。
あるいはまた、検出部２１は、一定期間中の何れかの画像において他の物体との距離が所定の距離閾値以下となった物体（以下、着目物体と呼ぶ）が衝突回避のための挙動をとったことを検出すると、要注意イベントが生じたと判定してもよい。この場合、上記の実施形態において説明したように、検出部２１は、着目物体を追跡することで一定期間中における着目物体の軌跡を求め、その軌跡に基づいて、着目物体が衝突回避のための挙動をとったか否かを判定すればよい。例えば、検出部２１は、着目物体の進行方向が所定角度以上変化した場合、あるいは、着目物体の減速度が所定の減速度閾値以上となった場合に、着目物体が衝突回避のための挙動をとったと判定すればよい。
判定部２２は、一連の要注意画像の組が所定数以上得られると、それらの要注意画像の組を用いて、カメラ３から得られた画像が要注意画像か否かの判定に用いる所定の距離閾値を更新してもよい。例えば、判定部２２は、それら一連の要注意画像の組のそれぞれを、要注意イベントが生じた組と要注意イベントが生じなかった組とに分類する。判定部２２は、要注意イベントが生じた組と要注意イベントが生じなかった組のそれぞれについて、検出された物体間の距離の最小値の平均値及び分散を算出する。そして判定部２２は、それぞれの組の分散に基づいて、要注意イベントが生じた組についての距離の最小値の平均値からのマハラノビス距離と要注意イベントが生じなかった組についての距離の最小値の平均値からのマハラノビス距離とが等しくなる距離にて、その所定の距離閾値を更新すればよい。このように所定の距離閾値を更新することで、画像収集装置は、より適切に要注意画像を収集することができる。
さらに他の変形例によれば、カメラ３がプロセッサ及びメモリを有し、そのカメラ３のプロセッサが、上記の実施形態または変形例による、検出部２１、判定部２２及び保存部２３の処理を実行してもよい。この場合には、カメラ３自体が画像収集装置の他の一例となる。またこの場合、カメラ３のプロセッサは、カメラ３により生成された画像のうち、要注意画像であると判定された画像のみをサーバ２へ送信して、サーバ２のストレージ装置１２に、要注意画像を保存させればよい。この変形例によれば、要注意画像のみがカメラ３からサーバ２へ送信されるので、通信負荷が軽減される。
また、カメラ３は、２輪車、普通自動車あるいはトラックといった車両において、その車両の周囲を撮影するように取り付けられてもよい。この場合、カメラ３は、通信ネットワーク４と接続される無線基地局（図示せず）に対して無線通信にてアクセスすることで、その無線基地局及び通信ネットワーク４を介してサーバ２と通信可能に接続される。またこの場合、判定部２２は、カメラ３が取り付けられた車両と画像から検出された移動物体との距離が所定の距離閾値以下となる場合に、その移動物体と車両とが衝突する危険性が有ると判定し、かつ、その画像を要注意画像であると判定してもよい。この場合、カメラ３が取り付けられた車両が他の物体の一例となる。
判定部２２は、画像に表された移動物体の種別及び画像上でのその移動物体を含む物体領域のサイズに基づいて、車両とその移動物体間の距離を推定してもよい。この場合、メモリ１３には、予め、移動物体の種別ごとに、画像上でのサイズと移動物体と車両間の距離との関係を表す参照テーブルが記憶される。そして判定部２２は、その参照テーブルを参照することで、車両と移動物体間の距離を推定すればよい。あるいは、画像上での移動物体の下端の位置は、その移動物体が路面に接している位置を表すと推定されるので、判定部２２は、画像上での移動物体の下端の位置に基づいて、車両からその移動物体までの距離を推定してもよい。この場合、判定部２２は、画像上での移動物体の下端の位置、カメラ３の光軸方向及び焦点距離に基づいて、カメラ３から見た移動物体の下端の位置までの方位を推定することができる。さらに、判定部２２は、カメラ３から見た移動物体の下端の位置までの方位と、カメラ３の路面からの高さとに基づいて、車両からその移動物体までの距離を推定できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
１ 画像収集システム
２ サーバ（画像収集装置）
３ カメラ
４ 通信ネットワーク
１１ 通信インターフェース
１２ ストレージ装置
１３ メモリ
１４ プロセッサ
２１ 検出部
２２ 判定部
２３ 保存部

Claims (5)

  1. 撮像部により得られた所定の地点または所定の車両の周囲を表す画像から移動物体を検出する検出部と、
    前記画像から検出された移動物体と他の物体との距離を推定し、前記距離に基づいて、前記移動物体と前記他の物体とが衝突する危険が有るか否かを判定する判定部と、
    前記危険が有ると判定した場合、前記画像を記憶部に保存する保存部と、
    を有し、
    前記判定部は、前記距離が所定の距離閾値以下である場合、前記危険が有ると判定するとともに、前記移動物体を前記画像よりも過去に前記撮像部により得られた画像に表された前記移動物体と対応付けることで前記移動物体を追跡し、前記移動物体の追跡結果に基づいて前記移動物体が通る軌跡を予測し、予測した前記軌跡上の何れかの位置における前記移動物体と前記他の物体間の距離が前記所定の距離閾値よりも小さい第２の閾値以下となった場合、前記危険が有ると判定する画像収集装置。
  2. 前記保存部は、前記危険が有ると判定された画像が得られた時点から一定期間の間に前記撮像部により得られた時系列の一連の画像を前記記憶部に保存する、請求項１に記載の画像収集装置。
  3. 前記検出部は、前記一定期間内において、前記移動物体が前記他の物体と衝突したこと、または前記移動物体が前記他の物体との衝突を避ける挙動を行ったことをさらに検出し、
    前記保存部は、前記一連の画像のうち、前記移動物体が前記他の物体と衝突したとき、または前記移動物体が前記挙動を行ったときの画像を識別する情報を前記一連の画像とともに前記記憶部に保存する、請求項２に記載の画像収集装置。
  4. 撮像部により得られた所定の地点または所定の車両の周囲を表す画像から移動物体を検出し、
    前記画像から検出された移動物体と他の物体との距離を推定し、前記距離に基づいて、前記移動物体と前記他の物体とが衝突する危険が有るか否かを判定し、
    前記危険が有ると判定した場合、前記画像を記憶部に保存する、
    ことを含み、
    前記衝突する危険があるか否かの判定は、
    前記距離が所定の距離閾値以下である場合、前記危険が有ると判定するとともに、前記移動物体を前記画像よりも過去に前記撮像部により得られた画像に表された前記移動物体と対応付けることで前記移動物体を追跡し、前記移動物体の追跡結果に基づいて前記移動物体が通る軌跡を予測し、予測した前記軌跡上の何れかの位置における前記移動物体と前記他の物体間の距離が前記所定の距離閾値よりも小さい第２の閾値以下となった場合、前記危険が有ると判定する
    ことを含む画像収集方法。
  5. 撮像部により得られた所定の地点または所定の車両の周囲を表す画像から移動物体を検出し、
    前記画像から検出された移動物体と他の物体との距離を推定し、前記距離に基づいて、前記移動物体と前記他の物体とが衝突する危険が有るか否かを判定し、
    前記危険が有ると判定した場合、前記画像を記憶部に保存する、
    ことをコンピュータに実行させ、
    前記衝突する危険があるか否かの判定は、
    前記距離が所定の距離閾値以下である場合、前記危険が有ると判定するとともに、前記移動物体を前記画像よりも過去に前記撮像部により得られた画像に表された前記移動物体と対応付けることで前記移動物体を追跡し、前記移動物体の追跡結果に基づいて前記移動物体が通る軌跡を予測し、予測した前記軌跡上の何れかの位置における前記移動物体と前記他の物体間の距離が前記所定の距離閾値よりも小さい第２の閾値以下となった場合、前記危険が有ると判定する
    ことを含む画像収集用コンピュータプログラム。
JP2021022546A 2021-02-16 2021-02-16 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム Active JP7384181B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021022546A JP7384181B2 (ja) 2021-02-16 2021-02-16 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム
US17/554,660 US20220262122A1 (en) 2021-02-16 2021-12-17 Image collection apparatus and image collection method
CN202210129012.9A CN114944082A (zh) 2021-02-16 2022-02-11 图像收集装置、图像收集方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021022546A JP7384181B2 (ja) 2021-02-16 2021-02-16 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2022124740A JP2022124740A (ja) 2022-08-26
JP7384181B2 true JP7384181B2 (ja) 2023-11-21

Family

ID=82800743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021022546A Active JP7384181B2 (ja) 2021-02-16 2021-02-16 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム

Country Status (3)

Country Link
US (1) US20220262122A1 (ja)
JP (1) JP7384181B2 (ja)
CN (1) CN114944082A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207676A (ja) 1999-01-08 2000-07-28 Nec Corp 交通事故検出装置
JP2014199546A (ja) 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100794631B1 (ko) * 2006-04-24 2008-01-14 한국교통연구원 네비게이션 일체형 교통사고 자동녹화 시스템
JP2008186170A (ja) * 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP5064257B2 (ja) * 2008-01-31 2012-10-31 矢崎総業株式会社 車両用周辺状況記録装置
JP2010191793A (ja) * 2009-02-19 2010-09-02 Denso It Laboratory Inc 警告表示装置及び警告表示方法
JP2010198552A (ja) * 2009-02-27 2010-09-09 Konica Minolta Holdings Inc 運転状況監視装置
JPWO2010109831A1 (ja) * 2009-03-23 2012-09-27 コニカミノルタホールディングス株式会社 ドライブレコーダ
JP2011134207A (ja) * 2009-12-25 2011-07-07 Konica Minolta Holdings Inc 運転記録装置および地図作成システム
JP5920158B2 (ja) * 2012-10-09 2016-05-18 株式会社デンソー 移動体用画像記憶装置
DE102015011195A1 (de) * 2015-08-26 2016-03-24 Daimler Ag Verfahren zum Anzeigen einer Kollision eines Objekts mit einem abgestellten Kraftfahrzeug und Vorrichtung dazu
JP6880455B2 (ja) * 2017-10-26 2021-06-02 トヨタ自動車株式会社 運転支援装置及び運転支援システム
US10363944B1 (en) * 2018-02-14 2019-07-30 GM Global Technology Operations LLC Method and apparatus for evaluating pedestrian collision risks and determining driver warning levels
US10817732B2 (en) * 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision
JP6705495B1 (ja) * 2018-12-26 2020-06-03 株式会社Ｊｖｃケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
WO2020237207A1 (en) * 2019-05-23 2020-11-26 Systomix, Inc. Apparatus and method for processing vehicle signals to compute a behavioral hazard measure
US10885775B2 (en) * 2019-06-06 2021-01-05 Verizon Patent And Licensing Inc. Monitoring a scene to analyze an event using a plurality of image streams
US10916131B1 (en) * 2019-10-01 2021-02-09 Paul Schottland Intersection and road monitoring for distracted or unsafe drivers
US11663830B2 (en) * 2020-08-21 2023-05-30 Ubicquia Iq Llc Node-based near-miss detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207676A (ja) 1999-01-08 2000-07-28 Nec Corp 交通事故検出装置
JP2014199546A (ja) 2013-03-29 2014-10-23 富士通株式会社 運転支援装置及び運転支援方法

Also Published As

Publication number Publication date
CN114944082A (zh) 2022-08-26
US20220262122A1 (en) 2022-08-18
JP2022124740A (ja) 2022-08-26

Similar Documents

Publication Publication Date Title
US11380105B2 (en) Identification and classification of traffic conflicts
Beymer et al. A real-time computer vision system for measuring traffic parameters
JP3580475B2 (ja) 周辺監視装置
Song et al. Vehicle behavior analysis using target motion trajectories
CN106652468A (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
US20100322476A1 (en) Vision based real time traffic monitoring
JP7024610B2 (ja) 検知装置及び検知システム
Mithun et al. Video-based tracking of vehicles using multiple time-spatial images
US20170259814A1 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
JP5482672B2 (ja) 移動物体検出装置
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
JP7454685B2 (ja) 車両走行路内のデブリの検出
JP2022036726A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Park et al. Vision-based surveillance system for monitoring traffic conditions
Beymer et al. Tracking vehicles in congested traffic
Choi et al. Cut-in vehicle warning system exploiting multiple rotational images of SVM cameras
CN105679090B (zh) 一种基于智能手机的夜间司机驾驶辅助方法
KR102345798B1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
JP2019207655A (ja) 検知装置及び検知システム
TWI730509B (zh) 影像偵測區域取得方法及空間使用情況的判定方法
Kanhere Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration
JP7384181B2 (ja) 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム
KR102452460B1 (ko) Ptz 카메라를 통해 cctv 공간모델을 생성하는 장치, 방법 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7384181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151