JP6991737B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6991737B2 JP6991737B2 JP2017095725A JP2017095725A JP6991737B2 JP 6991737 B2 JP6991737 B2 JP 6991737B2 JP 2017095725 A JP2017095725 A JP 2017095725A JP 2017095725 A JP2017095725 A JP 2017095725A JP 6991737 B2 JP6991737 B2 JP 6991737B2
- Authority
- JP
- Japan
- Prior art keywords
- queue
- time
- information processing
- objects
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 70
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 description 40
- 238000012545 processing Methods 0.000 description 36
- 238000005259 measurement Methods 0.000 description 32
- 238000012217 deletion Methods 0.000 description 17
- 230000037430 deletion Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 3
- 241000287107 Passer Species 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M9/00—Counting of objects in a stack thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
例えば、特許文献1では、飲食店、遊技施設、銀行等において、入力手段により待ち開始情報や待ち終了情報を入力して、実績待ち時間を計測する待ち時間管理システムが開示されている。
特許文献2では、顧客が待ち行列の最後尾に並んだ時刻を別途取得することなく、外部端末が提供したサービスのログに基づいて、外部端末を利用するのに必要な平均待ち時間及び待ち行列の長さを時刻ごとに提供可能にする待ち行列推定システムが開示されている。
図1は、情報処理装置10のハードウェア構成の一例を示す図である。
情報処理装置10は、ハードウェア構成として、メモリ11と、CPU(Central Processing Unit)12と、NIC(Network Interface Card)13と、入力装置I/F14と、表示装置I/F15と、を含む。
メモリ11は、プログラム、設定データ、閾値、カメラで撮像された画像等を記憶する記憶装置である。CPU12は、情報処理装置10の処理を制御する中央演算装置である。NIC13は、情報処理装置10をネットワークに接続する。入力装置I/F14は、入力装置20を情報処理装置10に接続するインタフェースである。また、表示装置I/F15は、表示装置30を情報処理装置10に接続するインタフェースである。本実施形態では、情報処理装置10と入力装置20、表示装置30とは、それぞれ独立した装置とするが、入力装置20、表示装置30が情報処理装置10に含まれることとしてもよい。
通過検出部101は、行列を構成する物体の通過を検出する。通過検出部101は、物体の待ち時間の計測を終了したい位置に設けられる。通常、通過検出部101は、待ち行列の先頭部、待ち行列エリアから物体が退出する部分に設けるが、待ち行列の途中までの待ち時間を計測する場合には、待ち行列の途中に設けられてもよい。通過検出部101には、赤外線等による通過センサ、画像により物体の通過を検知する画像解析機能を持ったカメラ等が用いられる。しかし、通過検出部101をソフトウェア構成として情報処理装置10に実装してもよい。この場合、通過検出部101は、カメラで撮像された画像を画像処理等して物体の通過を検知する。また、通過検出部101は、上記の複数の方法を組み合わせて物体の通過を検知するようにしてもよい。
カウント部102は、通過検出部101が検知した、対象とする待ち行列に存在する物体数を算出する。
カウント部102は、画像により物体の数をカウントする画像解析機能を持ったカメラに実装してもよい。また、カウント部102は、電波等を使用した位置情報測定システムに実装し、人数をカウントしてもよい。例えば、カウント部102は、無線LANのアクセスポイントを使って、行列内の物体が所持する、その無線LANを利用するタグやモバイル端末をサーチして行列内に存在する物体数をカウントする。また、情報処理装置10のソフトウェア構成として実装した場合、カウント部102は、カメラより受け取った画像を解析し、物体を検知して、カウントしてもよい。また、カウント部102は、上記の複数の方法を組み合わせて物体をカウントしてもよい。
カウント部102は、あらかじめ定められたタイミングで物体のカウントを行う。カウント部102は、通常、一定の周期でカウントを行うが、通過検出部101で物体の通過を検出されたタイミングに応じて物体のカウントを行ってもよい。
その際、カウントした時刻ちょうどに最後の物体が到着したとは限らないため、到着時刻は、カウントした時刻と1つ前にカウントした時刻との中間の時刻にすると、誤差に統計上の偏りがなくてよい。例えば、カウント部102が一定周期で物体のカウントを行う場合には、周期の2分の1だけカウント時刻より前の時刻を待ち時間計測エリアへの到着時刻とすると、求める待ち時間が、実際の待ち時間を中心値として分布する。
行列状況記憶部103は、通常はカウントごとに記憶する。しかし、行列状況記憶部103は、直近のカウントとその1つ前のカウントとの間に、通過検出部101で物体の通過の検出がなく、かつ、直近のカウントと1つ前のカウントとで物体数が同じ場合、待ち時間計測エリアへの到着がなかったものとしてもよし。即ち、この場合、行列状況記憶部103は、その時刻と物体数とは記憶しないようにしてもよい。
設定部104は、ユーザー操作等に基づき、カウントのタイミング、表示のタイミングを設定する。カウントのタイミング、表示のタイミングを、メモリ11等に記憶しておくことによって、毎回入力する必要がなく、利便性が向上する。
通信部106は、待ち時間算出部105で算出された結果を、NIC13等を介して端末等の機器に送信する。情報処理装置10は、端末等の機器と有線で接続されていてもよいし、無線で接続されていてもよい。
表示部107は、設定部104の設定間隔に応じて、待ち時間算出部105で算出された待ち時間を表示装置30等に表示する。
また103~107の各部は、ハードウェアとして情報処理装置等に実装されていてもよいし、ソフトウェアとして情報処理装置等に実装されてもよい。また、103~107の各部のすべて又は一部はハードウェアとソフトウェアとを組み合わせて実装されてもよい。また、各部は必要に応じて、複数、情報処理装置、又はシステムに実装されてもよい。
以下に示す実施形態では、CPU12が、メモリ11に記憶されたプログラムに基づき処理を実行することによって、図2、後述する図6に示す情報処理装置10の機能構成及び後述する図3、図8に示すフローチャートの処理が実現されるものとする。このような構成の場合、設定された設定条件はメモリ11等に記憶されている。
本実施形態では、上述した特定の物体は、人体として説明を行うがこの限りではない。例えば、ユーザーが設定等を変更することによって、通過検出部101及びカウント部102は、ユーザーの所望する特定の物体を認識することができる。
図3のフローチャートに係る処理は、例えば、待ち時間計測システムが起動された時点から開始される。
S201において、設定部104は、待ち時間の計測、表示のタイミング等、入力装置20等を介して入力された設定条件を設定する。事前に設定条件がメモリ11等に記憶されている場合、設定部104は、メモリ11等に記憶されている設定条件を読み出して設定する。
S202において、カウント部102は、設定されたカウントするタイミングになったか否かを判定する。例えば、カウント部102は、設定されたタイミングになっていれば(S202においてYES)、S203に進み、設定されたタイミングになっていなければ(S202においてNO)、S205に進む。
S203において、カウント部102は、対象となるエリアの物体の数をカウントする。S203の処理は、カメラで撮像された画像から待ち行列に並んでいるオブジェクト数をカウントするカウント処理の一例である。
S204において、行列状況記憶部103は、カウント部102がカウントした時刻を基に算出した到着時刻とカウント部102で算出された物体数とを関連付けて組にしてメモリ11等に記憶する。S204の処理は、オブジェクト数がカウントされた時刻に基づきオブジェクトが待ち行列に入った時刻を決定する処理の一例である。また、S204の処理は、オブジェクトが待ち行列に入った時刻を待ち行列に並んでいるオブジェクト数と関連付けて記憶する記憶制御処理の一例である。
S206において、待ち時間算出部105は、S201で設定された設定条件に従って、待ち時間の実績値を算出する。このとき、待ち時間算出部105は、行列状況記憶部103によってメモリ11等に記憶された到着時の状況から、待ち時間の計算が終了していないものに対して、通過検出部101で通過が検出されたごとに、待ち人数を減算する。この待ち人数が0になったら、待ち時間算出部105は、そのときの通過検出部101で検出された退出時刻とカウント部102でカウントされた時刻から算出された到着時刻との差を待ち時間とする。S206の処理は、待ち行列から出ていくオブジェクト数と待ち行列に並んでいるオブジェクト数とに基づきオブジェクトが待ち行列から出た時刻を決定する第1の決定処理の一例である。また、S206の処理は、オブジェクトが待ち行列に入った時刻とオブジェクトが待ち行列から出た時刻とに基づきオブジェクトの待ち行列における待ち時間を決定する第2の決定処理の一例である。
待ち時間算出部105は、このように計算した待ち時間を、到着時刻又は退出時刻ごとのデータにしたり、ある時間帯のヒストグラムにしたり、時刻ごとの平均値や移動平均値を求めたりする等、必要な表示形態にする処理を行う。
S207において、表示部107は、S206で求められた待ち時間を表示装置30等に表示する。表示部107は、メモリ11に記憶されている設定条件等に応じて、過去の計測待ち時間、通過頻度等のデータも表示する。
S207の処理は、決定されたオブジェクトの待ち行列における待ち時間を出力する処理の一例である。
S208において、通信部106は、S206で求められた待ち時間を外部装置に送信するか否かの要求の有無を、例えば、メモリ11に記憶されている設定情報や、外部装置からの要求等に基づき判定する。通信部106は、外部装置に送信すると判定した場合、S206で求められた待ち時間を外部装置に送信する。例えば、外部装置は、受信した待ち時間の情報等を外部装置のディスプレイ等に表示する。
S208の処理は、決定されたオブジェクトの待ち行列における待ち時間を出力する処理の一例である。
S209において、待ち時間算出部105は、待ち時間の算出の処理を終了するか否かを判定する。待ち時間算出部105は、設定条件等に応じて、待ち時間の算出の処理を随時実施する場合(S209においてNO)、S202へ戻り、待ち時間の算出の処理を終了する場合(S209においてYES)、図3に示すフローチャートの処理を終了する。
S203、S204、S206、S207は一連の処理として説明したが、これに限られるものではない。例えば、S203~S204の処理と、S206~S207の処理と、を並列で行ってもよい。例えば、S204で行列状況記憶部103は、到着時刻と物体数とを組にしてデータベースやファイル等に記憶する。S206で待ち時間算出部105は、データベースやファイル等より情報を読み取り、待ち時間を算出する。そして、通信部106や表示部107が算出された待ち時間等を送信したり、表示したりするようにしてもよい。
図4は、待ち時間計測システムの処理をタクシー乗り場に並んでいる行列に対して適用した一例を説明するための図である。
図4(A)は、タクシー乗り場で、タクシーが到着するエリア3001の破線で示す範囲内に、タクシー301が到着する。
また、タクシーを待つ人が並ぶエリア3002の破線で示す範囲内には、タクシーを乗車する場所として出口302があり、ガイドポール304により、エリア3002が特定され、行列の整列を促している。エリア3002を特定し、行列の整列を促すものであり、エリア3002に入場する部分が明示できれば、床に線がひいてある等でもよく、ガイドポール304に限定されるものではない。
出口302の上方には、通過検出部101の一例である赤外線センサ305が設置されている。また、行列ができうるエリア3002を撮像するカメラが設置され、カメラからの画像を解析することで、カウント部102は人数をカウントしている。
図4(A)の状態例は、まだ待ち行列ができていない状態であり、エリア3002に人が存在しないときの例である。
図4(B)は、タクシーに乗ろうとする人が、並ぶエリア3002に入ろうとしているところを示す図である。
Aの到着が11時01分20秒で、このときの待ち行列の人数は7人であったとする。
図5(B)は、図5(A)のカウント時刻の時間帯近辺の退出検知時刻である。待ち時間算出部105は、Aの到着時刻以降に退出を検知していくごとに待ち人数を減算していく。Aの順位が0になったら、Aが退出したことになるから、11時05分30秒が、Aが退出した時刻(乗車した時刻)になる。
したがって、Aの待ち時間は、11時05分30秒-11時01分15秒=4分15秒となる。
また、行列状況記憶部103は、待ち時間計測エリアへの到着時刻と、そのときの物体数と、を組にしたデータをメモリ11等のデータベースに保存するようにしてもよい。そして、待ち時間算出部105は、SQL(Structured Query Language)でデータベースに問い合わせて、到着時刻でソートしたレコードを抽出する等して待ち時間を求めてもよい。
また、カウント人数が、その時点の順位の最大値よりも2以上大きい場合、前回のカウント時刻から今回のカウント時刻までに複数の人が並んだことになる。したがって、このような場合、行列状況記憶部103は、複数並んだものとして、それぞれの人が行列に並んだ時刻(到着時刻)とそれぞれの順位とをメモリ11等に記憶する。
例えば、図5(A)では、11時02分00秒で取得した画像でのカウント数は9であるが、その前に、Aが11時01分15秒に入って、その後11時01分35秒に1名タクシーに乗り、行列エリアから退出して、順位の最大値が7になっている。このため、11時01分30秒から11時02分00秒までの間に2人到着したことになる。
同様に行列状況記憶部103は、「到着時刻:11時01分45秒、順位:8」「到着時刻:11時01分45秒、順位:9」をメモリ11等に記憶する。そして、待ち時間算出部105は、行列状況記憶部103によって記憶された情報に基づき待ち時間の算出を行えばよい。
上述した例では、行列状況記憶部103が記憶する到着時刻を同じ時刻とした。しかし、行列状況記憶部103は、「到着時刻:11時01分40秒、順位:8」「到着時刻:11時01分50秒、順位:9」として、人数に応じて、カウント間隔を等分した時刻とするようにしてもよい。このようにすることにより、誤差の平均値を減らすことができる。
図6は、実施形態2の待ち時間計測システムの機能構成の一例を示す図である。
退出検出部502は、行列を構成するエリアからの物体の退出を検出するもので、実施形態1の通過検出部101と同様のものを用いることができる。本実施形態では、退出検出部502は、撮像装置(カメラ)501で撮像された画像から物体の通過を検知するようにした。カメラは、待ち行列の全体を撮像できるように設置される。退出検出部502は、カメラから動画を取得し、各フレームの画像処理・解析によって検出された物体の位置の時間的変化を基に、ある位置での物体の通過を検知する。位置はラインで設定することができる。通過を検出するラインを複数設定することで、退出検出部502は、複数の位置の物体の通過を検出するようにしてもよい。
カウント部503は、撮像装置501で撮像された画像から物体を検出し、物体の数をカウントする。例えば、タクシー乗り場等に設置された撮像装置からの画像ではタクシー待ち行列以外の人が写る可能性がある。このような場合、カウント部503は、撮像装置501で撮像された画像のうち、あらかじめ定められたエリアだけ解析したり、カウントしたりしてもよい。
行列状況記憶・待ち時間算出部505は、設定部504で設定されたタイミングにおける物体数をカウント部503から取得し、その時刻、物体数を基にして、到着時刻等を内部に保持する待ち行列用配列に記憶する。また、行列状況記憶・待ち時間算出部505は、退出検出部502で物体を検知した際には、待ち行列用配列の先頭に記憶されている到着時刻の物体が待ち行列のエリアから退出したものとして、到着時刻と退出時刻とから待ち時間を算出する。また、行列状況記憶・待ち時間算出部505は、待ち行列用配列に格納された到着時刻を先頭方向へ繰り上げる処理を行う。
通信部506は、行列状況記憶・待ち時間算出部505で推定された結果の内容を、NIC13等を介して端末等の機器に送信する。情報処理装置10は、端末等の機器と有線で接続されていてもよいし、無線で接続されていてもよい。
表示部507は、設定部504の設定間隔に応じて、行列状況記憶・待ち時間算出部505で算出された待ち時間を表示装置30等に表示する。
撮像装置501は、撮像を行う。情報処理装置10は、撮像装置501より画像を受け取り、待ち時間等を算出する。また、情報処理装置10は、撮像装置501の駆動、撮像画像の表示も行う。情報処理装置10のハードウェア構成は、図1のハードウェア構成と同様であるため説明を省略する。
ネットワーク650は撮像装置501と情報処理装置10とを接続する。ネットワーク650は、例えばEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では撮像装置501と情報処理装置10との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。例えば、ネットワーク650はインターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されてもよい。
メモリ615は、プログラム、設定データ等を記憶する記憶装置である。CPU616は、撮像装置501の処理を制御する中央演算装置である。CPU616がメモリ615に記憶されたプログラムに基づき処理を実行することによって撮像装置501の機能が実現される。撮像部611は、撮像素子と撮像素子上に被写体の工学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、CMOS(ComplementaryMetal-Oxide Semiconductor)又はCCD(Charged Coupled Device)等の撮像素子である。信号処理部612は、撮像部611によって撮像された画像信号の処理を行う。信号処理部612は、例えば、撮像部611によって撮像された画像の符号化を行う。符号化方式として例えば、JPEG(Joint Photographic Experts Group)を用いることができる。又は、符号化方式として、H.264/MPEG-4 AVC(以下H.264)を用いることができる。又は符号化方式として、HEVC(High Efficiency Video Coding符号化方式)を用いることができる。但し符号化方式はこれらに限らない。信号処理部612は、複数の符号化方式の中から符号化方式を選択して符号化を行うこととしてもよい。駆動制御部613は、撮像部611の撮像方向、及び画角を変更させる制御を行う。本実施形態では、撮像部611は、パン方向、チルト方向に撮像方向を変更でき、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置501は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部614は、信号処理部612で処理が行われた撮像画像を情報処理装置10に送信する。更に通信制御部614は、情報処理装置10から撮像装置501に対する制御命令を受信する。
図8のフローチャートに係る処理は、例えば、待ち時間計測システムが起動された時点から開始される。
S701において、設定部504は、待ち時間の計測、表示のタイミング、通過検知線、カウントエリア等、入力装置20及び表示装置30の何れか又は双方を介して入力された設定情報を設定する。事前に設定条件がメモリ11等に記憶されている場合、設定部104は、メモリ11等に記憶されている設定条件を読み出して設定する。
S702において、カウント部503は、設定されたカウントするタイミングになったか否かを判定する。例えば、カウント部503は、設定されたタイミングになっていれば(S702においてYES)、S703に進み、設定されたタイミングになっていなければ(S702においてNO)、S705に進む。
S703において、カウント部503は、対象となるエリアの物体をカウントする。
行列状況記憶・待ち時間算出部505は、到着時刻の数がカウント数と同じ場合には、新たに到着した物体がないとして、何も処理を行わない。
タクシー待ちの行列の場合等で、人が重なっていて、正しく行列内の物体をカウントできていなかったり、行列の途中で人が抜けてしまったりすることも考えられる。このような場合で、カウント数の方が、待ち行列用配列に記憶されている到着時刻の数より少ない場合、行列状況記憶・待ち時間算出部505は、以下の処理を実行する。即ち、行列状況記憶・待ち時間算出部505は、到着時刻の数より少ない分だけ待ち行列用配列に記憶されている到着時刻を削除するか、削除候補識別用フラグを付ける。このとき、行列状況記憶・待ち時間算出部505は、削除又は削除候補識別フラグを付ける到着時刻は、後方のもの又は、時間的に密集している部分のものから順に行うとよい。
削除候補識別フラグが付けられている場合、行列状況記憶・待ち時間算出部505は、カウント数と削除候補識別フラグの付いていない到着時刻の合計数とを比較して、カウント数の方が多ければ、多い分、付いている削除候補識別フラグを外していく。行列状況記憶・待ち時間算出部505は、外していく削除候補識別フラグの数が足りない場合、通常通り、到着時刻を待ち行列配列の下位に追加する。行列状況記憶・待ち時間算出部505は、外していく順は、削除候補識別フラグを付けた順の逆向きにする。
S704の処理は、オブジェクトが待ち行列に入ると、その時刻を待ち行列に並んでいるオブジェクトに対応する配列に格納する記憶制御の処理の一例である。
S706において、行列状況記憶・待ち時間算出部505は、待ち行列用配列の先頭の到着時刻(T1)のものが退出したものとして、その検知した時刻を退出時刻(T2)とする。そして、行列状況記憶・待ち時間算出部505は、T2-T1を、時刻T1に並んだ人の待ち時間として算出し、待ち時間を順に繰り上げていく。
このとき、行列状況記憶・待ち時間算出部505は、待ち行列用配列の先頭の到着時刻に、削除候補識別フラグがついている場合、その到着時刻は削除されているものとして、2番目の到着時刻を先頭とみなして、待ち時間を算出する。
S706の処理は、待ち行列から出ていくオブジェクトが検知された場合、検知された時刻に基づきオブジェクトが待ち行列から出た時刻を決定する第1の決定の処理の一例である。また、S706の処理は、待ち行列から出ていくオブジェクトが検知された場合、配列に格納されている待ち行列に入った時刻から待ち行列から出たオブジェクトが待ち行列に入った時刻を決定し、オブジェクトが待ち行列に入った時刻とオブジェクトが待ち行列から出た時刻とに基づきオブジェクトの待ち行列における待ち時間を決定する第2の決定の処理の一例である。
S707において、表示部507は、S706で求めた待ち時間を表示装置30等に表示する。表示部507は、設定に応じて、待ち時間を時系列に基づき加工して表示する。
S707の処理は、決定されたオブジェクトの待ち行列における待ち時間を出力する処理の一例である。
S708において、通信部506は、外部装置に通信するか否かの要求の有無を、例えば、メモリに記憶されている設定情報や、外部装置からの要求等に基づき判定する。外部装置に通信すると判定した場合、通信部506は、NIC13を介してS706で求めた待ち時間を送信する。例えば、外部装置は、受信した待ち時間の情報等を外部装置のディスプレイ等に表示する。
S708の処理は、決定されたオブジェクトの待ち行列における待ち時間を出力する処理の一例である。
S709において、例えば、行列状況記憶・待ち時間算出部505は、待ち時間の推定の処理を終了するか否かを判定する。行列状況記憶・待ち時間算出部505は、待ち時間の計測の処理を随時実施する場合(S709においてNO)、S702へ戻る。また、行列状況記憶・待ち時間算出部505は、待ち時間の計測の処理を終了する場合(S709においてYES)、図8に示すフローチャートの処理を終了する。
S703、S704、S706、S707は一連の処理として説明したが、こられに限られるものではない。例えば、S703~S704の処理と、S706~S707の処理と、を並列で行ってもよい。例えば、S704の処理で、行列状況記憶・待ち時間算出部505は、データベースやファイル等に記憶された情報に基づき後述する図9や図10で示す処理を実行する。そして、S706の処理で、行列状況記憶・待ち時間算出部505は、待ち時間を算出する等する。そして、通信部506や表示部507が算出された待ち時間等を送信したり、表示したりするようにしてもよい。
本実施形態でも、図4のように、待ち時間計測システムの処理をタクシー乗り場に並んでいる行列に対して適用した例を用いて説明を行う。
図9、図10は、待ち時間計測システムの処理をタクシー乗り場に並んでいる行列に対して適用した一例を説明するための図である。
例えば、図9(A)のように、Aの到着後の最初のカウント時刻(11時00分30秒)で、カウントした待ち行列人数が8人となり、その時点での記憶されている図9(B)の待ち行列用配列に7人分の到着時刻が格納してあったとする。この場合、行列状況記憶・待ち時間算出部505は、待ち行列用配列の最後尾にそのカウント時刻を基にして決定した到着時刻(11時00分15秒)を待ち行列用配列に格納し、図9(C)のようにする。
次に、図9(D)のように、退出検出部502は、退出の検知を11時00分35秒に行った。その際、行列状況記憶・待ち時間算出部505は、図9(C)の待ち行列用配列に格納されている到着時刻の先頭の10時57分45秒の人が退出したものとして、その待ち時間をその差分の2分50秒と算出する。そして、行列状況記憶・待ち時間算出部505は、待ち行列用配列の先頭のデータを削除して、データを順次繰り上げ、図9(E)のような待ち行列用配列とする。
更に、11時01分00秒のカウントで、カウント人数が7人であるとすると、図9(F)の待ち行列配列は7人分であるため、行列状況記憶・待ち時間算出部505は、待ち行列用配列の変更を行わない。
その後、図10(H)のように11時02分00秒のカウント人数が6人であったとする。このとき、図10(I)のようにカウント人数に比べて到着時刻の合計数が一つ少ないので、行列状況記憶・待ち時間算出部505は、到着時刻の古い到着時刻の削除識別用フラグを1から0にして削除識別用フラグが0の到着時刻を6個にする。
更に、図10(J)のように11時02分30秒のカウント人数が8人であったとする。このとき、その時点での待ち行列配列は、図10(I)のように削除識別用フラグが0の到着時刻が6個になっているので、削除識別用フラグが1の到着時刻の削除識別用フラグを0に戻しても一人少ない。よって、行列状況記憶・待ち時間算出部505は、一人分の到着時刻を追加し、図10(K)のようにする。
削除識別用フラグがついている到着時刻が、待ち行列用配列の先頭にある場合に、退出が検知された場合、行列状況記憶・待ち時間算出部505は、その先頭の到着時刻はないものとして、2番目の到着時刻のものが退出したとする。
通過検知線1002は、到着や退出を検出したい部分に設定される。例えば、S701において、設定部504は、GUI等を介したユーザー操作に基づいて、画像上に通過検知線1002を設定する。
S703において、カウント部503は、図11の画像から、検知人体がこの場所に何個あるかをカウントする。
撮像装置501からの画像を使って人数カウントを行う場合、通行人1004と区別できるように、待ち時間の計測のために、カウントしたいカウントエリア1003を設定するようにしておくとよい。
ここで検知人体枠1001Aとして検知した人が、タクシーに乗るために、図11(B)のように前方に移動した場合、S705において、退出検出部502は、以下のように処理を行う。即ち、退出検出部502は、同一の検知人体の位置やサイズについて、1つ前の時刻の画像フレームで解析した結果との変化により、通過検知線1002を通過したかを判断する。
実施形態1及び2ではタクシーへの乗車口が1つしかない場合で、1台のカメラで取得できるエリアについて説明したが、タクシーの乗車口が複数ある場合は、それぞれで通過検知を行うことで同様に待ち時間を求めることができる。また、エリアが広い場合でもそれぞれのエリアの人数カウントを行い、合計人数を求めることで、待ち時間を測定することができる。
複雑になっても、これらの組み合わせで行うことができ、例えば、図12に示す待ち時間計測システムで実現することができる。
以下の情報処理装置1103のハードウェア構成は、図1の情報処理装置10のハードウェア構成と同様であるため説明を省略する。即ち、情報処理装置1103のCPUが情報処理装置1103のメモリ等に記憶されているプログラムに基づき処理を実行することによって、情報処理装置1103の機能等が実現される。
タクシー待ちエリア1101に並ぶ待ち行列を撮像した画像を複数のカメラ1102で撮像する。
複数のカメラ1102からの画像は、情報処理装置1103内の通過検知部1104で解析処理される。通過検知部1104において通過が検知された場合、その時刻が待ち時間計測部1108に通知される。カメラの画像を使用する場合、通過検知部1104は、通過検知設定GUI1106で設定された通過検知線等の情報に基づいて人が通過検知線を通過したことの検知を行う。通過検知部1104は、動画の各フレームを処理して、検出した人体をフレーム間で関連付けて同一人物の通過検知線の通過の検知を行う。複数のカメラの画像を処理する場合には、情報処理装置の性能に応じて、1つ又は複数の情報処理装置を使って処理を行うようにしてもよい。カメラ1102側でこれらの処理を行って、検知情報を情報処理装置1103に送ってもよい。
待ち時間計測部1108では、図8で示したフローチャートの処理に従って待ち時間の算出の処理を行う。
複数のカメラを使う場合には、そのカウントする画像を取得するタイミングの同期が重要になる。計測された待ち時間は、データベース1109やCSVファイルの形式で、メモリ11等に保存される。通信・表示部1110は、計測された待ち時間を、他の端末(外部表示1111)と通信したり、情報処理装置1103の表示装置等に表示したりする。データベース1109には、待ち時間だけでなく、通過検知された時刻や人数カウントの結果等を保存しておき、そのデータやその集計結果を情報処理装置1103の表示装置等に表示してもよい。また、外部装置から情報処理装置1103に、集計したい時間帯等を設定できるようにしてもよい。
これらの待ち時間は、適宜集計、グラフ化され、係員の配置等に役立てることができる。
また、人数カウントを行うエリアを2つ以上設定するようにしてもよい。また、1つのカメラで、複数の乗車口が撮像できるようにカメラを配置した場合には、情報処理装置1103は、複数の通過位置を設定するようにし、それぞれの通過を検出し、その都度、待ち行列用配列を操作するようにしてもよい。
この場合、図13(B)のように出口から人があふれていない場合、情報処理装置は、図14のように、到着時刻は、その入口での通過検知の時刻として、待ち行列用配列に記憶すればよい。出口から人があふれている場合、情報処理装置は、図8で説明したフローチャートの処理の通りにすればよい。
また、あらかじめ定めた時間帯ごとに待ち時間を求める必要がある場合には、全員の平均をとってもよいし、ある一人を代表させてもよい。この場合、その時間帯に通過がなかった場合には、前後の時間帯の通過者のうち近い方の値を代表させるか単純平均や加重平均を取る、又は、前の通過者の値を使う等の処理を行うとよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した実施形態を任意に組み合わせて実施してもよい。
11 メモリ
12 CPU
Claims (11)
- 待ち行列に並んでいるオブジェクトの数をカウントするカウント手段と、
前記カウント手段によって前記オブジェクトの数がカウントされた時刻に基づく推定時刻であって、対象オブジェクトが前記待ち行列に入った推定時刻である第1推定時刻を記憶する記憶手段と、
前記第1推定時刻より後に前記待ち行列から出ていったオブジェクトの数が、前記対象オブジェクトが前記待ち行列に入ったときに前記待ち行列に並んでいたオブジェクトの数に到達した時刻を、前記対象オブジェクトが前記待ち行列から出た第2推定時刻として決定する決定手段と、
前記第1推定時刻と前記第2推定時刻とに基づき前記対象オブジェクトの前記待ち行列における待ち時間を算出する算出手段と、
を有する情報処理装置。 - 前記待ち行列から出ていくオブジェクトを検知する検知手段を更に有し、
前記決定手段は、前記第1推定時刻より後に前記検知手段により検知されたオブジェクトの数が、前記対象オブジェクトが前記待ち行列に入ったときに前記待ち行列に並んでいたオブジェクトの数に到達した時刻を、前記対象オブジェクトが前記待ち行列から出た第2推定時刻として決定する請求項1に記載の情報処理装置。 - オブジェクトが待ち行列に入ると、その時刻を前記待ち行列に並んでいるオブジェクトに対応する配列に格納する記憶制御手段と、
前記待ち行列から出ていくオブジェクトが検知された場合、前記検知された時刻に基づき前記オブジェクトが前記待ち行列から出た時刻を決定する第1の決定手段と、
前記オブジェクトについて前記配列に格納されている待ち行列に入った時刻と、前記第1の決定手段により決定された前記オブジェクトが前記待ち行列から出た時刻とに基づき前記オブジェクトの前記待ち行列における待ち時間を決定する第2の決定手段と、
前記待ち行列に並んでいるオブジェクトの数をカウントするカウント手段と、を有し、
前記記憶制御手段は、前記カウント手段によりカウントされたオブジェクトの数と、前記配列に格納されている前記待ち行列に入った時刻の個数とに応じて、前記待ち行列に入った時刻を前記配列に新たに追加する、または、前記配列に格納されていた前記待ち行列に入った時刻を前記配列から削除することを特徴とする情報処理装置。 - 前記待ち行列から出ていくオブジェクトが検知された場合、前記第2の決定手段は、前記配列に格納されている待ち行列に入った時刻のうち最も古い待ち行列に入った時刻を前記待ち行列から出たオブジェクトが前記待ち行列に入った時刻と決定し、前記オブジェクトが前記待ち行列に入った時刻と前記オブジェクトが前記待ち行列から出た時刻とに基づき前記オブジェクトの前記待ち行列における待ち時間を決定する請求項3に記載の情報処理装置。
- 前記待ち行列から出ていくオブジェクトが検知され、前記第2の決定手段により前記オブジェクトの前記待ち行列における待ち時間が決定された場合、前記記憶制御手段は、前記配列に格納されている待ち行列に入った時刻のうち最も古い待ち行列に入った時刻を削除する請求項4に記載の情報処理装置。
- 前記カウント手段によりカウントされたオブジェクトの数が前記配列に格納されている待ち行列に入った時刻の個数より多い場合、前記記憶制御手段は、前記配列に、差分の数だけ、オブジェクトが待ち行列に入った時刻を新たに追加する請求項3乃至5何れか1項に記載の情報処理装置。
- 前記カウント手段によりカウントされたオブジェクトの数が前記配列に格納されている待ち行列に入った時刻の個数より少ない場合、前記記憶制御手段は、前記配列から、差分の数だけ、オブジェクトが待ち行列に入った時刻を削除する請求項3乃至6何れか1項に記載の情報処理装置。
- 前記オブジェクトの前記待ち行列における前記待ち時間を出力する出力手段を更に有する請求項1乃至7何れか1項に記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
待ち行列に並んでいるオブジェクトの数をカウントするカウント工程と、
前記カウント工程によって前記オブジェクトの数がカウントされた時刻に基づく推定時刻であって、対象オブジェクトが前記待ち行列に入った推定時刻である第1推定時刻を記憶手段に記憶する記憶工程と、
前記第1推定時刻より後に前記待ち行列から出ていったオブジェクトの数が、前記対象オブジェクトが前記待ち行列に入ったときに前記待ち行列に並んでいたオブジェクトの数に到達した時刻を、前記対象オブジェクトが前記待ち行列から出た第2推定時刻として決定する決定工程と、
前記第1推定時刻と前記第2推定時刻とに基づき前記対象オブジェクトの前記待ち行列における待ち時間を算出する算出工程と、
を有する情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
オブジェクトが待ち行列に入ると、その時刻を前記待ち行列に並んでいるオブジェクトに対応する配列に格納する記憶制御工程と、
前記待ち行列から出ていくオブジェクトが検知された場合、前記検知された時刻に基づき前記オブジェクトが前記待ち行列から出た時刻を決定する第1の決定工程と、
前記オブジェクトについて前記配列に格納されている待ち行列に入った時刻と、前記第1の決定工程により決定された前記オブジェクトが前記待ち行列から出た時刻とに基づき前記オブジェクトの前記待ち行列における待ち時間を決定する第2の決定工程と、
前記待ち行列に並んでいるオブジェクトの数をカウントするカウント工程と、を有し、
前記記憶制御工程は、前記カウント工程によりカウントされたオブジェクトの数と、前記配列に格納されている前記待ち行列に入った時刻の個数とに応じて、前記待ち行列に入った時刻を前記配列に新たに追加する、または、前記配列に格納されていた前記待ち行列に入った時刻を前記配列から削除することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至8何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017095725A JP6991737B2 (ja) | 2017-05-12 | 2017-05-12 | 情報処理装置、情報処理方法及びプログラム |
US15/971,752 US10902355B2 (en) | 2017-05-12 | 2018-05-04 | Apparatus and method for processing information and program for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017095725A JP6991737B2 (ja) | 2017-05-12 | 2017-05-12 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018194896A JP2018194896A (ja) | 2018-12-06 |
JP6991737B2 true JP6991737B2 (ja) | 2022-01-13 |
Family
ID=64097930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017095725A Active JP6991737B2 (ja) | 2017-05-12 | 2017-05-12 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10902355B2 (ja) |
JP (1) | JP6991737B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11704782B2 (en) * | 2018-10-03 | 2023-07-18 | The Toronto-Dominion Bank | Computerized image analysis for automatically determining wait times for a queue area |
US10740585B2 (en) * | 2018-12-12 | 2020-08-11 | General Electric Technology Gmbh | System and apparatus for identifying boiler tubes |
US20230036521A1 (en) * | 2021-07-30 | 2023-02-02 | International Business Machines Corporation | Image comparison to determine resource availability |
JP7487901B1 (ja) | 2023-01-24 | 2024-05-21 | Necプラットフォームズ株式会社 | 行列情報提供システム、方法、及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004347863A (ja) | 2003-05-22 | 2004-12-09 | Fujitsu Support & Service Kk | タクシー待ち表示方法及びシステム |
JP2005189921A (ja) | 2003-12-24 | 2005-07-14 | Nec Software Chubu Ltd | 待ち時間表示システム、待ち時間表示方法 |
JP2010176225A (ja) | 2009-01-27 | 2010-08-12 | Nec Corp | 情報通知システム及び情報通知方法並びに制御プログラム |
JP2015069639A (ja) | 2014-04-28 | 2015-04-13 | パナソニックIpマネジメント株式会社 | 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法 |
JP2015215787A (ja) | 2014-05-12 | 2015-12-03 | キヤノン株式会社 | 情報処理装置、待ち時間推定システム、情報処理方法及びプログラム |
US20160191865A1 (en) | 2014-12-30 | 2016-06-30 | Nice-Systems Ltd. | System and method for estimating an expected waiting time for a person entering a queue |
US20170011327A1 (en) | 2015-07-12 | 2017-01-12 | Spotted, Inc | Method of computing an estimated queuing delay |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01181256A (ja) * | 1988-01-13 | 1989-07-19 | Nippon Telegr & Teleph Corp <Ntt> | 待ち時間監視回路 |
JP3826956B2 (ja) | 1994-06-28 | 2006-09-27 | 株式会社富士通ソーシアルサイエンスラボラトリ | 待ち時間管理システム |
AU2003286778A1 (en) | 2002-10-30 | 2004-06-07 | Premier Wireless, Inc. | Queuing management and vessel recognition |
US7409076B2 (en) | 2005-05-27 | 2008-08-05 | International Business Machines Corporation | Methods and apparatus for automatically tracking moving entities entering and exiting a specified region |
US8472715B2 (en) | 2007-10-26 | 2013-06-25 | Panasonic Corporation | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
US8438175B2 (en) | 2010-03-17 | 2013-05-07 | Lighthaus Logic Inc. | Systems, methods and articles for video analysis reporting |
EP2677460B1 (de) | 2012-06-20 | 2015-07-08 | Xovis AG | Verfahren zur Bestimmung der Länge einer Warteschlange |
JP6161386B2 (ja) | 2013-04-26 | 2017-07-12 | 株式会社日立システムズ | 待ち行列推定システム、平均待ち時間算出方法、待ち行列長算出方法、平均待ち時間算出プログラムおよび待ち行列長算出プログラム |
-
2017
- 2017-05-12 JP JP2017095725A patent/JP6991737B2/ja active Active
-
2018
- 2018-05-04 US US15/971,752 patent/US10902355B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004347863A (ja) | 2003-05-22 | 2004-12-09 | Fujitsu Support & Service Kk | タクシー待ち表示方法及びシステム |
JP2005189921A (ja) | 2003-12-24 | 2005-07-14 | Nec Software Chubu Ltd | 待ち時間表示システム、待ち時間表示方法 |
JP2010176225A (ja) | 2009-01-27 | 2010-08-12 | Nec Corp | 情報通知システム及び情報通知方法並びに制御プログラム |
JP2015069639A (ja) | 2014-04-28 | 2015-04-13 | パナソニックIpマネジメント株式会社 | 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法 |
JP2015215787A (ja) | 2014-05-12 | 2015-12-03 | キヤノン株式会社 | 情報処理装置、待ち時間推定システム、情報処理方法及びプログラム |
US20160191865A1 (en) | 2014-12-30 | 2016-06-30 | Nice-Systems Ltd. | System and method for estimating an expected waiting time for a person entering a queue |
US20170011327A1 (en) | 2015-07-12 | 2017-01-12 | Spotted, Inc | Method of computing an estimated queuing delay |
Also Published As
Publication number | Publication date |
---|---|
US10902355B2 (en) | 2021-01-26 |
US20180330285A1 (en) | 2018-11-15 |
JP2018194896A (ja) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6840492B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6991737B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN105139040B (zh) | 一种排队状态信息检测方法及其系统 | |
JP6904677B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6568476B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20150071548A1 (en) | Image processing system, server device, image pickup device and image evaluation method | |
JP7299692B2 (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム | |
JP2017151832A (ja) | 待ち時間算出システム | |
KR102482765B1 (ko) | 정보 처리장치, 촬상장치, 정보 처리방법, 및, 기억매체 | |
CN108334820B (zh) | 信息处理设备、信息处理方法和存储介质 | |
JP5680954B2 (ja) | 滞留時間測定装置、滞留時間測定システム、および滞留時間測定方法 | |
JP6733766B1 (ja) | 解析装置、制御方法、及びプログラム | |
JP6883345B2 (ja) | 客数計測方法及び客数計測装置 | |
US10796165B2 (en) | Information processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium | |
KR101355206B1 (ko) | 영상분석을 이용한 출입 계수시스템 및 그 방법 | |
JP7108022B2 (ja) | 人物通過時間計測システム及び人物通過時間計測方法 | |
JP6558178B2 (ja) | 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム | |
JP6339708B2 (ja) | 顔認識ゲートシステム、管理装置及び顔認識プログラム | |
JP6866950B2 (ja) | 解析装置、制御方法、及びプログラム | |
JP6742754B2 (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
JP2010250571A (ja) | 人物計数装置 | |
JP2019215878A (ja) | 迷惑行為者推定システム、迷惑行為者推定システムの制御方法 | |
CN114503152A (zh) | 属性判定装置、属性判定程序以及属性判定方法 | |
JP2016218680A (ja) | 計測装置、計測システムおよび計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6991737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |