JP7487737B2 - 管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体 - Google Patents

管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
JP7487737B2
JP7487737B2 JP2021525921A JP2021525921A JP7487737B2 JP 7487737 B2 JP7487737 B2 JP 7487737B2 JP 2021525921 A JP2021525921 A JP 2021525921A JP 2021525921 A JP2021525921 A JP 2021525921A JP 7487737 B2 JP7487737 B2 JP 7487737B2
Authority
JP
Japan
Prior art keywords
equipment
image
optical information
identification information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525921A
Other languages
English (en)
Other versions
JPWO2020250543A1 (ja
JPWO2020250543A5 (ja
Inventor
裕司 田原
充敬 森崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020250543A1 publication Critical patent/JPWO2020250543A1/ja
Publication of JPWO2020250543A5 publication Critical patent/JPWO2020250543A5/ja
Application granted granted Critical
Publication of JP7487737B2 publication Critical patent/JP7487737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19689Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00Alarms responsive to unspecified undesired or abnormal conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体に関し、特に、対象設備を遠隔管理する管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体の技術分野に関する。
この種の装置として、例えば無人店舗の防犯警備システムが提案されている(特許文献1参照)。その他関連する技術として特許文献2乃至6が挙げられる。
特開平10-174089号公報 特開平10-191309号公報 特開平10-218617号公報 特開2000-069455号公報 特開2006-339982号公報 国際公開第2016/139940号
対象設備を遠隔管理する場合、その事前準備として、該対象設備が遠隔管理を行う装置(又はシステム)に登録される必要がある。対象設備が登録される際には、例えば数字、英字、記号又はそれらの組合せからなる対象設備の識別情報だけが登録されることが多い。このため、遠隔管理を行う装置のユーザ(即ち、管理者)が、登録されている識別情報から対象設備を把握することが難しいという技術的問題点がある。
本発明は、上記問題点に鑑みてなされたものであり、遠隔管理の対象設備を比較的容易に把握することができる管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体を提供することを課題とする。
本発明の管理装置の一の態様は、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理装置であって、前記対象設備を撮像した第1画像から前記光学的情報を検出する検出手段と、前記第1画像に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定する決定手段と、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける関連付け手段と、を備える。
本発明の管理装置の他の態様は、夫々、設備識別情報を示す光学的に読み取り可能な光学的情報が付された複数の対象設備を管理する管理装置であって、前記複数の対象設備をセンシングするセンサにより検出された、前記複数の対象設備に夫々対応する複数の状態情報を取得する状態情報取得手段と、複数の撮像装置各々により撮像された、前記複数の対象設備の少なくとも一部を含む複数の撮像画像を取得する画像取得手段と、前記複数の状態情報に基づいて、前記複数の対象設備のうち一の対象設備の状態の異常が検出された場合に、前記複数の撮像画像各々から前記一の対象設備に付された、前記光学的情報としての、一の光学的情報を検出する検出手段と、前記検出手段による前記一の光学的情報の検出結果に基づいて、前記複数の撮像画像から、前記一の対象設備の少なくとも一部を含む一又は複数の撮像画像を抽出する抽出手段と、前記一の対象設備の状態と、前記抽出された一又は複数の撮像画像の少なくとも一つとを対応付けて出力する出力手段と、を備える。
本発明の管理方法の一態様は、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法であって、前記対象設備を撮像した第1画像から前記光学的情報を検出し、前記第1画像に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける。
本発明のコンピュータプログラムの一の態様は、コンピュータに、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法を実行させるコンピュータプログラムであって、前記対象設備を撮像した第1画像から前記光学的情報を検出し、前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける。
本発明の記録媒体の一の態様は、コンピュータに、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法を実行させるコンピュータプログラムであって、前記対象設備を撮像した第1画像から前記光学的情報を検出し、前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付けるコンピュータプログラムが記録されている。
本発明の管理システムの一の態様は、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理システムであって、前記対象設備をセンシングするセンサと、前記対象設備を撮像する撮像装置と、管理装置と、を備え、前記管理装置は、前記設備識別情報を、前記センサに係るセンサ識別情報に関連付けて取得する第1取得手段と、前記撮像装置により前記対象設備を撮像した第1画像から前記光学的情報を検出する検出手段と、前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定する決定手段と、前記設備識別情報と、前記決定された抽出条件とを関連付ける関連付け手段と、を備える。
上述した管理装置の一の態様及び他の態様、並びに、管理方法、管理システム、コンピュータプログラム及び記録媒体のそれぞれの一の態様によれば、遠隔管理の対象設備を比較的容易に把握することができる。
第1実施形態に係る遠隔管理システムの概要を示す図である。 第1実施形態に係る管理装置のハードウェア構成を示すブロック図である。 第1実施形態に係る管理装置のCPU内で実現される機能ブロックを示すブロック図である。 第1実施形態に係る管理装置の動作を示すフローチャートである。 第1実施形態に係る抽出範囲の一例を示す図である。 表示される画像の一例である。 第1実施形態の第2変形例に係る管理装置のCPU内で実現される機能ブロックを示すブロック図である。 第2実施形態に係る遠隔管理システムの概要を示す図である。 第2実施形態に係る管理装置の異常検出動作を示すフローチャートである。 表示される画像の他の例である。
管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体に係る実施形態を図面に基づいて説明する。
<第1実施形態>
店舗を遠隔管理する遠隔管理システム1を用いて、管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体に係る第1実施形態について図1乃至図6を参照して説明する。
(遠隔管理システム)
実施形態に係る遠隔管理システム1について図1を参照して説明する。図1は、実施形態に係る遠隔管理システムの概要を示す図である。
図1において、遠隔管理システム1は、管理センタに設置された管理装置10と、店舗に設置された管理対象としての設備20を含む複数の設備とを備えて構成されている。図1では便宜上、設備20とは別個に記載されているが、設備20にはセンサ30が取り付けられている。店舗には、設備20をその外部から撮像可能な監視カメラ40が設置されている。
センサ30及び監視カメラ40は、管理装置10と、例えばインターネット等のネットワーク(図示せず)を介して接続されている。センサ30から出力された信号、及び、監視カメラ40から出力された映像信号は、ネットワークを介して、管理装置10に送信される。
ここでは、説明の便宜上、管理対象を設備20に限っているが、管理対象は複数の設備であってよい。また、監視カメラ40は、一台に限らず複数台設置されていてよい。
(管理装置)
次に、管理装置10のハードウェア構成について図2を参照して説明する。図2は、第1実施形態に係る管理装置10のハードウェア構成を示すブロック図である。
図2において、管理装置10は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、記憶装置14、入力装置15及び出力装置16を備えている。CPU11、RAM12、ROM13、記憶装置14、入力装置15及び出力装置16は、データバス17を介して相互に接続されている。
CPU11は、コンピュータプログラムを読み込む。例えば、CPU11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込んでもよい。例えば、CPU11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。CPU11は、ネットワークインタフェースを介して、管理装置10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。CPU11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。当該実施形態では特に、CPU11が読み込んだコンピュータプログラムを実行すると、CPU11内には、店舗に設置された管理対象(ここでは、設備20)を遠隔管理するための論理的な機能ブロックが実現される。つまり、CPU11は、管理対象の遠隔管理を行うためのコントローラとして機能可能である。尚、CPU11内で実現される機能ブロックの構成については、後に図3を参照しながら詳述する。
RAM12は、CPU11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、CPU11がコンピュータプログラムを実行している際にCPU11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
ROM13は、CPU11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
記憶装置14は、管理装置10が長期的に保存するデータを記憶する。記憶装置14は、CPU11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置15は、管理装置10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
出力装置16は、管理装置10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、管理装置10に関する情報を表示可能な表示装置であってもよい。
次に、CPU11内で実現される機能ブロックの構成について図3を参照して説明する。図3は、管理装置10のCPU11内で実現される機能ブロックを示すブロック図である。
図3に示すように、CPU11内には、論理的な機能ブロックとして、通信部111、画像処理部112、登録部113、出力部114及び異常検出部115が実現されている。
本実施形態では、主に、管理対象としての設備20が管理装置10に新たに登録されるときの通信部111、画像処理部112、登録部113、出力部114及び異常検出部115の動作について説明する。
前提として、設備20には、例えば設備の製造番号、設備が設置される店舗の店番等の識別情報(以降、適宜“設備識別情報”と称する)が記録されている、例えば二次元コード等の光学的に読み取り可能な光学的情報が付与されている。この光学的情報は、監視カメラ40により撮像可能なように、例えば設備20の天板に貼り付けられる。尚、光学的情報は、監視カメラ40により撮像可能であれば、設備20の外表面のどの部分に貼り付けられていてもよい。
設備20がIoT(Internet of Things)に対応している場合、センサ30は設備20に内蔵されている。この場合、センサ30の識別情報(以降、適宜、“センサ識別情報”と称する)は、設備20の設備識別情報から特定される。他方、設備20がIoTに対応していない場合、センサ30には、センサ識別情報が記録された光学的情報が付与されている。
設備20を店舗に設置する作業者は、例えばスマートフォン等の作業用端末により、設備20の光学的情報を読み取る。この結果、作業用端末により、設備20の設備識別情報が取得される。設備20がIoTに対応している場合、管理装置10の通信部111は、ネットワークを介して、作業用端末から設備20の設備識別情報を取得する。
他方、設備20がIoTに対応していない場合、作業者は、設備20に取り付けられるセンサ30の光学的情報を読み取り、設備20の設備識別情報とセンサ30のセンサ識別情報とを紐づける。管理装置10の通信部111は、ネットワークを介して、作業用端末から、互いに紐づけられた設備20の設備識別情報及びセンサ30のセンサ識別情報を取得する。
ここで、管理装置10の動作について図4のフローチャートを参照して説明を加える。図4のステップS101では、上述の如く、管理装置10の通信部111が、設備識別情報及びセンサ識別情報を取得する。登録部113は、設備識別情報及びセンサ識別情報を記憶装置14に登録する。
尚、管理対象の設備がIoTに対応している場合、登録部113は、設備識別情報からセンサ識別情報を特定して(例えば、IoTに対応している設備20の設備識別情報からセンサ30のセンサ識別情報を特定して)、該特定された設備識別情報及びセンサ識別情報を記憶装置14に登録する。この場合、センサ識別情報は、例えば設備識別情報と、該設備識別情報により示される設備に内蔵されているセンサのセンサ識別情報との対応関係を示すテーブル等から特定されてよい。実践的には、登録部113は先ず、店舗内に設置されている複数の設備各々に係る設備識別情報と、例えば店舗に係る識別情報(例えば店番、店名等)とが互いに紐づけられた設備リストを作成する。この設備リストは記憶装置14に登録(格納)される(この設備リストは、例えば、各設備の店舗搬入時に作成される)。次に、登録部113は、センサ識別情報を、設備リストに含まれる一の設備(即ち、該センサ識別情報に対応する設備識別情報に係る設備)に紐づける。この結果、設備識別情報及びセンサ識別情報が互いに紐づけられて記憶装置14に登録される。
ステップS101の処理と並行して、通信部111は、監視カメラ40から映像信号を受信して、監視カメラ40により撮像された店舗内の画像を取得する(ステップS102)。画像処理部112は、該取得された画像から光学的情報(例えば二次元コード)を検出する(ステップS103)。このとき、画像処理部112は、検出された光学的情報により示される設備識別情報に基づいて、新たに登録すべき設備(ここでは、設備20)を特定する。尚、画像に写っている光学的情報の、例えば歪み等に起因して、該光学的情報から設備識別情報を取得できない場合、画像処理部112は、例えば歪み補正等の所定の画像処理を画像に施してよい。
次に、画像処理部112は、画像において新たに登録すべき設備(ここでは、設備20)が写っていると推定される範囲を、抽出範囲として設定する(ステップS104)。ここで、抽出範囲は、例えば画像において光学的情報が写っている位置(即ち、画像座標)、監視カメラ40の設置位置や光学特性から推定される画像における設備の大きさ等に基づいて設定されてよい。図5に示すように、例えば設備20について、抽出範囲は、点線枠aで示すように設定されてよい。
次に、登録部113は、画像から検出された光学的情報により示される設備識別情報と、設定された抽出範囲と、を紐づける(ステップS105)。この結果、新たに登録すべき設備(ここでは、設備20)の管理装置10への登録が完了する。
設備20が管理装置10に登録された後、画像処理部112は、通信部111を介して取得された監視カメラ40により撮像された店舗内の画像から、抽出範囲に該当する画像を抽出する。出力部114は、画像処理部112により抽出された画像の抽出範囲に紐づけられた設備識別情報に基づいて、該設備識別情報に紐づけられたセンサ識別情報を特定する。出力部114は、特定されたセンサ識別情報に対応するセンサ30から出力された信号を、通信部111を介して取得する。出力部114は、センサ30から出力された信号により示される状態情報に基づく設備20の状態(例えば温度等)と、上記抽出された画像とが表示されるように出力装置16を制御する。この結果、例えば図6に示すような画像が出力装置16に表示される。
異常検出部115は、センサ30から出力された信号により示される状態情報に基づいて、設備20の状態が異常であるか否かを判定する。異常検出部115により設備20の状態が異常であると判定された場合、出力部114は、警報を発するように出力装置16を制御する。このとき、出力部114は、例えばエクスクラメーションマーク(感嘆符)が表示されるように出力装置16を制御してよい(図6参照)。出力部114は、警報としての視覚情報に代えて又は加えて、例えばアラーム音等の聴覚情報を出力するように出力装置16を制御してよい。出力部114は更に、例えば店舗に設置されている店舗端末(図示せず)や、店舗に勤務する店員等が所持するモバイル端末(図示せず)、等の管理装置10とは異なる装置に対して、警報を発信してよい。尚、異常検出部115により設備20の状態が異常ではないと判定された場合、出力部114は、設備20が正常であることを示す旨を報知するように出力装置16を制御してよい。
尚、「通信部111」は、後述する付記における「第1取得手段」及び「第2取得手段」の一例に相当する。「画像処理部112」は、後述する付記における「検出手段」及び「決定手段」の一例に相当する。「登録部113」、「出力部114」及び「異常検出部115」は、夫々、後述する付記における「関連付け手段」、「出力手段」及び「異常検出手段」の一例に相当する。
(技術的効果)
本実施形態では、管理対象の設備の設備識別情報に、画像の抽出範囲が紐づけられる。このため、管理装置10は、設備識別情報と一緒に、管理対象の設備が写っている画像を、管理装置10のユーザに提示することができる。この結果、管理装置10のユーザは、遠隔管理の対象設備を比較的容易に把握することができる。
<第1変形例>
上述したステップS104の処理では、抽出範囲に加えて又は代えて、他の条件が設定されてよい。画像処理部112は、例えば画像における光学的情報の写り方に基づいて、監視カメラ40に係る条件を設定してよい。具体的には例えば、画像処理部112は、画像における光学的情報が写っている位置に基づいて、監視カメラ40の画角又は焦点距離若しくはズーム倍率に係る条件(監視カメラ40がズーム機能を有している場合)、或いは、光軸方向に係る条件(監視カメラ40が首振機能を有している場合)を設定してよい。或いは、画像処理部112は、画像における光学的情報の大きさに基づいて、監視カメラ40の画角又は焦点距離若しくはズーム倍率に係る条件或いは解像度に係る条件(監視カメラ40がズーム機能を有している場合)を設定してよい。
或いは、画像処理部112は、監視カメラ40により撮像された画像から所定部分を単純にトリミングせずに、所定部分をトリミングした後に、該所定部分に歪み補正処理を施して、目的とする画像を取得(抽出)してよい。この場合、画像処理部112は、監視カメラ40により撮像された画像から所定部分をトリミングするための事前情報(例えば、該所定部分に係る座標等)を設定してよい。
更に、店舗に監視カメラ40が複数台設置されている場合、画像処理部112は、複数の監視カメラ40により夫々撮像された複数の画像各々における光学的情報の写り方に基づいて、新たに登録すべき設備(ここでは、設備20)を撮像すべき一又は複数の監視カメラ40を設定してよい。この場合、例えば、店舗内に設置されている複数の設備各々に係る設備識別情報と、店舗に係る識別情報(例えば店番、店名等)とが互いに紐づけられた設備リストに、又は、該設備リストに基づいて作成された設備識別情報と設備を撮像すべき一又は複数の監視カメラ40に係る情報とが紐づけられたテーブルに、新たに登録すべき設備と、該設備を撮像すべき一又は複数の監視カメラ40に係る情報とが互いに紐づけられて登録されてよい。
尚、抽出範囲、監視カメラ40の画角又は焦点距離若しくはズーム倍率に係る条件、光軸方向に係る条件、解像度に係る条件、及び、新たに登録すべき設備を撮像すべき一又は複数の監視カメラ40を示す情報(例えば、監視カメラ40に係る識別情報)は、後述する付記における「抽出条件」の一例である。
<第2変形例>
管理装置10がCPU11以外の一又は複数のCPUを備える場合、或いは、管理センタが複数の管理装置10を備える場合には、図7に示すように、管理装置10のCPU11内には、画像処理部112及び登録部113が実現される一方で、画像処理部112及び登録部113以外の機能ブロックが実現されなくてもよい。
<第2実施形態>
店舗を遠隔管理する遠隔管理システム2を用いて、管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体に係る第2実施形態について図8乃至図10を参照して説明する。第2実施形態では、店舗に複数の監視カメラが設置されていることを前提としている以外は、上述した第1実施形態と同じである。従って、第2実施形態について、第1実施形態と重複する説明を省略するとともに、図面上における共通箇所には同一の符号を付して示し、基本的に異なる点について、図8乃至図10を参照して説明する。
図8において、遠隔管理システム2は、管理センタに設置された管理装置10と、店舗に設置された管理対象としての設備1乃至16と、該設備1乃至16をその外部から撮像可能な監視カメラC1乃至C8とを備えて構成されている。設備1乃至16各々にはセンサ(図示せず)が取り付けられている。尚、図8における監視カメラC1乃至C8の配置や個数は一例であり、これに限定されるものではない。同様に、設備1乃至16の配置や個数は一例であり、これに限定されるものではない。
設備1乃至16に夫々対応する設備識別情報と、設備1乃至16各々に取り付けられたセンサに係るセンサ識別情報とは、互いに関連付けられて記憶装置14(図2参照)に登録されているものとする。
本実施形態では特に、管理装置10の異常検出部115により設備の異常が検出された場合の管理装置10の動作について図9のフローチャートを参照して説明する。
図9において、異常検出部115は、設備1乃至16に夫々取り付けられた複数のセンサ各々から出力された信号を、通信部111を介して取得する。この結果、異常検出部115は、複数のセンサ各々から出力された信号により示される状態情報を取得する(ステップS201)。
次に、異常検出部115は、ステップS201の処理において取得された状態情報に基づいて、設備1乃至16の少なくとも一つに異常があるか否かを判定する(ステップS202)。ステップS202の処理において、設備1乃至16のいずれにも異常がないと判定された場合(ステップS202:No)、図9に示す動作は終了される。その後、所定時間(例えば数十ミリ秒から数百ミリ秒)が経過した後に、ステップS201の処理が再度行われる。即ち、図9に示す動作は、所定時間に応じた周期で繰り返し行われる。
ステップS202の処理において、設備1乃至16の少なくとも一つに異常があると判定された場合(ステップS202:Yes)、画像処理部112は、監視カメラC1乃至C8により夫々撮像された複数のカメラ画像を、通信部111を介して取得する。続いて、画像処理部112は、取得された複数のカメラ画像から光学的情報を検出する。
次に、画像処理部112は、検出された光学的情報により示される設備識別情報に基づいて、異常があると判定された設備に係る設備識別情報に対応する光学的情報が写っている一又は複数のカメラ画像を特定する。尚、設備1乃至16各々に係る設備識別情報と、設備1乃至16を夫々撮像可能な監視カメラ(監視カメラC1乃至C8の少なくとも一つ)とが紐づけられたテーブルが存在する場合には、該テーブルから、異常があると判定された設備に係る設備識別情報に対応する光学的情報が写っている一又は複数のカメラ画像が特定されてよい。続いて、画像処理部112は、例えば特定された一又は複数のカメラ画像において光学的情報が写っている位置(即ち、画像座標)、光学的情報の大きさ等に基づいて、管理装置10のユーザに提示すべきカメラ画像を選択する(ステップS203)。
次に、登録部113は、ステップS203の処理において選択されたカメラ画像と、異常があると判定された設備に係る設備識別情報とを関連付けて、記憶装置14に登録する(ステップS204)。ステップS204の処理と並行して、出力部114は、異常があると判定された設備に係る設備識別情報に関連付けられたセンサ識別情報に係るセンサから出力された信号により示される状態情報に基づく設備の状態(例えば温度等)と、ステップS204の処理において選択されたカメラ画像とを表示して、警報を発するように出力装置16を制御する(ステップS205)。この結果、例えば図10に示すような画像が出力装置16に表示される。
尚、上述したステップS203の処理において、異常があると判定された設備に係る設備識別情報に対応する光学的情報が写っているカメラ画像が複数特定された場合、画像処理部112は、特定された複数のカメラ画像全てを、管理装置10のユーザに提示すべきカメラ画像として選択してよい。このとき、画像処理部112は、特定された複数のカメラ画像における光学的情報の写り方(例えば、カメラ画像における光学的情報の位置、大きさ等)に基づいて、管理装置10のユーザに優先して提示すべきカメラ画像を決定してよい(即ち、特定された複数のカメラ画像各々の優先順位を決定してよい)。
上述したステップS203の処理において、画像処理部112は、異常があると判定された設備に係る設備識別情報に対応する光学的情報が写っているカメラ画像を撮像した監視カメラにより撮像された時間的に連続する複数の画像からなる動画を取得する。そして、画像処理部112は、該取得された動画から、異常検出部115により異常があると判定された時点を含む所定時間(例えば数秒~数十秒等)の動画を抽出してよい。登録部113は、該抽出された動画を、異常があると判定された設備に係る設備識別情報に関連付けて記憶装置14に登録してよい。出力部114は、上述したステップS205の処理において、上記抽出された動画が、カメラ画像(即ち、静止画)に加えて又は代えて、表示されるように出力装置16を制御してよい。更に、抽出された動画から、一の画像(即ち、静止画)が抽出され、該抽出された一の画像が、抽出された動画に加えて表示されてもよい。
上述したステップS205の処理において、例えば店舗に設置されている店舗端末(図示せず)や、店舗に勤務する店員等が所持するモバイル端末(図示せず)、等の管理装置10とは異なる装置に対して警報を発信してよい。
<付記>
以上説明した実施形態に関して、更に以下の付記を開示する。
(付記1)
付記1に記載の管理装置は、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理装置であって、前記対象設備を撮像した第1画像から前記光学的情報を検出する検出手段と、前記第1画像に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定する決定手段と、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける関連付け手段と、を備えることを特徴とする管理装置である。
(付記2)
付記2に記載の管理装置は、前記決定手段は、前記第1画像における前記光学的情報の位置に基づいて、前記対象設備の少なくとも一部を含む抽出範囲を、前記抽出条件の少なくとも一部として決定することを特徴とする付記1に記載の管理装置である。
(付記3)
付記3に記載の管理装置は、前記検出手段は、複数の撮像装置により夫々撮像された、前記第1画像としての、複数の撮像画像から前記光学的情報を検出し、前記決定手段は、前記複数の撮像画像と、前記検出手段による検出結果とに基づいて、前記対象設備を撮像する撮像装置を、前記抽出条件の少なくとも一部として決定することを特徴とする付記1に記載の管理装置である。
(付記4)
付記4に記載の管理装置は、前記対象設備をセンシングするセンサに係るセンサ識別情報を前記設備識別情報と関連付けて取得する第1取得手段を備えることを特徴とする付記1乃至3のいずれか一つに記載の管理装置である。
(付記5)
付記5に記載の管理装置は、前記センサにより検出された前記対象設備の状態情報と、前記対象設備を撮像した第2画像とを取得する第2取得手段と、前記状態情報に基づく前記対象設備の状態と、前記決定された抽出条件に基づいて前記第2画像から抽出された抽出画像とを対応付けて出力する出力手段と、を備えることを特徴とする付記4に記載の管理装置である。
(付記6)
付記6に記載の管理装置は、前記対象設備をセンシングするセンサにより検出された前記対象設備の状態情報と、前記対象設備を撮像した第2画像とを取得する第2取得手段と、前記状態情報に基づく前記対象設備の状態が異常である場合に、前記状態と、前記決定された抽出条件に基づいて前記第2画像から抽出された抽出画像とを対応付けて出力する出力手段と、を備えることを特徴とする付記1乃至3のいずれか一つに記載の管理装置である。
(付記7)
付記7に記載の管理装置は、前記出力手段は、前記状態が異常である場合に、警報を発することを特徴とする付記5又は6に記載の管理装置である。
(付記8)
付記8に記載の管理装置は、前記センサにより検出された前記対象設備の状態情報に基づいて、前記対象設備の状態の異常を検出する異常検出手段を備えることを特徴とする付記5乃至7のいずれか一つに記載の管理装置である。
(付記9)
付記9に記載の管理方法は、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法であって、前記対象設備を撮像した第1画像から前記光学的情報を検出し、前記第1画像に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付けることを特徴とする管理方法である。
(付記10)
付記10に記載のコンピュータプログラムは、コンピュータに、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法を実行させるコンピュータプログラムであって、前記対象設備を撮像した第1画像から前記光学的情報を検出し、前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付けることを特徴とするコンピュータプログラムである。
(付記11)
付記11に記載の記録媒体は、コンピュータに、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法を実行させるコンピュータプログラムであって、前記対象設備を撮像した第1画像から前記光学的情報を検出し、前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付けるコンピュータプログラムが記録されていることを特徴とする記録媒体である。
(付記12)
付記12に記載の管理システムは、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理システムであって、前記対象設備をセンシングするセンサと、前記対象設備を撮像する撮像装置と、管理装置と、を備え、前記管理装置は、前記設備識別情報を、前記センサに係るセンサ識別情報に関連付けて取得する第1取得手段と、前記撮像装置により前記対象設備を撮像した第1画像から前記光学的情報を検出する検出手段と、前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定する決定手段と、前記設備識別情報と、前記決定された抽出条件とを関連付ける関連付け手段と、を備えることを特徴とする管理システムである。
(付記13)
付記13に記載の管理装置は、夫々、設備識別情報を示す光学的に読み取り可能な光学的情報が付された複数の対象設備を管理する管理装置であって、前記複数の対象設備をセンシングするセンサにより検出された、前記複数の対象設備に夫々対応する複数の状態情報を取得する状態情報取得手段と、複数の撮像装置各々により撮像された、前記複数の対象設備の少なくとも一部を含む複数の撮像画像を取得する画像取得手段と、前記複数の状態情報に基づいて、前記複数の対象設備のうち一の対象設備の状態の異常が検出された場合に、前記複数の撮像画像各々から前記一の対象設備に付された、前記光学的情報としての、一の光学的情報を検出する検出手段と、前記検出手段による前記一の光学的情報の検出結果に基づいて、前記複数の撮像画像から、前記一の対象設備の少なくとも一部を含む一又は複数の撮像画像を抽出する抽出手段と、前記一の対象設備の状態と、前記抽出された一又は複数の撮像画像の少なくとも一つとを対応付けて出力する出力手段と、を備えることを特徴とする管理装置である。
(付記14)
付記14に記載の管理装置は、前記出力手段は、前記抽出手段により前記一の対象設備の少なくとも一部を含む撮像画像が複数抽出された場合、前記一の対象設備の状態と、前記抽出された複数の撮像画像とを対応付けて出力することを特徴とする付記13に記載の管理装置である。
(付記15)
付記15に記載の管理装置は、前記出力手段は、前記抽出手段により前記一の対象設備の少なくとも一部を含む撮像画像が複数抽出された場合、前記抽出された複数の撮像画像各々における前記一の光学的情報の写り方に基づいて、前記一の対象設備の状態と対応付けて出力すべき撮像画像を決定することを特徴とする付記13に記載の管理装置である。
(付記16)
付記16に記載の管理装置は、前記抽出手段は、前記複数の撮像装置のうち、前記抽出された一又は複数の撮像画像を撮像した一又は複数の撮像装置を特定して、前記特定された一又は複数の撮像装置により撮像された時間的に連続する複数の撮像画像からなる動画から、前記一の対象設備の状態の異常が検出された時点を含む所定期間の動画を抽出し、前記出力手段は、前記抽出された一又は複数の撮像画像の少なくとも一つに代えて又は加えて、前記抽出された動画を、前記一の対象設備の状態と対応付けて出力することを特徴とする付記13乃至15のいずれか一つに記載の管理装置である。
本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。
この出願は、2019年6月10日に出願された日本出願特願2019-107727を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1、2…遠隔管理システム、10…管理装置、20…設備、30…センサ、40、C1~C8…監視カメラ、111…通信部、112…画像処理部、113…登録部、114…出力部、115…異常検出部

Claims (10)

  1. 設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理装置であって、
    前記対象設備を撮像した第1画像から前記光学的情報を検出する検出手段と、
    前記第1画像に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定する決定手段と、
    前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける関連付け手段と、
    を備えることを特徴とする管理装置。
  2. 前記決定手段は、前記第1画像における前記光学的情報の位置に基づいて、前記対象設備の少なくとも一部を含む抽出範囲を、前記抽出条件の少なくとも一部として決定することを特徴とする請求項1に記載の管理装置。
  3. 前記検出手段は、複数の撮像装置により夫々撮像された、前記第1画像としての、複数の撮像画像から前記光学的情報を検出し、
    前記決定手段は、前記複数の撮像画像と、前記検出手段による検出結果とに基づいて、前記対象設備を撮像する撮像装置を、前記抽出条件の少なくとも一部として決定する
    ことを特徴とする請求項1に記載の管理装置。
  4. 前記対象設備をセンシングするセンサに係るセンサ識別情報を前記設備識別情報と関連付けて取得する第1取得手段を備えることを特徴とする請求項1乃至3のいずれか一項に記載の管理装置。
  5. 前記センサにより検出された前記対象設備の状態情報と、前記対象設備を撮像した第2画像とを取得する第2取得手段と、
    前記状態情報に基づく前記対象設備の状態と、前記決定された抽出条件に基づいて前記第2画像から抽出された抽出画像とを対応付けて出力する出力手段と、
    を備えることを特徴とする請求項4に記載の管理装置。
  6. 前記対象設備をセンシングするセンサにより検出された前記対象設備の状態情報と、前記対象設備を撮像した第2画像とを取得する第2取得手段と、
    前記状態情報に基づく前記対象設備の状態が異常である場合に、前記状態と、前記決定された抽出条件に基づいて前記第2画像から抽出された抽出画像とを対応付けて出力する出力手段と、
    を備えることを特徴とする請求項1乃至3のいずれか一項に記載の管理装置。
  7. 設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法であって、
    前記対象設備を撮像した第1画像から前記光学的情報を検出し、
    前記第1画像に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、
    前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける
    ことを特徴とする管理方法。
  8. コンピュータに、設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理方法を実行させるコンピュータプログラムであって、
    前記対象設備を撮像した第1画像から前記光学的情報を検出し、
    前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定し、
    前記光学的情報により示される前記設備識別情報と、前記決定された抽出条件とを関連付ける
    ことを特徴とするコンピュータプログラム。
  9. 設備識別情報を示す光学的に読み取り可能な光学的情報が付された対象設備を管理する管理システムであって、
    前記対象設備をセンシングするセンサと、
    前記対象設備を撮像する撮像装置と、
    管理装置と、
    を備え、
    前記管理装置は、
    前記設備識別情報を、前記センサに係るセンサ識別情報に関連付けて取得する第1取得手段と、
    前記撮像装置により前記対象設備を撮像した第1画像から前記光学的情報を検出する検出手段と、
    前記第1画像及び前記検出された光学的情報に基づいて、前記対象設備の少なくとも一部を含む抽出画像を抽出するための抽出条件を決定する決定手段と、
    前記設備識別情報と、前記決定された抽出条件とを関連付ける関連付け手段と、
    を備える
    ことを特徴とする管理システム。
  10. 夫々、設備識別情報を示す光学的に読み取り可能な光学的情報が付された複数の対象設備を管理する管理装置であって、
    前記複数の対象設備をセンシングするセンサにより検出された、前記複数の対象設備に夫々対応する複数の状態情報を取得する状態情報取得手段と、
    複数の撮像装置各々により撮像された、前記複数の対象設備の少なくとも一部を含む複数の撮像画像を取得する画像取得手段と、
    前記複数の状態情報に基づいて、前記複数の対象設備のうち一の対象設備の状態の異常が検出された場合に、前記複数の撮像画像各々から前記一の対象設備に付された、前記光学的情報としての、一の光学的情報を検出する検出手段と、
    前記検出手段による前記一の光学的情報の検出結果に基づいて、前記複数の撮像画像から、前記一の対象設備の少なくとも一部を含む一又は複数の撮像画像を抽出する抽出手段と、
    前記一の対象設備の状態と、前記抽出された一又は複数の撮像画像の少なくとも一つとを対応付けて出力する出力手段と、
    を備えることを特徴とする管理装置。
JP2021525921A 2019-06-10 2020-03-27 管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体 Active JP7487737B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019107727 2019-06-10
JP2019107727 2019-06-10
PCT/JP2020/014116 WO2020250543A1 (ja) 2019-06-10 2020-03-27 管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体

Publications (3)

Publication Number Publication Date
JPWO2020250543A1 JPWO2020250543A1 (ja) 2020-12-17
JPWO2020250543A5 JPWO2020250543A5 (ja) 2022-03-08
JP7487737B2 true JP7487737B2 (ja) 2024-05-21

Family

ID=73781779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525921A Active JP7487737B2 (ja) 2019-06-10 2020-03-27 管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体

Country Status (3)

Country Link
US (3) US20220335723A1 (ja)
JP (1) JP7487737B2 (ja)
WO (1) WO2020250543A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233702A (ja) 2006-03-01 2007-09-13 Nec Corp 管理システム、これに用いる管理サーバ及び情報処理端末、管理方法、プログラム
JP2012249104A (ja) 2011-05-27 2012-12-13 Kyocera Corp 遠隔操作装置、遠隔制御システム、制御プログラムおよび記憶媒体
JP2015135570A (ja) 2014-01-16 2015-07-27 キヤノン株式会社 画像処理装置、システム、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233702A (ja) 2006-03-01 2007-09-13 Nec Corp 管理システム、これに用いる管理サーバ及び情報処理端末、管理方法、プログラム
JP2012249104A (ja) 2011-05-27 2012-12-13 Kyocera Corp 遠隔操作装置、遠隔制御システム、制御プログラムおよび記憶媒体
JP2015135570A (ja) 2014-01-16 2015-07-27 キヤノン株式会社 画像処理装置、システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2020250543A1 (ja) 2020-12-17
US20230401860A1 (en) 2023-12-14
US20230401859A1 (en) 2023-12-14
WO2020250543A1 (ja) 2020-12-17
US20220335723A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
JP6639091B2 (ja) 表示制御装置及び表示制御方法
JP6335701B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3205084A1 (en) Image processing method
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
JP2017097702A (ja) 監視システムとその監視制御装置
JP2009159448A (ja) 物体検出装置及び物体検出方法
US11170520B2 (en) Image processing apparatus for analyzing an image to detect an object within the image
JP6602067B2 (ja) 表示制御装置、表示制御方法、プログラム
JP2013021551A (ja) 検知装置、検知方法及びプログラム
JP6702621B2 (ja) 売場防犯プログラム、タブレット端末及び売場
JP2020022036A (ja) 表示制御装置、表示制御方法、およびプログラム
JP7487737B2 (ja) 管理装置、管理方法、管理システム、コンピュータプログラム及び記録媒体
US20200150414A1 (en) Determining an error in a moving distance of a microscope
JP5891828B2 (ja) 携帯端末、撮影画像公開方法、プログラム
JP2008085832A (ja) 監視カメラ、監視カメラの制御方法および監視カメラシステム
JP2022030859A (ja) 監視情報処理装置、方法およびプログラム
JP6661312B2 (ja) 監視システム、情報処理方法及びプログラム
US11457180B2 (en) Video monitoring support apparatus, video monitoring support method, and computer readable recording medium
JP6705486B2 (ja) 被写体検知装置、システム、方法およびプログラム
JP2020102677A (ja) 情報処理装置、情報処理方法およびプログラム
JP2023129943A (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP6808398B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP6742725B2 (ja) 制御装置、制御方法及びコンピュータプログラム
JP6128203B2 (ja) 画像認識装置
JP5900264B2 (ja) 画像記録装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422