JPWO2018174080A1 - Article management system and article management method - Google Patents
Article management system and article management method Download PDFInfo
- Publication number
- JPWO2018174080A1 JPWO2018174080A1 JP2019507702A JP2019507702A JPWO2018174080A1 JP WO2018174080 A1 JPWO2018174080 A1 JP WO2018174080A1 JP 2019507702 A JP2019507702 A JP 2019507702A JP 2019507702 A JP2019507702 A JP 2019507702A JP WO2018174080 A1 JPWO2018174080 A1 JP WO2018174080A1
- Authority
- JP
- Japan
- Prior art keywords
- article
- information
- pressure
- management system
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
収納空間内に配置された物品を精度良く特定して、その物品の配置を管理する物品管理システム及び物品管理方法を提供する。物品管理システム(1)は、物品を収納する収納空間(10)における物品の配置を管理するものであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置(100)と、物品に関する情報である物品情報(231)を格納する管理装置(200)と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と物品情報とを参照して、収納空間内に配置されている物品を特定する。Provided is an article management system and an article management method for accurately specifying an article arranged in a storage space and managing the arrangement of the article. An article management system (1) manages the arrangement of articles in a storage space (10) for storing articles, and detects pressure two-dimensionally and outputs pressure information indicating the detected pressure. The management apparatus includes a device (100) and a management device (200) that stores article information (231) that is information on an article. The management device acquires pressure information from the sensor device in a time series, and acquires the acquired pressure information. The article arranged in the storage space is specified with reference to the time change of the article and the article information.
Description
本開示は、物品を収納する収納空間における物品の配置を管理する物品管理システム及び物品管理方法に関する。 The present disclosure relates to an article management system and an article management method for managing the arrangement of articles in a storage space for storing articles.
収納空間内に収納された物品を管理する従来のシステムが、例えば、特許文献1、2に開示されている。特許文献1は、食材庫にカメラとセンサ(例えば、重力センサ)を備えた食材管理システムを開示している。この食材管理システムは、例えば、カメラから食材庫内の画像データを取得して、鮮度情報として、入庫日の画像と本日の画像とを並べて表示している。特許文献2は、食品の情報を記憶した非接触タグを読み取るタグ入力部(RFID)と、食品が収納された位置を検出する感圧検出センサと、食品の重量を検出する重量検出センサとを備えた食物貯蔵庫を開示している。特許文献2では、タグ入力部が食物貯蔵庫内の全ての食品のタグの情報を読み取って、読み取った情報と記憶している在庫情報とを比較することによって、新たに追加された食品を特定している。
Conventional systems for managing articles stored in a storage space are disclosed in
本開示は、収納空間内に収納された物品を精度良く特定して、その物品の配置を管理する物品管理システム及び物品管理方法を提供する。 The present disclosure provides an article management system and an article management method for accurately specifying an article stored in a storage space and managing the arrangement of the article.
本開示の一態様の物品管理システムは、物品を収納する収納空間における物品の配置を管理する物品管理システムであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、物品に関する情報である物品情報を格納する管理装置と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている物品を特定する。 An article management system according to an embodiment of the present disclosure is an article management system that manages the arrangement of articles in a storage space for storing articles, detects pressure two-dimensionally, and outputs pressure information indicating the detected pressure. And a management device that stores article information that is information about the article. The management apparatus acquires pressure information from the sensor device in a time-series manner, and changes the acquired pressure information with time, With reference to the information, the article arranged in the storage space is specified.
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。 These general and specific aspects may be implemented by systems, methods, and computer programs, and combinations thereof.
本開示の物品管理システム及び物品管理方法によれば、収納空間内に収納された物品を精度良く特定して、その物品の配置を管理することができる。 According to the article management system and the article management method of the present disclosure, it is possible to accurately specify an article stored in the storage space and manage the arrangement of the article.
(本開示の基礎となった知見)
特許文献1の食材管理システムにおいて、カメラの画像データから庫内の物品を特定しようとした場合、物品が他の物品に隠れて撮像できない状況が生じたときに、その隠れた物品を特定することができない。特許文献2の食物貯蔵庫では、RFIDタグを備えた物品しか特定できないため、RFIDタグを備えていない物品を特定することはできない。このように、特許文献1、2に記載の従来のシステムでは、格納庫に収納された物品を特定できない場合があった。(Knowledge underlying the present disclosure)
In the food management system of
本開示は、収納空間内に収納されたRFIDタグを備えていない物品を含む任意の物品を精度良く特定して、その物品の配置を管理する物品管理システムを提供する。本開示の物品管理システムは、任意の物品を特定して管理するために、収納空間内にマトリクス状に配置された感圧センサを使用して、感圧センサに対する押圧力に基づいて、収納空間内に配置されている物品を特定する。 The present disclosure provides an article management system that accurately specifies an arbitrary article including an article not having an RFID tag stored in a storage space and manages the arrangement of the article. The article management system of the present disclosure uses pressure-sensitive sensors arranged in a matrix in a storage space to identify and manage any article, and stores the storage space based on a pressing force on the pressure-sensitive sensor. Identify the items placed in the
本明細書において、「物品」は、個々の品物だけでなく、複数の品物を収容した入れ物も含む。「格納品」は、収納空間内に収納されている物品を意味する。以下、「収納空間」が物品を収納する格納庫である場合を例にして説明する。格納庫は、例えば、倉庫、又は物流のための保管庫である。 As used herein, the term “article” includes not only individual items but also a container containing a plurality of items. “Stored item” means an article stored in the storage space. Hereinafter, an example in which the “storage space” is a hangar for storing articles will be described. The hangar is, for example, a warehouse or a storage for distribution.
(第1実施形態)
以下、第1実施形態について、図面を参照しながら説明する。(1st Embodiment)
Hereinafter, the first embodiment will be described with reference to the drawings.
1.1 物品管理システムの構成
図1は、本開示の第1実施形態の物品管理システムの構成を示している。物品管理システム1は、格納庫10内に配置されたマトリクスセンサ装置100及び通信装置150と、格納庫10内に格納されている物品を管理する管理サーバ200とを備える。1.1 Configuration of Article Management System FIG. 1 shows a configuration of an article management system according to the first embodiment of the present disclosure. The
マトリクスセンサ装置100は、マトリクス状に配置された複数の感圧センサ110(1)〜110(N)と、各感圧センサ110(1)〜110(N)から出力される押圧力を示す信号を処理する信号処理部120とを含む。マトリクスセンサ装置100は、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置の一例である。感圧センサ110(1)〜110(N)は、例えば、弾性を有する第1の導電部材と、第1の導電部材に近接配置された第2の導電部材と、第1または第2の導電部材の表面を少なくとも部分的に覆う誘電体とを有する。感圧センサ110(1)〜110(N)は、さらに、例えば、第1の導電部材から引き出された配線および第2の導電部材から引き出された配線に電気的に接続されている集積回路又は制御回路を有する。各感圧センサ110(1)〜110(N)は、第1の導電部材と第2の導電部材との間の静電容量の変化に基づいて、各感圧センサ110(1)〜110(N)に付与される押圧力を検出し、検出した押圧力を示す信号を出力する。信号処理部120は、各感圧センサ110(1)〜110(N)から出力される信号に基づいて、検出された押圧力を感圧センサ110(1)〜110(N)の位置に対応付けて圧力データ(圧力情報)として出力する。圧力データは、例えば、感圧センサ110(1)〜110(N)の各々の位置(座標)と、感圧センサ110(1)〜110(N)のそれぞれから検出される押圧力に応じた数値と、を含む。信号処理部120は、例えば、集積回路である。なお、図1においては、マトリクスセンサ装置100が、複数の感圧センサ110(1)〜110(N)に対して1つの信号処理部120を備える例を示しているが、信号処理部120の数は任意である。マトリクスセンサ装置100は、複数の信号処理部120を備えても良い。例えば、所定数単位(100個単位など)の感圧センサに対して1つの信号処理部120を設けてもよい。また、例えば、信号処理部120を設けずに、各感圧センサ110(1)〜110(N)が、直接、通信装置150に接続されてもよい。
The
通信装置150は、インターネットなどのネットワーク400を介して、管理サーバ200に接続される。通信装置150は、信号処理部120から出力される圧力データを管理サーバ200に出力する。通信装置150は、IEEE802.11、3G、LTE、WiFi等の通信規格に準拠した無線通信インタフェースで構成される。
The
管理サーバ200は、通信部210、制御部220、記憶部230、及び入力部240を備える。管理サーバ200は、格納庫10内の物品を特定して、その物品の配置を管理する管理装置の一例である。
The
通信部210は、IEEE802.11、3G、LTE、WiFi等の通信規格に準拠した無線通信インタフェースで構成される。
The
制御部220は、通信部210を介して、格納庫10内の通信装置150から送信される圧力データを受信する。制御部220は、受信した圧力データと記憶部230に格納されている物品データベース(物品DB、物品情報)231とを使用して、格納品データベース(格納品DB、管理情報)232を更新する。また、制御部220は、受信した圧力データをセンサ出力情報233として記憶部230に格納する。制御部220は、半導体素子などで実現可能である。制御部220は、例えば、マイコン、CPU、MPU、DSP、FPGA、ASICで構成することができる。制御部220の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
The
記憶部230は、物品データベース(物品DB)231と、格納品データベース(格納品DB)232と、センサ出力情報233とを格納する。物品DB231は、格納庫10に格納されうる物品に関する情報を含む(図3A参照)。格納品DB232は、格納庫10に実際に格納されている物品の情報を含む(図3B参照)。なお、格納品DB232は、格納庫10に実際に格納されていた物品の情報を含んでもよい。記憶部230は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はROM、又はこれらの組み合わせによって実現できる。
The
入力部240は、キーボード、タッチパネル、又はボタン等で構成される。
The
物品管理システム1は、さらに、ネットワーク400に接続された表示装置300を備える。表示装置300は、格納庫10に格納されている物品に関する情報を出力する出力装置の一例である。表示装置300は、液晶ディスプレイ又は有機ELディスプレイなどを含む機器であって、例えば、スマートフォン、タブレット端末、又はパソコンである。表示装置300は、管理サーバ200の格納品DB232に基づいて、格納庫10内の物品に関する情報を表示する。
The
図2は、感圧センサ110(1)〜110(N)の配置例を示している。N個(m行×n列)の感圧センサ110(1)〜110(N)は、図2に示すように、格納庫10の床にマトリクス状に配置される。感圧センサ110(1)〜110(N)のそれぞれのサイズは、例えば、1cm×1cmである。なお、感圧センサ110(1)〜110(N)のサイズは、格納庫10に格納される物品のサイズ又は格納庫10の底面のサイズに応じて決定されてもよい。
FIG. 2 shows an example of the arrangement of the pressure-sensitive sensors 110 (1) to 110 (N). The N (m rows × n columns) pressure-sensitive sensors 110 (1) to 110 (N) are arranged in a matrix on the floor of the
図3Aは、物品DB231のデータ構造の一例を示している。物品DB231は、例えば、物品名、物品の形状、物品の重量、及び物品の底面における重量分布を含む。なお、物品DB231は、物品名の代わりに又は物品名に加えて、物品の識別番号(ID)を含んでもよい。物品の形状は、物品の底面形状に加えて、物品のサイズ(例えば、縦横、直径、高さ)を含む。
FIG. 3A shows an example of the data structure of the
図3Bは、格納品DB232のデータ構造の一例を示している。格納品DB232は、例えば、物品名又は物品名に対応する識別番号(ID)、物品の格納庫10への入庫日時、格納庫10からの出庫日時、有効期限(例えば、入庫日時から1週間)、物品の庫内移動日、物品の位置(x,y,z座標)、物品の形状、物品の重量、及び物品の底面における重量分布を含む。物品の位置(x,y,z座標)は、例えば、物品の重心の位置である。物品の形状は、物品の底面形状に加えて、物品のサイズ(例えば、縦横、直径、高さ)を含む。
FIG. 3B shows an example of the data structure of the stored
1.2 物品管理システムの動作
図4〜図8を用いて、物品管理システム1による格納品DB232の更新処理について説明する。1.2 Operation of Article Management System An update process of the stored
図4は、第1実施形態における管理サーバ200の制御部220による格納品DB232の更新処理のフローチャートを示している。管理サーバ200の制御部220は、所定のタイミングで、格納品DB232の更新処理を開始する。例えば、管理サーバ200の制御部220は、定期的(例えば、所定時間毎)に、格納品DB232の更新処理を開始してもよい。また、例えば、格納庫10の扉の開閉を検知するためのセンサを格納庫10に設け、そのセンサから格納庫10の扉が開けられたという情報を取得したときに、格納品DB232の更新処理を開始してもよい。制御部220は、格納品DB232の更新処理を行っている間、図4に示す全ステップS101〜S106を所定時間毎(例えば、数ミリ秒毎)に繰り返し行う。これにより、格納品DB232が更新される。そして、制御部220は、所定のタイミングで、格納品DB232の更新処理を終了する。例えば、制御部220は、更新処理の開始から所定時間が達したときに、格納品DB232の更新処理を終了してもよい。また、例えば、格納庫10の扉の開閉を検知するためのセンサを格納庫10に設け、そのセンサから格納庫10の扉が閉められたという情報を取得したときに、更新処理を終了してもよい。
FIG. 4 is a flowchart illustrating a process of updating the stored
図5A及び図5Bは格納庫10内の状態の一例であって、図5Aに示す物品の格納状態から物品50が新たに格納庫10に追加された状態を図5Bに示している。図6の(a)及び(b)は、それぞれ、図5A及び図5Bに対応する、マトリクスセンサ装置100の出力を模式的に示している。図6の(c)は、図6の(a)と(b)との差分を模式的に示している。図6の(a)〜(c)において、センサ出力値または差分の値が0でない部分をハッチングで示している。
5A and 5B are examples of the state inside the
図7A及び図7Bは、格納庫10内の状態の別の一例であって、図7Aに示す物品の格納状態から物品55が物品53の上に移動された状態を図7Bに示している。図8の(a)及び(b)は、それぞれ、図7A及び図7Bに対応する、マトリクスセンサ装置100の出力を模式的に示している。図8の(c)は、図8の(a)と(b)との差分を模式的に示している。図8の(a)〜(c)において、センサ出力値または差分の値が0でない部分をハッチングで示している。
7A and 7B show another example of the state inside the
図4のフローチャートを参照し、管理サーバ200の制御部220による格納品DB232の更新処理を説明する。
With reference to the flowchart of FIG. 4, a process of updating the stored
まず、管理サーバ200の制御部220は、格納庫10内のマトリクスセンサ装置100から出力される押圧力を示す圧力データを、通信部210を介して、取得する(S101)。制御部220は、例えば、CPUとRAMとを含み、ステップS101で取得した圧力データをRAMに記憶させる。そして、格納品DB232の更新処理を終了するときに、RAMに記憶していた圧力データをセンサ出力情報233として記憶部230に格納する。なお、制御部220は、ステップS101で圧力データを取得するたびに、取得した圧力データをセンサ出力情報233として記憶部230に格納してもよい。
First, the
制御部220は、前回取得した圧力データと今回取得した圧力データの差分を算出する(S102)。例えば、図5Aに示す状態から図5Bに示す状態に物品の格納状態が変化した場合、制御部220は、前回のステップS101において図6の(a)に示されるような圧力データを取得し、今回のステップS101において図6の(b)に示されるような圧力データを取得する。この場合、図6の(c)に示されるような差分(数値)が算出される。同様に、例えば、図7Aに示す状態から図7Bに示す状態に物品の格納状態が変化した場合、制御部220は、前回のステップS101において図8の(a)に示されるような圧力データを取得し、今回のステップS101において図8の(b)に示されるような圧力データを取得する。この場合は、図8の(c)に示されるような差分(数値)が算出される。
The
その後、制御部220は、前回取得した圧力データと今回取得した圧力データとに差分があるか否かを判断し(S103)、差分があれば、物品DB231を参照して、その差分に対応する格納品を特定する(S104)。具体的には、例えば、制御部220は、差分のある位置(座標)から格納品の形状を特定し、特定した形状が物品DB231に含まれるか否かを判断する。また、例えば、制御部220は、差分(数値)全体の平均値を格納品の重量として特定し、特定した重量が物品DB231に含まれか否かを判断する。さらに、例えば、制御部220は、差分のある位置及びそれぞれの差分の値から格納品の重量分布を特定し、特定した重量分布が物品DB231に含まれるか否かを判断する。これにより、例えば、特定した形状、重量、及び重量分布の全てが一致している物品が物品DB231の中にあれば、制御部220は、その一致している物品が算出した差分に対応する格納品であるとして特定する。なお、本開示における形状、重量、及び重量分布の「一致」とは、完全に同一である場合だけでなく、それぞれの差異が所定の範囲内である場合を含む。
Thereafter, the
上記判断によって、例えば、図5B及び図6の(c)においては、差分に対応する格納品として物品50が特定される。具体的には、図5A及び図6の(a)の時点では物品50が検出されていないことから、制御部220は、図5B及び図6の(b)の時点において物品50が新たに追加されたと判断する。図7B及び図8の(c)においては、制御部220は、領域55aに対応する負の差分に対応する格納品として物品55を特定し、領域55bに対応する正の差分に対応する格納品として物品55を特定する。さらに、領域55aと領域55bとは大きさ及び形状が同一で且つ差分の数値の正負が逆であることから、制御部220は特定した物品55が領域55aから領域55bに移動したと判断する。
According to the above determination, for example, in FIG. 5B and FIG. 6C, the
制御部220は、差分に対応する格納品を特定すると、その格納品の位置(x,y,z)を決定する(S105)。具体的には、制御部220は、差分のある位置(座標)から、差分に対応する格納品の平面上の位置(x,y)を決定する。さらに、制御部220は、前回取得した圧力データ(図6の(a)、図8の(a))と、今回取得した圧力データ(図6の(b)、図8の(b))と、それらの差分(図6の(c)、図8の(c))とを参照して、特定した格納品の高さ方向の位置(z)を決定する。例えば、図6の(b)と図6の(c)とを比較して、領域50aと領域50bの大きさ(形状)が一致していることから、物品50が格納庫10の底面に配置されていると判断する。また、例えば、制御部220は、図8の(b)の領域53bと図8の(c)の領域55bとを比較して、領域53bと領域55bの大きさ(形状)が一致していないことから、物品55が格納庫10の底面に配置されていないと判断する。さらに、図8の(a)の領域53aにより物品53が底面に配置されていることがわかっているため、制御部220は図8の(b)の状態においては物品55が物品53の上に配置されたと判断する。
When specifying the storage item corresponding to the difference, the
制御部220は、特定した格納品に基づいて、格納品DB232を更新する(S106)。例えば、図5B及び図6の場合、新たに追加された物品50に関する情報を格納品DB232に追加する。また、図7B及び図8の場合、物品55の位置及び庫内移動日を更新する。
The
制御部220は、前回取得した圧力データと今回取得した圧力データに差分がないと判断すれば(S103でNo)、ステップS104〜S106を実行しない。制御部220は、格納品DB232の更新処理を継続している間、ステップS101に戻り、格納品DB232の更新処理を繰り返す。
When determining that there is no difference between the previously acquired pressure data and the currently acquired pressure data (No in S103),
このようにして更新された格納品DB232は、所定のタイミングで出力可能である。例えば、表示装置300が、ユーザによる格納品DB232の出力指示を入力されたときに、又は予め設定された条件に基づいて、管理サーバ200に対して格納品DB232の読み出しを要求してもよい。図9に、表示装置300による格納品DB232の表示出力例を示している。図9に示すように、表示装置300は、読み出した格納品DB232に基づいて、格納品DB232に含まれる情報の一部(例えば、物品名、入庫日、及び位置)と、庫内配置図とを表示してもよい。
The stored
1.3 効果及び補足
本開示の物品管理システム1は、格納庫10内にマトリクス状に配置された複数の感圧センサ110(1)〜110(N)を備える。そのため、感圧センサ110(1)〜110(N)の位置(座標)に対応させた押圧力を示す圧力データが時系列に得られる。よって、本開示の物品管理システム1は、時系列に取得した圧力データと物品DB231とを比較することによって、格納庫10に格納されている物品を特定することができる。これにより、RFIDタグを備えていない物品を含む任意の物品を精度良く特定して管理することができる。1.3 Effects and Supplement The
さらに、本開示の物品管理システム1によれば、時系列に取得した圧力データに基づいて、格納庫10内の物品の位置(x,y,z)を特定することもできる。
Furthermore, according to the
重量分布が固定している物品の場合、例えば、電池が内蔵されている物品などの場合、圧力データから得られる重量分布と物品DB231の重量分布とを比較することによって、その物品の向きを特定することも可能である。
In the case of an article having a fixed weight distribution, for example, an article with a built-in battery, the orientation of the article is specified by comparing the weight distribution obtained from the pressure data with the weight distribution in the
本開示の物品管理システム1によれば、ユーザは格納庫10内を実際に視認することなく、表示装置300を使用することによって、任意のタイミング及び任意の場所で、格納庫10内に配置されている物品を把握することができる。
According to the
(第2実施形態)
本実施形態の物品管理システム1は、マトリクスセンサ装置100の出力のみで格納品を特定できない場合に、カメラの画像を使用して格納品を特定する。(2nd Embodiment)
The
2.1 物品管理システムの構成
図10は、本開示の第2実施形態の物品管理システムの構成を示している。本実施形態の物品管理システム1は、図1に示す構成に加えて、格納庫10内に少なくとも1台のカメラ180を備える。カメラ180は、静止画や動画を撮像可能な撮像装置の一例であって、例えば、CCDイメージセンサ又はCMOSイメージセンサである。1台のカメラ180が格納庫10内の全体を撮像可能な位置に配置されてもよい。又は、複数台のカメラ180が格納庫10内の複数箇所に配置されて、複数台のカメラ180によって格納庫10内の全体が撮像されるようにしてもよい。カメラ180は、格納庫10内を撮像して得られた撮像データ(撮像情報)を出力する。2.1 Configuration of Article Management System FIG. 10 illustrates a configuration of an article management system according to the second embodiment of the present disclosure. The
図11は、本実施形態における物品DB231のデータ構造の一例を示している。本実施形態の物品DB231は、図3Aに示す物品DB231において、さらに物品の画像データを含む。例えば、物品の画像データは、種々の角度から撮像された物品の画像のデータである。また、画像の代わりに又は画像に加えて、カメラ180によって撮像される画像から抽出可能な物品を特定するための特徴量を示すデータを物品DB231に含んでもよい。
FIG. 11 illustrates an example of a data structure of the
2.2 物品管理システムの動作
図12は、第2実施形態における管理サーバ200の制御部220による格納品DB232の更新処理のフローチャートを示している。図12は、第1実施形態の図4のフローチャートと比較して、ステップS205〜S207が新たに追加されたものである。図12のステップS201〜S204、S208、及びS209は、図4のステップS101〜S106と同一である。2.2 Operation of Article Management System FIG. 12 shows a flowchart of an update process of the stored
管理サーバ200の制御部220は、ステップS204の後、前回取得した圧力データと今回取得した圧力データの差分に対応する格納品を特定できたか否かを判断する(S205)。差分に対応する格納品を特定できなかった場合は(ステップS205でNo)、制御部220は、格納庫10内のカメラ180により生成された撮像データを、通信部210を介して取得する(S206)。
After step S204, the
制御部220は、物品DB231を参照して、取得した撮像データに基づいて格納品を特定する(S207)。具体的には、制御部220は、取得した撮像データと物品DB231内の画像データとを比較して、最も一致する物品を特定する。画像の比較は、画像に含まれるオブジェクトの特徴量に基づいて行われる。制御部220は、カメラ180で撮像された画像から特徴量を抽出して、抽出した特徴量に基づき同様の特徴量を持つ物品を物品DB231から特定してもよい。
The
その後、制御部220は、特定した格納品の位置(x,y,z)を決定する(S208)。このとき、マトリクスセンサ装置100の圧力データに基づいて、格納品を特定できたときは(ステップS205でYes)、マトリクスセンサ装置100の圧力データに基づいて、格納品の位置を決定する。カメラ180の撮像データに基づいて、格納品を特定したときは(ステップS205でNo)、カメラ180の撮像データとマトリクスセンサ装置100の圧力データのうちの少なくとも1つに基づいて格納品の位置を決定する。
Thereafter, the
2.3 効果及び補足
このように、マトリクスセンサ装置100の出力だけでは格納品が特定できない場合に、カメラ180を使用して格納品を特定することによって、より精度良く、格納品を管理することができる。2.3 Effects and Supplement As described above, when a stored item cannot be specified only by the output of the
(他の実施形態)
以上のように、本出願において開示する技術の例示として、第1及び第2実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第1及び第2実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。(Other embodiments)
As described above, the first and second embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like are made as appropriate. Also, a new embodiment can be obtained by combining the components described in the first and second embodiments. Therefore, other embodiments will be exemplified below.
図5Bでは物品50が格納庫10に新たに追加された例を示し、図7Bでは物品55が格納庫10内で移動された例について説明した。本開示の物品管理システム1によれば、時系列に取得した圧力データに基づいて、図13に示すような格納庫10内の状態変化に伴う物品の三次元位置を特定することもできる。図13の例では、下から物品「C」、「B」、「A」の順に積まれた状態から、物品「B」が取り除かれる例を示している。図13に示すような、物品「A」が一時的に持ち上げられて、物品「B」が格納庫10から出庫された後に、物品「A」が物品「C」の上に戻されたときの、物品「A」の三次元位置は、時系列に取得する圧力データの変化によって特定できる。
FIG. 5B illustrates an example in which the
上記第1及び第2実施形態においては、物品の形状、物品の重量、及び物品の底面における重量分布の全てに基づいて、物品を特定した。しかし、物品の形状、物品の重量、及び物品の底面における重量分布のうちの少なくとも1つで物品を特定してもよい。また、物品を特定するための情報は、物品の形状、物品の重量、及び物品の底面における重量分布に限定されない。物品を特定するための情報は、感圧センサ110(1)〜110(N)によって得られる圧力データから物品を特定できるものであれば、別の情報であってもよい。 In the first and second embodiments, the article is specified based on all of the shape of the article, the weight of the article, and the weight distribution on the bottom surface of the article. However, the article may be specified by at least one of the shape of the article, the weight of the article, and the weight distribution on the bottom surface of the article. Information for specifying an article is not limited to the shape of the article, the weight of the article, and the weight distribution on the bottom surface of the article. The information for specifying the article may be other information as long as the information can be specified from the pressure data obtained by the pressure sensors 110 (1) to 110 (N).
上記第1及び第2実施形態においては、格納庫10に格納されうる物品が複数種類あって、物品管理システム1が格納庫10に格納されている物品を特定する場合を例にして説明した。しかし、本開示の物品管理システム1は、格納庫10に格納されうる物品が予め1種類に決まっている場合についても適用できる。この場合、物品管理システム1は、格納庫10に格納されている物品を特定する必要はない。管理サーバ200の制御部220は、複数の感圧センサ110(1)〜110(N)から得られた圧力データに基づいて、所定物品の格納庫10内の平面上の位置と高さ方向の位置とを特定する。管理サーバ200は、物品DB231の代わりに、格納庫10に格納される所定物品の重量及び重量分布のうちの少なくとも1つを含む重量情報を記憶部230に格納しておいてもよい。そして、得られた圧力データとその重量情報とを比較して、高さ方向の位置を決定してもよい。例えば、圧力データが示す重量が所定物品の重量の2倍であれば、2つの所定物品が重ねて配置されていると判断して、高さ方向の位置を決定することができる。
In the first and second embodiments, there has been described an example in which there are a plurality of types of articles that can be stored in the
上記第1及び第2実施形態においては、管理サーバ200は、ネットワーク400を介して、格納庫10内の通信装置150に接続された。しかし、管理サーバ200を格納庫10内に設けてもよい。また、上記第1及び第2実施形態においては、表示装置300は、ネットワーク400を介して、管理サーバ200に接続された。しかし、表示装置300の機能と管理サーバ200の機能を一体化させて一つの装置で実現してもよい。また、表示装置300を格納庫10(例えば、格納庫10の扉)に設けてもよい。管理サーバ200及び表示装置300を格納庫10に設ける場合は、通信装置150を省略してもよい。図14に示すように、マトリクスセンサ装置100、管理サーバ200、及び表示装置300は、ネットワーク400を介さずに接続される構成であってもよい。この場合、図14に示すように、物品管理システム1は、通信装置150及び通信部210を備えなくてもよい。マトリクスセンサ装置100、管理サーバ200、及び表示装置300の全ての機能を一体化させて一つの装置で実現してもよい。
In the first and second embodiments, the
上記第1及び第2実施形態においては、「収納空間」が、倉庫又は保管庫などの格納庫10であって、複数の感圧センサ110(1)〜110(N)が格納庫10(収納空間の一例)に配置されている場合を例にして説明した。しかし、複数の感圧センサ110(1)〜110(N)は任意の場所に配置することができる。例えば、図15に示すように、配送トラック500の積荷収容部510が格納庫10に相当する収納空間であってもよい。また、収納空間は、トラックの荷台、店舗などの陳列棚、又は冷蔵庫であってもよい。感圧センサ110(1)〜110(N)の配置場所に応じて、次のような様々な効果が得られる。例えば、複数の感圧センサ110(1)〜110(N)を物流などの保管庫に配置した場合、本開示の物品管理システム1によれば、保管庫内での物品及び物品の場所の特定が可能になる。よって、物品の発送忘れなどの防止に役立つ。複数の感圧センサ110(1)〜110(N)を店舗などの陳列棚に配置した場合、本開示の物品管理システム1を利用することによって、物品(商品)の売れ行きを把握することが可能になる。よって、店舗内の商品の販売管理に役立つ。複数の感圧センサ110(1)〜110(N)を冷蔵庫に配置した場合、本開示の物品管理システム1を利用すれば、物品(食品)の在庫を管理することが可能になる。よって、ユーザの買い物にも役立ち、さらに在庫に応じて献立を提供するようなシステムにも役立つ。
In the first and second embodiments, the “storage space” is the
上記第1及び第2実施形態において、管理サーバ200の制御部220は、物品を自動で発注する自動発注機能を有してもよい。例えば、制御部220は、格納品DB232に基づいて不足又は欠品している物品を特定し、不足又は欠品している物品を発注する指示を、ネットワーク400を介して、外部装置(例えば、物品の製造工場のパソコン)に送信してもよい。
In the first and second embodiments, the
上記第1及び第2実施形態においては、センサ装置の一例として、図2に示すようにマトリクス状に配置された感圧センサ110(1)〜110(N)を含むマトリクスセンサ装置100を用いた。しかし、物品管理システム1に含まれるセンサ装置は、マトリクスセンサ装置100に限らない。すなわち、感圧センサ110(1)〜110(N)の配置はマトリクス状でなくてもよい。物品管理システム1に含まれるセンサ装置は、1つ以上の感圧センサを使用して、格納庫10の底面にかかる圧力を検出し、検出した圧力の位置に対応付けて検出した圧力を示す圧力情報を出力できるものであればよい。
In the first and second embodiments, as an example of the sensor device, the
上記第1及び第2実施形態においては、出力装置の一例として、表示装置300を用いた。しかし、物品管理システム1に含まれる出力装置は、管理サーバ200の格納品DB232に基づいて、格納庫10内の物品に関する情報を出力するものであればよい。例えば、出力装置として、スピーカーなどの音声出力装置を用いてもよい。
In the first and second embodiments, the
(実施形態の概要)
(1)本開示の一態様の物品管理システムは、物品を収納する収納空間における物品の配置を管理する物品管理システムであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置(100)と、物品に関する情報である物品情報(231)を格納する管理装置(200)と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている物品を特定する。(Overview of Embodiment)
(1) An article management system according to an embodiment of the present disclosure is an article management system that manages the arrangement of articles in a storage space for storing articles, and detects pressure two-dimensionally and indicates the detected pressure. A sensor device (100) for outputting information; and a management device (200) for storing article information (231), which is information on the article. The management device acquires pressure information from the sensor device in a time-series manner. With reference to the temporal change of the acquired pressure information and the article information, the article arranged in the storage space is specified.
これにより、RFIDタグを備えていない物品を含む任意の物品を精度良く特定して管理することができる。 Thereby, it is possible to accurately specify and manage an arbitrary article including an article without an RFID tag.
(2)(1)の物品管理システムにおいて、圧力情報の時間的変化に基づいて、特定した物品の三次元の位置を特定してもよい。 (2) In the article management system of (1), the three-dimensional position of the specified article may be specified based on the temporal change of the pressure information.
これにより、物品の位置を把握することが可能になる。 This makes it possible to grasp the position of the article.
(3)(2)の物品管理システムにおいて、管理装置は、さらに、収納空間内に収納されている個々の物品の配置を管理するための管理情報を有し、特定した物品に基づいて管理情報を更新してもよい。 (3) In the article management system of (2), the management device further has management information for managing the arrangement of the individual articles stored in the storage space, and the management information is based on the specified article. May be updated.
これにより、管理情報を任意のタイミングで読み出すことが可能になる。 This makes it possible to read the management information at an arbitrary timing.
(4)(1)の物品管理システムにおいて、センサ装置は、収納空間内にマトリクス状に配置された複数の感圧センサを有してもよい。 (4) In the article management system of (1), the sensor device may include a plurality of pressure-sensitive sensors arranged in a matrix in the storage space.
これにより、収納空間に収納された物品によって感圧センサに付与される圧力を二次元的に検出することができる。 Thereby, the pressure applied to the pressure-sensitive sensor by the article stored in the storage space can be detected two-dimensionally.
(5)(1)の物品管理システムにおいて、物品情報は、物品の形状、重量、及び重量分布のうちの少なくとも1つを含み、管理装置は、圧力情報の時間的変化による差分から、差分に対応する形状、重量、及び重量分布のうちの少なくとも1つを特定して、特定した形状、重量、及び重量分布のうちの少なくとも1つを、物品情報に含まれる形状、重量、及び重量分布のうちの少なくとも1つと比較して、差分に対応する物品を特定してもよい。 (5) In the article management system according to (1), the article information includes at least one of a shape, a weight, and a weight distribution of the article, and the management apparatus converts the pressure information into a difference from a difference due to a temporal change in the pressure information. At least one of the corresponding shape, weight, and weight distribution is specified, and at least one of the specified shape, weight, and weight distribution is changed to the shape, weight, and weight distribution included in the article information. The article corresponding to the difference may be specified by comparing with at least one of them.
これにより、変動(追加、削除、移動)した物品の形状、重量、及び重量分布のうちの少なくとも1つを特定できるため、物品を精度良く特定して管理することができる。 Accordingly, since at least one of the shape, weight, and weight distribution of the changed (added, deleted, or moved) article can be specified, the article can be accurately specified and managed.
(6)(1)の物品管理システムは、収納空間内を撮像して得られた撮像情報を出力する撮像装置をさらに備え、管理装置は、圧力情報によって収納空間内に配置されている物品を特定できない場合、撮像情報に基づいて収納空間内に配置されている物品を特定してもよい。 (6) The article management system according to (1) further includes an image pickup device that outputs image pickup information obtained by picking up an image of the inside of the storage space. If the item cannot be specified, the item arranged in the storage space may be specified based on the imaging information.
これにより、より精度よく、物品を特定して管理することができる。 As a result, the article can be specified and managed more accurately.
(7)(3)の物品管理システムは、管理情報を出力する出力装置をさらに備えてもよい。 (7) The article management system of (3) may further include an output device that outputs management information.
これにより、出力装置を所有するユーザは、任意の場所で、収納空間(格納庫)内の物品を把握することが可能になる。 Thereby, the user who owns the output device can grasp the articles in the storage space (hangar) at an arbitrary place.
(8)本開示の別態様の物品管理システムは、所定物品を収納する収納空間における物品の配置を管理する物品管理システムであって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、所定物品の重量及び重量分布のうちの少なくとも1つを含む情報である物品情報を有する管理装置と、を備え、管理装置は、センサ装置から圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている所定物品の平面上の位置と高さ方向の位置とを特定する。 (8) An article management system according to another aspect of the present disclosure is an article management system that manages the arrangement of articles in a storage space for storing predetermined articles, and detects pressure two-dimensionally and indicates the detected pressure. A sensor device that outputs pressure information; and a management device that has article information that is information including at least one of the weight and the weight distribution of the predetermined article. Then, referring to the temporal change of the acquired pressure information and the article information, the position on the plane and the position in the height direction of the predetermined article arranged in the storage space are specified.
二次元的に検出される圧力に基づいて、物品の形状、重量、重量分布を特定することができる。そのため、時系列に取得した圧力情報に基づいて、例えば、前回と今回の圧力に対応した数値を比較することによって、平面上の位置と高さ方向の位置とを特定することができる。 The shape, weight, and weight distribution of the article can be specified based on the two-dimensionally detected pressure. Therefore, the position on the plane and the position in the height direction can be specified by, for example, comparing numerical values corresponding to the previous and current pressures based on the pressure information acquired in a time series.
(9)本開示の物品管理方法は、物品を収納する収納空間における物品の配置を管理する物品管理方法であって、センサ装置によって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するステップと、物品に関する情報である物品情報を格納する管理装置によって、圧力情報を時系列に取得するステップと、管理装置によって、取得した圧力情報の時間的変化と、物品情報とを参照して、収納空間内に配置されている物品を特定するステップと、を含む。 (9) The article management method according to the present disclosure is an article management method for managing the arrangement of articles in a storage space for storing articles, wherein the pressure is detected two-dimensionally by a sensor device and the detected pressure is indicated. A step of outputting pressure information, a step of acquiring pressure information in a time series by a management device that stores article information that is information on the article, and a time change of the acquired pressure information by the management device; And identifying an article disposed in the storage space with reference to the above.
これにより、RFIDタグを備えていない物品を含む任意の物品を精度良く特定して管理することができる。 Thereby, it is possible to accurately specify and manage an arbitrary article including an article without an RFID tag.
本開示の全請求項に記載の物品管理システム及び物品管理方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。 The article management system and the article management method described in all claims of the present disclosure are realized by hardware resources, for example, cooperation with a processor, a memory, and a program.
本開示の物品管理システムは、例えば、倉庫、トラックの荷台、又は冷蔵庫に収納される物品を管理するシステムとして、有用である。 The article management system of the present disclosure is useful, for example, as a system for managing articles stored in a warehouse, a truck bed, or a refrigerator.
1 物品管理システム
10 格納庫
100 マトリクスセンサ装置
110(1)〜110(N) 感圧センサ
120 信号処理部
150 通信装置
180 カメラ
200 管理サーバ
210 通信部
220 制御部
230 記憶部
231 物品DB
232 格納品DB
233 センサ出力情報
240 入力部
300 表示装置
400 ネットワーク
232 Stored goods DB
233
Claims (9)
二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、
物品に関する情報である物品情報を格納する管理装置と、
を備え、
前記管理装置は、前記センサ装置から前記圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、前記物品情報とを参照して、前記収納空間内に配置されている物品を特定する、
物品管理システム。An article management system for managing the arrangement of articles in a storage space for storing articles,
A sensor device that detects pressure two-dimensionally and outputs pressure information indicating the detected pressure,
A management device that stores article information that is information about the article,
With
The management device acquires the pressure information in a time series from the sensor device, and refers to a temporal change of the acquired pressure information, and the article information, and refers to the article arranged in the storage space. Identify,
Article management system.
前記管理装置は、前記圧力情報の時間的変化による差分から、前記差分に対応する形状、重量、及び重量分布のうちの少なくとも1つを特定して、特定した前記形状、重量、及び重量分布のうちの少なくとも1つを、前記物品情報に含まれる形状、重量、及び重量分布のうちの少なくとも1つと比較して、前記差分に対応する物品を特定する、
請求項1に記載の物品管理システム。The article information includes at least one of the shape, weight, and weight distribution of the article,
The management device specifies at least one of the shape, weight, and weight distribution corresponding to the difference from the difference due to the temporal change of the pressure information, and specifies the specified shape, weight, and weight distribution. At least one of them is compared with at least one of the shape, weight, and weight distribution included in the article information, and an article corresponding to the difference is specified.
The article management system according to claim 1.
前記管理装置は、前記圧力情報によって前記収納空間内に配置されている物品を特定できない場合、前記撮像情報に基づいて前記収納空間内に配置されている物品を特定する、請求項1に記載の物品管理システム。An imaging device that outputs imaging information obtained by imaging the inside of the storage space is further provided,
2. The management device according to claim 1, wherein the management device identifies an article arranged in the storage space based on the imaging information when the article arranged in the storage space cannot be identified by the pressure information. 3. Article management system.
二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するセンサ装置と、
前記所定物品の重量及び重量分布のうちの少なくとも1つを含む情報である物品情報を有する管理装置と、
を備え、
前記管理装置は、前記センサ装置から前記圧力情報を時系列に取得して、取得した圧力情報の時間的変化と、前記物品情報とを参照して、前記収納空間内に配置されている前記所定物品の平面上の位置と高さ方向の位置とを特定する、
物品管理システム。An article management system for managing the arrangement of articles in a storage space for storing predetermined articles,
A sensor device that detects pressure two-dimensionally and outputs pressure information indicating the detected pressure,
A management device having article information that is information including at least one of the weight and the weight distribution of the predetermined article;
With
The management device acquires the pressure information in a time series from the sensor device, refers to a temporal change in the acquired pressure information, and refers to the article information, and the predetermined device disposed in the storage space. Identify the position of the article on the plane and the position in the height direction,
Article management system.
センサ装置によって、二次元的に圧力を検出して、検出した圧力を示す圧力情報を出力するステップと、
物品に関する情報である物品情報を格納する管理装置によって、前記圧力情報を時系列に取得するステップと、
前記管理装置によって、取得した圧力情報の時間的変化と、前記物品情報とを参照して、前記収納空間内に配置されている物品を特定するステップと、
を含む、物品管理方法。An article management method for managing the arrangement of articles in a storage space for storing articles,
A step of detecting pressure two-dimensionally by the sensor device and outputting pressure information indicating the detected pressure;
A step of acquiring the pressure information in chronological order by a management device that stores article information that is information about the article;
By the management device, a temporal change of the acquired pressure information, and referring to the article information, to identify an article arranged in the storage space,
An article management method, including:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059565 | 2017-03-24 | ||
JP2017059565 | 2017-03-24 | ||
PCT/JP2018/011146 WO2018174080A1 (en) | 2017-03-24 | 2018-03-20 | Article management system and article management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018174080A1 true JPWO2018174080A1 (en) | 2020-01-23 |
JP7038328B2 JP7038328B2 (en) | 2022-03-18 |
Family
ID=63585515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019507702A Active JP7038328B2 (en) | 2017-03-24 | 2018-03-20 | Goods management system and goods management method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7038328B2 (en) |
WO (1) | WO2018174080A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7228373B2 (en) * | 2018-11-29 | 2023-02-24 | 株式会社日立製作所 | Refrigerator, storage method and sensor system |
CN112346678B (en) * | 2019-08-06 | 2023-05-26 | 汉朔科技股份有限公司 | Method, device, equipment and storage medium for displaying article information |
JP7457936B2 (en) | 2019-10-15 | 2024-03-29 | パナソニックIpマネジメント株式会社 | Detection system, detection method and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006204473A (en) * | 2005-01-27 | 2006-08-10 | Tosho Inc | Medical supply detecting system |
US20070069867A1 (en) * | 2004-03-11 | 2007-03-29 | Elgar Fleisch | Stocking system and method for managing stocking |
JP2017071469A (en) * | 2015-10-06 | 2017-04-13 | 国立研究開発法人産業技術総合研究所 | Device, method and program for article identification, and recording medium |
JP2017071470A (en) * | 2015-10-06 | 2017-04-13 | 大日本印刷株式会社 | Shelf management system |
-
2018
- 2018-03-20 WO PCT/JP2018/011146 patent/WO2018174080A1/en active Application Filing
- 2018-03-20 JP JP2019507702A patent/JP7038328B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070069867A1 (en) * | 2004-03-11 | 2007-03-29 | Elgar Fleisch | Stocking system and method for managing stocking |
JP2006204473A (en) * | 2005-01-27 | 2006-08-10 | Tosho Inc | Medical supply detecting system |
JP2017071469A (en) * | 2015-10-06 | 2017-04-13 | 国立研究開発法人産業技術総合研究所 | Device, method and program for article identification, and recording medium |
JP2017071470A (en) * | 2015-10-06 | 2017-04-13 | 大日本印刷株式会社 | Shelf management system |
Also Published As
Publication number | Publication date |
---|---|
WO2018174080A1 (en) | 2018-09-27 |
JP7038328B2 (en) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769488B1 (en) | Item variation management | |
JP6463804B2 (en) | Article interaction and movement detection method | |
EP2985553B1 (en) | Method for managing storage product in refrigerator using image recognition, and refrigerator for same | |
US11315073B1 (en) | Event aspect determination | |
US10242393B1 (en) | Determine an item and user action in a materials handling facility | |
US10163149B1 (en) | Providing item pick and place information to a user | |
CN105931005B (en) | Automatic warehousing system | |
US20180211208A1 (en) | Systems and methods for monitoring home inventory | |
JP7038328B2 (en) | Goods management system and goods management method | |
JP5590049B2 (en) | Article display shelves, personal behavior survey method, and personal behavior survey program | |
WO2019222246A1 (en) | Systems and methods for automated storage and retrieval | |
US11288539B1 (en) | Tiered processing for item identification | |
JP7108868B2 (en) | Storage | |
KR102637070B1 (en) | Goods sales system using sensors and method thereof | |
US10713614B1 (en) | Weight and vision based item tracking | |
CN110914619B (en) | Food management system | |
CN116615743A (en) | Analyzing sensor data to identify events | |
KR20190090290A (en) | Refrigerator with displaying image by identifying goods and method of displaying thereof | |
KR101969262B1 (en) | System and method for managing warehouse based on internet of things | |
US11195140B1 (en) | Determination of untidy item return to an inventory location using weight | |
JP6775467B2 (en) | Article storage device and article management system | |
US11117744B1 (en) | Determination of untidy item return to an inventory location | |
JP2020054775A (en) | Pantry, house, and pantry system | |
WO2016137447A1 (en) | Interaction analysis | |
US11232509B1 (en) | Expression and gesture based assistance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7038328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |