JP6377563B2 - 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法 - Google Patents
動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP6377563B2 JP6377563B2 JP2015067123A JP2015067123A JP6377563B2 JP 6377563 B2 JP6377563 B2 JP 6377563B2 JP 2015067123 A JP2015067123 A JP 2015067123A JP 2015067123 A JP2015067123 A JP 2015067123A JP 6377563 B2 JP6377563 B2 JP 6377563B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- flow line
- flow
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された2つの動線について、当該2つの動線のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を1つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び/又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
を有する物体追跡装置が提供される。
(a)削除前に当該動線中において時間的に端となる動線と、
(b)削除前は同一の動線であってセンサ付与体又は当該センサ付与体以外の物体について共に同じ判定結果を有する動線と、
(c)削除前も互いに異なる動線であって共にセンサ付与体には対応しない旨の判定結果を有する動線と
のうち少なくとも一種の動線について削除した動線部分を復元し、復元した動線を含む複数の動線のうち、当該センサ付与体以外の物体に対応するものを識別することも好ましい。
当該センサ付与体について取得された位置・動き情報に基づいて、各時刻又は各時間帯において当該センサ付与体が移動状態であるか否かを判定し、さらに、決定された動線に基づいて、各時刻又は各時間帯において当該動線に対応する物体が移動状態であるか否かを判定する移動判定手段と、
当該センサ付与体についての移動に係る判定結果の時系列と、当該動線に対応する物体についての移動に係る判定結果の時系列との間の組合せについて、移動開始及び/又は停止のタイミングの類似度を算出する類似度算出手段と、
当該センサ付与体についての判定結果の時系列における、判定対象の動線に対応する物体についての判定結果の時系列との間の類似度と、所定閾値との大小関係に基づいて、当該判定対象の動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定するセンサ付与・非付与判定手段と
を有することも好ましい。
(a)当該同一のセンサ付与体についての類似度が最大となる条件、
(b)当該同一のセンサ付与体以外のセンサ付与体についての類似度の合計が最小となる条件、及び
(c)動線の時間的長さが最大となる条件
のうち1つ又は複数を満たす1つだけの動線を、当該同一のセンサ付与体が対応する動線であると判定することも好ましい。
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された2つの動線について、当該2つの動線のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を1つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び/又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
してコンピュータを機能させる物体追跡プログラムが提供される。
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定するステップと、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得するステップと、
決定された複数の動線の中から取り出された2つの動線について、当該2つの動線のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を1つの動線とするステップと、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び/又は当該センサ付与体以外の物体に対応するものを識別するステップと
を有する物体追跡方法が提供される。
図1は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。
(a)複数の物体を撮影可能な1つ以上のカメラ2と、
(b)当該複数の物体のうちの少なくとも1つ(図1では複数)に付与された動き推定用のセンサを備えたセンサ装置3と、
(c)カメラ2及びセンサ装置3と通信ネットワークを介して通信接続可能な物体追跡装置1と
を備えている。
(A)取得した画像情報に基づいて、複数の物体(人物)の移動経路に係る複数の「動線」を決定する動線推定部111と、
(B)取得したセンサ情報に基づいて算出される位置・動き情報であって、センサ(センサ装置3)を付与された物体(人物)であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得部112と
を有し、
(a)追跡対象物体(人物)の各時刻又は時間帯における位置を表現した「動線」と、
(b)追跡対象物体(人物)の各時刻又は時間帯における、移動(歩行)相当加速度状態や非移動(非歩行)状態といった移動状態、又は絶対位置又は相対位置を推定した「位置・動き情報」と
を取得する。尚、(b)の「位置・動き情報」は、物体追跡装置1で算出されてもよく、または、歩行者自律航法(PDR,Pedestrian Dead Reckoning)処理機能を備えたセンサ装置3で算出されて、物体追跡装置1に送信されてもよい。
(C)決定された複数の「動線」の中から取り出された2つの「動線」について、これら2つの「動線」のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、この時間帯に係る動線部分を削除し、残った動線部分の各々を1つの「動線」とし、
(D)算出された「位置・動き情報」に基づいて、部分削除された「動線」を含む複数の「動線」のうち、センサ付与体(人物)及び/又は当該センサ付与体以外の物体(人物)に対応するものを識別する。
図2は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。
(a)画像解析によって動線毎に付与される動線IDが、途中で動線間において入れ替わってしまうIDスイッチの発生する場合があり、また、
(b)客と店員との識別、さらには客の間の識別はできず、さらに、
(c)画像中において追跡対象を見失ってしまうロストが発生する場合がある
ことが重要となる。ここで、IDスイッチは、例えば動画像(映像)上で複数の追跡対象物体が交錯した際に発生する現象である。物体追跡装置1では、このうち、(a)のIDスイッチの発生に対して動線近接削除部113で対応し、(b)の客と店員との識別をセンサ付与・非付与判定部143で行い、同じく(b)の客の間の識別をセンサ非付与体判定部145で行い、さらに(c)のロストの発生に対して動線結合処理部115で対応している。即ち、物体追跡装置1は、上記(a)〜(c)の課題を全て解決し、適切な人物判定及び追跡を実現している。
(a)既知の技術であるPDR等を利用して算出された、センサ(センサ装置3)を付与された店員における画像空間若しくは変換された先の実空間での絶対位置、又は人物相互の相対位置、または、
(b)予め規定された歩行相当加速度状態や非歩行状態、又は単純に加速度値と所定閾値との大小関係といった店員の移動状態
に係る位置・動き情報を算出する。
(a)歩行状態から途中で停止する人物に対応する動線No.3と、
(b)停止状態から途中で((a)の停止と同じタイミングで)歩行を開始する人物に対応する動線No.4と
が推定される結果となっている。
(a)動線No.4-1(停止状態)と、センサNo.2(停止状態)とが対応(類似)し、
(b)動線No.3-2(停止状態)と、センサNo.2(停止状態)とが対応(類似)する
ことが見出される。その結果、同じく図4(B)に示すように、動線No.4-1及び動線No.3-2は店員に対応するものと識別することができるのである。また、例えばこの店員以外にはこの客のみが識別候補であるならば、残りの動線No.3-1及び動線No.4-2はこの客に対応するものと識別することも可能となる。
(a)店員について取得された位置・動き情報に基づいて、各時刻又は各時間帯において店員が移動状態であるか否かを判定し、さらに、
(b)決定された動線に基づいて、各時刻又は各時間帯において動線に対応する人物(店員及び客)が移動状態であるか否かを判定する。
(a)V>VHであるならば、「歩行」と判定し、
(b)V<VLであるならば、「停止」と判定し、
(c)VL≦V≦VHであるならば、前回の判定結果を保持する。
(a)「歩行」状態から「停止」状態に移行したタイミングで、「停止イベント」が発生したとし、
(b)「停止」状態から「歩行」状態に移行したタイミングで、「歩行イベント」が発生したとする。
C:(動線において発生したイベントが、位置・動き情報において発生したイベントと一致した数)/(動線において発生したイベントの総数)とし、
S:(店員の位置・動き情報において発生したイベントが、動線において発生したイベントと一致した数)/(位置・動き情報において発生したイベントの総数)
として、タイミング類似度Fmeasureを、次式
(1) Fmeasure=(2×C×S)/(C+S)
を用いて算出する。尚、例外的に、動線において発生したイベントの総数と、位置・動き情報において発生したイベントの総数とが共にゼロであった(状態の変化が起こらなかった)場合、動線と位置・動き情報の状態(歩行又は停止)とが同じであればFmeasure=1とし、異なればFmeasure=0とする。
(a)(店員Aとの類似度)>ThS、且つ(店員Bとの類似度)<ThSならば、店員Aと判定し、
(b)(店員Aとの類似度)<ThS、且つ(店員Bとの類似度)>ThSならば、店員Bと判定し、
(c)(店員Aとの類似度)≦ThS、且つ(店員Bとの類似度)≦ThSならば、客と判定し(但し、)、
(d)(店員Aとの類似度)≧ThS、且つ(店員Bとの類似度)≧ThSならば、不明と判定する。ここで、(店員Aとの類似度)=(店員Bとの類似度)=ThSならば、上記(c)にも当てはまるものの、上記(d)の不明として扱うことも好ましい。
(a)店員Aとの類似度が最大となる動線がただ1つ決定されれば、その動線を店員Aとし、
(b)上記(a)で動線が決定されない場合、店員Aとの類似度が最大となる複数の動線のうち、他の店員との類似度の合計が最小となるものを取り出し、取り出された動線が1つであれば、この動線を店員Aとし、
(c)上記(b)でも動線が決定されない場合、店員Aとの類似度が最大であって且つ他の店員との類似度の合計が最小である複数の動線のうち、動線の長さ(動線の時間幅)が最大となるものを、店員Aの対応する動線に決定する。
(1)復元後の各動線について、同一時刻又は時間帯に存在しているものは別人であると判定し、
(2)別人とされていない動線のうち、元IDが同一の動線について、対応する人物は同一であると判定し、
(3)同一人物であると判定されておらず、且つ時刻又は時間帯が重複していない動線のうち、端同士の時間間隔が最も近い動線を共に、同一人物が対応するものと判定する。
101 通信インタフェース
102 画像情報・センサ情報蓄積部
103 動線・判定結果保存部
111 動線推定部111
112 位置・動き情報取得部
113 動線近接削除部
14 物体判定部
141 移動判定部
141a 速度推定部
142 類似度算出部
143 センサ付与・非付与判定部
143a 競合解消・更新部
144 動線復元部
145 センサ非付与体判定部
115 動線結合処理部
116 通信制御部
2 カメラ
3 センサ装置
Claims (10)
- 複数の物体を撮影可能な1つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも1つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡可能な装置であって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された2つの動線について、当該2つの動線のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を1つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び/又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
を有することを特徴とする物体追跡装置。 - 前記物体判定手段は、少なくとも、削除前は時間的に端となる動線と、削除前は同一の動線であってセンサ付与体又は当該センサ付与体以外の物体について共に同じ判定結果を有する動線と、削除前も互いに異なる動線であって共にセンサ付与体には対応しない旨の判定結果を有する動線とのうち少なくとも一種の動線について削除した動線部分を復元し、復元した動線を含む複数の動線のうち、当該センサ付与体以外の物体に対応するものを識別する
ことを特徴とする請求項1に記載の物体追跡装置。 - 前記物体判定手段は、復元した動線を含む複数の動線のうち、その一部又は全部が同一時刻又は同一時間帯に存在している複数の動線に対応する物体は、それぞれ互いに別の物体であると判定することを特徴とする請求項2に記載の物体追跡装置。
- 前記物体判定手段は、
当該センサ付与体について取得された位置・動き情報に基づいて、各時刻又は各時間帯において当該センサ付与体が移動状態であるか否かを判定し、さらに、決定された動線に基づいて、各時刻又は各時間帯において当該動線に対応する物体が移動状態であるか否かを判定する移動判定手段と、
当該センサ付与体についての移動に係る判定結果の時系列と、当該動線に対応する物体についての移動に係る判定結果の時系列との間の組合せについて、移動開始及び/又は停止のタイミングの類似度を算出する類似度算出手段と、
当該センサ付与体についての判定結果の時系列における、判定対象の動線に対応する物体についての判定結果の時系列との間の類似度と、所定閾値との大小関係に基づいて、当該判定対象の動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定するセンサ付与・非付与判定手段と
を有することを特徴とする請求項1から3のいずれか1項に記載の物体追跡装置。 - 前記移動判定手段は、当該位置・動き情報から算出された当該センサ付与体の移動速度に基づいて、当該センサ付与体が移動状態であるか否かを判定し、さらに、当該動線から算出された当該動線に対応する物体の移動速度に基づいて、当該動線に対応する物体が移動状態であるか否かを判定することを特徴とする請求項4に記載の物体追跡装置。
- 前記センサ付与・非付与判定手段は、
判定対象の動線に対応する物体についての判定結果の時系列との間の類似度が所定閾値を超えるような当該センサ付与体が、1つだけ存在する場合、当該センサ付与体は当該判定対象の動線に対応する物体であると判定し、1つも存在しない場合、当該判定対象の動線に対応する物体は当該センサ付与体以外の物体であると判定する
ことを特徴とする請求項4又は5に記載の物体追跡装置。 - 前記センサ付与・非付与判定手段は、
その一部又は全部において同一時刻又は同一時間帯に同一のセンサ付与体であると判定された動線が複数競合する場合、当該複数の動線のうち、当該同一のセンサ付与体についての類似度が最大となる条件、当該同一のセンサ付与体以外のセンサ付与体についての類似度の合計が最小となる条件、及び動線の時間的長さが最大となる条件のうち1つ又は複数を満たす1つだけの動線を、当該同一のセンサ付与体が対応する動線であると判定する
ことを特徴とする請求項4から6のいずれか1項に記載の物体追跡装置。 - 前記センサ付与・非付与判定手段は、
当該動線について競合が解消したことによって、ある時刻又は時間帯で1つの動線に対応する1つのセンサ付与体が確定した場合、当該1つの動線以外の動線における当該1つのセンサ付与体についての類似度をゼロとした上で、各動線に対応する物体が、センサ付与体か否か、又はいずれのセンサ付与体かを判定する
ことを特徴とする請求項7に記載の物体追跡装置。 - 複数の物体を撮影可能な1つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも1つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定する動線推定手段と、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得する位置・動き情報取得手段と、
決定された複数の動線の中から取り出された2つの動線について、当該2つの動線のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を1つの動線とする動線近接削除手段と、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び/又は当該センサ付与体以外の物体に対応するものを識別する物体判定手段と
してコンピュータを機能させることを特徴とする物体追跡プログラム。 - 複数の物体を撮影可能な1つ以上のカメラから取得される画像情報、又は複数の距離計から取得される複数の物体に係る距離情報と、当該複数の物体のうちの少なくとも1つに付与された位置又は動き推定用のセンサから出力されるセンサ情報とを用いて当該物体を追跡する方法であって、
当該画像情報又は当該距離情報に基づいて、当該複数の物体の移動経路に係る複数の動線を決定するステップと、
当該センサ情報に基づいて、当該センサを付与された物体であるセンサ付与体の位置・動き情報を算出するステップと、
当該センサ情報に基づいて算出される位置・動き情報であって、当該センサを付与された物体であるセンサ付与体の位置又は動きに係る位置・動き情報を取得するステップと、
決定された複数の動線の中から取り出された2つの動線について、当該2つの動線のそれぞれに含まれる同時に相当する2点が互いに、所定時間以上の間、所定位置間隔以内となる時間帯が存在する場合、当該時間帯に係る動線部分を削除し、残った動線部分の各々を1つの動線とするステップと、
取得された位置・動き情報に基づいて、部分削除された動線を含む複数の動線のうち、センサ付与体及び/又は当該センサ付与体以外の物体に対応するものを識別するステップと
を有することを特徴とする物体追跡方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067123A JP6377563B2 (ja) | 2015-03-27 | 2015-03-27 | 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067123A JP6377563B2 (ja) | 2015-03-27 | 2015-03-27 | 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016186740A JP2016186740A (ja) | 2016-10-27 |
JP6377563B2 true JP6377563B2 (ja) | 2018-08-22 |
Family
ID=57203221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015067123A Active JP6377563B2 (ja) | 2015-03-27 | 2015-03-27 | 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6377563B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6772593B2 (ja) * | 2016-06-30 | 2020-10-21 | カシオ計算機株式会社 | 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム |
US11721026B2 (en) | 2017-01-20 | 2023-08-08 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
JP6933015B2 (ja) * | 2017-06-20 | 2021-09-08 | 富士通株式会社 | 情報処理方法、情報処理プログラム及び情報処理装置 |
JP2019200590A (ja) * | 2018-05-16 | 2019-11-21 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010276529A (ja) * | 2009-05-29 | 2010-12-09 | Panasonic Corp | 物体同定装置および物体同定方法 |
-
2015
- 2015-03-27 JP JP2015067123A patent/JP6377563B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016186740A (ja) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210144340A1 (en) | Information processing system, information processing method, and program | |
KR101907548B1 (ko) | 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법 | |
JP6377563B2 (ja) | 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法 | |
CN104103030B (zh) | 图像分析方法、照相机装置、控制装置及控制方法 | |
US20170251338A1 (en) | Systems and methods for determining indoor location and floor of a mobile device | |
Papaioannou et al. | Fusion of radio and camera sensor data for accurate indoor positioning | |
JP2015201183A (ja) | 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出 | |
KR20150144727A (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
WO2022042434A1 (zh) | 目标对象的活动区域确定方法、装置、设备及存储介质 | |
CN109465819A (zh) | 人体识别系统及人体识别方法 | |
JP2017058945A (ja) | 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム | |
WO2019155727A1 (ja) | 情報処理装置、追跡方法、及び追跡プログラム | |
US20230419670A1 (en) | Information processing apparatus, information processing method, and program | |
JP6627365B2 (ja) | 情報処理方法、情報処理装置、及びプログラム | |
JP2020145511A (ja) | カメラ装置、人物検出方法および人物検出システム | |
CN112381853A (zh) | 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法 | |
JP6032283B2 (ja) | 監視カメラ管理装置、監視カメラ管理方法およびプログラム | |
JP5626099B2 (ja) | 歩行者検出装置 | |
US20200236504A1 (en) | Localization of a mobile device based on image and radio words | |
JP2017054229A (ja) | 人物判別システム | |
US11227007B2 (en) | System, method, and computer-readable medium for managing image | |
JP6866621B2 (ja) | 移動物状態量推定装置及びプログラム | |
US20220051005A1 (en) | Walking estimation system, walking estimation method, and computer readable-medium | |
JP7294323B2 (ja) | 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6377563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |