JP6395933B2 - モニタリング装置 - Google Patents

モニタリング装置 Download PDF

Info

Publication number
JP6395933B2
JP6395933B2 JP2017524549A JP2017524549A JP6395933B2 JP 6395933 B2 JP6395933 B2 JP 6395933B2 JP 2017524549 A JP2017524549 A JP 2017524549A JP 2017524549 A JP2017524549 A JP 2017524549A JP 6395933 B2 JP6395933 B2 JP 6395933B2
Authority
JP
Japan
Prior art keywords
video
moving object
camera
overhead
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524549A
Other languages
English (en)
Other versions
JPWO2016208066A1 (ja
Inventor
直樹 鶴
直樹 鶴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016208066A1 publication Critical patent/JPWO2016208066A1/ja
Application granted granted Critical
Publication of JP6395933B2 publication Critical patent/JP6395933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Alarm Systems (AREA)

Description

この発明は、監視領域内を移動する物体を表示するモニタリング装置に関するものである。
以下の特許文献1に開示されているモニタリング装置では、監視領域内を移動する物体(以下、「移動物体」と称する)を追跡する際、監視領域を撮影する俯瞰カメラの映像から移動物体の位置を検出し、その移動物体の位置を示す位置情報を表示するようにしている。
また、俯瞰カメラとは別に、監視領域内の狭い領域を撮影する注視カメラを設置し、注視カメラにより撮影された映像から移動物体を検出して、その移動物体を表示するようにしている。
特開2013−168757号公報(図2)
従来のモニタリング装置は以上のように構成されているので、移動物体の位置を示す位置情報や移動物体を表示することができるが、使用目的が異なる俯瞰カメラと注視カメラを設置する必要があるという課題があった。
また、俯瞰カメラは、監視領域の真上に設置する必要があるため、俯瞰カメラを設置することが困難な場合があり、このような場合には、移動物体の位置を検出することができないという課題があった。
この発明は上記のような課題を解決するためになされたもので、俯瞰カメラを設置することなく、移動物体の位置を検出することができるモニタリング装置を得ることを目的とする。
この発明に係るモニタリング装置は、カメラにより撮影された監視領域の映像であるカメラ映像を変形して俯瞰映像を生成する俯瞰映像生成部と、カメラ映像又は俯瞰映像内に存在している移動物体の中から、注目対象の移動物体の選択を受け付ける選択受付部と、選択受付部により選択が受け付けられた注目対象の移動物体がカメラ映像内に存在している移動物体であれば、俯瞰映像内に存在している移動物体の中から、注目対象の移動物体に対応する移動物体を特定し、選択受付部により選択が受け付けられた注目対象の移動物体が俯瞰映像内に存在している移動物体であれば、カメラ映像内に存在している移動物体の中から、注目対象の移動物体に対応する移動物体を特定する注目対象特定部とを設け、映像表示部が、カメラ映像及び俯瞰映像を表示し、カメラ映像を構成している複数の部分領域及び俯瞰映像を構成している複数の部分領域のうち、選択受付部により選択が受け付けられた注目対象の移動物体が存在している部分領域及び注目対象特定部により特定された移動物体が存在している部分領域を明示するようにしたものである。
この発明によれば、選択受付部により選択が受け付けられた注目対象の移動物体がカメラ映像内に存在している移動物体であれば、俯瞰映像内に存在している移動物体の中から、注目対象の移動物体に対応する移動物体を特定し、選択受付部により選択が受け付けられた注目対象の移動物体が俯瞰映像内に存在している移動物体であれば、カメラ映像内に存在している移動物体の中から、注目対象の移動物体に対応する移動物体を特定する注目対象特定部を設け、映像表示部が、カメラ映像及び俯瞰映像を表示し、カメラ映像を構成している複数の部分領域及び俯瞰映像を構成している複数の部分領域のうち、注目対象の移動物体が存在している部分領域を明示するように構成したので、俯瞰カメラを設置することなく、移動物体の位置を検出することができる効果がある。
この発明の実施の形態1によるモニタリング装置を示す構成図である。 この発明の実施の形態1によるモニタリング装置を示すハードウェア構成図である。 モニタリング装置2がコンピュータで構成される場合のハードウェア構成図である。 この発明の実施の形態1によるモニタリング装置の処理内容を示すフローチャートである。 カメラ1により撮影されたカメラ映像Aの一例を示す説明図である。 俯瞰映像生成部13により生成された俯瞰映像Bの一例を示す説明図である。 この発明の実施の形態2によるモニタリング装置を示す構成図である。 この発明の実施の形態2によるモニタリング装置を示すハードウェア構成図である。 映像合成部41によるカメラ映像Aと俯瞰映像Bの合成例を示す説明図である。 この発明の実施の形態3によるモニタリング装置を示す構成図である。 この発明の実施の形態3によるモニタリング装置を示すハードウェア構成図である。 この発明の実施の形態3による他のモニタリング装置を示す構成図である。 この発明の実施の形態4によるモニタリング装置を示す構成図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態1.
図1はこの発明の実施の形態1によるモニタリング装置を示す構成図であり、図2はこの発明の実施の形態1によるモニタリング装置を示すハードウェア構成図である。
図1及び図2において、カメラ1は監視領域を見渡す位置に設置され、監視領域を撮影した映像であるカメラ映像Aを示す映像データをモニタリング装置2に出力する。
カメラ1とモニタリング装置2の間は、例えば、無線LAN(Local Area Network)、インターネット、近距離無線通信規格で規定されている無線通信で接続されるものが想定される。
モニタリング装置2の映像情報収集部11は例えばカメラ1と接続するインタフェース機器21で実現されるものであり、カメラ1から出力された映像データを収集する。
映像コピー部12は例えばCPU(Central Processing Unit)を実装している半導体集積回路、あるいは、ワンチップマイコンなどからなる映像コピー処理回路22で実現されるものであり、映像情報収集部11により収集された映像データが示すカメラ映像Aを選択受付部14及び注目対象特定部15に出力するとともに、そのカメラ映像Aを複製して、そのカメラ映像Aと同じカメラ映像A’を俯瞰映像生成部13に出力する処理を実施する。
俯瞰映像生成部13は例えばGPU(Graphics Processing Unit)などからなる映像生成処理回路23で実現されるものであり、映像コピー部12から出力されたカメラ映像A’を変形して俯瞰映像Bを生成する処理を実施する。
俯瞰映像Bは監視領域を真上から見下ろした映像であり、例えば、幾何学に基づく視点変換技術を用いて、カメラ映像A’を2次元投影変換することで生成することができる。
また、俯瞰映像生成部13は、カメラ映像A’及び俯瞰映像Bを複数の部分領域a1〜a25,b1〜b25に分割し、カメラ映像A’を構成する複数の部分領域a1〜a25と、俯瞰映像Bを構成する複数の部分領域b1〜b25との対応関係を示す対応関係情報を注目対象特定部15に出力する処理を実施する。
選択受付部14は例えばキーボード、マウス、タッチパネルなどの入力用マンマシンインタフェース24と、表示装置などの出力用マンマシンインタフェース25とから実現されるものであり、映像コピー部12から出力されたカメラ映像A又は俯瞰映像生成部13により生成された俯瞰映像B内に存在している移動物体の中から、注目対象の移動物体の選択を受け付ける処理を実施する。
注目対象特定部15は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどからなる注目対象特定処理回路26で実現されるものであり、選択受付部14により選択が受け付けられた注目対象の移動物体Taがカメラ映像A内に存在している移動物体であれば、俯瞰映像B内に存在している移動物体の中から、注目対象の移動物体Taに対応する移動物体Tbを特定し、選択受付部14により選択が受け付けられた注目対象の移動物体Tbが俯瞰映像B内に存在している移動物体であれば、カメラ映像A内に存在している移動物体の中から、注目対象の移動物体Tbに対応する移動物体Taを特定する処理を実施する。
即ち、注目対象特定部15は、選択受付部14により選択が受け付けられた注目対象の移動物体Taがカメラ映像A内に存在している移動物体である場合、注目対象の移動物体Taが存在しているカメラ映像A内の部分領域(例えば、部分領域a1)を特定する。そして、俯瞰映像生成部13から出力された対応関係情報を参照して、俯瞰映像Bを構成する複数の部分領域b1〜b25の中で、その部分領域a1に対応する部分領域b1を特定し、その部分領域b1内に存在している移動物体を、注目対象の移動物体Taに対応する移動物体Tbであると判断する。
また、注目対象特定部15は、選択受付部14により選択が受け付けられた注目対象の移動物体Tbが俯瞰映像B内に存在している移動物体である場合、注目対象の移動物体Tbが存在している俯瞰映像B内の部分領域(例えば、部分領域b1)を特定する。そして、俯瞰映像生成部13から出力された対応関係情報を参照して、カメラ映像Aを構成する複数の部分領域a1〜a25の中で、その部分領域b1に対応する部分領域a1を特定し、その部分領域a1内に存在している移動物体を、注目対象の移動物体Tbに対応する移動物体Taであると判断する。
映像表示部16は例えば液晶ディスプレイなどの表示装置27で実現されるものであり、カメラ映像Aを画面上に表示するとともに、選択受付部14により選択が受け付けられた注目対象の移動物体Taが存在しているカメラ映像A内の部分領域、あるいは、注目対象特定部15により特定された注目対象の移動物体Taが存在しているカメラ映像A内の部分領域を画面上で明示する。
映像表示部17は例えば液晶ディスプレイなどの表示装置28で実現されるものであり、俯瞰映像Bを画面上に表示するとともに、選択受付部14により選択が受け付けられた注目対象の移動物体Tbが存在している俯瞰映像B内の部分領域、あるいは、注目対象特定部15により特定された注目対象の移動物体Tbが存在している俯瞰映像B内の部分領域を画面上で明示する。
図1では、モニタリング装置2の構成要素である映像情報収集部11、映像コピー部12、俯瞰映像生成部13、選択受付部14、注目対象特定部15及び映像表示部16,17のそれぞれが専用のハードウェアで構成されているものを想定しているが、モニタリング装置2がコンピュータで構成されているものであってもよい。
図3はモニタリング装置2がコンピュータで構成される場合のハードウェア構成図である。
モニタリング装置2がコンピュータで構成される場合、映像情報収集部11、映像コピー部12、俯瞰映像生成部13、選択受付部14、注目対象特定部15及び映像表示部16,17の処理内容を記述しているプログラムをコンピュータのメモリ31に格納し、コンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
図4はこの発明の実施の形態1によるモニタリング装置の処理内容を示すフローチャートである。
次に動作について説明する。
カメラ1は、監視領域を撮影した映像であるカメラ映像Aを示す映像データをモニタリング装置2に出力する。
図5はカメラ1により撮影されたカメラ映像Aの一例を示す説明図である。
モニタリング装置2の映像情報収集部11は、カメラ1から出力された映像データを収集する(図4のステップST1)。
映像コピー部12は、映像情報収集部11が映像データを収集すると、その映像データが示すカメラ映像Aを選択受付部14及び注目対象特定部15に出力するとともに、そのカメラ映像Aを複製して、そのカメラ映像Aと同じカメラ映像A’を俯瞰映像生成部13に出力する。
ここでは、カメラ映像Aから複製したカメラ映像A’を俯瞰映像生成部13に出力するようにしているが、カメラ映像Aを俯瞰映像生成部13に出力するようにしてもよい。
俯瞰映像生成部13は、映像コピー部12からカメラ映像A’を受けると、そのカメラ映像A’を変形して俯瞰映像Bを生成し、その俯瞰映像Bを選択受付部14及び注目対象特定部15に出力する(ステップST2)。
カメラ映像A’から俯瞰映像Bを生成する処理自体は、公知の技術であるため詳細な説明は省略するが、例えば、公知のHomography行列Hを用いれば、下記の式(1)のように、カメラ映像A’上の座標点(x,y)を俯瞰映像B上の座標点(X,Y)に変換することができる。
Figure 0006395933
図6は俯瞰映像生成部13により生成された俯瞰映像Bの一例を示す説明図である。
俯瞰映像生成部13は、カメラ映像A’を変形して俯瞰映像Bを生成すると、図6に示すように、俯瞰映像Bを複数の部分領域b1〜b25に分割する。
俯瞰映像生成部13は、カメラ映像A’の変形操作と逆の変形操作によって、俯瞰映像Bをカメラ映像A’に戻したときに、部分領域b1〜b25の各頂点(四角形の領域における4つの角の点)の座標に対応するカメラ映像A’上の各頂点の座標を特定する。
例えば、部分領域b1〜b25の頂点の座標が(X,Y)で表される場合、Homography行列Hの逆行列H−1を用いれば、下記の式(2)のように、部分領域b1〜b25の頂点の座標(X,Y)に対応するカメラ映像A’上の頂点の座標(x,y)を求めることができる。
Figure 0006395933
俯瞰映像生成部13は、その特定したカメラ映像A’上の各頂点の座標(x,y)が、図5に示すように、カメラ映像A’を構成する部分領域a1〜a25の各頂点の座標であるとする。
俯瞰映像生成部13は、カメラ映像A’を構成する複数の部分領域a1〜a25の各頂点の座標を特定すると、カメラ映像A’を構成する複数の部分領域a1〜a25と、俯瞰映像Bを構成する複数の部分領域b1〜b25との対応関係を示す対応関係情報を注目対象特定部15に出力する(ステップST3)。
部分領域a1 ←→ 部分領域b1
部分領域a2 ←→ 部分領域b2
部分領域a3 ←→ 部分領域b3

部分領域a25←→ 部分領域b25
また、俯瞰映像生成部13は、カメラ映像A’内の部分領域a1〜a25の位置(各頂点の座標)と、俯瞰映像B内の部分領域b1〜b25の位置(各頂点の座標)とを示す部分領域位置情報を選択受付部14に出力する(ステップST4)。
ここでは、俯瞰映像生成部13が、俯瞰映像Bを均等に25分割している例を示しているが、これに限るものではなく、25分割以外の分割数で分割するようにしてもよい。また、俯瞰映像Bの部分領域b1〜b25の大きさが均等でなくてもよい。
選択受付部14は、映像コピー部12から出力されたカメラ映像Aと、俯瞰映像生成部13から出力された俯瞰映像Bとを出力用マンマシンインタフェース25に表示する。
例えば、出力用マンマシンインタフェース25に表示されている俯瞰映像Bを見ているユーザが、入力用マンマシンインタフェース24を操作することで、俯瞰映像B内に存在しているいずれかの移動物体を指定すると(ステップST5:Yesの場合)、選択受付部14が、ユーザにより指定された移動物体を注目対象の移動物体Tbとして選択を受け付ける(ステップST6)。
この実施の形態1では、説明の便宜上、俯瞰映像B内の部分領域b1に存在している移動物体が、注目対象の移動物体Tbとして選択されたものとする。
選択受付部14は、注目対象の移動物体Tbの選択を受け付けると、俯瞰映像生成部13から出力された部分領域位置情報を参照して、注目対象の移動物体Tbが存在している部分領域b1を特定し、その部分領域b1を示す移動物体位置情報を注目対象特定部15に出力する。この移動物体位置情報には、部分領域b1の位置(各頂点の座標)を示す情報が含まれている。
ここでは、俯瞰映像B内に存在している移動物体を注目対象の移動物体Tbとして選択を受け付ける例を示しているが、出力用マンマシンインタフェース25に表示されているカメラ映像Aを見ているユーザが、入力用マンマシンインタフェース24を操作することで、カメラ映像A内に存在しているいずれかの移動物体を指定すると、選択受付部14が、ユーザにより指定された移動物体を注目対象の移動物体Taとして選択を受け付けるようにしてもよい。
例えば、カメラ映像Aの部分領域a1に存在している移動物体が、注目対象の移動物体Taとして選択された場合、俯瞰映像生成部13から出力された部分領域位置情報を参照して、注目対象の移動物体Taが存在している部分領域a1を特定し、その部分領域a1を示す移動物体位置情報を注目対象特定部15に出力する。この移動物体位置情報には、部分領域a1の位置(各頂点の座標)を示す情報が含まれている。
注目対象特定部15は、選択受付部14から移動物体位置情報を受けると、その移動物体位置情報が示す部分領域b1が、注目対象の移動物体Tbが存在している部分領域であると判断し、俯瞰映像生成部13から出力された対応関係情報を参照して、注目対象の移動物体Tbが存在している俯瞰映像B内の部分領域b1に対応するカメラ映像A内の部分領域a1を特定する(ステップST7)。
ここでは、注目対象の移動物体Tbが存在している俯瞰映像B内の部分領域b1に対応するカメラ映像A内の部分領域a1を特定しているが、部分領域b1には注目対象の移動物体Tbが存在し、部分領域a1には注目対象の移動物体Taが存在しているので、注目対象の移動物体Tbに対応する移動物体Taを特定していることに相当する。
また、ここでは、移動物体位置情報が俯瞰映像B内の部分領域b1を示している例を示しているが、移動物体位置情報がカメラ映像A内の部分領域a1を示している場合、その部分領域a1が、注目対象の移動物体Taが存在している部分領域であると判断し、俯瞰映像生成部13から出力された対応関係情報を参照して、注目対象の移動物体Taが存在している部分領域a1に対応する俯瞰映像B内の部分領域b1を特定する。
注目対象特定部15は、俯瞰映像B内の部分領域b1に対応するカメラ映像A内の部分領域a1を特定すると、カメラ映像Aを映像表示部16に出力するとともに、注目対象の移動物体Taが存在している部分領域a1を示す移動物体位置情報を映像表示部16に出力する。この移動物体位置情報には、部分領域a1の位置(各頂点の座標)を示す情報が含まれている。
また、注目対象特定部15は、俯瞰映像Bを映像表示部17に出力するとともに、注目対象の移動物体Tbが存在している部分領域b1を示す移動物体位置情報を映像表示部17に出力する。この移動物体位置情報には、部分領域b1の位置(各頂点の座標)を示す情報が含まれている。
映像表示部16は、注目対象特定部15からカメラ映像A及び注目対象の移動物体Taが存在している部分領域a1を示す移動物体位置情報を受けると、カメラ映像Aを画面上に表示するとともに、その移動物体位置情報が示す部分領域a1を画面上で明示する(ステップST8)。例えば、部分領域a1の色やトーンを他の部分領域a2〜a15と異なるように、部分領域a1を強調表示することで、注目対象の移動物体Taが部分領域a1に存在していることを明示する。
映像表示部17は、注目対象特定部15から俯瞰映像B及び注目対象の移動物体Tbが存在している部分領域b1を示す移動物体位置情報を受けると、俯瞰映像Bを画面上に表示するとともに、その移動物体位置情報が示す部分領域b1を画面上で明示する(ステップST9)。例えば、部分領域b1の色やトーンを他の部分領域b2〜b15と異なるように、部分領域b1を強調表示することで、注目対象の移動物体Tbが部分領域b1に存在していることを明示する。
以上で明らかなように、この実施の形態1によれば、選択受付部14により選択が受け付けられた注目対象の移動物体Taがカメラ映像A内に存在している移動物体であれば、俯瞰映像B内に存在している移動物体の中から、注目対象の移動物体Taに対応する移動物体Tbを特定し、選択受付部14により選択が受け付けられた注目対象の移動物体Tbが俯瞰映像B内に存在している移動物体であれば、カメラ映像A内に存在している移動物体の中から、注目対象の移動物体Tbに対応する移動物体Taを特定する注目対象特定部15を設け、映像表示部16,17が、カメラ映像A,俯瞰映像Bを画面上に表示するとともに、カメラ映像Aを構成している部分領域a1〜a25及び俯瞰映像Bを構成している部分領域b1〜b25のうち、注目対象の移動物体Ta,Tbが存在している部分領域a1,b1を明示するように構成したので、俯瞰カメラを設置することなく、注目対象の移動物体Ta,Tbの位置を検出することができる効果を奏する。
この実施の形態1では、注目対象の移動物体Ta,Tbが、1つの部分領域内に収まっているものとして、注目対象の移動物体Ta,Tbが存在している部分領域a1,b1を特定するものを示したが、注目対象の移動物体Ta,Tbが、複数の部分領域に跨っている場合、注目対象の移動物体Ta,Tbが存在している複数の部分領域を特定して、複数の部分領域を明示するようにすればよい。
実施の形態2.
上記実施の形態1では、カメラ映像Aを表示する映像表示部16と、俯瞰映像Bを表示する映像表示部17とを備えるものを示したが、カメラ映像Aと俯瞰映像Bを合成し、その合成した映像を表示するようにしてもよい。
図7はこの発明の実施の形態2によるモニタリング装置を示す構成図であり、図8はこの発明の実施の形態2によるモニタリング装置を示すハードウェア構成図である。
図7及び図8において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
映像合成部41は例えばGPUなどからなる映像合成処理回路51で実現されるものであり、注目対象特定部15から出力されたカメラ映像Aと俯瞰映像Bを合成し、その合成した映像を映像表示部42に出力する処理を実施する。
映像表示部42は例えば液晶ディスプレイなどの表示装置52で実現されるものであり、映像合成部41から出力された合成映像を画面上に表示するとともに、カメラ映像Aを構成している部分領域a1〜a25及び俯瞰映像Bを構成している部分領域b1〜b25のうち、注目対象の移動物体Ta,Tbが存在している部分領域a,b1を明示する。
図7では、モニタリング装置2の構成要素である映像情報収集部11、映像コピー部12、俯瞰映像生成部13、選択受付部14、注目対象特定部15、映像合成部41及び映像表示部42のそれぞれが専用のハードウェアで構成されているものを想定しているが、モニタリング装置2がコンピュータで構成されているものであってもよい。
モニタリング装置2がコンピュータで構成される場合、映像情報収集部11、映像コピー部12、俯瞰映像生成部13、選択受付部14、注目対象特定部15、映像合成部41及び映像表示部42の処理内容を記述しているプログラムを図3に示すコンピュータのメモリ31に格納し、コンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
次に動作について説明する。
映像合成部41及び映像表示部42以外は、上記実施の形態1と同様であるため、ここでは、映像合成部41及び映像表示部42の処理内容を説明する。
映像合成部41は、注目対象特定部15からカメラ映像Aと俯瞰映像Bを受けると、カメラ映像Aと俯瞰映像Bを合成する。
図9は映像合成部41によるカメラ映像Aと俯瞰映像Bの合成例を示す説明図である。
図9(a)では、縦型の画面を上下に2分割し、画面上側にカメラ映像Aを配置し、画面下側に俯瞰映像Bを配置するように合成している。
図9(b)では、横型の画面を左右に2分割し、画面左側にカメラ映像Aを配置し、画面右側に俯瞰映像Bを配置するように合成している。
図9(c)では、画面の大部分にカメラ映像Aを配置し、画面右上に俯瞰映像Bを配置するように合成している。
映像表示部42は、映像合成部41から合成映像と、注目対象の移動物体Ta,Tbが存在している部分領域a1,b1を示す移動物体位置情報とを受けると、その合成映像を画面上に表示するとともに、カメラ映像Aを構成している部分領域a1〜a25及び俯瞰映像Bを構成している部分領域b1〜b25のうち、注目対象の移動物体Ta,Tbが存在している部分領域a,b1を明示する。
この実施の形態2によれば、上記実施の形態1と同様に、俯瞰カメラを設置することなく、注目対象の移動物体Ta,Tbの位置を検出することができるほか、映像表示部の台数が1台で済むため、コストの低減を図ることができる。
実施の形態3.
上記実施の形態1,2では、カメラ1の台数が1台である例を示したが、使用目的が同じカメラを複数台使用するようにしてもよい。
図10はこの発明の実施の形態3によるモニタリング装置を示す構成図であり、図11はこの発明の実施の形態3によるモニタリング装置を示すハードウェア構成図である。
図10及び図11において、図1及び図2と同一符号は同一または相当部分を示すので説明を省略する。
カメラ1−1〜1−Nは監視領域の一部を見渡す位置に設置され、監視領域の一部を撮影した映像であるカメラ映像A〜Aを示す映像データをモニタリング装置2に出力する。なお、カメラ1−1〜1−Nにより撮影される領域は互いに異なっている。
映像情報収集部11−1〜11−Nは、図1の映像情報収集部11と同様にインタフェース機器21で実現されるものであり、カメラ1−1〜1−Nから出力された映像データを収集する。
映像コピー部12−1〜12−Nは、図1の映像コピー部12と同様に映像コピー処理回路22で実現されるものであり、映像情報収集部11−1〜11−Nにより収集された映像データが示すカメラ映像A〜Aを選択受付部62及び注目対象特定部63に出力するとともに、そのカメラ映像A〜Aを複製して、そのカメラ映像A〜Aと同じカメラ映像A’〜A’を俯瞰映像生成部13−1〜13−Nに出力する処理を実施する。
俯瞰映像生成部13−1〜13−Nは、図1の俯瞰映像生成部13と同様に映像生成処理回路23で実現されるものであり、映像コピー部12−1〜12−Nから出力されたカメラ映像A’〜A’を変形して俯瞰映像B〜Bを生成する処理を実施する。
俯瞰映像合成部61は例えばGPUなどからなる映像合成処理回路71で実現されるものであり、俯瞰映像生成部13−1〜13−Nにより生成された俯瞰映像B〜Bを合成し、合成後の俯瞰映像である合成俯瞰映像Bを選択受付部62及び注目対象特定部63に出力する処理を実施する。
また、俯瞰映像合成部61は、カメラ映像A’〜A’,合成俯瞰映像Bを複数の部分領域に分割し、カメラ映像A’〜A’を構成する複数の部分領域と、合成俯瞰映像Bを構成する複数の部分領域との対応関係を示す対応関係情報を注目対象特定部63に出力する処理を実施する。
選択受付部62は、図1の選択受付部14と同様に入力用マンマシンインタフェース24と出力用マンマシンインタフェース25から実現されるものであり、映像コピー部12−1〜12−Nから出力されたカメラ映像A〜A又は俯瞰映像合成部61により合成された合成俯瞰映像B内に存在している移動物体の中で、注目対象の移動物体の選択を受け付ける処理を実施する。
注目対象特定部63は図1の注目対象特定部15と同様に注目対象特定処理回路26で実現されるものであり、選択受付部62により選択が受け付けられた注目対象の移動物体Taがカメラ映像A〜A内に存在している移動物体であれば、合成俯瞰映像B内に存在している移動物体の中から、注目対象の移動物体Taに対応する移動物体Tbを特定し、選択受付部62により選択が受け付けられた注目対象の移動物体Tbが合成俯瞰映像B内に存在している移動物体であれば、カメラ映像A〜A内に存在している移動物体の中から、注目対象の移動物体Tbに対応する移動物体Taを特定する処理を実施する。
映像表示部16−1〜16−Nは図1の映像表示部16と同様に表示装置27で実現されるものであり、カメラ映像A〜Aを画面上に表示するとともに、選択受付部62により選択が受け付けられた注目対象の移動物体Taが存在しているカメラ映像A〜A内の部分領域、あるいは、注目対象特定部63により特定された注目対象の移動物体Taが存在しているカメラ映像A〜A内の部分領域を画面上で明示する。
図10では、モニタリング装置2の構成要素である映像情報収集部11−1〜11−N、映像コピー部12−1〜12−N、俯瞰映像生成部13−1〜13−N、俯瞰映像合成部61、選択受付部62、注目対象特定部63及び映像表示部16−1〜16−N,17のそれぞれが専用のハードウェアで構成されているものを想定しているが、モニタリング装置2がコンピュータで構成されているものであってもよい。
モニタリング装置2がコンピュータで構成される場合、映像情報収集部11−1〜11−N、映像コピー部12−1〜12−N、俯瞰映像生成部13−1〜13−N、俯瞰映像合成部61、選択受付部62、注目対象特定部63及び映像表示部16−1〜16−N,17の処理内容を記述しているプログラムを図3に示すコンピュータのメモリ31に格納し、コンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
次に動作について説明する。
カメラ1−1〜1−Nは、監視領域の一部を撮影した映像であるカメラ映像A〜Aを示す映像データをモニタリング装置2に出力する。
この実施の形態3では、カメラ映像A〜Aは互いに隣接している領域であり、カメラ映像A〜Aが合わされることで、監視領域の全体が表されるものとする。
モニタリング装置2の映像情報収集部11−n(n=1,2,・・・,N)は、カメラ1−nから出力された映像データを収集する。
映像コピー部12−n(n=1,2,・・・,N)は、映像情報収集部11−nが映像データを収集すると、その映像データが示すカメラ映像Aを選択受付部62及び注目対象特定部63に出力するとともに、そのカメラ映像Aを複製して、そのカメラ映像Aと同じカメラ映像A’を俯瞰映像生成部13−nに出力する。
ここでは、カメラ映像Aから複製したカメラ映像A’を俯瞰映像生成部13−nに出力するようにしているが、カメラ映像Aを俯瞰映像生成部13−nに出力するようにしてもよい。
俯瞰映像生成部13−n(n=1,2,・・・,N)は、映像コピー部12−nからカメラ映像A’を受けると、図1の俯瞰映像生成部13と同様の方法で、そのカメラ映像A’を変形して俯瞰映像Bを生成し、その俯瞰映像Bを俯瞰映像合成部61に出力する。
俯瞰映像合成部61は、俯瞰映像生成部13−1〜13−Nから俯瞰映像B〜Bを受けると、カメラ1−1〜1−Nの配置にしたがって俯瞰映像B〜Bを2次元平面状で並べることで、俯瞰映像B〜Bを合成し、合成後の俯瞰映像である合成俯瞰映像Bを注目対象特定部63に出力する。
簡単な例では、カメラ1−1〜1−Nが2次元平面状で一列に並んでいる場合には、俯瞰映像B〜Bを一列に並べることで俯瞰映像B〜Bを合成する。
俯瞰映像合成部61は、俯瞰映像B〜Bを合成して合成俯瞰映像Bを生成すると、図6に示すように、その合成俯瞰映像Bを複数の部分領域に分割する。
図6は、カメラ1の台数が1台の例であるため、部分領域bの数が25個程度であるが、この実施の形態3では、カメラの台数がN台の例であり、監視領域の広さが、上記実施の形態1の場合より広いことが考えられるので、例えば、合成俯瞰映像Bを100分割して部分領域b1〜b100を得るものとする。
俯瞰映像合成部61は、俯瞰映像生成部13−1〜13−Nによるカメラ映像A’〜A’の変形操作と逆の変形操作によって、合成俯瞰映像Bをカメラ映像A’〜A’に戻したときに、部分領域b1〜b100の各頂点の座標に対応するカメラ映像A’〜A’上の各頂点の座標を特定する。
例えば、部分領域b1〜b100の頂点の座標が(X,Y)で表される場合、上記の式(2)に示すように、Homography行列Hの逆行列H−1を用いれば、部分領域b1〜b100の頂点の座標(X,Y)に対応するカメラ映像A’〜A’上の頂点の座標を(x,y)求めることができる。
俯瞰映像合成部61は、その特定したカメラ映像A’〜A’上の各頂点の座標(x,y)が、カメラ映像A’〜A’を構成する部分領域の各頂点の座標であるとする。
俯瞰映像合成部61は、カメラ映像A’〜A’を構成する複数の部分領域a1〜a100の各頂点の座標を特定すると、カメラ映像A’〜A’を構成する複数の部分領域a1〜a100と、合成俯瞰映像Bを構成する複数の部分領域b1〜b100との対応関係を示す対応関係情報を注目対象特定部63に出力する。
部分領域a1 ←→ 部分領域b1
部分領域a2 ←→ 部分領域b2
部分領域a3 ←→ 部分領域b3

部分領域a100←→ 部分領域b100
また、俯瞰映像合成部61は、部分領域a1〜a100の位置(各頂点の座標)と、合成俯瞰映像B内の部分領域a1〜a100の位置(各頂点の座標)とを示す部分領域位置情報を選択受付部62に出力する。
選択受付部62は、映像コピー部12−1〜12−Nから出力されたカメラ映像A〜Aと、俯瞰映像合成部61から出力された合成俯瞰映像Bとを出力用マンマシンインタフェース25に表示する。
例えば、出力用マンマシンインタフェース25に表示されている合成俯瞰映像Bを見ているユーザが、入力用マンマシンインタフェース24を操作することで、合成俯瞰映像B内に存在しているいずれかの移動物体を指定すると、選択受付部62が、ユーザにより指定された移動物体を注目対象の移動物体Tbとして選択を受け付ける。
この実施の形態3では、説明の便宜上、合成俯瞰映像B内の部分領域b1に存在している移動物体が、注目対象の移動物体Tbとして選択されたものとする。
選択受付部62は、注目対象の移動物体Tbの選択を受け付けると、俯瞰映像合成部61から出力された部分領域位置情報を参照して、注目対象の移動物体Tbが存在している部分領域b1を特定し、その部分領域b1を示す移動物体位置情報を注目対象特定部63に出力する。この移動物体位置情報には、部分領域b1の位置(各頂点の座標)を示す情報が含まれている。
ここでは、合成俯瞰映像B内に存在している移動物体を注目対象の移動物体Tbとして選択を受け付ける例を示しているが、出力用マンマシンインタフェース25に表示されているカメラ映像A〜Aを見ているユーザが、入力用マンマシンインタフェース24を操作することで、カメラ映像A〜Aのいずれかに存在している移動物体を指定すると、選択受付部62が、ユーザにより指定された移動物体を注目対象の移動物体Taとして選択を受け付けるようにしてもよい。
例えば、カメラ映像Aの部分領域a1に存在している移動物体が、注目対象の移動物体Taとして選択された場合、俯瞰映像合成部61から出力された部分領域位置情報を参照して、注目対象の移動物体Taが存在している部分領域a1を特定し、その部分領域a1を示す移動物体位置情報を注目対象特定部63に出力する。この移動物体位置情報には、部分領域a1の位置(各頂点の座標)を示す情報が含まれている。
注目対象特定部63は、選択受付部62から移動物体位置情報を受けると、その移動物体位置情報が示す部分領域b1が、注目対象の移動物体Tbが存在している部分領域であると判断し、俯瞰映像合成部61から出力された対応関係情報を参照して、注目対象の移動物体Tbが存在している合成俯瞰映像B内の部分領域b1に対応するカメラ映像A〜A内の部分領域を特定する。この例では、合成俯瞰映像B内の部分領域b1に対応している部分領域は、カメラ映像A内の部分領域a1であると特定されるものとする。
ここでは、注目対象の移動物体Tbが存在している合成俯瞰映像B内の部分領域b1に対応するカメラ映像A内の部分領域a1を特定しているが、部分領域b1には注目対象の移動物体Tbが存在し、部分領域a1には注目対象の移動物体Taが存在しているので、注目対象の移動物体Tbに対応する移動物体Taを特定していることに相当する。
また、ここでは、移動物体位置情報が合成俯瞰映像B内の部分領域b1を示している例を示しているが、例えば、移動物体位置情報がカメラ映像A内の部分領域a1を示している場合、その部分領域a1が、注目対象の移動物体Taが存在している部分領域であると判断し、俯瞰映像合成部61から出力された対応関係情報を参照して、注目対象の移動物体Taが存在している部分領域a1に対応する合成俯瞰映像B内の部分領域b1を特定する。
注目対象特定部63は、合成俯瞰映像B内の部分領域b1に対応するカメラ映像A内の部分領域a1を特定すると、カメラ映像A〜Aを映像表示部16−1〜16−Nに出力するとともに、注目対象の移動物体Taが存在しているカメラ映像A内の部分領域a1を示す移動物体位置情報を映像表示部16−1に出力する。
また、注目対象特定部63は、合成俯瞰映像Bを映像表示部17に出力するとともに、注目対象の移動物体Tbが存在している部分領域b1を示す移動物体位置情報を映像表示部17に出力する。
映像表示部16−1は、注目対象特定部63からカメラ映像A及び注目対象の移動物体Taが存在している部分領域a1を示す移動物体位置情報を受けると、カメラ映像Aを画面上に表示するとともに、その移動物体位置情報が示す部分領域a1を画面上で明示する。
映像表示部16−2〜16−Nは、注目対象特定部63からカメラ映像A〜Aを受けると、カメラ映像A〜Aを画面上に表示する。この例では、注目対象特定部63から移動物体位置情報を受けていないため、注目対象の移動物体Taが存在している部分領域を明示する処理を実施しないが、注目対象特定部63から移動物体位置情報を受けると、映像表示部16−1と同様に、注目対象の移動物体Taが存在している部分領域を明示する。
映像表示部17は、注目対象特定部63から合成俯瞰映像B及び注目対象の移動物体Tbが存在している部分領域b1を示す移動物体位置情報を受けると、合成俯瞰映像Bを画面上に表示するとともに、その移動物体位置情報が示す部分領域b1を画面上で明示する。
以上で明らかなように、この実施の形態3によれば、選択受付部62により選択が受け付けられた注目対象の移動物体Taがカメラ映像A〜A内に存在している移動物体であれば、合成俯瞰映像B内に存在している移動物体の中から、注目対象の移動物体Taに対応する移動物体Tbを特定し、選択受付部62により選択が受け付けられた注目対象の移動物体Tbが合成俯瞰映像B内に存在している移動物体であれば、カメラ映像A〜A内に存在している移動物体の中から、注目対象の移動物体Tbに対応する移動物体Taを特定する注目対象特定部63を設け、映像表示部16−1〜16−N,17が、カメラ映像A〜A,合成俯瞰映像Bを画面上に表示するとともに、カメラ映像A〜Aを構成している部分領域a1〜a100及び合成俯瞰映像Bを構成している部分領域b1〜b100のうち、注目対象の移動物体Ta,Tbが存在している部分領域a1,b1を明示するように構成したので、俯瞰カメラを設置することなく、注目対象の移動物体Ta,Tbの位置を検出することができる効果を奏する。
この実施の形態3では、カメラ映像A〜Aを表示する映像表示部16−1〜16−Nを備えているが、図12に示すように、注目対象特定部63から出力された移動物体位置情報を参照することで、カメラ映像A〜Aの中から、注目対象の移動物体Taが存在している部分領域a1を含んでいるカメラ映像A(例えば、カメラ映像A)を選択して、そのカメラ映像Aを映像表示部16に出力する映像選択部64を設けて、映像表示部の台数を減らすようにしてもよい。
映像選択部64は、例えば、例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどからなる映像選択処理回路で実現される。
実施の形態4.
上記実施の形態3における図12のモニタリング装置では、カメラ映像A〜Aの中から、映像選択部64により選択されたカメラ映像A(例えば、カメラ映像A)を表示する映像表示部16と、合成俯瞰映像Bを表示する映像表示部17とを備えるものを示したが、映像選択部64により選択されたカメラ映像Aと合成俯瞰映像Bを合成し、その合成した映像を表示するようにしてもよい。
図13はこの発明の実施の形態4によるモニタリング装置を示す構成図であり、図13において、図12と同一符号は同一または相当部分を示している。
映像合成部41は、映像選択部64により選択されたカメラ映像A(例えば、カメラ映像A)と合成俯瞰映像Bを合成する。
映像合成部41によるカメラ映像A(例えば、カメラ映像A)と合成俯瞰映像Bの合成方法は、上記実施の形態2と同様であり、例えば、図9のように合成される。
映像表示部42は、映像合成部41から合成映像を受けると、その合成映像を画面上に表示する。
また、映像表示部42は、映像選択部64により選択されたカメラ映像Aを構成している複数の部分領域及び合成俯瞰映像Bを構成している複数の部分領域のうち、注目対象の移動物体Ta,Tbが存在している部分領域を明示する。
この実施の形態4によれば、上記実施の形態3と同様に、俯瞰カメラを設置することなく、注目対象の移動物体Ta,Tbの位置を検出することができるほか、映像表示部の台数が1台で済むため、コストの低減を図ることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係るモニタリング装置は、監視領域内を移動する物体を表示するものに適している。
1,1−1〜1−N カメラ、2 モニタリング装置、11,11−1〜11−N 映像情報収集部、12,12−1〜12−N 映像コピー部、13,13−1〜13−N 俯瞰映像生成部、14 選択受付部、15 注目対象特定部、16,17 映像表示部、21 インタフェース機器、22 映像コピー処理回路、23 映像生成処理回路、24 入力用マンマシンインタフェース、25 出力用マンマシンインタフェース、26 注目対象特定処理回路、27,28 表示装置、31 メモリ、32 プロセッサ、41 映像合成部、42 映像表示部、51 映像合成処理回路、52 表示装置、61 俯瞰映像合成部、62 選択受付部、63 注目対象特定部、64 映像選択部、71 映像合成処理回路。

Claims (4)

  1. カメラにより撮影された監視領域の映像であるカメラ映像を変形して俯瞰映像を生成する俯瞰映像生成部と、
    前記カメラ映像又は前記俯瞰映像内に存在している移動物体の中から、注目対象の移動物体の選択を受け付ける選択受付部と、
    前記選択受付部により選択が受け付けられた注目対象の移動物体が前記カメラ映像内に存在している移動物体であれば、前記俯瞰映像内に存在している移動物体の中から、前記注目対象の移動物体に対応する移動物体を特定し、前記選択受付部により選択が受け付けられた注目対象の移動物体が前記俯瞰映像内に存在している移動物体であれば、前記カメラ映像内に存在している移動物体の中から、前記注目対象の移動物体に対応する移動物体を特定する注目対象特定部と、
    前記カメラ映像及び前記俯瞰映像を表示し、前記カメラ映像を構成している複数の部分領域及び前記俯瞰映像を構成している複数の部分領域のうち、前記選択受付部により選択が受け付けられた注目対象の移動物体が存在している部分領域及び前記注目対象特定部により特定された移動物体が存在している部分領域を明示する映像表示部と
    を備えたモニタリング装置。
  2. 前記映像表示部は、前記カメラ映像と前記俯瞰映像を合成して、その合成した映像を表示することを特徴とする請求項1記載のモニタリング装置。
  3. 複数のカメラにより撮影された監視領域の一部の映像である複数のカメラ映像を変形して、複数の俯瞰映像を生成する俯瞰映像生成部と、
    前記俯瞰映像生成部により生成された複数の俯瞰映像を合成し、合成後の俯瞰映像である合成俯瞰映像を出力する俯瞰映像合成部と、
    前記複数のカメラ映像又は前記合成俯瞰映像内に存在している移動物体の中から、注目対象の移動物体の選択を受け付ける選択受付部と、
    前記選択受付部により選択が受け付けられた注目対象の移動物体が、前記複数のカメラ映像の中のいずれか1つのカメラ映像内に存在している移動物体であれば、前記合成俯瞰映像内に存在している移動物体の中から、前記注目対象の移動物体に対応する移動物体を特定し、前記選択受付部により選択が受け付けられた注目対象の移動物体が前記合成俯瞰映像内に存在している移動物体であれば、前記複数のカメラ映像内に存在している移動物体の中から、前記注目対象の移動物体に対応する移動物体を特定する注目対象特定部と、
    前記複数のカメラ映像及び前記合成俯瞰映像を表示し、前記複数のカメラ映像を構成している複数の部分領域及び前記合成俯瞰映像を構成している複数の部分領域のうち、前記選択受付部により選択が受け付けられた注目対象の移動物体が存在している部分領域及び前記注目対象特定部により特定された移動物体が存在している部分領域を明示する映像表示部と
    を備えたモニタリング装置。
  4. 前記映像表示部は、前記複数のカメラ映像と前記合成俯瞰映像を合成して、その合成した映像を表示することを特徴とする請求項3記載のモニタリング装置。
JP2017524549A 2015-06-26 2015-06-26 モニタリング装置 Active JP6395933B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/068524 WO2016208066A1 (ja) 2015-06-26 2015-06-26 モニタリング装置

Publications (2)

Publication Number Publication Date
JPWO2016208066A1 JPWO2016208066A1 (ja) 2017-08-31
JP6395933B2 true JP6395933B2 (ja) 2018-09-26

Family

ID=57585144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524549A Active JP6395933B2 (ja) 2015-06-26 2015-06-26 モニタリング装置

Country Status (3)

Country Link
JP (1) JP6395933B2 (ja)
CN (1) CN107710752B (ja)
WO (1) WO2016208066A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319218A (ja) * 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
JP5101429B2 (ja) * 2008-08-11 2012-12-19 セコム株式会社 画像監視装置
JP2011077982A (ja) * 2009-10-01 2011-04-14 Panasonic Corp 監視カメラシステム
JP5891061B2 (ja) * 2012-02-15 2016-03-22 株式会社日立製作所 映像監視装置、監視システム、監視システム構築方法

Also Published As

Publication number Publication date
JPWO2016208066A1 (ja) 2017-08-31
WO2016208066A1 (ja) 2016-12-29
CN107710752A (zh) 2018-02-16
CN107710752B (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
JP6659187B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
CN104641633B (zh) 用于组合来自多个深度相机的数据的系统和方法
CN102724398B (zh) 图像数据提供方法、组合方法及呈现方法
JP5886242B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
JP6882868B2 (ja) 画像処理装置、画像処理方法、システム
TWI277912B (en) Method for calculating a transform coordinate on a second video of an object having an object coordinate on a first video and related operation process and video surveillance system
JP6622650B2 (ja) 情報処理装置及びその制御方法、撮影システム
JP2006189712A (ja) 情報提示装置、情報提示方法及びプログラム
KR102382247B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
US20190138803A1 (en) Image processing apparatus, image processing system, and image processing method, and program
JP2006092450A (ja) 画像処置装置および画像処理方法
TWI615808B (zh) 全景即時影像處理方法
JP2019049824A (ja) 画像処理装置、プログラムおよび方法
JP6395933B2 (ja) モニタリング装置
JPWO2018087856A1 (ja) 映像合成装置及び映像合成方法
US20210056723A1 (en) Image processing device, image processing method, and monitoring system
US20240015274A1 (en) Image processing apparatus, image processing method, and program
WO2017134786A1 (ja) 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム
WO2022239291A1 (ja) 物体検知装置及び方法
JP5202463B2 (ja) 監視映像表示システム
JP5397245B2 (ja) 情報処理装置および情報処理方法
JP2024038563A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6089549B2 (ja) 情報処理装置、情報処理システム、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180828

R150 Certificate of patent or registration of utility model

Ref document number: 6395933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250