JP5978996B2 - 物体領域抽出装置、方法、及び、プログラム - Google Patents
物体領域抽出装置、方法、及び、プログラム Download PDFInfo
- Publication number
- JP5978996B2 JP5978996B2 JP2012521512A JP2012521512A JP5978996B2 JP 5978996 B2 JP5978996 B2 JP 5978996B2 JP 2012521512 A JP2012521512 A JP 2012521512A JP 2012521512 A JP2012521512 A JP 2012521512A JP 5978996 B2 JP5978996 B2 JP 5978996B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation amount
- object region
- dimensional space
- likelihood
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
特許文献1に記載された画像処理装置は、実空間を撮影して得られた第1〜第N(Nは2以上の整数)の画像から各画像における3次元空間上の物体を示す第1〜第Nの領域を抽出する領域抽出部と、上記第1〜第Nの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第1〜第Nの座標変換情報を用いて、上記領域抽出部で抽出された上記第1〜第Nの領域を、それぞれ上記平面座標系の領域に変換する座標変換部と、上記座標変換部で得られた上記平面座標系の複数の領域の重なりを検出する重なり検出部と、上記重なり検出部の検出結果に基づいて、上記実空間内の指定された平面における3次元空間上の物体領域の存在を判定する判定部と、を備える。
その理由は、上述の技術が、各カメラで抽出された動体領域の逆投影に対して、全ての逆投影が重なる領域(AND領域)を3次元空間上の物体領域とする、強い拘束条件で抽出を行っている為である。
そこで、全カメラ内の多数のカメラ(ここでは2つ以上のカメラとする)から逆投影が得られる3次元空間を、3次元空間上の物体領域として抽出するようにこの拘束条件が変更されたとする。この場合、図2に示すように物体領域の未抽出は解消できるように見える。しかし、全てのカメラで動体領域が正常に抽出される状態において、物体に対して2つのカメラが対向・平行である位置(図3参照)に物体が移動すると、物体とカメラの相対的な位置関係によって、図4のように物体領域を含む誤領域が抽出されてしまう。そのため、物体領域抽出装置は、正しく物体位置を推定できない。つまり、拘束条件を緩めただけでは問題は解決しない。
このため、本発明の目的は、カメラ画像からの動体領域(物体領域)の抽出ミスで起こる3次元空間上の物体領域の未抽出を改善すると同時に、3次元空間上の物体領域の誤抽出を低減することができる物体領域抽出装置、方法、及び、プログラムを提供することにある。
また、本発明によれば、3次元空間上の位置で交差する、m個(mは複数)の画像取得手段の各々が撮像した物体の1点を含む画像の各々から得られる、前記1点の逆投影のうちの2つの逆投影がなす角度が直角に近づくと大きくなる(小さくなる)評価量を求める有効性評価量取得ステップと、前記評価量が所定値以上(以下)である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定ステップとをコンピュータに実行させる物体領域抽出プログラムが提供される。
また、本発明によれば、3次元空間上の位置で交差する、m個(mは複数)の画像取得手段の各々が撮像した物体の1点を含む画像の各々から得られる、前記1点の逆投影のうちの2つの逆投影がなす角度が直角に近づくと大きくなる(小さくなる)評価量を求める有効性評価量取得ステップと、前記評価量が所定値以上(以下)である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定ステップと、を有する物体領域抽出方法が提供される。
なお、各実施形態の装置を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
制御部はCPU(Central Processing Unit)などからなり、オペレーティングシステムを動作させて装置全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。
<第1の実施形態>
本発明の第1の実施の形態にかかる物体領域抽出装置500の構成について図5を用いて説明する。本発明の第1の実施形態にかかる物体領域抽出装置500は、3次元物体領域抽出部43を備える。3次元物体領域抽出部43は、プログラム制御により動作するデータ処理装置4に含まれても良い。さらに、物体領域抽出装置500は、カメラ等の動画像から画像を取得する第1の画像取得部1〜第nの画像取得部3の計n個の取得部と、情報を記憶する記憶装置5と、を備えても良い。
記憶装置5は、カメラパラメータ記憶部51を備える。カメラパラメータ記憶部51は、各画像取得部に対応するカメラパラメータ(画像取得部から取得される画像の2次元座標と3次元空間の3次元座標の変換を行うパラメータ(カメラの内部/外部パラメータ、歪み係数等)、画像取得部の3次元位置、画像取得部の向き等)を記憶している。カメラパラメータは、2次元座標と3次元座標とを対応づけることにより求められる。2次元座標と3次元座標は、画像取得部に対応したカメラパラメータを用いることで相互に変換可能である。
データ処理装置4は、2次元物体領域抽出部41と、逆投影部42と、3次元物体領域抽出部43と、を備える。
2次元物体領域抽出部41は、第1の画像取得部1〜第nの画像取得部3において同期された画像を取得し、各画像に対して背景差分法や、フレーム間差分法や、事後確率を用いた物体検出法などの画像処理を施して物体領域を示す物体領域画像を抽出する。物体領域画像とは、画像上の物体に対応する領域とそれ以外とを異なる値でラベル付けした画像であり、例えば、物体領域の画素を1、それ以外を0とするような2値画像である。
逆投影部42は、カメラパラメータ記憶部51に記憶されるカメラパラメータを用いて、2次元物体領域抽出部41から抽出された物体領域画像を3次元空間上に逆投影する。この処理は、各画像取得部に対応する物体領域画像全てに行う。
3次元物体領域抽出部43は、逆投影部42によって得られた逆投影と、カメラパラメータ記憶部51に記憶されたカメラパラメータとを用いて、3次元空間上の物体領域を抽出する。
図6を参照すると、3次元物体領域抽出部43は有効性評価量取得部432と、物体領域判定部433と物体尤度取得部431とを備える。
物体尤度取得部431は、逆投影部42によって得られた各画像取得部に対応する物体領域の逆投影を用いて、3次元空間に対する物体尤度を取得する。物体尤度とは、3次元空間内で物体が存在している度合の高さを表す指標である。この値は、基本的に、3次元空間において多数のカメラから逆投影が得られる場合に高くなる。物体尤度取得部431は、例えば、図7に示すように、対象の3次元空間において、視界が得られるカメラの数M(x,y,z)に対する実際に逆投影が得られるカメラの数L(x,y,z)の割合である。よって、物体尤度取得部431は、式(1)のように物体尤度r1(x,y,z)を算出して取得する。
ここで、x、y、zは3次元空間上の位置を示し、M(x,y,z)、L(x,y,z)は、M(x,y,z)≦n、L(x,y,z)≦M(x,y,z)という条件をもつ。
得られた物体尤度r1(x,y,z)は、式(1)のように、例えば0から1までの値をとる。この場合、物体尤度r1(x,y,z)は、x、y、zの3次元空間において、物体らしさが高い場合大きく(1に近づく)、低い場合小さく(0に近づく)なる。但し、物体尤度r1(x,y,z)は0から1の値に限らなくてもよく、物体らしさを反映した値であればよい。以後の説明では、便宜上、物体尤度r1(x,y,z)を0≦r1(x,y,z)≦1とする。図8には、図7とは異なる3次元空間においての物体尤度の取得例を示す。
また、上記では、物体尤度r1(x,y,z)の算出例として式(1)を用いたが、物体尤度r1(x,y,z)は式(1−1)のように一般化してもよい。
ここで、f3(x)は、f3(x1)<f3(x2)(x1<x2)という単調増加の関数である。
さらに、物体尤度を表す、逆投影が得られるカメラの多さとは、視界が得られるカメラの数M(x,y,z)と、逆投影が得られるカメラの数L(x,y,z)が等しくなることと同じである。したがって、物体尤度r1(x,y,z)は式(1−2)のように算出してもよい。
ここで、αは係数であり、0以上1以下の値とする。
有効性評価量取得部432は、逆投影部42によって得られた各画像取得部に対応する物体領域の逆投影と、カメラパラメータ記憶部51に記憶されているカメラパラメータとを用い、3次元空間に対する各画像取得部からの物体領域の逆投影に対してその有効性を評価し、その評価量を取得する。ここで、逆投影の有効性とは、3次元空間に対して得られた画像取得部からの物体領域の逆投影が、物体位置を特定できる物体領域の抽出にどのくらい有効であるかを示すものである。具体的には、逆投影同士のなす角度である。逆投影同士のなす角度が直交(90度)に近い場合、対象の3次元空間は異なる角度から物体であると判断されると同時に、この3次元空間は物体位置を一意に決定しやすい領域である。これにより、得られた逆投影は物体位置を特定できる物体領域の抽出に有効であり、逆投影の有効性が高い(評価量が高い)と判断できるのである。有効性評価量の取得の方法は次のようになる。有効性評価量取得部432は、図9に示すように、対象の3次元空間において、得られた逆投影に関する全てのペアを抽出する。そして、有効性評価量取得部432は、その逆投影ペアの角度θc1,c2(x,y,z)(2台のカメラ位置と対象の3次元空間の位置とで構成される角度)を求める。そして、有効性評価量取得部432は、例えば式(2)を用いて逆投影の有効性を示す評価量r2(x,y,z)を算出する。式(2)は、全ての逆投影ペアに関して最も直交する角度が選択され評価量として算出される式である。
ここで、x、y、zは3次元空間上の位置を示す。c1、c2はカメラ番号に対応する逆投影のペアを示し、c1=c2は省かれる。Sは得られた逆投影に関する全ての逆投影ペアの集合である。また、θc1,c2(x,y,z)は、カメラ番号c1に対応する逆投影とカメラ番号c2に対応する逆投影の3次元空間の位置x、y、zに対応する角度(カメラ番号c1のカメラ位置とカメラ番号c2のカメラ位置と3次元空間の位置x,y,zとで構成される角度)である。
上記では、逆投影の有効性を示す評価量r2(x,y,z)の算出例として、式(2)を用いたが、評価量r2(x,y,z)は式(2−1)のように算出してもよい。
さらに、逆投影の有効性を示す評価量r2(x,y,z)は、逆投影同士のなす角度の直交性の高さを示せればよいので、角度が直交に近くなるほど高い値を示す関数で全ての逆投影ペアの角度を評価して、その中で最も高い値を評価量r2(x,y,z)として算出してもよい。角度の直交性とは、なす角度が直交、つまり、90度に近いという度合の高さを表す指標である。
得られた評価量r2(x,y,z)は、逆投影同士のなす角度が直交に近く、異なる角度から物体として判断され物体位置を一意に決定しやすい場合に逆投影の有効性が高いとして大きくなり、その逆の場合には小さくなる。上述の評価量r2(x,y,z)の場合、その値は0から1までの値を示すが、評価量を求める式は上記に限定されない。
図10には、図9と異なる3次元空間の例を示す。図10に示される3次元空間は、逆投影同士のなす角度が直交から大きく外れ、異なる角度から物体と判断されず、また、物体位置を一意に決定しにくい。そのため、図10に示される3次元空間は逆投影の有効性が低い空間である。
物体領域判定部433は、有効性評価量取得部432で得られた逆投影の有効性を示す評価量r2(x,y,z)を用いて3次元空間(x,y,z)が物体領域であるかを判定し、3次元空間上の物体領域を抽出する。あるいは、物体領域判定部433は、物体尤度取得部431で得られた物体尤度r1(x,y,z)と有効性評価量取得部432で得られた逆投影の有効性を示す評価量r2(x,y,z)とを用いて、3次元空間(x,y,z)が物体領域であるかを判定し、3次元空間上の物体領域を抽出する。以下では、物体尤度r1と評価量r2の両方を用いて物体領域判定部433が3次元空間上の物体領域を抽出する方法について例を挙げて説明する。
物体領域判定部433が物体領域を抽出する方法には様々な方法がある。例えば、物体領域判定部433は、対象の3次元空間(x、y、z)において、評価量r2がある閾値以上の場合にその3次元空間を物体領域として抽出することができる。また、物体領域判定部433は、対象の3次元空間(x、y、z)において、物体尤度r1がある閾値以上で、且つ、評価量r2がある閾値以上の場合にその3次元空間を物体領域として抽出することができる。また、物体領域判定部433は、対象の3次元空間(x、y、z)において、物体尤度r1と評価量r2とから下記の式(3)を用いて物体/非物体の事後確率P(ω|r1、r2)を算出し、物体/非物体の事後確率を比較するというベイズ決定則を用いて対象の3次元空間(x,y,z)を物体領域として抽出することができる。
ここで、ωは物体(=1)か非物体(=0)かのカテゴリを示す値である。p(r1|ω)、p(r2|ω)は確率密度関数である。P(ω)は事前確率である。p(r1|ω)、p(r2|ω)は学習で求めてもよいし、知識を用いてシグモイド関数等で近似してもよい。また、事前確率P(ω)は、物体、非物体のカテゴリによらず全て等しい(例えば0.5)としてもよいし、3次元空間の位置毎に予め事前知識による値としてもよい。例えば、物体を人物とした場合、天井近くや障害物等の空間に人物が存在する可能性は低いので、そのような3次元空間の位置における物体である事前確率P(ω=1)は低い値に設定されても良い。
この他、物体領域判定部433は、対象の3次元空間(x、y、z)において、物体尤度r1と評価量r2とから下記の式(4)を用いてψという値を求め、このψという値がある閾値以上の場合にその3次元空間を物体領域として抽出することもできる。
ここで、f1(x)、f2(x)はシグモイド関数等(単調増加関数)を用いた重みである。
この他、物体領域判定部433は、物体尤度r1と評価量r2とを入力として物体(ω=1)、非物体(ω=0)のカテゴリを出力する識別器を事前に学習し、その識別器に物体尤度r1と評価量r2とを入力して出力値を求め、その出力値がある閾値以上の場合、対象の3次元空間(x,y,z)を物体領域として抽出する方法を用いてもよい。その場合、学習方法は、ニューラルネットワーク(NN)、サポートベクターマシン(SVM)、一般学習ベクトル量子化(GLVQ)等を利用することが可能である。また、その学習は、空間全体で行ってもよいし、3次元空間の位置毎に行ってもよい。
上記では、物体領域判定部433は、式(3)、式(4)の値又は前記識別器の出力値から3次元空間上の物体領域を判定し抽出したが、物体尤度r1、評価量r2をそのまま3次元空間に対する結果として出力し、物体位置の推定に役立ててもよい。
また、上記では、物体領域判定部433は、3次元空間の位置毎に、その位置の物体尤度r1、評価量r2を取得し物体領域を抽出したが、3次元空間の位置に対する近傍の物体尤度r1、評価量r2を取得し上記方法を拡張して物体領域を抽出してもよい。
また、有効性評価量取得部432は、例えば、逆投影同士のなす角度が90度に近づくほど単調に非減少する関数を用いて評価量r2を算出してもよい。また、有効性評価量取得部432は、逆投影同士のなす角度が90度に近づくほど減少(あるいは非増加)するような値を評価量r2としてもよい。そして、その場合には、物体領域判定部433は、その評価量が所定値以下の場合に物体が占める領域と判定してもよい。
次に、図11、図12、図13及び図14を参照して本発明の第1の実施形態にかかる物体領域抽出装置500の動作について詳細に説明する。
第1の画像取得部1〜第nの画像取得部3は、カメラ等の動画像から画像を取得する。n個の画像取得部から2次元物体領域抽出部41は同期された画像を取得し(図11のステップS1)、各画像に対して背景差分法等の画像処理を施して物体領域を示す物体領域画像を抽出する(図11のステップS2)。
逆投影部42は、カメラパラメータ記憶部51に記憶されるカメラパラメータを用いて、2次元物体領域抽出部41から抽出された各画像取得部に対応する物体領域画像を3次元空間上に逆投影する(図11のステップS3)。3次元物体領域抽出部43は、逆投影部42によって得られた各画像取得部に対応する物体領域の逆投影と、カメラパラメータ記憶部51に記憶されたカメラパラメータとを用いて、3次元空間上の物体領域を抽出する(図11のステップS4)。
図12、図13及び図14を用いて図11のステップS4をさらに詳細に説明する。物体尤度取得部431は、対象の3次元空間(x,y,z)に対して視界が得られるカメラの数M(x,y,z)を取得する(図12のステップS401)。M(x,y,z)は、カメラの位置・向きや障害物の位置・形状が決まれば3次元空間に対して固定される値なので、所定の3次元空間全てにおいて予め求めておいてもよい。ここで、所定の3次元空間とは、ユーザが物体の存在を調べたい空間であり、予め空間の範囲を定めておいても良いし、パラメータ等を用いてユーザが設定しても良い。また、逆投影(視体積)がなす領域のOR空間であってもよい。例えば、所定の3次元空間は、部屋全体の空間、廊下全体の空間、その他任意の空間であってよい。次に、物体尤度取得部431は、得られた各画像取得部に対応する物体領域の逆投影から、対象の3次元空間(x,y,z)に対して逆投影が得られるカメラの数L(x,y,z)を取得する(図12のステップS402)。そして、物体尤度取得部431は、視界が得られるカメラの数M(x,y,z)に対する逆投影が得られるカメラの数L(x,y,z)の割合を式(1)によって算出し、その割合を物体尤度r1(x,y,z)として取得する(図12のステップS403)。この他、物体尤度取得部431は、式(1−1)、式(1−2)等を用いて物体尤度r1(x,y,z)を算出、取得してもよい。ステップS403の処理が終わったら、物体領域抽出装置500は、ステップS401〜S403までの処理を所定の3次元空間全てについて行ったかを確認し(図12のステップS404)、所定の3次元空間全てについて処理が完了するまでステップS401〜S403までの処理を繰り返す(図12のステップS404−No)。
所定の3次元空間全てについて処理が完了した場合(図12のステップS404−Yes)について、図13を用いて説明する。有効性評価量取得部432は、対象の3次元空間に対して、得られた各画像取得部に対応する物体領域の逆投影から、逆投影に関する全てのペアを抽出し、各逆投影ペアに関する角度θc1,c2を2台のカメラ位置(カメラパラメータから取得)と対象の3次元空間の位置とから取得する(図13のステップS405)。さらに、有効性評価量取得部432は、対象の3次元空間に対する全ての逆投影ペアの角度θc1,c2を用いて式(2)から逆投影の有効性を示す評価量r2を算出し取得する(図13のステップS406)。この他、有効性評価量取得部432は、式(2−1)等を用いて評価量r2を算出し取得する方法や、角度が直交に近くなるほど高い値を示す関数で全ての逆投影ペアの角度を評価して、その中で最も高い値を評価量r2として算出し取得する方法を用いてもよい。ステップS406の処理が終わったら、物体領域抽出装置500は、ステップS405〜S406までの処理を所定の3次元空間全てについて行ったかを確認し(図13のステップS407)、所定の3次元空間全てについて処理が完了するまでステップS405〜S406までの処理を繰り返す(図13のステップS407−No)。
所定の3次元空間全てについて処理が完了した場合(図13のステップS407−Yes)について、図14を用いて説明する。物体領域評価部433は、物体尤度取得部431で得られた物体尤度r1(x,y,z)と、有効性評価量取得部432で得られた逆投影の有効性を示す評価量r2(x,y,z)とを用いて、対象の3次元空間(x,y,z)が物体領域であるかを判定し、3次元空間上の物体領域として抽出する(図14のステップS408)。例えば、物体領域評価部433は、物体尤度r1がある閾値以上で、且つ、評価量r2がある閾値以上の場合、対象の3次元空間(x,y,z)を物体領域として判定、抽出しても良い。また、物体領域評価部433は、物体尤度r1と評価量r2とから式(3)を用いて物体/非物体の事後確率P(ω|r1、r2)を算出し、物体/非物体の事後確率を比較すること(ベイズ決定則)で対象の3次元空間(x,y,z)を物体領域として判定、抽出しても良い。また、物体領域評価部433は、物体尤度r1と評価量r2とから式(4)を用いてψを求め、このψがある閾値以上の場合、対象の3次元空間(x,y,z)を物体領域として判定、抽出しても良い。また、物体領域評価部433は、物体尤度r1と評価量r2とを入力として物体(ω=1)、非物体(ω=0)のカテゴリを出力する識別器を事前に学習し、その識別器に物体尤度r1と評価量r2を入力して出力値を求め、その出力値がある閾値以上の場合、対象の3次元空間(x,y,z)を物体領域として判定、抽出しても良い。ステップS408の処理が終わったら、物体領域抽出装置500は、ステップS408の処理を所定の3次元空間全てについて行ったかを確認し(図14のステップS409)、所定の3次元空間全てについて処理が完了するまでステップS408の処理を繰り返す(図14のステップS409−No)。所定の3次元空間全てについて処理が完了した場合(図14のステップS409−Yes)、物体領域抽出装置500は、ステップS4の処理を終了する。
物体領域抽出装置500は、ステップS4の処理終了後、ステップS1に戻り、同期された画像を取得できるまで待機状態となる。
また、図12、図13、図14に示すステップS4の処理に関して、物体尤度r1の取得、評価量r2の取得、物体領域であるかの判定、の各処理は、3次元空間の位置毎で独立であるため、順番を適宜入れ替えても良い。例えば、図12に示された物体尤度r1を取得するステップ(ステップS401〜ステップS404まで)と、図13に示された評価量r2を取得するステップ(ステップS405〜ステップS407まで)はどちらを先に行なっても構わない。また、ステップS404、ステップS407は省いてS409−Noの行き先をステップS401の前に変更することも可能である。
次に、本発明の第1の実施の形態の効果について説明する。本発明の第1の実施形態にかかる物体領域抽出装置500は、複数のカメラ画像から抽出された物体領域画像の逆投影による3次元空間上の物体領域抽出を行なう際、3次元空間における逆投影同士のなす角度からその直交性を算出する。そして、物体領域抽出装置500は、対象の3次元空間が異なる角度から物体として判断されていることや、物体位置を一意に決定しやすい物体領域であること、という逆投影の有効性(物体領域の逆投影が物体位置を特定できる物体領域の抽出にどのくらい有効であるか)を評価して3次元空間上の物体領域を抽出する。そのため、物体領域抽出装置500は、3次元空間上の誤領域の抽出を低減することができる。また、物体領域抽出装置500は、物体に対して2つのカメラが対向・平行である位置に物体が移動することで(物体とカメラの相対的な位置関係で)誤って抽出されてしまう3次元空間上の誤領域を低減することができる。
また、物体領域抽出装置500は、有効性の評価に加えて、物体尤度をあわせて用いることにより、逆投影の欠落に対してロバストに3次元空間上の物体領域を抽出することができる。すなわち、物体領域抽出装置500は、複数のカメラ画像から抽出された物体領域画像の逆投影による3次元空間上の物体領域抽出を行なう際、全ての逆投影が重なる領域(AND領域)を3次元空間上の物体領域とする強い拘束条件では物体領域抽出を行なわない。その代わり、物体領域抽出装置500は、視界が得られるカメラの数M(x,y,z)に対する実際に逆投影が得られるカメラの数L(x,y,z)の割合という逆投影の欠落にロバストな、逆投影が得られるカメラの多さを評価して3次元空間上の物体領域を抽出する。そのため、カメラ画像からの物体領域の抽出ミスで起こる3次元空間上の物体領域の未抽出を改善でき、逆投影の欠落に対してロバスト性を高めることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について図面を参照して詳細に説明する。
図15を参照すると、本発明の第2の実施形態にかかる物体領域抽出装置500は、図6に示された第1の実施形態における3次元物体領域抽出部43に物体候補領域判定部434を加え、各部のつなぎを変更した構成である。また、有効性評価量取得部432、物体領域判定部433の内容について以下で示すように一部変更している。本実施形態における物体候補領域判定部434、有効性評価量取得部432、物体領域判定部433の内容は以下の通りである。
物体候補領域判定部434は、物体尤度取得部431で得られた物体尤度r1(x,y,z)を用いて、3次元空間(x,y,z)が物体候補領域であるかを判定し、3次元空間上の物体候補領域を抽出する。この判定方法は、例えば、物体尤度r1がある閾値以上の場合、物体候補領域として抽出するという方法である。この処理により、物体領域判定部433が抽出すべき物体領域を絞り込むことができる。
有効性評価量取得部432、物体領域判定部433が行なう処理は、所定の3次元空間全体に対して行うのではなく、物体候補領域判定部434によって抽出された3次元空間上の物体候補領域という絞り込んだ領域に対して行う。この点が第一の実施の形態との相違点である。
次に、図11、図16、図17を参照して本発明の第2の実施形態の動作について詳細に説明する。
本発明の第2の実施形態にかかる物体領域抽出装置500の動作は、図12に示された本発明の第1の実施形態にかかる物体領域抽出装置500の動作からステップS404の動作を省き、図16に示すステップS450とステップS451の動作を追加するものである。また、本発明の第2の実施形態にかかる物体領域抽出装置500の動作は、図13、図14に示された本発明の第1の実施形態にかかる物体領域抽出装置500の動作からステップS407とステップS409の動作を省き、図17に示すステップS452の動作を追加するものである。他のステップは、第1の実施形態にかかる物体領域抽出装置500の動作と同一の為、説明は省略する。
まず、図16に示すステップS450の動作とステップS451の動作は、次のとおりである。物体候補領域判定部434は、物体尤度取得部431で得られた物体尤度r1(x,y,z)を用いて、対象の3次元空間(x,y,z)が物体候補領域であるかを判定する。物体候補領域判定部434は、物体尤度r1(x,y,z)がある閾値以上の3次元空間(x,y,z)を3次元空間上の物体候補領域として抽出する(図16のステップS450)。ステップS450の処理が終わったら、物体領域抽出装置500は、ステップS401、S402、S403、S450までの処理を所定の3次元空間全てについて行ったかを確認し(図16のステップS451)、所定の3次元空間全てについて処理が完了するまでステップS401、S402、S403、S450までの処理を繰り返す(図16のステップS451−No)。所定の3次元空間全てについて処理が完了した場合(図16のステップS451−Yes)、物体領域抽出装置500は、図17のステップS405、S406、S408の処理を行なう。これらの動作については第1の実施形態と同様であるから説明を省略する。
次に、図17に示すステップS452の動作は、次の通りである。ステップS408の処理が終わったら、物体領域抽出装置500は、物体候補領域判定部434から抽出された物体候補領域の3次元空間全てについてステップS405、S406、S408までの処理が完了するまでそれらの処理を繰り返す(図17のステップS452−No)。抽出された物体候補領域の3次元空間全てについて処理が完了した場合(ステップS452−Yes)、物体領域抽出装置500は、ステップS4の処理を終了する。
次に、本発明の第2の実施形態の効果について説明する。本実施の形態にかかる物体領域抽出装置500は、物体尤度r1(x,y,z)がある閾値以上の3次元空間(x,y,z)を3次元空間上の物体候補領域として抽出するという物体領域の絞り込みを行ってから、絞り込んだ物体候補領域に対して3次元空間上の物体領域を抽出する。そのため、物体領域抽出装置500は逆投影の有効性を示す評価量r2の計算量を削減することができ、3次元空間上の物体領域の抽出を高速に行なうことができる。
<第3の実施形態>
次に、本発明の第3の実施形態について図面を参照して詳細に説明する。
図18は本発明の第3の実施形態を説明する図である。図18を参照すると、本発明の第3の実施形態は、物体領域抽出用プログラム101を記憶するコンピュータ可読記憶媒体102がコンピュータ100に接続される。また、第1の実施形態と同様な第1の画像取得部1〜第nの画像取得部3、カメラパラメータ記憶部51を有する記憶装置5がコンピュータ100に接続される。
コンピュータ可読記憶媒体102は、磁気ディスクや半導体メモリ等で構成される。コンピュータ可読記憶媒体102に記憶された物体領域抽出用プログラム101は、コンピュータ100の立ち上げ時などにコンピュータ100に読み取られ、そのコンピュータ100の動作を制御する。これにより、物体領域抽出用プログラム101は、コンピュータ100を前述した第1の実施形態におけるデータ処理装置4内の各部41〜43、431〜433として機能させ、図11〜図14に示される処理を行わせる。
上述の説明では、第1の実施形態にかかる物体領域抽出装置500をコンピュータとプログラムとで実現したが、第2の実施形態にかかる物体領域抽出装置500をコンピュータとプログラムとで実現することも可能である。
また、例えば、物体領域判定部433が、物体尤度r1がある閾値以上で、且つ、評価量r2がある閾値以上の3次元空間(x,y,z)を物体領域として抽出する方法を選択した場合、有効性評価量取得部432は全ての逆投影ペアの角度を求める必要はない。すなわち、有効性評価量取得部432は、逐次逆投影ペアの角度を求め、式(2)から逆投影の有効性を示す評価量r2(x,y,z)を算出し、評価量r2(x,y,z)が上記に記述するある閾値以上ならば評価量r2(x,y,z)の算出を途中で中断して取得することもできる。これにより、有効性評価量取得部432は、評価量r2(x,y,z)の計算量が削減できるため、計算を高速に行なうことができる。また、有効性評価量取得手段432は、上記で示す物体領域判定手段433の方法以外でも、ある閾値を設定し、上記のような処理を行うことができる。
<第4の実施形態>
図19を参照すると、物体領域抽出装置500は有効性評価量取得部432と、物体領域判定部433とを備える。他の構成については第1の実施の形態と概略同様であるので説明を省略する。このような構成により、3次元空間上の位置で交差する、複数個の画像取得手段の各々が撮像した物体の1点を含む画像の各々から得られる、前記1点の逆投影のうちの2つの逆投影がなす角度が直角に近づくと大きくなる(小さくなる)評価量を求める有効性評価量取得手段と、前記評価量が所定値以上(以下)である場合、前記位置を前記物体が占める領域と判定して、前記判定結果を出力する物体領域判定手段と、を備える物体領域抽出装置が実現される。
本実施の形態にかかる物体領域抽出装置500によれば、カメラ画像からの物体領域の抽出ミスで起こる3次元空間上の物体領域の未抽出を改善すると同時に、3次元空間上の物体領域の誤抽出を低減することができる。
(実施形態の他の表現)
上記実施形態の一部または全部は、以下のようにも記載されうる(以下のように限定されるわけではない)。
(付記)
複数の画像取得手段からの物体領域の逆投影を用い、物体位置特定に対する逆投影の有効性を3次元空間上の位置に対する逆投影同士の角度の直交性で評価し、その直交性を評価量(指標)として取得する有効性評価量取得手段と、3次元空間上の位置に対して取得された指標を用いて物体領域を判定、抽出する物体領域判定手段と、を備えたことを特徴とする物体領域抽出装置。
前記に示す物体領域の逆投影を用い、物体位置推定対象となる3次元空間上の位置に対して逆投影が得られる画像取得手段の多さを物体尤度(指標)として取得する物体尤度取得手段を上記の装置に追加して備えたことを特徴とする物体領域抽出装置。
さらに前記物体尤度取得手段は、3次元空間上の位置に対して、視界が得られる画像取得手段の数に対する逆投影が得られる画像取得手段の数の割合を入力とした単調増加関数の出力値を物体尤度として取得することを特徴とする物体領域抽出装置。
前記物体尤度取得手段は、3次元空間上の位置に対して、逆投影が得られる画像取得手段の数が視界が得られる画像取得手段の数に近づき、等しくなるほど大きくなる関数の出力値を物体尤度として取得することを特徴とする上記記載の物体領域抽出装置。
前記有効性評価量取得手段は、3次元空間上の位置に対する画像取得手段から得られた逆投影を用い、2つの逆投影同士の組合せ全てを抽出して逆投影同士の角度(2つの画像取得手段の位置と3次元空間上の位置で構成される角度)を求め、角度が直交性を示すと大きくなる関数を用いて、全ての組合せにおける関数の出力値を求め、その最大の出力値を評価量として取得することを特徴とする上記記載の物体領域抽出装置。
前記有効性評価量取得手段は、3次元空間上の位置に対する画像取得手段から得られた逆投影を用い、2つの逆投影同士の組合せを逐次抽出して逆投影同士の角度(2つの画像取得手段の位置と3次元空間上の位置で構成される角度)を求め、角度が直交性を示すと大きくなる関数を用いて、ある閾値以上の関数の出力値を得られた場合、逐次処理をやめその出力値を評価量として取得することを特徴とする上記記載の物体領域抽出装置。
前記物体尤度取得手段において、ある閾値以上の物体尤度である3次元空間上の位置を抽出し、その位置のみに対して、前記有効性判定量取得手段と前記物体領域判定手段を行い、物体領域を抽出することを特徴とする上記に記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度がある閾値以上で、且つ、前記評価量がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度と前記評価量から物体/非物体の事後確率を算出し、その事後確率の比較にて物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、前記物体尤度と前記評価量に対して単調増加関数で重み付けを行ってそれらの最大値を取得し、その最大値がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
前記物体領域判定手段は、物体尤度と評価量を入力として物体(=1)/非物体(=0)のカテゴリを出力する識別器を用いて、識別器に前記物体尤度と前記評価量を入力することで得られた出力値がある閾値以上の場合、物体領域と判定、抽出することを特徴とする上記記載の物体領域抽出装置。
上記に対応する物体領域抽出プログラムおよび方法。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
本発明によれば、物体位置の特定に有効な物体領域を抽出できる物体領域抽出装置や、その物体領域抽出装置をコンピュータに実行させるプログラム、方法などの用途に適応できる。また、カメラ蓄積映像から物体領域抽出を必要とする監視分野での侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などの用途に適応できる。また、マーケティング分野での動線解析、行動解析などの用途に提供できる。さらに、カメラ蓄積映像からの物体領域・物体位置を入力とする入力インターフェースなどの用途に適用できる。この他、物体領域・物体位置をトリガ・キーとするビデオ・映像検索などの用途に適用できる。
発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、2010年6月23日に出願された日本出願特願2010−142205を基礎とする優先権を主張し、その開示の全てをここに取り込む。
2 第2の画像取得部
3 第nの画像取得部
4 データ処理装置
5 記憶装置
41 2次元物体領域抽出部
42 逆投影部
43 3次元物体領域抽出部
51 カメラパラメータ記憶部
100 コンピュータ
101 物体領域抽出用プログラム
102 コンピュータ可読記憶媒体
431 物体尤度取得部
432 有効性評価量取得部
433 物体領域判定部
434 物体候補領域判定部
500 物体領域抽出装置
Claims (6)
- 3次元空間上の位置で交差する、m個(mは複数)の画像取得手段の各々が撮像した物体の1点を含む画像の各々から得られる、前記1点の逆投影のうちの2つの逆投影がなす角度が直角に近づくと大きくなるまたは小さくなる評価量を求める有効性評価量取得手段と、
前記位置を撮像可能なn(前記m以上)個の画像取得手段から前記1点の逆投影が可能な画像を撮像した前記m個の画像取得手段を選択し、前記nに対して前記mの割合を物体尤度として求める物体尤度取得手段と、
前記角度が直角に近づくと大きくなる場合は前記評価量が所定値以上のとき、または、前記角度が直角に近づくと小さくなる場合は前記評価量が所定値以下のとき、前記位置を前記物体が占める領域と判定して、判定結果を出力する物体領域判定手段と、を備え
前記物体領域判定手段は、前記評価量及び前記物体尤度の各々、または、両者が所定値以上である場合に、前記位置を前記物体が占める領域と判定する、物体領域抽出装置。 - 前記有効性評価量取得手段は、前記m個の逆投影のうちの2つの逆投影がなす角度が最も直角に近い角度を用いて前記評価量を求める請求項1に記載の物体領域抽出装置。
- 前記有効性評価量取得手段は、前記位置の物体尤度が所定量以上である場合のみ前記位置の前記評価量を求める請求項1または2に記載の物体領域抽出装置。
- 前記位置の前記物体尤度、前記評価量、並びに、前記位置に対応して予め定められた前記位置に物体が存在する事前確率および前記位置に物体が存在しない事前確率から、前記位置に物体が存在する事後確率および当該位置に物体が存在しない事後確率を算出して、両事後確率の比較により、前記位置が前記物体が占める領域か否かを判定する請求項1乃至3のいずれかに記載の物体領域抽出装置。
- 3次元空間上の位置で交差する、m個(mは複数)の画像取得手段の各々が撮像した物体の1点を含む画像の各々から得られる、前記1点の逆投影のうちの2つの逆投影がなす角度が直角に近づくと大きくなるまたは小さくなる評価量を求める有効性評価量取得ステップと、
前記位置を撮像可能なn(前記m以上)個の画像取得手段から前記1点の逆投影が可能な画像を撮像した前記m個の画像取得手段を選択し、前記nに対して前記mの割合を物体尤度として求める物体尤度取得ステップと、
前記角度が直角に近づくと大きくなる場合は前記評価量が所定値以上のとき、または、前記角度が直角に近づくと小さくなる場合は前記評価量が所定値以下のとき、前記位置を前記物体が占める領域と判定して、判定結果を出力する物体領域判定ステップと、をコンピュータに実行させ、
前記物体領域判定ステップは、前記評価量及び前記物体尤度の各々、または、両者が所定値以上である場合に、前記位置を前記物体が占める領域と判定する物体領域抽出プログラム。 - 3次元空間上の位置で交差する、m個(mは複数)の画像取得手段の各々が撮像した物体の1点を含む画像の各々から得られる、前記1点の逆投影のうちの2つの逆投影がなす角度が直角に近づくと大きくなるまたは小さくなる評価量を求め、
前記位置を撮像可能なn(前記m以上)個の画像取得手段から前記1点の逆投影が可能な画像を撮像した前記m個の画像取得手段を選択し、前記nに対して前記mの割合を物体尤度として求め、
前記角度が直角に近づくと大きくなる場合は前記評価量が所定値以上のとき、または、前記角度が直角に近づくと小さくなる場合は前記評価量が所定値以下のとき、前記位置を前記物体が占める領域と判定し、更に、前記評価量及び前記物体尤度の各々、または、両者が所定値以上である場合に、前記位置を前記物体が占める領域と判定して、判定結果を出力する物体領域抽出方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010142205 | 2010-06-23 | ||
JP2010142205 | 2010-06-23 | ||
PCT/JP2011/064321 WO2011162309A1 (ja) | 2010-06-23 | 2011-06-16 | 物体領域抽出装置、方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011162309A1 JPWO2011162309A1 (ja) | 2013-08-22 |
JP5978996B2 true JP5978996B2 (ja) | 2016-08-24 |
Family
ID=45371485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012521512A Active JP5978996B2 (ja) | 2010-06-23 | 2011-06-16 | 物体領域抽出装置、方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9299000B2 (ja) |
JP (1) | JP5978996B2 (ja) |
WO (1) | WO2011162309A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103438800B (zh) * | 2013-08-29 | 2016-04-06 | 厦门大学 | 用于大口径光学元件精密检测平台的空间误差计算方法 |
JP6932487B2 (ja) * | 2016-07-29 | 2021-09-08 | キヤノン株式会社 | 移動体監視装置 |
JP7250493B2 (ja) * | 2018-12-03 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、三次元形状データの生成方法およびプログラム |
DE102020129792B4 (de) * | 2020-11-11 | 2023-03-09 | Volume Graphics Gmbh | Computerimplementiertes Verfahren zum Ermitteln eines Werts eines geometrischen Parameters |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046464A (ja) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 |
JP2008176504A (ja) * | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
JP2010086237A (ja) * | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 立体模型の作製装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58177295A (ja) * | 1982-04-07 | 1983-10-17 | 株式会社日立製作所 | ロボット制御装置 |
US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
US6404920B1 (en) * | 1996-09-09 | 2002-06-11 | Hsu Shin-Yi | System for generalizing objects and features in an image |
US6529630B1 (en) * | 1998-03-02 | 2003-03-04 | Fuji Photo Film Co., Ltd. | Method and device for extracting principal image subjects |
US7477768B2 (en) * | 1999-06-29 | 2009-01-13 | The Research Foundation Of State University Of New York | System and method for performing a three-dimensional virtual examination of objects, such as internal organs |
US8045770B2 (en) * | 2003-03-24 | 2011-10-25 | Cornell Research Foundation, Inc. | System and method for three-dimensional image rendering and analysis |
JP2008015573A (ja) | 2006-07-03 | 2008-01-24 | Sony Corp | 画像処理装置、画像処理方法および画像監視システム |
US8184888B2 (en) * | 2007-09-19 | 2012-05-22 | Siemens Medical Solutions Usa, Inc. | Method and system for polyp segmentation for 3D computed tomography colonography |
-
2011
- 2011-06-16 US US13/806,400 patent/US9299000B2/en active Active
- 2011-06-16 JP JP2012521512A patent/JP5978996B2/ja active Active
- 2011-06-16 WO PCT/JP2011/064321 patent/WO2011162309A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004046464A (ja) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 |
JP2008176504A (ja) * | 2007-01-17 | 2008-07-31 | Toshiba Corp | 物体検出装置及びその方法 |
JP2010086237A (ja) * | 2008-09-30 | 2010-04-15 | Casio Computer Co Ltd | 立体模型の作製装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2011162309A1 (ja) | 2011-12-29 |
US9299000B2 (en) | 2016-03-29 |
JPWO2011162309A1 (ja) | 2013-08-22 |
US20130100252A1 (en) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986161B (zh) | 一种三维空间坐标估计方法、装置、终端和存储介质 | |
CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
JP5454573B2 (ja) | 物体位置推定装置、物体位置推定方法及びプログラム | |
JP6355052B2 (ja) | 撮像装置、画像処理装置、撮像方法および記録媒体 | |
JP6598746B2 (ja) | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 | |
JP6618395B2 (ja) | 行動価値によって調査対象の位置を予測する装置、プログラム及び方法 | |
JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
CN111750864A (zh) | 一种基于视觉地图的重定位方法和装置 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
CN109033920B (zh) | 一种可抓取目标的识别方法、装置及计算机可读存储介质 | |
JP5674550B2 (ja) | 状態追跡装置、方法、及びプログラム | |
CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
JP5978996B2 (ja) | 物体領域抽出装置、方法、及び、プログラム | |
CN106504265B (zh) | 运动估计优化方法、设备和系统 | |
Spera et al. | Egocentric shopping cart localization | |
CN111914756A (zh) | 一种视频数据处理方法和装置 | |
CN113348465A (zh) | 图像中对象的关联性预测方法、装置、设备和存储介质 | |
CN107209556A (zh) | 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法 | |
CN111798518A (zh) | 机械臂姿态检测方法、装置和设备及计算机存储介质 | |
JP6103765B2 (ja) | 行動認識装置、方法及びプログラム並びに認識器構築装置 | |
JP2004220292A (ja) | 物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにそのプログラムを記録した記録媒体 | |
CN109584289A (zh) | 适应地图创建中状态转换的系统和方法 | |
JP2019211914A (ja) | 物体らしさ推定装置、方法、およびプログラム | |
CN112449701B (zh) | 学习模板表示库 | |
CN114372999A (zh) | 一种对象检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160309 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5978996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |