JP5712898B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents
画像処理装置、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP5712898B2 JP5712898B2 JP2011239765A JP2011239765A JP5712898B2 JP 5712898 B2 JP5712898 B2 JP 5712898B2 JP 2011239765 A JP2011239765 A JP 2011239765A JP 2011239765 A JP2011239765 A JP 2011239765A JP 5712898 B2 JP5712898 B2 JP 5712898B2
- Authority
- JP
- Japan
- Prior art keywords
- mask
- unit
- similarity
- target
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
特許文献1および特許文献2に開示される方法では、まず、モザイクを施す処理が必要になる人物の顔情報を参照情報として予め用意しておく。
そして、参照情報と画像中の顔とが一致した場合には、その顔部分にモザイクを施す処理を行う。
そして、モザイクを施す対象、つまりマスク対象が検出された場合には、ビデオバッファ内にあるフレームを順番に遡ってマスク対象に関連する部分が無いかを改めて検索する。これにより、マスク対象が完全に画面内に入る前であってもマスク対象が部分的に映っている領域にマスクを掛ける、つまりモザイクを施すことができる。
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置(100)であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部(222)と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部(233)と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部(234)と、
前記類似判定部(234)による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充部(260)と、
前記類似判定部(234)による判定によってマスク対象に確定した領域に加えて前記マスク補充部(260)で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部(240)と、を備える
ことを特徴とする画像処理装置を提供する。
前記マスク補充部(260)は、
前記類似判定部(234)による判定によってマスク対象に確定した領域の座標情報を順次取得する座標情報取得部(261)と、
前記座標情報取得部(261)にて取得された座標情報を保持する補外用データ保持部(262)と、
前記補外用データ保持部(262)に保持されたデータを時間的に前に外挿してマスク対象が検出される前の動きを推測する動き補外部(263)と、
前記動き補外部(263)による外挿によって得られた動きに掛かるように移動するマスクを作成する移動マスク作成部(264)と、を備える
ようにしても良い。
前記類似判定部(234)による判定よってマスク対象に確定した領域と、画像フレーム枠と、の距離が所定閾値以下であるか否かを判定する位置判定部(250)をさらに備え、
前記距離が所定閾値以下の場合に、前記位置判定部(250)は前記マスク補充部(260)を起動させる
ようにしても良い。
前記類似判定部(234)による判定よってマスク対象に確定した領域が画像フレームの中心方向に移動しているか否かを判定する位置判定部(250)をさらに備え、
前記マスク対象に確定した領域が画像フレームの中心方向に移動している場合に、前記位置判定部(250)は前記マスク補充部(260)を起動させる
ようにしても良い。
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程(ST103、ST104)と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出工程(ST106)と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定工程(ST107)と、
前記類似判定工程(ST107)による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し(ST123)、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充工程(ST124)と、
前記類似判定工程(ST107)による判定によってマスク対象に確定した領域に加えて前記マスク補充工程(ST124)で作成された前記補充マスクの領域に対してマスクを付加するマスク付与工程(ST125)と、を備える
ことを特徴とする画像処理方法を提供する。
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置に組み込んだコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部(222)と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部(233)と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部(234)と、
前記類似判定部(234)による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を時間的に前に外挿し、この外挿で得られた領域に掛かる補充マスクを作成するマスク補充部(260)と、
前記類似判定部(234)による判定によってマスク対象に確定した領域に加えて前記マスク補充部260で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部(240)と、して機能させる
ことを特徴とする画像処理プログラムを提供する。
(第1実施形態)
図1は、本発明が想定する動画像データ記録再生システム900の一例である。
各個人はおのおの好きな被写体をビデオカメラ100で撮像する。例えば、戸外に出て街の様子を撮影したり、家族が公園で遊んでいる光景を撮影したりしてもよい。このようにして撮影された動画像データはビデオカメラ100に内蔵された動画メモリ120に蓄積されていく。
これらの個人情報に関連する画像をそのままインターネット上に公開してしまうとプライバシー保護の観点からみて問題が生じる恐れがある。従って、プラバシーに関わる画像部分にはマスク処理を施すことが必要になる。
第1実施形態の構成を説明する。
図4は、マスク処理部200の機能ブロック図であり、あわせて、ビデオカメラ100の主要要素を示す。本実施形態ではマスク処理部200がビデオカメラ100に内蔵されている場合を想定しているが、パソコン910の一機能としてマスク処理部が設けられてもよい。ビデオカメラ100の撮像部110で撮像された動画データは、一旦動画メモリ120に蓄積される。ここで、ビデオカメラ100の撮像部110は、レンズユニットやCCD(光電変換素子)回路、所定のロジック回路で構成され、被写体を撮影した動画(映像)信号から動画データ(フレーム)を生成する。動画データには輝度データや色データが含まれる。動画メモリ120としては、例えば、フラッシュメモリが利用できる。
プライバシーに関するものとしては、顔の他にも、氏名、団体名(会社名や学校名)、住所表示、電話番号、車のナンバーなどがある。したがって、090−XXXX−XXXXといった電話番号にはプライバシーマスクを掛ける必要がある。そこで、画像フレーム中に"0"といった数字や後述するように何らかの文字が現れれば、それらをマスク対象の候補として切り出しておく必要がある。そして、最終的に、"090−"のように数字が並べばこの数字列にマスク処理を施すことになるし、単に"0"だけ、もしくは"0"のように見える模様であった場合にはマスク処理は必要ないことになる。
文字としては、外国語にも対応できるように、アルファベットや、ハングル、中国語の略字も切出参照リストに加えておくとよい。
このとき、切り出されたマスク候補領域は、もとのフレームに関連付けられる情報を保持するものとする。フレームに関連付けられる情報とは、例えば、切出し元のフレーム番号およびそのフレーム内での座標である。
マスク対象決定部230は、特徴量算出部231と、マスク対象参照リスト格納部232と、類似度算出部233と、類似判定部234と、を備える。
特徴量算出部231は、算出した特徴量を類似度算出部233に送る。
類似度の算出に当たって適切な参照情報を選ばせる方法は各種考えられるが、例えば、色や輝度で判断してもよく、あるいは、総ての参照情報と突き合わせた上で最も類似度が高くなるものを選んでもよい。
図5に示すように、フレームF40、フレームF50、フレームF60等では類似度が閾値以上になる程度に顔が映っているので、マスクフラグ付与部240によってこれらの顔が映っている領域にはマスクフラグが付与される。ここで、マスク対象(被写体)がフレームインし始めてからマスク対象であると確定するまでの間の映像(フレームF10からフレーム30)にもマスクを掛ける必要があるところ、これは後述の位置判定部250およびマスク補充部260によって達成される。
なお、マスク対象領域の位置という場合、マスク対象領域の中心座標Ccを用いてもよく、あるいは、マスク対象領域が四角形であれば四角形の四隅のいずれを用いてもよい。マスク対象領域の位置の取り方に合わせて所定閾値の値や判定方法を適切に調整すればよい。
マスク補充部260は、マスク対象領域の移動軌跡に基づいて、マスク対象が検出される以前のフレームに掛けるマスクを作成する。
マスク補充部260は、座標情報取得部261と、補外用データ保持部262と、動き補外部263と、移動マスク作成部264と、を備える。
例えば、図6のように補外用データ保持部262に保持されたデータをグラフにプロットすると図7のようにフレームF40以降におけるマスク対象領域の移動軌跡が求められる。ここでは、分かり易くするため、x座標の変化のみを表わしているが、y座標および領域サイズについても時間の関数として同じようにプロットできる。そして、フレームF40よりも時間的に前のフレーム内でのマスク対象の移動軌跡を補外法で推測するため、図7のグラフを時間的に前に延長する。すると、図8のように、フレームF40よりも時間的に前のフレームにおけるマスク対象の推定軌跡が得られる。
続いて、第1実施形態の動作を説明する。
ユーザによる動画撮影(ST10)からマスク付加されたデータの出力(ST60)までの流れは、図10に示すように、撮影(ST10)、動画データの保存(ST20)、マスク処理の事前準備(ST30)、マスク処理用メタファイルの作成(ST40)、マスク付加(ST50)、データ出力(ST60)の順で進む。
子供CAの顔の特徴量をマスク対象参照リスト格納部232に格納するにあたっては、例えば、別途に撮影した子供CAの顔のデータをビデオカメラ100にセットしてもよい。あるいは今回撮影した動画のなかから子供CAの顔が映っている領域を指定して、これをマスク対象としてビデオカメラ100にセットしてもよい。ビデオカメラ100は、マスク対象としてセットされた領域から自動的に特徴量を算出してマスク対象参照リスト格納部232に格納する。
例えばフレームF10で肌色面積が所定値を超えたとする。すると、マスク候補切出部222は、所定面積以上の肌色領域R10をマスク候補として切り出す(ST104)(図12参照)。このとき、前述したように、切り出された領域(R10)のデータには、切出し元のフレームF10のフレーム番号およびこのフレームF10中での座標が付加されている。
算出された類似度は類似判定部234において閾値と対比される。領域R10については、子供CAの顔の特徴量と類似する点はないので、類似度が閾値Thを超えることはない(ST107でNO)。この場合、領域R10はマスク対象として確定せず(ST107でNO)、次ぎの画像フレームの処理に進む。
移動マスクを作成するために、座標情報取得部261によってマスク対象領域の座標情報を取得する(ST121)。
これは、マスク対象が確定した後のフレーム(フレームF40以降のフレーム)についても順次ST101からST107を実行していく際に、座標情報取得部261は、フレームF40以降のフレームに関して類似判定部234および位置判定部250経由でマスク対象となる領域の座標情報を取得する。これにより、フレームF40以降のマスク対象領域について、座標、サイズ、そのフレームのタイムスタンプといった座標情報が補外用データ保持部262に格納されていく(図6参照)。
そして、ST122において、必要量のデータが拾集されたか否かを判定する。これは、図8にて示したように補外法で時間的に前のフレームにおけるマスク対象の動きを推定するにあたって十分なデータ量があるか否かを動き補外部263において判定するものである。
例えば、フレームF40以降の座標情報に対して回帰直線や、適当な次数の関数曲線や、適切なスプライン曲線などでフィッティングカーブを描く(図7参照)。マスク対象として最初に確定したフレーム(フレームF40)から数えて数十フレーム(フレームF40からフレームF60あたりまで)に対する残差が所定値以下になっていれば、補外法が適用できる程度にデータが集まったと判断してもよい。
なお、マスク対象として最初に確定したフレーム(フレームF40)に近いほど寄与度が大きくなる重みを付け、マスク対象として最初に確定したフレーム(フレームF40)の直後の数フレームにおける動きがより強く反映されるようにしてもよい。
(1)本実施形態ではマスク補充部260を備えており、マスク対象が検出される前のフレームに対しても補外法によってマスク対象の動きを推定し、移動マスクを掛けることとしている。
これにより、マスク対象(被写体)がフレームインし始めてからマスク対象であると確定するまでの間の映像にもマスクを掛けることができ、プライバシーを確実に保護できる。
この点、本実施形態では移動マスクの作成にあたって必要になるデータは座標情報だけであり、画像情報そのものは保持しておく必要はないのでメモリ容量は極小さくてもよい。また仮にマスク対象の移動軌跡を外挿するのにどれほど多量のフレームを追跡しなければならないとしても、座標情報を一時的に保持するだけでよいのでメモリ容量が問題になることはない。
したがって、必要であれば十分な量の座標情報を収集した後で、正確性の高い移動マスクを作成することができる。
上記第1実施形態において、位置判定部250では新たに出現したマスク対象領域とフレーム枠との距離にだけ基づいて移動マスクの要否を判断していた。移動マスクが必要であるか否かを判断するにあたっては、別の判定要件を用いてもよい。
例えば、マスク対象領域がフレームの中心方向に移動しているかどうかを判定要件としもよい。あるいは上記の二つとも用い、両方を満たした場合にマスク補充部を起動させてもよい。さらには、上記二つの要件のうちいずれか一方でも満たせばマスク補充部を起動させてもよい。
上記実施形態においては、特定人物の顔にプライバシーマスクを掛ける場合を説明したが、逆に、特定人物にはマスクを掛けず、その他のたまたま映ってしまった一般の人の顔にプライバシーマスクを掛けるようにしてもよいことはもちろんである。この場合、被写体が、「人の顔ではあるが特定人物の顔ではない」ということを閾値判定で判断すればよいのであり、このような判定のためにマスク対象参照リストや類似判定部を改変することは当業者には明らかであろう。
Claims (6)
- 動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部と、
前記類似判定部による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって得られた領域に掛かる補充マスクを作成するマスク補充部と、
前記類似判定部による判定によってマスク対象に確定した領域に加えて前記マスク補充部で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部と、を備える
ことを特徴とする画像処理装置。 - 前記マスク補充部は、
前記類似判定部による判定によってマスク対象に確定した領域の座標情報を順次取得する座標情報取得部と、
前記座標情報取得部にて取得された座標情報を保持する補外用データ保持部と、
前記補外用データ保持部に保持されたデータを時間的に前に外挿してマスク対象が検出される前の動きを推測する動き補外部と、
前記動き補外部による外挿によって得られた動きに掛かるように移動するマスクを作成する移動マスク作成部と、を備える
ことを特徴とする請求項1に記載の画像処理装置。 - 前記類似判定部による判定よってマスク対象に確定した領域と、画像フレーム枠と、の距離が所定閾値以下であるか否かを判定する位置判定部をさらに備え、
前記距離が所定閾値以下の場合に、前記位置判定部は前記マスク補充部を起動させる
ことを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記類似判定部による判定よってマスク対象に確定した領域が画像フレームの中心方向に移動しているか否かを判定する位置判定部をさらに備え、
前記マスク対象に確定した領域が画像フレームの中心方向に移動している場合に、前記位置判定部は前記マスク補充部を起動させる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。 - 動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出工程と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定工程と、
前記類似判定工程による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって得られた領域に掛かる補充マスクを作成するマスク補充工程と、
前記類似判定工程による判定によってマスク対象に確定した領域に加えて前記マスク補充工程で作成された前記補充マスクの領域に対してマスクを付加するマスク付与工程と、を備える
ことを特徴とする画像処理方法。 - 動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理プログラムであって、
画像処理装置が備えるコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
予め登録されたマスク対象参照リストに基づいて、最新の前記マスク候補領域を前記マスク対象参照リストと対比して両者の類似度を算出する類似度算出部と、
前記算出された類似度を所定閾値と対比して、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象として確定させる類似判定部と、
前記類似判定部による判定よってマスク対象に確定した領域の動きを時間的に後ろに追跡して得られる移動軌跡を用いて前記マスク対象に確定した領域の時間的に前の移動軌跡を推測し、この推測した時間的に前の移動軌跡によって領域に掛かる補充マスクを作成するマスク補充部と、
前記類似判定部による判定によってマスク対象に確定した領域に加えて前記マスク補充部で作成された前記補充マスクの領域に対してマスクを付加するマスク付与部と、して機能させる
画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011239765A JP5712898B2 (ja) | 2011-10-31 | 2011-10-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011239765A JP5712898B2 (ja) | 2011-10-31 | 2011-10-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013098750A JP2013098750A (ja) | 2013-05-20 |
JP5712898B2 true JP5712898B2 (ja) | 2015-05-07 |
Family
ID=48620263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011239765A Active JP5712898B2 (ja) | 2011-10-31 | 2011-10-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5712898B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3465760B2 (ja) * | 1994-08-03 | 2003-11-10 | 新日本石油株式会社 | 冷凍機油組成物および冷凍機用流体組成物 |
JP6234164B2 (ja) * | 2013-10-25 | 2017-11-22 | キヤノン株式会社 | 画像再生装置、方法及びプログラム |
JP6202283B2 (ja) * | 2015-04-16 | 2017-09-27 | パナソニックIpマネジメント株式会社 | 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム |
JP6211125B2 (ja) * | 2016-03-31 | 2017-10-11 | 株式会社Medi Plus | 画像処理システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133298A (ja) * | 1992-10-14 | 1994-05-13 | Canon Inc | 動きベクトル検出装置 |
JP5087264B2 (ja) * | 2005-12-08 | 2012-12-05 | 株式会社トプコン | 画像処理装置及びその方法 |
JP2009044329A (ja) * | 2007-08-07 | 2009-02-26 | Nikon Corp | プログラム、画像処理方法および画像処理装置 |
JP4650579B2 (ja) * | 2009-03-30 | 2011-03-16 | 日本ビクター株式会社 | ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法 |
-
2011
- 2011-10-31 JP JP2011239765A patent/JP5712898B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013098750A (ja) | 2013-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5825121B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
KR101641646B1 (ko) | 동영상 마스킹 처리방법 및 장치 | |
CN106375674B (zh) | 寻找和使用与相邻静态图像相关的视频部分的方法和装置 | |
US8582918B2 (en) | Imaging device, image composition and display device, and image composition method | |
US8712160B2 (en) | Face recognition through face building from two or more partial face images from the same face | |
US20080220750A1 (en) | Face Categorization and Annotation of a Mobile Phone Contact List | |
JPWO2016016984A1 (ja) | 撮像装置およびその被写体追尾方法 | |
JP5712898B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US11156902B2 (en) | Method for automatically focusing on target object, photographic apparatus including automatic focus function, and computer readable medium storing automatic focus function program | |
JP6867056B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN106603903A (zh) | 照片处理方法及装置 | |
JP2014045259A (ja) | 端末装置、サーバ及びプログラム | |
CN105744179A (zh) | 摄像装置、摄像控制方法 | |
JP2014050022A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP5810948B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2013055455A (ja) | 電子カメラ、画像処理装置、および画像処理プログラム | |
US20140285649A1 (en) | Image acquisition apparatus that stops acquisition of images | |
JP2007133574A (ja) | アクセス制御装置、アクセス制御システムおよびアクセス制御方法 | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
JP2010081528A (ja) | 画像処理装置、方法およびプログラム | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2007049529A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP5267136B2 (ja) | 電子カメラ | |
JP2011205296A (ja) | 画像装飾装置および画像装飾プログラム | |
CN111223220A (zh) | 一种影像关联方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5712898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |