JP5546419B2 - 対象領域抽出装置 - Google Patents
対象領域抽出装置 Download PDFInfo
- Publication number
- JP5546419B2 JP5546419B2 JP2010242283A JP2010242283A JP5546419B2 JP 5546419 B2 JP5546419 B2 JP 5546419B2 JP 2010242283 A JP2010242283 A JP 2010242283A JP 2010242283 A JP2010242283 A JP 2010242283A JP 5546419 B2 JP5546419 B2 JP 5546419B2
- Authority
- JP
- Japan
- Prior art keywords
- target area
- information data
- distance
- predetermined
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
を備えた対象領域抽出装置であって、
前記対象領域抽出手段は、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、
当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出すること、
を特徴とする。
前記対象領域抽出手段が、
距離情報データに基づいて所定距離範囲毎に輝度情報データを分割し、輝度の存在する画素数がしきい値以下の部分を削除した後、これらを合成して輝度情報マスクを生成すること、
を特徴とする。
前記輝度情報データに基づいて、輝度の存在する画素数がしきい値以下の部分を削除した後、輝度情報データに対して、膨張処理および収縮処理を順に行って輝度情報マスクを生成すること、
を特徴とする。
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の解析するための対象領域解析手段と、
を備えた対象領域解析装置であって、
前記対象領域解析手段は、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、
所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする。
前記対象領域解析手段が、
2つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断し、
特定極小値が存在する場合には、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割すること、
を特徴とする。
前記対象領域解析手段が、
距離ヒストグラムにおいて、画素数の増加率がしきい値以上であり、当該距離位置の画素数がしきい値以上の極大値のうち、最も大きいものを最初の特定極大値として決定し、
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には、次の特定極大値として決定すること、
を特徴とする。
前記対象領域解析手段が、
前記距離ヒストグラムを平滑化した後に、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする。
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の属性を判定するための属性判定手段と、
を備えた属性判定装置であって、
前記属性判定手段は、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、
当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか1つを算出し、これを所定基準に適用して対象領域の属性を判定すること、
を特徴とする。
所定の属性でないと判断された対象領域を削除する対象領域削除手段、
を備えたことを特徴とする。
撮像された画像から対象領域を抽出する対象領域抽出手段と、
前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡手段と、
を備えた対象領域追跡装置であって、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出すること、
を特徴とする。
前記対象領域追跡手段の追跡対象となる対象領域の数が、予め設定されていること、
を特徴とする。
対象領域の基準位置を距離情報データに基づいて算出し、仮想フィールド画像上の当該基準位置に、各対象領域に対応する表示を配置する表示配置手段、
を備えたことを特徴とする。
画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記センサから受けた距離情報データに対して所定の処理を行うデータ処理手段と、
を備えたデータ処理装置であって、
前記データ処理手段は、
前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、
算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除すること、
を特徴とする。
図1に、対象領域抽出装置100、対象領域解析装置200、属性判定装置300、対象領域追跡装置400、データ処理装置500の構成を示す。なお、センサB02は、少なくとも画角内の各画素に対応したマトリクス状の距離情報(距離情報データ)を得ることが可能なセンサである。
図2に、この発明の対象領域抽出装置100(図1)のハードウェア構成を示す。なお、図1に示す画像解析装置200、属性判定装置300、対象領域追跡装置400、データ処理装置500も同様のハードウェア構成である。
図5に示すフローチャートを用いて、輝度情報マスクを生成し、距離情報データをマスキングするまでの処理について説明する。なお、対象領域抽出装置100のハードディスク26(図2)には、距離情報データ(図3)と輝度情報データ(図4)が予め記憶されている。
図12に示すフローチャートを用いて、対象領域のラベリング処理、ラベリングした対象領域に対する解析処理などについて説明する。
図20に示すフローチャートを用いて、図12のステップS208に示す距離ヒストグラムの分割処理(すなわち、複数対象物の重なりの検出)の詳細について説明する。なお、以下に示す処理は、全ての対象領域に対して行われる。
図24に示すフローチャートを用いて、図12のステップS210に示す処理の詳細を説明する。なお、以下に示す距離ヒストグラムに対する処理は、全ての対象領域(図20のステップS2100で分割された各対象領域を含む)に対して行われる。
図27に示すフローチャートを用いて、対象領域を追跡する処理について説明する。なお、以下の追跡処理は、距離画像センサ2(図2)を用いて抽出される対象領域の追跡に限られず、一般のビデオカメラで撮影した画像から抽出される対象領域の追跡にも適用することが可能である。
なお、上記実施形態では、対象領域の大きさなどに基づいて削除対象としたが(図26)、図30に示すように、距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除するようにしてもよい(図1のデータ処理装置500による処理)。図30に示すように、特定領域内(例えば、最大画素数の前後50cm)の画素数が、全画素数の50%より小さいときはノイズと判断して除去するようにしてもよい。
Claims (24)
- 画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
を備えた対象領域抽出装置であって、
前記対象領域抽出手段は、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、
当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出すること、
を特徴とする対象領域抽出装置。 - コンピュータを、
画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データを得ることが可能なセンサからの出力を取得する手段と、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段であって、前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出する対象領域抽出手段、
として機能させることを特徴とする対象領域抽出プログラム。 - 請求項1または請求項2の対象領域抽出装置または対象領域抽出プログラムにおいて、
前記対象領域抽出手段が、
距離情報データに基づいて所定距離範囲毎に輝度情報データを分割し、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した後、これらを合成して輝度情報マスクを生成すること、
を特徴とする対象領域抽出装置または対象領域抽出プログラム。 - 請求項1〜請求項3のいずれかの対象領域抽出装置または対象領域抽出プログラムにおいて、
前記輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した後、輝度情報データに対して、膨張処理および収縮処理を順に行って輝度情報マスクを生成すること、
を特徴とする対象領域抽出装置または対象領域抽出プログラム。 - 画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の解析するための対象領域解析手段と、
を備えた対象領域解析装置であって、
前記対象領域解析手段は、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、
前記距離ヒストグラムに含まれる極大値の数に基づいて、前記対象領域において重なり合った対象物の数を算出すること
を特徴とする対象領域解析装置。 - コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段、
抽出した対象領域の解析するための対象領域解析手段であって、前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、前記距離ヒストグラムに含まれる極大値の数に基づいて、前記対象領域において重なり合った対象物の数を算出する対象領域解析手段、
として機能させることを特徴とする対象領域解析プログラム。 - 請求項5または請求項6の対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
2つ以上の特定極大値が存在する場合には、さらに、特定極大値の間に特定極小値が存在するか否かを判断し、
特定極小値が存在する場合には、距離ヒストグラムの当該特定極小値の位置で距離情報データを各領域に分割すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。 - 請求項5〜請求項7のいずれかの対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
距離ヒストグラムにおいて、画素数の増加率が第一のしきい値以上であり、当該距離位置の画素数が第二のしきい値以上の極大値のうち、最も大きいものを最初の特定極大値として決定し、
さらに、画素数が多い順に、既に決定された特定極大値から所定間隔以上に離れているか否かを判断し、所定間隔以上に離れている場合には、次の特定極大値として決定すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。 - 請求項5〜請求項8のいずれかの対象領域解析装置または対象領域解析プログラムにおいて、
前記対象領域解析手段は、
前記距離ヒストグラムを平滑化した後に、所定基準に基づいて距離ヒストグラムに含まれる特定極大値の数を算出すること、
を特徴とする対象領域解析装置または対象領域解析プログラム。 - 画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段と、
抽出した対象領域の属性を判定するための属性判定手段と、
を備えた属性判定装置であって、
前記属性判定手段は、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、
当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか1つを算出し、算出した対象領域の高さが所定高さより高いか、面積が所定面積より小さいか、横幅が縦高さの所定倍以上かの少なくともいずれかに基づいて、対象領域の属性が人でないと判定すること、
を特徴とする属性判定装置。 - コンピュータを、
距離情報データにおける所定の対象領域を抽出するための対象領域抽出手段、
抽出した対象領域の属性を判定するための属性判定手段であって、対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、当該単位画素当たりの高さ方向および幅方向の長さから、前記対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか1つを算出し、算出した対象領域の高さが所定高さより高いか、面積が所定面積より小さいか、横幅が縦高さの所定倍以上かの少なくともいずれかに基づいて、対象領域の属性が人でないと判定する属性判定手段、
として機能させることを特徴とする属性判定プログラム。 - 請求項10または請求項11の属性判定装置または属性判定プログラムにおいて、さらに、
所定の属性でないと判断された対象領域を削除する対象領域削除手段、
を備えたことを特徴とする属性判定装置または属性判定プログラム。 - 撮像された画像から対象領域を抽出する対象領域抽出手段と、
前画像から抽出された対象領域を、当該前画像より後の次画像において所定規則に基づいて追跡する対象領域追跡手段と、
を備えた対象領域追跡装置であって、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、
前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出すること、
を特徴とする対象領域追跡装置であって、
前記所定規則に基づく追跡は、対象領域の距離ヒストグラムの類似度に基づいて対象領域を追跡するものであることを特徴とする対象領域追跡装置。 - コンピュータを、
撮像された画像から対象領域を抽出する対象領域抽出手段、
前画像から抽出された対象領域を、当該前画像より後の次画像において所定規則に基づいて追跡する対象領域追跡手段であって、前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少しない時には、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、前記対象領域追跡手段が次画像において追跡した対象領域の数が増加または減少した時に、前記対象領域抽出手段は、撮像された当該次画像から再び対象領域を抽出する対象領域追跡手段、
として機能させることを特徴とする対象領域追跡プログラムであって、
前記所定規則に基づく追跡は、対象領域の距離ヒストグラムの類似度に基づいて対象領域を追跡するものであることを特徴とする対象領域追跡プログラム。 - 請求項13または請求項14の対象領域追跡装置または対象領域追跡プログラムにおいて、
前記対象領域追跡手段の追跡対象となる対象領域の数が、予め設定されていること、
を特徴とする対象領域追跡装置または対象領域追跡プログラム。 - 請求項13〜請求項15のいずれかの対象領域追跡装置または対象領域追跡プログラムにおいて、
前記画像は、距離情報データまたは輝度情報データに基づく画像であること、
を特徴とする対象領域追跡装置または対象領域追跡プログラム。 - 請求項1〜16のいずれかの装置またはプログラムにおいて、さらに、
対象領域の基準位置を距離情報データに基づいて算出し、仮想フィールド画像上の当該基準位置に、各対象領域に対応する表示を配置する表示配置手段、
を備えたことを特徴とする装置またはプログラム。 - 画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサと、
前記センサから受けた距離情報データに対して所定の処理を行うデータ処理手段と、
を備えたデータ処理装置であって、
前記データ処理手段は、
前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、
算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除すること、
を特徴とするデータ処理装置。 - コンピュータを、
距離情報データに対して所定の処理を行うデータ処理手段であって、前記距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を前記距離情報データから削除するデータ処理手段、
として機能させることを特徴とするデータ処理プログラム。 - 画素単位で対象物までの距離を測定した距離情報データおよび画素単位で輝度を測定した輝度情報データにおける所定の対象領域を抽出するための対象領域抽出方法であって、
輝度情報データに基づいて、所定以上の輝度の存在する隣接画素数がしきい値以下の部分を削除した輝度情報マスクを生成し、当該輝度情報マスクを距離情報データに重ね合わせて、重複する領域の距離情報データだけを抽出する、
ことを特徴とする対象領域抽出方法。 - 画素単位で対象物までの距離を測定した距離情報データから抽出された所定の対象領域を解析するための対象領域解析方法であって、
前記距離情報データに含まれる所定の対象領域に関する距離ヒストグラムを生成し、前記距離ヒストグラムに含まれる極大値の数に基づいて、前記対象領域において重なり合った対象物の数を算出する、
ことを特徴とする対象領域解析方法。 - 画素単位で対象物までの距離を測定した距離情報データから抽出された所定の対象領域の属性を判定するための属性判定方法であって、
対象領域に対応する距離情報データに基づいて、単位画素当たりの長さを算出し、当該単位画素当たりの高さ方向および幅方向の長さから、対象領域の高さ、幅、面積、縦横比のうち少なくとも何れか1つを算出し、算出した対象領域の高さが所定高さより高いか、面積が所定面積より小さいか、横幅が縦高さの所定倍以上かの少なくともいずれかに基づいて、対象領域の属性が人でないと判定する、
ことを特徴とする属性判定方法。 - 対象領域抽出手段が撮像された画像から対象領域を抽出し、前画像から抽出された対象領域を、次画像において所定規則に基づいて追跡する対象領域追跡方法であって、
次画像において追跡した対象領域の数が増加または減少しない時には、撮像された当該次画像から再び対象領域を抽出しないで、さらに、次画像において所定規則に基づいて対象領域を追跡し、次画像において追跡した対象領域の数が増加または減少した時に、撮像された当該次画像から再び対象領域を抽出することを特徴とする対象領域追跡方法であって、
前記所定規則に基づく追跡は、対象領域の距離ヒストグラムの類似度に基づいて対象領域を追跡するものであることを特徴とする対象領域追跡方法。 - 画素単位で対象物までの距離を測定した距離情報データを得ることが可能なセンサから受けた距離情報データに対して所定の処理を行うデータ処理方法であって、
距離情報データに含まれる所定領域に関する距離ヒストグラムを生成し、算出した当該距離ヒストグラムの分散が所定のしきい値に含まれない領域を距離情報データから削除すること、
を特徴とするデータ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010242283A JP5546419B2 (ja) | 2010-10-28 | 2010-10-28 | 対象領域抽出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010242283A JP5546419B2 (ja) | 2010-10-28 | 2010-10-28 | 対象領域抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012093295A JP2012093295A (ja) | 2012-05-17 |
JP5546419B2 true JP5546419B2 (ja) | 2014-07-09 |
Family
ID=46386772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010242283A Expired - Fee Related JP5546419B2 (ja) | 2010-10-28 | 2010-10-28 | 対象領域抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5546419B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6558831B2 (ja) * | 2016-03-25 | 2019-08-14 | Kddi株式会社 | オブジェクト追跡装置、方法およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285762A (ja) * | 2000-03-30 | 2001-10-12 | Fuji Xerox Co Ltd | 画像印刷装置 |
JP3729025B2 (ja) * | 2000-06-09 | 2005-12-21 | 日産自動車株式会社 | 歩行者検知装置 |
JP2002117390A (ja) * | 2000-10-05 | 2002-04-19 | Olympus Optical Co Ltd | 画像処理装置 |
JP3965894B2 (ja) * | 2000-10-05 | 2007-08-29 | 富士ゼロックス株式会社 | 画像処理装置および画像処理方法 |
JP2004038531A (ja) * | 2002-07-03 | 2004-02-05 | Matsushita Electric Ind Co Ltd | 物体の位置検出方法および物体の位置検出装置 |
JP2005092451A (ja) * | 2003-09-16 | 2005-04-07 | Sony Corp | 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム |
JP4272538B2 (ja) * | 2004-01-05 | 2009-06-03 | 本田技研工業株式会社 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
-
2010
- 2010-10-28 JP JP2010242283A patent/JP5546419B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012093295A (ja) | 2012-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
US20170223234A1 (en) | Systems and methods for extracting foreground video | |
US7944454B2 (en) | System and method for user monitoring interface of 3-D video streams from multiple cameras | |
KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
US7787011B2 (en) | System and method for analyzing and monitoring 3-D video streams from multiple cameras | |
US8565512B2 (en) | Method, medium, and system generating depth map of video image | |
KR101305694B1 (ko) | 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치 | |
KR101984496B1 (ko) | 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법 | |
US9557836B2 (en) | Depth image compression | |
US9672634B2 (en) | System and a method for tracking objects | |
US20110221890A1 (en) | Object tracking apparatus, object tracking method, and control program | |
KR100826878B1 (ko) | 손 모양을 인식하는 방법 및 이를 위한 장치 | |
KR20190005765A (ko) | 화상 처리장치, 화상 처리방법 및 프로그램 | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
JP6742221B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
JP2010057105A (ja) | オブジェクトの3次元追跡方法およびシステム | |
JP4913801B2 (ja) | 遮蔽物映像識別装置及び方法 | |
JP2011035571A (ja) | 不審行動検知方法および不審行動検知装置 | |
Ali et al. | An efficient algorithm for detection of soccer ball and players | |
JP5546419B2 (ja) | 対象領域抽出装置 | |
Benedek et al. | An integrated 4D vision and visualisation system | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
Afendi et al. | A frontal view gait recognition based on 3D imaging using a time of flight camera | |
KR102179591B1 (ko) | 동영상 내 인물 영역 추출 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130306 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5546419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |