JP4985716B2 - 撮像装置、合焦評価領域の設定方法、及び、プログラム - Google Patents
撮像装置、合焦評価領域の設定方法、及び、プログラム Download PDFInfo
- Publication number
- JP4985716B2 JP4985716B2 JP2009146281A JP2009146281A JP4985716B2 JP 4985716 B2 JP4985716 B2 JP 4985716B2 JP 2009146281 A JP2009146281 A JP 2009146281A JP 2009146281 A JP2009146281 A JP 2009146281A JP 4985716 B2 JP4985716 B2 JP 4985716B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- evaluation
- setting
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
また、特許文献1に記載されるように、被写体の画像領域のコントラストの評価値が低い時はフォーカスレンズの位置を過焦点距離に移動させ、撮像画角全体に対しピントが合うよう制御する技術も考えられている。
撮像手段と、この撮像手段による撮像に基づいてライブビュー画像を表示する表示手段と、前記撮像手段による撮像画像から合焦すべき注目被写体の画像領域を検出する検出手段と、この検出手段によって検出された画像領域を合焦評価値を算出すべき評価領域として所定寸法の矩形枠を設定する領域設定手段と、この領域設定手段により設定された前記矩形枠についての合焦評価値を算出する算出手段と、この算出手段により算出された前記合焦評価値に基づいて、評価領域の再設定を行うか否かを判定する判定手段と、この判定手段により評価領域の再設定を行うと判定された場合に、前記検出手段によって検出された画像領域を含み、且つ、前記矩形枠複数個分の寸法からなる領域を、合焦評価値を算出すべき評価領域として再設定する領域再設定手段と、この領域再設定手段により設定された評価領域を、前記領域設定手段によって設定された矩形枠を基準とした態様で、前記ライブビュー画像内の前記被写体に重畳させて表示するよう前記表示手段を制御する表示制御手段と、を備えたことを特徴としている。
前記領域設定手段は、前記検出手段により検出された前記注目被写体の画像領域の重心位置を中心とする画像領域内の一部領域を前記評価領域として設定することを特徴としている。
前記検出手段は、前記撮影画像の色、明るさ、コントラスト、高周波成分情報の各種情報の内、少なくとも1つを利用して前記注目被写体の画像領域を検出することを特徴としている。
撮像手段による撮像に基づいてライブビュー画像を表示する表示ステップと、
前記撮像手段による撮像画像から合焦すべき注目被写体の画像領域を検出する検出ステップと、前記検出ステップによって検出された画像領域を合焦評価値を算出すべき評価領域として所定寸法の矩形枠を設定する領域設定ステップと、この領域設定ステップにて設定された前記矩形枠についての合焦評価値を算出する算出ステップと、この算出ステップにて算出された前記合焦評価値に基づいて、評価領域の再設定を行うか否かを判定する判定ステップと、この判定ステップにより評価領域の再設定を行うと判定された場合に、前記検出ステップによって検出された画像領域を含み、且つ、前記矩形枠複数個分の寸法からなる領域を、合焦評価値を算出すべき評価領域として再設定する領域再設定ステップと、この領域再設定ステップにより設定された評価領域を、前記領域設定ステップによって設定された矩形枠を基準とした態様で、前記ライブビュー画像内の前記被写体に重畳させて表示するよう前記表示ステップを制御する表示制御ステップと、を含むことを特徴としている。
撮像装置が備えるコンピュータを、撮像手段による撮像に基づいてライブビュー画像を表示する表示手段、前記撮像手段による撮像画像から合焦すべき注目被写体の画像領域を検出する検出手段、この検出手段によって検出された画像領域を合焦評価値を算出すべき評価領域として所定寸法の矩形枠を設定する領域設定手段、この領域設定手段によって設定された前記矩形枠についての合焦評価値を算出する算出手段、この算出手段により算出された前記合焦評価値に基づいて、評価領域の再設定を行うか否かを判定する判定手段、この判定手段によって評価領域の再設定を行うと判定された場合に、前記検出手段によって検出された画像領域を含み、且つ、前記矩形枠複数個分の寸法からなる領域を、合焦評価値を算出すべき評価領域として再設定する領域再設定手段、この領域再設定手段により設定された評価領域を、前記領域設定手段によって設定された矩形枠を基準とした態様で、前記ライブビュー画像内の前記被写体に重畳させて表示するよう前記表示手段を制御する表示制御手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
具体的には、図1に示すように、撮像装置100は、フォーカスレンズ1、レンズ駆動部2、電子撮像部3、ユニット回路4、撮像制御部5、画像生成部6、AF処理部7、画像処理部8、表示部9、画像記録部10、操作入力部11、バッファメモリ12、プログラムメモリ13、中央制御部14等を備えている。
また、レンズ駆動部2、撮像制御部5、画像生成部6、AF処理部7、画像処理部8、表示部9、画像記録部10、バッファメモリ12、プログラムメモリ13、中央制御部14は、バスライン15を介して接続されている。
そして、ユニット回路4は、デジタルの撮像信号を画像生成部6に送信する。
画像認識部7aは、例えば、画像生成部6から画像データが送られてくる毎に当該画像データに対して、水平方向(横)及び垂直方向(縦)ともに所定倍率の縮小処理を行って低解像度の画像データを得、更に、この低解像度の画像データについて所定の画像認識技術を利用して解析した結果を示す解析結果画像データ(例えば、横×縦:40×30画素;図3(b)参照)Lを逐次生成する。そして、画像認識部7aは、この解析結果画像データLから、ある被写体の一部を構成する画像領域A(被写体Sの像)を抽出する。
尚、画像認識処理とは、例えば、色、明るさ、コントラスト、高周波成分情報などの画像の各種情報を利用して被写体Sの画素集合の輪郭を抽出することで行っても良いし、予め被写体Sの種類を特定しておき当該被写体Sの特徴情報と比較判定して輪郭を抽出することで行っても良い。
ここで、画像認識部7aは、当該撮像画像Gに対し画像認識処理を行うことで被写体Sの画像領域Aを検出する検出手段を構成している。即ち、画像認識部7aは、撮像画像Gから合焦すべき被写体Sの画像領域Aを検出する。
また、被写体Sは、必ずしも一つの被写体として独立している必要はなく、複数の被写体が前後方向に重なった状態であっても良いし、複数の被写体が左右若しくは上下方向に離れて分離した状態であっても良い。
領域設定部7bは、撮像画像Gにおけるフォーカスレンズ1の合焦状態の評価に係り、評価値算出部7cによってAF評価値が算出されるAF評価領域P1(図3(a)参照)を設定する。即ち、領域設定部7bは、画像認識部7aによる画像認識処理によって被写体Sが検出された場合には、検出された被写体Sの画像領域A、より具体的には、被写体Sの重心位置にAF評価領域P1を設定する。一方、領域設定部7bは、被写体Sが検出されていない場合には、測距方式を「スポットAF」に切り替えて画角の略中央にAF評価領域を設定する。
ここで、領域設定部7bは、撮像画像Gの画像領域AをAF評価値を算出すべきAF評価領域として設定する領域設定手段を構成している。
評価値算出部7cは、画像認識部7aにより生成された解析結果画像データLについて、領域設定部7bにより設定されたAF評価領域P1の画像データに基づいて、画像のコントラストの高低を示すAF評価値(コントラスト評価値)を算出する。ここで、評価値算出部7cは、領域設定部7bにより設定されたAF評価領域P1の画像データに基づいて、当該AF評価領域P1のAF評価値(合焦評価値)を算出する算出手段を構成している。
また、評価値算出部7cは、領域再設定部7eにより再設定されたAF評価領域P2の画像データに基づいて、AF評価値を算出する。
判定部7dは、評価値算出部7cにより算出されたAF評価領域P1のAF評価値が所定値以上であるか否かを判定する。当該判定の結果、AF評価領域P1のAF評価値が所定値よりも小さいと判定されると、判定部7dは、画像認識部7aによる画像認識処理の結果に基づいて領域再設定部7eによりAF評価領域P2の再設定を行うと判定する。
ここで、判定部7dは、評価値算出部7cにより算出されたAF評価値に基づいて、AF評価領域P2を再設定するか否かを判定する判定手段を構成している。
領域再設定部7eは、判定部7dによってAF評価領域P2の再設定を行うと判定されると、撮像画像Gにてフォーカスレンズ1を合焦すべきAF評価領域P2を領域設定部7bにより既に設定されているAF評価領域P1と異なる位置に再設定する。具体的には、領域再設定部7eは、画像認識部7aによるAF評価領域P1を基準とした画像認識処理の結果に基づいて、撮像画像Gにおける被写体Sの画像領域Aを含む領域や、被写体Sの画像領域Aの輪郭部分と交わる位置にAF評価領域P2を少なくとも一つ再設定する(図3(c)及び図3(d)参照)。
ここで、領域再設定部7eは、判定部7dによってAF評価領域P2の再設定を行うと判定された場合に、画像認識部7aによって検出された画像領域Aを含み既に設定されている領域と異なる領域を、AF評価値を算出すべきAF評価領域P2として再設定する領域再設定手段を構成している。
即ち、領域再設定部7eは、判定部7dによってAF評価領域P2の再設定を行うと判定された場合に、画像認識部7aによるAF評価領域P1を基準とした画像認識処理の結果に基づいて、撮像画像Gにおけるフォーカスレンズ1を合焦すべきAF評価領域P2を領域設定部7bにより既に設定されているAF評価領域P1と異なる位置に再設定する。
また、画像再生時においては、表示部9は、画像記録部10から読み出されて画像処理部8にて復号化された画像データに基づく画像を表示する。
また、中央制御部14は、操作入力部11から出力され入力された操作信号に基づいて、撮像装置100の各部を制御する。具体的には、中央制御部14は、操作入力部11のシャッタボタンの所定操作に従って出力された撮像信号が入力されると、プログラムメモリ13に記憶されている所定のプログラムに従って、TGにより電子撮像部3及びユニット回路4の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ12に格納された1フレーム分のYUVデータは、画像処理部8にてJPEG方式等により圧縮され符号化されて、画像記録部10に静止画像データとして記録される。
ここで、中央制御部14及びレンズ駆動部2は、領域再設定部7eにより再設定されたAF評価領域P2内の画像データに基づいて、評価値算出部7cにより算出されたAF評価値に基づいて、撮像手段を合焦させる合焦制御手段を構成している。
図2は、撮像処理に係る動作の一例を示すフローチャートである。また、図3(a)〜図3(d)は、撮像処理に係る画像の一例を模式的に示す図である。
撮像処理は、中央制御部14の制御下にて静止画像や動画像を撮像する処理であり、ユーザによる操作入力部11の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から撮像モードが選択指示された場合に実行される。
続けて、中央制御部14は、ユーザにより操作入力部11のシャッタボタンが半押し操作されたか否かを判定する(ステップS2)。ここで、シャッタボタンが半押し操作されたと判定されると(ステップS2;YES)、AF処理部7の画像認識部7aは、被写体の撮像により生成された撮像画像Gの複数の画像フレーム(図3(a)等参照)に係る画像データが画像生成部6からAF処理部7に送られてくる毎に、当該画像データから被写体Sの画像領域Aを検出する処理を行う(ステップS3)。具体的には、AF処理部7の画像認識部7aは、画像生成部6から送られてきた各画像データに対して所定倍率の縮小処理を行って低解像度の画像データを得、更に、この低解像度の画像データについて所定の画像認識技術を利用して解析した結果を示す解析結果画像データL(例えば、横×縦:40×30画素)を生成した後、合焦対象となる被写体Sの画像領域A(図3(b)参照)を特定して抽出する。
ここで、所定値以上のAF評価値が算出されたと判定されると(ステップS7;YES)、中央制御部14は、評価値算出部7cにより算出されたAF評価値に基づいて、所定の制御信号をレンズ駆動部2に出力してフォーカスモータを駆動させることで、フォーカスレンズ1の合焦位置を調整させる合焦処理を行う(ステップS8)。
また、ステップS4にて、被写体Sが検出されていないと判定された場合には(ステップS4;NO)、領域設定部7bは、測距方式を「スポットAF」に切り替えて画角の略中央にAF評価領域を設定した後(ステップS11)、中央制御部14は、処理をステップS10に移行させて、それ以降の処理を行う。
ここで、シャッタボタンが全押し操作されたと判定されると(ステップS12;YES)、中央制御部14は、撮像制御部5に露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整させて、被写体(図3(c)、図3(d)参照)の光学像を所定の条件で電子撮像部3により撮像させる。その後、中央制御部14は、ユニット回路4及び画像生成部6を経て生成された静止画像(若しくは、動画像)のYUVデータを画像処理部8の符号化部(図示略)により所定の符号化方式(例えば、JPEG方式やMPEG方式等)により圧縮・符号化させた後、画像記録部10に記録させる(ステップS13)。
ここで、シャッタボタンの半押し操作が解除されていないと判定されると(ステップS14;NO)、中央制御部14は、処理をステップS12に移行させて、シャッタボタンが全押し操作されるまで、それ以降の処理を繰り返し行う。一方、シャッタボタンの半押し操作が解除されたと判定されると(ステップS14;YES)、中央制御部14は、処理をステップS1に移行させて、撮像処理の最初から処理を開始する。
即ち、画像認識部7aにより検出された被写体Sの画像領域A(例えば、被写体Sの重心位置)にAF評価領域P1が設定されている場合であっても、AF評価領域P1を基準とした画像認識の結果に基づいて、既に設定されているAF評価領域P1と異なる位置にAF評価領域P2を再設定することができる。つまり、AF評価領域P2の再設定を被写体Sの画像領域Aに設定されているAF評価領域P1を基準として行うことができる。
そして、再設定されたAF評価領域P2のAF評価値をより適正な値として算出することができ、フォーカスレンズ1の合焦位置の調整をより適正に行うことができる。
例えば、AF評価領域P1を画像認識部7aにより検出された被写体Sの画像領域Aに設定するようにしたが、領域設定部7bによるAF評価領域P1の設定は、ユーザによる操作入力部11の所定操作(例えば、タッチパネルの操作等)に基づいて行われても良い。
1 フォーカスレンズ
2 レンズ駆動部
3 電子撮像部
7 AF処理部
7a 画像認識部
7b 領域設定部
7c 評価値算出部
7d 判定部
7e 領域再設定部
14 中央制御部
Claims (5)
- 撮像手段と、
この撮像手段による撮像に基づいてライブビュー画像を表示する表示手段と、
前記撮像手段による撮像画像から合焦すべき注目被写体の画像領域を検出する検出手段と、
この検出手段によって検出された画像領域を合焦評価値を算出すべき評価領域として所定寸法の矩形枠を設定する領域設定手段と、
この領域設定手段により設定された前記矩形枠についての合焦評価値を算出する算出手段と、
この算出手段により算出された前記合焦評価値に基づいて、評価領域の再設定を行うか否かを判定する判定手段と、
この判定手段により評価領域の再設定を行うと判定された場合に、前記検出手段によって検出された画像領域を含み、且つ、前記矩形枠複数個分の寸法からなる領域を、合焦評価値を算出すべき評価領域として再設定する領域再設定手段と、
この領域再設定手段により設定された評価領域を、前記領域設定手段によって設定された矩形枠を基準とした態様で、前記ライブビュー画像内の前記被写体に重畳させて表示するよう前記表示手段を制御する表示制御手段と、
を備えたことを特徴とする撮像装置。 - 前記領域設定手段は、
前記検出手段により検出された前記注目被写体の画像領域の重心位置を中心とする画像領域内の一部領域を前記評価領域として設定することを特徴とする請求項1に記載の撮像装置。 - 前記検出手段は、
前記撮影画像の色、明るさ、コントラスト、高周波成分情報の各種情報の内、少なくとも1つを利用して前記注目被写体の画像領域を検出することを特徴とする請求項1又は2に記載の撮像装置。 - 撮像手段による撮像に基づいてライブビュー画像を表示する表示ステップと、
前記撮像手段による撮像画像から合焦すべき注目被写体の画像領域を検出する検出ステップと、
前記検出ステップによって検出された画像領域を合焦評価値を算出すべき評価領域として所定寸法の矩形枠を設定する領域設定ステップと、
この領域設定ステップにて設定された前記矩形枠についての合焦評価値を算出する算出ステップと、
この算出ステップにて算出された前記合焦評価値に基づいて、評価領域の再設定を行うか否かを判定する判定ステップと、
この判定ステップにより評価領域の再設定を行うと判定された場合に、前記検出ステップによって検出された画像領域を含み、且つ、前記矩形枠複数個分の寸法からなる領域を、合焦評価値を算出すべき評価領域として再設定する領域再設定ステップと、
この領域再設定ステップにより設定された評価領域を、前記領域設定ステップによって設定された矩形枠を基準とした態様で、前記ライブビュー画像内の前記被写体に重畳させて表示するよう前記表示ステップを制御する表示制御ステップと、
を含むことを特徴とする合焦評価領域の設定方法。 - 撮像装置が備えるコンピュータを、
撮像手段による撮像に基づいてライブビュー画像を表示する表示手段、
前記撮像手段による撮像画像から合焦すべき注目被写体の画像領域を検出する検出手段、
この検出手段によって検出された画像領域を合焦評価値を算出すべき評価領域として所定寸法の矩形枠を設定する領域設定手段、
この領域設定手段によって設定された前記矩形枠についての合焦評価値を算出する算出手段、
この算出手段により算出された前記合焦評価値に基づいて、評価領域の再設定を行うか否かを判定する判定手段、
この判定手段によって評価領域の再設定を行うと判定された場合に、前記検出手段によって検出された画像領域を含み、且つ、前記矩形枠複数個分の寸法からなる領域を、合焦評価値を算出すべき評価領域として再設定する領域再設定手段、
この領域再設定手段により設定された評価領域を、前記領域設定手段によって設定された矩形枠を基準とした態様で、前記ライブビュー画像内の前記被写体に重畳させて表示するよう前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009146281A JP4985716B2 (ja) | 2009-06-19 | 2009-06-19 | 撮像装置、合焦評価領域の設定方法、及び、プログラム |
US12/784,855 US8717490B2 (en) | 2009-06-19 | 2010-05-21 | Imaging apparatus, focusing method, and computer-readable recording medium recording program |
CN2010102068299A CN101931752B (zh) | 2009-06-19 | 2010-06-13 | 摄像装置、以及对焦方法 |
TW99119787A TWI468770B (zh) | 2009-06-19 | 2010-06-18 | 攝像裝置、對焦方法及記錄程式之電腦可讀取記錄媒體 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009146281A JP4985716B2 (ja) | 2009-06-19 | 2009-06-19 | 撮像装置、合焦評価領域の設定方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011002691A JP2011002691A (ja) | 2011-01-06 |
JP4985716B2 true JP4985716B2 (ja) | 2012-07-25 |
Family
ID=43560684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009146281A Expired - Fee Related JP4985716B2 (ja) | 2009-06-19 | 2009-06-19 | 撮像装置、合焦評価領域の設定方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4985716B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101472853B1 (ko) | 2013-07-17 | 2014-12-16 | (주)탑중앙연구소 | 카메라 모듈의 광축 정합성 평가 시스템 및 이를 사용한 카메라 모듈의 광축 정합성 평가 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012158585A (ja) | 2011-01-11 | 2012-08-23 | Ishihara Sangyo Kaisha Ltd | 根こぶ病の防除方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4761039B2 (ja) * | 2005-10-19 | 2011-08-31 | 富士フイルム株式会社 | 撮像装置 |
JP4824586B2 (ja) * | 2007-01-18 | 2011-11-30 | 株式会社リコー | 撮像装置 |
JP2009020304A (ja) * | 2007-07-12 | 2009-01-29 | Sony Corp | オートフォーカス方法および撮像装置 |
-
2009
- 2009-06-19 JP JP2009146281A patent/JP4985716B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101472853B1 (ko) | 2013-07-17 | 2014-12-16 | (주)탑중앙연구소 | 카메라 모듈의 광축 정합성 평가 시스템 및 이를 사용한 카메라 모듈의 광축 정합성 평가 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2011002691A (ja) | 2011-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI468770B (zh) | 攝像裝置、對焦方法及記錄程式之電腦可讀取記錄媒體 | |
JP5195660B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP2007019973A (ja) | 撮像装置及び撮像方法 | |
JP6325841B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
TWI459126B (zh) | 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體 | |
JP2009219020A (ja) | 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム | |
JP2009065573A (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
JP2010054730A (ja) | 合焦位置検出装置、撮像装置及び合焦位置検出方法 | |
JP5092673B2 (ja) | 撮像装置及びそのプログラム | |
JP2010035131A (ja) | 撮像装置及び撮像方法 | |
JP6706167B2 (ja) | 撮像装置、画像合成方法、およびプログラム | |
JP5195663B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP4985716B2 (ja) | 撮像装置、合焦評価領域の設定方法、及び、プログラム | |
JP5397426B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP6435527B2 (ja) | 撮像装置 | |
JP5477345B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
JP5747474B2 (ja) | 撮像装置、撮像処理方法及びプログラム | |
JP5561392B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP5479883B2 (ja) | 撮像装置及び撮像方法 | |
JP6347056B2 (ja) | 撮像装置および静止画像生成方法 | |
JP2009194469A (ja) | 撮像装置 | |
JP5862732B2 (ja) | 撮像制御装置、撮像制御方法及びプログラム | |
JP2007079454A (ja) | 電子カメラ | |
JP2007201774A (ja) | 移動方向検出装置、および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110719 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4985716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |