JP4492273B2 - 撮像装置およびプログラム - Google Patents
撮像装置およびプログラム Download PDFInfo
- Publication number
- JP4492273B2 JP4492273B2 JP2004276064A JP2004276064A JP4492273B2 JP 4492273 B2 JP4492273 B2 JP 4492273B2 JP 2004276064 A JP2004276064 A JP 2004276064A JP 2004276064 A JP2004276064 A JP 2004276064A JP 4492273 B2 JP4492273 B2 JP 4492273B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging
- feature amount
- subject
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003384 imaging method Methods 0.000 title claims description 96
- 238000000034 method Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 25
- 238000010187 selection method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 230000035484 reaction time Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
そこで、顔認識技術などの技術を用いることが提案されている(例えば、特許文献1参照)。
本発明は、撮影に要する時間を短縮しつつ、主要被写体を良好に撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することを目的とする。
また、判定部は、選択部による選択の方法と、抽出部により抽出される特徴量の種類との少なくとも一方に基づいて閾値を決定して、判定を行っても良い。
また、特定部による特定被写体の特定が開始されてからの経過時間を所定の限界時間と比較する比較部をさらに備え、撮像部は、比較部による比較の結果、経過時間が所定の限界時間よりも長くなると撮像を行っても良い。
本発明のプログラムは、複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部を備えた撮像装置に対する制御をコンピュータで実現するプログラムであって、ユーザによる所定の操作に基づいて、複数の撮影対象の少なくとも1つを含む領域を選択する選択手順と、撮像部により生成された画像データの中から、特定被写体の特定を行う特定手順と、選択手順において選択された領域内の特定被写体の特徴を示す特徴量を抽出する抽出手順と、抽出手順において抽出された特徴量が、閾値を超えたか否かを判定する判定手順と、判定手順において特徴量が閾値を超えたと判定されると、撮像部に撮像を指示する指示手順とを備え、選択手順は、複数の領域を選択する場合、ユーザによる所定の操作に基づいて複数の領域に優先順位を設定し、判定手順は、複数の領域の特徴量のうち優先順位を反映させた特徴量が閾値を超えたか否かを判定し、指示手順は、判定手順により優先順位を反映させた特徴量が閾値を超えたと判定されると、撮像部に撮像を指示する。
本実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明を行う。
図1は、本発明の実施形態における電子カメラ1の構成を示すブロック図である。
電子カメラ1は、図1に示すように、撮像部10、制御部11、画像処理部12、表示処理部13、記録部14、音声出力部15を備え、これらはバスを介して相互に接続されている。
また、電子カメラ1は、操作部20と液晶モニタ25とを備える。図1において、操作部20の出力は制御部11に接続され、液晶モニタ25には表示処理部13の出力が接続される。なお、操作部20は、不図示の電源ボタン、レリーズボタン、後述するユーザ操作にかかわる十字キーなどを含む。また、操作部20にタッチパネルを採用しても良い。
なお、本実施形態の電子カメラ1は、各種設定を自動で行ういわゆるオート撮影機能の他に、本発明の特徴である「記念写真や集合写真など複数の撮影対象を含む被写界を撮影する機能」を備える。
また、電子カメラ1は、前述した被写体の特定を行うために必要な情報および後述する特徴量の閾値を制御部11のメモリ50に予め記録する。また、電子カメラ1は、後述する被写体の注意喚起を行うために、音声情報(例えば、警告音など)を、制御部11のメモリ50に予め記録する。
次に、制御部11は、スルー画像のうち、ステップS3で認識した顔部分を中心として、被写体の特徴を示す特徴量を抽出する(ステップS4)。具体的には、制御部11は、特徴量として、目の開き具合を示す値を求める。制御部11は、まず、ステップS3で認識した顔部分の画像から、メモリ50に予め記録された顔に対する目の相対的な位置を示す情報(被写体の特定を行うために必要な情報)を読み出し、目の部分を特定する。そして、図4Aに示すように目の縦方向の長さL(1)を求める。なお、ステップS1において、領域が複数選択された場合、それぞれの領域において、ステップS3で認識された顔部分について特徴量を抽出する。
次に、図5に示すフローチャートを参照して、変形例について説明する。
なお、図5のフローチャートによって示す変形例では、ユーザは、撮影を行う際に操作部20の不図示のレリーズボタンを半押しするものとする。
制御部11は、まずメモリ50から基準画像を読み出し、スルー画像に対してパターンマッチングを行う。なお、パターンマッチングの精度はそれほど高くする必要はなく、例えば、同一の人物であると推定できる程度で良い。そして、スルー画像のうち、パターンマッチングの結果により、基準画像と同様であると推定できる部分に対して、顔認識を行う。この顔認識は、図2ステップS3で説明した顔認識と同様に行われる。なお、複数の基準画像が予め記録されている場合、それぞれの基準画像についてパターンマッチングおよび顔認識を行う。
次に、制御部11は、撮像部10を介して被写体の予備撮像を行い(ステップS14)、予備撮像により生成された画像を制御部11のメモリ50に一時記録する。
そして、制御部11は、抽出した特徴量が閾値を超えたか否かを判定する(ステップS15)。閾値は、前述したように予めメモリ50に記録されており、前述した基準画像との最低合致度の経験値が定められている。ステップS13で求めた合致度が最低合致度を超えていれば、良好な状態(表情、向きなど)であると判定できる。
そして、特徴量が閾値を超えたと判定する(ステップS15YES)と、制御部11は、ステップS17に進む。一方、特徴量が閾値を超えない場合(ステップS15NO)、制御部11は、ステップS11でレリーズボタンが半押しされてからの経過時間が、所定の限界時間αよりも長いか否かを判定する(ステップS16)。そして、経過時間が、所定の限界時間αよりも長い場合(ステップS16YES)には、制御部11は、撮影を開始するためにステップS17に進む。一方、経過時間が、所定の限界時間αよりも短い場合(ステップS16NO)には、制御部11は、ステップS13に戻り、ステップS13以降の動作を再び行う。なお、限界時間αとは、ユーザの忍耐力や心理的要素なども加味した経験値である。
次に、制御部11は、ステップS14の予備撮像およびステップS17で開始した連続的な撮影により生成された複数の画像をメモリ50から読み出し、顔認識や鮮鋭度の検出などの手法を用いて画像の評価を行って、最も評価の良い1枚の画像を記録部14に記録し(ステップS18)、一連の処理を終了する。
なお、図6のフローチャートによって示す変形例では、ユーザは、撮影を行う際にAFの対象となる領域に対して操作部20の不図示のレリーズボタンを半押しし、さらにレリーズボタンを全押しすることにより実際の撮影を開始するものとする。このようなレリーズボタンの半押し、全押しによる撮影は従来と同様の撮影手順である。また、制御部11は、後述する反応時間の予測を行う。
制御部11は、まず、最も新しく撮像されたスルー画像全体に対して被写体認識を行い、その結果に基づいて顔認識を行う。この顔認識は、図2ステップS3で説明した顔認識と同様に行われる。なお、被写体認識の負荷を軽減するため、画像内の位置を限定して(例えば、中心から80%の部分に限定して)被写体認識を行うようにしても良い。
そして、制御部11は、抽出した特徴量が閾値を超えたか否かを判定する(ステップS24)。閾値は、前述したように予めメモリ50に記録されており、顔が十分に正面を向いている場合の値の経験値が定められている。例えば、図7Cに示すように、顔が十分に正面を向いている状態の両眼の間の長さM(best)が記録されている。
そして、制御部11は、特徴量が閾値を超えたと判定する(ステップS24YES)と、ステップS25に進み、特徴量が閾値を超えない場合(ステップS24NO)、ステップS28に進む。
次に、制御部11は、操作部20の不図示のレリーズボタンが全押しされたか否かを判定する(ステップS26)。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する(ステップS26YES)と、制御部11は、撮像部10を介して撮影を開始し(ステップS27)、一連の処理を終了する。なお、ステップS22で説明した被写体認識において、複数の撮影対象が認識された場合(領域が複数選択された場合)、撮像部10は、複数の撮影対象に対応する複数の領域を焦点検出対象とした多点AFを行う。または、至近の領域を優先したAFとしたり、重み付けを行ったりしても良い。
次に、制御部11は、ステップS29で予測した反応時間が、撮影可能時間よりも短いか否かを判定する(ステップS30)。そして、予測した反応時間が、撮影可能時間よりも短い場合(ステップS30YES)には、前述したステップS27に進み、反応時間を優先して、撮像部10を介して撮影を開始する。
また、この変形例において、反応時間を予測する(ステップS29参照)際に、AF補正量を算出し、撮影を開始する(ステップS27参照)際に、このAF補正量を加味して撮影を行うようにしても良い。
また、本実施形態によれば、判定結果に応じて、被写体の注意を喚起する動作を行う。したがって、被写体の注意を喚起して撮像装置の方を向かせることが可能になるので、子供やペットなどが主要被写体である場合にも、撮影が困難な被写体の顔を撮像装置の方に向かせて、撮影を行うことができる。
なお、本実施形態では、領域の選択の方法(被写体認識、パターンマッチング、ユーザ操作など)と、特徴量の種類(目の開き具合、顔の向きなど)とが予め定められている例を示したが、領域の選択の方法および特徴量の種類を、ユーザ操作に応じて選択および変更可能にしても良い。
また、本実施形態では、特徴量の閾値が予め定められている例を示したが、以下のようにしても良い。すなわち、領域の選択の方法(被写体認識、パターンマッチング、ユーザ操作など)と、特徴量の種類(目の開き具合、顔の向きなど)との少なくとも一方に基づいて閾値を決定して判定を行うようにしても良い。このように閾値を決定すれば、被写体の特定および特徴量の抽出の難易度に応じて、適切な閾値を設定することができる。また、ユーザ操作に応じて閾値を設定可能にしても良い。
また、本実施形態の図2、図5、図6で説明した各ステップを、必要に応じて、組み合わせて実行しても良いし、順番を入れ替えて実行しても良いし、一部の処理を並行で実行しても良い。
また、本実施形態では、人を撮影対象とする例を挙げて説明を行ったが、ペットなどを撮影する場合にも、本発明を適用することができる。
また、本発明を、カメラとコンピュータとからなる撮像装置に適用し、本実施形態の電子カメラ1が行った制御の一部または全てをコンピュータで実現するようにしても良い。
10 撮像部
11 制御部
12 画像処理部
13 表示処理部
14 記録部
15 音声出力部
20 操作部
25 液晶モニタ
50 メモリ
Claims (8)
- 複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部と、
ユーザによる所定の操作に基づいて、前記複数の撮影対象の少なくとも1つを含む領域を選択する選択部と、
前記撮像部により生成された前記画像データの中から、特定被写体の特定を行う特定部と、
前記選択部により選択された領域内の前記特定被写体の特徴を示す特徴量を抽出する抽出部と、
前記抽出部により抽出された前記特徴量が、閾値を超えたか否かを判定する判定部とを備え、
前記選択部は、複数の前記領域を選択する場合、前記ユーザによる所定の操作に基づいて前記複数の領域に優先順位を設定し、
前記判定部は、前記複数の領域の前記特徴量のうち前記優先順位を反映させた特徴量が前記閾値を超えたか否かを判定し、
前記撮像部は、前記判定部により前記優先順位を反映させた特徴量が前記閾値を超えたと判定されると前記撮像を行う
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記選択部は、ユーザによる前記所定の操作に加えて、前記撮像部により生成された前記画像データに対する被写体認識と、前記撮像部により生成された前記画像データに対するパターンマッチングとの少なくとも一方に基づいて、前記被写界における、それぞれ離間した複数の領域を選択する
ことを特徴とする撮像装置。 - 請求項1または請求項2に記載の撮像装置において、
前記判定部は、前記選択部による選択の方法と、前記抽出部により抽出される前記特徴量の種類との少なくとも一方に基づいて前記閾値を決定して、前記判定を行う
ことを特徴とする撮像装置。 - 請求項1から請求項3のいずれか1項に記載の撮像装置において、
前記判定部による判定結果に応じて、前記被写体の注意を喚起する動作を行う注意喚起部をさらに備える
ことを特徴とする撮像装置。 - 請求項1から請求項4のいずれか1項に記載の撮像装置において、
前記特定部による前記特定被写体の特定が開始されてからの経過時間を所定の限界時間と比較する比較部をさらに備え、
前記撮像部は、前記比較部による比較の結果、前記経過時間が前記所定の限界時間よりも長くなると前記撮像を行う
ことを特徴とする撮像装置。 - 請求項1から請求項5のいずれか1項に記載の撮像装置において、
前記特定部は、前記特定被写体の特定を少なくとも2回行い、
前記抽出部は、前記特徴量の抽出を前記特定部が前記特定被写体の特定を行うたびに行い、
前記抽出部による前記特徴量の抽出結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備える
ことを特徴とする撮像装置。 - 請求項1から請求項6のいずれか1項に記載の撮像装置において、
前記撮像部は、前記被写体の予備撮像を、前記判定部による判定の前後に少なくとも1回ずつ行う
ことを特徴とする撮像装置。 - 複数の撮影対象を含む被写界を撮像して画像データを生成する撮像部を備えた撮像装置に対する制御をコンピュータで実現するプログラムであって、
ユーザによる所定の操作に基づいて、前記複数の撮影対象の少なくとも1つを含む領域を選択する選択手順と、
前記撮像部により生成された前記画像データの中から、特定被写体の特定を行う特定手順と、
前記選択手順において選択された領域内の前記特定被写体の特徴を示す特徴量を抽出する抽出手順と、
前記抽出手順において抽出された前記特徴量が、閾値を超えたか否かを判定する判定手順と、
前記判定手順において前記特徴量が前記閾値を超えたと判定されると、前記撮像部に前記撮像を指示する指示手順とを備え、
前記選択手順は、複数の前記領域を選択する場合、前記ユーザによる所定の操作に基づいて前記複数の領域に優先順位を設定し、
前記判定手順は、前記複数の領域の前記特徴量のうち前記優先順位を反映させた特徴量が前記閾値を超えたか否かを判定し、
前記指示手順は、前記判定手順により前記優先順位を反映させた特徴量が前記閾値を超えたと判定されると、前記撮像部に前記撮像を指示する
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004276064A JP4492273B2 (ja) | 2004-09-22 | 2004-09-22 | 撮像装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004276064A JP4492273B2 (ja) | 2004-09-22 | 2004-09-22 | 撮像装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006094059A JP2006094059A (ja) | 2006-04-06 |
JP4492273B2 true JP4492273B2 (ja) | 2010-06-30 |
Family
ID=36234608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004276064A Expired - Lifetime JP4492273B2 (ja) | 2004-09-22 | 2004-09-22 | 撮像装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4492273B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306280B2 (en) | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
JP2007282119A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラおよび画像処理装置 |
JP2007282118A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラおよび画像処理装置 |
JP5050465B2 (ja) * | 2006-09-21 | 2012-10-17 | カシオ計算機株式会社 | 撮像装置、撮影制御方法、およびプログラム |
US7817914B2 (en) * | 2007-05-30 | 2010-10-19 | Eastman Kodak Company | Camera configurable for autonomous operation |
JP2009237611A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 対象画像からの顔領域の検出 |
JP4957607B2 (ja) * | 2008-03-25 | 2012-06-20 | セイコーエプソン株式会社 | 画像における顔領域の検出 |
JP4957608B2 (ja) * | 2008-03-25 | 2012-06-20 | セイコーエプソン株式会社 | 画像における顔領域の検出 |
JP5482654B2 (ja) * | 2008-07-17 | 2014-05-07 | 日本電気株式会社 | 撮像装置、撮像方法及びプログラム |
JP5510999B2 (ja) * | 2009-11-26 | 2014-06-04 | Necカシオモバイルコミュニケーションズ株式会社 | 撮像装置及びプログラム |
JP5553598B2 (ja) * | 2009-12-25 | 2014-07-16 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP5768355B2 (ja) * | 2010-10-19 | 2015-08-26 | キヤノンマーケティングジャパン株式会社 | 撮像装置、制御方法及びプログラム |
JP6617936B2 (ja) | 2015-09-18 | 2019-12-11 | 日本電気株式会社 | 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051338A (ja) * | 1999-08-12 | 2001-02-23 | Canon Inc | カメラ |
JP2001067459A (ja) * | 1999-08-26 | 2001-03-16 | Toshiba Corp | 顔画像処理方法および顔画像処理装置 |
JP2001211377A (ja) * | 2000-01-26 | 2001-08-03 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2001346172A (ja) * | 2000-05-31 | 2001-12-14 | Mitsubishi Electric Corp | 画像伝送装置、携帯端末装置 |
JP2001357404A (ja) * | 2000-06-14 | 2001-12-26 | Minolta Co Ltd | 画像抽出装置 |
JP2002335436A (ja) * | 2001-05-08 | 2002-11-22 | Fuji Photo Film Co Ltd | カメラ |
JP2003331266A (ja) * | 2002-05-15 | 2003-11-21 | Advanced Telecommunication Research Institute International | 対話エージェント装置、対話エージェント方法および対話エージェントプログラム |
-
2004
- 2004-09-22 JP JP2004276064A patent/JP4492273B2/ja not_active Expired - Lifetime
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051338A (ja) * | 1999-08-12 | 2001-02-23 | Canon Inc | カメラ |
JP2001067459A (ja) * | 1999-08-26 | 2001-03-16 | Toshiba Corp | 顔画像処理方法および顔画像処理装置 |
JP2001211377A (ja) * | 2000-01-26 | 2001-08-03 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2001346172A (ja) * | 2000-05-31 | 2001-12-14 | Mitsubishi Electric Corp | 画像伝送装置、携帯端末装置 |
JP2001357404A (ja) * | 2000-06-14 | 2001-12-26 | Minolta Co Ltd | 画像抽出装置 |
JP2002335436A (ja) * | 2001-05-08 | 2002-11-22 | Fuji Photo Film Co Ltd | カメラ |
JP2003331266A (ja) * | 2002-05-15 | 2003-11-21 | Advanced Telecommunication Research Institute International | 対話エージェント装置、対話エージェント方法および対話エージェントプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2006094059A (ja) | 2006-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4656331B2 (ja) | 撮像装置および撮像方法 | |
US7430369B2 (en) | Image capture apparatus and control method therefor | |
JP4761146B2 (ja) | 撮像装置及びそのプログラム | |
TWI393434B (zh) | 攝像裝置及程式儲存記憶媒體 | |
JP4605039B2 (ja) | 自動撮影方法及び自動撮影装置並びに自動撮影プログラム | |
JP2008054295A (ja) | 撮影装置および方法並びにプログラム | |
JP5030022B2 (ja) | 撮像装置及びそのプログラム | |
JP4492273B2 (ja) | 撮像装置およびプログラム | |
JP5027580B2 (ja) | 撮影装置および方法並びにプログラム | |
JP4853707B2 (ja) | 撮像装置及びそのプログラム | |
JP2006145629A (ja) | 撮像装置 | |
JP5073602B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2009157123A (ja) | 撮像装置 | |
JP4998122B2 (ja) | 撮像装置及びそのプログラム | |
JP2006163496A (ja) | 画像記録装置、画像記録方法及び画像記録プログラム | |
JP4560805B2 (ja) | 撮像装置及びそのプログラム | |
JP4442343B2 (ja) | 撮像装置およびプログラム | |
JP5633239B2 (ja) | 撮影装置及び画像処理プログラム | |
JP2010028605A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2007208355A (ja) | 撮影装置および方法並びにプログラム | |
JP5423284B2 (ja) | 撮像装置 | |
JP2005318084A (ja) | 撮影装置 | |
JP2011155692A (ja) | 撮像装置及びそのプログラム | |
JP4120690B2 (ja) | 静止画撮像装置及び静止が撮像装置における静止画像撮像方法 | |
JP4915264B2 (ja) | 撮像装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4492273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |