JP4538386B2 - 対象画像記録装置および撮像装置ならびにそれらの制御方法 - Google Patents

対象画像記録装置および撮像装置ならびにそれらの制御方法 Download PDF

Info

Publication number
JP4538386B2
JP4538386B2 JP2005196979A JP2005196979A JP4538386B2 JP 4538386 B2 JP4538386 B2 JP 4538386B2 JP 2005196979 A JP2005196979 A JP 2005196979A JP 2005196979 A JP2005196979 A JP 2005196979A JP 4538386 B2 JP4538386 B2 JP 4538386B2
Authority
JP
Japan
Prior art keywords
thumbnail
image data
target image
original image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005196979A
Other languages
English (en)
Other versions
JP2007019678A5 (ja
JP2007019678A (ja
Inventor
雅也 田丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005196979A priority Critical patent/JP4538386B2/ja
Priority to US11/480,468 priority patent/US7835550B2/en
Publication of JP2007019678A publication Critical patent/JP2007019678A/ja
Publication of JP2007019678A5 publication Critical patent/JP2007019678A5/ja
Application granted granted Critical
Publication of JP4538386B2 publication Critical patent/JP4538386B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

この発明は,顔画像記録装置および撮像装置ならびにそれらの制御方法に関する。
ディジタル・スチル・カメラを用いて被写体を撮像することにより,被写体像を表す画像データが画像ファイルに格納されてメモリ・カードなどの記録媒体に記録される。画像ファイルには,撮像によって得られた被写体像を表す画像データのほかにサムネイル画像データが格納されている。しかしながら,サムネイル画像データによって表されるサムネイル画像は小さいためにその内容を把握することは難しい。
一方,顔の画像を切り出すもの(特許文献1,2),主画像の中の定規などの注目部位を副画像として抽出するものもある。
特開平10−33413号公報 特開2003−92726号公報 特開2001−45257号公報
しかしながら,元画像である被写体像から切り出された顔の画像と,その元画像とを関連づけて顔の画像を記録することは考えられていない。
この発明は,元画像と関連づけて顔の画像を記録できるようにすることを目的とする。
第1の発明による顔画像記録装置は,第1の記録媒体に記録されている元画像データを読み取る読み取り手段,上記読み取り手段によって読み取られた上記元画像データによって表される元画像に含まれる顔の画像を検出する顔画像検出手段,上記顔画像検出手段によって検出された顔の画像を抽出する顔画像抽出手段,および上記顔画像抽出手段によって抽出された顔の画像を表す顔画像データを上記元画像データと関連づけて第2の記録媒体に記録する記録制御手段を備えていることを特徴とする。
第1の発明は,上記顔画像記録装置に適した制御方法も提供している。すなわち,この方法は,第1の記録媒体に記録されている元画像データを読み取り,読み取られた上記元画像データによって表される元画像に含まれる顔の画像を検出し,検出された顔の画像を抽出し,抽出された顔の画像を表す顔画像データを上記元画像データと関連づけて第2の記録媒体に記録するものである。
第1の発明は上記方法を実現するためのプログラムも提供している。
第1の発明によると,第1の記録媒体に記録されている元画像データが読み取られる。読み取られた元画像データによって表される元画像から顔の画像が検出され,検出された顔の画像が抽出される。抽出された顔の画像を表す画像データが元画像データに関連づけて第2の記録媒体に記録される。
第1の発明によると,元画像に含まれる顔画像を表す顔画像データを,元画像データに関連づけて記録媒体に記録することができる。顔画像を見て元画像に誰の顔が写っているかを確認できる。
元画像データが記録されている第1の記録媒体と顔画像データが記録される第2の記録媒体とは同じものでもよい。
上記顔画像抽出手段によって抽出された顔の画像が複数かどうかを判定する判定手段をさらに備えてもよい。この場合,上記記録制御手段は,上記判定手段によって複数の顔の画像が抽出されたことに応じてそれらの複数の顔の画像を別々の駒として表す顔画像データを上記第2の記録媒体に記録するものとなろう。元画像に複数の顔の画像が含まれていた場合であっても,それぞれが別の駒として顔の画像を表すデータを第2の記録媒体に記録できる。
上記顔画像抽出手段によって抽出された顔の画像のリサイズ,明るさ補正,色補正,シャープネス補正およびノイズ低減処理の少なくとも一つの画像処理を行う顔画像処理手段をさらに備えることが好ましい。この場合には,上記記録制御手段は,上記顔画像処理手段による処理が行われた顔の画像を表す顔画像データを上記第2の記録媒体に記録するものとなろう。
上記元画像データは,元画像ファイルに格納されて上記第1の記録媒体に記録されており,上記顔画像データは,上記元画像ファイルとは異なる顔画像ファイルに格納されて上記第2の記録媒体に記録されるものでもよい。
上記第1の記録媒体と上記第2の記録媒体とが同じ記録媒体の場合には,上記元画像データは,サムネイル画像データ記録領域および元画像データ記録領域がそれぞれ定められている元画像ファイルの上記元画像データ記録領域に記録されているものでもよい。この場合,上記顔画像抽出手段によって抽出された顔の画像のサムネイル画像を表すサムネイル顔画像データを生成するサムネイル顔画像データ生成手段をさらに備え,上記顔画像データ記録制御手段は,上記サムネイル顔画像データ生成手段によって生成されたサムネイル顔画像データを上記サムネイル画像データ記録領域に記録するものとなろう。
上記サムネイル画像データ記録領域がサムネイル元画像データ記録領域とサムネイル顔画像データ記録領域とに分かれている場合には,上記サムネイル元画像データが上記サムネイル元画像データ記録領域に記録され,上記サムネイル顔画像データが上記サムネイル顔画像データ記録領域に記録されるものでもよい。
上記サムネイル元画像データ記録領域に記録されているサムネイル元画像データおよび上記サムネイル顔画像データ記録領域に記録されているサムネイル顔画像データを読み取る読み取り手段,ならびに上記読み取り手段によって読み取られた上記サムネイル元画像データによって表されるサムネイル元画像と上記サムネイル顔画像データによって表されるサムネイル顔画像とを同一画面上に表示するように表示装置を制御する表示制御手段をさらに備えてもよい。顔の画像のサムネイル画像と被写体像全体のサムネイル画像とを表示できる。
上記第1の記録媒体に記録されている上記元画像データおよび上記第2の記録媒体に記録されている上記顔画像データを読み取る読み取り手段,および上記読み取り手段によって読み取られた上記元画像データによって表される元画像と上記顔画像データによって表される顔画像とを同一画面上に表示するように表示装置を制御する第1の表示制御手段をさらに備えてもよい。
上記表示装置に表示された顔画像を指定する顔画像指定手段,および上記表示装置に表示された元画像のうち上記顔画像指定手段によって指定された顔画像の部分を明示するように上記表示装置を制御する第2の表示制御手段をさらに備えてもよい。
上記第1の表示制御手段は,上記読み取り手段によって読み取られた上記元画像データによって表される元画像の大きさと上記顔画像データによって表される顔画像の大きさとが同じ大きさとなるように,元画像と顔画像とを同一画面上に表示するように表示装置を制御するものでもよい。
また,上記第1の表示制御手段は,上記読み取り手段によって読み取られた上記元画像データによって表される元画像と上記顔画像データによって表される顔画像とを対応して同一画面上に表示するように表示装置を制御するものでもよい。この場合,上記第1の表示制御手段による制御のもとに同一画面上に表示される元画像と顔画像とを出力する出力装置(プリントするプリンタ)を備える。
第2の発明による撮像装置は,被写体を撮像し,被写体像を表す元画像データを出力する撮像手段,上記撮像手段から出力された上記元画像データによって表される元画像に含まれる顔の画像を検出する顔画像検出手段,上記顔画像検出手段によって検出された顔の画像を抽出する顔画像抽出手段,上記撮像手段から出力された上記元画像データによって表される元画像のサムネイル画像データを生成するサムネイル元画像データ生成手段,上記顔画像抽出手段によって抽出された顔画像のサムネイル画像を表すサムネイル顔画像データを生成するサムネイル顔画像データ生成手段,ならびに上記サムネイル元画像データ生成手段によって生成されたサムネイル元画像データ,上記サムネイル顔画像データ生成手段によって生成されたサムネイル顔画像データおよび上記撮像手段から出力された元画像データを一つの元画像ファイルに格納して記録媒体に記録する記録制御手段を備えていることを特徴とする。
第2の発明は上記撮像装置に適した制御方法も提供している。すなわち,被写体を撮像し,被写体像を表す元画像データを得,得られた上記元画像データによって表される元画像に含まれる顔の画像を検出し,検出された顔の画像を抽出し,撮像によって得られた上記元画像データによって表される元画像のサムネイル画像データを生成し,抽出された顔画像のサムネイル画像を表すサムネイル顔画像データを生成し,生成されたサムネイル元画像データ,生成されたサムネイル顔画像データおよび撮像によって得られた元画像データを一つの元画像ファイルに格納して記録媒体に記録するものである。
第2の発明は上記方法を実現するためのプログラムも提供している。
第2の発明によると,被写体を撮像し,被写体像を表す元画像データが得られる。得られた元画像データによって表される元画像の中から顔の画像が検出され,検出された顔の画像が元画像から抽出される。元画像のサムネイル画像データおよび顔画像のサムネイル画像データがそれぞれ生成される。生成されたサムネイル元画像データおよびサムネイル顔画像データならびに撮像によって得られた元画像データが一つの元画像ファイルに格納されて記録媒体に記録される。
第2の発明によると,元画像データ,サムネイル元画像データおよびサムネイル顔画像データを一つの元画像ファイルに格納できるので,元画像,サムネイル元画像およびサムネイル顔画像のいずれも表示することができるようになる。サムネイル元画像からでは顔の画像を確認しづらい場合にはサムネイル顔画像を見ることにより元画像に含まれている顔の画像を比較的簡単に確認できるようになる。
第3の発明による対象画像記録装置は,第1の記録媒体に記録されている元画像データを読み取る読み取り手段,上記読み取り手段によって読み取られた上記元画像データによって表される元画像から,所定の対象画像を検出する対象画像検出手段,上記対象画像検出手段によって検出された対象画像を抽出する対象画像抽出手段,および上記対象画像抽出手段によって抽出された対象画像を表す対象画像データを上記元画像データと関連づけて第2の記録媒体に記録する記録制御手段を備えていることを特徴とする。
第3の発明は,上記装置に適した制御方法も提供している。すなわち,第1の記録媒体に記録されている元画像データを読み取り,読み取られた上記元画像データによって表される元画像から,所定の対象画像を検出し,検出された対象画像を抽出し,抽出された対象画像を表す対象画像データを上記元画像データと関連づけて第2の記録媒体に記録するものである。
第3の発明も,上記方法を実現するためのプログラムを提供している。
第3の発明によると,第1の記録媒体に記録されている元画像データが読み取られる。読み取られた元画像データによって表される元画像から,所定の対象画像が検出され,検出された対象画像が抽出される。抽出された対象画像を表す画像データが元画像データに関連付けられて第2の記録媒体(第1の記録媒体と同じでもよい)に記録される。
第3の発明によると,元画像に含まれる対象画像を表す対象画像データを,元画像データに関連づけて記録媒体に記録することができる。
第4の発明による撮像装置は,被写体を撮像し,被写体像を表す元画像データを出力する撮像手段,上記撮像手段から出力された上記元画像データによって表される元画像から,所定の対象画像を検出する対象画像検出手段,上記対象画像検出手段によって検出された対象画像を抽出する対象画像抽出手段,上記撮像手段から出力された上記元画像データによって表される元画像のサムネイル画像データを生成するサムネイル元画像データ生成手段,上記対象画像抽出手段によって抽出された対象画像のサムネイル画像を表すサムネイル対象画像データを生成するサムネイル対象画像データ生成手段,ならびに上記サムネイル元画像データ生成手段によって生成されたサムネイル元画像データ,上記サムネイル対象画像データ生成手段によって生成されたサムネイル対象画像データおよび上記撮像手段から出力された元画像データを一つの元画像ファイルに格納して記録媒体に記録する記録制御手段を備えていることを特徴とする。
第4の発明は,上記装置に適した方法も提供している。すなわち,被写体を撮像し,被写体像を表す元画像データを得,得られた上記元画像データによって表される元画像から,対象画像を検出し,検出された対象画像を抽出し,撮像によって得られた上記元画像データによって表される元画像のサムネイル画像データを生成し,抽出された対象画像のサムネイル画像を表すサムネイル対象画像データを生成し,生成されたサムネイル元画像データ,生成されたサムネイル対象画像データおよび撮像によって得られた元画像データを一つの元画像ファイルに格納して記録媒体に記録するものである。
第4の発明も上記方法を実現するためのプログラムを提供している。
第4の発明によると,被写体を撮像し,被写体像を表す元画像データが得られる。得られた元画像データによって表される元画像の中から所定の対象画像が検出され,検出された対象画像が元画像から抽出される。元画像のサムネイル画像データおよび対象画像のサムネイル画像データがそれぞれ生成される。生成されたサムネイル元画像データおよびサムネイル対象画像データならびに撮像によって得られた元画像データが一つの元画像ファイルに格納されて記録媒体に記録される。
第4の発明によると,元画像データ,サムネイル元画像データおよびサムネイル対象画像データを一つの元画像ファイルに格納できるので,元画像,サムネイル元画像およびサムネイル対象画像のいずれも表示することができるようになる。サムネイル元画像からでは対象画像を確認しづらい場合にはサムネイル対象画像を見ることにより元画像に含まれている対象画像を比較的簡単に確認できるようになる。
図1は,顔画像記録装置の電気的構成を示すブロック図である。
顔画像記録装置の全体の動作は,CPU1によって統括される。
顔画像記録装置には,操作装置2が設けられており,この操作装置2から出力される操作信号が顔画像記録装置に与えられる。
メモリ・カード9には,被写体像(元画像)を表す元画像データが記録されている。この元画像データは,一のメモリ制御回路8の制御によりメモリ・カード9から読み取られ,他のメモリ制御回路3を介してメイン・メモリ(後述する動作を行うプログラムも格納されている)4に与えられ,一時的に記憶される。
元画像データがメイン・メモリ4から読み出され,顔検出回路6に入力することにより,元画像に顔の画像が含まれている場合に,その顔画像の検出および抽出が行われて顔画像データが得られる。顔画像データは,ディジタル信号処理回路5に与えられ,所定のディジタル信号処理が行われる。ディジタル信号処理回路5における信号処理について詳しくは後述する。ディジタル信号処理回路5から出力された顔画像データが一のメモリ制御回路8によってメモリ・カード9に記録される。元画像データが記録されているメモリ・カード9と顔画像データが記録されるメモリ・カード9とは異なるものでもよい。
顔画像記録装置には,圧縮/伸張処理回路7も設けられており,画像データの圧縮および圧縮されている画像データの伸張を行うことができる。また,顔画像記録装置には,表示装置11も設けられている。元画像データまたは顔画像データが表示制御回路10に与えられることにより,表示制御回路10によって表示装置10の表示画面上に元画像または顔画像(もちろん,両方の画像が表示されていてもよい)が表示される。
さらに,顔画像記録装置には出力制御回路12が設けられている。この出力制御回路12によって元画像データ,顔画像データなどを顔画像記録装置の外部に出力することができる。出力制御回路12とプリンタとを接続することにより,元画像,顔画像などをプリントできる。
図2は,ディジタル信号処理回路5の電気的構成を示すブロック図である。このディジタル信号処理回路5において顔画像に適した補正処理が行われる。
ディジタル信号処理回路5に入力する顔画像データは,輝度データYと色差データCとから構成されている。これらの輝度データYおよび色差データCがリサイズ回路21に与えられることにより,抽出された顔画像の大きさが所定の大きさとなるようにリサイズ処理される。リサイズ処理された輝度データYおよび色差データCは,YC-RGB変換回路22においてRデータ,GデータおよびBデータに変換される。変換されたRデータ,GデータおよびBデータがゲイン補正回路23においてゲイン補正されて階調補正回路24に入力する。顔画像を表すRデータ,GデータおよびBデータは,顔の色が比較的きれいな顔に見えるように階調補正が行われる。
階調補正されたRデータ,GデータおよびBデータがRGB-YC変換回路25において輝度データYおよび色差データCに戻される。輝度データYおよび色差データCがノイズ低減回路26においてノイズ低減処理される。ノイズ低減回路26から出力される輝度データYは輪郭補正回路27において輪郭補正処理が行われてディジタル信号処理回路5から出力される。ノイズ低減回路26から出力された色差データCは,色差マトリクス28において色補正が行われてディジタル信号処理回路5から出力される。
図3は,顔画像記録装置の処理手順を示すフローチャートである。
この処理手順は,メモリ・カード9に記録されている元画像データによって表される元画像から顔の画像を抽出し,顔の画像を表す顔画像データをメモリ・カード9に記録するものである。
上述のようにメモリ・カード9に記録されている元画像データがメモリ制御回路8によって読み取られ(ステップ31)。読み取られた元画像データが顔検出回路6に与えられることにより,元画像に含まれている顔の画像を検出する処理が行われる(ステップ32)。
顔の画像が検出されると(ステップ33でYES),その検出された顔の画像が抽出されるように所定の大きさにトリミングされる(ステップ34)。この抽出処理は,元画像データをメイン・メモリ4に記憶し,検出された顔の画像を含む所定の領域内の画像をメイン・メモリ4から読み取るようにして実現できる。
トリミングにより得られた顔の画像を表す顔画像データについては,上述のようにリサイズ(ステップ35),明るさ補正(ゲイン補正)(ステップ36),色補正(ステップ37),ノイズ低減処理(ステップ38)およびシャープネス補正(輪郭補正)(ステップ39)が行われる。これらの補正等が行われた顔画像データがメモリ・カード9に記録されることとなる(ステップ40)。
元画像から顔の画像が検出されなくなるまで(ステップ33でNO),上述した補正等の処理(ステップ34〜40)が繰り返される。したがって,元画像に複数の顔の画像があった場合には,それぞれの顔の画像データがメモリ・カード9に記録されることとなる。
図4および図5は元画像の一例を,図6(A),(B),(C)は抽出された顔画像の一例を示している。
メモリ・カード9から元画像データが読み取られ,元画像データによって表される元画像50が得られる(図4参照)。このような元画像50から顔の画像が検出される。図5を参照して,元画像の中には,顔の画像51,52および53が含まれており,これらの顔の画像51,52および53が検出されることとなる。検出された顔の画像51,52および53が,図6(A),(B)および(C)に示すようにそれぞれが一駒の画像55,56および57として抽出される。
図7は,元画像データが格納されている元画像ファイルのファイル構造(データ構造)の一例である。
元画像ファイルには,撮影時情報記録領域61,サムネイル記録領域62および画像データ記録領域63が含まれている。
画像データ記録領域63には,元画像データが記録されている。撮影時情報記録領域61には,元画像データが得られたときの撮影時の情報(撮影日,シャッタ速度,絞り値など)が記録されている。サムネイル記録領域62には,元画像のサムネイル画像を表すサムネイル元画像データが記録されている。
元画像ファイルの画像データ記録領域63に記録されている元画像データが読み取られることにより,上述したように,元画像データによって表される元画像から顔画像を抽出することができる。
図8は,顔画像データが格納されている顔画像ファイルのファイル構造の一例である。顔画像ファイルは元画像ファイルにもとづいて生成される。
元画像ファイルと同様に顔画像ファイルには,撮影時情報記録領域61,サムネイル記録領域62および画像データ記録領域63のほかに関連情報記録領域64が規定されている。
画像データ記録領域63には,上述のようにして抽出された顔画像を表す画像データが記録される。サムネイル記録領域62には,顔画像のサムネイル画像を表すサムネイル顔画像データが記録される。このサムネイル顔画像データはCPU1によって生成される。撮影時情報記録領域61には,元画像ファイルに記録されている撮影時情報が記録される。関連情報記録領域64には,元画像ファイルと関連づけるための元画像ファイルのファイル名,顔画像についての所定の情報などが記録される。
このような顔画像ファイルが,検出された顔画像の個数に対応して生成され,上述のようにしてメモリ・カード9に記録される。
上述した実施例においては,元画像ファイルと顔画像ファイルとは別々のものであり,元画像ファイルと顔画像ファイルとの両方のファイルがメモリ・カード9に記録されているが,元画像ファイルを消去して顔画像ファイルだけをメモリ・カード9に記録するようにしてもよい。
図9は,顔画像記録装置の他の処理手順を示すフローチャートである。
この処理手順は,顔画像のサムネイル画像を表すデータが元画像ファイルのサムネイル記録領域に記録されるものである。
上述のようにメモリ・カード9から元画像データが読み取られ(ステップ71),元画像から顔の画像が検出される(ステップ72)。顔の画像が検出されると(ステップ73でYES),顔の画像のトリミング(ステップ74)およびリサイズ(ステップ75)が行われる。
得られた顔の画像を表す画像データから顔の画像のサムネイル画像を表すサムネイル顔画像データが生成される(ステップ76)。元画像の中から顔の画像が検出されなくなると(ステップ73でNO),生成されたサムネイル顔画像データが元画像ファイルのサムネイル記録領域に格納されてメモリ・カード9に記録される(ステップ77)。
図10は元画像ファイルの他のファイル構造の一例である。
元画像ファイルには,上述した撮影時情報記録領域61,サムネイル記録領域62および画像データ記録領域63が規定されている。
画像データ記録領域63には,元画像データが記録されており,撮影情報記録領域61には,元画像データが得られたときの撮影時の情報が記録されている。
サムネイル記録領域62は,4つのサムネイル記録領域65,66,67および68が規定されている。第1のサムネイル記録領域65は,サムネイル元画像データが記録されている。第2から第4のサムネイル記録領域66から68は,画像データ記録領域63に記録されている元画像データによって表される元画像から抽出された顔画像のサムネイル画像を表すサムネイル顔画像データがそれぞれ記録されている。
図4から図6(A),(B),(C)に示したように元画像50の中に3つの顔画像51,52,53が含まれている場合には,これらの3つの顔画像51(55),52(56),53(57)のサムネイル顔画像データが,それぞれの領域65,66,67に記録されていることとなる。
このように,サムネイル記録領域にサムネイル元画像データとサムネイル顔画像データとの両方の画像データを記録するようにしてもよい。もっとも,サムネイル元画像データを記録せずにサムネイル顔画像データのみをサムネイル記録領域62に記録するようにしてもよい。その場合には,画像データ記録領域に記録されている元画像データによって表される元画像のサムネイル画像が顔のサムネイル画像となる。
図11および図12は,他の実施例を示すものである。
図11は,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
ディジタル・スチル・カメラの全体の動作は,CPU89によって統括される。
二段ストローク・タイプのシャッタ・レリーズ・ボタン,モード・スイッチなどを含む操作装置84から出力される操作信号は,ディジタル・スチル・カメラに入力する。ディジタル・スチル・カメラには,ストロボ発光装置81およびこのストロボ発光装置81が被写体を照射することにより,被写体からの反射光を受光する受光装置82も設けられている。受光装置82からの受光信号が一定となるように発光装置81が制御される。
撮像レンズ71のレンズ位置および絞り72の絞り値は,レンズ駆動回路78および絞り制御回路79によって制御される。被写体像を表す光線は,撮像レンズ71によって集光され,絞り72,Irカット・フィルタ73および光学ロウ・パス・フィルタ73を介してCCD75に入射する。CCD75は撮像素子駆動回路80によって制御され,CCD75から被写体像を表す映像信号が出力される。
映像信号は,アナログ信号処理回路76において白バランス調整,ガンマ補正などの所定のアナログ信号処理が行われてアナログ/ディジタル変換回路77に入力する。アナログ/ディジタル変換回路77において,アナログ映像信号がディジタル画像データに変換される。
ディジタル画像データは,メモリ制御回路91によってメイン・メモリ92に一時的に記憶される。画像データは,メイン・メモリ92から読み取られ,ディジタル信号処理回路93において所定のディジタル信号処理が行われる。信号処理された画像データは,表示制御回路99によって表示装置100に与えられることにより,表示画面上に表示される。
シャッタ・レリーズ・ボタンの第一段階の押下があると,上述のようにアナログ/ディジタル変換回路77から出力された画像データは,積算回路95に与えられ積算される。得られた積算値にもとづいて,適正な露光量となるように絞り72およびシャッタ速度が決定される。
シャッタ・レリーズ・ボタンの第二段階の押下があると,上述のようにメイン・メモリ92に一時的に記憶された画像データが読み取られ,圧縮/伸張回路94に与えられ,圧縮される。圧縮された画像データがメモリ制御回路97によってメモリ・カード98に記録される(元画像データの記録)。
ディジタル・スチル・カメラにも顔検出回路96が設けられており,メイン・メモリ92に一時的に記憶されている画像データ(元画像データ)から顔画像を表す顔画像データを抽出することができる。また,上述したのと同様に,メイン・メモリ92からの読み出しの仕方によりサムネイル元画像データおよびサムネイル顔画像データのいずれも生成できる。生成されたサムネイル元画像データおよびサムネイル顔画像データをメモリ・カード98に記録できる。
図12は,ディジタル・スチル・カメラの処理手順を示すフローチャートである。この処理は,被写体を撮像して得られた元画像データ,元画像のサムネイル画像を表すサムネイル元画像データおよび顔画像のサムネイル画像を表すサムネイル顔画像データを一つのファイルに格納するものである。
被写体を撮像することにより,被写体像を表す元画像データが得られる(ステップ111)。得られた元画像データのディジタル信号処理が行われ(ステップ112),元画像の中から顔画像の検出処理が行われる(ステップ113)。顔画像が検出されると(ステップ114でYES),検出された顔画像がトリミングにより抽出される(ステップ115)。トリミングにより得られた顔画像が縮小処理され,サムネイル顔画像が生成される(ステップ116)。元画像の中に顔の画像が検出されなくなるまでステップ114〜116の処理が繰り返される。
顔の画像が検出されなくなると(ステップ114でNO),元画像のサムネイル画像が生成される(ステップ117)。得られた元画像データ,サムネイル元画像データおよびサムネイル顔画像データが図10に示すように一つの元画像ファイルの中に格納されて,メモリ・カードに記録される(ステップ118)。
図13は,再生処理手順を示すフローチャートである。この再生処理は,図1に示す顔画像記録装置および図11に示すディジタル・スチル・カメラのいずれにも適用できるもので,元画像とサムネイル顔画像とが表示されるものである。
メモリ・カードには元画像データおよびサムネイル顔画像データが記録されている。これらの元画像データおよびサムネイル顔画像データがメモリ・カードから読み取られる(ステップ121,122)。
読み取られた元画像によって表される元画像およびサムネイル顔画像データによって表されるサムネイル顔画像がそれぞれ表示される(ステップ123,124)。
図14は,表示装置に表示される画像の一例である。
表示装置の表示画面には,画像表示ウインドウ130が表示される。この画像表示ウインドウ130には,その左側に元画像表示領域131が形成され,右側に顔画像表示領域132が形成されている。
元画像表示領域131は,画像表示ウインドウ130の領域のほぼ全体の領域を網羅しており,元画像140がその領域131の全体に渡って表示されている。また,元画像140の左上には,元画像140のファイル名(DSCF0001.JPG)も表示されている。顔画像表示領域132には,元画像140から抽出された顔画像のサムネイル顔画像141,142および143が表示されている。
このように顔画像表示領域132には,元画像の顔画像のサムネイル画像が表示されるので,サムネイル画像の大きさが小さくてもサムネイル顔画像によって顔を確認できる。
元画像がいわゆる集合写真などの場合には,元画像の中に含まれる顔の画像が多く,顔画像のサムネイル画像を表示してもその顔画像のサムネイル画像に対応する顔画像が元画像のどの部分なのかわかりにくい場合がある。そのような場合には,ユーザによって顔画像のサムネイルが選択されたことに応じて,元画像のうち対応する顔画像の部分を枠で囲むようにするとよい。この場合,顔画像ファイルには,元画像のどこの部分かを示す位置情報が記憶されているのはいうまでもない。
図15および図16は,他の再生処理を示すものである。
図15は,再生処理手順を示すフローチャートである。
この再生処理は,サムネイル元画像とサムネイル顔画像とが表示されるものである。
メモリ・カードには,元画像データ,サムネイル元画像データおよびサムネイル顔画像データが記録されている。メモリ・カードからこれらの元画像データ,サムネイル元画像データおよびサムネイル顔画像データが読み取られる(ステップ151,152,153)。
読み取られたサムネイル元画像データが再生され,元画像のサムネイルが表示される(ステップ154)。また,読み取られたサムネイル顔画像データが再生され,顔画像のサムネイルが表示される(ステップ155)。元画像のサムネイルと顔画像のサムネイルとが同一の表示画面に表示される。ユーザからのプリント指令が与えられると(ステップ156でYES),同一画面に表示されている元画像のサムネイルと顔画像のサムネイルとがプリントされる(ステップ157)。
図16は,表示装置の表示画面に表示される画像の一例である。
表示装置の表示画面には,画像表示ウインドウ160が表示される。この画像表示ウインドウ160には,左側に元画像サムネイル表示領域161が形成されており,右側に顔画像サムネイル表示領域162が形成されている。
元画像サムネイル表示領域161には,元画像のサムネイル画像170,180,190などが一列に表示されている。顔画像サムネイル表示領域162には,顔画像のサムネイル画像171,172,173,181,182,191,192,193,194などが,元画像のサムネイル画像に対応した行に表示されている。たとえば,顔画像のサムネイル171,172,173は,元画像サムネイル170の元画像から抽出して得られたものであり,元画像サムネイル170の行と同じ行に表示されている。その他の顔画像のサムネイル181,182は,元画像のサムネイル180の行と同じ行に,顔画像のサムネイル191,192,193,194は,元画像のサムネイル190の行と同じ行に表示されている。
元画像サムネイル表示領域161と顔画像のサムネイル表示領域162との間にはユーザの操作に応じて上下に移動するスライドバー201が形成されている。スライドバー201の上下に応じて,元画像サムネイル表示領域161と顔画像のサムネイル表示領域162が上下にスクロールする。また,顔画像のサムネイル表示領域162の下側にはユーザの操作に応じて左右に移動するスライドバー202が形成されている。スライドバー202の移動に応じて顔画像のサムネイル表示領域162が左右にスクロールする。
これらのサムネイル画像170〜173,180〜182,190〜194がユーザによってクリックされると,対応する元画像が表示装置の表示画面上に表示される。元画像が表示される領域は,表示ウインドウ160内でもよいし,表示ウインドウ160上でもよいし,表示ウインドウ160が表示されている領域とは別の領域でもよい。上述したように,プリント指令が与えられることによりサムネイル画像170〜173,180〜182,190〜194を含む表示ウインドウ160がプリントされる。
元画像から抽出された顔画像の大きさは,それぞれ異なることが多いが,抽出された顔画像から生成される顔画像のサムネイルの大きさが一定となるように,顔画像のサムネイルの大きさが定まっていることが好ましい。多数の顔画像のサムネイル画像が整然と表示される。また顔画像のサムネイルの大きさと元画像のサムネイルの大きさとを同じにしてもよい。サムネイルの大きさを同じにするためには,必要に応じて,拡大または縮小処理がCPU1によって実行されるのはいうまでもない。また,顔画像のサムネイルのアスペクト比と元画像のサムネイル画像のアスペクト比とが同じとなるようにそれぞれのサムネイル画像を決定してもよい。比較的きれいに表示されるようになる。
上述した実施例において,元画像ファイルとこの元画像ファイルに対応する顔画像ファイルが同じメモリ・カードに記録される場合には,元画像ファイルのファイル名と顔画像ファイルのファイル名とは,一部が一致することが好ましい。たとえば,元画像ファイルのファイル名がDSCF0001.JPGであった場合には顔画像ファイルのファイル名をFACE0001.JPGとする。ファイル名の一部が一致しているので,顔画像ファイルから元画像ファイルを見つける場合または,その逆の場合に比較的容易となる。
また,元画像が集合写真のように多数の顔の画像が検出されるようなものにおいては,顔画像のデータ量が多くなってしまうので,メモリ・カードの残容量がなくなり記録できなくなることもあり得る。このような場合には,記録できなくなったときに,顔画像データの記録を中断して,ユーザに警告するようにしてもよい。また,検出された多数の顔の画像のすべてを記録するのではなく,優先順位(検出された顔の画像の大きい順,小さい順,中央に近い順,適正な明るさを持つ順)にしたがって所定の数の顔の画像をメモリ・カードに記録するようにしてもよい。さらに,その優先順位をユーザが指定できるようにしてもよい。
上述した実施例においては,元画像から顔の画像を抽出するものであったが,顔の画像に限らず,人物像全体,動物その他所望の対象画像を検出して,上述のようにメモリ・カードに記録するようにしてもよい。対象画像を表す画像データをメモリ・カードに記録する場合には,対象画像を検出するためのサンプル画像などがあらかじめメイン・メモリ4などに記録されているのはいうまでもない。
顔画像記録装置の電気的構成を示すブロック図である。 ディジタル信号処理回路の電気的構成を示すブロック図である。 顔画像記録装置の処理手順を示すフローチャートである。 元画像の一例である。 元画像の一例である。 (A)〜(C)は顔画像の一例である。 元画像ファイルの一例である。 顔画像ファイルの一例である。 顔画像記録装置の処理手順を示すフローチャートである。 元画像ファイルの一例である。 ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 表示装置に表示されるウインドウの一例である。 再生処理手順を示すフローチャートである。 表示装置に表示されるウインドウの一例である。
符号の説明
1,89 CPU
3,8,91,97 メモリ制御回路
5,93 ディジタル信号処理回路
6,96 顔検出回路
9,98 メモリ・カード
50 元画像
55〜57,141〜143,171〜173,181,182,191〜194 顔画像(サムネイル顔画像)
170,180,190 サムネイル元画像

Claims (3)

  1. 元画像データによって表される元画像に含まれる所定の対象画像を検出する対象画像検出手段,
    上記対象画像検出手段によって検出された対象画像を上記元画像から抽出する対象画像抽出手段,
    上記対象画像検出手段による対象画像の検出を対象画像が検出されなくなるまで繰り返し,上記対象画像抽出手段による対象画像の抽出を検出されたすべての対象画像について繰り返すよう制御する繰り返し制御手段,
    上記対象画像抽出手段によって抽出された対象画像のそれぞれについてサムネイル画像を表すサムネイル対象画像データを生成するサムネイル対象画像データ生成手段,
    上記対象画像抽出手段によって抽出された対象画像を表す対象画像データ,および上記サムネイル対象画像データ生成手段によって生成されたサムネイル対象画像データを上記元画像データと関連づけて記録媒体に記録する記録制御手段,ならびに
    上記元画像データおよび当該元画像に含まれるものとして抽出されたすべての対象画像のサムネイル対象画像データを上記記録媒体から読み取り,これらの画像データによって表される元画像およびすべてのサムネイル対象画像をそれぞれ表示装置の元画像表示領域および対象画像表示領域に表示するように制御する再生処理手段を備え,
    上記再生処理手段が,上記対象画像表示領域に表示されたサムネイル対象画像が選択されたことに応じて,元画像において,選択されたサムネイル対象画像に対応する対象画像を枠で囲んで表示するものである,
    対象画像記録装置。
  2. 元画像データによって表される元画像に含まれる所定の対象画像の検出を対象画像が検出されなくなるまで繰り返し,
    検出されたすべての対象画像を上記元画像から抽出し,
    抽出された対象画像のそれぞれについてサムネイル画像を表すサムネイル対象画像データを生成し,
    抽出された対象画像を表す対象画像データ,および生成されたサムネイル対象画像データを上記元画像データと関連付けて記録媒体に記録し,
    上記元画像データおよび当該元画像に含まれるものとして抽出されたすべての対象画像のサムネイル対象画像データを上記記録媒体から読み取り,これらの画像データによって表される元画像およびすべてのサムネイル対象画像をそれぞれ表示装置の元画像表示領域および対象画像表示領域に表示
    上記対象画像表示領域に表示されたサムネイル対象画像が選択されたことに応じて,元画像において,選択されたサムネイル対象画像に対応する対象画像を枠で囲んで表示する,
    対象画像記録装置の制御方法。
  3. 元画像データによって表される元画像に含まれる所定の対象画像の検出を対象画像が検出されなくなるまで繰り返させ,
    検出されたすべての対象画像を上記元画像から抽出させ,
    抽出された対象画像のそれぞれについてサムネイル画像を表すサムネイル対象画像データを生成させ,
    抽出された対象画像を表す対象画像データおよび生成されたサムネイル対象画像データを上記元画像データと関連付けて記録媒体に記録し,
    上記元画像データおよび当該元画像に含まれるものとして抽出されたすべての対象画像のサムネイル対象画像データを上記記録媒体から読み取らせ,これらの画像データによって表される元画像およびすべてのサムネイル対象画像をそれぞれ表示装置の元画像表示領域および対象画像表示領域に表示させ,
    上記対象画像表示領域に表示されたサムネイル対象画像が選択されたことに応じて,元画像において,選択されたサムネイル対象画像に対応する対象画像を枠で囲んで表示させるように制御する,
    対象画像記録装置の制御プログラム。
JP2005196979A 2005-07-06 2005-07-06 対象画像記録装置および撮像装置ならびにそれらの制御方法 Expired - Fee Related JP4538386B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005196979A JP4538386B2 (ja) 2005-07-06 2005-07-06 対象画像記録装置および撮像装置ならびにそれらの制御方法
US11/480,468 US7835550B2 (en) 2005-07-06 2006-07-05 Face image recording apparatus, image sensing apparatus and methods of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005196979A JP4538386B2 (ja) 2005-07-06 2005-07-06 対象画像記録装置および撮像装置ならびにそれらの制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010098369A Division JP4939628B2 (ja) 2010-04-22 2010-04-22 画像表示制御装置および対象画像記録装置ならびにそれらの制御方法

Publications (3)

Publication Number Publication Date
JP2007019678A JP2007019678A (ja) 2007-01-25
JP2007019678A5 JP2007019678A5 (ja) 2009-09-17
JP4538386B2 true JP4538386B2 (ja) 2010-09-08

Family

ID=37494139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005196979A Expired - Fee Related JP4538386B2 (ja) 2005-07-06 2005-07-06 対象画像記録装置および撮像装置ならびにそれらの制御方法

Country Status (2)

Country Link
US (1) US7835550B2 (ja)
JP (1) JP4538386B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4207980B2 (ja) * 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4683339B2 (ja) * 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
US8436911B2 (en) 2006-09-14 2013-05-07 Freezecrowd, Inc. Tagging camera
US20080077595A1 (en) * 2006-09-14 2008-03-27 Eric Leebow System and method for facilitating online social networking
US7916976B1 (en) 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
JP4998026B2 (ja) 2007-03-15 2012-08-15 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP4639208B2 (ja) 2007-03-16 2011-02-23 富士フイルム株式会社 画像選択装置、画像選択方法、撮像装置及びプログラム
US8615112B2 (en) 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
US8116537B2 (en) * 2007-04-04 2012-02-14 Sony Corporation Image recording device, player device, imaging device, player system, method of recording image, and computer program
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
JP5116513B2 (ja) * 2008-03-10 2013-01-09 キヤノン株式会社 画像表示装置及びその制御方法
JP5043736B2 (ja) * 2008-03-28 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法
JP5429445B2 (ja) * 2008-04-08 2014-02-26 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
KR101469544B1 (ko) * 2008-09-26 2014-12-05 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
US20100214321A1 (en) * 2009-02-24 2010-08-26 Nokia Corporation Image object detection browser
US8456491B2 (en) * 2009-08-14 2013-06-04 Sony Corporation System to highlight differences in thumbnail images, mobile phone including system, and method
JP2011244031A (ja) * 2010-05-14 2011-12-01 Fujifilm Corp 画像データ伸張装置および画像データ圧縮装置,ならびにそれらの動作制御方法
US20130016128A1 (en) * 2011-07-13 2013-01-17 Apple Inc. Tiled Zoom of Multiple Digital Image Portions
JP5318171B2 (ja) * 2011-09-22 2013-10-16 株式会社東芝 電子機器および画像表示制御方法
JP5566984B2 (ja) * 2011-10-14 2014-08-06 株式会社東芝 電子機器および画像表示方法
US8854481B2 (en) * 2012-05-17 2014-10-07 Honeywell International Inc. Image stabilization devices, methods, and systems
US10368010B2 (en) * 2012-07-31 2019-07-30 Nec Corporation Image processing system, image processing method, and program
KR102111148B1 (ko) * 2013-05-02 2020-06-08 삼성전자주식회사 썸네일 이미지 생성 방법 및 그 전자 장치
US9197813B2 (en) * 2013-05-15 2015-11-24 Nokia Technologies Oy Method and apparatus for obtaining a digital image
EP3044655A4 (en) * 2013-09-12 2017-06-21 Intel Corporation Content reconfiguration based on characteristic analysis
CN106375680A (zh) * 2015-07-24 2017-02-01 中兴通讯股份有限公司 一种图片处理方法、装置及终端
JP6873397B2 (ja) * 2016-04-07 2021-05-19 カシオ計算機株式会社 画像表示装置、画像表示制御方法及びプログラム
US10482640B2 (en) * 2016-04-07 2019-11-19 Casio Computer Co., Ltd. Image processing apparatus for clipping a part of an image and displaying same
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
JP7419723B2 (ja) * 2019-09-25 2024-01-23 株式会社リコー 画像処理システム、画像処理装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07245723A (ja) * 1994-03-04 1995-09-19 Olympus Optical Co Ltd 画像取扱装置
JP2002358522A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 画像選出支援装置および画像選出支援方法ならびに画像選出支援プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229589A (en) * 1991-11-21 1993-07-20 Optimum Solutions Corp., Inc. Questionnaire scanning system employing expandable answer mark areas for efficient scanning and mark detection
JP3222091B2 (ja) 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
JP2000270299A (ja) * 1999-03-16 2000-09-29 Ricoh Co Ltd 画像記録再生装置
US6813395B1 (en) * 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
JP2001045257A (ja) 1999-07-23 2001-02-16 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、及び記録媒体
JP4364466B2 (ja) 2001-09-18 2009-11-18 株式会社リコー 撮像装置
JP4152183B2 (ja) 2002-12-27 2008-09-17 三洋電機株式会社 画像処理装置
JP4407198B2 (ja) 2003-08-11 2010-02-03 ソニー株式会社 記録再生装置、再生装置、記録再生方法および再生方法
JP4697186B2 (ja) 2007-05-29 2011-06-08 セイコーエプソン株式会社 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07245723A (ja) * 1994-03-04 1995-09-19 Olympus Optical Co Ltd 画像取扱装置
JP2002358522A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 画像選出支援装置および画像選出支援方法ならびに画像選出支援プログラム

Also Published As

Publication number Publication date
US7835550B2 (en) 2010-11-16
US20060274960A1 (en) 2006-12-07
JP2007019678A (ja) 2007-01-25

Similar Documents

Publication Publication Date Title
JP4538386B2 (ja) 対象画像記録装置および撮像装置ならびにそれらの制御方法
JP3863327B2 (ja) 構図アドバイス機能付きディジタル・スチル・カメラおよびその動作制御方法
US8587658B2 (en) Imaging device, image display device, and program with intruding object detection
JP2007053537A (ja) 撮像装置
US20100194962A1 (en) Digital camera
JP5601407B2 (ja) 画像分類プログラム、画像分類装置および電子カメラ
JP2010130437A (ja) 撮像装置、及び、プログラム
JP2007189428A (ja) インデックス画像出力装置及びインデックス画像出力プログラム
JP2011044064A (ja) 画像処理装置、および画像処理プログラム
JP2007027971A (ja) 撮影装置及びその制御方法及びプログラム及び記録媒体
JP2007158536A (ja) 画像出力方法、画像出力装置及びプログラム
JP5206422B2 (ja) 構図選択装置及びプログラム
JP2009070374A (ja) 電子機器
JP4009173B2 (ja) デジタルカメラ
JP2007274661A (ja) 撮像装置、画像再生装置およびプログラム
JP4939628B2 (ja) 画像表示制御装置および対象画像記録装置ならびにそれらの制御方法
JP2001024928A (ja) 電子カメラ及びその画像記録方法
JP2006270478A (ja) ディジタル・カメラ,画像再生装置およびそれらの制御方法ならびに画像再生装置を制御するプログラム
JP2008182499A (ja) 画像処理装置、および画像処理プログラム
JP5195317B2 (ja) カメラ装置、及び撮影方法、撮影制御プログラム
JP5167964B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP2010171849A (ja) 画像再生装置および電子カメラ
JP5366522B2 (ja) 画像表示装置及び画像表示装置を有するデジタルカメラ
JP4379334B2 (ja) 画像合成装置および電子カメラ
JP4769693B2 (ja) 撮像装置、方法、およびプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090730

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090831

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4538386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees