JP4568918B2 - 撮像装置および撮像制御方法 - Google Patents

撮像装置および撮像制御方法 Download PDF

Info

Publication number
JP4568918B2
JP4568918B2 JP2007019961A JP2007019961A JP4568918B2 JP 4568918 B2 JP4568918 B2 JP 4568918B2 JP 2007019961 A JP2007019961 A JP 2007019961A JP 2007019961 A JP2007019961 A JP 2007019961A JP 4568918 B2 JP4568918 B2 JP 4568918B2
Authority
JP
Japan
Prior art keywords
face
image data
face detection
image
detection function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007019961A
Other languages
English (en)
Other versions
JP2008187524A (ja
Inventor
訓 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007019961A priority Critical patent/JP4568918B2/ja
Priority to EP08250321A priority patent/EP1954024B1/en
Priority to DE602008000767T priority patent/DE602008000767D1/de
Priority to US12/021,868 priority patent/US7889269B2/en
Priority to KR1020080009811A priority patent/KR100923058B1/ko
Priority to TW097103399A priority patent/TWI376941B/zh
Publication of JP2008187524A publication Critical patent/JP2008187524A/ja
Application granted granted Critical
Publication of JP4568918B2 publication Critical patent/JP4568918B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00331Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32112Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3277The additional information being stored in the same storage device as the image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本発明は撮像装置および撮像制御方法に係り、特に画像内の顔検出が可能な撮像装置および撮像制御方法に関する。
従来から、撮像画像から人物の顔を検出し、検出した顔のデータを様々な用途に利用する技術が開示されている。特許文献1には、被写体検出手段の結果に応じて警告表示をするか、又は撮像部の制御パラメータを自動で変更する技術が記載されている。
特開2006−87083号公報
特許文献1のように、被写体検出手段を常に動作させておくと、動作するための電力消費や制御負荷による動作の遅延などが発生するため、撮影可能枚数の減少やユーザーに対する動作の不快感を増すことになる。
本発明はこのような事情に鑑みてなされたもので、記録済み画像について顔の検出(人物の有無の判断)を行い、顔(人物)の出現率が多いユーザーかどうかを判断する。出現率が高く、顔検出機能が無効であった場合、次回の電源ONする際に顔検出機能を有効にすることを促すか、又は自動で顔検出機能を有効にする撮像装置を提供する。
前記目的を達成するために請求項1に係る撮像装置は、被写体像を撮像して画像データに変換する撮像手段と、画像データ内に人物の顔が存在するか否かを検出する顔検出手段と、顔検出機能を有効にするか無効にするかを手動で切り替える切り替え手段と、前記顔検出機能が有効に切り替えられ、かつ前記画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうち少なくとも1つを自動で制御する制御手段と、前記画像データを記録媒体に記録する記録手段であって、前記顔検出手段によって人物の顔が検出された画像データに対して顔の存在を示す情報を関連付けて記録する記録手段と、前記顔の存在を示す情報に基づいて前記記録媒体に記録された画像データのうち、顔が存在する画像データの割合が所定の閾値を超えているか否かを判定する判定手段と、電源が投入された際に前記判定手段の判定結果に基づき顔が存在する画像データの割合が所定の閾値を超えていると判断されると、前記顔検出機能を有効にする切り替えを促す指示を行う指示手段とを備えたことを特徴とする。
このように、記録媒体に記録された画像データ内に顔が存在する画像データが多い場合に、顔検出機能を有効にすることを促すことにより、ユーザーの撮影嗜好に沿って顔検出機能を有効に活用させることができる。また、顔が存在する画像データが少ない場合は、顔検出機能を有効にすることを促さないので、無駄な電力消費や制御負荷による動作の遅延などが発生しないため、撮影枚数を減少させることがなく、ユーザーの不快感を減少させることができる。
請求項2に示すように請求項1に記載の撮像装置において、前記指示手段は、前記判定結果が、顔が検出された画像データの割合が所定の閾値を超えている判定であるときに、電源が投入された際に顔検出機能を有効にするか無効にするかの選択を促す指示を行うことを特徴とする。
このように、顔検出手段を有効にするか無効にするかの選択を促すことにより、顔検出機能を有効に活用させることができる。
前記目的を達成するために請求項3に係る撮像装置は、被写体像を撮像して画像データに変換する撮像手段と、画像データ内に人物の顔が存在するか否かを検出する顔検出手段と、顔検出機能を有効にするか無効にするかを切り替える切り替え手段と、前記顔検出機能が有効に切り替えられ、かつ前記画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうち少なくとも1つを自動で制御する制御手段と、前記画像データを記録媒体に記録する記録手段であって、前記顔検出手段によって人物の顔が検出された画像データに対して顔の存在を示す情報を関連付けて記録する記録手段と、前記顔の存在を示す情報に基づいて前記記録媒体に記録された画像データのうち、顔が存在する画像データの割合が所定の閾値を超えているか否かを判定する判定手段と、前記切り替え手段は、電源が投入された際に前記判定手段の判定結果に基づき顔が存在する画像データの割合が所定の閾値を超えていると判断されると、前記顔検出機能を自動的に有効に切り替えることを特徴とする。
このように、記録媒体に記録された画像データ内に顔が存在する画像データが多い場合に、自動的に顔検出機能を有効にすることにより、ユーザーの撮影嗜好に沿って顔検出機能を有効に活用させることができる。また、顔が存在する画像データが少ない場合は、自動的に顔検出機能を無効にするので、無駄な電力消費や制御負荷による動作の遅延などが発生しないため、撮影枚数を減少させることがなく、ユーザーの不快感を減少させることができる。
請求項4に示すように請求項1から3のいずれかに記載の撮像装置において、前記判定手段は、現在から遡った所定の期間内に撮影された画像データについて、顔が存在する割合が所定の閾値を超えているか否かを判定することを特徴とする。
このように、所定の期間内の画像データについて、顔の存在を調べることにより、所定の期間内におけるユーザーの撮影嗜好に沿って、顔検出機能を有効に活用させることができる。
請求項5に示すように請求項1から3のいずれかに記載の撮像装置において、前記判定手段は、撮影日時が新しい順から所定の枚数の画像データについて、顔が存在する割合が所定の閾値を超えているか否かを判定することを特徴とする。
このように、最新の所定の枚数の画像データについて、顔の存在を調べることにより、最近のユーザーの撮影嗜好に沿って、顔検出機能を有効に活用させることができる。
前記記録手段は、顔の存在を示す情報を画像ファイルのヘッダ部分に記録し、画像データを画像ファイルのデータ部へ記録するのが好ましい。
請求項6に示すように請求項1から5のいずれかに記載の撮像装置において、前記記録手段は、顔の存在を示す情報を画像ファイルのヘッダ部分に記録し、画像データを画像ファイルのデータ部へ記録することを特徴とする。
このように、同じ画像ファイルのヘッダ部に顔情報を、データ部に画像データを記憶することにより、画像データと顔情報を簡単に関連付けて記録することができる。
請求項7に示すように請求項1から5のいずれかに記載の撮像装置において、前記記録手段は、顔の存在を示す情報を画像ファイルとは異なる顔情報ファイルへ記録することを特徴とする。
このように、顔情報を画像ファイルとは異なる顔情報専用ファイルに記憶することにより、顔が存在する画像の割合を簡単に算出することができる。
前記目的を達成するために請求項8に係る撮像制御方法は、顔検出機能を有効にするか無効にするかを手動で切り替える切り替え手段を有し、電源が投入された際には前記顔検出機能を無効にし、電源の投入後に前記顔検出機能が有効に切り替えられ、かつ撮像した画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうちの少なくとも1つを自動で制御する撮像制御方法において、前記画像データが記録される記録媒体内の全画像データ、最新の所定の期間内の画像データ、又は最新の所定の枚数の画像データに対して各画像データ内に顔が存在するか否かを検出する工程と、前記顔が存在するか否かを検出した全画像データに対する顔が存在する画像データの割合を求める工程と、電源が投入された際に前記顔が存在する画像データの割合が所定の閾値を超えていると、前記顔検出機能を有効にする切り替えを促す指示を行う工程とを含むことを特徴とする。
このように、記録媒体に記録された画像データ内に顔が存在する画像データが多い場合に、顔検出機能を有効にすることを促すことにより、ユーザーの撮影嗜好に沿って顔検出機能を有効に活用させることができる。また、顔が存在する画像データが少ない場合は、顔検出機能を有効にすることを促さないので、無駄な電力消費や制御負荷による動作の遅延などが発生しないため、撮影枚数を減少させることがなく、ユーザーの不快感を減少させることができる。
前記目的を達成するために請求項9に係る撮像制御方法は、顔検出機能が有効に切り替えられ、かつ撮像した画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうちの少なくとも1つを自動で制御する撮像制御方法において、前記画像データが記録される記録媒体内の全画像データ、最新の所定の期間内の画像データ、又は最新の所定の枚数の画像データに対して各画像データ内に顔が存在するか否かを検出する工程と、前記顔が存在するか否かを検出した全画像データに対する顔が存在する画像データの割合を求める工程と、電源が投入された際に前記顔が存在する画像データの割合が所定の閾値を超えていると、前記顔検出機能を有効にする工程とを含むことを特徴とする。
このように、記録媒体に記録された画像データ内に顔が存在する画像データが多い場合に、自動的に顔検出機能を有効にすることにより、ユーザーの撮影嗜好に沿って顔検出機能を有効に活用させることができる。また、顔が存在する画像データが少ない場合は、自動的に顔検出機能を無効にするので、無駄な電力消費や制御負荷による動作の遅延などが発生しないため、撮影枚数を減少させることがなく、ユーザーの不快感を減少させることができる。
本発明によれば、記録媒体に記録された画像データ内に顔が存在する画像データが多い場合に、顔検出機能を有効にすることを促す、又は自動で顔検出機能を有効にすることにより、ユーザーの撮影嗜好に沿って顔検出機能を有効に活用させることができる。また、顔が存在する画像データが少ない場合は、顔検出機能を有効にすることを促さない、又は自動で顔検出機能を有効にしないので、無駄な電力消費や制御負荷による動作の遅延などが発生しないため、撮影枚数を減少させることがなく、ユーザーの不快感を減少させることができる。
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
<第1の実施の形態>
図1は、本発明に係る第1の実施の形態のデジタルカメラ1の内部構成の一例を示すブロック図である。
同図においてCPU11は、各種操作スイッチ入力に基づいてデジタルカメラ1内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。
このCPU11の各回路の制御は、BUS12を介しておこなう。またCPU11は、メモリ13との間で、必要なデータの授受を行う。メモリ13の内部はROM領域とRAM領域とフラッシュメモリ領域に分かれており、このROM領域には、カメラ制御プログラム、起動時のオープニング画像、停止時のエンディング画像、デジタルカメラ1の操作に使用するメニュー画像等のGUI用の画像、スクリーンセイバー用の画像、処理中のプログレス表示用の画像(目盛りが変化する砂時計の画像等)、キー操作音(シャッター音等)、警告音、及びエラー音等を示す音声データ等が記録されている。
まず電源が投入されると、CPU11はこれを検出し、カメラ内電源をONにし、一定期間メモリ13のROM領域に格納されているオープニング画像を表示した後、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、CPU11は、画像表示装置14に動画(スルー画)を表示させる。
ユーザ(撮影者)は、画像表示装置14に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
また、この撮影スタンバイ状態では、顔検出機能スイッチ36が押されて顔検出機能が有効になると、顔検出回路16は被写体像内の顔を検出し、画像表示装置14に検出した顔のフレーム表示を行う。図2は顔検出回路16の概念図である。顔検出回路16は、CCD21の受光面に結像された被写体像の画像データや、記録メディア31に記録された画像データを入力すると、これらの画像データを解析して人物の顔を検出し、検出した顔の個数と、それぞれの顔の位置及び大きさを出力する。
ここで、AE検出回路22とAF検出回路23について説明する。
図3はAE検出回路22の概念図である。AE検出回路22は、CCD21の受光面に結像された被写体像の画像データと、顔検出回路16の出力である顔の有無を入力すると、画面全体の輝度の分割データと、顔検出回路16が顔を検出した場合は、顔の輝度のデータを出力する。
図4はAF検出回路23の概念図である。AF検出回路23は、フォーカス用モータドライバ18を介してフォーカスレンズ20を駆動するに伴い、フォーカスレンズ20のそれぞれの位置におけるCCD21の受光面に結像された被写体像の画像データから高周波成分の積算値を算出し、これをAF評価値として出力する。通常は画面中央部でのAF評価値を算出するが、顔検出回路16が顔を検出した場合は、顔についてAF評価値を出力する。
ここで、上記撮影スタンバイ状態時にレリーズボタン15が押されると、AE検出回路22、AF検出回路23の検出結果に基づいて、CPU11は、フォーカス制御、測光、露出制御を行い、ズーム用モータドライバ17、フォーカス用モータドライバ18を介してズームレンズ19、フォーカスレンズ20を駆動し、これらのレンズを介してCCD21の受光面上に被写体像を結像させる。
CCD21は、受光面に結像された被写体像をその光量に応じた量の信号電荷に変換する。この信号電荷が、タイミングジェネレータ25から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。
CCD21から出力された電圧信号は、A/D変換器26によってアナログのR、G、B信号がそれぞれデジタルのR、G、B信号に変換され、画像入力コントローラ27によって、一旦メモリ13のRAM領域に格納される。
画像信号処理回路28は、上記メモリ13のRAM領域に格納されたR、G、Bの生データを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ(階調変換)処理、輪郭補正処理、シャープネス処理等を行ってR、G、B信号を生成する。更にYC信号処理して輝度信号Yとクロマ信号Cr、Cb(YC信号)を生成し、ノイズ低減処理を行った後再びメモリ13のRAM領域に格納する。
図5は、画像信号処理回路28の概念図である。撮像データ及び顔の有無を入力すると、ホワイトバランス調整、階調変換処理、輪郭補正処理、ノイズ低減処理を行い、処理の施された画像データを出力する。ここで、顔検出回路16が顔を検出した場合は、検出された顔が最適な画質になるようなパラメータで、これらの処理を行う。
上記のようにしてメモリ13のRAM領域に格納されたYC信号は、圧縮処理回路29によって所定のフォーマットに圧縮されたのち、メディアコントローラ30を介してデジタルカメラ1に着脱自在な記録メディア31に記録される。
モードスイッチ35を操作して再生モードが選択されると、記録メディア31に記録されている最終コマの画像ファイルがメディアコントローラ30を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮処理回路29を介して非圧縮のYC信号に伸張される。
伸張されたYC信号は、表示回路32によって表示用の信号形式に変換されて画像表示装置14に出力される。これにより、画像表示装置14には記録メディア31に記録されている最終コマの画像が表示される。
次にデジタルカメラ1の、顔検出機能を有効にする切り替えを促す指示について、図6〜図8を用いて説明する。本発明に係る第1の実施の形態のデジタルカメラ1は、記録メディア31に記録されている画像に対して、顔が検出された画像の割合を算出し、顔が検出された画像データが多い場合に、顔検出機能を有効にするか無効にするかの選択を促す指示を行う。
まず、デジタルカメラ1の再生モードの動作について説明する。図6は、デジタルカメラ1の再生モードにおける動作を示すフローチャートである。
デジタルカメラ1の電源が投入される(ステップS61)と、CPU11は、記録メディア31内の全ての画像について、顔情報が存在するかどうかを確認する。このデジタルカメラ1は後述するように、顔検出機能を有効にして撮影した場合は、撮影画像について顔情報を画像ファイルのヘッダ部のタグに付加して記録メディア31に記録する。しかし、顔検出機能を無効にして撮影した場合は、撮影画像の顔情報が付加されていないため、記録メディア31内の画像には顔情報が付加されていない画像も存在する可能性がある。
そこで、顔情報が付加されていない画像を検出した場合は、その画像データに対して顔検出を行い(ステップS63)、検出結果をその画像ファイルのヘッダ部に設けられた所定のタグに記録する(ステップS64)。
記録メディア31内の全ての画像に顔情報が付加されていることの確認が終了する(ステップS65)と、次に、記録メディア31内の画像のうち、顔が存在する画像の割合を算出し、顔検出フラグ閾値(60%)との比較を行う(ステップS66)。
顔が存在する画像が60%以上の場合は、顔検出フラグをONにする(ステップS67)。また60%未満の場合は顔検出フラグをOFFにする(ステップS68)。この顔検出フラグは、メモリ13のフラッシュメモリ部に記憶される(ステップS69)。
次に、図7を用いてデジタルカメラ1の撮影モードの動作について説明する。図7は、デジタルカメラ1の撮影モードにおける動作を示すフローチャートである。
デジタルカメラ1の電源が投入される(ステップS701)と、CPU11は顔検出機能を無効にし、次にメモリ13のフラッシュメモリ部に記憶された顔検出フラグの確認を行う(ステップS702)。ここで顔検出フラグがONの場合は、画像表示装置14に顔検出機能を推奨する表示を行う(ステップS703)。
図8は、顔検出機能を有効にするか無効にするかの選択を促す指示を行っている画像表示装置14を示す図である。この表示が行われているとき、ユーザーはOKボタン37を押すことにより顔検出機能を有効に、BACKボタン38を押すことにより顔検出機能を無効にすることができる。
顔検出フラグがOFFの場合、又は顔検出機能を有効にするか無効にするかの選択を促す指示を行っている場合にOKボタン37又はBACKボタン38が押されると、撮影スタンバイ状態となり、レリーズボタン15が押下されたかどうかを監視する(ステップS704)。レリーズボタン15が押下されると、顔検出機能が有効かどうかの判断を行う(ステップS705)。
顔検出機能が無効の場合は、撮影を行い(ステップS706)、撮影画像データはメディアコントローラ30を介して記録メディア31に記録される(ステップS712)。
顔検出機能が有効の場合は、顔検出回路16が顔を検出したかどうかの判定を行う(ステップS707)。
顔検出回路16が撮影画像内に顔を検出した場合は、CPU11は、検出した顔が最適に撮影されるようにAE検出回路22及びAF検出回路23を制御する。また撮影画像データの信号処理においては、顔が最適な画像になるように画像信号処理回路28を制御し、ホワイトバランス調整、ノイズ除去を行う(ステップS708)。また顔検出回路16が検出した顔の個数を顔情報としてタグに付加して(ステップS709)、記録処理を行う(ステップS712)。
また顔検出回路16が撮影画像内に顔を検出していない場合は、通常の撮影を行い(ステップS710)、検出した顔の個数=0を顔情報としてタグに付加して(ステップS711)、記録処理を行う(ステップS712)。
このように、電源を投入した際に、メモリ13のフラッシュメモリ部に記憶された顔検出フラグを読み出して、顔検出機能を有効にする切り替えを促す指示を行うかどうかを判断することにより、ユーザーの撮影嗜好に沿って顔検出機能を有効活用させることができる。また顔検出機能を有効にして撮影が行われた場合は、検出した顔の個数を顔情報としてタグに付加して記憶することにより、再生モードにおける顔検出フラグのON/OFFの判断を短時間で行うことが可能になる。
本実施の形態では、顔検出機能を有効にするか無効にするかの選択を促す指示を行うかどうかの顔検出フラグ閾値を60%としたが、この値に限られるものではなく、他の値でもよい。
また本実施の形態では、顔検出フラグがONのときに、画像表示装置14に表示を行うことにより、顔検出機能を有効にするか無効にするかの選択を促す指示を行ったが、音声によって指示をしてもよい。
また本実施の形態では、顔情報を画像ファイルのヘッダ部に設けられた所定のタグに記録したが、顔情報ファイルを設け、顔情報ファイルに全画像ファイルの顔情報だけを記録してもよい。
図9は、顔情報ファイルのファイル内部をイメージした表である。記録メディア31内の画像ファイル名と共にそれぞれの画像ファイルの顔検出結果である顔の個数を記録している。デジタルカメラ1は再生モードにおいて、この顔情報ファイルを読み出すことにより、どの画像が顔検出が行われていない画像かを判断する。またその画像について顔検出を行い、検出結果を顔情報ファイルに保存することで、顔が存在する画像の割合を簡単に算出することができる。
<第2の実施の形態>
本発明に係る第2の実施の形態のデジタルカメラ1は、記録メディア31に記録されている画像に対して、顔が検出された画像の割合を算出し、顔が検出された画像データが多い場合に、顔検出機能を自動的に有効にする。
図10は、デジタルカメラ1の撮影モードにおける動作を示すフローチャートである。
デジタルカメラ1の電源が投入される(ステップS1001)と、CPU11は顔検出機能を無効にし、次にメモリ13のフラッシュメモリ部に記憶された顔検出フラグの確認を行う(ステップS1002)。
ここで顔検出フラグがOFFの場合は、顔検出機能は無効のまま、撮影スタンバイ状態となる(ステップS1003)。その後レリーズボタン15が押下されると撮影が行われ(ステップS1004)、撮影画像データはメディアコントローラ30を介して記録メディア31に記録される(ステップS1012)。
顔検出フラグがONの場合は、顔検出機能を自動的に有効にして(ステップS1005)、撮影スタンバイ状態になる(ステップS1006)。その後レリーズボタン15が押下されると、顔検出回路16が顔を検出したかどうかの判定を行う(ステップS1007)。
ここで顔検出回路16が撮影画像内に顔を検出している場合は、CPU11は、検出した顔が最適に撮影されるようにAE検出回路22及びAF検出回路23を制御する。また撮影画像データの信号処理においては、顔が最適な画像になるように画像信号処理回路28を制御し、ホワイトバランス調整、ノイズ除去を行う(ステップS1008)。次に顔検出回路16が検出した顔の個数を顔情報としてタグに付加して(ステップS1009)、メディアコントローラ30を介して記録メディア31に記録する(ステップS1012)。
また顔検出回路16が撮影画像内に顔を検出していない場合は、通常の撮影を行い(ステップS1010)、検出した顔の個数=0を顔情報としてタグに付加して(ステップS1011)、記録する(ステップS1012)。
このように電源を投入した際に、メモリ13のフラッシュメモリ部に記憶された顔検出フラグを読み出して、顔検出機能を自動的に有効にするか否かの判断を行うことにより、ユーザーの撮影嗜好に沿って顔検出機能を有効活用させることができる。
<第3の実施の形態>
図11は、第3の実施の形態のデジタルカメラ1の再生モードにおける動作を示すフローチャートであり、図6に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
第3の実施の形態のデジタルカメラ1の再生モードにおける動作は、顔検出フラグのON/OFFの判定を、記録メディア31内の現在から遡った所定の期間内の画像において行うことが、第1の実施の形態と異なる。
第1の実施の形態と同様に、電源がONされる(ステップS61)と、記録メディア31内の画像で、かつ現在から遡って1年以内に撮影された画像について、顔情報が付加されていない画像データを検出する(ステップS62)。なお、撮影日時については、画像ファイルのタグ情報から読み出す。顔情報が付加されていない画像については、顔検出を行い(ステップS63)、この顔情報を画像ファイルのヘッダ部のタグに保存する(ステップS64)。
現在から遡って1年以内に撮影された画像に顔情報が付加されていることの確認が終了する(ステップS111)と、次に、現在から遡って1年以内に撮影された画像のうち、顔が存在する画像の割合を算出する。顔が存在する画像が60%以上の場合は、顔検出フラグをONにする。また60%未満の場合は顔検出フラグをOFFにする。この顔検出フラグは、メモリ13のフラッシュメモリ部に記憶される(ステップS112)。
このように、現在から遡って所定の期間内に撮影された画像について顔が存在する画像の割合を調べることにより、所定の期間内のユーザーの撮影嗜好に沿って顔検出機能を有効活用させることができる。
本実施の形態では、最近1年間としたが、この数字に限られるものではなく、期間は何ヶ月でも何年でもよい。またこの期間はユーザーが自由に設定できてもよい。
<第4の実施の形態>
図12は、第4の実施の形態のデジタルカメラ1の再生モードにおける動作を示すフローチャートであり、図6に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
第4の実施の形態のデジタルカメラ1の再生モードにおける動作は、顔検出フラグのON/OFFの判定を、記録メディア31内の撮影日時が新しい順から所定の枚数の画像において行うことが、第1の実施の形態と異なる。
第1の実施の形態と同様に、電源がONされる(ステップS61)と、記録メディア31内の画像で、かつ撮影日時が新しい順から100枚の画像について、顔情報が付加されていない画像データを検出する(ステップS62)。撮影日時については、第3の実施の形態と同様に、画像ファイルのタグ情報を用いる。顔情報が付加されていない画像については、顔検出を行い(ステップS63)、この顔情報を画像ファイルのヘッダ部のタグに保存する(ステップS64)。
撮影日時が新しい順から100枚の画像に顔情報が付加されていることの確認が終了する(ステップS121)と、次に、撮影日時が新しい順から100枚の画像のうち、顔が存在する画像の割合を算出する。顔が存在する画像が60%以上の場合は、顔検出フラグをONにする。また60%未満の場合は顔検出フラグをOFFにする。この顔検出フラグは、メモリ13のフラッシュメモリ部に記憶される(ステップS122)。
このように、撮影日時が新しい順から所定の枚数の画像について顔が存在する画像の割合を調べることにより、撮影日時が新しい順から所定の枚数の撮影嗜好に沿って顔検出機能を有効活用させることができる。
本実施の形態では、撮影日時が新しい順から100枚としたが、この数字に限られるものではなく、何枚でもよい。またこの枚数はユーザーが自由に設定できてもよい。
図1は、本発明に係る第1の実施の形態のデジタルカメラ1の内部構成の一例を示すブロック図である。 図2は顔検出回路16の概念図である。 図3はAE検出回路22の概念図である。 図4はAF検出回路23の概念図である。 図5は、画像信号処理回路28の概念図である。 図6は、第1の実施の形態のデジタルカメラ1の再生モードにおける動作を示すフローチャートである。 図7は、第1の実施の形態のデジタルカメラ1の撮影モードにおける動作を示すフローチャートである。 図8は、顔検出機能を有効にするか無効にするかの選択を促す指示を行っている画像表示装置14を示す図である。 図9は、顔情報ファイルのファイル内部をイメージした表である。 図10は、第2の実施の形態のデジタルカメラ1の撮影モードにおける動作を示すフローチャートである。 図11は、第3の実施の形態のデジタルカメラ1の再生モードにおける動作を示すフローチャートである。 図12は、第4の実施の形態のデジタルカメラ1の再生モードにおける動作を示すフローチャートである。
符号の説明
1…デジタルカメラ、11…CPU、13…メモリ、14…画像表示装置、15…レリーズボタン、16…顔検出回路、22…AE検出回路、23…AF検出回路、28…画像信号処理回路、35…モードスイッチ、36…顔検出機能スイッチ、37…OKボタン、38…BACKボタン

Claims (9)

  1. 被写体像を撮像して画像データに変換する撮像手段と、
    画像データ内に人物の顔が存在するか否かを検出する顔検出手段と、
    顔検出機能を有効にするか無効にするかを手動で切り替える切り替え手段と、
    前記顔検出機能が有効に切り替えられ、かつ前記画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうち少なくとも1つを自動で制御する制御手段と、
    前記画像データを記録媒体に記録する記録手段であって、前記顔検出手段によって人物の顔が検出された画像データに対して顔の存在を示す情報を関連付けて記録する記録手段と、
    前記顔の存在を示す情報に基づいて前記記録媒体に記録された画像データのうち、顔が存在する画像データの割合が所定の閾値を超えているか否かを判定する判定手段と、
    電源が投入された際に前記判定手段の判定結果に基づき顔が存在する画像データの割合が所定の閾値を超えていると判断されると、前記顔検出機能を有効にする切り替えを促す指示を行う指示手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記指示手段は、前記判定結果が、顔が検出された画像データの割合が所定の閾値を超えている判定であるときに、電源が投入された際に顔検出機能を有効にするか無効にするかの選択を促す指示を行うことを特徴とする請求項1に記載の撮像装置。
  3. 被写体像を撮像して画像データに変換する撮像手段と、
    画像データ内に人物の顔が存在するか否かを検出する顔検出手段と、
    顔検出機能を有効にするか無効にするかを切り替える切り替え手段と、
    前記顔検出機能が有効に切り替えられ、かつ前記画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうち少なくとも1つを自動で制御する制御手段と、
    前記画像データを記録媒体に記録する記録手段であって、前記顔検出手段によって人物の顔が検出された画像データに対して顔の存在を示す情報を関連付けて記録する記録手段と、
    前記顔の存在を示す情報に基づいて前記記録媒体に記録された画像データのうち、顔が存在する画像データの割合が所定の閾値を超えているか否かを判定する判定手段と、
    前記切り替え手段は、電源が投入された際に前記判定手段の判定結果に基づき顔が存在する画像データの割合が所定の閾値を超えていると判断されると、前記顔検出機能を自動的に有効に切り替えることを特徴とする撮像装置。
  4. 前記判定手段は、現在から遡った所定の期間内に撮影された画像データについて、顔が存在する割合が所定の閾値を超えているか否かを判定することを特徴とする請求項1から3のいずれかに記載の撮像装置。
  5. 前記判定手段は、撮影日時が新しい順から所定の枚数の画像データについて、顔が存在する割合が所定の閾値を超えているか否かを判定することを特徴とする請求項1から3のいずれかに記載の撮像装置。
  6. 前記記録手段は、顔の存在を示す情報を画像ファイルのヘッダ部分に記録し、画像データを画像ファイルのデータ部へ記録することを特徴とする請求項1から5のいずれかに記載の撮像装置。
  7. 前記記録手段は、顔の存在を示す情報を画像ファイルとは異なる顔情報ファイルへ記録することを特徴とする請求項1から5のいずれかに記載の撮像装置。
  8. 顔検出機能を有効にするか無効にするかを手動で切り替える切り替え手段を有し、電源が投入された際には前記顔検出機能を無効にし、電源の投入後に前記顔検出機能が有効に切り替えられ、かつ撮像した画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうちの少なくとも1つを自動で制御する撮像制御方法において、
    前記画像データが記録される記録媒体内の全画像データ、最新の所定の期間内の画像データ、又は最新の所定の枚数の画像データに対して各画像データ内に顔が存在するか否かを検出する工程と、
    前記顔が存在するか否かを検出した全画像データに対する顔が存在する画像データの割合を求める工程と、
    電源が投入された際に前記顔が存在する画像データの割合が所定の閾値を超えていると、前記顔検出機能を有効にする切り替えを促す指示を行う工程と、
    を含むことを特徴とする撮像制御方法。
  9. 顔検出機能が有効に切り替えられ、かつ撮像した画像データ内に顔が検出された場合に、検出された顔が最適に撮像されるように、露出、焦点、ホワイトバランス、及び画質のうちの少なくとも1つを自動で制御する撮像制御方法において、
    前記画像データが記録される記録媒体内の全画像データ、最新の所定の期間内の画像データ、又は最新の所定の枚数の画像データに対して各画像データ内に顔が存在するか否かを検出する工程と、
    前記顔が存在するか否かを検出した全画像データに対する顔が存在する画像データの割合を求める工程と、
    電源が投入された際に前記顔が存在する画像データの割合が所定の閾値を超えていると、前記顔検出機能を有効にする工程と、
    を含むことを特徴とする撮像制御方法。
JP2007019961A 2007-01-30 2007-01-30 撮像装置および撮像制御方法 Expired - Fee Related JP4568918B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007019961A JP4568918B2 (ja) 2007-01-30 2007-01-30 撮像装置および撮像制御方法
EP08250321A EP1954024B1 (en) 2007-01-30 2008-01-25 Image taking device and control method for image taking
DE602008000767T DE602008000767D1 (de) 2007-01-30 2008-01-25 Bilderzeugungsvorrichtung und Steuerungsverfahren zur Bilderzeugung
US12/021,868 US7889269B2 (en) 2007-01-30 2008-01-29 Image taking device and control method for image taking
KR1020080009811A KR100923058B1 (ko) 2007-01-30 2008-01-30 촬상 장치 및 촬상 제어 방법
TW097103399A TWI376941B (en) 2007-01-30 2008-01-30 Image taking device and control method for image taking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007019961A JP4568918B2 (ja) 2007-01-30 2007-01-30 撮像装置および撮像制御方法

Publications (2)

Publication Number Publication Date
JP2008187524A JP2008187524A (ja) 2008-08-14
JP4568918B2 true JP4568918B2 (ja) 2010-10-27

Family

ID=39273356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007019961A Expired - Fee Related JP4568918B2 (ja) 2007-01-30 2007-01-30 撮像装置および撮像制御方法

Country Status (6)

Country Link
US (1) US7889269B2 (ja)
EP (1) EP1954024B1 (ja)
JP (1) JP4568918B2 (ja)
KR (1) KR100923058B1 (ja)
DE (1) DE602008000767D1 (ja)
TW (1) TWI376941B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690384B1 (ko) * 2006-04-13 2007-03-12 양명자 빗핀 제조방법과 이에 의해 제조된 빗핀
JP5144451B2 (ja) * 2008-09-30 2013-02-13 富士フイルム株式会社 撮像装置およびフラッシュの制御方法
JP5299912B2 (ja) * 2009-04-20 2013-09-25 株式会社ザクティ 撮像装置及び画像ファイルのデータ構造
JP5066133B2 (ja) 2009-05-20 2012-11-07 株式会社日立製作所 情報記録装置、省電力方法
JP5576644B2 (ja) * 2009-12-10 2014-08-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5550333B2 (ja) * 2009-12-28 2014-07-16 キヤノン株式会社 撮像装置、現像方法及びプログラム
KR101310504B1 (ko) 2012-06-12 2013-09-25 주식회사 에스원 생체 인식을 위한 카메라 파라미터 자동 설정 방법 및 그 방법을 이용한 생체 인식 시스템
TW201631968A (zh) * 2015-02-17 2016-09-01 金雲科技股份有限公司 網路攝影機及其播放方法
KR102661983B1 (ko) 2018-08-08 2024-05-02 삼성전자주식회사 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
CN112840635A (zh) 2018-10-15 2021-05-25 华为技术有限公司 智能拍照方法、系统及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141511A (ja) * 1997-07-16 1999-02-12 Nikon Corp 電子カメラ
JP2004048786A (ja) * 2003-09-04 2004-02-12 Casio Comput Co Ltd カメラ装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364464B2 (ja) 2001-09-17 2009-11-18 株式会社リコー デジタルカメラ撮像装置
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP4181974B2 (ja) * 2003-11-26 2008-11-19 富士フイルム株式会社 デジタルカメラ及び画像処理装置
JP4551839B2 (ja) 2004-08-16 2010-09-29 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US7430369B2 (en) 2004-08-16 2008-09-30 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US7542600B2 (en) * 2004-10-21 2009-06-02 Microsoft Corporation Video image quality
KR20060035198A (ko) * 2004-10-21 2006-04-26 주식회사 팬택앤큐리텔 얼굴인식 기법을 이용한 카메라 자동 줌 시스템 및 이를탑재한 이동통신 단말기 및 얼굴인식 기법을 이용한카메라 자동 줌 방법
JP4824411B2 (ja) * 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路
JP4581730B2 (ja) 2005-02-15 2010-11-17 株式会社ニコン デジタルカメラ
JP4324170B2 (ja) * 2005-03-17 2009-09-02 キヤノン株式会社 撮像装置およびディスプレイの制御方法
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
JP4844053B2 (ja) * 2005-08-31 2011-12-21 セイコーエプソン株式会社 画像選択装置および画像選択方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141511A (ja) * 1997-07-16 1999-02-12 Nikon Corp 電子カメラ
JP2004048786A (ja) * 2003-09-04 2004-02-12 Casio Comput Co Ltd カメラ装置

Also Published As

Publication number Publication date
KR100923058B1 (ko) 2009-10-22
KR20080071527A (ko) 2008-08-04
EP1954024A1 (en) 2008-08-06
DE602008000767D1 (de) 2010-04-22
US7889269B2 (en) 2011-02-15
TWI376941B (en) 2012-11-11
US20080180543A1 (en) 2008-07-31
TW200841717A (en) 2008-10-16
EP1954024B1 (en) 2010-03-10
JP2008187524A (ja) 2008-08-14

Similar Documents

Publication Publication Date Title
JP4568918B2 (ja) 撮像装置および撮像制御方法
JP4656331B2 (ja) 撮像装置および撮像方法
JP4574459B2 (ja) 撮影装置及びその制御方法及びプログラム及び記憶媒体
JP2008027401A (ja) 画像トリミング装置
JP2009033338A (ja) 撮像装置
JP4306482B2 (ja) 赤目画像補正装置、電子カメラおよび赤目画像補正プログラム
JP4733068B2 (ja) 撮影装置および方法並びにプログラム
JP2009081810A (ja) 撮影装置及び撮影方法
JP3969694B2 (ja) デジタルカメラ
JP5633239B2 (ja) 撮影装置及び画像処理プログラム
JP4574087B2 (ja) 撮像装置、その制御方法、並びにその制御プログラム及び記憶媒体
JP2005159708A (ja) デジタルカメラ及び画像処理装置
US20040130635A1 (en) Image processing apparatus and image processing method
JP2005094133A (ja) 撮影装置
JP2008160290A (ja) 撮像装置および撮像方法
CN101500084B (zh) 图像摄取设备和用于图像摄取的控制方法
JP4041717B2 (ja) 撮影装置
JP2003274245A (ja) 撮像装置
JP4942217B2 (ja) 撮像装置
JP4543426B2 (ja) 撮像装置及びそのプログラム
JP2002142145A (ja) 電子カメラ
JP4862260B2 (ja) カメラ装置、撮影制御プログラム及び撮影制御方法
JP2005236794A (ja) デジタルカメラ
JP5906817B2 (ja) 画像処理装置
JP2009017368A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100725

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4568918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees