JP4444936B2 - 撮影装置および方法並びにプログラム - Google Patents

撮影装置および方法並びにプログラム Download PDF

Info

Publication number
JP4444936B2
JP4444936B2 JP2006252221A JP2006252221A JP4444936B2 JP 4444936 B2 JP4444936 B2 JP 4444936B2 JP 2006252221 A JP2006252221 A JP 2006252221A JP 2006252221 A JP2006252221 A JP 2006252221A JP 4444936 B2 JP4444936 B2 JP 4444936B2
Authority
JP
Japan
Prior art keywords
image
face
recording
photographing
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006252221A
Other languages
English (en)
Other versions
JP2008078712A (ja
JP2008078712A5 (ja
Inventor
雅也 田丸
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006252221A priority Critical patent/JP4444936B2/ja
Priority to US11/857,734 priority patent/US8284264B2/en
Priority to CN2007101454779A priority patent/CN101150660B/zh
Publication of JP2008078712A publication Critical patent/JP2008078712A/ja
Publication of JP2008078712A5 publication Critical patent/JP2008078712A5/ja
Application granted granted Critical
Publication of JP4444936B2 publication Critical patent/JP4444936B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/38Releasing-devices separate from shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、撮影により画像を取得するデジタルカメラ等の撮影装置および方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。
従来、人物を被写体として撮影する場合、被写体である人物の顔を満足のいくものとするために、画像を修正する技術が知られている。しかしながら、画像の修正は高度な技術を要する。例えば人が瞬きしている瞬間の画像を瞬きしていない画像に修正することや、笑っていない人の画像を笑っているように修正することは難しい。
このため、例えば2秒以上目を閉じた後に目を開いた、または目を閉じていない等、被写体が所定の条件を満たした場合に撮影を行うようにした撮影装置が提案されている(特許文献1,2参照)。また、被写体である顔の動きが所定期間内に所定範囲内に収まっている、すなわち被写体が撮影される準備が整っていれば、そのタイミングにより撮影を行うようにした撮影装置も提案されている(特許文献3参照)。これらの撮影装置によれば、画像を修正することなく、人物の顔を満足のいくものとすることができる。
特開2000−347277号公報 特開2000−347278号公報 特開2006−5662号公報
特許文献1〜3に記載された撮影装置は、被写体が所定の条件となった場合に撮影動作を行うものである。ここで、撮影装置においては、撮影動作を行ってからシャッタが切られて実際に撮影を行うまでにタイムラグが生じる。このため、被写体が所定の条件を満たしてから実際に撮影が行われるまでに、撮影の瞬間に被写体が動いてしまったり、目を閉じたりしてしまうと、所定の条件を満たす被写体を含む画像が得られなくなってしまう場合がある。とくに、被写体が動いてしまうと、取得される画像が手ブレを起こしたようなぼけた画像となってしまう場合がある。また、レンズを自分の方に向けて撮影するいわゆる自分撮りを行う場合、画像を確認するためのモニタは撮影装置の背面側に配置されていることから、自分が撮影装置の画角内に収まっているか否かを確認することが難しい。
本発明は上記事情に鑑みなされたものであり、所定の条件を満たす画像を確実に取得できるようにすることを目的とする。
本発明による撮影装置は、撮影により画像を取得する撮影手段と、
前記画像を記録する記録手段と、
撮影者による連続撮影モードの設定を含む各種設定を受け付ける操作手段と、
前記操作手段により前記連続撮影モードの設定がなされた場合に、連続撮影を行うことにより前記画像を取得し、該連続撮影により取得された画像について所定の条件を満たすか否かを判定し、該所定の条件を満たすと判定された場合に、前記撮影を終了するとともに、該所定の条件を満たす画像を取得して前記記録手段に記録するよう、前記撮影手段および前記記録手段を制御する制御手段とを備えたことを特徴とするものである。
「連続撮影モード」とは、レリーズボタンを押下することなく、連続して撮影を行うことにより連続して画像を取得するモードである。
なお、本発明による撮影装置においては、前記画像に顔が含まれるか否かを判定する顔検出手段をさらに備えるものとし、
前記制御手段を、前記所定の条件を前記画像に前記顔が含まれるという条件とする手段としてもよい。
この場合、前記画像のブレ量を検出するブレ検出手段をさらに備えるものとし、
前記制御手段を、前記所定の条件を前記顔が含まれると判定された画像のブレ量が所定のしきい値より小さいという条件とする手段としてもよい。
また、本発明による撮影装置においては、前記操作手段を、さらに前記画像に含まれる人物数の設定を受け付ける手段とし、
前記制御手段を、前記所定の条件を前記顔が含まれると判定された画像に含まれる顔数と前記設定された人物数とが一致するという条件とする手段としてもよい。
この場合、前記画像のブレ量を検出するブレ検出手段をさらに備えるものとし、
前記制御手段を、前記所定の条件を前記含まれる顔数と前記設定された人物数とが一致すると判定された画像のブレ量が所定のしきい値よりも小さいという条件とする手段としてもよい。
また、本発明による撮影装置においては、前記顔検出手段を、前記画像に含まれる顔が前記画像の所定位置にある場合に前記画像に前記顔が含まれると判定する手段としてもよい。
また、本発明による撮影装置においては、前記顔検出手段を、前記画像に含まれる顔の構成部品を検出し、該構成部品が所定の形状である場合に前記画像に前記顔が含まれると判定する手段としてもよい。
また、本発明による撮影装置においては、前記画像のブレ量を検出するブレ検出手段をさらに備えるものとし、
前記制御手段を、前記所定の条件を前記ブレ量が所定のしきい値よりも小さいという条件とする手段としてもよい。
また、本発明による撮影装置においては、前記画像を表示する表示手段をさらに備えるものとし、
前記制御手段を、前記記録手段に記録する画像を前記表示手段に表示し、該表示された画像を前記記録手段に記録するか否かの指示を受け付け、前記記録する指示がなされた場合に前記画像を前記記録手段に記録し、前記記録しない指示がなされた場合に前記撮影を続ける手段としてもよい。
本発明による撮影方法は、撮影により画像を取得する撮影手段と、前記画像を記録する記録手段とを備えた撮影装置における撮影方法において、
撮影者による連続撮影モードの設定がなされた場合に、連続撮影を行うことにより前記画像を取得し、
該連続撮影により取得された画像について所定の条件を満たすか否かを判定し、
該所定の条件を満たすと判定された場合に、前記撮影を終了するとともに、該所定の条件を満たす画像を取得して前記記録手段に記録することを特徴とするものである。
なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、連続撮影モードの設定がなされると、連続撮影が行われることにより画像が取得され、これにより取得された画像について所定の条件を満たすか否かが判定される。そして所定の条件を満たすと判定された場合に撮影が終了され、所定の条件を満たす画像が記録手段に記録される。このため、特許文献1〜3に記載された撮影装置のように、所定の条件を満たしてから撮影までのタイムラグがなくなり、所定の条件を満たす画像を確実に取得することができる。
なお、所定の条件を顔が含まれるという条件とすることにより、顔を含む画像を確実に取得することができる。とくに、自分撮りを行う場合に顔を含むことを条件とすれば、自分が含まれる画像を確実に取得できることとなる。
この場合、所定の条件を顔が含まれると判定された画像のブレ量が所定のしきい値より小さいという条件とすることにより、さらにブレの少ない画像を取得することができる。
また、所定の条件を顔が含まれると判定された画像に含まれる顔数と設定された人物数とが一致するという条件とすることにより、設定した人物数を含む画像を確実に取得することができる。
この場合、所定の条件を含まれる顔数と設定された人物数とが一致すると判定された画像のブレ量が所定のしきい値より小さいという条件とすることにより、さらにブレの少ない画像を取得することができる。
また、顔が画像の所定位置にある場合に顔が含まれると判定することにより、顔が所定の位置に含まれた見栄えのよい画像を取得できる。
また、顔の構成部品が所定の形状となった場合に顔が含まれると判定することにより、顔の表情がよい画像を取得できる。
また、所定の条件を画像のブレ量が所定のしきい値より小さいという条件とすることにより、ブレの少ない画像を取得することができる。
また、所定の条件を満たす画像を表示し、表示された画像を記録手段へ記録するか否かの指示を受け付けることにより、撮影者が所望とする画像を取得することができる。
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。図1に示すデジタルカメラ1は、撮影により取得した画像データを、Exif形式の画像ファイルに変換して、本体に着脱可能な記録メディア70へ記録するものである。
このデジタルカメラは、動作モードスイッチ、メニュー/OKボタン、ズームレバー、上下矢印ボタン、Back(戻る)ボタン、表示切替ボタン、レリーズボタン、電源スイッチ等の操作系10と、これらのスイッチ類の操作内容をCPU75に伝えるためのインターフェース部分である操作系制御部74とを有している。
なお、本実施形態においては動作モードしては、撮影モードおよび再生モードの他、レリーズボタンを押下することなく連続して撮影を行って画像を連続して取得する連続撮影モードを設定することが可能である。
光学系としては、フォーカスレンズ20aおよびズームレンズ20bを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部51およびズームレンズ駆動部52によって光軸方向に移動可能である。フォーカスレンズ駆動部51はAF処理部62から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部52はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。
また、絞り54は、モータとモータドライバとからなる絞り駆動部55によって駆動される。この絞り駆動部55は、AE/AWB処理部63から出力される絞り値データに基づいて絞り径の調整を行う。
シャッタ56は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部57によって駆動される。シャッタ駆動部57は、レリーズボタンの押下により発生する信号と、AE/AWB処理部63から出力されるシャッタスピードデータとに応じて、シャッタ56の開閉の制御を行う。
光学系の後方には、撮像素子であるCCD58を有している。CCD58は、多数の受光素子を2次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、R,G,B各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。CCD58は、CCD制御部59から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を1ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、CCD制御部59から与えられる電子シャッタ駆動信号によって決定される。また、CCD58はCCD制御部59により、あらかじめ定められた大きさのアナログ撮像信号が得られるように、ゲインが調整されている。
CCD58から取り込まれたアナログ撮影信号は、アナログ信号処理部60に入力される。アナログ信号処理部60は、アナログ信号のノイズを除去する相関2重サンプリング回路(CDS)と、アナログ信号のゲインを調節するオートゲインコントローラ(AGC)と、アナログ信号をデジタル信号に変換するA/Dコンバータ(ADC)とからなる。このデジタル信号に変換された画像データは、画素毎にR,G,Bの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ72は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部57、CCD制御部59、アナログ信号処理部60に供給することにより、レリーズボタンの操作、シャッタ56の開閉、CCD58の電荷の取込み、およびアナログ信号処理部60の処理の同期をとっている。
フラッシュ制御部73は、撮影時にフラッシュ24を発光させる。具体的には、フラッシュ発光モードがフラッシュオンとされている場合、およびフラッシュ発光モードがオートモードである場合において後述するプレ画像が所定の明るさにない場合にフラッシュ24をオンとして、撮影時にフラッシュ24を発光させる。一方、フラッシュ発光モードがフラッシュオフとされている場合、撮影時にフラッシュ24の発光を禁止する。
画像入力コントローラ61は、アナログ信号処理部60から入力されたCCD−RAWデータをフレームメモリ66に書き込む。
フレームメモリ66は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)が使用される。
表示制御部71は、フレームメモリ66に格納された画像データをスルー画像として液晶モニタ18に表示させたり、再生モード時に記録メディア70に保存されている画像データを液晶モニタ18に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でCCD58により撮影される。
AF処理部62およびAE/AWB処理部63は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したCPU75がCCD58にプレ撮影を実行させた結果、フレームメモリ66に格納された画像データにより表される画像である。
AF処理部62は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する(AF処理)。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
AE/AWB処理部63は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値およびシャッタスピード等を決定し、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに(AE処理)、撮影時のホワイトバランスを自動調整する(AWB処理)。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ1の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者が操作系10から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。
画像処理部64は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、CCD−RAWデータを輝度信号であるYデータと、青色色差信号であるCbデータおよび赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりCCD58から取り込まれ、アナログ信号処理部60、画像入力コントローラ61経由でフレームメモリ66に格納された画像データによる画像である。本画像の画素数の上限は、CCD58の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の1/16程度の画素数で取り込まれる。
圧縮/伸長処理部65は、画像処理部64によって補正・変換処理が行われた本画像の画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Exifフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮/伸長処理部65は、再生モードの場合には、記録メディア70から圧縮された画像ファイルを読み出し、伸張処理を行う。伸長後の画像データは液晶モニタ18に出力される。
メディア制御部67は、記録メディア70にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
内部メモリ68は、デジタルカメラ1において設定される各種定数、およびCPU75が実行するプログラム等を格納する。
顔検出部80は、連続撮影モードが設定された場合に、連続撮影により取得される画像に対して人物の顔を検出する処理を施し、画像に顔が含まれるか否かを判定する。なお、顔を検出する手法としては、内部メモリ68に典型的な顔を現す顔の辞書データを記録しておき、顔の辞書データと撮影により取得された画像とのマッチングをとり、マッチング度(すなわち顔らしさ)が所定値以上となる画像に顔が含まれると判断する手法の他、顔に含まれる顔の特徴を有する領域(例えば肌色を有する、目を有する、顔の形状を有する等)を顔領域として検出する手法等、公知の種々の手法を用いることができる。
CPU75は、操作系10およびAF処理部62等の各種処理部からの信号に応じてデジタルカメラ1の本体各部を制御する。また、CPU75は、連続撮影モードの設定がなされた場合に、レリーズボタンが押下されなくても連続して本撮影を行って本画像を連続して取得するよう、CCD58を含む撮影系を制御する。なお、連続撮影モードに設定された場合には、連続撮影の開始前に一度プレ撮影を行って本撮影に必要な撮影条件を設定し、設定した条件により連続して本撮影を行う。
データバス76は、画像入力コントローラ61、各種処理部62〜65、フレームメモリ66、メディア制御部67、内部メモリ68、表示制御部71、顔検出部80、およびCPU75に接続されており、デジタル画像データ等のやり取りを行う。
次いで、以上の構成のデジタルカメラ1において行われる処理について説明する。図2は第1の実施形態において行われる処理を示すフローチャートである。デジタルカメラ1の動作モードが連続撮影モードに設定されることによりCPU75が処理を開始し、本撮影を行う(ステップST1)。続いて、顔検出部80が本撮影により取得された本画像に対して顔検出処理を施し(ステップST2)、顔が含まれるか否かを判定する(ステップST3)。
ステップST3が否定されるとステップST1に戻り、ステップST1以降の処理を繰り返す。これにより連続撮影が行われることとなる。ステップST3が肯定されると、撮影を終了するとともに顔が検出された本画像を記録メディア70に記録し(ステップST4)、処理を終了する。
このように、第1の実施形態においては、連続撮影モード時において取得された画像について顔が含まれるか否かを判定し、顔が含まれると判定された場合に、画像を記録メディア70に記録して撮影を終了するようにしたため、顔が含まれるという条件を満たしてから撮影までのタイムラグがなくなり、その結果、顔が含まれる画像を確実に取得することができる。
とくに、デジタルカメラ1を自分の方に向けて自分撮りを行う場合に、確実に自分が含まれる画像を取得できることとなる。
次いで、本発明の第2の実施形態について説明する。第2の実施形態においては、操作系10から画像に含まれるべき人物数を設定し、顔検出部80において顔を検出するとともに画像に含まれる顔数を検出し、連続撮影モード時において、画像に含まれる顔数と設定された人物数とが一致する画像を記録メディア70に記録するようにした点が第1の実施形態と異なる。
図3は人物数を設定するために液晶モニタに表示される人物数設定画面を示す図である。図3に示すように人物数設定画面100には、「人物数を設定してください」のテキスト102と、1人、2人および3人以上の人物数を設定するための3つのアイコン104A,104B,104Cとアイコン104A,104B,104Cにそれぞれ対応する入力ボタン106A,106B,106Cが表示されている。撮影者は操作系10を用いて表示されている3つの入力ボタン106A,106B,106Cのうち、所望とする人物数のアイコン104A,104B,104Cに対応する入力ボタンを選択することにより、画像に含まれるべき人物数を設定することができる。
図4は第2の実施形態において行われる処理を示すフローチャートである。デジタルカメラ1の動作モードが連続撮影モードに設定されることによりCPU75が処理を開始し、本撮影を行う(ステップST11)。続いて、顔検出部80が本撮影により取得された本画像に対して顔検出処理を施し(ステップST12)、顔が含まれるか否かを判定する(ステップST13)。
ステップST13が否定されるとステップST11に戻り、ステップST11以降の処理を繰り返す。ステップST13が肯定されると、検出された顔の数と設定された人物数とが一致するか否かを判定し(ステップST14)、ステップST14が否定されるとステップST11に戻り、ステップST11以降の処理を繰り返す。ステップST14が肯定されると、撮影を終了するとともに顔数と設定された人物数とが一致すると判定された本画像を記録メディア70に記録し(ステップST15)、処理を終了する。
これにより、第2の実施形態においては、設定した人物数を含む画像を確実に取得することができる。
次いで、本発明の第3の実施形態について説明する。図5は本発明の第3の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第3の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第3の実施形態によるデジタルカメラ1Aは、画像のブレ量を検出するブレ検出部82を備え、連続撮影モード時において、顔が検出され、かつブレ量が小さいと判定された画像を記録メディア70に記録するようにした点が第1の実施形態と異なる。
ここで、撮影時の手ブレ等により画像がブレている場合、画像に含まれる高周波成分が少なくなる。ブレ検出部82は、顔が含まれると判定された画像に対して、ハイパスフィルタによるフィルタリング処理を施し、フィルタリング処理により得られる出力値(すなわち画像の高周波成分)が所定のしきい値Th1より大きい場合に、ブレ量が小さいと判定する。なお、ブレ量が小さいとは、しきい値Th1に対応するしきい値Th2よりもブレ量が小さいことを意味する。
なお、ブレ量が小さいか否かの判定は、顔が含まれると判定された画像の全体に対して行ってもよく、顔が検出されていることから検出された顔を含む顔領域に対してのみ行ってもよい。これにより、ブレ量が小さいか否かの判定のための演算時間を短縮することができる。
図6は第3の実施形態において行われる処理を示すフローチャートである。デジタルカメラ1Aの動作モードが連続撮影モードに設定されることによりCPU75が処理を開始し、本撮影を行う(ステップST21)。続いて、顔検出部80が本撮影により取得された本画像に対して顔検出処理を施し(ステップST22)、顔が含まれるか否かを判定する(ステップST23)。
ステップST23が否定されるとステップST21に戻り、ステップST21以降の処理を繰り返す。ステップST23が肯定されると、ブレ検出部82がブレ検出処理を行い(ステップST24)、ブレ量が小さいか否かを判定する(ステップST25)。ステップST25が否定されるとステップST21に戻り、ステップST21以降の処理を繰り返す。ステップST25が肯定されると、撮影を終了するとともにブレ量が小さいと判定された本画像を記録メディア70に記録し(ステップST26)、処理を終了する。
これにより、第3の実施形態においては、顔を含むとともにブレが少ない画像を確実に取得することができる。
次いで、本発明の第4の実施形態について説明する。第4の実施形態においては、操作系10から画像に含まれるべき人物数を設定するようにし、顔検出部80において顔を検出するとともに人物数を検出するようにし、連続撮影モード時において、顔が検出され、画像に含まれる顔数と設定された人物数とが一致し、かつブレ量が小さいと判定された画像を記録メディア70に記録するようにした点が第3の実施形態と異なる。
図7は第4の実施形態において行われる処理を示すフローチャートである。デジタルカメラ1Aの動作モードが連続撮影モードに設定されることによりCPU75が処理を開始し、本撮影を行う(ステップST31)。続いて、顔検出部80が本撮影により取得された本画像に対して顔検出処理を施し(ステップST32)、顔が含まれるか否かを判定する(ステップST33)。
ステップST33が否定されるとステップST31に戻り、ステップST31以降の処理を繰り返す。ステップST33が肯定されると、画像に含まれる顔数と設定された人物数とが一致するか否かを判定し(ステップST34)、ステップST34が否定されるとステップST31に戻り、ステップST31以降の処理を繰り返す。
ステップST34が肯定されると、ブレ検出部82がブレ検出処理を行い(ステップST35)、ブレ量が小さいか否かを判定する(ステップST36)。ステップST36が否定されるとステップST31に戻り、ステップST31以降の処理を繰り返す。ステップST36が肯定されると、撮影を終了するとともにブレ量が小さいと判定された本画像を記録メディア70に記録し(ステップST37)、処理を終了する。
これにより、第4の実施形態においては、設定した人物数を含むとともにブレが少ない画像を確実に取得することができる。
次いで、本発明の第5の実施形態について説明する。図8は本発明の第5の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第5の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第5の実施形態によるデジタルカメラ1Bは、顔検出部80を備えず、画像のブレ量を検出するブレ検出部82を備え、連続撮影モード時において、ブレ量が小さい画像を記録メディア70に記録するようにした点が第1の実施形態と異なる。
図9は第5の実施形態において行われる処理を示すフローチャートである。デジタルカメラ1Bの動作モードが連続撮影モードに設定されることによりCPU75が処理を開始し、本撮影を行う(ステップST41)。続いて、ブレ検出部82がブレ検出処理を行い(ステップST42)、ブレ量が小さいか否かを判定する(ステップST43)。ステップST43が否定されるとステップST41に戻り、ステップST41以降の処理を繰り返す。ステップST43が肯定されると、撮影を終了するとともにブレ量が小さいと判定された本画像を記録メディア70に記録し(ステップST44)、処理を終了する。
これにより、第5の実施形態においては、ブレが少ない画像を確実に取得することができる。
次いで、本発明の第6の実施形態について説明する。第6の実施形態においては、顔が含まれると判定された画像を液晶モニタ18に表示し、表示された画像を記録メディア70に記録するか否かの撮影者による指示を受け付け、記録すると指示された場合に表示された画像を記録メディア70に記録し、記録しないと指示された場合に撮影を続けるようにした点が第1の実施形態と異なる。
図10は第6の実施形態において行われる処理を示すフローチャートである。デジタルカメラ1の動作モードが連続撮影モードに設定されることによりCPU75が処理を開始し、本撮影を行う(ステップST51)。続いて、顔検出部80が本撮影により取得された本画像に対して顔検出処理を施し(ステップST52)、顔が含まれるか否かを判定する(ステップST53)。
ステップST53が否定されるとステップST51に戻り、ステップST51以降の処理を繰り返す。ステップST53が肯定されると、顔が含まれると判定された画像を液晶モニタ18に表示する(ステップST54)。図11は液晶モニタ18における画像表示画面を示す図である。
図11に示すように画像表示画面110には、顔が含まれると判定された画像112と、表示された画像を記録する指示を行うための記録ボタン114Aおよび表示された画像を記録しない指示を行うためのキャンセルボタン114Bとが表示されている。撮影者は表示された画像112を見て、画像の記録を所望する場合には操作系10により記録ボタン114Aを選択し、画像の記録を所望しない場合には操作系10によりキャンセルボタン114Bを選択する。
続いて、CPU75は撮影者がキャンセルボタン114Bを選択することにより画像を記録しないキャンセルの指示がなされたか否かを判定し(ステップST55)、ステップST55が肯定されるとステップST51に戻り、ステップST51以降の処理を繰り返す。ステップST55が否定されると、撮影者が記録ボタン114Aを選択することにより表示された画像を記録する指示がなされたか否かを判定する(ステップST56)。ステップST56が否定されるとステップST55に戻り、ステップST55以降の処理を繰り返す。ステップST56が肯定されると、撮影を終了するとともに表示された本画像を記録メディア70に記録し(ステップST57)、処理を終了する。
これにより、第6の実施形態においては、撮影者が所望とする画像を記録メディア70に記録することができる。
ここで、第6の実施形態における本画像を表示して撮影者に表示された本画像を記録するか否かを選択させる処理は、上記第1の実施形態のみならず、第2から第5の実施形態にも同様に適用可能である。すなわち、第2の実施形態の場合には設定した人物数を含む画像を、第3の実施形態の場合には顔を含みかつブレが小さい画像を、第4の実施形態の場合には設定した人物数を含みかつブレが小さい画像を、第5の実施形態の場合にはブレが小さい画像をそれぞれ表示して撮影者に記録するか否かの選択をさせることにより、撮影者が所望とする画像を記録メディア70に記録することができる。
なお、上記実施形態における顔検出部80においては、画像から顔が検出された場合にその画像に顔が含まれると判定しているが、顔が検出され、かつ検出された顔が画像中の所定の位置にある場合に顔が含まれると判定してもよい。具体的には、図12(a)に示すように画像120の中央部分に領域122を設定しておき、検出した顔領域124の中心P0が領域122に含まれる場合に顔が含まれると判定するようにすればよい。なお、図12(b)に示すように顔領域124の中心P0が領域122外にある場合には、顔が含まれないと判定される。
とくに、第2および第4の実施形態のように人物数を設定する場合には、設定した人物数に応じて領域122のサイズを変更することが好ましい。例えば、設定した人物数が多くなるほど領域124のサイズを大きくすることが好ましい。具体的には人物数を2人に設定した場合、図13(a)に示すように検出された2つの顔の顔領域124A,124Bの中心P1,P2の双方が領域122内にあれば顔が含まれると判定し、図13(b)に示すように、2つの顔の顔領域124A,124Bの中心P1,P2のいずれか一方(ここではP2)が領域122外にあれば顔が含まれないと判定するようにすればよい。
また、上記実施形態における顔検出部80においては、顔が検出された場合に、目および口等の顔の構成部品を顔領域から抽出し、顔の構成部品があらかじめ定められた所定の形状をなしている場合に顔が含まれると判定するようにしてもよい。例えば目および口を抽出した場合には、図14(a)に示すように目が開き、かつ口が下に凸の形状となっている場合、すなわち笑顔の場合に顔が含まれると判定し、図14(b)に示すように、目が閉じている場合や、図14(c)に示すように口が上に凸の形状となっている場合に顔が含まれないと判定するようにしてもよい。これにより顔の表情のよい画像を取得することができる。
以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部80およびブレ検出部82に対応する手段として機能させ、図2,4,6,7,9,10に示すような処理を行わせるプログラムも本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
本発明の第1の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図 第1の実施形態において行われる処理を示すフローチャート 人物数設定画面を示す図 第2の実施形態において行われる処理を示すフローチャート 本発明の第3の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図 第3の実施形態において行われる処理を示すフローチャート 第4の実施形態において行われる処理を示すフローチャート 本発明の第5の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図 第5の実施形態において行われる処理を示すフローチャート 第6の実施形態において行われる処理を示すフローチャート 画像表示画面を示す図 顔が含まれるか否かの判定を説明するための図(その1) 顔が含まれるか否かの判定を説明するための図(その2) 顔が含まれるか否かの判定を説明するための図(その3)
符号の説明
1 デジタルカメラ
18 液晶モニタ
24 フラッシュ
62 AF処理部
63 AE/AWB処理部
64 画像処理部
71 表示制御部
73 フラッシュ制御部
75 CPU
80 顔検出部
82 ブレ検出部

Claims (12)

  1. 撮影により画像を取得する撮影手段と、
    前記画像を記録する記録手段と、
    前記画像の中央部分の領域内に顔が含まれるか否かを判定する顔検出手段と、
    撮影者による連続撮影モードの設定を含む各種設定を受け付けるとともに、前記画像に含まれる人物数を受け付ける操作手段と、
    前記操作手段により前記連続撮影モードの設定がなされた場合に、連続撮影を行うことにより前記画像を取得し、該連続撮影により取得された前記画像のうち前記顔検出手段において前記顔が含まれると判定された前記画像を前記記録手段に記録するよう、前記撮影手段および前記記録手段を制御する制御手段とを備え、
    前記顔検出手段は、前記操作手段により前記画像に含まれる人物数が設定された際に、設定した前記人物数が多くなればなるほど前記中央部分の領域を大きく設定し、該中央部分の領域内に前記人物数分の前記顔の中心が位置する場合に前記顔が含まれると判定するものであることを特徴とする撮影装置。
  2. 前記顔検出手段は、前記画像に含まれる顔の構成部品を検出し、該構成部品が所定の形状である場合に前記画像に前記顔が含まれると判定する手段であることを特徴とする請求項1記載の撮影装置。
  3. 前記顔検出手段が、前記顔の構成部品である前記目が開きかつ口が下に凸の形状になっている場合に前記画像に前記顔が含まれると判定するものであることを特徴とする請求項2記載の撮影装置。
  4. 前記画像を表示する表示手段をさらに備え、
    前記制御手段は、前記記録手段に記録する画像を前記表示手段に表示し、該表示された画像を前記記録手段に記録するか否かの指示を受け付け、前記記録する指示がなされた場合に前記画像を前記記録手段に記録し、前記記録しない指示がなされた場合に前記撮影を続ける手段であることを特徴とする請求項1から3のいずれか1項記載の撮影装置。
  5. 撮影により画像を取得する撮影手段と、前記画像を記録する記録手段とを備えた撮影装置における撮影方法において、
    撮影者による連続撮影モードの設定がなされた場合に、連続撮影を行うことにより前記画像を取得し、
    該連続撮影により取得された前記画像の中央部分の領域内に前記顔が含まれるか否かを判定し、
    前記画像に前記顔が含まれていると判定された場合に、前記撮影を終了するとともに、前記顔を含む前記画像を取得して前記記録手段に記録するものであり、
    前記画像に前記顔が含まれるか否かの判定は、前記画像に含まれる人物数が設定された際に、設定した前記人物数が多くなればなるほど前記中央部分の領域を大きく設定し、該中央部分の領域内に前記人物数分の前記顔の中心が位置する場合に前記顔が含まれると判定するものであることを特徴とする撮影方法。
  6. 前記顔が含まれるか否かの判定は、前記画像に含まれる顔の構成部品を検出し、該構成部品が所定の形状である場合に前記画像に前記顔が含まれると判定するものであることを特徴とする請求項5記載の撮影方法。
  7. 前記顔が含まれるか否かの判定は、前記顔の構成部品である前記目が開きかつ口が下に凸の形状になっている場合に前記画像に前記顔が含まれると判定するものであることを特徴とする請求項6記載の撮影方法。
  8. 前記顔を含む前記画像を取得して前記記録手段に記録する際に、該記録手段に記録する画像を表示手段に表示し、該表示された画像を前記記録手段に記録するか否かの指示を受け付け、前記記録する指示がなされた場合に前記画像を前記記録手段に記録し、前記記録しない指示がなされた場合に前記撮影を続けることを特徴とする請求項5から7のいずれか1項記載の撮影方法。
  9. 撮影により画像を取得する撮影手段と、前記画像を記録する記録手段とを備えた撮影装置における撮影方法をコンピュータに実行させるためのプログラムにおいて、
    撮影者による連続撮影モードの設定がなされた場合に、連続撮影を行うことにより前記画像を取得する手順と、
    該連続撮影により取得された前記画像の中央部分の領域内に前記顔が含まれるか否かを判定する手順と、
    前記画像に前記顔が含まれていると判定された場合に、前記撮影を終了するとともに、前記顔を含む前記画像を取得して前記記録手段に記録する手順と
    を有し、
    前記画像に前記顔が含まれるか否かを判定する手順において、前記画像に含まれる人物数が設定された際に、設定した前記人物数が多くなればなるほど前記中央部分の領域を大きく設定し、該中央部分の領域内に前記人物数分の前記顔の中心が位置する場合に前記顔が含まれると判定することを特徴とするプログラム。
  10. 前記顔が含まれるか否かを判定する手順において、前記画像に含まれる顔の構成部品を検出し、該構成部品が所定の形状である場合に前記画像に前記顔が含まれると判定することを特徴とする請求項9記載のプログラム。
  11. 前記顔が含まれるか否かを判定する手順において、前記顔の構成部品である前記目が開きかつ口が下に凸の形状になっている場合に前記画像に前記顔が含まれると判定することを特徴とする請求項10記載のプログラム。
  12. 前記顔を含む前記画像を取得して前記記録手段に記録する手順において、該記録手段に記録する画像を表示手段に表示し、該表示された画像を前記記録手段に記録するか否かの指示を受け付け、前記記録する指示がなされた場合に前記画像を前記記録手段に記録し、前記記録しない指示がなされた場合に前記撮影を続けることを特徴とする請求項9から11のいずれか1項記載のプログラム。
JP2006252221A 2006-09-19 2006-09-19 撮影装置および方法並びにプログラム Expired - Fee Related JP4444936B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006252221A JP4444936B2 (ja) 2006-09-19 2006-09-19 撮影装置および方法並びにプログラム
US11/857,734 US8284264B2 (en) 2006-09-19 2007-09-19 Imaging apparatus, method, and program
CN2007101454779A CN101150660B (zh) 2006-09-19 2007-09-19 成像装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006252221A JP4444936B2 (ja) 2006-09-19 2006-09-19 撮影装置および方法並びにプログラム

Publications (3)

Publication Number Publication Date
JP2008078712A JP2008078712A (ja) 2008-04-03
JP2008078712A5 JP2008078712A5 (ja) 2009-10-08
JP4444936B2 true JP4444936B2 (ja) 2010-03-31

Family

ID=39188141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006252221A Expired - Fee Related JP4444936B2 (ja) 2006-09-19 2006-09-19 撮影装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US8284264B2 (ja)
JP (1) JP4444936B2 (ja)
CN (1) CN101150660B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2179581B1 (en) * 2007-08-10 2015-11-11 Canon Kabushiki Kaisha Image-pickup apparatus and control method therof
JP4466770B2 (ja) * 2008-06-26 2010-05-26 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
JP5224955B2 (ja) 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5169887B2 (ja) * 2009-02-03 2013-03-27 日本電気株式会社 デジタルカメラによる撮影画像記録方法、デジタルカメラおよびプログラム
JP4748244B2 (ja) 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
US20100302393A1 (en) * 2009-05-26 2010-12-02 Sony Ericsson Mobile Communications Ab Self-portrait assistance in image capturing devices
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
JP5661380B2 (ja) * 2009-09-24 2015-01-28 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2011077906A (ja) * 2009-09-30 2011-04-14 Panasonic Corp 撮影装置、撮影方法、及びプログラム
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US20120300092A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Automatically optimizing capture of images of one or more subjects
JP2013074570A (ja) * 2011-09-29 2013-04-22 Sanyo Electric Co Ltd 電子カメラ
JP2015097301A (ja) * 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8799810B1 (en) * 2012-03-16 2014-08-05 Google Inc. Stability region for a user interface
CN104471924B (zh) * 2012-07-12 2018-05-01 株式会社尼康 拍摄装置
JP2014187551A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像取得装置、画像取得方法及びプログラム
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
US10425578B1 (en) * 2017-09-07 2019-09-24 Amazon Technologies, Inc. Image capturing assistant
CN109561249A (zh) * 2017-09-26 2019-04-02 北京小米移动软件有限公司 调整焦距的方法及装置
CN109981967B (zh) * 2017-12-27 2021-06-29 深圳市优必选科技有限公司 用于智能机器人的拍摄方法、装置、终端设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336886A (ja) 1989-07-04 1991-02-18 Konica Corp スチルビデオカメラ
JP4123586B2 (ja) 1997-08-26 2008-07-23 株式会社ニコン 電子カメラ
US7027087B2 (en) * 1998-08-21 2006-04-11 Nikon Corporation Electronic camera
US7248300B1 (en) * 1999-06-03 2007-07-24 Fujifilm Corporation Camera and method of photographing good image
JP4364465B2 (ja) 2001-09-18 2009-11-18 株式会社リコー 撮像装置
JP3530908B2 (ja) 2002-02-18 2004-05-24 ミノルタ株式会社 デジタルカメラ及び画像表示装置
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP4449354B2 (ja) 2003-06-26 2010-04-14 カシオ計算機株式会社 画像撮影装置及びプログラム
JP2005133624A (ja) * 2003-10-30 2005-05-26 Hitachi Ltd 電子制御スロットル装置
JP4442330B2 (ja) 2004-06-17 2010-03-31 株式会社ニコン 電子カメラ、及び電子カメラシステム
JP2006115406A (ja) 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP4354416B2 (ja) 2005-02-14 2009-10-28 オリンパスイメージング株式会社 デジタルカメラ

Also Published As

Publication number Publication date
JP2008078712A (ja) 2008-04-03
US20080068466A1 (en) 2008-03-20
CN101150660A (zh) 2008-03-26
US8284264B2 (en) 2012-10-09
CN101150660B (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
JP4444936B2 (ja) 撮影装置および方法並びにプログラム
JP4782725B2 (ja) 合焦装置および方法並びにプログラム
CN101334578B (zh) 图像拍摄装置以及图像拍摄方法
JP2008017166A (ja) 撮影装置および方法並びにプログラム
JP5180349B2 (ja) 撮影装置および方法並びにプログラム
JP2008141740A (ja) 撮影装置および方法並びにプログラム
JP4799501B2 (ja) 撮影装置、撮影装置の制御方法およびプログラム
JP4818999B2 (ja) 撮影装置および方法並びにプログラム
JP4510768B2 (ja) 撮影装置および方法並びにプログラム
JP4733068B2 (ja) 撮影装置および方法並びにプログラム
JP2010087722A (ja) 撮影装置及び動画像編集方法
JP2011239267A (ja) 撮像装置及び画像処理装置
CN101227563B (zh) 用于摄影的设备、方法和保存程序的计算机可读记录介质
JP2009290260A (ja) 撮影装置およびその制御方法並びにプログラム
JP2002252804A (ja) 電子カメラ
JP2007299339A (ja) 画像再生装置および方法並びにプログラム
JP2010087723A (ja) 撮影装置及び動画像編集方法
JP2007208355A (ja) 撮影装置および方法並びにプログラム
JP4680022B2 (ja) 撮影装置
JP5027055B2 (ja) 画像処理装置および方法並びにプログラム
JP2009088843A (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP4799397B2 (ja) 辞書データ作成装置、所定領域検出装置および撮影装置
JP2008072412A (ja) 撮影装置および方法並びにプログラム
JP2006191234A (ja) 撮像装置、動作状態提示方法、および動作状態提示プログラム
JP2008141743A (ja) 撮影装置および方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090826

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090826

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100114

R150 Certificate of patent or registration of utility model

Ref document number: 4444936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees