JP4654974B2 - 撮影装置および撮影方法 - Google Patents

撮影装置および撮影方法 Download PDF

Info

Publication number
JP4654974B2
JP4654974B2 JP2006142825A JP2006142825A JP4654974B2 JP 4654974 B2 JP4654974 B2 JP 4654974B2 JP 2006142825 A JP2006142825 A JP 2006142825A JP 2006142825 A JP2006142825 A JP 2006142825A JP 4654974 B2 JP4654974 B2 JP 4654974B2
Authority
JP
Japan
Prior art keywords
face
self
unit
predetermined period
timer circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006142825A
Other languages
English (en)
Other versions
JP2007318225A (ja
Inventor
典久 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006142825A priority Critical patent/JP4654974B2/ja
Priority to US11/802,361 priority patent/US7574128B2/en
Publication of JP2007318225A publication Critical patent/JP2007318225A/ja
Application granted granted Critical
Publication of JP4654974B2 publication Critical patent/JP4654974B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/10Viewfinders adjusting viewfinders field
    • G03B13/12Viewfinders adjusting viewfinders field to compensate for change of camera lens or size of picture
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/38Releasing-devices separate from shutter
    • G03B17/40Releasing-devices separate from shutter with delayed or timed action
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Description

本発明はセルフタイマ撮影機能を有する撮影装置に関する。
特許文献1は、カメラが被写体の肌色情報を認識し、被写体=人物がフレームに入ったことを検知して、セルフタイマのカウントダウンが始まり、撮影できる機能を開示している。
特開2005−277907号公報
特許文献1では、色情報による判断のため、同様の色があると誤検出してしまうし、被写体となる撮影者がフレームに入る前に、すでに被写体以外の人物があると、人物がフレームに入っていると検知してしまう。すなわち、この技術は、肌色成分のない背景下で、人物の肌色を検出する場面でしか使えない。
本発明はこのような問題点に鑑みてなされたもので、セルフタイマを使って撮影者自身を撮影するいわゆる自分撮り、または集合写真においても、所望の条件が整ったことに応じてセルフ撮影が開始し、満足のいく成功画像が得られるような撮影装置を提供することを目的とする。
本発明は、被写体から撮影レンズを介して入射した光を受光して継続的に撮影信号に変換して出力する撮影素子、撮影素子から出力された撮影信号を画像データに変換して出力する画像データ変換部、画像データの記録指示を入力する記録指示部、セルフ撮影モードを設定するセルフ撮影設定部、セルフ撮影設定部によりセルフ撮影モードが設定された状態において、記録指示部が記録指示の入力を受け付けたことに応じ、所定の期間の計時を行うセルフタイマ回路、セルフタイマ回路による所定の期間の計時が完了したことに応じて撮影素子の露光の制御を行うシャッタ制御部、およびシャッタ制御部による露光の制御に応じて撮影素子から出力された撮影信号の画像データを記録する記録部、少なくとも記録部に記録された画像データを表示する表示部を備える撮影装置に関する。
この撮影装置は、記録指示部が記録指示の入力を受け付けたことに応じ、画像データ変換部から出力された画像データに基づいて被写体の顔領域を検出する顔検出部と、顔検出部が少なくとも1つの顔領域を検出した場合、セルフタイマ回路に所定の期間の計時を実行させるよう制御する撮影制御部と、を備える。
この発明によると、少なくとも1つの顔領域が検出された場合に、セルフセルフタイマ回路による所定の期間の計時が実行され、該所定の期間の計時が完了したことに応じて撮像素子のシャッタ動作が実行され、撮像素子から出力された撮影信号に応じた画像データが記録部に記録される。
すなわち、顔が検出された場合にセルフ撮影が行われるから、人物撮影を目的としているのに人物の顔が入っていないような失敗画像が撮影されてしまうことを防げる。特に、撮影者自身が被写体となるいわゆる自分撮りを行う場合、撮影者が撮影装置の操作から離れても、撮影者が正しく画角に収まった場合に限って計時とシャッタ制御が行われ、撮影者が正しく写った画像を得ることができる。また、被写体が正しく画角に収まっていれば、自動露出処理および自動焦点調節処理も容易である。
この撮影装置は、撮影すべき任意の被写体の人数の入力を受け付ける人数入力部をさらに備え、撮影制御部は、顔検出部が少なくとも人数入力部に入力された人数分の顔領域を検出した場合、セルフタイマ回路に所定の期間の計時を実行させるよう制御してもよい。
すなわち、予め撮ろうとする被写体の人数が確定している場合は、その人数を入力しておけば、人数分の顔領域が検出された場合に限って計時とシャッタ制御が行われ、人数分の顔が正しく写った画像を得ることができ、撮影漏れを防げる。
撮影制御部は、顔検出部が複数の顔領域を検出した場合、複数の顔領域のうち特定の1つの顔領域ごとに、自動露出処理、自動焦点調節処理およびセルフタイマ回路に所定の期間の計時を実行させる制御を行ってもよい。
こうすると、検出された顔領域ごとに、個別に自動露出処理および自動焦点調節処理がされた上で計時とシャッタ制御が行われ、かつこの動作が全ての顔領域について行われるから、集合写真の各被写体について個別に最適化された撮影条件(露出および焦点)で連続的にセルフ撮影を繰り返し、被写体ごとに最適化された画像を被写体の人数分得ることができる。
この撮影装置は、任意の被写体の顔領域の各々が個別の所望の大きさで配置されるべき領域である構図の指定を受け付ける構図指定部をさらに備え、撮影制御部は、顔検出部が検出した顔領域の各々が構図指定部から指定された構図の各々に所望の大きさで配置されている場合、セルフタイマ回路に所定の期間の計時を実行させるよう制御するようにしてもよい。
こうすると、セルフ撮影においても、各顔が所望の大きさで所望の位置に配置されている、任意の構図の画像を得ることができる。従って例えば、各被写体をバストショットで撮影することも可能である。
この撮影装置は、任意の被写体の顔領域の全てが収まるべき領域である顔存在範囲の指定を受け付ける顔存在範囲指定部をさらに備え、撮影制御部は、顔検出部が検出した顔領域の全てが顔存在範囲指定部から指定された顔存在範囲に収まっている場合、セルフタイマ回路に所定の期間の計時を実行させるよう制御してもよい。
こうすると、顔の各々が所望の顔存在範囲に収まっている場合に限って計時およびシャッタ動作が行われ、撮影者その他の被写体が画角から外れた状態でシャッタ動作が行われてしまうことを防げる。
本発明は、被写体から撮影レンズを介して入射した光を受光して継続的に撮影信号に変換して出力する撮影素子、撮影素子から出力された撮影信号を画像データに変換して出力する画像データ変換部、画像データの記録指示を入力する記録指示部、セルフ撮影モードを設定するセルフ撮影設定部、セルフ撮影設定部によりセルフ撮影モードが設定された状態において、記録指示部が記録指示の入力を受け付けたことに応じ、所定の期間の計時を行うセルフタイマ回路、セルフタイマ回路による所定の期間の計時が完了したことに応じて撮影素子の露光の制御を行うシャッタ制御部、およびシャッタ制御部による露光の制御に応じて撮影素子から出力された撮影信号の画像データを記録する記録部、少なくとも記録部に記録された画像データを表示する表示部を備える撮影装置に用いられる撮影方法に関する。
この撮影方法は、記録指示部が記録指示の入力を受け付けたことに応じ、画像データ変換部から出力された画像データに基づいて被写体の顔領域を検出するステップと、少なくとも1つの顔領域が検出された場合、セルフタイマ回路に所定の期間の計時を実行させるステップと、を含む。
この発明によると、顔が検出された場合にセルフ撮影が行われるから、人物撮影を目的としているのに人物の顔が入っていないような失敗画像が撮影されてしまうことを防げる。特に、撮影者自身が被写体となるいわゆる自分撮りを行う場合、撮影者が撮影装置の操作から離れても、撮影者が正しく画角に収まった場合に限って計時とシャッタ制御が行われ、撮影者が正しく写った画像を得ることができる。また、被写体が正しく画角に収まっていれば、自動露出処理および自動焦点調節処理も容易である。
以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。
<第1実施形態>
図1は、本発明の好ましい実施形態に係るデジタルカメラ(以下カメラと略す)100の正面図である。
カメラ100の正面に配備されたレンズ鏡胴60には、ズームレンズ101a及びフォーカスレンズ101bを含む撮影レンズ101が内蔵されており、ズームレンズ101aを光軸方向に移動させることで焦点距離調節が行なわれるとともに、フォーカスレンズ101bを光軸方向に移動させることによりピント調節が行なわれる。
レンズ鏡胴60は、カメラボディ180に沈胴した状態から、予め設定された最短焦点距離位置であるワイド端と最長焦点距離位置であるテレ端との間で進退することで、カメラボディ180から繰り出し、また収納される。この図では、レンズ鏡胴60がカメラボディ180に沈胴した状態が示されている。
またカメラ100には、非撮影時には撮影レンズ101の前面を覆って撮影レンズ101と外界とを遮ることで撮影レンズ101を保護する状態をつくり出すとともに、撮像時には撮影レンズを外界に露出するレンズカバー61が設けられている。
レンズカバー61は開閉自在な機構で構成されており、開放状態で撮影レンズ101の前面を覆い、閉鎖状態で撮影レンズ101の前面を外界に露出する。レンズカバー61は電源スイッチ121のオン/オフに連動して開放/閉鎖される。この図ではレンズカバー61は開放状態となっている。
カメラ100の上面には、中央部分にレリーズスイッチ104の配備されたモードダイヤル123と電源スイッチ121とが配備されており、正面には、ストロボ105a、AF補助光ランプ105b、セルフタイマランプ105c等が配備されている。
図2はカメラ100の背面図である。カメラ100の背面には、ズームスイッチ127が配備されている。ズームスイッチ127のワイド(W)側を押すと、押し続けている間、レンズ鏡胴60がワイド端(望遠)側に繰り出し、テレ(T)側の他方を押すと、押し続けている間、レンズ鏡胴60がテレ端(広角)側に移動する。
カメラ100の背面には、画像表示LCD102、十字キー124、情報位置指定キー126等も設けられている。十字キー124は、上下左右がそれぞれ表示明るさ調節/セルフタイマ/マクロ撮影/ストロボ撮影を設定する操作系である。後述するが、十字キー124の下キーを押下することで、セルフタイマ回路83の計時完了後にメインCPU20がCCD132にシャッタ動作を行わせるセルフ撮影モードの設定を行える。
図3は第1実施形態に係るカメラ100のブロック図である。カメラ100にはユーザがこのカメラ100を使用するときに種々の操作を行なうための操作部120が設けられている。この操作部120には、カメラ100を作動させるための電源投入用の電源スイッチ121、オート撮影やマニュアル撮影等を選択するためのモードダイヤル123、各種のメニューの設定や選択あるいはズームを行なうための十字キー124、閃光発光用スイッチ125、および十字キー124で選択されたメニューの実行やキャンセル等を行なうための情報位置指定キー126が備えられている。
また、カメラ100には、撮影画像や再生画像等を表示するための画像表示LCD102と、操作の手助けを行なうための操作LCD表示103が備えられている。
このカメラ100にはレリーズスイッチ104が配備されている。このレリーズスイッチ104によって撮影の開始指示がメインCPU20へと伝えられる。このカメラ100では所定のメニュー画面によって撮影と再生との切り替えが自在になっている。また、カメラ100には、コントラストAF時に被写体に投光スポットを照射するための発光ダイオード(LED)からなるAF補助光ランプ105b、閃光を発光するストロボ105aを有する閃光発光装置が配備されている。
また、カメラ100には、撮影レンズ101と、絞り131と、撮影レンズ101および絞り131を経由して結像された被写体像をアナログの画像信号に変換する撮像素子であるCCDセンサ132(以下CCD132と略記する)とが備えられている。CCD132は、CCD132に照射された被写体光により発生した電荷を可変の電荷蓄積時間(露光期間)の間蓄積することにより画像信号を生成するものである。CCD132からは、CG部136から出力される垂直同期信号VDに同期したタイミングでフレーム毎の画像信号が順次出力される。
撮像素子にCCD132を用いた場合には、色偽信号やモアレ縞等の発生を防止するために、入射光内の不要な高周波成分を除去する光学的ローパスフィルタ132aが配設されている。また、入射光内の赤外線を吸収若しくは反射して、長波長域で感度が高いCCDセンサ132固有の感度特性を補正する赤外カットフィルタ132bが配設されている。光学的ローパスフィルタ132a及び赤外カットフィルタ132bの具体的な配設の態様は特に限定されない。
また、カメラ100には、CCDセンサ132からのアナログ画像信号が表わす被写体像のホワイトバランスを合わせるとともにその被写体像の階調特性における直線の傾き(γ)を調節し、さらにアナログ画像信号を増幅する増幅率可変の増幅器を含む白バランス・γ処理部133が備えられている。
さらに、カメラ100には、白バランス・γ処理部133からのアナログ信号をディジタルのR,G,B画像データにA/D変換するA/D変換部134と、そのA/D変換部134からのR,G,B画像データを格納するバッファメモリ135が備えられている。
A/D変換部134によって得られたR,G,B画像データは、AF検出部150にも入力される。AF検出部150は、R,G,B画像データを1画面の所定の分割エリア毎にかつ同じ色成分毎に積算平均し、さらにフレームごとに、全エリアのR,G,B画像データの積算平均値Ir,Ig,Ibを算出する。この積算平均値Ir,Ig,IbをR,G,Bの可視光の受光量とする。
ただし、R,G,Bの可視光の受光量Ir,Ig,Ibは、R、G、Bの可視光にそれぞれ感度を有するCCD132以外の受光センサ(図示せず)によって検出することも可能である。
また、カメラ100には、CG(クロックジェネレータ)部136と、測光・測距用CPU137と、充電・発光制御部138と、通信制御部139と、YC処理部140と、電源電池68とが備えられている。
CG部136は、CCDセンサ132を駆動するための垂直同期信号VD,高速掃き出しパルスPを含む駆動信号、白バランス・γ処理部133,A/D変換部134を制御する制御信号、および通信制御部139を制御する制御信号を出力する。また、このCG部136には、測光・測距用CPU137からの制御信号が入力される。
測光・測距用CPU137は、ズーム用モータ110、フォーカス用モータ111、絞り調節を行う絞り用モータ112を制御してズームレンズ101a、フォーカスレンズ101b、絞り131をそれぞれ駆動することにより被写体までの距離の算出(測距)を行ない、CG部136および充電・発光制御部138を制御する。ズーム用モータ110、フォーカス用モータ111、絞り用モータ112の駆動は、モータドライバ62によって制御され、モータドライバ62の制御コマンドは、測光・測距用CPU137あるいはメインCPU20から送られる。
なお、ズームレンズ101a、フォーカスレンズ101b、絞り131、AF補助光照射角の駆動源は、ズーム用モータ110、フォーカス用モータ111、絞り用モータ112のような各種モータに限定する必然性はなく、アクチュエータなどであってもよい。
測光・測距用CPU137は、レリーズスイッチ104が半押し(S1オン)されると、CCD132によって周期的(1/30秒から1/60秒ごと)に得られる画像データ(スルー画像)に基づいて被写体の明るさの測光(EV値の算出)を行う。
即ち、AE演算部151は、A/D変換部134から出力されたR、G、Bの画像信号を積算し、その積算値を測光・測距用CPU137に提供する。測光・測距用CPU137は、AE演算部151から入力する積算値に基づいて被写体の平均的な明るさ(被写体輝度)を検出し、撮影に適した露出値(EV値)を算出する。
そして、測光・測距用CPU137は、得られたEV値に基づいて絞り131の絞り値(F値)及びCCD132の電子シャッタ(シャッタスピード)を含む露出値を所定のプログラム線図にしたがって決定する(AE動作)。
レリーズスイッチ104が全押し(S2オン)されると、測光・測距用CPU137は、その決定した絞り値に基づいて絞り131を駆動し、絞り131の開口径を制御するとともに、決定したシャッタスピードに基づき、CG136を介してCCD132での電荷蓄積時間を制御する。
AE動作は、絞り優先AE,シャッタ速度優先AE,プログラムAEなどがあるが、いずれにおいても、被写体輝度を測定し、この被写体輝度の測光値に基づいて決められた露出値、すなわち絞り値とシャッタスピードとの組み合わせで撮影を行うことにより、適正な露光量で撮像されるように制御しており、面倒な露出決定の手間を省くことができる。
AF検出部150は、測光・測距CPU137により選定された検出範囲に対応する画像データをA/D変換部134から抽出する。焦点位置を検出する方法は、合焦位置で画像データの高周波成分が最大振幅になるという特徴を利用して行う。AF検出部150は、抽出された画像データの高周波成分を1フィールド期間積分することにより、振幅値を算出する。AF検出部150は、測光・測距CPU137がフォーカス用モータ111を駆動制御してズームレンズ101aを可動範囲内、即ち無限遠側の端点(INF点)から至近側の端点(NEAR点)の間で移動させている間に順次振幅値の計算を実行し、最大振幅を検出した時に検出値を測光・測距CPU137に送信する。
測光・測距CPU137は、この検出値を取得して対応する合焦位置に、フォーカスレンズ101bを移動させるようにフォーカス用モータ111に指令を出す。フォーカス用モータ111は、測光・測距CPU137の指令に応じてフォーカスレンズ101bを合焦位置に移動させる(AF動作)。
測光・測距用CPU137は、メインCPU20とのCPU間通信によってレリーズスイッチ104と接続されており、ユーザによりレリーズスイッチ104が半押しされた時に、この合焦位置の検出が行われる。また、測光・測距用CPU137には、ズーム用モータ110が接続されており、メインCPU20が、ズームスイッチ127によってユーザからのTELE方向又はWIDE方向へのズームの指令を取得した場合に、ズーム用モータ110を駆動させることにより、ズームレンズ101aをWIDE端とTELE端との間で移動させる。
充電・発光制御部138は,ストロボ105aを発光させるために電源電池68からの電力の供給を受けて図示しない閃光発光用のコンデンサを充電したり、そのストロボ105aの発光を制御する。
充電・発光制御部138は,電源電池68の充電開始、レリーズスイッチ104の半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号をメインCPU20や測光・測距CPU137から取り込んだことに応じ、セルフタイマランプ(タリーランプ)105cやAF補助光ランプ105bへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。
なお、セルフタイマランプ105cはLEDで構成してもよく、AF補助光ランプ105bを構成するLEDと共通にしてもよい。
メインCPU20には、セルフタイマ回路83が接続されている。メインCPU20は、セルフ撮影モードが設定されている場合、レリーズスイッチ104の全押し信号に基づいて計時を行なう。この計時中に、メインCPU20は測光・測距CPU137を介し、残り時間に合わせて点滅速度をだんだんと早めながら、セルフタイマランプ105cを点滅させる。セルフタイマ回路83は、計時完了後に計時完了信号をメインCPU20に入力する。メインCPU20は、計時完了信号に基づいて、CCD132にシャッタ動作を実施させる。
通信制御部139には、通信ポート107が備えられており、この通信制御部139は、カメラ100により撮影された被写体の画像信号をUSB端子が備えられたパーソナルコンピュータ等の外部装置に出力し、およびこのような外部装置からカメラ100に画像信号を入力することにより、その外部装置との間のデータ通信を担うものである。また、このカメラ100は、ロール状の写真フイルムに写真撮影を行なう通常のカメラが有するISO感度80,100,200,400,1600等に切り替える機能を模擬した機能を有し、ISO感度400以上に切り替えられた場合、白バランス・γ処理部133の増幅器の増幅率が所定の増幅率を越えた高増幅率に設定された高感度モードとなる。通信制御部139は、高感度モードでの撮影中は、外部装置との通信を停止する。
また、カメラ100には、圧縮・伸長&ID抽出部143と、I/F部144が備えられている。圧縮・伸長&ID抽出部143は、バッファメモリ135に格納された画像データを、バスライン142を介して読み出して圧縮し、I/F部144を経由してメモリカード200に格納する。また、圧縮・伸長&ID抽出部143は、メモリカード200に格納された画像データの読み出しにあたり、メモリカード200固有の識別番号(ID)を抽出し、そのメモリカード200に格納された画像データを読み出して伸長し、バッファメモリ135に格納する。
バッファメモリ135に格納されたY/C信号は、圧縮・伸長&ID抽出部143によって所定のフォーマットに従って圧縮された後、I/F144を介してメモリカード200のようなリムーバブルメディアないしハードディスク(HDD)75のような内蔵型大容量記憶媒体に所定の形式(例えばExif(Exchangeable Image File Format)ファイル)で記録される。ハードディスク(HDD)75へのデータ記録またはハードディスク(HDD)75からのデータの読込みは、メインCPU20の指令に応じてハードディスクコントローラ74によって制御される。
また、カメラ100には、メインCPU20と、EEPROM146と、YC/RGB変換部147と、表示用のドライバ148とが備えられている。メインCPU20は、このカメラ100全体の制御を行なう。EEPROM146には、このカメラ100固有の固体データやプログラム等が格納されている。YC/RGB変換部147は、YC処理部140で生成されたカラー映像信号YCを3色のRGB信号に変換して表示用のドライバ148を経由して画像表示LCD102に出力する。
また、カメラ100は、AC電源から電力を得るためのACアダプタ48と電源電池68とが着脱可能な構成となっている。電源電池68は充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池68は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池68は図示しない電池収納室に装填することにより、カメラ100の各回路と電気的に接続される。
ACアダプタ48がカメラ100に装填されAC電源からACアダプタ48を介してカメラ100に電力が供給される場合には、電源電池68が電池収納室に装填されている場合であっても、優先的に当該ACアダプタ48から出力された電力がカメラ100の各部に駆動用の電力として供給される。また、ACアダプタ48が装填されておらず、かつ電源電池68が電池収納室に装填されている場合には、当該電源電池68から出力された電力がカメラ100の各部に駆動用の電力として供給される。
なお、図示しないが、カメラ100には、電池収納室内に収納される電源電池68とは別にバックアップ電池が設けられている。内蔵バックアップ電池には例えば専用の二次電池が用いられ、電源電池68によって充電される。バックアップ電池は、電源電池68の交換や取り外し等、電源電池68が電池収納室に装填されていない場合、カメラ100の基本機能に給電する。
即ち、電源電池68又はACアダプタ48からの電源供給が停止すると、バックアップ電池がスイッチング回路(図示せず)によってRTC15等に接続され、これらの回路に給電する。これにより、バックアップ電池29が寿命に達しない限り、RTC15等の基本機能には、電源供給が間断なく継続する。
RTC(Real Time Clock)15は計時専用のチップであり、電源電池68やACアダプタ48からの給電がオフされていてもバックアップ電池から電源供給を受けて継続的に動作する。
画像表示LCD102には透過型又は半透過型の液晶パネル71を背面側から照明するバックライト70が配設されており、省電力モードの場合には、メインCPU20によりそのバックライト70の明るさ(輝度)がバックライトドライバ72を介して制御され、バックライト70の消費電力が低減されるようになっている。また、省電力モードは、操作部120の情報位置指定キー126を押して画像表示LCD102にメニュー画面を表示させ、そのメニュー画面で所定の操作を行うことによってオン/オフを設定することができるようになっている。
図4は第1実施形態に係るメインCPU20の実行するプログラムをブロック図で概念的に示している。メインCPU20は、EEPROM146やハードディスク75等のコンピュータ読み取り可能な記憶媒体に記憶されたプログラムである顔検出部20a、撮影制御部20b、表示制御部20cをRAM145等に読み出して実行する。これらをまとめて単にプログラムと呼ぶこともある。
顔検出部20aは、バッファメモリ135に逐次記憶されるスルー画像もしくはメモリカード200の画像から人物の顔部分を含む領域である顔領域を検出する。顔領域の検出方法としては、例えば本出願人による特開平9−101579号公報において開示された技術を適用することができる。
この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として検出するものである。また、この他に、特開2003−209683号公報や特開2002−199221号公報に記載される方法で顔領域を検出することもできる。
撮影制御部20bは、後述の撮影処理を実行する。
表示制御部20cは、ドライバ148に内蔵されたOSD信号発生回路148aに対し、シャッタ速度や絞り値、撮影可能枚数、撮影日時、警告メッセージ、グラフィカルユーザインターフェイス(GUI)等の文字及び記号情報を表示するための信号を発生させるコマンドを送る。OSD信号発生回路148aから出力される信号は、必要に応じてYC/RGB変換部147からの画像信号に混合されて、液晶パネル71に供給される。これにより、スルー画像や再生画像に文字等が合成された合成画像が表示される。
以下、図5のフローチャートを参照し、CPU20の実行する撮影処理の流れを説明する。
S0では、「撮影モード」の設定に応じたLCD102へのスルー画の表示中、操作部120による「顔サーチ機能」のオンに連動して、表示制御部20cは、顔サーチ機能が設定されたことを示すアイコンI1(図6(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。顔サーチ機能とは、顔検出部20aによってスルー画から顔検出を行う機能である。
S1では、撮影制御部20bは、操作部120からセルフ撮影モードが設定されたことに応じ、セルフタイマ回路83へ所定の計時時間T0(例えば10秒間)をセットする。表示制御部20cは、セルフ撮影モードが設定されたことに応じ、セルフ撮影モードが設定されたことを示すアイコンI2(図6(b)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S2では、撮影制御部20bは、レリーズスイッチ104の全押し信号(あるいは半押し信号でも可)を検知し、検知したことに応じてS3に移行する。
S3では、顔検出部20aは、スルー画に基づいて、顔領域の検出を行う。表示制御部20cは、現在顔検出を行っている旨を示すアイコンI3(図6(c)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。顔が検出されるまでは、アイコンI1やI3を点滅させてもよい。
S4では、顔検出部20aは、スルー画から少なくとも1つの顔領域が検出されたか否かを判断する。少なくとも1つの顔領域が検出された場合はS5に移行する。顔領域が全く検出されない場合はS3に戻って顔検出を続行する。ただし、所定時間(例えば10秒)顔検出を続行してもやはり検出できない場合は、撮影処理を終了してもよい。なお、少なくとも1つの顔領域が検出された場合は、アイコンI1またはI3の映像信号の供給を停止してもよい。
S5では、セルフタイマ回路83は、所定の待ち時間T0の計時をする。この計時中に、セルフタイマ回路83は、測光・測距CPU137を介し、所定の待ち時間の残り時間に合わせて点滅速度がだんだん早まるような点滅パターンで、セルフタイマランプ105cを点滅させる。被写体は、この点滅パターンによって、顔が検出されて計時が開始したことを認識でき、計時完了後のシャッタ動作に向けた準備ができる。
S6では、セルフタイマ回路83による所定の待ち時間T0の計時中、顔検出部20aは、スルー画から顔領域が全く検出されなくなったか否かを監視している。もしスルー画から顔領域が全く検出されなくなったと判断した場合、セルフタイマ回路83は待ち時間の計時を中止し、S3に戻って顔検出を再開する。こうすれば、待ち時間中に被写体の顔が画角から外れて失敗画像が記録されてしまうことを防げる。
S7では、セルフタイマ回路83は、所定の待ち時間T0の計時が完了したか否かを判断し、計時が完了するまでS5〜S7を繰り返す。計時が完了した場合、セルフタイマ回路83は、計時完了信号をメインCPU20に出力し、S8に移行する。
S8では、メインCPU20は、顔検出部20aの検出した顔領域についてAF・AE・AWB(オートホワイトバランス)調整動作などを行い、この動作で得られた焦点位置および露出値をロックする。表示制御部20cは、顔検出部20aの検出した顔領域に焦点がロックされたことを示すアイコンI4(図6(d)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御してもよい。
S9では、AF・AE動作の完了後、即座にメインCPU20はCCD132にシャッタ動作を実施させ、記録用画像を取得する。取得された画像データはメモリカード200(もしくはHDD75)に格納される。なお、画像の取得が完了した場合、計時のパターンと異なる特有の点滅パターンでセルフタイマランプ105cを点滅させ、撮影が成功したことを通知してもよい。あるいは、チャイム音の発生で撮影が成功したことを通知してもよい。
なお、S8の処理は、S5〜S7の処理の途中で行ってもよい。ただし、図5のように、所定の待ち時間T0の計時が完了した後すなわち撮影の直前に、AF・AE動作を行う方が好ましい。また、この撮影処理の実行途中、電源スイッチ121の押下や情報位置指定キー126による処理キャンセルの指定がされた場合、撮影処理を停止してもよい。
以上の処理によると、セルフタイマ撮影時、人物の顔が検出されて初めて所定の待ち時間T0の計時が開始する。従って、撮影者自身が被写体となった場合でも、顔が画角に入った状態で確実にセルフ撮影を行うことができる。またもし計時中に顔が画角から外れても、顔が検出されれば再び計時が開始するから、被写体となった撮影者は、自分の顔が画角に入っているのかいないのか分からないままセルフ撮影が行われることを心配する必要がない。
<第2実施形態>
図7は本発明の好ましい第2の実施形態に係る撮影処理の流れを示すフローチャートである。
S11では、操作部120による「顔サーチ機能」のオンに連動してアイコンI1の表示を開始する。
S12では、撮影制御部20bは、セルフ撮影モードが設定されたことに応じ、セルフタイマ回路83へ所定の計時時間T0(例えば10秒間)をセットする。表示制御部20cは、セルフ撮影モードが設定されたことに応じ、セルフ撮影モードが設定されたことを示すアイコンI2(図8(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S13では、撮影制御部20bは、これから撮影しようとする被写体の人数の入力を操作部120から受け付ける。表示制御部20cは、入力された人数を示すアイコンI5(図8(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S14では、撮影制御部20bは、レリーズスイッチ104の全押し信号(あるいは半押し信号でも可)を検知し、検知したことに応じてS15に移行する。
S15では、顔検出部20aは、スルー画に基づいて、入力された人数分の顔領域の検出を行う。
S16では、顔検出部20aは、スルー画から入力された人数分の顔領域が検出されたか否かを判断する。人数分の顔領域が検出された場合はS17に移行する。人数分の顔領域が全く検出されない場合はS15に戻って顔検出を続行する。ただし、所定時間(例えば10秒)顔検出を続行してもやはり人数分の顔領域が検出できない場合は、処理を終了してもよい。
S17では、セルフタイマ回路83は、所定の待ち時間T0の計時をする。この計時中に、セルフタイマ回路83は、測光・測距CPU137を介し、所定の待ち時間の残り時間に合わせて点滅速度がだんだん早まるような点滅パターン(計時点滅パターン)で、セルフタイマランプ105cを点滅させる。
S18では、セルフタイマ回路83による所定の待ち時間T0の計時中、顔検出部20aは、スルー画から人数分の顔領域が検出されなくなったか否かを監視している。もしスルー画から人数分の顔領域が検出されなくなったと判断した場合、セルフタイマ回路83は待ち時間の計時を中止し、S15に戻って人数分の顔検出を再開する。
S19では、セルフタイマ回路83は、所定の待ち時間T0の計時が完了したか否かを判断し、計時が完了するまでS17〜S19を繰り返す。計時が完了した場合、セルフタイマ回路83は、計時完了信号をメインCPU20に出力し、S20に移行する。
S20では、メインCPU20は、顔検出部20aの検出した顔領域のうち、最も優先度の高い顔領域(例えば、顔領域の大きさが最大のもの、顔検出の精度が最大のもの、操作部120から最も優先度が高い顔領域が存在すべき位置として任意に指定された位置に、例えば画角中央に存在する顔領域)について、AF・AE動作を行い、この動作で得られた焦点位置および露出値をロックする。表示制御部20cは、顔検出部20aの検出した顔領域を示すアイコンJ(図8(b)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御してもよい。
S21では、AF・AE動作の完了後、メインCPU20はCCD132にシャッタ動作を実施させ、記録用画像を取得する。取得された画像データはメモリカード200(もしくはHDD75)に格納される。
以上の処理によると、セルフタイマ撮影時、任意に指定された人数分の顔が検出されて初めて所定の待ち時間T0の計時が開始する。従って、撮影したい人数分の顔が画角に入った状態で確実にセルフ撮影を行うことができ、特に撮影者が被写体となる場合における撮影者自身の撮影漏れを防止できる。またもし計時中に顔が画角から外れても、人数分の顔が検出されれば再び計時が開始するから、撮影者は、いちいちセルフタイマモードを設定しなおす必要がない。
<第3実施形態>
図9は本発明の好ましい第3の実施形態に係る撮影処理の流れを示すフローチャートである。
S31では、操作部120による「顔サーチ機能」のオンに連動してアイコンI1の表示を開始する。
S32では、撮影制御部20bは、セルフ撮影モードが設定されたことに応じ、セルフタイマ回路83へ所定の計時時間T0(例えば10秒間)をセットする。表示制御部20cは、セルフ撮影モードが設定されたことに応じ、セルフ撮影モードが設定されたことを示すアイコンI2(図10(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S33では、表示制御部20cは、操作部120による「顔連写機能」のオンに連動し、顔連写機能が設定されたことを示すアイコンI6(図10(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S34では、撮影制御部20bは、レリーズスイッチ104の全押し信号(あるいは半押し信号でも可)を検知し、検知したことに応じてS35に移行する。
S35では、顔検出部20aは、スルー画に基づいて、入力された人数分の顔領域の検出を行う。
S36では、顔検出部20aは、スルー画から顔領域が検出されたか否かを判断する。顔領域が検出された場合はS37に移行する。顔領域が全く検出されない場合はS35に戻って顔検出を続行する。ただし、所定時間(例えば10秒)顔検出を続行してもやはり検出できない場合は、処理を終了してもよい。
S37ないしS44では、検出された顔領域について繰り返される処理単位であり、全ての顔領域についてS39〜S43が繰り返される。
S38では、セルフタイマ回路83は、所定の待ち時間T0の計時をする。この計時中に、セルフタイマ回路83は、測光・測距CPU137を介し、所定の待ち時間の残り時間に合わせて点滅速度がだんだん早まるような点滅パターン(計時点滅パターン)で、セルフタイマランプ105cを点滅させる。
S39では、セルフタイマ回路83による所定の待ち時間T0の計時中、顔検出部20aは、スルー画から人数分の顔領域が検出されなくなったか否かを監視している。もしスルー画から顔領域が検出されなくなったと判断した場合、セルフタイマ回路83は待ち時間の計時を中止し、S35に戻って顔検出を再開する。
S40では、セルフタイマ回路83は、所定の待ち時間T0の計時が完了したか否かを判断し、計時が完了するまでS39を繰り返す。計時が完了した場合、セルフタイマ回路83は、計時完了信号をメインCPU20に出力し、S41に移行する。
S41では、メインCPU20は、顔検出部20aの検出した顔領域のうち、所定の順番で定められた特定の顔領域(例えば、画角左側の顔領域から右側の顔領域にかけて順に1つずつ特定される顔領域)について、AF・AE動作を行い、この動作で得られた焦点位置および露出値をロックする。表示制御部20cは、顔検出部20aの検出した顔領域を示すアイコンI7−1,I7−2,I7−3・・(図10(b)〜(d)参照)のうち、焦点がロックされた特定の顔領域を示すアイコンの映像信号の属性(線幅、色、破線ピッチなど)を変更するようOSD信号発生回路148aを制御する。
なお、図10(b)〜(d)では、それぞれアイコンI7−1,I7−2,I7−3の属性が変更されている。
S42では、AF・AE動作の完了後、メインCPU20はCCD132にシャッタ動作を実施させ、記録用画像を取得する。取得された画像データはメモリカード200(もしくはHDD75)に格納される。
S43では、所定の待ち時間T1(例えば5秒間)だけ待機し、待ち時間T1が経過するとS44に進む。
S44では、すべての顔領域についてS38〜S42の処理単位が行われたか否かを判断し、行われていなければ、S38に戻って次の順番の顔領域についてS38〜S42が繰り返される。すべての顔領域について処理が行われていれば、この撮影処理を終了する。
この処理によると、画角内の複数の被写体のそれぞれについて最適な条件で撮影が繰り返されるから、撮影者を煩わせることなく各被写体について最適な撮影条件の画像を、顔の検出された被写体の人数分だけ連続して撮影することができる。
<第4実施形態>
図11は本発明の好ましい第4の実施形態に係る撮影処理の流れを示すフローチャートである。
S51では、操作部120による「顔サーチ機能」のオンに連動してアイコンI1の表示を開始する。
S52では、撮影制御部20bは、セルフ撮影モードが設定されたことに応じ、セルフタイマ回路83へ所定の計時時間T0(例えば10秒間)をセットする。表示制御部20cは、セルフ撮影モードが設定されたことに応じ、セルフ撮影モードが設定されたことを示すアイコンI2(図12(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S53では、撮影制御部20bは、これから撮影しようとする1または複数の被写体の所望の構図(すなわち各被写体の顔領域の大きさと位置)の指定を操作部120から受け付ける。表示制御部20cは、指定された所望の構図を示すアイコンI8−1,I8−2..(図12(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S54では、撮影制御部20bは、レリーズスイッチ104の全押し信号(あるいは半押し信号でも可)を検知し、検知したことに応じてS55に移行する。
S55では、顔検出部20aは、スルー画に基づいて、顔領域の検出を行う。表示制御部20cは、アイコンI8−1,I8−2..(図12(a)参照)の色、線幅、破線ピッチなどの属性を変化させて現在顔検出を行っている旨を示すようOSD信号発生回路148aを制御してもよい。
S56では、顔検出部20aは、スルー画から検出された各顔領域のサイズと位置が、指定された各構図のそれぞれと一致するか否かを判断する。各顔領域と各構図が一致する場合はS57に移行する。顔領域のうち構図と一致しないものが1つでもある場合あるいは構図と同数の顔領域が検出できない場合はS55に戻って顔検出を続行する。ただし、所定時間(例えば10秒)顔検出を続行してもやはり検出できない場合や顔領域が構図と一致しない場合は、処理を終了してもよい。
なお、表示制御部20cは、アイコンI8−1,I8−2..の色、線幅、破線ピッチなどの属性を変化させて、検出された顔領域が構図と一致する旨または一致しない旨を示すようOSD信号発生回路148aを制御するとよい。
例えば図12(a)で示すようなバストショットの構図が指定されたとする。図12(b)では左側の被写体M1および右側の被写体M2の双方の顔領域が構図と一致していない旨、図12(c)では左側の被写体M1の顔領域が構図と一致している(すなわち被写体M1がバストショットとなっている)旨および右側の被写体M2の顔領域が構図と一致していない旨、図12(d)では左側の被写体M1および右側の被写体M2の双方の顔領域が構図と一致している(すなわち被写体M1とM2がバストショットとなっている)旨がアイコンI8−1,I8−2の線幅の変化で示されている。
S57では、セルフタイマ回路83は、所定の待ち時間T0の計時をする。この計時中に、セルフタイマ回路83は、測光・測距CPU137を介し、所定の待ち時間の残り時間に合わせて点滅速度がだんだん早まるような点滅パターン(計時点滅パターン)で、セルフタイマランプ105cを点滅させる。
S58では、セルフタイマ回路83による所定の待ち時間T0の計時中、顔検出部20aは、スルー画から検出された顔領域のうち構図と一致しなくなったものが出現していないか否かを監視している。もしスルー画から構図と一致しない顔領域が存在していると判断した場合、セルフタイマ回路83は待ち時間の計時を中止し、S55に戻って顔検出を再開する。
S59では、セルフタイマ回路83は、所定の待ち時間T0の計時が完了したか否かを判断し、計時が完了するまでS57〜S59を繰り返す。計時が完了した場合、セルフタイマ回路83は、計時完了信号をメインCPU20に出力し、S60に移行する。
S60では、メインCPU20は、顔検出部20aの検出した顔領域について、AF・AE動作を行い、この動作で得られた焦点位置および露出値をロックする。表示制御部20cは、顔検出部20aの検出した顔領域を示すアイコンおよび焦点がロックされた特定の顔領域を示すアイコンI6(図8(b)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S61では、AF・AE動作の完了後、メインCPU20はCCD132にシャッタ動作を実施させ、記録用画像を取得する。取得された画像データはメモリカード200(もしくはHDD75)に格納される。
以上の処理によると、セルフタイマ撮影時、任意に指定された構図に検出された顔が一致した場合に限り、所定の待ち時間T0の計時が開始する。従って、撮影したい被写体の顔が任意に指定された構図と一致した状態で確実にセルフ撮影を行うことができる。
<第5実施形態>
図13は本発明の好ましい第5の実施形態に係る撮影処理の流れを示すフローチャートである。
S71では、操作部120による「顔サーチ機能」のオンに連動してアイコンI1の表示を開始する。
S72では、撮影制御部20bは、セルフ撮影モードが設定されたことに応じ、セルフタイマ回路83へ所定の計時時間T0(例えば10秒間)をセットする。表示制御部20cは、セルフ撮影モードが設定されたことに応じ、セルフ撮影モードが設定されたことを示すアイコンI2(図14(a)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S73では、撮影制御部20bは、これから撮影しようとする1または複数の被写体の顔領域の収まるべき範囲の指定を操作部120から受け付ける。表示制御部20cは、指定された所望の範囲を示すアイコンI9(図14(b)参照)の映像信号をスルー画像に合成表示するようOSD信号発生回路148aを制御する。
S74では、撮影制御部20bは、レリーズスイッチ104の全押し信号(あるいは半押し信号でも可)を検知し、検知したことに応じてS55に移行する。
S75では、顔検出部20aは、スルー画に基づいて、顔領域の検出を行う。表示制御部20cは、アイコンI9の色、線幅、破線ピッチなどの属性を変化させて現在顔検出を行っている旨を示すようOSD信号発生回路148aを制御してもよい。
S76では、顔検出部20aは、スルー画から検出された各顔領域が、指定された範囲に収まっているか否かを判断する。各顔領域が指定範囲に収まっている場合はS77に移行する。顔領域のうち指定領域に収まっていないものが1つでも存在する場合あるいは顔が検出されない場合はS74に戻って顔検出を続行する。ただし、所定時間(例えば10秒)顔検出を続行してもやはりいずれかの顔領域が指定範囲に収まっていない場合あるいは顔が検出されない場合は、処理を終了してもよい。
なお、表示制御部20cは、アイコンI9の色、線幅、破線ピッチなどの属性を変化させて、検出された顔領域が指定範囲内に収まっている旨または収まっていない旨を示すようOSD信号発生回路148aを制御するとよい。
例えば図14(b)では予めカメラ100の面前に立っている3人の被写体M1〜M3の顔領域が指定範囲内に収まっているものの、新たに被写体となろうとしている撮影者M0の顔領域が指定範囲内に収まっていない旨、図14(c)では左側の被写体M0の顔領域および右側の被写体M3の顔領域が指定範囲内に収まっていない旨、図14(d)では被写体M1〜M4の全員の顔領域が指定範囲内に収まっている旨がアイコンI9の線幅の変化で示されている。
S77では、セルフタイマ回路83は、所定の待ち時間T0の計時をする。この計時中に、セルフタイマ回路83は、測光・測距CPU137を介し、所定の待ち時間の残り時間に合わせて点滅速度がだんだん早まるような点滅パターン(計時点滅パターン)で、セルフタイマランプ105cを点滅させる。
S78では、セルフタイマ回路83による所定の待ち時間T0の計時中、顔検出部20aは、スルー画から検出された顔領域のうち指定範囲から離脱したものが出現していないか否かを監視している。もし指定範囲から離脱した顔領域が出現したと判断した場合、セルフタイマ回路83は待ち時間の計時を中止し、S75に戻って顔検出を再開する。
S79では、セルフタイマ回路83は、所定の待ち時間T0の計時が完了したか否かを判断し、計時が完了した場合、セルフタイマ回路83は、計時完了信号をメインCPU20に出力し、S80に移行する。
S80では、メインCPU20は、顔検出部20aの検出した顔領域について、AF・AE動作を行い、この動作で得られた焦点位置および露出値をロックする。
S81では、AF・AE動作の完了後、メインCPU20はCCD132にシャッタ動作を実施させ、記録用画像を取得する。取得された画像データはメモリカード200(もしくはHDD75)に格納される。
以上の処理によると、セルフタイマ撮影時、任意に指定された範囲に検出された顔の全てが収まった場合に限り、所定の待ち時間T0の計時が開始する。従って、撮影したい被写体の顔が任意に指定された範囲に収まった状態で確実にセルフ撮影を行うことができ、被写体の一部の撮影漏れ、特に被写体となった撮影者の撮影漏れを防ぐことができる。
デジタルカメラの正面図 デジタルカメラの背面図 デジタルカメラのブロック構成図 第1実施形態に係るメインCPUの実行するプログラムを概念的に示した図 第1実施形態に係る撮影処理の流れを示すフローチャート 顔領域が検出されている様子を示す図 第2実施形態に係る撮影処理の流れを示すフローチャート 顔領域が検出されている様子を示す図 第3実施形態に係る撮影処理の流れを示すフローチャート 顔領域が検出されている様子を示す図 第4実施形態に係る撮影処理の流れを示すフローチャート 顔領域が検出されている様子を示す図 第5実施形態に係る撮影処理の流れを示すフローチャート 顔領域が検出されている様子を示す図
符号の説明
20:メインCPU、83:セルフタイマ回路、101:撮影レンズ、105c:セルフタイマランプ、132:CCD、134:A/D変換部、150:AF検出部、151:AE演算部

Claims (9)

  1. 被写体から撮影レンズを介して入射した光を受光して継続的に撮影信号に変換して出力する撮影素子、前記撮影素子から出力された撮影信号を画像データに変換して出力する画像データ変換部、前記画像データの記録指示を入力する記録指示部、セルフ撮影モードを設定するセルフ撮影設定部、前記セルフ撮影設定部により前記セルフ撮影モードが設定された状態において、前記記録指示部が前記記録指示の入力を受け付けたことに応じ、所定の期間の計時を行うセルフタイマ回路、前記セルフタイマ回路による前記所定の期間の計時が完了したことに応じて前記撮影素子の露光の制御を行うシャッタ制御部、および前記シャッタ制御部による露光の制御に応じて前記撮影素子から出力された撮影信号の画像データを記録する記録部、少なくとも前記記録部に記録された画像データを表示する表示部を備える撮影装置であって、
    前記記録指示部が前記記録指示の入力を受け付けたことに応じ、前記画像データ変換部から出力された画像データに基づいて前記被写体の顔領域を検出する顔検出部と、
    前記顔検出部が少なくとも1つの顔領域を検出した場合、前記セルフタイマ回路に前記所定の期間の計時を実行させるよう制御する撮影制御部と、
    を備え
    前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時中に前記画像データから前記顔領域が検出されなくなったか否かを監視し、
    前記セルフタイマ回路は、前記所定の期間の計時中に前記顔領域が検出されなくなった場合、前記所定の期間の計時を中止し、
    前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時の中止後、前記顔領域の検出を再開する撮影装置。
  2. 撮影すべき任意の被写体の人数の入力を受け付ける人数入力部をさらに備え、
    前記撮影制御部は、前記顔検出部が少なくとも前記人数入力部に入力された人数分の顔領域を検出した場合、前記セルフタイマ回路に前記所定の期間の計時を実行させるよう制御する請求項1に記載の撮影装置。
  3. 前記撮影制御部は、前記顔検出部が複数の顔領域を検出した場合、前記複数の顔領域のうち特定の1つの顔領域ごとに、自動露出処理、自動焦点調節処理および前記セルフタイマ回路に前記所定の期間の計時を実行させる制御を行う請求項に記載の撮影装置。
  4. 前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時中に前記画像データから前記人数入力部に入力された人数分の顔領域が検出されなくなったか否かを監視し、
    前記セルフタイマ回路は、前記所定の期間の計時中に前記人数入力部に入力された人数分の顔領域が検出されなくなった場合、前記所定の期間の計時を中止し、
    前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時の中止後、前記人数入力部に入力された人数分の顔領域の検出を再開する請求項2または3に記載の撮影装置。
  5. 任意の被写体の顔領域の各々が個別の所望の大きさで配置されるべき領域である構図の指定を受け付ける構図指定部をさらに備え、
    前記撮影制御部は、前記顔検出部が検出した顔領域の各々が前記構図指定部から指定された構図の各々に所望の大きさで配置されている場合、前記セルフタイマ回路に前記所定の期間の計時を実行させるよう制御する請求項に記載の撮影装置。
  6. 前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時中に前記画像データから前記構図指定部が指定を受け付けた構図と一致しない顔領域が出現したか否かを監視し、
    前記セルフタイマ回路は、前記所定の期間の計時中に前記構図指定部が指定を受け付けた構図と一致しない顔領域が出現した場合、前記所定の期間の計時を中止し、
    前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時の中止後、前記顔領域の検出を再開する請求項5に記載の撮影装置。
  7. 任意の被写体の顔領域の全てが収まるべき領域である顔存在範囲の指定を受け付ける顔存在範囲指定部をさらに備え、
    前記撮影制御部は、前記顔検出部が検出した顔領域の全てが前記顔存在範囲指定部から指定された顔存在範囲に収まっている場合、前記セルフタイマ回路に前記所定の期間の計時を実行させるよう制御する請求項に記載の撮影装置。
  8. 前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時中に前記画像データから前記顔存在範囲指定部が指定を受け付けた顔存在範囲から離脱した顔領域が出現したか否かを監視し、
    前記セルフタイマ回路は、前記所定の期間の計時中に前記顔存在範囲指定部が指定を受け付けた顔存在範囲から離脱した顔領域が出現した場合、前記所定の期間の計時を中止し、
    前記顔検出部は、前記セルフタイマ回路による前記所定の期間の計時の中止後、前記顔領域の検出を再開する請求項7に記載の撮影装置。
  9. 被写体から撮影レンズを介して入射した光を受光して継続的に撮影信号に変換して出力する撮影素子、前記撮影素子から出力された撮影信号を画像データに変換して出力する画像データ変換部、前記画像データの記録指示を入力する記録指示部、セルフ撮影モードを設定するセルフ撮影設定部、前記セルフ撮影設定部により前記セルフ撮影モードが設定された状態において、前記記録指示部が前記記録指示の入力を受け付けたことに応じ、所定の期間の計時を行うセルフタイマ回路、前記セルフタイマ回路による前記所定の期間の計時が完了したことに応じて前記撮影素子の露光の制御を行うシャッタ制御部、および前記シャッタ制御部による露光の制御に応じて前記撮影素子から出力された撮影信号の画像データを記録する記録部、少なくとも前記記録部に記録された画像データを表示する表示部を備える撮影装置に用いられる撮方法であって、
    前記記録指示部が前記記録指示の入力を受け付けたことに応じ、前記画像データ変換部から出力された画像データに基づいて前記被写体の顔領域を検出するステップと、
    少なくとも1つの顔領域が検出された場合、前記セルフタイマ回路に前記所定の期間の計時を実行させるステップと、
    前記セルフタイマ回路による前記所定の期間の計時中に前記画像データから前記顔領域が検出されなくなったか否かを監視するステップと、
    前記所定の期間の計時中に前記顔領域が検出されなくなった場合、前記セルフタイマ回路による前記所定の期間の計時を中止するステップと、
    前記セルフタイマ回路による前記所定の期間の計時の中止後、前記顔領域の検出を再開するステップと、
    を含む撮影方法。
JP2006142825A 2006-05-23 2006-05-23 撮影装置および撮影方法 Expired - Fee Related JP4654974B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006142825A JP4654974B2 (ja) 2006-05-23 2006-05-23 撮影装置および撮影方法
US11/802,361 US7574128B2 (en) 2006-05-23 2007-05-22 Photographing apparatus and photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006142825A JP4654974B2 (ja) 2006-05-23 2006-05-23 撮影装置および撮影方法

Publications (2)

Publication Number Publication Date
JP2007318225A JP2007318225A (ja) 2007-12-06
JP4654974B2 true JP4654974B2 (ja) 2011-03-23

Family

ID=38749639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006142825A Expired - Fee Related JP4654974B2 (ja) 2006-05-23 2006-05-23 撮影装置および撮影方法

Country Status (2)

Country Link
US (1) US7574128B2 (ja)
JP (1) JP4654974B2 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4153444B2 (ja) * 2004-02-18 2008-09-24 富士フイルム株式会社 デジタルカメラ
JP4350725B2 (ja) * 2005-08-05 2009-10-21 キヤノン株式会社 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム
JP4709071B2 (ja) * 2006-06-02 2011-06-22 キヤノン株式会社 撮像システム及び装置、撮像装置の制御方法
JP4127297B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4338047B2 (ja) * 2006-07-25 2009-09-30 富士フイルム株式会社 撮像装置
WO2008131823A1 (en) * 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
JP2009010776A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法及びプログラム
KR101411910B1 (ko) * 2008-01-04 2014-06-26 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5040760B2 (ja) * 2008-03-24 2012-10-03 ソニー株式会社 画像処理装置、撮像装置、表示制御方法およびプログラム
JP2010028354A (ja) * 2008-07-17 2010-02-04 Canon Inc 撮像装置、撮像方法、プログラム及び記録媒体
JP5224955B2 (ja) * 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
US7990421B2 (en) * 2008-07-18 2011-08-02 Sony Ericsson Mobile Communications Ab Arrangement and method relating to an image recording device
KR101436839B1 (ko) * 2008-07-31 2014-09-03 삼성전자주식회사 사람 수 체크를 이용한 셀프타이머 촬영 장치 및 방법
US20100053448A1 (en) * 2008-09-01 2010-03-04 Naka Masafumi D Systems and methods for picture enhancement
JP2010087598A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム
CN101726966B (zh) * 2008-10-10 2012-03-14 深圳富泰宏精密工业有限公司 自拍系统及方法
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
JP4927808B2 (ja) * 2008-11-26 2012-05-09 京セラ株式会社 カメラ付き機器
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
US20100225773A1 (en) * 2009-03-09 2010-09-09 Apple Inc. Systems and methods for centering a photograph without viewing a preview of the photograph
JP2010226558A (ja) 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US8482626B2 (en) 2009-04-07 2013-07-09 Mediatek Inc. Digital camera and image capturing method
US20100302393A1 (en) * 2009-05-26 2010-12-02 Sony Ericsson Mobile Communications Ab Self-portrait assistance in image capturing devices
KR101051365B1 (ko) * 2009-07-16 2011-07-22 주식회사 유니온커뮤니티 카메라를 구비한 출입관리장치 및 그 출입관리방법
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
JP5431083B2 (ja) * 2009-09-16 2014-03-05 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
JP5661380B2 (ja) * 2009-09-24 2015-01-28 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5504862B2 (ja) * 2009-12-09 2014-05-28 キヤノンマーケティングジャパン株式会社 撮像装置及びその制御方法、プログラム
US8957981B2 (en) * 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
KR20110102694A (ko) * 2010-03-11 2011-09-19 삼성전자주식회사 얼굴검출을 이용한 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법 및 컴퓨터 판독가능 기록매체.
JP2011193063A (ja) * 2010-03-12 2011-09-29 Sanyo Electric Co Ltd 電子カメラ
US8593534B2 (en) 2010-09-08 2013-11-26 Apple Inc. Auto-triggered camera self-timer based on recognition of subject's presence in scene
JP4978724B2 (ja) * 2010-09-27 2012-07-18 カシオ計算機株式会社 撮像装置、及びプログラム
TWI428836B (zh) * 2010-10-20 2014-03-01 Htc Corp 影像擷取方法及系統,及其電腦程式產品
CN102457673A (zh) * 2010-10-26 2012-05-16 宏达国际电子股份有限公司 影像撷取方法及系统
JP5848507B2 (ja) * 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
US20120236173A1 (en) * 2011-03-17 2012-09-20 Telek Michael J Digital camera user interface which adapts to environmental conditions
KR101762769B1 (ko) * 2011-04-18 2017-08-07 삼성전자주식회사 촬영 장치에서 피사체를 촬영하기 위한 장치 및 방법
US20120300092A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Automatically optimizing capture of images of one or more subjects
KR101832959B1 (ko) * 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
KR101322465B1 (ko) 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
JP5970937B2 (ja) * 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
JP2012198564A (ja) * 2012-06-08 2012-10-18 Casio Comput Co Ltd デジタルカメラ、及びそのセルフタイマー制御方法、セルフタイマー制御プログラム
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
JP5966778B2 (ja) * 2012-09-05 2016-08-10 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
KR101890137B1 (ko) * 2012-10-25 2018-08-21 삼성전자주식회사 촬영 장치 및 제어 방법
US9554049B2 (en) 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
CN103475816A (zh) * 2013-08-30 2013-12-25 广东欧珀移动通信有限公司 一种自拍控制方法和装置
CN103595914B (zh) * 2013-11-04 2018-06-15 华为终端(东莞)有限公司 一种拍照方法和移动终端
KR20150072667A (ko) * 2013-12-20 2015-06-30 삼성전기주식회사 디지털 영상 처리 장치 및 그 제어 방법
US9288396B2 (en) 2014-05-30 2016-03-15 Apple Inc. Camera timer
CN104159037A (zh) * 2014-08-26 2014-11-19 厦门美图之家科技有限公司 一种自动拍照的自拍方法
KR102155094B1 (ko) * 2014-08-28 2020-09-11 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6512897B2 (ja) * 2015-03-30 2019-05-15 キヤノン株式会社 ズーム制御装置、ズーム制御装置の制御方法
CN105049730A (zh) * 2015-08-20 2015-11-11 天脉聚源(北京)传媒科技有限公司 一种图像拍摄方法及装置
US11438552B2 (en) * 2016-05-27 2022-09-06 Hanwha Techwin Co., Ltd. Device and method for controlling OSD protocol
CN107864329A (zh) * 2016-09-22 2018-03-30 中兴通讯股份有限公司 一种自拍校准视线的方法、装置及终端
US10440261B2 (en) * 2017-04-03 2019-10-08 International Business Machines Corporation Automatic selection of a camera based on facial detection
JP7316853B2 (ja) * 2019-06-28 2023-07-28 キヤノン株式会社 撮像装置及び焦点調節方法
KR20210101678A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 디스플레이 아래에 카메라가 배치된 구조를 갖는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP2004320286A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005167789A (ja) * 2003-12-04 2005-06-23 Casio Comput Co Ltd 撮影装置および撮影プログラム
JP2006005662A (ja) * 2004-06-17 2006-01-05 Nikon Corp 電子カメラ、及び電子カメラシステム
JP2006254358A (ja) * 2005-03-14 2006-09-21 Omron Corp 撮像装置およびタイマー撮影方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP4173459B2 (ja) 2004-03-25 2008-10-29 富士フイルム株式会社 デジタルカメラ
JP4661413B2 (ja) * 2005-07-11 2011-03-30 富士フイルム株式会社 撮像装置、撮影枚数管理方法及び撮影枚数管理プログラム
JP2008136035A (ja) * 2006-11-29 2008-06-12 Ricoh Co Ltd 撮像装置
JP2008244804A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置及び撮像方法並びに制御プログラム
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP2004320286A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005167789A (ja) * 2003-12-04 2005-06-23 Casio Comput Co Ltd 撮影装置および撮影プログラム
JP2006005662A (ja) * 2004-06-17 2006-01-05 Nikon Corp 電子カメラ、及び電子カメラシステム
JP2006254358A (ja) * 2005-03-14 2006-09-21 Omron Corp 撮像装置およびタイマー撮影方法

Also Published As

Publication number Publication date
JP2007318225A (ja) 2007-12-06
US20070274703A1 (en) 2007-11-29
US7574128B2 (en) 2009-08-11

Similar Documents

Publication Publication Date Title
JP4654974B2 (ja) 撮影装置および撮影方法
JP4626425B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP4683339B2 (ja) 画像トリミング装置
JP4661413B2 (ja) 撮像装置、撮影枚数管理方法及び撮影枚数管理プログラム
JP4644883B2 (ja) 撮像装置
JP4943769B2 (ja) 撮影装置および合焦位置探索方法
JP4829186B2 (ja) 撮像装置
US20150181135A1 (en) Image capturing apparatus and control method thereof
US20070237513A1 (en) Photographing method and photographing apparatus
JP4623299B2 (ja) 撮像装置および撮像方法
JP4683228B2 (ja) 画像表示装置、撮影装置、画像表示方法およびプログラム
JP2008131094A (ja) 撮像装置および撮像方法
US20070268397A1 (en) Image pickup apparatus and image pickup control method
JP2007104108A (ja) 撮像装置、発光輝度制御方法及び発光輝度制御プログラム
JP2007274598A (ja) 撮像装置および撮影条件表示方法
JP4697604B2 (ja) 撮影装置および撮影制御方法
JP2008022280A (ja) 撮影装置、方法およびプログラム
JP2008129082A (ja) 撮像装置および発光制御方法
JP5134116B2 (ja) 撮影装置および合焦位置探索方法
JP4964992B2 (ja) 撮影装置及びその画像記録方法
JP2005292740A (ja) 電子カメラ
JP2007178453A (ja) 撮像装置および撮像方法
JP2007295390A (ja) 撮像装置および警告方法
JP2006352252A (ja) 画像記録装置、画像記録再生方法及び画像記録再生プログラム
JP6319619B2 (ja) 撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4654974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees