JP5630146B2 - 撮像装置、撮像装置の制御方法およびプログラム。 - Google Patents

撮像装置、撮像装置の制御方法およびプログラム。 Download PDF

Info

Publication number
JP5630146B2
JP5630146B2 JP2010185706A JP2010185706A JP5630146B2 JP 5630146 B2 JP5630146 B2 JP 5630146B2 JP 2010185706 A JP2010185706 A JP 2010185706A JP 2010185706 A JP2010185706 A JP 2010185706A JP 5630146 B2 JP5630146 B2 JP 5630146B2
Authority
JP
Japan
Prior art keywords
image
mode
unit
display
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010185706A
Other languages
English (en)
Other versions
JP2012044566A (ja
Inventor
晃 平井
晃 平井
福田 晃
晃 福田
拓也 樋口
樋口  拓也
悟司 高田
悟司 高田
原田 剛
剛 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010185706A priority Critical patent/JP5630146B2/ja
Priority to US13/170,832 priority patent/US8675110B2/en
Priority to EP11177652A priority patent/EP2424223A1/en
Priority to CN2011102354810A priority patent/CN102438100A/zh
Publication of JP2012044566A publication Critical patent/JP2012044566A/ja
Priority to US14/161,954 priority patent/US8934041B2/en
Application granted granted Critical
Publication of JP5630146B2 publication Critical patent/JP5630146B2/ja
Priority to US14/558,932 priority patent/US10218910B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Description

本発明は、撮像装置に関し、特に複数の記録画像を連続して撮像する撮像装置および撮像装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物等の被写体を撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。また、この撮像装置として、連続撮像(連写)機能を備える撮像装置が広く普及している。
例えば、連続して撮像された撮像画像に対して迅速な画像処理を行うことで、高速な連写機能を実現する撮像装置が提案されている(例えば、特許文献1参照。)。この撮像装置では、撮像素子が生成した画像データ(RAWデータ)をフロントエンジンで補正処理した後に、複数のバックエンジンにその補正処理した画像データを1枚ごとに供給する。そして、バックエンジンにおいて画像処理を行った後に、撮像した時系列順に記録媒体に記録させる。この撮像装置は、複数のバックエンジンにおいて画像処理を行うことにより画像処理を高速化することで、連写速度を向上させることができる。また、複数のバックエンジンにおいて画像処理を行うため、この画像処理が行われたデータ(記録用画像データ)から生成されるアフタビュー画像(記録用に撮像された画像をユーザに確認させるための表示画像)の生成速度も向上させることができる。
特開2008−219319号公報(図4)
上述の従来技術では、迅速に画像処理された記録用画像データに基づいて生成されたアフタビュー画像を連写している最中に表示することができる。
しかしながら、上記の従来技術では、画像処理の遅延以外の要因により連写が止まってしまう場合においては、連写が止まるとともにアフタビュー画像の生成も止まってしまい、表示画面における表示の更新が止まってしまう(表示が固まる)。このように、表示画面における表示が連写動作が再開されるまで固まるような場合には、表示している画像(アフタビュー画像)と撮像範囲に含まれる被写体との間で構図のズレが生じてしまう。このため、連写動作が止まっている時間が長くなるに応じて、アフタビュー画像と、撮像範囲に含まれる被写体との間で構図のズレが大きくなり、ユーザが、目的とする撮像画像が取得できないおそれが生じる。そこで、複数の記録画像を連続して撮像する際には、被写体確認のための表示画像を適切にユーザに提供することが重要である。
本発明はこのような状況に鑑みてなされたものであり、複数の記録画像を連続して撮像する際に、被写体確認のための表示画像を適切にユーザに提供することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、被写体からの被写体光を受光して画像データを生成する撮像素子と、第1モードが設定されている場合において上記撮像素子により生成された画像データに基づいて、記録媒体に記録させるための画像である記録画像を生成する記録画像生成部と、第2モードが設定されている場合において上記撮像素子により生成された画像データに基づいて、ライブビュー画像を表示させるための画像である第2表示画像を生成し、上記第1モードが設定されている場合において上記撮像素子により生成された画像データに基づいて、上記記録画像と同一の画像を表示させるための画像である第1表示画像を生成する表示画像生成部と、上記表示画像生成部により生成された上記第1表示画像または上記第2表示画像を順次表示する表示部と、上記記録画像への撮像対象物の記録の阻害となる撮像装置における状態である特定状態を検出する検出部と、上記検出部による検出結果に基づいて、上記第1モードと上記第2モードとを切り替えるモード切替制御を行うモード制御部とを具備する撮像装置および撮像装置の制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、記録画像への撮像対象物の記録の阻害となる撮像装置における状態である特定状態の検出結果に基づいて、モード切替制御を行わせるという作用をもたらす。
また、この第1の側面において、連写撮像動作指示操作を受け付ける操作受付部をさらに具備し、上記モード制御部は、上記連写撮像動作指示操作が受け付けられた場合には、上記モード切替制御を行うようにしてもよい。これにより、連写撮像動作が行われる場合に、モード切替制御を行わせるという作用をもたらす。
また、この第1の側面において、撮像動作指示操作を受け付ける操作受付部をさらに具備し、上記モード制御部は、連続した上記撮像動作指示操作が受け付けられた場合には、上記モード切替制御を行うようにしてもよい。これにより、連続した撮像動作が行われる場合に、モード切替制御を行わせるという作用をもたらす。
また、この第1の側面において、上記表示画像生成部は、上記第1モードが設定されている場合において上記撮像素子により生成された画像データに対して間引き処理または加算処理を行い、当該処理により生成された画像データに基づいて上記第1表示画像を生成するようにしてもよい。これにより、第1モードが設定されている際に撮像素子が生成された画像データに対して間引き処理を行い、この間引き処理が行われた画像データに基づいて第1表示画像が生成されるという作用をもたらす。
また、この第1の側面において、上記撮像素子は、上記第1モードが設定されている場合には全画素読み出しにより上記画像データを生成し、上記第2モードが設定されている場合には間引き読み出しまたは加算読み出しにより上記画像データを生成するようにしてもよい。これにより、第1モードが設定されている場合には全画素読み出しにより画像データを生成させ、第2モードが設定されている場合には間引き読み出しにより画像データを生成させるという作用をもたらす。
また、この第1の側面において、上記モード制御部は、上記第1モードが設定されている場合における上記撮像素子からの上記画像データの読み出しが終了したタイミングにおいて、上記第1モードから上記第2モードに切り替える制御を行うようにしてもよい。これにより、第1モードが設定されている場合における撮像素子からの画像データの読み出しが終了したタイミングにおいて、第1モードから第2モードに切り替える制御を行わせるという作用をもたらす。また、この場合において、上記モード制御部は、上記タイミングにおいて上記第1モードから上記第2モードに切り替える制御を行った場合には、上記タイミングから所定時間が経過するまでの間、上記第2モードから上記第1モードに切り替える制御を停止させるようにしてもよい。これにより、第1モードから第2モードに切り替える制御を行った場合には、切り替えたタイミングから所定時間が経過した後に、第2モードから第1モードに切り替える制御を行わせるという作用をもたらす。
また、この第1の側面において、上記表示部は、上記第2モードが設定されている場合には上記第2表示画像を表示させ、上記第1モードが設定されている場合には上記第1表示画像を表示させるようにしてもよい。これにより、第2モードが設定されている場合には第2表示画像を表示させ、第1モードが設定されている場合には第1表示画像を表示させるという作用をもたらす。
また、この第1の側面において、上記表示部は、電子ビューファインダであるようにしてもよい。これにより、電子ビューファインダに第2表示画像または第1表示画像を表示させるという作用をもたらす。
また、この第1の側面において、上記第1モードが設定されている場合において上記撮像素子により生成された画像デーを複製し、当該画像データを上記記録画像生成部と上記表示画像生成部とに供給するデータ複製部と、上記データ複製部と上記記録画像生成部との間において上記データ複製部から上記記録画像生成部に供給される上記画像データを時系列順に複数保持し、上記記録画像生成部における上記記録画像の生成処理の状況に応じて上記保持しているデータを上記記録画像生成部に供給するバッファとをさらに具備し、上記検出部は、上記バッファにおける空き容量に基づいて上記特定状態を検出するようにしてもよい。これにより、バッファにおける空き容量に基づいて特定状態を検出させるという作用をもたらす。
また、この第1の側面において、上記被写体光に基づいて合焦判定を行う合焦判定部をさらに具備し、上記検出部は、合焦判定結果に基づいて上記特定状態を検出するようにしてもよい。これにより、合焦判定結果に基づいて特定状態を検出させるという作用をもたらす。
また、この第1の側面において、上記第1モードが設定されている場合において上記被写体に瞬間的に光を照射する発光部をさらに具備し、上記検出部は、上記発光部の充電状態に基づいて上記特定状態を検出するようにしてもよい。これにより、発光部の充電状態に基づいて特定状態を検出させるという作用をもたらす。
また、この第1の側面において、上記撮像装置における各部に供給可能な電流の量と、上記各部が必要とする電流の量とを比較して、上記各部に供給する電流の量を管理する電源管理部をさらに具備し、上記検出部は、上記電源管理部における管理結果に基づいて上記特定状態を検出するようにしてもよい。これにより、電源管理部における管理結果に基づいて特定状態を検出させるという作用をもたらす。
また、この第1の側面において、上記検出部は、上記撮像装置における設定変更の発生に基づいて上記特定状態を検出するようにしてもよい。これにより、撮像装置における設定変更の発生に基づいて特定状態を検出させるという作用をもたらす。
本発明によれば、複数の記録画像を連続して撮像する際に、被写体確認のための表示画像を適切にユーザに提供することができるという優れた効果を奏し得る。
本発明の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。 本発明の実施の形態における撮像装置100の断面構成例を模式的に示す断面図である。 本発明の実施の形態における記録画像生成モードに設定されたイメージセンサ140が生成したRAWデータ(全画素)に基づく記録画像データおよび表示画像データの生成例を示す模式図である。 本発明の実施の形態の連写動作中の撮像装置100における記録画像生成モードとライブビュー画像生成モードとの間のモード切り替えの一例に関するタイミングチャートである。 本発明の実施の形態における撮像装置100における連写撮像制御手順例を示すフローチャートである。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。
[撮像装置の機能構成例]
図1は、本発明の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。撮像装置100は、被写体を撮像して画像データを生成し、生成された画像データを画像コンテンツ(記録画像)として記録する撮像装置である。
撮像装置100は、レンズ部110と、操作受付部120と、制御部130と、イメージセンサ140と、データ複製部210と、バッファ151と、記録画像生成部152と、記録部153と、表示部160と、駆動部170とを備える。また撮像装置100は、表示画像生成部220と、阻害検出部230と、電源管理部240と、ストロボ動作管理部250と、合焦判定部260と、バッファ管理部270と、動作モード決定部280とを備える。
レンズ部110は、被写体からの光(被写体光)を集光するためのものである。このレンズ部110は、ズームレンズ111と、絞り112と、フォーカスレンズ113とを備える。
ズームレンズ111は、駆動部170の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
絞り112は、駆動部170の駆動により開口の度合いを変化させて、イメージセンサ140に入射する被写体光の光量を調整するための遮蔽物である。
フォーカスレンズ113は、駆動部170の駆動により光軸方向に移動することによりフォーカスを調整するものである。
操作受付部120は、ユーザからの操作を受け付けるものである。この操作受付部120は、例えば、シャッターボタン121(図2に示す)が押下された場合には、その押下(撮像指示操作)に関する信号を、操作信号として制御部130に供給する。
制御部130は、撮像装置100における各部動作を制御するものである。例えば、この制御部130は、撮像装置100の撮像モードが連写モードに設定されている場合において、シャッターボタン121が押下された場合には、連写撮像を指示する操作(連写撮像指示操作)を受け付けたと判断し、時系列で連続する複数の静止画像の記録(連写)を実行させる。制御部130は、この連写を実行させるための信号(連写動作信号)を、動作モード決定部280と、イメージセンサ140とに供給する。
イメージセンサ140は、受光した被写体光を電気信号に光電変換する撮像素子である。このイメージセンサ140は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどにより実現される。イメージセンサ140は、光電変換により発生した電気信号に基づいて、補正などの処理を施していない未加工(未現像)の画像データであるRAWデータを生成する。
また、イメージセンサ140は、撮像装置100の動作モードが連写モードである場合において、静止画像を生成するためのモードである記録画像生成モードと、ライブビュー画像を生成するためのモードであるライブビュー画像生成モードとに動作が切り替わる。ここで、ライブビューとは、撮像装置100に入射する被写体の像のリアルタイム表示である。イメージセンサ140は、記録画像生成モードに設定されている場合には、イメージセンサ140に配置される全ての画素から電気信号を読み出して、RAWデータ(RAWデータ(全画素))を生成する。また、イメージセンサ140は、ライブビュー画像生成モードに設定されている場合には、イメージセンサ140に配置される画素から電気信号を読み出す際に、データ量が少なくなる読み出し方法でRAWデータを生成する。本発明の実施の形態では、ライブビュー画像生成モードに設定されているイメージセンサ140は、イメージセンサ140に配置される画素から電気信号を読み出す際に間引き読み出しを行い、RAWデータ(RAWデータ(間引き))を生成する。なお、このデータ量が少なくなる読み出し方法としては、他に、データを読み出す際に隣接する画素同士の電気信号を加算して、加算後のデータを読み出してRAWデータを生成する方法(加算読み出し)などがある。
なお、RAWデータ(全画素)は全画素読み出しにより生成され、一方、RAWデータ(間引き)は間引き読み出しにより生成されるため、フレームレート(RAWデータの生成間隔)はRAWデータ(間引き)を生成するライブビュー画像生成モードの方が速い。イメージセンサ140は、生成したRAWデータを、データ複製部210に供給する。
また、イメージセンサ140は、フォーカシングを行う領域(フォーカスエリア)に対応する位置に配置されている画素が生成した信号を、合焦判定部260に供給する。なお、記録画像生成モードは、特許請求の範囲に記載の第1モードの一例である。また、ライブビュー画像生成モードは、特許請求の範囲に記載の第2モードの一例である。
データ複製部210は、記録画像生成モードに設定されているイメージセンサ140が生成したRAWデータ(RAWデータ(全画素))を複製し、バッファ151および表示画像生成部220に供給するものである。また、このデータ複製部210は、ライブビュー画像生成モードに設定されているイメージセンサ140が生成したRAWデータ(RAWデータ(間引き))を、表示画像生成部220にのみ供給する。
バッファ151は、データ複製部210から供給されたRAWデータ(RAWデータ(全画素))を一時的に保持するものである。このバッファ151が保持するRAWデータ(全画素)は、記録画像生成部152において生成される画像データ(記録画像データ)の元となるRAWデータである。バッファ151は、全画素読み出しにより生成されたRAWデータ(RAWデータ(全画素))を複数個保持することができる容量を備え、データ複製部210から供給されたRAWデータを時系列順に順次保持する。バッファ151は、例えば、撮像装置100に備えられているRAM(Random Access Memory)メモリの領域のうち、記録画像生成部152において処理するRAWデータ(全画素)のために割り当てられた領域である。バッファ151は、記録画像データを記録部153に記録して記録画像生成部152における処理が終了した場合には、保持するRAWデータのうち時系列的に最も古いものを記録画像生成部152に供給し、記録画像生成部152に次の処理を開始させる。また、バッファ151は、自己の使用状況を示す情報を、バッファ管理部270に供給する。
記録画像生成部152は、バッファ151から供給されたRAWデータ(全画素)に基づいて、記録部153に記録される記録画像データを生成するものである。この記録画像生成部152は、例えば、RAWデータ(全画素)に基づいて、補正処理、現像処理、および、画像データの圧縮処理などを行う。この記録画像生成部152は、生成した記録画像データを記録部153に供給し、記録部153に記憶させる。
ここで、記録画像生成部152による記録画像データの生成について、JPEG(Joint Photographic Experts Group)方式により圧縮された画像を記録画像データとして記録部153に記録する一例を想定して説明する。記録画像生成部152は、まず、RAWデータに基づいて、補正処理や現像処理を行い、画像を生成する。続いて、記録画像生成部152は、画像のデータの圧縮処理をJPEG方式に基づいて行い、そして、これにより生成された圧縮記録画像データ(JPEGデータ)を記録部153に記録させる。
また、記録画像生成部152は、RAWデータそのものを記録画像データとして記録部153に記録する場合には、現像処理等を行わずに、RAWデータそのものを記録画像データとして記録部153に供給し、記録部153に記憶させる。
記録部153は、記録画像生成部152から供給された記録画像データを画像コンテンツ(画像ファイル)として記録するものである。例えば、この記録部153として、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体(1または複数の記録媒体)を用いることができる。また、これらの記録媒体は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
表示画像生成部220は、データ複製部210から供給されたRAWデータに基づいて、表示部160においてユーザに視聴させる表示画像データを生成するものである。表示画像生成部220は、RAWデータ(全画素)がデータ複製部210から供給された場合には、まず、RAWデータ(全画素)のデータ量を少なくする処理を行う。本発明の実施の形態における表示画像生成部220は、この処理として、RAWデータ(全画素)の画素単位の情報を所定間隔で間引く処理を行って、データを間引いたデータ(間引きデータ)を生成する。そして、表示画像生成部220は、その間引きデータを用いて現像処理を行い、その現像処理により生成された画像データ(表示画像データ)を表示部160に供給し、表示部160に表示させる。なお、このデータ量を少なくする処理方法としては、間引く処理の他に、配置位置が隣接する画素のデータを加算することによりデータ量を少なくする処理方法(加算処理)などがある。
また、表示画像生成部220は、RAWデータ(間引き)が供給された場合には、その供給されたRAWデータ(間引き)を用いて現像処理を行い、その現像処理により生成された表示画像データを表示部160に供給し、表示部160に表示させる。
表示部160は、表示画像生成部220から供給された表示画像データに基づいて、画像を表示するものである。この表示部160は、例えば、カラー液晶パネルにより実現される。
合焦判定部260は、イメージセンサ140から供給された合焦判定に用いる信号に基づいて、フォーカスを合わせる対象の物体(合焦対象物)に対してフォーカスが合っているか否か判定するものである。この合焦判定部260は、例えば、コントラスト方式によりフォーカスが合っているか否か判定する。合焦判定部260は、フォーカスを検出するためにフォーカスレンズ113を駆動させる信号を駆動部170に供給する。また、合焦判定部260は、合焦対象物に対して合焦した後に、合焦が続く場合には、合焦していることを示す情報を合焦判定結果情報として、駆動部170に供給する。また、この合焦判定部260は、合焦対象物に対して合焦した後に、フォーカスがズレた場合には、そのズレ量(デフォーカス量)を算出(推測)し、その算出したデフォーカス量を示す情報を合焦判定結果情報として、駆動部170に供給する。さらに、合焦判定部260は、フォーカスのズレが急激すぎてデフォーカス量が推測できない場合(オートフォーカスが合焦できなくなった状態)には、その推測不能を示す情報を合焦判定結果情報として駆動部170に供給する。また、合焦判定部260は、合焦判定結果情報を阻害検出部230にも供給する。
駆動部170は、ズームレンズ111、絞り112およびフォーカスレンズ113を駆動させるものである。例えば、駆動部170は、合焦判定部260から出力された合焦判定結果情報に基づいて、フォーカスレンズ113の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ113を移動させる。この駆動部170は、フォーカスが合っている場合には、フォーカスレンズ113の現在の位置を維持させる。また、駆動部170は、フォーカスがズレている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ113の位置情報に基づいて駆動量(移動距離)を算出し、その駆動量に応じてフォーカスレンズ113を移動させる。また、駆動部170は、推測不能を示す合焦判定結果情報が供給された場合には、例えば、フォーカスレンズ113を全長スキャンさせるなどにより、素早い合焦状態の実現を試みる。
電源管理部240は、撮像装置100における電源を管理するものである。この電源管理部240は、電源が供給可能な電流の量と、撮像装置100の各部が駆動するために必要な電流の量とを比較し、その比較結果を示す情報(電源情報)を阻害検出部230に供給する。
ストロボ動作管理部250は、ストロボ(図示せず)の動作を管理するものである。このストロボ動作管理部250は、ストロボにおける充電容量の残りを示す情報を阻害検出部230に供給する。なお、ストロボは、特許請求の範囲に記載の発光部の一例である。
バッファ管理部270は、撮像装置100におけるバッファを管理するものである。このバッファ管理部270は、バッファ151の空き容量を示す情報を、阻害検出部230に供給する。
阻害検出部230は、複数の記録画像を連続して撮像している最中(連写動作中)に、撮像(記録画像への撮像対象物の記録)を阻害する阻害要因(特定状態)が発生しているか否か検出するものである。この阻害検出部230は、撮像装置100における各部の動作状況から阻害要因が発生しているか否か検出し、その検出結果を連写判断情報として動作モード決定部280に供給する。阻害検出部230は、撮像を阻害する阻害要因が発生していないために連写動作が継続可能な状態である場合には、この連写可能状態を示す連写判断情報(例えば、2つの電位(HとL)となる信号のLレベルの電位の信号)を、動作モード決定部280に供給する。また、阻害検出部230は、阻害要因の発生により連写動作が不可能な状態である場合には、この阻害要因発生状態を示す連写判断情報(例えば、Hレベルの電位の信号)を、動作モード決定部280に供給する。なお、阻害検出部230は、特許請求の範囲に記載の検出部の一例である。
ここで、バッファ管理部270、合焦判定部260、ストロボ動作管理部250、および、電源管理部240からの情報に基づく阻害要因の検出について、それぞれ説明する。
阻害検出部230は、バッファ管理部270から供給される情報に基づいて、バッファ151に保持することができるRAWデータ(全画素)の残り数を算出する。そして、阻害検出部230は、RAWデータ(全画素)を保持する空き容量があることを検出した場合には、連写可能状態を示す連写判断情報を供給する。また、阻害検出部230は、RAWデータ(全画素)を保持できなくなること(例えば、残り1枚)を検出した場合には、阻害要因発生状態を示す連写判断情報を供給する。また、阻害検出部230は、記録画像生成部152における処理が進行するなどによりバッファ151の空き容量が回復して、RAWデータ(全画素)を保持できるようになることを検出した場合には、連写可能状態を示す連写判断情報を供給する。
阻害検出部230は、推測不能を示す合焦判定結果情報が合焦判定部260から供給されている場合には、阻害要因発生状態を示す連写判断情報を供給する。また、阻害検出部230は、合焦していることを示す合焦判定結果情報およびデフォーカス量を示す合焦判定結果情報が合焦判定部260から供給されている場合には、連写可能状態を示す連写判断情報を供給する。
阻害検出部230は、ストロボ動作管理部250から供給される情報に基づいて、ストロボを使用できる残り回数を算出する。そして、阻害検出部230は、ストロボを使用できなくなること(例えば、残り1回)を検出した場合には、阻害要因発生状態を示す連写判断情報を供給する。また、阻害検出部230は、ストロボにおける充電が進行して、ストロボを使用できることを検出した場合には、連写可能状態を示す連写判断情報を供給する。
阻害検出部230は、電源管理部240から供給される情報に基づいて、電流が不足しないか監視する。そして、阻害検出部230は、電流が不足することを検出した場合には、阻害要因発生状態を示す連写判断情報を供給する。また、阻害検出部230は、この場合において、記録部153における記録動作が終了するなどにより電流に余剰電力が発生し、電流の不足が解消されたことを検出した場合には連写可能状態を示す連写判断情報を供給する。
動作モード決定部280は、撮像装置100の動作モードが連写モードである場合において、記録画像生成モードで撮像するか、ライブビュー画像生成モードで撮像するかを決定し、モード切替の制御を行うものである。この動作モード決定部280は、制御部130から連写動作信号が供給されている場合において、阻害検出部230から連写可能状態を示す連写判断情報が供給されている場合には、記録画像生成モードを示す情報をイメージセンサ140に供給する。また、動作モード決定部280は、制御部130から連写動作信号が供給されている場合において、阻害検出部230から阻害要因発生状態を示す連写判断情報が供給されている場合には、ライブビュー画像生成モードを示す情報をイメージセンサ140に供給する。
なお、動作モード決定部280は、阻害要因発生状態を示す連写判断情報が供給されて、記録画像生成モードを示す情報からライブビュー画像生成モードを示す情報に切り替えた場合には、所定時間が経過した後に、供給する情報を切り替えるか否かの判断を開始する。例えば、連写による撮像の間隔が100msecの場合には、ライブビュー画像生成モードへの切り替え後、100msecが経過した後に、阻害検出部230からの情報に基づく記録画像生成モードへの切り替えの判断を開始する。なお、動作モード決定部280は、特許請求の範囲に記載のモード制御部の一例である。
[撮像装置の断面構成例]
図2は、本発明の実施の形態における撮像装置100の断面構成例を模式的に示す断面図である。なお、同図では、撮像装置100は、一眼カメラであることを想定して説明する。
同図には、撮像装置100の断面図として、ボディ101と、交換レンズ105とが示されている。交換レンズ105は、撮像装置100における着脱可能なレンズユニットであり、図1において示したレンズ部110に対応する。ボディ101は、撮像装置100における撮像処理を行う本体であり、図1において示したレンズ部110以外の構成に対応する。ボディ101には、シャッターボタン121と、イメージセンサ140と、表示部161と、EVF(Electronic View Finder)162とが示されている。
また、同図には、レンズ部110に備えられているレンズにおける光軸(光軸L12)と、被写体光が通過する範囲を示す2つの線(線L11およびL13)とが示されている。なお、線L11およびL13に挟まれた範囲は、イメージセンサ140に入射する光が通過する範囲を示している。
表示部161は、ボディ101の背面に備えられる液晶モニタである。この表示部161は、イメージセンサ140が生成したRAWデータに基づいて生成された表示画像を表示する。また、表示部161における解像度(画素数)は、イメージセンサ140が生成するRAWデータ(全画素)と比較して、非常に小さい。例えば、RAWデータ(全画素)が約4600×3000画素(13800000画素)などの高い解像度である一方、表示部161は、約920000画素などの低い解像度である。
EVF162は、液晶モニタを用いた電子式のビューファインダであり、表示画像生成部220が生成した表示画像を表示することにより、画像の構図をユーザーに知らせるものである。EVF162には、液晶モニタとして、表示部163が示されている。
表示部163は、EVF162における表示画面である。この表示部163は、表示部161と同様に、イメージセンサ140が生成したRAWデータに基づいて生成された表示画像を表示する。また、表示部163は、ボディ101の内部に配置され、ユーザは接眼レンズを介して表示を見る。このため、表示部163は、表示部161と比較して、明るい場所でも見やすい。また、表示部163における解像度(ドット数)は、表示部161における解像度よりもさらに小さい。
このように、撮像装置100には電子式のファインダが備えられ、光学式のファインダは備えられない。また、撮像装置100に備えられる表示部の表示の解像度は、RAWデータ(全画素)の解像度よりとても低い。
[RAWデータ(全画素)に基づく画像生成例]
図3は、本発明の実施の形態における記録画像生成モードに設定されたイメージセンサ140が生成したRAWデータ(全画素)に基づく記録画像データおよび表示画像データの生成例を示す模式図である。
同図では、画像データ310、320、330、340350および360が、記録画像データおよび表示画像データを生成するための処理内容の説明が付加された矢印とともに示されている。
画像データ310は、イメージセンサ140が生成したRAWデータ(全画素)を模式的に示すものである。
画像データ320は、RAWデータ(全画素)の画素単位の情報(画素データ)が所定間隔で間引かれた間引きデータを模式的に示すものである。例えば、画像データ320は、画素データを、行および列単位で所定間隔ずつ間引くことにより生成される。また、画像データ320には、所定間隔で画素データが間引かれることが、無数の破線により模式的に示されている。
画像データ330は、間引きデータ(画像データ320)の現像処理により生成された画像を模式的に示すものである。なお、画像データ320を生成する間引く処理、および、画像データ330を生成する現像処理は、表示画像生成部220により行われる。
画像データ340は、表示部160において表示される画像を模式的に示すものである。
画像データ350は、記録画像生成部152における現像処理により生成された画像を模式的に示すものである。
画像データ360は、記録部153において記録される画像を模式的に示すものである。
なお、同図では、RAWデータ(全画素)の横方向の大きさ(画素数)を表すW11と、縦方向の大きさ(画素数)を表すH11とが示されている。また、現像処理により生成された画像(画像データ330)の横方向の大きさ(画素数)を表すW21と、縦方向の大きさ(画素数)を表すH21とが示されている。
ここで、記録画像生成モードに設定されたイメージセンサ140が生成したRAWデータ(全画素)から記録画像データおよび表示画像データが生成される過程について同図を参照して説明する。
まず、RAWデータ(全画素)から表示画像データが生成される過程について説明する。
イメージセンサ140において、記録画像生成モードに設定されている際に撮像が行われると、RAWデータ(全画素)(画像データ310)が生成される。そして、RAWデータ(全画素)(画像データ310)は、データ複製部210により複製され、表示画像生成部220およびバッファ151に供給される。
表示画像生成部220に供給されたRAWデータ(全画素)(画像データ310)は、まず、データ間引き処理が行われる。これにより、画素単位の情報(画素データ)が間引かれた間引きデータ(画像データ320)が生成される。なお、このデータ間引き処理は、表示部160において表示する画像の解像度(画素数)に合わせて間引き処理が行われる。例えば、RAWデータ(全画素)が約4600×3000画素(13800000画素)であり、表示部161(図2を参照。)が約920000画素である場合には、表示部161の解像度である約920000画素付近の解像度になるように間引き処理が行われる。
そして、表示画像生成部220において、画素データが間引かれた間引きデータ(画像データ320)を現像処理して表示画像データ(画像データ330)が生成される。なお、この表示画像データ(画像データ330)の生成は、小さなデータ量の間引きデータ(画像データ320)から生成されるため、処理が軽く、短い時間で行うことができる。そして、表示画像データ(画像データ330)が表示部160においてユーザにアフタビュー画像の表示画面(画像データ340)として表示される。ここで、アフタビュー画像とは、記録用に撮像された画像(記録画像)と同一の画像を表示することで、記録画像の構図をユーザに確認させるための表示画像のことである。すなわち、本発明の実施の形態では、アフタビュー画像は、記録画像生成モードに設定されているイメージセンサ140が生成したRAWデータ(RAWデータ(全画素))に基づいて生成される表示画像である。
続いて、RAWデータ(全画素)から記録画像データが生成される過程について説明する。
バッファ151に供給されたRAWデータ(全画素)(画像データ310)は、記録画像生成部152に順次供給される。そして、記録画像生成部152において、RAWデータ(全画素)(画像データ310)を現像処理して記録画像データ(画像データ350)が生成される。そして、記録画像データ(画像データ350)を圧縮処理などした後に、記録部153において記録画像データ(画像データ360)として記録される。
このように、撮像装置100における表示画面(表示部161)の解像度に合わせて間引いた間引きデータから表示画像データを生成することにより、表示画像の生成速度を向上させることができる。
なお、従来の撮像装置では、現像処理した記録画像データ(画像データ350に相当)を縮小(解像度を落とす処理)して表示画面に表示していた。このため、バッファが一杯で連写が止まる場合には、表示画面が更新されなかった(例えば、表示が最後に撮像した記録画像の縮小画像(アフタビュー画像)で停止、または暗転)。一方、本発明の実施の形態では、バッファ151に保持させる前の段階でRAWデータ(全画素)を表示画像生成部220に供給することにより、バッファ151が一杯である場合にはライブビュー画像を表示させることで表示画面を更新することができる。
[連写動作におけるモード切り替えの例]
図4は、本発明の実施の形態の連写動作中の撮像装置100における記録画像生成モードとライブビュー画像生成モードとの間のモード切り替えの一例に関するタイミングチャートである。
このタイミングチャートには、横軸を共通の時間軸として、イメージセンサ140の動作状態(イメージセンサ動作410)と、イメージセンサ140のシャッターの動作状態(シャッター動作420)とが示されている。さらに、阻害検出部230が生成する連写判断情報(連写判断情報430)と、表示画像生成部220による表示画像生成動作(表示画像生成動作440)とが示されている。また、表示部160における表示画像(表示画像450)と、記録画像生成部152における記録画像生成動作(記録画像生成動作460)とが示されている。また、このタイミングチャートには、モードを切り替えるタイミングを示すタイミング471乃至473が示されている。なお、各期間を示す横軸の長さは模式的なものである。
同図では、シャッターボタンが押下され続けて、連写により複数の記録画像を生成している状態を想定する。同図において示すタイミングチャートでは、N−1枚目の記録画像を生成する記録画像撮像期間(N−1枚目)と、ライブビュー画像の生成動作が行われるライブビュー期間と、N枚目の記録画像を生成する記録画像撮像期間(N枚目)とが示されている。なお、記録画像撮像期間(N−1枚目)は、記録画像撮像期間(N−2枚目)が終了した直後に開始されたことを想定する。すなわち、N−2枚目とN−1枚目との記録画像は、中断されずに(モード切り替えが発生せずに)、撮像されたこととする。
また、同図では、記録画像撮像期間(N−1枚目)における所定のタイミングにおいて、阻害要因が発生したことを想定する。なお、連写判断情報430には、阻害検出部230が阻害要因の発生を検出した際に、連写可能状態を示す連写判断情報(「L」レベル信号)の供給を停止し、阻害要因発生状態を示す連写判断情報(「H」レベル信号)の供給を開始したことが示されている。
まず、記録画像撮像期間(N−1枚目)における撮像装置100の動作について説明する。
記録画像撮像期間(N−2枚目)が終了(N−2枚目のデータの読み出しが終了)すると、制御部130は、シャッターボタン121が押下されているか否かチェックを行う。そして、制御部130は、シャッターボタン121の押下が続いていることから連写を続行すると判断し、制御部130は、連写動作信号の供給を継続する(タイミング471)。また、このタイミング471において、動作モード決定部280は、阻害要因が発生したか否かを連写判断情報に基づいてチェックを行い、記録画像生成モードを継続するか否か決定する(タイミング471)。タイミング471において、連写判断情報が連写可能状態を示す「L」レベル信号であるため、記録画像撮像期間(N−2枚目)の終了と同時に、記録画像撮像期間(N−1枚目)が開始される。
記録画像撮像期間(N−1枚目)では、フォーカスの調整やシャッターを駆動するモータのチャージなどの撮像準備動作が行われた後に、シャッターが開いて(「開」)、イメージセンサ140が露光(「露光(E)」)される。そして、シャッターが閉じる(「閉」)と同時に、イメージセンサ140からのデータの読み出し(「読み出し(R)」)が開始される。同図においては、イメージセンサ動作410の記録画像撮像期間(N−1枚目)、および、シャッター動作420の記録画像撮像期間(N−1枚目)にこれらの動作が示されている。
また、イメージセンサ140からN−2枚目のデータの読み出しの終了とともに、表示画像生成部220において、N−2枚目のRAWデータ(全画素)から表示画像(アフタビュー(AV)画像(N−2枚目))のデータが生成される(「AV1(N−2枚目)」)。すなわち、表示画像生成部220において、N−2枚目のRAWデータ(全画素)から間引きデータが生成された後に、この生成された間引きデータが現像処理されてアフタビュー(AV)画像(N−2枚目)が生成される。そして、アフタビュー画像データの生成が終了すると、表示部161および163においてAV画像(N−2枚目)が表示され、N−2枚目の記録画像と同じ表示画像が表示される(「AV1(N−2枚目)」)。同図においては、表示画像生成動作440の記録画像撮像期間(N−1枚目)および表示画像450の記録画像撮像期間(N−1枚目)にこれらの動作が示されている。
また、イメージセンサ140からN−2枚目のデータの読み出しの終了とともに、記録画像生成部152において、N−2枚目のRAWデータ(全画素)に基づいて記録画像データが生成される(「記録画像(N−2枚目)」)。同図においては、記録画像生成動作460の記録画像撮像期間(N−1枚目)にこの動作が示されている。
続いて、ライブビュー期間における撮像装置100の動作について説明する。
イメージセンサ140からN−1枚目のデータの読み出しが終了したタイミング(タイミング472)において、制御部130は、シャッターボタン121の押下が続いていることから連写を続行すると判断し、連写動作信号の供給を継続する。また、このタイミング472において、動作モード決定部280は、阻害要因が発生したか否かを連写判断情報に基づいてチェックして、記録画像生成モードを継続するか否か決定する。タイミング472において、連写判断情報が阻害要因発生状態を示す「H」レベル信号であるため、記録画像撮像期間(N−1枚目)の終了と同時にライブビュー期間が開始される。
ライブビュー期間では、イメージセンサ140の動作モードが、記録画像生成モードからライブビュー画像生成モードに切り替えられる(「切り替え」)。また、シャッターを駆動するモータのチャージが行われた後に、シャッターが開く(「開」)。そして、露光と読み出しが高速に繰り返されて(LV1乃至LV6)、各ライブビュー画像のRAWデータ(間引き)が順次生成される。なお、同図においては、ライブビュー期間において、少しの時間が経過した後に、イメージセンサ140の動作モードが切り替わっている(「切り替え」)。これは、動作モード決定部280が連写判断情報が遷移したことを検出して、イメージセンサ140にモードを切り替えさせるまでのタイムラグを示している。
また、イメージセンサ140からN−1枚目のデータの読み出しの終了とともに、表示画像生成部220において、N−1枚目のRAWデータ(全画素)を間引いたデータに基づいて、AV画像(N−1枚目))データが生成される(「AV2(N−1枚目)」)。そして、AV画像(N−1枚目))データの生成が終了すると、表示部161および163においてAV画像(N−1枚目)が表示され(「AV2(N−1枚目)」)、N−1枚目の記録画像と同じ表示画像が表示される。このAV画像(N−1枚目)は、1枚目のライブビュー画像(LV1)の生成が終了するまで表示される。イメージセンサ140において、ライブビュー画像のRAWデータ(間引き)が生成されると、このRAWデータ(間引き)に基づいて、表示画像生成部220は表示画像(ライブビュー画像)データを順次生成(「LV1乃至LV」)する。そして、ライブビュー画像データの生成が終了すると、表示部161および163において、ライブビュー画像が順次表示される(「LV1乃至LV6」)。
また、イメージセンサ140からN−1枚目のデータの読み出しの終了とともに、記録画像生成部152において、N−1枚目のRAWデータ(全画素)に基づいて記録画像データが生成される(「記録画像(N−1枚目)」)。
続いて、記録画像撮像期間(N枚目)における撮像装置100の動作について説明する。
ライブビュー期間において、動作モード決定部280は、阻害要因が解消したか否かを連写判断情報に基づいてチェックする。そして、阻害要因が解消した場合には(連写判断情報が「H」レベルから「L」レベルに遷移)、ライブビュー期間の終了と同時に記録画像撮像期間(N枚目)が開始される(タイミング473)。なお、本発明の実施の形態では、所定時間(記録画像撮像期間(N枚目)と同じ時間)が経過した後に、供給する情報を切り替えるか否かの判断を開始する。これにより、所定時間以上のライブビュー画像を表示する時間を確保し、ユーザに構図を決定させるための時間の確保や、表示動作の切り替えに起因する表示のちらつきの軽減をさせることができる。
記録画像撮像期間(N枚目)が開始されると、シャッターが閉じ(「閉」)、また、イメージセンサ140の動作モードが、ライブビュー画像生成モードから記録画像生成モードに切り替えられる(「切り替え」)。そして、記録画像撮像期間(N−1枚目)と同様に、記録画像を撮像する動作が行われる。なお、同図においては、記録画像撮像期間(N枚目)において、少しの時間(LV7を撮影する時間)が経過した後に、イメージセンサ140の動作モードが切り替わっている(「切り替え」)。これは、動作モード決定部280が連写判断情報が遷移したことを検出して、イメージセンサ140にモードを切り替えさせるまでのタイムラグを示している。また、同図においては、ライブビュー画像を表示し終わったら、N−1枚目のアフタビュー画像を表示させている(「AV2(N−1枚目)」)。これにより、ライブビュー期間において短い時間しか表示されなかったN−1枚目の画像をユーザに確認させることができる。
このように、記録画像生成モードによる撮像においてイメージセンサ140からのデータの読み出しが終了すると、連写判断情報に基づいて、記録画像生成モードを継続するか否かが決定される。そして、連写判断情報が連写可能状態(「L」レベル)を示す場合には、記録画像生成モードが継続され、次の撮像(N−1枚目)が直ちに行われる。一方、連写判断情報が阻害要因発生状態(「H」レベル)を示す場合には、ライブビュー画像生成モードに切り替えられる。また、ライブビュー画像生成モードにおいて、阻害要因が解消すると、記録画像生成モードに切り替えられ、次の撮像(N枚目)が直ちに行われる。
[撮像装置の動作例]
次に、本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
図5は、本発明の実施の形態における撮像装置100における連写撮像制御手順例を示すフローチャートである。
まず、撮像装置100における撮像モードの設定が連写撮像モードであるか否かが、制御部130により判断される(ステップS901)。そして、連写撮像モードでないと判断された場合には(ステップS901)、ステップS901に戻り、連写撮像モードに設定されるまで、連写撮像制御手順例は行われない。
一方、連写撮像モードであると判断された場合には(ステップS901)、動作モード決定部280により、イメージセンサ140の動作モードが記録画像生成モードに設定される(ステップS902)。続いて、シャッターボタンが全押しされているか否かが、制御部130により判断される(ステップS903)。そして、シャッターボタンが全押しされていないと判断された場合には(ステップS903)、ステップS903に戻り、シャッターボタンが全押しされるまで待機する。
一方、シャッターボタンが全押しされたと判断された場合には(ステップS903)、記録画像生成モードで撮像が行われ、イメージセンサ140によりRAWデータ(全画素)が生成される(ステップS904)。続いて、RAWデータ(全画素)に基づいて、RAWデータ(全画素)から画素単位の情報を間引いた間引きデータが表示画像生成部220により生成される(ステップS905)。その後、その生成された間引きデータに基づいて、表示画像(アフタビュー画像)のデータが表示画像生成部220により生成される(ステップS906)。そして、その生成された表示画像(アフタビュー画像)が表示部160において表示される(ステップS907)。なお、ステップS906は、特許請求の範囲に記載の第1表示画像生成手順の一例である。
次に、RAWデータ(全画素)に基づいて、記録画像データが記録画像生成部152により生成され、そして、記録部153に記録される(ステップS908)。なお、ステップS908は、特許請求の範囲に記載の記録画像生成手順の一例である。
続いて、シャッターボタンの全押しが終了したか否かが、制御部130により判断される(ステップS909)。そして、シャッターボタンの全押しが終了したと判断された場合には(ステップS909)、連写撮像制御手順は終了する。
一方、シャッターボタンの全押しが終了していないと判断された場合には(ステップS909)、連写の阻害要因が発生したか否かが判断される(ステップS911)。そして、連写の阻害要因が発生していないと判断された場合には(ステップS911)、ステップS904に戻る。
また、連写の阻害要因が発生したと判断された場合には(ステップS911)、動作モード決定部280により、イメージセンサ140の動作モードがライブビュー画像生成モードに設定される(ステップS912)。続いて、ライブビュー画像生成モードで撮像が行われ、間引き読み出しによるRAWデータ(間引き)がイメージセンサ140により生成される(ステップS913)。続いて、その生成されたRAWデータ(間引き)に基づいて、表示画像(ライブビュー画像)のデータが表示画像生成部220により生成される(ステップS914)。その後、その生成されたライブビュー画像が表示部160において表示される(ステップS915)。なお、ステップS913およびステップS904は、特許請求の範囲に記載の撮像手順の一例である。なお、ステップS914は、特許請求の範囲に記載の第2表示画像生成手順の一例である。
続いて、ライブビュー画像生成モードが設定されてから、所定時間経過したか否かが、動作モード決定部280により判断される(ステップS916)。そして、所定時間経過していないと判断された場合には、ステップS913に戻る。
一方、所定時間経過したと判断された場合には(ステップS916)、連写の阻害要因が解消したか否かが判断される(ステップS917)。そして、連写の阻害要因が解消していないと判断された場合には(ステップS917)、ステップS913に戻る。なお、ステップS917およびステップS911は、特許請求の範囲に記載の検出手順の一例である。
また、連写の阻害要因が解消したと判断された場合には(ステップS917)、動作モード決定部280によりイメージセンサ140の動作モードが記録画像生成モードに設定され(ステップS918)、ステップS904に戻る。なお、ステップS918およびステップS912は、特許請求の範囲に記載のモード制御手順の一例である。
このように、本発明の実施の形態によれば、複数の記録画像を連続して撮像する際に、阻害要因の発生に応じて記録画像生成モードとライブビュー画像生成モードとを切り替えることにより、被写体確認のための表示画像を適切にユーザに提供することができる。すなわち、阻害要因が発生した場合にはライブビュー画像を表示画面に表示することにより、連写中に表示が固まらない。これにより、光学式のファインダを備えてミラーのアップダウンにより連写中にも構図を確認できる一眼レフカメラと同様に、連写中に連写が阻害された場合においても、次に撮像される記録画像の構図を確認することができる。
また、撮像装置100では、RAWデータ(全画素)を複製して表示画像生成部220と記録画像生成部152に供給し、表示画像の生成と記録画像の生成とを別々に行うことにより、表示画像を迅速に生成することができる。これにより、イメージセンサ140からのデータの読み出しが終了すると直ちに表示画像(アフタビュー画像)が表示され、アフタビュー画像を確認する時間を増加させることができる。また、表示画像の生成と記録画像の生成とを別々に行うことにより、記録画像の生成処理が滞ってバッファが一杯になっても、ライブビュー画像を生成することができる。
なお、本発明の実施の形態では、コントラスト方式により合焦判定を行う一眼カメラを想定して説明したが、これに限定されるものではなく、位相差検出方式により合焦判定を行うカメラにおいても、同様に実現できる。また、本発明の実施の形態では、間引き読み出しおよび間引き処理によりRAWデータのデータ量を少なくすることを想定したが、これに限定されるものではない。図1において説明したように、配置位置が隣接する画素のデータを加算する加算読み出しおよび加算処理によっても、同様に実現できる。
また、本発明の実施の形態では、阻害要因として、バッファが一杯になったこと、オートフォーカスで合焦(合焦位置が推測不能)できなくなったこと、ストロボの充電が無くなったこと、および、供給する電流が不足したことを想定して説明した。しかしながら、本発明はこれに限定されるものではなく、他にも、種々の阻害要因が考えられる。例えば、連写動作中における絞りの値やシャッタースピードの変更により撮像装置100の設定が変更される場合が考えられる。この場合においては、設定変更を検出した場合には阻害検出部230が阻害要因発生状態を示す連写判断情報を供給する。
また、本発明の実施の形態では、撮像装置100の撮像モードが連写モードに設定されている場合を想定して説明したが、これに限定されるものではない。ユーザがシャッターボタンの押下(撮像指示操作)を短時間に複数回行い、単写を複数回繰り返して複数の記録画像を連続して撮像する場合(速写)においても、阻害要因が発生して次の記録画像の撮影が阻害される。この場合においても、本発明の実施の形態を適用することにより被写体確認のための表示画像を適切にユーザに提供することができる。
なお、本発明の実施の形態では、一眼カメラの例について説明したが、撮像素子を備える他の装置に、本発明の実施の形態を適用することができる。例えば、一眼カメラの他に、デジタルスチルカメラの一眼レフカメラやコンパクトデジタルカメラなどにおいても適用できる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 撮像装置
110 レンズ部
111 ズームレンズ
112 絞り
113 フォーカスレンズ
120 操作受付部
130 制御部
140 イメージセンサ
151 バッファ
152 記録画像生成部
153 記録部
160 表示部
170 駆動部
210 データ複製部
220 表示画像生成部
230 阻害検出部
240 電源管理部
250 ストロボ動作管理部
260 合焦判定部
270 バッファ管理部
280 動作モード決定部

Claims (17)

  1. 第1モードが設定されている場合において所定数の画素の読み出しにより第1の画像データを生成し、第2モードが設定されている場合において前記第1モードで読み出される前記第1の画像データよりもデータ量が少ない第2の画像データを生成する撮像素子からの前記第1の画像データに基づいて、記録媒体に記録させるための画像である記録画像を生成する記録画像生成部と、
    前記第1モードが設定されている場合において前記第1の画像データに基づいて表示画像をアフタビュー画像として生成し、前記第2モードが設定されている場合において前記第2の画像データに基づいて表示画像をライブビュー画像として生成する表示画像生成部と、
    前記記録画像が連続して複数回生成される連写動作中に前記アフタビュー画像の生成を中断させる特定の要因が生じた特定状態を検出する検出部と、
    前記検出部が前記特定状態を検出した場合には前記第1モードから前記第2モードに切り替えるモード切替制御を行うモード制御部と、
    前記モード制御部によるモード切替制御に応じて前記アフタビュー画像または前記ライブビュー画像を表示部に順次表示させる表示制御を行う表示制御部と
    を具備する撮像制御装置。
  2. 連写撮像動作指示操作を受け付ける操作受付部をさらに具備し、
    前記モード制御部は、前記連写撮像動作指示操作が受け付けられた場合には、前記第2モードから前記第1モードに切り替える前記モード切替制御を行う
    請求項1記載の撮像制御装置。
  3. 撮像動作指示操作を受け付ける操作受付部をさらに具備し、
    前記モード制御部は、連続した前記撮像動作指示操作が受け付けられた場合には、前記第2モードから前記第1モードに切り替える前記モード切替制御を行う
    請求項1記載の撮像制御装置。
  4. 前記表示画像生成部は、前記第1モードが設定されている場合において前記撮像素子に
    より生成された前記第1の画像データに対して間引き処理または加算処理を行い、当該処理により生成された画像データに基づいて前記アフタビュー画像を生成する請求項1記載の撮像制御装置。
  5. 前記撮像素子は、前記第1モードが設定されている場合には全画素読み出しにより前記第1の画像データを生成し、前記第2モードが設定されている場合には間引き読み出しまたは加算読み出しにより前記第2の画像データを生成する請求項1記載の撮像装置。
  6. 前記モード制御部は、前記第1モードが設定されている場合における前記撮像素子からの前記第1の画像データの読み出しが終了したタイミングにおいて、前記第1モードから前記第2モードに切り替える制御を行う請求項1記載の撮像制御装置。
  7. 前記モード制御部は、前記タイミングにおいて前記第1モードから前記第2モードに切り替える制御を行った場合には、前記タイミングから所定時間が経過するまでの間、前記第2モードから前記第1モードに切り替える制御を停止させる請求項6記載の撮像制御装置。
  8. 前記表示部は、電子ビューファインダである請求項1記載の撮像制御装置。
  9. 前記第1モードが設定されている場合において前記撮像素子により生成された前記第1の画像データを複製し、当該第1の画像データを前記記録画像生成部と前記表示画像生成部とに供給するデータ複製部と、
    前記データ複製部と前記記録画像生成部との間において前記データ複製部から前記記録画像生成部に供給される前記第1の画像データを時系列順に複数保持し、前記記録画像生成部における前記記録画像の生成処理の状況に応じて前記保持しているデータを前記記録画像生成部に供給するバッファと
    をさらに具備し、
    前記検出部は、前記バッファにおける空き容量に基づいて前記特定状態を検出する
    請求項1記載の撮像制御装置。
  10. 前記撮像素子は、被写体光から前記第1または第2の画像データを生成し、
    前記被写体光に基づいて合焦判定を行う合焦判定部をさらに具備し、
    前記検出部は、合焦判定結果に基づいて前記特定状態を検出する
    請求項1記載の撮像制御装置。
  11. 前記撮像制御装置における各部に供給可能な電流の量と、前記各部が必要とする電流の量とを比較して、前記各部に供給する電流の量を管理する電源管理部をさらに具備し、
    前記検出部は、前記電源管理部における管理結果に基づいて前記特定状態を検出する
    請求項1記載の撮像制御装置。
  12. 前記検出部は、前記撮像制御装置における設定変更の発生に基づいて前記特定状態を検出する請求項1記載の撮像制御装置。
  13. 第1モードが設定されている場合において所定数の画素の読み出しにより第1の画像データを生成し、第2モードが設定されている場合において前記第1モードで読み出される前記第1の画像データよりもデータ量が少ない第2の画像データを生成する撮像素子と、
    前記撮像素子からの前記第1の画像データに基づいて記録媒体に記録させるための画像である記録画像を生成する記録画像生成部と、
    前記第1モードが設定されている場合において前記第1の画像データに基づいて、表示画像をアフタビュー画像として生成し、前記第2モードが設定されている場合において前記第2の画像データに基づいて表示画像をライブビュー画像として生成する表示画像生成部と、
    前記記録画像が連続して複数回生成される連写動作中に前記アフタビュー画像の生成を中断させる特定の要因が生じた特定状態を検出する検出部と、
    前記検出部が前記特定状態を検出した場合には前記第1モードから前記第2モードに切り替えるモード切替制御を行うモード制御部と、
    前記モード制御部によるモード切替制御に応じて前記アフタビュー画像または前記ライブビュー画像を表示部に順次表示させる表示制御を行う表示制御部と
    を具備する撮像装置。
  14. 前記表示制御に従って前記第2モードが設定されている場合には前記アフタビュー画像を表示し、前記第1モードが設定されている場合には前記ライブビュー画像を表示する前記表示部をさらに具備する請求項13記載の撮像装置。
  15. 前記撮像素子は、被写体からの被写体光を受光して前記第1または第2の画像データを生成し、
    前記第1モードが設定されている場合において前記被写体に瞬間的に光を照射する発光部をさらに具備し、
    前記検出部は、前記発光部の充電状態に基づいて前記特定状態を検出する
    請求項13記載の撮像装置。
  16. 第1モードが設定されている場合において所定数の画素の読み出しにより第1の画像データを生成し、第2モードが設定されている場合において前記第1モードで読み出される前記第1の画像データよりもデータ量が少ない第2の画像データを生成する撮像素子からの前記第1の画像データに基づいて、記録媒体に記録させるための画像である記録画像を生成する記録画像生成手順と、
    前記第1モードが設定されている場合において前記第1の画像データに基づいて表示画像をアフタビュー画像として生成し、前記第2モードが設定されている場合において前記第2の画像データに基づいて表示画像をライブビュー画像として生成する表示画像生成手順と、
    前記記録画像が連続して複数回生成される連写動作中に前記アフタビュー画像の生成を中断させる特定の要因が生じた特定状態を検出する検出手順と、
    前記検出手順で前記特定状態を検出した場合には前記第1モードから前記第2モードに切り替えるモード切替制御を行うモード制御手順と、
    記モード切替制御に応じて前記アフタビュー画像または前記ライブビュー画像を表示部に順次表示させる表示制御を行う表示制御手順と
    を具備する撮像装置の制御方法。
  17. 第1モードが設定されている場合において所定数の画素の読み出しにより第1の画像データを生成し、第2モードが設定されている場合において前記第1モードで読み出される前記第1の画像データよりもデータ量が少ない第2の画像データを生成する撮像素子からの前記第1の画像データに基づいて、記録媒体に記録させるための画像である記録画像を生成する記録画像生成手順と、
    前記第1モードが設定されている場合において前記第1の画像データに基づいて表示画像をアフタビュー画像として生成し、前記第2モードが設定されている場合において前記第2の画像データに基づいて表示画像をライブビュー画像として生成する表示画像生成手順と、
    前記記録画像が連続して複数回生成される連写動作中に前記アフタビュー画像の生成を中断させる特定の要因が生じた特定状態を検出する検出手順と、
    前記検出手順で前記特定状態を検出した場合には前記第1モードから前記第2モードに切り替えるモード切替制御を行うモード制御手順と、
    記モード切替制御に応じて前記アフタビュー画像または前記ライブビュー画像を表示部に順次表示させる表示制御を行う表示制御手順と
    をコンピュータに実行させるプログラム。
JP2010185706A 2010-08-23 2010-08-23 撮像装置、撮像装置の制御方法およびプログラム。 Active JP5630146B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010185706A JP5630146B2 (ja) 2010-08-23 2010-08-23 撮像装置、撮像装置の制御方法およびプログラム。
US13/170,832 US8675110B2 (en) 2010-08-23 2011-06-28 Imaging apparatus, method of controlling imaging apparatus, and program for continuous image capturing
EP11177652A EP2424223A1 (en) 2010-08-23 2011-08-16 Imaging apparatus, method of controlling imaging apparatus, and program
CN2011102354810A CN102438100A (zh) 2010-08-23 2011-08-16 成像设备、控制成像设备的方法和程序
US14/161,954 US8934041B2 (en) 2010-08-23 2014-01-23 Apparatus, method, and program for controlling display for continuous image capturing
US14/558,932 US10218910B2 (en) 2010-08-23 2014-12-03 Continuous image capturing based on detection of a specific state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010185706A JP5630146B2 (ja) 2010-08-23 2010-08-23 撮像装置、撮像装置の制御方法およびプログラム。

Publications (2)

Publication Number Publication Date
JP2012044566A JP2012044566A (ja) 2012-03-01
JP5630146B2 true JP5630146B2 (ja) 2014-11-26

Family

ID=44658494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010185706A Active JP5630146B2 (ja) 2010-08-23 2010-08-23 撮像装置、撮像装置の制御方法およびプログラム。

Country Status (4)

Country Link
US (3) US8675110B2 (ja)
EP (1) EP2424223A1 (ja)
JP (1) JP5630146B2 (ja)
CN (1) CN102438100A (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5630146B2 (ja) * 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。
CN103428430B (zh) * 2012-05-23 2019-11-12 杭州阿尔法红外检测技术有限公司 影像摄影装置和影像摄影方法
KR20150054566A (ko) * 2013-11-12 2015-05-20 삼성에스디아이 주식회사 비밀 번호 설정 장치 및 방법
JP6366268B2 (ja) * 2013-12-25 2018-08-01 キヤノン株式会社 撮像装置及びその制御方法
JP6327939B2 (ja) * 2014-05-14 2018-05-23 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN107079130B (zh) * 2014-09-12 2020-03-31 佳能株式会社 图像处理设备和图像处理方法
JP6673330B2 (ja) 2015-03-04 2020-03-25 ソニー株式会社 撮像装置
JP6065934B2 (ja) * 2015-04-08 2017-01-25 ソニー株式会社 映像信号処理装置および撮像システム
WO2017115507A1 (ja) 2015-12-28 2017-07-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6730886B2 (ja) * 2016-09-01 2020-07-29 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR102423994B1 (ko) 2016-12-19 2022-07-25 소니그룹주식회사 제어 장치, 제어 방법, 및 프로그램
JP6917803B2 (ja) * 2017-06-27 2021-08-11 キヤノン株式会社 撮像装置、制御方法、及びプログラム
KR102434417B1 (ko) * 2017-07-20 2022-08-22 삼성전자주식회사 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
JP7050569B2 (ja) * 2018-05-10 2022-04-08 キヤノン株式会社 撮像装置及びその制御方法
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
CN111698415B (zh) * 2019-03-14 2022-04-08 北京小米移动软件有限公司 图像采集控制方法和图像采集控制装置
US11190683B2 (en) 2019-05-08 2021-11-30 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US20210044742A1 (en) * 2019-08-05 2021-02-11 Facebook Technologies, Llc Dynamically programmable image sensor
JP7325266B2 (ja) 2019-08-27 2023-08-14 キヤノン株式会社 撮像制御装置、撮像装置、制御方法、及びプログラム
JP7319873B2 (ja) 2019-09-06 2023-08-02 キヤノン株式会社 撮像装置およびその制御方法
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
JP2021114749A (ja) 2020-01-21 2021-08-05 キヤノン株式会社 撮像制御装置、撮像装置及びその制御方法
JP2021182733A (ja) * 2020-05-19 2021-11-25 キヤノン株式会社 撮像装置およびその制御方法
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
JP2023028256A (ja) * 2021-08-19 2023-03-03 日本電産コパル株式会社 撮像装置、撮像プログラムおよび撮像方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2683040B2 (ja) * 1988-06-29 1997-11-26 キヤノン株式会社 焦点切換カメラ
EP0669757B1 (en) * 1994-02-28 2002-11-27 Canon Kabushiki Kaisha Image sensing apparatus
JP4445662B2 (ja) * 2000-11-17 2010-04-07 オリンパス株式会社 電子カメラ
US6937276B2 (en) * 2001-08-22 2005-08-30 Benq Corporation Digital camera with low memory usage
JP3664123B2 (ja) * 2001-10-03 2005-06-22 ソニー株式会社 撮像装置および画質補正方法
US20030147640A1 (en) * 2002-02-06 2003-08-07 Voss James S. System and method for capturing and embedding high-resolution still image data into a video data stream
JP2003244529A (ja) * 2002-02-20 2003-08-29 Minolta Co Ltd デジタルカメラ
US6992707B2 (en) * 2002-03-06 2006-01-31 Hewlett-Packard Development Company, L.P. Delayed encoding based joint video and still image pipeline with still burst mode
JP2004328037A (ja) * 2003-04-21 2004-11-18 Canon Inc 撮像及び画像記録装置
JP2005024858A (ja) * 2003-07-01 2005-01-27 Olympus Corp デジタル一眼レフカメラ
JP2005142707A (ja) * 2003-11-05 2005-06-02 Matsushita Electric Ind Co Ltd 撮像装置
US7787026B1 (en) * 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera
JP4398810B2 (ja) * 2004-07-09 2010-01-13 株式会社リコー 画像記録装置
JP2005102334A (ja) * 2004-12-22 2005-04-14 Canon Inc 撮影装置
JP2006323273A (ja) * 2005-05-20 2006-11-30 Olympus Imaging Corp デジタルカメラ
US7719579B2 (en) * 2005-05-24 2010-05-18 Zoran Corporation Digital camera architecture with improved performance
US20070041391A1 (en) * 2005-08-18 2007-02-22 Micron Technology, Inc. Method and apparatus for controlling imager output data rate
JP2007243561A (ja) * 2006-03-08 2007-09-20 Olympus Imaging Corp 一眼レフレックスカメラ
JP5140939B2 (ja) * 2006-04-14 2013-02-13 株式会社ニコン 画像記録再生装置
CN102104736A (zh) * 2006-06-20 2011-06-22 松下电器产业株式会社 数字照相机
WO2008090487A1 (en) * 2007-01-22 2008-07-31 Nxp B.V. Computer device and method for adapting the compression rate of digital images
CN100562070C (zh) * 2007-02-13 2009-11-18 华晶科技股份有限公司 预测影像撷取数量的方法
JP4301308B2 (ja) 2007-03-02 2009-07-22 ソニー株式会社 撮像装置および画像処理方法
US20080316331A1 (en) * 2007-06-25 2008-12-25 Core Logic, Inc. Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method
KR101409769B1 (ko) * 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
JP2009089036A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 機器および画像処理方法
KR101448531B1 (ko) 2007-10-31 2014-10-13 삼성전자주식회사 디지털 촬영장치
JP2009116156A (ja) * 2007-11-08 2009-05-28 Fujifilm Corp 撮影装置およびその制御方法並びにプログラム
JP5109104B2 (ja) 2008-04-15 2012-12-26 株式会社メガチップス 一眼レフデジタルカメラ
KR101477537B1 (ko) * 2008-08-04 2014-12-30 삼성전자주식회사 오버 라이딩 모드를 지원하는 디지털 카메라 및 그제어방법
JP2010185706A (ja) 2009-02-10 2010-08-26 Institute Of National Colleges Of Technology Japan 超音波センサシステム
US9154700B2 (en) * 2009-10-16 2015-10-06 Samsung Electronics Co., Ltd. Apparatus and method for image capture using image stored in camera
JP5630146B2 (ja) * 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。

Also Published As

Publication number Publication date
CN102438100A (zh) 2012-05-02
US20140132803A1 (en) 2014-05-15
US8675110B2 (en) 2014-03-18
US8934041B2 (en) 2015-01-13
US20120044399A1 (en) 2012-02-23
US20150085161A1 (en) 2015-03-26
JP2012044566A (ja) 2012-03-01
US10218910B2 (en) 2019-02-26
EP2424223A1 (en) 2012-02-29

Similar Documents

Publication Publication Date Title
JP5630146B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム。
JP5054583B2 (ja) 撮像装置
JP5546692B2 (ja) 撮影装置、撮影方法およびプログラム
JP3860367B2 (ja) 撮像装置
JP5447619B2 (ja) 撮像装置
JP5051812B2 (ja) 撮像装置、その合焦方法および記録媒体
JP2007135133A (ja) 撮像装置
JP2009103997A (ja) 撮像装置
JP2010054730A (ja) 合焦位置検出装置、撮像装置及び合焦位置検出方法
JP2007163527A (ja) ディジタル・カメラおよびその制御方法
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
JP2010113291A (ja) 撮像装置
JP5011235B2 (ja) 撮影装置及び撮影方法
JP2008015097A (ja) 撮像装置及び撮像方法
JP4941141B2 (ja) 撮像装置
JP4025836B2 (ja) 撮像装置及び携帯通信機器
JP6997544B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019075653A (ja) 撮像装置
JP5069076B2 (ja) 撮像装置および連続撮像方法
JP4517836B2 (ja) カメラ装置及び連写制御プログラム
WO2020137664A1 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
KR20090133059A (ko) 촬상 장치 및 촬상 방법
JP4159557B2 (ja) 電子スチルカメラ
JP5333949B2 (ja) 撮像装置
JP2013162174A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140922

R151 Written notification of patent or utility model registration

Ref document number: 5630146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250