JP7004852B2 - 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム - Google Patents

撮像素子、撮像装置、撮像素子の作動方法、及びプログラム Download PDF

Info

Publication number
JP7004852B2
JP7004852B2 JP2020563103A JP2020563103A JP7004852B2 JP 7004852 B2 JP7004852 B2 JP 7004852B2 JP 2020563103 A JP2020563103 A JP 2020563103A JP 2020563103 A JP2020563103 A JP 2020563103A JP 7004852 B2 JP7004852 B2 JP 7004852B2
Authority
JP
Japan
Prior art keywords
image data
output
image
difference
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020563103A
Other languages
English (en)
Other versions
JPWO2020137663A1 (ja
Inventor
亮 長谷川
智行 河合
仁史 桜武
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020137663A1 publication Critical patent/JPWO2020137663A1/ja
Application granted granted Critical
Publication of JP7004852B2 publication Critical patent/JP7004852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。
特開２０１７－１０８３６８号公報には、第１のフレームと第２のフレームとの間の差分データを求め、差分が検出されない場合は差分データを出力し、差分が検出された場合は第３のフレームの撮像データに対応する画像を表示装置に表示させる技術が開示されている。
特開２００９－２９６３５３号公報には、撮像画像データをデジタル信号で記憶するメモリと、メモリから読み出した撮像画像データを圧縮して外部に出力する圧縮手段と、を備えた撮像素子モジュールが開示されている。特開２００９－２９６３５３号公報に記載の撮像素子モジュールでは、前回の撮像画像データと今回の撮像画像データとの差分データが圧縮データとされている。
本開示の技術に係る一つの実施形態は、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。
本開示の技術の第１の態様に係る撮像素子は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データを用いた処理を行い、かつ、撮像素子に内蔵された処理部と、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵された出力部と、を含み、処理部は、撮像されることにより画像データとして得られた第１画像データと、第１画像データよりも前に画像データとして得られて記憶部に記憶された第２画像データとの相違度を導出し、導出した相違度が閾値以上の場合に、第１画像データ及び第２画像データのうちの少なくとも一方を出力画像データとして決定する処理を行い、出力部は、処理部により決定された出力画像データを出力する。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
本開示の技術の第２の態様に係る撮像素子において、処理部は、第１画像データ及び第２画像データに対して間引き処理を行い、間引き処理後の第１画像データと間引き処理後の第２画像データとの相違度を導出する。これにより、第１画像データ及び第２画像データに対して間引き処理を行わない場合に比べ、画像データの出力に要する消費電力を低減することができる。
本開示の技術の第３の態様に係る撮像素子において、処理部は、第１画像データ及び第２画像データの一方から、主要被写体の画像を示す主要被写体画像データを検出し、第１画像データ及び第２画像データの他方から、第１画像データにより示される画像内での主要被写体の画像の位置に相当する位置から特定される画像を示す特定画像データを検出し、相違度は、処理部により検出された主要被写体画像データと処理部により検出された特定画像データとの相違度である。これにより、第１画像データの全体と第２画像データの全体との相違度を導出する場合に比べ、処理部にかかる負荷を軽減することができる。
本開示の技術の第４の態様に係る撮像素子において、処理部は、相違度が閾値未満の状態が予め定められた時間継続した場合、第１フレームレート及び第２フレームレートのうちの少なくとも第１フレームレートを下げる。これにより、被写体に目立った動きをしていない期間に第１フレームレートを下げずに撮像が行われる場合に比べ、撮像素子の消費電力を低減することができる。
本開示の技術の第５の態様に係る撮像素子において、処理部は、画像データから瞼が閉じた状態の眼の画像を示す閉眼画像データを検出し、出力部は、処理部により閉眼画像データが検出された場合に、閉眼画像データが検出された画像データを出力しない。閉眼画像データが含まれる出力画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
本開示の技術の第６の態様に係る撮像素子において、出力部は、相違度が閾値以上の場合に、処理部により閉眼画像データが検出されなかったことを条件に、第１画像データ及び第２画像データのうちの少なくとも一方を出力画像データとして決定する。これにより、ユーザにとって必要性が高いと予想される出力画像データをユーザに提供することができる。
本開示の技術の第７の態様に係る撮像素子において、処理部は、画像データに対して合焦の度合いを示す評価値を導出し、出力部は、処理部により導出された評価値が既定評価値未満の場合に、既定評価値未満の評価値の導出対象とされた画像データを出力しない。これにより、既定評価値未満の評価値に対応する出力画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
本開示の技術の第８の態様に係る撮像素子において、処理部は、相違度が閾値以上の場合に、評価値が既定評価値以上であることを条件に、第１画像データ及び第２画像データのうちの少なくとも一方を出力画像データとして決定する。これにより、ユーザにとって必要性が高いと予想される出力画像データをユーザに提供することができる。
本開示の技術の第９の態様に係る撮像素子において、出力部は、相違度が閾値未満の場合に、第１ダミーデータを出力する。これにより、相違度が閾値未満の場合に出力画像データを出力する場合に比べ、データのトグルレートを小さくすることができる。
本開示の技術の第１０の態様に係る撮像素子において、出力部は、相違度が閾値以上の場合であっても、出力画像データが特定条件を満たす画像データの場合に、出力画像データを出力せずに第２ダミーデータを出力する。これにより、相違度が閾値以上の場合に常に出力画像データを全て出力する場合に比べ、データのトグルレートを小さくすることができる。
本開示の技術の第１１の態様に係る撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された。これにより、光電変換素子と記憶部とが１チップ化されていない場合に比べ、撮像素子の可搬性を高めることができる。
本開示の技術の第１２の態様に係る撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である。これにより、光電変換素子に記憶部が積層されていない非積層型の撮像素子に比べ、光電変換素子から記憶部へのデータの転送速度を高めることができる。
本開示の技術の第１３の態様に係る撮像装置は、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子と、出力部により出力された出力画像データに基づく画像を表示部に対して表示させる制御を行う表示制御部と、を含む。これにより、被写体が撮像されることで得られた全ての画像データの各々により示される各画像が表示される場合に比べ、消費電力を低減することができる。
本開示の技術の第１４の態様に係る撮像装置は、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子と、出力部により出力された出力画像データを記憶装置に記憶させる制御を行う記憶制御部と、を含む。これにより、被写体が撮像されることで得られた全ての画像データが記憶装置に記憶される場合に比べ、消費電力を低減することができる。
本開示の技術の第１５の態様に係る撮像素子の作動方法は、被写体が第１フレームレートで撮像されることで得られた画像データを記憶する記憶部と、画像データを用いた処理を行う処理部と、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力する出力部と、を含み、記憶部、処理部、及び出力部が内蔵された撮像素子の作動方法であって、処理部は、撮像されることにより画像データとして得られた第１画像データと、第１画像データよりも前に画像データとして得られて記憶部に記憶された第２画像データとの相違度を導出し、導出した相違度が閾値以上の場合に、第１画像データ及び第２画像データのうちの少なくとも一方を出力画像データとして決定する処理を行い、出力部は、処理部により決定された出力画像データを出力することを含む。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
本開示の技術の第１６の態様に係るプログラムは、被写体が第１フレームレートで撮像されることで得られた画像データを記憶する記憶部と、画像データを用いた処理を行う処理部と、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力する出力部と、を含み、記憶部、処理部、及び出力部が内蔵された撮像素子に含まれる処理部及び出力部としてコンピュータを機能させるためのプログラムであって、処理部は、撮像されることにより画像データとして得られた第１画像データと、第１画像データよりも前に画像データとして得られて記憶部に記憶された第２画像データとの相違度を導出し、導出した相違度が閾値以上の場合に、第１画像データ及び第２画像データのうちの少なくとも一方を出力画像データとして決定する処理を行い、出力部は、処理部により決定された出力画像データを出力する。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
本開示の技術の第１７の態様に係る撮像素子は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、画像データを用いた処理を行い、処理部での処理結果に基づいて、画像データに基づく出力画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、プロセッサは、撮像されることにより画像データとして得られた第１画像データと、第１画像データよりも前に画像データとして得られてメモリに記憶された第２画像データとの相違度を導出し、導出した相違度が閾値以上の場合に、第１画像データ及び第２画像データのうちの少なくとも一方を出力画像データとして決定する処理を行い、決定した出力画像データを出力する。
第１～第６実施形態に係る撮像装置の一例を示す概略斜視図である。 第１～第６実施形態に係る撮像装置の一例を示す概略背面図である。 第１～第６実施形態に係る撮像装置の電気系のハードウェア構成の一例を示すブロック図である。 第１～第６実施形態に係る撮像装置に含まれるハイブリッドファインダーの構成の一例を示す概略構成図である。 第１～第６実施形態に係る撮像装置に含まれる撮像素子の積層構造の一例を示す概略構成図である。 第１～第６実施形態に係る撮像素子の構成の一例を示すブロック図である。 第１～第６実施形態に係る撮像装置の撮像フレームレートの説明に供する概念図である。 第１～第６実施形態に係る撮像装置の出力フレームレートの説明に供する概念図である。 第１実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 図８に示す画像データ取得部の説明に供する概念図である。 図８に示すメモリから画像データ取得部に出力される撮像画像データの出力態様の一例を示す概念図である。 図８に示す差分画像データ生成部の説明に供する概念図である。 図８に示す差分画像データ生成部及び２値化画像データ生成部の説明に供する概念図である。 図８に示す２値化画像データ生成部及び出力画像データ決定部の説明に供する概念図である。 図８及び図１３に示す出力画像データ決定部の詳細な説明に供する概念図である。 第１実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置の処理回路に含まれる出力回路によって出力される画像データの変形例を示す概念図である。 第１実施形態に係る撮像処理の流れの変形例を示すフローチャートである。 第２実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 第２実施形態に係る撮像装置に含まれる撮像素子によって撮像されることで得られた撮像画像データ及び間引き画像データの各々のデータ構造の一例を示す概念図である。 図１８に示す間引き画像データ生成部及び差分画像データ生成部の説明に供する概念図である。 第２実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第３実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 図２２に示す間引き画像データ生成部、検出部、及び差分画像データ生成部の説明に供する概念図である。 図２２に示す画像処理回路、出力回路、及びコントローラの説明に供する概念図である。 第３実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第４実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 第４実施形態に係る撮像装置に含まれるコントローラの構成の一例を示すブロック図である。 第４実施形態に係る撮像装置に含まれるコントローラのＣＰＵの機能の一例を示す機能ブロック図である。 第４実施形態に係るフレームレート設定指示処理の流れの一例を示すフローチャートである。 第４実施形態に係る標準フレームレート設定処理の流れの一例を示すフローチャートである。 第４実施形態に係る低フレームレート設定処理の流れの一例を示すフローチャートである。 第５実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 図３２に示す出力画像データ決定部及び画像データ選別部の説明に供する概念図である。 図３３に示す画像データ選別部の説明に供する概念図である。 図３３に示す画像データ選別部の詳細な説明に供する概念図である。 第５実施形態に係る撮像装置の処理回路に含まれる出力回路によって出力される画像データの一例を示す概念図である。 第５実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第６実施形態に係る撮像装置の撮像素子に含まれる処理回路の構成の一例を示すブロック図である。 図３７に示す出力画像データ決定部及び画像データ選別部の説明に供する概念図である。 図３８に示す画像データ選別部の詳細な説明に供する概念図である。 ベイヤ配列に対応する撮像画像データ及び間引き画像データの各々のデータ構造の一例を示す概念図である。 プログラムが記憶された記憶媒体から、プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
先ず、以下の説明で使用される用語の意味について説明する。
また、以下の説明において、ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。また、以下の説明において、ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。
また、以下の説明において、ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。
また、以下の説明において、ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。また、以下の説明において、ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。
また、以下の説明において、ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。また、以下の説明において、ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。また、以下の説明において、Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。また、以下の説明において、ＦＩＦＯとは、“Ｆｉｒｓｔ ｉｎ Ｆｉｒｓｔ ｏｕｔ”の略称を指す。また、以下の説明において、Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。また、以下の説明において、ＡＦとは、“Ａｕｔｏ－Ｆｏｃｕｓ”の略称を指す。また、以下の説明において、ＡＥとは、“Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ”の略称を指す。
［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。
撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。
撮像装置本体１２の正面視中央部には撮像素子４４が設けられている。撮像素子４４は、例えば、ＣＭＯＳイメージセンサである。詳しくは後述するが、撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。なお、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。
交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。交換レンズ１４の鏡筒には、撮像レンズ４０が設けられている。交換レンズ１４が撮像装置本体１２に装着されると、撮像レンズ４０の光軸Ｌ１が撮像素子４４の受光面４４Ａの中央部に位置し、被写体を示す被写体光は、撮像レンズ４０を介して受光面４４Ａに結像される。
交換レンズ１４には、撮像装置１０がマニュアルフォーカスモードの場合に使用されるフォーカスリング１３が設けられている。撮像レンズ４０は、フォーカスレンズ４０Ａを有しており、フォーカスリング１３の手動による回転操作に伴って、フォーカスレンズ４０Ａは光軸方向に移動し、被写体距離に応じた合焦位置で受光面４４Ａに被写体光が結像される。ここで「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ４０Ａの光軸Ｌ１上での位置を指す。
撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、撮像素子４４によって被写体が撮像されることで得られた表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。
撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。
レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。
表示動画用撮像モードは、連続的な撮像により得られた連続する複数フレーム分のライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６（図３参照）に表示される動作モードである。
記録用撮像モードは、静止画像用撮像モードと動画像用撮像モードとに大別される。静止画像用撮像モードは、撮像装置１０により被写体が撮像されることで得られた静止画像を記録する動作モードであり、動画像用撮像モードは、撮像装置１０により被写体が撮像されることで得られた動画像を記録する動作モードである。
記録用撮像モードは、ライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６に表示され、かつ、記録用画像データが後述の二次記憶装置８０（図３参照）及び／又はメモリカード等に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、静止画像データは、静止画像用撮像モードで得られる画像データであり、動画像データは、動画像用撮像モードで得られる画像データである。
撮像モードが設定されると、先ず、撮像装置１０は、表示動画用撮像モードになる。表示動画用撮像モードでは、レリーズボタン２０が押圧操作された場合に、撮像装置１０は、表示動画用撮像モードから記録用撮像モードに移行する。
撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２０が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２０が半押し状態にされることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると撮像が行われる。
一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２６、指示キー２８、及びファインダー接眼部３０が設けられている。
タッチパネル・ディスプレイ２６は、第１ディスプレイ３２及びタッチパネル３４（図３も参照）を備えている。第１ディスプレイ３２としては、液晶ディスプレイ又は有機ＥＬディスプレイが挙げられる。
第１ディスプレイ３２は、画像及び文字情報等を表示する。第１ディスプレイ３２は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ３２は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第１ディスプレイ３２は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル３４は、透過型のタッチパネルであり、第１ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知し、検知結果を後述のＣＰＵ４６Ａ（図３参照）等の既定の出力先に出力する。
指示キー２８は、１つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。
一例として図３に示すように、撮像装置１０は、マウント３６，３８を備えている。マウント３６は、撮像装置本体１２に設けられている。マウント３８は、交換レンズ１４において、マウント３６の位置に対応する位置に設けられている。交換レンズ１４は、マウント３６にマウント３８が結合されることにより撮像装置本体１２に交換可能に装着される。
一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、フォーカスレンズ４０Ａの他に、対物レンズ４０Ｂ、及び絞り４０Ｃを備えている。フォーカスレンズ４０Ａ、対物レンズ４０Ｂ、及び絞り４０Ｃは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ｂ、フォーカスレンズ４０Ａ、及び絞り４０Ｃの順に配置されている。
撮像レンズ４０は、スライド機構４１及びモータ４５，４７を含む。絞り４０Ｃにはモータ４７が接続されており、絞り４０Ｃは、モータ４７から付与された動力に応じて作動することで露出を調節する。
スライド機構４１は、動力を受けることでフォーカスレンズ４０Ａを光軸Ｌ１に沿って移動させる。スライド機構４１には、モータ４５及びフォーカスリング１３が接続されており、スライド機構４１に対しては、モータ４５からの動力又はフォーカスリング１３が操作されることにより得られる動力が付与される。すなわち、スライド機構４１は、モータ４５からの動力又はフォーカスリング１３が操作されることにより得られる動力に従ってフォーカスレンズ４０Ａを光軸Ｌ１に沿って移動させる。
モータ４５，４７は、マウント３６，３８を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４５，４７の一例として、ステッピングモータを適用している。従って、モータ４５，４７は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ４５，４７が撮像レンズ４０に設けられている例が示されているが、これに限らず、モータ４５，４７のうちの少なくとも１つは撮像装置本体１２に設けられていてもよい。
撮像装置本体１２には、ロータリエンコーダ４３が設けられている。ロータリエンコーダ４３は、マウント３６，３８を介して撮像装置本体１２に接続されている。ロータリエンコーダ４３は、フォーカスリング１３の位置を検出し、検出結果を撮像装置本体１２に出力する。
撮像装置本体１２は、メカニカルシャッタ４２を備えている。メカニカルシャッタ４２は、後述のＣＰＵ４６Ａの制御下で、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４がマウント３６，３８を介して撮像装置本体１２に装着された場合に、被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して受光面４４Ａに結像される。
撮像装置本体１２は、コントローラ４６及びＵＩ系デバイス４８を備えている。コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、バスライン８８を介してＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。
コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、制御Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅを備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、制御Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅは、バスライン８８を介して相互に接続されている。
ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。
制御Ｉ／Ｆ４６Ｄは、ＦＰＧＡを有するデバイスであり、撮像素子４４に接続されている。ＣＰＵ４６Ａは、制御Ｉ／Ｆ４６Ｄを介して撮像素子４４を制御する。また、制御Ｉ／Ｆ４６Ｄは、マウント３６，３８を介してモータ４５，４７に接続されており、ＣＰＵ４６Ａは、制御Ｉ／Ｆ４６Ｄを介してモータ４５，４７を制御する。更に、制御Ｉ／Ｆ４６Ｄは、マウント３６，３８を介してロータリエンコーダ４３に接続されており、ＣＰＵ４６Ａは、ロータリエンコーダ４３から入力される検出結果に基づいてフォーカスリング１３の位置を特定する。
バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、フラッシュメモリ、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。
外部Ｉ／Ｆ８２は、ＦＰＧＡを有するデバイスである。外部Ｉ／Ｆ８２には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。
ＣＰＵ４６Ａは、後述の出力画像データ７０（図６参照）を二次記憶装置８０及び／又は上述の外部装置に記憶させる。なお、ＣＰＵ４６Ａは、本開示の技術に係る「記憶制御部」の一例である。また、二次記憶装置８０及び上記の外部装置は、本開示の技術に係る「記憶装置」の一例である。
ＵＩ系デバイス４８は、ハイブリッドファインダー１６、タッチパネル・ディスプレイ２６、及び受付部８４を備えている。第１ディスプレイ３２及びタッチパネル３４は、バスライン８８に接続されている。従って、ＣＰＵ４６Ａは、第１ディスプレイ３２に対して各種情報を表示させ、タッチパネル３４によって受け付けられた各種指示に従って動作する。
受付部８４は、タッチパネル３４及びハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０、ダイヤル２２、及び指示キー２８を有する。ハードキー部２５は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５によって受け付けられた各種指示に従って動作する。
ハイブリッドファインダー１６は、第２ディスプレイ８６を備えている。ＣＰＵ４６Ａは、第２ディスプレイ８６に対して各種情報を表示させる。
一例として図４に示すように、ハイブリッドファインダー１６は、ＯＶＦ９０及びＥＶＦ９２を含む。ＯＶＦ９０は、逆ガリレオ式ファインダーであり、接眼レンズ９４、プリズム９６、及び対物レンズ９８を有する。ＥＶＦ９２は、第２ディスプレイ８６、プリズム９６、及び接眼レンズ９４を有する。
対物レンズ９８の光軸Ｌ２に沿って対物レンズ９８よりも被写体側には、液晶シャッタ１００が配置されており、液晶シャッタ１００は、ＥＶＦ９２を使用する際に、対物レンズ９８に光学像が入射しないように遮光する。
プリズム９６は、第２ディスプレイ８６に表示される電子像又は各種の情報を反射させて接眼レンズ９４に導き、且つ、光学像と第２ディスプレイ８６に表示される電子像及び／又は各種情報とを合成する。第２ディスプレイ８６に表示される電子像の一例としては、ライブビュー画像が挙げられる。
ＣＰＵ４６Ａは、ＯＶＦモードの場合、液晶シャッタ１００が非遮光状態になるように制御し、接眼レンズ９４から光学像が視認できるようにする。また、ＣＰＵ４６Ａは、ＥＶＦモードの場合、液晶シャッタ１００が遮光状態になるように制御し、接眼レンズ９４から第２ディスプレイ８６に表示される電子像のみが視認できるようにする。
なお、以下では、説明の便宜上、第１ディスプレイ３２（図３参照）及び第２ディスプレイ８６を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「表示制御部」の一例である。
一例として図５に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。なお、メモリ６４は、本開示の技術に係る「記憶部」の一例である。
処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。
処理回路６２は、ＡＳＩＣ及びＦＰＧＡによって実現されており、コントローラ４６との間で各種情報の授受を行う。なお、ここでは、処理回路６２がＡＳＩＣ及びＦＰＧＡによって実現される例を挙げているが、本開示の技術はこれに限定されるものではない。例えば、処理回路６２がＡＳＩＣ、ＰＬＤ、又はＦＰＧＡのみで実現されてもよいし、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうち、ＡＳＩＣ及びＰＬＤの組み合わせ、又はＰＬＤ及びＦＰＧＡの組み合わせによって実現されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
光電変換素子６１は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子６１の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、デモザイク処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
一例として図６に示すように、処理回路６２は、読出回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、出力回路６２Ｄ、及び制御回路６２Ｅを含む。読出回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、及び制御回路６２Ｅは、ＡＳＩＣによって実現され、出力回路６２Ｄは、ＦＰＧＡによって実現される。なお、画像処理回路６２Ｃは、本開示の技術に係る「処理部」の一例であり、出力回路６２Ｄは、本開示の技術に係る「出力部」の一例である。
制御回路６２Ｅは、コントローラ４６に接続されている。具体的には、制御回路６２Ｅは、コントローラ４６の制御Ｉ／Ｆ４６Ｄ（図３参照）に接続されており、ＣＰＵ４６Ａ（図３参照）の指示に従って、撮像素子４４の全体を制御する。
読出回路６２Ａは、光電変換素子６１、デジタル処理回路６２Ｂ、及び制御回路６２Ｅに接続されている。メモリ６４は、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、及び制御回路６２Ｅに接続されている。画像処理回路６２Ｃは、出力回路６２Ｄ、制御回路６２Ｅ、及びメモリ６４に接続されている。
出力回路６２Ｄは、制御回路６２Ｅ及びコントローラ４６に接続されている。具体的には、出力回路６２Ｄは、コントローラ４６の入力Ｉ／Ｆ４６Ｅ（図３参照）に接続されている。
読出回路６２Ａは、制御回路６２Ｅの制御下で、光電変換素子６１から光電変換素子６１に蓄積された信号電荷であるアナログの撮像画像データ６９Ａを読み出す。具体的には、読出回路６２Ａは、制御回路６２Ｅから入力される垂直同期信号に従って、撮像画像データ６９Ａを１フレーム毎に読み出す。また、読出回路６２Ａは、１フレームの読出期間内において制御回路６２Ｅから入力される水平同期信号に従って、撮像画像データ６９Ａを１行毎に読み出す。
デジタル処理回路６２Ｂは、読出回路６２Ａにより読み出されたアナログの撮像画像データ６９Ａに対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことでアナログの撮像画像データ６９Ａをデジタル化する。そして、デジタル処理回路６２Ｂは、撮像画像データ６９Ａをデジタル化して得た撮像画像データ６９Ｂをメモリ６４に記憶する。なお、以下では、撮像画像データ６９Ａ，６９Ｂを区別して説明する必要がない場合、「撮像画像データ６９」と称する。
メモリ６４は、複数フレームの撮像画像データ６９Ｂを記憶可能なメモリである。メモリ６４は、画素単位の記憶領域（図示省略）を有しており、撮像画像データ６９Ｂがデジタル処理回路６２Ｂによって、画素単位で、メモリ６４のうちの対応する記憶領域に記憶される。
画像処理回路６２Ｃは、撮像画像データ６９Ｂを用いた処理を行う。具体的には、画像処理回路６２Ｃは、メモリ６４から撮像画像データ６９Ｂを取得し、取得した撮像画像データ６９Ｂに対して各種の信号処理を施す。ここで言う「各種の信号処理」には、色調補正、ホワイトバランス調整、シャープネス調整、ガンマ補正、及び階調補正などの公知の信号処理が含まれる他、本開示の技術に係る信号処理も含まれる。詳しくは後述するが、本開示の技術に係る信号処理とは、例えば、図８に示す画像データ取得部６２Ｃ１、差分画像データ生成部６２Ｃ２、２値化画像データ生成部６２Ｃ３、及び出力画像データ決定部６２Ｃ４による信号処理を指す。
画像処理回路６２Ｃは、撮像画像データ６９Ａに対して各種の信号処理を施すことで出力画像データ７０を生成し、生成した出力画像データ７０を出力回路６２Ｄに出力する。
出力回路６２Ｄは、画像処理回路６２Ｃでの各種の信号処理の結果に基づいて、撮像画像データ６９Ｂに基づく出力画像データ７０を出力する。具体的には、出力回路６２Ｄは、画像処理回路６２Ｃから入力された出力画像データ７０をコントローラ４６に出力する。
撮像素子４４では、撮像フレームレートで被写体が撮像され、出力フレームレートで出力画像データ７０がコントローラ４６に出力される。撮像フレームレートは、本開示の技術に係る「第１フレームレート」の一例であり、出力フレームレートは、本開示の技術に係る「第２フレームレート」の一例である。なお、ここで言う「撮像」とは、光電変換素子６１での１フレーム分の露光が開始されてからメモリ６４に１フレーム分の撮像画像データ６９Ｂが記憶されるまでの処理を指す。
撮像フレームレートは、光電変換素子６１、読出回路６２Ａ、デジタル処理回路６２Ｂ、制御回路６２Ｅ、及びメモリ６４が協働して行う撮像に要するフレームレートである。これに対し、出力フレームレートは、撮像素子４４の後段のデバイスで用いられるフレームレートと同一のフレームレートである。
撮像フレームレートと出力フレームレートは、“撮像フレームレート≧出力フレームレート”の関係性を有していればよい。例えば、撮像フレームレートが、図７Ａに示すように、期間Ｔ内に８フレーム分の撮像が行われるフレームレートであり、出力フレームレートが、図７Ｂに示すように、期間Ｔ内に３フレーム分の出力が行われるフレームレートであればよい。
なお、本実施形態では、撮像フレームレートとして２４０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が採用され、出力フレームレートとして６０ｆｐｓが採用されているが、本開示の技術はこれに限定されない。例えば、撮像フレームレートとして３００ｆｐｓが採用され、出力フレームレートとして１２０ｆｐｓが採用されてもよいし、撮像フレームレートと出力フレームレートとが同じであってもよい。
一例として図８に示すように、画像処理回路６２Ｃは、画像データ取得部６２Ｃ１、差分画像データ生成部６２Ｃ２、２値化画像データ生成部６２Ｃ３、及び出力画像データ決定部６２Ｃ４を有する。画像データ取得部６２Ｃ１は、メモリ６４に接続されている。差分画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１に接続されている。２値化画像データ生成部６２Ｃ３は、差分画像データ生成部６２Ｃ２に接続されている。出力画像データ決定部６２Ｃ４は、２値化画像データ生成部６２Ｃ３に接続されている。出力回路６２Ｄは、出力画像データ決定部６２Ｃ４に接続されている。
一例として図９に示すように、画像データ取得部６２Ｃ１は、メモリ６４から撮像画像データ６９Ｂを取得する。図９に示す例では、撮像画像データ６９Ｂとして、最新フレーム画像データと過去フレーム画像データとが画像データ取得部６２Ｃ１によって取得された態様が示されている。
メモリ６４は、ＦＩＦＯ方式で撮像画像データ６９Ｂを入出力し、画像データ取得部６２Ｃ１は、メモリ６４から出力された撮像画像データ６９Ｂを順次に取得する。画像データ取得部６２Ｃ１は、メモリ６４から順次に取得した一対の撮像画像データ６９Ｂを一時的に保持する。画像データ取得部６２Ｃ１によって保持されている一対の撮像画像データ６９Ｂのうち、メモリ６４から取得した最新の撮像画像データ６９Ｂが上述の最新フレーム画像データである。また、画像データ取得部６２Ｃ１によって保持されている一対の撮像画像データ６９Ｂのうち、最新フレーム画像データよりも１フレーム前にメモリ６４から取得した撮像画像データ６９Ｂが上述の過去フレーム画像データである。
つまり、一例として図１０に示すように、メモリ６４にはＦＩＦＯ方式で撮像画像データ６９Ｂが入出力され、画像データ取得部６２Ｃ１は、メモリ６４に撮像画像データ６９Ｂが記憶される毎にメモリ６４から出力される撮像画像データ６９Ｂを取得する。画像データ取得部６２Ｃ１は、メモリ６４から取得したタイミングが隣接する一対の撮像画像データ６９Ｂを一時的に保持する。
画像データ取得部６２Ｃ１は、メモリ６４から新たな撮像画像データ６９Ｂが取得すると、過去フレーム画像データを出力する。また、画像データ取得部６２Ｃ１は、メモリ６４から新たな撮像画像データ６９Ｂを取得すると、最新フレーム画像データを過去フレーム画像データとして保持し、新たに取得した撮像画像データ６９Ｂを最新フレーム画像データとして保持する。このように、画像データ取得部６２Ｃ１によってメモリ６４から撮像画像データ６９Ｂが取得される毎に、画像データ取得部６２Ｃ１によって保持される一対の撮像画像データ６９Ｂが更新される。
一例として図１１に示すように、画像データ取得部６２Ｃ１から出力された撮像画像データ６９Ｂは、差分画像データ生成部６２Ｃ２に入力される。差分画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１から撮像画像データ６９Ｂを取得し、画像データ取得部６２Ｃ１と同様に、最新フレーム画像データと過去フレーム画像データとして保持する。更に、差分画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１から新たに撮像画像データ６９Ｂを取得すると、画像データ取得部６２Ｃ１と同様に、保持対象の最新フレーム画像データ及び過去フレーム画像データを更新し、過去フレーム画像データとして保持していた撮像画像データ６９Ｂを２値化画像データ生成部６２Ｃ３（図８及び図１２参照）に出力する。
差分画像データ生成部６２Ｃ２は、現時点で保持している一対の撮像画像データ６９Ｂ、すなわち、最新フレーム画像データと過去フレーム画像データとの差分の絶対値（以下、「差分絶対値」と称する）を算出し、差分絶対値による差分画像データを生成する。ここで、過去フレーム画像データをＩｐａｓｔ（ｘ，ｙ）とし、最新フレーム画像データをＩｃｕｒｒ（ｘ，ｙ）とした場合、差分画像データＩｄｉｆｆ（ｘ，ｙ）は、次の式（１）に従って算出される。
Ｉｄｉｆｆ（ｘ，ｙ）＝｜Ｉｃｕｒｒ（ｘ，ｙ）－Ｉｐａｓｔ（ｘ，ｙ）｜・・・・・（１）
差分画像データ生成部６２Ｃ２は、差分画像データＩｄｉｆｆ（ｘ，ｙ）を算出すると、算出した差分画像データＩｄｉｆｆ（ｘ，ｙ）を２値化画像データ生成部６２Ｃ３（図１２参照）に出力する。
一例として図１２に示すように、２値化画像データ生成部６２Ｃ３は、差分画像データ生成部６２Ｃ２から差分画像データを取得し、取得した差分画像データから２値化画像データを生成する。２値化画像データ生成部６２Ｃ３は、差分画像データＩｄｉｆｆ（ｘ，ｙ）を２値化する。例えば、以下の式（２）及び式（３）に従って差分画像データＩｄｉｆｆ（ｘ，ｙ）が２値化画像データＩｂｉｎ（ｘ，ｙ）に変換される。
Ｉｂｉｎ（ｘ，ｙ）＝１（Ｉｄｉｆｆ（ｘ，ｙ）＞閾値Ｔ１）・・・・・・（２）
Ｉｂｉｎ（ｘ，ｙ）＝０（Ｉｄｉｆｆ（ｘ，ｙ）≦閾値Ｔ１）・・・・・・（３）
なお、差分画像データ生成部６２Ｃ２から出力された撮像画像データ６９Ｂは、２値化画像データ生成部６２Ｃ３に入力される。２値化画像データ生成部６２Ｃ３は、差分画像データ生成部６２Ｃ２から撮像画像データ６９Ｂを取得し、画像データ取得部６２Ｃ１と同様に、最新フレーム画像データと過去フレーム画像データとして保持する。更に、２値化画像データ生成部６２Ｃ３は、差分画像データ生成部６２Ｃ２から新たに撮像画像データ６９Ｂを取得すると、画像データ取得部６２Ｃ１と同様に、保持対象の最新フレーム画像データ及び過去フレーム画像データを更新し、過去フレーム画像データとして保持していた撮像画像データ６９Ｂを出力画像データ決定部６２Ｃ４（図８参照）に出力する。
図１３に示す例では、２値化画像データ内に“Ｉｂｉｎ（ｘ，ｙ）＝１”の２値化差分領域ＳＡ，ＳＢが含まれている。出力画像データ決定部６２Ｃ４は、２値化差分領域ＳＡ及び２値化差分領域ＳＢの総面積（＝ΣＩｂｉｎ（ｘ，ｙ））を算出し、算出した総面積が既定面積以上であるか否かを判定する。ここで、出力画像データ決定部６２Ｃ４は、算出した総面積が既定面積以上の場合に、２値化差分領域ＳＡ及び２値化差分領域ＳＢが含まれる２値化画像データの生成に用いた最新フレーム画像データ及び過去フレーム画像データのうちの最新フレーム画像データを出力画像データ７０として決定する。
なお、上記の「既定面積」は、例えば、２フレーム分の撮像が行われる間に被写体に動きがあると視覚的に認識することができる場合の２値化差分領域の面積としてコンピュータ・シミュレーション及び／又は実機を用いた官能試験等の結果から得られた面積である。本第１実施形態では、２値化画像データにより示される画像全体の面積のうちの２割の面積が上記の「既定面積」として採用されている。上記の「既定面積」は、受付部８４（図３参照）によって受け付けられた指示に応じて変更可能な可変値であっても良いし、固定値であってもよい。上記の「既定面積」は、本開示の技術に係る「閾値」の一例であり、２値化差分領域ＳＡ及び２値化差分領域ＳＢの総面積は、本開示の技術に係る「相違度」の一例である。以下では、説明の便宜上、２値化差分領域ＳＡ及び２値化差分領域ＳＢの総面積を単に「２値化差分領域の面積」とも称する。
一例として図１４に示すように、出力画像データ決定部６２Ｃ４は、２値化画像データ生成部６２Ｃ３から撮像画像データ６９Ｂが入力される毎に、入力された撮像画像データ６９Ｂに対応する２値化画像データの２値化差分領域の総面積と既定面積とを比較する。出力画像データ決定部６２Ｃ４は、比較結果に基づいて、入力された撮像画像データ６９Ｂを出力回路６２Ｄに出力するか否かを判定する。そして、出力画像データ決定部６２Ｃ４は、出力すべき撮像画像データ６９Ｂとして決定した出力画像データ７０を順次に出力回路６２Ｄに出力する。
出力回路６２Ｄは、画像処理回路６２Ｃでの処理結果に基づいて画像データを出力フレームレートで出力する。具体的には、出力回路６２Ｄは、画像処理回路６２Ｃによって撮像画像データ６９Ｂが処理されて得られた処理結果に基づいて、撮像画像データ６９Ｂに基づく出力画像データ７０を出力フレームレートで出力する。
次に、撮像装置１０の作用について説明する。
先ず、撮像素子４４の処理回路６２によって実行される撮像処理の流れについて図１５を参照しながら説明する。
図１５に示す撮像処理では、先ず、ステップＳＴ１０で、読出回路６２Ａは、光電変換素子６１に対して露光を開始させるタイミング（以下、「露光開始タイミング」と称する）が到来したか否かを判定する。露光開始タイミングは、上述した撮像フレームレートによって周期的に規定されたタイミングである。ステップＳＴ１０において、露光開始タイミングが到来していない場合は、判定が否定されて、撮像処理はステップＳＴ３０へ移行する。ステップＳＴ１０において、露光開始タイミングが到来した場合は、判定が肯定されて、撮像処理はステップＳＴ１２へ移行する。
ステップＳＴ１２で、読出回路６２Ａは、光電変換素子６１に対して１フレーム分の露光を行わせる。
次のステップＳＴ１４で、読出回路６２Ａは、光電変換素子６１から１フレーム分の撮像画像データ６９Ａを読み出す。
次のステップＳＴ１６で、デジタル処理回路６２Ｂは、ステップＳＴ１４で読み出された撮像画像データ６９Ａに対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことで撮像画像データ６９Ａをデジタル化する。
次のステップＳＴ１８で、デジタル処理回路６２Ｂは、デジタル化して得た撮像画像データ６９Ｂをメモリ６４に記憶する。メモリ６４に記憶された撮像画像データ６９Ｂは、画像データ取得部６２Ｃ１によって取得される。
次のステップＳＴ２０で、画像データ取得部６２Ｃ１は、過去フレーム画像データを有している否かを判定する。すなわち、画像データ取得部６２Ｃ１は、最新フレーム画像データと過去フレーム画像データとの一対の撮像画像データ６９Ｂを保持しているか否かを判定する。ステップＳＴ２０において、過去フレーム画像データを有していない場合は、判定が否定されて、撮像処理はステップＳＴ３０へ移行する。ステップＳＴ２０において、過去フレーム画像データを有している場合は、判定が肯定されて、撮像処理はステップＳＴ２２へ移行する。
ステップＳＴ２２で、先ず、差分画像データ生成部６２Ｃ２は、画像データ取得部６２Ｃ１によって取得された最新フレーム画像データと過去フレーム画像データとの差分絶対値を算出し、算出した差分絶対値から上述の差分画像データを生成する。次に、２値化画像データ生成部６２Ｃ３は、差分画像データを２値化することで上述した２値化画像データを生成する。そして、出力画像データ決定部６２Ｃ４は、２値化画像データ生成部６２Ｃ３によって生成された２値化画像データ値から上述の２値化差分領域を算出する。
次のステップＳＴ２４で、出力画像データ決定部６２Ｃ４は、２値化差分領域の面積が上述の既定面積以上であるか否かを判定する。ステップＳＴ２４において、２値化差分領域の面積が既定面積以上でない場合は、判定が否定されて、撮像処理はステップＳＴ３０へ移行する。ステップＳＴ２４において、２値化差分領域の面積が既定面積以上の場合は、判定が肯定されて、撮像処理はステップＳＴ２６へ移行する。
ステップＳＴ２６で、出力画像データ決定部６２Ｃ４は、２値化差分領域が含まれる２値化画像データの生成に用いた最新フレーム画像データ及び過去フレーム画像データのうちの最新フレーム画像データを出力画像データ７０として決定する。
次のステップＳＴ２８で、出力回路６２Ｄは、ステップＳＴ２６で決定された出力画像データ７０をコントローラ４６に出力する。
コントローラ４６は、出力回路６２Ｄから入力された出力画像データ７０をディスプレイに対してライブビュー画像又は静止画像として表示させたり、二次記憶装置８０及び／又はメモリカード（図示省略）に記憶させたりする。
ステップＳＴ３０で、制御回路６２Ｅは、撮像処理を終了する条件（以下、「撮像処理終了条件」と称する）を満足したか否かを判定する。撮像処理終了条件としては、例えば、撮像処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ３０において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ１０へ移行する。ステップＳＴ３０において、撮像処理終了条件を満足した場合は、撮像処理が終了する。
以上説明したように、撮像素子４４は、メモリ６４、画像処理回路６２Ｃ、及びメモリ６４を備えている。メモリ６４には、被写体が撮像フレームレートで撮像されることで得られた撮像画像データ６９Ｂが記憶される。画像処理回路６２Ｃでは、一対の撮像画像データ６９Ｂである最新フレーム画像データと過去フレーム画像データとの相違度が算出される。
本第１実施形態において、相違度とは、上述の２値化差分領域の面積を指す。２値化差分領域の面積が大きい程、被写体の動きが大きいことを意味するので、このときに撮像されることで得られた撮像画像データ６９は、ユーザにとって、表示したり記憶したりするに値する画像データであることが予想される。逆に、２値化差分領域の面積が小さい程、被写体の動きが小さいことを意味するので、このときに撮像されることで得られた撮像画像データ６９は、ユーザにとって、表示したり記憶したりするに値しない画像データであることが予想される。
そこで、画像処理回路６２Ｃでは、２値化差分領域の面積が既定面積以上の場合に、相違度の算出に用いられた最新フレーム画像データが出力画像データ７０として決定される。そして、出力回路６２Ｄによってコントローラ４６に出力画像データ７０が出力される。これにより、撮像されることで得られた全ての画像データを出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
また、撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。
また、図５に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１からメモリ６４への撮像画像データ６９の転送速度を高めることができる。転送速度の向上は、処理回路６２全体での処理の高速化にも寄与する。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。
また、撮像装置１０では、出力画像データ７０に基づくライブビュー画像等が第２ディスプレイ８６に表示される。これにより、出力画像データ７０により示される画像をユーザに視認させることができる。また、被写体が撮像されることで得られた全ての撮像画像データ６９Ｂがディスプレイに表示される場合に比べ、消費電力を低減することができる。また、ユーザにとって必要性が高いと予想される画像のみをユーザに視認させることができる。
更に、撮像装置１０では、出力画像データ７０が二次記憶装置８０及び／又はメモリカード等に記憶される。これにより、被写体が撮像されることで得られた全ての撮像画像データ６９Ｂが二次記憶装置８０等に記憶される場合に比べ、二次記憶装置８０及び／又はメモリカードの記憶容量を長持ちさせることができる。
なお、上記第１実施形態では、ステップＳＴ２６において出力画像データ７０として決定されなかった最新フレーム画像データは出力回路６２Ｄによってコントローラ４６に出力されない形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、２値化差分領域の面積が既定面積未満の場合に、図１６に示すように、２値化差分領域が含まれる２値化画像データの生成に用いた最新フレーム画像データ及び過去フレーム画像データのうちの最新フレーム画像データの代わりにダミーデータ７０ａが出力されるようにしてもよい。すなわち、出力回路６２Ｄは、上記の撮像処理のステップＳＴ２６において出力画像データ７０として決定されなかった最新フレーム画像データの代わりにダミーデータ７０ａをコントローラ４６に出力するようにしてもよい。ダミーデータ７０ａとしては、例えば、全画素についての画素値が同一の画像データが挙げられる。全画素についての画素値が同一の画像データとは、例えば、全画素についての画素値が“０”の画像データを指す。
出力回路６２Ｄがダミーデータ７０ａを出力する場合、一例として図１７に示す撮像処理が処理回路６２によって実行される。図１７に示す例では、撮像処理のステップＳＴ２４において判定が否定された場合に、撮像処理がステップＳＴ３２へ移行する。そして、ステップＳＴ３２で、出力回路６２Ｄがダミーデータ７０ａをコントローラ４６に出力し、その後、撮像処理はステップＳＴ３０へ移行する。
このように２値化差分領域の面積が既定面積未満の場合に、ダミーデータ７０ａが出力回路６２Ｄによってコントローラ４６に出力される。２値化差分領域の面積が既定面積未満であるということは、このときに撮像されることで得られた撮像画像データ６９は、ユーザにとって、表示したり記憶したりするに値しない画像データであることが予想される。この場合、ダミーデータ７０ａがコントローラ４６に出力されることで、単に画像データを出力しない場合に比べ、撮像素子４４とコントローラ４６との間でのデータが変化する度合い、すなわち、データのトグルレートを小さくすることができる。この結果、２値化差分領域の面積が既定面積未満の場合に何らかの撮像画像データ６９をコントローラ４６に出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。なお、ダミーデータ７０ａは、本開示の技術に係る「第１ダミーデータ」の一例である。
また、上記第１実施形態では、本開示の技術に係る「相違度」の一例として２値化差分領域の面積を例示したが、本開示の技術はこれに限定されない。例えば、２値化差分領域の面積に代えて、最新フレーム画像データと過去フレーム画像データとの単純な差分の絶対値を適用するようにしてもよい。
また、上記第１実施形態では、差分絶対値を例示したが、これに限らず、過去フレーム画像データに対する最新フレーム画像データの割合であってもよい。過去フレーム画像データに対する最新フレーム画像データの割合とは、例えば、“Ｉｐａｓｔ（ｘ，ｙ）／Ｉｃｕｒｒ（ｘ，ｙ）”を指す。
また、上記第１実施形態では、一対の撮像画像データ６９Ａがメモリ６４に記憶されている場合について説明したが、本開示の技術はこれに限定されない。例えば、過去フレーム画像データとの比較対象とされる最新フレーム画像データをメモリ６４に記憶させずにデジタル処理回路６２Ｂから画像処理回路６２Ｃに直接出力するようにしてもよい。この場合、例えば、メモリ６４には、１フレーム毎に過去フレーム画像データとして撮像画像データ６９Ｂがデジタル処理回路６２Ｂから入力される。そして、画像処理回路６２Ｃでは、メモリ６４から過去フレーム画像データとして入力された撮像画像データ６９Ｂと、デジタル処理回路６２Ｂから直接入力された最新フレーム画像データとの相違度が算出される。
また、上記第１実施形態では、２値化差分領域の面積が既定面積以上の場合に最新フレーム画像データのみが出力回路６２Ｄによって出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、２値化差分領域の面積が既定面積以上の場合に最新フレーム画像データ及び過去フレーム画像データの双方が出力回路６２Ｄによって出力されるようにしてもよい。
また、上記第１実施形態では、過去フレーム画像データが最新フレーム画像データよりも１フレーム前の撮像画像データ６９Ｂであるが、本開示の技術はこれに限定されない。例えば、過去フレーム画像データは最新フレーム画像データより２フレーム以上前の撮像画像データ６９Ｂであってもよい。
また、上第１実施形態では、出力画像データ７０に基づくライブビュー画像等が第２ディスプレイ８６に表示されているが、本開示の技術はこれに限定されるものではない。例えば、出力画像データ７０に基づくライブビュー画像等が、第１ディスプレイ３２に表示されるようにしてもよいし、第１ディスプレイ３２及び第２ディスプレイ８６の双方に表示されるようにしてもよい。
また、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。
［第２実施形態］
上記第１実施形態では、２フレーム分の撮像画像データ６９Ｂの全画素を対象にして差分画像データが生成される形態例を挙げて説明したが、本第２実施形態では、撮像画像データ６９Ｂの圧縮画像データから差分画像データが生成される場合について説明する。
なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
一例として図１～図３に示すように、本第２実施形態に係る撮像装置２００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体２１２を有する点が異なる。一例として図３に示すように、撮像装置本体２１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子２４４を有する点が異なる。一例として図５に示すように、撮像素子２４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路２６２を有する点が異なる。
一例として図６に示すように、処理回路２６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路２６２Ｃを有する点、及び、出力回路６２Ｄに代えて出力回路２６２Ｄを有する点が異なる。画像処理回路２６２Ｃは、画像処理回路６２Ｃに比べ、撮像画像データ６９Ｂに基づいて出力画像データ７０を生成する点に代えて、撮像画像データ６９Ｂに基づいて出力画像データ２７０を生成する点が異なる。出力回路２６２Ｄは、出力回路６２Ｄに比べ、出力画像データ７０に代えて出力画像データ２７０を出力する点が異なる。
一例として図１８に示すように、画像処理回路２６２Ｃは、画像データ取得部２６２Ｃ１、間引き画像データ生成部２６２Ｆ、差分画像データ生成部２６２Ｃ２、２値化画像データ生成部２６２Ｃ３、及び出力画像データ決定部２６２Ｃ４を有する。
画像データ取得部２６２Ｃ１は、上記第１実施形態の画像データ取得部６２Ｃ１と同様に、メモリ６４から撮像画像データ６９Ｂを取得する。すなわち、画像データ取得部２６２Ｃ１は、上記第１実施形態の画像データ取得部６２Ｃ１と同様に、メモリ６４から最新フレーム画像データ及び過去フレーム画像データを取得する。
間引き画像データ生成部２６２Ｆは、画像データ取得部２６２Ｃ１によって取得された撮像画像データ６９Ｂに対して間引き処理を行う。具体的には、間引き画像データ生成部２６２Ｆは、画像データ取得部２６２Ｃ１によって取得された最新フレーム画像データ及び過去フレーム画像データの各々に対して間引き処理を行う。間引き処理は、撮像画像データ６９Ｂから画素を間引くことによって撮像画像データ６９Ｂを圧縮する処理である。
差分画像データ生成部２６２Ｃ２は、上記第１実施形態で説明した差分画像データ生成部６２Ｃ２に比べ、撮像画像データ６９Ｂに代えて間引き画像データ６９Ｂ１から差分画像データを生成する点が異なる。
２値化画像データ生成部２６２Ｃ３は、上記第１実施形態で説明した２値化画像データ生成部６２Ｃ３に比べ、差分画像データ生成部６２Ｃ２によって生成された差分画像データに代えて差分画像データ生成部２６２Ｃ２によって生成された差分画像データから２値化画像データを生成する点が異なる。
出力画像データ決定部２６２Ｃ４は、上記第１実施形態で説明した出力画像データ決定部６２Ｃ４に比べ、２値化画像データ生成部６２Ｃ３によって生成された２値化画像データに基づいて出力画像データ７０を決定することに代えて、２値化画像データ生成部２６２Ｃ３によって生成された２値化画像データに基づいて出力画像データ２７０を生成する点が異なる。出力画像データ決定部２６２Ｃ４は、出力画像データ２７０を出力回路２６２Ｄに出力する。出力画像データ２７０は、出力画像データ７０に比べ、撮像画像データ６９Ｂの最新フレーム画像データではなく、間引き処理後の最新フレーム画像データである点が異なる。
一例として図１９に示すように、撮像画像データ６９Ｂは、Ｒ画素、Ｇ画素、及びＢ画素を有するカラー画像データである。撮像画像データ６９Ｂは、複数の原色画素が周期的に配列された画像データである。具体的には、撮像画像データ６９Ｂでは、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。
図１９に示す例では、１行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、及びＢ画素の順に循環して配列されている。また、２行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、３行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、４行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、及びＲ画素の順に循環して配列されている。また、５行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。更に、６行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。そして、１行目～６行目のＲ画素、Ｇ画素、及びＢ画素の配列パターンが６行単位で列方向に繰り返されることによって撮像画像データ６９Ｂの全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。
間引き画像データ６９Ｂ１は、撮像画像データ６９Ｂに対して行単位での間引き処理が行われることによって得られた画像データである。具体的には、一例として図１９に示すように、間引き画像データ６９Ｂ１は、撮像画像データ６９Ｂにより示される撮像画像から列方向に偶数行のラインの画素を間引くことによって得られた垂直１／２間引き画像を示す画像データである。すなわち、垂直１／２間引き画像の各行の画素は、撮像画像の奇数行の画素に相当する画素である。
一例として図２０に示すように、差分画像データ生成部２６２Ｃ２は、間引き画像データ生成部２６２Ｆから間引き画像データ６９Ｂ１を取得する。間引き画像データ６９Ｂ１は、間引き画像データ生成部２６２Ｆによって最新フレーム画像データ及び過去フレーム画像データの各々に対して行単位での間引き処理が行われることによって生成される。すなわち、間引き画像データ６９Ｂ１は、間引き処理後の最新フレーム画像データと間引き処理後の過去フレーム画像データである。なお、間引き処理後の最新フレーム画像データは、本開示の技術に係る「間引き処理後の第１画像データ」の一例であり、間引き処理後の過去フレーム画像データは、本開示の技術に係る「間引き処理後の第２画像データ」の一例である。
差分画像データ生成部２６２Ｃ２は、上記第１実施形態で説明した差分画像データ生成部６２Ｃ２と同様に、間引き処理後の最新フレーム画像データ及び間引き処理後の過去フレーム画像データから差分画像データを生成する。
次に、撮像装置２００の作用について説明する。
先ず、撮像素子２４４の処理回路２６２によって実行される撮像処理の流れについて図２１を参照しながら説明する。なお、図２１に示す撮像処理は、図１５に示す撮像処理に比べ、ステップＳＴ２００を有する点が異なる。また、図２１に示す撮像処理は、図１５に示す撮像処理に比べ、ステップＳＴ２２～ステップＳＴ２８に代えてステップＳＴ２２２～ステップＳＴ２２８を有する点が異なる。そのため、図２１に示す撮像処理のフローチャートには、図１５に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図２１に示す撮像処理については、図１５に示す撮像処理と異なる点のみを説明する。
図２１に示す撮像処理では、ステップＳＴ２０において判定が肯定されると、撮像処理はステップＳＴ２００へ移行する。ステップＳＴ２００で、間引き画像データ生成部２６２Ｆは、上述したように撮像画像データ６９Ｂから間引き画像データ６９Ｂ１を生成する。
ステップＳＴ２２２の処理は、図１５に示すステップＳＴ２２の処理に比べ、撮像画像データ６９Ｂに代えて間引き画像データ６９Ｂ１に基づいて２値化差分領域の面積を算出する点が異なる。
ステップＳＴ２２４の処理は、図１５に示すステップＳＴ２４の処理に比べ、撮像画像データ６９Ｂに基づいて算出された２値化差分領域の面積に代えて、間引き画像データ６９Ｂ１に基づいて算出された２値化差分領域の面積を既定面積と比較する点が異なる。
ステップＳＴ２２６の処理は、図１５に示すステップＳＴ２６の処理に比べ、撮像画像データ６９Ｂの最新フレーム画像データに代えて、間引き処理後の最新フレーム画像データを出力する点が異なる。
ステップＳＴ２２８の処理は、図１５に示すステップＳＴ２８の処理に比べ、出力画像データ７０に代えて出力画像データ２７０を出力する点が異なる。
以上説明したように、画像処理回路２６２Ｃでは、撮像画像データ６９Ｂが間引き処理されることで得られた間引き画像データ６９Ｂ１に基づいて差分画像データ及び２値化画像データが生成され、出力画像データ２７０が決定される。間引き画像データ６９Ｂ１は、撮像画像データ６９Ｂよりもデータ量が少ないので、画像処理回路２６２Ｃでの処理にかかる負荷が軽減される。また、出力画像データ２７０は、出力画像データ７０よりもデータ量が少ない。よって、画像データの出力に要する消費電力を低減することができる。
なお、上記第２実施形態では、間引き画像データ６９Ｂ１として垂直１／２間引き画像を示す画像データを例示したが、本開示の技術はこれに限定されない。例えば、ｎを３以上の自然数とした場合、垂直１／ｎ間引き画像を示す画像データを間引き画像データとして適用してもよい。また、列単位で間引いた水平間引き画像を示す画像データを間引き画像データとして適用してもよいし、行単位及び列単位で間引いた画像を示す画像データを間引き画像データとして適用してもよい。
［第３実施形態］
上記第２実施形態では、撮像画像データ６９Ｂを行単位で間引くことでデータ量の削減を図る形態例を挙げて説明したが、本第３実施形態では、上記第２実施形態とは異なる方法でデータ量の削減を図る形態例について説明する。なお、本第３実施形態では、上記第２実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第２実施形態と異なる部分について説明する。
一例として図１～図３に示すように、本第３実施形態に係る撮像装置３００は、上記第２実施形態で説明した撮像装置２００に比べ、撮像装置本体２１２に代えて撮像装置本体３１２を有する点が異なる。一例として図３に示すように、撮像装置本体３１２は、撮像装置本体２１２に比べ、撮像素子２４４に代えて撮像素子３４４を有する点が異なる。一例として図５に示すように、撮像素子３４４は、撮像素子２４４に比べ、処理回路２６２に代えて処理回路３６２を有する点が異なる。
一例として図６に示すように、処理回路３６２は、処理回路２６２に比べ、画像処理回路２６２Ｃに代えて画像処理回路３６２Ｃを有する点、及び、出力回路２６２Ｄに代えて出力回路３６２Ｄを有する点が異なる。
一例として図２２に示すように、画像処理回路３６２Ｃは、上記第２実施形態で説明した画像処理回路２６２Ｃに比べ、検出部３６２Ｆを有する点が異なる。また、画像処理回路３６２Ｃは、上記第２実施形態で説明した画像処理回路２６２Ｃに比べ、差分画像データ生成部２６２Ｃ２に代えて差分画像データ生成部３６２Ｃ２を有する点が異なる。また、画像処理回路３６２Ｃは、上記第２実施形態で説明した画像処理回路２６２Ｃに比べ、２値化画像データ生成部２６２Ｃ３に代えて２値化画像データ生成部３６２Ｃ３を有する点が異なる。また、画像処理回路３６２Ｃは、上記第２実施形態で説明した画像処理回路２６２Ｃに比べ、出力画像データ決定部２６２Ｃ４に代えて出力画像データ決定部３６２Ｃ４を有する点が異なる。
一例として図２３に示すように、検出部３６２Ｆは、間引き画像データ生成部２６２Ｆから間引き画像データ６９Ｂ１を取得する。上記第２実施形態でも説明したように、間引き画像データ６９Ｂ１は、間引き処理後の最新フレーム画像データと間引き処理後の過去フレーム画像データである。本第３実施形態では、説明の便宜上、間引き処理後の最新フレーム画像データを単に「最新フレーム画像データ」と称し、間引き処理後の過去フレーム画像データを単に「過去フレーム画像データ」と称する。
検出部３６２Ｆは、主要被写体画像データ検出部３６２Ｆ１及び特定画像データ検出部３６２Ｆ２を備えている。主要被写体画像データ検出部３６２Ｆ１は、過去フレーム画像データから主要被写体の画像を示す主要被写体画像データ６９Ｂ１ａを検出する。
主要被写体画像データ検出部３６２Ｆ１は、過去フレーム画像データから、基準画像データとの一致度が既定の一致度以上の画像データを主要被写体画像データ６９Ｂ１ａとして検出する。例えば、基準画像データと９０％以上が一致している画像データが主要被写体画像データ６９Ｂ１ａとして検出される。なお、本第３実施形態では、基準画像データの一例として、主要被写体画像データ６９Ｂ１ａに相当する画像データとして予め登録された画像データが採用されている。
特定画像データ検出部３６２Ｆ２は、最新フレーム画像データから、過去フレーム画像データにより示される画像内での主要被写体画像データ６９Ｂ１ａにより示される画像の位置に相当する位置から特定される画像を示す特定画像データ６９Ｂ１ｂを検出する。
検出部３６２Ｆは、主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂを差分画像データ生成部３６２Ｃ２に出力する。
一例として図２４に示すように、差分画像データ生成部３６２Ｃ２は、主要被写体画像データ６９Ｂ１ａと特定画像データ６９Ｂ１ｂとの差分絶対値を算出し、算出した差分絶対値による差分画像データを生成する。
２値化画像データ生成部３６２Ｃ３は、差分画像データ生成部３６２Ｃ２によって生成された差分画像データに基づいて２値化画像データを生成する。
出力画像データ決定部３６２Ｃ４は、２値化画像データ生成部３６２Ｃ３によって生成された２値化画像データに基づいて、上記第２実施形態で説明した２値化画像データ生成部２６２Ｃ３と同様の方法で出力画像データ２７０を決定する。そして、出力画像データ決定部３６２Ｃ４は、決定した出力画像データ２７０を出力回路３６２Ｄに出力する。
次に、撮像装置３００の作用について説明する。
先ず、撮像素子３４４の処理回路３６２によって実行される撮像処理の流れについて図２５を参照しながら説明する。なお、図２５に示す撮像処理は、図２１に示す撮像処理に比べ、ステップＳＴ３００を有する点が異なる。また、図２５に示す撮像処理は、図２１に示す撮像処理に比べ、ステップＳＴ２２２～ステップＳＴ２２４に代えてステップＳＴ３２２～ステップＳＴ３２４を有する点が異なる。そのため、図２５に示す撮像処理のフローチャートには、図２１に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図２５に示す撮像処理については、図２１に示す撮像処理と異なる点のみを説明する。
一例として図２５に示すように、ステップＳＴ２００の処理が実行された後、撮像処理はステップＳＴ３００へ移行する。ステップＳＴ３００で、主要被写体画像データ検出部３６２Ｆ１は、過去フレーム画像データから上述の主要被写体画像データ６９Ｂ１ａを検出する。また、特定画像データ検出部３６２Ｆ２は、最新フレーム画像データから上述の特定画像データ６９Ｂ１ｂを検出する。
ステップＳＴ３２２の処理は、図２１に示すステップＳＴ２２２の処理に比べ、間引き画像データ６９Ｂ１に基づいて２値化差分領域の面積を算出する点に代えて、主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂに基づいて２値化差分領域の面積を算出する点が異なる。
ステップＳＴ３２４の処理は、図２１に示すステップＳＴ２２４の処理に比べ、間引き画像データ６９Ｂ１に基づいて算出された２値化差分領域の面積に代えて、主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂに基づいて算出された２値化差分領域の面積を既定面積と比較する点が異なる。なお、主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂに基づいて算出された２値化差分領域の面積は、本開示の技術に係る「相違度」の一例である。
以上説明したように、画像処理回路３６２Ｃでは、撮像画像データ６９Ｂが間引き処理されることで得られた間引き画像データ６９Ｂ１から主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂが検出される。そして、主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂに基づいて２値化差分領域の面積が算出される。主要被写体画像データ６９Ｂ１ａ及び特定画像データ６９Ｂ１ｂは、撮像画像データ６９Ｂよりもデータ量が少ないので、画像処理回路３６２Ｃでの処理にかかる負荷は軽減される。また、出力画像データ２７０は、出力画像データ７０よりもデータ量が少ない。よって、画像データの出力に要する消費電力を低減することができる。
なお、上記第３実施形態では、予め登録された基準画像データを用いて主要被写体画像データを検出する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、公知の顔検出機能を用いて、顔の画像を示す顔画像データが主要被写体画像データとして検出されるようにしてもよい。
［第４実施形態］
上記第３実施形態では、撮像フレームレートが一定の場合について説明したが、本第４実施形態では撮像フレームレートが可変の場合について説明する。なお、本第４実施形態では、上記第３実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第３実施形態と異なる部分について説明する。
一例として図１～図３に示すように、本第４実施形態に係る撮像装置４００は、上記第３実施形態で説明した撮像装置３００に比べ、撮像装置本体３１２に代えて撮像装置本体４１２を有する点が異なる。一例として図３に示すように、撮像装置本体４１２は、撮像装置本体３１２に比べ、撮像素子３４４に代えて撮像素子４４４を有する点が異なる。一例として図５に示すように、撮像素子４４４は、撮像素子３４４に比べ、処理回路３６２に代えて処理回路４６２を有する点が異なる。
一例として図６に示すように、処理回路４６２は、処理回路３６２に比べ、画像処理回路３６２Ｃに代えて画像処理回路４６２Ｃを有する点、及び、制御回路６２Ｅに代えて制御回路４６２Ｅを有する点が異なる。
一例として図２６に示すように、制御回路４６２Ｅは、制御回路６２Ｅに比べ、フレームレート設定部４６２Ｅ１を有する点が異なる。なお、ここでは、フレームレート設定部４６２Ｅ１は、制御回路４６２Ｅに内蔵されている形態例を示しているが、本開示の技術はこれに限定されず、フレームレート設定部４６２Ｅ１は、制御回路４６２Ｅと別個に処理回路４６２に組み込まれていてもよい。
コントローラ４６は、出力回路２６２Ｄから入力される出力画像データ２７０に基づいて、標準ＦＲ設定指示信号４６ＦＲ１及び低ＦＲ設定指示信号４６ＦＲ２を選択的にフレームレート設定部４６２Ｅ１に出力する。なお、ここで、「標準ＦＲ」及び「低ＦＲ」に含まれる“ＦＲ”とは、“Ｆｒａｍｅ Ｒａｔｅ”の略称を指す。
上記第１実施形態で説明した撮像フレームレート（図７Ａ参照）は、標準フレームレートと低フレームレートとに変更可能なフレームレートである。低フレームレートは、標準フレームレートよりも低く、かつ、出力フレームレート（図７Ｂ参照）よりも高いフレームレートである。ここでは、標準フレームレートの一例として、２４０ｆｐｓが適用され、低フレームレートの一例として１２０ｆｐｓが適用されている。
標準ＦＲ設定指示信号４６ＦＲ１は、撮像フレームレートとして標準フレームレートの設定を指示する信号である。低ＦＲ設定指示信号４６ＦＲ２は、撮像フレームレートとして低フレームレートの設定を指示する信号である。
フレームレート設定部４６２Ｅ１は、コントローラ４６から標準ＦＲ設定指示信号４６ＦＲ１が入力された場合に撮像フレームレートとして標準フレームレートを設定する。また、フレームレート設定部４６２Ｅ１は、コントローラ４６から低ＦＲ設定指示信号４６ＦＲ２が入力された場合に撮像フレームレートとして低フレームレートを設定する。
一例として図２７に示すように、コントローラ４６のＲＯＭ４６Ｂには、フレームレート設定指示プログラム４６Ｂ１が記憶されている。ＣＰＵ４６Ａは、フレームレート設定指示プログラム４６Ｂ１をＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂからフレームレート設定指示プログラム４６Ｂ１を読み出し、ＲＡＭ４６Ｃに展開する。そして、ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開したフレームレート設定指示プログラム４６Ｂ１を実行することで、一例として図２８に示す画像データ受信部４６Ｃ１、カウントアップ指示部４６Ｃ２、カウンタ４６Ｃ３、第１信号出力部４６Ｃ４、及び第２信号出力部４６Ｃ５として動作する。カウンタ４６Ｃ３は、カウント値リセット部４６Ｃ３ａ及びカウントアップ部４６Ｃ３ｂを有する。
一例として図２８に示すように、画像データ受信部４６Ｃ１は、出力回路２６２Ｄから出力された出力画像データ２７０を受信する。画像データ受信部４６Ｃ１は、出力画像データ２７０を受信した場合に、出力画像データ２７０を受信したことを示す受信信号をカウンタ４６Ｃ３に出力する。画像データ受信部４６Ｃ１は、予め定められた受信タイミングが到来したにも拘らず出力画像データ２７０を受信していない場合に、出力画像データ２７０を受信していないことを示す未受信信号をカウントアップ指示部４６Ｃ２に出力する。ここで、予め定められた受信タイミングとは、出力フレームレートに従って定められたタイミングを指す。予め定められた受信タイミングは、出力フレームレートに従って周期的に到来する。例えば、予め定められた受信タイミングは、出力フレームレートが６０ｆｐｓの場合、１／６０秒の時間間隔で到来する。
カウントアップ指示部４６Ｃ２は、未受信信号を受信した場合に、カウントアップを指示するカウントアップ信号をカウンタ４６Ｃ３に出力する。
カウントアップ部４６Ｃ３ｂは、初期値が“０”のカウント値をカウントアップする。具体的には、カウンタ４６Ｃ３では、カウントアップ指示部４６Ｃ２からカウントアップ信号が入力されると、カウントアップ部４６Ｃ３ｂがカウント値を１加算する。カウントアップ部４６Ｃ３ｂは、カウント値が閾値に到達すると、カウント値が閾値にと到達したことを示す閾値到達信号を第２信号出力部４６Ｃ５に出力する。なお、図２８に示す例では、閾値として“２”が採用されている。閾値は、受付部８４（図３参照）によって受け付けられた指示に応じて変更可能な可変値であっても良いし、固定値であってもよい。
カウント値リセット部４６Ｃ３ａは、カウント値をリセットする。具体的には、カウンタ４６Ｃ３では、画像データ受信部４６Ｃ１から受信信号が入力されると、カウント値リセット部４６Ｃ３ａがカウント値を“０”にリセットする。そして、カウント値リセット部４６Ｃ３ａは、カウント値を“０”にリセットすると、リセットが完了したことを示すリセット完了信号を第１信号出力部４６Ｃ４に出力する。
第１信号出力部４６Ｃ４は、カウント値リセット部４６Ｃ３ａからリセット完了信号が入力されると、標準ＦＲ設定指示信号４６ＦＲ１をフレームレート設定部４６２Ｅ１に出力する。第２信号出力部４６Ｃ５は、カウントアップ部４６Ｃ３ｂから閾値到達信号が入力されると、低ＦＲ設定指示信号４６ＦＲ２をフレームレート設定部４６２Ｅ１に出力する。
次に、撮像装置４００の作用について説明する。なお、撮像装置４００の作用の説明では、上記第３実施形態と異なる部分のみについて説明する。
先ず、フレームレート設定指示プログラム４６Ｂ１に従ってＣＰＵ４６Ａによって実行されるフレームレート設定指示処理の流れについて図２９を参照しながら説明する。
図２９に示すフレームレート設定指示処理では、先ず、ステップＳＴ４００で、画像データ受信部４６Ｃ１は、出力画像データ２７０を受信したか否かを判定する。ステップＳＴ４００において、出力画像データ２７０を受信した場合は、判定が肯定されて、フレームレート設定指示処理はステップＳＴ４０２へ移行する。ステップＳＴ４００において、出力画像データ２７０を受信していない場合は、判定が否定されて、フレームレート設定指示処理はステップＳＴ４１０へ移行する。
ステップＳＴ４０２で、カウント値リセット部４６Ｃ３ａは、カウント値が“０”を超えているか否かを判定する。ステップＳＴ４０２において、カウント値が“０”を超えている場合は、判定が肯定されて、フレームレート設定指示処理はステップＳＴ４０８へ移行する。ステップＳＴ４０２において、カウント値が“０”の場合は、判定が否定されて、フレームレート設定指示処理はステップＳＴ４２０へ移行する。
ステップＳＴ４０４で、カウント値リセット部４６Ｃ３ａは、カウント値を“０”にリセットし、その後、フレームレート設定指示処理はステップＳＴ４０６へ移行する。
ステップＳＴ４０６で、第１信号出力部４６Ｃ４は、現時点での撮像素子４４４の撮像フレームレートが低フレームレートか否かを判定する。ステップＳＴ４０６において、現時点での撮像素子４４４の撮像フレームレートが低フレームレートの場合は、判定が肯定されて、フレームレート設定指示処理はステップＳＴ４０８へ移行する。ステップＳＴ４０６において、現時点での撮像素子４４４の撮像フレームレートが低フレームレートでない場合、すなわち、現時点での撮像素子４４４の撮像フレームレートが標準フレームレートの場合は、判定が否定されて、フレームレート設定指示処理はステップＳＴ４２０へ移行する。
ステップＳＴ４０８で、第１信号出力部４６Ｃ４は、標準ＦＲ設定指示信号４６ＦＲ１をフレームレート設定部４６２Ｅ１に出力し、その後、フレームレート設定指示処理はステップＳＴ４２０へ移行する。
ステップＳＴ４１０で、画像データ受信部４６Ｃ１は、上述の予め定められた受信タイミングが経過したか否かを判定する。ステップＳＴ４１０において、上述の予め定められた受信タイミングが経過していない場合は、判定が否定されて、フレームレート設定指示処理はステップＳＴ４００へ移行する。ステップＳＴ４１０において、上述の予め定められた受信タイミングが経過したか否かを判定する。ステップＳＴ４１０において、上述の予め定められた受信タイミングが経過している場合は、判定が肯定されて、フレームレート設定指示処理はステップＳＴ４１２へ移行する。
ステップＳＴ４１２で、カウントアップ指示部４６Ｃ２がカウントアップ信号をカウンタ４６Ｃ３に出力する。そして、カウンタ４６Ｃ３では、カウントアップ信号が入力されると、カウントアップ部４６Ｃ３ｂがカウント値を１加算し、その後、フレームレート設定指示処理はステップＳＴ４１４へ移行する。
ステップＳＴ４１４で、カウントアップ部４６Ｃ３ｂは、カウント値が閾値に到達したか否かを判定する。ステップＳＴ４１４において、カウント値が閾値に到達した場合は、判定が肯定されて、フレームレート設定指示処理はステップＳＴ４１６へ移行する。ステップＳＴ４１４において、カウント値が閾値に到達していない場合は、判定が否定されて、フレームレート設定指示処理はステップＳＴ４２０へ移行する。
ステップＳＴ４１６で、第２信号出力部４６Ｃ５は、現時点での撮像素子４４４の撮像フレームレートが標準フレームレートか否かを判定する。ステップＳＴ４１６において、現時点での撮像素子４４４の撮像フレームレートが標準フレームレートの場合は、判定が肯定されて、フレームレート設定指示処理はステップＳＴ４１８へ移行する。ステップＳＴ４１６において、現時点での撮像素子４４４の撮像フレームレートが標準フレームレートでない場合、すなわち、現時点での撮像素子４４４の撮像フレームレートが低フレームレートの場合は、判定が否定されて、フレームレート設定指示処理はステップＳＴ４２０へ移行する。
ステップＳＴ４１８で、第２信号出力部４６Ｃ５は、低ＦＲ設定指示信号４６ＦＲ２をフレームレート設定部４６２Ｅ１に出力し、その後、フレームレート設定指示処理はステップＳＴ４２０へ移行する。
次に、撮像素子４４４の処理回路４６２によって実行される標準フレームレート設定処理の流れについて図３０を参照しながら説明する。
図３０に示す標準フレームレート設定処理では、先ず、ステップＳＴ４４０で、フレームレート設定部４６２Ｅ１は、標準ＦＲ設定指示信号４６ＦＲ１を受信したか否かを判定する。ステップＳＴ４４０において、標準ＦＲ設定指示信号４６ＦＲ１を受信していない場合は、判定が否定されて、標準フレームレート設定処理はステップＳＴ４４４へ移行する。ステップＳＴ４４０において、標準ＦＲ設定指示信号４６ＦＲ１を受信した場合は、判定が肯定されて、標準フレームレート設定処理はステップＳＴ４４２へ移行する。
ステップＳＴ４４２で、フレームレート設定部４６２Ｅ１は、撮像フレームレートとして標準フレームレートを設定し、その後、標準フレームレート設定処理はステップＳＴ４４４へ移行する。
ステップＳＴ４４４で、フレームレート設定部４６２Ｅ１は、標準フレームレート設定処理を終了する条件（以下、「標準フレームレート設定処理終了条件」と称する）を満足したか否かを判定する。標準フレームレート設定処理終了条件としては、例えば、標準フレームレート設定処理を終了させる指示が受付部８４（図３参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ４４４において、標準フレームレート設定処理終了条件を満足していない場合は、判定が否定されて、標準フレームレート設定処理はステップＳＴ４４０へ移行する。ステップＳＴ４４４において、標準フレームレート設定処理終了条件を満足した場合は、標準フレームレート設定処理が終了する。
次に、撮像素子４４４の処理回路４６２によって実行される低フレームレート設定処理の流れについて図３１を参照しながら説明する。
図３１に示す低フレームレート設定処理では、先ず、ステップＳＴ４５０で、フレームレート設定部４６２Ｅ１は、低ＦＲ設定指示信号４６ＦＲ２を受信したか否かを判定する。ステップＳＴ４５０において、低ＦＲ設定指示信号４６ＦＲ２を受信していない場合は、判定が否定されて、低フレームレート設定処理はステップＳＴ４５４へ移行する。ステップＳＴ４５０において、低ＦＲ設定指示信号４６ＦＲ２を受信した場合は、判定が肯定されて、低フレームレート設定処理はステップＳＴ４５２へ移行する。
ステップＳＴ４５２で、フレームレート設定部４６２Ｅ１は、撮像フレームレートとして低フレームレートを設定し、その後、低フレームレート設定処理はステップＳＴ４５４へ移行する。
ステップＳＴ４５４で、フレームレート設定部４６２Ｅ１は、低フレームレート設定処理を終了する条件（以下、「低フレームレート設定処理終了条件」と称する）を満足したか否かを判定する。低フレームレート設定処理終了条件としては、例えば、低フレームレート設定処理を終了させる指示が受付部８４（図３参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ４５４において、低フレームレート設定処理終了条件を満足していない場合は、判定が否定されて、低フレームレート設定処理はステップＳＴ４５０へ移行する。ステップＳＴ４４４において、低フレームレート設定処理終了条件を満足した場合は、低フレームレート設定処理が終了する。
以上説明したように、撮像素子４４４では、カウントアップ部４６Ｃ３ｂによって出力画像データ２７０が出力回路２６２Ｄから継続して出力されなかった期間がカウント値としてカウントアップされる。そして、カウント値が閾値に到達した場合に、第２信号出力部４６Ｃ５によって低ＦＲ設定指示信号４６ＦＲ２が出力される。フレームレート設定部４６２Ｅ１では、低ＦＲ設定指示信号４６ＦＲ２が入力されると、撮像フレームレートとして低フレームレートが設定される。つまり、出力画像データ２７０が出力回路２６２Ｄから出力されなかった時間が予め定められた時間継続した場合、撮像フレームレートが下げられる。
出力画像データ２７０が出力回路２６２Ｄから出力されないということは、２値化差分領域の面積が既定面積未満であるということである。これは、被写体が目立った動きをしていないことを意味している。被写体が目立った動きをしていない期間に被写体が撮像されることで得られる撮像画像データ６９のフレーム数はそれ程多くなくてもユーザにとってはそれ程困ることではなく、また、フレーム数が増えると処理回路４６２での消費電力も増大する。本第４実施形態に係る撮像素子４４４では、出力画像データ２７０が出力回路２６２Ｄから出力されなかった時間が予め定められた時間継続した場合、撮像フレームレートが下げられるので、被写体が目立った動きをしていない期間に標準フレームレートで撮像が行われる場合に比べ、撮像素子４４４での消費電力を低減することができる。
なお、上記第４実施形態では、出力画像データ２７０が出力回路２６２Ｄから出力されなかった時間が予め定められた時間継続した場合に撮像フレームレートが下げられる形態例について説明したが本開示の技術はこれに限定されない。例えば、出力画像データ２７０が出力回路２６２Ｄから出力されなかった時間が予め定められた時間継続した場合に撮像フレームレートだけでなく、出力フレームレートも下げるようにしてもよい。例えば、フレームレート設定部４６２Ｅ１が、出力フレームレートを６０ｆｐｓから３０ｆｐｓに下げるようにしてもよい。
［第５実施形態］
上記第４実施形態では、出力画像データ決定部３６２Ｃ４によって決定された全ての出力画像データ２７０が出力されるが、本第５実施形態では、選別された出力画像データ２７０が出力される形態例について説明する。なお、本第５実施形態では、上記第４実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第４実施形態と異なる部分について説明する。
一例として図１～図３に示すように、本第５実施形態に係る撮像装置５００は、上記第４実施形態で説明した撮像装置４００に比べ、撮像装置本体４１２に代えて撮像装置本体５１２を有する点が異なる。一例として図３に示すように、撮像装置本体５１２は、撮像装置本体４１２に比べ、撮像素子４４４に代えて撮像素子５４４を有する点が異なる。一例として図５に示すように、撮像素子５４４は、撮像素子４４４に比べ、処理回路４６２に代えて処理回路５６２を有する点が異なる。一例として図６に示すように、処理回路５６２は、処理回路４６２に比べ、画像処理回路３６２Ｃに代えて画像処理回路５６２Ｃを有する点、及び、出力回路２６２Ｄに代えて出力回路５６２Ｄを有する点が異なる。
一例として図３２に示すように、画像処理回路５６２Ｃは、画像処理回路３６２Ｃに比べ、画像データ選別部５６２Ｃ１を有する点が異なる。画像データ選別部５６２Ｃ１は、出力画像データ決定部３６２Ｃ４によって決定された出力画像データ２７０が出力されるのに相応しい画像データであるか否かを判定し、出力画像データ２７０を選別する。なお、本第５実施形態では、出力画像データ決定部３６２Ｃ４によって行われる出力画像データ２７０の決定を「仮決定」とも称する。
画像データ選別部５６２Ｃ１は、閉眼被写体検出部５６２Ｃ１ａを有しており、閉眼被写体検出部５６２Ｃ１ａでの検出結果に基づいて出力画像データ２７０を選別する。
一例として図３３に示すように、画像データ選別部５６２Ｃ１は、出力画像データ決定部３６２Ｃ４によって決定された出力画像データ２７０を取得する。そして、閉眼被写体検出部５６２Ｃ１ａは、公知の顔検出機能を用いて、出力画像データ２７０に顔の画像を示す顔画像データが含まれているか否かを判定する。顔画像データが含まれていない出力画像データ２７０は、出力されるのに相応しい画像データとして確定した出力確定画像データ２７０Ａとして画像データ選別部５６２Ｃ１によって選別され、出力回路５６２Ｄに出力される。
閉眼被写体検出部５６２Ｃ１ａは、出力画像データ２７０に顔画像データが含まれている場合に、顔画像データから瞼が閉じた状態の眼の画像を示す閉眼画像データを検出する。これにより、出力画像データ２７０に顔画像データが含まれている場合であっても、一例として図３４Ａに示すように、顔画像データが閉眼被写体検出部５６２Ｃ１ａによって閉眼画像データと瞼が開いている開眼画像データとに類別される。
一例として図３４Ａ及び図３４Ｂに示すように、画像データ選別部５６２Ｃ１は、開眼画像データが含まれる出力画像データ２７０を出力確定画像データ２７０Ａとして出力回路５６２Ｄに出力し、閉眼画像データが含まれる出力画像データ２７０を不出力確定画像データ２７０Ｂとし、出力回路５６２Ｄに出力しない。
一例として図３５に示すように、出力回路５６２Ｄは、出力確定画像データ２７０Ａの他に、図１６に示す例で説明したダミーデータ７０ａに相当する第１ダミーデータ２７０Ｃと、不出力確定画像データ２７０Ｂの代替画像データとして第２ダミーデータ２７０Ｄを出力する。第２ダミーデータ２７０Ｄも、第１ダミーデータ２７０Ｃと同様に、全画素についての画素値が“０”の画像データである。
次に、撮像装置５００の作用について説明する。
先ず、撮像素子５４４の処理回路５６２によって実行される撮像処理の流れについて図３６を参照しながら説明する。なお、以下では、説明の便宜上、出力画像データ２７０に顔画像データが含まれていることを前提として説明する。また、以下では、説明の便宜上、図３５に示す第１ダミーデータ２７０Ｃの出力方法については図１６に示す例と同様なので省略する。
また、図３６に示す撮像処理は、図２５に示す撮像処理に比べ、ステップＳＴ２２６～ステップＳＴ２２８に代えてステップＳＴ５００～ステップＳＴ５０６を有する点が異なる。そのため、図３６に示す撮像処理のフローチャートには、図２５に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図３６に示す撮像処理については、図２５に示す撮像処理と異なる点のみを説明する。
図３６に示す撮像処理では、ステップＳＴ３２４において判定が肯定された場合、撮像処理はステップＳＴ５００へ移行する。ステップＳＴ５００で、出力画像データ決定部３６２Ｃ４は、最新フレーム画像データを出力画像データ２７０として仮決定する。
ステップＳＴ５０２で、閉眼被写体検出部５６２Ｃ１ａは、ステップＳＴ５００で仮決定された出力画像データ２７０に閉眼画像データが含まれているか否かを判定する。ステップＳＴ５０２において、ステップＳＴ５００で仮決定された出力画像データ２７０に閉眼画像データが含まれていない場合は、判定が否定されて、撮像処理はステップＳＴ５０４へ移行する。ステップＳＴ５０２において、ステップＳＴ５００で仮決定された出力画像データ２７０に閉眼画像データが含まれている場合は、判定が肯定されて、撮像処理はステップＳＴ５０６へ移行する。
ステップＳＴ５００で仮決定された出力画像データ２７０に閉眼画像データが含まれていない場合、ステップＳＴ５００で仮決定された出力画像データ２７０が画像データ選別部５６２Ｃ１によって出力確定画像データ２７０Ａとして出力回路５６２Ｄに出力される。
ステップＳＴ５０４で、出力回路５６２Ｄは、出力確定画像データ２７０Ａをコントローラ４６に出力し、その後、撮像処理はステップＳＴ３０へ移行する。
ステップＳＴ５０６で、出力回路５６２Ｄは、第２ダミーデータ２７０Ｄをコントローラ４６に出力し、その後、撮像処理はステップＳＴ３０へ移行する。
以上説明したように、撮像素子５４４では、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０に顔画像データが含まれており、顔画像データから閉眼画像データが検出された場合に、仮決定された出力画像データ２７０がコントローラ４６に出力されないようにしている。これにより、閉眼画像データが含まれる出力画像データ２７０をコントローラ４６に出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
また、撮像素子５４４では、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０に顔画像データが含まれており、顔画像データから開眼画像データが検出された場合に、仮決定された出力画像データ２７０がコントローラ４６に出力されるようにしている。これにより、閉眼画像データを含む出力画像データ２７０よりもユーザにとって必要性が高いと予想される開眼画像データを含む出力画像データ２７０をユーザに提供することができる。
また、撮像素子５４４では、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０に顔画像データが含まれており、顔画像データから閉眼画像データが検出された場合に、第２ダミーデータ２７０Ｄがコントローラ４６に出力される。この場合、第２ダミーデータ２７０Ｄがコントローラ４６に出力されることで、単に画像データを出力しない場合に比べ、撮像素子５４４とコントローラ４６との間でのデータが変化する度合い、すなわち、データのトグルレートを小さくすることができる。
なお、上記第５実施形態では、第２ダミーデータ２７０Ｄがコントローラ４６に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されず、第２ダミーデータ２７０Ｄがコントローラ４６に出力されないようにしてもよい。この場合、図３６に示す撮像処理からステップＳＴ５０６の処理を除けばよい。
［第６実施形態］
上記第５実施形態では、選別された出力画像データ２７０が出力される形態例について説明したが、本第６実施形態では、上記第５実施形態とは異なる方法で選別された出力画像データ２７０が出力される形態例について説明する。なお、本第６実施形態では、上記第５実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第５実施形態と異なる部分について説明する。
一例として図１～図３に示すように、本第６実施形態に係る撮像装置６００は、上記第５実施形態で説明した撮像装置５００に比べ、撮像装置本体５１２に代えて撮像装置本体６１２を有する点が異なる。一例として図３に示すように、撮像装置本体６１２は、撮像装置本体５１２に比べ、撮像素子５４４に代えて撮像素子６４４を有する点が異なる。一例として図５に示すように、撮像素子６４４は、撮像素子５４４に比べ、処理回路５６２に代えて処理回路６６２を有する点が異なる。一例として図６に示すように、処理回路６６２は、処理回路５６２に比べ、画像処理回路５６２Ｃに代えて画像処理回路６６２Ｃを有する点が異なる。
一例として図３７に示すように、画像処理回路６６２Ｃは、画像処理回路５６２Ｃに比べ、画像データ選別部５６２Ｃ１に代えて画像データ選別部６６２Ｃ１を有する点が異なる。画像データ選別部６６２Ｃ１は、画像データ選別部５６２Ｃ１に比べ、閉眼被写体検出部５６２Ｃ１ａに代えて合焦評価値算出部６６２Ｃ１ａを有する点が異なる。
一例として図３８に示すように、合焦評価値算出部６６２Ｃ１ａは、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０を対象にして、合焦状態の度合いを示す合焦評価値を算出する。合焦評価値としては、出力画像データ２７０により示される画像のコントラスト値が挙げられる。また、例えば、光電変換素子６１に位相差画素が含まれている場合、位相差画素での画素値に基づいて特定される位相差も合焦評価値として用いることが可能である。
図３８に示す例では、フレーム毎の合焦評価値としてα１～α８が示されている。一例として図３９に示すように、画像データ選別部６６２Ｃ１は、合焦評価値α１～α８の各々と閾値ＴＨとを比較し、閾値ＴＨ未満の合焦評価値に対応する出力画像データ２７０を出力確定画像データ２７０Ａ１として出力回路５６２Ｄに出力する。また、画像データ選別部６６２Ｃ１は、閾値ＴＨ以上の合焦評価値に対応する出力画像データ２７０を不出力確定画像データ２７０Ｂ１とし、出力回路５６２Ｄに出力しない。
なお、閾値ＴＨ未満の合焦評価値に対応する出力画像データ２７０とは、合焦評価値の算出対象とされた出力画像データ２７０を指す。また、閾値ＴＨは、本開示の技術に係る「既定評価値」の一例である。閾値ＴＨは、受付部８４（図３参照）によって受け付けられた指示に応じて変更可能な可変値であっても良いし、固定値であってもよい。
一例として図３５に示すように、出力回路５６２Ｄは、出力確定画像データ２７０Ａ１をコントローラ４６に出力し、不出力確定画像データ２７０Ｂ１の代替画像データとして第２ダミーデータ２７０Ｄ１を出力する。第２ダミーデータ２７０Ｄ１は、上記第５実施形態で説明した第２ダミーデータ２７０Ｄと同一の画像データである。
以上説明したように、撮像素子６４４では、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０に関する合焦評価値が閾値ＴＨ未満の場合に、仮決定された出力画像データ２７０がコントローラ４６に出力されないようにしている。これにより、閾値ＴＨ未満の合焦評価値に対応する出力画像データ２７０をコントローラ４６に出力する場合に比べ、画像データの出力に要する消費電力を低減することができる。
また、撮像素子６４４では、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０に関する合焦評価値が閾値ＴＨ以上の場合に、仮決定された出力画像データ２７０がコントローラ４６に出力されるようにしている。これにより、閾値ＴＨ未満の合焦評価値に対応する出力画像データ２７０よりもユーザにとって必要性が高いと予想される出力画像データ２７０をユーザに提供することができる。
なお、上記第６実施形態では、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０であっても、出力画像データ２７０に関する合焦評価値が閾値未満の場合に、出力画像データ２７０の代替画像データとして第２ダミーデータ２７０Ｄ１が出力されるようにしたが、本開示の技術はこれに限定されない。例えば、上記第５実施形態で説明した出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０について、閉眼画像データが含まれており、かつ、合焦評価値が閾値未満の場合に、第２ダミーデータ２７０Ｄ１が出力されるようにしてもよい。このように、出力画像データ決定部３６２Ｃ４によって仮決定された出力画像データ２７０であっても、出力画像データ２７０が特定条件を満たす画像データの場合に、出力回路５６２Ｄは、出力画像データ２７０を出力せずに第２ダミーデータ２７０Ｄ１を出力するようにすればよい。
また、上記第２～第６実施形態では、出力画像データ２７０を出力する場合について説明したが、本開示の技術はこれに限定されない。例えば、表示動画用撮像モードでは、出力画像データ２７０が出力され、記録用撮像モードでは、出力画像データ２７０よりもデータ量の多い出力画像データ７０が出力されるようにしてもよい。
また、上記第２実施形態では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ配列の撮像画像データ６９Ｂを例示したが、本開示の技術はこれに限定されない。例えば、図４０に示すように、撮像画像データ６９Ｂに代えて撮像画像データ７００を用いてもよい。撮像画像データ７００では、Ｒ画素、Ｇ画素、及びＢ画素がベイヤ配列に対応した周期性で配列されている。
図４０に示す例では、１行目で、Ｒ画素及びＧ画素が、行方向にＲ画素及びＧ画素の順に循環して配列されている。また、２行目で、Ｂ画素及びＧ画素が、行方向にＧ画素及びＢ画素の順に循環して配列されている。そして、１行目のＲ画素及びＧ画素の配列パターンが１行おきに列方向に繰り返され、２行目のＢ画素及びＧ画素の配列パターンが１行おきに列方向に繰り返されることによって撮像画像データ７００の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。
この場合、撮像画像データ７００に対して間引き処理が行われる。例えば、図４０に示す間引き画像データ７０２は、撮像画像データ７００により示される画像から、列方向に隣接する２行分のラインが２行置きに間引くことによって得られた垂直１／２間引き画像を示す画像データである。
また、上記各実施形態では、演算式を用いて解を導き出すことを意味する「算出」を例示したが、本開示の技術はこれに限定されない。例えば、「算出」に代えて、ルックアップテーブルを用いた「導出」を適用してもよいし、演算式及びルックアップテーブルを併用してもよい。ルックアップテーブルを用いた「導出」は、例えば、演算式の独立変数を入力値と演算式の従属変数（解）を出力値とを有するルックアップテーブルを用いて出力値としての解を導き出す処理を含む。
また、上記各実施形態では、処理回路６２，２６２，３６２，４６２，５６２，６６２（以下、単に「処理回路」と称する）がＡＳＩＣによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
この場合、例えば、図４１に示すように、撮像素子４４，２４４，３４４，４４４，５４４，６４４に相当する撮像素子８００に内蔵されたコンピュータ８５２に、上述した撮像処理を実行させるための撮像処理プログラム９０２を記憶媒体９００に記憶させておく。また、上述した標準フレームレート設定処理を実行させるための標準フレームレート設定プログラム９０４も記憶媒体９００に記憶させておく。更に、低フレームレート設定プログラム９０６も記憶媒体９００に記憶させておく。
コンピュータ８５２は、ＣＰＵ８５２Ａ、ＲＯＭ８５２Ｂ、及びＲＡＭ８５２Ｃを備えている。そして、記憶媒体９００の撮像処理プログラム９０２がコンピュータ８５２にインストールされ、コンピュータ８５２のＣＰＵ８５２Ａは、撮像処理プログラム９０２に従って、上述した撮像処理を実行する。また、記憶媒体９００の標準フレームレート設定プログラム９０４がコンピュータ８５２にインストールされ、コンピュータ８５２のＣＰＵ８５２Ａは、標準フレームレート設定プログラム９０４に従って、上述した標準フレームレート設定処理を実行する。更に、記憶媒体９００の低フレームレート設定プログラム９０６がコンピュータ８５２にインストールされ、コンピュータ８５２のＣＰＵ８５２Ａは、低フレームレート設定プログラム９０６に従って、上述した低フレームレート設定処理を実行する。
ここでは、ＣＰＵ８５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ８５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
図４１に示す例では、記憶媒体９００に撮像処理プログラム９０２、標準フレームレート設定プログラム９０４、及び低フレームレート設定プログラム９０６が記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ８５２Ｂに撮像処理プログラム９０２、標準フレームレート設定プログラム９０４、及び低フレームレート設定プログラム９０６のうちの少なくとも１つのプログラムを予め記憶させておき、ＣＰＵ８５２ＡがＲＯＭ８５２Ｂからプログラムを読み出し、ＲＡＭ８５２Ｃに展開し、展開したプログラムを実行するようにしてもよい。
また、通信網（図示省略）を介してコンピュータ８５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像処理プログラム９０２、標準フレームレート設定プログラム９０４、及び低フレームレート設定プログラム９０６を記憶させておき、撮像処理プログラム９０２、標準フレームレート設定プログラム９０４、及び低フレームレート設定プログラム９０６が撮像装置１０，２００，３００，４００，５００，６００（以下、単に「撮像装置」と称する）の要求に応じてコンピュータ８５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた撮像処理プログラム９０２、標準フレームレート設定プログラム９０４、及び低フレームレート設定プログラム９０６がコンピュータ８５２のＣＰＵ８５２Ａによって実行される。
また、コンピュータ８５２は、撮像素子４４，２４４，３４４，４４４，５４４，６４４の外部に設けられるようにしてもよい。この場合、コンピュータ８５２が撮像処理プログラム９０２、標準フレームレート設定プログラム９０４、及び低フレームレート設定プログラム９０６に従って処理回路を制御するようにすればよい。
上記各実施形態で説明した撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上記各実施形態では、撮像装置としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図４２に示すスマートデバイス９５０に対して本開示の技術を適用するようにしてもよい。一例として図４２に示すスマートデバイス９５０は、本開示の技術に係る撮像装置の一例である。スマートデバイス９５０には、撮像素子８００が搭載されている。このように構成されたスマートデバイス９５０であっても、上記各実施形態で説明した撮像装置と同様の作用及び効果が得られる。なお、スマートデバイス９５０に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
また、上記各実施形態では、第１ディスプレイ３２及び第２ディスプレイ８６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２，２１２，３１２，４１２，５１２，６１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
また、上記の撮像処理、標準フレームレート設定処理、及び低フレームレート設定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (21)

  1. 撮像素子であって、
    被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
    前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵されたプロセッサと、を含み、
    前記プロセッサは、
    撮像されることにより前記画像データとして得られた第１画像データと、前記第１画像データよりも前に前記画像データとして得られて前記メモリに記憶された第２画像データとの相違度を導出し、
    導出した前記相違度が閾値以上の場合に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する処理を行い、
    決定した前記出力画像データを出力し、
    前記相違度が前記閾値未満の場合に、第１ダミーデータを出力する
    撮像素子。
  2. 前記プロセッサは、前記相違度が前記閾値以上の場合であっても、前記出力画像データが特定条件を満たす画像データの場合に、前記出力画像データを出力せずに第２ダミーデータを出力する請求項１に記載の撮像素子。
  3. 撮像素子であって、
    被写体が第１フレームレートで撮像されることで得られた画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
    前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力し、かつ、前記撮像素子に内蔵されたプロセッサと、を含み、
    前記プロセッサは、
    撮像されることにより前記画像データとして得られた第１画像データと、前記第１画像データよりも前に前記画像データとして得られて前記メモリに記憶された第２画像データとの相違度を導出し、
    導出した前記相違度が閾値以上の場合に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する処理を行い、
    決定した前記出力画像データを出力し、
    前記相違度が前記閾値以上の場合であっても、前記出力画像データが特定条件を満たす画像データの場合に、前記出力画像データを出力せずに第２ダミーデータを出力する
    撮像素子。
  4. 前記特定条件は、前記出力画像データに、瞼が閉じた状態の眼の画像を示す閉眼画像データが含まれている、との条件である請求項２又は請求項３に記載の撮像素子。
  5. 前記特定条件は、前記出力画像データについての合焦状態の度合いを示す値が既定値未満である、との条件である請求項２又は請求項３に記載の撮像素子。
  6. 前記特定条件は、前記出力画像データに、瞼が閉じた状態の眼の画像を示す閉眼画像データが含まれており、かつ、前記出力画像データについての合焦状態の度合いを示す値が既定値未満である、との条件である請求項２又は請求項３に記載の撮像素子。
  7. 前記プロセッサは、
    前記第１画像データ及び前記第２画像データに対して間引き処理を行い、
    前記間引き処理後の前記第１画像データと前記間引き処理後の前記第２画像データとの相違度を導出する請求項１から請求項６の何れか一項に記載の撮像素子。
  8. 前記プロセッサは、
    前記第１画像データ及び前記第２画像データの一方から、主要被写体の画像を示す主要被写体画像データを検出し、
    前記第１画像データ及び前記第２画像データの他方から、前記第１画像データにより示される画像内での前記主要被写体の画像の位置に相当する位置から特定される画像を示す特定画像データを検出し、
    前記相違度は、前記プロセッサによって検出された前記主要被写体画像データと前記プロセッサによって検出された前記特定画像データとの相違度である請求項１から請求項７の何れか一項に記載の撮像素子。
  9. 前記プロセッサは、前記相違度が前記閾値未満の状態が予め定められた時間継続した場合、前記第１フレームレート及び前記第２フレームレートのうちの少なくとも前記第１フレームレートを下げる請求項１から請求項８の何れか一項に記載の撮像素子。
  10. 前記プロセッサは、
    前記画像データから瞼が閉じた状態の眼の画像を示す閉眼画像データを検出し、
    前記閉眼画像データを検出した場合に、前記閉眼画像データを検出した前記画像データを出力しない請求項１から請求項９の何れか一項に記載の撮像素子。
  11. 前記プロセッサは、
    前記相違度が前記閾値以上の場合に、前記閉眼画像データを検出しなかったことを条件に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する請求項１０に記載の撮像素子。
  12. 前記プロセッサは、
    前記画像データに対して合焦の度合いを示す評価値を導出し、
    導出した前記評価値が既定評価値未満の場合に、前記既定評価値未満の前記評価値の導出対象とされた前記画像データを出力しない請求項１から請求項９の何れか一項に記載の撮像素子。
  13. 前記プロセッサは、
    前記相違度が前記閾値以上の場合に、前記評価値が前記既定評価値以上であることを条件に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する請求項１２に記載の撮像素子。
  14. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１３の何れか１項に記載の撮像素子。
  15. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１４に記載の撮像素子。
  16. 請求項１から請求項１５の何れか一項に記載の撮像素子と、
    前記プロセッサにより出力された前記出力画像データに基づく画像を表示部に対して表示させる制御を行う表示制御プロセッサと、
    を含む撮像装置。
  17. 請求項１から請求項１５の何れか一項に記載の撮像素子と、
    前記プロセッサにより出力された前記出力画像データを記憶装置に記憶させる制御を行う記憶制御プロセッサと、
    を含む撮像装置。
  18. 被写体が第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力するプロセッサと、を含み、前記メモリ及び前記プロセッサが内蔵された撮像素子の作動方法であって、
    撮像されることにより前記画像データとして得られた第１画像データと、前記第１画像データよりも前に前記画像データとして得られて前記メモリに記憶された第２画像データとの相違度を導出し、
    導出した前記相違度が閾値以上の場合に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する処理を行い、
    決定した前記出力画像データを出力し、
    前記相違度が前記閾値未満の場合に、第１ダミーデータを出力することを含む
    撮像素子の作動方法。
  19. 被写体が第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力するプロセッサと、を含み、前記メモリ及び前記プロセッサが内蔵された撮像素子の作動方法であって、
    撮像されることにより前記画像データとして得られた第１画像データと、前記第１画像データよりも前に前記画像データとして得られて前記メモリに記憶された第２画像データとの相違度を導出し、
    導出した前記相違度が閾値以上の場合に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する処理を行い、
    決定した前記出力画像データを出力し、
    前記相違度が前記閾値以上の場合であっても、前記出力画像データが特定条件を満たす画像データの場合に、前記出力画像データを出力せずに第２ダミーデータを出力することを含む
    撮像素子の作動方法。
  20. 被写体が第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力するプロセッサと、を含み、前記メモリ及び前記プロセッサが内蔵された撮像素子に適用されるコンピュータに、
    撮像されることにより前記画像データとして得られた第１画像データと、前記第１画像データよりも前に前記画像データとして得られて前記メモリに記憶された第２画像データとの相違度を導出し、
    導出した前記相違度が閾値以上の場合に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する処理を行い、
    決定した前記出力画像データを出力し、
    前記相違度が前記閾値未満の場合に、第１ダミーデータを出力することを含む処理を実行させるためのプログラム。
  21. 被写体が第１フレームレートで撮像されることで得られた画像データを記憶するメモリと、前記画像データを用いた処理を行い、処理結果に基づいて、前記画像データに基づく出力画像データを第２フレームレートで出力するプロセッサと、を含み、前記メモリ及び前記プロセッサが内蔵された撮像素子に適用されるコンピュータに、
    撮像されることにより前記画像データとして得られた第１画像データと、前記第１画像データよりも前に前記画像データとして得られて前記メモリに記憶された第２画像データとの相違度を導出し、
    導出した前記相違度が閾値以上の場合に、前記第１画像データ及び前記第２画像データのうちの少なくとも一方を前記出力画像データとして決定する処理を行い、
    決定した前記出力画像データを出力し、
    前記相違度が前記閾値以上の場合であっても、前記出力画像データが特定条件を満たす画像データの場合に、前記出力画像データを出力せずに第２ダミーデータを出力することを含む処理を実行させるためのプログラム。
JP2020563103A 2018-12-26 2019-12-16 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム Active JP7004852B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018243663 2018-12-26
JP2018243663 2018-12-26
PCT/JP2019/049219 WO2020137663A1 (ja) 2018-12-26 2019-12-16 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020137663A1 JPWO2020137663A1 (ja) 2021-10-28
JP7004852B2 true JP7004852B2 (ja) 2022-01-21

Family

ID=71129817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020563103A Active JP7004852B2 (ja) 2018-12-26 2019-12-16 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Country Status (4)

Country Link
US (1) US11438504B2 (ja)
JP (1) JP7004852B2 (ja)
CN (1) CN113287295B (ja)
WO (1) WO2020137663A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136899A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
WO2021029152A1 (ja) * 2019-08-14 2021-02-18 富士フイルム株式会社 撮像装置、撮像装置の作動方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333429A (ja) 2000-05-24 2001-11-30 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JP2017188760A (ja) 2016-04-05 2017-10-12 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008050806A1 (ja) * 2006-10-24 2010-02-25 ソニー株式会社 撮像装置と再生制御装置
JP5238365B2 (ja) 2008-06-05 2013-07-17 富士フイルム株式会社 撮像装置
JP5206293B2 (ja) * 2008-10-02 2013-06-12 株式会社ニコン 撮像装置および画像記録方法
CN101742319B (zh) * 2010-01-15 2011-08-31 北京大学 基于背景建模的静态摄像机视频压缩方法与系统
CN104364824A (zh) * 2012-06-13 2015-02-18 松下知识产权经营株式会社 物体检测装置
JP6681780B2 (ja) 2015-05-07 2020-04-15 株式会社半導体エネルギー研究所 表示システムおよび電子機器
KR102641894B1 (ko) * 2017-02-03 2024-02-29 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333429A (ja) 2000-05-24 2001-11-30 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JP2017188760A (ja) 2016-04-05 2017-10-12 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器

Also Published As

Publication number Publication date
JPWO2020137663A1 (ja) 2021-10-28
WO2020137663A1 (ja) 2020-07-02
US11438504B2 (en) 2022-09-06
CN113287295A (zh) 2021-08-20
CN113287295B (zh) 2023-07-25
US20210314486A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP2023145575A (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP7004852B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP2022062138A (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
CN113228609B (zh) 成像元件、摄像装置、摄像方法及计算机可读存储介质
JP7004851B2 (ja) 撮像装置、撮像装置の画像データ処理方法、及びプログラム
JP6896181B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP7004853B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7410088B2 (ja) 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP2011139270A (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20210621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210621

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220104

R150 Certificate of patent or registration of utility model

Ref document number: 7004852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150