JP7370764B2 - 撮像装置、および撮像方法 - Google Patents

撮像装置、および撮像方法 Download PDF

Info

Publication number
JP7370764B2
JP7370764B2 JP2019152245A JP2019152245A JP7370764B2 JP 7370764 B2 JP7370764 B2 JP 7370764B2 JP 2019152245 A JP2019152245 A JP 2019152245A JP 2019152245 A JP2019152245 A JP 2019152245A JP 7370764 B2 JP7370764 B2 JP 7370764B2
Authority
JP
Japan
Prior art keywords
image data
integrated circuit
processing
circuit chip
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019152245A
Other languages
English (en)
Other versions
JP2021034845A5 (ja
JP2021034845A (ja
Inventor
健一 村田
慎吾 野澤
貴之 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019152245A priority Critical patent/JP7370764B2/ja
Priority to US16/935,952 priority patent/US11412138B2/en
Publication of JP2021034845A publication Critical patent/JP2021034845A/ja
Priority to US17/859,580 priority patent/US11653089B2/en
Publication of JP2021034845A5 publication Critical patent/JP2021034845A5/ja
Application granted granted Critical
Publication of JP7370764B2 publication Critical patent/JP7370764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本発明は撮像装置、および撮像方法に関する。
特許文献1には、フロントエンジンとバックエンジンとを用いて、撮像回路で取得された画像データを処理する撮像装置が開示されている。
特開2013-197608号公報
特許文献1に開示された撮像装置は、ライブビュー画像を表示している間、フロントエンジンとバックエンジンとを動作させる必要がある。したがって、ライブビュー画像を表示している間であっても2つのエンジンを駆動するための電力を必要とする。特許文献1に開示された撮像装置は、単一のエンジンの役割を複数のエンジンに担わせたものであり、撮像装置の動作時にこれら複数のエンジンの駆動について効率的な運用を行うことができなかった。
そこで、本発明の目的は、センサーから取得した画像データを複数の画像処理回路を用いて処理する撮像装置において、撮像装置の動作に応じて各画像処理回路の動作を制御して、効率的な撮像装置の動作を実現することにある。
本発明の撮像装置は、撮像センサーと、表示部と、前記撮像センサーからの画像データを受ける第1の集積回路チップと、前記第1の集積回路チップからの画像データを受け、前記第1の集積回路チップから受けた画像データを記録媒体に記録するための処理を行う第2の集積回路チップと、電力制御部と、を備え、前記第1の集積回路チップは、撮影待機状態において、前記撮像センサーからの画像データに基づく画像を表示するように、前記表示部に画像データを出力し、前記第1の集積回路チップは、前記第2の集積回路チップにより前記記録するための処理が行われる場合に、前記第2の集積回路チップに画像データを出力し、前記撮影待機状態において、前記第2の集積回路チップは前記記録するための処理を行わず、前記電力制御部は、前記撮影待機状態において、前記第1の集積回路チップに電力を供給し、前記第2の集積回路チップへの電力供給を制限し、画像データを前記記録媒体に記録するための撮影動作に関する指示に応じて、前記第2の集積回路チップへの電力供給の制限を解除することを特徴とする。
本発明によれば、センサーから取得した画像データを複数の画像処理回路を用いて処理する撮像装置において、撮像装置の動作に応じて各画像処理回路への電力供給を制御して、効率的な撮像装置の動作を実現することができる。
デジタルカメラの外観図である。 デジタルカメラの構成例を示すブロック図である。 撮影モード時のデータフローを示す模式図である。 再生モード時のデータフローを示す模式図である。 デジタルカメラの動作制御フローを示す第一のフローチャートである。 デジタルカメラの動作制御フローを示す第二のフローチャートである。 外部出力機能を設定するメニュー画面の例を示す模式図である。 ライブビュー処理のフローを示すフローチャートである。 撮像記録処理のフローを示すフローチャートである。 再生処理のフローを示すフローチャートである。 ライブビュー出力処理のフローを示すフローチャートである。 再生出力処理のフローを示すフローチャートである。 メインエンジンの起動処理および停止処理のフローを示すフローチャートである。 センサー部に配置されるカラーフィルターの一例を示す図である。
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<実施例1>
以下、図面を参照して本発明の好適な実施形態を説明する。
図1(a)、(b)に本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)は、デジタルカメラ100の前面斜視図である。図1(b)は、デジタルカメラ100の背面斜視図である。
表示部101は、画像や各種情報を表示する、カメラ背面に設けられた表示部である。また、表示部101には、表示部101の表示面(操作面)に対するタッチ操作を検出することができるタッチパネル111が設けられる。タッチパネル111は、後述する操作部110に含まれる。
シャッターボタン102は、撮影指示を行うための操作部材である。
電源スイッチ103はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。電源スイッチ103は、デジタルカメラ100の電源をONにする起動指示を入力する。また、電源スイッチ103は、デジタルカメラ100の電源をOFFにする停止指示を入力する。
操作部110は、デジタルカメラ100が有する操作部材のすべて、もしくは一部を示す。操作部110は、タッチパネル111、メイン電子ダイヤル112、サブ電子ダイヤル113、十字キー114、およびSETボタン115を含む。また、操作部110は、動画ボタン116、AEロックボタン117、拡大ボタン118、再生ボタン119、メニューボタン120、およびモード切替スイッチ121を含む。操作部110は、シャッターボタン102、および電源スイッチ103を含んでいてもよい。操作部110に含まれる各操作部材の機能は、物理的に互いに異なるボタンにそれぞれ割り振られていてもよいし、複数の機能を1つのボタンで実行することも可能である。本実施例においては、説明のため、シャッターボタン102、および電源スイッチ103は、操作部110とは別の操作部材として扱うとする。
メイン電子ダイヤル112は、操作部110に含まれる回転操作部材である。このメイン電子ダイヤル112を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。サブ電子ダイヤル113は操作部110に含まれ、操作部110に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー114は操作部110に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー114の押した部分に応じた操作が可能である。SETボタン115は操作部110に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン116は、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン117は操作部110に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン118は操作部110に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル112を操作することにより、LV画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン119は操作部110に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン119を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部101に表示させることができる。メニューボタン120は、操作部110に含まれ、メニューボタン120が押されると各種の設定可能なメニュー画面が表示部101に表示される。ユーザーは、表示部101に表示されたメニュー画面と、十字キー114やSETボタン115を用いて直感的に各種設定を行うことができる。モード切替スイッチ121は各種モードを切り替えるための操作部である。
通信端子104はデジタルカメラ100が着脱可能なレンズもしくはレンズを接続するためのアダプターと通信を行う為の通信端子である。接眼部11は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部11を介して内部のEVF29に表示された映像を視認することができる。接眼検知部12は接眼部11に撮影者が接眼しているか否かを検知する接眼検知センサーである。
端子カバー13は、デジタルカメラ100を外部機器と接続するための端子(不図示)を保護するカバーである。
蓋14は記録媒体200を格納したスロットの蓋である。グリップ部15は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部15を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン102、メイン電子ダイヤル112が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル113が配置されている。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ151は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子153はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子104はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、通信端子153,10を介してシステム制御部132と通信し、内部のレンズシステム制御回路154によって絞り駆動回路155を介して絞り152の制御を行う。また、レンズユニット150は、通信端子153,および通信端子104を介してシステム制御部132と通信し、内部のレンズシステム制御回路154によって、AF駆動回路156を介して、レンズ151の位置を変位させることで焦点を合わせる。
シャッター105は、システム制御部132の制御でセンサー部106の露光時間を自由に制御できるフォーカルプレーンシャッターである。
センサー部106は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子と、撮像素子から出力されたアナログ信号をデジタル信号に変換して画像データを出力するA/D変換器を有する。センサー部106は、システム制御部132にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。
フロントエンジン130は一つの半導体集積回路チップ(ICチップ)として構成される。フロントエンジン130は、1以上のプロセッサーまたは回路を有する。フロントエンジン130は、センサー部106から取得した画像データを処理する画像処理部131と、デジタルカメラ100全体を制御するシステム制御部132と、を有する。フロントエンジン130は、センサー部106から取得した画像データを用いて、表示部101およびEVF108の少なくとも一方にライブビュー画像を表示するように、表示部101およびEVF108を制御する表示制御処理を実行する。ここで、ライブビュー(ライブビュー機能)とは、ユーザーが撮影する対象(被写体)、画角、および撮影条件等を表示部101およびEVF108に表示された画像で確認するための機能である。ライブビュー画像は、ライブビュー機能において、表示装置に表示される画像である。
ライブビュー機能が有効である場合、センサー部106は連続的に画像データを取得する。フロントエンジン130は、センサー部106から入力された画像データに基づいて、表示部101およびEVF108に表示するための表示画像データを生成する。さらに、フロントエンジン130は、生成された表示画像データに基づいて画像を表示するように、表示部101およびEVF108の少なくとも一方を制御する。なお、通信部109を介して、外部の表示装置(外部装置)と接続し、外部装置への出力機能が有効である場合には、外部装置を用いてライブビュー機能を実行してもよい(ライブビュー出力処理)。この場合、メインエンジン140は、フロントエンジン130から画像データを取得して、表示画像データの生成および表示部101およびEVF108の制御を行う。
また、フロントエンジン130は、デジタルカメラ100の動作モードに応じてメインエンジン140の起動制御を実行する。フロントエンジン130は、少なくとも後述するメインエンジン140と異なる半導体集積回路である。フロントエンジン130の詳細な説明は後述する。
システムメモリ133は、フロントエンジン130のシステム制御部132がデジタルカメラ100全体の動作を制御するためのプログラムおよびパラメーターを格納する不揮発性の記憶媒体である。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。システムメモリ52は、例えばフラッシュメモリが用いられるとする。
メモリ134は、画像処理部131が画像データを処理するにあたって処理前後の画像データを格納する記憶媒体である。例えば、メモリ134は、DRAM(Dynamic Random Access Memory)である。なお、システムメモリ133の一部に処理前後の画像データの一部を格納することも可能である。
メインエンジン140は、フロントエンジン130と異なる一つの半導体集積回路チップ(ICチップ)として構成される。メインエンジン140は、1以上のプロセッサーまたは回路を有する。メインエンジン140は、フロントエンジン130から取得した画像データを処理する画像処理部141と、メインエンジン140の各機能部の制御を行う制御部142と、を有する。また、メインエンジン140は、画像処理部141で処理した画像データを記録媒体200に格納する記録再生部143を有する。また、記録再生部143は、記録媒体200から画像データを読み出して、画像処理部141に出力する。再生モードで動作する場合、画像処理部141で処理された画像データは、フロントエンジン130側に出力され、表示部101に画像が表示される。また、外部出力機能が有効である場合、記録再生部143によって読み出され、画像処理部141で処理された画像データは、通信部109を介して、デジタルカメラ100の外部装置に出力される。メインエンジン140の詳細な説明は後述する。
システムメモリ144は、メインエンジン140の制御部142がメインエンジン140の各機能部を制御するためのプログラムおよびパラメーターを格納する不揮発性の記憶媒体である。システムメモリ144は、例えばフラッシュメモリが用いられるとする。
メモリ145は、画像処理部141が画像データを処理するにあたって処理前後の画像データを格納する記憶媒体である。例えば、メモリ145は、MRAM(Magnetoresistive Random Access Memory)である。
電源制御部107は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電源210の装着の有無、電源210の種類、電源210の電力の残量(電池残量)の検出を行う。また、電源制御部107は、その検出結果及びシステム制御部132の指示に基づいてDC-DCコンバータを制御し、必要な電力を必要な期間、フロントエンジン130、メインエンジン140を含む各部へ供給する。また、電源制御部107は、記録媒体200やレンズユニット150にも電力を供給する。電源制御部107は、センサー部106が取得した画像データに基づいて表示部101もしくはEVF108にライブビュー画像を表示し、記録媒体200への画像データの記録を行わない撮影待機状態において、メインエンジン140へ供給する電力を制限する。
電源210は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。電源210は、デジタルカメラ100に対して着脱可能である。
EVF108は、LCDや有機EL等の表示器上に、フロントエンジン130で生成された画像を表示する。EVF108に表示された光学像は、接眼部11を介してユーザーが確認することができる。
通信部109は、無線または有線ケーブルによって外部装置と接続し、映像信号や音声信号の送受信を行う。例えば、通信部109は、HDMI(登録商標)の規格に準拠した形式に信号を変換して、外部装置に出力する。なお、通信部109は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部109は、Bluetooth(登録商標)や Bluetooth Low Energyでも外部機器と通信可能である。通信部109はデジタルカメラ100が撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
操作部110は、システム制御部132に各種の動作指示を入力するための1以上の操作部材からなる操作手段である。例えば、モード切替スイッチ121は、システム制御部132の動作モードを静止画撮影モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ121より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ121で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。なお、撮影モードは、撮影する被写体の状態や画角の確認等の撮影準備のためのライブビュー画像を表示するライブビュー処理を実行する状態と、被写体を撮像し、得られた画像データを記録媒体200に記録する撮影記録処理を実行する状態とを含む。
第1シャッタースイッチ102aは、デジタルカメラ100に設けられたシャッターボタン102の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部132は、第1シャッタースイッチ信号SW1を受け付けたことに応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を実行する。つまり、第1シャッタースイッチ信号SW1は、撮影準備指示である。
第2シャッタースイッチ102bは、シャッターボタン102の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部132は、第2シャッタースイッチ信号SW2により、センサー部106からの信号読み出しから記録媒体200に撮像された画像を画像ファイルとして書き込むまでの一連の撮影処理の動作を開始する。
第2シャッタースイッチ信号SW2を受け付けたことに応じて、システム制御部132は、センサー部106を、画像データを生成するように制御する。さらに、第2シャッタースイッチ信号SW2を受け付けたことに応じて、システム制御部132は、メインエンジン140に供給する電力の制限を解除するように電源制御部107を制御し、メインエンジン140を起動させる。そして、メインエンジン140は、センサー部106が生成し、フロントエンジン130を介して取得した画像データを記録媒体200に記録する。つまり、第2シャッタースイッチ信号SW2は、撮影指示である。
記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
フロントエンジン130、およびメインエンジン140の画像処理について説明する。
図3は、フロントエンジン130の画像処理部131およびシステム制御部132における機能ブロックと撮影モード時のデータフローとを示す模式図である。画像処理部131、画像処理部141、および記録制御部143は、画像データを処理する処理部を有する。各処理部の実行する処理は電子回路によって実行されてもよいし、画像処理部の有するプロセッサーがプログラムを実行することによって実行されてもよい。
シャッターボタン102から第2シャッタースイッチ信号SW2が入力されると、システム制御部132は撮影記録処理を開始する。システム制御部132は、シャッター105とセンサー部106を制御して、撮像対象となる被写体の光学像を、レンズ151を介して入力しセンサー部106上に結像させる。撮影時のレンズ151及びセンサー部106の動作は、第1シャッタースイッチ信号SW1の入力に応じて実行される撮像準備動作によってあらかじめ取得されたパラメーターに基づいて実行される。なお、第1シャッタースイッチ信号SW1の入力から第2シャッタースイッチ信号SW2の入力までの期間が短いなどにより、パラメーターの取得がなされない場合は、システムメモリ134等にあらかじめ格納されたパラメーターを利用するとする。パラメーターは、絞り、フォーカス、手ぶれ等の評価値算出結果や顔認識結果等の被写体情報に基づいて、システム制御部132によって決定される。
センサー部106は、画素毎に配置される赤、緑、青(RGB)のモザイクカラーフィルターを透過した光を電気信号に変換する。撮像センサーの画素数は、例えば4K(800万画素以上)又は8K(3300万画素以上)である。4Kに対応する撮像センサーは、例えば、横3840画素×縦2160でマトリクス状に配置された画素を有する。8Kに対応する撮像センサーは、例えば、横7680画素×縦4320でマトリクス状に配置された画素を有する。図13は、センサー部106に配置されるカラーフィルターの一例を示す図であり、デジタルカメラ100が扱う画像の画素配列を表している。図13に示すように、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき赤1画素、青1画素、緑2画素を1セットにして規則的に並べられた構造となっている。センサー部106によって変換された電気信号は、赤(R)、緑(G)、青(B)の各成分を含む。なお、緑(G)は、位置毎に異なる2種類の緑(G0、G1)の成分として扱うこともできる。このような画素の配置は、一般にベイヤー配列と呼ばれる。また、センサー部106は、4Kまたは8Kの画素からなるフレーム(画像データ)を、120フレーム毎秒で出力することができる。
センサー部106によって変換された電気信号は、フロントエンジン130の画像処理部131に入力される。
画像処理部131は、入力された画像データを処理する1以上のプロセッサーおよび回路から構成される画像処理回路である。図3に示すように、画像処理部131は、複数の機能ブロック(処理)を含む。各機能ブロック(処理)は、それぞれ個別のプログラムや電子回路で実行されてもよいし、複数の機能ブロックが1つのプログラムや電子回路で実行されてもよい。また、画像処理部131の各機能ブロックの間のデータの送受信は、各機能ブロック間で直接伝送されてもよいし、前処理の機能ブロックがメモリ134にデータを格納し、後処理の機能ブロックがメモリ134からデータを読み出すことによって行ってもよい。
画像処理部131は、ライブビュー画像の表示や撮像パラメーターの取得のために用いられる画像処理のパスと、撮像記録処理のために用いられる画像処理のパスとを備える。はじめに、画像処理部131のライブビュー画像の表示や撮像パラメーターの取得のために用いられる画像処理のパスにおける処理について説明する。
画素並替処理部301は、入力された電気信号を、2次元マトリクス状に並べ替えてRAW画像データを生成する。なお、本実施例において、RAW画像データは、センサー部106から出力されたセンサー部106の画素配置に対応して画素ごとに単色の色情報を有するいわゆるベイヤーRAW画像データを含む。また、本実施例において、RAW画像データは、センサー部106から出力されたベイヤーRAW画像データに対して、圧縮や一部のデータに対する補正を適用した画像データを含むとする。つまり、センサー部106から出力されたベイヤーRAW画像データに対して、いわゆる「現像処理」を適用していない画像データを、RAW画像データと呼称する。
センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。センサー補正処理は、例えば、センサー部106の光電変換素子の光電変換効率(感度)の面内ばらつきを補正する処理である。あらかじめシステムメモリ133等に格納されたセンサー部106の感度分布に基づいて、RAW画像データを補正する。また、センサー補正処理部302による補正処理は、画素の修復処理を含む。修復処理には、センサー部106における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。
センサー補正処理が実行されたRAW画像データは、LV表示処理の実行中、縮小処理部303で処理される。また、センサー補正処理が実行されたRAW画像データは、撮像記録処理の実行中、RAWノイズ抑制処理部311で処理される。
縮小処理部303は、表示処理や検出処理を効率的に行う目的から、RAW画像データの解像度を縮小する。縮小処理部303は、4Kや8K等の高解像度のRAW画像データを、例えばHDサイズ(200万画素相当)にリサイズする。HDサイズは、たとえば、画素が横1920画素×縦1080画素に配置された大きさである。以降、縮小処理部303によって縮小されたRAW画像を縮小RAW画像データとする。
縮小処理部303で処理された縮小RAW画像データは、光学補正処理部304等で処理され、ライブビュー(LV)画像の表示に用いられる。また、検出処理部310で処理されて、絞り、フォーカス、手ぶれ等の評価値算出結果や顔認識結果等の被写体情報の取得に用いられる。
光学補正処理部304から表示処理部309の処理について、説明する。これらの一連の処理は、ライブビュー(LV)画像の表示のための処理である。
光学補正処理部304では、縮小RAW画像データに対してレンズ151等の光学特性に関連する補正処理(光学補正処理)を実行する。光学補正処理は、例えば、レンズ151の収差による周辺領域の光量低下の影響を補正する処理である。
ノイズ抑制処理部305は、縮小RAW画像データのノイズを低減する処理である。ノイズ抑制処理は、一般にノイズ除去、ノイズリダクション(Noise Reduction、NR)と呼ばれる処理である。移動平均フィルター処理やメディアンフィルター処理を実行することによって、縮小RAW画像データのノイズ成分を低減する。
LV現像処理部306は、縮小RAW画像データに対して現像処理(LV現像)を実行する。LV現像処理は、後述するRAW(高画質)現像処理よりも、処理による回路負荷および使用するメモリ134との通信帯域が低い簡易現像処理である。現像された縮小RAW画像データを、表示画像データとする。
LV補正処理部307は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。LV補正処理部307は、ライブビュー画像を表示する表示装置の解像度等に基づいて拡大処理、縮小処理を実行する。
LV効果処理部308は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。エフェクト処理は、例えば、セピア調やモノクロへ色変換したり、モザイク状や絵画風に画像加工する処理である。
表示処理部309は、表示画像データを用いて表示部101およびEVF108に画像を表示させる表示処理を実行する。表示処理部309は、表示画像データに対する入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、表示画像データに基づく画像と合わせて表示するアシスト情報を、表示画像データと組み合わせる処理を行う。アシスト情報は、メニューアイコン、撮像パラメーターを示すアイコン、および撮像条件を示すアイコンのうちいずれかを少なくとも含む。
撮像パラメーターを示すアイコンは、例えば、ISO感度、色温度、シャッタースピード、絞りなどのパラメーターを示すアイコンである。撮像条件を示すアイコンは、例えば、1枚撮影モード、連写モード、インターバル撮像モード等の撮影枚数を示すアイコン、フラッシュ使用可否を示すアイコン、設定された撮像モードを示すアイコンを含む。アシスト情報は、表示画像データに基づく画像の周辺領域に重畳するように合成されてもよいし、表示画像データに基づく画像の外周に沿って設けられたアイコン表示領域に表示されるように処理されてもよい。表示処理部309は、上述の処理を実行された表示画像データを表示部101またはEVF108に出力する。
表示部101およびEVF108は、入力された表示画像データに基づいて、画像を表示する。上述の一連の処理により、表示部101およびEVF108にライブビュー画像が表示される。
検出処理部310は、縮小RAW画像データに対して撮像制御のためのパラメーターを検出する処理を実行する。検出処理部310は、縮小RAW画像データから、フォーカス状態や露出状態の評価値を算出する。算出された評価値は、メモリ134に格納され、システム制御部132がメモリ134から読み出した評価値に基づいて、レンズユニット150に制御信号を出力する。また、検出処理部310は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報をメモリ134に格納する。システム制御部132は、メモリ134に格納された顔などの特徴情報に基づいて特定の人物の認証などを行う。なお、算出された評価値や検出や認識結果を示す表示用情報は表示処理部309に出力され、ライブビュー画像と共に表示されてもよい。
次に、画像処理部131の撮像記録処理のために用いられる画像処理のパスにおける処理について説明する。
RAWノイズ抑制処理部311は、センサー補正処理部302で処理されたRAW画像データのノイズを低減する処理である。RAWノイズ抑制処理部311は、ノイズ抑制処理部305と同様に、RAWノイズ抑制処理部311は、一般にノイズ除去、ノイズリダクション(Noise Reduction、NR)と呼ばれる処理を実行する。例えば、移動平均フィルター処理やメディアンフィルター処理を実行することによって、RAW画像データのノイズ成分を低減する。
圧縮処理部312は、RAWノイズ抑制処理部311で処理されたRAW画像データに対して圧縮処理を適用する。RAW画像データに対して適用される圧縮処理は、従来用いられる種々の圧縮処理技術を利用可能である。圧縮処理部312は、RAW画像データを、それぞれウエーブレット変換、量子化、エントロピー符号化(差分符号化等)などの技術を用いて高能率符号化するとする。圧縮処理部312が行う高能率符号化は、非可逆符号化でも可逆符号化でも良い。本実施例では、圧縮を施しても、原画のRAW画像データの品質を大きく損なわない、高画質ファイルとして復元可能なRAWファイルを生成する符号化であるとする。圧縮されたRAW画像データは、一時的にメモリ134に格納してバッファリングされてもよい。
送信処理部313は、圧縮されたRAW画像データをメインエンジン140の受信処理部321に送信する。フロントエンジン130の画像処理部131とメモリ134とを用いて、一時的にバッファリングを行うことが可能となることから、後段の高画質の現像処理等を行うメインエンジン140への入力速度を調整することが可能となる。したがって、送信処理部313と受信処理部321との間の伝送レート(伝送速度)は、メインエンジン140の処理速度に合わせて、センサー部106からの画像データの読み出しのレートよりも遅くすることが可能となる。
メインエンジン140は、フロントエンジン130から取得したRAW画像データに対して、高画質の現像処理を実行して、記録媒体200に記録用画像データを格納する。メインエンジン140の画像処理部141は、フロントエンジン130から取得したRAW画像データを処理して記録用画像データを生成する。また、記録再生部143は、記録用画像データを記録媒体200に格納する。
画像処理部141は、入力された画像データを処理する1以上のプロセッサーおよび回路から構成される画像処理回路である。図3に示すように、画像処理部141は、複数の機能ブロック(処理)を含む。各機能ブロック(処理)は、それぞれ個別のプログラムや電子回路で実行されてもよいし、複数の機能ブロックが1つのプログラムや電子回路で実行されてもよい。また、画像処理部141の各機能ブロックの間のデータの送受信は、各機能ブロック間で直接伝送されてもよいし、前処理の機能ブロックがメモリ145にデータを格納し、後処理の機能ブロックがメモリ145からデータを読み出すことによって行ってもよい。
受信処理部321は、送信処理部313から送信された圧縮されたRAW画像データを受信し、圧縮処理部312で適用された圧縮処理の逆変換を行い、圧縮された状態を伸長する。
RAW現像処理部322は、RAW画像データに対して現像処理を実行し、記録画像データを生成する。RAW現像処理部322は、RAW画像データに対して、デベイヤー処理(デモザイク処理)、すなわち色補間処理を施し、輝度と色差もしくは原色の信号に変換する。さらに、RAW現像処理部322は、変換された信号に含まれるノイズの除去や光学的な歪みを補正する。RAW現像処理部322が実行する現像処理は、LV現像処理部306が実行する現像処理よりも高精度の処理を行う。したがって、LV現像処理よりも必要とされる回路のリソースや消費電力が高い。
補正処理部323は、現像処理が実行された画像データに対して、歪曲補正、拡大処理、縮小処理、ノイズ抑制処理等の補正処理を実行する。補正処理部323は、撮像記録処理を実行する場合、現像処理が実行された記録画像データに対して、歪曲補正、およびノイズ抑制処理を実行する。また、通信部109を介してライブビュー画像として外部装置に画像データを出力するライブビュー出力処理を実行する場合、歪曲補正およびノイズ抑制処理に加えて、表示装置に出力するための拡大処理、または縮小処理を実行する。
効果処理部324は、ライブビュー出力処理を実行する場合、画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。外部出力機能が有効である場合、効果処理部324で処理された画像データは、出力処理部327に出力される。
出力処理部327は、効果処理部324から出力された画像データを、通信部109を介して外部装置に出力する。ライブビュー出力処理を実行する場合、出力処理部327は、効果処理部324から出力された画像データ(LV画像データ)に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部327は、LV画像データに基づく画像と合わせて表示するアシスト情報を示すGUIを、LV画像データと組み合わせる処理を行う。アシスト情報は、表示処理部309で説明した情報と同様であるので説明を省略する。出力処理部327は、処理されたLV画像データを、通信部109を介して外部装置に出力する。
また、再生出力処理を実行する場合、出力処理部327は、効果処理部324から出力された画像データ(再生画像データ)に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。さらに、再生モードにおいて表示するアシスト情報を示すGUIを、再生画像データと組み合わせる処理を行う。出力処理部327は、処理された再生画像データを、通信部109を介して外部装置に出力する。
圧縮処理部325は、記録画像データに対して圧縮処理を適用する。圧縮処理部325は、記録画像データに対して、高能率符号化(圧縮符号化)を適用して、データ量が圧縮された画像データを生成して、高画質現像済ファイルに変換する。圧縮処理として、記録画像データが静止画である場合、JPEG圧縮処理を用いる。また、記録画像データが動画である場合、動画圧縮はMPEG-2、H.264、H.265などの標準符号化技術を用いることができる。
記録再生部143の記録処理部326は、圧縮された記録画像データを記録媒体200に格納する。
上述の処理によって、撮像記録処理における一連の処理が実行される。すなわち、LV画像の表示処理に関する画像処理は、フロントエンジン130のみを用いて処理が完結する。一方で、撮像記録処理では、フロントエンジン130およびメインエンジン140の両方が用いられる。
図4は、フロントエンジン130の画像処理部131およびシステム制御部132における再生モード時のデータフローを示す模式図である。
再生モードでデジタルカメラ100が動作している場合、フロントエンジン130およびメインエンジン140の両方が通常状態で動作する。通常状態は、各エンジンが画像処理を実行可能な状態である。通常状態に対して、電力が制限された状態(制限状態)は、少なくとも通常状態よりも消費電力が少ない動作状態であって、例えば、通常状態で実行可能な画像処理の一部もしくはすべてを実行することができない状態である。なお、制限状態であっても、各エンジンは、外部からエンジンの起動に関する指示を受信し、起動制御を実行可能である。すなわち、制限状態は、待機状態であるともいえる。
例えば、フロントエンジン130は、通常状態において、センサー部106から入力されたRAW画像データに基づいて、表示部もしくはEVFに画像を表示する表示制御処理を実行可能である。また、フロントエンジン130は、通常状態において、センサー部106から入力されたRAW画像データを圧縮して、メインエンジン140に出力する処理を実行可能である。フロントエンジン130は、デジタルカメラ100の動作を制御するシステム制御部132を含む。したがって、デジタルカメラ100の電源がオンとなっている場合にフロントエンジン130が制限状態に移行することは、所定時間以上操作がない場合にスリープモードに移行する場合などを除いて、基本的にない。
メインエンジン140は、通常状態において、フロントエンジン130から入力された圧縮RAW画像データを処理して、記録媒体に格納する記録制御処理を実行可能である。また、メインエンジン140は、通常状態において、記録媒体に格納された画像データを読み出して、フロントエンジン130に出力し、フロントエンジン130によって表示部もしくはEVFに画像を表示する再生表示制御処理を実行可能である。さらに、メインエンジン140は、フロントエンジン130から入力された画像データを通信部109を介して外部装置に出力する出力制御処理を実行可能である。一方で、メインエンジン140は、制限状態において、上述の記録制御処理、再生表示制御処理、および出力制御処理の少なくともいずれかを実行することができない。
はじめに、記録再生部143の読出処理部401が、記録媒体200から画像ファイルを読み出す。画像ファイルは、記録処理時と同じく、あらかじめ圧縮符号化された画像ファイルである。読み出された画像ファイルは、メインエンジン140の画像処理部141に出力される。
伸長処理部402は、画像ファイルに対して圧縮処理の逆変換を適用して画像データを生成する伸長処理を実行する。送信処理部403は、画像データをフロントエンジン130に送信する。
出力処理部404は、伸長処理部402から出力された画像データを処理して表示画像データを生成し、通信部109を介して外部装置に出力する。出力処理部404は、伸長処理部402から出力された画像データに対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部404は、画像データに基づく画像と合わせて表示するアシスト情報を示すGUIを、画像データと組み合わせる処理を行う。出力処理部327は、サムネイル表示のためのサムネイル画像を生成することも可能である。出力処理部404は、処理された画像データを、通信部109を介して外部装置に出力する。フロントエンジン130の受信処理部411は、メインエンジン140から出力された画像データを受信する。
表示処理部412は、受信した画像データを処理して、表示画像データを生成し、表示画像データに基づいて表示部101もしくはEVF108に画像を表示する。
なお、ユーザーが操作部110を操作して、サムネイル表示を指示した場合、システム制御部132は、メインエンジン140にサムネイル表示に用いる複数の画像データを記録媒体200から読み出して、フロントエンジン130に出力するように制御する。そして、システム制御部132は、取得した複数の画像データに基づいて、サムネイル画像を生成し、一覧表示画面を生成するように表示処理部412を制御する。
次に、デジタルカメラ100の全体の制御について説明する。
図5A、および図5Bは、デジタルカメラ100の動作制御フローを示すフローチャートである。本フローチャートは、デジタルカメラ100の電源スイッチ103がオフからオンに操作されたことに応じて開始する。図5Aおよび図5Bの参照符号A~Dは、それぞれに記載された参照符号間を接続するための記号である。例えば、図5AのS502でYesと判定された場合には、参照符号Bを介して、図5BのS514に進む。
S501で、フロントエンジン130の起動処理が実行される。電源制御部107は、電源スイッチ103から起動指示を受け付けたことに応じて、フロントエンジン130に電力を供給する。フロントエンジン130のシステム制御部132は、システムメモリ133から起動用のプログラムおよびパラメーターを読み出して、起動動作を実行する。一方で、電源制御部107は、メインエンジン140に対する電力の供給を制限する。具体的には、電源制御部107は、メインエンジン140が通常状態で動作するために必要な電力を供給しない。
S502で、システム制御部132は、デジタルカメラ100の外部出力機能が有効と設定されているか否かを判定する。システム制御部132は、システムメモリ133に格納された設定データを読み出して、外部出力機能が有効と設定されているか否かを判定する。外部出力機能は、通信部109を介して、外部装置にライブビュー画像を出力する機能である。外部出力機能に関する設定はあらかじめメニュー画面を操作して、設定されるとする。なお、出荷時には、外部出力機能はオフであるとする。図6は、メニュー画面において外部出力(HDMI出力)機能を設定する画面の例を示す模式図である。メニュー画面は、表示部101に表示され、操作部110(例えば、十字キー114およびSETボタン115)をユーザーが操作して、有効もしくは無効のいずれかに設定される。外部出力機能が有効である場合(S502 Yes)、処理はS514に進む。外部出力機能が無効である場合(S502 No)、処理はS503に進む。
S503で、システム制御部132は、デジタルカメラ100の動作モードが撮像モードであるか、再生モードであるか判定する。システム制御部132は、システムメモリ133に格納された設定データを読み出して、デジタルカメラ100の動作モードを確認する。もしくは、システム制御部132は、モード切替スイッチ121が示す動作モードに基づいて、デジタルカメラ100の動作モードを確認する。撮像モードが設定されている場合(S503 Yes)は、処理はS504に進む。再生モードが設定されている場合(S503 No)は、処理はS512に進み、メインエンジン140の起動処理、および画像の再生処理を行う。なお、本フローチャートの説明においては、撮像モードが静止画撮像モードである場合について説明するが、動画像の撮像モードであってもよい。
また、S503で、システム制御部132は、メインエンジン140が通常状態であるか否かを判定し、メインエンジン140が通常状態である場合、メインエンジン140の停止処理を実行する。これは、後述するように外部出力機能が有効から無効に変更された場合等に、メインエンジン140の状態を制限状態とするための制御である。この処理の詳細は、後述する。
S504で、システム制御部132は、ライブビュー処理を実行する。ライブビュー処理は、センサー部106から取得したライブビュー画像を表示部101に表示する処理である。ライブビュー処理が実行されると、表示部もしくはEVFにセンサー部106から入力された画像データに基づく画像(ライブビュー画像)が表示される。ユーザは、表示されたライブビュー画像を確認して、撮影(記録)する画像などの撮影条件を決定する。すなわち、ライブビュー処理が実行され、SW1やSW2などの撮影の実行に関する指示が入力されるまでの間は、デジタルカメラ100は撮影待機状態にあるといえる。
図7は、ライブビュー処理のフローを示すフローチャートである。
S701で、システム制御部132は、レンズ151やセンサー部106の動作を制御し、光学像を取得(撮像)して画像データを出力する。例えば、システム制御部132は、ユーザーのズームやフォーカスの指示に従って、レンズ151のフォーカス位置を制御するように、通信端子104を介して、レンズシステム制御回路154に指示を出力する。また、システム制御部132は、シャッター105およびセンサー部106を制御して、光学像をセンサー部106の撮像センサー上に結像させる。また、後述の検出処理によって得られる評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。
S702で、画像処理部131は、センサー部106から画像データを生成するための電気信号を読み出す読出処理を実行する。この時、読出し速度は、1000MP/秒であるとする。
S703で、画素並替処理部301は、入力された電気信号を2次元マトリクス状に並べ替えてRAW画像データを生成する。
S704で、センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。
S705で、縮小処理部303は、RAW画像データに縮小処理を適用して、縮小縮小RAW画像データを生成する。
S706で、検出処理部310は、縮小RAW画像データに対して撮像制御のためのパラメーターを検出する処理を実行する。なお、S706の処理は、LV処理の他の処理と並行して実行されていてもよい。
S707で、光学補正処理部304は、縮小RAW画像データに対してレンズ151等の光学特性に関連する補正処理(光学補正処理)を実行する。
S708で、ノイズ抑制処理部305は、光学補正処理が適用された縮小RAW画像データに対して、ノイズを低減する処理を実行する。
S709で、LV現像処理部306は、ノイズ抑制処理が実行された縮小RAW画像データに対して現像処理(LV現像処理)を適用して、表示画像データを生成する。
S710で、LV補正処理部307は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。
S711で、LV効果処理部308は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。
S712で、表示処理部309は、表示画像データを用いて表示部101およびEVF108に画像を表示させる表示処理を実行する。
以上で、LV処理のフローが完了する。
図5のフローチャートの説明に戻る。処理は、S505に進む。
S505で、システム制御部132は、SW1信号が入力されたか否かを判定する。すなわち、システム制御部132は、ユーザーにより、シャッターボタンの半押し動作が実行されたか否かを判定する。言い換えれば、システム制御部132は、ユーザーにより、撮影準備動作の実行指示が入力されたか否かを判定する。SW1信号が入力された(S505 Yes)場合、処理はS506に進む。SW1信号が入力されない(S505 No)場合、処理はS510に進む。
S506で、システム制御部132は、SW2信号が入力されたか否かを判定する。すなわち、システム制御部132は、ユーザーにより、シャッターボタンの全押し動作が実行されたか否かを判定する。言い換えれば、システム制御部132は、ユーザーにより、撮影動作の実行指示が入力されたか否かを判定する。SW2信号が入力された(S506 Yes)場合、処理はS507に進む。SW2信号が入力されない(S506 No)場合、処理はS510に進む。
S507で、メインエンジン140の起動処理が実行される。システム制御部132は、電源制御部107を制御して、メインエンジン140への電力供給の開始を指示する。すなわち、電源制御部107は、メインエンジン140に対して供給する電力の制限を解除する。また、システム制御部132は、メインエンジン140の制御部142に対して、メインエンジン140の起動動作を実行するように制御する。起動動作の詳細は後述する。
S508で、撮像記録処理が実行される。撮像記録処理は、センサー部106で取得(撮像)したRAW画像データに対して、高画質の現像処理を適用してあらかじめ定められた記録媒体に記録するまでの一連の処理である。図8は、撮像記録処理のフローを示すフローチャートである。
S801で、システム制御部132は、記録用の画像データを取得するためにレンズ151やセンサー部106の動作を制御する。システム制御部132は、撮像記録処理に移行する前に、シャッタースイッチ信号SW1の入力に応じて検出処理部310が取得した評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整やホワイトバランス、ISO感度、露出などを制御する。
S802で、画像処理部131は、センサー部106から画像データを生成するための電気信号を読み出す読出処理を実行する。画像処理部131は、センサー部106から1フレームの画像データを5msで読み出すとする。この時、読出し速度は、画素で示すと1500MP/秒である。
S803で、画素並替処理部301は、入力された電気信号を2次元マトリクス状に並べ替えてRAW画像データを生成する。
S804で、センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。
S805で、RAWノイズ抑制処理部311は、センサー補正処理部302で処理されたRAW画像データにノイズを低減する処理を適応する。
S806で、圧縮処理部312は、RAWノイズ抑制処理部311で処理されたRAW画像データに対して圧縮処理を適用する。圧縮処理部312は、圧縮されたRAW画像データは、一時的にメモリ134に格納してバッファリングする。
S807で、送信処理部313は、圧縮されたRAW画像データをメインエンジン140の受信処理部321に送信する。送信処理部313は、1フレーム当たり15msで受信処理部321へ送信するとする。つまり、フロントエンジン130がセンサー部106から1フレームを読み出す速度よりも、フロントエンジン130からメインエンジン140に1フレームを転送する速度が遅い。
メインエンジン140の画像処理部141が実行する画像処理(現像処理)は、フロントエンジン130が実行する画像処理よりも高精度の処理を実行する。したがって、メインエンジン140が単位時間あたりに処理可能なデータ量(フレーム数)は、フロントエンジン130よりも小さい。
圧縮したRAW画像データをバッファリングすることにより、フロントエンジン130からメインエンジン140への画像データの転送速度をセンサー部106からの画像データの読み出し速度よりも遅くすることが可能となる。つまり、メインエンジン140が処理可能なデータレートで、転送を行うことが可能となる。したがって、高精度の画像処理を、センサー部106の読み出し速度で実行可能な大規模な画像処理回路を実装せずに、高精度の画像処理を実行可能となる。ここで、高精度の画像処理は、色再現性や補正の精度が高い画像処理である。
S808で、受信処理部321は、送信処理部313から送信された圧縮されたRAW画像データを受信する。
S809で、受信処理部321は、圧縮されたRAW画像データに対して圧縮処理部312で適用された圧縮処理の逆変換を行い、圧縮された状態を伸長する。
S810で、RAW現像処理部322は、RAW画像データに対して現像処理を実行し、記録画像データを生成する。
S813で、補正処理部323は、記録画像データに対して、歪曲補正およびノイズ抑制処理を適用する。
S814で、効果処理部324は、記録画像データに対して、効果処理を実行する。効果処理の内容は、あらかじめ定められた効果を記録画像データに対して付与する処理である。効果処理は、例えば、モノクロ変換処理や各種のフィルタを適用する処理である。
S813で、圧縮処理部325は、記録画像データに対して圧縮処理を適用する。
S814で、記録再生部143の記録処理部326は、圧縮された記録画像データを記録媒体200に格納する。
S815で、システム制御部132は、連写機能が有効であるか否かを判定する。連写機能は、メニュー画面を操作することによってユーザーが設定することが可能である。連写機能が有効である場合、処理はS816に進む、連写機能が無効である場合、撮像記録処理が終了する。
S816で、シャッタースイッチ信号SW2が入力されているか否かを判定する。言い換えれば、ユーザーがシャッターボタン102を強く押し込んでいる状態が継続しているか否かを判定する。S816で、シャッタースイッチ信号SW2が入力されている場合、処理はS801に戻り、再び撮像記録処理を実行する。S816で、シャッタースイッチ信号SW2が入力されていない場合、撮像記録処理が終了する。
上述のフローチャートでは、メインエンジン140は、フロントエンジン130から出力された圧縮されたRAW画像データに伸長処理と現像処理を適用した画像データを記録媒体200に記録した。メインエンジン140は、フロントエンジン130から出力された圧縮されたRAW画像データを記録媒体200に記録することも可能である。この場合、S809からS813の一連の処理は実行されない。受信処理部321が受信した圧縮されたRAW画像データを、記録再生部143が記録媒体200に記録する。
図5のフローチャートの説明に戻る。撮像記録処理が終了したことに応じて、処理はS509に進む。
S509で、メインエンジン140の停止処理が実行される。システム制御部132は、メインエンジン140の制御部142に対して、メインエンジン140の停止動作を実行するように制御する。そして、システム制御部132は、電源制御部107を制御して、メインエンジン140への電力供給の停止を指示する。停止動作の詳細は後述する。
S510で、システム制御部132は、デジタルカメラ100の動作の終了指示が入力されたか否かを判定する。具体的には、システム制御部132は、電源スイッチ103がオンからオフに操作されたか否かを判定する。また、所定時間操作がなかった場合に、終了指示が入力されたと判定してもよい(いわゆる、スリープ動作)。終了指示が入力された(S510 Yes)場合、処理はS511に進む。終了指示が入力されない(S510 No)場合、処理は、S502に戻る。
S511で、システム制御部132は、自己を含むフロントエンジン130の停止処理を実行する。また、デジタルカメラ100の他の各部に対しても停止処理を実行する。これにより、デジタルカメラ100の全体の動作は停止し、カメラ制御が終了する。
S503で動作モードが撮像モードでない(動作モードが再生モードである)と判定された場合、処理はS512に進む。
S512で、メインエンジン140の起動処理が実行される。メインエンジン140の起動処理は、S507と同様の処理であるので詳細な説明は省略する。
S513で、再生処理が実行される。再生処理は、記録媒体200に記憶された画像データを読み出して、表示部100に表示する処理である。図9は、再生処理のフローを示すフローチャートである。
S901で、記録再生部143は、記録媒体200から画像データを読み出す。記録媒体200には、JPEG等の形式で圧縮された画像データが格納されている。記録再生部143が読み出す画像データは、システム制御部132により決定される。記録再生部143は、読み出した圧縮された画像データを画像処理部141に送信する。
S902で、画像処理部141は、取得した圧縮された画像データを伸長する処理を実行する。伸長する処理は、画像データに対して適用された圧縮処理の逆変換である。
S903で、画像処理部141は、伸長された画像データをフロントエンジン130の画像処理部131に送信する。
S904で、画像処理部131は、メインエンジン140から送信された画像データを受信する。
S905で、画像処理部131は、受信した画像データに基づいて、表示部101もしくはEVF108に画像を表示するための表示制御を実行する。
S906で、システム制御部132は、表示画像の変更指示が操作部110を介して入力されたか否かを判定する。例えば、表示画像の変更は、十字キー114の操作による画像送りや、拡大ボタン118の操作によるサムネイル表示への変更であるとする。表示画像の変更指示がされた(S906 Yes)場合、処理はS901に戻る。システム制御部132は、メインエンジン140の記録再生部143に、変更された表示画像に対応する画像データを読み出すように指示を送信する。
表示画像の変更指示がない(S906 No)場合、処理はS907に進む。S907で、システム制御部132は、モード変更の指示が入力されたか否かを判定する。モード変更の指示は、ユーザーによってモード切替スイッチ121を操作することで入力されてもよいし、ユーザーがシャッターボタン102を押下することに応じて入力されてもよい。モード変更の指示が入力されない場合、処理はS906に戻る。また、モード変更の指示が入力された(S907 Yes)場合、再生処理が終了する。
再生処理が終了したことに応じて、処理はS509(メインエンジン140の停止処理)に進む。
以上の処理が、デジタルカメラ100の外部出力機能が無効の場合のカメラ制御処理である。上述の処理によれば、撮像モードで動作している場合に、撮像実行指示が入力されるまでは、メインエンジン140に供給する電力を制限することが可能となる。デジタルカメラ100で被写体を撮像する場合、ユーザーがライブビュー画像を確認しながら撮像条件(画角、フォーカス位置、およびズーム位置等)を調整することがある。上述のフローによれば、ライブビュー画像を確認しながら撮像条件の調整を行っている間は、メインエンジン140が消費する電力を抑制することが可能となる。したがって、有限の容量の電源(バッテリー)を用いて動作するデジタルカメラ100の駆動可能時間が長くなるように、効率的な運用が可能となる。このような動作は、本実施例の構成によって、フロントエンジン130がライブビュー画像の表示処理を行うことを可能としたことによって、実現されたものである。
次に、外部出力機能が有効である場合のカメラ制御について、図5Bを用いて説明する。外部出力機能が有効である場合のカメラ制御は、図5AにおけるS502で外部出力機能が有効であると判定された場合の制御である。
S502で外部出力機能が有効であると判定された場合、処理はS514に進む。S514で、システム制御部132は、通信部109に外部装置が接続されているか否かを判定する。通信部109は、接続を検知する検知部を備えており、検知部から出力された接続検知結果を示す信号に基づいて、システム制御部132は通信部109に外部装置が接続されているか否かを判定するとする。なお、通信部109に外部装置が接続されているか否かを判定する方法は、他の方法であってもよい。
例えば、S502が実行される際に、一時的にメインエンジン140を立ち上げ、メインエンジン140の制御部142が通信部109を介して通信部109に外部装置が接続されているか否かを判定する。そして、メインエンジン140の制御部142が判定した結果を、システム制御部132や、不図示の一時メモリに出力し、システム制御部132がその結果に基づいて判定処理を実行してもよい。この場合、メインエンジン140は、接続検知処理が完了したことに応じて、制限状態に移行する。メインエンジン140を一時的に立ち上げて外部装置の検出を行うことで、システム制御部132には、外部装置の接続の有無の判定処理や外部装置との通信を行う通信制御を実行する必要がなくなる。したがって、フロントエンジン130のシステムを縮小することが可能となる。また、S514では、単に外部装置が通信部109に接続されているか否かだけではなく、所定の通信プロトロコルで接続された外部装置と通信が可能か否かを判定してもよい。
S514で、通信部109に外部装置が接続されていると判定された場合、処理はS515に進む。S514で、通信部109に外部装置が接続されていると判定された場合、処理はS503に進む。
S515で、システム制御部132は、メインエンジン140の起動処理を実行する。S515の処理は、S507、S512の処理と同様であるので説明を省略する。
S516で、システム制御部132は、デジタルカメラ100の動作モードが撮像モードであるか、再生モードであるか判定する。S516の処理は、S503と同様であるので説明を省略する。S516で、デジタルカメラ100の動作モードが撮像モードであると判定された場合、処理はS517に進む。S516で、デジタルカメラ100の動作モードが撮像モードでない(再生モードである)と判定された場合、処理はS523に進む。
S517で、システム制御部132は、ライブビュー出力処理を実行する。ライブビュー出力処理は、センサー部106から取得したライブビュー画像を、通信部109を介して接続された外部装置に出力する処理である。
図10は、ライブビュー出力処理のフローを示すフローチャートである。ライブビュー出力処理は、フロントエンジン130で簡易的な補正処理を施した画像データに対してメインエンジン140が高画質の現像処理を実施する。メインエンジン140で高画質の現像処理を施された画像データに対して、補正処理および効果処理を施して、通信部109を介して外部装置に出力する。
図10に示したライブビュー出力処理のフローチャートにおいて、S801~S810までの処理は、図8で示した同名の処理と同様であることから説明を省略する。
S1001で、補正処理部323は、RAW現像処理部322によって高画質の現像処理を施された画像データに対して、歪曲補正、ノイズ抑制処理、および拡大縮小処理を適用する。
S1002で、効果処理部324は、補正処理部323に補正された画像データに対して、ライブビュー画像の確認のためにあらかじめ定められた効果処理を適用する。
S1003で、出力処理部327は、画像データに対して表示用の画像データを生成するための処理を適用する。そして、出力処理部327は、通信部109を介して、画像データを外部装置に出力する。以上の処理がライブビュー出力処理である。
図5のフローチャートの説明に戻る。
S518で、システム制御部132は、SW1信号が入力されたか否かを判定する。S518の処理は、S505の処理と同様であるので、詳細な説明は省略する。SW1信号が入力された(S518 Yes)場合、処理はS519に進む。SW1信号が入力されない(S518 No)場合、処理はS521に進む。
S519で、システム制御部132は、SW2信号が入力されたか否かを判定する。S519の処理は、S506の処理と同様であるので、詳細な説明は省略する。SW2信号が入力された(S519 Yes)場合、処理はS520に進む。SW2信号が入力されない(S519 No)場合、処理はS521に進む。
S520で、撮像記録処理が実行される。撮像記録処理は、S508の処理と同様であるので、説明を省略する。
S521で、システム制御部132は、デジタルカメラ100の動作の終了指示が入力されたか否かを判定する。S521の処理は、S510の処理と同様であるので、詳細な説明は省略する。終了指示が入力された(S521 Yes)場合、処理はS522に進む。
S522で、メインエンジン140の停止処理が実行される。S522の処理はS509と同様であるので詳細な説明は省略する。処理は、S511に進み、フロントエンジン130の停止処理を経て、カメラ制御が終了する。
S521で終了指示が入力されない(S521 No)場合、処理は、S502に戻る。ここで、改めて外部出力機能が有効であるか否かを判定し、S503から始まるフロー化S514から始まるフローに分岐する。
また、S515で、動作モードが撮像モードでない(再生モードである)と判定された場合、処理はS522に進む。S522でシステム制御部132は、再生出力処理を実行する。再生出力処理は、記録媒体200に格納されている画像データに基づく画像を、通信部109を介して外部装置に出力する処理である。
図11は、再生出力処理のフローを示すフローチャートである。図11に示したライブビュー出力処理のフローチャートにおいて、S901、S902、S906、およびS907の処理は、図9で示した同名の処理と同様であることから説明を省略する。
S1101で、出力処理部404は、伸長処理部402で処理された画像データに対して、画像データに対して表示用の画像データを生成し、外部装置に出力して画像を表示させる表示制御処理を実行する。そして、出力処理部404は、通信部109を介して、画像データを外部装置に出力する。以上の処理が再生出力処理である。
以上の制御が、外部出力機能が有効である場合の一連の制御である。上述の制御により、外部出力機能が有効である場合、メインエンジン140の高画質の現像処理を適用した画像を外部装置に出力することが可能となる。また、外部出力機能が無効である場合にメインエンジン140の消費電力を抑制することが可能となる。
なお、外部出力機能が有効であり、S514以降のフローを実行している途中で、ユーザー操作によって外部出力機能が無効に設定されることがある。この場合、S520からS502に戻った際に、S502で外部出力機能が無効であると判定され、S503に処理が進む。このような場合、S520からS502に戻った時点ではメインエンジン140が通常状態で動作する。したがって、S503以降の処理を実行するにも関わらずライブビュー画像の表示中にメインエンジン140の消費電力が高いままになってしまう。
また、外部出力機能が有効であり、S514以降のフローを実行している途中で、外部装置の接続が解除される場合がある。例えば、通信部109に接続されていたケーブルが抜去される場合である。この場合、S514からS503に処理が進み、S503の判定処理が実行される場合に、メインエンジン140が通常状態で動作を継続してしまう。したがって、同様に、S503以降の処理を実行するにも関わらずライブビュー画像の表示中にメインエンジン140が通常状態で動作し続け、消費電力が増大してしまう。
なお、S503の判定処理の実行時にメインエンジン140が通常状態で動作している場合がある。後述するように外部出力機能が有効である場合、メインエンジン140が外部装置への出力処理を実行することから、メインエンジン140は通常状態に制御される。外部出力機能が有効から無効に遷移した場合や外部出力機能が有効であっても外部装置との接続が途中で解消された場合に、メインエンジン140が通常状態のままS503に移行する。したがって、システム制御部132は、S503でメインエンジン140が通常状態で動作しているか否かを判定し、メインエンジン140が通常状態で動作している場合にはメインエンジン140の停止処理を実行するとする。これによって、S503の判定処理の実行時にメインエンジン140が通常状態で動作していても、メインエンジン140への電力を制限することが可能となる。したがって、外部出力機能を有するデジタルカメラ100であっても、外部出力の有無に応じて、適切にメインエンジン140の動作状態を制御することが可能となる。
次に、メインエンジン140の起動処理、およびメインエンジン140の停止処理の詳細について説明する。メインエンジン140の起動処理は、図5で示したフローチャートにおけるS507、S512、およびS515で実行される処理である。また、メインエンジン140の停止処理は、図5で示したフローチャートにおけるS509、およびS522で実行される処理である。
図12は、メインエンジン140の起動処理、およびメインエンジン140の停止処理のフローを示すフローチャートである。図12(a)は、メインエンジン140の起動処理のフローを示すフローチャートである。
S1201で、システム制御部132は、電源制御部107に対して、メインエンジン140への電力供給を開始するための指示を出力する。
S1202で、電源制御部107は、メインエンジン140への電力供給を開始する。
S1203で、メインエンジン140の制御部143は、システムメモリ144からメインエンジン140が起動するために用いるプログラムおよびパラメーターを読み出す処理を実行する。
S1204で、制御部143は、メインエンジン140の起動制御を実行する。
上述の一連の処理によって、メインエンジン140が制限状態から通常状態に遷移する。
図12(b)は、メインエンジン140の停止処理のフローを示すフローチャートである。
S1211で、システム制御部132は、メインエンジン140の制御部143に対して、動作停止指示を出力する。
S1212で、制御部143は、次回のメインエンジン140の起動のために必要なパラメーター等のデータ(起動データ)をシステムメモリ144に格納する。なお、データの格納先は、メモリ145であってもよい。
S1213で、制御部143は、メインエンジン140の動作を停止する処理を実行する。
S1214で、システム制御部132は、電源制御部107に対して、メインエンジン140への電力供給を停止するための指示を出力する。
S1215で、電源制御部107は、メインエンジン140への電力供給を終了する。
上述の一連の処理によって、メインエンジン140が通常状態から制限状態に遷移する。
メインエンジン140が制限状態に遷移することによって、デジタルカメラ100の消費電力を抑制することが可能となる。
上述のフローによれば、システム制御部132は、撮影待機状態においてメインエンジン140への電力供給を制限し、画像データを記録媒体に記録するための撮影指示(SW2)に応じて、メインエンジン140への電力供給の制限を解除するように制御した。しかし、メインエンジン140への電力供給の制限を解除するトリガーは、撮影指示(SW2)に限らない、例えば、撮影前の予備動作である撮影準備指示(SW1)に応じて、メインエンジン140への電力供給の制限を解除してもよい。これによれば、SW2が入力される前にメインエンジン140の起動を完了することが可能となり、SW2が入力されたタイミングの画像を取得して記録することが可能となる。すなわち、撮影準備指示であるSW1も、センサー部106から取得した画像データを記録媒体に記録するための撮影動作に関する指示であるといえる。
実施例1に記載のデジタルカメラ100によれば、動作モードや実行する処理に応じて、フロントエンジン130とメインエンジン140の動作状態を制御する。したがって、デジタルカメラ100の状態に応じた複数のエンジンの動作を効率的に制御し、消費電力を抑制することが可能となる。また、動作モードに応じて適切な品質の画像データを生成し、出力することが可能となる。
100 撮像装置
101 表示部
106 センサー部
107 電力制御部
130 フロントエンジン
140 メインエンジン
200 記録媒体

Claims (17)

  1. 撮像センサーと、
    表示部と、
    前記撮像センサーからの画像データを受ける第1の集積回路チップと、
    前記第1の集積回路チップからの画像データを受け、前記第1の集積回路チップから受けた画像データを記録媒体に記録するための処理を行う第2の集積回路チップと、
    電力制御部と、
    を備え、
    前記第1の集積回路チップは、撮影待機状態において、前記撮像センサーからの画像データに基づく画像を表示するように、前記表示部に画像データを出力し、
    前記第1の集積回路チップは、前記第2の集積回路チップにより前記記録するための処理が行われる場合に、前記第2の集積回路チップに画像データを出力し、
    前記撮影待機状態において、前記第2の集積回路チップは前記記録するための処理を行わず、
    前記電力制御部は、前記撮影待機状態において、前記第1の集積回路チップに電力を供給し、前記第2の集積回路チップへの電力供給を制限し、画像データを前記記録媒体に記録するための撮影動作に関する指示に応じて、前記第2の集積回路チップへの電力供給の制限を解除することを特徴とする撮像装置。
  2. 前記撮影動作に関する指示は撮影準備の指示を含み、
    前記撮影準備は、オートフォーカス処理と自動露出処理の少なくとも一つを含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記撮影動作に関する指示は、画像の撮像および記録のための、画像撮影指示を含むことを特徴とする請求項1に記載の撮像装置。
  4. 前記撮影動作に関する指示は、ユーザによるシャッタースイッチの操作に応じて出力されることを特徴とする請求項1に記載の撮像装置。
  5. 前記シャッタースイッチの操作は、オートフォーカス処理と自動露出処理の少なくとも一方を含む撮影準備を指示するための第1のスイッチ操作と、前記第1のスイッチ操作の後に行われる、画像の取得と記録を指示するための第2のスイッチ操作とを含み、
    前記電力制御部は、前記第1のスイッチ操作に応じて、前記第2の集積回路チップへの電力供給の制限を解除することを特徴とする請求項4に記載の撮像装置。
  6. 前記電力制御部は、前記画像データの記録が終了したことに応じて、前記第2の集積回路チップへの電力供給を制限することを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7. 前記第2の集積回路チップは、再生モードにおいて、前記記録媒体から画像データを再生し、前記再生された画像データを前記第1の集積回路チップに出力し、
    前記第1の集積回路チップは、前記再生モードにおいて、前記第2の集積回路チップから出力された画像データを受け、前記第2の集積回路チップから受けた画像データを前記表示部に出力し、
    前記電力制御部は、前記再生モードにおいて、前記第1の集積回路チップと前記第2の集積回路チップへの電力供給を制限しないことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記第1の集積回路チップは、前記撮影待機状態において、前記撮像センサーからの画像データに第1の現像処理を適用して得られた画像データを前記表示部に出力することを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  9. 前記第1の集積回路チップは、前記撮影動作に関する指示に応じて、前記撮像センサーからの画像データに前記第1の現像処理を適用せずに前記第2の集積回路チップに画像データを出力し、
    前記第2の集積回路チップは、前記第1の集積回路チップから受けた画像データに第2の現像処理を適用して得られた画像データを前記記録媒体に記録することを特徴とする請求項8に記載の撮像装置。
  10. 外部装置と通信を行う通信部をさらに備え、
    前記第2の集積回路チップは、前記通信部を介して、画像データを前記外部装置に出力するための出力手段を有し、前記電力制御部は、前記出力手段が画像データを前記外部装置に出力する機能が有効である場合、前記第2の集積回路チップへの電力供給の制限を行わないことを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
  11. 前記第1の集積回路チップは、前記撮像センサーからの画像データにノイズ低減処理を適用し、前記ノイズ低減処理を適用された画像データに第1の現像処理を適用し、前記第1の現像処理により得られた画像データを前記表示部に出力し、
    前記第2の集積回路チップは、前記第1の集積回路チップから受けた画像データに前記第1の現像処理よりも高画質の画像データを生成するための第2の現像処理を適用し、前記第2の現像処理により得られた画像データを前記記録媒体に記録することを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  12. 前記電力制御部は、前記撮像装置の電源をオンする指示を受けたことに応じて、前記第1の集積回路チップが起動動作を実行可能な電力を前記第1の集積回路チップに供給し、制限された電力を前記第2の集積回路チップに供給することを特徴とする請求項1から11のいずれか1項に記載の撮像装置。
  13. 前記第1の集積回路チップ用の第1のメモリと、前記第2の集積回路チップ用の第2のメモリとを備えたことを特徴とする請求項1から12のいずれか1項に記載の撮像装置。
  14. 前記撮像センサーは、前記撮影待機状態において連続的に画像データを取得し、前記取得された画像データを前記第1の集積回路チップに出力し、
    前記撮影待機状態において、前記第1の集積回路チップは、前記撮像センサーからの画像データをライブビュー画像として表示するように、前記表示部に画像データを出力することを特徴とする請求項1から13のいずれか1項に記載の撮像装置。
  15. 前記第1の集積回路チップは、前記撮像センサーから受けた画像データの並べ替えのための画素並べ替え処理と、前記撮像センサーの特性に基づく補正処理であるセンサー補正処理とを含む、所定の処理を、前記撮像センサーからの画像データに適用し、前記所定の処理が適用された画像データを前記第2の集積回路チップに出力することを特徴とする請求項1から14のいずれか1項に記載の撮像装置。
  16. 前記第1の集積回路チップは、表示のための第1の画像処理経路と、記録のための第2の画像処理経路とを有し、前記撮影待機状態において、前記第1の画像処理経路による画像処理が適用された画像データを前記表示部に出し、前記第2の集積回路チップにより前記記録するための処理が行われる場合に、前記第2の画像処理経路による画像処理が適用された画像データを前記第2の集積回路チップに出力することを特徴とする請求項1に記載の撮像装置。
  17. 前記第1の集積回路チップは、前記撮像センサーから受けた画像データの並べ替えのための画素並べ替え処理と、前記撮像センサーの特性に基づく補正処理であるセンサー補正処理とを含む処理であってRAW画像データを出力する所定の処理を行い、
    前記第1の画像処理経路は、前記所定の処理により得られた前記RAW画像データにノイズ低減処理を適用し、前記ノイズ低減処理が適用された前記RAW画像データに対して第1の現像処理を適用し、前記第1の現像処理により取得された前記画像データを前記表示部に出力し、
    前記第2の画像処理経路は、前記所定の処理により得られた前記RAW画像データにRAWノイズ低減処理を適用し、前記RAWノイズ低減処理が施されたRAW画像データを前記第2の集積回路チップに出力し、
    前記第2の集積回路チップは、前記第1の現像処理よりも高画質な画像データを生成するための第2の現像処理を、前記第1の集積回路チップから受けたRAW画像データに適用し、前記第2の現像処理により得られた画像データを前記記録媒体に記録することを特徴とする請求項16に記載の撮像装置。
JP2019152245A 2019-08-22 2019-08-22 撮像装置、および撮像方法 Active JP7370764B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019152245A JP7370764B2 (ja) 2019-08-22 2019-08-22 撮像装置、および撮像方法
US16/935,952 US11412138B2 (en) 2019-08-22 2020-07-22 Imaging apparatus and controlling method
US17/859,580 US11653089B2 (en) 2019-08-22 2022-07-07 Imaging apparatus and controlling method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019152245A JP7370764B2 (ja) 2019-08-22 2019-08-22 撮像装置、および撮像方法

Publications (3)

Publication Number Publication Date
JP2021034845A JP2021034845A (ja) 2021-03-01
JP2021034845A5 JP2021034845A5 (ja) 2022-08-09
JP7370764B2 true JP7370764B2 (ja) 2023-10-30

Family

ID=74646942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019152245A Active JP7370764B2 (ja) 2019-08-22 2019-08-22 撮像装置、および撮像方法

Country Status (2)

Country Link
US (2) US11412138B2 (ja)
JP (1) JP7370764B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7370764B2 (ja) * 2019-08-22 2023-10-30 キヤノン株式会社 撮像装置、および撮像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158595A (ja) 2006-12-20 2008-07-10 Sony Corp 情報処理装置
JP2010103935A (ja) 2008-10-27 2010-05-06 Nikon Corp 撮像装置
JP2019087950A (ja) 2017-11-10 2019-06-06 キヤノン株式会社 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5088395B2 (ja) 2010-04-15 2012-12-05 株式会社ニコン 電子カメラ
JP5906846B2 (ja) 2012-03-15 2016-04-20 株式会社ニコン 電子カメラ
JP2013211715A (ja) 2012-03-30 2013-10-10 Nikon Corp 撮像装置
JP2017055217A (ja) 2015-09-08 2017-03-16 キヤノン株式会社 画像処理装置と画像処理方法及び撮像装置
JP2018023093A (ja) 2016-07-20 2018-02-08 キヤノン株式会社 画像処理装置
JP6588664B2 (ja) * 2017-02-14 2019-10-09 富士フイルム株式会社 撮影装置及びその制御方法並びに作動プログラム
US10917582B2 (en) * 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
JP7370764B2 (ja) * 2019-08-22 2023-10-30 キヤノン株式会社 撮像装置、および撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158595A (ja) 2006-12-20 2008-07-10 Sony Corp 情報処理装置
JP2010103935A (ja) 2008-10-27 2010-05-06 Nikon Corp 撮像装置
JP2019087950A (ja) 2017-11-10 2019-06-06 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US20210058552A1 (en) 2021-02-25
US11412138B2 (en) 2022-08-09
US11653089B2 (en) 2023-05-16
JP2021034845A (ja) 2021-03-01
US20220337750A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
JP4591325B2 (ja) 撮像装置及びプログラム
JP4730553B2 (ja) 撮影装置及び露出制御方法
JP4126721B2 (ja) 顔領域抽出方法及び装置
TW201309003A (zh) 圖像擷取裝置及影像處理方法
US9609167B2 (en) Imaging device capable of temporarily storing a plurality of image data, and control method for an imaging device
JP5546691B2 (ja) 撮影装置、撮影方法およびプログラム
JP5614425B2 (ja) 撮像装置及びプログラム
KR20160135826A (ko) 화상처리장치, 그 화상처리장치의 제어 방법, 촬상 장치 및 그 촬상장치의 제어 방법, 및, 기록 매체
US11653089B2 (en) Imaging apparatus and controlling method
JP2016019161A (ja) 撮像装置
US8610792B2 (en) Imaging apparatus and imaging method
JP4136958B2 (ja) デジタルカメラ及びデジタルカメラの制御方法
US20220321783A1 (en) Information processing apparatus that performs arithmetic processing of neural network, and image pickup apparatus, control method, and storage medium
JP2006253887A (ja) 撮像装置
JP2021034844A (ja) 撮像装置、および撮像装置の制御方法
US11394849B2 (en) Image capture apparatus and control method thereof
JP2011223146A (ja) 電子カメラ
JP7110408B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP5300627B2 (ja) 撮像装置、その制御方法及びプログラム
JP2010056768A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP7497205B2 (ja) 撮像装置およびその制御方法
JP5239711B2 (ja) カメラ
JP2007259304A (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2021197620A (ja) 記録装置、記録装置の制御方法、プログラムおよび記憶媒体
JP2017034481A (ja) 画像処理装置、画像処理方法、および撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231018

R151 Written notification of patent or utility model registration

Ref document number: 7370764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151