以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
先ず、以下の説明で使用される用語の意味について説明する。
また、以下の説明において、CPUとは、“Central Processing Unit”の略称を指す。また、以下の説明において、RAMとは、“Random Access Memory”の略称を指す。また、以下の説明において、ROMとは、“Read Only Memory”の略称を指す。また、以下の説明において、DRAMとは、“Dynamic Random Access Memory”の略称を指す。また、以下の説明において、SRAMとは、“Static Random Access Memory”の略称を指す。
また、以下の説明において、ICとは、“Integrated Circuit”の略称を指す。また、以下の説明において、LSIとは、“Large−Scale Integration”の略称を指す。また、以下の説明において、ASICとは、“Application Specific Integrated Circuit”の略称を指す。また、以下の説明において、PLDとは、“Programmable Logic Device”の略称を指す。また、以下の説明において、FPGAとは、“Field−Programmable Gate Array”の略称を指す。
また、以下の説明において、SSDとは、“Solid State Drive”の略称を指す。また、以下の説明において、DVD−ROMとは、“Digital Versatile Disc Read Only Memory”の略称を指す。また、以下の説明において、USBとは、“Universal Serial Bus”の略称を指す。また、以下の説明において、HDDとは、“Hard Disk Drive”の略称を指す。また、以下の説明において、EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。
また、以下の説明において、CCDとは、“Charge Coupled Device”の略称を指す。また、以下の説明において、CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。また、以下の説明において、ELとは、“Electro−Luminescence”の略称を指す。また、以下の説明において、A/Dとは、“Analog/Digital”の略称を指す。また、以下の説明において、FIFOとは、“First in First out”の略称を指す。また、以下の説明において、I/Fとは、“Interface”の略称を指す。また、以下の説明において、EISとは、“Electronics Image Stabilization”の略称を指す。また、以下の説明において、AFとは、“Auto−Focus”の略称を指す。また、以下の説明において、AEとは、“Automatic Exposure”の略称を指す。また、以下の説明において、UIとは、“User Interface”の略称を指す。
[第1実施形態]
一例として図1に示すように、撮像装置10は、レンズ交換式カメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を含み、レフレックスミラーが省略されたデジタルカメラである。
また、撮像装置本体12には、ハイブリッドファインダー(登録商標)16が設けられている。ここで言うハイブリッドファインダー16とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。なお、OVFとは、“optical viewfinder”の略称を指す。また、EVFとは、“electronic viewfinder”の略称を指す。
撮像装置本体12の前面には、ファインダー切替レバー18が設けられている。OVFで視認可能な光学像とEVFで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー18を矢印SW方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、後述の光電変換素子61(図3及び図4参照)で撮像されることにより得られた表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。
撮像装置本体12の上面には、レリーズボタン20及びダイヤル22が設けられている。ダイヤル22は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。
レリーズボタン20は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
撮像装置10では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。
表示動画用撮像モードでは、連続的な撮像により得られた連続する複数フレーム分の表示用画像データに基づくライブビュー画像が後述の第1ディスプレイ32及び/又は第2ディスプレイ86(図8及び図9参照)に表示される動作モードである。表示用画像データは、ライブビュー画像用の画像データであり、例えば、後述のCPU46A(図8参照)により、被写体の画像を示す撮像画像データ70(図3〜図7参照)に基づいて生成される。撮像画像データ70とは、後述の撮像素子44(図3参照)により被写体が撮像されることで得られた画像データを指す。なお、以下では、説明の便宜上、撮像画像データ70により示される画像を「撮像画像」と称する。
記録用撮像モードは、静止画像用撮像モードと動画像用撮像モードとに大別される。静止画像用撮像モードは、撮像素子44(図3参照)に対して静止画像用の撮像を行わせる動作モードである。静止画像用撮像モードでは、撮像装置10により被写体が撮像されることで得られた静止画像が特定の記録デバイス(例えば、二次記憶装置(図8参照)等)に記録される。動画像用撮像モードは、撮像素子44(図3参照)に対して動画用の撮像を行わせる動作モードである。動画用撮像モードでは、撮像装置10により被写体が撮像されることで得られた動画像が特定の記録デバイスに記憶される。
記録用撮像モードでは、ライブビュー画像が後述の第1ディスプレイ32及び/又は第2ディスプレイ86に表示され、かつ、記録用画像データが後述の二次記憶装置80(図8参照)及び/又はメモリカード等に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、撮像画像データ70(図3〜図7参照)に基づいて生成される。
撮像モードが設定されると、先ず、撮像装置10は、表示動画用撮像モードになる。表示動画用撮像モードでは、レリーズボタン20が押圧操作された場合に、撮像装置10は、表示動画用撮像モードから記録用撮像モードに移行する。
撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン20が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン20が半押し状態にされることによりAE機能が働いて露出状態が設定された後、AF機能が働いて合焦制御され、レリーズボタン20を全押し状態にすると撮像が行われる。
一例として図2に示すように、撮像装置本体12の背面には、タッチパネル・ディスプレイ26、指示キー28、及びファインダー接眼部30が設けられている。
タッチパネル・ディスプレイ26は、第1ディスプレイ32及びタッチパネル34(図8も参照)を備えている。第1ディスプレイ32としては、液晶ディスプレイ又は有機ELディスプレイが挙げられる。
第1ディスプレイ32は、画像及び文字情報等を表示する。第1ディスプレイ32は、撮像装置10が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第1ディスプレイ32は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第1ディスプレイ32は、撮像装置10が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル34は、透過型のタッチパネルであり、第1ディスプレイ32の表示領域の表面に重ねられている。タッチパネル34は、例えば、指又はスタイラスペン等の指示体による接触を検知し、検知結果を後述のCPU46A(図8参照)等の既定の出力先に出力する。
指示キー28は、1つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。
一例として図3に示すように、撮像装置10は、マウント36,38を備えている。マウント36は、撮像装置本体12に設けられている。マウント38は、交換レンズ14において、マウント36の位置に対応する位置に設けられている。交換レンズ14は、マウント36にマウント38が結合されることにより撮像装置本体12に交換可能に装着される。
一例として図3に示すように、交換レンズ14は、撮像レンズ40を有する。撮像レンズ40は、対物レンズ40A、フォーカスレンズ40B、ズームレンズ40C、及び絞り40Dを備えている。対物レンズ40A、フォーカスレンズ40B、ズームレンズ40C、及び絞り40Dは、被写体側から撮像装置本体12側にかけて、光軸L1に沿って、対物レンズ40A、フォーカスレンズ40B、ズームレンズ40C、及び絞り40Dの順に配置されている。フォーカスレンズ40B、ズームレンズ40C、絞り40Dは、後述のCPU46A(図8参照)の制御下で、モータ等の駆動源(図示省略)からの動力を受けることで作動する。すなわち、フォーカスレンズ40B及びズームレンズ40Cは、付与された動力に応じて光軸L1に沿って移動する。また、絞り40Dは、付与された動力に応じて作動することで露出を調節する。
撮像装置本体12は、メカニカルシャッタ42及び撮像素子44を備えている。メカニカルシャッタ42は、後述のCPU46A(図8参照)の制御下で、モータ等の駆動源(図示省略)からの動力を受けることで作動する。交換レンズ14がマウント36,38を介して撮像装置本体12に装着された場合に、被写体を示す被写体光は、撮像レンズ40を透過し、メカニカルシャッタ42を介して撮像素子44の受光面44Aに結像される。
撮像装置本体12は、コントローラ46、UI系デバイス48、第1信号処理部50、第2信号処理部52、及びDRAM54,56を備えている。なお、第1信号処理部50及び第2信号処理部52は、本開示の技術に係る「複数の信号処理プロセッサ」の一例である。
コントローラ46は、撮像装置10の全体を制御する。UI系デバイス48は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ46には、UI系デバイス48が接続されており、コントローラ46は、UI系デバイス48からの各種情報の取得、及びUI系デバイス48の制御を行う。
撮像素子44は、通信ライン57を介してコントローラ46に接続されており、コントローラ46の制御下で、被写体を撮像して撮像画像データ70を生成する。詳しくは後述するが、撮像素子44は、生成した撮像画像データ70を2つの画像データに分離する。図3に示す例では、撮像画像データ70が分離されて得られた2つの画像データのうちの一方の画像データとして第1分離画像データ70Aが示されており、他方の画像データとして第2分離画像データ70Bが示されている。
撮像素子44は、第1出力ライン53を介して第1信号処理部50に接続されており、第2出力ライン55を介して第2信号処理部52に接続されている。第1信号処理部50及び第2信号処理部52の各々はLSIである。なお、本実施形態において、第1信号処理部50及び第2信号処理部52の各々は、ASICによって実現されている。
但し、本開示の技術はこれに限定されるものではない。例えば、ASICに代えてPLD及び/又はFPGAが採用されてもよい。また、ASIC、PLD、及び/又はFPGAが採用されてもよい。また、CPU、ROM、及びRAMを含むコンピュータが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、第1信号処理部50及び/又は第2信号処理部52は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
第1信号処理部50及び第2信号処理部52は、互いに通信ライン58を介して接続されている。第1信号処理部50は、DRAM54に接続されており、第2信号処理部52は、DRAM56に接続されている。第1信号処理部50は、通信ライン60を介してコントローラ46に接続されている。
撮像素子44は、第1出力ライン53を介して第1分離画像データ70Aを第1信号処理部50に出力し、第2出力ライン55を介して第2分離画像データ70Bを第2信号処理部52に出力する。
第1信号処理部50は、入力された第1分離画像データ70Aに対して、DRAM54と協働して各種の信号処理(例えば、後述の「特定の信号処理」)を施す。第2信号処理部52は、入力された第2分離画像データ70Bに対して、DRAM56と協働して各種の信号処理(例えば、後述の「特定の信号処理」)を施す。そして、第2信号処理部52は、各種の信号処理を施した第2分離画像データ70Bを、通信ライン58を介して第1信号処理部50に出力する。第1信号処理部50は、各種の信号処理を施した第1分離画像データ70Aと、第2信号処理部52から入力された第2分離画像データ70Bとを合成して、通信ライン60を介してコントローラ46に出力する。
撮像素子44は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子44は、例えば、CMOSイメージセンサである。一例として図4に示すように、撮像素子44には、光電変換素子61、処理回路62、及びメモリ64が内蔵されている。撮像素子44は、光電変換素子61、処理回路62、及びメモリ64が1チップ化された撮像素子である。すなわち、光電変換素子61、処理回路62、及びメモリ64は1パッケージ化されている。撮像素子44では、光電変換素子61に対して処理回路62及びメモリ64が積層されている。具体的には、光電変換素子61及び処理回路62は、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されており、処理回路62及びメモリ64も、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されている。なお、メモリ64は、本開示の技術に係る「記憶部」の一例である。
処理回路62は、例えば、LSIであり、メモリ64は、例えば、DRAMである。但し、本開示の技術はこれに限らず、メモリ64としてDRAMに代えてSRAMを採用してもよい。
処理回路62は、ASICによって実現されており、コントローラ46の指示に従って、撮像素子44の全体を制御する。なお、ここでは、処理回路62がASICによって実現される例を挙げているが、本開示の技術はこれに限定されるものではない。例えば、ASICに代えてPLD及び/又はFPGAが採用されてもよい。また、ASIC、PLD、及び/又はFPGAが採用されてもよい。また、CPU、ROM、及びRAMを含むコンピュータが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、処理回路62は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
光電変換素子61は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“4896×3265”画素分のフォトダイオードが挙げられる。
光電変換素子61は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタ、R(赤)に対応するRフィルタ、及びB(青)に対応するBフィルタを含む。本実施形態では、光電変換素子61の複数のフォトダイオードに対してGフィルタ、Rフィルタ、及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に既定の周期性で配置されている。そのため、撮像装置10は、R,G,B信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、デモザイク処理とは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
なお、ここでは、撮像素子44としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子44がCCDイメージセンサであっても本開示の技術は成立する。
撮像素子44は、いわゆる電子シャッタ機能を有しており、コントローラ46の制御下で電子シャッタ機能を働かせることで、光電変換素子61内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
撮像装置10では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ42(図3参照)を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ42を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
処理回路62は、光電変換素子61により被写体が撮像されることで得られた撮像画像データ70を読み出す。撮像画像データ70は、光電変換素子61に蓄積された信号電荷である。処理回路62は、光電変換素子61から読み出した撮像画像データ70に対してA/D変換を行う。処理回路62は、撮像画像データ70に対してA/D変換を行うことで得た撮像画像データ70をメモリ64に記憶する。
処理回路62は、メモリ64から撮像画像データ70を取得し、取得した撮像画像データ70に対して各種の処理を施す。ここで言う「各種の処理」には、図4に示すように、撮像画像データ70を第1分離画像データ70Aと第2分離画像データ70Bとに分離する処理が含まれる。処理回路62は、第1出力ライン53を介して第1分離画像データ70Aを第1信号処理部50に出力し、第2出力ライン55を介して第2分離画像データ70Bを第2信号処理部52に出力する。
一例として図5に示すように、処理回路62は、光電変換素子制御回路62A、デジタル処理回路62B、画像処理回路62C、及び出力回路62Dを含む。出力回路62Dは、本開示の技術に係る「出力部」の一例である。
光電変換素子制御回路62Aは、光電変換素子61及びデジタル処理回路62Bに接続されている。メモリ64は、デジタル処理回路62B及び画像処理回路62Cに接続されている。画像処理回路62Cは出力回路62D及びメモリ64に接続されている。
出力回路62Dは、第1出力ライン53及び第2出力ライン55を有する。第1出力ライン53は、第1信号処理部50に対して対応しており、出力回路62Dと第1信号処理部50とを接続している。第2出力ライン55は、第2信号処理部52に対して対応しており、出力回路62Dと第2信号処理部52とを接続している。
光電変換素子制御回路62Aは、コントローラ46の制御下で、光電変換素子61を制御し、光電変換素子61からアナログの撮像画像データ70を読み出す。デジタル処理回路62Bは、光電変換素子制御回路62Aにより読み出されたアナログの撮像画像データ70に対して相関二重サンプリングの信号処理を行ってからA/D変換を行うことでアナログの撮像画像データ70をデジタル化する。そして、デジタル処理回路62Bは、デジタル化した撮像画像データ70をメモリ64に記憶する。
メモリ64は、複数フレームの撮像画像データ70を記憶可能なメモリである。メモリ64は、画素単位の記憶領域(図示省略)を有しており、撮像画像データ70がデジタル処理回路62Bによって、画素単位で、メモリ64のうちの対応する記憶領域に記憶される。
画像処理回路62Cは、メモリ64から撮像画像データ70を取得し、取得した撮像画像データ70に対して処理を施す。
画像処理回路62Cは、撮像画像データ70に対して、上述した各種の処理を施す。画像処理回路62Cは、撮像画像データ70を第1分離画像データ70Aと第2分離画像データ70Bとに分離し、分離して得た第1分離画像データ70A及び第2分離画像データ70B(図3及び図4参照)を出力回路62Dに出力する。
出力回路62Dは、画像処理回路62Cから入力された第1分離画像データ70Aを、第1出力ライン53を介して第1信号処理部50に出力する。また、出力回路62Dは、画像処理回路62Cから入力された第2分離画像データ70Bを、第2出力ライン55を介して第2信号処理部52に出力する。
出力回路62Dでの出力フレームレートは、撮像素子44の後段のデバイスで用いられるフレームレートと同一のフレームレートである。出力フレームレートは、出力回路62Dによる第1分離画像データ70A及び第2分離画像データ70Bの出力に要するフレームレートであり、例えば、60fps(frames per second)である。これに対し、撮像フレームレートは、光電変換素子61、光電変換素子制御回路62A、デジタル処理回路62B、及びメモリ64が協働して行う撮像に要するフレームレートであり、例えば、120fpsである。なお、ここで言う「撮像」とは、光電変換素子61での1フレーム分の露光が開始されてからメモリ64に1フレーム分の撮像画像データ70が記憶されるまでの処理を指す。
ここで、画像処理回路62C、出力回路62D、第1信号処理部50、及び第2信号処理部52での具体的な処理内容について説明する。
一例として図6に示すように、画像処理回路62Cは、メモリ64から撮像画像データ70を取得し、取得した撮像画像データ70を左側画像データ70A1と右側画像データ70B1とに分離する。画像処理回路62Cは、撮像画像データ70を分離して得た左側画像データ70A1及び右側画像データ70B1を出力回路62Dに出力する。
左側画像データ70A1は、上述した第1分離画像データ70A(図3〜図5参照)の一例であり、右側画像データ70B1は、上述した第2分離画像データ70B(図3〜図5参照)の一例である。
左側画像データ70A1は、左側画像70A1a(図7参照)を示す画像データであり、右側画像データ70B1は、右側画像70B1a(図7参照)を示す画像データである。一例として図7に示すように、左側画像70A1a及び右側画像70B1aは、左右に隣接した一対の画像である。左側画像70A1a及び右側画像70B1aは重複領域71を有する。重複領域71は、左側画像70A1aと右側画像70B1aとの間で左右方向RLに重複する領域である。重複領域71の左右方向RLの画素数は、例えば、数十画素〜数百画素である。
なお、図6に示す例では、画像処理回路62Cによってメモリ64から撮像画像データ70が取得され、取得された撮像画像データ70が分離される形態例が挙げられているが、本開示の技術はこれに限定されない。この場合、例えば、先ず、画像処理回路62Cは、メモリ64内の予め定められたアドレスに従って撮像画像データ70から左側画像データ70A1と右側画像データ70B1とを選択する。そして、画像処理回路62Cは、選択した左側画像データ70A1及び右側画像データ70B1をメモリ64から直接取得する。なお、予め定められたアドレスは、左側画像データ70A1の取得用アドレス及び右側画像データ70B1の取得用アドレスである。左側画像データ70A1の取得用アドレス及び右側画像データ70B1の取得用アドレスは、左側画像データ70A1及び右側画像データ70B1の各々に、重複領域71を示す画像データも含まれるように定められている。
第1信号処理部50は、バッファ50A、信号処理回路50B、及び受信回路50Cを有する。信号処理回路50Bには、DRAM54及びコントローラ46が接続されている。第2信号処理部52は、バッファ52A、信号処理回路52B、及び送信回路52Cを有する。信号処理回路52Bには、DRAM56が接続されている。
出力回路62Dは、左側画像データ70A1を、第1出力ライン53を介してバッファ50Aに出力する。バッファ50Aは、入力された左側画像データ70A1を保持し、FIFO方式で、信号処理回路50Bに出力する。信号処理回路50Bは、バッファ50Aから入力された左側画像データ70A1をDRAM54に記憶する。信号処理回路50Bは、DRAM54に記憶した左側画像データ70A1に対して、色調補正、ホワイトバランス調整、シャープネス調整、ガンマ補正、及び階調補正などの信号処理(以下、「特定の信号処理」と称する)を施す。
出力回路62Dは、右側画像データ70B1を、第2出力ライン55を介してバッファ52Aに出力する。バッファ52Aは、入力された右側画像データ70B1を保持し、FIFO方式で、信号処理回路52Bに出力する。信号処理回路52Bは、バッファ52Aから入力された右側画像データ70B1をDRAM56に記憶する。信号処理回路52Bは、DRAM56に記憶した右側画像データ70B1に対して特定の信号処理を施す。
送信回路52Cは、信号処理回路52Bにより特定の信号処理が施された右側画像データ70B1を第1信号処理部50に送信する。第1信号処理部50では、受信回路50Cが、送信回路52Cから送信された右側画像データ70B1を受信する。
信号処理回路50Bは、受信回路50Cで受信された右側画像データ70B1と、信号処理を施した左側画像データ70A1とを合成することで合成画像データ72を生成する。信号処理回路50Bは、合成して得た合成画像データ72を、通信ライン60を介してコントローラ46に出力する。
合成画像データ72は、左側画像データ70A1と右側画像データ70B1とが繋ぎ合わされることによって生成される。ここで、左側画像データ70A1のうちの重複領域71(図7参照)を示す画像データ、及び右側画像データ70B1のうちの重複領域71(図7参照)を示す画像データは、加算平均される。これにより、撮像画像を左右方向RL(図7参照)に単に二分して得た2つの画像を繋ぎ合わせる場合に比べ、2つの画像間の境界領域の顕在化が抑制される。なお、ここでは、加算平均を例示しているが、本開示の技術はこれに限定されず、加算平均に代えて置換を採用してもよい。ここで言う「置換」とは、左側画像データ70A1のうちの重複領域71を示す画像データと、右側画像データ70B1のうちの重複領域71を示す画像データとの一方を他方に置き換えることを指す。
一例として図8に示すように、コントローラ46は、CPU46A、ROM46B、RAM46C、接続I/F46D、及び入力I/F46Eを備えている。CPU46A、ROM46B、RAM46C、接続I/F46D、及び入力I/F46Eは、バスライン88を介して相互に接続されている。
ROM46Bには、各種プログラムが記憶されている。CPU46Aは、ROM46Bから各種プログラムを読み出し、読み出した各種プログラムをRAM46Cに展開する。CPU46Aは、RAM46Cに展開した各種プログラムに従って撮像装置10の全体を制御する。
接続I/F46Dは、FPGAであり、通信ライン57を介して撮像素子44に接続されている。CPU46Aは、接続I/F46Dを介して撮像素子44を制御する。
入力I/F46Eは、FPGAを有するデバイスであり、通信ライン60を介して第1信号処理部50に接続されている。入力I/F46Eには、通信ライン60を介して第1信号処理部50から合成画像データ72(図6参照)が入力される。入力I/F46Eは、第1信号処理部50から入力された合成画像データ72をCPU46Aに転送する。
バスライン88には、二次記憶装置80及び外部I/F82が接続されている。二次記憶装置80は、SSD、HDD、又はEEPROMなどの不揮発性のメモリである。CPU46Aは、二次記憶装置80に対して各種情報の読み書きを行う。
外部I/F82は、FPGAを有するデバイスである。外部I/F82には、USBメモリ及びメモリカード等の外部装置(図示省略)が接続される。外部I/F82は、CPU46Aと外部装置との間の各種情報の授受を司る。
UI系デバイス48は、ハイブリッドファインダー16、タッチパネル・ディスプレイ26、及び受付部84を備えている。第1ディスプレイ32及びタッチパネル34は、バスライン88に接続されている。従って、CPU46Aは、第1ディスプレイ32に対して各種情報を表示させ、タッチパネル34によって受け付けられた各種指示に従って動作する。
受付部84は、タッチパネル34及びハードキー部25を備えている。ハードキー部25は、複数のハードキーであり、レリーズボタン20、ダイヤル22、及び指示キー28を有する。ハードキー部25は、バスライン88に接続されており、CPU46Aは、ハードキー部25によって受け付けられた各種指示に従って動作する。
ハイブリッドファインダー16は、第2ディスプレイ86を備えている。CPU46Aは、第2ディスプレイ86に対して各種情報を表示させる。
一例として図9に示すように、ハイブリッドファインダー16は、OVF90及びEVF92を含む。OVF90は、逆ガリレオ式ファインダーであり、接眼レンズ94、プリズム96、及び対物レンズ98を有する。EVF92は、第2ディスプレイ86、プリズム96、及び接眼レンズ94を有する。
対物レンズ98の光軸L2に沿って対物レンズ98よりも被写体側には、液晶シャッタ100が配置されており、液晶シャッタ100は、EVF92を使用する際に、対物レンズ98に光学像が入射しないように遮光する。
プリズム96は、第2ディスプレイ86に表示される電子像又は各種の情報を反射させて接眼レンズ94に導き、且つ、光学像と第2ディスプレイ86に表示される電子像及び/又は各種情報とを合成する。第2ディスプレイ86に表示される電子像としては、合成画像データ72に基づくライブビュー画像102が挙げられる。
CPU46Aは、OVFモードの場合、液晶シャッタ100が非遮光状態になるように制御し、接眼レンズ94から光学像が視認できるようにする。また、CPU46Aは、EVFモードの場合、液晶シャッタ100が遮光状態になるように制御し、接眼レンズ94から第2ディスプレイ86に表示される電子像のみが視認できるようにする。
なお、以下では、説明の便宜上、第1ディスプレイ32(図2及び図8参照)及び第2ディスプレイ86を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部」の一例である。また、CPU46Aは、本開示の技術に係る「制御部(制御プロセッサ)」の一例である。
次に、撮像装置10の作用について説明する。
先ず、撮像素子44の処理回路62によって実行される撮像処理の流れについて図10を参照しながら説明する。
図10に示す撮像処理では、先ず、ステップST10で、光電変換素子制御回路62Aは、光電変換素子61に対して露光を開始させるタイミング(以下、「露光開始タイミング」と称する)が到来したか否かを判定する。露光開始タイミングは、上述した撮像フレームレートによって周期的に規定されたタイミングである。ステップST10において、露光開始タイミングが到来していない場合は、判定が否定されて、撮像処理はステップST22へ移行する。ステップST10において、露光開始タイミングが到来した場合は、判定が肯定されて、撮像処理はステップST12へ移行する。
ステップST12で、光電変換素子制御回路62Aは、光電変換素子61に対して1フレーム分の露光を行わせる。
次のステップST14で、光電変換素子制御回路62Aは、光電変換素子61から1フレーム分の撮像画像データ70を読み出す。
次のステップST16で、デジタル処理回路62Bは、ステップST14で読み出された撮像画像データ70に対して相関二重サンプリングの信号処理を行ってからA/D変換を行うことでアナログの撮像画像データ70をデジタル化する。そして、デジタル処理回路62Bは、デジタル化した撮像画像データ70をメモリ64に記憶する。
次のステップST18で、画像処理回路62Cは、メモリ64から撮像画像データ70を取得し、取得した撮像画像データ70を左側画像データ70A1(図6参照)と右側画像データ70B1(図6参照)とに分離する。画像処理回路62Cは、左側画像データ70A1及び右側画像データ70B1を出力回路62Dに出力する。
次のステップST20で、出力回路62Dは、左側画像データ70A1を、第1出力ライン53(図3〜図6及び図8参照)を介して第1信号処理部50に出力する。また、出力回路62Dは、右側画像データ70B1を、第2出力ライン55(図3〜図6及び図8参照)を介して第2信号処理部52に出力する。
次のステップST22で、処理回路62は、撮像処理を終了する条件(以下、「撮像処理終了条件」と称する)を満足したか否かを判定する。撮像処理終了条件としては、例えば、撮像処理を終了させる指示が受付部84によって受け付けられた、との条件が挙げられる。ステップST22において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップST10へ移行する。ステップST22において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
次に、第1信号処理部50によって実行される第1信号処理の流れについて図11を参照しながら説明する。
図11に示す第1信号処理では、ステップST30で、第1信号処理部50は、処理回路62から左側画像データ70A1(図6参照)が入力されたか否かを判定する。ステップST30において、処理回路62から左側画像データ70A1が入力されていない場合は、判定が否定されて、第1信号処理はステップST42へ移行する。ステップST30において、処理回路62から左側画像データ70A1が入力された場合は、判定が肯定されて、第1信号処理はステップST32へ移行する。
ステップST32で、第1信号処理部50は、左側画像データ70A1に対して特定の信号処理を施す。
次のステップST34で、第1信号処理部50は、図12に示す第2信号処理のステップST54の処理が実行されることで送信される右側画像データ70B1(図6参照)を受信したか否かを判定する。ステップST34において、右側画像データ70B1を受信していない場合は、判定が否定されて、第1信号処理はステップST40へ移行する。ステップST34において、右側画像データ70B1を受信した場合は、判定が肯定されて、第1信号処理はステップST36へ移行する。
ステップST40で、第1信号処理部50は、第1信号処理を終了する条件(以下、「第1信号処理終了条件」と称する)を満足したか否かを判定する。第1信号処理終了条件としては、例えば、第1信号処理を終了させる指示が受付部84によって受け付けられた、との条件が挙げられる。ステップST40において、第1信号処理終了条件を満足していない場合は、判定が否定されて、第1信号処理はステップST34へ移行する。ステップST40において、第1信号処理終了条件を満足した場合は、判定が肯定されて、第1信号処理が終了する。
ステップST36で、第1信号処理部50は、ステップST32の処理が実行されることで得られた左側画像データ70A1と、ステップST34で受信した右側画像データ70B1とを合成する合成処理を行うことで合成画像データ72(図6参照)を生成する。
次のステップST38で、第1信号処理部50は、ステップST36の処理が実行されることで得られた合成画像データ72を、通信ライン60(図6及び図8参照)を介してコントローラ46(図6参照)に出力する。
次のステップST42で、第1信号処理部50は、第1信号処理終了条件を満足したか否かを判定する。ステップST42において、第1信号処理終了条件を満足していない場合は、判定が否定されて、第1信号処理はステップST30へ移行する。ステップST42において、第1信号処理終了条件を満足した場合は、判定が肯定されて、第1信号処理が終了する。
次に、第2信号処理部52によって実行される第2信号処理の流れについて図12を参照しながら説明する。
図12に示す第2信号処理では、ステップST50で、第2信号処理部52は、処理回路62から右側画像データ70B1(図6参照)が入力されたか否かを判定する。ステップST50において、処理回路62から右側画像データ70B1が入力されていない場合は、判定が否定されて、第2信号処理はステップST56へ移行する。ステップST50において、処理回路62から右側画像データ70B1が入力された場合は、判定が肯定されて、第2信号処理はステップST52へ移行する。
ステップST52で、第2信号処理部52は、右側画像データ70B1に対して特定の信号処理を施す。
次のステップST54で、第2信号処理部52は、ステップST52の処理が実行されることで得られた右側画像データ70B1を、通信ライン58(図3〜図6及び図8参照)を介して第1信号処理部50に送信する。
次のステップST56で、第2信号処理部52は、第2信号処理を終了する条件(以下、「第2信号処理終了条件」と称する)を満足したか否かを判定する。第2信号処理終了条件としては、例えば、第2信号処理を終了させる指示が受付部84によって受け付けられた、との条件が挙げられる。ステップST56において、第2信号処理終了条件を満足していない場合は、判定が否定されて、第2信号処理はステップST50へ移行する。ステップST56において、第2信号処理終了条件を満足した場合は、判定が肯定されて、第2信号処理が終了する。
以上説明したように、撮像装置10は、撮像素子44、第1信号処理部50、及び第2信号処理部52を備えている。また、撮像素子44は、出力回路62Dを備えている。左側画像データ70A1は、出力回路62Dによって第1出力ライン53を介して第1信号処理部50に出力され、右側画像データ70B1は、出力回路62Dによって第2出力ライン55を介して第2信号処理部52に出力される。そして、特定の信号処理が各々施された左側画像データ70A1及び右側画像データ70B1が第1信号処理部50によって合成され、合成されて得られた合成画像データ72がコントローラ46に出力される。
そのため、1系統の出力ラインのみを用いて第1信号処理部50及び第2信号処理部52に撮像画像データ70が出力される場合に比べ、撮像素子44と第1信号処理部50及び第2信号処理部52の各々との間のトラフィックが小さくなる。
また、第1信号処理部50及び第2信号処理部52の各々が特定の信号処理を行う対象である画像データのデータ量は、撮像画像データ70よりも少ない。そのため、第1信号処理部50又は第2信号処理部52のみが撮像画像データ70の全体に対して特定の信号処理を行う場合に比べ、特定の信号処理を実行する場合の第1信号処理部50及び第2信号処理部52の各々にかかる負荷が軽減される。
従って、撮像装置10は、撮像素子44から1系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
また、左側画像データ70A1及び右側画像データ70B1の各々は、図7に示すように、左側画像70A1aと右側画像70B1aとの間で重複領域71を有する画像を示す画像データである。撮像画像が左右方向RL(図7参照)に単に二分されて得られた2つの画像が合成されると、2つの画像間の境界領域が顕在化する虞がある。しかし、図7に示すように、左側画像70A1a及び右側画像70B1aの各々は重複領域71を有している。そのため、撮像画像が左右方向RLに単に二分されて得られた2つの画像が合成される場合に比べ、2つの画像間の境界領域が顕在化するという事態の発生を抑制することができる。
また、撮像素子44は、光電変換素子61、処理回路62、及びメモリ64が1チップ化された撮像素子である。これにより、光電変換素子61、処理回路62、及びメモリ64が1チップ化されていない撮像素子に比べ、撮像素子44の可搬性が高くなる。また、光電変換素子61、処理回路62、及びメモリ64が1チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子61、処理回路62、及びメモリ64が1チップ化されていない撮像素子に比べ、撮像装置本体12の小型化にも寄与することができる。
また、図4に示すように、撮像素子44として、光電変換素子61にメモリ64が積層された積層型撮像素子が採用されている。これにより、光電変換素子61とメモリ64とが積層されていない場合に比べ、光電変換素子61とメモリ64との間での処理にかかる負荷を軽減することができる。また、光電変換素子61とメモリ64とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子61とメモリ64とが積層されていない場合に比べ、撮像装置本体12の小型化にも寄与することができる。
また、図9に示すように、合成画像データ72により示される画像がライブビュー画像102としてCPU46Aの制御下で第2ディスプレイ86に表示される。これにより、合成画像データ72により示される画像をユーザに視認させることができる。図9に示す例では、第2ディスプレイ86にライブビュー画像102が表示されているが、本開示の技術はこれに限定されるものではない。例えば、ライブビュー画像102が第1ディスプレイ32に表示されるようにしてもよいし、第1ディスプレイ32及び第2ディスプレイ86の双方にライブビュー画像102が表示されるようにしてもよい。
なお、上記第1実施形態では、撮像素子44として、光電変換素子61、処理回路62、及びメモリ64が1チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子61、処理回路62、及びメモリ64のうち、少なくとも光電変換素子61及びメモリ64が1チップ化されていればよい。
上記第1実施形態では、撮像画像データ70を左側画像データ70A1と右側画像データ70B1とに分離する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ70は、撮像画像のうちの上側領域の画像を示す上側画像データと、撮像画像のうちの下側領域の画像を示す下側画像データとに分離されるようにしてもよい。また、撮像画像データ70は、撮像画像のうちの左上側領域の画像を示す左上側画像データと、撮像画像のうちの右下側領域の画像を示す右下側画像データとに分離されるようにしてもよい。また、撮像画像データ70は、撮像画像のうちの右上側領域の画像を示す右上側画像データと、撮像画像のうちの左下側領域の画像を示す左下側画像データとに分離されるようにしてもよい。更に、撮像画像データ70は、撮像画像のうちの中央領域の画像を示す中央画像データと、撮像画像のうちの周辺領域、すなわち、中央領域以外の領域の画像を示す周辺画像データとに分離されるようにしてもよい。
このように撮像画像データ70が分離される場合であっても、撮像画像データ70が分離されることで得られた一対の画像データの各々は、撮像画像が分離された2つの画像間で分離方向に重複した画像を示す重複画像データを含む画像データであることが好ましい。
[第2実施形態]
上記第1実施形態では、第1分離画像データ70A及び第2分離画像データ70Bの各々に対して同一の信号処理が行われる場合について説明したが、本第2実施形態では、第1分離画像データ70Aと第2分離画像データ70Bとに対して差別的な信号処理が行われる場合について説明する。なお、本第2実施形態では、上記第1実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第1実施形態と異なる部分について説明する。
図1に示すように、本第2実施形態に係る撮像装置200は、上記第1実施形態で説明した撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体212を有する点が異なる。
撮像装置本体212は、撮像装置本体12に比べ、撮像素子44に代えて撮像素子244(図13参照)を有する点が異なる。また、撮像装置本体212は、撮像装置本体12に比べ、第1信号処理部50に代えて第1信号処理部250(図13参照)を有する点、及び第2信号処理部52に代えて第2信号処理部252(図13参照)を有する点が異なる。
図13に示すように、撮像素子244は、撮像素子44に比べ、処理回路62に代えて処理回路262を有する点が異なる。処理回路262は、処理回路62に比べ、画像処理回路62Cに代えて画像処理回路262Cを有する点、及び、出力回路62Dに代えて出力回路262Dを有する点が異なる。
画像処理回路262Cは、画像処理回路62Cに比べ、顔検出回路262C1を有する点が異なる。顔検出回路262C1は、本開示の技術に係る「検出部(検出プロセッサ)」の一例である。顔検出回路262C1は、公知の顔検出機能を有する回路である。顔検出回路262C1は、ASIC等によるハードウェア構成によって実現される。なお、顔検出回路262C1は、ハードウェア構成に限らず、ソフトウェア構成によって実現されるようにしてもよいし、ソフトウェア構成及びハードウェア構成によって実現されるようにしてもよい。本第2実施形態において、顔検出回路262C1は、メモリ64から撮像画像データ70を取得する。顔検出回路262C1は、取得した撮像画像データ70により示される撮像画像のうち、人間の顔を示す顔画像69(図14A参照)を特定する。すなわち、顔検出回路262C1は、撮像画像データ70から、顔画像69を示す顔画像データを検出する。
そして、顔検出回路262C1は、特定した顔画像69を含む既定範囲内の顔領域画像70B2a(図14A参照)を示す顔領域画像データ70B2を撮像画像データ70から抽出することで、撮像画像データ70を顔領域画像データ70B2と背景領域画像データ70A2とに分離する。
背景領域画像データ70A2とは、撮像画像のうち、背景領域の画像、すなわち、顔領域画像70B2a以外の画像を示す画像データを指す。また、上記の既定範囲とは、例えば、撮像画像における顔画像69(図14A参照)の位置、及び顔画像69の大きさと撮像画像のうちの顔画像69以外の画像の大きさとの相違度等に応じて定められる範囲を指す。図14Aに示す例では、撮像画像のうちの中央領域に顔画像69が位置しており、この場合、撮像画像は、中央領域と上側領域と下側領域との3つの領域に分離される。そして、中央領域の画像が顔領域画像70B2aとして特定され、上側領域の画像及び下側領域の画像、すなわち、撮像画像のうちの中央領域以外の画像が背景領域画像70A2aとして特定される。
図14Aに示す例では、顔画像69として、2人分の顔を示す画像が示されている。顔画像69は、撮像画像のうち、複数人分の顔の密集度が最も高い領域を特定する画像である。なお、本開示の技術はこれに限定されず、例えば、顔画像69に代えて、1人分の顔を示す顔画像を適用してもよいし、特定の表情の顔(例えば、笑顔)を示す顔画像を適用してもよいし、特定人物の顔を示す顔画像を適用してもよい。
図13に示すように、背景領域画像データ70A2及び顔領域画像データ70B2は、画像処理回路262Cによって出力回路262Dに出力される。なお、背景領域画像データ70A2は、上述した第1分離画像データ70Aの一例であり、顔領域画像データ70B2は、上述した第2分離画像データ70Bの一例である。また、顔領域画像70B2aは、本開示の技術に係る「指定された画像」の一例であり、背景領域画像70A2aは、本開示の技術に係る「指定された画像とは異なる画像」の一例である。
出力回路262Dは、出力回路62Dに比べ、左側画像データ70A1に代えて背景領域画像データ70A2を出力する点、及び、右側画像データ70B1に代えて顔領域画像データ70B2を出力する点が異なる。
具体的には、出力回路262Dは、背景領域画像データ70A2を、第1出力ライン53を介して第1信号処理部250に出力する。また、出力回路262Dは、顔領域画像データ70B2を、第2出力ライン55を介して第2信号処理部252に出力する。
第1信号処理部250は、第1信号処理部50に比べ、信号処理回路50Bに代えて信号処理回路250Bを有する点が異なる。
出力回路262Dから出力された背景領域画像データ70A2は、バッファ50Aに一旦保持され、バッファ50Aから信号処理回路250Bに出力される。そして、信号処理回路250Bは、バッファ50Aから入力された背景領域画像データ70A2に対して特定の信号処理を施す。
第2信号処理部252は、第2信号処理部52に比べ、信号処理回路52Bに代えて第2信号処理回路252Bを有する点が異なる。信号処理回路252Bは、信号処理回路52Bに比べ、顔認証処理回路252B1を有する点が異なる。
出力回路262Dから出力された顔領域画像データ70B2は、バッファ52Aに一旦保持され、バッファ52Aから信号処理回路252Bに出力される。そして、信号処理回路252Bは、バッファ52Aから入力された顔領域画像データ70B2に対して特定の信号処理を施す。顔認証処理回路252B1は、公知の顔認証機能を有しており、特定の信号処理が施された顔領域画像データ70B2に対して顔認証を実行する。顔認証が実行されることで、例えば、顔画像69(図14A参照)により示される顔が特定の表示(例えば、笑顔)であるか否かの判定、及び/又は、顔画像69により示される顔が特定の人物の顔であるか否かの判定が行われる。
顔認証処理回路252B1は、顔認証が実行された顔領域画像データ70B2を送信回路52Cに出力する。顔領域画像データ70B2には、顔認証の結果を示す顔認証結果情報が付与されており、後段回路での処理に供される。ここで言う「後段回路」とは、例えば、第1信号処理部250及び/又はコントローラ46を指す。
送信回路52Cは、顔認証処理回路252B1から入力された顔領域画像データ70B2を第1信号処理部250に送信する。
第1信号処理部250では、受信回路50Cが、送信回路52Cから送信された顔領域画像データ70B2を受信する。そして、信号処理回路250Bが、受信回路50Cによって受信された顔領域画像データ70B2と、信号処理回路250Bによって特定の信号処理が施された背景領域画像データ70A2とを合成し、合成画像データ272を生成する。そして、信号処理回路250Bは、合成画像データ272を、通信ライン60を介してコントローラ46に出力する。
なお、背景領域画像70A2a及び顔領域画像70B2aは、一例として図14Bに示すように、重複領域271を有していてもよい。重複領域271は、背景領域画像70A2aと顔領域画像70B2aとの間で上下方向UDに重複する領域である。上記第1実施形態で説明した重複領域71と同様に、重複領域271の上下方向UDの画素数は、例えば、数十画素〜数百画素であればよい。背景領域画像データ70A2及び顔領域画像データ70B2が第1信号処理部250によって合成される場合、背景領域画像データ70A2及び顔領域画像データ70B2の各々の重複領域271を示す各画像データは、上記第1実施形態と同様に加算平均される。
次に、撮像装置200の作用について説明する。
先ず、撮像素子244の処理回路262によって実行される撮像処理の流れについて図15を参照しながら説明する。なお、図15に示す撮像処理は、図10に示す撮像処理に比べ、ステップST18の処理に代えてステップST60の処理を有する点、及びステップST20の処理に代えてステップST62を有する点が異なる。そのため、図15に示す撮像処理のフローチャートには、図10に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図15に示す撮像処理については、図10に示す撮像処理と異なる点のみを説明する。
図15に示す撮像処理では、ステップST60で、顔検出回路262C1は、メモリ64から撮像画像データ70を取得し、取得した撮像画像データ70を背景領域画像データ70A2と顔領域画像データ70B2とに分離する。そして、画像処理回路262Cは、背景領域画像データ70A2及び顔領域画像データ70B2を出力回路262Dに出力する。
次のステップST62で、出力回路262Dは、背景領域画像データ70A2を、第1出力ライン53を介して第1信号処理部250に出力する。また、出力回路262Dは、顔領域画像データ70B2を、第2出力ライン55を介して第2信号処理部252に出力する。
次に、第1信号処理部250によって実行される第1信号処理の流れについて図16を参照しながら説明する。
図16に示す第1信号処理では、ステップST70で、第1信号処理部250は、処理回路262から背景領域画像データ70A2(図13参照)が入力されたか否かを判定する。ステップST70において、処理回路262から背景領域画像データ70A2が入力されていない場合は、判定が否定されて、第1信号処理はステップST82へ移行する。ステップST70において、処理回路262から背景領域画像データ70A2が入力された場合は、判定が肯定されて、第1信号処理はステップST72へ移行する。
ステップST72で、第1信号処理部250は、背景領域画像データ70A2に対して特定の信号処理を施す。
次のステップST74で、第1信号処理部250は、図17に示す第2信号処理のステップST94の処理が実行されることで送信される顔領域画像データ70B2(図13参照)を受信したか否かを判定する。ステップST74において、顔領域画像データ70B2を受信していない場合は、判定が否定されて、第1信号処理はステップST80へ移行する。ステップST74において、顔領域画像データ70B2を受信した場合は、判定が肯定されて、第1信号処理はステップST76へ移行する。
ステップST80で、第1信号処理部250は、第1信号処理終了条件を満足したか否かを判定する。ステップST80において、第1信号処理終了条件を満足していない場合は、判定が否定されて、第1信号処理はステップST74へ移行する。ステップST80において、第1信号処理終了条件を満足した場合は、判定が肯定されて、第1信号処理が終了する。
ステップST76で、第1信号処理部250は、ステップST72の処理が実行されることで得られた背景領域画像データ70A2と、ステップST74で受信した顔領域画像データ70B2とを合成する合成処理を行うことで合成画像データ272(図13参照)を生成する。
次のステップST78で、第1信号処理部250は、ステップST76の処理が実行されることで得られた合成画像データ272を、通信ライン60(図13参照)を介してコントローラ46(図13参照)に出力する。
次のステップST82で、第1信号処理部250は、第1信号処理終了条件を満足したか否かを判定する。ステップST82において、第1信号処理終了条件を満足していない場合は、判定が否定されて、第1信号処理はステップST70へ移行する。ステップST82において、第1信号処理終了条件を満足した場合は、判定が肯定されて、第1信号処理が終了する。
次に、第2信号処理部252によって実行される第2信号処理の流れについて図17を参照しながら説明する。
図17に示す第2信号処理では、ステップST90で、第2信号処理部252は、処理回路262から顔領域画像データ70B2(図13参照)が入力されたか否かを判定する。ステップST90において、処理回路262から顔領域画像データ70B2が入力されていない場合は、判定が否定されて、第2信号処理はステップST96へ移行する。ステップST90において、処理回路262から顔領域画像データ70B2が入力された場合は、判定が肯定されて、第2信号処理はステップST92へ移行する。
ステップST92で、第2信号処理部252は、顔領域画像データ70B2に対して特定の信号処理を施す。また、第2信号処理部252は、特定の信号処理を施した顔領域画像データ70B2に対して顔認証を実行する。
次のステップST94で、第2信号処理部252は、ステップST92の処理が実行されることで得られた顔領域画像データ70B2を、通信ライン58(図13参照)を介して第1信号処理部250に送信する。なお、ステップST92の処理が実行されることで得られた顔領域画像データ70B2には、顔認証結果情報が付与されている。
次のステップST96で、第2信号処理部252は、第2信号処理終了条件を満足したか否かを判定する。ステップST96において、第2信号処理終了条件を満足していない場合は、判定が否定されて、第2信号処理はステップST90へ移行する。ステップST96において、第2信号処理終了条件を満足した場合は、判定が肯定されて、第2信号処理が終了する。
以上説明したように、撮像装置200では、撮像画像データ70が背景領域画像データ70A2と顔領域画像データ70B2とに分離される。そして、背景領域画像データ70A2が第1出力ライン53を介して第1信号処理部250に出力され、顔領域画像データ70B2が第2出力ライン55を介して第2信号処理部252に出力される。
一般的に、顔領域画像データ70B2は背景領域画像データ70A2よりも重視される画像データであるため、第2信号処理部252では、顔領域画像データ70B2に対して背景領域画像データ70A2よりも複雑な処理が施される。本第2実施形態では、複雑な処理として顔認証が実行されている。そして、特定の信号処理が施された背景領域画像データ70A2、及び特定の信号処理に加えて顔認証が実行された顔領域画像データ70B2が第1信号処理部250によって合成される。
このように、第1信号処理部250と第2信号処理部252とで異なる複雑度の処理が実行されるので、撮像画像データ70の全体に対して常に複雑な処理が実行される場合に比べ、画像処理に要する負荷を軽減することができる。
また、図14Bに示すように、上下方向UDに隣接する背景領域画像70A2a及び顔領域画像70B2aの各々が、背景領域画像70A2aと顔領域画像70B2aとの間に重複領域271を有している。これにより、信号処理回路250Bでは、単に二分して得た2つの画像を繋ぎ合せる場合に比べ、背景領域画像70A2aと顔領域画像70B2aとの間の境界領域の顕在化が抑制された合成画像データ272が生成される。
なお、上記第2実施形態では、撮像画像データ70が背景領域画像データ70A2と顔領域画像データ70B2とに分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ70のうち、ユーザによって受付部84を介して指定された画像データが第2信号処理部252に出力され、撮像画像データ70のうちの残りの画像データが第1信号処理部250に出力されるようにしてもよい。ユーザによって指定された画像データとは、例えば、撮像画像データ70のうち、受付部84によって受け付けられた指示に従って重要な画像データとして画定された画像データを指す。重要な画像データとは、例えば、ユーザが注目する人物及び/又は建物等の画像が含まれている部分領域を示す画像データを指す。
この場合も、ユーザによって指定された画像データにより示される画像と、撮像画像データ70のうちの残りの画像データにより示される画像との間で、重複領域271に相当する重複領域が設けられることが好ましい。これにより、信号処理回路250Bでは、単に二分した2つの画像を繋ぎ合せる場合に比べ、指定された画像データにより示される画像と、残りの画像データにより示される画像との境界領域の顕在化が抑制された合成画像データが生成される。
また、上記第2実施形態では、複雑の処理の一例として顔認証を例示したが、本開示の技術はこれに限定されない。複雑な処理としては、例えば、人間の瞳を検出する瞳検出処理、赤目を補正する赤目補正処理、及び/又は、電子式のぶれ補正処理(例えば、EIS)等が挙げられる。
[第3実施形態]
上記第1実施形態では、撮像画像データ70を左側画像データ70A1と右側画像データ70B1とに分離する形態例について説明したが、本第3実施形態では、撮像画像データ70を圧縮してから2つの画像データに分離する形態例について説明する。なお、本第3実施形態では、上記第1実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第1実施形態と異なる部分について説明する。
図1に示すように、本第3実施形態に係る撮像装置300は、上記第1実施形態で説明した撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体312を有する点が異なる。
撮像装置本体312は、撮像装置本体12に比べ、撮像素子44に代えて撮像素子344(図18参照)を有する点、及び、第1信号処理部50に代えて第1信号処理部350(図18参照)を有する点が異なる。第1信号処理部350は、第1信号処理部50に比べ、信号処理回路50Bに代えて信号処理回路350Bを有する点が異なる。
図18に示すように、撮像素子344は、撮像素子44に比べ、処理回路62に代えて処理回路362を有する点が異なる。処理回路362は、処理回路62に比べ、画像処理回路62Cに代えて画像処理回路362Cを有する点、及び、出力回路62Dに代えて出力回路362Dを有する点が異なる。
画像処理回路362Cは、メモリ64から撮像画像データ70を取得する。画像処理回路362Cによってメモリ64から取得された撮像画像データ70は、R画素、G画素、及びB画素が周期的に配列されたカラー画像データである。一例として図19に示すように、撮像画像データ70では、R画素、G画素、及びB画素がX−Trans(登録商標)配列に対応した周期性で配列されている。なお、R画素、G画素、及びB画素は、本開示の技術に係る「複数の原色画素」の一例である。
図19に示す例では、1行目で、R画素、G画素、及びB画素が、行方向にG画素、B画素、R画素、G画素、R画素、及びB画素の順に循環して配列されている。また、2行目で、R画素、G画素、及びB画素が、行方向にR画素、G画素、G画素、B画素、G画素、及びG画素の順に循環して配列されている。また、3行目で、R画素、G画素、及びB画素が、行方向にB画素、G画素、G画素、R画素、G画素、及びG画素の順に循環して配列されている。また、4行目で、R画素、G画素、及びB画素が、行方向にG画素、R画素、B画素、G画素、B画素、及びR画素の順に循環して配列されている。また、5行目で、R画素、G画素、及びB画素が、行方向にB画素、G画素、G画素、R画素、G画素、及びG画素の順に循環して配列されている。更に、6行目で、R画素、G画素、及びB画素が、行方向にR画素、G画素、G画素、B画素、G画素、及びG画素の順に循環して配列されている。そして、1行目〜6行目のR画素、G画素、及びB画素の配列パターンが6行単位で列方向に繰り返されることによって撮像画像データ70の全体のR画素、G画素、及びB画素の配列パターンが形成されている。
画像処理回路362Cは、メモリ64から取得した撮像画像データ70を圧縮する。すなわち、画像処理回路362Cは、撮像画像データ70から垂直間引画像データ73を生成する。垂直間引画像データ73は、撮像画像データ70が行単位で間引きされて得られた画像データである。具体的には、一例として図19に示すように、垂直間引画像データ73は、撮像画像データ70により示される撮像画像から列方向に偶数行のラインの画素を間引くことによって得られた垂直1/2間引き画像を示す画像データである。
画像処理回路362Cは、垂直間引画像データ73を奇数列画像データ73Aと偶数列画像データ73Bとに分離し、分離して得た奇数列画像データ73A及び偶数列画像データ73Bを出力回路362Dに出力する。なお、ここでは、撮像画像データ70が間引きされてから分割されることで複数の分割画像データとして奇数列画像データ73Aと偶数列画像データ73Bとが得られる形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、撮像画像データ70が直接分割されることで複数の分割画像データが得られるようにしてもよい。
一例として図20及び図21に示すように、奇数列画像データ73Aは、垂直間引画像データ73により示される垂直1/2間引き画像から偶数列のラインの画素を間引くことによって得られた奇数列画像を示す画像データである。すなわち、奇数列画像データ73Aは、垂直1/2間引き画像のうち、奇数列の画素の集合を示す画像データである。また、一例として図20及び図21に示すように、偶数列画像データ73Bは、垂直間引画像データ73により示される垂直1/2間引き画像から奇数列のラインの画素を間引くことによって得られた偶数列画像を示す画像データである。すなわち、偶数列画像データ73Bは、垂直1/2間引き画像のうち、偶数列の画素の集合を示すカラー画像データである。換言すると、奇数列画像データ73A及び偶数列画像データ73Bの各々は、R画素、G画素、及びB画素が各々周期的に配列された画像を示すカラー画像データである。なお、奇数列画像データ73A及び偶数列画像データ73Bは、本開示の技術に係る「複数の原色画素配列画像データ」及び「複数の分割画像データ」の一例である。
出力回路362Dは、画像処理回路362Cから入力された奇数列画像データ73Aを、第1出力ライン53を介して第1信号処理部350に出力する。また、出力回路362Dは、画像処理回路362Cから入力された偶数列画像データ73Bを、第2出力ライン55を介して第2信号処理部52に出力する。
第2信号処理部52では、上記第1実施形態で説明した右側画像データ70B1に対して行われた処理と同様の処理が偶数列画像データ73Bに対して行われ、処理後の偶数列画像データ73Bが第1信号処理部350に送信される。
第1信号処理部350では、受信回路50Cが、第2信号処理部52から送信された偶数列画像データ73Bを受信する。信号処理回路350Bは、受信回路50Cによって受信された偶数列画像データ73Bを取得する。
一方、奇数列画像データ73Aはバッファ50Aに入力される。バッファ50Aは、奇数列画像データ73Aを一旦保持し、FIFO方式で信号処理回路350Bに出力する。信号処理回路350Bは、バッファ50Aから入力された奇数列画像データ73Aに対して特定の信号処理を施す。また、信号処理回路350Bは、特定の信号処理を施した奇数列画像データ73Aと受信回路50Cから取得した偶数列画像データ73Bとを合成することで合成画像データ372を生成する。この結果、合成画像データ372により示される画像のR画素、G画素、及びB画素の配列パターンは、上述した垂直1/2間引き画像と同様の配列パターンとなる。すなわち、合成画像データ372により示される画像のR画素、G画素、及びB画素の配列パターンは、R画素、G画素、及びB画素のデモザイク処理が可能な周期性を有する配列パターンとなる。
そこで、信号処理回路350Bは、合成画像データ372に対して、R,G,B信号のデモザイク処理を施し、デモザイク処理を施した合成画像データ372を、通信ライン60を介してコントローラ46に出力する。
次に、撮像装置300の作用について説明する。
先ず、撮像素子344の処理回路362によって実行される撮像処理の流れについて図22を参照しながら説明する。なお、図22に示す撮像処理は、図10に示す撮像処理に比べ、ステップST18の処理に代えてステップST100の処理を有する点、及びステップST20の処理に代えてステップST102を有する点が異なる。そのため、図22に示す撮像処理のフローチャートには、図10に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図22に示す撮像処理については、図10に示す撮像処理と異なる点のみを説明する。
図22に示す撮像処理では、ステップST100で、画像処理回路362Cは、撮像画像データ70から垂直間引画像データ73(図18〜図21参照)を生成する。そして、画像処理回路362Cは、生成した垂直間引画像データ73から奇数列画像データ73A及び偶数列画像データ73Bを生成する。すなわち、垂直間引画像データ73が奇数列画像データ73Aと偶数列画像データ73Bとに分離される(図20及び図21参照)。
次のステップST102で、出力回路362Dは、奇数列画像データ73Aを、第1出力ライン53を介して第1信号処理部350に出力する。また、出力回路362Dは、偶数列画像データ73Bを、第2出力ライン55を介して第2信号処理部52に出力する。
次に、第1信号処理部350によって実行される第1信号処理の流れについて図23を参照しながら説明する。
図23に示す第1信号処理では、ステップST210で、第1信号処理部350は、処理回路362から奇数列画像データ73A(図18参照)が入力されたか否かを判定する。ステップST210において、処理回路362から奇数列画像データ73Aが入力されていない場合は、判定が否定されて、第1信号処理はステップST222へ移行する。ステップST210において、処理回路362から奇数列画像データ73Aが入力された場合は、判定が肯定されて、第1信号処理はステップST212へ移行する。
ステップST212で、第1信号処理部350は、奇数列画像データ73Aに対して特定の信号処理を施す。
次のステップST214で、第1信号処理部350は、図24に示す第2信号処理のステップST234の処理が実行されることで送信される偶数列画像データ73B(図18参照)を受信したか否かを判定する。ステップST214において、偶数列画像データ73Bを受信していない場合は、判定が否定されて、第1信号処理はステップST220へ移行する。ステップST214において、偶数列画像データ73Bを受信した場合は、判定が肯定されて、第1信号処理はステップST216へ移行する。
ステップST220で、第1信号処理部350は、第1信号処理終了条件を満足したか否かを判定する。ステップST220において、第1信号処理終了条件を満足していない場合は、判定が否定されて、第1信号処理はステップST214へ移行する。ステップST220において、第1信号処理終了条件を満足した場合は、判定が肯定されて、第1信号処理が終了する。
ステップST216で、第1信号処理部350は、ステップST212の処理が実行されることで得られた奇数列画像データ73Aと、ステップST214で受信した偶数列画像データ73Bとを合成する合成処理を行うことで合成画像データ372(図18参照)を生成する。そして、第1信号処理部350は、合成画像データ372に対してデモザイク処理を行う。
次のステップST218で、第1信号処理部350は、ステップST216の処理が実行されることで得られた合成画像データ372を、通信ライン60(図18参照)を介してコントローラ46(図18参照)に出力する。
次のステップST222で、第1信号処理部350は、第1信号処理終了条件を満足したか否かを判定する。ステップST222において、第1信号処理終了条件を満足していない場合は、判定が否定されて、第1信号処理はステップST210へ移行する。ステップST222において、第1信号処理終了条件を満足した場合は、判定が肯定されて、第1信号処理が終了する。
次に、第2信号処理部52によって実行される第2信号処理の流れについて図24を参照しながら説明する。
図24に示す第2信号処理では、ステップST230で、第2信号処理部52は、処理回路362から偶数列画像データ73B(図18参照)が入力されたか否かを判定する。ステップST230において、処理回路362から偶数列画像データ73Bが入力されていない場合は、判定が否定されて、第2信号処理はステップST236へ移行する。ステップST230において、処理回路362から偶数列画像データ73Bが入力された場合は、判定が肯定されて、第2信号処理はステップST232へ移行する。
ステップST232で、第2信号処理部52は、偶数列画像データ73Bに対して特定の信号処理を施す。
次のステップST234で、第2信号処理部52は、ステップST232の処理が実行されることで得られた偶数列画像データ73Bを、通信ライン58(図18参照)を介して第1信号処理部350に送信する。
次のステップST236で、第2信号処理部52は、第2信号処理終了条件を満足したか否かを判定する。ステップST236において、第2信号処理終了条件を満足していない場合は、判定が否定されて、第2信号処理はステップST230へ移行する。ステップST236において、第2信号処理終了条件を満足した場合は、判定が肯定されて、第2信号処理が終了する。
以上説明したように、本第3実施形態では、撮像画像データ70は、複数の原色画素であるR画素、G画素、及びB画素が周期的に配列されたカラー撮像画像を示すカラー画像データである。また、撮像画像データ70は、複数の画像データとして複数の原色画素配列画像データに分けられる。図18及び図20に示す例では、複数の原色画素配列画像データとして、奇数列画像データ73A及び偶数列画像データ73Bが示されている。また、奇数列画像データ73A及び偶数列画像データ73Bの各々は、R画素、G画素、及びB画素が各々周期的に配列された画像を示す画像データである。奇数列画像データ73A及び偶数列画像データ73Bのように、R画素、G画素、及びB画素が各々周期的に配列された画像を示す画像データを用いることで、R画素、G画素、及びB画素についてのデモザイク処理を実現することが可能となる。
また、奇数列画像データ73A及び偶数列画像データ73Bは、図18〜図19に示すように、垂直間引画像データ73から分割されることで得られた画像データである。垂直間引画像データ73は、撮像画像データ70よりもデータ量が少ない。従って、撮像画像データ70が間引かれることなく分割されて得られた2つの画像データの一方に対して特定の信号処理が施される場合に比べ、奇数列画像データ73A及び偶数列画像データ73Bに対する特定の信号処理を高速に行うことができる。
また、奇数列画像データ73Aは、垂直1/2間引き画像のうちの奇数列の画素の集合を示す画像データであり、偶数列画像データ73Bは、垂直1/2間引き画像のうちの偶数列の画素の集合を示す画像データである。垂直1/2間引き画像が不規則に分割されて得られた複数の画像データに対する特定の信号処理及び合成は、奇数列画像データ73A及び偶数列画像データ73Bに対する処理に比べ、処理内容が複雑化する。従って、奇数列画像データ73A及び偶数列画像データ73Bに対しては、垂直1/2間引き画像が不規則に分割されて得られた複数の画像データに対する処理に比べ、高速な処理を実現することができる。
また、第1信号処理部350は、奇数列画像データ73Aと偶数列画像データ73Bとを合成して得た合成画像データ372に対してデモザイク処理を行うので、デモザイク処理を行わない場合に比べ、高画質な画像を得ることができる。
なお、上記第3実施形態では、第1信号処理部350がDRAM54を使用し、第2信号処理部52がDRAM56を使用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図25に示すように、DRAM54,56を使用せずに、第1信号処理部350に代えて第1信号処理部750を適用し、第2信号処理部52に代えて第2信号処理部752を適用してもよい。図25に示す例では、第1信号処理部750は、第1信号処理部350に比べ、ラインメモリ750Aを有する点、及びDRAM54を使用しない点が異なる。また、第2信号処理部752は、第2信号処理部52に比べ、ラインメモリ752Aを有する点、及びDRAM56を使用しない点が異なる。
第1信号処理部750において、ラインメモリ750Aは、バッファ50Aと信号処理回路350Bとの間に介在している。バッファ50Aは、奇数列画像データ73Aをラインメモリ750Aに出力する。ラインメモリ750Aは、バッファ50Aから入力された奇数列画像データ73Aをライン単位で記憶し、信号処理回路350BにFIFO方式で出力する。信号処理回路350Bは、上記第3実施形態で説明した処理を実行する。
一方、第2信号処理部752において、ラインメモリ752Aは、バッファ52Aと信号処理回路52Bとの間に介在している。バッファ52Aは、偶数列画像データ73Bをラインメモリ452Aに出力する。ラインメモリ752Aは、バッファ52Aから入力された偶数列画像データ73Bをライン単位で記憶し、信号処理回路52BにFIFO方式で出力する。信号処理回路52Bは、上記第3実施形態で説明した処理を実行する。
また、上記第3実施形態では、圧縮画像データとして垂直1/2間引き画像を示す画像データを例示したが、本開示の技術はこれに限定されない。例えば、nを3以上の自然数とした場合、垂直1/n間引き画像を示す画像データを圧縮画像データとして適用してもよい。また、列単位で間引いた水平間引き画像を示す画像データを圧縮画像データとして適用してもよいし、行単位及び列単位で間引いた画像を示す画像データを圧縮画像データとして適用してもよい。
[第4実施形態]
上記第1実施形態では、撮像画像データ70を左側画像データ70A1と右側画像データ70B1とに分離する形態例について説明したが、本第4実施形態では、動作モードに応じて撮像画像データ70の分離方法を異ならせる形態例について説明する。なお、本第4実施形態では、上記第1実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第1実施形態と異なる部分について説明する。
図1に示すように、本第4実施形態に係る撮像装置400は、上記第1実施形態で説明した撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体412を有する点が異なる。
撮像装置本体412は、撮像装置本体12に比べ、撮像素子44に代えて撮像素子444(図26参照)を有する点が異なる。撮像素子444は、撮像素子44に比べ、処理回路62に代えて処理回路462を有する点が異なる。処理回路462は、処理回路62に比べ、画像処理回路62Cに代えて画像処理回路462Cを有する点、及び出力回路62Dに代えて出力回路462Dを有する点が異なる。
撮像装置本体412は、撮像装置本体12に比べ、第1信号処理部50に代えて第1信号処理部450(図26参照)を有する点、及び第2信号処理部52に代えて第2信号処理部452(図26参照)を有する点が異なる。
第1信号処理部450は、第1信号処理部50に比べ、第1信号処理部50が有する機能と上記第3実施形態で説明した第1信号処理部350が有する機能とを有する点が異なる。また、第1信号処理部450は、第1信号処理部50に比べ、第1信号処理部50が有する機能と第1信号処理部350が有する機能とを選択的に作動させる点が異なる。
第2信号処理部452は、第2信号処理部52に比べ、第2信号処理部52が有する機能と上記第2実施形態で説明した第2信号処理部252が有する機能とを有する点が異なる。また、第2信号処理部452は、第2信号処理部52に比べ、第2信号処理部52が有する機能と上記第2実施形態で説明した第2信号処理部252が有する機能とを選択的に作動させる点が異なる。
コントローラ46は、静止画像用撮像モード信号480A(図26参照)と表示動画用撮像モード信号480B(図27参照)とを選択的に通信ライン60を介して処理回路462に出力する。例えば、静止画像用撮像モード信号480Aは、撮像装置400を静止画像用撮像モードにする指示が受付部84によって受け付けられた場合に、コントローラ46から出力される。また、例えば、表示動画用撮像モード信号480Bは、撮像装置400を表示動画用撮像モードにする指示が受付部84によって受け付けられた場合に、コントローラ46から出力される。
図26に示すように、処理回路462は、コントローラ46から通信ライン60を介して静止画像用撮像モード信号480Aが入力されると、画像処理回路462Cを上記第1実施形態で説明した画像処理回路62Cと同様に作動させる。すなわち、処理回路462は、画像処理回路462Cに対して、撮像画像データ70を左側画像データ70A1と右側画像データ70B1とに分離させ、左側画像データ70A1及び右側画像データ70B1を出力回路462Dに出力させる。左側画像データ70A1により示される左側画像70A1a及び右側画像データ70B1により示される右側画像70B1aは、上記第1実施形態で説明した重複領域71を有する。なお、本第4実施形態に係る左側画像データ70A1及び右側画像データ70B1は、本開示の技術に係る「複数の重複画像データ」の一例である。
図26に示すように、出力回路462Dは、上記第1実施形態で説明した出力回路62Dと同様に、左側画像データ70A1を、第1出力ライン53を介して第1信号処理部450に出力する。また、出力回路462Dは、上記第1実施形態で説明した出力回路62Dと同様に、右側画像データ70B1を、第2出力ライン55を介して第2信号処理部452に出力する。
第1信号処理部450は、入力された左側画像データ70A1に対して特定の信号処理を施し、第2信号処理部452は、入力された右側画像データ70B1に対して特定の信号処理を施し、特定の信号処理を施した右側画像データ70B1を第1信号処理部450に出力する。
第1信号処理部450は、特定の信号処理を施した左側画像データ70A1と、第2信号処理部452から入力された右側画像データ70B1とを合成し、上記第1実施形態で説明した合成画像データ72を生成する。第1信号処理部450は、生成した合成画像データ72をコントローラ46に出力する。
一方、図27に示すように、処理回路462は、コントローラ46から通信ライン60を介して表示動画用撮像モード信号480Bが入力されると、画像処理回路462Cを上記第3実施形態で説明した画像処理回路362Cと同様に作動させる。すなわち、処理回路462は、画像処理回路462Cに対して、撮像画像データ70を垂直間引画像データ73に圧縮してから、垂直間引画像データ73を奇数列画像データ73Aと偶数列画像データ73Bとに分離させる。そして、処理回路462は、画像処理回路462Cに対して、奇数列画像データ73A及び偶数列画像データ73Bを出力回路462Dに出力させる。
図27に示すように、出力回路462Dは、上記第3実施形態で説明した出力回路362Dと同様に、奇数列画像データ73Aを、第1出力ライン53を介して第1信号処理部450に出力する。また、出力回路462Dは、上記第3実施形態で説明した出力回路362Dと同様に、偶数列画像データ73Bを、第2出力ライン55を介して第2信号処理部452に出力する。
第1信号処理部450は、入力された奇数列画像データ73Aに対して特定の信号処理を施し、第2信号処理部452は、入力された偶数列画像データ73Bに対して特定の信号処理を施し、特定の信号処理を施した偶数列画像データ73Bを第1信号処理部450に出力する。
第1信号処理部450は、特定の信号処理を施した奇数列画像データ73Aと、第2信号処理部452から入力された偶数列画像データ73Bとを合成し、上記第3実施形態で説明した合成画像データ372を生成する。第1信号処理部450は、生成した合成画像データ372をコントローラ46に出力する。
次に、撮像装置300の作用について説明する。
先ず、撮像素子444の処理回路462によって実行される撮像処理の流れについて図28を参照しながら説明する。なお、ここでは、説明の便宜上、撮像装置400が静止画像用撮像モード又は表示動画用撮像モードが設定されていることを前提して説明する。
図28に示す撮像処理では、先ず、ステップST300で、画像処理回路462Cは、撮像装置400が静止画像用撮像モードか否かを判定する。ステップST300において、撮像装置400が静止画像用撮像モードでない場合、すなわち、撮像装置400が表示動画用撮像モードの場合は、判定が否定されて、撮像処理はステップST304へ移行する。ステップST300において、撮像装置400が静止画像用撮像モードの場合は、判定が肯定されて、撮像処理はステップST302へ移行する。
ステップST302で、処理回路462は、静止画用撮像処理を実行し、その後、撮像処理はステップST306へ移行する。静止画用撮像処理は、上記第1実施形態で説明した撮像処理(図10参照)と同様の処理である。
ステップST304で、処理回路462は、表示動画用撮像処理を実行し、その後、撮像処理はステップST306へ移行する。表示動画用撮像処理は、上記第3実施形態で説明した撮像処理(図22参照)と同様の処理である。
ステップST306で、処理回路462は、撮像処理終了条件を満足したか否かを判定する。ステップST306において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップST300へ移行する。ステップST306において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
なお、静止画像用撮像モードにおいて、第1信号処理部450では、上記第1実施形態で説明した第1信号処理(図11参照)と同様の処理が実行される。また、静止画像用撮像モードにおいて、第2信号処理部452では、上記第1実施形態で説明した第2信号処理(図12参照)と同様の処理が実行される。
一方、表示動画用撮像モードにおいて、第1信号処理部450では、上記第3実施形態で説明した第1信号処理(図23)と同様の処理が実行される。また、表示動画用撮像モードにおいて、第2信号処理部452では、上記第3実施形態で説明した第2信号処理(図24)と同様の処理が実行される。
以上説明したように、本第4実施形態では、静止画像用撮像モードで、撮像画像データ70が上記第1実施形態で説明した左側画像データ70A1及び右側画像データ70B1に分離される。また、表示動画用撮像モードで、撮像画像データ70が上記第3実施形態で説明した奇数列画像データ73A及び偶数列画像データ73Bに分離される。これにより、静止画像用撮像モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。
また、静止画像用撮像モードでは、撮像画像データ70は、重複領域71を示す画像データが各々含まれる左側画像データ70A1及び右側画像データ70B1に分離される。これに対して、表示動画用撮像モードでは、撮像画像データ70がライン単位で分離される。従って、静止画像用撮像モードでは、重複領域71を示す画像データが各々含まれる左側画像データ70A1及び右側画像データ70B1に対して処理が施されるので、表示動画用撮像モードよりも画質を高めることができる。また、表示動画用撮像モードでは、左側画像データ70A1及び右側画像データ70B1よりもデータ量の少ない奇数列画像データ73A及び偶数列画像データ73Bに対して処理が施される。よって、表示動画用撮像モードでは、静止画像用撮像モードに比べ、電力消費を抑えることができ、かつ、処理速度を高めることができる。
なお、上記第3実施形態では、ステップST302(図28参照)の処理として、上記第1実施形態で説明した撮像処理(図10参照)を適用した場合について説明したが、本開示の技術はこれに限定されない。例えば、ステップST302(図28参照)の処理として、上記第2実施形態で説明した撮像処理(図15参照)を適用してもよい。この場合、静止画像用撮像モードにおいて、第1信号処理部450では、上記第2実施形態で説明した第1信号処理(図16参照)が実行され、第2信号処理部452では、上記第2実施形態で説明した第2信号処理(図17参照)が実行される。
また、上記第3実施形態では、静止画像用撮像モードにおいて、撮像画像データ70が左側画像データ70A1及び右側画像データ70B1に分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、静止画像用撮像モードにおいて、上記第2実施形態で説明したように、撮像画像データ70が背景領域画像データ70A2と顔領域画像データ70B2とに分離されるようにしてもよい。この場合、静止画像用撮像モードにおいて、第1信号処理部450を上記第2実施形態で説明した第1信号処理部250と同様に動作させ、第2信号処理部452を上記第2実施形態で説明した第2信号処理部252と同様に動作させるようにすればよい。
[第5実施形態]
上記第3実施形態では、撮像画像データ70が奇数列画像データ73Aと偶数列画像データ73Bとに圧縮される形態例について説明したが、本第5実施形態では、撮像画像データ70が他の方法で2つの画像データに圧縮される形態例について説明する。なお、本第5実施形態では、上記第3実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第3実施形態と異なる部分について説明する。
図1に示すように、本第5実施形態に係る撮像装置500は、上記第3実施形態で説明した撮像装置300に比べ、撮像装置本体312に代えて撮像装置本体512を有する点が異なる。
撮像装置本体512は、撮像装置本体312に比べ、撮像素子344に代えて撮像素子544(図29参照)を有する点が異なる。撮像素子544は、撮像素子344に比べ、処理回路362に比べ、処理回路562を有する点が異なる。処理回路562は、処理回路362に比べ、画像処理回路362Cに代えて画像処理回路562Cを有する点、及び出力回路362Dに代えて出力回路562Dを有する点が異なる。
撮像装置本体512は、撮像装置本体312に比べ、第1信号処理部50に代えて第1信号処理部550(図29参照)を有する点が異なる。
メモリ64には、撮像画像データ570が記憶されており、画像処理回路562Cは、メモリ64から撮像画像データ570を取得する。撮像画像データ570は、R画素、G画素、及びB画素を有するカラー画像データである。一例として図30に示すように、撮像画像データ570では、R画素、G画素、及びB画素がベイヤ配列に対応した周期性で配列されている。
図30に示す例では、1行目で、R画素及びG画素が、行方向にR画素及びG画素の順に循環して配列されている。また、2行目で、B画素及びG画素が、行方向にG画素及びB画素の順に循環して配列されている。そして、1行目のR画素及びG画素の配列パターンが1行おきに列方向に繰り返され、2行目のB画素及びG画素の配列パターンが1行おきに列方向に繰り返されることによって撮像画像データ570の全体のR画素、G画素、及びB画素の配列パターンが形成されている。
画像処理回路562Cは、メモリ64から取得した撮像画像データ570を圧縮する。すなわち、画像処理回路562Cは、撮像画像データ570から垂直間引画像データ573を生成する。一例として図30に示すように、垂直間引画像データ573は、撮像画像データ570により示される撮像画像から、列方向に隣接する2行分のラインが2行置きに間引くことによって得られた垂直1/2間引き画像を示す画像データである。
一例として図29及び図31に示すように、画像処理回路562Cは、垂直間引画像データ753を、第1水平間引画像データ573Aと第2水平間引画像データ573Bとに分離する。画像処理回路562Cは、分離して得た第1水平間引画像データ573A及び第2水平間引画像データ573Bを出力回路562Dに出力する。
一例として図31に示すように、第1水平間引画像データ573Aは、垂直間引画像データ573により示される垂直1/2間引き画像から行方向に2列単位で2列置きに互い違いに間引かれて得られた一対の水平1/2間引き画像のうちの一方を示す画像データである。また、第2水平間引画像データ573Bは、一対の水平1/2間引き画像のうちの他方を示す画像データである。
出力回路562Dは、画像処理回路562Cから入力された第1水平間引画像データ573Aを、第1出力ライン53を介して第1信号処理部550に出力する。また、出力回路562Dは、画像処理回路562Cから入力された第2水平間引画像データ573Bを、第2出力ライン55を介して第2信号処理部52に出力する。
第2信号処理部52では、上記第3実施形態で説明した偶数列画像データ73Bに対して行われた処理と同様の処理が第2水平間引画像データ573Bに対して行われ、処理後の第2水平間引画像データ573Bが第1信号処理部550に送信される。
第1信号処理部550は、第2信号処理部52から送信された第2水平間引画像データ573Bを受信する。
第1信号処理部550では、上記第3実施形態で説明した奇数列画像データ73Aに対して行われた処理と同様の処理が第1水平間引画像データ573Aに対して行われる。そして、第1信号処理部550では、第1水平間引画像データ573Aと第2水平間引画像データ573Bとが合成され、合成画像データ572が生成される。この結果、合成画像データ572により示される画像のR画素、G画素、及びB画素の配列パターンは、垂直間引画像データ573により示される垂直1/2間引き画像と同様の配列パターンとなる。すなわち、合成画像データ572により示される画像のR画素、G画素、及びB画素の配列パターンは、R画素、G画素、及びB画素のデモザイク処理が可能な周期性を有する配列パターンとなる。
そこで、第1信号処理部550は、上記第3実施形態と同様に、合成画像データ572に対して、R,G,B信号のデモザイク処理を施し、デモザイク処理を施した合成画像データ572を、通信ライン60を介してコントローラ46に出力する。
以上説明したように、撮像画像データ570は、ベイヤ配列が採用されている。この場合も、上記第3実施形態で説明した奇数列画像データ73A及び偶数列画像データ73Bと同様に、デモザイク処理可能な2つの画像データとして、第1水平間引画像データ573A及び第2水平間引画像データ573Bが得られる。よって、撮像画像データ570がベイヤ配列の画像データであったとしても、上記第3実施形態と同様の効果を得ることができる。
なお、上記第5実施形態では、撮像画像データ570が圧縮された2つの画像データとして第1水平間引画像データ573A及び第2水平間引画像データ573Bを例示したが、本開示の技術はこれに限定されない。例えば、図32に示すように、画像処理回路562Cは、撮像画像データ570を上位ビットデータ570Cと下位ビットデータ570Dとに分離するようにしてもよい。撮像画像データ570についての1画素毎のビット数が16ビットの場合、上位ビットデータ570Cは、例えば、1画素毎のビット数が上位8ビットの画像データであり、下位ビットデータ570Dは、例えば、1画素毎のビット数が下位8ビットの画像データである。
図32に示すように、出力回路562Dは、上位ビットデータ570Cを、第1出力ライン53を介して第1信号処理部550に出力し、下位ビットデータ570Dを、第2出力ライン55を介して第2信号処理部52に出力する。また、第2信号処理部52は、上記第5実施形態と同様に、下位ビットデータ570Dに対して特定の信号処理を施してから下位ビットデータ570Dを、通信ライン58を介して第1信号処理部550に送信する。また、第1信号処理部550は、上記第5実施形態と同様に、第2信号処理部52から送信された下位ビットデータ570Dを受信し、上位ビットデータ570Cに対して特定の信号処理を施す。第1信号処理部550は、上記第5実施形態と同様に、特定の信号処理を施した上位ビットデータ570Cと、受信した下位ビットデータ570Dとを合成することで合成画像データ572Aを生成する。第1信号処理部550は、生成した合成画像データ572Aをコントローラ46に出力する。
なお、ここでは、撮像画像データ570についての1画素毎のビット数が16ビットの場合を例示しているが、これに限らず、1画素毎のビット数が16ビット未満の画像データであってもよいし、1画素毎のビット数が16ビットを超えるビット数の画像データであってもよい。また、上位ビットと下位ビットとの分け方は、例えば、用途及び/又は仕様等に応じて定められた分け方であればよい。
また、ここでは、画像処理回路562Cが撮像画像データ570を上位ビットデータ570Cと下位ビットデータ570Dとに分離する例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ570が上位ビットの画像データ、中位ビットの画像データ、及び下位ビットの画像データに分離されるようにしてもよい。上位ビットの画像データ、中位ビットの画像データ、及び下位ビットの画像データとは、撮像画像データ570が3つのビット範囲で分割されることによって圧縮されて得られた3つの圧縮画像データを指す。また、撮像画像データ570が4つ以上のビット範囲で分割されることで撮像画像データ570が圧縮されるようにしてもよい。このように、撮像画像データ570は、複数のビット範囲で分割されることで複数の圧縮画像データが得られるようにしてもよい。
このように、撮像画像データ570が複数のビット範囲で分割されることで得られた複数の圧縮画像データ(図32に示す例では、上位ビットデータ570C及び下位ビットデータ570D)に分離される。これにより、第1信号処理部550及び第2信号処理部52の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を行うことができる。
また、図32に示すように、撮像画像データ570が上位ビットデータ570C及び下位ビットデータ570Dに分離されることで、上位ビットデータ570Cに対しては、下位ビットデータ570Dよりも高精度な処理を行うことができる。一方、下位ビットデータ570Dに対しては、上位ビットデータ570Cよりも電力消費を抑え、かつ、処理速度を高めることができる。
また、上記各実施形態では、撮像画像データ70,570(以下、単に「撮像画像データ」と称する)が2つの画像データに分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、Nを2以上の自然数とした場合、撮像画像データがN個の画像データに分離されるようにしてもよい。分離方法は、例えば、撮像画像データをN等分する方法の他に、撮像画像データをN個のビット範囲で分離する方法などが考えられる。
撮像画像データをN個の画像データに分離する場合、例えば、図33に示すように、第1信号処理部650〜第N信号処理部650Nの各々が対応する出力ラインで撮像素子44に接続される。図33に示す例では、第1信号処理部650が第1出力ライン53を介して撮像素子44に接続されており、第N信号処理部650Nが第N出力ライン53Nを介して撮像素子44に接続されている。第N信号処理部650Nは、第1信号処理部650に信号処理済みの画像データを送信し、第1信号処理部650がN個分の画像データを合成し、合成して得た合成画像データをコントローラ46に出力するようにすればよい。
また、上記各実施形態では、処理回路62,262,362,462,562(以下、単に「処理回路」と称する)がASICによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
この場合、例えば、図34に示すように、撮像素子44,244,344,444,544に内蔵されたコンピュータ652に、上述した撮像処理を実行させるための撮像処理プログラム802を記憶媒体800に記憶させておく。コンピュータ652は、CPU652A、ROM652B、及びRAM652Cを備えている。そして、記憶媒体800の撮像処理プログラム802がコンピュータ652にインストールされ、コンピュータ652のCPU652Aは、撮像処理プログラム802に従って、上述した撮像処理を実行する。ここでは、CPU652Aとして、単数のCPUを例示しているが、本開示の技術はこれに限定されず、CPU652Aに代えて複数のCPUを採用してもよい。なお、記憶媒体800の一例としては、SSD又はUSBメモリなどの任意の可搬型の記憶媒体が挙げられる。
図34に示す例では、記憶媒体800に撮像処理プログラム802が記憶されているが、本開示の技術はこれに限定されない。例えば、ROM652Bに撮像処理プログラム802を予め記憶させておき、CPU652AがROM652Bから撮像処理プログラム802を読み出し、RAM652Cに展開し、展開した撮像処理プログラム802を実行するようにしてもよい。
また、通信網(図示省略)を介してコンピュータ652に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像処理プログラム802を記憶させておき、撮像装置10,200,300,400,500の何れかと同様の構成の撮像装置700の要求に応じて撮像処理プログラム802がコンピュータ652にダウンロードされるようにしてもよい。この場合、ダウンロードされた撮像処理プログラム802がコンピュータ652のCPU652Aによって実行される。
また、コンピュータ652は、撮像素子44,244,344,444,544の外部に設けられるようにしてもよい。この場合、コンピュータ652が撮像処理プログラム802に従って処理回路を制御するようにすればよい。
上記各実施形態で説明した撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System−on−a−chip)などに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上記各実施形態では、撮像装置としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図35に示すスマートデバイス900に対して本開示の技術を適用するようにしてもよい。一例として図35に示すスマートデバイス900は、本開示の技術に係る撮像装置の一例である。スマートデバイス900には、上記実施形態で説明した撮像素子44,244,344,444,544が搭載されている。このように構成されたスマートデバイス900であっても、上記実施形態で説明した撮像装置と同様の作用及び効果が得られる。なお、スマートデバイス900に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
また、上記各実施形態では、第1ディスプレイ32及び第2ディスプレイ86を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体12に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
また、上記の撮像処理、第1信号処理、及び第2信号処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
撮像素子(44,244,344,444,544)を備えた撮像装置(10,200,300,400,500,700)であって、
撮像素子(44,244,344,444,544)により被写体が撮像されることで得られた撮像画像データ(70,570)を記憶し、かつ、撮像素子(44,244,344,444,544)に内蔵された記憶部(64)と、
撮像画像データ(70,570)に対して処理を行い、かつ、撮像素子(44,244,344,444,544)に内蔵された処理部(62,262,362,462,562)と、
処理部(62,262,362,462,562)により撮像画像データ(70,570)が処理されることで得られた処理済み画像データを出力し、かつ、撮像素子(44,244,344,444,544)に内蔵された出力部(62D,262D,362D,462D,562D)と、
撮像素子の外部に設けられた複数の信号処理部(50,250,350,450,550,650,52,252,452)と、を含み、
処理部(62,262,362,462,562)は、記憶部(64)に記憶された撮像画像データ(70,570)を複数の画像データ(70A,70B)に分ける処理を行い、
出力部(62D,262D,362D,462D,562D)は、複数の信号処理部(50,250,350,450,550,650,52,252,452)の各々に対して各々対応させて設けられた複数の出力ライン(53,55)を有し、複数の出力ライン(53,55)から処理済み画像データとして複数の画像データ(70A,70B)の各々を複数の信号処理部(50,250,350,450,550,650,52,252,452,750,752)のうちの対応する信号処理部に出力し、
複数の信号処理部(50,250,350,450,550,650,52,252,452,750,752)の何れかが複数の画像データ(70A,70B)を合成する撮像装置(10,200,300,400,500,700)。
(付記2)
複数の画像データ(70A,70B)の各々は、複数の画像データ(70A,70B)の各々に基づく複数の画像(70A1a,70B1a,70A2a,70B2a)のうちの隣接する画像(70A1a,70B1a,70A2a,70B2a)間で重複領域(71,271)を有する画像を示す画像データである付記1に記載の撮像装置(200)。
(付記3)
複数の画像(70A2a,70B2a)は、指定された画像(70B2a)と指定された画像とは異なる画像とで分けられている付記1又は付記2に記載の撮像装置(200)。
(付記4)
処理部は、撮像画像データ(70)から顔の画像(69)を示す顔画像データを検出し、指定された画像(70B2a)は、撮像画像データ(70)により示される撮像画像のうちの処理部(262)により検出された顔画像データにより示される顔の画像(69)を含む画像である付記3に記載の撮像装置(200)。
(付記5)
処理部(462)は、記録用撮像モードと表示動画用撮像モードとで撮像画像データの分け方を変更する付記1から付記4の何れか1つに記載の撮像装置(400)。
(付記6)
処理部(462)は、記録用撮像モードで撮像画像データ(70)を複数の画像データとして複数の重複画像データ(70A1,70B1)に分け、表示動画用撮像モードで撮像画像データ(70)をライン単位で分け、
複数の重複画像データの各々は、複数の画像のうちの隣接する画像間で重複領域(71)を有する画像を示す画像データである付記5に記載の撮像装置。
撮像装置10では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ42(図3参照)を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ42を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
一方、第2信号処理部752において、ラインメモリ752Aは、バッファ52Aと信号処理回路52Bとの間に介在している。バッファ52Aは、偶数列画像データ73Bをラインメモリ752Aに出力する。ラインメモリ752Aは、バッファ52Aから入力された偶数列画像データ73Bをライン単位で記憶し、信号処理回路52BにFIFO方式で出力する。信号処理回路52Bは、上記第3実施形態で説明した処理を実行する。
先ず、撮像素子444の処理回路462によって実行される撮像処理の流れについて図28を参照しながら説明する。なお、ここでは、説明の便宜上、撮像装置400が静止画像用撮像モード又は表示動画用撮像モードに設定されていることを前提して説明する。
撮像装置本体512は、撮像装置本体312に比べ、撮像素子344に代えて撮像素子544(図29参照)を有する点が異なる。撮像素子544は、撮像素子344に比べ、処理回路362に代えて処理回路562を有する点が異なる。処理回路562は、処理回路362に比べ、画像処理回路362Cに代えて画像処理回路562Cを有する点、及び出力回路362Dに代えて出力回路562Dを有する点が異なる。