以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。LSIとは、“Large-Scale Integrated circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。A/Dとは、“Analog/Digital”の略称を指す。I/Fとは、“Interface”の略称を指す。UIとは、“User Interface”の略称を指す。LVDSとは、“Low Voltage Differential Signaling”の略称を指す。PCIeとは、“Peripheral Component Interconnect Express”の略称を指す。SATAとは、“Serial Advanced Technology Attachment”の略称を指す。SLVS-ECとは、“Scalable Low Signaling with Embedded Clock”の略称を指す。MIPI(登録商標)とは、“Mobile Industry Processor Interface”の略称を指す。LTEとは、“Long Term Evolution”の略称を指す。5Gとは、“5th Generation”の略称を指す。
本明細書の説明において、「鉛直」とは、完全な鉛直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの鉛直を指す。本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの同一を指す。
一例として図1に示すように、スマートデバイス10は、筐体12を備えており、筐体12に撮像装置14が収容されている。スマートデバイス10としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
撮像装置14は、第1撮像装置30及び第2撮像装置32を備えている。第1撮像装置30は、第1撮像レンズ16及び第1撮像素子38を備えている。第2撮像装置32は、第2撮像レンズ18及び第2撮像素子52を備えている。なお、以下では、説明の便宜上、第1撮像素子38及び第2撮像素子52を区別して説明する必要がない場合、符号を付さずに「撮像素子」と称する。
スマートデバイス10を縦置きの状態にした場合の筐体12の背面12Aの左上部(縦置きの状態のスマートデバイス10の背面視左上部)において、第1撮像レンズ16及び第2撮像レンズ18は、鉛直方向に沿って既定の間隔(例えば、数ミリの間隔)で配置されており、背面12Aから露出している。第1撮像レンズ16の中心は光軸L1上に位置している。第2撮像レンズ18の中心は光軸L2上に位置している。
第1撮像素子38の前方(物体側)には、第1撮像レンズ16が配置されている。第1撮像レンズ16は、被写体を示す被写体光(以下、単に「被写体光」とも称する)を取り込み、取り込んだ被写体光を第1撮像素子38に結像させる。第2撮像素子52の前方(物体側)には、第2撮像レンズ18が配置されている。第2撮像レンズ18は、被写体光を取り込み、取り込んだ被写体光を第2撮像素子52に結像させる。
一例として図2に示すように、筐体12の前面12Bには、指示キー22及びタッチパネル・ディスプレイ24が設けられている。スマートデバイス10を縦置きの状態にした場合の前面12Bの下部には、指示キー22が配置されており、指示キー22の上方にタッチパネル・ディスプレイ24が配置されている。なお、本実施形態では、指示キー22がタッチパネル・ディスプレイ24とは別に設けられているが、タッチパネル・ディスプレイ24上の仮想的な指示キーであってもよい。
指示キー22は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、ロック解除受付画面の表示の指示、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。なお、ロック解除受付画面とは、スマートデバイス10のロックを解除するための暗号を受け付ける画面を指す。
タッチパネル・ディスプレイ24は、ディスプレイ26及びタッチパネル28(図4も参照)を備えている。ディスプレイ26の一例としては、有機ELディスプレイが挙げられる。ディスプレイ26は、有機ELディスプレイではなく、液晶ディスプレイ又は無機ELディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ26は、本開示の技術に係る「表示部(ディスプレイ)」の一例である。
ディスプレイ26は、画像及び文字情報等を表示する。ディスプレイ26は、撮像素子を用いた連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ26は、静止画像及び/又は動画像の表示にも用いられる。更に、ディスプレイ26は、再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル28は、透過型のタッチパネルであり、ディスプレイ26の表示領域の表面に重ねられている。タッチパネル28は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。
なお、ここでは、タッチパネル・ディスプレイ24の一例として、タッチパネル28がディスプレイ26の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ24として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
一例として図3に示すように、スマートデバイス10は、撮像装置14の外に、コントローラ15及びUI系デバイス17を備えている。コントローラ15は、スマートデバイス10の全体を制御する。UI系デバイス17は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ15は、UI系デバイス17からの各種情報の取得、及びUI系デバイス17の制御を行う。
第1撮像装置30は、第1撮像レンズ16の他に、第1撮像装置本体36を備えている。第1撮像装置本体36の前方(物体側)には、第1撮像レンズ16が配置されている。
第1撮像装置本体36は、第1撮像素子38を備えている。第1撮像素子38は、受光面42Aを有する光電変換素子42を備えている。本実施形態において、第1撮像素子38は、CMOSイメージセンサである。また、ここでは、第1撮像素子38としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第1撮像素子38がCCDイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
第1撮像レンズ16は、対物レンズ16A、結像レンズ16B、及び絞り16Cを備えている。対物レンズ16A、結像レンズ16B、及び絞り16Cは、被写体側(物体側)から受光面42A側(像側)にかけて、光軸L1に沿って、対物レンズ16A、結像レンズ16B、及び絞り16Cの順に配置されている。ここでは、絞り16Cの一例として、開口が変化しない固定絞りが採用されている。絞り16Cが固定絞りの場合、露出調節は第1撮像素子38の電子シャッタで行う。絞り16Cは、固定絞りでなく、可変絞りであってもよい。なお、第1撮像レンズ16に含まれる対物レンズ16A、結像レンズ16B、及び絞り16Cはあくまでも一例であり、レンズの構成及び/又は絞り16Cの位置が変わっても本開示の技術は成立する。
被写体光は、第1撮像レンズ16を透過し、受光面42Aに結像される。第1撮像素子38は、受光面42Aで被写体光を受光し、受光した被写体光を光電変換素子42に対して光電変換させることで、被写体を撮像する。第1撮像素子38は、通信ライン46を介してコントローラ15に接続されており、コントローラ15からの指示に従って被写体を撮像することで、被写体の画像を示す第1画像データを生成する。ここで、光電変換素子42は、本開示の技術に係る「第1光電変換素子」の一例であり、光電変換素子42に結像される被写体光は、本開示の技術に係る「第1被写体光」の一例である。
一方、第2撮像装置32は、第2撮像レンズ18の他に、第2撮像装置本体50を備えている。第2撮像装置本体50の前方(物体側)には、第2撮像レンズ18が配置されている。
第2撮像装置本体50は、第2撮像素子52を備えている。第2撮像素子52は、受光面56Aを有する光電変換素子56を備えている。本実施形態において、第2撮像素子52は、CMOSイメージセンサである。また、ここでは、第2撮像素子52としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、第2撮像素子52がCCDイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
第2撮像レンズ18は、対物レンズ18A、ズームレンズ18B、及び絞り18Cを備えている。対物レンズ18A、ズームレンズ18B、及び絞り18Cは、被写体側(物体側)から受光面56A側(像側)にかけて、光軸L2に沿って、対物レンズ18A、ズームレンズ18B、及び絞り18Cの順に配置されている。ズームレンズ18Bは、モータ等の駆動源(図示省略)からの動力を受けることで作動する。すなわち、ズームレンズ18Bは、付与された動力に応じて光軸L2に沿って移動する。ここでは、絞り18Cの一例として、開口が変化しない固定絞りが採用されている。絞り18Cが固定絞りの場合、露出調節は第2撮像素子52の電子シャッタで行う。絞り18Cは、固定絞りでなく、可変絞りであってもよい。なお、第2撮像レンズ18に含まれる対物レンズ18A、ズームレンズ18B、及び絞り18Cはあくまでも一例であり、レンズの構成及び/又は絞り18Cの位置が変わっても本開示の技術は成立する。
被写体光は、第2撮像レンズ18を透過し、受光面56Aに結像される。第2撮像素子52は、受光面56Aで被写体光を受光し、受光した被写体光を光電変換素子56に対して光電変換させることで、被写体を撮像する。第2撮像素子52は、通信ライン58Aを介してコントローラ15に接続されており、コントローラ15からの指示に従って被写体を撮像することで、被写体の画像を示す第2画像データを生成する。ここで、光電変換素子56は、本開示の技術に係る「第2光電変換素子」の一例であり、光電変換素子56に結像される被写体光は、本開示の技術に係る「第2被写体光」の一例である。
なお、以下では、説明の便宜上、受光面42A及び56Aを区別して説明する必要がない場合、符号を付さずに「受光面」と称する。更に、以下では、説明の便宜上、光電変換素子42及び56を区別して説明する必要がない場合、符号を付さずに「光電変換素子」と称する。
第1撮像素子38は、通信ライン54を介して第2撮像素子52に接続されている。第2撮像素子52の後段には信号処理回路34が位置しており、第2撮像素子52は、通信ライン44を介して信号処理回路34に接続されている。すなわち、第1撮像素子38、第2撮像素子52、及び信号処理回路34は、直列に接続されている。なお、第2撮像素子52は、本開示の技術に係る「後段の撮像素子」の一例であり、信号処理回路34は、本開示の技術に係る「特定の出力先」の一例である。
詳しくは後述するが、第1撮像素子38は、被写体を撮像することで得た第1画像データを第2撮像素子52に出力し、第2撮像素子52は、第1撮像素子38からの第1画像データを受け付ける。信号処理回路34は、通信ライン35を介してコントローラ15に接続されており、第2撮像素子52は、画像データを信号処理回路34に出力する。図3、図4、図5A、及び図5Bに示す例において「画像データ」とは、第1画像データと、第2撮像素子52によって被写体が撮像されることで得られた第2画像データに基づく画像データとの総称を指す。
信号処理回路34は、LSIであり、具体的には、ASIC及びFPGAを含むデバイスである。信号処理回路34は、第2撮像素子52から入力された画像データに対して各種の信号処理を行う。信号処理回路34によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。
信号処理回路34は、通信ライン35を介してコントローラ15に接続されており、各種の信号処理が行われた画像データが、信号処理回路34によってコントローラ15に出力される。
なお、本実施形態では、信号処理回路34としてASIC及びFPGAを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、信号処理回路34は、ASIC、FPGA、又はPLDを含むデバイスであってもよいし、FPGA及びPLDを含むデバイスであってもよいし、ASIC及びPLDを含むデバイスであってもよい。
また、信号処理回路34は、CPU、ストレージ、及びメモリを含むコンピュータであってもよい。ここで、ストレージとは、不揮発性の記憶装置を指す。不揮発性の記憶装置の一例としては、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び/又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、EEPROM、HDD、及び/又はSSD等であってもよい。また、メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としては、RAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるCPUは、単数であってもよいし、複数であってもよい。また、CPUに代えてGPUを用いてもよい。また、信号処理回路34は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
第2撮像レンズ18は、光学ズーム機構59を備えている。光学ズーム機構59は、ズームレンズ18B及び駆動機構60を有する。ズームレンズ18Bは、駆動機構60に取り付けられており、駆動機構60は、ズームレンズ18Bを駆動させる。駆動機構60は、通信ライン58Bを介してコントローラ15に接続されており、コントローラ15からの指示に従って動作する。駆動機構60は、スライド機構(図示省略)、モータ(図示省略)及びドライバ(図示省略)を備えている。ドライバは、通信ライン58Bを介してコントローラ15に接続されている。コントローラ15は、駆動信号をドライバに出力する。駆動信号は、モータの駆動を制御する信号である。ドライバは、コントローラ15から入力された駆動信号に従ってモータを駆動させる。スライド機構は、ズームレンズ18Bを支持しており、モータの動力を受けることでズームレンズ18Bを光軸L2に沿ってスライドさせる。従って、光学ズーム機構59は、コントローラ15の制御下でズームレンズ18Bを光軸L2に沿ってスライドさせることで、焦点距離を変更する。第2撮像装置32の画角は、焦点距離が変更されることによって調節される。なお、光学ズーム機構59及び駆動機構60等の周辺の図はあくまでも概念図であり、光学ズーム機構60は様々な構成を有する。
一例として図4に示すように、コントローラ15は、CPU15A、ストレージ15B、及びメモリ15Cを備えている。また、コントローラ15は、通信I/F15D1、15D2及び15Eを備えている。CPU15Aは、本開示の技術に係る「制御部(プロセッサ)」の一例である。
CPU15A、ストレージ15B、メモリ15C、通信I/F15D1、通信I/F15D2、及び通信I/F15Eは、バス100を介して接続されている。なお、図4に示す例では、図示の都合上、バス100として1本のバスが図示されているが、複数本のバスであってもよい。バス100は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
ストレージ15Bは、各種パラメータ及び各種プログラムを記憶している。ストレージ15Bは、不揮発性の記憶装置である。ここでは、ストレージ15Bの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び/又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、EEPROM、HDD、及び/又はSSD等であってもよい。また、メモリ15Cは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ15Cの一例としては、RAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
ストレージ15Bには、各種プログラムが記憶されている。CPU15Aは、ストレージ15Bから必要なプログラムを読み出し、読み出したプログラムをメモリ15C上で実行する。CPU15Aは、メモリ15C上で実行するプログラムに従ってスマートデバイス10の全体を制御する。
通信I/F15D1は、通信ライン46を介して第1撮像装置30に接続されており、第1撮像装置30とCPU15Aとの間の各種情報の授受を司る。CPU15Aは、通信I/F15D1を介して第1撮像装置30を制御する。例えば、CPU15Aは、通信I/F15D1を介して第1撮像素子38に対して、撮像を行うタイミングを規定する第1撮像タイミング信号を供給することで第1撮像素子38によって行われる撮像のタイミングを制御する。
通信I/F15D2は、通信ライン58A及び58Bを介して第2撮像装置32に接続されており、第2撮像装置32とCPU15Aとの間の各種情報の授受を司る。CPU15Aは、通信I/F15D2を介して第2撮像装置32を制御する。例えば、CPU15Aは、通信I/F15D2を介して第2撮像素子52に対して、撮像を行うタイミングを規定する第2撮像タイミング信号を供給することで第2撮像素子52によって行われる撮像のタイミングを制御する。また、CPU15Aは、通信I/F15D2を介して駆動機構60に対して、駆動信号を供給することで駆動機構60の動作を制御する。
なお、以下では、第1撮像タイミング信号と第2撮像タイミング信号とを区別して説明する必要がない場合、「撮像タイミング信号」と称する。
通信I/F15Eは、通信ライン35を介して信号処理回路34に接続されており、信号処理回路34とCPU15Aとの間の各種情報の授受を司る。信号処理回路34は、通信I/F15Eを介してCPU15Aによって制御される。CPU15Aの制御下で信号処理回路34によって各種の信号処理が行われた画像データは、信号処理回路34によって通信I/F15Eに出力される。通信I/F15Eは、信号処理回路34から出力された画像データを受け付け、受け付けた画像データをCPU15Aに転送する。
バス100には、外部I/F104が接続されている。外部I/F104は、少なくとも一部が回路で構成された通信デバイスである。ここでは、外部I/F104として、少なくとも一部が回路で構成されたデバイスを例示しているが、これはあくまでも一例に過ぎない。外部I/F104は、ASIC、FPGA、及び/又はPLDを含むデバイスであってもよい。また、外部I/F104は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
外部I/F104の一例としては、USBインタフェースが挙げられる。USBインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の外部装置(図示省略)が直接または間接的に接続可能である。外部I/F104は、CPU15Aと外部装置との間の各種情報の授受を司る。
UI系デバイス17は、タッチパネル・ディスプレイ24及び受付デバイス84を備えている。ディスプレイ26及びタッチパネル28は、バス100に接続されている。従って、CPU15Aは、ディスプレイ26に対して各種情報を表示させ、タッチパネル28によって受け付けられた各種指示に従って動作する。受付デバイス84は、ハードキー部25を備えている。ハードキー部25は、指示キー22(図2参照)を含む少なくとも1つのハードキーである。ハードキー部25は、バス100に接続されており、CPU15Aは、ハードキー部25によって受け付けられた指示を取得し、取得した指示に従って動作する。但し、ハードキー部25が外部I/F104に接続されている構成もあり得る。
なお、スマートデバイス10は、LTE、5G、無線LAN、及び/又はBluetooth(登録商標)等の通信機能を有している。
一例として図5Aに示すように、撮像素子にはコントローラ15から撮像タイミング信号が入力される。撮像タイミング信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子からの1フレーム毎の画像データの読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。
撮像素子では、コントローラ15から入力された垂直同期信号に応じて定まる撮像フレームレートで、光電変換素子から画像データが読み出される。また、撮像素子では、光電変換素子から読み出された画像データに対して処理が行われ、処理された画像データが出力フレームレートで出力される。
撮像フレームレートと出力フレームレートは、“撮像フレームレート>出力フレームレート”の関係性を有している。つまり、出力フレームレートは、撮像フレームレートよりも低いフレームレートである。例えば、撮像フレームレートは、図5Aに示すように、期間T内に光電変換素子から8フレーム分の画像データの読み出しが行われるフレームレートであり、出力フレームレートは、図5Bに示すように、期間T内に2フレーム分の画像データの出力が行われるフレームレートである。撮像フレームレート及び出力フレームレートは何れも可変なフレームレートである。
本実施形態において、第2撮像素子52でのフレームレートは、第1撮像素子38でのフレームレートよりも高い。例えば、第2撮像素子52での撮像フレームレートとしては、例えば、240fpsが採用されており、第1撮像素子38での撮像フレームレートとしては、120fpsが採用されている。また、例えば、第2撮像素子52での出力フレームレートとしては、例えば、60fpsが採用されており、第1撮像素子38での出力フレームレートとしては、30fpsが採用されている。
なお、ここで例示している撮像フレームレートの値及び出力フレームレートの値はあくまでも一例に過ぎない。例えば、第2撮像素子52での撮像フレームレートは、240fpsを超えるフレームレートであってもよいし、240fps未満のフレームレートであってもよい。第1撮像素子38での撮像フレームレートは、第2撮像素子52での撮像フレームレートよりも低いフレームレートであれば、60fpsを超えるフレームレートであってもよいし、60fps未満のフレームレートであってもよい。また、例えば、第2撮像素子52での出力フレームレートは、60fpsを超えるフレームレートであってもよいし、60fps未満のフレームレートであってもよい。また、例えば、第1撮像素子38での出力フレームレートは、第2撮像素子52での出力フレームレートよりも低いフレームレートであれば、30fpsを超えるフレームレートであってもよいし、30fps未満のフレームレートであってもよい。
一例として図6に示すように、第1撮像素子38には、光電変換素子42、処理回路110、及びメモリ112が内蔵されている。第1撮像素子38は、光電変換素子42、処理回路110、及びメモリ112が1チップ化された撮像素子である。すなわち、光電変換素子42、処理回路110、及びメモリ112は1パッケージ化されている。第1撮像素子38では、光電変換素子42に対して処理回路110及びメモリ112が積層されている。具体的には、光電変換素子42及び処理回路110は、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されており、処理回路110及びメモリ112、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されている。ここでは、光電変換素子42、処理回路110、及びメモリ112の3層構造が例示されているが、本開示の技術はこれに限らず、処理回路110とメモリ112とを1層としたメモリ層と、光電変換素子42との2層構造であってもよい。
第2撮像素子52も第1撮像素子と同様の積層構造を有する撮像素子である。第2撮像素子52には、光電変換素子56、処理回路120、及びメモリ122が内蔵されている。第2撮像素子52は、光電変換素子56、処理回路120、及びメモリ122が1チップ化された撮像素子である。すなわち、光電変換素子56、処理回路120、及びメモリ122は1パッケージ化されている。第2撮像素子52では、光電変換素子56に対して処理回路120及びメモリ122が積層されている。具体的には、光電変換素子56及び処理回路120は、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されており、処理回路120及びメモリ122、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されている。ここでは、光電変換素子56、処理回路120、及びメモリ122の3層構造が例示されているが、本開示の技術はこれに限らず、処理回路120とメモリ122とを1層としたメモリ層と、光電変換素子56との2層構造であってもよい。なお、第2撮像素子52は、本開示の技術に係る「積層型撮像素子」の一例である。各光電変換素子と処理回路等が外部I/Fを介することなく接続されているため、相互に高速通信が可能になっている。
なお、以下では、処理回路110及び120を区別して説明する必要がない場合、符号を付さずに「処理回路」と称し、メモリ112及び122を区別して説明する必要がない場合、符号を付さずに「メモリ」と称する。
処理回路は、例えば、LSIである。メモリは、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリの一例として、DRAMが採用されている。なお、メモリがSRAM等の他の種類の記憶装置であっても本開示の技術は成立する。
処理回路は、ASIC及びFPGAを含むデバイスであり、上述のコントローラ15の指示に従って、撮像素子の全体を制御する。なお、ここでは、処理回路としてASIC及びFPGAを含むデバイスを例示しているが、本開示の技術はこれに限定されない。例えば、処理回路は、ASIC、FPGA、又はPLDを含むデバイスであってもよいし、FPGA及びPLDを含むデバイスであってもよいし、ASIC及びPLDを含むデバイスであってもよい。
また、処理回路は、CPU、ストレージ、及びメモリを含むコンピュータであってもよい。ストレージとは、フラッシュメモリ等の不揮発性の記憶装置を指す。メモリは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリの一例としてはRAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。コンピュータに含まれるCPUは、単数であってもよいし、複数であってもよい。また、CPUに代えてGPUを用いてもよい。また、処理回路は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
光電変換素子は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“4896×3265”画素分のフォトダイオードが挙げられる。
光電変換素子に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタ、R(赤)に対応するRフィルタ、及びB(青)に対応するBフィルタを含む。
光電変換素子は、R画素、G画素、及びB画素を有する。R画素は、Rフィルタが配置されたフォトダイオードに対応する画素であり、G画素は、Gフィルタが配置されたフォトダイオードに対応する画素であり、B画素は、Bフィルタが配置されたフォトダイオードに対応する画素である。R画素、G画素、及びB画素は、行方向(水平方向)及び列方向(垂直方向)の各々に既定の周期性で配置されている。本実施形態では、R画素、G画素、及びB画素がX-Trans(登録商標)配列に対応した周期性で配列されている。なお、ここでは、X-Trans配列を例示しているが、本開示の技術はこれに限定されず、R画素、G画素、及びB画素の配列は、ベイヤ配列又はハニカム(登録商標)配列などであってもよい。
撮像素子は、いわゆる電子シャッタ機能を有しており、コントローラ15の制御下で電子シャッタ機能を働かせることで、光電変換素子内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。撮像素子での撮像は、ローリングシャッタ方式の電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
光電変換素子42の物体側の領域の面積(受光領域の広さ)と光電変換素子56の物体側の領域の面積(受光領域の広さ)とは同一である。一例として図7に示すように、第1画像データは、光電変換素子42のうちの指定された第1領域42Bから得られ、第2画像データは、光電変換素子56のうちの指定された第2領域56Bから得られる。第2領域56Bは、第1領域42Bよりも広い領域である。つまり、光電変換素子42から切り出された第1領域42Bよりも、光電変換素子56から切り出された第2領域56Bの方が広い領域である。図7に示す例では、第1領域42Bは、アスペクト比が16:9で規定された領域であり、第2領域56Bは、アスペクト比が3:2で規定された領域である。
一例として図8に示すように、処理回路110は、通信I/F110D1及び110D2を備えている。コントローラ15の通信I/F15D1は、処理回路110の通信I/F110D1に接続されており、第1撮像タイミング信号を通信I/F110D1に出力する。通信I/F110D1は、通信I/F15D1から出力された第1撮像タイミング信号を受け付ける。
第2撮像素子52は、通信I/F120D1及び120D2を備えている。通信I/F120D2は、第1撮像素子38の通信I/F110D2に接続されている。処理回路110の通信I/F110D2は、第1画像データ等の各種情報を第2撮像素子52の通信I/F120D2に出力し、通信I/F120D2は、通信I/F110D2から出力された各種情報を受け付ける。第2撮像素子52の通信I/F120D1は、コントローラ15の通信I/F15D2に接続されている。コントローラ15は、第2撮像タイミング信号を含む各種情報を第2撮像素子52の通信I/F120D1に出力する。通信I/F120D1は、通信I/F15D2から出力された各種情報を受け付ける。
第1撮像素子38において、処理回路110は、通信I/F110D1及び通信I/F110D2の他に、読出回路110A、デジタル処理回路110B、及び制御回路110Cを備えている。
読出回路110Aは、光電変換素子42、デジタル処理回路110B、及び制御回路110Cの各々に接続されている。デジタル処理回路110Bは、制御回路110Cに接続されている。制御回路110Cは、メモリ112、通信I/F110D1、及び通信I/F110D2の各々に接続されている。
上述の第1画像データは、一例として図8に示すように、第1アナログ画像データ70Aと第1デジタル画像データ70Bとに大別される。なお、以下では、説明の便宜上、第1アナログ画像データ70Aと第1デジタル画像データ70Bとを区別して説明する必要がない場合、符号を付さずに「第1画像データ」と称する。
処理回路110の通信I/F110D1及び110D2の各々は、少なくとも一部が回路で構成された通信デバイスである。また、コントローラ15の通信I/F15D1及び15D2の各々も、少なくとも一部が回路で構成された通信デバイスである。更に、第2撮像素子52の通信I/F120D1及び120D2の各々も、少なくとも一部が回路で構成された通信デバイスである。
処理回路110の通信I/F110D1とコントローラ15の通信I/F15D1との間は、PCIeの接続規格に従って接続されている。また、処理回路110の通信I/F110D2と第2撮像素子52の通信I/F120D2との間も、PCIeの接続規格に従って接続されている。更に、第2撮像素子52の通信I/F120D1とコントローラ15の通信I/F15D2との間も、PCIeの接続規格に従って接続されている。
通信I/F110D1は、コントローラ15の通信I/F15D1から出力された第1撮像タイミング信号を受け付け、受け付けた第1撮像タイミング信号を制御回路110Cに転送する。
読出回路110Aは、制御回路110Cの制御下で、光電変換素子42を制御し、光電変換素子42により撮像されることで得られた第1アナログ画像データ70Aを光電変換素子42から読み出す。光電変換素子42からの第1アナログ画像データ70Aの読み出しは、コントローラ15から処理回路110に入力された第1撮像タイミング信号に従って行われる。すなわち、第1アナログ画像データ70Aは、第1撮像タイミング信号によって規定された第1撮像フレームレートで読出回路110Aによって光電変換素子42から読み出される。
具体的には、先ず、通信I/F110D1がコントローラ15から第1撮像タイミング信号を受け付け、受け付けた第1撮像タイミング信号を制御回路110Cに転送する。次に、制御回路110Cは、通信I/F110D1から転送された第1撮像タイミング信号を読出回路110Aに転送する。すなわち、読出回路110Aには、垂直同期信号及び水平同期信号が転送される。そして、読出回路110Aは、制御回路110Cから転送された垂直同期信号に従って光電変換素子42からフレーム単位での第1アナログ画像データ70Aの読み出しを開始する。また、読出回路110Aは、制御回路110Cから転送された水平同期信号に従って水平ライン単位での第1アナログ画像データ70Aの読み出しを開始する。
読出回路110Aは、光電変換素子42から読み出された第1アナログ画像データ70Aに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子42に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、第1アナログ画像データ70Aに対してゲインをかける処理である。このようにしてアナログ信号処理が行われた第1アナログ画像データ70Aは、読出回路110Aによってデジタル処理回路110Bに出力される。
デジタル処理回路110Bは、A/D変換器110B1を備えている。A/D変換器110B1は、第1アナログ画像データ70AをA/D変換する。
デジタル処理回路110Bは、読出回路110Aから入力された第1アナログ画像データ70Aに対してデジタル信号処理を行う。デジタル信号処理には、例えば、A/D変換器110B1によるA/D変換、及びデジタルゲイン処理が含まれる。
第1アナログ画像データ70Aに対しては、A/D変換器110B1によってA/D変換が行われ、これによって、第1アナログ画像データ70Aがデジタル化され、RAWデータとして第1デジタル画像データ70Bが得られる。そして、第1デジタル画像データ70Bに対しては、デジタル処理回路110Bによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、第1デジタル画像データ70Bに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られた第1デジタル画像データ70Bは、デジタル処理回路110Bによって制御回路110Cに出力される。
メモリ112は、複数フレームの第1デジタル画像データ70Bをフレーム単位で記憶可能なメモリである。制御回路110Cは、デジタル処理回路110Bから入力された第1デジタル画像データ70Bをメモリ112に対して記憶させる。メモリ112は、画素単位の記憶領域を有しており、第1デジタル画像データ70Bは、制御回路110Cによって、画素単位で、メモリ112のうちの対応する記憶領域に記憶される。制御回路110Cは、メモリ112に対してアクセス可能であり、メモリ112から第1デジタル画像データ70Bを取得する。メモリ112に対するアクセスの一例としては、ランダムアクセスが挙げられる。
一例として図9に示すように、処理回路120は、通信I/F120D1、120D2及び120D3を備えている。コントローラ15の通信I/F15D2は、処理回路120の通信I/F120D1に接続されており、第2撮像タイミング信号を通信I/F120D1に出力する。通信I/F120D1は、通信I/F15D2から出力された第2撮像タイミング信号を受け付ける。
信号処理回路34は、通信I/F34A及び34Bを備えている。通信I/F34A及び34Bの各々は、少なくとも一部が回路で構成された通信デバイスである。通信I/F34Aは、処理回路120の通信I/F120D3に接続されており、通信I/F34Bは、コントローラ15の通信I/F15Eに接続されている。
処理回路120の通信I/F120D1とコントローラ15の通信I/F15D2との間は、PCIeの接続規格に従って接続されている。また、処理回路120の通信I/F120D3と信号処理回路34の通信I/F34Aとの間も、PCIeの接続規格に従って接続されている。更に、信号処理回路34の通信I/F34Bとコントローラ15の通信I/F15Eとの間も、PCIeの接続規格に従って接続されている。
処理回路120の通信I/F120D3は、第1画像データ及び後述の合成画像データ90(図15参照)等の各種情報を信号処理回路34の通信I/F34Aに出力し、通信I/F34Aは、通信I/F120D3から出力された各種情報を受け付ける。信号処理回路34は、通信I/F34Aによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。通信I/F34Bは、コントローラ15の通信I/F15Eに接続されており、各種情報をコントローラ15の通信I/F15Eに出力する。通信I/F15Eは、通信I/F34Bから出力された各種情報を受け付ける。
なお、以下では、通信I/F110D1、通信I/F110D2、通信I/F120D1、通信I/F120D2、通信I/F102D3、通信I/F34A、通信I/F34B、通信I/F15E、通信I/F15D1、及び通信I/F15D2を区別して説明する必要がない場合、符号を付さずに「通信I/F」と称する。
上述したように、ここでは、通信I/Fとして、少なくとも一部が回路で構成された通信デバイスが採用されている。通信I/Fの一例としては、ASIC、FPGA、及び/又はPLDを含むデバイスが挙げられる。また、通信I/Fは、CPU、フラッシュメモリ等のストレージ、及びRAM等のメモリを含むコンピュータであってもよい。この場合、コンピュータに含まれるCPUは、単数であってもよいし、複数であってもよい。CPUに代えてGPUを用いてもよい。また、通信I/Fは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
第2撮像素子52において、処理回路120は、通信I/F120D1、120D2及び120D3の他に、読出回路120A、デジタル処理回路120B、及び制御回路120Cを備えている。なお、制御回路120Cは、本開示の技術に係る「処理部(制御回路)」の一例である。
読出回路120Aは、光電変換素子56、デジタル処理回路120B、及び制御回路120Cの各々に接続されている。デジタル処理回路120Bは、制御回路120Cに接続されている。制御回路120Cは、メモリ122、通信I/F120D1、通信I/F120D2、及び通信I/F120D3の各々に接続されている。
上述の第2画像データは、一例として図9に示すように、第2アナログ画像データ80Aと第2デジタル画像データ80Bとに大別される。なお、以下では、説明の便宜上、第2アナログ画像データ80Aと第2デジタル画像データ80Bとを区別して説明する必要がない場合、符号を付さずに「第2画像データ」と称する。
通信I/F120D1は、コントローラ15の通信I/F15D2から出力された第2撮像タイミング信号を受け付け、受け付けた第2撮像タイミング信号を制御回路120Cに転送する。
読出回路120Aは、制御回路120Cの制御下で、光電変換素子56を制御し、光電変換素子56により撮像されることで得られた第2アナログ画像データ80Aを光電変換素子56から読み出す。光電変換素子56からの第2アナログ画像データ80Aの読み出しは、コントローラ15から処理回路120に入力された第2撮像タイミング信号に従って行われる。すなわち、第2アナログ画像データ80Aは、第2撮像タイミング信号によって規定された第2撮像フレームレートで読出回路120Aによって光電変換素子56から読み出される。
具体的には、先ず、通信I/F120D1がコントローラ15から第2撮像タイミング信号を受け付け、受け付けた第2撮像タイミング信号を制御回路120Cに転送する。次に、制御回路120Cは、通信I/F120D1から転送された第2撮像タイミング信号を読出回路120Aに転送する。すなわち、読出回路120Aには、垂直同期信号及び水平同期信号が転送される。そして、読出回路120Aは、制御回路120Cから転送された垂直同期信号に従って光電変換素子56からフレーム単位での第2アナログ画像データ80Aの読み出しを開始する。また、読出回路120Aは、制御回路120Cから転送された水平同期信号に従って水平ライン単位での第2アナログ画像データ80Aの読み出しを開始する。
読出回路120Aは、光電変換素子56から読み出された第2アナログ画像データ80Aに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子56に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、第2アナログ画像データ80Aに対してゲインをかける処理である。このようにしてアナログ信号処理が行われた第2アナログ画像データ80Aは、読出回路120Aによってデジタル処理回路120Bに出力される。
デジタル処理回路120Bは、A/D変換器120B1を備えている。A/D変換器120B1は、第2アナログ画像データ80AをA/D変換する。
デジタル処理回路120Bは、読出回路120Aから入力された第2アナログ画像データ80Aに対してデジタル信号処理を行う。デジタル信号処理には、例えば、A/D変換器120B1によるA/D変換、及びデジタルゲイン処理が含まれる。
第2アナログ画像データ80Aに対しては、A/D変換器120B1によってA/D変換が行われ、これによって、第2アナログ画像データ80Aがデジタル化され、RAWデータとして第2デジタル画像データ80Bが得られる。そして、第2デジタル画像データ80Bに対しては、デジタル処理回路120Bによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、第2デジタル画像データ80Bに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られた第2デジタル画像データ80Bは、デジタル処理回路120Bによって制御回路120Cに出力される。
なお、以下では、説明の便宜上、第1デジタル画像データ70B及び第2デジタル画像データ80Bを区別して説明する必要がない場合、符号を付さずに「デジタル画像データ」と称する。
メモリ122は、複数フレームのデジタル画像データをフレーム単位で記憶可能なメモリである。制御回路120Cは、デジタル処理回路120Bから入力された第2デジタル画像データ80Bをメモリ122に対して記憶させる。また、制御回路120Cは、通信I/F120D2によって受け付けられた第1デジタル画像データ70Bをメモリ122に対して記憶させる。メモリ122は、画素単位の記憶領域を有しており、デジタル画像データは、制御回路120Cによって、画素単位で、メモリ122のうちの対応する記憶領域に記憶される。制御回路120Cは、メモリ122に対してアクセス可能である。メモリ122に対するアクセスの一例としては、ランダムアクセスが挙げられる。
制御回路120Cは、メモリ122からデジタル画像データを取得し、取得したデジタル画像データに基づく画像データを通信I/F120D3を介して信号処理回路34に出力する。ここで、「デジタル画像データに基づく画像データ」とは、第1デジタル画像データ70B、又は第2デジタル画像データ80Bに基づく画像データを指す。第2デジタル画像データ80Bに基づく画像データとは、例えば、第2デジタル画像データ80B、又は、後述の合成画像データ90を指す。
信号処理回路34では、通信I/F120D3から入力された画像データが通信I/F34Aによって受け付けられ、受け付けられた画像データに対して各種の信号処理が行われる。
一例として図10に示すように、第1撮像素子38では、光電変換素子42が露光されることで第1アナログ画像データ70Aが生成され、垂直同期信号が入力されると、光電変換素子42からの第1アナログ画像データ70Aの読み出し、及び光電変換素子42に対するリセットが行われる。光電変換素子42に対するリセットとは、光電変換素子42内の各画素の残留電荷を消去する動作を指す。光電変換素子42による露光は、光電変換素子42に対する読出回路110Aによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。
第1アナログ画像データ70Aに対してデジタル信号処理が行われることによって第1デジタル画像データ70Bが生成され、生成された第1デジタル画像データ70Bはメモリ112に記憶される。そして、メモリ112に記憶されている第1デジタル画像データ70Bは第2撮像素子52に出力され、第2撮像素子52のメモリ122に記憶される。
一方、第2撮像素子52では、光電変換素子56が露光されることで第2アナログ画像データ80Aが生成され、垂直同期信号が入力されると、光電変換素子56からの第2アナログ画像データ80Aの読み出し、及び光電変換素子56に対するリセットが行われる。光電変換素子56に対するリセットとは、光電変換素子56内の各画素の残留電荷を消去する動作を指す。光電変換素子56による露光は、光電変換素子56に対する読出回路120Aによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。
光電変換素子56での露光時間は、可変露光時間である。可変露光時間とは、制御回路120Cによってフレーム毎に変更可能な露光時間を指す。例えば、制御回路120Cは、コントローラ15の制御下で、撮像条件等(例えば、撮像シーンの明るさ及び/又は受付デバイス84によって受け付けられた指示等)に従って、光電変換素子56での露光時間を変更する。光電変換素子56での露光時間は、例えば、第2撮像素子52に入力される垂直同期信号の入力タイミングをずらすことによって変更される。このように、光電変換素子56での露光時間がフレーム毎に変更されることによって、第2撮像素子52では、フレーム毎に露出量が変更可能な撮像が行われる。
第2アナログ画像データ80Aに対してデジタル信号処理が行われることによって第2デジタル画像データ80Bが生成される。第2デジタル画像データ80Bは、制御回路120Cによってメモリ122に記憶される。
ところで、本実施形態に係る撮像装置14では、広角撮像と望遠撮像とが行われる。広角撮像は、第1撮像装置30によって行われ、望遠撮像は、第2撮像装置32によって行われる。一例として図11に示すように、第1撮像装置30に対して設定されている焦点距離(以下、「第1焦点距離」と称する)は、第2撮像装置32に対して設定されている焦点距離(以下、「第2焦点距離」と称する)よりも短い。そのため、第1撮像装置30による撮像の画角は、第2撮像装置32による撮像の画角よりも広い。また、第2焦点距離は、光学ズーム機構59(図3参照)によって変更される。なお、この場合、ズームレンズ18Bの移動範囲は、“第2焦点距離>第1焦点距離”の関係性が維持される範囲に制限されている。
本実施形態において、光軸L1(図3参照)上での結像レンズ16Bの位置は不変である。なお、結像レンズ16Bは、光軸L1で移動可能なレンズであってもよく、この場合、結像レンズ16Bの移動範囲は、“第2焦点距離>第1焦点距離”の関係性が維持される範囲に制限される。
第1撮像装置30及び第2撮像装置32は、“第2焦点距離>第1焦点距離”の関係性を有するので、一例として図12に示すように、第1撮像装置30による撮像範囲(以下、「第1撮像範囲」と称する)は、第2撮像装置32による撮像範囲(以下、「第2撮像範囲」と称する)よりも広い。また、第1撮像範囲及び第2撮像範囲は重複している。すなわち、第1撮像範囲に第2撮像範囲が含まれている。
一例として図13に示すように、第1撮像範囲が第1撮像装置30に含まれる第1撮像素子38よって撮像されることで得られた第1デジタル画像データ70Bにより示される画像である第1画像(以下、単に「第1画像」とも称する)は、第2撮像範囲が第2撮像装置32に含まれる第2撮像素子52によって撮像されることで得られた第2デジタル画像データ80Bにより示される画像である第2画像(以下、単に「第2画像」とも称する)よりも広角な画像である。そして、第2画像は、第1画像よりも解像度が高い。つまり、第2画像の画素密度は、第1画像の画素密度よりも大きい。
ここで、画像データの伝送経路及び処理方法の一例について図14及び図15を参照しながら説明する。
一例として図14に示すように、第1撮像素子38によって被写体が撮像されることで得られた第1デジタル画像データ70Bは、メモリ112に一旦記憶されてから、通信I/F110D2によって第2撮像素子52に出力される。第1撮像素子38及び第2撮像素子52は、直列に接続された撮像素子であり、前段の撮像素子である第1撮像素子38の通信I/F120D2によって第1デジタル画像データ70Bが後段の撮像素子である第2撮像素子52に出力される。そして、通信I/F120D2によって出力された第1デジタル画像データ70Bは、第2撮像素子52の通信I/F120D2によって受け付けられ、受け付けられた第1デジタル画像データ70Bはメモリ122に記憶される。また、第2撮像素子52によって撮像されることで得られた第2デジタル画像データ80Bもメモリ122に記憶される。
メモリ122に記憶される第1デジタル画像データ70Bは、第1焦点距離で第1撮像素子38によって第1撮像範囲が撮像されることで得られたデジタル画像データである。また、メモリ122に記憶される第2デジタル画像データ80Bは、第1焦点距離よりも長い第2焦点距離で第2撮像素子によって第2撮像範囲が撮像されることで得られたデジタル画像データである。なお、第1デジタル画像データ70Bは、本開示の技術に係る「第1焦点距離画像データ」の一例であり、第2デジタル画像データ80Bは、本開示の技術に係る「第2焦点距離画像データ」の一例である。
一例として図15に示すように、第2撮像素子52において、制御回路120Cは、検出部120C1、判定部120C2、及び合成部120C3を有する。メモリ122には、第1撮像素子38によって第1撮像範囲(図12参照)が撮像されることで得られた第1デジタル画像データ70Bと、第2撮像素子52によって第2撮像範囲(図12参照)が撮像されることで得られた第2デジタル画像データ80Bとが記憶されている。
制御回路120Cは、メモリ122に記憶されている第2デジタル画像データ80Bを処理する。具体的には、先ず、検出部120C1が、メモリ122に記憶されている第2デジタル画像データにより示される第2画像から人物を示す人物画像を検出する検出処理を行う。検出部120C1は、公知の顔検出処理を利用することで人物画像の検出を行う。顔検出処理は、公知技術であるため、ここでの説明は省略する。なお、人物は、本開示の技術に係る「特定の被写体」の一例であり、「人物画像」は、本開示の技術に係る「特定被写体画像」の一例である。また、人物は、不特定の人物であってもよいし、特定の人物(特定の個人)であってもよい。
なお、ここでは、本開示の技術に係る「特定の被写体」の一例として、人物を例示しているが、本開示の技術はこれに限定されず、人物以外の被写体(例えば、建造物、乗り物、植物、虫、動物、飲食物、及び/又は小物等)であってもよい。また、検出処理は、特定の被写体を示す特定被写体画像、又は、特定被写体画像の特徴量(周波数特性等)がコンピュータ等によって予め学習(例えば、機械学習)されることで得られた学習結果を用いることによって行われるようにしてもよい。
判定部120C2は、検出処理によって第2画像から人物画像が検出された否かを判定する。検出処理によって人物画像が検出されなかった場合、判定部120C2は、メモリ122から第1デジタル画像データ70Bを取得する。判定部120C2は、メモリ122から取得した第1デジタル画像データ70Bを通信I/F120D3を介して信号処理回路34に出力する。
検出処理によって人物画像が検出された場合、判定部120C2は、検出処理によって人物画像が検出されたことを示す検出成功信号を合成部120C3に出力する。合成部120C3は、判定部120C2から検出成功信号が入力されると、メモリ122から第1デジタル画像データ70Bを取得する。そして、合成部120C3は、メモリ122から取得した第1デジタル画像データ70Bと、検出部120C1での検出対象とされた第2デジタル画像データ80Bとを合成することで合成画像データ90を生成する。合成画像データ90により示される画像は、例えば、図15に示すように、第1画像内に第2画像が埋め込まれた画像である。合成部120C3は、合成画像データ90を通信I/F120D3を介して信号処理回路34に出力する。
なお、ここで、判定部120C2及び合成部120C3によってメモリ122から取得される第1デジタル画像データ70Bは、例えば、検出部120C1での検出対象とされた第2デジタル画像データ80Bを得るために第2撮像素子52によって第2撮像範囲が撮像されたタイミングと同期して第1撮像素子38によって第1撮像範囲が撮像されることで得られたデジタル画像データである。
また、ここでは、合成画像データ90により示される画像の一例として、第1画像内に第2画像が埋め込まれた画像が挙げられているが、本開示の技術はこれに限定されない。例えば、第1画像に対して第2画像を重畳させてもよいし、第1画像と第2画像とが隣り合った状態で連結させてもよいし、第1画像と第2画像とによるアルファブレンドであってもよいし、他の合成方法であってもよい。
信号処理回路34では、第2撮像素子52から入力された画像データ(図15に示す例では、第1デジタル画像データ70B又は合成画像データ90)に対して各種の信号処理を行い、各種の信号処理を行った画像データをコントローラ15に出力する。コントローラ15では、画像データが入力されると、CPU15Aによって画像データがストレージ15Bに記憶されたり、外部I/F104を介して、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、及び/又はメモリカード等に記憶されたりする。また、コントローラ15では、画像データが入力されると、CPU15Aによって画像データに基づく画像が静止画像又はライブビュー画像としてディスプレイ26に表示される。なお、ここでは、画像データの記憶と、画像データに基づく画像の表示との双方が行われる形態例を挙げているが、画像データの記憶、又は、画像データに基づく画像の表示が行われるようにしてもよい。
次に、スマートデバイス10の本開示の技術に係る部分の作用について説明する。
先ず、第1撮像素子38の処理回路110によって実行される前段撮像処理の流れについて図16を参照しながら説明する。
図12に示す前段撮像処理では、先ず、ステップST10で、制御回路110Cは、コントローラ15からの垂直同期信号が通信I/F110D1によって受け付けられたか否かを判定する。ステップST10において、コントローラ15からの垂直同期信号が通信I/F110D1によって受け付けられていない場合は、判定が否定されて、前段撮像処理はステップST22へ移行する。ステップST10において、コントローラ15からの垂直同期信号が通信I/F110D1によって受け付けられた場合は、判定が肯定されて、前段撮像処理はステップST12へ移行する。
ステップST12で、読出回路110Aは、第1アナログ画像データ70Aの読み出し及び光電変換素子42のリセットを行い、その後、前段撮像処理はステップST14へ移行する。
ステップST14で、デジタル処理回路110Bは、第1アナログ画像データ70Aに対してデジタル信号処理を行い、その後、前段撮像処理はステップST16へ移行する。
ステップST14において第1アナログ画像データ70Aに対してデジタル信号処理が行われることで得られた第1デジタル画像データ70Bは、制御回路110Cに転送される。
ステップST16で、制御回路110Cは、第1デジタル画像データ70Bをメモリ112に対して記憶させ、その後、前段撮像処理はステップST18へ移行する。
ステップST18で、制御回路110Cは、第1デジタル画像データ70Bを第2撮像素子52に出力するタイミング(第1出力タイミング)が到来したか否かを判定する。第1出力タイミングの一例としては、第1撮像素子38の出力フレームレートによって規定されたタイミングが挙げられる。ステップST18において、第1出力タイミングが到来していない場合は、判定が否定されて、ステップST18の判定が再び行われる。ステップST18において、第1出力タイミングが到来した場合は、判定が肯定されて、前段撮像処理はステップST20へ移行する。
ステップST20で、制御回路110Cは、メモリ112から第1デジタル画像データ70Bを取得し、取得した第1デジタル画像データ70Bを、通信I/F110D2を介して第2撮像素子52に出力し、その後、前段撮像処理はステップST22へ移行する。
ステップST22で、制御回路110Cは、前段撮像処理を終了する条件(以下、「前段撮像処理終了条件」と称する)を満足したか否かを判定する。前段撮像処理終了条件の一例としては、前段撮像処理を終了させる指示が受付デバイス84(図4参照)によって受け付けられた、との条件が挙げられる。ステップST22において、前段撮像処理終了条件を満足していない場合は、判定が否定されて、前段撮像処理はステップST10へ移行する。ステップST22において、前段撮像処理終了条件を満足した場合は、判定が肯定されて、前段撮像処理が終了する。
次に、第2撮像素子52の処理回路120によって実行される後段撮像処理の流れについて図17A及び図17Bを参照しながら説明する。
図17Aに示す後段撮像処理では、先ず、ステップST30で、制御回路120Cは、コントローラ15からの垂直同期信号が通信I/F120D1によって受け付けられたか否かを判定する。ステップST30において、コントローラ15からの垂直同期信号が通信I/F120D1によって受け付けられていない場合は、判定が否定されて、後段撮像処理はステップST56へ移行する。ステップST30において、コントローラ15からの垂直同期信号が通信I/F120D1によって受け付けられた場合は、判定が肯定されて、後段撮像処理はステップST32へ移行する。
ステップST32で、読出回路120Aは、第2アナログ画像データ80Aの読み出し及び光電変換素子56のリセットを行い、その後、後段撮像処理はステップST34へ移行する。
ステップST34で、デジタル処理回路120Bは、第2アナログ画像データ80Aに対してデジタル信号処理を行い、その後、後段撮像処理はステップST36へ移行する。
ステップST34において第2アナログ画像データ80Aに対してデジタル信号処理が行われることで得られた第2デジタル画像データ80Bは、制御回路120Cに転送される。
ステップST36で、制御回路120Cは、第2デジタル画像データ80Bをメモリ122に対して記憶させ、その後、後段撮像処理はステップST38へ移行する。
ステップST38で、制御回路120Cは、第1撮像素子38から第1デジタル画像データ70Bが入力されたか否かを判定する。ステップST38において、第1撮像素子38から第1デジタル画像データ70Bが入力されていない場合は、判定が否定されて、ステップST38の判定が再び行われる。ステップST38において、第1撮像素子38から第1デジタル画像データ70Bが入力された場合は、判定が肯定されて、後段撮像処理はステップST40へ移行する。
ステップST40で、制御回路120Cは、ステップST38で入力された第1デジタル画像データ70Bをメモリ122に対して記憶させ、その後、後段撮像処理はステップST42へ移行する。
ステップST42で、検出部120C1は、メモリ122から第2デジタル画像データ80Bを取得し、その後、後段撮像処理はステップST44へ移行する。
ステップST44で、検出部120C1は、ステップST44で取得した第2デジタル画像データ80Bを用いて検出処理を行い、その後、後段撮像処理はステップST45へ移行する。
ステップST45で、判定部120C2は、第2デジタル画像データ80Bにより示される第2画像から人物画像がステップST44での検出処理によって検出されたか否かを判定する。ステップST45において、第2画像から人物画像が検出されていない場合は、判定が否定されて、後段撮像処理は、図17Bに示すステップST46へ移行する。ステップST45において、第2画像から人物画像が検出された場合は、判定が肯定されて、後段撮像処理はステップST50へ移行する。
図17Bに示すステップST46で、判定部120C2は、第1デジタル画像データ70Bを信号処理回路34に出力するタイミング(第2出力タイミング)が到来したか否かを判定する。第2出力タイミングの一例としては、第2撮像素子52の出力フレームレートによって規定されたタイミングが挙げられる。
ステップST46において、第2出力タイミングが到来していない場合は、判定が否定されて、ステップST46の判定が再び行われる。ステップST46において、第2出力タイミングが到来した場合は、判定が肯定されて、後段撮像処理はステップST48へ移行する。
ステップST48で、判定部120C2は、メモリ122から第1デジタル画像データ70Bを取得し、取得した第1デジタル画像データ70Bを、通信I/F120D3を介して信号処理回路34に出力し、その後、後段撮像処理は、図17Aに示すステップST56へ移行する。
図17Aに示すステップST50で、合成部120C3は、メモリ122から第1デジタル画像データ70Bを取得し、取得した第1デジタル画像データ70Bと、ステップST44で検出処理の検出対象として用いられた第2デジタル画像データ80Bとを合成することで合成画像データ90を生成し、その後、後段撮像処理はステップST52へ移行する。
ステップST52で、合成部120C3は、第2出力タイミングが到来したか否かを判定する。ステップST52において、第2出力タイミングが到来していない場合は、判定が否定されて、ステップST52の判定が再び行われる。ステップST52において、第2出力タイミングが到来した場合は、判定が肯定されて、後段撮像処理はステップST54へ移行する。
ステップST54で、合成部120C3は、ステップST50で生成した合成画像データ90を、通信I/F120D3を介して信号処理回路34に出力し、その後、後段撮像処理はステップST56へ移行する。
ステップST56で、制御回路120Cは、後段撮像処理を終了する条件(以下、「後段撮像処理終了条件」と称する)を満足したか否かを判定する。後段撮像処理終了条件の一例としては、後段撮像処理を終了させる指示が受付デバイス84(図4参照)によって受け付けられた、との条件が挙げられる。ステップST56において、後段撮像処理終了条件を満足していない場合は、判定が否定されて、後段撮像処理はステップST30へ移行する。ステップST56において、後段撮像処理終了条件を満足した場合は、判定が肯定されて、後段撮像処理が終了する。
以上説明したように、スマートデバイス10では、第1撮像素子38によって第1撮像範囲が撮像されることで得られた第1デジタル画像データ70Bが第2撮像素子52のメモリ122に記憶される。また、第2撮像素子52によって第2撮像範囲が撮像されることで得られた第2デジタル画像データ80Bがメモリ122に記憶される。第2撮像素子52では、第2デジタル画像データ80Bにより示される第2画像から人物画像を検出する検出処理が検出部120C1によって行われる。第2画像は、第1画像よりも高い解像度の画像であるので、第1画像を用いて人物画像の検出が行われる場合に比べ、高い精度で人物画像が検出される。
ここで、検出処理によって第2画像から人物画像が検出されなかった場合に、メモリ122に記憶されている第1デジタル画像データ70Bが信号処理回路34に出力される。また、検出処理によって第2画像から人物画像が検出された場合に、メモリ122に記憶されている第1デジタル画像データ70Bと、検出処理で用いた第2デジタル画像データ80Bとが合成部120C3によって合成される。そして、第1デジタル画像データ70Bと第2デジタル画像データ80Bとが合成されることで得られた合成画像データ90が信号処理回路34に出力される。
従って、本構成によれば、第1画像のみを検出対象にして人物画像を検出する処理が行われることによって得られる検出結果に関わらず、常に第1デジタル画像データ70Bが信号処理回路34に出力される場合に比べ、高い精度で人物画像を検出する検出処理が行われ、検出処理による検出結果に適した解像度の画像を示す画像データを信号処理回路34に出力することができる。
また、スマートデバイス10では、第1撮像素子38及び第2撮像素子52の互いの撮像範囲が重複している。すなわち、第1撮像範囲内に第2撮像範囲が含まれている。従って、本構成によれば、第1撮像範囲と第2撮像範囲とが重複していない場合に比べ、第1撮像範囲内に人物が存在しているか否かを容易に特定することができる。
また、スマートデバイス10では、第2デジタル画像データ80Bは、第1焦点距離よりも長い第2焦点距離で第2撮像素子52によって撮像されることで得られた画像データである。従って、本構成によれば、第1焦点距離と同一の焦点距離又は第1焦点距離よりも短い焦点距離で第2撮像素子52によって撮像されることで得られた画像データを用いて人物画像の検出が行われる場合に比べ、高い精度で人物画像を検出することができる。
また、スマートデバイス10では、第2焦点距離が光学ズーム機構59によって変更される。従って、本構成によれば、第2撮像素子52は様々な画角で撮像することにより得た第2デジタル画像データ80Bを用いて検出処理を行うことができる。
また、スマートデバイス10では、フレーム毎に露出量が変更可能な撮像が第2撮像素子52によって行われる。従って、本構成によれば、第2撮像素子52によって撮像されることで得られるフレーム毎の第2デジタル画像データ80Bにより示される第2画像の露出量が常に一定の場合に比べ、人物画像の検出精度を高めることができる。
また、スマートデバイス10では、第2領域56Bのアスペクト比が3:2であり、第1領域42Bのアスペクト比が16:9である。従って、本構成によれば、第2領域56Bのアスペクト比が第1領域42Bのアスペクト比と同一の16:9である場合に比べ、検出処理によって第2画像から人物画像が検出される範囲を広げることができる。
また、スマートデバイス10では、第2撮像素子52でのフレームレートは、第1撮像素子38でのフレームレートよりも高い。従って、本構成によれば、第1撮像素子38で第1画像から人物画像の検出が行われる場合に比べ、高速に検出処理を行うことができる。
また、スマートデバイス10では、第2撮像素子52として、光電変換素子56、処理回路120、及びメモリ122が1チップ化された撮像素子が採用されている。従って、本構成によれば、光電変換素子56、処理回路120、及びメモリ122が1チップ化されていない撮像素子に比べ、第2撮像素子52の可搬性が高くなる。また、光電変換素子56、処理回路120、及びメモリ122が1チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子56、処理回路120、及びメモリ122が1チップ化されていない撮像素子に比べ、撮像装置14の小型化にも寄与することができる。
また、スマートデバイス10では、第2撮像素子52として、光電変換素子56にメモリ122が積層された積層型撮像素子が採用されている。これにより、光電変換素子56とメモリ122とを接続する配線を短くすることができるため、配線遅延を減らすことができ、この結果、光電変換素子56とメモリ122とが積層されていない場合に比べ、光電変換素子56からメモリ122への画像データの転送速度を高めることができる。
また、転送速度の向上は、処理回路120全体での処理の高速化にも寄与する。また、光電変換素子56とメモリ122とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子56とメモリ122とが積層されていない場合に比べ、撮像装置14の小型化にも寄与することができる。
また、スマートデバイス10では、第2撮像素子52から出力された画像データに基づくライブビュー画像等がCPU15Aによってディスプレイ26に表示される。従って、本構成によれば、第2撮像素子52から出力された画像データに基づくライブビュー画像等をユーザに視認させることができる。
また、スマートデバイス10では、第2撮像素子52から出力された画像データがCPU15Aによってストレージ15B、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、及び/又はメモリカード等に記憶される。従って、本構成によれば、第2撮像素子52から出力された画像データを管理することができる。
ところで、図21には、信号処理回路34に対して第1撮像素子38が通信ラインLN1で直接接続され、かつ、信号処理回路34に対して第2撮像素子52が通信ラインLN2で直接接続されている形態例が示されている。図21に示す例では、第1撮像素子38及び第2撮像素子52を信号処理回路34に接続する場合、信号処理回路34には、第1撮像素子38及び第2撮像素子52の各々に対応するインタフェースが必要になる。そのため、信号処理回路34に対して単一の撮像素子のみが接続される場合に比べ、配線数が増える。
これに対し、スマートデバイス10では、第1撮像素子38、第2撮像素子52、及び信号処理回路34が直列に接続されており、第1撮像素子38から第2撮像素子52に第1デジタル画像データ70Bが出力される。そして、第2撮像素子52から第1デジタル画像データ70B、及び合成画像データ90が選択的に信号処理回路34に出力される。従って、本構成によれば、信号処理回路34に対して第1撮像素子38が通信ラインLN1で直接接続され、かつ、信号処理回路34に対して第2撮像素子52が通信ラインLN2で直接接続される場合(図21参照)に比べ、第1撮像素子38及び第2撮像素子52を信号処理回路34に接続するのに要する配線数を抑制することができる。
なお、上記実施形態では、第2撮像素子52から信号処理回路34に合成画像データ90が出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成画像データ90に代えて、第2デジタル画像データ80Bが第2撮像素子52から信号処理回路34に出力されるようにしてもよい。或いは、第2デジタル画像データ80Bに基づく画像データ(例えば、第2デジタル画像データ80Bを加工した画像データ)が第2撮像素子52から信号処理回路34に出力されるようにしてもよい。ここで、第2デジタル画像データ80Bの他に、第2デジタル画像データ80Bに基づく画像データも、本開示の技術に係る「第2画像データ」の一例である。
合成画像データ90に代えて第2デジタル画像データ80Bが出力される場合、一例として図18に示すように、後段撮像処理では、図17Aに示すステップST52の処理が不要となり、図17Aに示すステップST54の処理に代えてステップST154の処理が制御回路120Cによって行われる。すなわち、ステップST154では、制御回路120Cによって、ステップST44の検出処理で用いた第2デジタル画像データ80Bが信号処理回路34に出力される。
なお、合成画像データ90に代えて、第2デジタル画像データ80Bが信号処理回路34に出力される場合、コントローラ15のCPU15Aの制御下で、第2デジタル画像データ80Bに基づく画像がディスプレイ26に表示されたり、第2デジタル画像データ80Bがストレージ15B等の記憶装置に記憶されたりするようにしてもよい。
また、上記実施形態では、検出部120C1がメモリ122から第2デジタル画像データ80Bを取得する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第2デジタル画像データ80Bは、メモリ122に記憶されることなく検出部120C1によって用いられるようにしてもよい。すなわち、第2デジタル画像データ80Bは、メモリ122に記憶されずに制御回路120Cによって処理されるようにしてもよい。
また、上記実施形態では、第2撮像素子52として、光電変換素子56、処理回路120、及びメモリ122が1チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子56、処理回路120、及びメモリ122のうち、少なくとも光電変換素子56及びメモリ122が1チップ化されていればよい。
また、上記実施形態では、検出処理による検出結果に応じて第1デジタル画像データ70B又は合成画像データ90が選択的に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、検出処理による検出結果に関わらず、第2撮像素子52から信号処理回路34に第2デジタル画像データ80Bが出力されるようにしてもよい。
この場合、例えば、図19に示すように、コントローラ15が、検出処理による検出結果に関わらず信号処理回路34に第2デジタル画像データ80Bを出力することを要求する出力要求信号を、通信ライン58Aを介して第2撮像素子52に出力する。第2撮像素子52では、通信I/F120D1によって出力要求信号が受け付けられる。ここで、通信I/F120D1は、本開示の技術に係る「受付部(アクセプタ)」の一例である。
出力要求信号が通信I/F120D1によって受け付けられた場合に、制御回路120Cは、検出処理による検出結果に関わらず、第2デジタル画像データ80Bを信号処理回路34に出力する。本構成によれば、検出処理による検出結果に関わらず第2デジタル画像データ80Bの出力を求めるユーザの利便性の向上に寄与することができる。
また、上記実施形態では、第1撮像素子38として積層型撮像素子を例示したが、本開示の技術はこれに限定されず、第1撮像素子38は、非積層型の撮像素子であってもよい。この場合、第1撮像装置30に代えて、非積層型の撮像素子と、非積層型の撮像素子によって得られた第1アナログ画像データ70Aから第1デジタル画像データ70Bを生成し、生成した第1デジタル画像データ70Bを第2撮像素子52に出力する処理回路とを有する第1撮像装置を適用すればよい。或いは、第1撮像素子38として非積層型の撮像素子を用いる場合、例えば、第1アナログ画像データ70Aが第1撮像素子38から第2撮像素子52に出力され、第2撮像素子52によって第1アナログ画像データ70Aがデジタル化されて第1デジタル画像データ70Bが生成されるようにしてもよい。
また、上記実施形態では、通信I/F間がPCIeの接続規格に従って接続されているが、本開示の技術はこれに限定されない。PCIeの接続規格に代えて、LVDS、SATA、SLVS-EC、又はMIPI等の他の接続規格が採用されてもよい。
また、上記実施形態では、第2撮像素子52と信号処理回路34との間の通信、コントローラ15と第1撮像素子38との通信、コントローラ15と第2撮像素子52との間の通信、及び信号処理回路34とコントローラ15との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。第2撮像素子52と信号処理回路34との間の通信、コントローラ15と第1撮像素子38との通信、コントローラ15と第2撮像素子52との間の通信、及び/又は信号処理回路34とコントローラ15との通信を無線形式の通信としてもよい。
また、上記実施形態では、UI系デバイス17がスマートデバイス10に組み込まれている形態例を挙げて説明したが、UI系デバイス17に含まれる複数の構成要素のうちの少なくとも一部がスマートデバイス10に対して外付けされていてもよい。また、UI系デバイス17に含まれる複数の構成要素のうちの少なくとも一部が別体として外部I/F104に接続されることによって使用されるようにしてもよい。
また、上記実施形態では、処理回路120としてASIC及びFPGAを含むデバイスを例示しているが、本開示の技術はこれに限定されず、処理回路120は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
この場合、例えば、図20に示すように、撮像装置14にはコンピュータ852が内蔵されている。例えば、第2撮像素子52に、処理回路120に代えてコンピュータ852が内蔵されている。コンピュータ852に上記実施形態に係る前段撮像処理を実行させるための前段撮像処理プログラム902Aは記憶媒体900に記憶されている。また、コンピュータ852に上記実施形態に係る後段撮像処理を実行させるための後段撮像処理プログラム902Bも記憶媒体900に記憶されている。記憶媒体900の一例としては、非一時的記憶媒体であるSSD又はUSBメモリなどの任意の可搬型の記憶媒体が挙げられる。
なお、以下では、説明の便宜上、前段撮像処理と後段撮像処理とを区別して説明する必要がない場合、「撮像装置処理」と称し、前段撮像処理プログラム902Aと後段撮像処理プログラム902Bとを区別して説明する必要がない場合、「撮像装置処理プログラム」と称する。
コンピュータ852は、CPU852A、ストレージ852B、及びメモリ852Cを備えている。ストレージ852Bは、EEPROM等の不揮発性の記憶装置であり、メモリ852Cは、RAM等の揮発性の記憶装置である。記憶媒体900に記憶されている撮像装置処理プログラム902は、コンピュータ852にインストールされる。CPU852Aは、撮像装置処理プログラム902に従って撮像装置処理を実行する。
撮像装置処理プログラム902は、記憶媒体900ではなく、ストレージ852Bに記憶されていてもよい。この場合、CPU852Aは、ストレージ852Bから撮像装置処理プログラム902を読み出し、読み出した撮像装置処理プログラム902をメモリ852Cで実行する。このように、撮像装置処理プログラム902がCPU852Aによって実行されることで撮像装置処理が実現される。
また、通信網(図示省略)を介してコンピュータ852に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像装置処理プログラム902を記憶させておき、上述のスマートデバイス10の要求に応じて撮像装置処理プログラム902がダウンロードされ、コンピュータ852にインストールされるようにしてもよい。
なお、コンピュータ852に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ852Bに撮像装置処理プログラム902の全てを記憶させておく必要はなく、撮像装置処理プログラム902の一部を記憶させておいてもよい。
図20に示す例では、撮像装置14にコンピュータ852が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ852が撮像装置14の外部に設けられるようにしてもよい。
図20に示す例では、CPU852Aは、単数のCPUであるが、複数のCPUであってもよい。また、CPU852Aに代えてGPUを適用してもよい。
図20に示す例では、コンピュータ852が例示されているが、本開示の技術はこれに限定されず、コンピュータ852に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ852に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した撮像装置処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、撮像装置処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像装置処理を実行する。
撮像装置処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、撮像装置処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、撮像装置処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、撮像装置処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、撮像装置処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の撮像装置処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、図1に示す例では、スマートデバイス10を例示したが、本開示の技術はこれに限定されない。すなわち、撮像装置14が内蔵された各種の電子機器(例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び/又はウェアラブル端末装置等)に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記のスマートデバイス10と同様の作用及び効果が得られる。また、上記実施形態では、第1撮像装置30と第2撮像装置32とが撮像装置14として筐体12に収容されている形態例を挙げて説明したが、第1撮像装置30及び第2撮像装置32の双方が筐体12に収容されている必要はない。例えば、第1撮像装置30及び第2撮像装置32の双方が筐体12外で2台のカメラとして使用されてもよい。この場合も、上述した撮像装置14と同様の作用及び効果が得られる。
また、上記実施形態では、ディスプレイ26を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部(ディスプレイ)」として用いるようにしてもよい。
また、上記実施形態では、第1撮像素子38及び第2撮像素子52という2つの撮像素子を例示したが、本開示の技術はこれに限定されず、3つ以上の撮像素子を適用してもよい。3つ以上の撮像素子のうちの1つの撮像素子(特定の撮像素子)によって撮像されることで得られる画像は、他の撮像素子によって撮像されることで得られる画像よりも解像度が高く、検出処理に用いられる。また、特定の撮像素子は、積層型撮像素子であることが好ましい。特定の撮像素子において、検出処理によって特定被写体画像(例えば、人物画像)が検出された場合に、特定の撮像素子によって撮像されることで得られた画像と、残りの撮像素子のうちの少なくとも1つの撮像素子によって撮像されることで得られた画像とが合成されることで得られた合成画像を示す合成画像データが、特定の撮像素子によって出力されるようにする。
なお、この場合も、上記第1撮像素子38と第2撮像素子52とが直列に接続されているのと同様に、3つ以上の撮像素子も直列に接続されているようにしてもよい。また、3つ以上の撮像素子を用いる場合、互いの撮像素子によって撮像されることで得られる各画像の解像度が異なるようにしてもよく、最も低い解像度の画像以外の画像のうち、最も低い解像度の画像から高い解像度の画像の順に(段階的に)検出処理が行われるようにしてもよい。そして、検出処理によって特定被写体画像が検出された場合に、特定被写体画像の検出処理が行われた撮像素子によって撮像されることで得られた画像(例えば、特定被写体画像を含む画像)と、検出処理が行われた撮像素子よりも解像度の低い画像が得られる撮像素子によって撮像されることで得られた画像とが合成されることによって得られた合成画像データが後段回路(例えば、信号処理回路34)に出力されるようにしてもよい。また、合成画像データではなく、特定被写体画像を含む画像を示す画像データが出力されるようにしてもよい。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記)
被写体を撮像することで得た第1画像データを後段の撮像素子に出力する第1撮像素子と、
後段の撮像素子として設けられた第2撮像素子であって、第1撮像素子から出力された第1画像データを記憶するメモリと、第2撮像素子によって被写体が撮像されることで得られた第2画像データを処理する制御回路と、を有する第2撮像素子と、を含み、
第2画像データにより示される第2画像は、第1画像データより示される第1画像よりも解像度が高く、
制御回路は、第2画像から特定の被写体を示す特定被写体画像を検出する検出処理を行い、
第2撮像素子は、検出処理により特定被写体画像が検出されなかった場合に、メモリに記憶されている第1画像データを特定の出力先に出力し、検出処理により特定被写体画像が検出された場合に、第1画像データと第2画像データとが制御回路によって合成されることで得られた合成画像データ、又は、第2画像データを出力先に出力する
撮像装置。