[第1実施形態]
本発明の第1実施形態による撮像装置について、図1乃至図30を用いて説明する。本実施形態では、撮像素子から出力される映像信号を処理するための映像処理装置に、撮像のための撮影光学系等を追加してなる撮像装置を、本発明の好適な実施の形態の一例として説明する。ただし、映像処理装置は、必ずしも撮像装置の一部として構成される必要はなく、撮像素子や撮影光学系とは別のハードウェアにより構成されていてもよい。また、映像処理装置の機能の全部又は一部を、撮像素子に搭載するようにしてもよい。
図1は、本実施形態による撮像装置の一例としてのデジタルスチルモーションカメラの外観図である。図1(a)がその正面図を示し、図1(b)がその背面図を示している。
本実施形態による撮像装置100は、筐体151と、筐体151の正面部に設けられた撮影光学系152と、筐体151の上面部に設けられたスイッチST154及びプロペラ162とを有している。また、撮像装置100は、筐体151の背面部に、表示部153と、スイッチMV155と、撮影モード選択レバー156と、メニューボタン157と、アップダウンスイッチ158,159と、ダイアル160と、再生ボタン161とを有している。
筐体151は、撮像素子やシャッター装置等の撮像装置100を構成する種々の機能部品を収納する容器である。撮影光学系152は、被写体の光学像を結像するための光学系である。表示部153は、撮影情報や映像を表示するための表示装置により構成される。表示部153には、必要に応じて画面の向きを変えるための可動機構を設けてもよい。表示部153は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。スイッチST154は、主に静止画の撮影を行うために使用するシャッターボタンである。スイッチMV155は、動画撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー156は、撮影モードを選択するための切り替えスイッチである。メニューボタン157は、撮像装置100の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ158,159は、各種の設定値を変更する際に用いるボタンである。ダイアル160は、各種の設定値を変更するためのダイアルである。再生ボタン161は、撮像装置100に収納されている記録媒体に記録されている映像を表示部153上で再生する再生モードへ移行するためのボタンである。プロペラ162は、空中からの撮影を行うために撮像装置100を空中に浮上させるためのものである。
図2は、本実施形態による撮像装置100の概略構成を示すブロック図である。撮像装置100は、図2に示すように、絞り181、絞り制御部182、光学フィルター183、撮像素子184、アナログフロントエンド185,186、デジタル信号処理部187,188、タイミング発生部189を有している。また、撮像装置100は、システム制御CPU178、スイッチ入力手段179、映像メモリ190、飛行制御装置200を有している。また、撮像装置100は、表示インターフェース部191、記録インターフェース部192、記録媒体193、プリントインターフェース部194、外部インターフェース部196、無線インターフェース部198を有している。
撮像素子184は、撮影光学系152を介して結像された被写体の光学像を電気的な映像信号に変換するためのものである。撮像素子184は、特に限定されるものではないが、例えば、UHDTV(Ultra High Definition Television)の規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。絞り181は、撮影光学系152を通る光の量を調節するためのものである。絞り制御部182は、絞り181を制御するためのものである。光学フィルター183は、撮像素子184に入射する光の波長、撮像素子184に伝達する空間周波数を制限するためのものである。撮影光学系152、絞り181、光学フィルター183、撮像素子184は、撮影光学系152の光軸180上に配置されている。
アナログフロントエンド185,186は、撮像素子184から出力される映像信号のアナログ信号処理及びアナログ−デジタル変換を行うためのものである。アナログフロントエンド185,186は、例えば、ノイズを除去する相関二重サンプリング(CDS)回路、信号ゲインを調整するアンプ、アナログ信号をデジタル信号に変換するA/D変換器等により構成される。デジタル信号処理部187,188は、アナログフロントエンド185,186から出力されるデジタル映像データに対して各種の補正を行った後、映像データを圧縮するためのものである。デジタル信号処理部187,188が行う補正には、後述するクロストーク補正が含まれる。タイミング発生部189は、撮像素子184、アナログフロントエンド185,186、デジタル信号処理部187,188に各種タイミング信号を出力するためのものである。システム制御CPU178は、各種演算の実行や撮像装置100の全体の制御を司る制御部である。映像メモリ190は、映像データを一時的に記憶するためのものである。
表示インターフェース部191は、撮影された映像を表示部153に表示するためのシステム制御CPU178と表示部153との間のインターフェースである。記録媒体193は、映像データや付加データ等を記録するための半導体メモリ等の記録媒体であり、撮像装置100に備え付けられていてもよいし着脱可能でもよい。記録インターフェース部192は、記録媒体193に記録又は記録媒体193から読み出しを行うためのシステム制御CPU178と記録媒体193との間のインターフェースである。外部インターフェース部196は、外部コンピュータ197等の外部機器と通信するためのシステム制御CPU178と外部機器との間のインターフェースである。プリントインターフェース部194は、撮影された映像を小型インクジェットプリンタ等のプリンタ195に出力し印刷するためのシステム制御CPU178とプリンタ195との間のインターフェースである。無線インターフェース部198は、インターネット等のネットワーク199と通信するためのシステム制御CPU178とネットワーク199との間のインターフェースである。スイッチ入力手段179は、スイッチST154、スイッチMV155、各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置200は、空中からの撮影を行うためにプロペラ162を制御して撮像装置100を飛行させるための制御装置である。
図3は、撮像素子184の構成例を示すブロック図である。撮像素子184は、図3に示すように、画素アレイ302、垂直走査回路307、読み出し回路308A,308B及びタイミング制御回路309A,309Bを含む。
画素アレイ302には、複数の画素303が行列状に配置されている。なお、画素アレイ302に属する画素303の実際の配列数は一般的には多数となるが、ここでは図面の簡略化のため、4行×4列の行列状に配置された16個の画素303のみを示している。複数の画素303の各々は、画素要素303Aと画素要素303Bとの組みを有する。図3では、画素303の上半分の領域を画素要素303Aとし、画素303の下半分の領域を画素要素303Bとしている。画素要素303A及び画素要素303Bは、それぞれ光電変換により信号を生成する。
画素アレイ302の各列には、列方向に延在する信号出力線304A,304Bが、それぞれ設けられている。各列の信号出力線304Aは、当該列に属する画素要素303Aに接続されている。信号出力線304Aには、画素要素303Aからの信号が出力される。各列の信号出力線304Bは、当該列に属する画素要素303Bに接続されている。信号出力線304Bには、画素要素303Bからの信号が出力される。画素アレイ302の各列には、また、列方向に延在する電源線305及び接地線306が、それぞれ設けられている。各列の電源線305及び接地線306は、当該列に属する画素303に接続されている。電源線305及び接地線306は、行方向に延在する信号線としてもよい。
垂直走査回路307は、画素アレイ302に対して行方向に隣接して配置される。垂直走査回路307は、画素アレイ302の複数の画素303に対して行単位で、行方向に延在して配された図示しない制御線を介して、画素303内の読み出し回路を制御するための所定の制御信号が出力される。図には、制御信号として、リセットパルスφRESn、転送パルスφTXnA,TXnBを示している(nは、行番号に対応した整数)。
読み出し回路308A,308Bは、画素アレイ302を挟むように、画素アレイ302に対して列方向に隣接して配置されている。読み出し回路308Aは、各列の信号出力線304Aに接続されている。読み出し回路308Aは、各列の信号出力線304Aを順次選択的に活性化することで、各列の信号出力線304Aからの信号を順次読み出し、所定の信号処理を実施する。同様に、読み出し回路308Bは、各列の信号出力線304Bに接続されている。読み出し回路308Bは、各列の信号出力線304Bを順次選択的に活性化することで、各列の信号出力線304Bからの信号を順次読み出し、所定の信号処理を実施する。読み出し回路308A,308Bは、それぞれ、雑音除去回路、増幅回路、アナログデジタル変換回路、水平走査回路などを含むことができ、所定の信号処理を実施した信号を順次出力する。
タイミング制御回路309Aは、垂直走査回路307及び読み出し回路308Aに接続されている。タイミング制御回路309Aは、垂直走査回路307及び読み出し回路308Aの駆動タイミングを制御する制御信号が出力される。タイミング制御回路309Bは、垂直走査回路307及び読み出し回路308Bに接続されている。タイミング制御回路309Bは、垂直走査回路307及び読み出し回路308Bの駆動タイミングを制御する制御信号が出力される。
図4は、撮像素子184の画素303の内部構造を示す断面図である。それぞれの画素303は、図4に示すように、2つのフォトダイオード310A,310Bと、ライトガイド255と、カラーフィルタ256とを含む。フォトダイオード310Aは画素要素303Aの一部を構成し、フォトダイオード310Bは画素要素303Bの一部を構成する。フォトダイオード310A,310Bは、シリコン基板251内に設けられている。ライトガイド255は、シリコン基板251上に設けられた絶縁層254内に設けられている。絶縁層254は例えば酸化シリコンにより構成され、ライトガイド255は絶縁層254よりも高屈折率の材料、例えば窒化シリコンにより構成される。ライトガイド255間の絶縁層254には、配線層252が設けられている。ライトガイド255上には、所定の分光透過率特性を有するカラーフィルタ256が設けられている。なお、図4には、隣接する2つの画素303のカラーフィルタを、互いに異なる分光透過率特性を有するカラーフィルタ256,257により構成した例を示している。
ライトガイド255は、絶縁層254との間の屈折率差によって内部に光を閉じ込める性質を有している。これにより、カラーフィルタ256を介して入射した光をライトガイド255によってフォトダイオード310A,310Bに導くことができる。フォトダイオード310A,310Bは、ライトガイド255に対して非対称に配置されており、ライトガイド255を伝搬した光束は、高い効率でフォトダイオード310Aに入射し、低い効率でフォトダイオード310Bに入射する。更に、ライトガイド255は、その深さや傾斜角を調節することにより、フォトダイオード310A,310Bが有効に光電変換できる入射光束に対して、その入射角特性に偏りが生じないようになっている。
図5は、画素に入射する光線の角度とフォトダイオードからの出力との関係を示すグラフである。図5において、横軸が画素に入射する光線の角度を表し、縦軸がフォトダイオードからの出力を表している。図5には、フォトダイオード310Aからの出力特性261と、フォトダイオード310Bからの出力特性262とを示している。
図5に示すように、特性261及び特性262は、ともに光線の入射角度がゼロのときをピークとする左右対称の僅かに山なりの形状となっている。また、特性262のピーク強度PBは、特性261のピーク強度PAの1/8程度になっている。このことは、フォトダイオード310A,310Bの入射角依存性はともに小さく、それらの受光効率はフォトダイオード310Aに比べてフォトダイオード310Bが1/8であるということを表している。すなわち、フォトダイオード310Bは、ISO感度の設定値に置き換えると、フォトダイオード310Aよりも3段分、感度が低いことになる。
次に、撮影光学系152と撮像素子184との関係を、図6を用いてより詳しく説明する。図6は、撮影光学系152と撮像素子184との関係を説明する図である。図6(a)は、撮影光学系152をその光軸180方向から見た図である。図6(b)は、図2の撮影光学系152から撮像素子184に至る部分をより詳細に示した図である。
撮像素子184が、図6(b)に示すように、撮像領域の中央部に位置する画素276と、撮像領域の外縁近傍に位置する画素277とを含むものとする。この場合、画素276は、光線272と光線273とで囲まれた領域からの光束を受光することができる。また、画素277は、光線274と光線275とで囲まれた領域からの光束を受光することができる。この際、フィールドレンズ270が光学フィルター183と撮影光学系152との間に配置されているため、撮影光学系152の付近では、画素276が受光する光束と画素277が受光する光束とは、図6(a)に領域271で示すように重なっている。この結果、撮影光学系152から射出される光束を何れの画素においても高効率で受光することが可能となっている。
図7は、撮像素子から出力される映像信号を説明する概略図である。ここで、画素アレイ302に、図7(a)に示すカラーフィルタ配列281で、所定の光透過率特性を有するカラーフィルタが配置されている場合を想定する。図7(a)は、6行×8列の行列状に画素303が配列された画素アレイ302と、各画素に配置されるカラーフィルタの色を模式的に示したものである。図中、Rは赤色カラーフィルタを、G1及びG2は緑色カラーフィルタを、Bは青色カラーフィルタを、それぞれ表している。図示するカラーフィルタ配列281は、いわゆるベイヤー配列と呼ばれるカラーフィルタ配列であり、行毎に、G1BG1B…,RG2RG2…,G1BG1B…,…、といった繰り返しで、各色のカラーフィルタが配置されている。
このようなカラーフィルタ配列281を有する画素アレイ302からは、図7(b)及び図7(c)に示される出力データ282,283が得られる。図7(b)中、g1A及びg2Aは、緑色カラーフィルタが配置された画素303の画素要素303Aからの出力を表している。bAは、青色カラーフィルタが配置された画素303の画素要素303Aからの出力を表している。rAは、赤色カラーフィルタが配置された画素303の画素要素303Aからの出力を表している。図7(c)中、g1B及びg2Bは、緑色カラーフィルタが配置された画素303の画素要素303Bからの出力を表している。bBは、青色カラーフィルタが配置された画素303の画素要素303Bからの出力を表している。rBは、赤色カラーフィルタが配置された画素303の画素要素303Bからの出力を表している。
図3を用いて説明したように、撮像素子184からは、読み出し回路308A,308Bからの2系統の出力が得られ、そのうちの一方が図7(b)に示す出力データ282であり、他方が図7(c)に示す出力データ283である。出力データ282は、所定の信号処理ののちに映像信号「picture A」となる。また、出力データ283は、所定の信号処理ののちに映像信号「picture B」となる。以後の説明では、出力データ282に基づく映像信号を「picture A」、出力データ283に基づく映像信号を「picture B」と表記するものとする。なお、「picture A」,「picture B」は、厳密には所定の補正等の処理を行った後の映像信号であるが、説明の便宜上、補正前或いは補正途中の映像信号についても「picture A」,「picture B」と表記することがある。
図8は、画素303の構成例を示す回路図である。画素303は、上記のように、画素要素303A及び画素要素303Bを有する。画素要素303Aは、フォトダイオード310Aと、転送トランジスタ311Aと、フローティングディフュージョン領域313Aと、リセットトランジスタ314Aと、増幅トランジスタ315Aとを有する。画素要素303Bは、フォトダイオード310Bと、転送トランジスタ311Bと、フローティングディフュージョン領域313Bと、リセットトランジスタ314Bと、増幅トランジスタ315Bとを有する。なお、フォトダイオード310Aは、図4に示したフォトダイオード310Aに対応し、フォトダイオード310Bは、図4に示したフォトダイオード310Bに対応している。
フォトダイオード310Aのアノードは接地線306に接続され、フォトダイオード301Aのカソードは転送トランジスタ311Aのソースに接続されている。転送トランジスタ311Aのドレインは、リセットトランジスタ314Aのソース及び増幅トランジスタ315Aのゲートに接続されている。転送トランジスタ311Aのドレイン、リセットトランジスタ314Aのソース及び増幅トランジスタ315Aのゲートの接続ノードが、第1のフローティングディフュージョン領域313Aを構成する。リセットトランジスタ314Aのドレイン及び増幅トランジスタ315Aのドレインは、電源線305に接続されている。画素信号出力部316Aを構成する増幅トランジスタ315Aのソースは、信号出力線304Aに接続されている。
同様に、フォトダイオード310Bのアノードは接地線306に接続され、フォトダイオード310Bのカソードは転送トランジスタ311Bのソースに接続されている。転送トランジスタ311Bのドレインは、リセットトランジスタ314Bのソース及び増幅トランジスタ315Bのゲートに接続されている。転送トランジスタ311Bのドレイン、リセットトランジスタ314Bのソース及び増幅トランジスタ315Bのゲートの接続ノードが、第2のフローティングディフュージョン領域313Bを構成する。リセットトランジスタ314Bのドレイン及び増幅トランジスタ315Bのドレインは、電源線305に接続されている。画素信号出力部316Bを構成する増幅トランジスタ315Bのソースは、信号出力線304Bに接続されている。
各列の画素303は、垂直走査回路307から行方向に配されたリセット制御線319及び転送制御線320A,320Bに接続されている。リセット制御線319は、リセットトランジスタ314Aのゲート及びリセットトランジスタ314Bのゲートに接続されている。転送制御線320Aは、コンタクト部312Aを介して転送トランジスタ311Aのゲートに接続されている。転送制御線320Bは、コンタクト部312Bを介して転送トランジスタ311Bのゲートに接続されている。リセット制御線319は、リセットトランジスタ314Aのゲート及びリセットトランジスタ314Bのゲートに、垂直走査回路307から出力されるリセットパルスφRESnを供給する。転送制御線320Aは、転送トランジスタ311Aのゲートに、垂直走査回路307から出力される転送パルスφTXnAを供給する。転送制御線320Bは、転送トランジスタ311Bのゲートに、垂直走査回路307から出力される転送パルスφTXnBを供給する。なお、リセットパルスφRESn、転送パルスφTXnA及び転送パルスφTXnBの符号に付したnは、行番号に対応した整数である。図面には、nを行番号に対応した整数で置き換えた符号で表している。
フォトダイオード310Aは光電変換により電荷を生成する第1の光電変換部であり、フォトダイオード310Bは光電変換により電荷を生成する第2の光電変換部である。フローティングディフュージョン領域313A,313Bは、電荷を蓄積する領域である。転送トランジスタ311Aは、フォトダイオード310Aにより生成された電荷をフローティングディフュージョン領域313Aに転送するためのものである。転送トランジスタ311Bは、フォトダイオード310Bにより生成された電荷をフローティングディフュージョン領域313Bに転送するためのものである。
垂直走査回路307からハイレベルの転送パルスφTXnAが出力されると、転送トランジスタ311Aがオン状態となり、フォトダイオード310Aとフローティングディフュージョン領域313Aとが接続される。同様に、垂直走査回路307からハイレベルの転送パルスφTXnBが出力されると、転送トランジスタ311Bがオン状態となり、フォトダイオード310Bとフローティングディフュージョン領域313Bとが接続される。垂直走査回路307からハイレベルのリセットパルスφRESnが出力されると、リセットトランジスタ314A,314Bがオン状態となり、フォトダイオード310A,310B、フローティングディフュージョン領域313A,313Bがリセットされる。
垂直走査回路307からローレベルの転送パルスφTXnAが出力されると、転送トランジスタ311Aがオフ状態となり、フォトダイオード310Aは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路307からハイレベルの転送パルスφTXnAが出力されると、転送トランジスタ311Aがオン状態となり、フォトダイオード310Aの信号電荷はフローティングディフュージョン領域313Aに転送される。すると、増幅トランジスタ315Aは、フォトダイオード310Aから転送された信号電荷の量に応じたフローティングディフュージョン領域313Aの電圧を増幅して信号出力線304Aに出力する。
同様に、垂直走査回路307からローレベルの転送パルスφTXnBが出力されると、転送トランジスタ311Bがオフ状態となり、フォトダイオード310Bは、光電変換により生成した信号電荷の蓄積を開始する。次いで、垂直走査回路307からハイレベルの転送パルスφTXnBが出力されると、転送トランジスタ311Bがオン状態となり、フォトダイオード310Bの信号電荷はフローティングディフュージョン領域313Bに転送される。すると、増幅トランジスタ315Bは、フォトダイオード310Bから転送された信号電荷の量に応じたフローティングディフュージョン領域313Bの電圧を増幅して信号出力線304Bに出力する。
図9及び図10は、画素303の要部を示す平面レイアウト図である。図9には、画素303の構成要素のうち、フォトダイオード310A,310B、転送トランジスタ311A,311B、フローティングディフュージョン領域313A,313Bを示している。リセットトランジスタ314A,314B及び増幅トランジスタ315A,315Bを含むその他の回路要素は、図面において読み出し回路部321として表し、詳細な図示は省略している。また、画素303の垂直方向に配される信号出力線304A,304B及び電源線305を省略し、リセット制御線319、電源線305、接地線306のコンタクト部を省略している。図10には、図9に示した構成要素に加え、図4において説明したライトガイド255を示している。ライトガイド255は、斜影線を付した部分が低屈折率領域を示し、白抜き部分が高屈折率領域、すなわち導光部分を示している。
図9及び図10において、コンタクト部312Aは、転送制御線320Aと転送トランジスタ311Aのゲートとを接続するコンタクト部である。コンタクト部312Bは、転送制御線320Bと転送トランジスタ311Bのゲートとを接続するコンタクト部である。フォトダイオード310A,310Bは、光電変換を行う光電変換部であり、第1導電型(例えばP型)の半導体領域と、第1導電型の半導体領域とPN接合を構成する第2導電型(例えばN型)の半導体領域(N型の電子蓄積領域)とを有する。フォトダイオード310Aの第2導電型の半導体領域とフォトダイオード310Bの第2導電型の半導体領域とは、分離部322によって分離されている。
転送トランジスタ311A,311B、コンタクト部312A,312B、転送制御線320A,320Bは、フォトダイオード310A,310B間にある分離部322に対し、それぞれ線対称又は略線対称に配置されている。一方、ライトガイド255は、図10に示すように、分離部322に対して偏った位置に配置されている。すなわち、フォトダイオード310Aがライトガイド255の底部分の多くの面積を占めるのに対して、フォトダイオード310Bはライトガイド255の底部分に僅かに掛かるだけとなっている。この結果、フォトダイオード310Aの受光効率は高く、フォトダイオード310Bの受光効率は低くなっている。
本実施形態による撮像素子184では、フォトダイオード310A,310Bの受光効率の比を8:1程度、すなわち感度の差を3段程度に設定している。そして、2つの映像を異なる蓄積時間の設定で撮影しつつ、画素要素においては同程度の信号電荷を得て、どちらもSNの良好なノイズ感のない映像としたり、或いは、品位の高いHDR映像を合成可能としたりすることに供している。詳細については、後述する。
図11は、撮像素子184の読み出し回路の構成例を示す回路図である。なお、図11には、読み出し回路308Aを想定して、一部の構成要素の符号の末尾に「A」を付記している。読み出し回路308Bにおいては、対応する構成要素の符号の末尾に「B」が付記されるものと理解されたい。
読み出し回路308Aは、図11に示すように、クランプ容量C0、フィードバック容量Cf、オペアンプ406、基準電圧源407、スイッチ423を含む。オペアンプ406の一方の入力端子は、クランプ容量C0を介して信号出力線304Aに接続されている。オペアンプ406の当該一方の入力端子と出力端子との間には、フィードバック容量Cfとスイッチ423とが並列に接続されている。オペアンプの他方の入力端子は、基準電圧源407に接続されている。電源電圧407は、オペアンプ406に基準電圧Vrefを供給するためのものである。スイッチ423は、信号PC0Rで制御されるスイッチであり、信号PC0Rがハイレベルのときにオン状態となり、フィードバック容量Cfの両端を短絡させる。
読み出し回路308Aは、また、スイッチ414,415,418,419、容量CTSA、容量CTNA、水平出力線424,425、出力アンプ421を含む。スイッチ414,415は、容量CTSA,CTNAへの画素信号の書き込みを制御するスイッチである。スイッチ414は、信号PTSAで制御されるスイッチであり、信号PTSAがハイレベルのときにオン状態となり、オペアンプ406の出力端子と容量CTSAとを接続する。スイッチ415は、信号PTNAで制御されるスイッチであり、信号PTNAがハイレベルのときにオン状態となり、オペアンプ406の出力端子と容量CTNAとを接続する。
スイッチ418,419は、容量CTSA,CTNAに保持されている画素信号の出力アンプ421への出力を制御するためのスイッチである。スイッチ418,419は、水平シフトレジスタからの制御信号に応じてオン状態となる。これにより、容量CTSAに書き込まれた信号は、スイッチ418及び水平出力線424を介して出力アンプ421に出力される。また、容量CTNAに書き込まれた信号は、スイッチ419及び水平出力線425を介して出力アンプ421に出力される。信号PC0R、信号PTNA及び信号PTSAは、システム制御CPU178による制御の下でタイミング発生部189から供給される信号である。
読み出し回路308Bも、読み出し回路308Aと同様の構成を有している。また、以下の説明における信号PTNB及び信号PTSBは、システム制御CPU178による制御の下でタイミング発生部189から供給される信号であって、読み出し回路308Aでの信号PTNA及び信号PTSAと同等の役割を担っている。
次に、撮像素子184におけるリセット、蓄積及び読み出しの動作について、第1行目の画素303からの読み出し動作を例にして、図12のタイミングチャートを用いて順次説明する。
まず、時刻t1において、垂直走査回路307は、転送制御線320A,320Bに出力する転送パルスφTX1A,TX1Bを、ローレベルからハイレベルへと遷移する。これにより、転送トランジスタ311A,311Bは、オン状態となる。このとき、垂直走査回路307からは、リセット制御線319にハイレベルのリセットパルスφRES1が出力されており、リセットトランジスタ314A,314Bもオン状態である。これにより、フォトダイオード310A,310Bは、転送トランジスタ311A,311B及びリセットトランジスタ314A,314Bを介して電源線305に接続され、リセット状態となる。この際、フローティングディフュージョン領域313A,313Bも、リセット状態となる。
次いで、時刻t2において、垂直走査回路307は、転送パルスφTX1Bをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ311Bはオフ状態となり、フォトダイオード310Bでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻t3において、垂直走査回路307は、転送パルスφTX1Aをハイレベルからローレベルへと遷移する。これにより、転送トランジスタ311Aはオフ状態となり、フォトダイオード310Aでは光電変換による信号電荷の蓄積が開始する。
次いで、時刻t4において、垂直走査回路307は、リセットパルスφRES1をハイレベルからローレベルへと遷移する。これにより、リセットトランジスタ314A,314Bはオフ状態となり、フローティングディフュージョン領域313A,313Bのリセットを解除する。
これにより、フローティングディフュージョン領域313Aの電位が垂直出力線304Aに増幅トランジスタ315Aを介してリセット信号レベルとして読み出され、読み出し回路308Aに入力される。また、フローティングディフュージョン領域313Bの電位が垂直出力線304Bに増幅トランジスタ315Bを介してリセット信号レベルの画素信号として読み出され、読み出し回路308Bに入力される。
時刻t4において、タイミング発生部189から読み出し回路308A及び読み出し回路308Bには、ハイレベルの信号PC0Rが出力されており、スイッチ423はオン状態である。このため、読み出し回路308Aには、オペアンプ406が基準電圧Vrefの出力をバッファする状態で、画素要素303Aからリセット信号レベルの画素信号が入力される。図には示していないが、読み出し回路308Bにも同様に、画素要素303Bからリセット信号レベルの画素信号が入力される。
次いで、時刻t5において、タイミング発生部189から読み出し回路308A及び読み出し回路308Bに出力する信号PC0Rをハイレベルからローレベルへと遷移し、スイッチ423をオフ状態にする。
次いで、時刻t6において、タイミング発生部189から読み出し回路308Aへ出力する信号PTNAをローレベルからハイレベルへと遷移してスイッチ415をオン状態にし、そのときのオペアンプ406の出力を容量CTNAへ書き込む。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTNBをローレベルからハイレベルへと遷移してスイッチ415をオン状態にし、そのときのオペアンプ406の出力を容量CTNBへ書き込む。
次いで、時刻t7において、タイミング発生部189から読み出し回路308Aへ出力する信号PTNAをハイレベルからローレベルへと遷移してスイッチ415をオフ状態にし、容量CTNAへの書き込みを終了する。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTNBをハイレベルからローレベルへと遷移してスイッチ415をオフ状態にし、容量CTNBへの書き込みを終了する。
次いで、時刻t8において、垂直走査回路307は、転送パルスφTX1A,φTX1Bをローレベルからハイレベルへと遷移し、転送トランジスタ311A,311Bをオン状態にする。これにより、フォトダイオード310Aに蓄積されていた信号電荷をフローティングディフュージョン領域313Aに転送し、フォトダイオード310Bに蓄積されていた信号電荷をフローティングディフュージョン領域313Bに転送する。
時刻t8において転送パルスφTX1A,φTX1Bを同時にハイレベルにすることで、フォトダイオード310A,310Bの蓄積時間の終了タイミングが揃うため、両者が蓄積しきったところで同時に読み出すことになる。したがって、「picture A」のデータを用いて「picture B」を補正する、或いは、「picture B」を用いて「picture A」のデータを補正する、といった後述のクロストーク補正が非常に簡単な演算で実現できるようになる。
次いで、時刻t9において、垂直走査回路307は、転送パルスφTX1A,φTX1Bをハイレベルからローレベルへと遷移し、転送トランジスタ311A,311Bをオフ状態にする。これにより、フォトダイオード310Aに蓄積された信号電荷のフローティングディフュージョン領域313Aへの読み出し及びフォトダイオード310Bに蓄積された信号電荷のフローティングディフュージョン領域313Bへの読み出しを終了する。
これにより、信号電荷により変化したフローティングディフュージョン領域313Aの電位が垂直出力線304Aに増幅トランジスタ315Aを介して光信号レベルとして読み出され、読み出し回路304Aに入力される。また、信号電荷により変化したフローティングディフュージョン領域313Bの電位が垂直出力線304Bに増幅トランジスタ315Bを介して光信号レベルとして読み出され、読み出し回路304Bに入力される。
そして、読み出し回路308Aでは、クランプ容量C0とフィードバック容量Cfとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ406から出力される。同様に、読み出し回路308Bにおいても、クランプ容量C0とフィードバック容量Cfとの容量比率で電圧変化に対して反転ゲインがかかった電圧が、オペアンプ406から出力される。
次いで、時刻t10において、タイミング発生部189から読み出し回路308Aへ出力する信号PTSAをローレベルからハイレベルへと遷移してスイッチ414をオン状態にし、そのときのオペアンプ406の出力を容量CTSAへ書き込む。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTSBをローレベルからハイレベルへと遷移してスイッチ414をオン状態にし、そのときのオペアンプ406の出力を容量CTSBへ書き込む。
次いで、時刻t11において、タイミング発生部189から読み出し回路308Aへ出力する信号PTSAをハイレベルからローレベルへと遷移してスイッチ414をオフ状態にし、容量CTSAへの書き込みを終了する。同様に、タイミング発生部189から読み出し回路308Bへ出力する信号PTSBをハイレベルからローレベルへと遷移してスイッチ414をオフ状態にし、容量CTSBへの書き込みを終了する。
次いで、時刻t12において、垂直走査回路307は、リセットパルスφRES1をローレベルからハイレベルへと遷移し、リセットトランジスタ314A,314Bをオン状態とする。これにより、フローティングディフュージョン領域313A,313Bは、リセットトランジスタ314A,314Bを介して電源線305に接続され、リセット状態となる。
図13は、フォトダイオード310A,310Bにおいて光電変換によって生成され蓄積されていく信号電荷の時間的な変化を示すグラフである。同図において、グラフの横軸は時間を表し、縦軸は信号電荷の量を表している。時間軸上には、図12に示した時刻t1から時刻t12を表示している。
時刻t2において、転送パルスφTX1Bをローレベルとして転送トランジスタ311Bをオフ状態にし、フォトダイオード310Bにおける信号電荷の蓄積を開始すると、フォトダイオード310Bが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻t8において転送パルスφTX1Bをハイレベルにして転送トランジスタ311Bをオン状態にし、フォトダイオード310Bの信号電荷をフローティングディフュージョン領域313Bへ転送するまで継続する。
また、時刻t3において、転送パルスφTX1Aをローレベルとして転送トランジスタ311Aをオフ状態にし、フォトダイオード310Aにおける信号電荷の蓄積を開始すると、フォトダイオード310Aが保持する信号電荷の量は、時間の経過とともに増加する。信号電荷の増加は、時刻t8において転送パルスφTX1Aをハイレベルにして転送トランジスタ311Aをオン状態にし、フォトダイオード310Aの信号電荷をフローティングディフュージョン領域313Aへ転送するまで継続する。
時刻t8において、フォトダイオード310Bが保持する信号電荷量LBとフォトダイオード310Aが保持する信号電荷量LAとは、受光効率の差を蓄積時間の差によって相殺することにより、ほぼ同程度となっている。
転送パルスφTX1Bと転送パルスφTX1Aがともにローレベルである期間TM1において、フォトダイオード310Aとフォトダイオード310Bの間のクロストークが発生する。期間TM1は、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積時間のうちの短い方の値である。クロストーク量は、信号電荷の量にほぼ比例するので、信号電荷量が大きくなる期間TM1の後半の期間TM2において、相対的に多くのクロストークが発生する。
フォトダイオード310Aからフォトダイオード310Bへのクロストーク量CTABは、右下がりの斜影線を付した領域953の面積に比例する。また、フォトダイオード310Bからフォトダイオード310Aへのクロストーク量CTBAは、左下がりの斜影線を付した領域954の面積に比例する。これらの比例定数をそれぞれk,gと定義すると、クロストーク量CTAB,CTBAは、
CTAB=k×(LA×TM1)/2 …(1)
CTBA=g×(LA+LBS)×TM1/2 …(2)
と表すことができる。ここで、LBSは、時刻t3におけるフォトダイオード310Bの信号電荷量である。また、この図には表現していないが、時刻t2から時刻t3までの期間が期間TM1に対して十分に小さいと仮定すると、LB=LBSと近似することができる。したがって、式(2)は、
CTBA=g×LB×TM1 …(3)
と変形することができる。
したがって、式(1)及び式(3)から、クロストーク量CTABは、信号電荷量LAと、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積時間のうちの短い方の値(期間TM1)との関数であることが判る。また、クロストーク量CTBAは、信号電荷量LBと、フォトダイオード310Aの蓄積期間とフォトダイオード310Bの蓄積時間のうちの短い方の値(期間TM1)との関数であることが判る。
図14は、図9のA−B線に沿った画素303のポテンシャル図である。図14(a)は図12の時刻taにおけるポテンシャル図、図14(b)は図12の時刻tbにおけるポテンシャル図、図14(c)は図12の時刻tcにおけるポテンシャル図である。
時刻taにおいては、図14(a)に示すように、転送トランジスタ311A,311Bはオフ状態であり、フォトダイオード310A,310Bには、それぞれ信号蓄積レベル323A,323Bの信号電荷が蓄積されている。前述のように、フォトダイオード310Aとフォトダイオード310Bとでは受光効率が異なるが、蓄積時間の差によって受光効率の差を相殺することで、信号蓄積レベル323A,323Bは同程度になっている。この状態は比較的長く続くため、フォトダイオード310Aの蓄積電荷が隣接するフォトダイオード310Bに漏れる現象及びフォトダイオード310Bの蓄積電荷が隣接するフォトダイオード310Aに漏れる現象が、無視できないレベルで発生する。
時刻tbにおいては、図14(b)に示すように、転送トランジスタ311A,311Bはオン状態であり、転送トランジスタ311A,311Bのポテンシャル障壁が低くなっている。これにより、フォトダイオード310Aに蓄積されていた信号電荷はフローティングディフュージョン領域313Aに転送され、フォトダイオード310Bに蓄積されていた信号電荷はフローティングディフュージョン領域313Bに転送される。この際、分離部322のポテンシャル障壁も低くなるが、転送トランジスタ311A,311Bのポテンシャル障壁は十分に小さくなっている。そのため、このタイミングでフォトダイオード310A,310Bの蓄積電荷が分離部322を介して隣接するフォトダイオード310B,310Aへ漏れる現象はほとんど生じない。
時刻tcにおいては、図14(c)に示すように、転送トランジスタ311A,311Bはオフ状態であり、ポテンシャルは図14(a)の状態に戻る。
図15は、撮像素子184の内部における光の伝搬と光電変換により発生した信号電荷の挙動を示す断面図である。図において、矢印451は画素303に入射する光束である。光束451は、まずカラーフィルタ256に入射して所定の波長成分がここで吸収され、絶縁層254の最上部にあたる界面不活性化膜(図示せず)を通過し、ライトガイド255に入射する。ライトガイド255内では、先に図5を用いて説明したように、光の波動的な振る舞いによって光線の方位情報、すなわち瞳情報が消失する。光束451は、ライトガイド255と絶縁層254との屈折率差によってライトガイド255の内部に閉じ込められたままシリコン基板251側に進み、ライトガイド255の底部分に達する。ライトガイド255の底部分はシリコン基板251に隣接し、ライトガイド255を射出した光束はシリコン基板251に入射する。シリコン基板251内に隣接して設けられたフォトダイオード310Aとフォトダイオード310Bとは、ライトガイド255に対して大きく偏芯して配置されている。このため、ライトガイド255を射出した光束のうちの大部分の光束452がフォトダイオード310Aへ入射し、ライトガイド255を射出した光束のうちの残りの一部分の光束453がフォトダイオード310Bへ入射する。フォトダイオード310A,310Bでは、入射した光子が信号電荷へと変換される。
この際、撮像素子184のシリコン基板251内部で発生した信号電荷は、拡散によって隣接する画素要素に漏れ込む。例えば、フォトダイオード310Aで発生した信号電荷454は、拡散によってフォトダイオード310Bに漏れ込む。また。フォトダイオード310Bで発生した信号電荷455は、拡散によってフォトダイオード310Aに漏れ込む。この現象は映像に悪影響を及ぼし、画像の滲みとなって現れる。
図16は、本実施形態による撮像装置における撮像シーケンスを説明するためのタイミングチャートである。図面の最上部の「タイムコード」は、電源を投入してからの時間を示し、「00:00:00:00」は「時:分:秒:フレーム」を表している。
時刻t31は、撮像装置100の電源投入時刻である。
時刻t32において、動画撮影ボタンであるであるスイッチMV155が使用者によって操作されてONとなり、これに応じて、「picture B」の撮像及び「picture A」の撮像が開始される。動画撮影のためのボタンであるスイッチMV155が操作されることに応じて、「picture B」については、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。
なお、「picture B」の撮像だけでなく「picture A」の撮像も同時に行っているのは、後述するクロストーク補正を常に有効にするためである。図13に示した転送パルスφTX1Aがローレベルにならなければ、転送トランジスタ311Aはオン状態であるため、フォトダイオード310Aで発生した信号電荷は蓄積されることはない。しかし、仮にスイッチST154が操作された期間のみをクロストーク補正の対象にすると、クロストーク補正誤差の影響で、スイッチST154の操作タイミングにおいて記録された「picture B」に微妙な輝度変化や色相の変化が生じることとなる。
時刻t33から時刻t34の期間及び時刻t35から時刻t36の期間では、静止画の撮影を行うために使用するスイッチST154が操作されている。これを受けてこれら期間においては、「picture A」についても、所定の信号処理を経て記録媒体193にその映像データが書き込まれる。なお、「picture A」の映像データは、時刻t33から時刻t34の期間及び時刻t35から時刻t36の期間のみならず、「picture B」の映像データと同じ期間の間、記録媒体193に書き込むようにしてもよい。
「picture A」及び「picture B」の何れについても、記録媒体193に記録された各映像データは同一フレームレートで、例えば、60fpsの動画であり、NTSC方式のタイムコードが付加されているものとする。動画データの各フレームに付加されるタイムコードの値は、例えば図17に示すようになる。
図18は、「picture A」及び「picture B」の映像データのファイル構造の一例を示す図である。ここでは映像データのフォーマットとしてMP4ファイルの例を示すが、映像データのフォーマットはこれに限定されるものではない。MP4ファイルフォーマットは、ISO/IEC 14496−1/AMD6で規格化されている。全ての情報はBoxと呼ばれる構造体に格納されており、多重化されたビデオおよびオーディオビットストリーム(メディアデータ)と、これらメディアデータに対する管理情報(メタデータ)から構成されている。各Boxは4文字の識別子でそれぞれのBoxタイプが表される。ファイルタイプBox501(ftyp)は、ファイル先頭にあり、ファイルを識別するためのBoxである。メディアデータBox502(mdat)は、ビデオとオーディオのビットストリームが多重化されて格納されている。ムービーBox503(moov)は、メディアデータBoxに格納されたビットストリームを再生するための管理情報が格納されている。スキップBox504(skip)は、再生時にはスキップBox504内に格納されているデータを読み飛ばし、スキップするためのBoxである。
スキップBox504内には、この映像データファイルを含むクリップのクリップ名508、本素材に付与されているクリップのUMID(Unique Material Identifier)509(CLIP−UMID)が格納される。スキップBox504内には、また、クリップ先頭フレームのタイムコード値(タイムコード先頭値)510、本素材ファイルが記録された記録メディアのシリアル番号511が格納される。なお、本図においては、スキップBox504に、フリースペース505、ユーザデータ506、メタデータ507も含まれている。本素材ファイルのUMIDや記録メディアのシリアル番号のような特殊なデータは、スキップBoxに格納されているので、汎用のビューアで再生する際に影響を与えない。
「picture A」及び「picture B」のそれぞれのMP4ファイルには、同じCLIP−UMIDが設定される。これにより、CLIP―UMIDを使って1つの素材ファイルから同じCLIP−UMIDのファイルを検索し、人手による確認作業をすることなく機械的に関連付けを行うことができるようになる。
図19は、「picture A」及び「picture B」の撮影条件の設定画面を説明する図である。撮影モード選択レバー156を、例えば図1(b)の位置から時計方向に90度回転させることによって、2つの映像を同時に撮影することができるデュアル映像モードに入るものとする。表示部153には、そのときの被写体の輝度に応じたBv値521、Fナンバー522、「picture A」及び「picture B」のそれぞれのISO感度523,524、シャッタースピード525,526が表示される。また、「picture A」及び「picture B」のそれぞれについて、現在設定されているピクチャーモード527,528が表示される。ピクチャーモードは、アップダウンスイッチ158,159及びダイアル160を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。
前述したように、フォトダイオード310Aとフォトダイオード310Bとの間の受光効率の差は、3段に設定されている。このため、「picture A」と「picture B」のISO感度範囲には3段の差があり、図20に示すように、「picture A」はISO100〜ISO102400、「picture B」はISO12〜ISO12800となっている。
図21は、デュアル映像モードにおけるプログラムAE(Automatic Exposure)線図である。横軸がTv値とそれに対応するシャッタースピードを示し、縦軸がAv値とそれに対応する絞り値を示している。また、斜め方向は等Bv線となっている。「picture A」のBv値とISO感度との関係がゲイン表記領域556に表されており、「picture B」のBv値とISO感度との関係がゲイン表記領域557に表されている。なお、図21において各Bv値は、他のパラメータと区別するために、四角で囲んだ数値で表している。
高輝度から低輝度になるに従って、シャッタースピード、絞り値、ISO感度がどのように変化するかについて、図21を用いて説明する。
まず、Bv13のときは、「picture A」では、ISO感度はISO100に設定される。「picture A」の等Bv線は、「picture A」のプログラム線図558と点551で交差し、点551からシャッタースピード1/4000、絞り値F11と定まる。一方、「picture B」では、ISO感度はISO12に設定される。「picture B」の等Bv線は、「picture B」のプログラム線図559と点552で交差し、点552からシャッタースピード1/500、絞り値F11と定まる。
Bv10のときは、「picture A」では、ISO感度は1段分上昇してISO200に設定される。「picture A」の等Bv線は、「picture A」のプログラム線図558と点553で交差し、点553からシャッタースピード1/1000、絞り値F11と定まる。一方、「picture B」では、ISO感度はISO12に設定される。「picture B」の等Bv線は、「picture B」のプログラム線図559と点560で交差し、点560からシャッタースピード1/60、絞り値F11と定まる。
Bv6のときは、「picture A」では、ISO感度はISO200に設定される。「picture A」の等Bv線は、「picture A」のプログラム線図558と点554で交差し、点554からシャッタースピード1/1000、絞り値F2.8と定まる。一方、「picture B」では、ISO感度はISO12に設定される。「picture B」の等Bv線は、「picture B」のプログラム線図559と点555で交差し、点555からシャッタースピード1/60、絞り値F2.8と定まる。
Bv5のときは、「picture A」では、ISO感度は1段分上昇してISO400に設定される。「picture A」の等Bv線は、「picture A」のプログラム線図558と点554で交差し、点554からシャッタースピード1/1000、絞り値F2.8と定まる。一方、「picture B」では、ISO感度はISO25に設定される。「picture B」の等Bv線は、「picture B」のプログラム線図559と点555で交差し、点555からシャッタースピード1/60、絞り値F2.8と定まる。
以降、輝度が下がるにつれて、「picture A」、「picture B」ともに、シャッタースピードと絞り値は変化せずにゲインアップしISO感度が上昇していく。
このプログラムAE線図に示した露光動作を行うことにより、表記した全輝度範囲において「picture A」は1/1000以上のシャッタースピードを保ち、「picture B」は多くの輝度範囲で1/60のシャッタースピードを保っている。これにより、「picture A」ではストップモーション効果を得つつ、「picture B」ではコマ送り的なパラパラ感のない高品位な動画を得ることができる。
図22は、「picture A」と「picture B」との間のシャッタースピードの差異を撮像シーケンス上で説明する図である。図には、横軸を時間として、V同期信号481、「picture A」の蓄積期間482,483、「picture B」の蓄積期間484,485を示している。nは、フレーム番号である。
蓄積期間482は、「picture A」の画面上端ラインの蓄積期間であり、蓄積期間483は、「picture A」の画面下端ラインの蓄積期間である。撮像素子184はローリング電子シャッター機能で露光動作を行うために、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で順次蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド185に入力される。時刻t53から時刻t54までが蓄積期間482であり、時刻t55から時刻t56が蓄積期間483である。
また、蓄積期間484は、「picture B」の画面上端ラインの蓄積期間であり、蓄積期間485は「picture B」の画面下端ラインの蓄積期間である。「picture B」においても「picture A」と同様に、画面上端のラインから画面下端のラインに向かって、所定の時間間隔で蓄積が開始され、当該時間間隔で順次蓄積が終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド186に入力される。時刻t51から時刻t54までが蓄積期間484であり、時刻t52から時刻t56が蓄積期間485である。
「picture A」と「picture B」の2つの映像は、異なる蓄積時間の設定で撮影されるが、「picture A」についてゲインアップするのではなく、撮像素子184において同程度のレベルの信号電荷を得ている。このため、「picture A」及び「picture B」のどちらもSNの良好なノイズ感のない映像となる。
図23は、撮像装置184に電源を投入した後のライブビュー表示中の表示部153の様子を表す図である。表示部153には、撮影光学系152を通して捉えられた人物163のスポーツシーンが表示されている。また、撮影モード選択レバー156が図1(b)の状態から時計方向に90度回動した位置にあるので、デュアル映像モードでの「picture A」と「picture B」のシャッタースピード491,492及びFナンバー493が表示されている。
図24(a),(b)は、スイッチST154、スイッチMV155を操作することにより取得された映像のうちの1フレームを示したものである。図24(a)は、シャッタースピード1/1000、絞り値F4.0で撮影された「picture A」の映像である。図24(b)は、シャッタースピード1/60、絞り値F4.0で撮影された「picture B」の映像である。図24(b)に示した映像は、シャッタースピードが遅いため、被写体の動きが止まらずにぶれている。ただし、これを60fps程度のフレームレートの動画として再生すると、このぶれがむしろ良い方向に働いてコマ送り的なパラパラ間のない滑らかな高品位な映像となる。一方、図24(a)に示した映像は、シャッタースピードが速く、本来であればストップモーション効果が現れるはずである。しかしながら、図15を用いて先に説明したように、シリコン基板内部で発生した信号電荷が拡散によって隣接する画素要素に漏れ込み、図24(b)に示した映像があたかも足し合わされたかのような滲んだ映像となっている。このクロストーク現象は、図24(b)に示した映像においても発生しているが、元々ぶれた映像であるためほとんど目立たない。
そこで、速いシャッタースピードによる本来のストップモーション効果を得るために、本実施形態による撮像装置においては、撮像素子184から出力された映像信号に対して以下に説明するクロストーク補正を施す。
図25は、クロストーク補正を含む一連の処理手順を示すフローチャートである。本実施形態による撮像装置100における撮像から記録までの処理は、例えば図25に示すステップS151〜ステップS155により実行される。
ステップS151においては、図16を用いて説明した時刻t32におけるスイッチMV155の操作に応じて、図12を用いて説明したシーケンスに従い、フォトダイオード310A,310Bへの信号電荷の蓄積と信号の読み出しとを行う。
ステップS152では、撮像素子184から読み出された信号がアナログフロントエンド185,186に入力され、ここでアナログ信号がデジタル化される。
ステップS153では、シリコン基板内部で発生した信号電荷が隣接画素要素に漏れ込んだことにより生じたクロストークを低減するための補正(クロストーク補正)を行う。クロストーク補正は、デジタル信号処理部187,188において行われる。すなわち、デジタル信号処理部187,188は、クロストーク補正部として機能する。
ステップS154では、現像と、必要に応じて圧縮処理を行う。なお、現像処理では、一連の処理のうちの1つとしてガンマ補正が行われる。ガンマ補正とは、入力された光量分布に対してガンマ関数を施す処理である。この結果、入力された光量分布に対してその出力は線形性が保たれず、クロストークの比もその時の光量によって変わってきてしまう。このため、クロストーク補正は、図25に示すように、ステップS154よりも前段階で行うことが望ましい。なお、現像後にクロストーク補正を行う場合には、光量の大きさによってクロストーク処理を変更し、或いは、映像信号そのものを逆ガンマ補正してからクロストーク補正を行なうようにすればよい。
ステップS155では、記録媒体193への映像の記録を行う。記録媒体193に記録する代わりに或いは記録媒体193への記録とともに、無線インターフェース部198を介してネットワーク上の記憶装置等に保存するようにしてもよい。
図26は、ステップS153においてデジタル信号処理部187,188において行われるクロストーク補正処理を説明するための図である。実際の処理は、デジタル信号処理として実行される。
デジタル信号処理部187において、A/D変換処理が施された後の信号471Aは、クロストーク量補正部473Aに入力され、また、クロストーク量演算部472Aを介してクロストーク量補正部473Bに入力される。同様に、デジタル信号処理部188において、A/D変換処理が施された後の信号471Bは、クロストーク量補正部473Bに入力され、また、クロストーク量演算部472Bを介してクロストーク量補正部473Aに入力される。
クロストーク量補正部473Aでは、信号471Aと、クロストーク量演算部472Bにおいてクロストーク補正関数gij(n)により所定の演算が施された後の信号471Bとに基づき、信号471Aのクロストーク補正を行い、出力信号474Aを得る。出力信号474Aに対しては、デジタル信号処理部187における後段の処理である現像や圧縮処理が施される。
クロストーク量補正部473Bでは、信号471Bと、クロストーク量演算部472Aにおいてクロストーク補正関数fij(n)により所定の演算が施された後の信号471Aとに基づき、信号471Bのクロストーク補正を行い、出力信号474Bを得る。出力信号474Bに対しては、デジタル信号処理部188における後段の処理である現像や圧縮処理が施される。
クロストークは生成される信号電荷の量に依存するため、クロストーク量補正部473A,473Bにより、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。これにより、他方の画素の出力信号から、これに重畳している一方の画素要素からのクロストーク成分を除去することができる。
ここで、nフレーム目の「picture A」の画素アドレスijにおけるデータをDATA_Aij(n)、nフレーム目の「picture B」の画素アドレスijにおけるデータをDATA_Bij(n)、補正係数をαとする。クロストークは入力光量に依存することから、nフレーム目の「picture A」の画素アドレスijの補正されたデータC_DATA_Aij(n)は、式(4)のように表すことができる。
C_DATA_Aij(n)
=DATA_Aij(n)−α×DATA_Bij(n) …(4)
クロストーク補正関数fij(n)を、
fij(n)=−α×DATA_Bij(n)
とすると、式(4)は、
C_DATA_Aij(n)=DATA_Aij(n)+fij(n)
と表すことができる。
同様に、nフレーム目の「picture B」の画素アドレスijにおける補正されたデータC_DATA_Bij(n)は、補正係数をβとして、式(5)のように表すことができる。
C_DATA_Bij(n)
=DATA_Bij(n)−β×DATA_Aij(n) …(5)
クロストーク補正関数gij(n)を、
gij(n)=−β×DATA_Aij(n)
とすると、式(5)は、
C_DATA_Bij(n)=DATA_Bij(n)+gij(n) …(6)
と表すことができる。
前述したように、「picture B」でもクロストークは発生しているが、元々ぶれた映像であるためにほとんど目立たないので、式(5)〜式(6)に示した処理は省略してもよい。比較的短い蓄積時間の映像に対してはクロストーク補正を行い、比較的長い蓄積時間の映像に対してはクロストーク補正を行わないようにすれば、演算負荷を低減することも可能である。
図27は、クロストーク補正関数fij(n),gij(n)の具体例を示す図である。同図において、横軸が入力データの大きさを示し、縦軸が補正すべきクロストーク補正量を示している。クロストーク補正関数fij(n),gij(n)は、いずれも、入力データに比例したクロストーク補正量を得る関数である。厳密には、画素構造に依存して異なるものの、補正係数αと補正係数βとは同程度の数値となる。ただし、画素要素への光の入射角に依存してシリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込む度合いは異なる。このことから、絞り181を開けてFナンバーが大きくなっているときほどクロストークは大きく、クロストーク補正量の絶対値も大きくなる。一方、絞り181を絞ってFナンバーが小さくなっているときほどクロストークは小さく、クロストーク補正量の絶対値も小さくなる。図において、特性591はF2.8のときのクロストーク補正関数であり、特性592はF5.6のときのクロストーク補正関数であり、特性593はF11のときのクロストーク補正関数である。特性591、特性592、特性593の順に傾きが小さくなっている。なお、撮影光学系152のFナンバーは連続的に変化させることができるので、補正係数α及び補正係数βをFナンバーの関数とすれば、より高精度なクロストーク補正を実現することができる。
また、図13を用いて先に説明したように、補正係数αと補正係数βは、相対的に短く設定した「picture A」用のフォトダイオードの蓄積時間の関数とするとよい。さらに、像高によってもクロストーク補正量を変えることで、より正確なクロストーク補正を実現することができる。ライトガイド255への光の入射が斜めになることでクロストークは増加するので、画素アドレスijを基に光軸180から画素までの距離ZKを算出し、距離ZKに比例して絶対値が増加するようにクロストーク補正を加えればよい。さらに、ライトガイド255への光の入射角の変化は、撮影光学系152の射出瞳と撮像素子183との距離HKにも依存するので、クロストーク補正関数を距離HKの関数とすることでより高精度な補正を行うことができる。
図28は、シャッタースピード1/1000、絞り値F4.0で撮影された「picture A」の映像(図24(a))に対してクロストーク補正を施した後の「picture A」の映像である。図24(a)の映像では、シリコン基板内部で発生した信号電荷が拡散により隣接画素要素に漏れ込み、図24(b)に示した映像があたかも足し合わされたかのような滲んだ映像となっていた。それに対して、図28の映像では、本来の速いシャッタースピードによるストップモーション効果が現れている。デジタルスチルモーションカメラの表示部153上では、再生ボタン161が操作されたときに、例えば図29に示すように、「picture A」496と「picture B」497の両方を並べて表示できることが望ましい。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。
図30は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、ストレージに格納された「picture A」及び「picture B」の活用例を説明するための図である。
「picture A」及び「picture B」のデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図において、フレーム群581は、MP4ファイルに格納された「picture A」のフレーム群であり、フレーム群571は、別のMP4ファイルに格納された「picture B」のフレーム群である。これらのMP4ファイルには撮影時に同じCLIP−UMIDが設定され、関連付けがなされている。
まず、動画の再生をスタートすると、「picture B」のフレーム群571の先頭フレーム572から決められたフレームレートで順次フレームが再生される。「picture B」は、シャッタースピードが過度に速くならないような設定(この例では1/60秒)で撮影されているため、再生された映像はコマ送りのようなパラパラ感のない高品位なものである。
フレーム573まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に「picture B」に対応する「picture A」のデータファイルから同一タイムコードのフレーム582が検索され、表示される。「picture A」は、ストップモーション効果が得られやすい高速シャッタースピード(この例では1/1000秒)で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。「picture A」,「picture B」の2つの映像は、異なる蓄積時間の設定で撮影されるが、「picture A」についてゲインアップするのではなく、撮像素子184において同程度の信号電荷を得ている。このため、「picture A」及び「picture B」のどちらもSNの良好なノイズ感のない映像となる。
ここで、印刷の指示を行うと、「picture A」のフレーム582のデータがプリントインターフェース部194を介してプリンタ195に対して出力される。したがって、印刷物も、「picture A」を反映したストップモーション効果がある迫力のあるものとなる。
使用者が一時停止を解除すると、自動的に「picture B」のフレーム群571に戻って、フレーム574から再生が再開する。このとき、再生される映像はコマ送りのようなパラパラ感のない高品位なものである。
このように、本実施形態によれば、1つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。これにより、パラパラ間のない高品位の動画と、ストップモーション効果がある迫力のある静止画を同時に撮影することができる。
[第2実施形態]
本発明の第2実施形態による撮像装置について、図31及び図32を用いて説明する。図1乃至図30に示す第1実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
撮影時に「picture A」のフレームレートと「picture B」のフレームレートを異なる設定にすると、「picture A」を用いて高品位なスロー再生を実現することができる。本実施形態では、このような撮影モードにおけるクロストーク補正について説明する。
図31は、「picture A」と「picture B」のフレームレートの差異を撮像シーケンス上で説明するための図である。図の意味合いは、図22を用いて説明した通りである。図には、横軸を時間として、V同期信号681、「picture A」の蓄積期間482,483、「picture B」の蓄積期間484,485を示している。nは、フレーム番号である。「picture B」の1フレーム期間T51の間に「picture A」は4回の蓄積と信号電荷の読み出しを行っている。したがって、「picture A」のシャッタースピードは、少なくとも「picture B」の1フレーム期間T51の1/4よりも速い側に制限される。
図32は、タブレット端末、パーソナルコンピュータ、テレビモニタなどにおける、「picture A」と「picture B」の活用例を説明するための図である。
「picture A」と「picture B」のデータファイルは、ネットワーク上のストレージ等に格納されているものとする。図32において、フレーム群681は、MP4ファイルに格納された「picture A」のフレーム群、フレーム群671は、別のMP4ファイルに格納された「picture B」のフレーム群である。これらのMP4ファイルには撮影時に同じCLIP−UMIDが設定され、関連付けがなされている。
まず、動画の再生をスタートすると、「picture B」のフレーム群671の先頭フレーム672から決められたフレームレートで順次フレームが再生される。「picture B」は、シャッタースピードが過度に速くならないような設定(この例では1/100秒)で撮影されているため、再生された映像はコマ送りのようなパラパラ感のない高品位なものである。
フレーム672まで再生が進んだ時点で使用者がスロー再生の操作を行うと、自動的に「picture B」に対応する「picture A」のデータファイルから同一タイムコードのフレーム682が検索され、表示される。「picture A」は、スロー再生でもぶれが目立たない高速シャッタースピード(この例では1/400秒)で撮影されており、スポーツシーンの激しい動きを具に描き出した迫力のある映像となる。
使用者がスロー再生を解除すると、自動的に「picture B」のフレーム群671に戻って、フレーム674から通常の速度の再生が再開する。このとき、再生される映像はコマ送りのようなパラパラ感のない高品位なものである。
次に、このように「picture A」と「picture B」のフレームレートが異なる場合のクロストーク補正について説明する。
「picture B」が蓄積を行っていないタイミングでは「picture A」へのクロストークは生じないので、本実施形態では、「picture B」の蓄積時間に応じてクロストーク補正を切り替えることとする。
具体的には、「picture B」の蓄積時間をSt、「picture B」の1フレーム当たりの時間をFt、フレーム番号をnとし、次のように蓄積時間Stと時間Ftとの大きさの関係による場合分けを行ってクロストーク補正を実現する。
(St>3Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)
−(β1×DATA_Aij(4n−6)+β2×DATA_Aij(4n−5)
+β3×DATA_Aij(4n−4)+β4×DATA_Aij(4n−3))
(3Ft/4≧St>2Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−(β2×DATA_Aij(4n−5)
+β3×DATA_Aij(4n−4)+β4×DATA_Aij(4n−3))
(2Ft/4≧St>Ft/4のとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_Bij(n)−(β3×DATA_Aij(4n−4)
+β4×DATA_Aij(4n−3))
(Ft/4≧Stのとき)
C_DATA_Aij(n)
=DATA_Aij(n)
−α×DATA_Bij(1+QUOTIENT(n+2,4))
C_DATA_Bij(n)
=DATA_pictureBij(n)−β4×DATA_Aij(4n−3)
なお、これらの式で用いたQUOTIENT関数は、除算の商の小数値を切り捨てて整数のみを返す関数である。QUOTIENT関数は、「picture A」と「picture B」のフレームレートが異なることに起因して「picture A」のフレーム番号nが速く進むことを考慮するために用いている。
以上のようにクロストーク補正を構成することによって、「picture A」と「picture B」のフレームレートが異なるときにも適切な補正を行うことができるので、「picture A」を用いた高品位のスロー映像を得ることができる。この際、「picture A」,「picture B」の2つの映像は、異なる蓄積時間の設定で撮影されるが、「picture A」についてゲインアップするのではなく、撮像素子184において同程度の信号電荷を得ている。このため、「picture A」及び「picture B」のどちらもSNの良好なノイズ感のない映像となる。また、この技術は、「picture B」を用いたファスト映像を得る際に、その高品位化に用いることもできる。
このように、本実施形態によれば、1つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。また、複数の映像間でフレームレートを異なる値に設定にすることにより、高品位なスロー再生の実現が可能となる。
[第3実施形態]
本発明の第3実施形態による撮像装置について、図33乃至図36を用いて説明する。図1乃至図32に示す第1及び第2実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、「picture A」,「picture B」を合成してHDR映像(ハイ・ダイナミックレンジ映像)を作成する際のクロストーク補正について述べる。構成要素は第1実施形態と同様である。
「picture A」は受光効率の高い画素要素303Aを用いて撮影され、「picture B」は受光効率の低い画素要素303Bを用いて撮影される。このため、両者に同一の蓄積時間を設定するだけでも、「picture B」は「picture A」に対して感度が3段劣る映像となる。したがって、「picture A」において低輝度領域が十分に再現可能なレベルのときに多くの場合で高輝度領域は白飛びしてしまうが、「picture B」ではその高輝度領域でも白飛びせずに輝度情報を残すことができる。ただし、「picture B」の低輝度部分は非常に信号レベルが低くなって黒つぶれを起こしているので、逆に、多くの場合は使用することはできない。
HDR映像を取得するためには、まず、感度の低い画素要素から取得した映像(以下、「アンダー映像」と呼ぶ)と感度の高い画素要素から取得した映像(以下、「オーバー映像」と呼ぶ)とを適切にゲイン調整する。そして、アンダー映像の輝度閾値より暗い領域はオーバー映像で置き換え、輝度閾値より明るい領域はアンダー映像をそのままに合成する。本実施形態では、アンダー映像として「picture B」を、オーバー映像として「picture A」を用いればよい。ただし、輝度閾値付近の明るさの中間領域は、映像の合成比率を徐々に変化させるなど、ユーザにとってより自然な映像に見えるように適宜調整することが望ましい。
「picture A」に対して「pictureB」の感度を何段低く設定するかは、被写体の輝度分布の範囲に依存する。輝度範囲が広く、アンダー映像としての「picture B」の信号レベルを3段よりも低くするときには、「picture B」の蓄積時間を「picture A」よりも短くする。逆に、輝度範囲が狭く、アンダー映像としての「picture B」の信号レベルを3段低い感度よりも高くするには、「picture B」の蓄積時間を「picture A」よりも長くすればよい。被写体が風景などの場合には、「picture B」は「picture A」に対して感度が3段程度低いことが適切な場合が多いため、感度の差を相殺して「picture A」と「picture B」の蓄積時間は同程度になる。「picture A」と「picture B」の蓄積時間が同程度であることによって、被写体が動いているときにも「picture A」と「picture B」の対応する画素位置における被写体像のぶれやボケの状態が良く揃うことになる。これにより、より高品位なHDR映像を得ることができる。
図33は、「picture A」と「Picture B」の蓄積動作を撮像シーケンス上で説明するための図である。図には、横軸を時間として、V同期信号781、「picture A」及び「picture B」の蓄積期間、フレーム番号nを示している。蓄積期間782が「picture A」の画面上端ラインの蓄積期間であり、蓄積期間783が「picture A」の画面下端ラインの蓄積期間である。また、蓄積期間784が「picture B」の画面上端ラインの蓄積期間であり、蓄積期間785が「picture B」の画面下端ラインの蓄積期間である。
撮像素子184はローリング電子シャッター機能で露光動作を行うために、「picture A」では、画面上端から画面下端に向かって時系列的に蓄積が開始され、時系列的に終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド185に入力される。時刻t72から時刻t73までが蓄積期間782であり、時刻t75から時刻t76までが蓄積期間783である。
また、「picture A」と同様に、「picture B」においても、画面上端から画面下端に向かって時系列的に蓄積が開始され、時系列的に終了する。蓄積が終了すると信号電荷は撮像素子184から順次読み出され、アナログフロントエンド186に入力される。時刻t71から時刻t73までが蓄積期間784であり、時刻t74から時刻t76が蓄積期間785である。
図34は、「picture A」と「picture B」の合成比率を説明するための図である。横軸が輝度レベルを示し、縦軸が合成比率を示している。輝度レベルがL51までの低い範囲では、「picture A」の合成比率が1、「picture B」の合成比率がゼロとされている。輝度レベルがL51からL52の範囲では、「picture A」の合成比率が1からゼロに徐々に下降し、代わりに「picture B」の合成比率がゼロから1に徐々に上昇する。輝度レベルがL52を超える高い範囲では、「picture A」の合成比率がゼロ、「picture B」の合成比率が1とされている。
このとき、輝度レベルがL51を下回る低輝度領域では、「picture B」の信号レベルが非常に低いので、撮像素子184のシリコン基板内部で発生した信号電荷の拡散による「picture A」への影響は無視することができる。「picture A」から「picture B」への信号電荷の拡散による漏れ込みは発生するものの、「picture B」の合成比率がゼロなので問題にはならない。
一方、輝度レベルがL51を超える高輝度域では、撮像素子184のシリコン基板内部で発生した信号電荷が拡散によって「picture A」側の画素要素から「picture B」側の画素要素に電気的に漏れ込むことがある。この場合、「picture A」の信号レベルが高いため、「picture B」の映像は明らかに劣化する。しかも、この輝度範囲では「picture B」の合成比率が高くなっているため、このままでは合成映像としてもL51を超えた高輝度域における映像の劣化が目立ってしまうこととなる。
そこで、輝度レベルの高い領域の合成比率が高い「picture B」について、クロストーク補正を行う。クロストーク補正処理は、先に図26を用いて説明したものと基本的には同様である。クロストークは信号電荷の量に依存するため、一方の画素要素で生成された信号電荷の量に応じたクロストーク量によって他方の画素要素の出力信号を補正することでクロストーク補正が可能となる。
ここで、nフレーム目の「picture A」の画素アドレスijにおけるデータをDATA_Aij(n)、nフレーム目の「picture B」の画素アドレスijにおけるデータをDATA_Bij(n)とする。また、nフレーム目の「picture B」の画素アドレスijにおける補正されたデータをC_DATA_Bij(n)、補正係数をβとする。補正されたデータとしては「picture B」だけを得ればよいので、
C_DATA_Aij(n)
=DATA_Bij(n)−β×DATA_Aij(n) …(7)
となる。クロストーク補正関数gij(n)を、
gij(n)=−β×DATA_Bij(n)
とすると、式(7)は、
DATA_Bij(n)=DATA_Bij(n)+gij(n)
と表すことができる。
上述したHDR映像の合成処理は、例えば、記録媒体193から「picture A」及び「Picture B」を受信したシステム制御CPU178において実行される。すなわち、システム制御CPU178は、ハイ・ダイナミックレンジ映像合成部として機能する。
図35は、HDR合成用の「picture A」と「picture B」の例であって、太陽を含む夜明けの風景の映像である。図35(a)が「picture A」であり、図35(b)が「picture B」である。「picture A」と「picture B」の撮像条件は、ともに、シャッタースピードが1/60、絞り値がF2.8となっている。ただし、撮像時の実際のシャッタースピードは表示よりも細かく制御されているので、「picture A」と「picture B」とで全く同一とは限らない。
図35(a)は、受光効率の高い画素要素を用いて撮影された「picture A」の映像のうちの1フレームであり、建物791は陰になっているもののディテールは再現されている。一方、太陽792は非常に高輝度であるためにその周辺部も含めて白飛びしている。これに対し、図35(b)は、受光効率の低い画素要素を用いて撮影された「picture B」の映像のうちの図35(a)と同一タイミングのフレームであり、建物793は陰になっていてディテールも失われている。一方、太陽794は非常に高輝度ではあるが、受光効率の低い画素要素での撮影であるために白飛びせず、輝度情報や色情報は失われていない。
図36は、上述したクロストーク補正処理を施したのちにHDR映像を合成した結果を撮像装置の表示部153上に表示した状態を示す図である。建物795のディテール及び太陽796とその周辺のグラデーションが良好に再現されたHDR映像を得ることができている。
このように、本実施形態によれば、1つの撮像素子を用いて複数の映像を同時に撮影する際に、クロストークによる画質の低下を抑えることができる。また、これら映像を合成することにより、高品位のHDR映像を得ることができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図1及び図2に示した構成に限定されるものではない。また、撮像素子の各部の回路構成も、図3、図8、図11等に示した構成に限定されるものではない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。