JP6149544B2 - 撮像装置および制御プログラム - Google Patents

Description

本発明は、撮像装置および制御プログラムに関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。当該撮像装置においては、撮像素子に配列された全ての画素の右半分または左半分は遮光部材により遮光されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報

撮像装置は、例えば動画を撮影する場合に、静止画時よりも読み出し画素数を減らして、所定のフレームレートを得る目的で、画素加算または画素間引き、若しくは両者の組み合わせによって、撮像素子に撮像された撮像画像を縮小して読み出す。しかしながら、遮光部材により遮光されている画素と遮光されていない画素とが撮像素子に混在する場合等、入射光束の部分光束を受光する画素と入射光束の全体を受光する画素とが混在する場合に、画素加算および画素間引きを施した画像と施していない画像との間に差が生じていた。

本発明の第１の態様における撮像装置は、単位画素領域内に偏位した複数の光電変換部を含む分割画素が２次元的に複数配列されている撮像素子と、分割画素の素子配列に従った各々の画素信号を出力させる第１出力と、素子配列を間引いた縮小配列に従った各々の画素信号を出力させる第２出力とを切り替える切替部と、それぞれの分割画素を、視差を与える偏位画素として機能させるか、視差を与えない非偏位画素として機能させるかを、第１出力を実行する場合と第２出力を実行する場合で異ならせるように決定する決定部とを備える。

本発明の第２の態様における制御プログラムは、単位画素領域内に偏位した複数の光電変換部を含む分割画素が２次元的に複数配列されている撮像素子を備える撮像装置の制御プログラムであって、分割画素の素子配列に従った各々の画素信号を出力させる第１出力と、素子配列を間引いた縮小配列に従った各々の画素信号を出力させる第２出力とを切り替える切替ステップと、それぞれの前記分割画素を、視差を与える偏位画素として機能させるか、視差を与えない非偏位画素として機能させるかを、第１出力を実行する場合と第２出力を実行する場合で異ならせるように決定する決定ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 一画素の回路構成を示す図である。 タイミングチャートを示す図である。 画素配列パターンのバリエーションを概念的に示す概念図である。 画素配列パターンが固定されている場合の動画読み出しを説明する図である。 図５（ｂ）に示す基本格子１１０を採用した場合の動画読み出しを説明する図である。 図５（ａ）に示す基本格子１１０を採用した場合の動画読み出しを説明する図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。 回路構成のバリエーションを説明する図である。 光電変換部のバリエーションを示す図である。 画素配列パターンおよび動画読み出しのバリエーションを説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備える。撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、揮発性メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、および不揮発性メモリ２３３を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、複数の画素が二次元的に配列された、例えばＣＭＯＳセンサ等のイメージセンサである。詳しくは後述するが、複数の画素のそれぞれは、左右に分割された光電変換部を備える分割画素であり、視差画素または視差なし画素として機能する。いずれを視差画素とし、いずれを視差なし画素とするかについての画素配列パターンは、動的に変化させることができる。したがって、撮像素子１００は、種々の画素配列パターンで被写体像を撮像できる。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。

撮像素子１００が画素信号をＡ／Ｄ変換回路２０２へ出力するに当たり、駆動部２０４は画素信号の読み出しを制御する。駆動部２０４は、静止画読み出し時においては、画素の素子配列に従った各々の画素信号を第１出力として出力させる。すなわち、撮像素子１００の全画素を読み出すように制御する。一方、動画読み出し時においては、縮小配列に従った各々の画素信号を第２出力として出力させる。すなわち、隣接する画素の出力を加算するとともに、予め定められた画素の出力を間引くことにより、撮像素子１００の全画素のうち一部の画素のみを読み出すように制御する。駆動部２０４は、制御部２０１による制御に従って、第１出力と第２出力とを切り替える。画素信号の読み出しの詳細は後述する。

ここで、素子配列は、撮像素子１００に割り当てられている画素の配列である。すなわち、左右に分割された光電変換部を備える画素の二次元的な配列をいい、撮像素子１００に静的に定められている配列である。言い換えると、各画素が視差画素または視差なし画素のいずれとして機能するかに関わらず定まる配列である。撮像素子１００の素子配列において、上述のように、いずれを視差画素とし、いずれを視差なし画素とするかについての画素配列パターンが動的に変化する。また、縮小配列は、素子配列を間引いた配列であり、素子配列と同様に、各画素が視差画素または視差なし画素のいずれとして機能するかに関わらず定まる配列である。縮小配列の大きさは、例えばユーザ入力に応じて予め設定される。縮小配列において、いずれを視差画素とし、いずれを視差なし画素とするかについての画素配列パターンが動的に変化する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル画像信号に変換して揮発性メモリ２０３へ出力する。画像処理部２０５は、揮発性メモリ２０３をワークスペースとして種々の画像処理を施し、撮影画像データを生成する。撮影画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。

画像処理部２０５は、他にも、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された撮影画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

不揮発性メモリ２３３は、デジタルカメラ１０の動作時に必要な定数、変数、プログラム等を、デジタルカメラ１０の非動作時にも失われないように記録している。詳しくは後述するが、不揮発性メモリ２３３は、静止画撮影に用いられる複数の画素配列パターンと、動画撮影に用いられる複数の画素配列パターンとを対応付けて記憶している。

デジタルカメラ１０は、上記の画像処理における各々の要素も含めて、制御部２０１により直接的または間接的に制御される。制御部２０１は、定数、変数、プログラム等を適宜揮発性メモリ２０３に展開して、デジタルカメラ１０の制御に利用する。例えば、ユーザによる操作部２０８を介した選択操作を検出して、互いに対応付けられた静止画用の画素配列パターンおよび動画用の画素配列パターンをカレントの画素配列パターンとして設定する。そして、詳しくは後述するが、制御部２０１は、設定した画素配列パターンに応じて、各画素の出力を、視差を与える視差画素として機能させるか、視差を与えない視差なし画素として機能させるかを、上記第１出力を実行する場合と上記第２出力を実行する場合で異ならせるように決定する決定部として機能する。また、ユーザによる操作部２０８を介した撮影モード設定操作を検出して、上記第１出力と上記第２出力とを切り替えるように、駆動部２０４を制御する。

操作部２０８は、デジタルカメラ１０に関する各種設定に用いられる。例えば、画素配列パターンの設定に用いられる。ユーザは、操作部２０８を操作することにより、撮影時の画素配列パターンを自由に選択できる。操作部２０８は、ユーザによる撮影モードの設定にも用いられる。撮影モードには、静止画撮影モードと動画撮影モードが含まれる。ユーザは、操作部２０８を操作することにより、撮影時の撮影モードを選択できる。

また、操作部２０８はレリーズスイッチを含む。レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。静止画撮影モードにおいては、制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による被写体像の取得動作を実行する。詳しくは後述するが、取得された被写体像は、設定されている静止画用の画素配列パターンに従って読み出される。動画撮影モードにおいては、制御部２０１は、レリーズスイッチの押下の検知により、撮像素子１００による被写体像の取得動作を実行する。取得された被写体像は、設定されている動画用の画素配列パターンに従って、順次、画素加算および画素間引きが行われた上で読み出される。

図２は、撮像素子の一部を拡大した様子を概念的に表す概念図である。画素領域には通常１０万以上もの画素が配列されている。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。本実施形態においては、隣接する２画素×２画素の４画素のうち左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に赤フィルタ（Ｒフィルタ）、右上画素に青フィルタ（Ｂフィルタ）が配されたベイヤー配列１０１を採用している。各画素１１１は、単位画素領域の中心に対して左方向に偏位した左側の光電変換部１１２と、右方向に偏位した右側の光電変換部１１３とを当該単位画素領域内に含んで構成される。左側の光電変換部１１２と右側の光電変換部１１３とは、単位画素領域の中心に対して対称に配置されている。詳しくは後述するが、左側の光電変換部１１２および右側の光電変換部１１３に蓄積された電荷をどのように読み出すかによって、各画素１１１を視差画素および視差なし画素のいずれとしても機能させることができる。

視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光し、画素信号に変換して出力する偏位画素である。視差画素には、視差Ｌｔ画素と視差Ｒｔ画素の２種類が存在する。視差Ｌｔ画素は、画素中心に対して左側に到達した部分光束を受光し、画素信号に変換して出力する画素である。視差Ｒｔ画素は、画素中心に対して右側に到達した部分光束を受光し、画素信号に変換して出力する画素である。一方、視差なし画素は、偏心のない非偏位画素である。本実施形態においては、左側の光電変換部１１２および右側の光電変換部１１３の重心は、単位画素領域の中心に一致する。したがって、単位画素領域の中心に対して左側に到達した部分光束を受光する視差Ｌｔ画素の信号と、右側に到達した部分光束を受光する視差Ｒｔ画素の信号の加算信号を画素信号として出力することにより、視差なし画素として扱うことができる。

図３は、一画素の回路構成を示す図である。本実施形態における画素１１１において、フォトダイオード３０１は、左側の光電変換部を構成する左側フォトダイオード３０１Ｌおよび右側の光電変換部を構成する右側フォトダイオード３０１Ｒを含む。画素１１１は、転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、および選択トランジスタ３０５を含む。すなわち、画素１１１は、いわゆる４トランジスタ型画素構造をなす。左側フォトダイオード３０１Ｌは、転送トランジスタ３０２Ｌによって電荷蓄積が制御される。右側フォトダイオード３０１Ｒは、転送トランジスタ３０２Ｒによって電荷蓄積が制御される。すなわち、転送トランジスタ３０２は、二つのフォトダイオードに対応して個別に設けられる。したがって、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒに蓄積された電荷を個別に転送することができる。一方、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、二つのフォトダイオードに対して共通に一つ設けられる。以下、回路構成について詳細に説明する。

左側フォトダイオード３０１Ｌは、転送トランジスタ３０２Ｌに接続される。転送トランジスタ３０２ＬのゲートＴＧ１は、転送パルスが供給される転送パルス配線に接続される。転送トランジスタ３０２Ｌのドレインは、リセットトランジスタ３０３のソースに接続される。

右側フォトダイオード３０１Ｒは、転送トランジスタ３０２Ｒに接続される。転送トランジスタ３０２ＲのゲートＴＧ２は、転送パルスが供給される転送パルス配線に接続される。転送トランジスタ３０２Ｒのドレインは、リセットトランジスタ３０３のソースに接続される。

転送トランジスタ３０２Ｌ、３０２Ｒのドレインとリセットトランジスタ３０３のソース間にはフローティングディフュージョン３１１が形成される。フローティングディフュージョン３１１は、増幅トランジスタ３０４のゲートに接続される。なお、図では便宜的に、リセットトランジスタ３０３とフローティングディフュージョン３１１を別体として記載したが、リセットトランジスタ３０３のソースの拡散層がフローティングディフュージョン３１１の機能を兼ねる。

リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶＤＤ配線に接続され、そのゲートＲＧはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ３０４のドレインは電源電圧が供給されるＶＤＤ配線に接続される。また、増幅トランジスタ３０４のソースは、選択トランジスタ３０５のドレインに接続される。選択トランジスタのゲートＲＳＥＬには、選択パルスが供給されるデコーダ配線に接続される。そして、選択トランジスタ３０５のソースは、出力配線に接続される。

図４は、タイミングチャートを示す図である。図４（ａ）は、左側フォトダイオード３０１Ｌに蓄積された電荷を読み出す流れを説明する図である。左側フォトダイオード３０１Ｌ、右側フォトダイオード３０１Ｒは、受光する入射光を電荷に変換して蓄積する。ここではＴ1に至るまでに、フォトダイオードは所定の時間露光され、電荷が蓄積されているものとする。後述する図４（ｂ）、（ｃ）についても同様である。左側フォトダイオード３０１Ｌの信号読み出しの前に、リセット配線を通じてリセットパルスがリセットトランジスタ３０３のゲートＲＧに印加されて（Ｔ１）、フローティングディフュージョン３１１の電位はリセットされる。そして、デコーダ配線を通じて選択パルスが選択トランジスタ３０５のゲートＲＳＥＬに印加されて（Ｔ２）、リセット電位が増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線に伝わり、後段の回路部でリセット信号として読み出される。

リセット後、リセットパルスは解除され、リセットトランジスタ３０３はオフになる。その後、転送パルスが転送トランジスタ３０２ＬのゲートＴＧ１に印加されると（Ｔ３）、蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、左側フォトダイオード３０１Ｌに蓄積された電荷のみが転送され、信号に寄与する。再び、デコーダ配線を通じて選択パルスが選択トランジスタ３０５のゲートＲＳＥＬに印加されると（Ｔ４）、電荷蓄積後の信号電位が出力配線に伝わる。後段の回路部で電荷蓄積後の信号電位が読み出され、すでに読み出してあるリセット電位との差を取ることで、画素に入射した光信号に対応する画素信号を得る。以上のように、左側フォトダイオード３０１Ｌに蓄積された電荷を画素信号として読み出すことにより、視差Ｌｔ画素として機能させることができる。その後、リセットパルスがリセットトランジスタ３０３のゲートＲＧに印加され（Ｔ５）、同時に転送パルスが転送トランジスタ３０２ＬのゲートＴＧ１、転送トランジスタ３０２ＲのゲートＴＧ２に印加されると（Ｔ５）、左側フォトダイオード３０１Ｌ、右側フォトダイオード３０１Ｒ、およびフローティングディフュージョン３１１の電位はリセットされる。

図４（ｂ）は、右側フォトダイオード３０１Ｒに蓄積された電荷を読み出す流れを説明する図である。図４（ｂ）のＴ１およびＴ２における処理は、図４（ａ）のＴ１およびＴ２における処理と同一である。すなわち、フローティングディフュージョン３１１の電位をリセットし（Ｔ１）、リセット電位をリセット信号として後段の回路部で読みだす（Ｔ２）。

リセット後、リセットパルスは解除され、リセットトランジスタ３０３はオフになる。その後、転送パルスが転送トランジスタ３０２ＲのゲートＴＧ２に印加されると（Ｔ３）、蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、右側フォトダイオード３０１Ｒに蓄積された電荷のみが転送され、信号に寄与する。図４（ｂ）のＴ４以降の処理は、図４（ａ）のＴ４以降の処理と同一である。具体的には、電荷蓄積後の信号電位を後段の回路部で読み出し（Ｔ４）、すでに読み出してあるリセット電位との差を取ることで、画素に入射した光信号に対応する画素信号を得る。以上のように、右側フォトダイオード３０１Ｒに蓄積された電荷を画素信号として読み出すことにより、視差Ｒｔ画素として機能させることができる。その後、左側フォトダイオード３０１Ｌ、右側フォトダイオード３０１Ｒ、およびフローティングディフュージョン３１１の電位がリセットされる。

図４（ｃ）は、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒに蓄積された電荷を読み出す流れを説明する図である。図４（ｃ）のＴ１およびＴ２における処理は、図４（ａ）のＴ１およびＴ２における処理と同一である。すなわち、フローティングディフュージョン３１１の電位をリセットし（Ｔ１）、リセット電位をリセット信号として後段の回路部で読みだす（Ｔ２）。

リセット後、リセットパルスは解除され、リセットトランジスタ３０３はオフになる。その後、転送パルスが転送トランジスタ３０２ＬのゲートＴＧ１に印加されるとともに（Ｔ３）、転送パルスが転送トランジスタ３０２ＲのゲートＴＧ２に印加されると（Ｔ３）、それぞれに蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷が転送され、加算される。図４（ｃ）のＴ４以降の処理は、図４（ａ）のＴ４以降の処理と同一である。具体的には、電荷蓄積後の信号電位を後段の回路部で読み出し（Ｔ４）、すでに読み出してあるリセット電位との差を取ることで、画素に入射した光信号に対応する画素信号を得る。以上のように、左側フォトダイオード３０１Ｌに蓄積された電荷と右側フォトダイオード３０１Ｒに蓄積された電荷を加算して画素信号として読み出すことにより、視差なし画素として機能させることができる。左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を加算した後に読み出しているので、ＳＮ比の観点において有利である。特に、蓄積される電荷量が少ない場合に有効である。

なお、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を加算せずに読み出すこともできる。この場合に、各フォトダイオード３０１に蓄積された電荷を時分割で読み出してもよいし、別途走査回路ユニットを設けることにより同時に読み出してもよい。各フォトダイオード３０１に蓄積された電荷を加算せずに読み出す場合には、一つの画素内に視差Ｌｔ画素と視差Ｒｔ画素とが存在するとみなせるので、全画素に占める視差画素の密度を高めることができる。したがって、視差なし画素の空間解像度を低下させることなく、視差画素の空間解像度を向上させることができる。以上のように、それぞれの画素を視差画素として機能させるか、視差なし画素として機能させるかによって種々の画素配列パターンを実現できる。

図５は、静止画用の画素配列パターンのバリエーションを概念的に示す概念図である。図において、単位画素領域の中心に対して左方向に偏位した白抜き矩形が配置された画素は、左側の光電変換部に蓄積された電荷のみを読み出す画素（すなわち視差Ｌｔ画素）を表す。単位画素領域の中心に対して右方向に偏位した白抜きの矩形が配置された画素は、右側の光電変換部に蓄積された電荷のみを読み出す画素（すなわち視差Ｒｔ画素）を表す。単位画素領域の中心に対して偏位していない白抜きの矩形が配置された画素は、両方の光電変換部の電荷を加算して読み出す画素（すなわち視差なし画素）を表す。

また、図５に示す各バリエーションにおいては、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含む６４画素を基本格子１１０とする。撮像素子１００は、基本格子１１０が周期的に配列されてなる。なお、図５に示す各バリエーションにおいては、撮像素子１００における一つの基本格子１１０を、その画素配列に一致させてそのまま羅列した様子を示している。各図においては、画素の種類が理解されるように示しているが、実際には各画素に対応した出力値が並ぶ。また、基本格子１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。

図５（ａ）、（ｂ）は、各画素を視差Ｌｔ画素、視差Ｒｔ画素、視差なし画素のいずれとして機能させるかを定めた画素配列パターンを示す図である。図５（ａ）において、視差画素として機能させる画素は以下の通りである。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。図５（ａ）に示す基本格子の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。図５（ａ）に示す基本格子１１０では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比はＮ：Ｌｔ：Ｒｔ＝１４：１：１である。視差なし画素の空間解像度は、ベイヤー配列に近い状態を保っている。

図５（ｂ）においては、視差画素として機能させる画素は以下の通りである。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_４４…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_４８…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_８４…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_８８…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。図５（ｂ）に示す基本格子の場合、Ｇ（Ｎ）＝２４個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝４＋４＝８個であり、Ｒ（Ｎ）＝１２個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２＋２＝４個、Ｂ（Ｎ）＝１２個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２＋２＝４個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。図５（ｂ）に示す基本格子１１０では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比はＮ：Ｌｔ：Ｒｔ＝６：１：１である。図５（ｂ）に示す基本格子１１０は、図５（ａ）に示す基本格子に比べて、視差画素の密度がＲ、Ｇ、Ｂ成分ともに２倍に増えており、視差なし画素と視差画素のバランスを重視した配列である。

本実施形態に係るデジタルカメラ１０の動画読み出しについて説明する前に、撮像素子に視差画素および視差なし画素のいずれかが静的に割り当てられている場合の動画読み出しについて説明する。水平方向に複数の画素を加算するとともに、垂直方向の複数の画素を間引くことにより、動画読み出しを行うことができる。

図６は、画素配列パターンが固定されている場合の動画読み出しを説明する図である。撮像素子３００においては、視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素のいずれかが各画素に割り当てられている。視差画素は、部分光束のみを透過させるように画素中心から偏位した偏位開口を有する開口マスクを設けることにより構成できる。開口マスクは、例えばカラーフィルタに重ねて設けられる。開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素を構成できる。同様に、開口マスクにより、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素を構成できる。一方、開口マスクを設けないことにより、偏心のない画素として、撮影レンズ２０を透過する入射光束の全体を受光する視差なし画素を構成できる。

図６（ａ）は、撮像素子３００の画素配列パターンを示す。図６（ａ）に示す撮像素子３００において、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含む６４画素を基本格子３１０とする。基本格子３１０においては、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比はＮ：Ｌｔ：Ｒｔ＝６：１：１である。つまり、図５（ｂ）に示す基本格子１１０に相当する。図６（ａ）においては、基本格子３１０が縦方向および横方向のそれぞれに三つずつ配列されている。画素の位置を（ｉ、ｊ）で表す。例えば、左上端の画素の位置は、（１、１）であり、右下端の画素の位置は、（２４、２４）である。また、基本格子３１０内の画素をＰ_ＩＪで表す。

静止画撮影時には、撮像素子３００の全画素の画素信号が読み出される。一方、動画撮影時には、撮像素子３００の一部の画素の画素信号が読み出される。図６（ｂ）は、動画読み出し時の出力配列パターンを示す。ここでは、出力配列パターンは、水平方向に隣接する同色の３画素を加算するとともに、垂直方向に３画素間引く、すなわち２行分間引くことにより得られる。図６（ｃ）は、図６（ｂ）に対応しており、出力配列パターンの基本格子３２０における各画素の信号成分を示す図である。以下、動画読み出しについて、特に、Ｇフィルタの画素を例に挙げて説明する。

例えば、図６（ａ）において、（１、１）に位置するＧＬｔ画素３２１−１の画素値と、（３、１）に位置するＧ画素の画素値３２１−２と、（５、１）に位置するＧＲｔ画素３２１−３の画素値とを加算することにより、図６（ｂ）、（ｃ）の加算結果３２１に示すように、動画読み出し時の画素値を得ることができる。ＧＬｔ画素の画素値とＧＲｔ画素の画素値との和がＧ画素の画素値に相当するとみなせば、二つのＧ画素の画素値の加算結果に相当する画素値が得られることになる。ただし、全て視差なし画素の出力を加算する場合に比べて、得られる画素値の出力は略２／３となる。

図６（ａ）において、（７、１）に位置するＧ画素３２２−１の画素値と、（９、１）に位置するＧＬｔ画素３２２−２の画素値と、（１１、１）に位置するＧ画素３２２−３の画素値とを加算することにより、図６（ｂ）、（ｃ）の加算結果３２２に示すように、動画読み出し時の画素値を得ることができる。得られる画素値は、視差画素としてＧＬｔ画素の画素値のみを含むので、全体として視差画素に相当する画素値とみなすことができる。ただし、視差画素の出力と視差なし画素の出力とが混在しているので、全て視差画素の出力を加算する場合に比べて、視差画素の出力の割合が相対的に低下し、視差成分が小さくなる。

図６（ａ）において、（１、３）に位置するＧ画素３２３−１の画素値と、（３、３）に位置するＧ画素３２３−２の画素値と、（５、３）に位置するＧ画素３２３−３の画素値とを加算することにより、図６（ｂ）、（ｃ）の加算結果３２３に示すように、動画読み出し時の画素値を得ることができる。この場合には、全て視差なし画素の出力を加算することになる。加算結果３２１と加算結果３２３を比べると、共に視差なし画素に相当する画素値であるが、これらの画素値の大きさは異なる。すなわち、同色の同種類の画素であっても画素値にバラつきが生じている。

また、図６（ａ）の画素配列パターンにおける基本格子３１０と、図６（ｂ）の出力配列パターンにおける基本格子３２０とを比べると、配置位置が異なる場合がある。上述の例では、図６（ａ）の基本格子３１０においては、Ｐ_１１がＧＬｔ画素、Ｐ_３１がＧ画素であるのに対し、図６（ｂ）の基本格子３２０においては、Ｐ_１１がＧ画素に相当する出力、Ｐ_３１がＧＬｔ画素に相当する出力であり、配置位置が入れ替わっている。

後述する視差画像データを生成する処理においては、各画素においてカラー毎に視差Ｌｔ画素として機能しているのか、視差Ｒｔ画素として機能しているのか、視差なし画素として機能しているのかを定めておかねばならない。したがって、静止画用と動画用とで画素配列パターンが異なれば、静止画用の生成アルゴリズムと動画用の生成アルゴリズムが必要になる。生成処理を高速化するには、これらのアルゴリズムをハードウェアとして実装することが効果的であるが、両方のアルゴリズムをハードウェアとして実装するとサイズ面およびコスト面で不利である。

以上のように、画素配列パターンが固定されている場合には、図６（ａ）の基本格子３１０と図６（ｂ）の基本格子３２０とが異なる。したがって、画素加算および画素間引きを施した画像と施していない画像とで、同種類の画素における輝度の均一性、視差の立体感等の画質上の違いが顕著になる。なお、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比がＮ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、図５（ａ）に示す基本格子１１０に相当する場合にも、撮像素子の画素配列パターンの基本格子と出力配列パターンの基本格子とが異なる。詳細な説明は省略するが、この場合には、撮像素子の画素配列パターンと出力配列パターンのそれぞれの基本格子内において、視差画素と視差なし画素の比率が異なる。具体的には、出力配列パターンの基本格子内の視差画素数は、画素配列パターンの基本格子内の視差画素数よりも多くなる。結果として、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素との画素数比がＮ：Ｌｔ：Ｒｔ＝６：１：１の場合以上に、画素加算および画素間引きを施した画像と施していない画像とで画質上の違いが顕著になる。

続いて、本実施形態に係るデジタルカメラ１０の動画読み出しについて説明する。図６の場合と同様、水平方向に隣接する同色の３画素を加算するとともに、垂直方向に３画素間引く場合について説明する。

図７は、図５（ｂ）に示す基本格子１１０を採用した場合の動画読み出しを説明する図である。図５と同様に、単位画素領域の中心に対して左方向に偏位した白抜き矩形が配置された画素は、視差Ｌｔ画素を表す。単位画素領域の中心に対して右方向に偏位した白抜きの矩形が配置された画素は、視差Ｒｔ画素を表す。単位画素領域の中心に対して偏位していない白抜きの矩形が配置された画素は、視差なし画素を表す。また、白抜き矩形が配置されていない画素は、動画読み出し時に間引かれる画素を表す。後述する図８、図１２についても同様である。また、図６と同様に、画素の位置を（ｉ、ｊ）で表し、基本格子１１０内の画素をＰ_ＩＪで表す。以下では、特に、Ｇフィルタの画素を例に挙げて説明する。

図７（ａ）は、静止画用の画素配列パターンを示す図である。図７（ｂ）は、図７（ａ）の静止画用の画素配列パターンに対応する動画用の画素配列パターンを示す図である。図７（ｃ）は、動画読み出し時の出力配列パターンを示す。

動画用の画素配列パターンは、対応する静止画用の画素配列パターンおよび駆動部２０４による読み出し方法に応じて決定される。静止画用の画素配列パターンおよび駆動部２０４による読み出し方法が決まっていれば、動画読み出し時の出力配列パターンの基本格子１２０が静止画用の画素配列パターンの基本格子１１０と同一になるように、動画用の画素配列パターンを決めることができる。すなわち、撮像素子１００の各画素を視差画素として機能させるか、視差なし画素として機能させるかを決定することができる。

具体的には、制御部２０１は、静止画用の画素配列パターンと出力配列パターンのそれぞれの基本格子において、画素信号として視差を与える視差信号を出力する画素と視差を与えない非視差信号を出力する画素の比率が等しくなるように、左右の光電変換部の出力方式を選択して定める。ここで、静止画用の画素配列パターンにおいては、視差信号および非視差信号はそれぞれ一つの画素の画素信号であるのに対し、出力配列パターンにおいては、視差信号および非視差信号はそれぞれ複数の画素の画素信号を加算した結果得られる信号である。つまり、出力配列パターンにおいては、複数の画素の画素信号を加算した結果が視差を与えるものであれば視差信号となり、視差を与えるものでなければ非視差信号となる。

制御部２０１は、静止画用の画素配列パターンと出力配列パターンのそれぞれの基本格子において、カラーフィルタ毎に、視差信号を出力する画素と非視差信号を出力する画素の比率が等しくなるように、左右の光電変換部の出力方式を選択して定めるとよい。さらに、静止画用の画素配列パターンと出力配列パターンのそれぞれの基本格子において、静止画用の画素配列パターンと出力配列パターンのそれぞれの基本格子が互いに一致するように、より詳細には、視差信号を出力する画素と非視差信号を出力する画素の位置が一致するように、左右の光電変換部の出力形式を選択して定めるとよい。さらに、画素加算によって視差信号同士、および非視差信号同士がそれぞれ加算されるように、左右の光電変換部出力形式を選択して定めるとよい。

例えば、図７（ａ）の画素配列パターンの（１、１）はＧＬｔ画素であるので、図７（ｂ）の画素配列パターンに示すように、（１、１）に位置する画素３３１−１、（３、１）に位置する画素３３１−２、（５、１）に位置する画素３３１−３の全てをＧＬｔ画素として機能させる。すなわち、これらの画素については左側の光電変換部のみから電荷を読み出す。そうすると、これら３画素の画素値を加算することにより得られる基本格子１２０のＰ_１１の出力３３１は、三つのＧＬｔ画素の画素値を加算した値となる。

図７（ａ）の画素配列パターンの（３、１）はＧ画素であるので、図７（ｂ）に示すように、（７、１）に位置する画素３３２−１、（９、１）に位置する画素３３２−２、（１１、１）に位置する画素３３２−３の全てをＧ画素として機能させる。すなわち、これらの画素については左側の光電変換部および右側の光電変換部の両方から電荷を読み出し加算する。そうすると、これらの３画素の画素値を加算することにより得られる基本格子１２０のＰ_１３の出力３３２は、三つのＧ画素の画素値を加算した値となる。

図７（ａ）の画素配列パターンの（１、３）はＧ画素であるので、図７（ｂ）に示すように、（１、４）に位置する画素３３３−１、（３、４）に位置する画素３３３−２、（５、４）に位置する画素３３３−３の全てをＧ画素として機能させる。そうすると、これらの３画素の画素値を加算することにより得られる基本格子１２０のＰ_３１の出力３３３は、三つのＧ画素の画素値を加算した値となる。

以上のように、ＧＬｔ画素の画素値同士、Ｇ画素の画素値同士をそれぞれ加算することにより、動画読み出し時におけるそれぞれの感度を向上させることができる。すなわち、基本格子１２０内の視差なし画素のそれぞれにおいて、得られる画素値の出力が低下することを抑制でき、視差画素のそれぞれにおいて、視差成分が相対的に低下することを抑制できる。また、同種類の画素の画素値を加算するので、基本格子１２０内の同種の画素間において画素値のバラつきを抑制できる。

なお、ここでは、Ｇフィルタの画素を例に挙げて説明したが、Ｂフィルタの画素およびＲフィルタの画素についても同様である。図７（ａ）の基本格子１１０と図７（ｂ）の基本格子１２０を比べると、画素配列が一致している。したがって、画素加算および画素間引きを施した画像と施していない画像とで、同種類の画素における輝度の均一性、視差の立体感等の画質上の違いを抑制できる。

図８は、図５（ａ）に示す基本格子１１０を採用した場合の動画読み出しを説明する図である。図８（ａ）は、静止画用の画素配列パターンを示す図である。図８（ｂ）は、図８（ａ）の静止画用の画素配列パターンに対応する動画用の画素配列パターンを示す図である。図８（ｃ）は、動画読み出し時の出力配列パターンを示す。

図７の場合と同様に、制御部２０１は、動画読み出し時の出力配列パターンの基本格子１２０が静止画用の画素配列パターンの基本格子１１０と同一になるように、動画用の画素配列パターンを決める。

例えば、図８（ａ）の画素配列パターンの（１、１）はＧＬｔ画素であるので、図８（ｂ）の画素配列パターンに示すように、（１、１）に位置する画素３４１−１、（３、１）に位置する画素３４１−２、（５、１）に位置する画素３４１−３の全てをＧＬｔ画素として機能させる。そうすると、これら３画素の画素値を加算することにより得られる基本格子１２０のＰ_１１の出力３４１は、三つのＧＬｔ画素の画素値を加算した値となる。

図８（ａ）の画素配列パターンの（３、１）はＧ画素であるので、図８（ｂ）に示すように、（７、１）に位置する画素３４２−１、（９、１）に位置する画素３４２−２、（１１、１）に位置する画素３４２−３の全てをＧ画素として機能させる。そうすると、これらの３画素の画素値を加算することにより得られる基本格子１２０のＰ_３１の出力３４２は、三つのＧ画素の画素値を加算した値となる。

図８（ａ）の画素配列パターンの（１、３）はＧ画素であるので、図８（ｂ）に示すように、（１、４）に位置する画素３４３−１、（３、４）に位置する画素３４３−２、（５、４）に位置する画素３４３−２の全てをＧ画素として機能させる。そうすると、これらの３画素の画素値を加算することにより得られる基本格子１２０のＰ_３１の出力３４３は、三つのＧ画素の画素値を加算した値となる。

以上のように、ＧＬｔ画素の画素値同士、Ｇ画素の画素値同士をそれぞれ加算することにより、動画読み出し時におけるそれぞれの感度を向上させることができる。また、同種類の画素の画素値を加算するので、基本格子１２０内の同種の画素間において画素値のバラつきを抑制できる。

なお、ここでは、Ｇフィルタの画素を例に挙げて説明したが、Ｂフィルタの画素およびＲフィルタの画素についても同様である。図８（ａ）の基本格子１１０と図８（ｂ）の基本格子１２０を比べると、画素配列が一致している。したがって、画素加算および画素間引きを施した画像と施していない画像とで、同種類の画素における輝度の均一性、視差の立体感等の画質上の違いを抑制できる。

以上のように、本実施形態のデジタルカメラ１０は、静止画を撮影する場合には、静止画撮影のための最適な画素配列パターンを使用し、動画を撮影する場合には、動画撮影のための最適な画素配列パターンを使用する。そして、動画を撮影する場合には、出力配列パターンと静止画用の画素配列パターンのそれぞれの基本格子が同一となるように、動画用の画素配列パターンを決めている。したがって、画素加算および画素間引きを施した画像と施していない画像との間の差を抑制できる。

次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図９は、基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。図９においては、図５（ａ）に示す基本格子を例に挙げて説明する。

基本格子における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎ_０プレーンデータ、赤色の基準画像プレーンデータとしてのＲｎ_０プレーンデータ、および青色の基準画像プレーンデータとしてのＢｎ_０プレーンデータの３つを生成する。これらのプレーンデータは、視差画素に対して密度の高い視差なし画素をベースとして生成されるので、次に述べる視差画像データのプレーンデータよりは高解像である。

図の右列は、視差画素データを構成するプレーンデータとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、Ｇｎ_０プレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_２７の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_６３の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。このようにして、Ｒｎ_０プレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_３２の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_７６の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。このようにして、Ｂｎ_０プレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、高解像な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。

赤色視差プレーン（ＲＬｔ_０プレーンデータとＲＲｔ_０プレーンデータ）は、Ｒｎ_０プレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ_０プレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＬｔ_０ｍｎを算出する場合、まず、画像処理部２０５は、Ｒｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_０ｍｎを抽出する。次に、画像処理部２０５は、ＲＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＬｔ_ｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＲｔ_ｍｎを抽出する。そして、画像処理部２０５は、画素値Ｒｎ_０ｍｎを、画素値ＲＬｔ_ｍｎとＲＲｔ_ｍｎの比で分配して画素値ＲＬｔ_０ｍｎを算出する。具体的には、以下の式（１）により算出する。

ＲＬｔ_０ｍｎ＝２Ｒｎ_０ｍｎ×ＲＬｔ_ｍｎ／（ＲＬｔ_ｍｎ＋ＲＲｔ_ｍｎ） …（１）
同様に、ＲＲｔ_０プレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＲｔ_０ｍｎを算出する場合も、画像処理部２０５は、画素値Ｒｎ_０ｍｎを画素値ＲＬｔ_ｍｎと画素値ＲＲｔ_ｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。

ＲＲｔ_０ｍｎ＝２Ｒｎ_０ｍｎ×ＲＲｔ_ｍｎ／（ＲＬｔ_ｍｎ＋ＲＲｔ_ｍｎ） …（２）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ_０，ｊ_０）まで順次実行する。

そして、高解像な赤色視差プレーンであるＲＬｔ_０プレーンデータとＲＲｔ_０プレーンデータの生成処理が完了したら、次に高解像な緑色視差プレーンであるＧＬｔ_０プレーンデータとＧＲｔ_０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_０ｍｎを抽出する代わりに、Ｇｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｇｎ_０ｍｎを抽出して、同様に処理する。さらに、高解像な緑色視差プレーンであるＧＬ_０ｔプレーンデータとＧＲｔ_０プレーンデータの生成処理が完了したら、次に高解像な青色視差プレーンであるＢＬｔ_０プレーンデータとＢＲｔ_０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_０ｍｎを抽出する代わりに、Ｂｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｂｎ_０ｍｎを抽出して、同様に処理する。

以上の処理により、左側視点の高解像なカラー画像データ（ＲＬｔ_０プレーンデータ、ＧＬｔ_０プレーンデータ、ＢＬｔ_０プレーンデータ）および右側視点の高解像なカラー画像データ（ＲＲｔ_０プレーンデータ、ＧＲｔ_０プレーンデータ、ＢＲｔ_０プレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌ画素および視差Ｒ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての高解像な３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画に対しても対応できる。

本実施形態によれば、動画読み出し時の出力配列パターンの基本格子は、静止画用の画素配列パターンの基本格子１１０と同一であるので、静止画用の生成アルゴリズムと動画用の生成アルゴリズムとを分けなくてもよい。すなわち、撮影モードに関わらず、視差画像データ生成用の共通のアルゴリズムを利用することができる。

以上の説明では、画素は、単位画素領域の中心に対して左方向に偏位した左側の光電変換部と、右方向に偏位した右側の光電変換部とを当該単位画素領域内に含む構成であったが、単位画素領域の中心に対して偏位していない光電変換部をさらに含む構成であってもよい。

図１０は、回路構成のバリエーションを説明する図である。フォトダイオード３０１は、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒに加えて、単位画素領域の中心に対して偏位していない中央の光電変換部を構成する中央フォトダイオード３０１Ｃを含む。図１０に示す画素１１１は、図３に示す画素１１１の回路構成に加えて、転送トランジスタ３０２Ｃを備える。図１０に示す画素においても、図３に示す画素と同様に、転送トランジスタ３０２は、各フォトダイオードに対応して個別に設けられるのに対し、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、全てのフォトダイオードに対して共通に一つ設けられる。中央フォトダイオード３０１Ｃは、転送トランジスタ３０２Ｃによって電荷蓄積が制御される。中央フォトダイオード３０１Ｃは、転送トランジスタ３０２Ｃに接続される。転送トランジスタ３０２ＣのゲートＴＧ３は、転送パルスが供給される転送パルス配線に接続される。転送トランジスタ３０２Ｃのドレインは、リセットトランジスタ３０３のソースに接続される。

図３に示した画素１１１と同様に、左側フォトダイオード３０１Ｌに蓄積された電荷を画素信号として読み出すことにより、視差Ｌｔ画素として機能させることができる。右側フォトダイオード３０１Ｒに蓄積された電荷を画素信号として読み出すことにより、視差Ｒｔ画素として機能させることができる。ここで、図１０に示す左側フォトダイオード３０１Ｌは、図３に示す左側フォトダイオード３０１Ｌに比べて重心が左方向に寄っている。図１０に示す右側フォトダイオード３０１Ｒは、図３に示す右側フォトダイオード３０１Ｒに比べて重心が右方向に寄っている。すなわち、図１０に示す左側フォトダイオード３０１Ｌの重心と右側フォトダイオード３０１Ｒの重心との距離は、図３に示す左側フォトダイオード３０１Ｌの重心と右側フォトダイオード３０１Ｒの重心との距離より長くなっている。したがって、図１０に示す画素１１１の視差量は、図３に示す画素１１１の視差量よりも大きくなる。また、左側フォトダイオード３０１Ｌに蓄積された電荷と右側フォトダイオード３０１Ｒに蓄積された電荷と中央フォトダイオード３０１Ｃに蓄積された電荷を加算して画素信号として読み出すことにより、視差なし画素として扱うことができる。

左側フォトダイオード３０１Ｌに蓄積された電荷と中央フォトダイオード３０１Ｃに蓄積された電荷とを加算して読み出した画素信号を、視差Ｌｔ画素の画素信号として扱うこともできる。同様に、右側フォトダイオード３０１Ｒに蓄積された電荷と中央フォトダイオード３０１Ｃに蓄積された電荷とを加算して読み出した画素信号を、視差Ｒｔ画素の画素信号として扱うこともできる。この場合には、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を単独で読み出す場合に比べて、視差量は小さくなる。一方で、中央フォトダイオード３０１Ｃに蓄積された電荷を加算することにより、感度を高めることができる。以上のことから、視差量の大きさを優先する場合には、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷を単独で読み出すとよい。感度を優先する場合には、左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれに蓄積された電荷に中央フォトダイオード３０１Ｃに蓄積された電荷を加算して読み出すとよい。

図１１は、フォトダイオード３０１のバリエーションを説明する図である。図１１（ａ）、（ｂ）は、単位画素領域内に形成された複数のフォトダイオード３０１の形状が非対称な場合を示す図である。図１１（ａ）においては、左側フォトダイオード３０１Ｌは右側フォトダイオード３０１Ｒよりも幅広に形成されている。図１１（ａ）の左側フォトダイオード３０１Ｌは、図１０の左側フォトダイオード３０１Ｌと中央フォトダイオード３０１Ｃとを一体的に形成したものに相当する。図１１（ａ）の左側フォトダイオード３０１Ｌは、図１０の左側フォトダイオード３０１Ｌと中央フォトダイオード３０１Ｃとの間の分離部分に相当する部分もフォトダイオードとして機能させることができるので、感度を向上させることができる。

図１１（ｂ）においては、右側フォトダイオード３０１Ｒは左側フォトダイオード３０１Ｌよりも幅広に形成されている。図１１（ｂ）の右側フォトダイオード３０１Ｒは、図１０の右側フォトダイオード３０１Ｒと中央フォトダイオード３０１Ｃとを一体的に形成したものに相当する。図１１（ｂ）の右側フォトダイオード３０１Ｒは、図１０の右側フォトダイオード３０１Ｒと中央フォトダイオード３０１Ｃとの間の分離部分に相当する部分もフォトダイオードとして機能させることができるので、感度を向上させることができる。

図１１（ｃ）は、視差量を優先する場合のフォトダイオードの配置を示す図である。図３に示す構成と比較すると、左側フォトダイオード３０１Ｌと右側フォトダイオード３０１Ｒとの間の距離が離れている。左側フォトダイオード３０１Ｌと右側フォトダイオード３０１Ｒとの間の分離度を高めることにより、視差量を大きくすることができる。また、左側フォトダイオード３０１Ｌと右側フォトダイオード３０１Ｒとの間の分離度が異なる画素が混在してもよい。例えば、図３に示す画素と図１１（ｃ）に示す画素が混在してもよい。この場合には、視差量を優先するか、または感度を優先するかをユーザ操作によって選択してもよい。

左側フォトダイオード３０１Ｌおよび右側フォトダイオード３０１Ｒのそれぞれを、上下に分割してもよい。この場合には、単位画素領域内に四つのフォトダイオードが形成されることになる。

図１１（ｄ）は、四つのフォトダイオードが配置された例を示す図である。左側の上下のフォトダイオード３０１Ｌ１、３０１Ｌ２に蓄積された電荷を加算して画素信号として読み出すことにより、視差Ｌｔ画素として機能させることができる。右側の上下のフォトダイオード３０１Ｒ１、３０１Ｒ２に蓄積された電荷を加算して画素信号として読み出すことにより、視差Ｒｔ画素として機能させることができる。また、四つのフォトダイオードに蓄積された電荷を加算して画素信号として読み出すことにより、視差なし画素として機能させることができる。

上述したように、静止画用の画素配列パターンおよび駆動部による読み出し方法が決まっていれば、出力配列パターンと静止画用の画素配列パターンのそれぞれの基本格子が互いに同一になるように、動画用の画素配列パターンを決めることができるので、静止画用の画素配列パターンおよび駆動部による読み出し方法に応じて、種々の動画用の画素配列パターンを決めることができる。

図１２は、画素配列パターンおよび動画読み出しのバリエーションを説明する図である。図１２（ａ）は、静止画用の画素配列パターンを説明する図である。図１２（ａ）においては、ベイヤー配列を構成する４画素のうち、左下画素と右上画素は、視差なし画素であり、左上画素と右下画素は、視差画素である。具体的には、左上画素が視差Ｌｔ画素であり、右下画素が視差Ｒｔ画素である。

図１２（ｂ）は、動画読み出しのバリエーションを説明する図である。図１２（ｂ）においては、水平方向に隣接する同色の３画素を加算するとともに、水平方向に３画素および垂直方向に５画素間引いている。図示するように、制御部２０１は、動画読み出し時の出力配列パターンの基本格子１２０が静止画用の画素配列パターンの基本格子１１０と同一になるように、動画用の画素配列パターンを決める。例えば、図１２（ａ）の画素配列パターンの（１、１）はＧＬｔ画素であるので、図１２（ｂ）の画素配列パターンに示すように、（１、１）、（３、１）、（５、１）の全てをＧＬｔ画素として機能させる。そうすると、これら３画素の画素値を加算することにより得られる基本格子１２０のＰ_１１の出力は、三つのＧＬｔ画素の画素値を加算した値となる。

図１２（ｃ）は、動画読み出しのバリエーションを説明する図である。図１２（ｃ）においては、水平方向および垂直方向に隣接する同色の９画素（水平方向３画素および垂直方向３画素の合計９画素）を加算するとともに、水平方向および垂直方向に３画素間引いている。図示するように、制御部２０１は、動画読み出し時の出力配列パターンの基本格子１２０が静止画用の画素配列パターンの基本格子１１０と同一になるように、動画用の画素配列パターンを決める。例えば、図１２（ａ）の画素配列パターンの（１、１）はＧＬｔ画素であるので、図１２（ｃ）の画素配列パターンに示すように、（１、１）、（３、１）、（５、１）、（１、３）、（３、３）、（５、３）、（１、５）、（３、５）、（５、５）の全てをＧＬｔ画素として機能させる。そうすると、これら９画素の画素値を加算することにより得られる基本格子１２０のＰ_１１の出力は、九つのＧＬｔ画素の画素値を加算した値となる。

以上の説明では、駆動部２０４は、動画読み出し時においては、画素加算と画素間引きの両方を行ったが、いずれか一方のみを行ってもよい。いずれか一方のみを行った場合でも、撮像素子に撮像された撮像画像を縮小して読み出すことができる。

以上の説明では、動画読み出し時の出力配列パターンの基本格子が静止画用の画素配列パターンの基本格子と同一になるように、動画用の画素配列パターンを決めたが、さらに、スルー画読み出し時の出力配列パターンの基本格子が静止画用の画素配列パターンの基本格子と同一になるように、スルー画用の画素配列パターンを決めてもよい。また、静止画用の画素配列パターンと、動画用の画素配列パターンとが一対一に対応付けられていたが、静止画用の一つの画素配列パターンに対して、動画読み出し方法毎に複数の画素配列パターンが対応付けられてもよい。例えば、図１２で説明したように、水平方向に隣接する同色の３画素を加算するとともに、水平方向に３画素および垂直方向に５画素間引く読み出し方法、および水平方向および垂直方向に隣接する同色の９画素を加算するとともに、水平方向および垂直方向に３画素間引く方法のそれぞれに、互いに異なる動画用の画素配列パターンが対応付けられてもよい。また、オートフォーカス用に画素配列パターンを決めてもよい。オートフォーカス用の画素配列パターンにおいては、視差画素比率が高いほうがよい。加えて、感度をあげるためには、画素加算数が多い方がよい。例えば、図１２（ｃ）に示す９画素加算の配列において、視差なし画素を全てＬｔまたはＲｔの視差画素に置き換えた画素配列パターンを用いることができる。また、スモールサイズの静止画読み出し時の出力配列パターンの基本格子がラージサイズの静止画用の画素配列パターンの基本格子と同一になるように、スモールサイズの画素配列パターンを決めてもよい。また、カラーフィルタは透明フィルタであってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、１０１ ベイヤー配列、１１０ 基本格子、１１１ 画素、１１２ 左側の光電変換部、１１３ 右側の光電変換部、１２０ 基本格子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ 揮発性メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、２３３ 不揮発性メモリ、３００ 撮像素子、３０１ フォトダイオード、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３１０ 基本格子、３１１ フローティングディフュージョン、３２０ 基本格子、３２１ 加算結果、３２２ 加算結果、３２３ 加算結果、３３１ 出力、３３２ 出力、３３３ 出力、３４１ 出力、３４２ 出力、３４３ 出力

Claims (13)

1. 単位画素領域内に偏位した複数の光電変換部を含む分割画素が２次元的に複数配列されている撮像素子と、
   前記分割画素の素子配列に従った各々の画素信号を出力させる第１出力と、前記素子配列を間引いた縮小配列に従った各々の画素信号を出力させる第２出力とを切り替える切替部と、
   それぞれの前記分割画素を、視差を与える偏位画素として機能させるか、視差を与えない非偏位画素として機能させるかを、前記第１出力を実行する場合と前記第２出力を実行する場合で異ならせるように決定する決定部と
   を備える撮像装置。
2. 前記決定部は、前記素子配列と前記縮小配列のそれぞれの単位基本格子内において、偏位信号を出力する画素と非偏位信号を出力する画素の比率が等しくなるように、それぞれの前記分割画素を前記偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項１に記載の撮像装置。
3. 前記決定部は、前記素子配列と前記縮小配列のそれぞれの単位基本格子内において、前記偏位信号を出力する画素と前記非偏位信号を出力する画素の位置が一致するように、それぞれの前記分割画素を前記偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項２に記載の撮像装置。
4. それぞれの前記分割画素は、互いに異なる少なくとも２種類のカラーフィルタのいずれかを含み、前記決定部は、前記素子配列と前記縮小配列のそれぞれの単位基本格子内において、前記偏位信号を出力する画素と前記非偏位信号を出力する画素のカラーが一致するように、それぞれの前記分割画素を前記偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項２または３に記載の撮像装置。
5. 前記切替部は、少なくとも画素加算を行って前記縮小配列を生成し、
   前記決定部は、前記画素加算によって前記偏位信号同士、および前記非偏位信号同士がそれぞれ加算されるように、それぞれの前記分割画素を前記偏位画素として機能させるか、前記非偏位画素として機能させるかを決定する請求項２から４のいずれか１項に記載の撮像装置。
6. 前記切替部は、静止画が撮影される場合に前記第１出力に切り替え、動画が撮影される場合に前記第２出力に切り替える請求項１から５のいずれか１項に記載の撮像装置。
7. 前記切替部は、静止画が撮影される場合に前記第１出力に切り替え、スルー画が表示される場合に前記第２出力に切り替える請求項１から６のいずれか１項に記載の撮像装置。
8. 前記切替部は、静止画がラージサイズで撮影される場合に前記第１出力に切り替え、静止画がスモールサイズで撮影される場合に前記第２出力に切り替える請求項１から５のいずれか１項に記載の撮像装置。
9. 前記偏位画素は、第１方向に視差を与える第１偏位画素と、前記第１方向とは反対の第２方向に視差を与える第２偏位画素とを含み、
   前記第１偏位画素の出力と前記第２偏位画素の出力とを用いて、前記非偏位画素の出力から前記第１方向へ視差を与える第１視差画像データと前記第２方向へ視差を与える第２視差画像データとを生成する画像生成部とを備える請求項１から８のいずれか１項に記載の撮像装置。
10. ひとつの前記分割画素に含まれる前記複数の光電変換部は、フローティングディフュージョンを共有する請求項１から９のいずれか１項に記載の撮像装置。
11. 前記複数の光電変換部のそれぞれの大きさは、互いに異なる請求項１から１０のいずれか１項に記載の撮像装置。
12. それぞれの前記分割画素は、前記単位画素領域の中心に対して第１方向に偏位した第１光電変換部と、前記第１方向とは反対の第２方向に偏位した第２光電変換部と、前記単位画素領域の中心に対して偏位していない第３光電変換部を含み、
    前記決定部は、それぞれの前記分割画素を、前記第１方向に視差を与える第１偏位画素として機能させるか、前記第２方向に視差を与える第２偏位画素として機能させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷とを加算して出力させる第３偏位画素として機能させるか、前記第２光電変換部の電荷と前記第３光電変換部の電荷とを加算して出力させる第４偏位画素として機能させるか、前記第１光電変換部の電荷と前記第２光電変換部の電荷と前記第３光電変換部の電荷とを加算して出力させる非偏位画素として機能させるかの少なくともいずれかを決定する請求項１から１１のいずれか１項に記載の撮像装置。
13. 単位画素領域内に偏位した複数の光電変換部を含む分割画素が２次元的に複数配列されている撮像素子を備える撮像装置の制御プログラムであって、
    前記分割画素の素子配列に従った各々の画素信号を出力させる第１出力と、前記素子配列を間引いた縮小配列に従った各々の画素信号を出力させる第２出力とを切り替える切替ステップと、
    それぞれの前記分割画素を、視差を与える偏位画素として機能させるか、視差を与えない非偏位画素として機能させるかを、前記第１出力を実行する場合と前記第２出力を実行する場合で異ならせるように決定する決定ステップと
    をコンピュータに実行させる制御プログラム。

Images