JP6223295B2

JP6223295B2 - 撮像素子、その制御方法およびコンピュータプログラム、並びに撮像装置

Info

Publication number: JP6223295B2
Application number: JP2014148788A
Authority: JP
Inventors: 優作元長
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-07-22
Filing date: 2014-07-22
Publication date: 2017-11-01
Anticipated expiration: 2034-07-22
Also published as: JP2016025511A

Description

本発明は撮像素子、その制御方法および撮像装置に係り、特に撮影時の画像信号処理におけるフレームレート向上および電力消費の削減に技術的効果を有する撮像素子および撮像装置に関する。

特許文献１には、撮像素子の画素ごとに制御値を求める画素と、表示用画像の作製に用いる画素とを個別に有することにより、従来に比べて早く制御値を求める技術が記載されている。具体的には、次の構成（１）および（２）を有する撮像素子が提案されている。
（１）第１の画素群から得られる電圧信号に応じた第１の画像信号を撮像する際に用いられる制御情報を生成する制御情報生成部。
（２）第２の画素群から得られる電圧信号に応じた第２の画像信号を画像表示のための画像表示信号として出力する出力手段。

特願２０１２−２８８０３６号公報

特許文献１に記載の撮像素子は、合焦処理の高速化を目的としており、制御信号を撮像素子からアクチュエータの制御回路へ直接出力する仕組みになっている。一方、画像表示信号はRGBデータを画像処理エンジンを介して表示用の画像データへ変換している。
しかしながら、合焦処理も含めた、高フレームレート駆動では、撮像素子の信号を画像処理エンジンへ送信する際に、大量のデータを送信する必要があり、消費電力への影響が懸念されている。

本発明は、このような課題に着目してなされたものであり、その目的は、用途に合わせて記録画質とフレームレートのどちらを重視した撮影を行うか選択できる撮像装置を提供することである。

実施形態の一観点によれば、二次元に配列された複数の画素を有する撮像手段と、前記撮像手段から出力された画素信号に所定の信号処理を施す信号処理手段と、前記撮像手段または前記信号処理手段から出力された画素信号を外部に出力する出力手段と、を備え、前記画素の配列は、それぞれが複数の行からなる第１の配列と第２の配列を含み、第１の処理モードにおいて、前記信号処理手段が前記第１の配列の画素から読み出された第１の画素信号および前記第２の配列の画素から読み出された第２の画素信号に前記所定の信号処理を施さず、第２の処理モードにおいて、前記信号処理手段が前記第１の画素信号に前記所定の信号処理を施し、前記第２の画素信号には前記所定の信号処理を施さず、第３の処理モードにおいて、前記信号処理手段が前記第１および第２の画素信号に前記所定の信号処理を施すことを特徴とする撮像素子が提供される。

実施形態の他の観点によれば、二次元に配列された複数の画素を有する撮像手段と、前記撮像手段から出力された画素信号に第１の信号処理を行う第１の信号処理手段と、前記撮像手段または前記第１の信号処理手段から出力された画素信号を外部に出力する出力手段と、を備えた撮像素子と、前記撮像素子から出力された画素信号に第２の信号処理を行う第２の信号処理手段と、前記撮像素子および前記第２の信号処理手段を制御する制御手段と、を有し、前記画素の配列は、それぞれが複数の行からなる第１の配列と第２の配列を含み、前記制御手段は、第１の処理モードにおいて、前記第１の信号処理手段が前記第１の配列の画素から読み出された第１の画素信号および前記第２の配列の画素から読み出された第２の画素信号に前記第１の信号処理を施さずに、前記第２の信号処理手段が前記撮像素子から出力された前記第１の画素信号および前記第２の画素信号に前記第２の信号処理を施し、第２の処理モードにおいて、前記第１の信号処理手段が前記第１の画素信号に前記第１の信号処理を施し、前記第２の画素信号には前記第１の信号処理を施さないとともに、前記第２の信号処理手段が前記第２の画素信号に前記第２の信号処理を施し、第３の処理モードにおいて、前記第１の信号処理手段が前記第１および第２の画素信号に前記第１の信号処理を施すように制御することを特徴とする撮像装置が提供される。

本発明によれば、消費電力を考慮しつつ、画質かフレームレートかどちら一方を優先して撮影を行うことができる撮像装置の提供が可能となる。

本発明の第１の実施例に係わる撮像装置の構成を示す図である。本発明の第１の実施例に係わる撮像装置で使用される撮像素子の画素配列を示す図である。本発明の第１の実施例に係わる撮像装置の撮影動作のタイミングチャートを示す図である。本発明の第１の実施例に係わる撮像装置の撮影処理動作のフローチャートを示す図である。本発明の第１の実施例に係わる撮像装置の撮影処理動作のフローチャートを示す図である。本発明の第１の実施例に係わる撮像装置で行われる信号処理の概要を説明するための図である。本発明の第２の実施例に係わる撮像装置の撮影動作のタイミングチャートを示す図である。本発明の第２の実施例に係わる撮像装置の撮影処理動作のフローチャートを示す図である。本発明の第２の実施例に係わる撮像装置の撮影処理動作のフローチャートを示す図である。本発明の第２の実施例に係わる撮像装置の撮影処理動作のフローチャートを示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

図１は、本発明の第１の実施例に係る撮像素子を有する撮像装置の要部の構成を示すブロック図である。本撮像装置は、光学系101、撮像素子部102、駆動回路部103、信号処理部Ａ104、撮像部105、信号処理部Ｂ106、メモリ部107、画像表示部108、画像記録部109、操作部110、制御部111から構成されている。本実施例に係わる撮像装置の各部の機能は、制御部111のＣＰＵが不図示のメモリに記憶されている制御プログラムを実行して制御することで実現する。この場合、制御部は、図示されている各部を含む撮像装置全体を制御する単体として構成してもよいし、また撮像装置の各機能に従って複数のＣＰＵから成る構成としてもよい。

光学系101は、被写体像を撮像素子部102に結像させる合焦レンズ、光学ズームを行うズームレンズ、被写体像の明るさを調整する絞り、露光を制御するシャッタからなり、それらは駆動回路部103により駆動される。

撮像素子部102は、水平垂直方向に二次元に配列された複数の画素と、これら画素から読み出された撮像信号を行単位の所定の順番で出力する回路から構成されている。本実施例では、図２に示すように、メインストリームとサブストリームとして画素行の撮像信号を選択的に出力し、また出力される撮像信号はＲＡＷデータとする。

駆動回路部103は、制御部111からの制御信号により、光学系101および撮像素子部102を動作させる。信号処理部Ａ104は、撮像素子部102から出力された画素信号の一部を信号処理し、入力された画素信号よりもデータ量を削減して出力する、信号処理ブロックである。そのため、撮像部105と信号処理部Ｂ106間のデータレートを向上することによって、撮像装置が画像処理できるフレームレートが向上する。

撮像部105は、撮像素子部102と信号処理部Ａ104を包括したデバイスである。撮像部105から信号処理部Ｂ106へは、同期信号と差動信号に変換された画素信号が送信される。

信号処理部Ｂ106は、制御部111からの制御信号により制御され、撮像部105から送られてくるデジタル信号に変換された出力信号に対して適切な信号処理を行い画像データに変換する。また、メモリ部107や画像記録部109へデジタル信号に変換された出力信号や画像データを出力し、あるいは、メモリ部107や画像記録部109からの画像データを受けて信号処理を行う。さらに、撮像素子部102の信号から合焦状態や露光量等の測光データを検出し、制御部111に送信する機能も持っている。

メモリ部107は、制御部111からの制御信号により制御され、デジタル信号に変換された撮像素子部102の出力信号や、信号処理された画像データを一時的に記憶する。さらに、表示用の画像データを画像表示部108へ出力する。画像表示部108は、制御部111からの制御信号により制御され、メモリ部107に記憶する表示用の画像データを、撮影前の構図決めや撮影後の画像の確認を行うために表示し、電子ビューファインダー（ＥＶＦ）や液晶ディスプレイ（ＬＣＤ）で構成される。

画像記録部109は、着脱可能なメモリ等を備え、制御部111からの制御信号により制御され、信号処理部Ｂ106から送られてくるデジタル信号に変換された出力信号や画像データの記録や着脱可能なメモリからの読み出しを行うことができる。

操作部110は、スイッチ、押しボタン等の操作部材を用いた外部からの指示を制御部111に伝えると共に、制御部111からの制御信号により、ＬＣＤやフォトダイオード等の表示部材あるいは画像表示部108を用いて、撮像装置の状態を表示する。外部からの指示は、例えば、撮像装置の電源スイッチの状態、撮影前の画像表示の指示、撮影の各種指示、撮影した画像の表示、あるいは、撮像装置の動作をあらかじめ指示するメニュー操作等である。また、表示部材として画像表示部108を、操作部材として画像表示部108に装着したタッチパネルを用いて、オンスクリーンでの操作を行う構成としてもよい。

制御部111は、操作部110からの指示により、撮像装置全体を制御する。また、信号処理部Ｂ106から送られてくる合焦状態や露光量等の測光データに応じて、光学系101を制御して、最適な被写体像を撮像素子部102に結像させる。

次に、本撮像装置で使用する、撮像素子部102の画素配列について説明する。撮像素子部102の画素はメインストリームとサブストリームとの２つの画素に分けられている。

図２に、メインストリームとサブストリームの画素配列を示す。ここでは４色のカラーフィルタがベイヤ配列で並んでいる場合を考える。ここでは例として白抜きの部分をメインストリーム、灰色部分をサブストリームとする。図２に示すように、メインストリームのほうがサブストリームと比較して多くの画素がある。

次に各画素の用途について説明する。

最初にメインストリームについて説明する。メインストリームの画素信号は、記録・表示に用いられる。画質を重視する場合は、メインストリームの画素信号を信号処理部Ｂ106へ送信する。フレームレートを重視する場合は、メインストリームの画素信号を信号処理部Ａ104で所定の処理をすることで画素信号のデータ量を減らした後信号処理部Ｂ106へ送信する。

次にサブストリームについて説明する。サブストリームの画素信号は、画像処理のパラメータ作成と、記録と両方で用いられる。画質を重視する場合は、メインストリーム同様、サブストリームの画素信号を信号処理部Ｂ106へ送信する。フレームレートを重視する場合は、メインストリームと同様にサブストリームの画素信号を信号処理部Ａ104に送信するが、そこでの処理は行わず、そのまま信号処理部Ｂ106に送信する。信号処理部Ｂ106に送信されたサブストリームの画素信号は、信号処理部Ａ104で所定の信号処理が行われたメインストリームの画素信号に信号処理部Ｂ106が画像処理を行う際に入力される画像処理パラメータの算出用信号として用いられる。

次に、本実施例に係わる撮像装置の動作を説明する。本撮像装置は、静止画撮影モードと動画撮影モードを有し、各撮影モードにおいて、画質優先モードとフレームレート優先モードである処理モードを設定することができる。各モードの設定は、操作部110の操作に従って制御部111が行い、当該設定されたモードの情報に従って制御部111が撮像装置の各部を制御することで各種の機能を実現する。

最初に、静止画撮影モードの動作を説明する。本動作は、操作部110の操作に従って設定された静止画撮影モードの情報に従って制御部111が撮像装置の各部を制御して下記の動作を実現することで達成される。
（１）操作部110の撮影スイッチからの指示に応じて静止画撮影の動作を開始する。
（２）信号処理部Ｂ106が、撮像部105からの信号から測光データを検出し、その結果を制御部111に送信する。
（３）測光データに基づいて、制御部111が光学系101を制御する。
（４）撮像素子部102において、静止画記録用の露光と撮像信号（画素信号）の出力を行う。
（５）信号処理部Ｂ106が、撮像素子部102からの画素信号を記録用の画像データに変換して画像記録部109に送るとともに、表示用の画像データにも変換して画像表示部108に送る。これにより、画像記録部109が着脱可能なメモリに画像データを記録し、画像表示部108が画像データを表示する。
（６）表示画像の制御に戻る。

次に、動画撮影に本実施例に係わる画質優先モードとフレームレート優先モードを適用したときの撮像装置の動作を説明する。

図３は、撮像部105の動作のタイミングチャートを示す図である。図３ａ）は画質優先モード、ｂ）は、ａ）におけるフレームレートの下でのフレームレート優先モード、ｃ）はフレームレートを最適化するフレームレート優先モードのタイミングチャートである。同図において、VDは画像の１フレームごとに駆動回路部103から撮像部105へ入力される垂直同期信号であり、Sensor Readは撮像素子部102の画素信号の読み出しからデジタルデータの生成までに要する１フレーム分の時間である。また、Output Dataはデジタルデータになった画素信号を信号処理部Ｂ106へ送信する期間であり、Signal Processorはデジタルデータになった画素信号に対して信号処理を行う期間である。

最初に画質優先モードについて説明する。画質優先モードは、記録・表示に使用する画像の画質を重視した処理を行うモードである。具体的には、撮影した画像データをセンサ内で処理することなく、LVDSなどで撮像部105から信号処理部Ｂ106へ送信する。図３ａ）において、VDの立ち上がり（t01）に同期して各ブロックが１フレームの信号処理を行う。撮像素子部102の画素信号の読み出しからデジタルデータの生成までに要する１フレーム分の時間Sensor Readはt01〜t04である。デジタルデータになった画素信号（ＲＡＷデータ）を信号処理部Ｂ106へ送信する期間Output Dataはt03〜t05である。次のフレームの垂直同期信号VDのタイミングはt06であり、期間t01〜t06が１フレーム期間である。このモードでは、撮像素子部102からの画素信号が、データ量の削減なしに信号処理部Ｂ106に送られているので、データ量削減による画質の劣化がない。

次にフレームレート優先モードについて説明する。フレームレート優先モードは、記録・表示に使用する画像のフレームレートを重視した処理を行うモードである。具体的には、撮影した画像データをセンサ内蔵の信号処理部Ａ１０４で画像処理し、１フレームあたりの画像データ量を削減し、信号処理部Ｂ１０６へ送信する。この処理によって、画質優先モードと比較して、単位時間当たりに多くのフレームデータを信号処理部Ｂ１０６へ送信することができ、フレームレートを向上することができる。

このように、本実施形態において信号処理部Ａ１０４が撮像素子部１０２と同一チップの撮像部１０５内に組み込まれているのは、省電力と高速処理、低コスト設計のためである。撮像部１０５と、信号処理部ＡＢ（１０４、１０６）もしくは制御部１０６は、それぞれ別基板（チップ）に配置されることが多く、チップ間の通信に当たっては配線の抵抗成分や容量成分が多くなる。そのため、同一チップ内の配線による通信に比べて低速になるか、高速な信号を送出するには信号波形品質を保つためアンプで駆動する必要があるなど、駆動電力を上げなければならない。

一方、本実施形態では、同一半導体チップ上に信号処理部Ａ１０４が形成されていることで画像データの出力配線が短く済み、アンプの配置も省ける。加えて、フレームレート優先モードにおける１フレームあたりの画像データ量も少ないため、撮像素子部１０２と制御部１０６との通信時間が短くなるため、消費電力の低下を図ることもできる。

図３ｂ）のフレームレート優先モードは４つの項目のタイミングチャートを示している。図３ａ）と異なる部分について説明する。本フレームレート優先モードでは、Sensor Read期間に撮像部から読みだされたデジタルデータは、信号処理部Ａ104へ出力される。撮像素子部から出力された１フレーム分の画素信号はJPGなどの最終画像になる過程で、画像処理の際にデータ量が減る傾向にある。そこで、信号処理部Ａ104で所定の画像処理を行い、データ量を削減する。本実施例では、t10〜t13の期間にメインストリームの画素信号に対して所定の信号処理を行い、サブストリームの画素信号については信号処理部Ａ104は処理を行わずにそのまま出力する。

デジタルデータである画素信号を信号処理部Ａ104から信号処理部Ｂ106へ送信する期間Output Dataはt12〜t15である。本実施例では、信号処理されたメインストリームの画素信号を信号処理部Ａ104から出力する期間t12〜t14と、サブストリームの画素信号を信号処理部Ａ104から出力する期間t14〜t15とが個別に設けられている。本モードでは、メインストリームの画素信号のデータ量が信号処理部Ａ104で削減されているので、信号処理部Ｂ106への送信期間Output Dataがａ）に比べて短くなっている。これによりに、データ送信から次のフレームまでの余裕期間はａ）ではt05〜t06だったが、ｂ）ではt15〜t16になり、ｂ）の余裕期間をａ）と同程度まで短くすることでフレームレートを高くすることが実現できる。その結果を図３ｃ）に示す。ｂ）で１フレームに必要な期間は、t08〜t16だったのを、ｃ）ではt17〜t25に削減し、その結果、１フレームの期間がt17〜t25となり、ａ）、ｂ）の場合にくらべて短い。

次に、図３に示した画質優先モードとフレームレート優先モードの処理動作を、図４のフローチャートを用いて説明する。図４ａは画質優先モードの処理動作のフローチャートを示し、図４ｂはフレームレート優先モードの処理動作のフローチャートを示す。

まず、画質優先モードの処理動作を図４ａを用いて説明する。画質優先モードでは、メインストリームおよびサブストリームの信号処理は信号処理部Ｂ106だけが行う。図４ａにおいて、S401では撮像素子部102で画素信号を取得し、S402で、取得したメインストリーム、サブストリームの画素信号を撮像部105から信号処理部Ｂ106へ送信する。S403では、信号処理部Ｂ106がメインストリーム、サブストリームの画素信号を受信する。

S404では、信号処理部Ｂ106が受信したメインストリーム、サブストリームの画素信号から画像処理パラメータを取得し、次いでS405で、S404で求めた画像処理パラメータに基づいてメインストリーム、サブストリームの画素信号の画像処理を行う。次いでS406で、メインストリーム、サブストリームの画素信号を、表示および記録に応じた形式に変換する。これにより、動画撮影において、画質を優先した撮影を行うことが可能となる。

次に、フレームレート優先モードの処理動作を図４ｂのフローチャートを用いて説明する。フレームレート優先モードでは、メインストリームおよびサブストリームの画素信号は撮像素子部102から信号処理部Ａ104に送信される。

S407で、撮像素子部102からで画素信号を取得し、S408で、信号処理部Ａ104が取得したメインストリームの画素信号の信号処理を行う。次いでS409で、信号処理部Ａ104が、信号処理したメインストリームの画素信号を信号処理部Ｂ106へ送信する。

S410では、信号処理部Ａ104が、サブストリームの画素信号を信号処理部Ｂ106へ送信すると、S411で、信号処理部Ｂ106が、信号処理部Ａ104から送られたメインストリームの画素信号を受信する。S412では、信号処理部Ａ104から送られたサブストリームの画素信号を信号処理部Ｂ106が受信する。

次いでS413で、信号処理部Ｂ106が、受信したサブストリームの画素信号から画像処理パラメータを求める。ここで求めるのは、ホワイトバランス調整係数、ノイズリダクションの強さなど、画素信号に必要なパラメータである。S414では、S413で求めた画像処理パラメータに基づいて、信号処理部Ｂ106がメインストリーム画像の画像処理を行う。その後、S415で、信号処理部Ｂ106は、処理された画像信号を表示や記録に応じた形式に変換する。これにより、動画撮影において、フレームレートを優先した撮影を行うことが可能となる。

次に実施例のフレームレート優先モードにおいて信号処理部Ａ104がメインストリームの画素信号に対して行う所定の処理について説明する。ここでは、撮像素子部102から出力されるR、Gr、Gb、B画素信号にＹＵＶ変換の信号処理を行うことで、転送データ量を削減する処理動作を、図５を用いて説明する。

図５ａ）は、撮像素子部102の画素配列に対応して配列された画素信号を模式的に示す図である。ここで、２×２を構成するR、Gr、Gb、Bをベイヤ配列の１グループとして考えると、図５ａ）では色フィルタごとに8bitの画素信号となっているため、１グループが32bitで表現される。これをYUV422フォーマット形式に従って変換した画素信号の構成が図５ｂ）である。この場合の変換式を以下に示す。なお、GrとGbはGに代入する。
Y = 0.299×R +0.587×G +0.114×B
Cb = -0.172×R -0.339×G +0.511×B
Cr = 0.511×R -0.428×G -0.083×B
ここで、Yは輝度信号、Cr、Cbは色差信号である。

図５ｂ）はａ）と比較して画素信号の形式が異なっているが、変換後のベイヤ配列の１グループY、Y、Cr、Cbがそれぞれ8bitであるため、１グループは32bitのデータ量となり、データ量の変化はない。

ＹＵＶ４１１フォーマット形式に従って変換された場合の画素信号の構成が図５ｃ）である。ここでは、Cr、Cbが２グループにまたがっており、２グループで48bitとなっている。２グループにまたがるCrとCbは、２つのグループの平均から求める。こうすることで、１グループあたり24bitとなり、図５ａ）のR、Gr、Gb、B形式と比較すると、１グループあたりのデータ量の1/4が削減されている。

上述のように、本実施例では、フレームレート優先モードのときに、信号処理部Ａ104がメインストリームに対して行う処理をＹＵＶ４１１フォーマットへの変換処理としているが、ＹＵＶ４２０フォーマットなど他の形式でもよい。また、フレームレートの最適化で要求されるフレームレートの値に応じて変換処理を選択するようにしてもよい。

以上、第１の実施例によれば、動画モードにて、画質とフレームレートについて選択した項目を重視した画像を取得することができる。具体的には、画質を優先した場合は、メインストリームの画像とサブストリームの画像と両方とも画像処理部Ｂ106で処理した画像を取得する。他方、フレームレートを優先した場合は、メインストリームの信号のデータ量を削減して信号処理部Ｂ106へ画素信号を送信することにより、データレートを変えることなく、フレームレートを向上させることが可能である。

なお、本実施例では、画質優先モードとフレームレート優先モードを、動画撮影を例にして説明したが、静止画撮影においても同様に適用できる。静止画撮影では、フレームレートの向上の効果は少ないが、消費電力の抑える効果が期待できる。

次に、本発明の第２の実施例について説明する。本実施例では、撮影する画像の画質優先、フレームレート優先、および画質とフレームレートをバランスどりする３段階のモードを設定できることが第１の実施例と異なる。撮像装置の構成は第１の実施例において図１、２を用いて説明した内容と同様であるため、ここでの説明は省略する。なお、以下の説明において、フレームレートを優先する場合に、信号処理部Ａ104がメインストリームの画素信号のみの信号処理を行うモードを「バランス」モードと称する。本実施例が特徴とする、メインストリームとサブストリームの両方の画素信号の信号処理を信号処理部A104が行うモードは、「フレームレート優先モード」または「フレームレートを最適化したフレームレート優先モード」と称する。

本実施例に係わる画質優先モード、バランスモード、およびフレームレート優先モードを図６に示す撮像部105の動作タイミングチャートを参照して説明する。同図において、ａ）は画質優先モード、ｂ）は、ａ）におけるフレームレートの場合のバランスモード、ｃ）はフレームレートを最適化するバランスモードのタイミングチャートである。また、ｄ）は、ａ）におけるフレームレートの場合でのフレームレート優先モード、ｅ）は、フレームレートを最適化するフレームレート優先モードのタイミングチャートである。なお、図６においても、VD、Sensor Read、Signal ProcessorおよびOutput Dataは、第１の実施例と同様の期間を示している。

まず、図６ａ）〜ｃ）は第１の実施例の図３ａ）〜ｃ）と同じであるため、説明を省略する。ただし、図６ａ）〜ｃ）のモードについては、第１の実施例とは異なる呼称を用いている。

次に、図６ｄ）およびｅ）のフレームレート優先モードについて説明する。本モードでは、Sensor Read期間に撮像素子部102から読み出されたデジタルデータは、信号処理部Ａ104へ出力されて処理される。図６ｄ)とｅ）の違いは、図６ｅ）では、フレームレートの最適化が行われていることであり、図６ｅ）のt39〜t45は図６ｄ）のt29〜t35と同様である。

信号処理部Ａ104は、デジタルデータになった画素信号に対して、信号処理を行う。図６ｂ）のバランスモードでは、サブストリームの画素信号に対し信号処理部Ａ104は処理を行わなかったが、ｄ）のフレームレート優先モードでは、サブストリームの画素信号にも信号処理部Ａ104が信号処理を行う。この場合、デジタルデータになった画素信号を信号処理部Ｂ106へ送信する期間Output Dataは、t33〜t35である。また、信号処理部Ｂ106への送信においては、図６ｂ）のバランスモードでは、メインストリームとサブストリームとで別々に画素信号を出力している（シリアル通信）。これに対し、ｄ）のフレームレート優先モードでは、メインストリームとサブストリームとを同じように扱う（パラレル通信）。

このように、撮像部105から信号処理部Ｂ106への画素信号の転送期間は、画質優先モードの期間（t03〜t05）よりバランスモードの期間（t12〜t15）のほうが短くなり、フレームレート優先モードの期間（t33〜t35）はさらに短くなる。

また、１フレームで行う一連の処理の期間も、画質優先モードの期間（t01〜t05）よりもバランスモードの期間（t08〜t15）ほうが短くなり、フレームレート優先モードの期間（t29〜t35）は更に短くなる。

次に、図６に示した各モードでの撮像装置の処理動作を図７ａ〜７ｃに示すフローチャートを用いて説明する。図７ａは図６ａ）のタイミングチャートに従う画質優先モード、図７ｃは図６ｂ）又はｃ）のタイミングチャートに従うバランスモード、図７ｃは図６ｄ）又はｅ）のタイミングチャートに従うフレームレート優先モードの動作フローである。図７ａおよび図７ｂは、図４ａ、図４ｂと同じフローチャートであるので、ここでの説明は省略する。また、図７ｃのフローチャートは、信号処理部Ａ104がメインストリームおよびサブストリームの画素信号に信号処理を行い、画像処理部Ｂ106へ送信する処理動作を含む。この処理動作によれば、撮像素子内の簡易的な信号処理システムによる画質ではあるが、画質を優先して撮像部105から外部の信号処理システム画素信号データを送信する場合と比較して、送信するデータ量を低減することが可能となる。
本実施例では、図７ｃの具体的な処理動作の例について説明する。

S716で、操作部110の操作に従った制御部111による制御により画像の撮影を行う。S717で、信号処理部Ａ104が、メインストリームおよびサブストリームの画素信号を撮像部105から取得してその信号処理を行う。このとき、信号処理後の画素信号は撮像装置が再生表示可能なJPGなどの形式とする。

次いで、S718で、信号処理部Ａ104が、処理した画素信号を信号処理部Ｂ106へ送信し、S719において、信号処理部Ｂ106が、送信された画素信号を受信する。S720では、信号処理部Ｂ106が受信した画素信号を処理して表示および記録の形式に対応した画素信号を生成する。

以上説明した本発明の第２の実施例によれば、静止画・動画に関係なく、画質とフレームレートについて、選択した項目を優先した撮影を行うことが可能となる。

具体的には、画質を優先した場合は、撮像素子部の画素信号を撮像部105の外部の信号処理部Ｂ106で信号処理することで、品位の高い画像処理を行うことができる。

また、画質とフレームレートをバランスどりした場合は、データ量の多いメインストリームの画素信号を信号処理部Ａ104で画像処理してデータ量を削減し、撮像部105から信号処理部Ｂ106へ画素信号を送信する。その後、信号処理部Ｂ106は、メインストリームの画素信号とサブストリームの画素信号に画像処理を行う。

また、フレームレートを優先した場合は、撮像素子部102の画素信号を全て撮像部105の内部の信号処理部Ａ104で信号処理することでデータ量を可能な限り低減された画素信号を信号処理部Ｂ106に出力することができる。これにより、撮像部105と信号処理部Ｂ106との間で通信するデータ量を、画質を優先した場合および画質とフレームレートをバランスどりした場合に比べてより多く削減でき、フレームレートの向上や消費電力削減の効果に寄与できる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims

二次元に配列された複数の画素を有する撮像手段と、
前記撮像手段から出力された画素信号に所定の信号処理を施す信号処理手段と、
前記撮像手段または前記信号処理手段から出力された画素信号を外部に出力する出力手段と、を備え、
前記画素の配列は、それぞれが複数の行からなる第１の配列と第２の配列を含み、
第１の処理モードにおいて、前記信号処理手段が前記第１の配列の画素から読み出された第１の画素信号および前記第２の配列の画素から読み出された第２の画素信号に前記所定の信号処理を施さず、
第２の処理モードにおいて、前記信号処理手段が前記第１の画素信号に前記所定の信号処理を施し、前記第２の画素信号には前記所定の信号処理を施さず、
第３の処理モードにおいて、前記信号処理手段が前記第１および第２の画素信号に前記所定の信号処理を施すことを特徴とする撮像素子。
前記信号処理手段および前記出力手段は、同一半導体チップ上に形成されていることを特徴とする請求項１に記載の撮像素子。
前記撮像手段および前記信号処理手段は、同一半導体チップ上に形成されていることを特徴とする請求項１に記載の撮像素子。
前記撮像手段および前記出力手段は、同一半導体チップ上に形成されていることを特徴とする請求項１に記載の撮像素子。
前記撮像手段、前記信号処理手段、および前記出力手段は、同一半導体チップ上に形成されていることを特徴とする請求項１に記載の撮像素子。
前記所定の信号処理は、前記画素信号の少なくとも一部のデータ量を削減するための処理を含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
前記所定の信号処理は、ＹＵＶフォーマットへの変換処理を含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
前記第２の処理モードにおいて、前記出力手段が前記第１および第２の画素信号をシリアル通信で出力し、
前記第３の処理モードにおいて、前記出力手段が前記第１および第２の画素信号をパラレル通信で出力することを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
前記第２又は第３の処理モードにおけるフレームレートは、前記第１の処理モードのフレームレートよりも高いことを特徴とする請求項１乃至８のいずれか１項に記載の撮像素子。
二次元に配列された複数の画素を有する撮像手段と、前記撮像手段から出力された画素信号に第１の信号処理を行う第１の信号処理手段と、前記撮像手段または前記第１の信号処理手段から出力された画素信号を外部に出力する出力手段と、を備えた撮像素子と、
前記撮像素子から出力された画素信号に第２の信号処理を行う第２の信号処理手段と、
前記撮像素子および前記第２の信号処理手段を制御する制御手段と、を有し、
前記画素の配列は、それぞれが複数の行からなる第１の配列と第２の配列を含み、
前記制御手段は、第１の処理モードにおいて、前記第１の信号処理手段が前記第１の配列の画素から読み出された第１の画素信号および前記第２の配列の画素から読み出された第２の画素信号に前記第１の信号処理を施さずに、前記第２の信号処理手段が前記撮像素子から出力された前記第１の画素信号および前記第２の画素信号に前記第２の信号処理を施し、第２の処理モードにおいて、前記第１の信号処理手段が前記第１の画素信号に前記第１の信号処理を施し、前記第２の画素信号には前記第１の信号処理を施さないとともに、前記第２の信号処理手段が前記第２の画素信号に前記第２の信号処理を施し、第３の処理モードにおいて、前記第１の信号処理手段が前記第１および第２の画素信号に前記第１の信号処理を施すように制御することを特徴とする撮像装置。
前記第１の信号処理は、前記画素信号の少なくとも一部のデータ量を削減するための処理を含み、前記第２の信号処理は、前記画素信号から画像データを生成する処理を含むことを特徴とする請求項１０に記載の撮像装置。
前記第２の信号処理手段は、前記第１の画素信号から前記画像データを生成し、前記第２の配列の画素から読み出された第２の画素信号から、前記画像データを生成するための画像処理パラメータを生成することを特徴とする請求項１１に記載の撮像装置。
前記第２の処理モードにおいて、前記出力手段が前記第１および第２の画素信号をシリアル通信で出力し、
前記第３の処理モードにおいて、前記出力手段が前記第１および第２の画素信号をパラレル通信で出力することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
動画撮影モードと静止画撮影モードのいずれかを設定する設定手段を有し、
前記制御手段は、前記設定手段により設定された撮影モードに応じて、前記第１の処理モード、前記第２の処理モード、および前記第３の処理モードのいずれかを設定するように制御することを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
二次元に配列された複数の画素を有する撮像手段と、前記撮像手段から出力された画素信号に所定の信号処理を施す信号処理手段と、前記撮像手段または前記信号処理手段から出力された画素信号を外部に出力する出力手段と、を備えた撮像素子の制御方法であって、
前記画素の配列は、それぞれが複数の行からなる第１の配列と第２の配列を含み、
第１の処理モードにおいて、前記信号処理手段が前記第１の配列の画素から読み出された第１の画素信号および前記第２の配列の画素から読み出された第２の画素信号に前記所定の信号処理を施さずに前記出力手段が出力し、第２の処理モードにおいて、前記信号処理手段が前記第１の画素信号に前記所定の信号処理を施し、前記第２の画素信号には前記所定の信号処理を施さずに前記出力手段が出力し、第３の処理モードにおいて、前記信号処理手段が前記第１および第２の画素信号に前記所定の信号処理を施してから前記出力手段が出力するよう動作させる工程を備えることを特徴とする制御方法。
請求項１５に記載の制御方法をコンピュータに実行させるためのプログラム。
請求項１５に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。