JPWO2008053791A1 - 撮像装置および撮像装置における映像信号生成方法 - Google Patents
撮像装置および撮像装置における映像信号生成方法 Download PDFInfo
- Publication number
- JPWO2008053791A1 JPWO2008053791A1 JP2008542074A JP2008542074A JPWO2008053791A1 JP WO2008053791 A1 JPWO2008053791 A1 JP WO2008053791A1 JP 2008542074 A JP2008542074 A JP 2008542074A JP 2008542074 A JP2008542074 A JP 2008542074A JP WO2008053791 A1 JPWO2008053791 A1 JP WO2008053791A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- addition
- frames
- frame
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 37
- 238000000034 method Methods 0.000 title claims description 28
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 title claims description 11
- 238000010586 diagram Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置において、加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１手段、ならびに組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２手段を備えている。
Description
この発明は、撮像装置および撮像装置における映像信号生成方法に関する。
多画素静止画が撮影可能なイメージセンサで動画を撮影した場合、読み出し速度が間に合わず、低フレームレートとなってしまう。高フレームレートを実現する方法として、画素信号の加算読み出しを行なう方法や、画素信号の間引き読み出しを行なう方法が知られている。
画素信号の加算読み出しは、イメージセンサの隣接する複数画素、例えば、水平方向２画素と垂直方向２画素の合計４画素の信号を加算ことによって行なわれる。このような画素信号の加算読み出しを行なうと、解像度が劣化する。そこで、特開２００２−５７９４３号公報には、水平・垂直方向の画素信号を加算する場合に、行単位で加算位相を反転させる技術が開示されている。この従来技術では、水平方向の解像度の劣化を低減できるが、解像度の劣化防止という観点からは不十分である。
画素信号の加算読み出しは、イメージセンサの隣接する複数画素、例えば、水平方向２画素と垂直方向２画素の合計４画素の信号を加算ことによって行なわれる。このような画素信号の加算読み出しを行なうと、解像度が劣化する。そこで、特開２００２−５７９４３号公報には、水平・垂直方向の画素信号を加算する場合に、行単位で加算位相を反転させる技術が開示されている。この従来技術では、水平方向の解像度の劣化を低減できるが、解像度の劣化防止という観点からは不十分である。
この発明は、画素信号の加算読み出しを行なう場合に解像度の劣化を低減させることができる撮像装置および撮像装置における映像信号生成方法を提供することを目的とする。
この発明は、画素信号の間引き読み出しを行なう場合に解像度の劣化を低減させることができる撮像装置および撮像装置における映像信号生成方法を提供することを目的とする。
この発明による第１の撮像装置は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置において、加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１手段、ならびに組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２手段を備えていることを特徴とする。
第２手段としては、例えば、組み合わせパターンの異なる複数フレーム分の加算読み出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の加算信号から１フレーム分の映像信号を生成するものが用いられる。
この発明による撮像装置における第１の映像信号生成方法は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置における映像信号生成方法において、加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１ステップ、ならびに組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２ステップを備えていることを特徴とする。
第２ステップでは、例えば、組み合わせパターンの異なる複数フレーム分の加算信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の加算信号から１フレーム分の映像信号が生成される。
この発明による第２の撮像装置は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を間引して読み出す手段を備えた撮像装置において、間引きパターンを１フレーム毎に変更する第１手段、ならびに間引きパターンの異なる複数フレーム分の間引き読出し信号に基づいて、１フレーム分の映像信号を生成する第２手段を備えていることを特徴とする。
第２手段としては、例えば、間引きパターンの異なる複数フレーム分の間引き読出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の間引き読出し信号から１フレーム分の映像信号を生成するものが用いられる。
この発明による撮像装置における第２の映像信号生成方法は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を間引して読み出す手段を備えた撮像装置における映像信号生成方法において、間引きパターンを１フレーム毎に変更する第１ステップ、ならびに間引きパターンの異なる複数フレーム分の間引き読出し信号に基づいて、１フレーム分の映像信号を生成する第２ステップを備えていることを特徴とする。
第２ステップでは、例えば、間引きパターンの異なる複数フレーム分の間引き読出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の間引き読出し信号から１フレーム分の映像信号が生成される。
この発明は、画素信号の間引き読み出しを行なう場合に解像度の劣化を低減させることができる撮像装置および撮像装置における映像信号生成方法を提供することを目的とする。
この発明による第１の撮像装置は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置において、加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１手段、ならびに組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２手段を備えていることを特徴とする。
第２手段としては、例えば、組み合わせパターンの異なる複数フレーム分の加算読み出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の加算信号から１フレーム分の映像信号を生成するものが用いられる。
この発明による撮像装置における第１の映像信号生成方法は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置における映像信号生成方法において、加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１ステップ、ならびに組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２ステップを備えていることを特徴とする。
第２ステップでは、例えば、組み合わせパターンの異なる複数フレーム分の加算信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の加算信号から１フレーム分の映像信号が生成される。
この発明による第２の撮像装置は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を間引して読み出す手段を備えた撮像装置において、間引きパターンを１フレーム毎に変更する第１手段、ならびに間引きパターンの異なる複数フレーム分の間引き読出し信号に基づいて、１フレーム分の映像信号を生成する第２手段を備えていることを特徴とする。
第２手段としては、例えば、間引きパターンの異なる複数フレーム分の間引き読出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の間引き読出し信号から１フレーム分の映像信号を生成するものが用いられる。
この発明による撮像装置における第２の映像信号生成方法は、撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を間引して読み出す手段を備えた撮像装置における映像信号生成方法において、間引きパターンを１フレーム毎に変更する第１ステップ、ならびに間引きパターンの異なる複数フレーム分の間引き読出し信号に基づいて、１フレーム分の映像信号を生成する第２ステップを備えていることを特徴とする。
第２ステップでは、例えば、間引きパターンの異なる複数フレーム分の間引き読出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の間引き読出し信号から１フレーム分の映像信号が生成される。
図１は、デジタルカメラの電気的構成を示すブロック図である。
図２は、映像系処理部３の電気的構成を示すブロック図である。
図３は、加算の組合せパターンの種類を示す模式図である。
図４は、イメージセンサ１から読み出される加算信号を示す模式図である。
図５は、４フレーム分の加算信号を組合せたることによって得られる１フレーム分の映像を示す模式図である。
図６は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、有効画素の全てにおいて動きがないと判別された場合を示す模式図である。
図７は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、動きがないと判別された画素と、動きがあると判別された画素とが混在している場合を示す模式図である。
図８は、基準となるフレームＦ５（組合せパターン（ａ））と、フレームＦ４（組合せパターン（ｄ））とを比較する場合を説明するための模式図である。
図９は、差分値｜Ｘｄ−Ｘａｄ｜に対する重みｗの関係を表すグラフである。
図１０は、デジタルカメラの記録時の動作を示すフローチャートである。
図１１は、パターン（ａ）の加算信号とパターン（ｄ）の加算信号とを組合わせることによって得られる１フレーム分の映像を示す模式図である。
図１２は、撮像方式として３板式が採用されている場合の各撮像素子における時間毎の加算の組合せパターンを示す模式図である。
図１３は、図１１に示す４種類の加算信号を組み合わせることによって得られる１フレーム分の映像を示す模式図である。
図１４は、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する場合の従来手法を説明するための模式図である。
図１５は、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する場合の実施例の手法を説明するための模式図である。
図１６は、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する場合の他の実施例の手法を説明するための模式図である。
図１７は、間引きパターンの種類を示す模式図である。
図１８は、イメージセンサ１から読み出される間引き読出し信号を示す模式図である。
図２は、映像系処理部３の電気的構成を示すブロック図である。
図３は、加算の組合せパターンの種類を示す模式図である。
図４は、イメージセンサ１から読み出される加算信号を示す模式図である。
図５は、４フレーム分の加算信号を組合せたることによって得られる１フレーム分の映像を示す模式図である。
図６は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、有効画素の全てにおいて動きがないと判別された場合を示す模式図である。
図７は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、動きがないと判別された画素と、動きがあると判別された画素とが混在している場合を示す模式図である。
図８は、基準となるフレームＦ５（組合せパターン（ａ））と、フレームＦ４（組合せパターン（ｄ））とを比較する場合を説明するための模式図である。
図９は、差分値｜Ｘｄ−Ｘａｄ｜に対する重みｗの関係を表すグラフである。
図１０は、デジタルカメラの記録時の動作を示すフローチャートである。
図１１は、パターン（ａ）の加算信号とパターン（ｄ）の加算信号とを組合わせることによって得られる１フレーム分の映像を示す模式図である。
図１２は、撮像方式として３板式が採用されている場合の各撮像素子における時間毎の加算の組合せパターンを示す模式図である。
図１３は、図１１に示す４種類の加算信号を組み合わせることによって得られる１フレーム分の映像を示す模式図である。
図１４は、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する場合の従来手法を説明するための模式図である。
図１５は、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する場合の実施例の手法を説明するための模式図である。
図１６は、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する場合の他の実施例の手法を説明するための模式図である。
図１７は、間引きパターンの種類を示す模式図である。
図１８は、イメージセンサ１から読み出される間引き読出し信号を示す模式図である。
以下、図面を参照して、この発明の実施例について説明する。
図１は、デジタルカメラの電気的構成を示している。
このデジタルカメラに用いられている撮像方式は単板式である。また、この例では、単板式に用いられる色フィルタアレイはベイヤー配列であるとする。
イメージセンサ１によって得られたアナログ映像信号はＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２に送られ、デジタル映像信号に変換される。ＡＦＥ２によって得られたデジタル映像信号は、映像系処理部３によって所定の処理が施された後、圧縮処理部４に送られる。イメージセンサ１としては、この例では、ＣＣＤが用いられている。
マイク５によって得られたアナログ音声信号は、音声系処理部６によってデジタル音声信号に変換された後、圧縮処理部４に送られる。圧縮処理部４に送られた音声および映像信号は、圧縮処理部４によって圧縮された後、外部メモリ７に格納される。
外部メモリ７に格納された圧縮データを再生する場合には、外部メモリ７に格納された圧縮データが伸張処理部８に送られて、伸張される。伸張処理部８によって得られたデジタル映像信号は、表示部に送られて表示される。伸張処理部８によって得られたデジタル音声信号は、音声出力回路部９でアナログ音声信号に変換されて出力される。
メモリ１１は、信号処理時にデータが一時的に記録されるメモリである。ＴＧ１２は、タイミング制御信号，イメージセンサ駆動パルス等を生成する。ＣＰＵ１０は、システム全体を制御する。
図２は、映像系処理部３の構成を示している。
映像系処理部３は、メモリ３１、解像度向上部３２および信号処理部３３を備えている。ＡＦＥ２によって得られたデジタル映像信号は、メモリ３１に送られて保存されるとともに解像度向上部３２に送られる。解像度向上部３２は、所定フレーム数分のデジタル映像信号に基づいて、解像度向上処理を行なって１フレーム分のデジタル映像信号を生成する。信号処理部３３は、解像度向上部３２によって得られたデジタル映像信号からＹ，Ｕ，Ｖの輝度信号と色差信号とを生成する。
画素信号の加算読み出し時の動作について説明する。本実施例では、ＣＰＵ１０によってＴＧ１２を制御することにより、イメージセンサ１上での加算の組合せパターンを変更して加算信号の読み出しを行なう。イメージセンサ１から読み出されたアナログ映像信号（加算信号ｏｒ加算読出し信号）は、ＡＦＥ２によってデジタル映像信号に変換された後、映像系処理部３に送られ、解像度向上処理等の処理が行なわれる。映像系処理部３によって得られたデジタル映像信号は、圧縮処理部４で圧縮された後、外部メモリ７に格納される。
図３は、加算の組合せパターンの種類を示している。この例では、加算の組合せパターンの種類は（ａ）〜（ｄ）の４種類ある。各組合せパターンを示す各図（（ａ）〜（ｄ））において、左上のブロックはＧＢ−Ｇ画素（ＧＢライン上のＧ画素）に対する加算の組合せパターンを、右上のブロックはＢ画素に対する加算の組合せパターンを、左下のブロックはＲ画素に対する加算の組合せパターンを、右下のブロックはＧＲ−Ｇ画素（ＧＲライン上のＧ画素）に対する加算の組合せパターンを、それぞれ示している。
パターン（ｂ）は、パターン（ａ）に比べて加算対象となる色の画素を右方向に１画素分ずらしている。パターン（ｃ）は、パターン（ａ）に比べて加算対象となる色の画素を下方向に１画素分ずらしている。パターン（ｄ）は、パターン（ａ）に比べて加算対象となる色の画素を右方向および下方向に１画素分ずらしている。
イメージセンサ１は、所定時間毎（Δ秒毎）に、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）の順番で加算の組合せパターンを変更して、加算信号の読み出しを行なう。この結果、イメージセンサ１から読み出される加算信号は、図４に（ａ）〜（ｄ）に示すようになる。図４の（ａ）〜（ｄ）で示す加算信号は、図３のパターン（ａ）〜（ｄ）に対応している。
イメージセンサ１から読み出された加算信号は、ＡＦＥ２によってデジタル映像信号に変換された後、映像系処理部３内のメモリ３１に格納されるとともに解像度向上部３２に送られる。メモリ３１には、最新の所定フレーム数分の映像データが格納されるようになっている。解像度向上部３２では、１フレーム毎に、現フレームとその前の３乃至４フレームとの合計４乃至５フレーム分の映像データに基づいて、解像度向上処理を行なって１フレーム分の映像データを生成する。
解像度向上部３２は、例えば、現フレームとその前の３フレームとからなる４フレーム分の映像データを組み合わせて、１フレーム分の映像を生成する。このように、４フレーム分の映像データを組み合わせると、図５に示すようになり、高解像度の映像が生成される。
ただし、４フレームの映像間に動きがある場合には、これらの映像をそのまま組み合わせると見にくい映像が生成されるおそれがある。そこで、フレーム間の動き情報を考慮して、１フレーム分の映像を生成することが好ましい。以下、フレーム間の動き情報を考慮して１フレーム分の映像を生成する場合の、解像度向上部３２の処理内容について説明する。この場合の解像度向上部３２の処理方法には、２種類の方法がある。
まず、第１方法について説明する。ここでは、図４のｔ秒時の加算信号をＦ１、ｔ＋Δ秒時の加算信号をＦ２、ｔ＋２Δ秒時の加算信号をＦ３、ｔ＋３Δ秒時の加算信号をＦ４とする。また、ｔ＋４Δ秒時の加算信号をＦ５とし、Ｆ１〜Ｆ５の加算信号に基づいて１フレーム分の映像データを生成する場合について説明する。Ｆ１〜Ｆ５のうち、最新のフレームＦ５を基準フレームとする。
第１方法では、加算の組合せパターンが同じ２つのフレームを比較することにより、それらのフレームで加算信号が存在する画素（有効画素）毎に動きがあるかどうかを判別する。この場合には、基準となる加算信号Ｆ５と、その４フレーム前に得られた同じ組合せパターン（この例ではパターン（ａ））の加算信号Ｆ１とを比較して、有効画素それぞれについて、対応する画素間で動きがあるか否かを判別する。動きがあるか否かは、それらの画素値の差が所定の閾値未満であるか否かを判別することによって行なわれれる。
ある画素に関して、加算信号Ｆ５の画素値をＸｔ＋４で表し、加算信号Ｆ１の画素値Ｘｔで表すと、次式（１）を満たすときに、その画素に動きがないと判別する。
｜Ｘｔ−Ｘｔ＋４｜＜α …（１）
そして、基準となる加算信号Ｆ５における空白画素（加算信号が存在しない画素）のうち、動きがないと判断された有効画素の間にある空白画素に対しては、別の組合せパターンの加算信号Ｆ２〜Ｆ４を組み合せる。基準となる加算信号Ｆ５における空白画素（加算信号が存在しない画素）のうち、動きがあると判別された有効画素の間にある空白画素については加算信号Ｆ５によって補間する。なお、加算信号Ｆ５における空白画素のうち、動きがないと判別された有効画素と動きがあると判別された有効画素の間の空白画素については、加算信号Ｆ５によって補間した値と別の組合せパターンの加算信号Ｆ２〜Ｆ４とを用いて補間する。
図６は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、有効画素の全てにおいて、動きがないと判別された場合を示している。図６においては、図示を簡略化するために、ＧＢ−Ｇ、Ｂ、Ｒ、ＧＲ−Ｇの４画素単位毎に動きの有無を判別した例を示しているが、１画素毎に動きの有無を判別してもよい。
図６において、符号”ａ”が付けられている各４画素単位は加算信号Ｆ５における有効画素を、符号”ｂ”が付けられている各４画素単位は加算信号Ｆ２における有効画素を、符号”ｃ”が付けられている各４画素単位は加算信号Ｆ３における有効画素を、符号”ｄ”が付けられている各４画素単位は加算信号Ｆ４における有効画素を、それぞれ示している。また、○印は、動きがないと判別された画素であることを示している。図６に示すような場合には、加算信号Ｆ５に別の組合せパターンの加算信号Ｆ２〜Ｆ４が組み合わされることにより、１フレーム分の映像が生成される。
図７は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、動きがないと判別された画素と、動きがあると判別された画素とが混在している場合を示している。
図７において、○印は動きがないと判別された画素であることを示し、◎印は動きがあると判別された画素であることを示している。△印は、動きがないと判別された画素と動きがあると判別された画素との間の画素を、×印は動きがあると判別された画素の間にある画素を示している。
×印の画素の画素値は、加算信号Ｆ５のみによって補間される。△印の画素の画素値は、加算信号Ｆ５で補間した値と、別の組合せパターンの加算信号Ｆ２〜Ｆ４とを用いて補間される。例えば、△印で囲まれた”ｃ”に対応する４画素内の所定の色の画素は、その上側の４画素（○印で囲まれた”ａ”）内の対応する色の画素とその下側の４画素（◎印で囲まれた”ａ”）内の対応する色の画素とから生成した補間画素値と、加算信号Ｆ３における当該△印で囲まれた”ｃ”内の対応する色の画素値とを加重加算することにより生成される。
なお、基準となるフレームＦ５の有効画素の間に位置していない端部分の空白画素については、動きがあるか否かの判別や補間ができないので、無視することにする。
次に、第２方法について説明する。ここでは、図４のｔ秒時の加算信号をＦ１、ｔ＋Δ秒時の加算信号をＦ２、ｔ＋２Δ秒時の加算信号をＦ３、ｔ＋３Δ秒時の加算信号をＦ４とする。また、ｔ＋４Δ秒時の加算信号をＦ５とし、Ｆ２〜Ｆ５の加算信号に基づいて１フレーム分の映像データを生成する場合について説明する。Ｆ２〜Ｆ５のうち、最新のフレームＦ５を基準フレームとする。
第２方法では、基準となるフレームと、組合せパターンが異なる他のフレームとを比較することにより、上記他のフレームで加算信号が存在する画素（有効画素）毎に動きがあるかどうかを判別する。この場合には、各加算信号Ｆ２〜Ｆ４それぞれを、基準となる加算信号Ｆ５と比較する。ただし、比較される２つのフレームは加算の組合せパターンが異なるため、両者の有効画素の位置は異なる。そこで、基準となるフレームにおいて、比較する他方のフレームの加算信号が存在している画素に対応する画素値を補間により生成した後、両者を比較する。
基準となるフレームＦ５（組合せパターン（ａ））と、フレームＦ４（組合せパターン（ｄ））とを比較する場合について説明する。
図８に示すように、フレームＦ５の有効画素を補間することにより、フレームＦ４の組合せパターン（ｄ）の有効画素（黒丸印で示す画素）に対応する画素値を補間する。次に、フレームＦ５によって補間した各画素（黒丸印で示す画素）の値と、フレームＦ４の対応する画素の値とを比較する。
図８の黒丸で表される任意の画素に関し、フレームＦ５によって補間した画素値をＸａｄで表し、フレームＦ４の対応する画素値をＸｄとする。
両画素値の差の絶対値が次式（２）の条件を満たす場合、つまり、両画素値の差の絶対値が第１の閾値α１より小さい場合には、その画素には動きがないと判別して、フレームＦ４の対応する画素をフレームＦ５に組み合わせる（当該画素値としてフレーム４の対応する画素値を採用する）。
｜Ｘｄ−Ｘａｄ｜＜α１ …（２）
両画素値の差の絶対値が次式（３）の条件を満たす場合、つまり、両画素値の差の絶対値が第１の閾値α１より大きな第２の閾値α２（α２＞α１）より大きい場合には、その画素では動きがあると判別し、当該画素値としてフレーム５から生成された補間値を採用する。
｜Ｘｄ−Ｘａｄ｜＞α２ …（３）
両画素値の差の絶対値が次式（４）の条件を満たす場合、つまり、両画素値の差の絶対値がα１以上でかつα２以下である場合には、当該画素値を、フレーム５から生成された補間値ＸａｄとフレームＦ４の対応する画素の画素値Ｘｄとを用いて生成する。
α１≦｜Ｘｄ−Ｘａｄ｜≦α２ …（４）
具体的には、図９に示すような、予め定められれた、差分値｜Ｘｄ−Ｘａｄ｜に対する重みｗの関係に基づいて、重みｗを求める。そして、次式（５）により、当該画素の画素値Ｘを求める。
Ｘ＝ｗ・Ｘｄ＋（１−ｗ）・Ｘａｄ …（５）
基準となるフレームＦ５と他のフレームＦ２、Ｆ３との間においても同様な処理を行なう。
なお、基準となるフレームＦ５の有効画素の間に位置していない端部分の空白画素については、動きがあるか否かの判別や補間ができないので、無視することにする。
図１０は、デジタルカメラの記録時の動作を示している。
記録が開始されると（ステップＳ１）、ＣＰＵ１０は、加算の組合せパターンを変更するために、イメージセンサ１に入力されているＴＧ信号を変更する（ステップＳ２）。
イメージセンサ１は、ＴＧ信号に基づいて、信号を加算して出力する（ステップＳ３）。イメージセンサ１から出力されたアナログ映像信号はＡＦＥ２に送られ、デジタル映像信号に変換される（ステップＳ４）。ＡＦＥ２によって得られたデジタル映像信号は、映像系処理部３内のメモリ３１に送られて保存されるとともに解像度向上部３２に送られ、解像度処理部３２では動き情報を元に所定フレーム数分のデジタル映像信号を利用して高解像度映像データを生成する（ステップＳ５）。
解像度向上部３２によって得られたデジタル映像信号に対して、信号処理部３３および圧縮伸張部４によって所定の信号処理が施された後（ステップＳ６）、外部メモリ７に書き込まれる（ステップＳ７）。記録終了でなければ（ステップＳ８）、ステップＳ２に戻る。記録終了であれば、記録処理を終了する。
上記実施例では、加算の組合せパターンの順番を、図４の（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）→…としている。この順番は、映像上に動きがある場合に、高解像度の映像を生成できる順番となっている。
つまり、映像上に僅かな動きが存在している場合、２Δ秒間に比べてΔ秒間の方がよりフレーム間の信号を組み合わせられる確率が高くなる。図４の場合、（ａ）と（ｄ）の信号を組み合わせたり、（ｂ）と（ｃ）の信号を組み合わせたりした場合には、信号が斜め方向に存在するため、（ｂ）と（ｄ）の信号を組合せたり、（ａ）と（ｃ）の信号を組合せたりした場合に比べて、高解像の映像を生成できる。
したがって、加算の組合せパターンの順番を、（ａ）→（ｂ）→（ｄ）→（ｃ）→（ａ）→…とするよりも、本実施例のように（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）→…とした方が、映像中に動きがある場合に、より高解像の映像を生成できる。
上記実施例では、水平垂直方向の加算を２画素毎に行う例について説明したが、本願発明は、水平垂直方向の加算を３画素毎、４画素毎等に行なうような他の加算読出し方式に対しても適用することができる。
このデジタルカメラに用いられている撮像方式は単板式である。また、この例では、単板式に用いられる色フィルタアレイはベイヤー配列であるとする。
イメージセンサ１によって得られたアナログ映像信号はＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２に送られ、デジタル映像信号に変換される。ＡＦＥ２によって得られたデジタル映像信号は、映像系処理部３によって所定の処理が施された後、圧縮処理部４に送られる。イメージセンサ１としては、この例では、ＣＣＤが用いられている。
マイク５によって得られたアナログ音声信号は、音声系処理部６によってデジタル音声信号に変換された後、圧縮処理部４に送られる。圧縮処理部４に送られた音声および映像信号は、圧縮処理部４によって圧縮された後、外部メモリ７に格納される。
外部メモリ７に格納された圧縮データを再生する場合には、外部メモリ７に格納された圧縮データが伸張処理部８に送られて、伸張される。伸張処理部８によって得られたデジタル映像信号は、表示部に送られて表示される。伸張処理部８によって得られたデジタル音声信号は、音声出力回路部９でアナログ音声信号に変換されて出力される。
メモリ１１は、信号処理時にデータが一時的に記録されるメモリである。ＴＧ１２は、タイミング制御信号，イメージセンサ駆動パルス等を生成する。ＣＰＵ１０は、システム全体を制御する。
図２は、映像系処理部３の構成を示している。
映像系処理部３は、メモリ３１、解像度向上部３２および信号処理部３３を備えている。ＡＦＥ２によって得られたデジタル映像信号は、メモリ３１に送られて保存されるとともに解像度向上部３２に送られる。解像度向上部３２は、所定フレーム数分のデジタル映像信号に基づいて、解像度向上処理を行なって１フレーム分のデジタル映像信号を生成する。信号処理部３３は、解像度向上部３２によって得られたデジタル映像信号からＹ，Ｕ，Ｖの輝度信号と色差信号とを生成する。
画素信号の加算読み出し時の動作について説明する。本実施例では、ＣＰＵ１０によってＴＧ１２を制御することにより、イメージセンサ１上での加算の組合せパターンを変更して加算信号の読み出しを行なう。イメージセンサ１から読み出されたアナログ映像信号（加算信号ｏｒ加算読出し信号）は、ＡＦＥ２によってデジタル映像信号に変換された後、映像系処理部３に送られ、解像度向上処理等の処理が行なわれる。映像系処理部３によって得られたデジタル映像信号は、圧縮処理部４で圧縮された後、外部メモリ７に格納される。
図３は、加算の組合せパターンの種類を示している。この例では、加算の組合せパターンの種類は（ａ）〜（ｄ）の４種類ある。各組合せパターンを示す各図（（ａ）〜（ｄ））において、左上のブロックはＧＢ−Ｇ画素（ＧＢライン上のＧ画素）に対する加算の組合せパターンを、右上のブロックはＢ画素に対する加算の組合せパターンを、左下のブロックはＲ画素に対する加算の組合せパターンを、右下のブロックはＧＲ−Ｇ画素（ＧＲライン上のＧ画素）に対する加算の組合せパターンを、それぞれ示している。
パターン（ｂ）は、パターン（ａ）に比べて加算対象となる色の画素を右方向に１画素分ずらしている。パターン（ｃ）は、パターン（ａ）に比べて加算対象となる色の画素を下方向に１画素分ずらしている。パターン（ｄ）は、パターン（ａ）に比べて加算対象となる色の画素を右方向および下方向に１画素分ずらしている。
イメージセンサ１は、所定時間毎（Δ秒毎）に、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）の順番で加算の組合せパターンを変更して、加算信号の読み出しを行なう。この結果、イメージセンサ１から読み出される加算信号は、図４に（ａ）〜（ｄ）に示すようになる。図４の（ａ）〜（ｄ）で示す加算信号は、図３のパターン（ａ）〜（ｄ）に対応している。
イメージセンサ１から読み出された加算信号は、ＡＦＥ２によってデジタル映像信号に変換された後、映像系処理部３内のメモリ３１に格納されるとともに解像度向上部３２に送られる。メモリ３１には、最新の所定フレーム数分の映像データが格納されるようになっている。解像度向上部３２では、１フレーム毎に、現フレームとその前の３乃至４フレームとの合計４乃至５フレーム分の映像データに基づいて、解像度向上処理を行なって１フレーム分の映像データを生成する。
解像度向上部３２は、例えば、現フレームとその前の３フレームとからなる４フレーム分の映像データを組み合わせて、１フレーム分の映像を生成する。このように、４フレーム分の映像データを組み合わせると、図５に示すようになり、高解像度の映像が生成される。
ただし、４フレームの映像間に動きがある場合には、これらの映像をそのまま組み合わせると見にくい映像が生成されるおそれがある。そこで、フレーム間の動き情報を考慮して、１フレーム分の映像を生成することが好ましい。以下、フレーム間の動き情報を考慮して１フレーム分の映像を生成する場合の、解像度向上部３２の処理内容について説明する。この場合の解像度向上部３２の処理方法には、２種類の方法がある。
まず、第１方法について説明する。ここでは、図４のｔ秒時の加算信号をＦ１、ｔ＋Δ秒時の加算信号をＦ２、ｔ＋２Δ秒時の加算信号をＦ３、ｔ＋３Δ秒時の加算信号をＦ４とする。また、ｔ＋４Δ秒時の加算信号をＦ５とし、Ｆ１〜Ｆ５の加算信号に基づいて１フレーム分の映像データを生成する場合について説明する。Ｆ１〜Ｆ５のうち、最新のフレームＦ５を基準フレームとする。
第１方法では、加算の組合せパターンが同じ２つのフレームを比較することにより、それらのフレームで加算信号が存在する画素（有効画素）毎に動きがあるかどうかを判別する。この場合には、基準となる加算信号Ｆ５と、その４フレーム前に得られた同じ組合せパターン（この例ではパターン（ａ））の加算信号Ｆ１とを比較して、有効画素それぞれについて、対応する画素間で動きがあるか否かを判別する。動きがあるか否かは、それらの画素値の差が所定の閾値未満であるか否かを判別することによって行なわれれる。
ある画素に関して、加算信号Ｆ５の画素値をＸｔ＋４で表し、加算信号Ｆ１の画素値Ｘｔで表すと、次式（１）を満たすときに、その画素に動きがないと判別する。
｜Ｘｔ−Ｘｔ＋４｜＜α …（１）
そして、基準となる加算信号Ｆ５における空白画素（加算信号が存在しない画素）のうち、動きがないと判断された有効画素の間にある空白画素に対しては、別の組合せパターンの加算信号Ｆ２〜Ｆ４を組み合せる。基準となる加算信号Ｆ５における空白画素（加算信号が存在しない画素）のうち、動きがあると判別された有効画素の間にある空白画素については加算信号Ｆ５によって補間する。なお、加算信号Ｆ５における空白画素のうち、動きがないと判別された有効画素と動きがあると判別された有効画素の間の空白画素については、加算信号Ｆ５によって補間した値と別の組合せパターンの加算信号Ｆ２〜Ｆ４とを用いて補間する。
図６は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、有効画素の全てにおいて、動きがないと判別された場合を示している。図６においては、図示を簡略化するために、ＧＢ−Ｇ、Ｂ、Ｒ、ＧＲ−Ｇの４画素単位毎に動きの有無を判別した例を示しているが、１画素毎に動きの有無を判別してもよい。
図６において、符号”ａ”が付けられている各４画素単位は加算信号Ｆ５における有効画素を、符号”ｂ”が付けられている各４画素単位は加算信号Ｆ２における有効画素を、符号”ｃ”が付けられている各４画素単位は加算信号Ｆ３における有効画素を、符号”ｄ”が付けられている各４画素単位は加算信号Ｆ４における有効画素を、それぞれ示している。また、○印は、動きがないと判別された画素であることを示している。図６に示すような場合には、加算信号Ｆ５に別の組合せパターンの加算信号Ｆ２〜Ｆ４が組み合わされることにより、１フレーム分の映像が生成される。
図７は、基準となる加算信号Ｆ５と加算信号Ｆ１との間の加算信号とを比較した場合に、動きがないと判別された画素と、動きがあると判別された画素とが混在している場合を示している。
図７において、○印は動きがないと判別された画素であることを示し、◎印は動きがあると判別された画素であることを示している。△印は、動きがないと判別された画素と動きがあると判別された画素との間の画素を、×印は動きがあると判別された画素の間にある画素を示している。
×印の画素の画素値は、加算信号Ｆ５のみによって補間される。△印の画素の画素値は、加算信号Ｆ５で補間した値と、別の組合せパターンの加算信号Ｆ２〜Ｆ４とを用いて補間される。例えば、△印で囲まれた”ｃ”に対応する４画素内の所定の色の画素は、その上側の４画素（○印で囲まれた”ａ”）内の対応する色の画素とその下側の４画素（◎印で囲まれた”ａ”）内の対応する色の画素とから生成した補間画素値と、加算信号Ｆ３における当該△印で囲まれた”ｃ”内の対応する色の画素値とを加重加算することにより生成される。
なお、基準となるフレームＦ５の有効画素の間に位置していない端部分の空白画素については、動きがあるか否かの判別や補間ができないので、無視することにする。
次に、第２方法について説明する。ここでは、図４のｔ秒時の加算信号をＦ１、ｔ＋Δ秒時の加算信号をＦ２、ｔ＋２Δ秒時の加算信号をＦ３、ｔ＋３Δ秒時の加算信号をＦ４とする。また、ｔ＋４Δ秒時の加算信号をＦ５とし、Ｆ２〜Ｆ５の加算信号に基づいて１フレーム分の映像データを生成する場合について説明する。Ｆ２〜Ｆ５のうち、最新のフレームＦ５を基準フレームとする。
第２方法では、基準となるフレームと、組合せパターンが異なる他のフレームとを比較することにより、上記他のフレームで加算信号が存在する画素（有効画素）毎に動きがあるかどうかを判別する。この場合には、各加算信号Ｆ２〜Ｆ４それぞれを、基準となる加算信号Ｆ５と比較する。ただし、比較される２つのフレームは加算の組合せパターンが異なるため、両者の有効画素の位置は異なる。そこで、基準となるフレームにおいて、比較する他方のフレームの加算信号が存在している画素に対応する画素値を補間により生成した後、両者を比較する。
基準となるフレームＦ５（組合せパターン（ａ））と、フレームＦ４（組合せパターン（ｄ））とを比較する場合について説明する。
図８に示すように、フレームＦ５の有効画素を補間することにより、フレームＦ４の組合せパターン（ｄ）の有効画素（黒丸印で示す画素）に対応する画素値を補間する。次に、フレームＦ５によって補間した各画素（黒丸印で示す画素）の値と、フレームＦ４の対応する画素の値とを比較する。
図８の黒丸で表される任意の画素に関し、フレームＦ５によって補間した画素値をＸａｄで表し、フレームＦ４の対応する画素値をＸｄとする。
両画素値の差の絶対値が次式（２）の条件を満たす場合、つまり、両画素値の差の絶対値が第１の閾値α１より小さい場合には、その画素には動きがないと判別して、フレームＦ４の対応する画素をフレームＦ５に組み合わせる（当該画素値としてフレーム４の対応する画素値を採用する）。
｜Ｘｄ−Ｘａｄ｜＜α１ …（２）
両画素値の差の絶対値が次式（３）の条件を満たす場合、つまり、両画素値の差の絶対値が第１の閾値α１より大きな第２の閾値α２（α２＞α１）より大きい場合には、その画素では動きがあると判別し、当該画素値としてフレーム５から生成された補間値を採用する。
｜Ｘｄ−Ｘａｄ｜＞α２ …（３）
両画素値の差の絶対値が次式（４）の条件を満たす場合、つまり、両画素値の差の絶対値がα１以上でかつα２以下である場合には、当該画素値を、フレーム５から生成された補間値ＸａｄとフレームＦ４の対応する画素の画素値Ｘｄとを用いて生成する。
α１≦｜Ｘｄ−Ｘａｄ｜≦α２ …（４）
具体的には、図９に示すような、予め定められれた、差分値｜Ｘｄ−Ｘａｄ｜に対する重みｗの関係に基づいて、重みｗを求める。そして、次式（５）により、当該画素の画素値Ｘを求める。
Ｘ＝ｗ・Ｘｄ＋（１−ｗ）・Ｘａｄ …（５）
基準となるフレームＦ５と他のフレームＦ２、Ｆ３との間においても同様な処理を行なう。
なお、基準となるフレームＦ５の有効画素の間に位置していない端部分の空白画素については、動きがあるか否かの判別や補間ができないので、無視することにする。
図１０は、デジタルカメラの記録時の動作を示している。
記録が開始されると（ステップＳ１）、ＣＰＵ１０は、加算の組合せパターンを変更するために、イメージセンサ１に入力されているＴＧ信号を変更する（ステップＳ２）。
イメージセンサ１は、ＴＧ信号に基づいて、信号を加算して出力する（ステップＳ３）。イメージセンサ１から出力されたアナログ映像信号はＡＦＥ２に送られ、デジタル映像信号に変換される（ステップＳ４）。ＡＦＥ２によって得られたデジタル映像信号は、映像系処理部３内のメモリ３１に送られて保存されるとともに解像度向上部３２に送られ、解像度処理部３２では動き情報を元に所定フレーム数分のデジタル映像信号を利用して高解像度映像データを生成する（ステップＳ５）。
解像度向上部３２によって得られたデジタル映像信号に対して、信号処理部３３および圧縮伸張部４によって所定の信号処理が施された後（ステップＳ６）、外部メモリ７に書き込まれる（ステップＳ７）。記録終了でなければ（ステップＳ８）、ステップＳ２に戻る。記録終了であれば、記録処理を終了する。
上記実施例では、加算の組合せパターンの順番を、図４の（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）→…としている。この順番は、映像上に動きがある場合に、高解像度の映像を生成できる順番となっている。
つまり、映像上に僅かな動きが存在している場合、２Δ秒間に比べてΔ秒間の方がよりフレーム間の信号を組み合わせられる確率が高くなる。図４の場合、（ａ）と（ｄ）の信号を組み合わせたり、（ｂ）と（ｃ）の信号を組み合わせたりした場合には、信号が斜め方向に存在するため、（ｂ）と（ｄ）の信号を組合せたり、（ａ）と（ｃ）の信号を組合せたりした場合に比べて、高解像の映像を生成できる。
したがって、加算の組合せパターンの順番を、（ａ）→（ｂ）→（ｄ）→（ｃ）→（ａ）→…とするよりも、本実施例のように（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）→…とした方が、映像中に動きがある場合に、より高解像の映像を生成できる。
上記実施例では、水平垂直方向の加算を２画素毎に行う例について説明したが、本願発明は、水平垂直方向の加算を３画素毎、４画素毎等に行なうような他の加算読出し方式に対しても適用することができる。
上記実施例１では、イメージセンサ１に４種類の加算信号を順番に生成させているが、２種類の加算信号を交互に生成させるようにしてもよい。例えば、図４のパターン（ａ）の加算信号と、図４のパターン（ｄ）の加算信号とを交互に生成させるようにしてもよい。解像度向上部３２は、パターン（８）の加算信号と、パターン（ｄ）の加算信号とを組合わせる。この組合せ結果は、図１１に示すような映像となる。ただし、図５に比べて不足する画素（空白画素）が発生するので、空白画素に対しては補間により画素値を生成する。
上記実施例１では、撮像方式として単板式が採用されているが、撮像方式として３板式が採用されている場合には、各撮像素子における時間毎の加算の組合せパターンを図１２に示すようにすればよい。この場合、４フレーム分の加算信号を組み合わせると、図１３に示すようになる。
実施例１〜３では、信号加算時の画素数（元の画素数をＮ×Ｎとし、水平垂直方向の加算を２画素毎に行う場合には、信号加算時の画素数はＮ／２×Ｎ／２となる）に比べて、画素数を増加させることにより、高い解像度の映像（Ｎ×Ｎの画素数の映像）を生成する例について説明したが、ここでは、画素数が信号加算時と等しい映像（Ｎ／２×Ｎ／２の映像）を生成する場合について説明する。
水平垂直方向の加算を２画素毎行なう場合について説明する。従来において、例えば、図４（ａ）に示すような加算を行なった場合には、画素間隔が不均等となるため、斜め線にガタツキが生じる。そこで、画素間隔が均等間隔となるように補間することを考える。画素間隔が均等間隔となるような画素配列は、図１４に○印で示すような画素配列となる。そこで、○印の各画素の画素値を、周辺の画素から補間することによって生成する。しかしながら、この補間のために利用する画素数は少ないため、映像が劣化するという問題がある。
実施例４では、実施例１と同様に、イメージセンサ１によって図４に示す４種類のパターン（ａ）〜（ｄ）の加算信号を順次生成させ、映像系処理部３により解像度向上処理を行なって４フレーム分の加算信号を組み合わせるまたは補間することにより、図５に示すような１フレーム分の映像を生成する。そして、図１５に示すように、得られた１フレーム分の映像から、画素間隔が均等となる配列の各画素（○印の画素）の画素値を補間することにより、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する。この場合には、補間のためにより多くの画素を利用できるので、映像劣化を抑えることができる。
水平垂直方向の加算を２画素毎行なう場合について説明する。従来において、例えば、図４（ａ）に示すような加算を行なった場合には、画素間隔が不均等となるため、斜め線にガタツキが生じる。そこで、画素間隔が均等間隔となるように補間することを考える。画素間隔が均等間隔となるような画素配列は、図１４に○印で示すような画素配列となる。そこで、○印の各画素の画素値を、周辺の画素から補間することによって生成する。しかしながら、この補間のために利用する画素数は少ないため、映像が劣化するという問題がある。
実施例４では、実施例１と同様に、イメージセンサ１によって図４に示す４種類のパターン（ａ）〜（ｄ）の加算信号を順次生成させ、映像系処理部３により解像度向上処理を行なって４フレーム分の加算信号を組み合わせるまたは補間することにより、図５に示すような１フレーム分の映像を生成する。そして、図１５に示すように、得られた１フレーム分の映像から、画素間隔が均等となる配列の各画素（○印の画素）の画素値を補間することにより、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する。この場合には、補間のためにより多くの画素を利用できるので、映像劣化を抑えることができる。
実施例４では、４フレーム分の加算信号を組み合わせるまたは補間することにより生成された１フレーム部の映像（図５参照）から、図１５の○印で示す画素の画素値を補間している。実施例５では、実施例２で説明した２フレーム分の加算信号を組み合わせた映像（図１１参照）に対して、図１６に示すように○印の画素の画素値を補間することにより、画素数が信号加算時と等しくかつ画素間隔が均等間隔となる映像を生成する。
実施例６では、画素数が信号加算時と等しい映像を生成する場合に、実施例４、５のように画素間隔が均等間隔となる映像を生成するのではなく、図５、図１１のような複数フレーム分の加算信号を組み合わせた後のベイヤー配列画像からＲＧＢ画像を生成し、得られたＲＧＢ画像を縮小することにより、両素数が信号加算時と等しい映像を生成する。この際、図１１に示すように複数フレーム分の加算信号の組合せ後のベイヤー配列画像に空白画素が存在する場合には、縮小する際に画像を補間する。
上記実施例１〜６においては、加算読出しによって得られた加算信号（加算読出信号）に対して、映像系処理部３によって解像度を向上させるための処理（解像度向上処理という）が行なわれているが、間引き読出しによって得られた間引き読出し信号に対しても、上記実施例１〜６と同様な解像度向上処理を行なうことができる。
加算読出しでは、加算する画素信号の組合わせパターンを、例えば、図３の（ａ）〜（ｄ）に示すように、１フレーム毎に変更することにより、図４に（ａ）〜（ｄ）に示すような加算信号（加算読出し信号）がイメージセンサ１から順次読み出されている。
間引き読出しにおいては、間引きパターンが、例えば、図１７の（ａ）〜（ｄ）に示すように、１フレーム毎に変更せしめられる。図１７の（ａ）〜（ｄ）においては、残す画素が○印で囲まれており、○印で囲まれた画素以外の画素が間引かれることを表している。
具体的には、図１のＣＰＵ１０がＴＧ１２を制御することによって、イメージセンサ１上での間引きパターンを変更して、間引きパターンの異なる画像の読出しを行なう。イメージセンサ１から読み出されたアナログ映像信号（間引き読出し信号）は、ＡＦＥ２によってデジタル映像信号に変換された後、映像系処理部３に送られ、解像度向上処理等の処理が行なわれる。映像系処理部３によって得られたデジタル映像信号は、圧縮処理部４で圧縮された後、外部メモリ７に格納される。
間引きパターンを、例えば、図１７の（ａ）〜（ｄ）に示すように、１フレーム毎に変更することにより、図１８に（ａ）〜（ｄ）に示すような信号（間引き読出し信号）がイメージセンサ１から順次読み出される。
実施例７では、間引きパターンが異なる複数フレーム分の間引き読出し信号に基づいて、上記実施例１〜６と同様な解像度向上処理を行なうことによって、１フレーム分の映像信号が生成される。
加算読出しでは、加算する画素信号の組合わせパターンを、例えば、図３の（ａ）〜（ｄ）に示すように、１フレーム毎に変更することにより、図４に（ａ）〜（ｄ）に示すような加算信号（加算読出し信号）がイメージセンサ１から順次読み出されている。
間引き読出しにおいては、間引きパターンが、例えば、図１７の（ａ）〜（ｄ）に示すように、１フレーム毎に変更せしめられる。図１７の（ａ）〜（ｄ）においては、残す画素が○印で囲まれており、○印で囲まれた画素以外の画素が間引かれることを表している。
具体的には、図１のＣＰＵ１０がＴＧ１２を制御することによって、イメージセンサ１上での間引きパターンを変更して、間引きパターンの異なる画像の読出しを行なう。イメージセンサ１から読み出されたアナログ映像信号（間引き読出し信号）は、ＡＦＥ２によってデジタル映像信号に変換された後、映像系処理部３に送られ、解像度向上処理等の処理が行なわれる。映像系処理部３によって得られたデジタル映像信号は、圧縮処理部４で圧縮された後、外部メモリ７に格納される。
間引きパターンを、例えば、図１７の（ａ）〜（ｄ）に示すように、１フレーム毎に変更することにより、図１８に（ａ）〜（ｄ）に示すような信号（間引き読出し信号）がイメージセンサ１から順次読み出される。
実施例７では、間引きパターンが異なる複数フレーム分の間引き読出し信号に基づいて、上記実施例１〜６と同様な解像度向上処理を行なうことによって、１フレーム分の映像信号が生成される。
Claims (8)
- 撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置において、
加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１手段、ならびに
組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２手段、
を備えていることを特徴とする撮像装置。 - 第２手段は、組み合わせパターンの異なる複数フレーム分の加算信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の加算信号から１フレーム分の映像信号を生成するものであることを特徴とする請求項１に記載の撮像装置。
- 撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を加算して読み出す手段を備えた撮像装置における映像信号生成方法において、
加算する画素信号の組み合わせパターンを１フレーム毎に変更する第１ステップ、ならびに
組み合わせパターンの異なる複数フレーム分の加算信号に基づいて、１フレーム分の映像信号を生成する第２ステップ、
を備えていることを特徴とする撮像装置における映像信号生成方法。 - 第２ステップでは、組み合わせパターンの異なる複数フレーム分の加算信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の加算信号から１フレーム分の映像信号を生成することを特徴とする請求項３に記載の撮像装置における映像信号生成方法。
- 撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を間引して読み出す手段を備えた撮像装置において、
間引きパターンを１フレーム毎に変更する第１手段、ならびに
間引きパターンの異なる複数フレーム分の間引き読出し信号に基づいて、１フレーム分の映像信号を生成する第２手段、
を備えていることを特徴とする撮像装置。 - 第２手段は、間引きパターンの異なる複数フレーム分の間引き読出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の間引き読出し信号から１フレーム分の映像信号を生成するものであることを特徴とする請求項５に記載の撮像装置。
- 撮像素子の画素配列のうち、第１方向および第２方向の各方向に配列された複数画素の画素信号を間引して読み出す手段を備えた撮像装置における映像信号生成方法において、
間引きパターンを１フレーム毎に変更する第１ステップ、ならびに
間引きパターンの異なる複数フレーム分の間引き読出し信号に基づいて、１フレーム分の映像信号を生成する第２ステップ、
を備えていることを特徴とする撮像装置における映像信号生成方法。 - 第２ステップでは、間引きパターンの異なる複数フレーム分の間引き読出し信号と、該複数フレーム間の動き情報とに基づいて、該複数フレーム分の間引き読出し信号から１フレーム分の映像信号を生成することを特徴とする請求項７に記載の撮像装置における映像信号生成方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006295646 | 2006-10-31 | ||
| JP2006295646 | 2006-10-31 | ||
| PCT/JP2007/070873 WO2008053791A1 (fr) | 2006-10-31 | 2007-10-19 | Dispositif d'imagerie et procédé de génération de signal vidéo utilisé dans le dispositif d'imagerie |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2008053791A1 true JPWO2008053791A1 (ja) | 2010-02-25 |
Family
ID=39344132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008542074A Pending JPWO2008053791A1 (ja) | 2006-10-31 | 2007-10-19 | 撮像装置および撮像装置における映像信号生成方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8139123B2 (ja) |
| JP (1) | JPWO2008053791A1 (ja) |
| WO (1) | WO2008053791A1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5159461B2 (ja) * | 2008-06-20 | 2013-03-06 | 三洋電機株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
| WO2009145201A1 (ja) * | 2008-05-27 | 2009-12-03 | 三洋電機株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
| JP5202106B2 (ja) * | 2008-05-27 | 2013-06-05 | 三洋電機株式会社 | 画像処理装置及び撮像装置 |
| JP5446291B2 (ja) * | 2009-02-02 | 2014-03-19 | 株式会社ニコン | 撮像装置 |
| WO2010089830A1 (ja) * | 2009-02-03 | 2010-08-12 | パナソニック株式会社 | 撮像装置 |
| JP5572960B2 (ja) * | 2009-02-16 | 2014-08-20 | 株式会社ニコン | 撮像装置およびその画素加算方法 |
| JP5625298B2 (ja) * | 2009-09-28 | 2014-11-19 | ソニー株式会社 | 撮像装置 |
| JP2011109219A (ja) * | 2009-11-13 | 2011-06-02 | Mitsubishi Electric Corp | 画像信号処理装置及び方法 |
| JP5220777B2 (ja) * | 2010-01-21 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
| US8657200B2 (en) | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
| FR2977371B1 (fr) * | 2011-06-30 | 2013-08-02 | Trixell | Matrice de pixels a groupements programmables |
| CN106507068B (zh) | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
| CN106604001B (zh) * | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
| JP7356266B2 (ja) * | 2018-08-31 | 2023-10-04 | キヤノン株式会社 | 撮像装置、撮像システム、および撮像装置の駆動方法 |
| WO2020045278A1 (en) * | 2018-08-31 | 2020-03-05 | Canon Kabushiki Kaisha | Imaging device with motion dependent pixel binning |
| JP6864942B1 (ja) * | 2020-11-18 | 2021-04-28 | 株式会社ＳｅｎｓＡＩ | 撮像システム |
| US20240223914A1 (en) * | 2022-12-30 | 2024-07-04 | Pixart Imaging Inc. | Image sensor mechanism for pre-processing analog pixel data of pixel array to reduce design complexity and save power consumption for digital processing circuit |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000134549A (ja) * | 1998-10-22 | 2000-05-12 | Toshiba Corp | 固体撮像装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000295531A (ja) | 1999-04-06 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2002057943A (ja) | 2000-08-10 | 2002-02-22 | Olympus Optical Co Ltd | 撮像装置 |
| JP2002369083A (ja) | 2001-06-07 | 2002-12-20 | Olympus Optical Co Ltd | 撮像装置 |
| JP4658401B2 (ja) * | 2001-07-27 | 2011-03-23 | オリンパス株式会社 | 撮像装置 |
| JP4142340B2 (ja) * | 2002-05-22 | 2008-09-03 | オリンパス株式会社 | 撮像装置 |
| JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
| JPWO2005064925A1 (ja) | 2003-12-26 | 2007-12-20 | オリンパス株式会社 | 撮像装置 |
| US7688368B2 (en) * | 2006-01-27 | 2010-03-30 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| US7602418B2 (en) * | 2006-10-11 | 2009-10-13 | Eastman Kodak Company | Digital image with reduced object motion blur |
-
2007
- 2007-10-19 US US12/513,118 patent/US8139123B2/en not_active Expired - Fee Related
- 2007-10-19 WO PCT/JP2007/070873 patent/WO2008053791A1/ja active Application Filing
- 2007-10-19 JP JP2008542074A patent/JPWO2008053791A1/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000134549A (ja) * | 1998-10-22 | 2000-05-12 | Toshiba Corp | 固体撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100053356A1 (en) | 2010-03-04 |
| US8139123B2 (en) | 2012-03-20 |
| WO2008053791A1 (fr) | 2008-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2008053791A1 (ja) | 撮像装置および撮像装置における映像信号生成方法 | |
| JP4018727B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| WO2009145201A1 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP2005136868A (ja) | 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム | |
| US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| JP4886888B2 (ja) | 画像処理装置及びその制御方法 | |
| US20100277613A1 (en) | Image recording device and image reproduction device | |
| JP4606218B2 (ja) | 歪補正装置 | |
| JP5159461B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP4246244B2 (ja) | 撮像装置 | |
| JP2004260265A (ja) | 画素の折り返し機能を有する画素抽出回路、および撮像装置 | |
| JP4086618B2 (ja) | 信号処理装置及び方法 | |
| JP5202106B2 (ja) | 画像処理装置及び撮像装置 | |
| JP2009038627A (ja) | 撮像装置 | |
| JP3489852B2 (ja) | 高精細撮像装置 | |
| JP2015061178A (ja) | 撮像システム、撮像システムの駆動方法、撮像装置、撮像装置の駆動方法 | |
| US6266101B1 (en) | Y/C separator | |
| JP4373689B2 (ja) | テレビジョンカメラ | |
| JP5300606B2 (ja) | 撮像装置及びその制御方法 | |
| CN108377353B (zh) | 应用于嵌入式系统的视频处理方法 | |
| JP4764905B2 (ja) | 撮像システム | |
| JP4333371B2 (ja) | 撮像装置および撮像素子 | |
| JP6572074B2 (ja) | 撮像装置 | |
| JP2001057654A (ja) | 高感度撮像装置 | |
| JP2005175571A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120329 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120719 |