JP4715210B2

JP4715210B2 - カメラ装置

Info

Publication number: JP4715210B2
Application number: JP2005011618A
Authority: JP
Inventors: 正輝西本
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-01-19
Filing date: 2005-01-19
Publication date: 2011-07-06
Anticipated expiration: 2025-01-19
Also published as: JP2006203438A

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラなどの静止画撮影モードの他に動画を撮影する動画撮影モードが設けられたカメラ装置に関する。

一般に、電子スチルカメラでは、静止画像を撮影して記録するだけでなく、動画像を撮影して記録することができる動画撮影モードが設けられている。動画撮影モードにおける撮影では、静止画像を撮影する場合と比較して大幅に画像処理速度が求められるために、撮像素子（ＣＣＤセンサ）から入力された画像データを縮小し、画像サイズを小さくすることで処理速度の向上を図り、入力された画像データに対するリアルタイム処理を実現している。

従来、ＣＣＤセンサから出力された画像データを縮小する場合、複数の画素の平均値を算出して補間画素の画素値とする平均処理が良く使用されている。

また従来では、間引き読み出し可能な単板カラー撮像素子を用いて、この撮像素子から間引き読み出しした信号を補間して縮小画像を生成する間引き補間回路と、通常読み出しした信号を補間して縮小なしのカラー画像を生成する補間回路とを備え、画素ブロックにおいて、ＧとＲそれぞれの４つのフィルタ位置の信号を平均化して読み出す画素ブロックと、ＧとＢそれぞれの４つのフィルタ位置の信号を平均化して読み出す画素ブロックとが市松状に配置して、フレーム毎に市松状配置が反転する如く間引き処理が行われるように構成した撮像装置も考えられている（例えば、特許文献１）。
特開２００４−１５７７２号公報

従来、平均処理を用いて画像を縮小する構成では、圧縮率が高い場合には広範囲の領域に含まれる実画素のデータを用いて平均値を算出することになる。この場合、補間位置の画素とは関係のない実画素のデータも混在してしまう可能性が高くなり、画質が悪くなってしまうという問題があった。

また、特許文献１に記載された撮像装置では、撮像素子から間引き読み出しした信号を補間して縮小し、画素ブロックにおいて平均化して読み出すことで縮小画像へのモアレの混入を抑制する構成としていた。すなわち、撮像素子から出力される信号において既に間引きが行われているため、この時点でデータ量が削減されており、撮像素子から出力された信号（データ）に対しては単に平均化しているに過ぎず、縮小画像の高画質化を図るものではなかった。

本発明の課題は、撮像素子から出力される画素情報に対する間引き処理と平均処理を組み合わせた縮小処理により、縮小画像の高画質化を図ることが可能なカメラ装置を提供することにある。

請求項１記載の発明は、複数の異なる色の受光センサが所定間隔で交互に配列され、各色の受光センサからの画素情報を配列の順番で交互に出力する撮像素子と、前記撮像素子により出力された各画素の画素情報に対する倍率を設定する倍率設定手段と、補間処理を開始する位置を任意に変化させるためのオフセットを、前記複数の色の各々に対して異なるオフセットとなるように指定するオフセット指定手段と、前記オフセット指定手段により指定された各色のオフセットに、前記倍率設定手段によって設定された倍率に対応して決められる値を順次加算していくことで、前記複数の色の各々に対して、異なるオフセットが加えられた異なる補間画素の位置情報を順番に生成して逐次出力する位置生成手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第１画素情報記憶手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素に対する補間係数を逐次生成して出力する第１係数生成手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第２画素情報記憶手段と、前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素に対する補間係数を逐次生成して出力する第２係数生成手段と、前記第１画素情報記憶手段に記憶されている画素情報に前記第１係数生成手段が出力する係数を乗算した値と、前記第２画素情報記憶手段に記憶されている画素情報に前記第２係数生成手段が出力する係数を乗算した値とを加算する演算により前記補間画素の画素情報を逐次生成する演算手段と、前記撮像素子から順番に出力される画素情報を複数同時に記憶するとともに、前記撮像素子から新たな画素情報が出力される毎に各画素情報の記憶位置をずらしながら更新していき、少なくとも同色の画素情報を複数同時に記憶する共通画素情報記憶手段とを備え、前記第１及び第２画素情報記憶手段は、前記共通画素情報記憶手段を用いて補間画素の位置の直前にある実画素情報と補間画素の位置の直後にある実画素情報を記憶することを特徴とする。

請求項２記載の発明は更に、前記第１及び第２係数生成手段は、前記撮像素子から出力される異なる色の各々に対応して複数設けられることを特徴とする。

請求項３記載の発明は更に、前記第１及び第２画素記憶手段は、前記撮像素子から出力される異なる色の各々に対応して複数設けられることを特徴とする。
請求項４記載の発明は更に、前記共通画素情報記憶手段は、１つの色の画素情報を２つ同時に記憶し、その他の色の画素情報を１つ記憶し、前記撮像素子から新たな色の画素情報が出力される毎に、２つ同時に記憶される色が交互に切り換わるように構成され、前記演算手段は、前記共通画素情報記憶手段に２つ同時に記憶されている色に対して前記演算により補間画素の画素情報を生成し、各色に対する補間画素の画素情報を交互に生成することを特徴とする。

請求項５記載の発明は更に、動画撮影時において、所定のフレームレートで逐次撮像される各動画フレームの画像データに対して、前記位置生成手段、前記第１画素情報記憶手段、前記第１係数生成手段、前記第２画素情報記憶手段、前記第２係数生成手段、前記演算手段、の処理を繰り返しリアルタイムに実行することを特徴とする。

本発明によれば、補間画素の位置情報に応じて、当該位置の直前と直後にある実位置に対する補間係数を生成して、それぞれの実画素に対する補間係数との乗算結果を加算する演算により補間画素の画素情報を生成するので、例えば間引き処理と平均処理とを合わせた縮小処理が実行でき、単純な平均処理により補間する場合と比較して高画質な縮小画像を得ることができ、更に、補間処理を開始する位置を任意に変化させるためのオフセットを指定できるようにしたので、モアレが発生するような場合でも、モアレの発生が無くなるようにオフセット量を調整することができる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本実施形態におけるカメラ装置（デジタルビデオカメラ、デジタルスチルカメラ等）に設けられる画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置は、カメラ装置の動画撮影モードの動作時において、撮像素子として実装されたＣＣＤ（Charge Coupled Device）から出力されるＣＣＤデータ（ＲＧＢ画像データ）に対して縮小処理を実行して画像を縮小化するものである。

本実施形態における画像処理装置は、カメラ装置全体の制御を司る制御部（ＣＰＵ）のもとで動作する。カメラ装置は、通常の静止画像を撮影する静止画撮影モードの他に動画を撮影する動画撮影モードにより動作可能となっている。動画撮影モードにおいて動作する場合、ＣＣＤセンサから出力されるＣＣＤデータに対して縮小演算を実行し画像を縮小化することで、処理速度の向上を図りリアルタイム処理を可能にする。

なお、動画撮影モード時には、動画を構成する各フレームの画像データが、動画のフレームレートに対応する速度で逐次ＣＣＤセンサにより撮像される。そして、各フレームに含まれる複数の画素データが所定の順番で読み出される。従って、縮小処理は、各フレーム毎に繰り返しリアルタイムに実行する。ただし、理解を容易にするために、以下では１フレーム分の処理について説明する。

本実施形態における画像処理装置には、図１に示すように、画素位置検出／係数選択部１０，１２、及び縮小演算部１４が設けられている。

本実施形態では、ＣＣＤセンサからは、１つのラインにおいて２つの異なる色の画素データが交互に出力される。例えば、画素の配列（例えばベイヤ配列）に従い、１ライン目のＣＣＤデータとしてＲとＧのデータが交互に出力され、２ライン目のＣＣＤデータとしてＧとＢのデータが交互に出力される。

画素位置検出／係数選択部１０は、ＣＣＤセンサから出力される最初の画素色（例えばＲ）の画素に対する補間画素位置の検出と、この検出した補間画素位置の前後に位置する実画素に対する補間画素値を算出するための係数データを出力する。画素位置検出／係数選択部１２は、ＣＣＤセンサから出力される２番目の画素色（例えばＧ）の画素に対する補間画素位置の検出と、この検出した補間画素位置の前後に位置する実画素に対する補間画素値を算出するための係数データを出力する。縮小演算部１４は、画素位置検出／係数選択部１０，１２から出力される係数データをもとに、最初の画素色の画素と２番目の画素色の画素のそれぞれに対して演算を実行して縮小データを出力する。

動画撮影モードの実行時にＣＰＵより、画素位置検出／係数選択部１０には最初の画素色の画素に対する縮小開始位置を示す１st画素用オフセットが入力され、画素位置検出／係数選択部１２には２番目の画素色の画素に対する縮小開始位置を示す２nd画素用オフセットが入力される。また、画素位置検出／係数選択部１０，１２と共通して画像の縮小率を示す移動量データが入力される。１st画素用オフセットと２nd画素用オフセットは、例えば実画素位置と補間画素位置とが一致することで、縮小画像中に線などが現れて画質を劣化させることがないように指定することができる。

画素位置検出／係数選択部１０のセレクタ２０は、同色画素の最初のＣＣＤデータ（画素データ）が入力されるのに伴い、この色画素に対する初期オフセットとして供給される１st画素用オフセットを入力して、画素位置検出レジスタとして機能するフリップフロップ回路２１にロードする。

フリップフロップ回路２１により保持されたオフセットの値が、同色画素の分割数（ここでは８）を越えている場合には、減算器２２により−８されてセレクタ２４に出力される。

セレクタ２４は、減算器２２から出力される値が８以下となるまで、減算器２２の出力を選択する。セレクタ２０がセレクタ２４からの出力を選択することで、フリップフロップ回路２１、減算器２２、セレクタ２４を通じて、１st画素用オフセットが８以下となるまで読み飛ばされる。

セレクタ２４は、減算器２２からの出力が８以下となった場合、減算器２６からの出力を選択する。すなわち、フリップフロップ回路２１に保持された値が、加算器２５により移動量データ（縮小開始位置）に加算された後、減算器２６により−８されてセレクタ２４に出力される。

フリップフロップ回路２１に保持された値が８以下となった場合に、係数選択部２３は、フリップフロップ回路２１に保持された値に応じて２つの係数（係数ａ，係数ｂ）、すなわち補間画素位置の前後の画素に対する補間係数データを縮小演算部１４に出力する。

図２には、画素位置検出／係数選択部１０の係数選択部２３に設けられる係数テーブルの一例を示す図である。係数テーブルには、補間画素の前後に位置する実画素に対する係数データ（係数ａ、係数ｂ）が、補間画素位置のそれぞれに応じて記憶されている。図２では、フリップフロップ回路２１に保持される補間画素位置を示すデータの下位３ビットの値と対応づけて係数データ（係数ａ、係数ｂ）が記憶されている。

係数ａは、補間画素位置の直前の実画素に対する係数データであり、縮小演算部１４のセレクタ４０に出力され、係数ｂは、補間画素位置の直後の実画素に対する係数データであり、縮小演算部１４のセレクタ４１に出力される。

なお、画素位置検出／係数選択部１２は、画素位置検出／係数選択部１０と同様の動作を実行するものとして説明を省略する。画素位置検出／係数選択部１２は、画素位置検出／係数選択部１０において対象とする画素色とは異なる２番目の画素色の画素を対象として動作し、補間画素位置に応じて係数選択部３３において選択された係数データを縮小演算部１４に出力する。

縮小演算部１４は、画素位置検出／係数選択部１０，１２から出力される係数データ（係数ａ）をセレクタ４０に入力して、係数データ（係数ｂ）をセレクタ４１に入力する。セレクタ４０，４１は、ＣＣＤデータ（画素データ）の入力に合わせて何れかを選択して出力する。

フリップフロップ回路４２，４３，４４は、逐次入力されるＣＣＤデータを順次保持する。すなわち、入力された画素データは、まずフリップフロップ回路４２に保持し、次に画素データが入力される際には、フリップフロップ回路４２に保持されていた画素データがフリップフロップ回路４３に記憶され、新たに入力された画素データがフリップフロップ回路４２に記憶される。同様にして、次に画素データが入力されることで、フリップフロップ回路４３に記憶された画素データがフリップフロップ回路４４に記憶される。

ＣＣＤデータでは２つの異なる画素色が交互に現れることから、３つのフリップフロップ回路４２，４３，４４により順次記憶することで、フリップフロップ回路４２，４４には同色の画素データが記憶されることになる。また、フリップフロップ回路４４には、補間画素位置の直前の画素データが保持され、フリップフロップ回路４２には、補間画素位置の直後の画素データが保持されることになる。

乗算器４５は、フリップフロップ回路４４に保持されたデータに対して、セレクタ４０により選択された補間画素位置の直前の実画素に対する係数データ（係数ａ）を乗算して出力する。また、乗算器４６は、フリップフロップ回路４２に保持されたデータに対して、セレクタ４１により選択された補間画素位置の直後の実画素に対する係数データ（係数ｂ）を乗算して出力する。

乗算器４５，４６による演算結果は、加算器４７により加算され、除算器４８により除算（ここでは１／８）されてフリップフロップ回路４９に保持される。フリップフロップ回路４９に保持されたデータは、縮小処理された縮小データとして出力される。

次に、本実施形態における画像処理装置による縮小データ（補間画素データ）を生成する縮小処理の動作について説明する。

なお、動画撮影モードでは、所定のフレームレートで逐次撮影される各フレームのＣＣＤデータに対して、図１に示す各構成により各フレームについて繰り返しリアルタイムで実行される。以下では１フレーム分の処理について説明する。

本実施形態では、ＣＣＤセンサ（撮像素子）から出力されるＣＣＤデータの同色画素間を８分割し、この８分割された何れかの位置に画素を補間することで画像を縮小するものとする。なお、同色画素間の分割数を大きくすることによって、縮小率のレンジを細かくすることができる。

図３（ａ）（ｂ）には、ＣＣＤセンサから出力される同色の画素データの配列を示す図である。ＣＣＤデータとしては、１ラインについては２つの異なる色の画素データが交互に出力される。例えば図３（ａ）に示すＲの画素データと、図３（ｂ）に示すＧの画素データである。

ここで、簡単な具体例として、初期オフセット（１st画素用オフセット、２nd画素用オフセット）が０、移動量データ（縮小率）が１２である場合を例にして説明する。また、図３（ａ）に示す１つの画素色の画素データに対する画素位置検出／係数選択部１０における処理について説明する。

同色画素の最初の画素データが入力されてくると、初期オフセットの値をセレクタ２０を介してフリップフロップ回路２１（画素位置検出レジスタ）にロードする。ここでは、フリップフロップ回路２１に保持される値が８以下であるため、係数選択部２３は、フリップフロップ回路２１が保持する値の下位３ビットに応じて、係数テーブルから係数データ（係数ａ，係数ｂ）を選択して出力する。また、画素位置検出レジスタの値に加算器２５により移動量データ１２を加算し、減算器２６により−８減算した値をセレクタ２４、セレクタ２０を介してフリップフロップ回路２１にロードする。

ここでは、フリップフロップ回路２１に保持される値が０であり、８以下であるので、図２に示すように係数ａとして８、係数ｂとして０の係数データが縮小演算部１４にそれぞれ出力される。

この場合、乗算器４５によるセレクタ４０により選択された係数ａの係数データ８とフリップフロップ回路４４に保持された画素データとの乗算結果と、乗算器４６によるセレクタ４１により選択された係数ｂの係数データ０とフリップフロップ回路４２に保持された画素データとの乗算結果との和を、除算器４８により１／８した値、すなわちフリップフロップ回路４４に保持された画素データそのままが縮小データとして出力される。

図４には、同色の実画素に対する補間画素（縮小データ）を示している。図４に示すように、初期オフセットが０の場合には、最初の画素データがそのまま縮小データとして出力される。

次の同色画素が入力されると、フリップフロップ回路２１には、加算器２５、減算器２６、セレクタ２４，２０を介して、移動量データから−８した値、すなわち４がロードされている。ここで、フリップフロップ回路２１に保持された値が８以下となることで、係数選択部２３は、フリップフロップ回路２１が保持する値４の下位３ビット１００に応じて、係数ａとして４、係数ｂとして４の係数データがそれぞれ縮小演算部１４に出力される。また、フリップフロップ回路２１に保持された値４に移動量を加算して−８した値、すなわち８をフリップフロップ回路２１にロードする。

この場合、縮小演算部１４では、フリップフロップ回路４２，４４に保持された補間画素位置の前後の実画素に対して、乗算器４５，４６によりそれぞれ係数データ４により乗算され、これを加算器４７により加算し、除算器４８により１／８にした値が縮小データとして出力される。

すなわち、図４に示すように、移動量１２の位置にある補間画素については、前後の実画素に対してそれぞれ４／８倍して加算した値が補間画素の画素データとなる。

次の同色画素データが入力されると、フリップフロップ回路２１に保持された値が８なので８以下とならないために、フリップフロップ回路２１に保持された値に減算器２２により−８した値（すなわち０）を、セレクタ２４，２０を介してフリップフロップ回路２１にロードする。この場合、図４に示すように、３番目の実画素の入力に対して縮小データが出力されない。

次の同色画素データが入力されると、フリップフロップ回路２１に保持された値が０なので、フリップフロップ回路２１に４をロードし、縮小データとして入力された画素データがそのまま出力される（図４に示す４番目の画素データ）。

以下、同様にして、順次入力されるＣＣＤデータ（画素データ）に対して補間画素位置を検出しながら係数データを縮小演算部１４に出力し、縮小演算部１４において係数データを用いた演算を実行することで縮小データを出力する。

なお、前述した説明では、画素位置検出／係数選択部１０における処理について説明しているが、画素位置検出／係数選択部１２においても、画素位置検出／係数選択部１０において処理される画素色とは異なる画素について同様の処理が実行される。

縮小演算部１４は、入力されるＣＣＤデータ（画素データ）を、フリップフロップ回路４２，４３，４４により逐次記憶していくので、画素位置検出／係数選択部１０により対象としている画素とは異なる色の画像が、フリップフロップ回路４２，４４に保持されるタイミングで、画素位置検出／係数選択部１２の係数選択部３３から出力される係数データ（係数ａ、係数ｂ）をセレクタ４０，４１においてそれぞれ選択し、前述と同様の演算処理を実行する。

また、前記オフセット量をユーザーが所望のタイミングで任意に設定するための操作キーを設け、動画撮影における表示画面をユーザーが確認しながら、モアレ等が発生する場合には、モアレが無くなるようにオフセット量を変更するようにしてもよい。

また、前述した説明では、縮小処理において有効な例を説明したが、同様な処理を拡大処理に適用してもよく、拡大処理の場合にも上記モアレを除去する効果を得ることができる。

このようにして、画素位置検出／係数選択部１０，１２、及び縮小演算部１４における処理により、画素の配列に従い異なる２つの色の画素データが出力されるＣＣＤセンサからの画素データに対する縮小処理を、間引き処理と２点間の補間処理により実現することができ、縮小率に合わせた全ての画素の平均値により補間する場合と比較して高画質の縮小画像を生成することができる。

また、前述した実施形態では、デジタルスチルカメラやデジタルビデオカメラなどのカメラ装置を対象としているが、カメラ機能付きの携帯電話機や携帯型の情報処理装置（ＰＤＡ（personal digital assistant）やＰＣ（Personal Computer）など）に適用することもできる。

さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の実施形態におけるカメラ装置に設けられる画像処理装置の構成を示すブロック図。本実施形態における画素位置検出／係数選択部１０の係数選択部２３に設けられる係数テーブルの一例を示す図。ＣＣＤセンサから出力される同色の画素データの配列を示す図。本実施形態における同色の実画素に対する補間画素（縮小データ）を示す図。

符号の説明

１０，１２…画素位置検出／係数選択部、１４…縮小演算部、２０，２４，３０，３４，４０，４１…セレクタ、２３，３３…係数選択部、２１，３１，４２，４３，４４…フリップフロップ回路、２２，２６，３２，３６…減算器、２５，３５，４７…加算器、４５，４６…乗算器、４８…除算器。

Claims

複数の異なる色の受光センサが所定間隔で交互に配列され、各色の受光センサからの画素情報を配列の順番で交互に出力する撮像素子と、
前記撮像素子により出力された各画素の画素情報に対する倍率を設定する倍率設定手段と、
補間処理を開始する位置を任意に変化させるためのオフセットを、前記複数の色の各々に対して異なるオフセットとなるように指定するオフセット指定手段と、
前記オフセット指定手段により指定された各色のオフセットに、前記倍率設定手段によって設定された倍率に対応して決められる値を順次加算していくことで、前記複数の色の各々に対して、異なるオフセットが加えられた異なる補間画素の位置情報を順番に生成して逐次出力する位置生成手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第１画素情報記憶手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直前にある実画素に対する補間係数を逐次生成して出力する第１係数生成手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素情報を前記撮像素子から逐次入力すると共に、逐次更新しながら記憶する第２画素情報記憶手段と、
前記位置生成手段によって逐次出力される補間画素の位置情報に応じて、当該位置の直後にある実画素に対する補間係数を逐次生成して出力する第２係数生成手段と、
前記第１画素情報記憶手段に記憶されている画素情報に前記第１係数生成手段が出力する係数を乗算した値と、前記第２画素情報記憶手段に記憶されている画素情報に前記第２係数生成手段が出力する係数を乗算した値とを加算する演算により前記補間画素の画素情報を逐次生成する演算手段と、
前記撮像素子から順番に出力される画素情報を複数同時に記憶するとともに、前記撮像素子から新たな画素情報が出力される毎に各画素情報の記憶位置をずらしながら更新していき、少なくとも同色の画素情報を複数同時に記憶する共通画素情報記憶手段とを備え、
前記第１及び第２画素情報記憶手段は、前記共通画素情報記憶手段を用いて補間画素の位置の直前にある実画素情報と補間画素の位置の直後にある実画素情報を記憶することを特徴とするカメラ装置。
前記第１及び第２係数生成手段は、前記撮像素子から出力される異なる色の各々に対応して複数設けられることを特徴とする請求項１記載のカメラ装置。
前記第１及び第２画素記憶手段は、前記撮像素子から出力される異なる色の各々に対応して複数設けられることを特徴とする請求項１または２記載のカメラ装置。
前記共通画素情報記憶手段は、１つの色の画素情報を２つ同時に記憶し、その他の色の画素情報を１つ記憶し、前記撮像素子から新たな色の画素情報が出力される毎に、２つ同時に記憶される色が交互に切り換わるように構成され、
前記演算手段は、前記共通画素情報記憶手段に２つ同時に記憶されている色に対して前記演算により補間画素の画素情報を生成し、各色に対する補間画素の画素情報を交互に生成することを特徴とする請求項１記載のカメラ装置。
動画撮影時において、所定のフレームレートで逐次撮像される各動画フレームの画像データに対して、前記位置生成手段、前記第１画素情報記憶手段、前記第１係数生成手段、前記第２画素情報記憶手段、前記第２係数生成手段、前記演算手段、の処理を繰り返しリアルタイムに実行することを特徴とする請求項１記載のカメラ装置。