JP5633518B2 - データ処理装置 - Google Patents

Description

本発明は、ベイヤー（Bayer）配列に基づく形式の画像データのデータサイズを縮小させるデータ処理装置に関する。

最近では、ビデオカメラに限らず、デジタルスチルカメラや携帯電話機などでも動画の撮影が可能なものが一般化している。また、それらの機器では、近年、撮像素子の高画素化が進展しており、１０００万画素を超える撮像素子を搭載したものも当たり前のように登場している。

そのような高画素の機器では、そのまま撮影を行うと、非常に大きなデータ量（データサイズ）の画像データが撮像素子から出力されてしまう。そのため、それらの機器で動画を撮影可能とするには、性能面や価格面などからの制約により、撮像素子から出力される画像データのデータサイズを縮小させることが要求される。

そこで、例えば、特許文献１には、ベイヤー（Bayer）配列に基づく形式の画像データに対して、補間前のベイヤーデータの段階でリサイズ処理を行うことで、データサイズを縮小するという手法が開示されている。また、特許文献２には、撮像素子を画素加算モードで駆動することで、出力される画像データ（ベイヤーデータ）のデータサイズを縮小するという手法が開示されている。

特開２００２−８４５７号公報 特開２００９−１４７４８９号公報

ところで、画質の観点からすると、従来手法とは異なり、撮像素子から出力された画像データ（ベイヤーデータ）に対して補間を行い各画素にＲ、Ｇ、Ｂの各色が揃った後の段階でデータサイズを縮小するのが望ましい方法である。そうすれば、従来手法で問題となる画質の劣化を最小限に留めることができるようになる。

しかし、そうすると、元のベイヤーデータに比してデータサイズが３倍の画像データを扱うことになるので、やはり性能やコストなどの点から問題が生じることとなる。

本発明の目的は、画質の劣化を抑制しつつ、ベイヤーデータのデータサイズを縮小させることの可能なデータ処理装置を提供することである。

本発明のデータ処理装置は、撮像部から出力されるベイヤーデータの水平ライン毎に、水平ラインを構成する各画素に対して補間データを生成し、各画素が、補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、各画素が有する２つのカラーデータを用いて、水平ライン毎にデータ量（データサイズ）を縮小させたデータを生成し、その生成したデータで構成されるベイヤーデータを出力するデータサイズ縮小手段とを備える。

また、水平補間手段は、補間を、下記の式（１）〜（５）によって行ってもよい。

また、本発明のデータ処理装置は、撮像部から出力されるベイヤーデータの水平ライン毎に、水平ラインを構成する各画素に対して補間データを生成し、各画素が、補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、各画素が有する２つのカラーデータを用いて、水平ライン毎に、データ量（データサイズ）を縮小させた間引きデータを生成し、その間引きデータから、少なくともＲプレーンデータ及びＢプレーンデータのデータ量（データサイズ）を縮小させた合成データを合成して出力するデータサイズ縮小手段とを備える。

また、データサイズ縮小手段は、合成データの生成を、下記の式（１０）〜（１１）によって行ってもよい。

実施形態のデジタルカメラの構成を示すブロック図。 撮像素子１０４の原色フィルタの配列方法（Bayer配列）を説明する図。 垂直サイズ縮小処理で対象画素が読み出されるイメージを示す図。 水平サイズ縮小処理のブロックダイアグラム。 水平補間処理で注目画素に対して補間データを生成するイメージを示す図。 水平補間処理から出力されるデータのイメージを示す図。 合成処理を説明する図。 補間処理のブロックダイアグラム。

（一の実施形態）
以下、本発明の一の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。

図１は、本実施形態のデジタルカメラの構成を示すブロック図である。

デジタルカメラは、撮像レンズ１０１と、レンズ駆動部１０２と、撮像部１０３と、データ処理部１１０と、表示部１１１と、記録媒体１１２と、デジタルカメラを統括制御するＣＰＵ１１３とから構成される。ここで、レンズ駆動部１０２と撮像部１０３は、ＣＰＵ１１３にそれぞれ接続されている。また、ＣＰＵ１１３と、データ処理部１１０、表示部１１１、記録媒体１１２は、バス１１４を介して接続されている。

撮像部１０３は、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）回路１０５と、タイミング発生回路１０９とを有している。また、ＡＦＥ回路１０５は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路１０６と、ゲイン調整回路１０７と、Ａ／Ｄ変換回路１０８とを有している。

撮像レンズ１０１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮像レンズ１０１を１枚のレンズとして図示している。

レンズ駆動部１０２は、ＣＰＵ１１３の指示に応じてレンズ駆動信号を発生し、撮像レンズ１０１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮像レンズ１０１を通過した光束による被写体像を撮像素子１０４の受光面に形成する。

撮像素子１０４は、動画の撮影が可能な撮像素子であり、例えば、ＣＣＤ型撮像素子、あるいはＣＭＯＳ型撮像素子などによって構成される。なお、撮像素子１０４は、勿論、１フレーム毎の静止画の撮影も可能である。また、撮像素子１０４は、間引き読み出し、画素加算（混合）読み出し、全画素読み出し、窓読み出し（クロップ）が可能な撮像素子である。

撮像素子１０４は、撮像レンズ１０１の像空間側に配置され、その受光面に形成された被写体像を光電変換してアナログ画像信号を出力する。

撮像素子１０４の受光面には、複数のフォトダイオードが二次元状に配列されている。また、同受光面には、被写体像をカラー撮影するために、各フォトダイオードに対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色フィルタがベイヤー（Bayer）配列で配置されている。これにより、撮像素子１０４が出力するアナログ画像信号には、Ｒ、Ｇ、Ｂのカラー信号成分が含まれることになる。

ここで、原色フィルタの配置方法を簡単に説明する。

撮像素子１０４の受光面には、各フォトダイオード（Photo Diode：ＰＤ）に対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色フィルタがベイヤー（Bayer）配列で配置される。具体的には、図２に示すように、ＰＤ００に対しては赤（Ｒ）、ＰＤ０１に対しては緑（Ｇr）、ＰＤ１０に対しては緑（Ｇb）、そしてＰＤ１１に対しては青（Ｂ）というように、「Ｒ、Ｇr、Ｇb、Ｂ」の配列パターン（ベイヤーパターン）を繰り返す並びで原色フィルタが配置される。なお、ＰＤ０１とＰＤ１０には、どちらにも緑（Ｇ）のフィルタが配置されるが、フィルタがどちらに配置されたものであるかを区別するため、前記のように、ＰＤ０１の方を「Ｇr」、ＰＤ１０の方を「Ｇb」と表記している。

このように原色フィルタが配置されることにより、受光面の各画素（フォトダイオード）の種類が定められることとなる。即ち、上記ベイヤー配列の場合には、Ｒ（赤色）、Ｇr（第１の緑色）、Ｇb（第２の緑色）、Ｂ（青色）という４つの種類が定められる。

ＣＤＳ回路１０６は、撮像素子１０４が出力するアナログ画像信号のリセット時（露光前）の信号と、データ転送時（露光後）の信号との両方をサンプリングし、データ転送時の信号値からリセット時の信号値を減算することによって、アナログ画像信号から暗電流によるノイズを除去する。

ゲイン調整回路１０７は、ＣＰＵ１１３の指示に基づき、アナログ画像信号のゲイン調整量を設定する。これにより、ＣＤＳ回路１０６が出力するノイズ除去後のアナログ画像信号に対してＩＳＯ感度に相当する撮影感度の調整を行う。

Ａ／Ｄ変換回路１０８は、ゲイン調整回路１０７が出力するアナログ画像信号をデジタルデータに変換する。そして、そのデジタルデータ（画像データ）を撮像部１０３の出力としてデータ処理部１１０へ出力する。

タイミング発生回路１０９は、ＣＰＵ１１３の指示に基づき、撮像素子１０４とＡＦＥ回路１０５とにタイミングパルスを供給する。このタイミングパルスの供給により、撮像素子１０４、また、ＡＦＥ回路１０５内各回路の駆動タイミングが制御される。例えば、撮像素子１０４では、受光面のフォトダイオードから電荷を読み出すタイミングなどが制御され、また、ＡＦＥ回路１０５内の、例えばＣＤＳ回路１０６では、撮像素子１０４が出力するアナログ画像信号をサンプリングするタイミングなどが制御される。

データ処理部１１０は、ＣＰＵ１１３の指示に応じて、撮像部１０３が出力する画像データ（ベイヤーデータ）に対し、水平サイズ縮小処理、補間、ホワイトバランス調整、輪郭強調、ガンマ補正などの各種の画像処理を施す。このデータ処理部１１０は、ＡＳＩＣなどとして構成される。なお、水平サイズ縮小処理については後で説明する。

表示部１１１は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、ＣＰＵ１１３の指示に応じて、動画や静止画を含む各種の画像を表示する。

記録媒体１１２は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体１１２は、デジタルカメラに内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１１２とデジタルカメラとは、有線または無線で電気的に接続される。

記録媒体１１２には、ＣＰＵ１１３によって圧縮処理された画像データなどが記録される。なお、圧縮は、動画の場合にはＭＰＥＧ（Moving Picture Experts Group）形式などによって、また静止画の場合にはＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。

ＣＰＵ１１３は、ユーザーによる操作部材の操作内容に応じて、デジタルカメラの各部を統括制御する。

例えば、デジタルカメラが撮影モードで動作中に動画撮影ボタンが押下されると、ＣＰＵ１１３は、レンズ駆動部１０２および撮像部１０３を駆動して動画の撮影を開始する。このとき、撮像部１０３の撮像素子１０４は、所定の解像度の画像が所定のフレームレートで取得されるように駆動され、動画の各フレームに対応する画像データ（動画像データ）が撮像部１０３のＡＦＥ回路１０５を介してデータ処理部１１０へ順次出力される。

その後、ＣＰＵ１１３は、このように撮像部１０３から出力される画像データ（動画像データ）に対し、データ処理部１１０を駆動して必要な画像処理を施す。また、ＣＰＵ１１３は、その画像処理後の動画像データを表示部１１１に表示させる。そして、ＣＰＵ１１３は、画像処理後の動画像データに対しＭＰＥＧ形式などによる圧縮処理を施すと共に、その圧縮後の動画像データを記録媒体１１２へ記録する。

なお、動画撮影中には、ＣＰＵ１１３は、自動焦点調節（ＡＦ）および自動露出（ＡＥ）の制御動作を続けて行う。

また、動画撮影中に、もう一度動画撮影ボタンが押下されると、ＣＰＵ１１３は、上記の動作を停止して動画の撮影を終了する。

ところで、動画の撮影においては、既述のとおり、動画像データのデータ量（データサイズ）を縮小する必要があるが、その縮小により動画像データの画質が劣化してしまうという問題がある。

そこで、本実施形態のデジタルカメラは、動画撮影時に以下の動作を実施することで、画質の劣化を抑制しつつ、動画像データのデータサイズ（以下、単に、サイズとする。）を縮小する。

なお、以下では、一例として、有効画素が６０００×４０００画素である撮像素子（本実施形態では撮像部１０３の撮像素子１０４）の出力を、フルＨＤ動画を得るため、２０００×１１２６画素（１／３）のサイズに縮小する動作について説明する。

（垂直サイズ縮小処理）
先ず、ＣＰＵ１１３は、撮像素子１０４の垂直（縦）方向の有効画素である４０００画素を１１２６画素に縮小するために、垂直サイズ縮小処理を行う。

具体的には、画角を１６：９に合わせるため、撮像素子１０４の受光面における垂直（縦）方向に配列された４０００画素のうち、中央寄りの３３７８画素を窓読出しの対象とする。例えば、上下各３１１画素を除いた残りの３３７８画素を窓読出しの対象とする。

また、それら３３７８画素を、垂直（縦）方向において、３画素毎に、その中央の１画素を除いた残りの同色２画素を間引き読み出しの読み出し対象とし、かつ、当該同色２画素を加算（合成）読み出しの対象とする。

そして、ＣＰＵ１１３は、窓読み出し、間引き読み出し、画素加算（合成）読み出しを組み合わせたモードでそれらの対象画素を読み出すように撮像素子１０４を駆動する。

ここで、対象画素が読み出されるイメージを図３に示す。例えば、対象画素である図３左上の垂直（縦）方向に配列された「Ｒ」、「Ｇｂ」、「Ｒ」の３画素は、その中央の「Ｇｂ」１画素が間引かれ、そして、残る同色の「Ｒ」２画素が加算（合成）されて、結果、図３右上の「Ｒ」１画素として読み出される。

このようにして、ＣＰＵ１１３は、垂直（縦）方向の３３７８画素を１／３（１１２６画素）に縮小した６０００×１１２６画素の画像データ（ベイヤーデータ）を撮像部１０３から出力させる。

（水平サイズ縮小処理）
次に、ＣＰＵ１１３は、撮像部１０３から出力される画像データ（ベイヤーデータ）について、その水平（横）方向の有効画素である６０００画素を２０００画素に縮小するために、水平サイズ縮小処理を行う。

なお、水平サイズ縮小処理は、データ処理部１１０での画像処理の１つとして、補間を行う前に実施される。即ち、ＣＰＵ１１３は、撮像部１０３から出力される画像データ（ベイヤーデータ）に対し、データ処理部１１０を駆動して水平サイズ縮小処理を施す。

図４は、水平サイズ縮小処理のブロックダイアグラムである。

以下、このブロックダイアグラムに沿って水平サイズ縮小処理の詳細を説明する。

（１）水平補間処理
ＣＰＵ１１３によって駆動されたデータ処理部１１０は、撮像部１０３からの画像データ（ベイヤーデータ）を入力として、その水平（横）方向の各画素行（水平ライン）毎に「水平補間処理」を行う。

なお、「水平補間処理」では、図４に示すように、入力される水平ラインの各画素のデータは「１２ｂｉｔ」のビット幅を持つものとしている。

データ処理部１１０は、先ず、下記の式（１）により、水平ラインの画素のうち、注目画素近傍の同色４画素のデータ（画素値）から注目画素に対する補間データを生成する。

例えば、図５に示すように、Ｒ（赤色）画素のＲ０４が注目画素である場合には、その近傍の同色４画素、つまり、Ｇｒ（第１の緑色）画素のＧｒ０１、Ｇｒ０３、Ｇｒ０５、Ｇｒ０７のデータに基づいて、注目画素に対するＧｒ成分の補間データ「Ｇｒ*」を生成する。

このように、式（１）では、Ｒ（赤色）画素が注目画素である場合には、その近傍の４つのＧｒ（第１の緑色）画素のデータに基づいて、注目画素に対するＧｒ成分の補間データ「Ｇｒ*」が生成される。反対に、Ｇｒ（第１の緑色）画素が注目画素である場合には、その近傍の４つのＲ（赤色）画素のデータに基づいて、注目画素に対するＲ成分の補間データ「Ｒ*」が生成される。

これにより、注目画素は、入力の元データ（例えば「Ｒ」）と補間データ（例えば元データが「Ｒ」であれば「Ｇｒ*」）との２つのカラーのデータを有するようになる。

なお、式（１）の「Ｄｉｎ(ｉ)」は、入力のベイヤーデータにおける各水平ラインの画素のデータを示している。

また、「ｉ」は、各水平ラインでの注目画素（処理対象画素）の位置を示している。なお、この説明においては、「ｉ」は「ｉ＝０〜Ｗｉｄｅ−１」の値であり、Ｗｉｄｅは水平（横）方向の有効画素数の「６０００」である。

また、「ｋ＿ｉｍｐ」は、重み付けのための係数であり、例えば「ｋ＿ｉｍｐ＝［−１，９，９，−１］」とのような値が予め設定されている。

そして、「ＩＭＰ(ｉ)」は、生成された注目画素に対する補間データを示している。

次に、データ処理部１１０は、上記で生成された注目画素に対する補間データを、下記の式（２）〜（４）を用いて補正する。

具体的には、式（２）により、注目画素の元データと補間データ、即ち２つのカラーデータの差分「ＣＤ(ｉ)」を求める。

続いて、求めた差分のデータを基に、式（３）により、注目画素を中央とする隣接５画素、つまり、「ＣＤ(ｉ−２)，ＣＤ(ｉ−１)，ＣＤ(ｉ)，ＣＤ(ｉ＋１)，ＣＤ(ｉ＋２)」の色差平均を算出し、算出した色差平均のデータを注目画素に対する補正データ「ＣＤ＿ａｖｇ(ｉ)」する。

そして、式（４）により、その補正データを、注目画素の元データから減算、または元データと加算することで、注目画素に対する補間データを補正する。

このようにして補正後の補間データ「ＩＭＰ’(ｉ)」を取得する。

なお、式（２）では、注目画素が、Ｒ（赤色）画素、Ｇｒ（第１の緑色）画素の何れである場合にも、Ｒ（赤色）成分からＧｒ（第１の緑色）成分を減算するようにして差分が求められる。

また、式（４）では、Ｒ（赤色）画素が注目画素である場合には、補正後の補間データ「ＩＭＰ’(ｉ)」として、Ｇｒ成分のデータ「Ｇｒ＾」が取得される。反対に、Ｇｒ（第１の緑色）画素が注目画素である場合には、補正後の補間データ「ＩＭＰ’(ｉ)」として、Ｒ成分のデータ「Ｒ＾」が取得される。

なお、式（３）の「ｋ＿ｃｄ」は、上記の色差平均を行う際に用いる重み付けのための係数であり、例えば「ｋ＿ｃｄ＝［１，２，２，２，１］」とのような値が予め設定されている。

上記のように補正後の補間データ「ＩＭＰ’(ｉ)」を取得すると、データ処理部１１０は、式（５）により、「水平補間処理」の出力として、水平ラインの注目画素となる各１画素毎に、その元データ「Ｄｉｎ(ｉ)」と、補正後の補間データ「ＩＭＰ’(ｉ)」との２つのカラーのデータをそれぞれ出力する。

ここで、図６に、入力の水平ラインがＲ／Ｇｒラインである場合の「水平補間処理」から出力されるデータ、即ち「Ｄｅｖｅｎ(ｉ)」及び「Ｄｏｄｄ(ｉ)」のイメージを示す。

図６に示すように、「水平補間処理」では、注目画素「Ｄｉｎ(ｉ)」が水平ライン上の偶数位置に配置されたものである場合、出力の「Ｄｅｖｅｎ(ｉ)」には、入力された元データ「Ｄｉｎ(ｉ)」がそのまま出力され、もう片方の出力の「Ｄｏｄｄ(ｉ)」には、上記で取得した補正後の補間データ「ＩＭＰ’(ｉ)」が出力される。また、注目画素「Ｄｉｎ(ｉ)」が水平ライン上の奇数位置に配置されたものである場合、出力の「Ｄｅｖｅｎ(ｉ)」には、上記で取得した補正後の補間データ「ＩＭＰ’(ｉ)」が出力され、もう片方の出力の「Ｄｏｄｄ(ｉ)」には、入力された元データ「Ｄｉｎ(ｉ)」がそのまま出力される。

このように、入力の水平ラインがＲ（赤色）／Ｇｒ（第１の緑色）ラインであれば、「Ｄｅｖｅｎ(ｉ)」にＲプレーン、「Ｄｏｄｄ(ｉ)」にＧｒプレーンのデータが出力される。また、入力の水平ラインがＧｂ（第２の緑色）／Ｂ（青色）ラインであれば、「Ｄｅｖｅｎ(ｉ)」にＧｂプレーン、「Ｄｏｄｄ(ｉ)」にＢプレーンのデータが出力される。

人の目は水平方向により高い解像度を持つと言われていることから、データ処理部１１０では、上記の「水平補間処理」によって、特に画像データ（ベイヤーデータ）の水平方向の画質劣化を抑制するようにしている。

（２）ＬＰＦ処理
上記の「水平補間処理」を終えると、データ処理部１１０は、その出力の「Ｄｅｖｅｎ(ｉ)」及び「Ｄｏｄｄ(ｉ)」を入力として「ＬＰＦ処理」を行う。

具体的には、データ処理部１１０は、「Ｄｅｖｅｎ(ｉ)」のデータと「Ｄｏｄｄ(ｉ)」のデータのそれぞれについて、下記の式（６）により、３タップ（ｔａｐ）、即ち、水平ライン上の隣接する３画素をサンプル点とし、その３つのサンプル点の画素データ（画素値）を基にＬＰＦ（ローパスフィルタ）処理を行う。

そして、その処理後のデータを、「Ｏｅｖｅｎ(ｉ)」及び「Ｏｏｄｄ(ｉ)」として出力する。

この「ＬＰＦ処理」の実施により、データ処理部１１０では、特に、ナイキスト周波数を超えた周波数成分による折り返しノイズに起因した、モアレやシャギーなどの発生を抑制するようにしている。

なお、式（６）の「Ｋ１，Ｋ２，Ｋ３」は、任意の係数であり、例えば「Ｋ１＝Ｋ２＝Ｋ３＝１」とのような値が予め設定されている。

また、「ＬＰＦ処理」は、式（６）以外にも、バイキュービック法などの従来の手法を用いて行うことができる。

（３）間引き処理
「ＬＰＦ処理」を終えると、データ処理部１１０は、その出力の「Ｏｅｖｅｎ」及び「Ｏｏｄｄ」を入力とし、下記の式（７）、（８）を用いて、「間引き処理」を行う。

具体的には、データ処理部１１０は、「Ｏｅｖｅｎ」及び「Ｏｏｄｄ」として入力されるＲプレーン及びＧｒプレーン（またはＧｂプレーン及びＢプレーン）のデータについて、各プレーン毎に、当該プレーン上の連続する「ａ」画素から所定の１画素を選択する。なお、この説明ではベイヤーデータを１／３に縮小するため「ａ＝３」とする。従って、この場合には、各プレーン上の連続する「３」画素から所定の１画素が選択される。そして、Ｒプレーン（またはＧｂプレーン）について選択した１画素のデータを「Ｏ’ｅｖｅｎ(ｊ)」として、またＧｒプレーン（またはＢプレーン）について選択した１画素のデータを「Ｏ’ｏｄｄ(ｊ)」として出力する。

このようにして、データ処理部１１０では、「Ｏｅｖｅｎ」及び「Ｏｏｄｄ」として入力されるＲプレーン及びＧｒプレーン（またはＧｂプレーン及びＢプレーン）のデータを、それぞれ１／３に縮小させる。

なお、式（８）の「ａ」は、縮小率によって決まる係数であり、上記のとおり、この説明ではベイヤーデータを１／３に縮小するため「ａ＝３」に設定される。

また、「ｂ」は、入力データ中の連続する「ａ」画素のうちのどの画素を「間引き処理」の出力とするかを指定するためのオフセットであり、この説明では「ａ＝３」であるため「０〜２」の何れかの値であるが、ここでは例えば「ｂ＝０」に設定されるものとする。

また、式（８）の「ＲｏｕｎｄＤｏｗｎ」は、端数切り捨てを行う関数である。

（４）合成処理
「間引き処理」を終えると、データ処理部１１０は、その出力の「Ｏ’ｅｖｅｎ(ｊ)」及び「Ｏ’ｏｄｄ(ｊ)」を入力とし、下記の式（９）を用いて、「合成処理」を行う。

具体的には、データ処理部１１０は、入力データが水平ライン上の偶数位置に配置されたものである場合には、入力の「Ｏ’ｅｖｅｎ(ｊ)」の方のデータを「Ｄｏｕｔ(ｊ)」として出力する。一方、入力データが水平ライン上の奇数位置に配置されたものである場合には、入力の「Ｏ’ｏｄｄ(ｊ)」の方のデータを「Ｄｏｕｔ(ｊ)」として出力する。

これにより、入力データは、ベイヤー（Bayer）配列に基づいた形式に揃えられて、「Ｄｏｕｔ(ｊ)」として出力される。

このような動作によって、データ処理部１１０では、画質の劣化を抑制しつつ、ベイヤーデータのサイズを縮小させるようにしている。

その後、上記の処理によって２０００×１１２６画素のサイズに縮小された画像データ（動画像データ）が「Ｄｏｕｔ(ｊ)」を介して取得されると、ＣＰＵ１１３は、その動画像データに対し、補間及びその他の必要な画像処理を施すようにして、既述の動画撮影時の動作を行う。
（他の実施形態）
次に、本発明の他の実施形態を説明する。本実施形態は、デジタルカメラの実施形態であり、図１に示す一の実施形態のデジタルカメラと同一である。したがって、本実施形態のデジタルカメラの各構成要素についての詳細な説明は省略する。

また、本実施形態のデジタルカメラによる動作は、図４に示す「間引き処理」まで一の実施形態と同一であり詳細な説明は省略する。本実施形態と一の実施形態との相違点は、図４に示す「合成処理」を下記の式（１０）〜（１１）を用いて行うとともに、その「合成処理」によって出力された合成データに対する「補間処理」を施す点にある。そこで、下記では、本実施形態における「合成処理」および「補間処理」の動作について説明する。

（４）合成処理
図４に示す「間引き処理」を終えると、データ処理部１１０は、その出力の「Ｏ’ｅｖｅｎ(ｊ)」及び「Ｏ’ｏｄｄ(ｊ)」を入力とし、上記の式（９）の代わりに、下記の式（１０）、（１１）を用いて、「合成処理」を行う。

具体的には、データ処理部１１０は、入力データの「Ｏ’ｅｖｅｎ(ｊ)」及び「Ｏ’ｏｄｄ(ｊ)」を２組、つまり、入力における偶数番目の「Ｏ’ｅｖｅｎ(ｊ＝偶数)」及び「Ｏ’ｏｄｄ(ｊ＝偶数)」と、奇数番目の「Ｏ’ｅｖｅｎ(ｊ＝奇数)」及び「Ｏ’ｏｄｄ(ｊ＝奇数)」とを一組のデータとして使用し、以下のように「合成処理」を行う。この「合成処理」のイメージを図７に示す。なお、図７中の「ｊＥ」は、データが、入出力において、偶数番目のものであることを示し、また「ｊＯ」は、データが、奇数番目のものであることを示している。

データ処理部１１０は、入力データがＲプレーン及びＧｒプレーンのデータ、即ち、水平ラインのＲ（赤色）／Ｇｒ（第１の緑色）ライン時のデータであれば、式（１０）を用いて、「１２ｂｉｔ」のビット幅を持つ入力の偶数番目の「Ｏ’ｅｖｅｎ(ｊ＝偶数)」及び「Ｏ’ｏｄｄ(ｊ＝偶数)」、また奇数番目の「Ｏ’ｅｖｅｎ(ｊ＝奇数)」及び「Ｏ’ｏｄｄ(ｊ＝奇数)」のデータを合成して、その合成結果を「１６ｂｉｔ」のビット幅を持つ出力における偶数番目の「Ｄ(ｊ＝偶数)」と奇数番目の「Ｄ(ｊ＝奇数)」との一組のデータとして出力する。

ここで、図７を用いて詳しく説明すると、先ず、偶数番目のＲプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＥ」)」の（ゼロ「０」勘定で）２〜１１ビット目のデータ（１０ビット長）を、出力において偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の０〜９ビット目に挿入する。

次に、偶数番目のＧｒプレーンデータ「Ｏ’ｏｄｄ(「ｊＥ」)」の６〜１１ビット目のデータ（６ビット長）を、同じく偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の１０〜１５ビット目に挿入する。

また、奇数番目のＧｒプレーンデータ「Ｏ’ｏｄｄ(「ｊＯ」)」の０〜１１ビット目のデータ（１２ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の０〜１１ビット目に挿入する。

次に、再び偶数番目のＧｒプレーンデータ「Ｏ’ｏｄｄ(「ｊＥ」)」を使用し、今度は、その２〜５ビット目のデータ（４ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の１２〜１５ビット目に挿入する。

そして、上記のように合成した１６ｂｉｔ長のデータ「Ｄ(「ｊＥ」)」と「Ｄ(「ｊＯ」)」とを一組にして、これを「合成処理」の結果として出力する。

このように、入力における偶数番目の「Ｏ’ｅｖｅｎ(ｊＥ)」及び「Ｏ’ｏｄｄ(ｊＥ)」と、奇数番目の「Ｏ’ｅｖｅｎ(ｊＯ)」及び「Ｏ’ｏｄｄ(ｊＯ)」との合計「４８ｂｉｔ（「１２ｂｉｔ」×４）」のデータを合成して、出力における偶数番目のデータ「Ｄ(「ｊＥ」)」と奇数番目のデータ「Ｄ(「ｊＯ」)」との合計「３２ｂｉｔ（「１６ｂｉｔ」×２）」のデータを出力する。

また、データ処理部１１０は、入力データがＧｂプレーン及びＢプレーンのデータ、即ち、水平ラインのＧｂ（第２の緑色）／Ｂ（青色）ライン時のデータであれば、式（１１）を用いて、「１２ｂｉｔ」のビット幅を持つ入力の偶数番目の「Ｏ’ｅｖｅｎ(ｊ＝偶数)」及び「Ｏ’ｏｄｄ(ｊ＝偶数)」、また奇数番目の「Ｏ’ｅｖｅｎ(ｊ＝奇数)」及び「Ｏ’ｏｄｄ(ｊ＝奇数)」のデータを合成して、その合成結果を「１６ｂｉｔ」のビット幅を持つ出力における偶数番目の「Ｄ(ｊ＝偶数)」と奇数番目の「Ｄ(ｊ＝奇数)」との一組のデータとして出力する。

ここで、図７を用いて詳しく説明すると、先ず、偶数番目のＧｂプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＥ」)」の０〜１１ビット目のデータ（１２ビット長）を、出力において偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の０〜１１ビット目に挿入する。

次に、奇数番目のＧｂプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＯ」)」の２〜５ビット目のデータ（４ビット長）を、同じく偶数番目に出力すべきデータ「Ｄ(「ｊＥ」)」の１２〜１５ビット目に挿入する。

また、奇数番目のＢプレーンデータ「Ｏ’ｏｄｄ(「ｊＯ」)」の２〜１１ビット目のデータ（１０ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の０〜９ビット目に挿入する。

次に、再び奇数番目のＧｂプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＯ」)」を使用し、今度は、その６〜１１ビット目のデータ（６ビット長）を、出力において奇数番目に出力すべきデータ「Ｄ(「ｊＯ」)」の１０〜１５ビット目に挿入する。

そして、このように合成した１６ｂｉｔ長のデータ「Ｄ(「ｊＥ」)」と「Ｄ(「ｊＯ」)」とを一組にして、これを「合成処理」結果の合成データとして出力する。

このように、入力における偶数番目の「Ｏ’ｅｖｅｎ(ｊＥ)」及び「Ｏ’ｏｄｄ(ｊＥ)」と、奇数番目の「Ｏ’ｅｖｅｎ(ｊＯ)」及び「Ｏ’ｏｄｄ(ｊＯ)」との合計「４８ｂｉｔ（「１２ｂｉｔ」×４）」のデータを合成して、出力における偶数番目のデータ「Ｄ(「ｊＥ」)」と奇数番目のデータ「Ｄ(「ｊＯ」)」との合計「３２ｂｉｔ（「１６ｂｉｔ」×２）」のデータを出力する。

即ち、データ処理部１１０は、この「合成処理」によって、入力のサイズの縮小されたベイヤーデータから更に１／３のデータを削減して、データ量を元の２／３に減少させる。

このような動作によって、データ処理部１１０では、画質の劣化を抑制しつつ、データのサイズを縮小させるようにしている。

なお、上記の「合成処理」では、１２ビット長の入力の特にＲプレーンデータ、Ｂプレーンデータを、１０ビット長に縮小して出力するようにしている。これは、最終的に取得される画像データは、各画素のＲ、Ｇ、Ｂ各色のビット幅を「８ｂｉｔ」とする場合が一般的であるので、少なくともその「８ｂｉｔ」の情報量を確保するためである。これにより、画質の劣化を抑制しつつ、データのサイズを縮小させることができる。

また、上記の「合成処理」では、入力データがＲ（赤色）／Ｇｒ（第１の緑色）ライン時のデータである場合に、その奇数番目のＲプレーンデータ「Ｏ’ｅｖｅｎ(「ｊＯ」)」については使用していないが、それを保持しておいて後の処理で利用するようにしてもよい。また入力データがＧｂ（第２の緑色）／Ｂ（青色）ライン時のデータである場合の偶数番目のＢプレーンデータ「Ｏ’ｏｄｄ(「ｊＥ」)」についても使用していないが、これも同様に保持しておいて後の処理で利用するようにしてもよい。

また、上記の「合成処理」では、特別な回路を必要とせず、一般に入手し易い汎用的な回路を用いてそのロジックを構成可能とするために、出力する各画素データのビット幅を「１６ｂｉｔ」としている。しかし、これに限らず、ビット幅は、例えば「１４ｂｉｔ」や「１８ｂｉｔ」などとしてもよい。

ところで、データ処理部１１０は、上記の「合成処理」の後に、それによって出力されるデータ量を減少させた合成データに対して補間処理を施す。

以下、この補間処理の一例について説明する。なお、以下の説明においては、簡単のため、補間処理を、水平ライン（行）単位ではなく、水平ライン（行）及び垂直ライン（列）の面単位で行うようにする。

図８は、補間処理のブロックダイアグラムである。

以下、このブロックダイアグラムに沿って補間処理の詳細を説明する。

（１）データ分離処理
データ処理部１１０は、データ量を減少させた合成データ「Ｄ」が入力されると、下記の式（１２）、（１３）により、入力データから、そこに合成されているＧプレーンとＲプレーン（またはＢプレーン）のデータを分離して、その分離後のプレーンデータを出力する。

具体的には、データ処理部１１０は、下記の式（１２）により、入力データの水平ライン（行）を示す「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、垂直ライン（列）を示す「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）であれば、その０〜９ビット目のデータに４を乗じて得たデータ（１２ビット長）を第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。また、「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）である場合にも、同様に、その０〜９ビット目のデータに４を乗じて得たデータ（１２ビット長）を第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。

一方、入力データの水平ライン（行）を示す「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、垂直ライン（列）を示す「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）であれば、その０〜１１ビット目のデータ（１２ビット長）をそのまま第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。また、「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）である場合にも、同様に、その０〜１１ビット目のデータ（１２ビット長）をそのまま第１の出力「Ｂａｙｅｒ［１１：０］(ｒ，ｃ)」として出力する。

また、データ処理部１１０は、下記の式（１３）により、入力データの水平ライン（行）を示す「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、垂直ライン（列）を示す「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）であれば、その１０〜１５ビット目のデータに６４を乗じる。そして、その乗算によって得たデータと、次の「ｃ＋１」の位置にある「Ｄ(「ｊＯ」)」）の１２〜１５ビット目のデータに４を乗じて得たデータとを加算して、その加算により得られたデータ（１２ビット長）を第２の出力「ｔｍｐＧ［１１：０］(ｒ，ｃ)」として出力する。

また、入力データの水平ライン（行）を示す「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、垂直ライン（列）を示す「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）である場合には、その１０〜１５ビット目のデータに６４を乗じる。そして、その乗算によって得たデータと、１つ前の「ｃ−１」の位置にある「Ｄ(「ｊＥ」)」）の１２〜１５ビット目のデータに４を乗じて得たデータとを加算して、その加算により得られたデータ（１２ビット長）を第２の出力「ｔｍｐＧ［１１：０］(ｒ，ｃ)」として出力する。

また、入力データの水平ライン（行）を示す「ｒ」が奇数（Ｇｂ／Ｂライン）、且つ、垂直ライン（列）を示す「ｃ」が偶数（図７の「Ｄ(「ｊＥ」)」）である場合、又は、「ｒ」が偶数（Ｒ／Ｇｒライン）、且つ、「ｃ」が奇数（図７の「Ｄ(「ｊＯ」)」）である場合には、その０〜１１ビット目のデータ（１２ビット長）をそのまま第２の出力「ｔｍｐＧ［１１：０］(ｒ，ｃ)」として出力する。

（２）Ｇプレーン生成処理
次に、データ処理部１１０は、上記「データ分離処理」の第１の出力「Ｂａｙｅｒ(ｒ，ｃ)」と第２の出力「ｔｍｐＧ(ｒ，ｃ)」とを入力として、下記の式（１４）、（１５）により「Ｇプレーン生成処理」を行う。なお、Ｇプレーンのデータ（本処理に「ｔｍｐＧ(ｒ，ｃ)」として入力される）は既に生成されているが、それは画面の横（水平）方向の画素信号レベル（画素値）の勾配のみに基づいて生成されたものであるため、ここで、そのＧプレーンのデータについて、縦（垂直）方向の相関を取るかどうかを改めて評価する。

具体的には、下記の式（１４）によって求めた「ｄＶ(ｒ，ｃ)」と「ｄＨ(ｒ，ｃ)」との差が所定の閾値「Ｔｈ」を超える場合には、下記の式（１５）により、縦（垂直）方向の相関を取らずに入力の「ｔｍｐＧ(ｒ，ｃ)」をそのまま「Ｇ(ｒ，ｃ)」として出力する。一方、それらの差が所定の閾値「Ｔｈ」以下となる場合には、下記の式（１５）により、縦（垂直）方向の相関を取って、その結果のデータを「Ｇ(ｒ，ｃ)」として出力する。

（３）Ｒ，Ｂプレーン生成処理
そして、データ処理部１１０は、上記「データ分離処理」の第１の出力「Ｂａｙｅｒ(ｒ，ｃ)」と、上記「Ｇプレーン生成処理」の出力「Ｇ(ｒ，ｃ)」とを入力として、「Ｒ，Ｂプレーン生成処理」を行う。なお、この「Ｒ，Ｂプレーン生成処理」には従来技術を適用可能であるが、ここでは、その一例として、下記の式（１６）〜（１９）に示す一般的な手法を用いて「Ｒ，Ｂプレーン生成処理」を行うものとする。

具体的には、下記の式（１６）を用いて、Ｇｒ画素位置におけるＲプレーン「Ｒ(ｒ，ｃ)」及びＢプレーン「Ｂ(ｒ，ｃ)」を生成する。また、下記の式（１７）を用いて、Ｇｂ画素位置におけるＲプレーン「Ｒ(ｒ，ｃ)」及びＢプレーン「Ｂ(ｒ，ｃ)」を生成する。そして、下記の式（１８）を用いて、Ｒ画素位置におけるＢプレーン「Ｂ(ｒ，ｃ)」を生成する。また、下記の式（１９）を用いて、Ｂ画素位置におけるＲプレーン「Ｒ(ｒ，ｃ)」を生成する。

データ処理部１１０は、「Ｒ，Ｂプレーン生成処理」によってこのように生成したＲプレーン、Ｂプレーンのデータを、それぞれ「Ｒ(ｒ，ｃ)」、「Ｂ(ｒ，ｃ)」として出力する。

データ処理部１１０による補間処理の結果として、「Ｇプレーン生成処理」の出力の「Ｇ(ｒ，ｃ)」、「Ｒ，Ｂプレーン生成処理」の出力の「Ｒ(ｒ，ｃ)」と「Ｂ(ｒ，ｃ)」により構成された動画像データが取得されると、ＣＰＵ１１３は、その動画像データに対し、他の必要な画像処理（ガンマ補正など）を施すようにして、既述の動画撮影時の動作を行う。

（実施形態の補足事項）
上記では、本発明の実施形態の一例としてデジタルカメラ（デジタルスチルカメラ）の実施形態を説明したが、本発明は、動画の撮影が可能なデジタルビデオカメラや携帯電話機などの他の機器にも適用することが可能である。

上記他の実施形態では、説明を簡単にするため、補間処理の「データ分離処理」と「Ｇプレーン生成処理」とを分けて行うようにしている。しかし、実際には、「ｔｍｐＧ」の情報（データ）は注目画素のものしか使用していないので、両者は一度に処理することも可能である。

１０１…撮像レンズ，１０２…レンズ駆動部，１０３…撮像部，１０４…撮像素子，１０５…ＡＦＥ回路，１０６…ＣＤＳ回路，１０７…ゲイン調整回路，１１８…Ａ／Ｄ変換回路，１０９…タイミング発生回路，１１０…データ処理部，１１１…表示部，１１２…記録媒体，１１３…ＣＰＵ，１１４…バス

Claims (4)

1. 撮像部から出力されるベイヤーデータの水平ライン毎に、前記水平ラインを構成する各画素に対して補間データを生成し、前記各画素が前記補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、
   前記各画素が有する２つのカラーデータを用いて、前記水平ライン毎にデータ量を縮小させたデータを生成し、その生成したデータで構成されるベイヤーデータを出力するデータサイズ縮小手段と
   を備えることを特徴とするデータ処理装置。
2. 請求項１に記載のデータ処理装置において、
   前記水平補間手段は、前記補間を、下記の式（１）〜（５）によって行う
   ことを特徴とするデータ処理装置。
   

   
3. 撮像部から出力されるベイヤーデータの水平ライン毎に、前記水平ラインを構成する各画素に対して補間データを生成し、前記各画素が前記補間データと元の画素データとの２つのカラーデータを有するように補間を行う水平補間手段と、
   前記各画素が有する２つのカラーデータを用いて、前記水平ライン毎に、データ量を縮小させた間引きデータを生成し、その間引きデータから、少なくともＲプレーンデータ及びＢプレーンデータのデータ量を縮小させた合成データを合成して出力するデータサイズ縮小手段と
   を備えることを特徴とするデータ処理装置。
4. 請求項３に記載のデータ処理装置において、
   前記データサイズ縮小手段は、前記合成データの生成を、下記の式（６）〜（７）によって行う
   ことを特徴とするデータ処理装置。
   

   

Images