JP4286124B2 - 画像信号処理装置 - Google Patents

Description

本発明は、原画像を走査線数の異なる画像に変換する画像信号処理装置に関する。

デジタルカメラ等の撮像装置に搭載される固体撮像素子は高解像度化が進み、例えば、大きなサイズにプリントしても高画質が得られるようになっている。一方、液晶表示装置等の表示デバイスの解像度は固体撮像素子ほどは向上していない。また、そもそも、撮像装置に搭載されたディスプレイは比較的小型であることや、撮影画像を確認する用途のために設けられたものであることから、それほどの高解像度は要求されていない。

また、カメラ機能付き携帯電話等にも高解像度の固体撮像素子を搭載するものが登場しているが、それらにおいて撮影した画像を無線伝送する場合には伝送容量の制約から、低解像度の画像が伝送される。また、デジタルカメラ等においては、静止画は高解像度の画像を記録する一方、動画は記録容量の制約から低解像度にて記録することが行われている。

さらに、画像フォーマットには、ＶＧＡ（Video Graphics Array） 系やＣＩＦ（Common Intermediate Format）系といった規格が存在する。具体的にＶＧＡサイズは、水平６４０×垂直４８０ドット、またＣＩＦサイズは水平３５２×垂直２８８ドットである。また、各規格には、１／４サイズのＱＶＧＡサイズ、ＱＣＩＦサイズなどが存在する。例えば、動画撮影には、ＣＩＦ系のフォーマットが用いられることが多い。

上述のように、固体撮像素子の高解像度化は進んでいるが、常に当該素子から出力される画像信号がそのまま利用されるわけではなく、他のフォーマットに変換して利用されることも多い。例えば、ＶＧＡフォーマットで撮影された画像をＣＩＦフォーマットに変換する場合には、垂直サイズを基準として３／５にスケーリングする必要がある。

従来、デジタルカメラ等で行われているスケーリングでは、固体撮像素子にて撮影された画像信号に基づいてデジタル信号処理回路にて生成された輝度データＹ、色差データＵ，Ｖが一旦、フレームメモリ等に格納される。スケーリングはこのメモリに格納された画像データに対して補間演算等を行うことにより行われる。例えば、変換前の隣接する２行の画像データを線形補間することにより、その間に位置する変換後の画像の或る行の画像データが生成される。

しかし、１画面を一旦、メモリに蓄積してスケーリング処理を行うと、メモリへの画像格納に起因した遅延時間が生じる。そのため、プレビュー画面への表示に際してのフォーマット変換や、動画撮影中でのズーミング処理などリアルタイム性が要求される場面には、タイムラグが生じ操作性が低下し得るという問題がある。

そこで、図５に示す構成により、画像フォーマット変換処理のリアルタイム性の向上が図られている。図５は、ＶＧＡフォーマットで撮影された画像をＣＩＦフォーマットに変換して出力する従来の撮像装置のブロック構成図である。この撮像装置はＣＣＤイメージセンサ２と、ＣＣＤイメージセンサ２が出力する画像信号Ｙ０（ｔ）を処理する画像信号処理回路とを含み、当該画像信号処理回路は、アナログ信号処理回路４、ＡＤＣ（analog-to-digital converter）６、デジタル信号処理回路８、フォーマット変換回路１０を含んで構成される。

ＣＣＤイメージセンサ２は、行方向、列方向それぞれに対して２画素周期で色成分が変化するべイヤー配列のカラーフィルタを搭載し、またＶＧＡフォーマットの画像信号Ｙ０（ｔ）を出力する。

デジタル信号処理回路８には、ＶＧＡフォーマットの各画素での画像データＤ（ｎ）が入力される。デジタル信号処理回路８は、モアレの原因となるノイズを除去するためにＶＬＰＦ２０，ＨＬＰＦ２２を備える。ＶＬＰＦ２０は、垂直サンプリング周波数の１／２の周波数成分をトラップするフィルタであり、ＨＬＰＦ２２は水平サンプリング周波数の１／２の周波数成分をトラップするフィルタである。ＶＬＰＦ２０の入力には、当該ＶＬＰＦ２０で使用する５行分の画像データを保持するラインメモリ２４（２４−１〜２４−５）が設けられる。ＶＬＰＦ２０は後述するように、３種類の画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２を出力する。画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２はＨＬＰＦ２２を経て信号処理部２６に入力される。信号処理部２６は、色分離、ガンマ補正、輪郭補正等の信号処理を行う。信号処理部２６から出力されたＲＧＢデータはＹＵＶ生成部２８に入力される。ＹＵＶ生成部２８は、ＲＧＢデータに基づいて輝度データＹ及び色差データＵ，Ｖを生成する。

デジタル信号処理回路８から出力されたＹ，Ｕ，ＶはそれぞれＶＧＡフォーマットであり、フォーマット変換回路１０がこれをＣＩＦフォーマットの輝度データＹ’及び色差データＵ’，Ｖ’に変換する。フォーマット変換回路１０は、ＶＧＡフォーマットの隣り合う２行の間にＣＩＦフォーマットの行が定義される場合、ＶＧＡフォーマットの２行の画像データを線形補間して、ＣＩＦフォーマットの当該行に対応した画像データを生成する。フォーマット変換回路１０は、ＶＧＡフォーマットの輝度データＹの隣り合う２行を保持するためにラインメモリ３０（３０−１,３０−２）を有し、補間処理部３６−１がそれら２行の補間を行い、ＣＩＦフォーマットの輝度信号Ｙ’を生成する。また、フォーマット変換回路１０は２種類の色差データＵ，Ｖに対しても同様の補間処理を行うために２つのラインメモリ３４（３４−１，３４−２）と補間処理部３６−２とを有する。これらラインメモリ３４及び補間処理部３６−２は２種類の色差データでの処理にて共用される。

図６は、ＶＬＰＦ２０の回路構成を示す回路図である。ＶＬＰＦ２０には、５つのラインメモリ２４に保持されたＶＧＡフォーマットでの連続する５行（ｊ〜ｊ＋４行とする）の画像データＤ（以下、第ｋ行の画像データＤをＤ（ｋ）と表記する）が並列に入力される。ＶＬＰＦ２０は、これら５行のうち中央の行位置に対応する３種類の画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２を生成する。ラインメモリ２４に保持される画像データは、ＣＣＤイメージセンサ２の出力に連動して入れ替わり、それに応じて各行に対して順番に画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２が得られる。ＶＬＰＦ２０は第ｊ〜ｊ＋４行の各データを重み付けする。ここでそれぞれに対する重み係数は、上述のように垂直サンプリング周波数の１／２の周波数成分をトラップするフィルタ特性が得られるように定められ、例えば、第ｊ〜ｊ＋４行に対してそれぞれ１，６，１０，６，１とすることができる。この重み付けを行うために、第ｊ＋１〜ｊ＋３行の画像データＤはそれぞれ、乗算係数が６，１０，６に設定された乗算器４０−１〜４０−３に入力される。加算器４２−１は重み付けされた５行の画像データを加算して画像データＩ_Ｙを生成する。加算器４２−２は重み付けされた第ｊ＋１行及び第ｊ＋３行の画像データを加算して画像データＩ_Ｃ１を生成する。また加算器４２−３は重み付けされた第ｊ，ｊ＋２，ｊ＋４行の画像データを加算して画像データＩ_Ｃ２を生成する。すなわち、ＶＧＡフォーマットの第ｊ＋２行に対して、
Ｉ_Ｙ (j+2)=D(j)+6D(j+1)+10D(j+2)+6D(j+3)+D(j+4)
Ｉ_Ｃ１(j+2)=6D(j+1)+6D(j+3)
Ｉ_Ｃ２(j+2)=D(j)+10D(j+2)+D(j+4)
なる３種類の画像データが生成される。
特開平９−９８４３７号公報

上述のように、例えばＶＧＡからＣＩＦへのような垂直解像度を変更するフォーマット変換は、従来、垂直方向の補間処理によって行われる。この補間処理をリアルタイムで行うために、変換前のフォーマットで生成された画像データの隣り合う２行を保持するラインメモリが設けられている。この補間処理は、原画像の各行に対して輝度データＹ、色差データＵ，Ｖのように複数種類の画像データが得られた後に行われるため、それらを同時並列に処理するためには、上述の例で示したラインメモリ３０，３４のようにラインメモリも複数組必要となる。

ここで、撮像装置が携帯電話等の小型の機器に搭載されるような場合、画像処理装置の一層の小型化が求められている。そのため、フォーマット変換に用いられるラインメモリ３０，３４を省き、構成する部品の削減や集積回路のチップ面積の低減、またコスト低減を図ることが課題となっていた。

本発明はこの課題を解決するためになされたものであり、撮像装置から出力された画像信号の垂直解像度を変換するためだけに用いられるラインメモリを必要としない画像信号処理装置を提供することを目的とする。

本発明に係る画像信号処理装置は、行列配置されたサンプリング点の各列に所定行数を繰り返し周期として複数の色成分が周期的に現れる原画像データが入力され、当該原画像データとは垂直サンプリング周期が異なる目的画像データを生成するものであって、入力された前記原画像データのうち所定幅の行範囲内にて互いに所定の位置関係にある複数行を保持するデータ保持部と、前記データ保持部に保持された複数行の前記原画像データを行毎に重み付けし相互に加算して、原画像の前記行範囲に応じた位置の目的行での前記目的画像データを生成する目的画像データ生成部と、前記目的画像データ生成部で行われる重み付け加算の行毎の重み係数を前記目的行に応じて設定する係数設定部と、を有し、前記係数設定部が、前記目的画像データにおいて前記原画像の垂直サンプリング周波数及び前記色成分の前記繰り返し周期に応じた周波数成分を減衰するトラップ特性と、前記データ保持部に保持された前記原画像データの各行に対応する垂直サンプリング点及び前記目的行に対応する垂直サンプリング点の相互の位置関係と、に基づいて前記重み係数を定める。

モザイク型のカラーフィルタを搭載した固体撮像素子から得られる画像信号のように、列方向（垂直方向）に複数の色成分が所定行数の繰り返し周期で周期的に得られる原画像信号に対しては、モアレノイズを抑制するためにトラップフィルタが設けられ、原画像の垂直サンプリング周波数及び色成分の繰り返し周期に応じた周波数成分を減衰させる処理が行われる。この処理は、原画像の複数行の画像データを保持し、それらを重み付け加算することにより行うことができる。従来よりそのデータ保持のためにデータ保持部としてラインメモリが設けられている。本発明においては、このデータ保持部が、トラップフィルタの機能と、原画像から目的画像への垂直方向のサンプリング点位置の変換機能との両方に用いられる。目的画像の行が原画像の行配置に対してどのような位置にあるかは、必ずしも一定ではなく、目的画像の行毎に異なり得る。本発明によれば、これに対応するために係数設定部が設けられ、また目的画像データ生成部は重み付け加算処理における重み係数を変更可能に構成される。係数設定部は、目的画像の算出対象となっている行とデータ保持部に保持されている原画像の行と位置関係に応じて、データ保持部に保持されている原画像の各行に対する重み係数を変更し、目的画像データ生成部は、この変更された重み係数を用いてデータ保持部に保持された原画像データを重み付け加算し、目的画像データを生成する。係数設定部は、重み係数を原画像から目的画像への垂直サンプリング点の変更という条件だけでなく、トラップフィルタとしての機能を実現するという条件も満足するように決定する。また、本発明によれば、原画像から目的画像への垂直サンプリング点の変更に用いられる原画像データは、色分離等の処理を行う前のものであり、原画像データの垂直サンプリング点毎に１行ずつのデータである。このように、原画像の各垂直サンプリング点に対し複数種類の画像データが生成される前に、垂直サンプリング点の変換を行うことにより、回路構成の簡素化、処理負荷の軽減が図られる。

本発明の好適な態様は、前記色成分の前記繰り返し周期はｎ行であって、前記係数設定部が、前記原画像の垂直サンプリング周波数の１／ｎに応じた周波数成分を減衰させるトラップ特性を前記目的画像データ生成部に与える画像信号処理装置である。本態様では例えば、ｎが２の場合には垂直サンプリング周波数の１／２を中心とした周波数成分を減衰させるトラップ特性が設定される。本態様では一般に垂直サンプリング周波数の１／ｎ，２／ｎ，…（ｎ−１）／ｎを中心とした周波数成分を減衰させるトラップ特性を設定することができる。

また、本発明の他の好適な態様は、前記データ保持部が、それぞれ１行の前記原画像データを保持できる複数のラインメモリからなる画像信号処理装置である。

他の本発明に係る画像信号処理装置においては、前記データ保持部は、前記行範囲内の各行の前記原画像データを保持し、前記目的画像データ生成部は、前記行範囲内の各行の前記原画像データを重み付け加算した輝度データと、前記データ保持部に保持された前記原画像データのうち色成分構成が同じとなる前記繰り返し周期毎の各行を前記重み係数に基づいて重み付け加算した色成分データと、を算出する。

本発明によれば、データ保持部に複数行からなる１セットの原画像データが格納され、各行に対する重み係数が設定されると、それらを用いて、目的画像の各行に対し複数種類の画像データが一度に生成される。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は、本発明の実施形態に係る撮像装置の概略のブロック図であり、この撮像装置はＶＧＡフォーマットで画像を撮影し、当該画像をＣＩＦフォーマットに変換して出力することができる。この撮像装置はＣＣＤイメージセンサ５０と、ＣＣＤイメージセンサ５０が出力する画像信号Ｙ０（ｔ）を処理する画像信号処理回路とを含み、当該画像信号処理回路は、アナログ信号処理回路５２、ＡＤＣ（analog-to-digital converter）５４、デジタル信号処理回路５６を含んで構成される。

ＣＣＤイメージセンサ５０は、例えば、べイヤー配列のカラーフィルタを搭載し、また図示しないイメージセンサ制御回路からの駆動パルスにより駆動され、ＶＧＡフォーマットの画像信号Ｙ０（ｔ）を出力する。

アナログ信号処理回路５２は、ＣＣＤイメージセンサ５０から出力される画像信号を取り込んで、サンプルホールド、ゲイン調整等の各種のアナログ信号処理を施す。ＡＤＣ５４は、アナログ信号処理の施された画像信号Ｙ１（ｔ）を取り込み、１画素毎にデジタル信号に変換して画像データＤ（ｎ）としてデジタル信号処理回路５６へ出力する。以下、第ｋ行の画像データＤをＤ（ｋ）と表記する。画像データＤにおけるＲＧＢ成分の並びは、例えば、奇数行では行先頭からＲＧＲＧ…、偶数行にて行先頭からＧＢＧＢ…となる。

デジタル信号処理回路５６は、ラインメモリ６０、ＶＬＰＦ６２、ＨＬＰＦ６４、信号処理部６６、ＹＵＶ生成部６８を備える。ラインメモリ６０は複数本設けられ、本装置では例えば５本のラインメモリ６０−１〜６０−５を有する。各ラインメモリ６０は、ＡＤＣ５４から出力されるＶＧＡフォーマットの画像データＤを１行分記憶する容量を有し、互いに直列に接続されて、画像データＤを１行単位で順次記憶する。すなわち、ラインメモリ６０−１〜６０−５には、ＶＧＡフォーマットでの連続する５行（ｊ〜ｊ＋４行とする）の画像データＤが格納される。これらラインメモリ６０−１〜６０−５に保持された画像データＤ（ｊ）〜Ｄ（ｊ＋４）は、ＶＬＰＦ６２に並列して入力される。

図２は、ＶＬＰＦ６２の概略の回路構成を示す回路図である。ＶＬＰＦ６２は、後述するように、垂直サンプリング周波数の所定周波数成分をトラップするフィルタであると共に、ＶＧＡからＣＩＦへのフォーマット変換機能も有する。各ラインメモリ６０に対応して設けられるＶＬＰＦ６２の各入力線それぞれには、乗算器７０−１〜７０−５が配される。この各乗算器７０に対応してレジスタ７２−１〜７２−５が設けられる。このレジスタ７２はそれぞれ乗算器７０で用いられる乗算係数αｍを格納し、乗算器７０−ｍ（ｍ＝１〜５）は対応するレジスタ７２−ｍの格納値αｍを読み出して、入力される第ｊ＋ｍ−１行の画像データＤ（ｊ＋ｍ−１）に順次、αｍを乗算する。５つの乗算器７０の出力値に対して、３種類の加算処理がそれぞれ加算器７４−１〜７４−３を用いて行われる。加算器７４−１はαｍで重み付けされた５行の画像データを加算して画像データＩ_Ｙを生成する。加算器７４−２は重み付けされた第ｊ＋１行及び第ｊ＋３行の画像データを加算して画像データＩ_Ｃ１を生成する。また加算器７４−３は重み付けされた第ｊ，ｊ＋２，ｊ＋４行の画像データを加算して画像データＩ_Ｃ２を生成する。すなわち、
Ｉ_Ｙ ＝α1・D(j)+α2・D(j+1)+α3・D(j+2)+α4・D(j+3)+α5・D(j+4)
Ｉ_Ｃ１＝α2・D(j+1)+α4・D(j+3)
Ｉ_Ｃ２＝α1・D(j)+α3・D(j+2)+α5・D(j+4)
なる３種類の画像データが生成される。

さて、本装置は係数設定部７６を有し、この係数設定部７６により各レジスタ７２の内容が書き換えられる。本装置においては、ＣＣＤイメージセンサ５０の各列にはＲとＧ、又はＧとＢが交互に配列される。すなわち、垂直方向に関する画素の配列周期は２画素周期である。これに起因して、ＶＧＡフォーマットにおける垂直サンプリング周波数ｆ_Ｖの１／２の周波数成分のモアレノイズが発生しやすい。そこで、同時に設定される１組の係数αｍに対して、ＶＬＰＦ６２がｆ_Ｖ／２を中心とした帯域にて信号成分を減衰させるトラップ特性を有するという第１の条件が課される。また、第２の条件として、ＶＬＰＦ６２での重み付け加算によって、ＶＧＡからＣＩＦへ垂直方向のサンプリング位置を変更することが課される。

図３はＶＧＡフォーマット、ＣＩＦフォーマット相互の各行の垂直方向のサンプリング位置の関係を示す模式図である。記号“ａ_ｉ”の傍らの水平線はＶＧＡフォーマットにおける第ａ_ｉ行のサンプリング位置、記号“ｂ_ｉ”の傍らの水平線はＣＩＦフォーマットにおける第ｂ_ｉ行のサンプリング位置を示す。ここでは、ＣＩＦの第ｂ_１行がＶＧＡの第ａ_３行と同じ位置であり、以降、ＣＩＦで３行周期、ＶＧＡで５行周期で両者の行位置が一致する。また、ＣＩＦの第ｂ_２行はＶＧＡの第ａ_４行と第ａ_５行との間隔を２：１に内分する位置、ＣＩＦの第ｂ_３行はＶＧＡの第ａ_６行と第ａ_７行との間隔を１：２に内分する位置である。ＶＧＡの垂直サンプリング点に対するＣＩＦの垂直サンプリング点の位置関係は、これら３種類の繰り返しとなり、それに応じて、αｍの組も３種類の組が必要になる。各組を構成するαｍの値は予め計算して係数設定部７６に格納しておくことができる。係数設定部７６は、例えば、イメージセンサ制御回路が生成する垂直同期信号ＶＤに基づいてＶＧＡの先頭行に対応する画像データＤを把握し、また水平同期信号ＨＤをカウントすることにより、ラインメモリ６０−１に入力される画像データＤの行番号を把握することができる。そして係数設定部７６は、ラインメモリ６０−１〜６０−５に保持されているＶＧＡの行範囲に応じて、データを算出すべきＣＩＦの行を特定する。そして、係数設定部７６はその行が上記３種類のいずれの位置関係にあるかを判別して、当該種類に対応するαｍの組を予め格納されているものの中から選択して、各レジスタ７２に設定する。

図４は、ＣＩＦの３種類の行位置に対応したαｍの組の一例を示す模式図である。ＣＩＦの生成対象行の位置（例えば、第ｂ_１行）がＶＧＡの行位置（例えば、第ａ_３行）に一致する場合に対応するαｍの組Ｓ１は、α１＝１，α２＝６，α３＝１０，α４＝６，α５＝１とすることができる。この組Ｓ１は、ＶＧＡの一致する行の画像データＤがラインメモリ６０に保持される行範囲の中央、すなわちラインメモリ６０−３に保持されるタイミングに同期してレジスタ７２に設定される。

また、例えば、ＣＩＦの生成対象行の位置が例えば第ｂ_２行である場合に対応するαｍの組Ｓ２は、α１＝２，α２＝８，α３＝１０，α４＝４，α５＝０とすることができる。この組Ｓ２は、ＣＩＦの生成対象行（例えば第ｂ_２行）の最寄りのＶＧＡの行（例えば第ａ_５行）の画像データＤが、ラインメモリ６０に保持される行範囲の中央に保持されるタイミングに同期してレジスタ７２に設定される。

そして、例えば、ＣＩＦの生成対象行の位置が例えば第ｂ_３行である場合に対応するαｍの組Ｓ３は、α１＝０，α２＝４，α３＝１０，α４＝８，α５＝２とすることができる。この組Ｓ３は、ＣＩＦの生成対象行（例えば第ｂ_３行）の最寄りのＶＧＡの行（例えば第ａ_６行）の画像データＤが、ラインメモリ６０に保持される行範囲の中央に保持されるタイミングに同期してレジスタ７２に設定される。

なお、これら各組Ｓ１〜Ｓ３は、それぞれ奇数行に対する係数の合計と、偶数行に対する係数の合計とが均衡することから、周波数ｆ_Ｖ／２の成分をトラップすることができる。

このようにして、例えば、ＶＧＡの第ａ_１〜ａ_５行がラインメモリ６０に格納されたタイミングで、ＶＬＰＦ６２は係数の組Ｓ１を用いてそれら５行の画像データＤを重み付け加算して、ＣＩＦの第ｂ_１行に対応する３種類の画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２を生成し出力する。また、例えば、ＶＧＡの第ａ_３〜ａ_７行がラインメモリ６０に格納されたタイミングで、ＶＬＰＦ６２は係数の組Ｓ２を用いてそれら５行の画像データＤを重み付け加算して、ＣＩＦの第ｂ_２行に対応する３種類の画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２を生成、出力し、例えば、ＶＧＡの第ａ_４〜ａ_８行がラインメモリ６０に格納されたタイミングで、ＶＬＰＦ６２は係数の組Ｓ３を用いてそれら５行の画像データＤを重み付け加算して、ＣＩＦの第ｂ_３行に対応する３種類の画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２を生成し出力する。以下、同様にして、ＣＩＦの各行の画像データが算出される。

ちなみに、例えば、ＶＧＡの第ａ_２〜ａ_６行や第ａ_５〜ａ_９行がラインメモリ６０に格納されたタイミングでのＶＬＰＦ６２の出力は、ＣＩＦの画像データとしては利用されない。よって、その場合のＶＬＰＦ６２の出力は後段で廃棄することができ、また、例えばＶＬＰＦ６２にて係数設定部７６が各レジスタ７２に重み係数として０をして、ＶＬＰＦ６２からの全ての出力が０に維持されるようにしてもよい。

図１に戻り、ＶＬＰＦ６２以降の構成を説明する。ＶＬＰＦ６２にて生成されたＣＩＦの垂直サンプリング点での画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２はＨＬＰＦ６４に入力される。ＣＣＤイメージセンサ５０の水平方向に関する画素の配列周期は、垂直方向と同様、２画素周期である。そこで、ＨＬＰＦ６４は、ＶＧＡフォーマットにおける水平サンプリング周波数ｆ_Ｈの１／２の周波数ｆ_Ｈ／２を中心とした帯域にて信号成分を減衰させ、モアレノイズを抑制する。

ＨＬＰＦ６４から出力された画像データＩ_Ｙ，Ｉ_Ｃ１，Ｉ_Ｃ２は信号処理部６６に入力される。信号処理部６６は、色分離、ガンマ補正、輪郭補正等の信号処理を行う。信号処理部６６から出力されたＲＧＢデータはＹＵＶ生成部６８に入力される。ＹＵＶ生成部６８は、ＲＧＢデータに基づいて、ＣＩＦフォーマットの輝度データＹ’及び色差データＵ’，Ｖ’を生成し、デジタル信号処理回路５６から出力する。

ちなみに、ＨＬＰＦ６４又は信号処理部６６にて、水平方向に関するＶＧＡからＣＩＦへのサンプリング点の変換が行われる。また、その際、ＶＧＡの水平方向６４０画素を３／５にスケーリングすると、ＣＩＦの水平方向３５２画素より多くなる。そのため、この水平方向の余った領域をトリミングする処理が行われ得る。

なお、上述したように、フォーマット変換を行う背景には、撮像素子が表示系や伝送系などに比べて高い解像度を与えることがある。すなわち、フォーマット変換は解像度を落とす方向に行われることが多い。その場合、フォーマット変換を行うことによりサンプリング点数がダウンコンバートされる。本発明によれば、上述の実施形態の撮像装置を用いて説明したように、デジタル信号の前段部にて、フォーマットの変換が行われるので、後段の演算処理を、ダウンコンバートされた少ないデータ数に対して行えばよくなる。すなわち、デジタル信号処理回路５６での演算量が抑制され、処理の迅速化が図られる。

一方、撮像素子が表示デバイスに比べて解像度が低い場合には、サンプリング点数をアップコンバートすることが行われる。この他、アップコンバートは例えば、撮像素子で撮影された画像の一部領域を表示デバイスに拡大表示するデジタルズーム処理において、当該一部領域に関しサンプリング点数を増加させる際にも行われる。本装置はこのようなアップコンバートも好適に行うことができる。

例えば、上述のＶＧＡからＣＩＦへのフォーマット変換を行いつつ、アップコンバートを行って２倍に拡大された画像データを生成する場合には、ＣＩＦの各行の間隔を１：１に内分する位置に追加の垂直サンプリング点が設けられる。図３又は図４を参照しつつ説明すると、第ｂ_１行と第ｂ_２行との間に第ｂ_１’行、第ｂ_２行と第ｂ_３行との間に第ｂ_２’行、第ｂ_３行と第ｂ_４行との間に第ｂ_３’行が追加される。なお、第ｂ_１’行はＶＧＡの第ａ_３行と第ａ_４行との間隔を５：１に内分する点、第ｂ_２’行はＶＧＡの第ａ_５行と第ａ_６行との間隔を１：１に内分する点、第ｂ_３’行はＶＧＡの第ａ_７行と第ａ_８行との間隔を１：５に内分する点に、それぞれ位置する。係数設定部７６は、第ｂ_１’行に対応するαｍの組Ｓ１’として例えば、α１＝１，α２＝７，α３＝１１，α４＝５，α５＝０を予め格納し、第ｂ_１’行の最寄りのＶＧＡの行である第ａ_４行の画像データＤがラインメモリ６０に保持される行範囲の中央に保持されるタイミングに同期してＳ１’をレジスタ７２に設定する。また、係数設定部７６は、第ｂ_２’行に対応するαｍの組Ｓ２’として例えば、α１＝０，α２＝３，α３＝９，α４＝９，α５＝３を予め格納し、第ｂ_２’行の最寄りのＶＧＡの行の一つである第ａ_５行の画像データＤがラインメモリ６０に保持される行範囲の中央に保持されるタイミングに同期してＳ２’をレジスタ７２に設定する。また、係数設定部７６は、第ｂ_３’行に対応するαｍの組Ｓ３’として例えば、α１＝０，α２＝５，α３＝１１，α４＝７，α５＝１を予め格納し、第ｂ_３’行の最寄りのＶＧＡの行である第ａ_７行の画像データＤがラインメモリ６０に保持される行範囲の中央に保持されるタイミングに同期してＳ３’をレジスタ７２に設定する。これにより、ｂ_１’，ｂ_２’，ｂ_３’，…の各行での画像データが生成され、２倍に拡大されたＣＩＦ画像データが得られる。

ここでは、アップコンバートについてＣＩＦのサンプリング点数を２倍にする例を説明したが、その他の倍率についても同様に構成することができる。すなわち、ｒ倍にする場合、ＣＩＦの各行ｂ_ｉの間隔に（ｒ−１）点の垂直サンプリング点が追加され、その各点ごとにαｍの組が定義される。これらαｍの組は係数設定部７６に予め格納され、ラインメモリ６０に保持されるＶＧＡの行範囲の中央付近に目的とする拡大されたＣＩＦ画像の行の垂直サンプリング点が位置するタイミングにて、レジスタ７２に設定される。

本発明の実施形態に係る概略の撮像装置のブロック図である。 実施形態に係るＶＬＰＦの概略の回路構成を示す回路図である。 ＶＧＡフォーマット、ＣＩＦフォーマット相互の各行の垂直方向のサンプリング位置の関係を示す模式図である。 ＶＧＡの行配列に対するＣＩＦの３種類の行位置に対応したαｍの組の一例を示す模式図である。 従来の撮像装置のブロック構成図である。 従来のＶＬＰＦの回路構成を示す回路図である。

符号の説明

５０ ＣＣＤイメージセンサ、５２ アナログ信号処理回路、５４ ＡＤＣ、５６ デジタル信号処理回路、６０ ラインメモリ、６２ ＶＬＰＦ、６４ ＨＬＰＦ、６６ 信号処理部、６８ ＹＵＶ生成部、７０ 乗算器、７２ レジスタ、７４ 加算器、７６ 係数設定部。

Claims (3)

1. 行列配置されたサンプリング点の各列にｎ行を繰り返し周期として複数の色成分が周期的に現れる原画像データが入力され、当該原画像データとは垂直サンプリング周期が異なる目的画像データを生成する画像信号処理装置であって、
   入力された前記原画像データのうち所定幅の行範囲内にて互いに所定の位置関係にある複数行を保持するデータ保持部と、
   前記データ保持部に保持された複数行の前記原画像データを行毎に重み付けし相互に加算して、原画像の前記行範囲に応じた位置の目的行での前記目的画像データを生成する目的画像データ生成部と、
   前記目的画像データ生成部で行われる重み付け加算の行毎の重み係数を前記目的行に応じて設定する係数設定部と、
   を有し、
   前記係数設定部は、
   前記目的画像データにおいて前記原画像の垂直サンプリング周波数の１／ｎに応じた周波数成分を減衰するトラップ特性と、前記データ保持部に保持された前記原画像データの各行に対応する垂直サンプリング点及び前記目的行に対応する垂直サンプリング点の相互の位置関係と、に基づいて前記重み係数を定めること、
   を特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記データ保持部は、それぞれ１行の前記原画像データを保持できる複数のラインメモリからなること、
   を特徴とする画像信号処理装置。
3. 請求項１から請求項２のいずれか１つに記載の画像信号処理装置において、
   前記データ保持部は、前記行範囲内の各行の前記原画像データを保持し、
   前記目的画像データ生成部は、前記行範囲内の各行の前記原画像データを重み付け加算した輝度データと、前記データ保持部に保持された前記原画像データのうち色成分構成が同じとなるｎ行毎の各行を前記重み係数に基づいて重み付け加算した色成分データと、を算出すること、
   を特徴とする画像信号処理装置。

Images