JP4412446B2 - 解像度変換方法および解像度変換装置 - Google Patents
解像度変換方法および解像度変換装置 Download PDFInfo
- Publication number
- JP4412446B2 JP4412446B2 JP2001135155A JP2001135155A JP4412446B2 JP 4412446 B2 JP4412446 B2 JP 4412446B2 JP 2001135155 A JP2001135155 A JP 2001135155A JP 2001135155 A JP2001135155 A JP 2001135155A JP 4412446 B2 JP4412446 B2 JP 4412446B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interpolation
- data
- resolution conversion
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 76
- 238000006243 chemical reaction Methods 0.000 title claims description 70
- 238000012545 processing Methods 0.000 claims description 129
- 230000008569 process Effects 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 238000012935 Averaging Methods 0.000 description 11
- 238000007792 addition Methods 0.000 description 11
- 230000001629 suppression Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000008707 rearrangement Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 102000005717 Myeloma Proteins Human genes 0.000 description 1
- 108010045503 Myeloma Proteins Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像処理で画像を拡大する解像度変換方法および解像度変換装置に関する。
【０００２】
【従来の技術】
一般に、デジタル・ビデオ・カメラやデジタル・スチル・カメラなどの撮像デバイスでは、レンズ群やプリズムなどからなる光学系を透過した光はＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され画像信号に変換される。その画像信号はデジタル信号（原画像データ）にＡ／Ｄ変換された後に、画素補間、色空間変換、輪郭強調および解像度変換などの種々の画像処理を施され、液晶表示装置（ファインダー）などで表示される。また撮像デバイスの中には、その画像処理を施した画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Moving Picture Experts Group）などの方式で圧縮符号化した後に不揮発性メモリなどのメモリカードに書き出したり、インターフェースを介してパーソナル・コンピュータなどの外部機器に出力したりする機能を有するものもある。
【０００３】
ファインダーに表示される画像の表示倍率を変更するには、結像位置を変えることなく光学系の焦点距離を物理的に変化させる方法と、画像データを画像処理で解像度変換する方法とが知られている。一般に、ベイヤー方式に代表される単板式の色フィルタ・アレイを備えた撮像デバイスでは、撮像した原画像データは、各画素毎に不足の色成分を補うべく画素補間処理を施される。またその画素補間処理は主にハードウェアで迅速に実行される。その後、画像を拡大するために、画素補間後の画像データは解像度変換を施される。解像度変換方法としては、原画像データの複数の画素データの重み付け平均値を算出する内分点補間方法（バイリニア法）や、原画像データの画素データとｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）との折り畳み演算値を算出する３次折り畳み補間方法（バイキュービック法）などが採用されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のバイリニア法やバイキュービック法などを採用した画像拡大機能はソフトウェアで実現されることが多く、ソフトウェア処理は、演算時間が長大化しマイクロプロセッサの負荷が多大になるという欠点をもつ。デジタル・スチル・カメラではその演算時間の長大化により、撮影間隔が開いて撮影タイミングを逸したり、連続撮影枚数が制限されたりする事態が発生する。他方、その演算時間の短縮化や処理負荷の低減のためにその画像拡大機能をハードウェアで実現しようとすれば、回路規模やデータ・ストリームの量が大きくなり過ぎ、回路の低コスト化が難しくなるという問題が生ずる。
【０００５】
以上の問題に鑑みて本発明が解決しようとするところは、画像拡大機能をハードウェアで実現しても回路規模が小さくて済み且つ高速に画像拡大処理を実行し得る解像度変換方法および解像度変換装置を提供する点にある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、各画素に単色成分をもつカラー原画像データの画像サイズを拡大する解像度変換方法であって、（ａ）入力する画像データに対して各画素毎に不足の色成分を画素補間することで、各画素毎に複数の色成分をもつ補間データを生成する工程と、（ｂ）前記補間データにおける各画素の前記複数の色成分を再配列し、当該複数の色成分の各々を１画素に対応付けた画像データを生成する工程と、（ｃ）前記工程（ｂ）で生成された前記画像データに対して前記工程（ａ）を再度実行して補間データを生成する工程と、を備えることを特徴とするものである。
【０００７】
請求項２に係る発明は、請求項１記載の解像度変換方法であって、前記工程（ｂ）における前記補間データとして、前記工程（ｃ）で生成された前記補間データを用いて前記色成分を再配列し、前記工程（ｂ）および前記工程（ｃ）を繰り返し実行するものである。
【０００８】
請求項３に係る発明は、請求項１または２記載の解像度変換方法であって、（ｄ）前記工程（ｃ）で生成された前記補間データに対して、前記工程（ｂ）で再配列された前記複数の色成分の空間的位置を、当該複数の色成分の中の１色成分の空間的位置に一致させるように相対移動させる空間フィルタリング処理を実行する工程、を備えるものである。
【０００９】
請求項４に係る発明は、請求項３記載の解像度変換方法であって、前記工程（ｂ）における前記補間データとして、前記工程（ｄ）で生成された前記補間データを用いて前記色成分を再配列し、前記工程（ｂ）〜（ｄ）を繰り返し実行するものである。
【００１０】
請求項５に係る発明は、請求項１〜４の何れか１項に記載の解像度変換方法であって 前記工程（ｂ）において、前記工程（ａ）で各画素毎に補間された３色成分を、水平方向に２画素および垂直方向に２画素からなる単位画素領域の３画素に１対１で割り当て且つ前記単位画素領域の１画素には何れの色成分も割り当てないものである。
【００１１】
請求項６に係る発明は、請求項１〜５の何れか１項に記載の解像度変換方法であって、（ｅ）前記工程（ｃ）で生成された前記補間データもしくは前記工程（ｄ）で空間フィルタリング処理を施された補間データの画像サイズを縮小する工程、を備えるものである。
【００１２】
請求項７に係る発明は、各画素に単色成分をもつカラー原画像データの画像サイズを拡大する解像度変換装置であって、入力する画像データに対して各画素毎に不足の色成分を画素補間することで、各画素毎に複数の色成分をもつ補間データを生成し出力する画素補間部と、前記画素補間部から出力された前記補間データにおける前記複数の色成分を再配列し、当該複数の色成分の各々を１画素に対応付けた画像データを生成し前記画素補間部に転送させるデータ転送制御部と、を備えることを特徴とするものである。
【００１３】
請求項８に係る発明は、請求項７記載の解像度変換装置であって、前記データ転送制御部は、前記色成分を再配列した前記画像データを繰り返し画素補間部に転送するものである。
【００１４】
請求項９に係る発明は、請求項７または８記載の解像度変換装置であって、前記色成分を再配列され且つ前記画素補間部で画素補間された補間データに対して、再配列された前記複数の色成分の空間的位置を、当該複数の色成分の中の１色成分の空間的位置に一致させるように相対移動させる空間フィルタリング処理を実行する空間フィルタリング処理部、を備えるものである。
【００１５】
請求項１０に係る発明は、請求項９記載の解像度変換装置であって、前記データ転送制御部は、前記空間フィルタリング処理部から出力された補正データを前記画素補間部に繰り返し転送するものである。
【００１６】
請求項１１に係る発明は、請求項７〜１０の何れか１項に記載の解像度変換装置であって、前記原画像データが３色成分からなり、前記データ転送制御部は、前記画素補間部で各画素毎に補間された３色成分を、水平方向に２画素および垂直方向に２画素からなる単位画素領域の３画素に１対１で割り当て且つ前記単位画素領域の１画素には何れの色成分も割り当てずに前記色成分を再配列した画像データを生成するものである。
【００１７】
請求項１２に係る発明は、請求項７〜１１の何れか１項に記載の解像度変換装置であって、前記画素補間部で生成された前記補間データもしくは前記空間フィルタリング処理部から出力された前記補正データの画像サイズを縮小する縮小処理部、を備えるものである。
【００１８】
【発明の実施の形態】
図１は、本発明の実施の形態に係る解像度変換機能を備えたデジタル・スチル・カメラ１の全体構成を示す機能ブロック図である。このデジタル・スチル・カメラ１は、ＡＦ（オート・フォーカス）機能や自動露出調節機能などを備えた光学機構１１を有しており、この光学機構１１を通して入射した被写体画像の光がＣＣＤからなる画像撮像センサ１２で検出される。また被写体を撮影するタイミングと同期するように光量を調節された光をストロボ（閃光装置）３０から発して被写体に照射することができる。アナログ信号処理回路１３は、画像撮像センサ１２から出力された被写体の画像信号をデジタル化して得られる原画像データをＲＰＵ（リアルタイム・プロセッシング・ユニット）１４に出力する。ＲＰＵ１４は入力する原画像データに対して、後述する画素補間や色空間変換などの画像処理をリアルタイムに実行する機能を有する。また上記アナログ信号処理回路１３とＲＰＵ１４は、それぞれメイン・バス１０と接続されており、アナログ信号処理回路１３から出力される原画像データをＲＰＵ１４に入力させずに、メイン・バス１０を介して主メモリ２６に転送させ一時記憶させることができる。
【００１９】
またＲＰＵ１４から出力された画像データは主メモリ２６のバッファ領域に転送されて一時記憶されたり、メイン・バス１０を介してディスプレイ・モジュール２０に転送されＬＣＤ（液晶表示装置）２３に表示されたりする。尚、同図中、符号２１はデジタル・エンコーダ、２２はＬＣＤ駆動回路２２を示している。またそのバッファ領域に記憶された画像データは、ＣＰＵ１７やＤＭＡ（ダイレクト・メモリ・アクセス）コントローラ２４の制御により読み出され、メイン・バス１０を介して圧縮処理部２５に転送されＪＰＥＧやＭＰＥＧなどの方式で圧縮符号化された後に、インターフェース２７Ａに転送され不揮発性メモリからなるメモリ・カード２７に格納できる。また圧縮処理部２５で圧縮符号化された画像データを外部インターフェース２８に転送し、この外部インターフェース２８と接続された外部の表示装置やコンピュータなどに転送することも可能である。
【００２０】
尚、図１中、符号１５は画像撮像センサ１２を駆動する駆動回路、符号１６はＲＰＵ１４および駆動回路１５などの動作タイミングを規律するタイミング・ジェネレータ、符号１８はＰＬＬ発信回路、符号１９はＣＰＵ１７の補助演算を実行するコプロセッサを示している。またクロック・ジェネレータ２９は、ＰＬＬ発信回路１８から供給されるクロック信号を逓倍もしくは分周することで、ＲＰＵ１４、タイミング・ジェネレータ１６、ＣＰＵ１７およびデジタル・エンコーダ２１などの全モジュールの駆動クロック信号を生成する。
【００２１】
上記画像撮像センサ（ＣＣＤ撮像センサ）１２は、光電効果で発生したキャリア（電子またはホール）をポテンシャル井戸に蓄積する電荷蓄積部と、蓄積されたキャリアに電界を印加して転送するように制御する電荷転送部とを備える一般的なものである。画像撮像センサ１２としては、画素を構成するラインのうち偶数番目ラインからなるフィールド（偶数フィールド）と奇数番目ラインからなるフィールド（奇数フィールド）とから交互に画素データを読み出されるインターレース（飛越し走査）タイプのものと、ライン順次に画素データを読み出されるプログレッシブ（順次走査）タイプのものとの何れが使用される。尚、本実施の形態では、画像撮像センサ１２としてＣＣＤ撮像センサを採用するが、これに限らず、電荷転送部をもたないＣＭＯＳ撮像センサを採用してもよい。後述するように画像撮像センサ１２の感光部上には単板式の色フィルタ・アレイが配設されている。
【００２２】
図２は、上記ＲＰＵ１４の概略構成を示す機能ブロック図である。ＲＰＵ１４は集積回路化されており、単一画素処理部１４ａ、画素補間処理部１４ｂ、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタリング処理部１４ｅ、コアリング処理部１４ｆ、縮小処理部１４ｇおよび出力部１４ｈを備えている。色空間変換・色抑圧処理部１４ｄおよびコアリング処理部１４ｆを除く各ブロック１４ａ〜１４ｃ，１４ｅ，１４ｇはメイン・バス１０と接続されている。よって、画像データをブロック１４ａ〜１４ｈでシリアル（逐次的）に処理させてもよいし、メイン・バス１０に接続されたブロックのみで当該画像処理をし、その処理データをメイン・バス１０を介して転送してもよい。例えば、主メモリ２６に一時記憶された画像データをメイン・バス１０経由で画素補間処理部１４ｂに転送し、画素補間処理のみを施した画像データを再度、主メモリ２６に転送し格納することが可能である。
【００２３】
前記単一画素処理部１４ａは、入力する画像データを複数フレームもしくは複数フィールドに亘り平均化する経時的平均化処理と、１フレーム単位もしくは１フィールド単位のシェーディング処理との何れか一方を選択的に行う機能を有する。前記の経時的平均化処理は、画像撮像センサ１２から通常周期で読み出されアナログ信号処理回路１３で増幅されデジタル化された複数フレームもしくは複数フィールドの画像データを、累積加算または循環加算した後に、その加算値を加算回数で除算する平均化処理である。従来、被写体の露光量が足りない場合は、画像撮像センサ１２からの画素データの読出しを所定期間停止して、蓄積電荷量を十分に増大させた後に読出しパルスを印加し画素データを読み出していたが、これではノイズも増幅されてしまい映像Ｓ／Ｎ特性が低下するという問題があった。そこで、本実施の形態の経時的平均化処理では、画素データの読出しを通常周期で実行し、読出した複数フレームまたは複数フィールドに亘る画素データを蓄積して平均化する。これにより、映像Ｓ／Ｎ特性の低下を防止することが可能となる。単一画素処理部１４ａは累積加算と循環加算との何れか一方を選択して平均化処理を実行できる。その累積加算による平均化処理の概略は次の通りである。アナログ信号処理回路１３から入力する１番目フレームの画素データは主メモリ２６のバッファ領域に転送され格納される。次に入力する２番目フレームの画素データは、バッファ領域から読み出した１番目フレームの画素データと加算されバッファ領域に転送されて記憶内容を更新する。このように、入力するｉ番目（ｉ：３以上の整数）フレームの画素データとバッファ領域から読み出されたｉ−１番目の画素データとを加算しバッファ領域に転送し蓄積する加算処理（蓄積加算処理）が繰り返し実行される。その後、累積加算データはバッファ領域から読み出され、ＲＰＵ１４の他のブロックに出力される。他方、循環加算による平均化処理では、バッファ領域に蓄積される累積加算データのビット長の増大を防ぐべく、入力する画素データに比率αを乗算し、バッファ領域から読み出された画素データに比率β（＝単位長−α）を乗算して双方を加算した後、バッファ領域に転送し蓄積するという加算処理（循環加算処理）が繰り返し実行される。
【００２４】
また上記シェーディング処理は、画像の全体が平均的に一様な明るさになるように、各画素の輝度値などをゲイン調整することで実行される。尚、シェーディングとは、光学機構１１の中心部に対する周辺部の減光や、画像撮像センサ１２の受光感度の不均一に起因して生ずる、被写体画像の本来の輝度と映像信号との間の変換特性の不整合を意味しており、例えば、画像の周辺部が中心部に比べて暗くなるという輝度ムラとなって現れるものである。
【００２５】
上記画素補間処理部１４ｂは、前記単一画素処理部１４ａもしくはメイン・バス１０から入力する画素データを用いて、各画素毎に不足の色成分を補間する機能を有する。画像撮像センサ１２の感光部上に配設される単板式の色フィルタ・アレイには各種あるが、ベイヤー配列と称するものが多用されている。図３は、「Ｒ（赤色）」，「Ｇ（緑色）」，「Ｂ（青色）」の３原色系色フィルタのベイヤー配列の例を示す概略図である。図３に示す通り、単板の色フィルタ・アレイ４０は、太線枠で示した２×２画素の単位画素領域４１を繰り返し単位として複数個配列して構成される。単位画素領域４１は、２個のＧフィルタを対角に配置し、残るＲフィルタとＢフィルタとを対角に配置してなる。画素補間処理部１４ｂは、このような各色フィルタを透過した光の画素データ（色成分）を用いて各画素毎に不足の色成分を補間する。図３に示した例では、Ｒ成分のみをもつ注目画素４２ａについて補間する場合、画素４２ａに不足の色成分はＧ成分とＢ成分であるから、画素補間処理部１４ｂは当該画素４２ａの上下左右に隣接する４画素のＧ成分の平均値を算出し、当該画素４２ａの斜め四方に隣接する４画素のＢ成分の平均値を算出する。また、Ｇ成分のみをもつ画素４２ｂについて補間する場合、当該画素４２ｂに不足の色成分はＲ成分とＢ成分であるから、画素補間処理部１４ｂは当該画素４２ｂの左右に隣接する２画素のＲ成分の平均値を算出し、当該画素４２ｂの上下に隣接する２画素のＢ成分の平均値を算出する。また、Ｂ成分のみをもつ画素４２ｃについて補間する場合は、当該画素４２ｃの上下左右の４画素のＧ成分の平均値を算出し、当該画素４２ｃの斜め四方に隣接する４画素のＲ成分の平均値を算出する。このようにして各画素毎にＲ，Ｇ，Ｂの３色成分が創り出される。
【００２６】
また、上記の３原色系色フィルタの代わりに、「Ｙ（イエロー色）」、「Ｍ（マゼンダ色）」、「Ｃ（シアン色）」、「Ｇ（緑色）」のような補色系色フィルタを用いる場合もある。図４は、補色系色フィルタの配列例を示す概略図である。図４に示す通り、単板の色フィルタ・アレイ４３は、太線枠で示した単位画素領域４４を繰り返し単位として複数個配列して構成される。単位画素領域４４は、左上の画素に「Ｃ」、左下の画素に「Ｙ」、右上の画素に「Ｍ」、右下の画素に「Ｇ」を配置してなる。Ｃ成分のみをもつ注目画素４５ａについて補間する場合、当該画素４５ａの斜め四方に隣接する４画素のＧ成分の平均値を算出し、当該画素４５ａの左右に隣接する２画素のＭ成分の平均値を算出し、当該画素４５ａの上下に隣接する２画素のＹ成分の平均値を算出する。Ｍ成分のみをもつ画素４５ｂや、Ｇ成分のみをもつ画素４５ｃについての補間処理も同様に実行される。このようにして各画素毎に、Ｙ，Ｍ，Ｃ，Ｇの４色成分が創り出される。
【００２７】
次に、上記ガンマ補正処理部１４ｃはガンマ補正を実行する機能を有し、色空間変換・色抑圧処理部１４ｄは、原信号がカラー画像信号の場合に例えばＲＧＢ信号からＹＣｂＣｒ信号へ色空間を変換する色空間変換機能と、画像中の明部と暗部の色抑圧（クロマサプレス；偽色防止）を行う色抑圧機能とを有してる。色空間変換機能で変換先の色空間としては、ＹＣｂＣｒ色空間の他に、ＮＴＳＣ（National Television System Commitee）方式などで規定されているＹＵＶ色空間やＹＩＱ色空間などを採用しても構わない。また色抑圧機能では画像に現れる明部および暗部の発色を抑制することで自然な画質が得られる。一般に、画像に現れる暗部は様々なノイズの影響を受けやすい性質をもつため、暗部ではできるだけ発色を抑制することが自然な画質を出すことにつながる。一方、画像の現れる明部は当該明部を撮像した撮像素子やその他の種々のハードウェアの特性に応じて変調の影響を受け易い部分でありホワイトバランスが狂い易い部分であるため、出来るだけ発色を抑制することが自然な画質を出すことにつながる。これらを考慮して色抑圧機能は画像中の明部と暗部の発色を抑制する。
【００２８】
次に、上記空間フィルタリング処理部１４ｅは、画像データの５×５画素程度の局所領域に空間フィルタ（重みマスク）を適用し、重みマスクの係数値を対応する画素データに重み付け（乗算）し加算するという積和演算を実行する機能を有する。空間フィルタの係数値データは、空間フィルタリング処理を実行する際にＣＰＵ１７からキャッシュ（図示せず）に転送されて使用される。図５は、５×５画素の空間フィルタ５０を示す模式図であり、図６は、その空間フィルタ５０を適用された、２次元配列した画素５３，５３，…からなる入力画像データ５１を示す模式図である。図５に示す通り、空間フィルタ５０は、各画素値に重み付ける係数値Ｋ（０，０），Ｋ（０，１），…，Ｋ（４，４）を備えており、空間フィルタ５０が図６に示す入力画像データ５１の局所領域５２に適用された場合、局所領域５２中のｉ行ｊ列目（ｉ，ｊ：整数）の注目画素値ｇ（ｉ，ｊ）についてｉ行ｊ列目の出力画素値Ｏ（ｉ，ｊ）を出力する。ここで、出力画素値Ｏ（ｉ，ｊ）は次式（１）に従って算出される。
【００２９】
【数１】
【００３０】
上式（１）において、出力画素値Ｏ（ｉ，ｊ）に所定の補正値を加算してもよいし、出力画素値Ｏ（ｉ，ｊ）を２の巾乗値で除算して算術シフトさせてもよい。空間フィルタリング処理部１４ｅは、空間フィルタ５０を適用する５×５画素分の画素データをレジスタ（図示せず）に記憶しておき、レジスタから各画素値を選択的に読み出し、対応する係数Ｋ（ｍ，ｎ）と乗算させて加算し出力する。コアリング処理部１４ｆは、空間フィルタリング処理部１４ｅから出力された画像データに対して、高域成分が一定レベルを超えたときに一般的な非線形処理（コアリング）を施す。以上の空間フィルタリング処理部１４ｅとコアリング処理部１４ｆとで画像に含まれる雑音を低減されたり、線およびエッジ部分を強調する輪郭強調処理が実行されたりする。
【００３１】
次に、縮小処理部１４ｇは、ＣＰＵ１７から指定された縮小率βに基づいて入力する画像データのサイズを一般的なバイリニア法（線形補間法）などで縮小する機能を有する。例えば、縮小率βが０．５倍の値をもつ場合、縮小処理部１４ｇは入力する画像データの水平ライン数と水平画素数とをそれぞれ半分に解像度変換した画像データを出力する。
【００３２】
実施の形態１．
以上の構成を有するデジタル・スチル・カメラ１を用いた実施の形態１に係る解像度変換処理の例を図７〜図９を参照しつつ以下に詳説する。図７は、本実施の形態１に係る解像度変換処理の一例を示すフローチャート、図８は、その解像度変換処理を説明するための概略図、図９は、その解像度変換処理における処理データの流れを示すブロック図である。尚、説明の便宜上、画像撮像センサ１２から出力される画像データの画像サイズは４×４画素であるものとする。
【００３３】
先ず、ステップＳ１で、アナログ信号処理回路１３から、Ｒ，Ｇ，Ｂの３原色成分からなる原画像データがＲＰＵ１４の単一画素処理部１４ａに入力する。単一画素処理部１４ａは、上述した通り、単一画素単位で経時的平均化処理とシェーディング処理とを実行する。経時的平均化処理は、入力する複数フレームもしくは複数フィールドに亘る画素データを原画像データ・バッファ２６ａを用いて所定期間、累積加算もしくは循環加算するものである。アナログ信号処理回路１３から入力する画素データは、原画像データ・バッファ２６ａから読み出された画素データと累積加算または循環加算された後、原画像データ・バッファ２６ａにＤＭＡ転送され記憶内容を更新する。このように経時的平均化処理を施され原画像データ・バッファ２６ａに転送された画像データが、図８に示す原画像データ６０である。
【００３４】
次のステップＳ２で、単一画素処理部１４ａで処理を終えた画素データは原画像データ・バッファ２６ａから画素補間処理部１４ｂにＤＭＡ転送される。そして、画素補間処理部１４ｂは上述した通り、入力する画素データを用いて画素補間処理を実行して補間データを出力し、その補間データは補間データ・バッファ２６ｂにＤＭＡ転送される。図８に示すように、画素補間を施され補間データ・バッファ２６ｂに格納された補間データ６１は、各画素に対応するＲ，Ｇ，Ｂの３色成分を有し、Ｒ成分のみのＲフィールド６１ａ、Ｇ成分のみのＧフィールド６１ｂおよびＢ成分のみのＢフィールド６１ｃで構成されている。
【００３５】
次のステップＳ３で、前記補間データ６１は、画像撮像センサ１２における単板式の色フィルタ配列と略一致するように各色成分を再配列されて読み出され、画素補間処理部１４ｂへＤＭＡ転送される。ここで、ＤＭＡコントローラ２４の制御により補間データ６１を画素補間処理部１４ｂへＤＭＡ転送する代わりに、ＣＰＵ１７の制御により補間データ６１を画素補間処理部１４ｂへ転送してもよい。このように、同一の空間的位置（画素）をもつ３色成分は、補間データ・バッファ２６ｂから読み出される際に互いに分離され、それら３色成分は各画素に割り当てられるように再配列される。よって、図８に示すように再配列後の画像データ６２では、Ｒフィールド６１ａの０行０列目のＲ成分は、２×２画素の単位画素領域６２ａ内の０行０列目に空間的位置（光学的位置）を定められ、Ｇフィールド６１ｂの０行０列目のＧ成分は、単位画素領域６２ａ内の０行１列目に空間的位置を定められ、そしてＢフィールド６１ｃの０行０列目のＢ成分は、単位画素領域６２ａ内の１行１列目に空間的位置を定められる。但し、単位画素領域６２ａ内の１行０列目のＸ成分は何れの色成分も配置されないものである。同一の空間的位置をもつ３色成分を２×２画素に再配列し、各色成分の空間的位置を元の位置から移動させているから、解像度の低下を避けることができない。そこで、その解像度の低下を低減する目的で、上記Ｘ成分の位置には敢えて何れの色成分も配置されていない。このようにして、原画像データ６０を水平方向と垂直方向とにそれぞれ画素数を２倍に解像度変換（拡大）された画像データ６２が画素補間処理部１４ｂに入力する。
【００３６】
次のステップＳ４で、画素補間処理部１４ｂで次に実行する画素補間処理が最後か否かが判定される。当該画素補間処理が最後の場合、ステップＳ５で、画素補間処理部１４ｂは入力する画像データ６２について上記ステップＳ２と略同様の手順で第２回目の画素補間を実行し、その補間データをガンマ補正処理部１４ｃに順次出力する。但し、Ｘ成分は何れの色成分をもたないため不足の３色成分を補間する必要がある。例えば、Ｘ成分の上下に隣接する２画素のＲ成分の平均値を算出してＲ成分を補間し、当該Ｘ成分の左右に隣接する２画素のＢ成分の平均値を算出してＢ成分を補間し、当該Ｘ成分の斜め四方に隣接する４画素のＧ成分の平均値を算出してＧ成分を補間することができる。このように、図８に示すように画素補間によりサイズが拡大した補間データ６３は、各画素に対応するＲ，Ｇ，Ｂの３色成分を有し、Ｒ成分のみのＲフィールド６３ａ、Ｇ成分のみのＧフィールド６３ｂおよびＢ成分のみのＢフィールド６３ｃで構成されている。
【００３７】
他方、上記ステップＳ４で当該画素補間処理が最後でない旨が判定された場合は、ステップＳ６で、前記ステップＳ５と同様に画素補間処理部１４ｂは入力する画像データ６２について第２回目の画素補間を実行して補間データを出力し、その補間データはメイン・バス１０を介して主メモリ２６の補間データ・バッファ２６ｂにＤＭＡ転送され記憶内容を更新する。次いで、上記ステップＳ４で当該画素補間処理が最後である旨が判定される迄、上記ステップＳ３，Ｓ４，Ｓ６の処理が繰り返し実行される。その繰り返し回数がｎ回（ｎ：整数）の場合、画素補間処理部１４ｂからガンマ補正処理部１４ｃに出力される画像データのサイズは拡大率２n（＝α）倍に解像度変換されることとなる。
【００３８】
次のステップＳ７で、上記画素補間処理部１４ｂから出力された画像データは、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタリング処理部１４ｅ、コアリング処理部１４ｆおよび縮小処理部１４ｇで逐次的に処理された後、出力部１４ｈからメイン・バス１０に転送され、処理データ・バッファ２６ｃに書き出される。ここで、縮小処理部１４ｇは、上述したようにＣＰＵ１７から指定された縮小率βに基づいて画像サイズを縮小できる。よって、例えば、原画像データ６０の画像サイズを１．５倍に拡大したい場合、上記ステップＳ３，Ｓ４，Ｓ６を１回実行して原画像データ６０のサイズを２倍に拡大した後、前記ステップＳ７でその縮小率βを０．７５倍に設定すればよい。これにより原画像データ６０は２．０×０．７５＝１．５倍に拡大される。
【００３９】
次のステップＳ８で、ＣＰＵ１７は処理データ・バッファ２６ｃに格納された画像データを読み出し、主メモリ２６に設けた一時記憶データ・バッファ２６ｄを利用して圧縮符号化などした後に、外部インターフェース２８を介して外部機器に出力させる。
【００４０】
以上の実施の形態１によれば、画素補間処理部１４ｂで画素補間を施された補間データの色成分を再配列し、再度、画素補間処理部１４ｂで画素補間することをｎ回繰り返し実行するため、原画像データ６０の画像サイズを２n倍に解像度変換（拡大）することが可能となる。その解像度変換はハードウェア構成の画素補間処理部１４ｂを用いて実行されることから、ソフトウェア処理で画像拡大処理を行う場合と比べて演算速度が大幅に向上する。また画像拡大用の回路構成をＲＰＵ１４内に設ける必要が無いため低コストの画像拡大機能を実現することが可能である。更に、縮小処理部１４ｇにおいて任意の縮小率βで画像を縮小できることから、画像の拡大率α（＝２n倍）と縮小率βとを組み合わせることで、任意の拡大率γ＝α・βで画像を拡大することが可能となる。
【００４１】
実施の形態２．
次に、図１０，１１を参照しつつ、本発明の実施の形態２に係る解像度変換処理について説明する。図１０は、本実施の形態２に係る解像度変換処理の一例を示すフローチャート、図１１は、本実施の形態２に係る解像度変換処理における処理データの流れを示すブロック図である。尚、図１０中、図７と同じステップ番号を付したブロックでは上記と略同一処理が実行されるものとして、その詳細な説明を省略する。
【００４２】
先ず、ステップＳ１〜Ｓ３の処理は、上記実施の形態１における処理と同じである。すなわち、ステップＳ１では、単一画素処理部１４ａは入力する原画像データに対して単一画素単位で経時的平均化処理とシェーディング処理とを実行しその処理データを出力する。出力されたその処理データは主メモリ２６の原画像データ・バッファ２６ａにＤＭＡ転送され格納される。続くステップＳ２では、原画像データ・バッファ２６ａから転送された原画像データ６０に対して画素補間処理を施すことで、各画素に対応する３色成分を有する補間データ６１が生成される。そしてステップＳ３で、その補間データ６１の各色成分は再配列されて、補間データ・バッファ２６ｂから画素補間処理部１４ｂに転送される。
【００４３】
次のステップＳ１０では、画素補間処理部１４ｂは入力する各色成分の画素データを用いて第２回目の画素補間処理を行い、その補間データを、再度、前記補間データ・バッファ２６ｂにＤＭＡ転送させる。これにより、補間データ・バッファ２６ｂは、画像サイズが２倍に解像度変換された補間データを格納することになる。
【００４４】
次のステップＳ１１で、補間データ・バッファ２６ｂに格納された補間データは、空間フィルタリング処理部１４ｅにＤＭＡ転送される。そして、空間フィルタリング処理部１４ｅは、各色成分に対応した空間フィルタ（重みマスク）を用いて、入力する補間データの色ずれを補正し、その補正データを補間データ・バッファ２６ｂにＤＭＡ転送させる。図１２は、色ずれ補正用の空間フィルタの例を示す概略図である。同図（ａ）はＧ成分補正用の空間フィルタ５０Ｇ、同図（ｂ）はＢ成分補正用の空間フィルタ５０Ｂを示してる。上記した通り、上記ステップＳ３において同一の空間的位置（光学的位置）にあった３色成分は再配列により互いに異なる空間的位置に分離される。すなわち、図８に示すように、Ｒ成分は２×２画素の単位画素領域６２ａの０行０列目に、Ｇ成分は単位画素領域６２ａの０行１列目に、Ｂ成分は単位画素領域６２ａの１行１列目に配置される。その結果、そのＧ成分は、Ｒ成分に対して水平方向に１画素ずれた位置に配置され、そのＢ成分はＲ成分に対して水平方向に１画素および垂直方向に１画素ずれた位置に配置される。それら色ずれを補正するため、空間フィルタ５０ＢはＢ成分の空間的位置を水平方向にマイナス１画素分移動させるフィルタであり、空間フィルタ５０Ｂの係数Ｋ（２，３）は単数（＝１）、それ以外の係数Ｋ（ｉ，ｊ）は全て零値である。また空間フィルタ５０ＧはＧ成分の空間的位置を垂直方向にマイナス１画素分且つ水平方向にマイナス１画素分、Ｒ成分の空間的位置に対して相対移動させるフィルタであり、空間フィルタ５０Ｇの係数Ｋ（３，３）は単数（＝１）、それ以外の係数Ｋ（ｉ，ｊ）は全て零値となる。
【００４５】
上記ステップＳ１１の後のステップＳ１２では、再度の画素補間処理を実行するか否かが判定され、その画素補間処理を実行する場合は、上記ステップＳ３に処理が戻り、その再度の画素補間処理を実行しないと判定される迄、上記ステップＳ３，Ｓ１０，Ｓ１１の処理がｎ回（ｎ：自然数）繰り返し実行される。
【００４６】
このようにして画像サイズを２n倍に解像度変換され色ずれを補正された画像データを補間データ・バッファ２６ｂに格納後、ステップＳ１３では、その画像データはガンマ補正処理部１４ｃにＤＭＡ転送され、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタリング処理部１４ｅ、コアリング処理部１４ｆおよび縮小処理部１４ｇで逐次的に処理された後、出力部１４ｈからメイン・バス１０に転送され、処理データ・バッファ２６ｃに書き出される。ステップＳ８では、上記実施の形態１と同様に、ＣＰＵ１７は処理データ・バッファ２６ｃに格納された画像データを読出し、一時記憶データ・バッファ２６ｄを利用して圧縮符号化などした後に、外部インターフェース２８を介して外部機器に出力させる。
【００４７】
このように本実施の形態２によれば、上記ステップＳ１１において、上記ステップＳ３，Ｓ１０で色成分を再配列され画素補間を施された画像データの色ずれを空間フィルタを用いて補正するから、色成分の再配列による解像度の低下を防止し高解像度の拡大画像を得ることが可能となる。
【００４８】
【発明の効果】
以上の如く、本発明の請求項１に係る解像度変換方法および請求項７に係る解像度変換装置によれば、不足の色成分を画素補間する画素補間法を利用して原画像データの画像サイズを拡大できることから、従来のバイリニア法やバイキュービック法などを用いた処理負荷の大きい画像拡大機能が不要となり、処理時間を大幅に短縮化することが可能となる。また、既存の画素補間回路を転用して画像を拡大できるため、専用の画像拡大機能を回路中に組み込む必要が無く、回路全体の電力消費量を低減できると共に回路の製作コストを低く抑えることが可能となる。
【００４９】
請求項２によれば、色成分の再配列を１回実行したときの画像サイズの拡大率をδで表せば、上記工程（ｂ），（ｃ）をｎ回実行することで、原画像データの画像サイズをδn倍に拡大することが可能となる。また請求項８でも、請求項２と同様に、色成分を再配列された前記画像データを上記画素補間部にｎ回転送することで、原画像データの画像サイズをδn倍に拡大できる。
【００５０】
請求項３および請求項９によれば、色成分を再配列することで発生する色ずれを補正でき、高い解像度をもつ拡大画像を得ることが可能となる。また、本請求項の解像度変換方法を実行するには、輪郭強調などに使用する空間フィルタを転用すれば足りるため、色ずれ防止用の空間フィルタを回路中に設ける必要が無く、回路全体の電力消費量を低減できると共に回路の製作コストを低く抑えることが可能となる。
【００５１】
請求項４および請求項１０によれば、色ずれを補正された高解像度の拡大画像を得ることが可能となる。
【００５２】
請求項５および請求項１１によれば、同一の空間的位置をもつ３色成分を上記単位画素領域の４画素に割り当てると色ずれが拡大するため、上記単位画素領域の１画素に何れの色成分も割り当てないことで解像度の低下を防ぐことができる。
【００５３】
請求項６および請求項１２によれば、例えば、画像サイズの縮小率がβ倍（０≦β＜１）で、上記色成分の再配列による画像の拡大率がδn倍（δ＞１）のとき、拡大率δnと縮小率βとを組み合わせることで原画像データを任意の拡大率γ＝δn・βで拡大することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る解像度変換装置を搭載したデジタル・スチル・カメラの全体構成を示す機能ブロック図である。
【図２】本実施の形態に係るＲＰＵ（リアルタイム・プロセッシング・ユニット）の概略構成を示す機能ブロック図である。
【図３】３原色系色フィルタのベイヤー配列の例を示す概略図である。
【図４】補色系色フィルタの配列例を示す概略図である。
【図５】空間フィルタを示す模式図である。
【図６】空間フィルタを適用された入力画像データを示す模式図である。
【図７】本発明の実施の形態１に係る解像度変換処理の一例を示すフローチャートである。
【図８】実施の形態１に係る解像度変換処理を説明するための概略図である。
【図９】実施の形態１に係る解像度変換処理における処理データの流れを示すブロック図である。
【図１０】本発明の実施の形態２に係る解像度変換処理の一例を示すフローチャートである。
【図１１】実施の形態２に係る解像度変換処理における処理データの流れを示すブロック図である。
【図１２】実施の形態２で用いる空間フィルタの例を示す概略図であり、（ａ）はＧ成分用の空間フィルタ、（ｂ）はＢ成分用の空間フィルタを示す図である。
【符号の説明】
１ デジタル・スチル・カメラ
１０ メイン・バス
１１ 光学機構
１２ 画像撮像センサ
１３ アナログ信号処理回路
１４ ＲＰＵ
１４ａ 単一画素処理部
１４ｂ 画素補間処理部
１４ｃ ガンマ補正処理部
１４ｄ 色空間変換・色抑圧処理部
１４ｅ 空間フィルタリング処理部
１４ｆ コアリング処理部
１４ｇ 縮小処理部
１４ｈ 出力部
【発明の属する技術分野】
本発明は、デジタル画像処理で画像を拡大する解像度変換方法および解像度変換装置に関する。
【０００２】
【従来の技術】
一般に、デジタル・ビデオ・カメラやデジタル・スチル・カメラなどの撮像デバイスでは、レンズ群やプリズムなどからなる光学系を透過した光はＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され画像信号に変換される。その画像信号はデジタル信号（原画像データ）にＡ／Ｄ変換された後に、画素補間、色空間変換、輪郭強調および解像度変換などの種々の画像処理を施され、液晶表示装置（ファインダー）などで表示される。また撮像デバイスの中には、その画像処理を施した画像データを、ＪＰＥＧ（Joint Photographic Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Moving Picture Experts Group）などの方式で圧縮符号化した後に不揮発性メモリなどのメモリカードに書き出したり、インターフェースを介してパーソナル・コンピュータなどの外部機器に出力したりする機能を有するものもある。
【０００３】
ファインダーに表示される画像の表示倍率を変更するには、結像位置を変えることなく光学系の焦点距離を物理的に変化させる方法と、画像データを画像処理で解像度変換する方法とが知られている。一般に、ベイヤー方式に代表される単板式の色フィルタ・アレイを備えた撮像デバイスでは、撮像した原画像データは、各画素毎に不足の色成分を補うべく画素補間処理を施される。またその画素補間処理は主にハードウェアで迅速に実行される。その後、画像を拡大するために、画素補間後の画像データは解像度変換を施される。解像度変換方法としては、原画像データの複数の画素データの重み付け平均値を算出する内分点補間方法（バイリニア法）や、原画像データの画素データとｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）との折り畳み演算値を算出する３次折り畳み補間方法（バイキュービック法）などが採用されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のバイリニア法やバイキュービック法などを採用した画像拡大機能はソフトウェアで実現されることが多く、ソフトウェア処理は、演算時間が長大化しマイクロプロセッサの負荷が多大になるという欠点をもつ。デジタル・スチル・カメラではその演算時間の長大化により、撮影間隔が開いて撮影タイミングを逸したり、連続撮影枚数が制限されたりする事態が発生する。他方、その演算時間の短縮化や処理負荷の低減のためにその画像拡大機能をハードウェアで実現しようとすれば、回路規模やデータ・ストリームの量が大きくなり過ぎ、回路の低コスト化が難しくなるという問題が生ずる。
【０００５】
以上の問題に鑑みて本発明が解決しようとするところは、画像拡大機能をハードウェアで実現しても回路規模が小さくて済み且つ高速に画像拡大処理を実行し得る解像度変換方法および解像度変換装置を提供する点にある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、各画素に単色成分をもつカラー原画像データの画像サイズを拡大する解像度変換方法であって、（ａ）入力する画像データに対して各画素毎に不足の色成分を画素補間することで、各画素毎に複数の色成分をもつ補間データを生成する工程と、（ｂ）前記補間データにおける各画素の前記複数の色成分を再配列し、当該複数の色成分の各々を１画素に対応付けた画像データを生成する工程と、（ｃ）前記工程（ｂ）で生成された前記画像データに対して前記工程（ａ）を再度実行して補間データを生成する工程と、を備えることを特徴とするものである。
【０００７】
請求項２に係る発明は、請求項１記載の解像度変換方法であって、前記工程（ｂ）における前記補間データとして、前記工程（ｃ）で生成された前記補間データを用いて前記色成分を再配列し、前記工程（ｂ）および前記工程（ｃ）を繰り返し実行するものである。
【０００８】
請求項３に係る発明は、請求項１または２記載の解像度変換方法であって、（ｄ）前記工程（ｃ）で生成された前記補間データに対して、前記工程（ｂ）で再配列された前記複数の色成分の空間的位置を、当該複数の色成分の中の１色成分の空間的位置に一致させるように相対移動させる空間フィルタリング処理を実行する工程、を備えるものである。
【０００９】
請求項４に係る発明は、請求項３記載の解像度変換方法であって、前記工程（ｂ）における前記補間データとして、前記工程（ｄ）で生成された前記補間データを用いて前記色成分を再配列し、前記工程（ｂ）〜（ｄ）を繰り返し実行するものである。
【００１０】
請求項５に係る発明は、請求項１〜４の何れか１項に記載の解像度変換方法であって 前記工程（ｂ）において、前記工程（ａ）で各画素毎に補間された３色成分を、水平方向に２画素および垂直方向に２画素からなる単位画素領域の３画素に１対１で割り当て且つ前記単位画素領域の１画素には何れの色成分も割り当てないものである。
【００１１】
請求項６に係る発明は、請求項１〜５の何れか１項に記載の解像度変換方法であって、（ｅ）前記工程（ｃ）で生成された前記補間データもしくは前記工程（ｄ）で空間フィルタリング処理を施された補間データの画像サイズを縮小する工程、を備えるものである。
【００１２】
請求項７に係る発明は、各画素に単色成分をもつカラー原画像データの画像サイズを拡大する解像度変換装置であって、入力する画像データに対して各画素毎に不足の色成分を画素補間することで、各画素毎に複数の色成分をもつ補間データを生成し出力する画素補間部と、前記画素補間部から出力された前記補間データにおける前記複数の色成分を再配列し、当該複数の色成分の各々を１画素に対応付けた画像データを生成し前記画素補間部に転送させるデータ転送制御部と、を備えることを特徴とするものである。
【００１３】
請求項８に係る発明は、請求項７記載の解像度変換装置であって、前記データ転送制御部は、前記色成分を再配列した前記画像データを繰り返し画素補間部に転送するものである。
【００１４】
請求項９に係る発明は、請求項７または８記載の解像度変換装置であって、前記色成分を再配列され且つ前記画素補間部で画素補間された補間データに対して、再配列された前記複数の色成分の空間的位置を、当該複数の色成分の中の１色成分の空間的位置に一致させるように相対移動させる空間フィルタリング処理を実行する空間フィルタリング処理部、を備えるものである。
【００１５】
請求項１０に係る発明は、請求項９記載の解像度変換装置であって、前記データ転送制御部は、前記空間フィルタリング処理部から出力された補正データを前記画素補間部に繰り返し転送するものである。
【００１６】
請求項１１に係る発明は、請求項７〜１０の何れか１項に記載の解像度変換装置であって、前記原画像データが３色成分からなり、前記データ転送制御部は、前記画素補間部で各画素毎に補間された３色成分を、水平方向に２画素および垂直方向に２画素からなる単位画素領域の３画素に１対１で割り当て且つ前記単位画素領域の１画素には何れの色成分も割り当てずに前記色成分を再配列した画像データを生成するものである。
【００１７】
請求項１２に係る発明は、請求項７〜１１の何れか１項に記載の解像度変換装置であって、前記画素補間部で生成された前記補間データもしくは前記空間フィルタリング処理部から出力された前記補正データの画像サイズを縮小する縮小処理部、を備えるものである。
【００１８】
【発明の実施の形態】
図１は、本発明の実施の形態に係る解像度変換機能を備えたデジタル・スチル・カメラ１の全体構成を示す機能ブロック図である。このデジタル・スチル・カメラ１は、ＡＦ（オート・フォーカス）機能や自動露出調節機能などを備えた光学機構１１を有しており、この光学機構１１を通して入射した被写体画像の光がＣＣＤからなる画像撮像センサ１２で検出される。また被写体を撮影するタイミングと同期するように光量を調節された光をストロボ（閃光装置）３０から発して被写体に照射することができる。アナログ信号処理回路１３は、画像撮像センサ１２から出力された被写体の画像信号をデジタル化して得られる原画像データをＲＰＵ（リアルタイム・プロセッシング・ユニット）１４に出力する。ＲＰＵ１４は入力する原画像データに対して、後述する画素補間や色空間変換などの画像処理をリアルタイムに実行する機能を有する。また上記アナログ信号処理回路１３とＲＰＵ１４は、それぞれメイン・バス１０と接続されており、アナログ信号処理回路１３から出力される原画像データをＲＰＵ１４に入力させずに、メイン・バス１０を介して主メモリ２６に転送させ一時記憶させることができる。
【００１９】
またＲＰＵ１４から出力された画像データは主メモリ２６のバッファ領域に転送されて一時記憶されたり、メイン・バス１０を介してディスプレイ・モジュール２０に転送されＬＣＤ（液晶表示装置）２３に表示されたりする。尚、同図中、符号２１はデジタル・エンコーダ、２２はＬＣＤ駆動回路２２を示している。またそのバッファ領域に記憶された画像データは、ＣＰＵ１７やＤＭＡ（ダイレクト・メモリ・アクセス）コントローラ２４の制御により読み出され、メイン・バス１０を介して圧縮処理部２５に転送されＪＰＥＧやＭＰＥＧなどの方式で圧縮符号化された後に、インターフェース２７Ａに転送され不揮発性メモリからなるメモリ・カード２７に格納できる。また圧縮処理部２５で圧縮符号化された画像データを外部インターフェース２８に転送し、この外部インターフェース２８と接続された外部の表示装置やコンピュータなどに転送することも可能である。
【００２０】
尚、図１中、符号１５は画像撮像センサ１２を駆動する駆動回路、符号１６はＲＰＵ１４および駆動回路１５などの動作タイミングを規律するタイミング・ジェネレータ、符号１８はＰＬＬ発信回路、符号１９はＣＰＵ１７の補助演算を実行するコプロセッサを示している。またクロック・ジェネレータ２９は、ＰＬＬ発信回路１８から供給されるクロック信号を逓倍もしくは分周することで、ＲＰＵ１４、タイミング・ジェネレータ１６、ＣＰＵ１７およびデジタル・エンコーダ２１などの全モジュールの駆動クロック信号を生成する。
【００２１】
上記画像撮像センサ（ＣＣＤ撮像センサ）１２は、光電効果で発生したキャリア（電子またはホール）をポテンシャル井戸に蓄積する電荷蓄積部と、蓄積されたキャリアに電界を印加して転送するように制御する電荷転送部とを備える一般的なものである。画像撮像センサ１２としては、画素を構成するラインのうち偶数番目ラインからなるフィールド（偶数フィールド）と奇数番目ラインからなるフィールド（奇数フィールド）とから交互に画素データを読み出されるインターレース（飛越し走査）タイプのものと、ライン順次に画素データを読み出されるプログレッシブ（順次走査）タイプのものとの何れが使用される。尚、本実施の形態では、画像撮像センサ１２としてＣＣＤ撮像センサを採用するが、これに限らず、電荷転送部をもたないＣＭＯＳ撮像センサを採用してもよい。後述するように画像撮像センサ１２の感光部上には単板式の色フィルタ・アレイが配設されている。
【００２２】
図２は、上記ＲＰＵ１４の概略構成を示す機能ブロック図である。ＲＰＵ１４は集積回路化されており、単一画素処理部１４ａ、画素補間処理部１４ｂ、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタリング処理部１４ｅ、コアリング処理部１４ｆ、縮小処理部１４ｇおよび出力部１４ｈを備えている。色空間変換・色抑圧処理部１４ｄおよびコアリング処理部１４ｆを除く各ブロック１４ａ〜１４ｃ，１４ｅ，１４ｇはメイン・バス１０と接続されている。よって、画像データをブロック１４ａ〜１４ｈでシリアル（逐次的）に処理させてもよいし、メイン・バス１０に接続されたブロックのみで当該画像処理をし、その処理データをメイン・バス１０を介して転送してもよい。例えば、主メモリ２６に一時記憶された画像データをメイン・バス１０経由で画素補間処理部１４ｂに転送し、画素補間処理のみを施した画像データを再度、主メモリ２６に転送し格納することが可能である。
【００２３】
前記単一画素処理部１４ａは、入力する画像データを複数フレームもしくは複数フィールドに亘り平均化する経時的平均化処理と、１フレーム単位もしくは１フィールド単位のシェーディング処理との何れか一方を選択的に行う機能を有する。前記の経時的平均化処理は、画像撮像センサ１２から通常周期で読み出されアナログ信号処理回路１３で増幅されデジタル化された複数フレームもしくは複数フィールドの画像データを、累積加算または循環加算した後に、その加算値を加算回数で除算する平均化処理である。従来、被写体の露光量が足りない場合は、画像撮像センサ１２からの画素データの読出しを所定期間停止して、蓄積電荷量を十分に増大させた後に読出しパルスを印加し画素データを読み出していたが、これではノイズも増幅されてしまい映像Ｓ／Ｎ特性が低下するという問題があった。そこで、本実施の形態の経時的平均化処理では、画素データの読出しを通常周期で実行し、読出した複数フレームまたは複数フィールドに亘る画素データを蓄積して平均化する。これにより、映像Ｓ／Ｎ特性の低下を防止することが可能となる。単一画素処理部１４ａは累積加算と循環加算との何れか一方を選択して平均化処理を実行できる。その累積加算による平均化処理の概略は次の通りである。アナログ信号処理回路１３から入力する１番目フレームの画素データは主メモリ２６のバッファ領域に転送され格納される。次に入力する２番目フレームの画素データは、バッファ領域から読み出した１番目フレームの画素データと加算されバッファ領域に転送されて記憶内容を更新する。このように、入力するｉ番目（ｉ：３以上の整数）フレームの画素データとバッファ領域から読み出されたｉ−１番目の画素データとを加算しバッファ領域に転送し蓄積する加算処理（蓄積加算処理）が繰り返し実行される。その後、累積加算データはバッファ領域から読み出され、ＲＰＵ１４の他のブロックに出力される。他方、循環加算による平均化処理では、バッファ領域に蓄積される累積加算データのビット長の増大を防ぐべく、入力する画素データに比率αを乗算し、バッファ領域から読み出された画素データに比率β（＝単位長−α）を乗算して双方を加算した後、バッファ領域に転送し蓄積するという加算処理（循環加算処理）が繰り返し実行される。
【００２４】
また上記シェーディング処理は、画像の全体が平均的に一様な明るさになるように、各画素の輝度値などをゲイン調整することで実行される。尚、シェーディングとは、光学機構１１の中心部に対する周辺部の減光や、画像撮像センサ１２の受光感度の不均一に起因して生ずる、被写体画像の本来の輝度と映像信号との間の変換特性の不整合を意味しており、例えば、画像の周辺部が中心部に比べて暗くなるという輝度ムラとなって現れるものである。
【００２５】
上記画素補間処理部１４ｂは、前記単一画素処理部１４ａもしくはメイン・バス１０から入力する画素データを用いて、各画素毎に不足の色成分を補間する機能を有する。画像撮像センサ１２の感光部上に配設される単板式の色フィルタ・アレイには各種あるが、ベイヤー配列と称するものが多用されている。図３は、「Ｒ（赤色）」，「Ｇ（緑色）」，「Ｂ（青色）」の３原色系色フィルタのベイヤー配列の例を示す概略図である。図３に示す通り、単板の色フィルタ・アレイ４０は、太線枠で示した２×２画素の単位画素領域４１を繰り返し単位として複数個配列して構成される。単位画素領域４１は、２個のＧフィルタを対角に配置し、残るＲフィルタとＢフィルタとを対角に配置してなる。画素補間処理部１４ｂは、このような各色フィルタを透過した光の画素データ（色成分）を用いて各画素毎に不足の色成分を補間する。図３に示した例では、Ｒ成分のみをもつ注目画素４２ａについて補間する場合、画素４２ａに不足の色成分はＧ成分とＢ成分であるから、画素補間処理部１４ｂは当該画素４２ａの上下左右に隣接する４画素のＧ成分の平均値を算出し、当該画素４２ａの斜め四方に隣接する４画素のＢ成分の平均値を算出する。また、Ｇ成分のみをもつ画素４２ｂについて補間する場合、当該画素４２ｂに不足の色成分はＲ成分とＢ成分であるから、画素補間処理部１４ｂは当該画素４２ｂの左右に隣接する２画素のＲ成分の平均値を算出し、当該画素４２ｂの上下に隣接する２画素のＢ成分の平均値を算出する。また、Ｂ成分のみをもつ画素４２ｃについて補間する場合は、当該画素４２ｃの上下左右の４画素のＧ成分の平均値を算出し、当該画素４２ｃの斜め四方に隣接する４画素のＲ成分の平均値を算出する。このようにして各画素毎にＲ，Ｇ，Ｂの３色成分が創り出される。
【００２６】
また、上記の３原色系色フィルタの代わりに、「Ｙ（イエロー色）」、「Ｍ（マゼンダ色）」、「Ｃ（シアン色）」、「Ｇ（緑色）」のような補色系色フィルタを用いる場合もある。図４は、補色系色フィルタの配列例を示す概略図である。図４に示す通り、単板の色フィルタ・アレイ４３は、太線枠で示した単位画素領域４４を繰り返し単位として複数個配列して構成される。単位画素領域４４は、左上の画素に「Ｃ」、左下の画素に「Ｙ」、右上の画素に「Ｍ」、右下の画素に「Ｇ」を配置してなる。Ｃ成分のみをもつ注目画素４５ａについて補間する場合、当該画素４５ａの斜め四方に隣接する４画素のＧ成分の平均値を算出し、当該画素４５ａの左右に隣接する２画素のＭ成分の平均値を算出し、当該画素４５ａの上下に隣接する２画素のＹ成分の平均値を算出する。Ｍ成分のみをもつ画素４５ｂや、Ｇ成分のみをもつ画素４５ｃについての補間処理も同様に実行される。このようにして各画素毎に、Ｙ，Ｍ，Ｃ，Ｇの４色成分が創り出される。
【００２７】
次に、上記ガンマ補正処理部１４ｃはガンマ補正を実行する機能を有し、色空間変換・色抑圧処理部１４ｄは、原信号がカラー画像信号の場合に例えばＲＧＢ信号からＹＣｂＣｒ信号へ色空間を変換する色空間変換機能と、画像中の明部と暗部の色抑圧（クロマサプレス；偽色防止）を行う色抑圧機能とを有してる。色空間変換機能で変換先の色空間としては、ＹＣｂＣｒ色空間の他に、ＮＴＳＣ（National Television System Commitee）方式などで規定されているＹＵＶ色空間やＹＩＱ色空間などを採用しても構わない。また色抑圧機能では画像に現れる明部および暗部の発色を抑制することで自然な画質が得られる。一般に、画像に現れる暗部は様々なノイズの影響を受けやすい性質をもつため、暗部ではできるだけ発色を抑制することが自然な画質を出すことにつながる。一方、画像の現れる明部は当該明部を撮像した撮像素子やその他の種々のハードウェアの特性に応じて変調の影響を受け易い部分でありホワイトバランスが狂い易い部分であるため、出来るだけ発色を抑制することが自然な画質を出すことにつながる。これらを考慮して色抑圧機能は画像中の明部と暗部の発色を抑制する。
【００２８】
次に、上記空間フィルタリング処理部１４ｅは、画像データの５×５画素程度の局所領域に空間フィルタ（重みマスク）を適用し、重みマスクの係数値を対応する画素データに重み付け（乗算）し加算するという積和演算を実行する機能を有する。空間フィルタの係数値データは、空間フィルタリング処理を実行する際にＣＰＵ１７からキャッシュ（図示せず）に転送されて使用される。図５は、５×５画素の空間フィルタ５０を示す模式図であり、図６は、その空間フィルタ５０を適用された、２次元配列した画素５３，５３，…からなる入力画像データ５１を示す模式図である。図５に示す通り、空間フィルタ５０は、各画素値に重み付ける係数値Ｋ（０，０），Ｋ（０，１），…，Ｋ（４，４）を備えており、空間フィルタ５０が図６に示す入力画像データ５１の局所領域５２に適用された場合、局所領域５２中のｉ行ｊ列目（ｉ，ｊ：整数）の注目画素値ｇ（ｉ，ｊ）についてｉ行ｊ列目の出力画素値Ｏ（ｉ，ｊ）を出力する。ここで、出力画素値Ｏ（ｉ，ｊ）は次式（１）に従って算出される。
【００２９】
【数１】
上式（１）において、出力画素値Ｏ（ｉ，ｊ）に所定の補正値を加算してもよいし、出力画素値Ｏ（ｉ，ｊ）を２の巾乗値で除算して算術シフトさせてもよい。空間フィルタリング処理部１４ｅは、空間フィルタ５０を適用する５×５画素分の画素データをレジスタ（図示せず）に記憶しておき、レジスタから各画素値を選択的に読み出し、対応する係数Ｋ（ｍ，ｎ）と乗算させて加算し出力する。コアリング処理部１４ｆは、空間フィルタリング処理部１４ｅから出力された画像データに対して、高域成分が一定レベルを超えたときに一般的な非線形処理（コアリング）を施す。以上の空間フィルタリング処理部１４ｅとコアリング処理部１４ｆとで画像に含まれる雑音を低減されたり、線およびエッジ部分を強調する輪郭強調処理が実行されたりする。
【００３１】
次に、縮小処理部１４ｇは、ＣＰＵ１７から指定された縮小率βに基づいて入力する画像データのサイズを一般的なバイリニア法（線形補間法）などで縮小する機能を有する。例えば、縮小率βが０．５倍の値をもつ場合、縮小処理部１４ｇは入力する画像データの水平ライン数と水平画素数とをそれぞれ半分に解像度変換した画像データを出力する。
【００３２】
実施の形態１．
以上の構成を有するデジタル・スチル・カメラ１を用いた実施の形態１に係る解像度変換処理の例を図７〜図９を参照しつつ以下に詳説する。図７は、本実施の形態１に係る解像度変換処理の一例を示すフローチャート、図８は、その解像度変換処理を説明するための概略図、図９は、その解像度変換処理における処理データの流れを示すブロック図である。尚、説明の便宜上、画像撮像センサ１２から出力される画像データの画像サイズは４×４画素であるものとする。
【００３３】
先ず、ステップＳ１で、アナログ信号処理回路１３から、Ｒ，Ｇ，Ｂの３原色成分からなる原画像データがＲＰＵ１４の単一画素処理部１４ａに入力する。単一画素処理部１４ａは、上述した通り、単一画素単位で経時的平均化処理とシェーディング処理とを実行する。経時的平均化処理は、入力する複数フレームもしくは複数フィールドに亘る画素データを原画像データ・バッファ２６ａを用いて所定期間、累積加算もしくは循環加算するものである。アナログ信号処理回路１３から入力する画素データは、原画像データ・バッファ２６ａから読み出された画素データと累積加算または循環加算された後、原画像データ・バッファ２６ａにＤＭＡ転送され記憶内容を更新する。このように経時的平均化処理を施され原画像データ・バッファ２６ａに転送された画像データが、図８に示す原画像データ６０である。
【００３４】
次のステップＳ２で、単一画素処理部１４ａで処理を終えた画素データは原画像データ・バッファ２６ａから画素補間処理部１４ｂにＤＭＡ転送される。そして、画素補間処理部１４ｂは上述した通り、入力する画素データを用いて画素補間処理を実行して補間データを出力し、その補間データは補間データ・バッファ２６ｂにＤＭＡ転送される。図８に示すように、画素補間を施され補間データ・バッファ２６ｂに格納された補間データ６１は、各画素に対応するＲ，Ｇ，Ｂの３色成分を有し、Ｒ成分のみのＲフィールド６１ａ、Ｇ成分のみのＧフィールド６１ｂおよびＢ成分のみのＢフィールド６１ｃで構成されている。
【００３５】
次のステップＳ３で、前記補間データ６１は、画像撮像センサ１２における単板式の色フィルタ配列と略一致するように各色成分を再配列されて読み出され、画素補間処理部１４ｂへＤＭＡ転送される。ここで、ＤＭＡコントローラ２４の制御により補間データ６１を画素補間処理部１４ｂへＤＭＡ転送する代わりに、ＣＰＵ１７の制御により補間データ６１を画素補間処理部１４ｂへ転送してもよい。このように、同一の空間的位置（画素）をもつ３色成分は、補間データ・バッファ２６ｂから読み出される際に互いに分離され、それら３色成分は各画素に割り当てられるように再配列される。よって、図８に示すように再配列後の画像データ６２では、Ｒフィールド６１ａの０行０列目のＲ成分は、２×２画素の単位画素領域６２ａ内の０行０列目に空間的位置（光学的位置）を定められ、Ｇフィールド６１ｂの０行０列目のＧ成分は、単位画素領域６２ａ内の０行１列目に空間的位置を定められ、そしてＢフィールド６１ｃの０行０列目のＢ成分は、単位画素領域６２ａ内の１行１列目に空間的位置を定められる。但し、単位画素領域６２ａ内の１行０列目のＸ成分は何れの色成分も配置されないものである。同一の空間的位置をもつ３色成分を２×２画素に再配列し、各色成分の空間的位置を元の位置から移動させているから、解像度の低下を避けることができない。そこで、その解像度の低下を低減する目的で、上記Ｘ成分の位置には敢えて何れの色成分も配置されていない。このようにして、原画像データ６０を水平方向と垂直方向とにそれぞれ画素数を２倍に解像度変換（拡大）された画像データ６２が画素補間処理部１４ｂに入力する。
【００３６】
次のステップＳ４で、画素補間処理部１４ｂで次に実行する画素補間処理が最後か否かが判定される。当該画素補間処理が最後の場合、ステップＳ５で、画素補間処理部１４ｂは入力する画像データ６２について上記ステップＳ２と略同様の手順で第２回目の画素補間を実行し、その補間データをガンマ補正処理部１４ｃに順次出力する。但し、Ｘ成分は何れの色成分をもたないため不足の３色成分を補間する必要がある。例えば、Ｘ成分の上下に隣接する２画素のＲ成分の平均値を算出してＲ成分を補間し、当該Ｘ成分の左右に隣接する２画素のＢ成分の平均値を算出してＢ成分を補間し、当該Ｘ成分の斜め四方に隣接する４画素のＧ成分の平均値を算出してＧ成分を補間することができる。このように、図８に示すように画素補間によりサイズが拡大した補間データ６３は、各画素に対応するＲ，Ｇ，Ｂの３色成分を有し、Ｒ成分のみのＲフィールド６３ａ、Ｇ成分のみのＧフィールド６３ｂおよびＢ成分のみのＢフィールド６３ｃで構成されている。
【００３７】
他方、上記ステップＳ４で当該画素補間処理が最後でない旨が判定された場合は、ステップＳ６で、前記ステップＳ５と同様に画素補間処理部１４ｂは入力する画像データ６２について第２回目の画素補間を実行して補間データを出力し、その補間データはメイン・バス１０を介して主メモリ２６の補間データ・バッファ２６ｂにＤＭＡ転送され記憶内容を更新する。次いで、上記ステップＳ４で当該画素補間処理が最後である旨が判定される迄、上記ステップＳ３，Ｓ４，Ｓ６の処理が繰り返し実行される。その繰り返し回数がｎ回（ｎ：整数）の場合、画素補間処理部１４ｂからガンマ補正処理部１４ｃに出力される画像データのサイズは拡大率２n（＝α）倍に解像度変換されることとなる。
【００３８】
次のステップＳ７で、上記画素補間処理部１４ｂから出力された画像データは、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタリング処理部１４ｅ、コアリング処理部１４ｆおよび縮小処理部１４ｇで逐次的に処理された後、出力部１４ｈからメイン・バス１０に転送され、処理データ・バッファ２６ｃに書き出される。ここで、縮小処理部１４ｇは、上述したようにＣＰＵ１７から指定された縮小率βに基づいて画像サイズを縮小できる。よって、例えば、原画像データ６０の画像サイズを１．５倍に拡大したい場合、上記ステップＳ３，Ｓ４，Ｓ６を１回実行して原画像データ６０のサイズを２倍に拡大した後、前記ステップＳ７でその縮小率βを０．７５倍に設定すればよい。これにより原画像データ６０は２．０×０．７５＝１．５倍に拡大される。
【００３９】
次のステップＳ８で、ＣＰＵ１７は処理データ・バッファ２６ｃに格納された画像データを読み出し、主メモリ２６に設けた一時記憶データ・バッファ２６ｄを利用して圧縮符号化などした後に、外部インターフェース２８を介して外部機器に出力させる。
【００４０】
以上の実施の形態１によれば、画素補間処理部１４ｂで画素補間を施された補間データの色成分を再配列し、再度、画素補間処理部１４ｂで画素補間することをｎ回繰り返し実行するため、原画像データ６０の画像サイズを２n倍に解像度変換（拡大）することが可能となる。その解像度変換はハードウェア構成の画素補間処理部１４ｂを用いて実行されることから、ソフトウェア処理で画像拡大処理を行う場合と比べて演算速度が大幅に向上する。また画像拡大用の回路構成をＲＰＵ１４内に設ける必要が無いため低コストの画像拡大機能を実現することが可能である。更に、縮小処理部１４ｇにおいて任意の縮小率βで画像を縮小できることから、画像の拡大率α（＝２n倍）と縮小率βとを組み合わせることで、任意の拡大率γ＝α・βで画像を拡大することが可能となる。
【００４１】
実施の形態２．
次に、図１０，１１を参照しつつ、本発明の実施の形態２に係る解像度変換処理について説明する。図１０は、本実施の形態２に係る解像度変換処理の一例を示すフローチャート、図１１は、本実施の形態２に係る解像度変換処理における処理データの流れを示すブロック図である。尚、図１０中、図７と同じステップ番号を付したブロックでは上記と略同一処理が実行されるものとして、その詳細な説明を省略する。
【００４２】
先ず、ステップＳ１〜Ｓ３の処理は、上記実施の形態１における処理と同じである。すなわち、ステップＳ１では、単一画素処理部１４ａは入力する原画像データに対して単一画素単位で経時的平均化処理とシェーディング処理とを実行しその処理データを出力する。出力されたその処理データは主メモリ２６の原画像データ・バッファ２６ａにＤＭＡ転送され格納される。続くステップＳ２では、原画像データ・バッファ２６ａから転送された原画像データ６０に対して画素補間処理を施すことで、各画素に対応する３色成分を有する補間データ６１が生成される。そしてステップＳ３で、その補間データ６１の各色成分は再配列されて、補間データ・バッファ２６ｂから画素補間処理部１４ｂに転送される。
【００４３】
次のステップＳ１０では、画素補間処理部１４ｂは入力する各色成分の画素データを用いて第２回目の画素補間処理を行い、その補間データを、再度、前記補間データ・バッファ２６ｂにＤＭＡ転送させる。これにより、補間データ・バッファ２６ｂは、画像サイズが２倍に解像度変換された補間データを格納することになる。
【００４４】
次のステップＳ１１で、補間データ・バッファ２６ｂに格納された補間データは、空間フィルタリング処理部１４ｅにＤＭＡ転送される。そして、空間フィルタリング処理部１４ｅは、各色成分に対応した空間フィルタ（重みマスク）を用いて、入力する補間データの色ずれを補正し、その補正データを補間データ・バッファ２６ｂにＤＭＡ転送させる。図１２は、色ずれ補正用の空間フィルタの例を示す概略図である。同図（ａ）はＧ成分補正用の空間フィルタ５０Ｇ、同図（ｂ）はＢ成分補正用の空間フィルタ５０Ｂを示してる。上記した通り、上記ステップＳ３において同一の空間的位置（光学的位置）にあった３色成分は再配列により互いに異なる空間的位置に分離される。すなわち、図８に示すように、Ｒ成分は２×２画素の単位画素領域６２ａの０行０列目に、Ｇ成分は単位画素領域６２ａの０行１列目に、Ｂ成分は単位画素領域６２ａの１行１列目に配置される。その結果、そのＧ成分は、Ｒ成分に対して水平方向に１画素ずれた位置に配置され、そのＢ成分はＲ成分に対して水平方向に１画素および垂直方向に１画素ずれた位置に配置される。それら色ずれを補正するため、空間フィルタ５０ＢはＢ成分の空間的位置を水平方向にマイナス１画素分移動させるフィルタであり、空間フィルタ５０Ｂの係数Ｋ（２，３）は単数（＝１）、それ以外の係数Ｋ（ｉ，ｊ）は全て零値である。また空間フィルタ５０ＧはＧ成分の空間的位置を垂直方向にマイナス１画素分且つ水平方向にマイナス１画素分、Ｒ成分の空間的位置に対して相対移動させるフィルタであり、空間フィルタ５０Ｇの係数Ｋ（３，３）は単数（＝１）、それ以外の係数Ｋ（ｉ，ｊ）は全て零値となる。
【００４５】
上記ステップＳ１１の後のステップＳ１２では、再度の画素補間処理を実行するか否かが判定され、その画素補間処理を実行する場合は、上記ステップＳ３に処理が戻り、その再度の画素補間処理を実行しないと判定される迄、上記ステップＳ３，Ｓ１０，Ｓ１１の処理がｎ回（ｎ：自然数）繰り返し実行される。
【００４６】
このようにして画像サイズを２n倍に解像度変換され色ずれを補正された画像データを補間データ・バッファ２６ｂに格納後、ステップＳ１３では、その画像データはガンマ補正処理部１４ｃにＤＭＡ転送され、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィルタリング処理部１４ｅ、コアリング処理部１４ｆおよび縮小処理部１４ｇで逐次的に処理された後、出力部１４ｈからメイン・バス１０に転送され、処理データ・バッファ２６ｃに書き出される。ステップＳ８では、上記実施の形態１と同様に、ＣＰＵ１７は処理データ・バッファ２６ｃに格納された画像データを読出し、一時記憶データ・バッファ２６ｄを利用して圧縮符号化などした後に、外部インターフェース２８を介して外部機器に出力させる。
【００４７】
このように本実施の形態２によれば、上記ステップＳ１１において、上記ステップＳ３，Ｓ１０で色成分を再配列され画素補間を施された画像データの色ずれを空間フィルタを用いて補正するから、色成分の再配列による解像度の低下を防止し高解像度の拡大画像を得ることが可能となる。
【００４８】
【発明の効果】
以上の如く、本発明の請求項１に係る解像度変換方法および請求項７に係る解像度変換装置によれば、不足の色成分を画素補間する画素補間法を利用して原画像データの画像サイズを拡大できることから、従来のバイリニア法やバイキュービック法などを用いた処理負荷の大きい画像拡大機能が不要となり、処理時間を大幅に短縮化することが可能となる。また、既存の画素補間回路を転用して画像を拡大できるため、専用の画像拡大機能を回路中に組み込む必要が無く、回路全体の電力消費量を低減できると共に回路の製作コストを低く抑えることが可能となる。
【００４９】
請求項２によれば、色成分の再配列を１回実行したときの画像サイズの拡大率をδで表せば、上記工程（ｂ），（ｃ）をｎ回実行することで、原画像データの画像サイズをδn倍に拡大することが可能となる。また請求項８でも、請求項２と同様に、色成分を再配列された前記画像データを上記画素補間部にｎ回転送することで、原画像データの画像サイズをδn倍に拡大できる。
【００５０】
請求項３および請求項９によれば、色成分を再配列することで発生する色ずれを補正でき、高い解像度をもつ拡大画像を得ることが可能となる。また、本請求項の解像度変換方法を実行するには、輪郭強調などに使用する空間フィルタを転用すれば足りるため、色ずれ防止用の空間フィルタを回路中に設ける必要が無く、回路全体の電力消費量を低減できると共に回路の製作コストを低く抑えることが可能となる。
【００５１】
請求項４および請求項１０によれば、色ずれを補正された高解像度の拡大画像を得ることが可能となる。
【００５２】
請求項５および請求項１１によれば、同一の空間的位置をもつ３色成分を上記単位画素領域の４画素に割り当てると色ずれが拡大するため、上記単位画素領域の１画素に何れの色成分も割り当てないことで解像度の低下を防ぐことができる。
【００５３】
請求項６および請求項１２によれば、例えば、画像サイズの縮小率がβ倍（０≦β＜１）で、上記色成分の再配列による画像の拡大率がδn倍（δ＞１）のとき、拡大率δnと縮小率βとを組み合わせることで原画像データを任意の拡大率γ＝δn・βで拡大することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る解像度変換装置を搭載したデジタル・スチル・カメラの全体構成を示す機能ブロック図である。
【図２】本実施の形態に係るＲＰＵ（リアルタイム・プロセッシング・ユニット）の概略構成を示す機能ブロック図である。
【図３】３原色系色フィルタのベイヤー配列の例を示す概略図である。
【図４】補色系色フィルタの配列例を示す概略図である。
【図５】空間フィルタを示す模式図である。
【図６】空間フィルタを適用された入力画像データを示す模式図である。
【図７】本発明の実施の形態１に係る解像度変換処理の一例を示すフローチャートである。
【図８】実施の形態１に係る解像度変換処理を説明するための概略図である。
【図９】実施の形態１に係る解像度変換処理における処理データの流れを示すブロック図である。
【図１０】本発明の実施の形態２に係る解像度変換処理の一例を示すフローチャートである。
【図１１】実施の形態２に係る解像度変換処理における処理データの流れを示すブロック図である。
【図１２】実施の形態２で用いる空間フィルタの例を示す概略図であり、（ａ）はＧ成分用の空間フィルタ、（ｂ）はＢ成分用の空間フィルタを示す図である。
【符号の説明】
１ デジタル・スチル・カメラ
１０ メイン・バス
１１ 光学機構
１２ 画像撮像センサ
１３ アナログ信号処理回路
１４ ＲＰＵ
１４ａ 単一画素処理部
１４ｂ 画素補間処理部
１４ｃ ガンマ補正処理部
１４ｄ 色空間変換・色抑圧処理部
１４ｅ 空間フィルタリング処理部
１４ｆ コアリング処理部
１４ｇ 縮小処理部
１４ｈ 出力部
Claims (12)
- 各画素に単色成分をもつカラー原画像データの画像サイズを拡大する解像度変換方法であって、
（ａ）入力する画像データに対して各画素毎に不足の色成分を画素補間することで、各画素毎に複数の色成分をもつ補間データを生成する工程と、
（ｂ）前記補間データにおける各画素の前記複数の色成分を再配列し、当該複数の色成分の各々を１画素に対応付けた画像データを生成する工程と、
（ｃ）前記工程（ｂ）で生成された前記画像データに対して前記工程（ａ）を再度実行して補間データを生成する工程と、
を備えることを特徴とする解像度変換方法。 - 請求項１記載の解像度変換方法であって、前記工程（ｂ）における前記補間データとして、前記工程（ｃ）で生成された前記補間データを用いて前記色成分を再配列し、前記工程（ｂ）および前記工程（ｃ）を繰り返し実行する、解像度変換方法。
- 請求項１または２記載の解像度変換方法であって、
（ｄ）前記工程（ｃ）で生成された前記補間データに対して、前記工程（ｂ）で再配列された前記複数の色成分の空間的位置を、当該複数の色成分の中の１色成分の空間的位置に一致させるように相対移動させる空間フィルタリング処理を実行する工程、
を備える解像度変換方法。 - 請求項３記載の解像度変換方法であって、前記工程（ｂ）における前記補間データとして、前記工程（ｄ）で生成された前記補間データを用いて前記色成分を再配列し、前記工程（ｂ）〜（ｄ）を繰り返し実行する、解像度変換方法。
- 請求項１〜４の何れか１項に記載の解像度変換方法であって前記工程（ｂ）において、前記工程（ａ）で各画素毎に補間された３色成分を、水平方向に２画素および垂直方向に２画素からなる単位画素領域の３画素に１対１で割り当て且つ前記単位画素領域の１画素には何れの色成分も割り当てない、解像度変換方法。
- 請求項１〜５の何れか１項に記載の解像度変換方法であって、
（ｅ）前記工程（ｃ）で生成された前記補間データもしくは前記工程（ｄ）で空間フィルタリング処理を施された補間データの画像サイズを縮小する工程、
を備える解像度変換方法。 - 各画素に単色成分をもつカラー原画像データの画像サイズを拡大する解像度変換装置であって、
入力する画像データに対して各画素毎に不足の色成分を画素補間することで、各画素毎に複数の色成分をもつ補間データを生成し出力する画素補間部と、
前記画素補間部から出力された前記補間データにおける前記複数の色成分を再配列し、当該複数の色成分の各々を１画素に対応付けた画像データを生成し前記画素補間部に転送させるデータ転送制御部と、
を備えることを特徴とする解像度変換装置。 - 請求項７記載の解像度変換装置であって、前記データ転送制御部は、前記色成分を再配列した前記画像データを繰り返し画素補間部に転送する、解像度変換装置。
- 請求項７または８記載の解像度変換装置であって、前記色成分を再配列され且つ前記画素補間部で画素補間された補間データに対して、再配列された前記複数の色成分の空間的位置を、当該複数の色成分の中の１色成分の空間的位置に一致させるように相対移動させる空間フィルタリング処理を実行する空間フィルタリング処理部、を備える解像度変換装置。
- 請求項９記載の解像度変換装置であって、前記データ転送制御部は、前記空間フィルタリング処理部から出力された補正データを前記画素補間部に繰り返し転送する、解像度変換装置。
- 請求項７〜１０の何れか１項に記載の解像度変換装置であって、前記原画像データが３色成分からなり、
前記データ転送制御部は、前記画素補間部で各画素毎に補間された３色成分を、水平方向に２画素および垂直方向に２画素からなる単位画素領域の３画素に１対１で割り当て且つ前記単位画素領域の１画素には何れの色成分も割り当てずに前記色成分を再配列した画像データを生成する、解像度変換装置。 - 請求項７〜１１の何れか１項に記載の解像度変換装置であって、前記画素補間部で生成された前記補間データもしくは前記空間フィルタリング処理部から出力された前記補正データの画像サイズを縮小する縮小処理部、を備える解像度変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001135155A JP4412446B2 (ja) | 2001-05-02 | 2001-05-02 | 解像度変換方法および解像度変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001135155A JP4412446B2 (ja) | 2001-05-02 | 2001-05-02 | 解像度変換方法および解像度変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002330283A JP2002330283A (ja) | 2002-11-15 |
| JP4412446B2 true JP4412446B2 (ja) | 2010-02-10 |
Family
ID=18982673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001135155A Expired - Fee Related JP4412446B2 (ja) | 2001-05-02 | 2001-05-02 | 解像度変換方法および解像度変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4412446B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006065497A (ja) * | 2004-08-25 | 2006-03-09 | Sanyo Electric Co Ltd | データ処理装置、データ処理方法、データ処理プログラム |
| US7974489B2 (en) | 2007-05-30 | 2011-07-05 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Buffer management for an adaptive buffer value using accumulation and averaging |
| KR101086501B1 (ko) | 2008-11-26 | 2011-11-25 | 주식회사 하이닉스반도체 | 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로 |
| JP6523638B2 (ja) | 2014-09-11 | 2019-06-05 | シナプティクス・ジャパン合同会社 | 表示パネルドライバ、表示装置、画像処理装置及び画像処理方法 |
-
2001
- 2001-05-02 JP JP2001135155A patent/JP4412446B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002330283A (ja) | 2002-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7948543B2 (en) | Imaging apparatus provided with image scaling function and image data thinning-out readout function | |
| KR100580911B1 (ko) | 화상합성방법 및 촬상장치 | |
| JP4142340B2 (ja) | 撮像装置 | |
| US6778216B1 (en) | Method and apparatus for digital camera real-time image correction in preview mode | |
| US7479998B2 (en) | Image pickup and conversion apparatus | |
| JP4555775B2 (ja) | 撮像装置 | |
| JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
| JP2004221839A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4285948B2 (ja) | 撮像装置 | |
| US7492396B2 (en) | Digital image processing apparatus and method thereof | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| JP4246244B2 (ja) | 撮像装置 | |
| KR100719988B1 (ko) | 화상 신호 처리 장치 | |
| JP2007180893A (ja) | 画像処理装置および撮像装置 | |
| JP3983500B2 (ja) | データ変換回路およびデジタル・カメラ | |
| JP3696536B2 (ja) | データ変換回路 | |
| JP4677582B2 (ja) | 画像処理装置 | |
| JP4260769B2 (ja) | 画像処理回路 | |
| JP2006262382A (ja) | 画像処理装置 | |
| JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
| JPH06315154A (ja) | カラー撮像装置 | |
| JP3810699B2 (ja) | 解像度変換装置および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080423 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151127 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |