JP4998312B2

JP4998312B2 - 画像処理装置、撮像装置及び画像処理方法

Info

Publication number: JP4998312B2
Application number: JP2008034750A
Authority: JP
Inventors: 基博中井; 智博福岡
Original assignee: Fujitsu Semiconductor Ltd
Current assignee: Fujitsu Semiconductor Ltd
Priority date: 2008-02-15
Filing date: 2008-02-15
Publication date: 2012-08-15
Anticipated expiration: 2028-02-15
Also published as: US8531538B2; US20090207283A1; JP2009194720A

Description

本発明は、画像処理装置、撮像装置及び画像処理方法に関するものである。

近年、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子によって得られた撮像信号をデジタルの画像データに変換して、内蔵メモリや記録メディアに記録させるデジタルカメラ等の撮像装置が一般に普及している（例えば、特許文献１，２参照）。なお、この種の撮像装置では、記録メディア等に記録する際に、複数の画素からなる１フレームの画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して、画像データをできる限り小容量にしてから記録するようになっている。

また、この種の撮像装置は、１フレームの画像データから一部領域を切り出し、その切り出した画像データ（部分画像データ）に対して拡大処理等の各種画像処理を施す機能を有する画像処理装置を備えている。

図９は、従来の画像処理装置における部分画像データに対する拡大処理方法のフローを模式的に示した図である。図９に示すように、ＣＰＵ６１は、ＳＤＲＡＭ（SynchronousDynamic Random Access Memory）等からなるメモリ６３に格納された、上記符号化後の符号化データＥＤに付加されているヘッダ情報を解析し、復号化後の画像サイズを取得する。ＣＰＵ６１は、取得した画像サイズを有する画像データを展開するために必要なメモリ領域をメモリ６３内に確保する。次に、復号化部６４は、符号化データＥＤをメモリ６３から読み出して該符号化データＥＤを復号化し、復号化後の画像データ（復号化データＤＤ）を上記確保されたメモリ領域に順次書き込む。

一方、上記ＣＰＵ６１には、上記部分画像データの切り出し位置や拡大率等を含む操作情報が入力部６２から入力される。このＣＰＵ６１は、拡大処理部６５に対して部分画像データの切り出し位置及び拡大率を設定する。拡大処理部６５は、ＣＰＵ６１による設定に基づいて、メモリ６３に格納された１フレームの復号化データＤＤのうち、拡大処理の対象となる部分領域の復号化データ（部分画像データＰＤ）を読み出す。次に、拡大処理部６５は、読み出した部分画像データＰＤを上記拡大率にしたがって拡大する。そして、拡大処理部６５は、拡大後の部分画像データ（拡大画像データＭＤ）をメモリ６３に格納する。このようにメモリ６３に格納された拡大画像データＭＤが、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等の表示部に表示されたり、記録メディアに別ファイルとして記録されたりする。
特開２００１−２４９２８号公報特開２００８−１１２２４号公報

ところが、上述した従来の画像処理装置（方法）では、図９に示すように、部分画像データＰＤに対して拡大処理を施すために、少なくとも１フレーム分の符号化データＥＤ、１フレーム分の復号化データＤＤ及び拡大画像データＭＤを格納するための大容量のメモリ領域が必要となる。とくに、画像データが上記ＪＰＥＧ方式に代表される可変長符号化方式により符号化されている場合には、１フレーム分の符号化データＥＤを全て復号化してからでなければ、任意の領域の画像データを切り出すことができない。このために、１フレーム分の復号化データＤＤを格納するための大容量のメモリ容量が必要となる。

ところで、この種の撮像装置においては、近年、撮像素子の高画素化に伴う高画素高画質化や連写機能などの搭載による高機能化が進んでいる。このような高画素高画質化や高機能化が進むと、上記画像処理装置が処理するデータ量が増大し、それに伴って画像処理の際に必要となるメモリ６３のメモリ容量が増大する。しかし、小型化や低価格化が要求されている撮像装置にあっては、メモリ６３のメモリ容量が小容量（例えば、上述した拡大処理を実施するために最低限必要なメモリ容量）であることが多い。従って、とくにこの種の撮像装置では、上述のように画像処理を施す際に大容量のメモリ容量が使用されると、メモリ６３に展開できるファイル数が制限されてしまう。そのため、並行して実行できる処理数も制限されてしまうため、画像処理に要する全体の処理時間が増大するという問題が生じる。

なお、大容量のメモリ容量が必要となるのは、部分画像データＰＤに対して拡大処理を施す場合に限らず、部分画像データＰＤに対して拡大処理以外の画像処理を施す場合も同様である。また、処理時間の増大という問題は、小容量のメモリ容量しか確保されていない場合にとくに生じるが、たとえメモリ容量が大容量確保されていたとしても生じ得るものである。

本発明は上記問題点を解決するためになされたものであって、その目的は、部分画像データに対して画像処理を実施する際に必要となるメモリ容量を削減することのできる画像処理装置、撮像装置及び画像処理方法を提供することにある。

上記目的を達成するため、請求項１，７，８に記載の画像処理装置（撮像装置、画像処理方法）は、画像データに対して画像処理を施す画像処理装置であって、複数の画素からなる１フレームの画像データが可変長符号化方式により符号化された符号化データを復号化して復号化データを生成する復号化部と、前記復号化部から入力される前記復号化データのうち、所定の画像処理の対象となる部分領域の復号化データを部分画像データとして選択して記憶部に格納するデータ転送部と、を含む復号化処理部と、前記記憶部に格納された前記部分画像データを読み出して、該部分画像データに対して所定の画像処理を施し、その画像処理後の部分画像データを前記記憶部に格納する画像処理部と、を備える。

この構成によれば、復号化処理部の復号化部により復号化された１フレームの復号化データのうち、所定の画像処理が施される部分画像データのみが選択され、復号化処理部（データ転送部）から転送される。このため、部分画像データに対して画像処理を施す際に、１フレーム分の復号化データを記憶部に格納する必要がなくなる。換言すると、１フレーム分の復号化データを格納するためのメモリ容量を必要とせずに、部分画像データに対して画像処理を施すことができる。従って、１フレーム分の復号化データを格納するためのメモリ容量が必要な従来の画像処理装置よりも、部分画像データに対して画像処理を施すために必要な記憶部のメモリ容量を削減することができる。ひいては、当該画像処理装置において、画像処理の際のメモリ容量の増大によって生じるおそれのあった、画像処理に要する全体の処理時間の増大を抑制することができる。

なお、復号化処理部から転送された部分画像データは、例えば復号化処理部から画像処理部に直接転送するようにしてもよい。この場合には、画像処理部において、復号化処理部から直接転送された部分画像データに対して所定の画像処理が施され、その画像処理後の部分画像データが記憶部に格納される。これにより、画像処理後の部分画像データのみが記憶部に格納される。すなわち、１フレームの復号化データ及び部分画像データの双方を格納するためのメモリ容量を必要とせずに、部分画像データに対して画像処理を施すことができる。従って、部分画像データに対して画像処理を施すために必要な記憶部のメモリ容量を、従来の画像処理装置よりも１フレームの復号化データ分だけ削減することができる。

さらに、請求項１，７に記載の画像処理装置（撮像装置）は、前記画像処理部は、前記部分画像データに対して拡大処理を施す拡大処理部を少なくとも含み、前記データ転送制御部は、拡大処理前の部分画像データを格納する前記記憶部の第１領域の終了アドレスと、拡大処理後の部分画像データを格納する前記記憶部の第２領域の終了アドレスとが一致するように、前記復号化処理部及び前記画像処理部のデータ転送を制御する。

この構成によれば、拡大処理後の部分画像データの最終データが拡大処理前の部分画像データの最終データに上書きされる。すなわち、拡大処理前の部分画像データの全てが拡大処理後の部分画像データによって上書きされる。これにより、拡大処理前の部分画像データ分だけ、さらにメモリ容量を削減することができる。従って、部分画像データに対して画像処理を施すために必要な記憶部のメモリ容量を、従来の画像処理装置よりも１フレームの復号化データ分だけ削減することができる。

なお、拡大処理前の部分画像データとしては、例えば復号化処理部から記憶部に格納された部分画像データであってもよいし、拡大処理以外の画像処理が施された後の部分画像データであってもよい。また、部分画像データに施す画像処理は拡大処理のみであってもよいし、その拡大処理に加えて拡大処理以外の画像処理を部分画像データに施すようにしてもよい。

請求項２に記載の画像処理装置は、前記データ転送制御部は、前記画像処理部が前記部分画像データに対して該部分画像データの画像サイズを変更しない第１画像処理を施す場合に、前記第１画像処理前の部分画像データを格納する前記記憶部の第３領域と前記第１画像処理後の部分画像データを格納する前記記憶部の第４領域とが同一領域となるように、前記復号化処理部及び前記画像処理部のデータ転送を制御する。

この構成によれば、部分画像データに対して該部分画像データの画像サイズを変更しない第１画像処理（例えば、色調変換処理、エッジ強調処理、ノイズ補正処理など）を施す場合に、その第１画像処理前の部分画像データと第１画像処理後の部分画像データとが同一領域に格納される。すなわち、第１画像処理前の部分画像データの全てが第１画像処理後の部分画像データによって上書きされる。これにより、第１画像処理前の部分画像データ分だけ、さらにメモリ容量を削減することができる。従って、部分画像データに対して画像処理を施すために必要な記憶部のメモリ容量を、従来の画像処理装置よりも１フレームの復号化データ分だけ削減することができる。

なお、第１画像処理前の部分画像データとしては、例えば復号化処理部から記憶部に格納された部分画像データであってもよいし、拡大処理等の画像処理後の部分画像データであってもよい。また、部分画像データに施す画像処理は１つであっても、複数であってもよい。

請求項３に記載の画像処理装置は、前記画像処理部は、前記復号化処理部により転送された前記部分画像データのサイズを監視し、前記画像処理後の部分画像データが格納される前記記憶部の領域を監視するとともに、前記記憶部に格納された前記所定の画像処理前の部分画像データのうち、該所定の画像処理のための読み出しが終了した部分画像データの領域に、前記所定の画像処理後の部分画像データを上書きするようにデータ転送を制御する監視回路を備える。

この構成によれば、所定の画像処理のための読み出しが終了した部分画像データに、所定の画像処理後の部分画像データが上書きされる。これにより、所定の画像処理のための読み出しが終了していない部分画像データに、所定の画像処理後の部分画像データが上書きされることを確実に防止することができる。

請求項４に記載の画像処理装置は、前記データ転送部は、前記復号化処理部及び前記画像処理部を統括制御する制御部から入力される、前記部分画像データの切り出し位置及び画像サイズに基づいて、前記部分画像データを選択する転送判定部を備える。

この構成によれば、部分画像データの切り出し位置及び画像サイズに基づいて、転送判定部によって部分画像データの選択が行われる。これにより、転送判定部は、１フレームの復号化データから部分画像データのみを確実に選択することができる。

請求項５に記載の画像処理装置は、前記復号化処理部は、前記データ転送部による前記部分画像データの転送が全て終了したときに、復号化処理を停止させる。
この構成によれば、部分画像データ以降の符号化データに対する復号化処理を省略することができる。従って、部分画像データに対して画像処理する際の処理負荷を軽減することができ、さらに処理時間を短縮することができる。
請求項６に記載の画像処理装置は、前記画像処理部は、前記部分画像データに対して縮小処理を施す縮小処理部を含み、前記データ転送制御部は、前記縮小処理部が縮小処理を施す場合には、縮小処理前の部分画像データを格納する前記記憶部の第５領域の開始アドレスと、縮小処理後の部分画像データを格納する前記記憶部の第６領域の開始アドレスとが一致するように、前記復号化処理部及び前記画像処理部のデータ転送を制御する。

以上説明したように、上記画像処理装置、撮像装置及び画像処理方法は、部分画像データに対して画像処理を実施する際に必要となるメモリ容量を削減することができるという効果を奏する。

以下、本発明をデジタルカメラに適用した一実施形態を図１〜図７に従って説明する。
図１に示すように、撮像装置としてのデジタルカメラ１０は、撮像部１１と、ＬＳＩからなる画像処理プロセッサ１２と、メモリ１３と、入力部１４と、記録メディア１５と、表示部１６とを含んで構成される。

撮像部１１は、撮像素子１１ａ及びＡ／Ｄ変換回路１１ｂを備える。撮像素子１１ａは、ベイヤ配列のカラーフィルタを備え、入射光に応じた撮像信号（アナログ信号）をＡ／Ｄ変換回路１１ｂに出力する。Ａ／Ｄ変換回路１１ｂは、上記撮像信号をデジタル信号に変換し、そのデジタル信号を画像データ（ベイヤデータ）として画像処理プロセッサ１２に出力する。なお、撮像素子１１ａとしては、ＣＣＤイメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等が用いられる。

画像処理装置としての画像処理プロセッサ１２は、撮像部１１から入力される画像データに対して各種画像処理を施す。このとき、画像処理プロセッサ１２は、所定の処理段階での画像データをメモリ１３に一時的に格納する。すなわち、メモリ１３は作業メモリとして機能する。このメモリ１３は、例えばＳＤＲＡＭなどの書き替え可能なメモリである。また、画像処理プロセッサ１２は、メモリ１３に格納した各種画像処理後の最終的な画像データを記録メディア１５に格納したり、表示部１６に出力したりする。なお、記録メディア１５は、例えばコンパクトフラッシュ（登録商標）やＳＤメモリカード（登録商標）などの携帯型メモリカードである。表示部１６としては、液晶ディスプレイ（ＬＣＤ）や有機ＥＬ（Electronic Luminescence）などが用いられる。

入力部１４は、ユーザにより操作される各種スイッチを有している。この各種スイッチは、例えば撮影条件の設定、切り出し領域（部分画像データ）の指定、切り出し領域に施す画像処理の設定、あるいは拡大率の指定を行うために使用される。

次に、画像処理プロセッサ１２の内部構成について説明する。
画像処理プロセッサ１２は、画像処理部２０と、中央処理装置（ＣＰＵ）３１と、メモリコントローラ３２と、メディア用インターフェース回路３３と、表示用インターフェース回路３４とを備えている。画像処理部２０は、プリプロセス部２１と、色空間変換部２２と、コーデック２３と、解像度変換処理部２４と、色調変換処理部２５と、エッジ強調処理部２６と、ノイズ補正処理部２７とを備えている。これら画像処理部２０内の各処理部２１〜２７と、ＣＰＵ３１と、メモリコントローラ３２と、メディア用インターフェース回路３３と、表示用インターフェース回路３４とは、バス３５によって互いに接続されている。このバス３５は、アドレスバス、コントロールバス及びデータバスから構成されている。

ＣＰＵ３１は、各回路を統括制御するもので、データや画像の解析、解析結果に基づく必要な情報の各回路への設定及びデータの書き込み／読み出し制御等を行う。なお、このＣＰＵ３１には、上記入力部１４の各種スイッチにより設定・指定された操作情報が入力される。

メモリコントローラ３２は、メモリ１３への書き込み／読み出し要求に応じてメモリ１３に対するデータの書き込み／読み出しを行う。メディア用インターフェース回路３３は、記録メディア１５に対するデータ入出力を実行する。表示用インターフェース回路３４は、メモリ１３から転送された画像データを、表示部１６が対応し得る形式のデータに変換して該表示部１６に出力する。

画像処理部２０内のプリプロセス部２１は、上記Ａ／Ｄ変換回路１１ｂから入力される画像データに対し、例えばホワイトバランス調整やゲイン調整、欠陥信号の補正などの前処理を施す。色空間変換部２２は、プリプロセス部２１により前処理されたＲＧＢ形式の画像データ（ベイヤデータ）をＹＣｂＣｒ形式の画像データに変換する。なお、これらプリプロセス部２１及び色空間変換部２２により処理された１フレームの画像データは、メモリコントローラ３２を通じてメモリ１３に一時的に格納される。

コーデック２３は、メモリ１３に一時的に格納された画像データを読み出し、その画像データを所定の方式（ここでは、ＪＰＥＧ方式）により符号化し、符号化後の画像データ（符号化データＥＤ）をメモリ１３に格納する。なお、この符号化データＥＤは、符号化情報等を含むヘッダ情報が付加され符号化ファイルとして、メディア用インターフェース回路３３を通じて記録メディア１５に記録される。また、この符号化データＥＤを、表示用インターフェース回路３４を通じて表示部１６に出力してもよい。

一方、コーデック２３は、ＣＰＵ３１による制御によって記録メディア１５に記録された符号化ファイルがメモリ１３に格納された場合に、その格納された符号化ファイル内の符号化データＥＤ（図４参照）を読み出す。そして、コーデック２３は、読み出した符号化データをＪＰＥＧ方式により復号化し、復号化後の画像データ（復号化データＤＤ）を最小符号化単位（ＭＣＵ）でメモリ１３に格納する。このとき、その復号化データＤＤの部分領域の画像データ（部分画像データＰＤ）のみに各種画像処理を施す場合には、コーデック２３は、部分画像データＰＤのみを選択してメモリ１３に格納する。

解像度変換処理部２４は、部分画像データＰＤの画像サイズ（解像度）を拡大又は縮小する解像度変換処理を実行する。色調変換処理部２５は、部分画像データＰＤの色調をセピアやモノクロ等に変換する色調変換処理を実行する。エッジ強調処理部２６は、部分画像データＰＤに対して画像の輪郭（エッジ）を強調するエッジ強調処理を実行する。ノイズ補正処理部２７は、部分画像データＰＤに含まれるノイズを除去するノイズ補正処理を実行する。

次に、部分画像データＰＤに対し、所定の画像処理として拡大処理を施す場合に関わるコーデック２３及び解像度変換処理部２４の内部構成について図２に従って詳述する。
図２において、ＣＰＵ３１は、入力部１４から入力される操作情報に基づいて、拡大処理を施す符号化ファイル情報、部分画像データＰＤの位置情報（切り出し位置及び画像サイズ）及び拡大率を取得する。ＣＰＵ３１は、上記取得した符号化ファイル情報に基づいて、記録メディア１５に記録された拡大処理の対象となる符号化ファイルを、メモリ１３の領域Ｒ１（図４（ａ）参照）に格納する。また、ＣＰＵ３１は、メモリ１３に格納した符号化ファイル内のヘッダ情報を解析して、符号化前の原画像の画像サイズ、すなわち復号化後の画像サイズと符号化情報とを取得する。

コーデック２３の復号化部４１には、メモリ１３からＤＭＡ（Direct Memory Access）コントローラ４２及びデータ転送部４３（転送部４４）を介して符号化データＥＤが入力される。この復号化部４１は、ＣＰＵ３１により設定される符号化情報に基づいて、入力された符号化データＥＤを復号化して復号化データＤＤを生成する。復号化部４１は、図３の細線矢印で示すように、復号化データＤＤをＭＣＵごとにデータ転送部４３の転送判定部４５に順次出力する。

転送判定部４５は、ＣＰＵ３１により設定される部分画像データＰＤの位置情報と内部カウンタ４５ａのカウント値とに基づいて、復号化部４１から入力される復号化データＤＤのうち部分画像データＰＤのみを選択して転送部４４に出力する。

詳述すると、部分画像データＰＤの位置情報は、図３に示すように、部分画像データＰＤの切り出し開始位置を示すオフセット情報（水平オフセットａ，垂直オフセットｂ）と、部分画像データＰＤの水平サイズｍ及び垂直サイズｎを示すサイズ情報とを含む。これらの情報及び上記カウント値に基づいて、転送判定部４５は、１フレームの復号化データの左上画素（符号化及び復号化開始画素）からオフセット情報（ａ，ｂ）だけオフセットした位置からｍ×ｎサイズの画素ブロックが入力されたときに、そのデータを部分画像データＰＤと選択する。そして、転送判定部４５は、図３の太線矢印で示すように、選択した部分画像データＰＤのみをＭＣＵごとに転送部４４を介してＤＭＡコントローラ４２に出力する。

図２において、ＤＭＡコントローラ４２は、ＣＰＵ３１によるＤＭＡ転送条件の設定に応じて、メモリ１３と復号化部４１との間のデータ転送を制御する。詳述すると、ＤＭＡコントローラ４２は、メモリ１３の領域Ｒ１から符号化データＥＤを読み出すための開始アドレスＡＤＤ１（図４（ａ）参照）とデータサイズとがＣＰＵ３１により設定されると、図４（ａ）の矢印で示す順番にて符号化データＥＤをメモリ１３から読み込んで、データ転送部４３を介して復号化部４１に出力する。また、ＤＭＡコントローラ４２は、部分画像データＰＤをメモリ１３の領域Ｒ２（図４（ｂ）参照）に書き込むための開始アドレスＡＤＤ２とデータサイズとがＣＰＵ３１により設定されると、データ転送部４３から入力される部分画像データＰＤを、図４（ｂ）の矢印で示す順番にてメモリ１３の領域Ｒ２に書き込む。

図２に示すように、解像度変換処理部２４の拡大処理部５１には、メモリ１３からＤＭＡコントローラ５２を介して部分画像データＰＤが入力される。この拡大処理部５１は、ＣＰＵ３１により設定される拡大率にしたがって、所定サイズ（ｐ×ｑ）の部分画像データＰＤごとに拡大処理を施して拡大画像データＭＤを生成し、その拡大画像データＭＤをＤＭＡコントローラ５２に順序出力する。

ＤＭＡコントローラ５２は、ＣＰＵ３１によるＤＭＡ転送条件の設定に応じて、メモリ１３と拡大処理部５１との間のデータ転送を制御する。詳述すると、ＤＭＡコントローラ５２は、メモリ１３の領域Ｒ２から部分画像データＰＤを読み出すための開始アドレスＡＤＤ２（図４（ｂ）参照）とデータサイズとがＣＰＵ３１により設定されると、図４（ｂ）の矢印で示す順番にて部分画像データＰＤをメモリ１３から読み込んで、拡大処理部５１に出力する。また、ＤＭＡコントローラ５２は、拡大画像データＭＤをメモリ１３の領域Ｒ３（図４（ｃ）参照）に書き込むための開始アドレスＡＤＤ４とデータサイズとがＣＰＵ３１により設定されると、拡大処理部５１から入力される拡大画像データＭＤを、図４（ｃ）の矢印で示す順番にてメモリ１３の領域Ｒ３に書き込む。

ここで、図４に示したメモリ１３の領域Ｒ２，Ｒ３について説明する。まず、説明の便宜上、拡大画像データＭＤが格納される領域Ｒ３について図４（ｃ）を参照して説明する。ＣＰＵ３１は、入力部１４からの操作情報に基づいて取得した部分画像データＰＤのサイズと拡大率とに基づいて、拡大処理後の部分画像データ（拡大画像データＭＤ）の画像サイズを取得する。これにより、ＣＰＵ３１は、符号化ファイルの格納された領域Ｒ１と重ならないように、拡大画像データＭＤを書き込むための開始アドレスＡＤＤ４と画像サイズをＤＭＡコントローラ５２に設定する。このとき、上記開始アドレスＡＤＤ４から拡大画像データＭＤの画像サイズ分の領域が上記領域Ｒ３となり、その領域Ｒ３に拡大画像データＭＤが書き込まれる。なお、説明の便宜上、領域Ｒ３の終了アドレスをＡＤＤ３とする。次に、図４（ｂ）に示すように、部分画像データＰＤが格納される領域Ｒ２については、ＣＰＵ３１によって、その領域Ｒ２（第１領域）の終了アドレスが上記領域Ｒ３（第２領域）の終了アドレスＡＤＤ３と一致するように、開始アドレスＡＤＤ２と部分画像データＰＤの画像サイズがＤＭＡコントローラ４２に設定される。すなわち、ＣＰＵ３１は、領域Ｒ３の終了アドレスＡＤＤ３から部分画像データＰＤの画像サイズ分だけ前のアドレスを領域Ｒ２の開始アドレスＡＤＤ２としてＤＭＡコントローラ４２に設定する。従って、上記開始アドレスＡＤＤ２から部分画像データＰＤの画像サイズ分の領域が上記領域Ｒ２となり、その領域Ｒ２に部分画像データＰＤが書き込まれる。このように本実施形態では、部分画像データＰＤと拡大画像データＭＤとの格納領域が重なるように、すなわち拡大画像データＭＤが部分画像データＰＤに上書きしながら書き込まれるように、領域Ｒ２，Ｒ３が設定されている。なお、解像度変換処理部２４では監視回路５３によって、拡大処理のための読み出しが終了していない部分画像データＰＤに、拡大画像データＭＤが上書きされないようにデータ転送が制御されている。そのため、本実施形態では、拡大画像データＭＤが読み出しの終了した部分画像データＰＤに上書きしながら書き込まれるようになっている。

図２に示すように、監視回路５３は、上記コーデック２３のＤＭＡコントローラ４２からメモリ１３への書き込みが終了した部分画像データＰＤの処理サイズを監視し、ＤＭＡコントローラ５２によるメモリ１３からの読み出しの開始・停止を制御する。詳述すると、監視回路５３は、書き込みが終了した部分画像データＰＤの処理サイズが上記所定サイズ（ｐ×ｑ）を超えるまで、読み出し停止信号をＤＭＡコントローラ５２に出力する。この監視回路５３は、書き込みが終了した部分画像データＰＤの処理サイズが上記所定サイズ（ｐ×ｑ）を超えたときに、すなわち所定サイズ分の部分画像データＰＤがメモリ１３に格納されると、読み出し停止信号の出力を停止する。

一方、監視回路５３は、拡大画像データＭＤを書き込むメモリ１３の領域を監視し、ＤＭＡコントローラ５２によるメモリ１３への書き込みの開始・停止を制御する。詳述すると、監視回路５３は、拡大処理部５１から入力される拡大画像データＭＤをメモリ１３に格納すると、その拡大画像データＭＤがメモリ１３内の未だ拡大処理のために読み出されていない部分画像データＰＤに上書きされてしまう場合に、書き込み停止信号をＤＭＡコントローラ５２に出力する。なお、ＤＭＡコントローラ５２は、監視回路５３からの読み出し停止信号に応じてメモリ１３からの部分画像データＰＤの読み出しを停止するとともに、監視回路５３からの書き込み停止信号に応じてメモリ１３への拡大画像データＭＤの書き込みを停止する。

次に、部分画像データＰＤに拡大処理を施す画像処理方法を図５〜図７に従って説明する。まず、復号化処理及び復号化データＤＤのうちの部分画像データＰＤのみをメモリ１３に格納する方法を図５に従って説明する。

図５のステップＳ１において、入力部１４の各種スイッチによる操作情報がＣＰＵ３１に入力される。すなわち、ＣＰＵ３１は、拡大処理を施す符号化ファイル情報、部分画像データＰＤの位置情報（オフセット情報（ａ，ｂ）及び画像サイズ（ｍ×ｎ））及び拡大率を取得する。次に、ステップＳ２において、ＣＰＵ３１は、上記取得した符号化ファイル情報に基づいて、記録メディア１５に記録された符号化ファイルのうち、拡大処理の対象となる符号化ファイルをメモリ１３の領域Ｒ１に格納する（図７（ａ）の斜線部分参照）。

続いて、ＣＰＵ３１は、メモリ１３の領域Ｒ１に格納した符号化ファイル内のヘッダ情報を読み出し、読み出したヘッダ情報を解析する（ステップＳ３）。ＣＰＵ３１は、このヘッダ情報の解析によって、復号化後の画像サイズと符号化情報とを取得する。

次に、ステップＳ４において、ＣＰＵ３１は、復号化部４１、転送判定部４５及び拡大処理部５１に対して各種設定を行う。すなわち、ＣＰＵ３１は、ヘッダ情報の解析にて取得した符号化情報を復号化部４１に設定するとともに、上記取得した部分画像データＰＤの位置情報を転送判定部４５に設定する。また、ＣＰＵ３１は、上記取得した拡大率を拡大処理部５１に設定する。

ステップＳ５において、ＣＰＵ３１は、コーデック２３のＤＭＡコントローラ４２及び解像度変換処理部２４のＤＭＡコントローラ５２にＤＭＡ転送条件をそれぞれ設定する。すなわち、ＣＰＵ３１は、ＤＭＡコントローラ４２に対して、メモリ１３の領域Ｒ１から符号化データＥＤを読み出し、復号化部４１から入力される部分画像データＰＤをメモリ１３の領域Ｒ２に書き込みためのＤＭＡ転送条件を設定する。また、ＣＰＵ３１は、ＤＭＡコントローラ５２に対して、メモリ１３の領域Ｒ２から部分画像データＰＤを読み出し、拡大処理部５１から入力される拡大画像データＭＤをメモリ１３の領域Ｒ３に書き込むためのＤＭＡ転送条件を設定する。

上記ＤＭＡ転送条件が設定されると、ＤＭＡコントローラ４２は、メモリ１３のアドレスＡＤＤ１から符号化データＥＤを順に読み込み、その符号化データＥＤを復号化部４１に出力する。すなわち、コーデック２３に符号化データＥＤが読み出される（ステップＳ６）。次に、復号化部４１は、上記ステップＳ４においてＣＰＵ３１により設定された符号化情報に基づいて、入力される符号化データを復号化し（ステップＳ７）、その復号化データＤＤをＭＣＵごとに転送判定部４５に出力する（ステップＳ８）。

次いで、ステップＳ９において、転送判定部４５は、ＣＰＵ３１により設定された部分画像データＰＤの位置情報と内部カウンタ４５ａのカウント値とに基づいて、入力される復号化データＤＤのうち部分画像データＰＤのみを選択して、ＤＭＡコントローラ４２に出力する（図３参照）。次に、ＤＭＡコントローラ４２は、転送判定部４５から転送部４４を介して入力される部分画像データＰＤをメモリ１３の領域Ｒ２のアドレスＡＤＤ２から順に書き込む。すなわち、コーデック２３は、復号化データＤＤのうちの部分画像データＰＤのみをメモリ１３の領域Ｒ２に書き込む（ステップＳ１０）。そして、全ての符号化データＥＤが復号化されるまで上記ステップＳ６〜ステップＳ１０が繰り返し実行される。これにより、図７（ｂ）に示すように、部分画像データＰＤがメモリ１３の領域Ｒ２に書き込まれる（斜線部分参照）。

次に、メモリ１３に格納された部分画像データＰＤに対して拡大処理を施す方法を図６に従って説明する。
図６のステップＳ１１において、解像度変換処理部２４の監視回路５３は、上記ステップＳ６〜ステップＳ１０（図５参照）によりメモリ１３に格納された部分画像データＰＤのサイズが所定サイズ（ｐ×ｑ）を超えたか否かを判定する。ｐ×ｑの部分画像データＰＤがメモリ１３に格納されるまでは（ステップＳ１１においてＮＯ）、監視回路５３は、読み出し停止信号をＤＭＡコントローラ５２に出力して、メモリ１３からの部分画像データＰＤの読み出しを停止させる。そして、ｐ×ｑの部分画像データＰＤがメモリ１３に格納されると（ステップＳ１１においてＹＥＳ）、監視回路５３は、読み出し停止信号のＤＭＡコントローラ５２への出力を停止する。すると、ＤＭＡコントローラ５２は、メモリ１３の領域Ｒ２のアドレスＡＤＤ２から部分画像データＰＤを順に読み込み、その部分画像データＰＤを拡大処理部５１に出力する。すなわち、解像度変換処理部２４に部分画像データＰＤが読み出される（ステップＳ１２）。

次に、拡大処理部５１は、上記ステップＳ４（図５参照）においてＣＰＵ３１により設定された拡大率にしたがって、所定サイズ（ｐ×ｑ）の部分画像データＰＤごとに拡大処理を実施する（ステップＳ１３）。続いて、監視回路５３は、拡大画像データＭＤをメモリ１３に書き込むと、拡大処理のための読み出しが終了していない部分画像データＰＤに上書きされてしまう場合には（ステップＳ１４においてＮＯ）、書き込み停止信号を出力する（ステップＳ１５）。この書き込み停止信号に応じて、ＤＭＡコントローラ５２は、拡大画像データＭＤのメモリ１３への書き込みを停止する。

一方、拡大画像データＭＤをメモリ１３に書き込んでも、拡大処理のための読み出しが終了していない部分画像データＰＤに上書きされない場合には（ステップＳ１４においてＹＥＳ）、ステップＳ１６に移る。ステップＳ１６において、ＤＭＡコントローラ５２は、拡大処理部５１から入力される拡大画像データＭＤをメモリ１３の領域Ｒ３のアドレスＡＤＤ４から順に書き込む。すなわち、解像度変換処理部２４は、拡大画像データＭＤをメモリ１３の領域Ｒ３に書き込む。そして、全ての部分画像データＰＤに対して拡大処理が施されるまで上記ステップＳ１１〜ステップＳ１６が繰り返し実行される。これにより、図７（ｃ）に示すように、拡大画像データＭＤがメモリ１３の領域Ｒ３に書き込まれる（斜線参照）。このとき、メモリ１３の領域Ｒ２に格納された部分画像データＰＤが拡大画像データＭＤによって全て上書きされる。これにより、図７に示すように、部分画像データＰＤに対して拡大処理を施す際に使用されるメモリ１３の領域は、符号化ファイルが格納される領域Ｒ１と拡大画像データＭＤが格納される領域Ｒ３のみとなる。

以上説明した本実施形態によれば、以下の効果を奏することができる。
（１）コーデック２３内に、入力される復号化データＤＤのうちの部分画像データＰＤのみを選択して転送するデータ転送部４３を備えるようにした。これにより、復号化部４１により生成された１フレームの復号化データＤＤのうち、拡大処理が施される部分画像データＰＤのみがメモリ１３に格納される。このため、部分画像データＰＤに対して拡大処理を施す際に、１フレーム分の復号化データＤＤをメモリ１３に格納する必要がなくなる。このとき、１フレームの復号化データＤＤの代わりにメモリ１３に格納される部分画像データＰＤは、１フレームの復号化データＤＤよりも（１フレームの復号化データＤＤ−部分画像データＰＤ）分だけデータ量が少ない。従って、１フレームの復号化データＤＤ全てを格納するためのメモリ容量が必要な従来の画像処理装置よりも、部分画像データＰＤに対して拡大処理を施すために必要なメモリ１３のメモリ容量を削減することができる。ひいては、画像処理装置１２において、画像処理の際に必要なメモリ容量が増大することによって生じるおそれのあった、画像処理に要する全体の処理時間の増大を好適に抑制することができる。

（２）部分画像データＰＤが格納される領域Ｒ２の終了アドレスと、拡大画像データＭＤが格納される領域Ｒ３の終了アドレスとが一致するように、領域Ｒ２，Ｒ３を設定するようにした。これにより、図７（ｂ）、（ｃ）に示すように、拡大画像データＭＤの最終データが部分画像データＰＤの最終データに上書きされる。すなわち、部分画像データＰＤの全てが拡大画像データＭＤによって上書きされる。これにより、部分画像データＰＤに対して拡大処理を施す際に使用されるメモリ１３の領域は、符号化ファイルが格納される領域Ｒ１と拡大画像データＭＤが格納される領域Ｒ３のみとなる。従って、部分画像データＰＤに対して拡大処理を施すために必要なメモリ１３のメモリ容量を、従来の画像処理装置よりも１フレームの復号化データＤＤ分だけ削減することができる。

（３）解像度変換処理部２４内に、コーデック２３からメモリ１３への書き込みが終了した部分画像データＰＤの処理サイズを監視し、当該解像度変換処理部２４によるメモリ１３からの読み出しの開始・停止を制御する監視回路５３を備えるようにした。この監視回路５３によって、メモリ１３に所定サイズ（ｐ×ｑ）の部分画像データＰＤが格納されたときに、ＣＰＵ３１による制御を介することなくメモリ１３からの読み出しを開始させることができる。また、この監視回路５３によって、拡大画像データＭＤを書き込むメモリ１３の領域が監視され、拡大処理のための読み出しが終了していない部分画像データＰＤに、拡大画像データＭＤが上書きされないようにメモリ１３への書き込みが制御される。これらにより、コーデック２３による復号化処理及び部分画像データＰＤのメモリ１３への書き込みと、解像度変換処理部２４によるメモリ１３からの部分画像データＰＤの読み出し、拡大処理及び拡大画像データＭＤのメモリ１３への書き込みと、を並行して確実に実行することができる。従って、部分画像データＰＤに対して拡大処理するために要する処理時間を短縮することができる。

（４）コーデック２３及び解像度変換処理部２４にＤＭＡコントローラ４２，５２をそれぞれ備えるようにした。これにより、コーデック２３とメモリ１３との間のデータ転送及び解像度変換処理部２４とメモリ１３との間のデータ転送が、ＣＰＵ３１を介さないＤＭＡ転送方式により実行される。これにより、画像処理におけるＣＰＵ３１の処理負荷を軽減することができる。

なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記実施形態では、部分画像データに対する画像処理を拡大処理としたが、その他の画像処理、例えば縮小処理、色調変換処理、エッジ強調処理、ノイズ補正処理等を部分画像データに施すようにしてもよい。また、部分画像データに対して複数の画像処理を施すようにしてもよい。すなわち、例えば部分画像データに対して色調変換処理を施した後に、さらに拡大処理を施すようにしてもよい。このような場合には、色調変換処理後の画像データを格納するための領域Ｒ４を、図８（ａ）に示すように、領域Ｒ２，Ｒ３とは別に確保するようにしてもよい。また、色調変換処理後の画像データはその画像サイズが部分画像データＰＤと同一であるため、色調変換処理後の画像データを、部分画像データＰＤを格納する領域Ｒ２に格納するようにしてもよい。これにより、画像処理の種類が増加しても、部分画像データに対して画像処理を施す際に必要なメモリ１３のメモリ容量の増大を好適に抑制することができる。

なお、画像サイズを変更しない画像処理（例えば、色調変換処理、エッジ強調処理、ノイズ補正処理など）のみを部分画像データＰＤに対して施す場合には、図８（ｂ）に示すように、上記画像処理前の部分画像データＰＤを格納する領域Ｒ２（第３領域）と上記画像処理後の画像データを格納する領域Ｒ３（第４領域）とを同一の領域にしてもよい。これにより、上記実施形態と同様に、部分画像データに対して画像処理を施す際に必要なメモリ容量を効率的に削減することができる。

また、部分画像データＰＤに対して少なくとも縮小処理を施す場合には、部分画像データＰＤを格納する領域Ｒ２（第５領域）の開始アドレスと縮小処理後の画像データを格納する領域Ｒ３（第６領域）の開始アドレスとを一致させるように領域Ｒ２，Ｒ３を設定することが好ましい。あるいは、領域Ｒ２，Ｒ３を重ならないように設定してもよい。

・上記実施形態では、拡大処理（画像処理）後の部分画像データを、拡大処理の終了した部分画像データＰＤに上書きするようにした。すなわち、部分画像データＰＤを格納する領域Ｒ２の終了アドレスと拡大画像データＭＤを格納する領域Ｒ３の終了アドレスとが一致するように、領域Ｒ２，Ｒ３を設定するようにした。これに限らず、図８（ｃ）に示すように、拡大処理前の部分画像データＰＤを格納する領域Ｒ２と、拡大処理（画像処理）後の部分画像データＭＤを格納する領域Ｒ３とを重複しないように設定するようにしてもよい。これによっても、１フレーム分の復号化データＤＤがメモリ１３に格納されるのではなく、１フレーム分の復号化データＤＤの一部のデータである部分画像データＰＤがメモリ１３（領域Ｒ２）に格納される。従って、従来の画像処理装置に比べて、部分画像データＰＤに対して画像処理を施す際に必要なメモリ容量を、（１フレーム分の復号化データＤＤ−部分画像データＰＤ）分だけ削減することができる。

・上記実施形態では、転送判定部４５により選択された部分画像データＰＤをメモリ１３に格納し、その格納した部分画像データＰＤを解像度変換処理部２４が読み出すようにした。これに限らず、データ転送部４３（ＤＭＡコントローラ４２）からメモリ１３への格納を介さずに、直接、解像度変換処理部２４に部分画像データＰＤを転送するようにしてもよい。この場合には、解像度変換処理部２４において、コーデック２３から直接転送された部分画像データＰＤに対して拡大処理が施され、その拡大処理後の部分画像データがメモリ１３に格納される。すなわち、この場合には、１フレームの復号化データＤＤ及びコーデック２３から転送される部分画像データＰＤの双方をメモリ１３に格納することなく、部分画像データＰＤに対して画像処理を施すことができる。従って、部分画像データＰＤに対して画像処理を施すために必要なメモリ１３のメモリ容量を、従来の画像処理装置よりも１フレームの復号化データＤＤ分だけ削減することができる。

・上記実施形態では、解像度変換処理部２４に監視回路５３を設けることにより、コーデック２３による復号化処理及び部分画像データＰＤのメモリ１３への書き込みと、解像度変換処理部２４の拡大処理及びその拡大画像データＭＤのメモリ１３への書き込みとを並行して実行するようにした。これに限らず、上記監視回路５３を省略して、例えば部分画像データＰＤのメモリ１３への書き込みが全て終了してから、解像度変換処理部２４による拡大処理及びその拡大画像データＭＤのメモリ１３への書き込みを実行するようにしてもよい。この場合、部分画像データＰＤを格納する領域Ｒ２の位置は図４（ｂ）に示した位置に限らず、例えばその領域Ｒ２の開始アドレスＡＤＤ２と、拡大画像データＭＤを格納する領域Ｒ３の開始アドレスＡＤＤ４とを一致させるように領域Ｒ２，Ｒ３を設定するようにしてもよい。

・上記実施形態のコーデック２３による復号化処理において、全ての符号化データＥＤの復号化を実行するようにしたが、全ての部分画像データＰＤの復号化が終了した後の復号化を停止するようにしてもよい。この場合、例えば転送判定部４５が全ての部分画像データＰＤの転送が完了したことを判断し、ＤＭＡコントローラ４２によるメモリ１３からの符号化データＥＤの読み出し動作を停止させるようにしてもよい。これにより、部分画像データＰＤ以降に読み出される符号化データに対する復号化を省略することができるため、処理負荷を軽減することができ、さらに処理時間を短縮することができる。

・上記実施形態のコーデック２３におけるＤＭＡコントローラ４２を省略してもよい。この場合、メモリ１３と復号化部４１との間のデータ転送制御は、ＣＰＵ３１によって実行される。

・上記実施形態の解像度変換処理部２４におけるＤＭＡコントローラ５２を省略してもよい。この場合、メモリ１３と拡大処理部５１との間のデータ転送制御は、ＣＰＵ３１によって実行される。

・上記実施形態では、部分画像データＰＤの位置情報や拡大率が入力部１４からＣＰＵ３１に操作情報として入力されるようにした。これに限らず、例えば符号化ファイルとして格納する際の画像サイズが予め決まっている場合には、ＣＰＵ３１において、入力部１４から入力される部分画像データＰＤの画像サイズと上記格納する際の画像サイズとを比較して、拡大処理時の拡大率を演算するようにしてもよい。なお、表示部１６に画像データを表示させる際の画像サイズが予め決まっている場合や外部の表示装置に画像データを表示させる際の画像サイズが予め決まっている場合にも同様に、ＣＰＵ３１において、拡大処理時の拡大率を演算するようにしてもよい。

あるいは、画像処理の対象となる画像データ（復号化データＤＤ）のアスペクト比が、表示部１６（外部の表示装置）に出力する出力画像のアスペクト比と異なる場合に、ＣＰＵ３１において、出力画像のアスペクト比と一致するように設定された位置及びサイズの部分画像データＰＤを復号化データＤＤから自動的に切り出すようにしてもよい。

・上記実施形態における部分画像データの位置情報、すなわちオフセット情報（ａ，ｂ）及び画像サイズ（ｍ×ｎ）は、画素単位のデータであっても、ＭＣＵ単位のデータであってもよい。

・上記実施形態において、符号化ファイルのヘッダ情報が符号化されている場合には、コーデック２３にてヘッダ情報を復号化し、その復号化後のヘッダ情報をＣＰＵ３１に転送して、ＣＰＵ３１にてヘッダ情報を解析すればよい。

・上記実施形態では、記録メディア１５からメモリ１３に一時的に符号化ファイルを格納し、その格納された符号化ファイルのヘッダ情報や符号化データＥＤを読み出すようにした。これに限らず、ＣＰＵ３１が記録メディア１５から読み出した符号化ファイルのヘッダ情報を解析するとともに、ＣＰＵ３１が記録メディア１５から読み出した符号化データＥＤを直接コーデック２３に転送するようにしてもよい。これにより、符号化ファイルのメモリ１３への格納を省略することができるため、図８（ｄ）に示すように、部分画像データＰＤに対して画像処理を施す際に必要なメモリ容量をより削減することができる。

・上記実施形態では、転送判定部４５が復号化データＤＤのうちの部分画像データＰＤを選択して転送部４４に出力するようにした。これに限らず、例えば転送部４４に全ての復号化データＤＤを入力するようにし、転送部４４に部分画像データＰＤが入力されたときにのみ、転送判定部４５によって転送部４４の転送動作が許可されるようにしてもよい。

・上記実施形態では、ＪＰＥＧ方式により画像データを符号化したが、可変長符号化方式であれば符号化方式はとくに制限されない。
・上記実施形態における画像処理部２０内の各処理部２１〜２７は、それぞれソフトウエアとして構成されるようにしてもよい。

・上記実施形態における解像度変換処理部２４、色調変換処理部２５、エッジ強調処理部２６及びノイズ補正処理部２７は、符号化前の画像データ、すなわちＹＣｂＣｒ形式の画像データに対して各種画像処理を施し、その画像処理後の画像データをメモリ１３に一時的に格納するようにしてもよい。なお、このとき、上記符号化前の画像データに施す画像処理は、上述した画像処理のうちの１つであっても複数であってもよい。この場合のコーデック２３は、メモリ１３に一時的に格納された上記画像処理後の画像データをＪＰＥＧ方式により符号化する。

・上記実施形態の画像処理プロセッサ１２を、デジタルカメラ以外の撮像装置（例えば、カメラ付き携帯電話、パーソナルコンピュータ、ＰＤＡや携帯ゲーム機器など）に設けてもよい。

以上の様々な実施の形態をまとめると、以下のようになる。
（付記１）
画像データに対して画像処理を施す画像処理装置であって、
複数の画素からなる１フレームの画像データが可変長符号化方式により符号化された符号化データを復号化して復号化データを生成する復号化部と、前記復号化部から入力される前記復号化データのうち、所定の画像処理の対象となる部分領域の復号化データを部分画像データとして選択して転送するデータ転送部と、を含む復号化処理部と、
前記データ転送部にて選択された部分画像データに対して所定の画像処理を施し、その画像処理後の部分画像データを記憶部に格納する画像処理部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記データ転送部は、前記選択した部分画像データを前記記憶部に格納し、
前記画像処理部は、前記記憶部に格納された前記部分画像データを読み出して、該部分画像データに対して前記所定の画像処理を施すことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記記憶部に格納された前記部分画像データに、前記画像処理後の部分画像データが上書きされるように、前記復号化処理部及び前記画像処理部のデータ転送を制御するデータ転送制御部を備えることを特徴とする付記２に記載の画像処理装置。
（付記４）
前記画像処理部は、前記部分画像データに対して拡大処理を施す拡大処理部を少なくとも含み、
前記データ転送制御部は、拡大処理前の部分画像データを格納する前記記憶部の第１領域の終了アドレスと、拡大処理後の部分画像データを格納する前記記憶部の第２領域の終了アドレスとが一致するように、前記復号化処理部及び前記画像処理部のデータ転送を制御することを特徴とする付記３に記載の画像処理装置。
（付記５）
前記データ転送制御部は、前記部分画像データに対して該部分画像データの画像サイズを変更しない第１画像処理を施す場合に、前記第１画像処理前の部分画像データを格納する前記記憶部の第３領域と前記第１画像処理後の部分画像データを格納する前記記憶部の第４領域とが同一領域となるように、前記復号化処理部及び前記画像処理部のデータ転送を制御することを特徴とする付記３又は４に記載の画像処理装置。
（付記６）
前記所定の画像処理は、縮小処理を少なくとも含み、
前記データ転送制御部は、縮小処理前の部分画像データを格納する前記記憶部の第５領域の開始アドレスと、縮小処理後の部分画像データを格納する前記記憶部の第６領域の開始アドレスとが一致するように、前記復号化処理部及び前記画像処理部のデータ転送を制御することを特徴とする付記３に記載の画像処理装置。
（付記７）
前記データ転送制御部は、
前記復号化処理部及び前記画像処理部を統括制御する制御部と、
前記制御部によるアドレス及びデータサイズの設定に応じて、前記記憶部と前記復号化処理部あるいは前記画像処理部との間のデータ転送をＤＭＡ（Direct Memory Access）転送方式により実行するＤＭＡコントローラと、を含むことを特徴とする付記３〜６のいずれか１つに記載の画像処理装置。
（付記８）
前記画像処理部は、
前記復号化処理部により転送された前記部分画像データのサイズを監視し、前記画像処理後の部分画像データが格納される前記記憶部の領域を監視するとともに、前記記憶部に格納された前記所定の画像処理前の部分画像データのうち、該所定の画像処理のための読み出しが終了した部分画像データの領域に、前記所定の画像処理後の部分画像データを上書きするようにデータ転送を制御する監視回路を備えることを特徴とする付記３〜７のいずれか１つに記載の画像処理装置。
（付記９）
前記データ転送部は、前記復号化処理部及び前記画像処理部を統括制御する制御部から入力される、前記部分画像データの切り出し位置及び画像サイズに基づいて、前記部分画像データを選択する転送判定部を備えることを特徴とする付記１〜８のいずれか１つに記載の画像処理装置。
（付記１０）
前記復号化処理部は、前記データ転送部による前記部分画像データの転送が全て終了したときに、復号化処理を停止させることを特徴とする付記１〜９のいずれか１つに記載の画像処理装置。
（付記１１）
撮像素子と、付記１〜１０のいずれか１つに記載の画像処理装置と、を備えることを特徴とする撮像装置。
（付記１２）
複数の画素からなる１フレームの画像データが可変長符号化方式により符号化された符号化データを復号化して復号化データを生成し、
前記復号化データのうち、所定の画像処理の対象となる部分領域の復号化データを部分画像データとして選択し、
前記選択した部分画像データを記憶部に格納し、
前記記憶部から読み出した部分画像データに対して所定の画像処理を施し、
前記所定の画像処理後の部分画像データを前記記憶部に格納することを特徴とする画像処理方法。

撮像装置を示すブロック図。コーデック及び解像度変換処理部の内部構成を示すブロック図。部分画像データの選択転送を示す説明図。（ａ）〜（ｃ）は、それぞれ各データが格納されるメモリ領域を示す説明図。部分画像データのメモリへの書き込み方法を示すフローチャート。部分画像データに対する拡大処理方法を示すフローチャート。（ａ）〜（ｃ）は、それぞれメモリの使用領域を示す説明図。（ａ）〜（ｄ）は、それぞれ別例におけるメモリの使用領域を示す説明図。従来の拡大処理方法を示す説明図。

符号の説明

１０デジタルカメラ（撮像装置）
１１ａ撮像素子
１２画像処理プロセッサ（画像処理装置）
１３メモリ（記憶部）
２０画像処理部
２３コーデック（復号化処理部）
２４解像度変換処理部（画像処理部）
２５色調変換処理部（画像処理部）
２６エッジ強調処理部（画像処理部）
２７ノイズ補正処理部（画像処理部）
３１ＣＰＵ（制御部、データ転送制御部）
４１復号化部
４２，５２ＤＭＡコントローラ（データ転送制御部）
４３データ転送部
４５転送判定部
５１拡大処理部
５３監視回路
Ｒ２，Ｒ３領域

Claims

画像データに対して画像処理を施す画像処理装置であって、
複数の画素からなる１フレームの画像データが可変長符号化方式により符号化された符号化データを復号化して復号化データを生成する復号化部と、前記復号化部から入力される前記復号化データのうち、所定の画像処理の対象となる部分領域の復号化データを部分画像データとして選択して記憶部に格納するデータ転送部と、を含む復号化処理部と、
前記記憶部に格納された前記部分画像データを読み出して、該部分画像データに対して所定の画像処理を施し、その画像処理後の部分画像データを前記記憶部に格納する画像処理部と、
前記記憶部に格納された前記部分画像データに、前記画像処理後の部分画像データが上書きされるように、前記復号化処理部及び前記画像処理部のデータ転送を制御するデータ転送制御部とを備え、
前記画像処理部は、前記部分画像データに対して拡大処理を施す拡大処理部を少なくとも含み、
前記データ転送制御部は、前記拡大処理部が拡大処理を施す場合には、拡大処理前の部分画像データを格納する前記記憶部の第１領域の終了アドレスと、拡大処理後の部分画像データを格納する前記記憶部の第２領域の終了アドレスとが一致するように、前記復号化処理部及び前記画像処理部のデータ転送を制御することを特徴とする画像処理装置。
前記データ転送制御部は、前記画像処理部が前記部分画像データに対して該部分画像データの画像サイズを変更しない第１画像処理を施す場合に、前記第１画像処理前の部分画像データを格納する前記記憶部の第３領域と前記第１画像処理後の部分画像データを格納する前記記憶部の第４領域とが同一領域となるように、前記復号化処理部及び前記画像処理部のデータ転送を制御することを特徴とする請求項１に記載の画像処理装置。
前記画像処理部は、
前記復号化処理部により転送された前記部分画像データのサイズを監視し、前記画像処理後の部分画像データが格納される前記記憶部の領域を監視するとともに、前記記憶部に格納された前記所定の画像処理前の部分画像データのうち、該所定の画像処理のための読み出しが終了した部分画像データの領域に、前記所定の画像処理後の部分画像データを上書きするようにデータ転送を制御する監視回路を備えることを特徴とする請求項１又は２に記載の画像処理装置。
前記データ転送部は、前記復号化処理部及び前記画像処理部を統括制御する制御部から入力される、前記部分画像データの切り出し位置及び画像サイズに基づいて、前記部分画像データを選択する転送判定部を備えることを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
前記復号化処理部は、前記データ転送部による前記部分画像データの転送が全て終了したときに、復号化処理を停止させることを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
前記画像処理部は、前記部分画像データに対して縮小処理を施す縮小処理部を含み、
前記データ転送制御部は、前記縮小処理部が縮小処理を施す場合には、縮小処理前の部分画像データを格納する前記記憶部の第５領域の開始アドレスと、縮小処理後の部分画像データを格納する前記記憶部の第６領域の開始アドレスとが一致するように、前記復号化処理部及び前記画像処理部のデータ転送を制御することを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
撮像素子と、請求項１〜６のいずれか１つに記載の画像処理装置と、を備えることを特徴とする撮像装置。
複数の画素からなる１フレームの画像データが可変長符号化方式により符号化された符号化データを復号化して復号化データを生成する工程と、
前記復号化データのうち、所定の画像処理の対象となる部分領域の復号化データを部分画像データとして選択する工程と、
前記選択した部分画像データを記憶部に格納する工程と、
前記記憶部から読み出した部分画像データに対して拡大処理を施す工程と、
前記拡大処理後の部分画像データを前記記憶部に格納する工程とを有し、
前記拡大処理後の部分画像データを前記記憶部に格納する工程では、拡大処理前の部分画像データを格納する前記記憶部の第１領域の終了アドレスと、拡大処理後の部分画像データを格納する前記記憶部の第２領域の終了アドレスとが一致するように前記画像処理後の部分画像データを上書きすることを特徴とする画像処理方法。