JP4228867B2 - 画像処理装置及びその制御方法 - Google Patents
画像処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP4228867B2 JP4228867B2 JP2003344461A JP2003344461A JP4228867B2 JP 4228867 B2 JP4228867 B2 JP 4228867B2 JP 2003344461 A JP2003344461 A JP 2003344461A JP 2003344461 A JP2003344461 A JP 2003344461A JP 4228867 B2 JP4228867 B2 JP 4228867B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- column data
- odd
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Storing Facsimile Image Data (AREA)
- Editing Of Facsimile Originals (AREA)
Description
このDRAMによる画像メモリを用いたシステムにおいては、DRAMコントローラによってDRAMのアドレスを指定して各種コマンドを制御することにより、画像データの書き込みや読み出しを行なうが、DRAMのメモリ空間は、縦方向のロウアドレスと横方向のカラムアドレスによって規定され、各アドレスを1つ1つ指定して画像データの書き込みや読み出しを行なう通常処理モードと、例えばロウアドレスを固定した状態でカラムアドレスを更新して行くことにより、カラム毎に画像データの書き込みや読み出しを行なうバースト処理モードとを利用できる。すなわち、このバースト処理モードでは通常処理モードよりも少ない動作サイクルで画像データの書き込みや読み出しを行なうことができ、動作の迅速化を図ることが可能である。
例えば、カメラ装置を約90°傾けて撮影し、その画像をディスプレイに出力するような場合、画像メモリを用いて90°の画像回転処理を行ない、保存することにより、この画像をディスプレイに出力したり、サムネイル画像(検索参照用画像)を作成する場合に、被写体が正対した画像を容易に得ることが可能である。なお、この画像回転処理としては、メモリ制御の容易性等の観点から、通常は90°あるいは270°の回転処理が用いられることが多い。
しかし、このような画像回転処理を行なう場合、カラムアドレスとロウアドレスの関係が逆転することから、上述したバースト処理モードを利用できず、DRAMへの書き込み時間や読み出し時間が長くなり、特に画像データ量が大きいような場合には、適正なシステム動作を確保する上での障害となってしまう場合もある。
図10は従来の画像処理装置においてカラー画像を画像メモリ(SDRAM)に書き込む場合の構成を示すブロック図である。
図示のように、入力画像データ310は、YUVフォーマットに基づく輝度データ(Y00、Y01、Y02、……)と色差データ(C00、C01、C02、……)によって構成され、これをメモリコントローラ312によって回転処理し、アドレスやコマンドの制御を行ない、画像メモリ(SDRAM)314に格納する。
図11及び図12は従来の画像処理装置で扱うカラー画像データのフォーマットとSDRAMへの格納時におけるアドレス変換例を示す説明図である。
YUVフォーマットの画像データは、詳しくは図示のように、輝度データ(Y00、Y01、Y02、……)と2種類の色差データ(Cb00、Cb01、Cb02、……、Cr00、Cr01、Cr02、……、)より構成されている。
そして、このような画像データを画像メモリ(SDRAM)に書き込む場合、回転しない動作(以下、ノーマル処理という)においては、図11に示すように、まず、輝度データ(Y00、Y01、Y02、……)をSDRAMの各アドレスに1つおきに書き込んで行く。そして、色差データ(Cb00、Cb01、Cb02、……)を奇数番目の輝度データ(Y00、Y02、……)に続く空き領域に書き込んで行き、次に色差データ(Cr00、Cr01、Cr02、……)を偶数番目の輝度データ(Y01、Y03、……)に続く空き領域に書き込んで行く。なお、図中の1H、2H、……、は、画像フレームの水平ラインを表している。
また、180°回転(反転)する場合も同様の処理となる。
また、270°回転する場合も同様の処理となる。
この場合、上述したバースト処理モードを用いることができる。まず、アイドル状態(ステップS1)からロウアドレスの指定(ACT)を行ない(ステップS2)、必要な待機(RAS)の後(ステップS3)、カラムアドレスを更新しながら、各アドレス毎に1バイトデータの書き込み(WRITE)を行なう(ステップS4、S5)。そして、1カラム分の書き込みが終了すると、終了処理(PRECHAGE)を行ない(ステップS6)、ステップS1に戻って次のデータの書き込み処理を行なう。
したがって、バースト処理を用いると、1カラム内の各アドレスについて、1サイクル毎にバイトデータの書き込みを行なうことが可能となる。
この場合、回転処理を行なうために、バースト処理モードを用いることはできない。まず、アイドル状態(ステップS11)からロウアドレスの指定(ACT)を行ない(ステップS12)、必要な待機(RAS)の後(ステップS13)、カラムアドレスを指定して1バイトデータの書き込み(WRITE)を行なう(ステップS14)。そして、1アドレスの書き込みが終了すると、終了処理(PRECHAGE)を行ない(ステップS15)、ステップS11に戻って次のデータの書き込み処理を行なう。
したがって、バースト処理を用いない場合には、1アドレスの書き込み(すなわち、1バイトデータの書き込み)毎に6サイクルを要することになり、図13に示すバースト処理時に比べて大幅に書き込み効率が低下し、処理時間が長くなるものである。
特に、システム全体の動作速度に対して扱う画像データ量が大きい場合には、画像データを回転してメモリに格納する処理がシステム全体の動作の障害となる。
このため、例えば映像機器の設計時において、画像処理装置で扱う画像データの容量を制限したり、高速の素子を用いるために装置の価格上昇を招く等、機能面やコスト面で種々の困難を招くことになる。
そこで本発明の目的は、上述のような実情に鑑み、簡易な構成で画像の回転処理を行ない、迅速にDRAM(SDRAM)に格納することができる画像処理装置及びその制御方法を提供することにある。
このような処理を行うことにより、データ転送効率を低下させているSDRAMのロウアドレスへのアクセス負荷を軽減し、回転処理を伴う画像データの書き込みや読み出し処理を高速に行えるようにする。
なお、一般に画像データを構成する各ラインについては列という表現も行という表現も可能であるが、本発明は画像の回転を伴うことから、列と行を使い分けると説明が煩雑となり、本発明の特徴を簡明に伝える上でかえって不利となることから、本発明の説明においては、画像データを構成する各ラインに列という表現を統一的に用いるものとし、奇数列データ(ODD列データ)、偶数列データ(EVEN列データ)の表現で説明するものとする。
また、図3は図1に示す画像処理装置の画像回転処理の動作例を示すフローチャートであり、図4は図1に示す画像処理装置で画像回転処理する画像データの具体例を示す説明図である。また、図5、図6、及び図7は図1に示す画像処理装置における画像回転処理の際の画像データの流れを示す説明図であり、図8は図1に示す画像処理装置で扱う画像の一例を示す説明図である。
さらに、図9は図1に示す画像処理装置が搭載される映像機器の一例としてデジタルカメラ装置の概要を示すブロック図である。
この画像処理装置は、例えばJPEG圧縮されたYUVフォーマットの画像データを入力して伸長し、画像回転等の処理を行なってSDRAM100内に格納するものであり、JPEGデコーダ110、コンペア回路120、SRAM回路130、インタフェース設定レジスタ140、回転制御用アドレス変換回路150、ステートマシン160、出力データ制御回路170、及びSDRAM制御回路180を有する。
このうち、コンペア回路120及びSRAM回路130が画像データの回転処理等を行なう画像処理ブロックを構成している。また、インタフェース設定レジスタ140、回転制御用アドレス変換回路150、ステートマシン160、出力データ制御回路170、及びSDRAM制御回路180がSDRAM100の制御を行なうためのメモリコントローラを構成している。
コンペア回路120は、JPEGデコーダ110から得られる画像データの奇数列データと偶数列データとの比較を行なうものである。
SRAM(スタティックRAM)回路130は、JPEGデコーダ110から得られる画像データの奇数列データと偶数列データをそれぞれ格納する2つのSRAM領域A、Bを有し、コンペア回路120を用いて画像データを回転処理してSDRAM100に書き込む際のワークエリアとして利用される。なお、2つのSRAM領域A、Bには、それぞれ画像データの1ライン分の輝度データの格納領域と色差データの格納領域を有しているものとする。
回転制御用アドレス変換回路150は、画像データを回転してSDRAM100に格納するためのアドレス変換を行なうものである。
出力データ制御回路170は、SDRAM100に画像データを出力する回路であり、SDRAM制御回路180は、SDRAM100にアドレスやコマンドを出力する回路である。
ステートマシン160は、コマンド制御やタイミング制御を行ない、出力データ制御回路170及びSDRAM制御回路180を制御し、SDRAM100に対する画像データの書き込み、読み出しを制御するものである。
図示のように、JPEGデコーダ110からの入力画像データは、ODD列データがSRAM回路130のODD列データ格納部130Aに入力され、EVEN列データがコンペア回路120に入力される。
そして、ODD列データはSRAM回路130のODD列データ格納部130Aからメモリコントローラ200に出力され、このメモリコントローラ200からSDRAM100に書き込まれる。この際、画像データの回転処理を行ない、従来の回転処理と同様のアドレス変換を行なってSDRAM100の所定領域に書き込むが、本例では、投機処理により、ODD列データのコピーデータをEVEN列データの格納領域にも書き込むものとする。この場合、アドレス変換の負担はODD列データ分の負担だけで済み、また、ODD列とEVEN列の書き込みに、ロウアドレスを固定したバースト処理を用いることが可能である。
なお、このような比較判定処理は、EVEN列データの入力動作に対応してリアルタイムで行なうものである。具体的に説明すると、EVEN列データ格納部130Bには、1ライン分の輝度データを格納するための領域と、色差データを格納する領域とが設けられており、輝度データの入力時には、その比較判定結果を色差データ格納領域を用いて格納し、輝度データのデータ値を輝度データ格納領域を用いて格納していく。また、色差データの入力時には、その比較判定結果を輝度データ格納領域を用いて格納し、色差データのデータ値を色差データ格納領域を用いて格納していく。
そして、ODD列データについては、従来の回転処理と同様のアドレス変換を行ない、上述した投機処理により、ODD列データをODD列データの格納領域に格納するとともに、このODD列データのコピーデータをEVEN列データの格納領域にも書き込む。
また、EVEN列データについては、コンペア回路120からの判定信号に基づいて、EVEN列データ格納部130Bに格納されたデータを参照し、比較判定結果が非同一となったデータ値だけを1つ1つアドレス指定して、ODD列データのコピーデータに上書きしていく。
まず、図3のフローチャートにおいて、左側はSRAM回路130を中心とするブロック(以下、SRAM側ブロックという)の動作を示し、右側はSDRAM100を中心とするブロック(以下、SDRAM側ブロックという)の動作を示している。
まず、SRAMブロック側でJPEGデコーダ110から出力されたODD列データをSRAM回路130のODD列データ格納部130Aに格納し(ステップS101)、この格納したODD列データをSDRAMブロック側に出力する(ステップS102)。SDRAM側ブロックでは、この出力されたODD列データをアドレス変換して回転処理し、ODD列データとそのコピーデータの2列分を投機処理によってSDRAM100に書き込む(ステップS103)。
図5及び図6はこのステップS103における具体的なデータの流れを示している。まず、図6に示すように、ODD列データ(ODD0、ODD1、ODD2、ODD3、……)をアドレス変換して回転処理し、SDRAM100の本来ODD列データを書き込むべき領域に書き込む。そして、図6に示すように、このODD列データのコピーデータを動作をSDRAM100の本来はEVEN列データを書き込むべき領域に書き込む。
図7はこのステップS106における具体的なデータの流れを示している。図示の例では、EVEN列データのEVEN1が上書きされた状態を示している。
例えば、図4に示す富士山の画像の例で、仮想線αで示す空の部分の画像データは、EVEN列データ401及びODD列データ402で示すような値となる。したがって、図中に破線枠β1、β2で示したデータが一致しないことになり、この一致しないEVEN列データだけを上書きで書き込んで行くことで、EVEN列データ全体をアドレス変換して書き込む場合に比べて変換処理に要するサイクル数を大幅に削減することが可能となる。
これを理論的に考察した場合、コンペア回路120における画像データのコンペア率(すなわち、ODD列データとEVEN列データの一致する率)が20%以上であれば、回転処理時の負荷を減少させることが可能であると考えられる。例えば、図8に示すような、比較的煩雑な画像(図では表現できないが、実際にはデジタルスチルカメラで撮影したカラー写真画像である)においても、コンペア率は44%と実測されており、通常の風景画等においては、本実施例の制御方法を採用することで、十分な作用効果を得られるものである。
また、このような特殊な場合については、本実施例の制御方法を用いずに、例えば従来の1つ1つアドレス指定を行なって回転処理する方法を用いることが可能な構成とし、そのモード切り替え用の操作スイッチ等を設けてユーザが適宜選択できるようにしてもよい。
図示のように、このデジタルカメラ装置は、対物レンズ2、CCD撮像部3、CDS/AGC部4、A/D変換部5、信号処理部6、メモリコントローラ7、表示用メモリ部9、ビデオエンコーダ10、LCD表示部11、CPU12、DRAM13、データ圧縮部14、データ伸長部15、ストレージャ16等を有している。
このデジタルカメラ装置では、被写体の画像を対物レンズ2を通してCCD撮像部3で撮像し、その撮像画像データをCDS/AGC部4を通してノイズ除去、ゲイン調整を行なった後、A/D変換部5でデジタルデータに変換し、信号処理部6で色調整等の信号処理を行なった後、メモリコントローラ7、表示用メモリ部9及びビデオエンコーダ10を通してLCD表示部11に表示する。また、信号処理部6で信号処理した画像データを、DRAM13及びデータ圧縮部14を用いて例えばJPEG圧縮し、ストレージャ16に蓄積しておき、この蓄積した画像データをストレージャ16から呼び出して、DRAM13及びデータ伸長部15を用いて伸長し、この画像をメモリコントローラ7、表示用メモリ部9及びビデオエンコーダ10を通してLCD表示部11に表示する。なお、CPU12は、このようなデジタルカメラ装置の全体の制御を司る。
このようなデジタルカメラ装置において、例えば、ストレージャ16に格納したJPEG画像データを回転してLCD表示部11に表示するような場合に、上述した実施例の画像処理装置の機能を信号処理部6及びメモリコントローラ7に設け、上述した投機処理と上書き処理によって回転画像を表示用メモリ部9に書き込み、ビデオエンコーダ10を通してLCD表示部11に表示することが可能である。
また、上述した実施例では、JPEG圧縮されたYUVフォーマット化された画像データを扱う装置の例で説明したが、他の方式による画像データを扱う装置においても同様に適用できるものである。また、画像用メモリとしてSDRAMを採用した例で説明したが、DRAMを用いても同様に実施できるものである。
Claims (16)
- 入力画像データを回転させて画像用DRAM内に格納する画像回転処理部を有し、
前記画像回転処理部は、
入力画像データの連続する奇数列データと偶数列データを一時的に格納する列データ格納用RAMと、
前記入力画像データの連続する奇数列データと偶数列データとを比較する比較回路と、
前記列データ格納用RAMに格納された入力画像データの奇数列データを2列分のデータとして前記画像用DRAMに書き込んだ後に、その奇数列データとそれに続く偶数列データとを前記比較回路によって比較し、その比較結果に基づいて偶数列データの中の奇数列データと異なる値のデータだけを前記画像用DRAMに書き込んだデータに上書きする書き込み制御手段と、
を有することを特徴とする画像処理装置。 - 前記列データ格納用RAMは、奇数列データ格納領域と偶数列データ格納領域とを有し、前記奇数列データ格納領域に格納された奇数列データを前記画像用DRAMに出力して2列分の書き込みを行ない、続いて前記偶数列データ格納領域に偶数列データを格納して行くとともに、前記奇数列データと偶数列データの比較を行ない、その比較結果に基づいて前記偶数列データ格納領域に格納した偶数列データを前記画像用DRAMに選択的に出力して上書きを行なうことを特徴とする請求項1記載の画像処理装置。
- 前記比較回路は列データ格納用RAMに格納された奇数列データと新たに入力される偶数列データとをリアルタイムで比較し、その比較結果を列データ格納用RAM内のデータ出力によって生じた空き領域に書き込むことを特徴とする請求項2記載の画像処理装置。
- 前記列データ格納用RAMはSRAMであることを特徴とする請求項1記載の画像処理装置。
- 前記画像用DRAMはSDRAMであることを特徴とする請求項1記載の画像処理装置。
- 前記書き込み制御手段は、前記入力画像データの奇数列データを2列分のデータとして画像用DRAMに書き込む動作をバースト処理によって行なうことを特徴とする請求項1記載の画像処理装置。
- 前記入力画像データはYUVフォーマットに基づく輝度データ及び色差データより構成されていることを特徴とする請求項1記載の画像処理装置。
- 前記列データ格納用RAMは、少なくとも偶数列の輝度データと色差データとを格納する領域を有し、前記比較回路は、輝度データの比較時に、その比較結果を色差データの格納領域に格納するとともに、輝度データの値を輝度データの格納領域に格納し、色差データの比較時に、色差データの比較結果を輝度データの格納領域に格納するとともに、色差データの値を色差データの格納領域に格納することを特徴とする請求項7記載の画像処理装置。
- 入力画像データを回転させて画像用DRAM内に格納する画像回転処理部を有する画像処理装置の制御方法であって、
前記画像回転処理部に、
入力画像データの連続する奇数列データと偶数列データを一時的に格納する列データ格納用RAMと、
前記入力画像データの連続する奇数列データと偶数列データとを比較する比較回路とを設け、
前記列データ格納用RAMに格納された入力画像データの奇数列データを2列分のデータとして前記画像用DRAMに書き込んだ後に、その奇数列データとそれに続く偶数列データとを前記比較回路によって比較し、その比較結果に基づいて偶数列データの中の奇数列データと異なる値のデータだけを前記画像用DRAMに書き込んだデータに上書きするようにした、
ことを特徴とする画像処理装置の制御方法。 - 前記列データ格納用RAMに奇数列データ格納領域と偶数列データ格納領域とを設け、前記奇数列データ格納領域に格納された奇数列データを前記画像用DRAMに出力して2列分の書き込みを行ない、続いて前記偶数列データ格納領域に偶数列データを格納して行くとともに、前記奇数列データと偶数列データの比較を行ない、その比較結果に基づいて前記偶数列データ格納領域に格納した偶数列データを前記画像用DRAMに選択的に出力して上書きを行なうことを特徴とする請求項9記載の画像処理装置の制御方法。
- 前記比較回路によって列データ格納用RAMに格納された奇数列データと新たに入力される偶数列データとをリアルタイムで比較し、その比較結果を列データ格納用RAM内のデータ出力によって生じた空き領域に書き込むことを特徴とする請求項9記載の画像処理装置の制御方法。
- 前記列データ格納用RAMはSRAMであることを特徴とする請求項9記載の画像処理装置の制御方法。
- 前記画像用DRAMはSDRAMであることを特徴とする請求項9記載の画像処理装置の制御方法。
- 前記入力画像データの奇数列データを2列分のデータとして画像用DRAMに書き込む動作をバースト処理によって行なうことを特徴とする請求項9記載の画像処理装置の制御方法。
- 前記入力画像データはYUVフォーマットに基づく輝度データ及び色差データより構成されていることを特徴とする請求項9記載の画像処理装置の制御方法。
- 前記列データ格納用RAMに少なくとも偶数列の輝度データと色差データとを格納する領域を設け、前記比較回路による輝度データの比較時に、その比較結果を色差データの格納領域に格納するとともに、輝度データの値を輝度データの格納領域に格納し、色差データの比較時に、色差データの比較結果を輝度データの格納領域に格納するとともに、色差データの値を色差データの格納領域に格納することを特徴とする請求項9記載の画像処理装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003344461A JP4228867B2 (ja) | 2003-10-02 | 2003-10-02 | 画像処理装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003344461A JP4228867B2 (ja) | 2003-10-02 | 2003-10-02 | 画像処理装置及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005110181A JP2005110181A (ja) | 2005-04-21 |
JP4228867B2 true JP4228867B2 (ja) | 2009-02-25 |
Family
ID=34538087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003344461A Expired - Fee Related JP4228867B2 (ja) | 2003-10-02 | 2003-10-02 | 画像処理装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4228867B2 (ja) |
-
2003
- 2003-10-02 JP JP2003344461A patent/JP4228867B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005110181A (ja) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8009337B2 (en) | Image display apparatus, method, and program | |
JP4565504B2 (ja) | 画像合成装置 | |
JP4998312B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2009098822A (ja) | データ処理装置及び共有メモリのアクセス方法 | |
JP2001189915A (ja) | 録画装置 | |
KR19980071824A (ko) | 디지털 카메라 | |
JP4898283B2 (ja) | 画像記録装置 | |
JP6021594B2 (ja) | 撮像装置及びプログラム | |
JP4228867B2 (ja) | 画像処理装置及びその制御方法 | |
JP2000224540A (ja) | 画像ファイル装置 | |
US7457470B2 (en) | Image processing apparatus | |
JP2006287733A (ja) | 撮像装置、その操作方法、記憶媒体及びプログラム | |
JP2000041163A (ja) | カメラ装置 | |
JP2006109308A (ja) | 画像処理装置及びその制御方法 | |
KR20080049468A (ko) | 디지털 촬영장치의 제어방법 및 이 방법을 채용한 디지털촬영장치 | |
EP1784783B1 (en) | Method of address-controlling memory with single buffer structure | |
JPH10145737A (ja) | 画像データ格納装置及び画像データ格納方法 | |
JP2006148821A (ja) | ヒストグラム表示装置 | |
JP4747746B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
JP2009055131A (ja) | 画像記録装置 | |
JP2010004308A (ja) | 撮像装置 | |
JP2008118547A (ja) | 映像信号処理装置及び方法、並びにプログラム及び記憶媒体 | |
JP2004282305A (ja) | 画像処理システム | |
JP4438357B2 (ja) | 電子スチルカメラ | |
JP2003087715A (ja) | 画像再生装置及び画像再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |