JP4245139B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理装置に関する。
【０００２】
【従来の技術】
近年、デジタルカメラの高画素化が進み、これに伴って撮像した画像データの転送速度や画像処理速度などの高速化が求められている。図７，８は従来のデジタルカメラにおける撮像時の画像信号の流れを示した概略図である。図７は、撮像用のＣＣＤセンサとしてインターレースセンサ２を利用した場合、図８はプログレッシブセンサ１８を利用した場合を示している。以下に図７，８を参照しながら、従来のデジタルカメラの画像処理に係る動作を説明する。
【０００３】
撮像用のＣＣＤセンサとしてインターレースセンサ２を利用した場合、図７に示すように、まずインターレースセンサ２が、光として捉えた被写体に係る情報を、電気信号に変換し、画像信号として出力する。そして、信号処理ユニットは、この画像信号に、相関二重サンプリングによるノイズ抑制や、Ａ／Ｄ変換によるデジタル信号への変換などを施した後、これを主処理部４へ出力する。主処理部４では、まず、入力された画像信号に、センサプロセッシングユニット６（以下、ＳＰＵ（Sensor Processing Unit）と記す）によるホワイトバランス調整などの信号処理を施し、主メモリ５上へ記録する。
【０００４】
このとき、インターレースセンサ２は、撮像した１フレームの画像を、奇数フィールドと偶数フィールドの２回に分けて出力する。しかし、ＳＰＵ６以降の画像処理では、処理するために周囲の画素情報も必要とするため、奇数フィールドまたは偶数フィールドだけの情報では処理を行うことができない。そのため、この段階で、インターレースセンサ２から全フィールドの画像信号が出力され、１フレームの画像信号が主メモリ５上に原画像データ１６として再現されるまで、これ以降の処理は行われない。
【０００５】
そして、１フレームの画像信号が原画像データ１６として再現されると、次に、リアルタイムプロセッシングユニット７（以下、はＲＰＵ（Real-time Processing Unit）と記す）が、主メモリ５上から原画像データ１６をラインメモリ８上に読み出し、補間処理、色空間の変換および偽色抑制などの信号処理を施す。そして、ＲＰＵ７の処理した画像信号は、主メモリ５上のラインバッファＡ，Ｂ（２４，２５）を利用して画像圧縮伸張ユニット１３へ転送される。ＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮変換処理する場合、一般的に、ラインバッファＡ，Ｂは、各８ラインで構成される。
【０００６】
具体的には、ＲＰＵ７は、処理した画像信号のラインバッファＡ２４への転送を終えると、引き続き原画像データ１６から読み出した次の画像信号を処理し、これをラインバッファＢ２５に転送する。このとき同時に、先にラインバッファＡ２４上に転送されていた画像信号は、画像圧縮伸張ユニット１３に転送され処理される。そしてさらに、ＲＰＵ７が処理を続け、空になったラインバッファＡ２４に再び画像信号を転送すると、これと並行してラインバッファＢ２５からは、先に転送されていた画像信号が画像圧縮伸張処理ユニット１３に読み出される。このように、２つのラインバッファＡ，Ｂ（２４，２５）を、交互に排他的に利用しながら処理を行う。
【０００７】
画像圧縮伸張ユニット１３は、ラインバッファＡ，Ｂ（２４，２５）から読み出した画像信号を、ＪＰＥＧなどの所定の形式に圧縮変換処理した後、これを圧縮画像データ１７として主メモリ５上に転送する。そして、圧縮画像データ１７は、画像表示ユニット１９および信号変換ユニット２０によって処理され、表示装置部２１に画像を再現表示したり、メモリカードインターフェースを介してメモリカードに記録保存するために利用される。
【０００８】
撮像用のＣＣＤセンサとして、プログレッシブセンサ１８を利用する場合、インターレースセンサ２と異なり撮像した１フレームの画像を一度に出力するため、一旦、主メモリ５上に原画像データ１６を生成する必要がない。その他の動作は、全て上述したインターレースセンサ２を利用した場合と同様である。
【０００９】
また、ＣＣＤセンサ２，１８の高画素化に伴って、その水平画素数が画像処理を行うＲＰＵ７の有するラインメモリ８の水平ライン長を超えるような場合がある。このような場合、ＣＣＤセンサ２，１８の種類に拘わらず、ＣＣＤセンサ２，１８から出力される画像信号をそのまま、ＲＰＵ７で処理することはできない。そこで、プログレッシブセンサ１８を利用している場合でも、一旦、主メモリ５上に原画像データ１６を生成してから、以降の処理を行っていた。具体的には、図９に示したように、ＲＰＵ７の有するラインメモリ８の水平ライン長を超えないよう左右２つの領域に分割し、まずＰ１〜Ｐ（n/2）に至る左側の領域を処理してＱ１〜Ｑ（n/2）の領域を生成し、続いて右側のＰｎに至る領域を処理してＱｎに至る領域を生成する。そして、最後に、左右２つの領域Ｒ１，Ｒ２を合成して主メモリ５上に、１フレームの中間データ２６を生成し、さらにこれを画像圧縮伸張ユニット１３で処理するという方法で画像処理を行っていた。
【００１０】
【発明が解決しようとする課題】
デジタルカメラで撮像した対象物を、ＪＰＥＧなどの所定の形式に圧縮処理し、表示装置に表示したり、メモリカードに記録保存したりするには、上述したように、主処理部４と主メモリ５との間で、バス１４を介した画像信号の転送を繰り返す必要がある。具体的には、インターレースセンサ２を利用したデジタルカメラでは、図７に示したように、５回の転送を行う必要があり、プログレッシブセンサを利用したデジタルカメラでも、図８に示したように、３回の転送を行う必要があった。
【００１１】
また、ＣＣＤセンサ２，１８の水平画素数がＲＰＵ７の有するラインメモリ８の水平ライン長を超える場合、上述したように、原画像データ１６に加えて、左右別々に処理したＲ１，Ｒ２を合わせた中間データ２６を主メモリ５上に保持するため、通常に比べ大容量の主メモリ５を利用する必要があった。
【００１２】
これらのデータ転送は、ＤＭＡ制御ユニット１５により、ＣＰＵを介さずバス１４を利用した高速なＤＭＡ転送により行われる。しかし、ＣＣＤセンサ２，１８から出力される画像信号は、例えば、縦２５６０ピクセル，横１９２０ピクセルの５００万画素級のＣＣＤセンサで、各画素１６ビットの情報を有するとすれば、約１０Ｍバイトにも達する。近年では、さらに高画素のＣＣＤセンサ２，１８も登場しており、このような大容量データを何度も転送することが、バス帯域の圧迫、消費電力の増大、処理速度の低下などの原因となっていた。
【００１３】
そこで、本発明の課題は、低消費電力でありながら高速な画像処理を実現する画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、所望の対象物を撮像した撮像データに画像処理を行う画像処理装置であって、画像処理を行う画像処理部と、前記画像処理部の外部に配設された記憶手段と、を備え、前記画像処理部は、前記撮像データに対し、前記撮像データの水平画素数単位に所定の処理を行い、画像データとして出力する画像処理手段と、前記撮像データの水平画素数を超える水平ライン長を有する前記画像データを記憶するバッファ・メモリと、前記画像データに圧縮処理を行う圧縮処理手段と、を備え、前記画像処理手段は、前記画像データを前記バッファ・メモリに書き込み、前記圧縮処理手段は、前記バッファ・メモリから読み出した前記画像データに圧縮処理を行い、前記バッファ・メモリは、第１バッファ・メモリ及び第２バッファ・メモリを含み、前記第１及び第２のバッファ・メモリを、連続した１つの合成バッファ・メモリとして、前記画像データの読み書きを行う手段をさらに備え、前記画像処理手段は、前記合成バッファ・メモリへ所定の容量の前記画像データを書き込んだ後、制御信号を受信する迄書き込みを停止し、前記圧縮処理手段は、前記連続したバッファ・メモリから前記画像データを読み出した後、前記制御信号を前記画像処理部へ送信し、前記合成バッファ・メモリは、前記撮像データの水平画素数を超える水平ライン長を有することを特徴とするものである。
【００１７】
請求項２に記載の発明は、請求項１記載の画像処理装置であって、前記画像処理部は、さらに、前記画像データに、表示装置で画像を再生表示するための所定の処理を行う画像表示処理手段、を備え、前記画像処理手段は、前記画像データを前記バッファ・メモリに書き込み、前記画像表示処理手段は、前記バッファ・メモリから読み出した前記画像データに所定の処理を行うことを特徴とするものである。
【００１８】
請求項３に記載の発明は、請求項１または請求項２記載の画像処理装置であって、前記画像処理手段は、さらに、前記撮像データに所定の処理を行い、画像表示用データとして出力する手段、を備え、前記画像処理手段は、前記制御手段を介して前記第１バッファ・メモリおよび第２バッファ・メモリに前記画像表示用データを書き込み、前記画像表示処理手段は、前記制御手段を介して前記第１バッファ・メモリおよび第２バッファ・メモリから前記画像表示用データを読み出すことを特徴とするものである。
【００１９】
請求項４に記載の発明は、請求項２または請求項３に記載の画像処理装置であって、前記表示装置は、電子ビューファインダーであることを特徴とするものである。
【００２２】
【発明の実施の形態】
｛第１の実施の形態｝
図１はこの発明の第１の実施の形態に係る画像処理装置１を含むデジタルカメラを示す概略図である。図中の矢印は、デジタルカメラで撮像したときの画像信号の流れを示している。図１の如く、画像処理装置１は、主処理部（画像処理部）４と主メモリ（記憶手段）５とから構成され、信号処理ユニット３を介してインターレースセンサ２に接続されている。
【００２３】
主処理部４は、ＳＰＵ６と、ラインメモリ８を有するＲＰＵ７と、画像圧縮伸張ユニット１３と、ＲＰＵ７（画像処理手段）と画像圧縮伸張ユニット１３（圧縮処理手段）との間でデータ転送に利用するローカルバッファＡ９（第１バッファ・メモリ）およびローカルバッファＢ１０（第２バッファ・メモリ）と、２つのローカルバッファＡ，Ｂ（９，１０）のいずれを利用するかを制御する書き込み制御ユニット１１および読み出し制御ユニット１２（制御手段）と、データ転送に用いるバス１４と、バス１４を用いた主処理部４と主メモリ５の間のデータ転送を制御するＤＭＡ制御ユニット１５と、により構成されている。
【００２４】
主メモリ５は、主処理部４において、ＳＰＵ６が信号処理ユニット３を介してインターレースセンサ２から入力された全フィールドのデータを処理して生成する原画像データ１６と、画像圧縮伸張ユニット１３が出力する圧縮画像データ１７を一時的に保存するために利用する。
【００２５】
ＲＰＵ７と画像圧縮伸張ユニット１３の間に、２つのローカルバッファＡ，Ｂ（９，１０）を備え、主メモリ５をラインバッファとして利用する以外は、図７に示した従来のデジタルカメラと同様の構成である。
【００２６】
なお、特に図示していないが、主処理部４は、各種の処理演算を行うためのＣＰＵ、撮像した画像データを記録保存するための外部メモリカード、外部メモリカードへ記録するためのインターフェースなどのハードウェア、およびソフトウェアプログラムを記憶する記憶装置などをも備えている。
【００２７】
次に、上記構成の画像処理装置１の動作を説明する。
【００２８】
まず、主処理部４において、ＳＰＵ６が、信号処理ユニット３を介してインターレースセンサ２から入力される画像信号から、主メモリ５上に原画像データ１６を生成し、ＲＰＵ７が、原画像データ１６から読み込んだ画像信号を、ラインメモリ８上に保持しながら、補間処理や色空間変換および偽色抑制などの信号処理を施す所までは、図７を用いて上述した従来のデジタルカメラと同様に動作する。ただし、本実施の形態では、ＲＰＵ７が、処理後の画像データを、主メモリ５上のラインバッファＡ，Ｂ（２４，２５）ではなく、主処理部４に設けられたローカルバッファＡ，Ｂ（９，１０）に転送する。
【００２９】
具体的には、まず、ＲＰＵ７は、処理後の画像データをローカルバッファＡ９に転送する。そして、８ライン分の画像データ転送が終了すると、引き続きＲＰＵ７は、原画像データ１６から次の８ラインの画像データを読み出して処理を施し、これをローカルバッファＢ１０に転送する。このＲＰＵ７のローカルバッファＢ１０への画像データの転送と並行して、ローカルバッファＡ９にあった画像データは、画像圧縮伸張ユニット１３に読み出され、ＪＰＥＧなどの所定の形式に圧縮処理が施された後、主メモリ５に転送される。次に、ＲＰＵ７が、原画像データ１６から、さらに次の８ラインの画像データを読み出して処理を施し、空になったローカルバッファＡ９にこれを転送する間に、ローカルバッファＢ１０にあった画像データは、画像圧縮伸張ユニット１３に読み出され、所定の処理を施されて主メモリ５上に転送される。則ち、ＲＰＵ７が一方のローカルバッファに画像データを転送する間に、画像圧縮伸張処理ユニット１２が他方のローカルバッファにあった画像データを読み出して処理を行う。そして、この様な動作を繰り返し、主メモリ５上には、圧縮画像データ１７が生成される。
【００３０】
図２は、ＣＣＤセンサに、プログレッシブセンサ１８を利用した場合のデジタルカメラの構成を示している。プログレッシブセンサ１８以外は、図１と同様の構成であり、図２では、図１と同様の機能を有する要素については同一符号を付している。プログレッシブセンサ１８を利用する場合の動作については、原画像データ１６の生成を必要とせず、ＳＰＵ６が出力するデータが、そのままＲＰＵ７へ入力され処理されるという点以外は、上述したのと同様である。
【００３１】
なお、いずれのローカルバッファＡ，Ｂ（９，１０）が、ＲＰＵ７および画像圧縮伸張ユニット１３に接続され利用されるかは、書き込み制御ユニット１１および読み出し制御ユニット１２によって制御される。
【００３２】
また、ローカルバッファＡ，Ｂ（９，１０）は、ＲＰＵ７が一回の処理で処理する画像データのライン長より長ければ、それ以上であっても構わない。具体的には、ＣＣＤセンサ２，１８の水平画素数より長ければ、ＲＰＵ７の有するラインメモリ８の水平ライン長と同じでもよいし、短くても構わない。例えば、ＣＣＤセンサ２，１８が２５６０画素の水平画素数を持つ５００万画素級のＣＣＤセンサで、ＲＰＵ７の有するラインメモリが４０９６画素分の水平ライン長を持つ場合、ローカルバッファＡ，Ｂ（９，１０）の水平ライン長は、２５６０画素分以上であれば、２６００画素分であっても構わないし、４０９６画素分であっても構わない。
【００３３】
このように、ローカルバッファＡ，Ｂ（９，１０）を利用することで、圧縮画像データ１７を生成するまでに主処理部４と主メモリ５との間で行われるバス１４を利用したＤＭＡ制御ユニット１５による画像データのＤＭＡ転送は、従来、インターレースセンサ２を利用する場合は図７に示したように５回、プログレッシブセンサ１８を利用した場合は図８に示したように３回、必要としていたものが、それぞれ、図１，２に示すように３回および１回で済むようになる。その結果、バス帯域を削減し、高速な画像処理を実現することができる。また、ＤＭＡ制御ユニット１５の動作回数だけでなく、主処理部４よりも一般的に高電圧で動作する主メモリ５の利用回数を低減することで、画像処理装置１全体の消費電力を低減するという効果もある。さらに、ローカルバッファを２つ備えることで、ローカルバッファへの入出力を待つ必要がなく、ＲＰＵ６と画像圧縮伸張ユニット１３とが、それぞれ連続して処理を行うことが可能であるため、高速な画像処理を実現するという効果もある。
【００３４】
｛第２の実施の形態｝
第１の実施の形態において、ＣＣＤセンサにプログレッシブセンサ１８を利用する場合、プログレッシブセンサ１７の水平画素数が、ローカルバッファＡ，Ｂ（９，１０）の水平ライン長を超えなければ、図２に示したように、ローカルバッファＡ，Ｂ（９，１０）を利用することで、主メモリ５上に、一旦、原画像データ１６を生成することなく、ＳＰＵ６から画像圧縮伸張ユニット１３まで、リアルタイムにデータを処理することができる。しかし、ＣＣＤセンサ２，１８の水平画素数が、ローカルバッファＡ，Ｂ（９，１０）の水平ライン長を超えるような場合、ＲＰＵ７から転送されるデータが、ローカルバッファＡ，Ｂ（９，１０）内に収まりきらず、このような連続した処理を行うことは不可能となる。
【００３５】
本実施の形態では、このように、ＣＣＤセンサ２，１８の水平ライン長が、ローカルバッファＡ，Ｂ（９，１０）の水平ライン長を超えるような場合の処理方法について説明する。
【００３６】
図３は、この発明の第２の実施の形態に係る画像処理装置１を含むデジタルカメラを示す概略図である。図中の矢印は、デジタルカメラで撮像したときの画像信号の流れを示している。この実施の形態の画像処理装置１は、第１の実施の形態と同様の構成であるが、ローカルバッファＡ，Ｂ（９，１０）の利用方法が異なる。なお、図３では図１，２と同様の機能を有する要素については同一符号を付している。
【００３７】
例えば、ＣＣＤセンサ２，１８の水平画素数が３０７２画素の６００万画素級のＣＣＤセンサで、ＲＰＵ７の有するラインメモリの水平ライン長が４０９６画素分であるのに対し、ローカルバッファＡ，Ｂ（９，１０）の水平ライン長が、２５６０画素の５００万画素級のＣＣＤセンサに対応する２６００画素分しかない場合、ＲＰＵ７から転送されるデータは、ローカルバッファＡ，Ｂ（９，１０）から溢れてしまい、処理を続けることができない。そこで、本実施の形態では、図３に示すように２つのローカルバッファＡ，Ｂ（９，１０）を連続した１つのバッファ・メモリとして利用する。これにより、ローカルバッファの水平ライン長は、各々の水平ライン長の２倍にあたる５２００画素分までのデータに対応できることとなる。
【００３８】
ローカルバッファＡ，Ｂ（９，１０）を連続した１つのバッファ・メモリとして利用することで、第１の実施の形態で示したように、ＲＰＵ７と画像圧縮伸張ユニット１３が、２つのローカルバッファを排他的に利用して連続した処理を行うことは不可能となるが、これについては、ＲＰＵ７と画像圧縮伸張ユニット１３の間で制御信号を送受信することで対応する。
【００３９】
具体的には、まず、ＲＰＵ７が、原画像データ１６から読み出した１ライン分の画像データを処理し、これを２つのローカルバッファＡ，Ｂ（９，１０）を接続したバッファ・メモリに転送する。そして、転送を終えると、ＲＰＵ７は画像データの転送を停止する。画像圧縮伸張ユニット１３は、バッファ・メモリからデータの読み出しと処理を行っていが、バッファ・メモリ内の全てのデータの読み出しを終えると、これを通知するためＲＰＵ７に対し制御信号を送信する。そして、この制御信号を受信したＲＰＵ７は、再び原画像データ１６からの画像データの読み出しと処理、処理後のデータのバッファへの転送を開始する。
【００４０】
なお、ＣＣＤセンサとしてプログレッシブセンサ１８を利用する場合であっても、ＳＰＵ６が出力するデータを直接ＲＰＵ７へ転送せず、一旦、主メモリ５に転送し、原画像データ１６を生成することで、上述した方法を利用することができる。
【００４１】
また、図３では、概念的に、２つのローカルバッファＡ，Ｂ（９，１０）を水平方向に物理的に接続して１つのバッファ・メモリとして利用するように表しているが、実際は、ソフトウェアプラグラムによる制御によって、ＲＰＵ７がローカルバッファＡ９にデータ転送を行い、これを超えるデータについては、連続してローカルバッファＢ１０に転送することで、これを実現する。これは、画像圧縮伸張ユニット１３の行う読み出し側の処理についてても同様である。これにより、書き込み制御部１１および読み出し制御部１２を合わせて制御すれば、図１，２で示した構成でも本実施例を実現可能であり、第１の実施の形態に加えて、さらに本実施例で上述したような動作をさせることも可能である。
【００４２】
また、本実施の形態では、第１の実施の形態で上述した２つのローカルバッファＡ，Ｂ（９，１０）を利用する態様について説明したが、バッファ・メモリを利用する最も簡便な方法としては、画像処理装置１が、ＲＰＵ７の有するラインメモリ８の容量に相当する１つのローカルバッファを備え、これを利用して、上述したような制御信号を利用して動作する態様であっても構わない。
【００４３】
このように、２つのローカルバッファＡ，Ｂ（９，１０）の水平ライン長を超えるような高画素のＣＣＤセンサ２，１８を利用する場合であっても、２つのローカルバッファＡ，Ｂ（９，１０）を、上述したように１つのバッファ・メモリとして利用することで、画像処理を行うことが可能である。また、ＣＣＤセンサ２，１８の水平画素数を超える水平ライン長を持つバッファ・メモリを１つしか持たない場合であっても、上述したように制御信号を利用することで、画像処理を行うことが可能である。そして、これにより、第１の実施の形態と同様、ＲＰＵ７と画像圧縮伸張ユニット１３の間のデータ転送において、主メモリ５やバス１４を利用せずに済むため、バス帯域を削減し高速な画像処理を実現し、かつ消費電力を抑えることが可能である。
【００４４】
｛第３の実施の形態｝
第１の実施の形態および第２の実施の形態では、ローカルバッファＡ，Ｂ（９，１０）を、ＲＰＵ７から画像圧縮伸張ユニット１３へのデータ転送に利用したが、ローカルバッファＡ，Ｂ（９，１０）の利用はこれに限らず、主処理部４内で行われる他の処理に利用することも可能である。本実施の形態では、ローカルバッファＡ，Ｂ（９，１０）を、表示装置部２３への画像の表示に利用する場合について説明する。
【００４５】
デジタルカメラでは、撮像対象を確認するために、電子ビューファインダーや液晶ディスプレイを利用することがある。このとき、従来は、図８，９に示すように、ＣＣＤセンサ２，１８から信号処理ユニット３およびＳＰＵ６を介して出力された画像信号を、バス１４を利用して、画像表示ユニット１９（画像表示処理手段）に転送し、ここで変換処理された後、さらに信号変換ユニット２０を介して、表示装置部２１である電子ビューファインダーや液晶ディスプレイに出力し、画像を再生表示していた。
【００４６】
表示装置部２１は、撮像対象を視認するという目的から、撮像時のみではなく、常時、撮像対象物を再生表示する必要がある。そのため、画像表示ユニット１９へのデータ転送は継続的に行わねばならず、このデータ転送に係るバス１４への負荷は非常に大きなものであった。
【００４７】
そこで、本実施の形態では、ローカルバッファＡ，Ｂ（９，１０）を、画像表示ユニット１９へのデータ転送に利用することで、バス帯域の低減を図る。図４は、この発明の第３の実施の形態に係る画像処理装置１を含むデジタルカメラを示す概略図である。図中の矢印は、デジタルカメラで撮像したときの画像信号の流れを示している。なお、図４では、図１〜３と同様の機能を有する要素については同一符号を付している。
【００４８】
ＣＣＤセンサ２，１８から入力される画像信号はＳＰＵ６で処理され、インターレースセンサ２であれば原画像データ１６を生成した後に、またプログレッシブセンサ１８であれば直接、ＲＰＵ７に転送される。ＲＰＵ７から出力される撮像データは、ローカルバッファＡ，Ｂ（９，１０）を介し、画像圧縮伸張ユニット１３および画像表示ユニット１９へ入力され、撮像時には画像圧縮伸張ユニット１３で、撮像対象の視認時には画像表示ユニット１９で処理される。撮像対象の視認時には、表示装置部２１での表示は、撮像対象を認識できる程度でよく、ＣＣＤセンサ２，１８から出力される数百万画素に及ぶデータは必要としないため、ＲＰＵ７からは、例えば縦２４０ピクセル、横３２０ピクセルというように間引かれた画像データが出力される。そして、この画像データについて、第１の実施の形態で上述したように、ＲＰＵ７からの書き込みと、画像表示ユニット１９からの読み出しが、書き込み制御ユニット１１および読み出し制御ユニット１２によって、ローカルバッファＡ，Ｂ（９，１０）を交互に排他的に利用して行われることで、連続した処理が行われる。
【００４９】
なお、ＲＰＵ７とローカルバッファＡ，Ｂ（９，１０）、ローカルバッファＡ，Ｂ（９，１０）と画像圧縮伸張ユニット１３および画像表示ユニット１９、の間の各接続は、書き込み制御部１１および読み出し制御部１２と同様に接続の切り替え機能を有する専用のハードウェアおよびソフトウェアプログラムにより制御すればよい。
【００５０】
また、ＲＰＵ７からの出力はローカルバッファＡ，Ｂ（９，１０）に接続され、ローカルバッファＡ，Ｂ（９，１０）からの出力が、画像圧縮伸張ユニット１３と画像表示ユニット１９とのいずれか一方に選択的に出力されるような構成になっており、ローカルバッファＡ，Ｂ（９，１０）は、画像圧縮伸張ユニット１３と画像表示ユニット１９のいずれか一方で選択的に利用されるが、このとき、画像圧縮伸張ユニット１３と画像表示ユニット１９の、どちらにローカルバッファＡ，Ｂ（９，１０）を割り当てて利用するかについては、バス１４に掛かる負荷の高い処理を行っている方に割り当てて利用すればよい。
【００５１】
このように、ＲＰＵ７から、ローカルバッファＡ，Ｂ（９，１０）を介して、画像表示ユニット１９へ直接データを転送することで、従来のように画像再生に係るバス１４を利用したデータ転送の必要がなくなり、バス帯域を低減し、消費電力を抑えることが可能である。また、バス帯域の低減は、画像処理装置１全体の処理の高速化にも効果がある。
【００５２】
｛第４の実施の形態｝
従来、ＣＣＤセンサ２，１８の水平画素数が、ＲＰＵ７の有するラインメモリ８の水平ライン長を超えるような場合、図９を用いて上述したように、原画像データ１６を左右の２つの領域に分割し、この領域を片方ずつラインメモリ８を利用しながらＲＰＵ７で処理して、主メモリ５上に中間データ２６を生成し、さらに、これを画像圧縮伸張ユニット１３で処理して、圧縮画像データ１７を生成していた。この方法によれば、ＲＰＵ７の有するラインメモリ８の水平ライン長を超える水平画素数のＣＣＤセンサ２，１８にも対応することが可能であるが、主メモリ５上にＣＣＤセンサ２，１８の画素数に応じた大容量の中間データ２６保存領域を必要としていた。そこで、本実施の形態では、そのような大容量の中間データを必要としない原画像データ１６の処理方法について説明する。
【００５３】
図５は、この発明の第４の実施の形態に係る画像処理装置１を含むデジタルカメラを示す概略図である。図中の矢印は、デジタルカメラで撮像したときの画像信号の流れを示している。なお、図４では、図１〜３と同様の機能を有する要素については同一符号を付している。また、図６は、主メモリ５上で生成するデータと、その処理順を示す説明図である。以下に、図５，６を用いて、その動作について説明する。
【００５４】
まず、ＣＣＤセンサ２，１８の水平画素数がＲＰＵ７の有するラインメモリ８の水平ライン長を超え、ＳＰＵ６からＲＰＵ７へと連続して処理を続けることができないため、使用するＣＣＤセンサ２，１８の種類に拘わらず、一旦、主メモリ上５上に原画像データ１６を生成する。続いて、この原画像データ１６を分割してＲＰＵ７でラインメモリ８を利用しながら処理を行う。このとき、原画像データの分割は、図６に示したように、縦２列の左右領域に分割し、さらに横方向に８ラインずつに分割する方法で行う。これにより、例えば、ＣＣＤセンサ２，１８の水平画素数が５０００画素であっても、実際に処理するデータの水平ライン長は半分の２５００画素分となるため、４０９６画素分のラインメモリ８しか持たないＲＰＵ７であっても、ラインメモリ８を利用した処理を行うことが可能となる。図６に示した領域Ｐ１が、ＲＰＵ７で処理されると、主メモリ５上のラインバッファＡ２２にデータＱ１として書き込まれる。続いて、従来のように領域Ｐ３を処理するのではなく、領域Ｐ２を処理し、これがデータＱ２として、主メモリ５上のラインバッファＡ２２に追加して書き込まれる。その結果、主メモリ５上には、ＣＣＤセンサ２，１８の水平画素数に相当する水平ライン長を有する８ライン分の中間データＲ１（２３）が生成される。画像圧縮伸張ユニット１３は、縦８画素，横８画素のブロック領域毎にデータの処理を行うので、このデータＲ１を処理し、データＳ１を生成することができる。そして、これらの処理を連続して行うことで、圧縮画像データ１７を生成する。
【００５５】
このように、ＲＰＵ７は、ラインメモリ８を利用しながら、Ｐ１，Ｐ２…と処理を続け、その結果生成されたＲ１，Ｒ２…を画像圧縮伸張ユニット１３が処理することで、ラインメモリ８の水平ライン長を超える水平画素数を持つＣＣＤセンサ２，１８を利用する場合であっても、従来の様に、主メモリ５上への１フレーム分の中間データの生成を待つことなく処理を進めることができ、さらに、使用する主メモリ５上のバッファ容量も小さくて済む。また、主メモリ５上に、２つのラインバッファＡ，Ｂ（２２，２３）を設け、第１の実施の形態および第２の実施の形態で上述したローカルバッファＡ，Ｂ（９，１０）の様にこれら排他的に利用しながら連続した処理を行えば、さらに高速な画像処理を実現することができる。
【００５６】
｛第５の実施の形態｝
第４の実施の形態では、ＣＣＤセンサ２，１８の高画素化に伴い、ＣＣＤセンサ２，１８の水平画素数が、ＲＰＵ７の有するラインメモリ８の水平ライン長を超えるような場合に、原画像データ１６からの画像データの読み出し方法を工夫することで、画像処理を可能とする方法について説明した。しかし、この方法は、中間データの保存領域に主メモリ５を利用するため、第１の実施の形態および第２の実施の形態で上述したローカルバッファＡ，Ｂ（９，１０）を利用する場合に比べ、バス１４に掛かる負荷が大きく、消費電力も大きくなる。そこで、本実施の形態では、第４の実施の形態に加えて、第２の実施の形態で説明した方法を利用することで、これを解決する方法について説明する。
【００５７】
デジタルカメラの回路としては、第２の実施の形態と同じく図３に示した回路を利用する。そして、画像処理の方法について、原画像データ１６からのデータの読み出し方法だけを、第４の実施の形態で図６を用いて説明した方法にすればよい。
【００５８】
則ち、ＣＣＤセンサ２，１８からＳＰＵ６を介して主メモリ５上に生成した原画像データ１６を、図６に示したように、Ｐ１，Ｐ２の順で読み出す。そして、これを、ＲＰＵ７でラインメモリ８を利用しながら処理し、主メモリ５上のラインバッファＡ２２ではなく、ローカルバッファＡ，Ｂ（９，１０）に転送する。この段階で、ローカルバッファＡ，Ｂ（９，１０）上には、図６に示すデータＲ１（２３）が生成される。ＲＰＵ７は、データの転送を終えると、画像データの書き込みを停止する。続いて画像圧縮伸張ユニット１３が、ローカルバッファＡ，Ｂ（９，１０）からデータを読み出し、圧縮処理を施した後、これを圧縮画像データ１７として主メモリ５に転送する。この段階で、主メモリ５上には、図６に示すデータＳ１が圧縮画像データ１７として生成される。画像圧縮伸張ユニット１３は、ローカルバッファＡ，Ｂ（９，１０）からのデータの読み出しを終えると、これを通知するためＲＰＵ７へ制御信号を送信する。ＲＰＵ７は、制御信号を受けると、再び原画像データ１６からＰ３，Ｐ４の領域のデータを読み出し、画像処理を施した後、ローカルバッファＡ，Ｂ（９，１０）へのデータ転送を開始する。このような処理を繰り返すことで、主メモリ５上には、中間データ２６を生成することなく、圧縮画像データ１７だけが生成される。
【００５９】
なお、本実施の形態では、第４の実施の形態と、第２の実施の形態を合わせて実現する方法について説明したが、ＣＣＤセンサ２，１８の水平画素数が、ローカルバッファＡ，Ｂ（９，１０）の水平ライン長を超えていなければ、第１の実施の形態を利用する態様であっても構わない。また、さらに、第３の実施の形態を合わせて実現する態様であっても構わない。
【００６０】
このように、第４の実施の形態で説明した方法に、第２の実施の形態で説明したローカルバッファＡ，Ｂ（９，１０）を利用することで、主メモリ５上に、中間データを生成する必要がなくなり、バス１４の負荷を軽減しながら、消費電力をも抑えることができる。
【００６１】
【発明の効果】
請求項１に記載の発明によれば、画像処理手段は、画像データをバッファ・メモリに書き込み、圧縮処理手段は、バッファ・メモリから読み出した画像データに圧縮処理を行うことで、画像データを記憶手段を用いずに処理することができ、画像処理の高速化や、消費電力の低減といった効果がある。
【００６３】
加えて、請求項１に記載の発明によれば、２つのバッファ・メモリを連続した１つの合成バッファ・メモリとして読み書きを行う手段、を備えることで、各々のバッファ・メモリの水平ライン長よりも長い水平画素数を有するＣＣＤセンサからの信号を画像処理することができる。
【００６４】
請求項２ないし請求項４に記載の発明によれば、画像処理手段が画像データをバッファ・メモリに書き込み、画像表示処理手段がバッファ・メモリから読み出した画像データに所定の処理を行うことで、画像データを記憶手段から読み出す必要がなく、表示装置への画像表示に係る処理を高速に行うことができる。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態に係るインターレースセンサを用いたデジタルカメラを示す概略図である。
【図２】この発明の第１の実施の形態に係るプログレッシブセンサを用いたデジタルカメラを示す概略図である。
【図３】この発明の第２の実施の形態に係るデジタルカメラを示す概略図である。
【図４】この発明の第３の実施の形態に係るデジタルカメラを示す概略図である。
【図５】この発明の第４の実施の形態に係るデジタルカメラを示す概略図である。
【図６】この発明の第４の実施の形態に係る領域データの処理の順序を示す説明図である。
【図７】従来の技術に係るインターレースセンサを用いたデジタルカメラを示す概略図である。
【図８】従来の技術に係るプログレッシブセンサを用いたデジタルカメラを示す概略図である。
【図９】従来の技術に係る領域データの処理の順序を示す説明図である。
【符号の説明】
１ 画像処理装置
２ インターレースセンサ
３ 信号処理ユニット
４ 主処理部
５ 主メモリ
６ センサプロセッシングユニット（ＳＰＵ）
７ リアルタイムプロセッシングユニット（ＲＰＵ）
８ ラインメモリ
９ ローカルバッファＡ
１０ ローカルバッファＢ
１１ 書き込み制御部
１２ 読み出し制御部
１３ 画像圧縮伸張ユニット
１４ バス
１５ ＤＭＡ制御ユニット
１６ 原画像データ
１７ 圧縮画像データ
１８ プログレッシブセンサ
１９ 画像表示ユニット
２０ 信号変換ユニット
２１ 表示装置部
２２，２４ ラインバッファＡ
２３、２５ ラインバッファＢ
２６ 中間データ

Claims (4)

1. 所望の対象物を撮像した撮像データに画像処理を行う画像処理装置であって、
   画像処理を行う画像処理部と、
   前記画像処理部の外部に配設された記憶手段と、
   を備え、前記画像処理部は、
   前記撮像データに対し、前記撮像データの水平画素数単位に所定の処理を行い、画像データとして出力する画像処理手段と、
   前記撮像データの水平画素数を超える水平ライン長を有する前記画像データを記憶するバッファ・メモリと、
   前記画像データに圧縮処理を行う圧縮処理手段と、
   を備え、
   前記画像処理手段は、前記画像データを前記バッファ・メモリに書き込み、前記圧縮処理手段は、前記バッファ・メモリから読み出した前記画像データに圧縮処理を行い、
   前記バッファ・メモリは、第１バッファ・メモリ及び第２バッファ・メモリを含み、
   前記第１及び第２のバッファ・メモリを、連続した１つの合成バッファ・メモリとして、前記画像データの読み書きを行う手段をさらに備え、
   前記画像処理手段は、前記合成バッファ・メモリへ所定の容量の前記画像データを書き込んだ後、制御信号を受信する迄書き込みを停止し、前記圧縮処理手段は、前記連続したバッファ・メモリから前記画像データを読み出した後、前記制御信号を前記画像処理部へ送信し、
   前記合成バッファ・メモリは、前記撮像データの水平画素数を超える水平ライン長を有することを特徴とする、画像処理装置。
2. 請求項１記載の画像処理装置であって、前記画像処理部は、さらに、
   前記画像データに、表示装置で画像を再生表示するための所定の処理を行う画像表示処理手段、
   を備え、
   前記画像処理手段は、前記画像データを前記バッファ・メモリに書き込み、前記画像表示処理手段は、前記バッファ・メモリから読み出した前記画像データに所定の処理を行うことを特徴とする画像処理装置。
3. 請求項１または請求項２記載の画像処理装置であって、
   前記画像処理手段は、さらに、
   前記撮像データに所定の処理を行い、画像表示用データとして出力する手段、
   を備え、
   前記画像処理手段は、前記制御手段を介して前記第１バッファ・メモリおよび第２バッファ・メモリに前記画像表示用データを書き込み、前記画像表示処理手段は、前記制御手段を介して前記第１バッファ・メモリおよび第２バッファ・メモリから前記画像表示用データを読み出すことを特徴とする画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置であって、
   前記表示装置は、
   電子ビューファインダーであることを特徴とする画像処理装置。

Images