JP4122753B2

JP4122753B2 - Image processing device

Info

Publication number: JP4122753B2
Application number: JP2001336324A
Authority: JP
Inventors: 賢治荒川; 茂生阪上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-11-01
Filing date: 2001-11-01
Publication date: 2008-07-23
Anticipated expiration: 2021-11-01
Also published as: JP2003143454A

Description

【０００１】
【発明の属する技術分野】
本発明は、前記撮像素子により光電変換された映像信号を記録することが可能なデジタルスチルカメラもしくはデジタルビデオカメラに関する。
【０００２】
【従来の技術】
撮像素子から出力される画像データを、輝度信号・色差信号に分離してラインごとに一時的にＳＤＲＡＭなどの記憶装置へ格納する。
【０００３】
格納した画像データをJPEG規格に則ってラスタブロック変換する際、数ライン分の容量を持つラスタブロック変換用メモリを必要としていた。
【０００４】
また、記憶装置から画像データを読み出してラスタブロック変換用メモリへ格納する処理と、ラスタブロック変換用メモリで変換した画像データを読み出す処理が順次処理となっていた。
【０００５】
【発明が解決しようとする課題】
上記のような従来の画像処理装置では、回路規模が大きい、処理速度が遅いと言う欠点があった。
【０００６】
そこで、本発明はラスタブロック変換回路において、処理速度を落とさずにラスタブロック変換用メモリの容量が削減できる画像処理装置を提供する。
【０００７】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
【０００８】
被写体の光学像を光電変換する撮像素子と、各種データを一時的に記憶する記憶装置と、前記撮像素子から出力される画像データを一時的に前記記憶装置に記憶させるための一時記憶手段Ａと、前記画像データを輝度信号に対応する成分と色差信号に対応する成分に分離する画像処理手段と、前記輝度信号および前記色差信号を記録用として一時的に前記記憶装置に記憶させるための一時記憶手段Ｂと、前記輝度信号および前記色差信号を表示用として一時的に前記記憶装置に記憶させるための一時記憶手段Ｃと、Ｒｅａｄ／Ｗｒｉｔｅが同時に行うことができるラスタブロック変換用メモリを有し前記輝度信号および前記色差信号に対して符号化処理あるいは復号化処理を行なう符号化手段と、前記符号化手段によって得られた符号化映像デ―タを所定の記録媒体に記録保持させる記録手段と、前記一時記憶手段Ａ、前記一時記憶手段Ｂ、前記一時記憶手段Ｃ、前記符号化手段および前記記録手段の前記記憶装置へのアクセスを調停する調停手段とを有する画像処理装置であって、前記ラスタブロック変換用メモリのアドレス制御をリングバッファとして構成し、前記記憶装置に記憶された輝度信号および色差信号を前記符号化手段で符号化処理を行った後前記記録手段により前記記録媒体に記録する場合、前記符号化手段が前記記憶装置にアクセスして輝度信号もしくは色差信号を読み出す際の１回のアクセス単位(ページ)が、ＪＰＥＧの１ＭＣＵ（ＭｉｎｉｍｕｍＣｏｄｅｄＵｎｉｔ）を構成する水平画素数より多くなるように設定することにより、前記符号化手段がアクセスしたアドレスの１ＭＣＵを構成するに必要なデータを前記記憶装置から読み出す際に該アドレスの１ＭＣＵに隣接するＭＣＵのデータも含めて読み出し、それらの読み出した全てのデータ（イ）を前記ラスタブロック変換用メモリに格納しておき、前記ラスタブロック変換用メモリに格納したデータが符号化処理されることに伴いＭＣＵ単位でメモリに空き領域が生じるが、前記空き領域の合計が前記アクセス単位のデータを格納可能となったときに、前記符号化手段は前記記憶装置から前記データ（イ）の次ぎに続くＭＣＵを構成するデータを含む輝度信号もしくは色差信号の読み出しを行い、それらの読み出した全てのデータを前記ラスタブロック変換用メモリの前記空き領域に格納することを特徴とする。
【０００９】
Read/Writeが同時に行える前記ラスタブロック変換用メモリを使用し、前記ラスタブロック変換用メモリのアドレス制御をリングバッファ状構成とすることで、前記ラスタブロック変換用メモリからブロック順でデータを読み出し終えたアドレスに、前記記憶装置から次に読み出したデータを格納することが出来、メモリ容量を減らすことが可能となる。
【００１０】
また、前記記憶装置から画像データを読み出す際、前記記憶装置にアクセスしたアドレスのＭＣＵを構成するのに必要なデータ以外の隣接するＭＣＵのデータも含めた、全てのデータを前記ラスタブロック変換用メモリで保持することで、記憶装置へのアクセス頻度を最小限にし、処理時間の増加を抑えることが可能となる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１２】
図１に示すように、画像処理装置１には、撮像素子２、表示装置３、記憶装置４及び、記録媒体５が接続されている。
【００１３】
画像処理装置１は、撮像素子２から入力した入力画像データＤ１を記録用データＤ２と表示用データＤ３に変換し、記録用データＤ２はＪＰＥＧ方式に基づいて圧縮を行い、圧縮画像データＤ４を記録媒体５に記録する。表示用データＤ３を表示装置３に出力する。
【００１４】
また、再生時には記録媒体５から圧縮画像データＤ４を読み出し、ＪＰＥＧ方式に基づいて伸張を行い、表示用データＤ３に変換し、表示装置３に出力する。
【００１５】
撮像素子２は、ＣＣＤカメラ等より構成し、カラー静止画等の入力画像データＤ１を取り込み、その入力画像データＤ１を画像処理装置１に出力する。
【００１６】
表示装置３は、液晶モニター等より構成し、画像を表示する。記憶装置４は、１画面分の記録用データＤ２を記憶するのに充分な容量のＳＤＲＡＭ等のメモリデバイスで構成する。記録媒体５は、不揮発性メモリカード装置等より構成する。
【００１７】
次に、画像処理装置１の構成を詳述する。
【００１８】
画像処理装置１は、一時記憶手段Ａ１１、画像処理手段１２、一時記憶手段Ｂ１３、一時記憶手段Ｃ１４、符号化手段１５、記録手段１６、及び、調停手段１７により構成されている。調停手段１７は、一時記憶手段Ａ１１、一時記憶手段Ｂ１３、一時記憶手段Ｃ１４、符号化手段１５、及び、記録手段１６の記憶装置４へのアクセスを時分割に調停している。
【００１９】
また一時記憶手段Ｂ１３には平滑化手段Ｒ１８を、一時記憶手段Ｃ１４には平滑化手段Ｍ１９を、符号化手段１５にはＪＰＥＧアルゴリズムに従って圧縮および伸張を行うＪＰＥＧコア２０を有している。
【００２０】
なお、符号化手段１５は、所定の方式（本実施の形態ではJPEG方式）に基づいて画像データの圧縮・伸長を行うためのものである。
【００２１】
画像処理装置１は、撮像素子２から入力した入力画像データＤ１を一時記憶手段Ａ１１によって取り込み、記憶装置４に記憶させる。記憶装置４に記憶させた入力画像データＤ１を一時記憶手段Ａ１１によって読み出し、次に撮像素子２から入力する入力画像データＤ１とともに画像処理手段１２へ出力する。
【００２２】
なお、モニターモードにおいては、撮像素子２から入力した入力画像データＤ１を記憶装置４に記憶させずに画像処理手段１２へ出力する。
【００２３】
画像処理手段１２は、入力した入力画像データＤ１を輝度信号と色差信号に分離して、記録用データＤ２と表示用データＤ３を生成する。記録用データＤ２を一時記憶手段Ｂ、表示用データＤ３を一時記憶手段Ｃによって、１画面分の記録用データＤ２を記憶するのに充分な容量のＳＤＲＡＭ等のメモリデバイスで構成する記憶装置４に記憶させる。記録用データＤ２を符号化手段１５によってＳＲＡＭ等で構成されるラスタブロック変換用メモリ２１でラスター順のデータをブロック順に変換してＪＰＥＧコア２０に出力し、ＪＰＥＧコア２０でＪＰＥＧアルゴリズムに従って圧縮する。
【００２４】
その圧縮した圧縮画像データＤ４を符号化手段１５によって記憶装置４に記憶させ、記録手段１６により不揮発性メモリ装置等よりなる記録媒体５に出力し、記録する。
【００２５】
それと同時に表示用データＤ３は、モニター画像、プレビュー画像として液晶モニター等よりなる表示装置３に出力し、表示装置３は画像を表示する。
【００２６】
また画像処理装置１は、記録手段１６により記録媒体５に記録された圧縮画像データＤ４を読み出して記憶装置４に記憶させ、その圧縮画像データＤ４を符号化手段１５によってJPEGアルゴリズムに従って伸長し、記録用データＤ２として記憶装置４に記憶させる。記憶装置４に格納した記録用データＤ２を一時記憶手段Ａ１１によって読み出し、画像処理手段１２により表示用データＤ３に変換して一時記憶手段Ｃ１４が表示装置３に出力し、表示装置３は画像を復元する。
【００２７】
また、伸張された記録用データＤ２を一時記憶手段Ａ１１によって読み出し、画像処理手段１２により画像サイズや画角を変更して一時記憶手段Ｂによって記憶装置４に記憶させ、符号化手段１５によって圧縮するリサイズ機能と切り出し機能を備える。
【００２８】
なお、記憶装置４への平均データレートを下げるため、ＳＲＡＭ等で構成されるメモリを有する平滑化手段Ｒ１８および平滑化手段Ｍ１９を一時記憶手段Ｂ１３及び一時記憶手段Ｃ１４に用いている。
【００２９】
次に、上記のように構成された画像処理装置１の作用を説明する。
【００３０】
図２は、記憶装置４に４：２：０形式で４００万画素（２２４０×１６８０）の記録用データＤ２を格納する概念図である。
【００３１】
なお、記録用データＤ２の格納位置を上詰めで記載しているが、格納位置は可変である。
【００３２】
記憶装置４の縦軸がＳＤＲＡＭの総ページ数およびページアドレス、横軸が記憶装置４の１回のアクセス単位（ページ）を示す。
【００３３】
１ページは３２Ｂｙｔｅであり、１ライン２２４０画素であるので７０ページ／ラインとなる。
【００３４】
４：２：０形式なので、輝度信号２ラインに対して色差信号１ラインである。
【００３５】
輝度信号はラインの先頭から順に詰めて格納している。また色差信号は、Ｃｂ／Ｃｒが１画素ごとにインターリーブして画像処理手段１２から出力されたものを、それぞれ８画素ごとに分けて格納している。
【００３６】
その詳細を図３に示す。１行が１回のアクセスで読み書きできるデータの集まりを示し、ラインの先頭から順番にＬＳＢから４Ｂｙｔｅずつを格納している。
【００３７】
なお、各手段の出力するページアドレスからＳＤＲＡＭの実際のアドレスへの変換は調停手段１７にて行っている。
【００３８】
本実施例においては、記憶装置４のアクセス単位が３２Ｂｙｔｅであるので、１回の記憶装置４へのアクセスで、１ＭＣＵを構成するのに隣接したＭＣＵのデータも読み出してくる。
【００３９】
画像処理装置１の全体の処理速度を落とさないためには、記憶装置４へのアクセス回数を最小にする必要があるため、読み出したデータは全てラスタブロック変換用メモリ２１に格納する。４：２：０圧縮で１ＭＣＵを構成するには、３２Ｂｙｔｅ×２４回＝７６８Ｂｙｔｅのデータを記憶装置４から読み出す。
【００４０】
ここで隣接したＭＣＵのデータもすべて格納するとラスタブロック変換用メモリ２１には７６８Ｂｙｔｅの容量が必要となるが、図４に示す構成を取る事によりメモリ容量を削減する。
【００４１】
図４は、４：２：０圧縮時の符号化手段におけるラスタブロック変換用メモリ２１の各ＪＰＥＧマクロブロックと格納アドレスの構成を示す。
【００４２】
ここで、輝度マクロブロックＹｎ、Ｙｎ＋１、Ｙｎ＋２、Ｙｎ＋３及び色差マクロブロックＣｂｎ、Ｃｒｎで１ＭＣＵを構成し、輝度マクロブロックＹｎ＋４、Ｙｎ＋５、Ｙｎ＋６、Ｙｎ＋７及び色差マクロブロックＣｂｎ＋１、Ｃｒｎ＋１で隣接する１ＭＣＵを構成する（ｎ＝０,８,１６...）。
【００４３】
記憶装置４より記録用データＤ２の輝度信号を８回分読み出して輝度マクロブロックＹｎ、Ｙｎ＋１、Ｙｎ＋４、Ｙｎ＋５を完成させる。完成した輝度マクロブロックＹｎおよび輝度マクロブロックＹｎ＋１をＪＰＥＧコア２０に入力しつつ、ラスタブロック変換用メモリ２１の空きが４マクロブロック以上あるので、記憶装置４に８回アクセスして記録用データＤ２の輝度信号を８ページ分読み出し、次の輝度マクロブロックＹｎ＋２、Ｙｎ＋３、Ｙｎ＋６、Ｙｎ＋７を完成させる。
【００４４】
次に輝度マクロブロックＹｎ、Ｙｎ＋１をＪＰＥＧコア２０に入力し終えたら、ラスタブロック変換用メモリ２１の空きが４マクロブロック以上できるので、記憶装置４より記録用データＤ２の色差信号を８回分読み出して色差マクロブロックＣｂｎ、Ｃｒｎ、Ｃｂｎ＋１、Ｃｒｎ＋１を完成させる。
【００４５】
▲１▼この間順次ＪＰＥＧコア２０にＹｎ＋２、Ｙｎ＋３、Ｃｂｎ、Ｃｒｎデータを入力し、１ＭＣＵ入力後次のＭＣＵのを輝度マクロブロックＹｎ＋４、Ｙｎ＋５を入力する。
【００４６】
▲２▼輝度マクロブロックＹｎ＋４、Ｙｎ＋５を入力し終えたら、記憶装置４より記録用データＤ２の輝度信号を８回分読み出して次の輝度マクロブロックＹｎ、Ｙｎ＋１、Ｙｎ＋４、Ｙｎ＋５を完成させる。
【００４７】
▲３▼輝度マクロブロックＹｎ＋６、Ｙｎ＋７を入力し終えたら、記憶装置４より記録用データＤ２の輝度信号を８回分読み出して次の輝度マクロブロックＹｎ＋２、Ｙｎ＋３、Ｙｎ＋６、Ｙｎ＋７を完成させる。
【００４８】
▲４▼色差マクロブロックＣｂｎ＋１、Ｃｒｎ＋１を入力し終え、かつ輝度マクロブロックＹｎ、Ｙｎ＋１をＪＰＥＧコア２０に入力し終えたら、記憶装置４より次の色差マクロブロックＣｂｎ、Ｃｒｎ、Ｃｂｎ＋１、Ｃｒｎ＋１を読み出す。
【００４９】
以降▲１▼から▲４▼の繰り返しとなる。各マクロブロックの格納アドレスの遷移は、図４中の６通り。
【００５０】
図５は、４：２：０圧縮時の最初の１ＭＣＵを構成する、輝度マクロブロックＹ０，Ｙ１、Ｙ２、Ｙ３および色差マクロブロックＣｂ０、Ｃｒ０を図３における各画素と対比してラスタブロック変換用メモリ２１に格納した詳細な構成を示す。
【００５１】
図６は、４：２：２圧縮時の符号化手段におけるラスタブロック変換用メモリ２１のＪＰＥＧマクロブロックと格納アドレスの構成を示す。
【００５２】
記憶装置４より記録用データＤ２の輝度信号を８回分読み出して輝度マクロブロックＹｎ、Ｙｎ＋１、Ｙｎ＋２、Ｙｎ＋３を完成させる。
【００５３】
完成した輝度マクロブロックＹｎおよび輝度マクロブロックＹｎ＋１をＪＰＥＧコア２０に入力しつつ、ラスタブロック変換用メモリ２１の空きが４マクロブロック以上あるので、記憶装置４より記録用データＤ２の色差信号を８回分読み出して色差マクロブロックＣｂｎ、Ｃｒｎ、Ｃｂｎ＋１、Ｃｒｎ＋１を完成させる。
【００５４】
▲５▼次に輝度マクロブロックＹｎ、Ｙｎ＋１、色差マクロブロックＣｂｎ、Ｃｒｎ及び輝度マクロブロックＹｎ＋２、Ｙｎ＋３をＪＰＥＧコア２０に入力し終えたら、記憶装置４より記録用データＤ２の輝度信号を８回分読み出して輝度マクロブロックＹｎ、Ｙｎ＋１、Ｙｎ＋２、Ｙｎ＋３を完成させる。
【００５５】
▲６▼次に色差マクロブロックＣｂｎ＋１、Ｃｒｎ＋１をＪＰＥＧコア２０に入力し終えたら、色差マクロブロックＣｂｎ、Ｃｒｎ、Ｃｂｎ＋１、Ｃｒｎ＋１を完成させる。
【００５６】
以降▲５▼から▲６▼の繰り返しとなる。各マクロブロックの格納アドレスの遷移は、図６中の１通り。
【００５７】
以上記述したように、本形態によれば、以下の効果を奏する。
【００５８】
本発明の実施の形態における画像処理装置は、被写体の光学像を光電変換する撮像素子と、各種データを一時的に記憶する記憶装置と、前記撮像素子から出力される画像データを一時的に前記記憶装置に記憶させるための一時記憶手段Ａと、
前記画像データを輝度信号に対応する成分と色差信号に対応する成分に分離する画像処理手段と、前記輝度信号および前記色差信号を記録用として一時的に前記記憶装置に記憶させるための一時記憶手段Ｂと、前記輝度信号および前記色差信号を表示用として一時的に前記記憶装置に記憶させるための一時記憶手段Ｃと、
Ｒｅａｄ／Ｗｒｉｔｅが同時に行うことができるラスタブロック変換用メモリを有し前記輝度信号および前記色差信号に対して符号化処理あるいは復号化処理を行なう符号化手段と、前記符号化手段によって得られた符号化映像デ―タを所定の記録媒体に記録保持させる記録手段と、前記一時記憶手段Ａ、前記一時記憶手段Ｂ、前記一時記憶手段Ｃ、前記符号化手段および前記記録手段の前記記憶装置へのアクセスを調停する調停手段とを有する画像処理装置であって、前記ラスタブロック変換用メモリのアドレス制御をリングバッファとして構成し、前記記憶装置に記憶された輝度信号および色差信号を前記符号化手段で符号化処理を行った後前記記録手段により前記記録媒体に記録する場合、前記符号化手段が前記記憶装置にアクセスして輝度信号もしくは色差信号を読み出す際の１回のアクセス単位(ページ)が、ＪＰＥＧの１ＭＣＵ（ＭｉｎｉｍｕｍＣｏｄｅｄＵｎｉｔ）を構成する水平画素数より多くなるように設定することにより、前記符号化手段がアクセスしたアドレスの１ＭＣＵを構成するに必要なデータを前記記憶装置から読み出す際に該アドレスの１ＭＣＵに隣接するＭＣＵのデータも含めて読み出し、それらの読み出した全てのデータ（イ）を前記ラスタブロック変換用メモリに格納しておき、前記ラスタブロック変換用メモリに格納したデータが符号化処理されることに伴いＭＣＵ単位でメモリに空き領域が生じるが、前記空き領域の合計が前記アクセス単位のデータを格納可能となったときに、前記符号化手段は前記記憶装置から前記データ（イ）の次ぎに続くＭＣＵを構成するデータを含む輝度信号もしくは色差信号の読み出しを行い、それらの読み出した全てのデータを前記ラスタブロック変換用メモリの前記空き領域に格納することを特徴とする。
【００５９】
Read/Writeが同時に行える前記ラスタブロック変換用メモリ２１を使用し、前記ラスタブロック変換用メモリ２１のアドレス制御をリングバッファ状構成とすることで、前記ラスタブロック変換用メモリ２１からブロック順でデータを読み出し終えたアドレスに、前記記憶装置から読み出した次のデータを格納することが出来、メモリ容量を減らすことが可能となる。
【００６０】
また、前記記憶装置から画像データを読み出す際、アクセスしたアドレスの（ＭＣＵを構成するのに必要なデータ以外の余分なデータも含めた）全てのデータを前記ラスタブロック変換用メモリ２１で保持することで、記憶装置へのアクセス頻度を減らし、処理時間の増加を抑えることが可能となる。
【００６１】
尚、本発明は上記形態に限定されるものではなく、以下のように実施してもよい。
（１）本実施の形態において、平均データレートを下げるため、平滑化手段Ｒ１８および平滑化手段Ｍ１９を用いているが、用いずに構成してもよい。
（２）本実施の形態において、Ｃｂ／Ｃｒを８画素ごとに分けて記憶装置４に格納しているが、インターリーブのまま格納しても良い。
（３）本実施の形態において、記録媒体５を光ディスク装置で構成してもよい。
（４）本実施の形態において、記憶装置４の容量を６４Ｍｂｉｔとしたが、２５６Ｍｂｉｔまでの容量で構成してもよい。
【００６２】
【発明の効果】
以上詳述したように本発明によれば、ラスタブロック変換回路において、処理速度を落とさずにラスタブロック変換用メモリの容量が削減できる画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】実施の形態の画像処理装置１のブロック回路図
【図２】記憶装置４の記録用データＤ２メモリマップ概念図
【図３】記憶装置４の記録用データＤ２のＣｂ／Ｃｒ詳細メモリマップ概念図
【図４】４：２：０圧縮時のＪＰＥＧマクロブロックとラスタブロック変換用メモリ２１の格納アドレスを示す説明図
【図５】４：２：０の１ＭＣＵをラスタブロック変換用メモリ２１に格納した詳細な構成を示す説明図
【図６】４：２：２圧縮時のＪＰＥＧマクロブロックとラスタブロック変換用メモリ２１の格納アドレスを示す説明図
【符号の説明】
１画像処理装置
２撮像素子
３表示装置
４記憶装置
５記録媒体
１１一時記憶手段Ａ
１２画像処理手段
１３一時記憶手段Ｂ
１４一時記憶手段Ｃ
１５符号化手段
１６記録手段
１７調停手段
１８平滑化手段Ｒ
１９平滑化手段Ｍ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital still camera or a digital video camera capable of recording a video signal photoelectrically converted by the imaging device.
[0002]
[Prior art]
Image data output from the image sensor is separated into luminance signals and color difference signals and temporarily stored in a storage device such as an SDRAM for each line.
[0003]
When converting the stored image data into raster blocks according to the JPEG standard, a raster block conversion memory having a capacity of several lines was required.
[0004]
In addition, the process of reading out image data from the storage device and storing it in the raster block conversion memory and the process of reading out the image data converted by the raster block conversion memory are sequential processes.
[0005]
[Problems to be solved by the invention]
The conventional image processing apparatus as described above has a drawback that the circuit scale is large and the processing speed is slow.
[0006]
Accordingly, the present invention provides an image processing apparatus capable of reducing the capacity of a raster block conversion memory without reducing the processing speed in a raster block conversion circuit.
[0007]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention has taken the following measures.
[0008]
An image sensor that photoelectrically converts an optical image of a subject, a storage device that temporarily stores various data, and a temporary storage unit A that temporarily stores image data output from the image sensor in the storage device; Image processing means for separating the image data into a component corresponding to a luminance signal and a component corresponding to a color difference signal, and temporary storage for temporarily storing the luminance signal and the color difference signal for recording in the storage device Means B, temporary storage means C for temporarily storing the luminance signal and the color difference signal in the storage device for display, and a raster block conversion memory capable of simultaneously performing Read / Write Encoding means for performing an encoding process or a decoding process on a luminance signal and the color difference signal, and an encoded video obtained by the encoding means A recording means for recording and holding the data in a predetermined recording medium, and arbitration of the temporary storage means A, the temporary storage means B, the temporary storage means C, the encoding means and the recording means access to the storage device And an arbitration unit configured to perform address control of the raster block conversion memory as a ring buffer, and the luminance unit and the color difference signal stored in the storage unit are encoded by the encoding unit. When recording on the recording medium by the recording means after performing the above, one access unit (page) when the encoding means accesses the storage device and reads out the luminance signal or the color difference signal is 1 MCU of JPEG. By setting the number of pixels to be larger than the number of horizontal pixels constituting (Minimum Coded Unit), the encoding means can access. When the data necessary to configure one MCU at the address is read from the storage device, the data including the data of the MCU adjacent to the one MCU at the address is read, and all the read data (a) is used for the raster block conversion. As the data stored in the memory and stored in the raster block conversion memory is encoded, a free area is generated in the MCU unit, but the total of the free areas stores the data in the access unit. When it becomes possible, the encoding means reads out the luminance signal or the color difference signal including the data constituting the MCU following the data (A) from the storage device, and stores all the read data. It characterized the Turkey be stored in the free area of the raster blocks conversion memory.
[0009]
By using the raster block conversion memory that can be read / written at the same time, and the address control of the raster block conversion memory is configured in a ring buffer configuration, the data is read from the raster block conversion memory in block order. Data read next from the storage device can be stored in the address, and the memory capacity can be reduced.
[0010]
Further, when reading out image data from the storage device, all the data including the data of the adjacent MCU other than the data necessary for configuring the MCU of the address accessed to the storage device is stored in the raster block conversion memory. By holding in this manner, it is possible to minimize the frequency of access to the storage device and suppress an increase in processing time.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0012]
As shown in FIG. 1, an image sensor 2, a display device 3, a storage device 4, and a recording medium 5 are connected to the image processing device 1.
[0013]
The image processing apparatus 1 converts the input image data D1 input from the image sensor 2 into recording data D2 and display data D3. The recording data D2 is compressed based on the JPEG method, and the compressed image data D4 is recorded. Recorded on the medium 5. The display data D3 is output to the display device 3.
[0014]
Further, at the time of reproduction, the compressed image data D4 is read from the recording medium 5, is decompressed based on the JPEG method, is converted into display data D3, and is output to the display device 3.
[0015]
The image pickup device 2 is composed of a CCD camera or the like, takes in input image data D1 such as a color still image, and outputs the input image data D1 to the image processing apparatus 1.
[0016]
The display device 3 is composed of a liquid crystal monitor or the like and displays an image. The storage device 4 is composed of a memory device such as an SDRAM having a sufficient capacity to store the recording data D2 for one screen. The recording medium 5 is composed of a nonvolatile memory card device or the like.
[0017]
Next, the configuration of the image processing apparatus 1 will be described in detail.
[0018]
The image processing apparatus 1 includes a temporary storage unit A11, an image processing unit 12, a temporary storage unit B13, a temporary storage unit C14, an encoding unit 15, a recording unit 16, and an arbitration unit 17. The arbitrating unit 17 arbitrates access to the storage device 4 of the temporary storage unit A11, the temporary storage unit B13, the temporary storage unit C14, the encoding unit 15, and the recording unit 16 in a time division manner.
[0019]
The temporary storage means B13 has a smoothing means R18, the temporary storage means C14 has a smoothing means M19, and the encoding means 15 has a JPEG core 20 that performs compression and expansion according to the JPEG algorithm.
[0020]
The encoding means 15 is for compressing / decompressing image data based on a predetermined method (JPEG method in the present embodiment).
[0021]
The image processing apparatus 1 takes in the input image data D1 input from the image sensor 2 by the temporary storage unit A11 and stores it in the storage device 4. The input image data D1 stored in the storage device 4 is read by the temporary storage means A11, and then output to the image processing means 12 together with the input image data D1 input from the image sensor 2.
[0022]
In the monitor mode, the input image data D1 input from the image sensor 2 is output to the image processing means 12 without being stored in the storage device 4.
[0023]
The image processing means 12 separates the inputted input image data D1 into a luminance signal and a color difference signal, and generates recording data D2 and display data D3. The recording data D2 is temporarily stored in the storage device B and the display data D3 is temporarily stored in the storage device C. The storage device 4 is composed of a memory device such as SDRAM having a capacity sufficient to store the recording data D2 for one screen. Remember. The recording data D2 is converted into the block order by the raster block conversion memory 21 constituted by SRAM or the like by the encoding means 15 and the raster order data is converted to the block order and output to the JPEG core 20, and the JPEG core 20 compresses it according to the JPEG algorithm.
[0024]
The compressed compressed image data D4 is stored in the storage device 4 by the encoding means 15, and is output and recorded on the recording medium 5 comprising a nonvolatile memory device or the like by the recording means 16.
[0025]
At the same time, the display data D3 is output as a monitor image and a preview image to the display device 3 such as a liquid crystal monitor, and the display device 3 displays the image.
[0026]
Further, the image processing apparatus 1 reads the compressed image data D4 recorded on the recording medium 5 by the recording means 16 and stores it in the storage device 4, and decompresses the compressed image data D4 by the encoding means 15 according to the JPEG algorithm, and records it. The data is stored in the storage device 4 as the business data D2. The recording data D2 stored in the storage device 4 is read by the temporary storage means A11, converted into display data D3 by the image processing means 12, and the temporary storage means C14 outputs to the display device 3, and the display device 3 restores the image. To do.
[0027]
The expanded recording data D2 is read by the temporary storage means A11, the image size is changed by the image processing means 12 and stored in the storage device 4 by the temporary storage means B, and compressed by the encoding means 15. Resize function and cutout function are provided.
[0028]
In order to lower the average data rate to the storage device 4, smoothing means R18 and smoothing means M19 having a memory composed of SRAM or the like are used for the temporary storage means B13 and the temporary storage means C14.
[0029]
Next, the operation of the image processing apparatus 1 configured as described above will be described.
[0030]
FIG. 2 is a conceptual diagram in which the storage device 4 stores the recording data D2 of 4 million pixels (2240 × 1680) in the 4: 2: 0 format.
[0031]
In addition, although the storage position of the recording data D2 is written in an upper order, the storage position is variable.
[0032]
The vertical axis of the storage device 4 indicates the total number of pages and the page address of the SDRAM, and the horizontal axis indicates one access unit (page) of the storage device 4.
[0033]
Since one page is 32 bytes and one line is 2240 pixels, it is 70 pages / line.
[0034]
Since the format is 4: 2: 0, the color signal is one line with respect to two luminance signals.
[0035]
Luminance signals are stored in order from the beginning of the line. In addition, the color difference signal is obtained by interleaving Cb / Cr for each pixel and outputting it from the image processing means 12 separately for each 8 pixels.
[0036]
The details are shown in FIG. One row indicates a collection of data that can be read and written by one access, and stores 4 bytes from the LSB in order from the top of the line.
[0037]
Note that the mediating means 17 converts the page address output from each means to the actual address of the SDRAM.
[0038]
In the present embodiment, since the access unit of the storage device 4 is 32 bytes, the data of the MCU adjacent to the 1 MCU is also read by one access to the storage device 4.
[0039]
In order not to reduce the overall processing speed of the image processing apparatus 1, it is necessary to minimize the number of accesses to the storage device 4, so all read data is stored in the raster block conversion memory 21. In order to configure 1 MCU with 4: 2: 0 compression, 32 bytes × 24 times = 768 bytes of data are read from the storage device 4.
[0040]
Here, if all the data of adjacent MCUs are stored, the raster block conversion memory 21 needs a capacity of 768 bytes. However, the configuration shown in FIG. 4 reduces the memory capacity.
[0041]
FIG. 4 shows the configuration of each JPEG macroblock and storage address of the raster block conversion memory 21 in the encoding means at the time of 4: 2: 0 compression.
[0042]
Here, luminance macroblocks Yn, Yn + 1, Yn + 2, Yn + 3 and chrominance macroblocks Cbn, Crn constitute one MCU, and luminance macroblocks Yn + 4, Yn + 5, Yn + 6, Yn + 7 and chrominance macroblocks Cbn + 1, Crn + 1 constitute one adjacent MCU. (N = 0,8,16 ...).
[0043]
The luminance signal of the recording data D2 is read eight times from the storage device 4 to complete the luminance macro blocks Yn, Yn + 1, Yn + 4, Yn + 5. While the completed luminance macroblock Yn and luminance macroblock Yn + 1 are input to the JPEG core 20, there are four or more macroblocks in the raster block conversion memory 21, so the storage device 4 is accessed eight times to store the recording data D2. The luminance signal is read for 8 pages, and the next luminance macro blocks Yn + 2, Yn + 3, Yn + 6, and Yn + 7 are completed.
[0044]
Next, after the luminance macroblocks Yn and Yn + 1 have been input to the JPEG core 20, the raster block conversion memory 21 has four or more macroblocks, so the color difference signal of the recording data D2 is read out eight times from the storage device 4. Color difference macroblocks Cbn, Crn, Cbn + 1, and Crn + 1 are completed.
[0045]
(1) During this time, Yn + 2, Yn + 3, Cbn, and Crn data are sequentially input to the JPEG core 20, and after inputting one MCU, luminance macro blocks Yn + 4 and Yn + 5 are input to the next MCU.
[0046]
{Circle around (2)} When the luminance macroblocks Yn + 4 and Yn + 5 have been input, the luminance signal of the recording data D2 is read from the storage device 4 eight times to complete the next luminance macroblocks Yn, Yn + 1, Yn + 4 and Yn + 5.
[0047]
{Circle around (3)} When the luminance macroblocks Yn + 6 and Yn + 7 have been input, the luminance signal of the recording data D2 is read from the storage device 8 times to complete the next luminance macroblocks Yn + 2, Yn + 3, Yn + 6 and Yn + 7.
[0048]
(4) When the color difference macroblocks Cbn + 1 and Crn + 1 have been input and the luminance macroblocks Yn and Yn + 1 have been input to the JPEG core 20, the next color difference macroblocks Cbn, Crn, Cbn + 1 and Crn + 1 are read out from the storage device 4.
[0049]
Thereafter, the repetition of (1) to (4) is repeated. There are six transitions in the storage address of each macroblock in FIG.
[0050]
FIG. 5 shows a raster block conversion by comparing the luminance macroblocks Y0, Y1, Y2, Y3 and the chrominance macroblocks Cb0, Cr0 constituting the first 1 MCU in 4: 2: 0 compression with each pixel in FIG. A detailed configuration stored in the memory 21 is shown.
[0051]
FIG. 6 shows a configuration of JPEG macroblocks and storage addresses of the raster block conversion memory 21 in the encoding means at the time of 4: 2: 2 compression.
[0052]
The luminance signal of the recording data D2 is read eight times from the storage device 4 to complete the luminance macro blocks Yn, Yn + 1, Yn + 2, and Yn + 3.
[0053]
While the completed luminance macroblock Yn and luminance macroblock Yn + 1 are input to the JPEG core 20, there are four or more macroblocks in the raster block conversion memory 21, so that the color difference signal of the recording data D2 is stored eight times from the storage device 4. The color difference macroblocks Cbn, Crn, Cbn + 1, and Crn + 1 are completed by reading.
[0054]
(5) Next, when the luminance macroblocks Yn, Yn + 1, the chrominance macroblocks Cbn, Crn and the luminance macroblocks Yn + 2, Yn + 3 have been input to the JPEG core 20, the luminance signal of the recording data D2 is read from the storage device 4 eight times. Thus, the luminance macro blocks Yn, Yn + 1, Yn + 2, and Yn + 3 are completed.
[0055]
(6) Next, when the color difference macroblocks Cbn + 1 and Crn + 1 have been input to the JPEG core 20, the color difference macroblocks Cbn, Crn, Cbn + 1 and Crn + 1 are completed.
[0056]
After that, steps (5) to (6) are repeated. The transition of the storage address of each macroblock is one way in FIG.
[0057]
As described above, according to this embodiment, the following effects can be obtained.
[0058]
An image processing apparatus according to an embodiment of the present invention includes an image sensor that photoelectrically converts an optical image of a subject, a storage device that temporarily stores various data, and image data that is output from the image sensor temporarily. Temporary storage means A for storing in a storage device;
Image processing means for separating the image data into a component corresponding to a luminance signal and a component corresponding to a color difference signal, and temporary storage means for temporarily storing the luminance signal and the color difference signal for recording in the storage device B, temporary storage means C for temporarily storing the luminance signal and the color difference signal in the storage device for display;
An encoding unit having a raster block conversion memory capable of performing Read / Write simultaneously and performing an encoding process or a decoding process on the luminance signal and the chrominance signal; and a code obtained by the encoding unit Recording means for recording and holding the encoded video data in a predetermined recording medium, the temporary storage means A, the temporary storage means B, the temporary storage means C, the encoding means, and the recording means to the storage device An image processing apparatus having arbitration means for arbitrating access, wherein the address control of the raster block conversion memory is configured as a ring buffer, and the luminance signal and the color difference signal stored in the storage device are When recording on the recording medium by the recording means after performing the encoding process, the encoding means accesses the storage device. The encoding means accessed by setting a single access unit (page) for reading out a luminance signal or a color difference signal to be larger than the number of horizontal pixels constituting one MCU (minimum coded unit) of JPEG. When data required to configure one MCU at an address is read from the storage device, the data including MCU data adjacent to the one MCU at the address is read, and all the read data (A) is read from the raster block conversion memory. As the data stored in the raster block conversion memory is encoded, an empty area is generated in the MCU unit, but the total of the empty areas can store the data in the access unit. Then, the encoding means follows the data (b) from the storage device. Subsequent reads the luminance signal or color difference signal containing data constituting the MCU, and wherein the benzalkonium to store all of the data out thereof read in the empty area of the raster blocks conversion memory.
[0059]
By using the raster block conversion memory 21 that can perform read / write simultaneously, and the address control of the raster block conversion memory 21 is configured in a ring buffer configuration, data is transferred from the raster block conversion memory 21 in block order. The next data read from the storage device can be stored at the read-out address, and the memory capacity can be reduced.
[0060]
Further, when image data is read from the storage device, (also included extra data other than necessary data to configure the MCU) of the accessed address to retain all data in the previous SL raster block conversion memory 21 As a result, the frequency of access to the storage device can be reduced, and an increase in processing time can be suppressed.
[0061]
In addition, this invention is not limited to the said form, You may implement as follows.
(1) In this embodiment, the smoothing means R18 and the smoothing means M19 are used to lower the average data rate, but they may be configured without using them.
(2) In the present embodiment, Cb / Cr is divided into 8 pixels and stored in the storage device 4, but may be stored as interleaved.
(3) In the present embodiment, the recording medium 5 may be an optical disk device.
(4) In the present embodiment, the storage device 4 has a capacity of 64 Mbit, but may be configured with a capacity of up to 256 Mbit.
[0062]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide an image processing apparatus capable of reducing the capacity of the raster block conversion memory without reducing the processing speed in the raster block conversion circuit.
[Brief description of the drawings]
1 is a block circuit diagram of an image processing apparatus 1 according to an embodiment. FIG. 2 is a conceptual diagram of a recording data D2 memory map of a storage device 4. FIG. 3 is a Cb / Cr detailed memory of recording data D2 of a storage device 4. FIG. 4 is a conceptual diagram of a map. FIG. 5 is an explanatory diagram showing storage addresses of a JPEG macro block and raster block conversion memory 21 at 4: 2: 0 compression. FIG. FIG. 6 is an explanatory diagram showing a detailed configuration stored in FIG. 6; FIG. 6 is an explanatory diagram showing storage addresses of JPEG macroblocks and raster block conversion memory 21 in 4: 2: 2 compression;
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Image pick-up element 3 Display apparatus 4 Storage apparatus 5 Recording medium 11 Temporary storage means A
12 Image processing means 13 Temporary storage means B
14 Temporary storage means C
15 Coding means 16 Recording means 17 Arbitration means 18 Smoothing means R
19 Smoothing means M

Claims

An image sensor that photoelectrically converts an optical image of a subject; a storage device that temporarily stores various data;
Temporary storage means A for temporarily storing image data output from the image sensor in the storage device;
Image processing means for separating the image data into a component corresponding to a luminance signal and a component corresponding to a color difference signal;
Temporary storage means B for temporarily storing the luminance signal and the color difference signal in the storage device for recording;
Temporary storage means C for temporarily storing the luminance signal and the color difference signal in the storage device for display;
An encoding unit having a raster block conversion memory capable of performing Read / Write simultaneously, and performing an encoding process or a decoding process on the luminance signal and the color difference signal;
Recording means for recording and holding the encoded video data obtained by the encoding means in a predetermined recording medium;
An image processing apparatus comprising: temporary storage means A, temporary storage means B, temporary storage means C, encoding means, and arbitration means for arbitrating access of the recording means to the storage device,
The address control of the raster block conversion memory is configured as a ring buffer, and the luminance signal and the color difference signal stored in the storage device are encoded by the encoding unit and then recorded on the recording medium by the recording unit. When the encoding unit accesses the storage device and reads out the luminance signal or the color difference signal, one access unit (page) is larger than the number of horizontal pixels constituting one MCU (Minimum Coded Unit) of JPEG. By setting so that, when reading out the data necessary for configuring one MCU of the address accessed by the encoding means from the storage device, the data of the MCU adjacent to the one MCU of the address is read, Store all the read data (a) in the raster block conversion memory When the data stored in the raster block conversion memory is encoded, an empty area is generated in the MCU unit, but the total of the empty areas can store the access unit data. In addition, the encoding means reads out a luminance signal or a color difference signal including data constituting the MCU subsequent to the data (A) from the storage device, and converts all of the read out data for the raster block conversion. the image processing apparatus according to claim and Turkey be stored in the free area of the memory.

When recording the luminance signal and the color difference signal stored in the storage device to the recording medium by said recording means after the encoding processing was performed in the encoding means, the raster blocks conversion memory Ri by 2 times the MCU When the free area of the raster block conversion memory is configured to have a small memory capacity, and the free area becomes a capacity capable of storing data of the access unit (page), the free area is 1 MCU in the raster block conversion memory. When the storage address of the luminance signal and the color difference signal is not continuous , the encoding means stores the luminance signal or the color difference signal in MCU units by changing the storage address of the memory for raster block conversion. When reading a luminance signal or a color difference signal in units of MCU from the raster block conversion memory , 2. The image processing apparatus according to claim 1, wherein data of adjacent MCUs arranged in a state in which the storage addresses of the luminance signal and the color difference signal are not continuous can be read continuously.

When the luminance signal and the color difference signal of the compressed image data recorded on the recording medium are reproduced and decoded by the encoding unit and then recorded in the storage device, the encoding unit stores the luminance signal in the storage device. The number of access units (pages) at one time when storing a signal or a color difference signal is larger than the number of horizontal pixels constituting one MCU of JPEG, and the encoding means outputs data to be output during decoding of 1 MCU data. When the sum of horizontal pixels in MCU units stored in the raster block conversion memory is stored in the raster block conversion memory and becomes the access unit, the encoding means accesses the storage device. The image processing apparatus according to claim 1, wherein:

When the luminance signal and the color difference signal of the compressed image data recorded on the recording medium are reproduced, decoded by the encoding means and then recorded on the storage device, the raster block conversion memory is an MCU 2 It consists of a small memory capacity Ri by multiplying, when the total of horizontal pixels in the MCU unit of the raster blocks stored in the conversion memory the luminance signal or color difference signal becomes the access unit (page), to the storage device When the access is performed and the free area has an address arrangement in which the storage address of the luminance signal and the color difference signal of 1 MCU is not continuous in the raster block conversion memory, the encoding means stores the raster block conversion memory. A luminance signal or a color difference signal in MCU units output from the encoding means by changing an address is stored, and the storage Read when reading in the access unit from the raster block transform memory for accessing the location, as the luminance signal and the data storage address of the color difference signals are continuous data adjacent arranged in a state of non-contiguous MCU of 1MCU The image processing apparatus according to claim 3, wherein the image processing apparatus is enabled.