JP3787398B2

JP3787398B2 - 画像処理装置及びその方法

Info

Publication number: JP3787398B2
Application number: JP31585696A
Authority: JP
Inventors: 正猛加藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-11-27
Filing date: 1996-11-27
Publication date: 2006-06-21
Anticipated expiration: 2016-11-27
Also published as: US6148031A; JPH10164492A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びその方法に関し、より具体的に連続的な画像データの圧縮符号化処理に関する。
【０００２】
【従来の技術】
銀塩フィルムの代わりに半導体メモリ、磁気ディスク及び光磁気ディスク等を記録媒体として撮影画像をディジタル記録する電子スチル・カメラが、研究及び商品化されている。記録媒体がランダムアクセス可能であれば、記録順とは異なる順序で再生でき、任意の記録画像を即座に再生できる。ディジタル記録ではまた、ダビングによっても画質が劣化しない、時間軸上のスケーラビリティを活用しやすいなどの利点がある。しかし、ディジタル記録は、アナログ記録に比べて、記録データ量が膨大になるという欠点がある。
【０００３】
記録データ量を削減する手段として、情報圧縮技術が有益であり、静止画のＪＰＥＧ方式の他にも、動画のＭＰＥＧ方式など、種々の方式が提案されている。ＪＰＥＧ方式では、８×８画素単位で空間座標系での値を周波数座標上の値に直交変換（ＤＣＴ変換）し、その変換係数を量子化し、ハフマン符号化方式等で可変長符号とする。これにより、データ量はほぼ１／１０以上に圧縮される。可逆符号化ではないので、入力信号を忠実に再現することはできないが、通常の画質レベルでは問題とはならない。圧縮情報を復元するには、圧縮のときと逆の過程をたどることになる。
【０００４】
静止画の単独撮影では、画質が優先され、画像を取り込んだ後の後処理（圧縮処理と記録媒体への記録処理）に多少時間がかかったとしても許容できた。しかし、高速の連写の場合には、連写の時間間隔が後処理に要する時間で制限されるので、圧縮処理及び記録処理に要する時間を短縮するか、いずれかの部分を並列動作させて画像取り込みの待ち時間を短縮するかしなければならない。
【０００５】
また、短時間の動画を記録しようとすると、画面の動きを滑らかにするには、３０フレーム／秒（又は６０フィールド／秒）程度のフレームレートを確保しなければならない。このためにも、後処理に要する時間を短縮する必要があり、勿論、記録媒体の記録容量を増大し、画像圧縮率を高める必要がある。とくに圧縮と記録をリアルタイムに行なおうとすると、構成が複雑化し、記録媒体も高速書き込み可能な媒体を使用しなければならない。これに対し、画像情報を高速書き込み可能な第１の半導体メモリを介して低速書き込みの大容量の第２の半導体メモリに転送する構成の電子スチルカメラが提案されている（例えば、平成１年特許出願公開第１０７８４号公報及び平成５年特許出願公開第４９０００号公報）。
【０００６】
動画像の周知の圧縮技術であるＭＰＥＧ方式では、各画面の圧縮に時間軸方向の圧縮を加味して圧縮率を高めている。例えば、基準となる画面（開始フレーム（又はフィールド。以下、同じ。）の前後のフレームは、動きがあったとしても、基準画面との相関が高い（類似した画素情報が得られる）はずなので、同一の画素番地で基準画像値からの差分を求めて、これを符号化すれば圧縮効果は高くなる。さらに、ある画素ブロック単位で比較フレームの比較対象とブロックマッチングを行なうことで、動き量に応じた量だけ横画素方向及び縦ライン方向にシフトさせて差分をとることにおり、更に、圧縮効果が高くなる。
【０００７】
このような動画圧縮処理を行なえば、より高い圧縮率を達成できるが、装置の構成が複雑化し、高価なものになってしまう。平成６年特許出願公開第１２１２７５号公報には、画像情報を一旦バッファする際には可逆圧縮を行ない、さらに非可逆圧縮してメモリカード等に送出する技術が開示されている。
【０００８】
【発明が解決しようとする課題】
このように、動画像を記録する為の問題点は多くあるが、動画像の圧縮では、画面内圧縮に加えて、フレーム間相関を利用するのは、高圧縮率を達成する上で重要である。一方、ランダム・アクセスの記録媒体にディジタル記録することによるランダムアクセス性は、動画の再生時にも利用できるのが好ましいが、フレーム間圧縮が行なわれていると、任意のフレームを再生するには、そのフレームの圧縮の際の基準フレームを先ず伸長しなければならず、複雑な再生処理が必要になる。勿論、非可逆圧縮であれば、画質も劣化する。
【０００９】
さらに、当初よりフレーム間相関による動画高圧縮を行なう場合はまだしも、当初は連続静止画として取り込み、後処理でフレーム相関を用いた高圧縮を行なう場合は、本来、利用可能な高精細静止画フレームを破棄して、再生表示時に組みなおす訳で、効率が悪い。特に動画像に比較して静止画像の画質は視覚上のごまかしが効かないので、より高精細さが要求される。
【００１０】
連続記録中の特定の時点で高精細な静止画記録を選択したい状況でも、従来例では、その画面だけ画質を重視して圧縮するといった選択的な圧縮処理を行なえなかった。
【００１１】
本発明は、これらの要求を満たす画像処理装置及びその方法を提示することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る画像処理装置は、連続的に画像データを入力する入力手段と、前記画像データを画面内圧縮符号化して第１のメモリ手段に一時記憶する第１の圧縮符号化手段と、前記第１のメモリ手段に記憶された画面内符号化された前記画像データを画面間相関を用いて再圧縮符号化して第２のメモリ手段に格納する第２の圧縮符号化手段と、連続的に入力された画像データ中から特定の画像データを指示する指示手段と、前記指示手段によって指示された特定の画像データに対して所定の付加情報を付加する付加手段と、前記第１のメモリ手段に記憶された前記画像データを前記第２の圧縮符号化手段によって再圧縮する際、前記付加情報の付加されている画像データを画面間相関を用いた圧縮符号化の対象としないように前記第２の圧縮符号化手段を制御する制御手段とを有することを特徴とする。
【００１３】
本発明に係る画像処理方法は、連続的に画像データを入力する入力工程と、前記画像データを画面内圧縮符号化して第１のメモリ手段に一時記憶する第１の圧縮符号化工程と、前記第１のメモリ手段に記憶された画面内符号化された前記画像データを画面間相関を用いて再圧縮符号化して第２のメモリ手段に格納する第２の圧縮符号化工程と、連続的に入力された画像データ中から特定の画像データを指示する指示工程と、前記指示工程によって指示された特定の画像データに対して所定の付加情報を付加する付加工程と、前記第１のメモリ手段に記憶された前記画像データを前記第２の圧縮符号化工程によって再圧縮する際、前記付加情報の付加されている画像データは画面間相関を用いた圧縮符号化の対象としないように前記第２の圧縮符号化工程を制御する制御工程とを具備することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１５】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０はＣＣＤ撮像素子、１２は撮像素子１０のアナログ出力をディジタル信号に変換するＡ／Ｄ変換器、１４は、Ａ／Ｄ変換器１２の出力データを輝度データと色差データに分離してコンポーネント信号を生成するディジタル信号処理回路である。Ａ／Ｄ変換器１２及びディジタル信号処理回路１４からなる部分をカメラ信号処理回路１６と呼ぶことにする。
【００１６】
１８は画像圧縮伸長回路、２０は撮影画像の最初の圧縮情報を一時記憶する第１メモリ、２２は撮影画像情報を最終的に記憶する第２メモリ、２４は第２メモリ２２のインターフェースである。
【００１７】
２６はシステム全体を制御するシステム制御回路、２８は電子ビューファインダ（又は光学式ファインダ）、３０は映像／音声の外部出力端子、３２は連続撮影用のトリガ・スイッチ及び静止画撮影要求用トリガ・スイッチなどを具備する操作キー、３４は撮影コマ数や記録メモリの残量等を表示する表示器、３６は電源回路である。
【００１８】
図１に示す実施例の動作を説明する。操作キー３２により連続撮影が指示されると、画像圧縮伸長回路１８は、カメラ信号処理回路１６の出力をモーションＪＰＥＧ方式で圧縮し、その圧縮情報は第１メモリ２０に記憶される。連続撮影中に静止画撮影要求が発生（例えば、操作キー３２により入力）すると、システム制御回路２６は、モーションＪＰＥＧ方式で圧縮された画像情報の該当するフレームに静止画撮影のフラグを付加して第１メモリ２０に格納する。
【００１９】
連続撮影終了と共に、システム制御回路２６は、第１メモリ２６から連続する静止画像情報を読み出し、順次、フレーム相関をとりながら再圧縮する。再圧縮は、取り込み（第１メモリ２０への書き込み）に比べればリアルタイム性を必要とされないので、システム制御回路２６のソフトウエアで実行してもよい。再圧縮された画像情報は、インターフェース２４を介して第２メモリ２２に書き込まれる。
【００２０】
本実施例では、第２メモリ２２は例えば、カードタイプのフラッシュメモリであるが、これに限らず、光ディスク、光磁気ディスク、ハードディスク又は磁気ディスクメモリ等であってもよい。
【００２１】
第１メモリ２０から連続静止画を読み出して、順次、再圧縮する場合、図示しないフレームメモリにバッファしながらフレーム相関圧縮するが、静止画要求フラグを検知した時には、そのフレームは通常ルーチンとは別にイントラ画像として第２メモリ２２に転送する。なお、静止画要求フラグは、連続静止画撮影中でも第２メモリ２２への再圧縮書き込み時のどちらの時点で設定しても良い。
【００２２】
図２、図３及び図４を参照して、本実施例の特徴的な動作を具体的に説明する。図２〜図４は、入力画像の時間軸上の流れを示す。通常のＮＴＳＣ方式では、７２０×４８０画素程度の画像をインターレースして６０フィールド／秒で取り込む。サンプリング周波数は、輝度信号が１３．５ＭＨｚ、色差信号Ｒ−Ｙ、Ｂ−Ｙがそれぞれ６．７５ＭＨｚである。色差信号のサンプルを１／２に間引いて４：１：１コンポーネント信号にした後、情報圧縮する。ＴＶに表示する以外にもパーソナルコンピュータにとりこんで種々の用途に用いる場合もあり、その時は、上記の画素数及びフレームレートまでは必要としない場合がある。例えば、３２０×２４０画素、３０フレーム／秒でも十分な場合もある。しかし、この程度の動画像でも、無圧縮では８ビット取り込みで、１８Ｍｂｐｓの転送レートを必要とする。
【００２３】
図２では、４：１：１コンポーネント信号で各フレームを１／１０程度にＪＰＥＧ圧縮した場合で、１フレームあたりの映像情報は約１２Ｋバイトとなる。通常、ＪＰＥＧ圧縮された静止画を連続することで動画対応とするモーションＪＰＥＧ方式になっている。これでも、１秒間では０．４Ｍバイト、１分間で２１Ｍバイト強のデータ量になり、記録できる画像数（又は時間）を多く（又は長く）できない。もっとも、この状態では各フレームがフレーム内圧縮画像（イントラ画像）であるから、その１枚単独フレームのみで伸長表示が可能である。即ち、ランダム再生が容易である。記録媒体としては、半導体メモリ、磁気ディスク、光ディスク、ハードディスク等、数多くあるが、現時点で高速書き込み可能、小型、大容量及び安価というすべての条件を満足するものはない。このような圧縮画像情報が第１メモリ２０に格納される。
【００２４】
本実施例では、図２に示すようにして画面内で圧縮した画像情報が第１メモリ２０に記憶される。そして、撮影終了後に又は第１メモリ２０に記憶しつつ、時間軸方向のフレーム間相関を検出し、フレーム間相関を利用して時間軸方向で再圧縮され、その圧縮情報が第２メモリ２２に記憶される。図３は、第２メモリ２２に記憶される圧縮画像の時系列状態を示す。本実施例では、第２メモリ２２が最終的な記録媒体に相当するが、必要ならば、さらに複数のメモリを有しても良い。図３では、動画撮影中のある１０フレームだけを取り出して示している。フレーム上にあてられた番号は、再圧縮時の処理順を示すフレーム番号である。
【００２５】
第１フレームはイントラ画像と呼ばれ、すべてのブロック情報はフレーム内で情報圧縮される。図２のフレーム（ａ）と同一であると考えれば良い。図２のフレーム（ｂ），（ｃ）は、第１メモリ２０に格納されているが、再圧縮時にはまずフレーム（ｄ）が圧縮される。フレーム（ｄ）は、第１フレームを参照フレーム又は基準フレームとして差分符号化される。この時、ブロック単位ごとに動き成分が少なければ単なる差分値でも良いが、必要なら動きベクトルから動き補償を行なって圧縮符号化しても良い。
【００２６】
第３及び第４フレームは、図２のフレーム（ｂ），（ｃ）を、第１及び第２フレームの双方向からの予測の下でフレーム相関圧縮される。図中、矢印は、フレーム間圧縮の参照関係を示す。
【００２７】
図２の場合は静止画の連続であるので、あらためて静止画要求を入力する必要はないように思われるが、連続撮影中にも、静止画としてストロボ発光した時等に静止画要求が発生することもありうる。また、後で再生表示する場合も、静止画要求したフレームのみを順にアクセスしたり、フレーム番号指定でプリントしたい場合も有り得る。
【００２８】
例えば、図２のフレーム（ｅ）がユーザの意図した静止画フレームだとする。これに相当する図３の第６フレームはイントラ画面ではないので、後で静止画再生要求に基づいてこれを再生しようとしても、第６フレームのみを単独で伸長して再生表示することができない。
【００２９】
このような状況に対処するため、本実施例では、図４に示すごとく、連続撮影中に静止画要求のあったフレームに対しては、再圧縮時にフレーム相関圧縮の対象とせずに、入力時のイントラ画像情報を保持したままにする。これにより、そのフレームを単独で伸長でき、再生表示できる。勿論、画像情報以外のヘッダ信号等は、動画と静止画のそれぞれに適したファイル形式に沿って変更してよい。
【００３０】
図５は、本発明の第２実施例の概略構成ブロック図を示す。図１と同じ構成要素には同じ符号を付してある。具体的には、画像圧縮伸長回路１８に代えて、ＤＣＴ回路４０、量子化回路４２、可変長符号化回路４４、逆ＤＣＴ回路４６、逆量子化回路４８、可変長復号化回路５０からなる画像圧縮伸長回路５２とし、動き補償回路５４を別に設ける。画像圧縮伸長回路５２及び動き補償回路５４によりＭＰＥＧ方式に対応できるので、システム制御回路５６は、システム制御回路２６から第１メモリ２０の圧縮画像を第２メモリ２２に記憶するために再圧縮する機能を省いたものになっている。
【００３１】
図１に示す第１実施例では、第２の圧縮は通常、連続撮影終了後に開始されるが、図５に示す実施例では、処理能力が向上するので、第１のメモリ２０への書き込み中に並列に、第２の圧縮処理を開始できる。
【００３２】
上述の各実施例で、静止画圧縮にはＪＰＥＧ方式を、動画圧縮にはＭＰＥＧ方式を適用したが、本発明は、このような圧縮方式に限定されない。例えば、ベクトル符号化、フラクタル符号化及び領域分割符号化等を用いても良く、１回目の圧縮には、単一フレームで伸長が可能な方式、第２の圧縮手段、複数のフレームを用いないと任意の１フレームを伸長できない方式を使用すればよい。
【００３３】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、連続的に入力された画像を画面内圧縮符号化して一時記憶し、その後画面間相関を用いて再圧縮符号化するので、高速に連続画像を取り込むことでき、符号量を削減することができる。また、連続画像中の特定画像については、画面間相関を用いた再圧縮符号化は行わないので、単体で復号再生が行え、高精細な再生画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】第１メモリ２０に記憶される画像情報を時系列で示す模式図である。
【図３】第１メモリ２２に記憶される連続撮影画像の圧縮画像情報を時系列で示す模式図である。
【図４】第１メモリ２２に記憶される連続撮影画像で、静止画要求があった場合の圧縮画像情報を時系列で示す模式図である。
【図５】本発明の第２実施例の概略構成ブロック図である。
【符号の説明】
１０：ＣＣＤ撮像素子
１２：Ａ／Ｄ変換器
１４：ディジタル信号処理回路
１６：カメラ信号処理回路
１８：画像圧縮伸長回路
２０：第１メモリ
２２：第２メモリ
２４：インターフェース
２６：システム制御回路
２８：電子ビューファインダ（又は光学式ファインダ）
３０：映像／音声の外部出力端子
３２：操作キー
３４：表示器
３６：電源回路
４０：ＤＣＴ回路
４２：量子化回路
４４：可変長符号化回路
４６：逆ＤＣＴ回路
４８：逆量子化回路
５０：可変長復号化回路
５２：画像圧縮伸長回路
５４：動き補償回路
５６：システム制御回路

Claims

連続的に画像データを入力する入力手段と、
前記画像データを画面内圧縮符号化して第１のメモリ手段に一時記憶する第１の圧縮符号化手段と、
前記第１のメモリ手段に記憶された画面内符号化された前記画像データを画面間相関を用いて再圧縮符号化して第２のメモリ手段に格納する第２の圧縮符号化手段と、
連続的に入力された画像データ中から特定の画像データを指示する指示手段と、
前記指示手段によって指示された特定の画像データに対して所定の付加情報を付加する付加手段と、
前記第１のメモリ手段に記憶された前記画像データを前記第２の圧縮符号化手段によって再圧縮する際、前記付加情報の付加されている画像データを画面間相関を用いた圧縮符号化の対象としないように前記第２の圧縮符号化手段を制御する制御手段
とを有することを特徴とする画像処理装置。
連続的に画像データを入力する入力工程と、
前記画像データを画面内圧縮符号化して第１のメモリ手段に一時記憶する第１の圧縮符号化工程と、
前記第１のメモリ手段に記憶された画面内符号化された前記画像データを画面間相関を用いて再圧縮符号化して第２のメモリ手段に格納する第２の圧縮符号化工程と、
連続的に入力された画像データ中から特定の画像データを指示する指示工程と、
前記指示工程によって指示された特定の画像データに対して所定の付加情報を付加する付加工程と、
前記第１のメモリ手段に記憶された前記画像データを前記第２の圧縮符号化工程によって再圧縮する際、前記付加情報の付加されている画像データは画面間相関を用いた圧縮符号化の対象としないように前記第２の圧縮符号化工程を制御する制御工程
とを具備することを特徴とする画像処理方法。