JPH10164492A

JPH10164492A - 撮像装置

Info

Publication number: JPH10164492A
Application number: JP31585696A
Authority: JP
Inventors: Masatake Kato; 正猛加藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-11-27
Filing date: 1996-11-27
Publication date: 1998-06-19
Anticipated expiration: 2016-11-27
Also published as: US6148031A; JP3787398B2

Abstract

(57)【要約】【課題】連続撮影中の任意の静止画を高精細で記録す
る。【解決手段】画像圧縮伸長回路１８は、撮像素子１０
及びカメラ信号処理回路１６による撮影画像信号をモー
ションＪＰＥＧ方式で圧縮し、その圧縮画像情報は、第
１メモリ２０に一時記憶される。連続撮影中、操作キー
３２から静止画要求が入力されると、システム制御回路
２６は、該当するフレームについて静止画撮影のフラグ
を付加して第１メモリ２０に格納する。連続撮影終了と
共に、システム制御回路２６は、第１メモリ２６から連
続する静止画像情報を読み出し、順次、フレーム相関を
とりながら再圧縮する。再圧縮された画像情報は、イン
ターフェース２４を介して第２メモリ２２に書き込まれ
る。但し、静止画撮影フラグの付加されたフレームにつ
いては、通常ルーチンとは別にフレーム内圧縮画像とし
て第２メモリ２２に転送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置に関し、
より具体的には、撮影画像をディジタル記録する撮像装
置に関する。

【０００２】

【従来の技術】銀塩フィルムの代わりに半導体メモリ、
磁気ディスク及び光磁気ディスク等を記録媒体として撮
影画像をディジタル記録する電子スチル・カメラが、研
究及び商品化されている。記録媒体がランダムアクセス
可能であれば、記録順とは異なる順序で再生でき、任意
の記録画像を即座に再生できる。ディジタル記録ではま
た、ダビングによっても画質が劣化しない、時間軸上の
スケーラビリティを活用しやすいなどの利点がある。し
かし、ディジタル記録は、アナログ記録に比べて、記録
データ量が膨大になるという欠点がある。

【０００３】記録データ量を削減する手段として、情報
圧縮技術が有益であり、静止画のＪＰＥＧ方式の他に
も、動画のＭＰＥＧ方式など、種々の方式が提案されて
いる。ＪＰＥＧ方式では、８×８画素単位で空間座標系
での値を周波数座標上の値に直交変換（ＤＣＴ変換）
し、その変換係数を量子化し、ハフマン符号化方式等で
可変長符号とする。これにより、データ量はほぼ１／１
０以上に圧縮される。可逆符号化ではないので、入力信
号を忠実に再現することはできないが、通常の画質レベ
ルでは問題とはならない。圧縮情報を復元するには、圧
縮のときと逆の過程をたどることになる。

【０００４】静止画の単独撮影では、画質が優先され、
画像を取り込んだ後の後処理（圧縮処理と記録媒体への
記録処理）に多少時間がかかったとしても許容できた。
しかし、高速の連写の場合には、連写の時間間隔が後処
理に要する時間で制限されるので、圧縮処理及び記録処
理に要する時間を短縮するか、いずれかの部分を並列動
作させて画像取り込みの待ち時間を短縮するかしなけれ
ばならない。

【０００５】また、短時間の動画を記録しようとする
と、画面の動きを滑らかにするには、３０フレーム／秒
（又は６０フィールド／秒）程度のフレームレートを確
保しなければならない。このためにも、後処理に要する
時間を短縮する必要があり、勿論、記録媒体の記録容量
を増大し、画像圧縮率を高める必要がある。とくに圧縮
と記録をリアルタイムに行なおうとすると、構成が複雑
化し、記録媒体も高速書き込み可能な媒体を使用しなけ
ればならない。これに対し、画像情報を高速書き込み可
能な第１の半導体メモリを介して低速書き込みの大容量
の第２の半導体メモリに転送する構成の電子スチルカメ
ラが提案されている（例えば、平成１年特許出願公開第
１０７８４号公報及び平成５年特許出願公開第４９００
０号公報）。

【０００６】動画像の周知の圧縮技術であるＭＰＥＧ方
式では、各画面の圧縮に時間軸方向の圧縮を加味して圧
縮率を高めている。例えば、基準となる画面（開始フレ
ーム（又はフィールド。以下、同じ。）の前後のフレー
ムは、動きがあったとしても、基準画面との相関が高い
（類似した画素情報が得られる）はずなので、同一の画
素番地で基準画像値からの差分を求めて、これを符号化
すれば圧縮効果は高くなる。さらに、ある画素ブロック
単位で比較フレームの比較対象とブロックマッチングを
行なうことで、動き量に応じた量だけ横画素方向及び縦
ライン方向にシフトさせて差分をとることにおり、更
に、圧縮効果が高くなる。

【０００７】このような動画圧縮処理を行なえば、より
高い圧縮率を達成できるが、装置の構成が複雑化し、高
価なものになってしまう。平成６年特許出願公開第１２
１２７５号公報には、画像情報を一旦バッファする際に
は可逆圧縮を行ない、さらに非可逆圧縮してメモリカー
ド等に送出する技術が開示されている。

【０００８】

【発明が解決しようとする課題】このように、動画像を
記録する為の問題点は多くあるが、動画像の圧縮では、
画面内圧縮に加えて、フレーム間相関を利用するのは、
高圧縮率を達成する上で重要である。一方、ランダム・
アクセスの記録媒体にディジタル記録することによるラ
ンダムアクセス性は、動画の再生時にも利用できるのが
好ましいが、フレーム間圧縮が行なわれていると、任意
のフレームを再生するには、そのフレームの圧縮の際の
基準フレームを先ず伸長しなければならず、複雑な再生
処理が必要になる。勿論、非可逆圧縮であれば、画質も
劣化する。

【０００９】さらに、当初よりフレーム間相関による動
画高圧縮を行なう場合はまだしも、当初は連続静止画と
して取り込み、後処理でフレーム相関を用いた高圧縮を
行なう場合は、本来、利用可能な高精細静止画フレーム
を破棄して、再生表示時に組みなおす訳で、効率が悪
い。特に動画像に比較して静止画像の画質は視覚上のご
まかしが効かないので、より高精細さが要求される。

【００１０】連続記録中の特定の時点で高精細な静止画
記録を選択したい状況でも、従来例では、その画面だけ
画質を重視して圧縮するといった選択的な圧縮処理を行
なえなかった。

【００１１】本発明は、これらの要求を満たす撮像装置
を提示することを目的とする。

【００１２】

【課題を解決するための手段】本発明に係る撮像装置
は、連続撮影画像を画面内圧縮符号化方式で圧縮して第
１メモリ手段に格納する第１圧縮手段と、当該第１メモ
リ手段に一時記憶された画像情報を画面間相関を利用し
て再圧縮し、第２メモリ手段に格納する第２圧縮手段
と、連続撮影中の静止画撮影要求の識別情報を発生する
識別情報発生手段と、当該識別情報に基づき、連続撮影
中での単写撮影静止画フレームを当該第２圧縮手段にお
けるフレーム相関圧縮の対象とはしないように当該第２
圧縮手段を制御する制御手段とを具備することを特徴と
する。

【００１３】連続撮影中の静止画撮影要求の識別情報に
基づき、連続撮影中での単写撮影静止画フレームについ
ては、第２圧縮手段におけるフレーム相関圧縮の対象と
はしないようにしたので、その静止画についてはそのフ
レームのみで伸長できるようになる。再圧縮をしないの
で、画質も良好になる。

【００１４】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。

【００１５】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０はＣＣＤ撮像素子、１２は撮像素子
１０のアナログ出力をディジタル信号に変換するＡ／Ｄ
変換器、１４は、Ａ／Ｄ変換器１２の出力データを輝度
データと色差データに分離してコンポーネント信号を生
成するディジタル信号処理回路である。Ａ／Ｄ変換器１
２及びディジタル信号処理回路１４からなる部分をカメ
ラ信号処理回路１６と呼ぶことにする。

【００１６】１８は画像圧縮伸長回路、２０は撮影画像
の最初の圧縮情報を一時記憶する第１メモリ、２２は撮
影画像情報を最終的に記憶する第２メモリ、２４は第２
メモリ２２のインターフェースである。

【００１７】２６はシステム全体を制御するシステム制
御回路、２８は電子ビューファインダ（又は光学式ファ
インダ）、３０は映像／音声の外部出力端子、３２は連
続撮影用のトリガ・スイッチ及び静止画撮影要求用トリ
ガ・スイッチなどを具備する操作キー、３４は撮影コマ
数や記録メモリの残量等を表示する表示器、３６は電源
回路である。

【００１８】図１に示す実施例の動作を説明する。操作
キー３２により連続撮影が指示されると、画像圧縮伸長
回路１８は、カメラ信号処理回路１６の出力をモーショ
ンＪＰＥＧ方式で圧縮し、その圧縮情報は第１メモリ２
０に記憶される。連続撮影中に静止画撮影要求が発生
（例えば、操作キー３２により入力）すると、システム
制御回路２６は、モーションＪＰＥＧ方式で圧縮された
画像情報の該当するフレームに静止画撮影のフラグを付
加して第１メモリ２０に格納する。

【００１９】連続撮影終了と共に、システム制御回路２
６は、第１メモリ２６から連続する静止画像情報を読み
出し、順次、フレーム相関をとりながら再圧縮する。再
圧縮は、取り込み（第１メモリ２０への書き込み）に比
べればリアルタイム性を必要とされないので、システム
制御回路２６のソフトウエアで実行してもよい。再圧縮
された画像情報は、インターフェース２４を介して第２
メモリ２２に書き込まれる。

【００２０】本実施例では、第２メモリ２２は例えば、
カードタイプのフラッシュメモリであるが、これに限ら
ず、光ディスク、光磁気ディスク、ハードディスク又は
磁気ディスクメモリ等であってもよい。

【００２１】第１メモリ２０から連続静止画を読み出し
て、順次、再圧縮する場合、図示しないフレームメモリ
にバッファしながらフレーム相関圧縮するが、静止画要
求フラグを検知した時には、そのフレームは通常ルーチ
ンとは別にイントラ画像として第２メモリ２２に転送す
る。なお、静止画要求フラグは、連続静止画撮影中でも
第２メモリ２２への再圧縮書き込み時のどちらの時点で
設定しても良い。

【００２２】図２、図３及び図４を参照して、本実施例
の特徴的な動作を具体的に説明する。図２〜図４は、入
力画像の時間軸上の流れを示す。通常のＮＴＳＣ方式で
は、７２０×４８０画素程度の画像をインターレースし
て６０フィールド／秒で取り込む。サンプリング周波数
は、輝度信号が１３．５ＭＨｚ、色差信号Ｒ−Ｙ、Ｂ−
Ｙがそれぞれ６．７５ＭＨｚである。色差信号のサンプ
ルを１／２に間引いて４：１：１コンポーネント信号に
した後、情報圧縮する。ＴＶに表示する以外にもパーソ
ナルコンピュータにとりこんで種々の用途に用いる場合
もあり、その時は、上記の画素数及びフレームレートま
では必要としない場合がある。例えば、３２０×２４０
画素、３０フレーム／秒でも十分な場合もある。しか
し、この程度の動画像でも、無圧縮では８ビット取り込
みで、１８Ｍｂｐｓの転送レートを必要とする。

【００２３】図２では、４：１：１コンポーネント信号
で各フレームを１／１０程度にＪＰＥＧ圧縮した場合
で、１フレームあたりの映像情報は約１２Ｋバイトとな
る。通常、ＪＰＥＧ圧縮された静止画を連続することで
動画対応とするモーションＪＰＥＧ方式になっている。
これでも、１秒間では０．４Ｍバイト、１分間で２１Ｍ
バイト強のデータ量になり、記録できる画像数（又は時
間）を多く（又は長く）できない。もっとも、この状態
では各フレームがフレーム内圧縮画像（イントラ画像）
であるから、その１枚単独フレームのみで伸長表示が可
能である。即ち、ランダム再生が容易である。記録媒体
としては、半導体メモリ、磁気ディスク、光ディスク、
ハードディスク等、数多くあるが、現時点で高速書き込
み可能、小型、大容量及び安価というすべての条件を満
足するものはない。このような圧縮画像情報が第１メモ
リ２０に格納される。

【００２４】本実施例では、図２に示すようにして画面
内で圧縮した画像情報が第１メモリ２０に記憶される。
そして、撮影終了後に又は第１メモリ２０に記憶しつ
つ、時間軸方向のフレーム間相関を検出し、フレーム間
相関を利用して時間軸方向で再圧縮され、その圧縮情報
が第２メモリ２２に記憶される。図３は、第２メモリ２
２に記憶される圧縮画像の時系列状態を示す。本実施例
では、第２メモリ２２が最終的な記録媒体に相当する
が、必要ならば、さらに複数のメモリを有しても良い。
図３では、動画撮影中のある１０フレームだけを取り出
して示している。フレーム上にあてられた番号は、再圧
縮時の処理順を示すフレーム番号である。

【００２５】第１フレームはイントラ画像と呼ばれ、す
べてのブロック情報はフレーム内で情報圧縮される。図
２のフレーム（ａ）と同一であると考えれば良い。図２
のフレーム（ｂ），（ｃ）は、第１メモリ２０に格納さ
れているが、再圧縮時にはまずフレーム（ｄ）が圧縮さ
れる。フレーム（ｄ）は、第１フレームを参照フレーム
又は基準フレームとして差分符号化される。この時、ブ
ロック単位ごとに動き成分が少なければ単なる差分値で
も良いが、必要なら動きベクトルから動き補償を行なっ
て圧縮符号化しても良い。

【００２６】第３及び第４フレームは、図２のフレーム
（ｂ），（ｃ）を、第１及び第２フレームの双方向から
の予測の下でフレーム相関圧縮される。図中、矢印は、
フレーム間圧縮の参照関係を示す。

【００２７】図２の場合は静止画の連続であるので、あ
らためて静止画要求を入力する必要はないように思われ
るが、連続撮影中にも、静止画としてストロボ発光した
時等に静止画要求が発生することもありうる。また、後
で再生表示する場合も、静止画要求したフレームのみを
順にアクセスしたり、フレーム番号指定でプリントした
い場合も有り得る。

【００２８】例えば、図２のフレーム（ｅ）がユーザの
意図した静止画フレームだとする。これに相当する図３
の第６フレームはイントラ画面ではないので、後で静止
画再生要求に基づいてこれを再生しようとしても、第６
フレームのみを単独で伸長して再生表示することができ
ない。

【００２９】このような状況に対処するため、本実施例
では、図４に示すごとく、連続撮影中に静止画要求のあ
ったフレームに対しては、再圧縮時にフレーム相関圧縮
の対象とせずに、入力時のイントラ画像情報を保持した
ままにする。これにより、そのフレームを単独で伸長で
き、再生表示できる。勿論、画像情報以外のヘッダ信号
等は、動画と静止画のそれぞれに適したファイル形式に
沿って変更してよい。

【００３０】図５は、本発明の第２実施例の概略構成ブ
ロック図を示す。図１と同じ構成要素には同じ符号を付
してある。具体的には、画像圧縮伸長回路１８に代え
て、ＤＣＴ回路４０、量子化回路４２、可変長符号化回
路４４、逆ＤＣＴ回路４６、逆量子化回路４８、可変長
復号化回路５０からなる画像圧縮伸長回路５２とし、動
き補償回路５４を別に設ける。画像圧縮伸長回路５２及
び動き補償回路５４によりＭＰＥＧ方式に対応できるの
で、システム制御回路５６は、システム制御回路２６か
ら第１メモリ２０の圧縮画像を第２メモリ２２に記憶す
るために再圧縮する機能を省いたものになっている。

【００３１】図１に示す第１実施例では、第２の圧縮は
通常、連続撮影終了後に開始されるが、図５に示す実施
例では、処理能力が向上するので、第１のメモリ２０へ
の書き込み中に並列に、第２の圧縮処理を開始できる。

【００３２】上述の各実施例で、静止画圧縮にはＪＰＥ
Ｇ方式を、動画圧縮にはＭＰＥＧ方式を適用したが、本
発明は、このような圧縮方式に限定されない。例えば、
ベクトル符号化、フラクタル符号化及び領域分割符号化
等を用いても良く、１回目の圧縮には、単一フレームで
伸長が可能な方式、第２の圧縮手段、複数のフレームを
用いないと任意の１フレームを伸長できない方式を使用
すればよい。

【００３３】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、圧縮処理を簡易化した形で連続静
止画を高速に取り込み、しかる後に低速で再圧縮する。
これにより、記録データ量の削減を図る。しかも、連続
撮影中の指定された単一静止画フレームについては、単
体フレームで伸長再生表示が行なえるようにすること
で、情報の欠落を防ぎ、高精細な再生画像を得られるよ
うにする。また、再圧縮及び再伸長時の無駄を省くこと
もできる。

【図面の簡単な説明】

【図１】本発明の第１実施例の概略構成ブロック図で
ある。

【図２】第１メモリ２０に記憶される画像情報を時系
列で示す模式図である。

【図３】第１メモリ２２に記憶される連続撮影画像の
圧縮画像情報を時系列で示す模式図である。

【図４】第１メモリ２２に記憶される連続撮影画像
で、静止画要求があった場合の圧縮画像情報を時系列で
示す模式図である。

【図５】本発明の第２実施例の概略構成ブロック図で
ある。

【符号の説明】

１０：ＣＣＤ撮像素子１２：Ａ／Ｄ変換器１４：ディジタル信号処理回路１６：カメラ信号処理回路１８：画像圧縮伸長回路２０：第１メモリ２２：第２メモリ２４：インターフェース２６：システム制御回路２８：電子ビューファインダ（又は光学式ファインダ）３０：映像／音声の外部出力端子３２：操作キー３４：表示器３６：電源回路４０：ＤＣＴ回路４２：量子化回路４４：可変長符号化回路４６：逆ＤＣＴ回路４８：逆量子化回路５０：可変長復号化回路５２：画像圧縮伸長回路５４：動き補償回路５６：システム制御回路

Claims

【特許請求の範囲】

【請求項１】連続撮影画像を画面内圧縮符号化方式で
圧縮して第１メモリ手段に格納する第１圧縮手段と、当
該第１メモリ手段に一時記憶された画像情報を画面間相
関を利用して再圧縮し、第２メモリ手段に格納する第２
圧縮手段と、連続撮影中の静止画撮影要求の識別情報を
発生する識別情報発生手段と、当該識別情報に基づき、
連続撮影中での単写撮影静止画フレームを当該第２圧縮
手段におけるフレーム相関圧縮の対象とはしないように
当該第２圧縮手段を制御する制御手段とを具備すること
を特徴とする撮像装置。