JP4256028B2

JP4256028B2 - 圧縮符号化装置および方法

Info

Publication number: JP4256028B2
Application number: JP18829999A
Authority: JP
Inventors: 研治伊藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-07-02
Filing date: 1999-07-02
Publication date: 2009-04-22
Anticipated expiration: 2019-07-02
Also published as: JP2001016591A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段にて撮像される画像信号を圧縮符号化して出力する圧縮符号化装置および方法に係り、たとえば、圧縮符号化されて記録媒体に記録された要素画像を用いてパノラマ合成写真を作成する際に好適な画像が得られるように、各要素画像の画像信号を圧縮符号化する圧縮符号化装置および方法に関するものである。
【０００２】
【従来の技術】
近年、被写界を撮像して得られる画像情報をメモリカードや磁気ディスク等の情報記録媒体に記録し、必要なときにこれらから読み出し、その画像をモニタ表示させたり、プリントすることが行われる。たとえば、ディジタルスチルカメラでは、色フィルタを有する固体撮像素子を備え、その撮像面に結像される光学像を電気信号に変換して、その画素信号を処理して情報記録媒体に記録する。また、銀塩写真のフィルムに記録された画像情報を光学的に読み取ってディジタル化し、その画像情報を情報記録媒体に記録することが行われる。
【０００３】
このような情報記録媒体は、有限の記憶領域を有するため、上述のような画像情報を記録するためには、たとえば、元の画像情報を十分の一ないしは数十分の一程度の情報量に圧縮符号化し、所定の記憶領域に記録する。
【０００４】
また、このようにして情報記録媒体に画像情報を記録する際に、１画像ごとのコマをつなげて、より広範囲の写真画像やスキャニング画像を作成したいという要望があり、このような処理は、たとえば、画像情報が記録された情報記録媒体から画像処理装置等に画像情報を取り込み、複数の撮像範囲の一部を重ね合わせながら、互いに連続する画像を接合し、いわゆるパノラマ合成にて実現される。
【０００５】
【発明が解決しようとする課題】
しかし、パノラマ合成処理を行う際、その接合部のつなぎ目が目立ってしまうため、合成処理の際にその現象を回避することが必要であった。たとえば、特開平9-266561号公報には、画像がつながるように撮影して連続画像を作成するカメラが記載され、また、特開平9-289624号公報には、位置合わせ機能、歪み補正機能および明度調節機能を有するデジタルカメラが記載されている。
【０００６】
さらに、特開平9-93431 号公報には、つなぎ合わせる複数の画像の境界部分にぼかし処理を加えるパノラマ合成装置が記載され、また、特開平9-321972号公報には、つなぎ合わせる画像の重複部分の対応点を抽出して、その重複部分に階調補正を施すことにより継ぎ目を目立たなくする画像合成装置が記載されている。また、特開平9-322055号公報には、撮影の際に検出した角度信号を元に画像合成を行って、つなぎ目が連続となるパノラマ画像を得る電子カメラシステムが記載されている。
【０００７】
このように従来例では、画像合成時につなぎ目が目立たなくする処理が検討され、また撮像時には、連続する被写界を重複させながら撮像する際の撮影時の情報に基づいて双方の画像を接続、合成することが検討されていた。
【０００８】
しかしながら、実際のディジタルカメラ等にて撮像された画像情報をパノラマ合成しようとした場合、次の問題点があった。
【０００９】
すなわち、連続させる複数の要素画像を撮影により得て、これら画像情報を所定符号量範囲に収まるように固定長化処理して圧縮符号化し情報記録媒体に記録し、記録された画像情報を使用してパノラマ合成を行う場合、被写体の細密さ、荒さなどがそれぞれ各要素画像によって異なり、合成されたパノラマ画像全体としては、部分的に画質の異なる絵柄が発生する。
【００１０】
たとえば、情報記録媒体に圧縮符号化されて記録された２コマの画像を左右方向にパノラマ合成する場合、一方は煩雑な強コントラストな絵柄で、他方は単純でフラットな絵柄であると、そのつなぎ目が目立ってしまうだけではなく、合成画像の右と左側とでブロックノイズ発生の程度が異なって、たとえば、画像中のほぼ同一距離に存在する同じような被写体について、その再現性が左右で異なって、違和感のあるパノラマ画像が作成される。
【００１１】
本発明はこのような従来技術の欠点を解消し、圧縮符号化された画像情報を用いてパノラマ合成を行う場合でも、違和感のない各要素画像を作成することのできる圧縮符号化装置および方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮像手段にて撮像される複数コマの画像信号を圧縮処理して出力する圧縮符号化装置において、この装置は、パノラマ画像を生成するための複数コマの画像信号を第１のパラメータに応じた圧縮処理によりそれぞれ圧縮符号化する圧縮符号化手段と、第１のパラメータを画像信号に基づいて設定する設定手段と、圧縮符号化手段にて圧縮符号化された符号データを出力する出力手段とを含み、設定手段は、複数コマの画像信号のうち、少なくともいずれかのコマの画像信号から、複数コマの画像信号を圧縮するための第１のパラメータを決定する決定手段を含み、圧縮符号化手段は、第１のパラメータに応じて、複数コマの画像信号をそれぞれ圧縮符号化することを特徴とする。
【００１３】
また、本発明は上述の課題を解決するために、撮像手段にて撮像される複数コマの画像信号を圧縮処理して出力する圧縮符号化方法において、この方法は、パノラマ画像を生成するための複数コマの画像信号を第１のパラメータに応じた圧縮処理によりそれぞれ圧縮符号化する圧縮符号化工程と、第１のパラメータを画像信号に基づいて設定する設定工程と、圧縮符号化工程にて圧縮符号化された符号データを出力する出力工程とを含み、設定工程は、複数コマの画像信号のうち、少なくともいずれかのコマの画像信号から、複数コマの画像信号を圧縮するための第１のパラメータを決定する決定工程を含み、圧縮符号化工程は、第１のパラメータに応じて、複数コマの画像信号をそれぞれ圧縮符号化することを特徴とする。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による圧縮符号化装置および方法の実施例を詳細に説明する。図１を参照すると、同図には、本発明が適用された圧縮符号化装置を備えるディジタルカメラ10が示されている。このカメラ10は、撮像レンズ12を介して撮像素子14の撮像面に結像される被写界からの光学像を光電変換し、変換された撮像信号を処理して、圧縮符号化し、メモリカードや回転記録媒体などの記録媒体16にその符号化データを記録する撮像および情報記録装置である。
【００１５】
本実施例におけるカメラ10は、とくに、複数コマの画像を撮影し、これら複数画像をつなぎ合わせた際に、良好な合成画像、いわゆるパノラマ合成写真を作成可能なように、各コマの画像をそれぞれ信号処理回路18にて圧縮符号化処理して記録媒体16に記録するパノラマ写真作成用の情報処理機能を有している。たとえば、水平および垂直方向に連続する被写界を、それぞれ一部分が重なり合うように撮像してパノラマ合成写真を得る場合、垂直方向にそびえ立つ建物や、奥行き方向に連続する道路、さらには空間の全景などを撮像して撮像レンズ12の画角を超えた広い範囲の接合画像を得る際に、各撮像画像に対して適切な圧縮処理を施して記録する。
【００１６】
このようにして合成写真や接合画像を得る場合には、撮像素子14の有する有効画総数を超えたサイズの大きな画像が作成されることとなって、合成後の１枚の写真画像は、それを構成する各要素画像つまり撮影ごとの１コマの画像に比べて、相対的に高精細な画像となる。本カメラ10では、このような複数コマの画像に対してそれぞれのコマごとの圧縮処理を行う際に、合成画像の要素画像として適切な圧縮処理を行う。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１７】
詳しくはカメラ10は、被写界からの光束が撮像レンズ12によって撮像素子14の撮像面に結像されると、撮像素子14は、制御部22から供給される駆動信号に応動して、その受光部に生成された電荷を電気信号として読み出し、それに応じた画素信号をアナログ回路20に供給する。撮像レンズ12は、撮影対象を適切に撮像するために広角側から望遠側まで焦点距離が可変のズームレンズ、もしくは交換式のレンズであるとよい。この場合、とくに望遠側で撮影した際に画角が狭くなるが、パノラマ合成と組み合わせることによって、各コマの歪みがより少なく、高解像の広い範囲のパノラマ写真を作成することができる。もちろん広角側で撮影した画像をパノラマ合成して、少ない撮影枚数でより広い範囲の写真を作成するようにしてもよい。
【００１８】
本実施例における撮像素子14は、その撮像面にRGB 原色カラーフィルタもしくは補色フィルタが配設されたCCD カラー撮像素子が適用され、光電変換したRGB 画素信号を点順次に出力する。その出力102 に接続されるアナログ回路20は、撮像素子14より出力される画素信号102 を信号処理する信号処理回路であり、相関二重サンプリング機能および制御部22からの制御に応じた可変利得増幅機能を有している。また、アナログ回路20は、ガンマ補正および色バランス調整などの階調補正およびレベル補正を行うようにしてもよい。
【００１９】
アナログ回路20の出力104 はアナログ・ディジタル変換回路(ADC) 24に接続され、ADC 24は、入力104 に入力する画素信号をRGB 画像データに変換して、変換された画像データをその出力106 に接続された信号処理回路18に出力する。
【００２０】
信号処理回路18は、入力106 に現れる画像データを、モードに応じた信号処理を施して、出力108 に接続される記録媒体16もしくは出力110 に接続される映像出力装置に出力するディジタル信号処理回路である。信号処理回路18は、画像データをガンマ補正、輝度および色バランス調整などの階調補正およびレベル補正する信号処理部30を有する。
【００２１】
信号処理部30は、撮像画像を連続的に表示させるための動画モードが制御部22により設定されている場合に、入力される画像データ106 の階調およびレベルを補正する演算処理を行って出力120 に出力する。信号処理部30の出力120 に接続されるエンコーダ32は、信号処理部30より供給される画像データ120 を、ディジタル・アナログ変換回路(DAC) 34の出力110 に接続される表示装置に応じた形式の映像信号に変換する機能を有する。なお、カメラ10に、不図示の液晶モニタパネルが搭載され、エンコーダ32は、たとえば動画モードにて、連続するコマの画像データを液晶モニタの表示領域に合わせた形式の画像に変換して液晶モニタに供給することにより、静止画撮影前の画角合わせを行うことができ、また、マニュアル操作で露出を調節したりピントを合わせたりする際にその確認を表示映像を見て行うことができる。このような液晶モニタは、出力110 に接続される外部機器として接続されてよい。また再生モードにおいても、記録媒体16から読み出されて伸張された画像データを信号処理部30より入力し、撮影記録済の画像を液晶モニタ等に表示させる。
【００２２】
信号処理部30は、静止画記録モードにおいて、入力されるRGB 画像データを輝度信号Ｙおよび色差信号Ｃに変換するＹＣ分離を行って、処理されたＹＣ画像信号をバス122 、メモリインタフェース36およびバス124 を介して接続されるメモリ40に記憶させる。また、信号処理部30は、制御部22にてパノラマ合成用の要素画像を作成するパノラマ圧縮モードが設定されると、複数コマによるパノラマ写真の各要素画像を処理する際に、たとえば各コマ共通の階調および明るさ調整を行って各コマの仕上がりを揃える信号処理を行う。１コマごとの撮影を行って各コマに応じて固定長圧縮符号化する通常の撮影圧縮モードでは、信号処理部30は、撮像した１コマごとの画像データに応じた適切な信号処理を行う。
【００２３】
さらに信号処理部30は、撮像制御を行うための各種評価値を算出して、バス128 にて接続される制御部22に通知する機能を有する。本実施例における信号処理部30は、入力される画像データ106 に基づいて、露出調整および自動焦点調節のための評価値を演算により求め、算出した各種評価値を制御部22に供給する。制御部22では、それら評価値に基づいて、撮像の際の露出調整や自動焦点調節等を行うための制御信号を生成し、撮像レンズの機構部や撮像素子14にその制御信号や駆動信号を与えて動作を制御する。
【００２４】
たとえば、信号処理部30は、撮像レンズ12の焦点位置を移動させながら撮像し、それから得られる各画像データのフォーカシングエリア内のコントラストを検出してその最大値が得られた際のレンズ位置に撮像レンズ12を制御して被写体に対するピントを合焦させるコントラスト検出方式の自動焦点調節機能を有する。また、信号処理部30は、入力される画像データ106 に基づいて、被写界における光源の種類を判定し、その判定結果に応じてホワイトバランスを調整する機能を有する。
【００２５】
メモリインタフェース回路36は、信号処理部30、メモリ40および圧縮伸張処理部42に接続されて、これらの間のデータ転送を制御するとともに、メモリ40に対する記憶制御を行う。本実施例におけるメモリ40は、信号処理部30より供給される画像データの少なくとも１コマ分を記憶する記憶領域を有するフレームメモリであり、通常の撮影圧縮モードおよびパノラマ圧縮モードの双方および再生モードにて画像データを一時記憶する。
【００２６】
圧縮伸張処理部42は、メモリ40から読み出される画像データをバス130 を介して入力し、画像データの輝度信号Ｙおよび色差信号Ｃごとにそれぞれ圧縮符号化して、その符号化データをカードインタフェース回路44に出力する信号処理機能を有する。本実施例における圧縮伸張処理部42は、JPEG方式に準拠し、さらに、制御部22により設定されるモードに応じた適切な圧縮条件を設定し、各コマの画像データを圧縮符号化する。また圧縮伸張処理部42は、記録媒体16から読み出される圧縮符号化されたデータを伸張してメモリ40に出力する機能を有し、この場合、信号処理部30は、メモリ40から読み出される画像データ122 を処理してエンコーダ32に出力することにより記録画像を再生する。
【００２７】
圧縮伸張処理部42は、通常の撮影記録モードが設定されると、メモリ40に記憶された画像データに対し、その総符号量を所定長以下に制御する符号量制御を行って、変換符号化により画像データを圧縮符号化する。詳しくは圧縮伸張処理部42は図２に示すように、画像データを直交変換する変換回路(DCT/IDCT)200 と、直交変換された変換係数を量子化する量子化回路202 と、変換係数の直流成分と、量子化された変換係数の交流成分とにそれぞれハフマン符号を割り当てるハフマン符号化回路204 とを備え、これら回路はそれぞれ逆変換を行う機能を有している。本実施例における圧縮伸張処理部42は、いわゆる２パス制御方式にて符号量制御を行う。
【００２８】
具体的には、圧縮伸張処理部42は、圧縮符号化処理の際に、メモリ40に記録された画像データをたとえば８×８画素のブロックごとに読み出し、そのブロック化された画像データを変換回路200 に入力する。この結果、変換回路200 にて変換係数の直流成分と交流成分とが生成されて、これらがブロック内にてジグザグスキャンされて量子化回路202 に入力される。量子化回路202 は、所定の量子化パラメータにより所定以下の係数を切り捨てる。こうして処理された変換係数は、ハフマン符号化回路204 に入力され、符号化回路204 は、量子化された変換係数に対しハフマン符号を割り当てる。符号化回路204 は、先頭ブロックの直流成分と、以降のブロック間の差分値とをそれぞれ符号化し、さらに量子化された交流成分に対しては、高域成分順からブロック内をジグザグスキャンして符号化する。符号化回路204 は、符号化したデータの総符号量を算出する機能を有し、その総符号量をスケールファクタ決定部206 に供給する。この総符号量は、画像の細密さに応じて変化し、画像のアクティビティに対応する情報である。
【００２９】
なお、本実施例における変換回路200 は、そのブロックデータを離散コサイン変換するが、これに限らず他の直交変換として、たとえばアダマール変換、K-L (Karhunen-Loeve)変換等の演算処理を行うものでもよい。また、ブロック化される画像データのブロックサイズは、たとえば撮像素子14の高画素密度化に応じて16×16画素ブロック等のさらに大きいブロックサイズでもよい。
【００３０】
スケールファクタ決定部206 は、算出された総符号量に従って、画像データを第２パスにて圧縮符号化する際の総符号量を所定量以下に非可逆圧縮するための圧縮率を制御するスケールファクタＫを決定する。乗算回路208 は、このスケールファクタＫと量子化テーブル210 より供給されるテーブル値とを乗算し、その演算結果を量子化回路202 に出力する。量子化テーブル210 には、輝度および色差成分ごとに、交流成分に対する量子化テーブルが格納されており、圧縮処理するデータの種類に対応するテーブルを乗算器208 に出力する。
【００３１】
スケールファクタ決定部206 は、このようにして第１パスにて決定したスケールファクタＫを第２パスにおける圧縮符号化処理にて使用する。第２パスでは、上述と同様にして、ブロックデータを直交変換し、その変換係数を、先に決定したスケールファクタＫに応じた量子化テーブルで量子化し、先頭ブロックの変換係数の直流成分と、各直流成分のブロック間差分に対してハフマンコードを割り当てて、また、量子化された交流成分に対してハフマンコードを割り当ててて、符号化データを生成する。
【００３２】
スケールファクタ決定部206 は、さらに、パノラマ圧縮モードが設定されると、パノラマ画像を構成する各要素画像に対して、所定のコマにて決定したスケールファクタを各コマの画像圧縮処理に対して共通に使用する。本実施例では、パノラマ圧縮モードにて最初に撮像された画像データに対して決定したスケールファクタを、続く要素画像の撮像により得られるコマの画像データに対しても使用する。この結果、パノラマ圧縮モードにおける１コマ目では符号量制御を行うこととなるが、以降の撮像画像に対しては、上述のようにして決定したスケールファクタに基づく量子化テーブルの演算結果が使用されるので、固定長化のための符号量制御機能が解除される。
【００３３】
なお、パノラマ画像を構成する複数の要素画像をメモリに一時記憶可能に構成する場合には、各要素画像の総符号量を算出し、それらを平均化した値に基づいてスケールファクタＫを決定するとよい。これについては後述する。
【００３４】
このように、本実施例におけるパノラマ圧縮モードでは、１コマ目の要素画像について決定した一定値のスケールファクタＫにより、各要素画像に対する量子化パラメータが導出され、これに基づいて各画像に対する量子化処理を行って変換係数を正規化する。したがって、各コマ共通に設定されるパラメータによる圧縮処理となって、符号化データを伸張した各要素画像をパノラマ合成して接合した場合においても、圧縮処理による画質劣化の程度が各コマ間で均一化される。このため圧縮符号化による画像劣化について各コマ間で差異が生じることが防止される。
【００３５】
なお、このようにして第１パスにて算出した総符号量からスケールファクタＫを決定する方法によらず、他の方式によってスケールファクタＫを決定するようにしてもよい。たとえば、変換回路200 にて算出される変換係数の直流成分は、一旦圧縮符号化した際の総符号量との相関性が高いため、この直流成分から得られる画像のアクティビティの総和からスケールファクタＫを決定するようにしてもよい。また、画像の細密さを表すアクティビティを検出する手段を別に設けて、そのアクティビティに基づいてスケールファクタＫを決定し、このスケールファクタＫに応じた量子化テーブルを用いて一回のパスで量子化および符号化処理し、各要素画像の符号化データを出力するようにしてもよい。たとえば、自動焦点調節時に得られるコントラスト評価値の最大レベルに応じて画像のアクティビティを算出するようにしてもよい。この場合、撮像レンズ12による撮像範囲全体をフォーカシングエリアとするとよい。
【００３６】
ハフマン符号化回路204 にて符号化された符号データは、出力132 に接続されるカードインタフェース回路44に入力され、インタフェース回路44は、着脱可能に接続される記録媒体16に対し、情報の読み書きを制御する回路である。記録媒体として、半導体メモリをカード状にパッケージしたメモリカードを採用する場合には、EEPROMやフラッシュメモリ等のメモリに対する書込みおよび読み出し命令を記録媒体に送出し、画像データおよびその付属データの記録および読み出しを行う。この場合、インタフェース回路44は、符号化データおよびその付属情報を、たとえばExif(Exchangeable Image File Format)等のファイルフォーマットにてメモリカードに記録する。インタフェース回路44は、パノラマ圧縮モードにて処理された各要素画像の符号化データを記録媒体16に記録する際に、各画像データがパノラマ画像用のデータであることを示すタグ情報を対応する画像ファイル管理領域に記録する。
【００３７】
また、記録媒体として光磁気ディスクを採用する場合にはインタフェース回路44は、ディスクを回転させ、光および磁気ピックアップをシークさせる機構部を含み、ディスクに書き込むデータを所定の信号形式に変調して書込みデータを作成する。情報の読み出しの際にインタフェース回路44は、情報を光学的に読み取って復調し、復調データを再生して圧縮伸張処理部42に出力する。
【００３８】
図１に戻って、制御部22は、各部の動作状態を制御する機能を有し、操作部46への操作に応じて動画モードと静止画記録モードとを設定し、設定モードに応じた制御を行う。詳しくは、制御部22は、電源が投入されて所定の初期化処理を行った後、動画モードを設定し、被写界を連続的に撮像してその撮像映像をモニタ表示させるファインダ機能を実現する。操作部46に配設されたレリーズ釦の押下状態を検出すると制御部22は静止画記録モードを設定する。
【００３９】
通常の静止画記録モードでは、制御部22は、露出制御、自動焦点調節等の撮像制御を行って、１コマ撮影により得られる画像データを信号処理回路18に入力させ、各種信号処理および圧縮符号化処理を行わせる。
【００４０】
また、操作部46にパノラマ圧縮を選択する操作が行われると制御部22はこれを認識してパノラマ圧縮モードを各部に設定する。制御部22は、各要素画像の予定撮影枚数を設定し、その設定枚数の処理が完了するまでモードを維持するか、もしくは操作に応じてパノラマ圧縮モードを終了する。
【００４１】
また、制御部22は、パノラマ圧縮モードにて静止画記録モードに移行すると、画像データをパノラマ圧縮させるための制御信号を信号処理回路18に送出する。
【００４２】
さらに制御部22は、パノラマ画像の各要素画像を撮影する操作を支援する機能を有する。具体的には制御部22は、パノラマ圧縮モードにて、最初のコマを撮影した後に続くコマの撮影時に、一コマの静止画像をモニタ表示させ、続くコマの撮影時における画角合わせを容易にさせる。この場合、撮影済みの画像を、モニタ画面の隅にシフトさせて表示し、次に撮影する被写界のモニタ画像とオーバーラップさせることで、各要素画像の一部が互いに重なり合うようにして連続するコマを撮影することができ、また後に行われるパノラマ合成処理を容易にする。
【００４３】
以上のような構成で、本実施例におけるディジタルカメラの動作を図３および図４を参照して説明すると、カメラ10の動作状態において動画モードが設定されると、カメラ10では、撮像素子より複数フレームの画素信号が出力されて、アナログ回路20およびADC 24にて処理された画像データは信号処理回路18に入力され、信号処理部30にて所定のディジタル信号処理が施された後、順次エンコーダに供給される。こうしてモニタ画面に、連続する各フレームの画像が表示されると、操作者は、構図等を決定する。ここで操作部46に対してパノラマ圧縮を選択する操作が行われると制御部22はこれを認識し、パノラマ圧縮モードが設定される（ステップS300）。
【００４４】
次いでステップS302に進むと、操作部46のレリーズ釦が押下されたか否かが制御部22にて判定され、ここでレリーズ釦の押下が検出されると、ステップS304に進む。ステップS304では、連続して撮像している各フレームの画像データに基づいて各種評価値が算出されて、算出された評価値に基づいて、露出および焦点調節が制御される。これら撮像調整が終了したことがステップS306にて判定されるとステップS308に進んで、調整された撮影条件にて１コマの静止画像が撮像される（ステップS308）。
【００４５】
撮像された画像データが信号処理回路18の信号処理部30に入力されると、画像データのレベルおよび階調が補正されて静止画像として良好なRGB 画像データが作成される。この画像データはさらに輝度および色差形式のＹＣ画像データに変換される。次いでステップS310（図４）に進んで、こうして変換された画像データがメモリ40に一旦格納されると、第１パスにおける圧縮伸張処理部42では、この画像データがパノラマ圧縮モードにおける最初のコマであるか否かが判定されて、最初のコマである場合にはステップS314に進み、２枚目以降のコマである場合には、ステップS318に進む。ステップS314に進むと画像データの総符号量が算出される。
【００４６】
詳しくは、メモリ40に蓄積された画像データがブロック化されて変換回路200 に入力されると、ブロックの画像データが輝度および色差成分ことに離散コサイン変換される。変換された直流成分は量子化回路202 を介してハフマン符号化回路204 に送られ、また交流成分は量子化回路202 にて所定の量子化テーブルによって量子化されてハフマン符号化回路204 に送られる。符号化回路204 では、先頭ブロックの直流成分にハフマン符号を割り当て、続く以降のブロックの直流成分についてはブロック間差分値に対してハフマン符号が割り当てられる。また各ブロックの交流成分はブロック内にてジグザグスキャンされて、その低域成分から高域成分順に読み出した変換係数に対して順次、ハフマン符号が割り当てられ、所定の０ランレングスにて符号化が打ち切られる。符号化回路204 ではこのようにして符号化したデータの１画像分についての総符号量が算出される。
【００４７】
算出された総符号量値がスケールファクタ決定部206 に与えられると、ステップS316に進んで、この画像データに対して固定長化する圧縮率を設定するスケールファクタＫが決定されて、パノラマ圧縮モードが終了するまで記憶保持される。
【００４８】
次いでステップS318に進むと、第２パスに移行して、メモリ40に記憶された画像データに対する実際の圧縮符号化処理が行われる（ステップS318）。つまり、決定したスケールファクタＫと、量子化テーブル210 とが乗算器208 にて乗算され、その演算結果である量子化パラメータが量子化回路202 に供給される。量子化パラメータが決定されると、メモリ40に蓄積された画像データが第１パスと同様にして、離散コサイン変換されて、その交流成分は量子化回路202 にて、先に算出された量子化パラメータにより量子化される。量子化された交流成分と、交流成分とはそれぞれ符号化回路204 にて符号化される。続くステップS320では、このようにして符号化された画像データは、カードインタフェース回路44により記録媒体16に書き込まれる。
【００４９】
記録媒体16への情報記録が完了すると、ステップS322にてパノラマ圧縮モードが解除されたか否かが判定され、また、規定枚数の撮影記録が完了したが否かが判定される。ここでパノラマ圧縮モードを終了しない場合には、ステップS302に戻って、レリーズ釦が押下されたか否かが判定される。ここで、レリーズ釦の押下状態が検出されると、ステップS304〜ステップS321の処理を繰り返して行い、ステップS318に進む。このとき、１コマ目に対して行った撮像制御と同じ制御を以降のコマに対して行って各コマを同一条件で撮影するようにしてもよい。
【００５０】
２コマ目以降のパノラマ圧縮モードにおける圧縮符号化処理では、１コマ目の第１パスにて決定されたスケールファクタＫを用いて演算した量子化パラメータを使用して、第２パスにおける圧縮符号化処理が行われ、処理された画像データが記録媒体16に記録される。以上の処理が繰り返されて、記録媒体16には、パノラマ画像を構成するための各要素画像の各コマが適切に圧縮処理されて記録される。
【００５１】
このようにして、パノラマ圧縮モードでは、後にパノラマ画像を構成する各要素画像に対して圧縮符号化する際に、一部の要素画像から得られるスケールファクタＫを使用して、各要素画像を圧縮符号化する。上記実施例では、最初のコマの総符号量を算出し、これからスケールファクタＫおよび量子化パラメータを算出し、各要素画像に対して共通の圧縮パラメータによる圧縮を施すので、パノラマ合成した際に、各部で圧縮による画像劣化の度合いが均一化され、たとえばその継ぎ目で大きく目立ってしまうことが回避される。
【００５２】
たとえば、図５〜図７に示すように、たとえば行楽地で、パノラマ圧縮モードにおける１コマ目で被写界500 を撮像し、２コマ目、３コマ目でそれぞれ被写界600 および700 を撮像して、これら撮像した画像データの符号化データを記録媒体16から読み出して、図８に示すパノラマ合成画像を作成した場合、被写界500 の固定長圧縮時に決定したスケールファクタＫを使用して、被写界600 および700 を撮像した画像データを圧縮符号化しているから、たとえば、被写界500 における画面左下のボート502 部分の画像品質と、被写界600 における画面右下のボート602 部分の画像品質とが画像間において同程度となって、図８におけるパノラマ合成画像800 にて違和感のない接合画像が得られ、各要素画像間の画質差が感じられなくなる。なおこれら図において、被写体”ボート”は、ほぼ静止状態であったものとする。
【００５３】
このように本実施例では、パノラマ画像を構成するための全要素画像について考慮することなく、スケールファクタＫを決定し、量子化パラメータを決定している。したがって本実施例では接合枚数が少ない場合などでさらに有効である。つまり、最初の１コマに隣接する２コマ目の画像の細密さが１コマ目と比較して同程度の場合では、各要素画像の符号化データ量が大きくは変化しないという点で有効である。また、各要素画像の細密さが異なる場合であっても、スケールファクタを決定するコマよりもきめの細やかな画像についてはより多くの符号量となり、逆に、そのコマよりものっぺりとした画像に対しては、少ない符号量となる。
【００５４】
このことは、以下の場合にも有効に適用することができる。たとえば、大きな画像サイズの画像データがある場合に、それらを小画面対応に分割した小領域ごとに圧縮符号化して、小領域ごとの符号化データをそれぞれ１画像として保存する際に、小画面に対応するある小領域の画像データを固定長符号化し、そのときの量子化パラメータと同じ値のパラメータを用いて他の小画面対応の小領域の画像データを圧縮符号化処理する場合においても、各小画面における画像劣化の程度が、各小画面間にて均一化されて、符号化された各小画面を伸張して単純につなぎ合わせて、元の大きな画像を再生成した場合において、違和感のない画像が得られる。したがって、画像の部分的な特徴量から圧縮時における量子化パラメータを決定することは、とくに画像接合を行うための要素画像を作成する際には有効である。
【００５５】
次に図９を参照して、ディジタルカメラの他の実施例を説明すると、このカメラ50は、パノラマ圧縮モードにて撮像された複数コマの画像データを一時蓄積するメモリ52を有して、これら複数画像に基づいてスケールファクタＫを決定する点で図１に示した実施例とは異なる。なお、同図において、図１に示した同一の参照符号の構成は同じ構成でよいのでその説明を省略する。
【００５６】
詳しくは、本実施例における信号処理回路54は、メモリ52に接続されて、パノラマ圧縮モードにて信号処理部30にて処理された複数コマの要素画像をメモリ52に蓄積させ、圧縮伸張処理部56は、各要素画像のアクティビティを平均化した値に基づいてスケールファクタＫを決定し、これに応じた量子化パラメータによって、メモリ52に蓄積された画像データをそれぞれ圧縮符号化して記録媒体16に出力する。本実施例におけるメモリ52は、パノラマ画像を構成するための各要素画像を複数コマ分、たとえば４コマ分格納する記憶領域を有している。また、このメモリ52の記憶領域は、連続的に撮影した複数コマの画像データを一旦蓄積する記憶回路として使用してもよい。
【００５７】
本実施例における制御部58は、各要素画像を撮像するための撮像制御および調整を行って、被写界をレリーズ釦の操作に応じて撮影し、その画像データをメモリ52に蓄積させる。圧縮伸張回路56は、図２に示した構成とほぼ同様の構成でよく、とくにスケールファクタ決定部206 は、各要素画像に対する総符号量が算出されると、これらを平均化し、その平均値に従ってスケールファクタＫを決定する点で異なる。この平均値を算出する際には、たとえば、１コマ目、２コマ目の画像、もしくは最終画像や、パノラマ合成した際にほぼ中央付近となるコマの画像に対して、重み付けして平均化してもよく、また、操作者により重み付けするコマの画像を選択可能にしてもよい。なお、メモリ52に格納された複数の要素画像のうち、平均的な細密さの画像を選択し、選択された要素画像のアクティビティを算出して、これに基づいてスケールファクタＫを決定するようにしてもよい。
【００５８】
以上のような構成で、本実施例におけるディジタルカメラ50の動作を図10および図11を参照して説明すると、動作状態において動画モードが設定されると、カメラ50では、撮像素子14より複数フレームの画素信号が出力されて、アナログ回路20およびADC 24にて処理された画像データは信号処理部30にて所定のディジタル信号処理が施され、順次エンコーダ32に入力される。操作者は、こうしてモニタ画面に表示される映像を見て構図等を決定する。ここで操作部46にパノラマ圧縮を選択する操作が行われると制御部58はこれを認識し、パノラマ圧縮モードが設定される（ステップS400）。ここでパノラマ画像を構成する枚数ｍが操作部46に入力されるとその値が制御部58にて記憶保持される。制御部58は、この撮影枚数となるまで、パノラマ圧縮モードにおける撮像制御を行う。
【００５９】
次いでステップS402にて枚数レジスタｎに値０がセットされると、ステップS404にて、操作部46のレリーズ釦が押下されたか否かが制御部58にて判定される。ここでレリーズ釦の押下が検出されるとステップS406に進み、ステップS406では、撮像している各フレームの画像データに基づいて各種評価値が算出されて、算出された評価値に基づいて、露出および焦点調節が制御される。これら撮像調整が終了したことがステップS410にて判定されるとステップS412に進んで、調整された撮影条件にて１コマの静止画像が撮像される。
【００６０】
撮像された画像データが信号処理回路54の信号処理部30に入力されると、画像データのレベルおよび階調が補正されてRGB 画像データが作成される。この画像データはさらに輝度および色差形式のＹＣ画像データに変換される。次くステップS414（図11）に進むと、変換された画像データがメモリ52に一旦格納される。第１パスにおける圧縮伸張処理部42では、図１に示した実施例と同様にしてこの画像データの総符号量が算出される。次いで算出された総符号量値がスケールファクタ決定部206 に入力されるとステップS418に進み、この画像データに対して固定長化する圧縮率を設定するスケールファクタＫが決定されて記憶保持される。
【００６１】
次いでステップS420に進むと、このパノラマ圧縮モードにおける撮影枚数ｎが設定枚数ｍと等しくなったか否かが判定されて、等しい場合にはステップS422に進み、等しくない場合にはステップS404に戻って次の撮影処理が行われる。
【００６２】
こうして、設定枚数分の撮影処理が行われて、各要素画像がメモリ52に格納され、各要素画像に対するスケールファクタＫが決定されると、ステップS420からステップS422に進み、記憶保持されている各スケールファクタＫの平均値がスケールファクタ決定部206 にて算出される。算出された平均値はステップS424にて各画像データに対する圧縮処理の際に使用されて、各画像の変換係数に対する量子化パラメータが共通に設定される。こうしてステップS424にて圧縮符号化された画像データはステップS426にて記録媒体16に書き込まれる。ステップS428では、メモリ52に格納された画像データが全コマ分圧縮処理して記録されたか否かが判定されて、全コマ終了していればパノラマ圧縮モードが解除される。
【００６３】
このように上記各実施例では、画像そのものに対してパノラマ合成に適する圧縮符号化処理を行って、処理された符号化データをメモリカード等の記録媒体16に記録するので、パーソナルコンピュータに、その符号データを読み込んで、パノラマ合成アプリケーション等によって画像接合した際に、処理後のパノラマ合成写真の各部分にて、つなぎ目や画像品質の差異が目立つことが防止される。
【００６４】
なお、このようなパノラマ合成機能は、本カメラ10に搭載されてもよく、その場合、信号処理回路18,54 および制御部22,58 は、パノラマ画像作成のための構成として、画像接合部分の領域を各コマの要素画像に設定する領域設定部と、設定された領域内にて画像間の対応点を決定する対応点決定部と、決定された対応点を基準として各画像を接合・合成する合成処理部とを備えるとよい。このような機能構成により処理された１コマの合成画像を再度圧縮符号化して記録媒体16に書込み、また、作成した合成写真を伸張および再生して、モニタ表示する。この場合、モニタ画面をはみ出す部分の画像については、表示画面をスクロール等させたり、画像を縮小表示させたりして、合成画像全体を視認可能にする。
【００６５】
【発明の効果】
このように本発明によれば、パノラマ画像を生成するための複数コマの画像信号をそれぞれ圧縮符号化する際に、複数コマの画像信号のうち、少なくともいずれかのコマの画像信号から、前記複数コマの画像信号を圧縮するための第１のパラメータを決定し、この第１のパラメータに応じて複数コマの画像をそれぞれ圧縮符号化するので、要素画像における画像品質の差が各要素画像間で発生することが防止される。この結果、圧縮符号化された画像情報を用いてパノラマ合成を行う場合でも、違和感のない各要素画像の画像情報を得ることができる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラを示すブロック図である。
【図２】圧縮伸張処理部内部構成を示すブロック図である。
【図３】図１に示した実施例における動作を示すフローチャートである。
【図４】図１に示した実施例における動作を示すフローチャートである。
【図５】被写界の一例を示す図である。
【図６】被写界の一例を示す図である。
【図７】被写界の一例を示す図である。
【図８】パノラマ合成した合成写真の一例を示す図である。
【図９】ディジタルカメラの他の実施例を示すブロック図である。
【図１０】図９に示した実施例における動作を示すフローチャートである。
【図１１】図９に示した実施例における動作を示すフローチャートである。
【符号の説明】
10 ディジタルカメラ
14 撮像素子
16 記録媒体
18 信号処理回路
22 制御部
30 信号処理部
32 エンコーダ
36 メモリインタフェース回路
40 メモリ
42 圧縮伸張処理部
44 カードインタフェース回路

Claims

撮像手段にて撮像される複数コマの画像信号を圧縮処理して出力する圧縮符号化装置において、該装置は、
パノラマ圧縮モードにて撮像されたパノラマ画像を生成するための複数コマの画像信号を第１の量子化パラメータに応じた圧縮処理によりそれぞれ圧縮する圧縮手段と、
前記圧縮された複数コマの画像信号を符号化する符号化手段と、
前記第１の量子化パラメータを前記画像信号に基づいて設定する設定手段と、
前記符号化手段にて符号化された符号データを出力する出力手段とを含み、
前記圧縮手段は、前記画像信号を圧縮のための変換係数に変換する変換手段と、
前記変換係数を量子化する量子化手段とを含み、
前記設定手段は、前記複数コマの画像信号のうち、少なくともいずれかのコマの画像信号から、前記複数コマの画像信号を圧縮するための共通のスケールファクタを決定する決定手段と、
前記スケールファクタと前記変換係数を量子化するためのテーブル値とを乗算し、該乗算の結果を前記第１の量子化パラメータとして前記圧縮手段に出力する乗算手段とを含み、
前記圧縮手段は、前記第１の量子化パラメータに応じて、前記複数コマの画像信号をそれぞれ圧縮することを特徴とする圧縮符号化装置。
請求項１に記載の装置において、
前記符号化手段は、前記量子化手段にて量子化された変換係数を符号化し、
前記設定手段は、前記共通のスケールファクタと前記テーブル値とに基づいて、前記変換係数を量子化する前記第１の量子化パラメータを生成し、
前記量子化手段は、前記第１の量子化パラメータに従って前記変換係数を量子化することを特徴とする圧縮符号化装置。
請求項２に記載の装置において、前記変換手段は、前記画像信号を直交変換し、
前記量子化手段は、前記直交変換された変換係数の交流成分を量子化し、
前記符号化手段は、前記直交変換された変換係数の直流成分と、前記量子化された交流成分とをそれぞれ符号化して出力することを特徴とする圧縮符号化装置。
請求項１に記載の装置において、前記決定手段は、静止画記録モードにおいて通常の撮影圧縮モードにて撮像された画像信号を通常に圧縮するときには、処理対象コマの画像信号ごとに圧縮する第２の量子化パラメータを決定し、前記圧縮手段は該第２の量子化パラメータに応じた圧縮処理により前記画像信号を圧縮し、パノラマ圧縮モードにて撮像されたパノラマ画像を構成するための要素画像を圧縮するときには、前記圧縮手段は前記第１の量子化パラメータで各要素画像に対する圧縮処理を行うことを特徴とする圧縮符号化装置。
請求項１に記載の装置において、該装置は、前記複数のコマの画像を記憶する記憶手段を含み、
前記設定手段は、前記記憶手段に記憶される前記複数コマの画像信号からそれぞれ複数のアクティビティを得て、該複数のアクティビティから前記スケールファクタを決定することを特徴とする圧縮符号化装置。
請求項５に記載の装置において、前記設定手段は、前記複数のアクティビティを平均化した値に基づいて前記スケールファクタを生成することを特徴とする圧縮符号化装置。
請求項１に記載の装置において、前記設定手段は、前記複数のコマの画像から平均的な細密さの要素画像を選択し、選択されたコマの要素画像に基づいて前記スケールファクタを決定することを特徴とする圧縮符号化装置。
請求項１に記載の装置において、該装置は、
前記撮像手段と、
該撮像手段の出力を処理して前記画像信号を生成する信号処理手段とを含むことを特徴とする圧縮符号化装置。
撮像手段にて撮像される複数コマの画像信号を圧縮処理して出力する圧縮符号化方法において、該方法は、
パノラマ圧縮モードにて撮像されたパノラマ画像を生成するための複数コマの画像信号を第１の量子化パラメータに応じた圧縮処理によりそれぞれ圧縮する圧縮工程と、
圧縮された複数コマの画像信号を符号化する符号化工程と、
前記第１の量子化パラメータを前記画像信号に基づいて設定する設定工程と、
前記符号化工程にて符号化された符号データを出力する出力工程とを含み、
前記圧縮工程は、前記画像信号を圧縮のための変換係数に変換する変換工程と、前記変換係数を量子化する量子化工程とを含み、
前記設定工程は、前記複数コマの画像信号のうち、少なくともいずれかのコマの画像信号から、前記複数コマの画像信号を圧縮するための共通のスケールファクタを決定する決定工程と、
前記スケールファクタと前記変換係数を量子化するためのテーブル値とを乗算し、該乗算の結果を前記第１の量子化パラメータとする乗算工程とを含み、
前記圧縮工程は、前記第１の量子化パラメータに応じて、前記複数コマの画像信号をそれぞれ圧縮符号化することを特徴とする圧縮符号化方法。
請求項９に記載の方法において、
前記符号化工程は、前記量子化工程にて量子化された変換係数を符号化し、
前記設定工程は、前記共通のスケールファクタと、前記テーブル値とに基づいて、前記変換係数を量子化する前記第１の量子化パラメータを生成し、
前記量子化工程は、前記第１の量子化パラメータに従って前記変換係数を量子化することを特徴とする圧縮符号化方法。
請求項１０に記載の方法において、前記変換工程は、前記画像信号を直交変換し、
前記量子化工程は、前記直交変換された変換係数の交流成分を量子化し、
前記符号化工程は、前記直交変換された変換係数の直流成分と、前記量子化された交流成分とをそれぞれ符号化することを特徴とする圧縮符号化方法。
請求項９に記載の方法において、前記決定工程は、静止画記録モードにおいて通常の撮影圧縮モードにて撮像された画像信号を通常に圧縮するときには、処理対象コマの画像信号ごとに圧縮する第２の量子化パラメータを決定し、前記圧縮工程は、該第２の量子化パラメータに応じた圧縮処理により前記画像信号を圧縮し、パノラマ圧縮モードにて撮像されたパノラマ画像を構成するための要素画像を圧縮するときには、前記圧縮工程は、前記第１の量子化パラメータで各要素画像に対する圧縮処理を行うことを特徴とする圧縮符号化方法。
請求項９に記載の方法において、該方法は、前記複数のコマの画像を記憶する記憶工程を含み、
前記設定工程は、前記記憶工程にて記憶される前記複数コマの画像信号からそれぞれ複数のアクティビティを得て、該複数のアクティビティから前記スケールファクタを決定することを特徴とする圧縮符号化方法。
請求項１３に記載の方法において、前記設定工程は、前記複数のアクティビティを平均化した値に基づいて前記スケールファクタを生成することを特徴とする圧縮符号化方法。
請求項９に記載の方法において、前記設定工程は、前記複数のコマの画像から平均的な細密さの要素画像を選択し、選択されたコマの要素画像に基づいて前記スケールファクタを決定することを特徴とする圧縮符号化方法。