JP4359966B2 - 画像信号符号化装置、カメラ装置および記録方法 - Google Patents
画像信号符号化装置、カメラ装置および記録方法 Download PDFInfo
- Publication number
- JP4359966B2 JP4359966B2 JP22026299A JP22026299A JP4359966B2 JP 4359966 B2 JP4359966 B2 JP 4359966B2 JP 22026299 A JP22026299 A JP 22026299A JP 22026299 A JP22026299 A JP 22026299A JP 4359966 B2 JP4359966 B2 JP 4359966B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoding
- audio
- data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、比較的短い時間、撮影された動画を記録媒体に記録するディジタルカメラ装置に適用できる画像信号符号化装置、カメラ装置および記録方法に関する。
【０００２】
【従来の技術】
ディジタル画像情報をフロッピーディスク、半導体メモリ等の記録媒体に記録するディジタルカメラが普及している。ディジタルカメラは、撮影された画像をディジタル画像信号に変換し、ディジタル画像信号を圧縮し、圧縮した画像情報を記録媒体に記録する構成とされている。ディジタルカメラは、静止画の記録以外に動画の記録にまで拡張することが可能である。
【０００３】
動画を圧縮する符号化の一つであるＭＰＥＧ(Moving Picture Experts Group)は、ＩＳＯで規格化された汎用的フォーマットであり、ディジタルカメラで撮影された画像データをパーソナルコンピュータ（パソコンと略す）で利用するのに適している。ＭＰＥＧは、カラー動画を圧縮する符号化で、入力画像と動き補償で得られた予測画像とのフレーム間差分をＤＣＴ（Discrete Cosine Transform)符号化で圧縮する符号化方式である。ＭＰＥＧの場合では、ピクチャタイプとして、Ｉピクチャ(Intra-coded picture：イントラ符号化画像) 、Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）、Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）の３種類が存在する。
【０００４】
【発明が解決しようとする課題】
ＭＰＥＧフォーマットにおいて、フレーム間動き補償予測を用いるＰピクチャまたはＢピクチャの処理は、エンコーダ／デコーダの回路規模、ソフトウェア処理が大幅に増大し、ディジタルカメラのような小型、軽量、ローコストの記録再生装置には、不向きである。この問題を避けるには、ＩピクチャのみからなるＭＰＥＧストリームを生成すれば良い。しかしながら、ＭＰＥＧ１(ISO-1172-2)での最低のフレームレートは、２３．９７ＭHzと規定されている。従って、ＰピクチャまたはＢピクチャを使用しないで、Ｉピクチャのみからなるストリームを構成することは、フレームレートの制約から困難である。
【０００５】
従って、この発明の目的は、ＭＰＥＧフォーマットに準拠し、回路規模、処理の増大を防止できる画像信号符号化装置およびディジタルカメラ装置を提供することにある。
【０００６】
また、この発明の他の目的は、ＭＰＥＧフォーマットによって動画信号を符号化し、ＪＰＥＧフォーマットによって静止画信号を符号化する時に、エンコーダ／デコーダの構成を簡略化できる画像信号符号化装置、カメラ装置および記録方法を提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を達成するために、請求項１の発明は、Ｉピクチャと、全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャとからなり、Ｉピクチャの後に１枚以上のＰピクチャまたはＢピクチャが続くフレーム構造の符号化出力を形成する第１の符号化と、他の第２の符号化との一方を選択する選択手段と、
入力画像信号をコサイン変換するＤＣＴ部と、
ＤＣＴ部からの係数データを量子化する量子化部と、
選択手段からの指示で選択した符号化用テーブルを使用して量子化部の出力を可変長符号化する可変長符号化部と、
符号化出力に対してオーディオ信号符号化出力を多重化する多重化手段と
からなり、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされる画像信号符号化装置である。
【０００８】
請求項６の発明は、記録媒体に撮影画像をディジタル信号として記録するカメラ装置において、
撮影した静止画を出力する撮像手段と、
撮像手段からの信号を処理する信号処理手段と、
信号処理手段からのディジタル画像信号を符号化し、ビデオデータを生成するビデオ符号化手段と、
撮像信号に付随するオーディオ信号が入力されるオーディオ入力手段と、
入力オーディオ信号をディジタルオーディオ信号に変換し、ディジタルオーディオ信号を符号化し、オーディオデータを生成するオーディオ符号化手段と、
ビデオデータとオーディオデータとを多重化した多重化データを記憶するメモリ手段と、
メモリ手段への多重化データの取り込み動作を制御する制御手段と、
メモリ手段に格納された多重化データを記憶媒体に対して記憶する記憶手段とからなり、
ビデオ符号化手段は、
Ｉピクチャと、全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャとからなり、Ｉピクチャの後に１枚以上のＰピクチャまたはＢピクチャが続くフレーム構造の符号化出力を形成する第１の符号化と、他の第２の符号化との一方を選択する選択手段と、
入力画像信号をコサイン変換するＤＣＴ部と、
ＤＣＴ部からの係数データを量子化する量子化部と、
選択手段からの指示で選択した符号化用テーブルを使用して量子化部の出力を可変長符号化する可変長符号化部と、
符号化出力に対してオーディオ信号符号化出力を多重化する多重化手段と
からなり、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされたことを特徴とするカメラ装置である。
【０００９】
請求項１５の発明は、撮像手段から供給されるビデオ信号を第１の符号化フォーマットで符号化し、オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化し、符号化されたビデオデータおよびオーディオデータを多重化した多重化データを生成し、多重化データをメモリ手段に記憶するカメラ装置において、
撮像手段から供給される静止画をフレーム内符号化によって符号化して第１の符号化フォーマットのＩピクチャを生成するＩピクチャ生成手段と、
メモリ手段への多重化データの取り込みを制御する制御手段を備え、
制御手段は、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化された第１の符号化フォーマットのＰピクチャまたはＢピクチャを生成し、 オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化しオーディオデータを生成し、
Ｉピクチャ、ＰまたはＢピクチャ、およびオーディオデータを多重化して多重化データを生成し、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされるカメラ装置である。
【００１０】
請求項１６の発明は、撮像手段から供給されるビデオ信号を第１の符号化フォーマットで符号化し、オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化し、符号化されたビデオデータおよびオーディオデータを多重化した多重化データを生成し、多重化データをメモリ手段に記憶するディジタルカメラ装置の記録方法において、
撮像手段から供給される静止画をフレーム内符号化によって符号化して第１の符号化フォーマットのＩピクチャを生成するＩピクチャ生成ステップと、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化された第１の符号化フォーマットのＰピクチャまたはＢピクチャを生成するＰピクチャまたはＢピクチャ生成ステップと、
オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化しオーディオデータを生成するオーディオデータ生成ステップと、
Ｉピクチャ、ＰまたはＢピクチャ、およびオーディオデータを多重化して多重化データを生成する多重化データ生成ステップと、
多重化データをメモリ手段に記憶する記憶ステップとを備え、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされるカメラ装置の記録方法である。
【００１１】
この発明では、動き補償フレーム間予測の処理を行わないので、小規模のハードウエアまたは少ない処理によって、ＤＣＴにより画像データを圧縮する点でＭＰＥＧと同様のＪＰＥＧの符号化を行うことができる。
【００１２】
この発明は、小規模のハードウエアまたは少ない処理によって、ディジタルスチルカメラの機能として静止画記録機能に加えて動画記録機能を持たせることができる。また、発生する符号量が少ないので、小容量の外部記憶媒体に対して撮影した動画を記録することができる。
【００１３】
【発明の実施の形態】
以下、この発明によるディジタルカメラの一実施形態について説明する。この一実施形態は、静止画の撮影、記録と、オーディオ付き静止画の撮影、記録と、オーディオ付き動画の撮影、記録とが可能なディジタルカメラである。全体の構成を示す図１に示すように、レンズ部１とＣＣＤ(Charge Coupled Device) ２とによって撮像部が構成される。レンズ部１には、ＣＰＵ１２からの制御信号が供給され、自動絞り制御動作、自動焦点制御動作がなされる。ＣＣＤ２は、全画素を読出す動作モード（撮影モード）と、ライン数を１／３に減少させた信号を出力するライン間引きの動作モード（ＥtoＥモード）とがＣＰＵ１２からの制御信号によって切り替え可能とされている。ＣＣＤ２の画素数は、ＸＧＡ（eXtended Graphics Array,1024ｘ768 画素）とされている。
【００１４】
このようなＣＣＤ２についてより具体的に説明する。静止画撮影モードでは、各フォトセンサからの信号電荷を混合することなく垂直ＣＣＤに読出し、全画素の信号電荷を順次、水平ＣＣＤに転送するようになされる。また、E to Eモード並びに後述する動画を撮影する時では、各フォトセンサからの信号電荷の読出しに寄与する転送ゲートに対して読出し信号を供給するための配線を分割することによって、ライン数を例えば１／３に間引くようになされる。
【００１５】
なお、この発明は、他の構成によってライン間引きが可能とされた固体撮像素子（ＣＣＤに限られない）、水平方向の画素数の間引きが可能とされた固体撮像素子、または垂直方向のライン数および水平方向の画素数の間引きが可能とされた固体撮像素子を使用しても良い。
【００１６】
ＥtoＥモードは、撮影画像のデータをメモリ（ＤＲＡＭ９）に取り込むことなく、表示部（ＬＣＤ８）に表示するモードである。ＥtoＥモードにおいて、撮影時に画角を決めたり、焦点、露出、ホワイトバランスが適切に調整される。すなわち、撮影モードでシャッターを押す前の被写体を確認している状態がＥtoＥモードである。ＥtoＥモードでは、ＣＣＤ２から１０２４×２５６画素の撮像信号が得られる。一例として、撮影モードでは、毎秒１０フレームの撮像信号が出力され、ＥtoＥモードでは、毎秒３０フレームの撮像信号が出力される。
【００１７】
ＣＣＤ２の出力信号がサンプルホールドおよびＡ／Ｄ変換部３に供給され、サンプルホールドおよびＡ／Ｄ変換部３から１サンプル１０ビットのディジタル撮像信号が発生する。サンプルホールドおよびＡ／Ｄ変換部３は、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。
【００１８】
ディジタル撮像信号がカメラ信号処理部４に供給される。カメラ信号処理部４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路等が含まれる。カメラ信号処理部４からは、ＲＧＢ信号から変換された輝度信号および色差信号からなるディジタルコンポーネント信号が発生する。
【００１９】
カメラ信号処理部４からのディジタル撮像信号の各コンポーネントがメモリコントローラ５に供給される。メモリコントローラ５に対しては、表示用バッファメモリ６と、ＣＰＵ１２のバス１４とが接続される。バッファメモリ６は、コンポーネント信号を処理することによって、ＲＧＢ信号を生成し、ＲＧＢ信号をＤ／Ａ変換器７に出力する。Ｄ／Ａ変換器７からのアナログ信号がＬＣＤ８に供給される。また、バッファメモリ６は、ＬＣＤ８の表示タイミングに合わせたタイミングで、ＲＧＢ信号を出力する。
【００２０】
バス１４に対して、ＤＲＡＭ(Dynamic Random Access Memory)９、ＣＰＵ１２、エンコーダ／デコーダ１５、インターフェース１０が接続されている。ＤＲＡＭ９は、メモリコントローラ５またはＣＰＵ１２から供給されるアドレス信号、制御信号によって制御される。また、メモリコントローラ５は、画素数変換機能を有し、撮影者の設定した画像サイズまたは動作モードに対応して画素数を変換した画像信号を発生する。
【００２１】
一例として、図２に示すように、ＸＧＡと、ＶＧＡ（Video Graphics Array,640ｘ480 画素）と、ＣＩＦ（Common Intermediate Format,320ｘ240 画素 )と、ＱＣＩＦ（Quater CIF,160ｘ120 画素）との中で、何れかの画像サイズに対応した画像を記録することが可能とされる。但し、ＭＰＥＧのマクロブロックが１６×１６であるので、実際には、上下の一部を切り捨てて（１６０×１１２）のサイズの画像としてＱＣＩＦの画像を取り扱う。ＸＧＡは、ＣＣＤ２の撮像信号をそのまま記録する場合の画素数である。ＸＧＡおよびＶＧＡは、静止画記録用の画像フォーマットとして使用され、ＣＩＦは、オーディオ付き静止画記録用の画像フォーマットとして使用され、ＣＩＦおよびＱＣＩＦは、オーディオ付き動画記録用の画像フォーマットとして使用される。
【００２２】
エンコーダ／デコーダ１５は、画像データを圧縮（エンコード）または伸張（デコード）する。例えば静止画の処理する時には、ＪＰＥＧ(Joint Photographic Experts Group)が使用され、動画を処理する時には、ＭＰＥＧ(Moving Picture Experts Group)が使用される。エンコーダ／デコーダ１５は、両方の符号化方式に対応した機能を有する。より具体的には、動画を圧縮するフォーマットとしてＭＰＥＧ１が使用される。
【００２３】
ＭＰＥＧ１のフォーマットでは、ピクチャタイプとして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類が存在する。Ｉピクチャは、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００２４】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向フレーム間予測マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００２５】
ＭＰＥＧ１の場合では、８×８画素のブロックでＤＣＴを行い、４個の輝度（Ｙ）ブロックと２個の色差（Ｃｂ、Ｃｒ）ブロックとで上述したマクロブロックが構成される。また、任意の数のマクロブロックが集まってスライス層が構成され、複数のスライス層によってピクチャ層が構成される。マクロブロック層の中には、マクロブロックのタイプを示すコード、マクロブロックのアドレス増加分を示すコード、動きベクトルの水平成分およびその垂直成分、そのマクロブロック内の６個のブロックが係数を持つかどうかを示すコード等が含まれる。そのスライスの最初のマクロブロックと最後のマクロブロックとはスキップできない規則とされている。スライス層には、スライス層の始まりのコード等が含まれる。
【００２６】
この発明の一実施形態では、オーディオ付き静止画を記録する時、並びにオーディオ付き動画を記録する時に、ＭＰＥＧフォーマットを使用して、ビデオデータを符号化する。後述するように、エンコーダ／デコーダ１５において、動き補償フレーム間予測の処理を省略したＭＰＥＧ符号化を行い、発生する符号量を削減する。
【００２７】
インターフェース１０は、外部記憶媒体１１とＣＰＵ１２との間のインターフェースである。外部記憶媒体としては、フロッピーディスク等のディスク状記録媒体、メモリカードを使用できる。さらに、ＣＰＵ１２には、操作入力部１３からの操作信号が供給される。操作入力部１３は、シャッターボタンその他の撮影者が操作する各種のスイッチを含む。操作入力部１３には、ディジタルカメラの撮影（記録）モードを設定するスイッチ、外部記憶媒体に記憶する画像サイズを指定するためのスイッチが含まれている。操作入力部１３は、ボタン、スイッチ等の操作を検出し、検出した信号を操作信号としてＣＰＵ１２に送出する。なお、シャッター速度および絞りは、被写体や撮影状況に応じて自動的に設定される。自動モード以外の複数の撮影モードを持つこともできる。
【００２８】
上述したディジタルカメラで撮影する場合には、ＣＣＤ２がＥtoＥモードとされ、画角を決め、焦点および露出を適切なものに設定する動作がなされる。ＥtoＥモードでは、レンズ部１を通してＣＣＤ２に結像した映像信号がＥtoＥモード動作により、Ｖ（垂直）方向が１／３に間引かれた撮像信号(1024 ｘ 256画素）が出力される。カメラ信号処理部４からのディジタルコンポーネント信号がメモリコントローラ５に供給される。メモリコントローラ５を通って撮像信号が表示用バッファメモリ６に書込まれる。そして、ＬＣＤ８の表示タイミングに合わせたタイミングでバッファメモリ６から読出され、Ｄ／Ａ変換器７によりアナログ信号となり表示される。この時、バッファメモリ６に書込まれた1024ｘ256 画素の領域の内で960 ｘ240 画素の領域を切り出し、倍速でバッファメモリ６から読出し表示している。
【００２９】
次に、シャッターを押す撮影がなされる。予め、撮影モードが静止画撮影モード（ＸＧＡまたはＶＧＡの撮影モード）に設定されている時には、シャッターが押されることによって、撮影画像を取り込む静止画撮影モードとなる。静止画の撮影モードでは、ＣＰＵ１２によって、ＣＣＤ２が撮像モードで動作するように制御される。それによって、高解像度（ＸＧＡ）の画像を１０フレーム／秒でＣＣＤ２が出力する。メモリコントローラ５の制御によって、ＤＭＡ（Direct Memory Access）動作により、撮影画像（原画像データ（ＸＧＡまたはＶＧＡ））が直接ＤＲＡＭ９に格納される。
【００３０】
原画像データがＤＲＡＭ９へ格納されると、ＣＰＵ１２の制御によって、原画像データがエンコーダ／デコーダ１５によって圧縮される。圧縮画像データ（ＪＰＥＧデータ）がＤＲＡＭ９に格納される。この場合、原画像データの格納されている領域とは、別の領域にＪＰＥＧデータが格納される。その後、ＣＰＵ１２の制御によって、ＪＰＥＧデータをＤＲＡＭ９から読出して、ＪＰＥＧデータをインターフェース１０を介して外部記憶媒体１１例えばフロッピーディスクの所定の領域に書込む。
【００３１】
さらに、この発明の一実施形態は、撮影される静止画または動画に関連するオーディオ信号を記録／再生できる機能を有する。シャッターボタンを押すことをトリガーとして、ある時間の間、オーディオデータが取り込まれる。図１中で、１６がマイクロホンを示し、マイクロホン１６からのオーディオ信号がアンプ１７を介してＡ／Ｄ変換器１８に供給され、３２ｋHzのサンプリング周波数でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１８からのディジタルオーディオ信号がメモリコントローラ５に供給され、メモリコントローラ５内のバッファメモリに一時的に蓄えられる。
【００３２】
そして、ＣＰＵ１２が割り込み処理によってこのバッファメモリを読みに行き、ソフトウェア処理によってＭＰＥＧオーディオレイヤ２（ＩＳ０１１７２−３）に準拠した圧縮処理を行う。ＭＰＥＧオーディオレイヤ２の符号化は、サブバンド符号化と、スケーリングと、ビットアロケーションとを使用するものである。この場合、レイヤ１、レイヤ３等他のＭＰＥＧオーディオの符号化を行っても良い。ソフトウェアによる圧縮処理で生成されたＭＰＥＧオーディオストリームがＤＲＡＭ９に書込まれる。この書込み時に、ＭＰＥＧビデオストリームとの多重化処理がＣＰＵ１２の制御によってなされ、多重化処理で得られたシステムストリームがＤＲＡＭ９に書込まれる。また、ＤＲＡＭ９から読出されたシステムストリームがインターフェース１０例えばフロッピーディスクコントローラを介して外部記憶媒体１１例えばフロッピーディスクに対して汎用性のあるフォーマットで記録される。
【００３３】
オーディオ付き動画撮影モードが選択されている時には、シャッターが押されることによって、動画を取り込む動画撮影モードとなる。動画撮影モードでは、上述した静止画撮影モードと異なり、ＣＣＤ２がＥtoＥモードで動作し、ラインが１／３に間引かれた撮像信号が出力される。これは、動画の場合では、動きに追従する必要があり、また、画像データの量が多くなることを防止するためである。また、動画撮影モードでは、シャッターを押すと、一定時間（例えば５秒）単位で撮影がなされる。但し、シャッターの操作によって１回の動画撮影時間を延長することもできる。
【００３４】
動画撮影モードでは、予めサイズがＣＩＦおよびＱＣＩＦの一方に設定され、メモリコントローラ５が設定されたサイズに応じて画素数変換を行い、画素数変換された原画像データがエンコーダ／デコーダ１５によって圧縮され、圧縮画像データ（ＭＰＥＧデータ）がＤＲＡＭ９に格納される。画像の圧縮処理と取り込み処理が終了すると、ＣＰＵ１２の制御によって、静止画撮影モードと同様に、ＭＰＥＧデータが外部記憶媒体１１の所定の領域に書込まれる。例えばＣＩＦのサイズでは、１枚のフロッピーディスクに１５秒の動画を記録でき、ＱＣＩＦのサイズでは、１枚のフロッピーディスクに６０秒の動画を記録できる。
【００３５】
外部記憶媒体１１に記録されている静止画（ＸＧＡまたはＶＧＡ）を再生する時には、インターフェース１０を経由してＪＰＥＧデータを外部記憶媒体１１から読出し、エンコーダ／デコーダ１５にて伸張する。伸張した静止画データをＤＲＡＭ９に書込む。メモリコントローラ５は、この静止画データをＤＲＡＭ９からＤＭＡの方法で読出し、バッファメモリ２６に転送し、ＬＣＤ８によって表示する。この場合は、メモリコントローラ５によって画素数が変換され、ＥtoＥモードと同様の画素数で再生画像が表示される。
【００３６】
外部記憶媒体１１に記録されている動画を再生する時には、フロッピーディスクから読出したＭＰＥＧデータ（動画ファイル）をＤＲＡＭ９に書込む。ＤＲＡＭ９から読出したデータをエンコーダ／デコーダ１５にてＭＰＥＧ伸張する。伸張した画像データに対して、記録時のサイズに応じた画素数変換をメモリコントローラ５が行う。画素数変換されたデータがＬＣＤ８に表示される。動画（ＣＩＦまたはＱＣＩＦ）を再生し、表示する場合では、ＬＣＤ８において、縮小されたサイズの画像を表示する。
【００３７】
静止画または動画と、これに関連するオーディオ信号を再生する時には、外部記憶媒体１１から再生されたシステムストリームをＤＲＡＭ９に格納する。ＤＲＡＭ９から読出されたシステムストリームからＣＰＵ１２がオーディオストリームを分離し、ＭＰＥＧオーディオの復号を行い、メモリコントローラ５内のバッファメモリにオーディオデータを転送する。そして、Ｄ／Ａ変換器１９によってアナログオーディオ信号へ変換し、アナログオーディオ信号がアンプ２０を介してスピーカ２１にて再生される。
【００３８】
この発明の一実施形態は、静止画撮影時には、ＤＲＡＭ９に原画像データを格納し、次に、エンコーダ／デコーダ１５によってＪＰＥＧで圧縮した画像データを生成し、ＪＰＥＧデータをＤＲＡＭ９の別の領域に格納する。その後、外部記憶媒体１１に対してＪＰＥＧデータを記憶する。また、動画撮影時には、ＤＲＡＭ９の作業用領域に撮影した１枚の画像を格納し、エンコーダ／デコーダ１５によってＭＰＥＧ１で圧縮し、得られたＭＰＥＧデータをＤＲＡＭ９のさらに別の領域に格納する。この処理を撮影された動画の１枚ずつに対して行う。ＭＰＥＧデータを外部記憶媒体１１に対して記憶する。また、動画撮影時には、オーディオの録音も同時に行うオーディオ付き動画撮影動作がなされる。
【００３９】
さらに、静止画のみの撮影動作以外に、オーディオ付き静止画撮影動作が可能とされている。すなわち、静止画を撮影する時でも、シャッターボタンを押してから所定時間、またはシャッターボタンを押し続けている期間のオーディオ信号を録音し、ＭＰＥＧオーディオストリームを生成し、ＭＰＥＧオーディオストリームと静止画から生成されたＭＰＥＧビデオストリームとを多重化したシステムストリームをＤＲＡＭ９に書込み、さらに、外部記憶媒体１１に記録できるようになされている。
【００４０】
このオーディオ付き静止画撮影動作について説明すると、先ず、ＣＣＤ２が撮影モードで動作して得られる高解像度の１枚の原画像データ（ＸＧＡまたはＶＧＡ）がＤＲＡＭ９に格納される。ＣＰＵ１２は、ＤＲＡＭ９から原画像データを読出して画素数変換を行い、ＣＩＦの縮小画像を生成する。この縮小画像に対してエンコーダ／デコーダ１５によってＭＰＥＧ圧縮を行う。元の１枚の縮小画像からＩピクチャを生成し、このＩピクチャをＤＲＡＭ９に書込む。
【００４１】
また、Ｉピクチャの後のピクチャは、固定のデータ、すなわち、１画面の全マクロブロックにわたり、動きベクトルが０であり、前の画面からの予測符号化画像（Ｐピクチャ）または前後の画面からの予測符号化画像（Ｂピクチャ）をストリーム中に挿入する。ＰピクチャまたはＢピクチャを挿入する時間的長さは、オーディオ信号の長さと略等しいものとされる。このようなビデオストリームを復号して表示する時には、単純に前のフレームの画像をコピーして表示することになり、見かけ上、ＰピクチャまたはＢピクチャを挿入した時間、静止画を表示することができる。
【００４２】
一方、シャッターボタンを押したことをトリガーとして所定時間、例えばシャッターボタンを押し続けている期間のオーディオ信号がマイクロホン１６、アンプ１７、Ａ／Ｄ変換器１８を介してメモリコントローラ５のバッファメモリに供給される。ＣＰＵ１２がこのバッファメモリのオーディオデータをＭＰＥＧオーディオで符号化することによってＭＰＥＧオーディオストリームを生成する。
【００４３】
ＣＰＵ１２が上述したＭＰＥＧビデオストリームとＭＰＥＧオーディオストリームとを多重化処理して、ＭＰＥＧシステムストリームを生成し、このＭＰＥＧシステムストリームをＤＲＡＭ９の記録データ用の領域に格納する。ＤＲＡＭ９の記録データ用の領域に格納されたシステムストリームがインターフェース１０を介して外部記憶媒体１１（例えばフロッピーディスク）に記録される。
【００４４】
外部記憶媒体１１へのＭＰＥＧシステムストリーム（ビデオストリームとオーディオストリームの多重化ストリーム）の記録が終了すると、ＤＲＡＭ９に残っている原画像データ（ＸＧＡまたはＶＧＡ）を読出し、エンコーダ／デコーダ１５によってＪＰＥＧ圧縮を行う。ＪＰＥＧに準拠した静止画ストリームをＤＲＡＭ９の記録データ用の領域に上書きする。そして、ＤＲＡＭ９の記録データ用の領域に格納された静止画ストリームがインターフェース１０を介して外部記憶媒体１１（例えばフロッピーディスク）に記録される。このように、オーディオ付き静止画撮影動作では、静止画のみからなるＪＰＥＧファイルと、全く同一の時に撮影されたＩピクチャとオーディオ情報とを含むＭＰＥＧファイルとが同時に生成されることになる。
【００４５】
上述したオーディオ付き静止画撮影動作において使用されるＭＰＥＧ符号化について、図３を参照してより詳細に説明する。ビデオ信号処理装置に入力された１枚の静止画に相当する画像信号（ＸＧＡまたはＶＧＡの静止画信号を画素数変換して形成されたＣＩＦまたはＱＣＩＦ）が入力端子２３からＩピクチャエンコーダ２４に供給され、ＭＰＥＧビデオのＩピクチャに変換される。また、マイクロホン１６（またはライン入力）から入力端子２５に入力されたオーディオ信号がＭＰＥＧオーディオエンコーダ２６においてＭＰＥＧオーディオフォーマットに準拠した信号に変換される。
【００４６】
ＰまたはＢピクチャ生成器２７は、実際には動き検出等の動き補償フレーム間予測に必要な処理を行わず、画像サイズに応じた固定のデータを発生する。従って、ＰまたはＢピクチャ生成器２７に対してビデオ信号を供給する必要がない。固定データの内容は、上述したように、全画面にわたり、動きベクトルが０、前の画面からの予測符号である。この内容は、単に前のフレームの画像を表示することを意味する。より具体的には、ＣＩＦまたはＱＣＩＦのサイズのピクチャを１個のスライスとし、スライスの最初のマクロブロックと最後のマクロブロックをスキップし、最初および最後のマクロブロックは、動きベクトル０で符号化している内容とする。複数のスライスにピクチャを分割しても良いが、その場合には、ヘッダ情報が増加する。
【００４７】
また、ＰまたはＢピクチャ生成器２７が発生するピクチャのデータ量は、スキップするマクロブロックの数を符号化するので、画像サイズによって変動する。具体的には、ＣＩＦの画像サイズで、ＭＰＥＧ１のＰピクチャの場合で、２８バイトで済み、ＱＣＩＦの画像サイズで、ＭＰＥＧ１のＰピクチャの場合で、１９バイトで済む。従って、同じ画像を繰り返しストリーム上に挿入し、見かけ上静止画像として復号画像を表示する場合に、このようなＰまたはＢピクチャを使用することで、データ量を大幅に削減することができる。
【００４８】
２８は、ＭＰＥＧシステムエンコーダを示し、Ｉピクチャエンコーダ２４は、エンコーダ／デコーダ１５に含まれ、ＰまたはＢピクチャ生成器２７、ＭＰＥＧオーディオエンコーダ２６およびＭＰＥＧシステムエンコーダ２８の処理は、ＣＰＵ１２のソフトウェア処理によってなされる。
【００４９】
図３の構成は、オーディオ付き静止画撮影動作に限らず、オーディオ付き動画撮影動作に対しても同様に適用される。この動作では、Ｉピクチャ符号化器２４に対して、撮影された動画の１フレームに相当するビデオ信号（ＣＣＤ２の撮像信号を画素数変換して形成されたＣＩＦまたはＱＣＩＦ）が供給される。また、ＰまたはＢピクチャ生成器２７は、上述したように、動き補償フレーム間予測の処理を行わず、固定データを発生する。
【００５０】
図４は、オーディオ付き動画撮影時に、Ｉピクチャ符号化器２４からのＩピクチャに対して、ＰまたはＢピクチャ生成器２７からのＰまたはＢピクチャを挿入したフレーム構造の一例を示す。各Ｉピクチャの後に、２枚のＰピクチャが挿入される。この２枚のＰピクチャは、ＰまたはＢピクチャ生成器２７からのＰピクチャであり、そのデータ量は、Ｉピクチャと比較して極めて少ないものである。図３の例では、１／３の割合でフレーム駒落としがされ、フレームレートが１／３となる。従って、ＭＰＥＧ規格の最低のフレームレートを満足するフレームレート例えば２５Hzのフレームレートとすることができる。但し、各Ｉピクチャの間にＰまたはＢピクチャを挿入する枚数は、目的とするフレームレートによって定まり、最低１枚以上のＰまたはＢピクチャを挿入することによって、フレームレートを下げることができる。
【００５１】
上述したＭＰＥＧシステムエンコーダ２８が発生するシステムストリームの構成例（パック構造）について図５および図６を参照して説明する。図５は、オーディオ付き動画撮影時のパック構造を示し、図６は、オーディオ付き静止画撮影時のパック構造を示す。動画撮影時ののパック構造は、ＭＰＥＧ１のシステムストリームに準拠していると共に、多重化効率を良くするために、次のような特徴を有している。
【００５２】
１パックの大きさを固定長とし、この中にオーディオ／ビデオのアクセスユニットを同じ時間に相当する分配する。例えばオーディオの１０フレーム、ビデオの９フレームの情報を１個のパックに入れる。ビデオフレームは、１／２５秒である。また、ＭＰＥＧオーディオのレイヤ２のアクセスユニットは、１１５２サンプル／１フレームのデータを含む。オーディオサンプリング周波数が３２ｋHzである。従って、上述した情報に相当する時間は、０．３６秒の時間に相当する。
【００５３】
また、一つのパケット内には、アクセスユニットの整数倍のデータが収まるようにする。さらに、固定長であるオーディオパケットをパックの先頭に配する。そして、ビデオの３フレーム（例えば１フレームのＩピクチャと２フレームのＰピクチャ）当たりに対して、１個のパケットを与え、パックの最後にパディングストリームパケット（ダミーデータ）を設け、パックを固定長とする。
【００５４】
図５に示すように、先頭のパケットにオーディオ情報の１０フレームが含まれる。第２番目、第３番目、第４番目の各パケットにビデオの３フレーム分の情報がそれぞれ含まれ、最後のパケットにパディングストリームが含まれる。
【００５５】
このようなパック構成によって、オーディオエンコーダおよびビデオエンコーダから出力されるデータをバッファリングすることなく、撮影時にリアルタイムに多重化することが可能となる。また、Ｉピクチャは、レートコントロールによって、固定長のパックに収まるようになされる。パックを固定長にすることによって、ＳＣＲ(System Clock Referece) 、ＰＴＳ(Presentation Time Stamp) の値が単純な加算処理により表現することができる利点がある。
【００５６】
オーディオ付き静止画撮影動作の場合のパック構成について、図６を参照して説明する。パック１（最初のパック）は、静止画本体（Ｉピクチャ）を含む。すなわち、パック１は、ＰＴＳが互いに同一である、オーディオパケットと静止画（縮小画像）を符号化したＩピクチャを含むビデオパケットと、上述した全画面にわたり、動きベクトルが０、前の画面からの予測符号を示すＰまたはＢピクチャ（最低１枚）とを含む。パック２は、オーディオパケットと、ＰまたはＢピクチャ（最低１枚）を含む構成である。
【００５７】
符号化時には、先ず、最初のパックであるパック１に相当する符号化を行い、静止画とオーディオとを復号側で再生できるようにする。それ以降のパックにおいては、データ量を削減したい場合には、パック２のような構成を適時挿入することによって、静止画を表示しながら、それに付随するオーディオを再生できるようにする。記録するオーディオ情報の長さとほぼ同一の時間、ビデオの情報を必要とするので、ほぼこの時間に相当する時間のビデオパケットをパック２の構成でもって挿入する。しかしながら、符号量を削減する必要がない場合には、全てパック１の構成でシステムストリームを構成しても良い。
【００５８】
さらに、パックの構成例としては、上述したパック１およびパック２に限らず、図６のパック３に示すように、１パック当たりのパケット数を１個にする構成も可能であり、パック４、パック５に示すように、二つのパックをまたいで、Ｉピクチャと、ＰまたはＢピクチャとが存在する構成も可能である。さらに、表示する静止画が複数枚ある場合も考えられる。この場合には、パック１をある時間間隔毎にストリーム中に配置し、異なる静止画を再生しながら付随するオーディオを再生するスライドショーを実現することができる。
【００５９】
上述したこの発明の一実施形態では、エンコーダ／デコーダ１５がＪＰＥＧおよびＭＰＥＧのエンコード／デコードを行う必要がある。図７は、このエンコーダ／デコーダ１５の一構成例を示す。この発明の一実施形態では、ＭＰＥＧフォーマットの符号化においてフレーム間動き補償予測を行うことを除外している。その結果、共にＤＣＴを採用するＪＰＥＧエンコーダおよびＭＰＥＧのエンコーダ間で共用できる構成を増やすことができる。
【００６０】
図７において、３１で示す入力端子に縦横８×８画素にブロック化された画像データが供給される。画像データがＤＣＴ部３２に供給され、コサイン変換される。各ブロックの画像データに対応する６４個の係数（１個の直流分と、６３個の交流分）が発生する。この係数データがスキャン部３３に供給される。スキャン部３３は、係数データを二通りの方法（ジグザグスキャン、オルタネートスキャン）の一方で出力する。
【００６１】
スキャン部３３の出力が量子化部３４ａおよび３４ｂに供給される。量子化部３４ａおよび３４ｂは、スケーリングファクタを使用して係数データを量子化する。量子化部３４ａおよび３４ｂの一方の量子化出力がスイッチ回路ＳＷ１で選択される。スイッチ回路ＳＷ１によって、ＪＰＥＧ符号化の時には、量子化部３４ａの量子化出力が選択され、ＭＰＥＧ符号化の時には、量子化３４ｂの量子化出力が選択される。
【００６２】
スイッチ回路ＳＷ１で選択された量子化出力がＪＰＥＧ可変長符号化部３５ａおよびＭＰＥＧ可変長符号化部３５ｂに供給される。ＪＰＥＧとＭＰＥＧでは、可変長符号化に使用するハフマン(Huffman) テーブルが相違するので、二つのハフマンテーブル３６ａおよび３６ｂが備えられている。ＪＰＥＧ符号化の時では、可変長符号化部３５ａおよびハフマンテーブル３６ａにより係数データの交流分を可変長符号化し、その符号化出力がスイッチ回路ＳＷ２によって選択される。ＭＰＥＧ符号化の時では、可変長符号化部３５ｂおよびハフマンテーブル３６ｂにより係数データの交流分を可変長符号化し、その符号化出力がスイッチ回路ＳＷ２によって選択される。
【００６３】
スイッチ回路ＳＷ２に対してヘッド付加部３７ａおよび３７ｂが接続される。ヘッド付加部３７ａは、ＪＰＥＧフォーマットに準拠したヘッダをストリームに対して付加し、ヘッド付加部３７ｂは、ＭＰＥＧフォーマットに準拠したヘッダをストリームに対して付加する。ＪＰＥＧ符号化とＭＰＥＧ符号化とに対応して切り替えられるスイッチ回路ＳＷ３を介して出力端子３８にストリーム出力が取り出される。
【００６４】
量子化部３４ａ、３４ｂは、別々の構成要素として図示されているが、ハードウエアとしては、かなりの部分を共用可能であり、ヘッダ付加部３７ａ、３７ｂ、並びにＪＰＥＧ可変長符号化部３５ａ、ＭＰＥＧ可変長符号化部３５ｂについても同様にハードウエアを共用できる部分が多い。従って、ハードウエアとして別々に持つ必要があるのは、ハフマンテーブル３６ａ、３６ｂである。また、図７は、エンコーダ／デコーダ１５の内で、エンコーダ部分の構成を示している。デコーダ部分は、ヘッダ分離部、可変長符号の復号部、逆量子化部、逆ＤＣＴ部によって構成され、エンコーダ部分と同様にハードウエアをかなり共用することができる。このように、ＭＰＥＧフォーマットの符号化においてフレーム間動き補償予測を行うことを除外した結果、エンコーダ／デコーダのハードウエアの規模を小さくでき、エンコーダ／デコーダの集積回路を容易に設計することができる。
【００６５】
なお、この発明は、外部記憶媒体１１として、各種脱着式カード、フロッピーディスクなどのディスクメディアを使用できる。また、この発明による符号化は、ネットワーク、ＲＳ２３２Ｃ、非接触のＩｒＤＡその他の通信路に対してデータを送出する場合にも適用できる。
【００６６】
【発明の効果】
以上説明したように、請求項１の発明によれば、動き補償フレーム間予測の処理を行わないので、符号化のためのハードウエア、処理を大幅に軽減できる。また、符号化によってＭＰＥＧフォーマットに準拠した出力データが得られるので、パソコンによって符号化出力を利用するのが容易である。請求項２の発明によれば、動き補償フレーム間予測の処理を行わないので、ハードウエアまたは処理を共用することによって、ＭＰＥＧと同様のＪＰＥＧの符号化を行うことができる。
【００６７】
請求項６の発明によれば、小規模のハードウエアまたは少ない処理によって、ディジタルカメラの機能として静止画記録機能に加えて動画記録機能を持たせることができる。従って、ディジタルカメラで得られたＭＰＥファイルを汎用のソフトウェアでパソコンで開いたり、利用することが容易となる。また、発生する符号量が少ないので、小容量の外部記憶媒体に対して撮影した動画を記録することができる。
【図面の簡単な説明】
【図１】この発明によるディジタルカメラの一実施形態の全体の構成を示すブロック図である。
【図２】この発明の一実施形態における画像サイズの説明に用いる略線図である。
【図３】この発明による符号化装置の構成の一例を示すブロック図である。
【図４】この発明による符号化装置の出力のフレーム構造を示す略線図である。
【図５】オーディオ付き動画撮影時に符号化装置が出力するシステムストリームのデータ構成例を示す略線図である。
【図６】オーディオ付き静止画撮影時に符号化装置が出力するシステムストリームのデータ構成例を示す略線図である。
【図７】この発明の一実施形態におけるエンコーダ／デコーダの構成を示すブロック図である。
【符号の説明】
２・・・ＣＣＤ、４・・・カメラ信号処理部、５・・・メモリコントローラ、８・・・ＬＣＤ、９・・・ＤＲＡＭ、１１・・・外部記憶媒体、１２・・・ＣＰＵ、１３・・・操作入力部、１５・・・エンコーダ／デコーダ
【発明の属する技術分野】
この発明は、比較的短い時間、撮影された動画を記録媒体に記録するディジタルカメラ装置に適用できる画像信号符号化装置、カメラ装置および記録方法に関する。
【０００２】
【従来の技術】
ディジタル画像情報をフロッピーディスク、半導体メモリ等の記録媒体に記録するディジタルカメラが普及している。ディジタルカメラは、撮影された画像をディジタル画像信号に変換し、ディジタル画像信号を圧縮し、圧縮した画像情報を記録媒体に記録する構成とされている。ディジタルカメラは、静止画の記録以外に動画の記録にまで拡張することが可能である。
【０００３】
動画を圧縮する符号化の一つであるＭＰＥＧ(Moving Picture Experts Group)は、ＩＳＯで規格化された汎用的フォーマットであり、ディジタルカメラで撮影された画像データをパーソナルコンピュータ（パソコンと略す）で利用するのに適している。ＭＰＥＧは、カラー動画を圧縮する符号化で、入力画像と動き補償で得られた予測画像とのフレーム間差分をＤＣＴ（Discrete Cosine Transform)符号化で圧縮する符号化方式である。ＭＰＥＧの場合では、ピクチャタイプとして、Ｉピクチャ(Intra-coded picture：イントラ符号化画像) 、Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）、Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）の３種類が存在する。
【０００４】
【発明が解決しようとする課題】
ＭＰＥＧフォーマットにおいて、フレーム間動き補償予測を用いるＰピクチャまたはＢピクチャの処理は、エンコーダ／デコーダの回路規模、ソフトウェア処理が大幅に増大し、ディジタルカメラのような小型、軽量、ローコストの記録再生装置には、不向きである。この問題を避けるには、ＩピクチャのみからなるＭＰＥＧストリームを生成すれば良い。しかしながら、ＭＰＥＧ１(ISO-1172-2)での最低のフレームレートは、２３．９７ＭHzと規定されている。従って、ＰピクチャまたはＢピクチャを使用しないで、Ｉピクチャのみからなるストリームを構成することは、フレームレートの制約から困難である。
【０００５】
従って、この発明の目的は、ＭＰＥＧフォーマットに準拠し、回路規模、処理の増大を防止できる画像信号符号化装置およびディジタルカメラ装置を提供することにある。
【０００６】
また、この発明の他の目的は、ＭＰＥＧフォーマットによって動画信号を符号化し、ＪＰＥＧフォーマットによって静止画信号を符号化する時に、エンコーダ／デコーダの構成を簡略化できる画像信号符号化装置、カメラ装置および記録方法を提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を達成するために、請求項１の発明は、Ｉピクチャと、全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャとからなり、Ｉピクチャの後に１枚以上のＰピクチャまたはＢピクチャが続くフレーム構造の符号化出力を形成する第１の符号化と、他の第２の符号化との一方を選択する選択手段と、
入力画像信号をコサイン変換するＤＣＴ部と、
ＤＣＴ部からの係数データを量子化する量子化部と、
選択手段からの指示で選択した符号化用テーブルを使用して量子化部の出力を可変長符号化する可変長符号化部と、
符号化出力に対してオーディオ信号符号化出力を多重化する多重化手段と
からなり、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされる画像信号符号化装置である。
【０００８】
請求項６の発明は、記録媒体に撮影画像をディジタル信号として記録するカメラ装置において、
撮影した静止画を出力する撮像手段と、
撮像手段からの信号を処理する信号処理手段と、
信号処理手段からのディジタル画像信号を符号化し、ビデオデータを生成するビデオ符号化手段と、
撮像信号に付随するオーディオ信号が入力されるオーディオ入力手段と、
入力オーディオ信号をディジタルオーディオ信号に変換し、ディジタルオーディオ信号を符号化し、オーディオデータを生成するオーディオ符号化手段と、
ビデオデータとオーディオデータとを多重化した多重化データを記憶するメモリ手段と、
メモリ手段への多重化データの取り込み動作を制御する制御手段と、
メモリ手段に格納された多重化データを記憶媒体に対して記憶する記憶手段とからなり、
ビデオ符号化手段は、
Ｉピクチャと、全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャとからなり、Ｉピクチャの後に１枚以上のＰピクチャまたはＢピクチャが続くフレーム構造の符号化出力を形成する第１の符号化と、他の第２の符号化との一方を選択する選択手段と、
入力画像信号をコサイン変換するＤＣＴ部と、
ＤＣＴ部からの係数データを量子化する量子化部と、
選択手段からの指示で選択した符号化用テーブルを使用して量子化部の出力を可変長符号化する可変長符号化部と、
符号化出力に対してオーディオ信号符号化出力を多重化する多重化手段と
からなり、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされたことを特徴とするカメラ装置である。
【０００９】
請求項１５の発明は、撮像手段から供給されるビデオ信号を第１の符号化フォーマットで符号化し、オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化し、符号化されたビデオデータおよびオーディオデータを多重化した多重化データを生成し、多重化データをメモリ手段に記憶するカメラ装置において、
撮像手段から供給される静止画をフレーム内符号化によって符号化して第１の符号化フォーマットのＩピクチャを生成するＩピクチャ生成手段と、
メモリ手段への多重化データの取り込みを制御する制御手段を備え、
制御手段は、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化された第１の符号化フォーマットのＰピクチャまたはＢピクチャを生成し、 オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化しオーディオデータを生成し、
Ｉピクチャ、ＰまたはＢピクチャ、およびオーディオデータを多重化して多重化データを生成し、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされるカメラ装置である。
【００１０】
請求項１６の発明は、撮像手段から供給されるビデオ信号を第１の符号化フォーマットで符号化し、オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化し、符号化されたビデオデータおよびオーディオデータを多重化した多重化データを生成し、多重化データをメモリ手段に記憶するディジタルカメラ装置の記録方法において、
撮像手段から供給される静止画をフレーム内符号化によって符号化して第１の符号化フォーマットのＩピクチャを生成するＩピクチャ生成ステップと、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化された第１の符号化フォーマットのＰピクチャまたはＢピクチャを生成するＰピクチャまたはＢピクチャ生成ステップと、
オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化しオーディオデータを生成するオーディオデータ生成ステップと、
Ｉピクチャ、ＰまたはＢピクチャ、およびオーディオデータを多重化して多重化データを生成する多重化データ生成ステップと、
多重化データをメモリ手段に記憶する記憶ステップとを備え、
ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされるカメラ装置の記録方法である。
【００１１】
この発明では、動き補償フレーム間予測の処理を行わないので、小規模のハードウエアまたは少ない処理によって、ＤＣＴにより画像データを圧縮する点でＭＰＥＧと同様のＪＰＥＧの符号化を行うことができる。
【００１２】
この発明は、小規模のハードウエアまたは少ない処理によって、ディジタルスチルカメラの機能として静止画記録機能に加えて動画記録機能を持たせることができる。また、発生する符号量が少ないので、小容量の外部記憶媒体に対して撮影した動画を記録することができる。
【００１３】
【発明の実施の形態】
以下、この発明によるディジタルカメラの一実施形態について説明する。この一実施形態は、静止画の撮影、記録と、オーディオ付き静止画の撮影、記録と、オーディオ付き動画の撮影、記録とが可能なディジタルカメラである。全体の構成を示す図１に示すように、レンズ部１とＣＣＤ(Charge Coupled Device) ２とによって撮像部が構成される。レンズ部１には、ＣＰＵ１２からの制御信号が供給され、自動絞り制御動作、自動焦点制御動作がなされる。ＣＣＤ２は、全画素を読出す動作モード（撮影モード）と、ライン数を１／３に減少させた信号を出力するライン間引きの動作モード（ＥtoＥモード）とがＣＰＵ１２からの制御信号によって切り替え可能とされている。ＣＣＤ２の画素数は、ＸＧＡ（eXtended Graphics Array,1024ｘ768 画素）とされている。
【００１４】
このようなＣＣＤ２についてより具体的に説明する。静止画撮影モードでは、各フォトセンサからの信号電荷を混合することなく垂直ＣＣＤに読出し、全画素の信号電荷を順次、水平ＣＣＤに転送するようになされる。また、E to Eモード並びに後述する動画を撮影する時では、各フォトセンサからの信号電荷の読出しに寄与する転送ゲートに対して読出し信号を供給するための配線を分割することによって、ライン数を例えば１／３に間引くようになされる。
【００１５】
なお、この発明は、他の構成によってライン間引きが可能とされた固体撮像素子（ＣＣＤに限られない）、水平方向の画素数の間引きが可能とされた固体撮像素子、または垂直方向のライン数および水平方向の画素数の間引きが可能とされた固体撮像素子を使用しても良い。
【００１６】
ＥtoＥモードは、撮影画像のデータをメモリ（ＤＲＡＭ９）に取り込むことなく、表示部（ＬＣＤ８）に表示するモードである。ＥtoＥモードにおいて、撮影時に画角を決めたり、焦点、露出、ホワイトバランスが適切に調整される。すなわち、撮影モードでシャッターを押す前の被写体を確認している状態がＥtoＥモードである。ＥtoＥモードでは、ＣＣＤ２から１０２４×２５６画素の撮像信号が得られる。一例として、撮影モードでは、毎秒１０フレームの撮像信号が出力され、ＥtoＥモードでは、毎秒３０フレームの撮像信号が出力される。
【００１７】
ＣＣＤ２の出力信号がサンプルホールドおよびＡ／Ｄ変換部３に供給され、サンプルホールドおよびＡ／Ｄ変換部３から１サンプル１０ビットのディジタル撮像信号が発生する。サンプルホールドおよびＡ／Ｄ変換部３は、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。
【００１８】
ディジタル撮像信号がカメラ信号処理部４に供給される。カメラ信号処理部４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路等が含まれる。カメラ信号処理部４からは、ＲＧＢ信号から変換された輝度信号および色差信号からなるディジタルコンポーネント信号が発生する。
【００１９】
カメラ信号処理部４からのディジタル撮像信号の各コンポーネントがメモリコントローラ５に供給される。メモリコントローラ５に対しては、表示用バッファメモリ６と、ＣＰＵ１２のバス１４とが接続される。バッファメモリ６は、コンポーネント信号を処理することによって、ＲＧＢ信号を生成し、ＲＧＢ信号をＤ／Ａ変換器７に出力する。Ｄ／Ａ変換器７からのアナログ信号がＬＣＤ８に供給される。また、バッファメモリ６は、ＬＣＤ８の表示タイミングに合わせたタイミングで、ＲＧＢ信号を出力する。
【００２０】
バス１４に対して、ＤＲＡＭ(Dynamic Random Access Memory)９、ＣＰＵ１２、エンコーダ／デコーダ１５、インターフェース１０が接続されている。ＤＲＡＭ９は、メモリコントローラ５またはＣＰＵ１２から供給されるアドレス信号、制御信号によって制御される。また、メモリコントローラ５は、画素数変換機能を有し、撮影者の設定した画像サイズまたは動作モードに対応して画素数を変換した画像信号を発生する。
【００２１】
一例として、図２に示すように、ＸＧＡと、ＶＧＡ（Video Graphics Array,640ｘ480 画素）と、ＣＩＦ（Common Intermediate Format,320ｘ240 画素 )と、ＱＣＩＦ（Quater CIF,160ｘ120 画素）との中で、何れかの画像サイズに対応した画像を記録することが可能とされる。但し、ＭＰＥＧのマクロブロックが１６×１６であるので、実際には、上下の一部を切り捨てて（１６０×１１２）のサイズの画像としてＱＣＩＦの画像を取り扱う。ＸＧＡは、ＣＣＤ２の撮像信号をそのまま記録する場合の画素数である。ＸＧＡおよびＶＧＡは、静止画記録用の画像フォーマットとして使用され、ＣＩＦは、オーディオ付き静止画記録用の画像フォーマットとして使用され、ＣＩＦおよびＱＣＩＦは、オーディオ付き動画記録用の画像フォーマットとして使用される。
【００２２】
エンコーダ／デコーダ１５は、画像データを圧縮（エンコード）または伸張（デコード）する。例えば静止画の処理する時には、ＪＰＥＧ(Joint Photographic Experts Group)が使用され、動画を処理する時には、ＭＰＥＧ(Moving Picture Experts Group)が使用される。エンコーダ／デコーダ１５は、両方の符号化方式に対応した機能を有する。より具体的には、動画を圧縮するフォーマットとしてＭＰＥＧ１が使用される。
【００２３】
ＭＰＥＧ１のフォーマットでは、ピクチャタイプとして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類が存在する。Ｉピクチャは、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００２４】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向フレーム間予測マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００２５】
ＭＰＥＧ１の場合では、８×８画素のブロックでＤＣＴを行い、４個の輝度（Ｙ）ブロックと２個の色差（Ｃｂ、Ｃｒ）ブロックとで上述したマクロブロックが構成される。また、任意の数のマクロブロックが集まってスライス層が構成され、複数のスライス層によってピクチャ層が構成される。マクロブロック層の中には、マクロブロックのタイプを示すコード、マクロブロックのアドレス増加分を示すコード、動きベクトルの水平成分およびその垂直成分、そのマクロブロック内の６個のブロックが係数を持つかどうかを示すコード等が含まれる。そのスライスの最初のマクロブロックと最後のマクロブロックとはスキップできない規則とされている。スライス層には、スライス層の始まりのコード等が含まれる。
【００２６】
この発明の一実施形態では、オーディオ付き静止画を記録する時、並びにオーディオ付き動画を記録する時に、ＭＰＥＧフォーマットを使用して、ビデオデータを符号化する。後述するように、エンコーダ／デコーダ１５において、動き補償フレーム間予測の処理を省略したＭＰＥＧ符号化を行い、発生する符号量を削減する。
【００２７】
インターフェース１０は、外部記憶媒体１１とＣＰＵ１２との間のインターフェースである。外部記憶媒体としては、フロッピーディスク等のディスク状記録媒体、メモリカードを使用できる。さらに、ＣＰＵ１２には、操作入力部１３からの操作信号が供給される。操作入力部１３は、シャッターボタンその他の撮影者が操作する各種のスイッチを含む。操作入力部１３には、ディジタルカメラの撮影（記録）モードを設定するスイッチ、外部記憶媒体に記憶する画像サイズを指定するためのスイッチが含まれている。操作入力部１３は、ボタン、スイッチ等の操作を検出し、検出した信号を操作信号としてＣＰＵ１２に送出する。なお、シャッター速度および絞りは、被写体や撮影状況に応じて自動的に設定される。自動モード以外の複数の撮影モードを持つこともできる。
【００２８】
上述したディジタルカメラで撮影する場合には、ＣＣＤ２がＥtoＥモードとされ、画角を決め、焦点および露出を適切なものに設定する動作がなされる。ＥtoＥモードでは、レンズ部１を通してＣＣＤ２に結像した映像信号がＥtoＥモード動作により、Ｖ（垂直）方向が１／３に間引かれた撮像信号(1024 ｘ 256画素）が出力される。カメラ信号処理部４からのディジタルコンポーネント信号がメモリコントローラ５に供給される。メモリコントローラ５を通って撮像信号が表示用バッファメモリ６に書込まれる。そして、ＬＣＤ８の表示タイミングに合わせたタイミングでバッファメモリ６から読出され、Ｄ／Ａ変換器７によりアナログ信号となり表示される。この時、バッファメモリ６に書込まれた1024ｘ256 画素の領域の内で960 ｘ240 画素の領域を切り出し、倍速でバッファメモリ６から読出し表示している。
【００２９】
次に、シャッターを押す撮影がなされる。予め、撮影モードが静止画撮影モード（ＸＧＡまたはＶＧＡの撮影モード）に設定されている時には、シャッターが押されることによって、撮影画像を取り込む静止画撮影モードとなる。静止画の撮影モードでは、ＣＰＵ１２によって、ＣＣＤ２が撮像モードで動作するように制御される。それによって、高解像度（ＸＧＡ）の画像を１０フレーム／秒でＣＣＤ２が出力する。メモリコントローラ５の制御によって、ＤＭＡ（Direct Memory Access）動作により、撮影画像（原画像データ（ＸＧＡまたはＶＧＡ））が直接ＤＲＡＭ９に格納される。
【００３０】
原画像データがＤＲＡＭ９へ格納されると、ＣＰＵ１２の制御によって、原画像データがエンコーダ／デコーダ１５によって圧縮される。圧縮画像データ（ＪＰＥＧデータ）がＤＲＡＭ９に格納される。この場合、原画像データの格納されている領域とは、別の領域にＪＰＥＧデータが格納される。その後、ＣＰＵ１２の制御によって、ＪＰＥＧデータをＤＲＡＭ９から読出して、ＪＰＥＧデータをインターフェース１０を介して外部記憶媒体１１例えばフロッピーディスクの所定の領域に書込む。
【００３１】
さらに、この発明の一実施形態は、撮影される静止画または動画に関連するオーディオ信号を記録／再生できる機能を有する。シャッターボタンを押すことをトリガーとして、ある時間の間、オーディオデータが取り込まれる。図１中で、１６がマイクロホンを示し、マイクロホン１６からのオーディオ信号がアンプ１７を介してＡ／Ｄ変換器１８に供給され、３２ｋHzのサンプリング周波数でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１８からのディジタルオーディオ信号がメモリコントローラ５に供給され、メモリコントローラ５内のバッファメモリに一時的に蓄えられる。
【００３２】
そして、ＣＰＵ１２が割り込み処理によってこのバッファメモリを読みに行き、ソフトウェア処理によってＭＰＥＧオーディオレイヤ２（ＩＳ０１１７２−３）に準拠した圧縮処理を行う。ＭＰＥＧオーディオレイヤ２の符号化は、サブバンド符号化と、スケーリングと、ビットアロケーションとを使用するものである。この場合、レイヤ１、レイヤ３等他のＭＰＥＧオーディオの符号化を行っても良い。ソフトウェアによる圧縮処理で生成されたＭＰＥＧオーディオストリームがＤＲＡＭ９に書込まれる。この書込み時に、ＭＰＥＧビデオストリームとの多重化処理がＣＰＵ１２の制御によってなされ、多重化処理で得られたシステムストリームがＤＲＡＭ９に書込まれる。また、ＤＲＡＭ９から読出されたシステムストリームがインターフェース１０例えばフロッピーディスクコントローラを介して外部記憶媒体１１例えばフロッピーディスクに対して汎用性のあるフォーマットで記録される。
【００３３】
オーディオ付き動画撮影モードが選択されている時には、シャッターが押されることによって、動画を取り込む動画撮影モードとなる。動画撮影モードでは、上述した静止画撮影モードと異なり、ＣＣＤ２がＥtoＥモードで動作し、ラインが１／３に間引かれた撮像信号が出力される。これは、動画の場合では、動きに追従する必要があり、また、画像データの量が多くなることを防止するためである。また、動画撮影モードでは、シャッターを押すと、一定時間（例えば５秒）単位で撮影がなされる。但し、シャッターの操作によって１回の動画撮影時間を延長することもできる。
【００３４】
動画撮影モードでは、予めサイズがＣＩＦおよびＱＣＩＦの一方に設定され、メモリコントローラ５が設定されたサイズに応じて画素数変換を行い、画素数変換された原画像データがエンコーダ／デコーダ１５によって圧縮され、圧縮画像データ（ＭＰＥＧデータ）がＤＲＡＭ９に格納される。画像の圧縮処理と取り込み処理が終了すると、ＣＰＵ１２の制御によって、静止画撮影モードと同様に、ＭＰＥＧデータが外部記憶媒体１１の所定の領域に書込まれる。例えばＣＩＦのサイズでは、１枚のフロッピーディスクに１５秒の動画を記録でき、ＱＣＩＦのサイズでは、１枚のフロッピーディスクに６０秒の動画を記録できる。
【００３５】
外部記憶媒体１１に記録されている静止画（ＸＧＡまたはＶＧＡ）を再生する時には、インターフェース１０を経由してＪＰＥＧデータを外部記憶媒体１１から読出し、エンコーダ／デコーダ１５にて伸張する。伸張した静止画データをＤＲＡＭ９に書込む。メモリコントローラ５は、この静止画データをＤＲＡＭ９からＤＭＡの方法で読出し、バッファメモリ２６に転送し、ＬＣＤ８によって表示する。この場合は、メモリコントローラ５によって画素数が変換され、ＥtoＥモードと同様の画素数で再生画像が表示される。
【００３６】
外部記憶媒体１１に記録されている動画を再生する時には、フロッピーディスクから読出したＭＰＥＧデータ（動画ファイル）をＤＲＡＭ９に書込む。ＤＲＡＭ９から読出したデータをエンコーダ／デコーダ１５にてＭＰＥＧ伸張する。伸張した画像データに対して、記録時のサイズに応じた画素数変換をメモリコントローラ５が行う。画素数変換されたデータがＬＣＤ８に表示される。動画（ＣＩＦまたはＱＣＩＦ）を再生し、表示する場合では、ＬＣＤ８において、縮小されたサイズの画像を表示する。
【００３７】
静止画または動画と、これに関連するオーディオ信号を再生する時には、外部記憶媒体１１から再生されたシステムストリームをＤＲＡＭ９に格納する。ＤＲＡＭ９から読出されたシステムストリームからＣＰＵ１２がオーディオストリームを分離し、ＭＰＥＧオーディオの復号を行い、メモリコントローラ５内のバッファメモリにオーディオデータを転送する。そして、Ｄ／Ａ変換器１９によってアナログオーディオ信号へ変換し、アナログオーディオ信号がアンプ２０を介してスピーカ２１にて再生される。
【００３８】
この発明の一実施形態は、静止画撮影時には、ＤＲＡＭ９に原画像データを格納し、次に、エンコーダ／デコーダ１５によってＪＰＥＧで圧縮した画像データを生成し、ＪＰＥＧデータをＤＲＡＭ９の別の領域に格納する。その後、外部記憶媒体１１に対してＪＰＥＧデータを記憶する。また、動画撮影時には、ＤＲＡＭ９の作業用領域に撮影した１枚の画像を格納し、エンコーダ／デコーダ１５によってＭＰＥＧ１で圧縮し、得られたＭＰＥＧデータをＤＲＡＭ９のさらに別の領域に格納する。この処理を撮影された動画の１枚ずつに対して行う。ＭＰＥＧデータを外部記憶媒体１１に対して記憶する。また、動画撮影時には、オーディオの録音も同時に行うオーディオ付き動画撮影動作がなされる。
【００３９】
さらに、静止画のみの撮影動作以外に、オーディオ付き静止画撮影動作が可能とされている。すなわち、静止画を撮影する時でも、シャッターボタンを押してから所定時間、またはシャッターボタンを押し続けている期間のオーディオ信号を録音し、ＭＰＥＧオーディオストリームを生成し、ＭＰＥＧオーディオストリームと静止画から生成されたＭＰＥＧビデオストリームとを多重化したシステムストリームをＤＲＡＭ９に書込み、さらに、外部記憶媒体１１に記録できるようになされている。
【００４０】
このオーディオ付き静止画撮影動作について説明すると、先ず、ＣＣＤ２が撮影モードで動作して得られる高解像度の１枚の原画像データ（ＸＧＡまたはＶＧＡ）がＤＲＡＭ９に格納される。ＣＰＵ１２は、ＤＲＡＭ９から原画像データを読出して画素数変換を行い、ＣＩＦの縮小画像を生成する。この縮小画像に対してエンコーダ／デコーダ１５によってＭＰＥＧ圧縮を行う。元の１枚の縮小画像からＩピクチャを生成し、このＩピクチャをＤＲＡＭ９に書込む。
【００４１】
また、Ｉピクチャの後のピクチャは、固定のデータ、すなわち、１画面の全マクロブロックにわたり、動きベクトルが０であり、前の画面からの予測符号化画像（Ｐピクチャ）または前後の画面からの予測符号化画像（Ｂピクチャ）をストリーム中に挿入する。ＰピクチャまたはＢピクチャを挿入する時間的長さは、オーディオ信号の長さと略等しいものとされる。このようなビデオストリームを復号して表示する時には、単純に前のフレームの画像をコピーして表示することになり、見かけ上、ＰピクチャまたはＢピクチャを挿入した時間、静止画を表示することができる。
【００４２】
一方、シャッターボタンを押したことをトリガーとして所定時間、例えばシャッターボタンを押し続けている期間のオーディオ信号がマイクロホン１６、アンプ１７、Ａ／Ｄ変換器１８を介してメモリコントローラ５のバッファメモリに供給される。ＣＰＵ１２がこのバッファメモリのオーディオデータをＭＰＥＧオーディオで符号化することによってＭＰＥＧオーディオストリームを生成する。
【００４３】
ＣＰＵ１２が上述したＭＰＥＧビデオストリームとＭＰＥＧオーディオストリームとを多重化処理して、ＭＰＥＧシステムストリームを生成し、このＭＰＥＧシステムストリームをＤＲＡＭ９の記録データ用の領域に格納する。ＤＲＡＭ９の記録データ用の領域に格納されたシステムストリームがインターフェース１０を介して外部記憶媒体１１（例えばフロッピーディスク）に記録される。
【００４４】
外部記憶媒体１１へのＭＰＥＧシステムストリーム（ビデオストリームとオーディオストリームの多重化ストリーム）の記録が終了すると、ＤＲＡＭ９に残っている原画像データ（ＸＧＡまたはＶＧＡ）を読出し、エンコーダ／デコーダ１５によってＪＰＥＧ圧縮を行う。ＪＰＥＧに準拠した静止画ストリームをＤＲＡＭ９の記録データ用の領域に上書きする。そして、ＤＲＡＭ９の記録データ用の領域に格納された静止画ストリームがインターフェース１０を介して外部記憶媒体１１（例えばフロッピーディスク）に記録される。このように、オーディオ付き静止画撮影動作では、静止画のみからなるＪＰＥＧファイルと、全く同一の時に撮影されたＩピクチャとオーディオ情報とを含むＭＰＥＧファイルとが同時に生成されることになる。
【００４５】
上述したオーディオ付き静止画撮影動作において使用されるＭＰＥＧ符号化について、図３を参照してより詳細に説明する。ビデオ信号処理装置に入力された１枚の静止画に相当する画像信号（ＸＧＡまたはＶＧＡの静止画信号を画素数変換して形成されたＣＩＦまたはＱＣＩＦ）が入力端子２３からＩピクチャエンコーダ２４に供給され、ＭＰＥＧビデオのＩピクチャに変換される。また、マイクロホン１６（またはライン入力）から入力端子２５に入力されたオーディオ信号がＭＰＥＧオーディオエンコーダ２６においてＭＰＥＧオーディオフォーマットに準拠した信号に変換される。
【００４６】
ＰまたはＢピクチャ生成器２７は、実際には動き検出等の動き補償フレーム間予測に必要な処理を行わず、画像サイズに応じた固定のデータを発生する。従って、ＰまたはＢピクチャ生成器２７に対してビデオ信号を供給する必要がない。固定データの内容は、上述したように、全画面にわたり、動きベクトルが０、前の画面からの予測符号である。この内容は、単に前のフレームの画像を表示することを意味する。より具体的には、ＣＩＦまたはＱＣＩＦのサイズのピクチャを１個のスライスとし、スライスの最初のマクロブロックと最後のマクロブロックをスキップし、最初および最後のマクロブロックは、動きベクトル０で符号化している内容とする。複数のスライスにピクチャを分割しても良いが、その場合には、ヘッダ情報が増加する。
【００４７】
また、ＰまたはＢピクチャ生成器２７が発生するピクチャのデータ量は、スキップするマクロブロックの数を符号化するので、画像サイズによって変動する。具体的には、ＣＩＦの画像サイズで、ＭＰＥＧ１のＰピクチャの場合で、２８バイトで済み、ＱＣＩＦの画像サイズで、ＭＰＥＧ１のＰピクチャの場合で、１９バイトで済む。従って、同じ画像を繰り返しストリーム上に挿入し、見かけ上静止画像として復号画像を表示する場合に、このようなＰまたはＢピクチャを使用することで、データ量を大幅に削減することができる。
【００４８】
２８は、ＭＰＥＧシステムエンコーダを示し、Ｉピクチャエンコーダ２４は、エンコーダ／デコーダ１５に含まれ、ＰまたはＢピクチャ生成器２７、ＭＰＥＧオーディオエンコーダ２６およびＭＰＥＧシステムエンコーダ２８の処理は、ＣＰＵ１２のソフトウェア処理によってなされる。
【００４９】
図３の構成は、オーディオ付き静止画撮影動作に限らず、オーディオ付き動画撮影動作に対しても同様に適用される。この動作では、Ｉピクチャ符号化器２４に対して、撮影された動画の１フレームに相当するビデオ信号（ＣＣＤ２の撮像信号を画素数変換して形成されたＣＩＦまたはＱＣＩＦ）が供給される。また、ＰまたはＢピクチャ生成器２７は、上述したように、動き補償フレーム間予測の処理を行わず、固定データを発生する。
【００５０】
図４は、オーディオ付き動画撮影時に、Ｉピクチャ符号化器２４からのＩピクチャに対して、ＰまたはＢピクチャ生成器２７からのＰまたはＢピクチャを挿入したフレーム構造の一例を示す。各Ｉピクチャの後に、２枚のＰピクチャが挿入される。この２枚のＰピクチャは、ＰまたはＢピクチャ生成器２７からのＰピクチャであり、そのデータ量は、Ｉピクチャと比較して極めて少ないものである。図３の例では、１／３の割合でフレーム駒落としがされ、フレームレートが１／３となる。従って、ＭＰＥＧ規格の最低のフレームレートを満足するフレームレート例えば２５Hzのフレームレートとすることができる。但し、各Ｉピクチャの間にＰまたはＢピクチャを挿入する枚数は、目的とするフレームレートによって定まり、最低１枚以上のＰまたはＢピクチャを挿入することによって、フレームレートを下げることができる。
【００５１】
上述したＭＰＥＧシステムエンコーダ２８が発生するシステムストリームの構成例（パック構造）について図５および図６を参照して説明する。図５は、オーディオ付き動画撮影時のパック構造を示し、図６は、オーディオ付き静止画撮影時のパック構造を示す。動画撮影時ののパック構造は、ＭＰＥＧ１のシステムストリームに準拠していると共に、多重化効率を良くするために、次のような特徴を有している。
【００５２】
１パックの大きさを固定長とし、この中にオーディオ／ビデオのアクセスユニットを同じ時間に相当する分配する。例えばオーディオの１０フレーム、ビデオの９フレームの情報を１個のパックに入れる。ビデオフレームは、１／２５秒である。また、ＭＰＥＧオーディオのレイヤ２のアクセスユニットは、１１５２サンプル／１フレームのデータを含む。オーディオサンプリング周波数が３２ｋHzである。従って、上述した情報に相当する時間は、０．３６秒の時間に相当する。
【００５３】
また、一つのパケット内には、アクセスユニットの整数倍のデータが収まるようにする。さらに、固定長であるオーディオパケットをパックの先頭に配する。そして、ビデオの３フレーム（例えば１フレームのＩピクチャと２フレームのＰピクチャ）当たりに対して、１個のパケットを与え、パックの最後にパディングストリームパケット（ダミーデータ）を設け、パックを固定長とする。
【００５４】
図５に示すように、先頭のパケットにオーディオ情報の１０フレームが含まれる。第２番目、第３番目、第４番目の各パケットにビデオの３フレーム分の情報がそれぞれ含まれ、最後のパケットにパディングストリームが含まれる。
【００５５】
このようなパック構成によって、オーディオエンコーダおよびビデオエンコーダから出力されるデータをバッファリングすることなく、撮影時にリアルタイムに多重化することが可能となる。また、Ｉピクチャは、レートコントロールによって、固定長のパックに収まるようになされる。パックを固定長にすることによって、ＳＣＲ(System Clock Referece) 、ＰＴＳ(Presentation Time Stamp) の値が単純な加算処理により表現することができる利点がある。
【００５６】
オーディオ付き静止画撮影動作の場合のパック構成について、図６を参照して説明する。パック１（最初のパック）は、静止画本体（Ｉピクチャ）を含む。すなわち、パック１は、ＰＴＳが互いに同一である、オーディオパケットと静止画（縮小画像）を符号化したＩピクチャを含むビデオパケットと、上述した全画面にわたり、動きベクトルが０、前の画面からの予測符号を示すＰまたはＢピクチャ（最低１枚）とを含む。パック２は、オーディオパケットと、ＰまたはＢピクチャ（最低１枚）を含む構成である。
【００５７】
符号化時には、先ず、最初のパックであるパック１に相当する符号化を行い、静止画とオーディオとを復号側で再生できるようにする。それ以降のパックにおいては、データ量を削減したい場合には、パック２のような構成を適時挿入することによって、静止画を表示しながら、それに付随するオーディオを再生できるようにする。記録するオーディオ情報の長さとほぼ同一の時間、ビデオの情報を必要とするので、ほぼこの時間に相当する時間のビデオパケットをパック２の構成でもって挿入する。しかしながら、符号量を削減する必要がない場合には、全てパック１の構成でシステムストリームを構成しても良い。
【００５８】
さらに、パックの構成例としては、上述したパック１およびパック２に限らず、図６のパック３に示すように、１パック当たりのパケット数を１個にする構成も可能であり、パック４、パック５に示すように、二つのパックをまたいで、Ｉピクチャと、ＰまたはＢピクチャとが存在する構成も可能である。さらに、表示する静止画が複数枚ある場合も考えられる。この場合には、パック１をある時間間隔毎にストリーム中に配置し、異なる静止画を再生しながら付随するオーディオを再生するスライドショーを実現することができる。
【００５９】
上述したこの発明の一実施形態では、エンコーダ／デコーダ１５がＪＰＥＧおよびＭＰＥＧのエンコード／デコードを行う必要がある。図７は、このエンコーダ／デコーダ１５の一構成例を示す。この発明の一実施形態では、ＭＰＥＧフォーマットの符号化においてフレーム間動き補償予測を行うことを除外している。その結果、共にＤＣＴを採用するＪＰＥＧエンコーダおよびＭＰＥＧのエンコーダ間で共用できる構成を増やすことができる。
【００６０】
図７において、３１で示す入力端子に縦横８×８画素にブロック化された画像データが供給される。画像データがＤＣＴ部３２に供給され、コサイン変換される。各ブロックの画像データに対応する６４個の係数（１個の直流分と、６３個の交流分）が発生する。この係数データがスキャン部３３に供給される。スキャン部３３は、係数データを二通りの方法（ジグザグスキャン、オルタネートスキャン）の一方で出力する。
【００６１】
スキャン部３３の出力が量子化部３４ａおよび３４ｂに供給される。量子化部３４ａおよび３４ｂは、スケーリングファクタを使用して係数データを量子化する。量子化部３４ａおよび３４ｂの一方の量子化出力がスイッチ回路ＳＷ１で選択される。スイッチ回路ＳＷ１によって、ＪＰＥＧ符号化の時には、量子化部３４ａの量子化出力が選択され、ＭＰＥＧ符号化の時には、量子化３４ｂの量子化出力が選択される。
【００６２】
スイッチ回路ＳＷ１で選択された量子化出力がＪＰＥＧ可変長符号化部３５ａおよびＭＰＥＧ可変長符号化部３５ｂに供給される。ＪＰＥＧとＭＰＥＧでは、可変長符号化に使用するハフマン(Huffman) テーブルが相違するので、二つのハフマンテーブル３６ａおよび３６ｂが備えられている。ＪＰＥＧ符号化の時では、可変長符号化部３５ａおよびハフマンテーブル３６ａにより係数データの交流分を可変長符号化し、その符号化出力がスイッチ回路ＳＷ２によって選択される。ＭＰＥＧ符号化の時では、可変長符号化部３５ｂおよびハフマンテーブル３６ｂにより係数データの交流分を可変長符号化し、その符号化出力がスイッチ回路ＳＷ２によって選択される。
【００６３】
スイッチ回路ＳＷ２に対してヘッド付加部３７ａおよび３７ｂが接続される。ヘッド付加部３７ａは、ＪＰＥＧフォーマットに準拠したヘッダをストリームに対して付加し、ヘッド付加部３７ｂは、ＭＰＥＧフォーマットに準拠したヘッダをストリームに対して付加する。ＪＰＥＧ符号化とＭＰＥＧ符号化とに対応して切り替えられるスイッチ回路ＳＷ３を介して出力端子３８にストリーム出力が取り出される。
【００６４】
量子化部３４ａ、３４ｂは、別々の構成要素として図示されているが、ハードウエアとしては、かなりの部分を共用可能であり、ヘッダ付加部３７ａ、３７ｂ、並びにＪＰＥＧ可変長符号化部３５ａ、ＭＰＥＧ可変長符号化部３５ｂについても同様にハードウエアを共用できる部分が多い。従って、ハードウエアとして別々に持つ必要があるのは、ハフマンテーブル３６ａ、３６ｂである。また、図７は、エンコーダ／デコーダ１５の内で、エンコーダ部分の構成を示している。デコーダ部分は、ヘッダ分離部、可変長符号の復号部、逆量子化部、逆ＤＣＴ部によって構成され、エンコーダ部分と同様にハードウエアをかなり共用することができる。このように、ＭＰＥＧフォーマットの符号化においてフレーム間動き補償予測を行うことを除外した結果、エンコーダ／デコーダのハードウエアの規模を小さくでき、エンコーダ／デコーダの集積回路を容易に設計することができる。
【００６５】
なお、この発明は、外部記憶媒体１１として、各種脱着式カード、フロッピーディスクなどのディスクメディアを使用できる。また、この発明による符号化は、ネットワーク、ＲＳ２３２Ｃ、非接触のＩｒＤＡその他の通信路に対してデータを送出する場合にも適用できる。
【００６６】
【発明の効果】
以上説明したように、請求項１の発明によれば、動き補償フレーム間予測の処理を行わないので、符号化のためのハードウエア、処理を大幅に軽減できる。また、符号化によってＭＰＥＧフォーマットに準拠した出力データが得られるので、パソコンによって符号化出力を利用するのが容易である。請求項２の発明によれば、動き補償フレーム間予測の処理を行わないので、ハードウエアまたは処理を共用することによって、ＭＰＥＧと同様のＪＰＥＧの符号化を行うことができる。
【００６７】
請求項６の発明によれば、小規模のハードウエアまたは少ない処理によって、ディジタルカメラの機能として静止画記録機能に加えて動画記録機能を持たせることができる。従って、ディジタルカメラで得られたＭＰＥファイルを汎用のソフトウェアでパソコンで開いたり、利用することが容易となる。また、発生する符号量が少ないので、小容量の外部記憶媒体に対して撮影した動画を記録することができる。
【図面の簡単な説明】
【図１】この発明によるディジタルカメラの一実施形態の全体の構成を示すブロック図である。
【図２】この発明の一実施形態における画像サイズの説明に用いる略線図である。
【図３】この発明による符号化装置の構成の一例を示すブロック図である。
【図４】この発明による符号化装置の出力のフレーム構造を示す略線図である。
【図５】オーディオ付き動画撮影時に符号化装置が出力するシステムストリームのデータ構成例を示す略線図である。
【図６】オーディオ付き静止画撮影時に符号化装置が出力するシステムストリームのデータ構成例を示す略線図である。
【図７】この発明の一実施形態におけるエンコーダ／デコーダの構成を示すブロック図である。
【符号の説明】
２・・・ＣＣＤ、４・・・カメラ信号処理部、５・・・メモリコントローラ、８・・・ＬＣＤ、９・・・ＤＲＡＭ、１１・・・外部記憶媒体、１２・・・ＣＰＵ、１３・・・操作入力部、１５・・・エンコーダ／デコーダ
Claims (16)
- Ｉピクチャと、全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャとからなり、上記Ｉピクチャの後に１枚以上の上記ＰピクチャまたはＢピクチャが続くフレーム構造の符号化出力を形成する第１の符号化と、他の第２の符号化との一方を選択する選択手段と、
入力画像信号をコサイン変換するＤＣＴ部と、
上記ＤＣＴ部からの係数データを量子化する量子化部と、
上記選択手段からの指示で選択した符号化用テーブルを使用して上記量子化部の出力を可変長符号化する可変長符号化部と、
上記符号化出力に対してオーディオ信号符号化出力を多重化する多重化手段と
からなり、
上記ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされる画像信号符号化装置。 - 請求項１において、
上記第１の符号化がＭＰＥＧであり、上記第２の符号化がＪＰＥＧである画像信号符号化装置。 - 請求項１において、
さらに、記憶媒体に対して符号化出力を記録することを特徴とする画像信号符号化装置。 - 請求項１において、
さらに、通信路に対して符号化出力を送出することを特徴とする画像信号符号化装置。 - 請求項１において、
上記選択手段からの指示で選択した上記第１の符号化のヘッダおよび上記第２の符号化のヘッダの一方を付加するヘッダ付加部をさらに有することを特徴とする画像信号符号化装置。 - 記録媒体に撮影画像をディジタル信号として記録するカメラ装置において、
撮影した静止画を出力する撮像手段と、
上記撮像手段からの信号を処理する信号処理手段と、
上記信号処理手段からのディジタル画像信号を符号化し、ビデオデータを生成するビデオ符号化手段と、
上記撮像信号に付随するオーディオ信号が入力されるオーディオ入力手段と、
入力オーディオ信号をディジタルオーディオ信号に変換し、上記ディジタルオーディオ信号を符号化し、オーディオデータを生成するオーディオ符号化手段と、
上記ビデオデータと上記オーディオデータとを多重化した多重化データを記憶するメモリ手段と、
上記メモリ手段への上記多重化データの取り込み動作を制御する制御手段と、
上記メモリ手段に格納された多重化データを記憶媒体に対して記憶する記憶手段とからなり、
上記ビデオ符号化手段は、
Ｉピクチャと、全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャとからなり、上記Ｉピクチャの後に１枚以上の上記ＰピクチャまたはＢピクチャが続くフレーム構造の符号化出力を形成する第１の符号化と、他の第２の符号化との一方を選択する選択手段と、
入力画像信号をコサイン変換するＤＣＴ部と、
上記ＤＣＴ部からの係数データを量子化する量子化部と、
上記選択手段からの指示で選択した符号化用テーブルを使用して上記量子化部の出力を可変長符号化する可変長符号化部と、
上記符号化出力に対してオーディオ信号符号化出力を多重化する多重化手段と
からなり、
上記ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされたことを特徴とするカメラ装置。 - 請求項６において、
上記ビデオ信号および上記オーディオ信号をＭＰＥＧフォーマットで符号化するカメラ装置。 - 請求項６において、
さらに、シャッターボタンを含む操作手段を有することを特徴とするカメラ装置。 - 請求項６において、
上記制御手段は、上記メモリ手段へ上記多重化データが取り込まれると、上記多重化データを上記メモリ手段から読出し、読出された多重化データを上記記憶媒体に対して記憶するように、上記記憶手段を制御することを特徴とするカメラ装置。 - 請求項６において、
静止画の撮影時点から所定時間経過するまでのオーディオ信号が上記オーディオ符号化手段によって符号化され、上記オーディオデータが生成されることを特徴とするカメラ装置。 - 請求項６において、
さらに、上記ビデオデータを復号するビデオ復号手段と、上記オーディオデータを復号するオーディオ復号手段と、オーディオ再生手段と、上記ディジタル画像信号を表示する表示手段とを有し、
上記制御手段は、上記記憶媒体から多重化データを再生し、再生された多重化データを上記メモリ手段に格納するように、上記メモリ手段および上記記憶手段を制御し、
上記メモリ手段からの上記ビデオデータを上記ビデオ復号手段により復号し、復号された画像データを上記表示手段に表示すると共に、上記メモリ手段からの上記オーディオデータを上記オーディオ復号手段により復号し、復号されたオーディオデータを上記オーディオ再生手段により再生するようにしたカメラ装置。 - 請求項６において、
上記多重化データは、複数のパックからなるストリームであり、先頭のパックに上記オーディオデータと上記ビデオデータの上記Ｉピクチャのデータとを詰め込むことを特徴とするカメラ装置。 - 請求項６において、
上記信号処理手段は、撮像画像の画素数が低減されたディジタル画像信号を形成し、
上記ビデオ符号化手段は、上記画素数が低減されたディジタル画像信号を符号化することを特徴とするカメラ装置。 - 請求項６において、
上記多重化データは、同一時間に相当するビデオデータとオーディオデータとを固定長のパックに挿入したパック構造を有することを特徴とするカメラ装置。 - 撮像手段から供給されるビデオ信号を第１の符号化フォーマットで符号化し、オーディオ入力手段から供給されるオーディオ信号を上記第１の符号化フォーマットで符号化し、上記符号化されたビデオデータおよびオーディオデータを多重化した多重化データを生成し、上記多重化データをメモリ手段に記憶するカメラ装置において、
撮像手段から供給される静止画をフレーム内符号化によって符号化して上記第１の符号化フォーマットのＩピクチャを生成するＩピクチャ生成手段と、
上記メモリ手段への上記多重化データの取り込みを制御する制御手段を備え、
上記制御手段は、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化された上記第１の符号化フォーマットのＰピクチャまたはＢピクチャを生成し、
オーディオ入力手段から供給されるオーディオ信号を上記第１の符号化フォーマットで符号化しオーディオデータを生成し、
上記Ｉピクチャ、上記ＰまたはＢピクチャ、および上記オーディオデータを多重化して多重化データを生成し、
上記ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされるカメラ装置。 - 撮像手段から供給されるビデオ信号を第１の符号化フォーマットで符号化し、オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化し、上記符号化されたビデオデータおよびオーディオデータを多重化した多重化データを生成し、上記多重化データをメモリ手段に記憶するディジタルカメラ装置の記録方法において、
撮像手段から供給される静止画をフレーム内符号化によって符号化して第１の符号化フォーマットのＩピクチャを生成するＩピクチャ生成ステップと、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化された第１の符号化フォーマットのＰピクチャまたはＢピクチャを生成するＰピクチャまたはＢピクチャ生成ステップと、
オーディオ入力手段から供給されるオーディオ信号を第１の符号化フォーマットで符号化しオーディオデータを生成するオーディオデータ生成ステップと、
上記Ｉピクチャ、上記ＰまたはＢピクチャ、および上記オーディオデータを多重化して多重化データを生成する多重化データ生成ステップと、
上記多重化データを上記メモリ手段に記憶する記憶ステップとを備え、
上記ＰピクチャまたはＢピクチャを挿入する時間的な長さが入力オーディオ信号にほぼ等しいものとされるカメラ装置の記録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22026299A JP4359966B2 (ja) | 1998-08-24 | 1999-08-03 | 画像信号符号化装置、カメラ装置および記録方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-237311 | 1998-08-24 | ||
| JP23731198 | 1998-08-24 | ||
| JP22026299A JP4359966B2 (ja) | 1998-08-24 | 1999-08-03 | 画像信号符号化装置、カメラ装置および記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000138940A JP2000138940A (ja) | 2000-05-16 |
| JP4359966B2 true JP4359966B2 (ja) | 2009-11-11 |
Family
ID=26523614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22026299A Expired - Fee Related JP4359966B2 (ja) | 1998-08-24 | 1999-08-03 | 画像信号符号化装置、カメラ装置および記録方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4359966B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100491530B1 (ko) | 2002-05-03 | 2005-05-27 | 엘지전자 주식회사 | 모션 벡터 결정 방법 |
-
1999
- 1999-08-03 JP JP22026299A patent/JP4359966B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000138940A (ja) | 2000-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100616262B1 (ko) | 디지털 카메라 장치 및 기록 방법 | |
| US7999859B2 (en) | Digital camera for recording a still image while shooting a moving image | |
| JP3787398B2 (ja) | 画像処理装置及びその方法 | |
| JP2006253768A (ja) | デジタルカメラ | |
| JP3822380B2 (ja) | 画像信号処理装置 | |
| JP3221785B2 (ja) | 撮像装置 | |
| JPH11164245A (ja) | 映像記録装置および映像再生装置ならびに映像記録再生装置 | |
| JP4306035B2 (ja) | 符号化方法、符号化装置およびカメラ装置 | |
| JP4359966B2 (ja) | 画像信号符号化装置、カメラ装置および記録方法 | |
| JP3902824B2 (ja) | 画像処理装置及び方法 | |
| JP2000333130A (ja) | 動画データの記録方法及び装置 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| JP2005217493A (ja) | 撮像装置 | |
| JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
| JP3501505B2 (ja) | 画像形成装置及び画像処理装置 | |
| JP2000278641A (ja) | 動画処理装置及び動画処理方法 | |
| JP3687458B2 (ja) | 圧縮復号化方法及び圧縮復号化装置 | |
| JP2004104193A (ja) | 撮像装置及び記録装置 | |
| JP2003018532A (ja) | 撮像装置 | |
| JP3526272B2 (ja) | 画像処理装置 | |
| JPH1169347A (ja) | 画像データの符号化／復号装置、及び、画像データの符号化装置 | |
| WO1999067947A1 (en) | Image sensing/storing method and image sensing device | |
| JPH0865565A (ja) | 撮像記録装置 | |
| CN1700741A (zh) | 数字照相机装置及其记录方法 | |
| JPH1188894A (ja) | 圧縮画像データの復号装置及び圧縮画像データの復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090721 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090803 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |