JP3794529B2 - 動画像記録装置、及び、動画像符号化方法 - Google Patents
動画像記録装置、及び、動画像符号化方法 Download PDFInfo
- Publication number
- JP3794529B2 JP3794529B2 JP36622698A JP36622698A JP3794529B2 JP 3794529 B2 JP3794529 B2 JP 3794529B2 JP 36622698 A JP36622698 A JP 36622698A JP 36622698 A JP36622698 A JP 36622698A JP 3794529 B2 JP3794529 B2 JP 3794529B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- image
- picture
- encoding
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像記録装置、及び、動画像符号化方法に関し、特に、ＭＰＥＧ（Moving Picture ExpertsGroup）標準の符号化方式で動画像の圧縮記録を行う電子スチルカメラやビデオカメラ等の動画像記録装置、及び、動画像符号化方法に関する。
【０００２】
【従来の技術】
＜ＭＰＥＧ符号化方式の概説＞
ＭＰＥＧは、蓄積メディア系や通信メディア系への動画像適用を目的としてＣＣＩＴＴ Ｈ．２６１（テレビ電話、テレビ会議用符号化）から発展した符号化標準である。ＭＰＥＧは、ＭＣ（Motion Compensation；動き補償）やＤＣＴ（Discrete Cosine Transform；離散コサイン変換）などの符号化ツールを持つ点で基本的にＨ．２６１と共通するが、早送り、巻戻し、途中再生及び逆転再生などのトリックモードを実現するための特殊な構造、すなわち、ＧＯＰ（Group Of Pictures）構造を持つ点で相違する。
【０００３】
図７は、ＭＰＥＧのシンタクス（構文；ビット・ストリームの満たすべき順序と内容）である。このシンタクスは、シーケンスヘッダとシーケンスエンドの間に幾つかのＧＯＰを持つシーケンス層と、その下位のＧＯＰ層からなり、ＧＯＰ層はＧＯＰヘッダの後にｎ個のピクチャフレーム（符号化された画面データ）を持つ構造になっている。
【０００４】
一つのＧＯＰがランダムアクセスの１単位であり、この単位で上述のトリックモードを可能にする。ｎ個のピクチャフレームのタイプ（ピクチャタイプ）は、Ｉピクチャ（略号：Ｉ）、Ｐピクチャ（略号：Ｐ）又はＢピクチャ（略号：Ｂ）の何れかであり、各ピクチャタイプの内容は、以下のとおりである。
（１）Ｉピクチャ
フレーム内符号化画像（Intra-Coded Picture）の略。画面の全てをイントラ符号化する画像である。ＧＯＰ内の独立性（参照画像を必要としない）を持つ点で他のピクチャタイプと異なる。
（２）Ｐピクチャ
フレーム間順方向予測符号化画像（Predictive-Coded Picture）の略。前のＩピクチャ又はＰピクチャから順方向予測される画像である。
（３）Ｂピクチャ
フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）の略。前後のＩピクチャ又はＰピクチャから双方向予測される画像である。
【０００５】
図８は、ＧＯＰ構造の一例を示す図であり、ＧＯＰのピクチャ数（Ｎパラメータ）を“１５”とするとともに、Ｉ又はＰピクチャとＰピクチャの周期（Ｍパラメータ）を“３”とした場合の例である。すなわち、１ＧＯＰが１５枚のフレームで構成されており、且つ、Ｉピクチャ（又はＰピクチャ）から次のＰピクチャまでのフレーム数が３枚の例を示している。
【０００６】
図８において、Ｉピクチャは参照画像を必要としないイントラ符号化画像であるが、ＰピクチャとＢピクチャは、それぞれ順方向と双方向の予測符号化画像であり、図に示すように、Ｐピクチャは既に符号化済みのＩピクチャ又はＰピクチャを参照画像とし、Ｂピクチャは前後のＩピクチャ又はＰピクチャを参照画像として、それぞれ順方向予測及び双方向予測された画像である。
【０００７】
Ｉピクチャでは原画像のブロックごとにＤＣＴ演算、量子化及び可変長符号化を行うが、ＰピクチャとＢピクチャでは参照画像との間の動き補償予測の誤差信号（予測誤差信号）に対してのみＤＣＴ演算、量子化及び可変長符号化を行うため、特に予測誤差信号が小さい場合、すなわち、動きの穏やかな動画像の場合の圧縮効率に優れている。
【０００８】
図９は、ＧＯＰのフレーム配列を示す図である。この図では、原画像の画面順（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５、……）が符号化処理の段階で一部入れ替わり、再生画像の段階で元の並び順に復帰する様子が示されている。符号化処理段階におけるＢピクチャの挿入は、その前後のＩピクチャ（又はＰピクチャ）とＰピクチャの符号化後に行われる。例えば、原画像のＢ３、Ｂ４に着目すると、Ｉ２とＰ５の符号化後、これらのＩ２とＰ５を参照画像にしてＢ３、Ｂ４が符号化され、Ｉ２とＰ５の後に挿入される結果、原画像の段階で「Ｉ２、Ｂ３、Ｂ４、Ｐ５」であった並び順が、「Ｉ２、……、Ｐ５、Ｂ３、Ｂ４」と入れ替わることになる。
【０００９】
ここで、ＧＯＰの生成規則は、▲１▼メディア上のＧＯＰの最初がＩピクチャであることと、▲２▼原画像及び再生画像の並び順でＧＯＰの最後がＰピクチャであることを満たしていればよく、上述のＮパラメータやＭパラメータに使用上の制限はないが、実際には、画質や動画像の動きなどから最適と思われる値、例えば、Ｎはランダムアクセス単位が０．４秒〜１秒程度になるような値（“１５”程度）、また、Ｍは比較的動きの穏やかな画像に合わせた値（“３”程度）に設定されることが多い。
【００１０】
＜動画像記録装置の一例＞
電子スチルカメラは、被写体の像を２次元のイメージセンサで電気信号に変換して、その電気信号から所定周期のフレーム画像を生成するとともに、シャッターキー押し下げ時のフレーム画像をキャプチャし、そのキャプチャ画像をフラッシュメモリ等の記憶媒体に記録するものであり、銀塩カメラと同じく被写体の静止画を記録するものであるが、近時、上記フレーム画像の周期的生成動作を利用し、被写体の動きを連続的に記録できるようにした電子スチルカメラが公知であり、かかる動画像の圧縮記録に上述のＭＰＥＧが用いられている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来の電子スチルカメラにあっては、Ｍパラメータをあらかじめ固定的に設定しており、その設定値は比較的動きの穏やかな画像に合わせた、例えば“３”であったため、メディア上のフレーム配列でＩピクチャ（又はＰピクチャ）とＰピクチャの間に、常にＭ−１＝２個のＢピクチャが挿入されることとなるが、以下の理由で、被写体の動きが激しい場合に画質の劣化を招くという問題点がある。
【００１２】
Ｂピクチャは上述のとおり、フレーム内挿双方向予測符号化画像であって、この画像は前後のＩピクチャ又はＰピクチャから双方向予測された誤差信号（予測誤差信号）にＩピクチャと同様のＤＣＴ演算、量子化及び可変長符号化を適用して情報量を圧縮するものであり、被写体の動きが穏やかな場合には相応の圧縮効果が得られて有効な反面、被写体の動きが激しい場合には予測誤差信号が大きくなって却って情報量の増加を招くことになるから、所要の伝送速度を確保するためには、“きつい量子化処理”………量子化とは連続する信号を適当な“間隔”で代表値に置き換え、代表値の番号を符号化する技術であり、“きつい量子化処理”とはその間隔を広げることをいう。………を施さざるを得ず、画質劣化の要因となっていた。
【００１３】
なお、Ｍパラメータを“１”にすれば、Ｂピクチャの挿入がなくなり、画質劣化を回避できるものの、Ｂピクチャのメリット、すなわち、被写体の動きが穏やかな場合の情報量の削減効果が失われるので好まくない。
【００１４】
そこで本発明は、被写体の動きが穏やかな場合の情報量削減と被写体の動きが激しい場合の画質向上とを共に達成できる動画像記録装置、及び、動画像符号化方法の提供を目的とする。
【００１５】
【課題を解決するための手段】
請求項１記載の発明は、所定の周期で撮像する撮像手段と、この撮像手段によって所定の周期で撮像されるフレーム画像について、現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分を演算する第１の演算手段と、前記撮像手段によって所定の周期で撮像されるフレーム画像について、現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分を演算する第２の演算手段と、前記第１の演算手段によって演算されたエッジ成分の差分と、前記第２の演算手段によって演算された高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えているか否かを判断する第１の判断手段と、この第１の判断手段により前記エッジ成分の差分と前記高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えていると判断されると、前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があるか否かを判断する第２の判断手段と、この第２の判断手段によって前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無いと判断すると、当該現在のフレーム画像をＭＰＥＧ符号化方式のＩピクチャ符号化対象に変更して、前記撮像手段が撮像を停止するまで撮像されたフレーム画像をＭＰＥＧ符号化方式で動画像に符号化する符号化手段と、この符号化手段により符号化された動画像を記録する記録手段と、
を備えたことを特徴とする。
請求項２記載の発明は、請求項１記載の発明に、前記第２の判断手段によって前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があると判断すると、前記現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するよう前記符号化手段を制御する符号化制御手段を更に備えたことを特徴とする。
請求項３記載の発明は、所定の周期で撮像する撮像ステップと、この撮像ステップにて所定の周期で撮像されるフレーム画像について、現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分を演算する第１の演算ステップと、前記撮像ステップにて所定の周期で撮像されるフレーム画像について、現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分を演算する第２の演算ステップと、前記第１の演算ステップにて演算されたエッジ成分の差分と、前記第２の演算ステップにて演算された高輝度成分の差分の少なくともいずれかが、それぞれの基準値を超えているか否かを判断する第１の判断ステップと、この第１の判断ステップにて前記エッジ成分の差分と前記高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えていると判断されると、前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があるか否かを判断する第２の判断ステップと、この第２の判断ステップにて前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無いと判断すると、当該現在のフレーム画像をＭＰＥＧ符号化方式のＩピクチャ符号化対象に変更して、前記撮像ステップにて撮像を停止するまで撮像されたフレーム画像をＭＰＥＧ符号化方式で動画像に符号化する符号化ステップと、からなることを特徴とする。
請求項４記載の発明は、請求項３記載の発明に、前記第２の判断ステップにて前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があると判断すると、前記現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するよう前記符号化ステップを制御する符号化制御ステップを更に含むことを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を、動画（ムービー画像ともいう）記録モードを有する電子スチルカメラを例にして、図面を参照しながら説明する。
【００１７】
図１は、電子スチルカメラの外観図である。図示の電子スチルカメラ１は、特に限定しないが、本体部２と、本体部２に回動可能に取り付けられたカメラ部３とに分かれており、カメラ部３の前面（図面の裏面側）には図示を略した写真レンズが装着されている。写真レンズの後ろには、これも図示を略したＣＣＤ（イメージセンサ）が取り付けられており、後述の撮影モードの際に、写真レンズから取り込まれた被写体の像を映像信号に変換して、高解像度のフレーム画像を生成できるようになっている。
【００１８】
一方、本体部２には、画像（構図調整のためのスルー画像や記録済みのキャプチャー画像若しくはムービー画像の再生画像若しくはムービー画像を構成する各画面のうちｍ個の静止画像）を確認するための平面表示装置、例えば、液晶ディスプレイ４が取り付けられているほか、シャッターキー５を始めとする各種の操作キー類が適宜の位置に取り付けられている。操作キーの種類や呼び方は製造会社や機種によってまちまちであり一意に特定できないが、例えば、プラスキー６、マイナスキー７、メニューキー８、電源スイッチ９、ディスプレイキー１０、撮影モードキー１１、セルフタイマーキー１２、ストロボモードキー１３、ＲＥＣ／ＰＬＡＹキー１４などであり、これら各キーの機能（役割）は、以下のとおりである。
【００１９】
（Ａ）シャッターキー５：
撮影モード時には、その名のとおり“シャッターキー"（半押しで露出とフォーカスを固定し、全押しで画像をキャプチャーする又はムービー撮影を開始する）として働くキーであるが、撮影モードや再生モード時にメニューキー８が押された場合には、液晶ディスプレイ４に表示された様々な選択項目を了解するためのＹＥＳキーとしても働くマルチ機能キーである。
（Ｂ）プラスキー６：
再生画像を選択したり、各種システム設定を選択したりするために用いられるキーである。“プラス"は、その選択方向を意味し、画像選択の場合であれば最新画像の方向、システム設定選択の場合であれば液晶ディスプレイ４の走査方向である。
（Ｃ）マイナスキー７：
方向が逆向きである以外、プラスキーと同じ機能である。
【００２０】
（Ｄ）メニューキー８：
各種システム設定を行うためのキーである。再生モードにおいては、デリートモード（画像の消去モード）をはじめとした各種項目を液晶ディスプレイ４に表示し、撮影モードにおいては、画像の記録に必要な、例えば、記録画像の精細度やオートフォーカスのオンオフなどに加え、さらに、本実施の形態では、ムービー画像の撮影時間を指定するための選択項目を液晶ディスプレイ４に表示する。
（Ｅ）電源スイッチ９：
カメラの電源をオンオフするスイッチである。
（Ｆ）ディスプレイキー１０：
液晶ディスプレイ４に表示された画像に様々な情報をオーバラップ表示するためのキーである。例えば、撮影モードでは、残り撮影可能枚数や撮影形態（通常撮影、パノラマ撮影又はムービー撮影）などの情報をオーバラップ表示し、再生モードでは、再生画像の属性情報（ページ番号や精細度等）をオーバラップ表示する。
【００２１】
（Ｇ）撮影モードキー１１：
撮影モード時のみ使用可能になるキーである。通常撮影やパノラマ撮影を選択するほか、特に本実施の形態では、ムービー撮影モードを選択する。
（Ｈ）セルフタイマーキー１２：
セルフタイマー機能をオンオフするキーである。
（Ｉ）ストロボモードキー１３：
ストロボに関する様々な設定、例えば、強制発光させたり、発光を禁止したり、赤目を防止したりするキーである。
（Ｊ）ＲＥＣ／ＰＬＡＹキー１４
撮影モードと再生モードを切り替えるためのキーである。この例では、スライドスイッチになっており、上にスライドすると撮影モード、下にスライドすると再生モードになる。
【００２２】
図２は、本実施の形態における電子スチルカメラのブロック図である。なお、本実施の形態の電子スチルカメラは、自動露光（ＡＥ）機能と自動焦点（ＡＦ）機能を備えており、これらの機能に特有の要素（例えば、光量測定用センサ、測距センサ、オートフォーカス用駆動機構及びこれらの制御機構など）を備えているが、図示の簡単化のためにブロック図に記載していない。
【００２３】
図２において、１５は写真レンズ、１６はＣＣＤ（イメージセンサ；発明の要旨に記載の入力手段（変換手段）に相当）、１７は水平・垂直ドライバ、１８はタイミング発生器（略号はＴＧ）、１９はサンプルホールド回路（略号はＳ／Ｈ；発明の要旨に記載の入力手段（変換手段）に相当）、２０はアナログディジタル変換器（略号はＡ／Ｄ；発明の要旨に記載の入力手段（変換手段）に相当）、２１はカラープロセス回路（発明の要旨に記載の入力手段（変換手段）に相当）、２２はビデオトランスファー回路、２３はバッファメモリ、２４は圧縮・伸長回路（発明の要旨に記載の符号化手段及び変更手段に相当）、２５はフラッシュメモリ（発明の要旨に記載の記憶媒体に相当）、２６はＣＰＵ（発明の要旨に記載の記録手段に相当）、２７はキー入力部、２８はディジタルビデオエンコーダ、２９はバスであり、さらに、３０は本実施の形態の特有の要素の一つである動き検出回路（発明の要旨に記載の抽出手段及び検出手段に相当）である。
【００２４】
これら各部の機能は、概ね以下のとおりである。
（ａ）写真レンズ１５：
ＣＣＤ１６の受光面上に被写体の像を結ばせるためのものであり、自動焦点機能のための焦点合わせ機構を備えている。なお、ズーム機能を備えたり、沈胴式であったりしてもよい。
（ｂ）ＣＣＤ１６：
電荷をアレイ状に転送する固体撮像デバイスであり、写真レンズ１５を介して取り込まれた被写体像を電気信号に変換し、毎秒数十コマ程度のフレーム画像信号を出力するものである。
【００２５】
一般にＣＣＤは、多数の光電変換素子をアレイ状に並べた光電変換部と、光電変換素子の出力電荷を蓄積する電荷蓄積部と、電荷蓄積部の電荷を所定の方式で読み出す電荷読み出し部とから構成されており、光電変換素子の一つ一つが画素になる。例えば、有効画素数が１００万画素のＣＣＤでは、少なくともアレイの桝目が１００万個並んでいることになる。以下、説明の都合上、図示のＣＣＤ１６の有効画素数を１２８０×９６０とする。すなわち、行方向（横方向）に１２８０個、列方向（縦方向）に９６０個の画素で構成された、１２８０列×９６０行のアレイ構造を有しているとする。
【００２６】
なお、本実施の形態のＣＣＤ１６はカラーＣＣＤである。一般にＣＣＤの画素情報そのものは色情報を持っていないため、カラーＣＣＤでは前面に色フィルター（光の三原色を用いた原色フィルター又は色の三原色を用いた補色フィルター）を装着する。
【００２７】
また、ＣＣＤは、電荷の読み出し方式によって二つのタイプに分けることができる。第１は、信号を読み出すときに画素を一つずつ飛ばす「飛び越し読み出し方式」（インターレースＣＣＤとも言う）のタイプであり、第２は、全画素を順番に読み出す「全面読み出し方式」（プログレッシブＣＣＤとも言う）のタイプである。電子スチルカメラでは第２のタイプがよく用いられるものの、昨今の１００万画素を越えるメガピクセル級の電子スチルカメラでは第1のタイプを用いることもある。以下、説明の便宜上、本実施の形態のＣＣＤ１６は、第２のタイプ（全面読み出し方式）とする。
【００２８】
（ｃ）水平・垂直ドライバ１７とタイミング発生器１８：
ＣＣＤ１６の読み出しに必要な駆動信号を生成する部分であり、本実施の形態のＣＣＤ１６は、全面読み出し方式と仮定されているから、ＣＣＤ１６の各列を次々に指定しながら行単位に画素の情報を転送する（読み出す）ことができる駆動信号、要するに、１２８０列×９６０行のアレイ構造の左上から右下の方向（この方向はテレビジョンの走査方向に類似する）に画素情報をシリアルに読み出すための水平・垂直それぞれの駆動信号を生成するものである。
（ｄ）サンプルホールド回路１９：
ＣＣＤ１６から読み出された時系列の信号（この段階ではアナログ信号である）を、ＣＣＤ１６の解像度に適合した周波数でサンプリング（例えば、相関二重サンプリング）するものである。なお、サンプリング後に自動利得調整（ＡＧＣ）を行うこともある。
（ｅ）アナログディジタル変換器２０：
サンプリングされた信号をディジタル信号に変換するものである。
【００２９】
アナログディジタル変換器２０の出力から輝度・色差マルチプレクス信号（以下、ＹＵＶ信号と言う）を生成する部分である。ＹＵＶ信号を生成する理由は、次のとおりである。アナログディジタル変換器２０の出力は、アナログかディジタルかの違い及びサンプリングやディジタル変換の誤差を除き、実質的にＣＣＤ１６の出力と一対一に対応し、光の三原色データ（ＲＧＢデータ）そのものであるが、このデータはサイズが大きく、限られたメモリ資源の利用や処理時間の点で不都合をきたす。そこで、何らかの手法で多少なりともデータ量の削減を図る必要がある。ＹＵＶ信号は、一般にＲＧＢデータの各要素データ（Ｒデータ、Ｇデータ、Ｂデータ）は輝度信号Ｙに対して、Ｇ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙの三つの色差信号で表現できるうえ、これら三つの色差信号の冗長を取り除けば、Ｇ−Ｙを転送しなくてもよく、Ｇ−Ｙ＝α（Ｒ−Ｙ）−β（Ｂ−Ｙ）で再現できる、という原理に基づく一種のデータ量削減信号と言うことができる。ここで、αやβは合成係数である。
【００３０】
なお、ＹＵＶ信号をＹＣｂＣｒ信号（ＣｂとＣｒはそれぞれＢ−ＹとＲ−Ｙ）と言うこともあるが、本明細書ではＹＵＶ信号に統一することにする。また、ＹＵＶ信号の信号フォーマットは、輝度信号と二つの色差信号のそれぞれを独立して含む“コンポーネント”と呼ばれる固定長の三つのブロックで構成されており、各コンポーネントの長さ（ビット数）の比をコンポーネント比と言う。変換直後のＹＵＶ信号のコンポーネント比は１：１：１であるが、色差信号の二つのコンポーネントを短くする、すなわち、１：ｘ：ｘ（但し、ｘ＜１）とすることによってもデータ量を削減できる。これは、人間の視覚特性は輝度信号よりも色差信号に対して鈍感であると言うことを利用したものである。
【００３１】
（ｆ）ビデオトランスファー回路２２：
ビデオトランスファー回路２２は、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸張回路２４の間を行き来するデータの流れをコントロールするものである。
【００３２】
なお、“流れ”とは、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸長回路２４の間を行き来するデータの動きを概念的に捉えた便宜上の表現であり、その言葉自体に格別の意味はないものの、一般にディジタルシステムにとっては、データの素早い動きはその性能を直接に左右し、とりわけ大量の画素情報を取り扱う電子スチルカメラにとっては、（データの素早い動きは）当然配慮されなければならない設計条件の一つであるから、上記流れのすべて又は一部は高速データ転送の手法を駆使したデータの流れを意味するものである。すなわち、すべての流れは、例えば、ＤＭＡ（direct memory access）転送による流れであり、ビデオトランスファー回路２２は、それに必要な制御部（ＤＭＡコントローラ）やその他の周辺部分（例えば、転送速度調節のためのＦＩＦＯメモリ及びインターフェース回路など）を含み、これら各部の働きによって、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸長回路２４の間の“素早いデータ転送”（例えば、ＤＭＡ転送）を可能にするものである。
【００３３】
（ｇ）バッファメモリ２３：
書き換え可能な半導体メモリの一種であるＤＲＡＭで構成されている。一般にＤＲＡＭは記憶内容を保持するために、データの再書込み（リフレッシュ）をダイナミックに行う点でスタティックＲＡＭ（ＳＲＡＭ）と相違するが、ＳＲＡＭと比べて書込みや読み出し速度が劣るものの、ビット単価が安く、大容量の一時記憶を安価に構成できることから、特に電子スチルカメラに好適である。但し、本発明では、ＤＲＡＭに限定しない。書き換え可能な半導体メモリであればよい。
【００３４】
ここで、バッファメモリ２３の記憶容量は、以下の条件を全て満たさなければならない。第１の条件は作業に必要な充分なワークエリア（作業空間）を確保できる容量であるという点である。作業空間の大きさはＣＰＵ２６のアーキテクチャやＯＳ（オペレーティングシステム）及びそのＯＳの管理下で実行される各種のアプリケーションプログラムによって決まるので、これらの仕様を検討して過不足のない適切な大きさにすればよい。第２の条件は少なくともカラープロセス回路２１で生成された高精細な画像の情報（６４０×４８０画素の画像情報で且つ１：１：１のコンポーネント比をもつＹＵＶ信号）を格納できる大きさのバッファ領域を確保できる容量であるという点であり、さらに、第３の条件は動画用の画像（６４０×４８０画素）を格納できる大きさのバッファ領域を確保できる容量であるという点である。
【００３５】
（ｈ）圧縮・伸長回路２４：
通常撮影の画像についてはＪＰＥＧ圧縮と伸長を行い、ムービー撮影の画像（ムービー画像）についてはＭＰＥＧ圧縮と伸長を行う部分である。ＭＰＥＧは冒頭で説明したとおり動画像の符号化標準であり、ＪＰＥＧ（joint photographic experts group）はカラー静止画（２値画像や動画像を含まないフルカラーやグレイスケールの静止画）の国際符号化標準である。なお、圧縮・伸長回路２４は処理速度の点で専用のハードウェアにすべきであるが、ＣＰＵ２６でソフト的に行うことも可能である。
【００３６】
ＭＰＥＧのＮパラメータのディフォルト値（既定値）は、適当なランダムアクセス単位を考慮した適当な値（後述）に設定されている。また、Ｍパラメータは比較的穏やかな画像に合わせた適当な値（後述）に設定されている。これらのディフォルト値は、後述の「動き検出信号ＭＶ」がインアクティブ（便宜的にＬ論理）のときに適用される。
【００３７】
すなわち、ムービー画像を圧縮する際に「ＭＶ＝Ｌ」であれば、Ｎ枚のピクチャフレームでＧＯＰを構成するとともに、Ｉピクチャ（又はＰピクチャ）とＰピクチャの間にＭ−１枚のＢピクチャを挿入するが、「動き検出信号ＭＶ」がアクティブ（便宜的にＨ論理）のときで、且つ、そのアクティブ期間の長さが２フレーム分にわたる場合（図６のケース３及びケース４参照；詳細は後述）は、上記ディフォルト値を無視してＧＯＰを強制的に閉じるようになっている。
【００３８】
（ｉ）フラッシュメモリ２５：
書き換え可能な読み出し専用メモリ（ＰＲＯＭ：programmable read only memory）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものを指す。フラッシュＥＥＰＲＯＭ（flash electrically erasableＰＲＯＭ）とも言う。本実施の形態におけるフラッシュメモリ２５は、カメラ本体から取り外せない固定型であってもよいし、カード型やパッケージ型のように取り外し可能なものであってもよい。
（ｊ）ＣＰＵ２６：
所定のプログラムを実行してカメラの動作を集中制御するものである。プログラムは、ＣＰＵ２６の内部のインストラクションＲＯＭに書き込まれており、記録モードでは、そのモード用のプログラムが、また、再生モードでは、そのモード用のプログラムがインストラクションＲＯＭからＣＰＵ２６の内部ＲＡＭにロードされて実行される。
【００３９】
（ｋ）キー入力部２７：
カメラ本体に設けられた各種キースイッチの操作信号を生成する部分である。
（ｌ）ディジタルビデオエンコーダ２８：
ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域から読み出されたディジタル値の表示用画像をアナログ電圧に変換するとともに、液晶ディスプレイ４の走査方式に応じたタイミングで順次に出力するものである。
（ｍ）バス２９：
以上各部の間で共有されるデータ（及びアドレス）転送路である。図では省略しているが、各部の間には所要の制御線（コントロールライン）も設けられている。
【００４０】
（ｎ）動き検出回路３０：
Ａ／Ｄ２０の出力、すなわち、ディジタルデータに変換された撮像系の出力信号でＹＵＶ信号に変換する前の生のフレーム画像信号に基づいて被写体の動きを検出し、動きが大きい（又は激しい）場合にアクティブ（Ｈ論理）となる動き検出信号ＭＶを出力する回路である。
【００４１】
図３は、動き検出回路３０のブロック図であり、３１はローパスフィルタ（ＬＰＦ）、３２はハイパスフィルタ（ＨＰＦ）、３３はゲート回路、３４はピークホールド回路、３５は高輝度判定回路、３６は積算回路、３７は動き判定部である。ＬＰＦ３１とＨＰＦ３２でフレーム画像信号の高域周波数成分を取り出すとともに、ゲート回路３３で画面内の特定範囲以外をマスクし、ピークホールド回路３４でその特定範囲における高域周波数成分のピーク値ＰＫを保持する。同時に、高輝度判定回路３５で画面内の高輝度部分を判定し、その高輝度部分のマスクをゲート回路３３に指示するとともに、積算回路３６で高輝度部分の輝度積算値ＢＴを演算する。
【００４２】
図４は、動き判定部３７の構成図であり、３８はＰＫを１フレームの間保持するレジスタ、３９は現在のＰＫと前フレームのＰＫとの差分ΔＰＫを演算する差演算器、４０はΔＰＫと基準値ＲPKとを比較して「ΔＰＫ≧ＲPK」のときにＨ論理を出力する比較器である。また、４１はＢＴを１フレームの間保持するレジスタ、４２は現在のＢＴと前フレームのＢＴとの差分ΔＢＴを演算する差演算器、４３はΔＢＴと基準値ＲBTとを比較して「ΔＢＴ≧ＲBT」のときにＨ論理を出力する比較器である。さらに、４４は二つの比較器４０、４３の少なくとも一方からＨ論理が出力されたときにＨ論理を出力するオアゲート、４５はオアゲート４４の出力を１フレームの間保持するレジスタであり、レジスタ４５の保持値が動き検出信号ＭＶとして出力される。なお、ＦはＣＣＤ１６のフレーム周期に同期したフレーム信号であり、三つのレジスタ３８、４１及び４５は、このフレーム信号Ｆに応答して保持値を更新する。
【００４３】
図５は、動き判定部３７の真理値であり、「ΔＰＫ≧ＲPK」又は「ΔＢＴ≧ＲBT」のときにＭＶ＝Ｈ、すなわち、動き検出信号ＭＶが“アクティブ”になっている。
【００４４】
ここで、ΔＰＫは画面内の特定範囲における高域周波数成分のピーク値ＰＫのフレーム間差分であり、当該ピーク値ＰＫは被写体像のエッジ成分（発明の要旨に記載の特徴部分に相当）をよく表し、そのフレーム間差分に相当するΔＰＫが大きい場合（ΔＰＫ≧ＲPK）は、被写体の動きが大きく、二つのフレームの相関関係が希薄であることが分かる。
【００４５】
また、ΔＢＴは画面内の輝度成分（特に高輝度成分）積算値ＢＴのフレーム間差分であり、当該積算値ＢＴは被写体像を含む画面全体の明るさ（発明の要旨に記載の特徴部分に相当）をよく表し、そのフレーム間差分に相当するΔＢＴが大きい場合（ΔＢＴ≧ＲBT）も、被写体の動きが大きく、二つのフレームの相関関係が希薄であることが分かる。したがって、何れの場合も、被写体の著しい動きを検出しているから、該当するフレームの間、動き検出信号ＭＶをアクティブ状態に保持する。
【００４６】
次に、作用を説明する。
＜通常撮影の記録モード＞
このモードでは、写真レンズ１５の後方に配置されたＣＣＤ１６がドライバ１７からの信号で駆動され、写真レンズ１５で集められた映像が一定周期毎に光電変換されて１画像分の映像信号が出力される。そして、この映像信号がサンプリングホールド回路１９でサンプリングされ、アナログディジタル変換器２０でディジタル信号に変換された後、カラープロセス回路２１でＹＵＶ信号が生成される。このＹＵＶ信号は、ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域に転送され、同バッファ領域への転送完了後に、ビデオトランスファー回路２２及びディジタルビデオエンコーダ２８を介して液晶ディスプレイ４に送られ、スルー画像として表示される。
【００４７】
この状態でカメラの向きを変えると、液晶ディスプレイ４に表示中のスルー画像の構図が変化し、所望の構図が得られた時点でシャッターキー５を“半押し”して露出とフォーカスをセットした後、“全押し”すると、バッファメモリ２３のバッファ領域に保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ４に表示されているスルー画像も同時点の画像で固定される。
【００４８】
そして、その時点でバッファメモリ２３のバッファ領域に保存されているＹＵＶ信号は、ビデオトランスファー回路２２を介して圧縮・伸長回路２４に送られ、Ｙ、Ｃｂ、Ｃｒの各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ２５に書き込まれ、１画像分のキャプチャー画像として記録される。
【００４９】
＜通常撮影の再生モード＞
このモードでは、ＣＣＤ１６からバッファメモリ２３までの経路が停止されるとともに、最新のキャプチャー画像がフラッシュメモリ２５から読み出され、圧縮・伸長回路２４で伸張処理された後、ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域に送られる。そして、このバッファ領域のデータがビデオトランスファー回路２２とディジタルビデオエンコーダ２８を介して液晶ディスプレイ４に送られ、再生画像として表示される。
【００５０】
＜ムービー撮影の記録モード＞
基本的な動作は通常撮影時と同じであるが、シャッターキー５を全押しした後、あらかじめ設定されたムービー撮影時間の間、カラープロセス回路２１からのＹＵＶ信号を圧縮・伸長回路２４でＭＰＥＧ圧縮してフラッシュメモリ２５に記録する点で相違する。例えば、ムービー撮影時間が９秒に設定されている場合、シャッターキー５を全押ししてから９秒間のスルー画像を連続的にＭＰＥＧ圧縮してフラッシュメモリ２５に記録する。
【００５１】
＜ムービー撮影の再生モード＞
この再生モードでは二つのモードを選択することができる。その一つはフラッシュメモリ２５に記録されている動画像を再生して液晶ディスプレイ４に表示するモードであり、いわゆる動画再生のモードであるが、他の一つは動画像を構成する各画面の中からｍ個の画面を選択して液晶ディスプレイ４にマルチ画面表示するモードである。画面の選択数ｍは任意であるが、便宜的にｍ＝９とした場合、液晶ディスプレイ４に９枚の静止画を表示でき、例えば、ゴルフスィングを撮影した９秒間の動画像の中から１秒毎の９枚の静止画を表示してフォームの矯正等を行うことができる。
【００５２】
＜ムービー撮影の記録モードにおけるＭＰＥＧ圧縮の一例＞
図６は、ムービー撮影の記録モードにおけるＧＯＰ構造を示す図である。この図において、Ｆｎは入力画像信号（正確にはビデオトランスファー回路２２を介してカラープロセス回路２１からバッファメモリ２３に取り込まれたＹＵＶ信号）、ｔｎはＦｎのフレーム番号に対応した時間の指標である。なお、ｎはＣＣＤ１６の駆動周期に対応したフレームの順番である。
【００５３】
図には、ａ、ｂ及びｃの三つのパターンのＧＯＰ構造が示されており、これらのパターンは動き検出信号ＭＶの論理状態（ケース０〜ケース４）に基づいて択一的に選択される。すなわち、ＭＶが常にＬ論理となるケース０又はＭＶが１フレームだけＨ論理（アクティブ状態）となるケース１、２では、パターンａのＧＯＰ構造が選択され、ＭＶが２フレーム連続してＨ論理（アクティブ状態）となるケース３又はケース４では、パターンｂ又はパターンｃのＧＯＰ構造が選択されるようになっている。
【００５４】
パターンａのＧＯＰ構造は、ＧＯＰのＮパラメータとＭパラメータにディフォルト値を適用する。ここに、ディフォルト値は特に限定しないが、Ｎ＝９、Ｍ＝３である。パターンａの一つのＧＯＰは、例えば、Ｆ０、Ｆ−２、Ｆ−１、Ｆ３、Ｆ１、Ｆ２、Ｆ６、Ｆ４及びＦ５の９フレーム（Ｎフレーム）で構成されており、その符号化方式（符号化のピクチャタイプ）はＭ＝３に対応してＧＯＰの先頭から順にＩ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂの配列になっている。なお、前方参照フレームはＰピクチャ符号化における参照フレームとＢピクチャ符号化における前方向の参照フレームを表し、後方参照フレームはＢピクチャ符号化における後方向の参照フレームを表している。
【００５５】
ここに、ケース０のＭＶは、常にＬ論理（インアクティブ状態）であり、動き検出回路３０において被写体の著しい動きを検出していない（言い換えれば、動き検出回路３０において被写体の穏やかな動きを検出している）ことを示しているから、ケース０に、ディフォルトのＮパラメータとＭパラメータを適用する。これは、被写体の動きが穏やかな場合の予測誤差信号（動き補償予測の誤差信号）が小さく、圧縮効率を向上できるからである。
【００５６】
一方、ケース１とケース２のＭＶに着目すると、これらは１フレームの間、Ｈ論理（アクティブ状態）となっており、動き検出回路３０において被写体の著しい動きを検出していることを示しているが、当該フレームをＦｉとすると、その検出対象フレームはＦｉ−２とＦｉ−１の２フレーム（ケース１ではＦｉ＝Ｆ２であるからＦ０とＦ１、ケース２ではＦｉ＝Ｆ３であるからＦ１とＦ２）だけであり、この２フレームの相関関係が希薄（ケース１ではＦ０≠Ｆ１、ケース１ではＦ１≠Ｆ２）となっているものの、Ｂピクチャの符号化に必要な他の参照画像（ケース１ではＦ３、ケース２ではＦ０及びＦ３）とＦｉの相関関係（ケース０ではＦ１＝Ｆ３、ケース１ではＦ０＝Ｆ１及びＦ２＝Ｆ３）は認められるので、被写体の動きが穏やかな場合とみなして支障なく、ケース１とケース２についてもケース０と同様にディフォルトのＮ及びＭパラメータを適用する。
【００５７】
他方、ケース３とケース４のＭＶは、２フレームの間、Ｈ論理（アクティブ状態）が続いており、何れのケースもＢピクチャの符号化に必要な二つの参照画像との間の相関関係が明らかに希薄である。すなわち、ケース３ではＦ０≠Ｆ１≠Ｆ２であり、ケース４ではＦ１≠Ｆ２≠Ｆ３であるから、何れのケースも被写体の動きが激しく、予測誤差信号（動き補償予測の誤差信号）が大きいため、Ｂピクチャの挿入は却って圧縮効率を阻害することになるので、かかるケース３と４にあっては、該当フレーム（ケース３ではＦ−１、ケース４ではＦ１）の符号化を完了した時点でＮ及びＭのディフォルト値を無視して強制的にＧＯＰをクローズし、新たなＧＯＰの生成を開始する。
【００５８】
これによれば、新たなＧＯＰの先頭が必ずＩピクチャとなり、Ｉピクチャの画質は、例えば、静止画符号化標準のＪＰＥＧ相当になるので、被写体の動きが激しい場合の画質劣化を防止でき、ムービー撮影の記録画像の品質向上を図ることができる。
【００５９】
なお、新たなＧＯＰの生成の際に、Ｍパラメータを“１”にしてもよい。すなわち、Ｂピクチャを含まないＩピクチャとＰピクチャだけのＧＯＰ構造にしてもよく、被写体の動きが穏やかになってから、Ｍパラメータをディフォルト値に戻してもよい。
【００６０】
以上のとおり、本実施の形態によれば、動き検出回路３０で被写体の著しい動きを検出すると、ＮパラメータやＭパラメータのディフォルト値を無視してＧＯＰを強制的に閉じるようにしたから、画質のよいＩピクチャの実質数を増やして、ムービー撮影の記録画像の品質向上を図ることができるという格別の効果が得られる。
【００６１】
また、動き検出回路３０を構成するＬＰＦ３１、ＨＰＦ３２、ゲート回路３３、ピークホールド回路３４、高輝度判定回路３５及び積算回路３６などは、電子スチルカメラのＡＦ部に搭載されていることが多く、回路の共有化が可能であるため、大幅な改修等を必要とせずに低コストで上記効果を得ることができるというメリットもある。
【００６２】
さらに、動き検出回路３０の出力信号（動き検出信号ＭＶ）を利用することにより、ＭＰＥＧの動き補償の演算量削減も可能である。すなわち、ＭＰＥＧでは、被写体の画像の一部を切り出して動き量だけずらし、それを次のフレームの画像として予測（動き補償フレーム間予測）しているが、動き検出信号ＭＶによって、Ｂピクチャ符号化の対象フレームが前後いずれかのみに相関関係を有しているかを検出可能であるため、ＭＰＥＧの動き補償処理において、相関関係を持つ参照フレームに対してのみ動き補償フレーム間予測を適用することにより、動きベクトルの演算など大量の演算処理を簡素化でき、省電力化を図ることができるというメリットが得られる。
【００６３】
【発明の効果】
請求項１又は３記載の発明によれば、所定の周期で撮像されるフレーム画像について現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分と現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分とを演算し、これらエッジ成分の差分と高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えている場合、この現在のフレーム画像がＢピクチャ符号化対象であり、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無い場合には、この現在のフレーム画像をＩピクチャ符号化対象に変更して、撮像を停止するまで撮像されたフレーム画像を動画像に符号化するようにしたので、撮像された被写体の動きと画像全体の変化とに応じて、動画像をＭＰＥＧ符号化する際の符号化対象フレームを変更でき、動きが激しい場合の動画像の画質向上を達成できる。
請求項２又は４記載の発明によれば、請求項１又は３記載の発明に加え、現在のフレーム画像がＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係がある場合、この現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するようにしたので、撮像された被写体の動きと画像全体の変化とに応じて、動き補償フレーム間予測も採用することができ、動きが激しい場合の動画像の画質向上だけでなく、動きが穏やかな場合の情報量削減も達成できる。
【図面の簡単な説明】
【図１】電子スチルカメラの外観図である。
【図２】電子スチルカメラのブロック図である。
【図３】動き検出回路の構成図である。
【図４】動き判定部の構成図である。
【図５】動き判定部の真理値表である。
【図６】本実施の形態におけるＧＯＰ構造図である。
【図７】ＭＰＥＧのシンタクス図である。
【図８】ＧＯＰ構造の一例を示す図である。
【図９】原画像の画面順の入れ替わりを示す状態図である。
【符号の説明】
１６ ＣＣＤ（入力手段（変換手段））
１９ サンプルホールド回路（入力手段（変換手段））
２０ アナログディジタル変換器（入力手段（変換手段））
２１ カラープロセス回路（入力手段（変換手段））
２４ 圧縮・伸長回路（符号化手段、変更手段）
２５ フラッシュメモリ（記憶媒体）
２６ ＣＰＵ（記録手段）
３０ 動き検出回路（抽出手段、検出手段）
【発明の属する技術分野】
本発明は、動画像記録装置、及び、動画像符号化方法に関し、特に、ＭＰＥＧ（Moving Picture ExpertsGroup）標準の符号化方式で動画像の圧縮記録を行う電子スチルカメラやビデオカメラ等の動画像記録装置、及び、動画像符号化方法に関する。
【０００２】
【従来の技術】
＜ＭＰＥＧ符号化方式の概説＞
ＭＰＥＧは、蓄積メディア系や通信メディア系への動画像適用を目的としてＣＣＩＴＴ Ｈ．２６１（テレビ電話、テレビ会議用符号化）から発展した符号化標準である。ＭＰＥＧは、ＭＣ（Motion Compensation；動き補償）やＤＣＴ（Discrete Cosine Transform；離散コサイン変換）などの符号化ツールを持つ点で基本的にＨ．２６１と共通するが、早送り、巻戻し、途中再生及び逆転再生などのトリックモードを実現するための特殊な構造、すなわち、ＧＯＰ（Group Of Pictures）構造を持つ点で相違する。
【０００３】
図７は、ＭＰＥＧのシンタクス（構文；ビット・ストリームの満たすべき順序と内容）である。このシンタクスは、シーケンスヘッダとシーケンスエンドの間に幾つかのＧＯＰを持つシーケンス層と、その下位のＧＯＰ層からなり、ＧＯＰ層はＧＯＰヘッダの後にｎ個のピクチャフレーム（符号化された画面データ）を持つ構造になっている。
【０００４】
一つのＧＯＰがランダムアクセスの１単位であり、この単位で上述のトリックモードを可能にする。ｎ個のピクチャフレームのタイプ（ピクチャタイプ）は、Ｉピクチャ（略号：Ｉ）、Ｐピクチャ（略号：Ｐ）又はＢピクチャ（略号：Ｂ）の何れかであり、各ピクチャタイプの内容は、以下のとおりである。
（１）Ｉピクチャ
フレーム内符号化画像（Intra-Coded Picture）の略。画面の全てをイントラ符号化する画像である。ＧＯＰ内の独立性（参照画像を必要としない）を持つ点で他のピクチャタイプと異なる。
（２）Ｐピクチャ
フレーム間順方向予測符号化画像（Predictive-Coded Picture）の略。前のＩピクチャ又はＰピクチャから順方向予測される画像である。
（３）Ｂピクチャ
フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）の略。前後のＩピクチャ又はＰピクチャから双方向予測される画像である。
【０００５】
図８は、ＧＯＰ構造の一例を示す図であり、ＧＯＰのピクチャ数（Ｎパラメータ）を“１５”とするとともに、Ｉ又はＰピクチャとＰピクチャの周期（Ｍパラメータ）を“３”とした場合の例である。すなわち、１ＧＯＰが１５枚のフレームで構成されており、且つ、Ｉピクチャ（又はＰピクチャ）から次のＰピクチャまでのフレーム数が３枚の例を示している。
【０００６】
図８において、Ｉピクチャは参照画像を必要としないイントラ符号化画像であるが、ＰピクチャとＢピクチャは、それぞれ順方向と双方向の予測符号化画像であり、図に示すように、Ｐピクチャは既に符号化済みのＩピクチャ又はＰピクチャを参照画像とし、Ｂピクチャは前後のＩピクチャ又はＰピクチャを参照画像として、それぞれ順方向予測及び双方向予測された画像である。
【０００７】
Ｉピクチャでは原画像のブロックごとにＤＣＴ演算、量子化及び可変長符号化を行うが、ＰピクチャとＢピクチャでは参照画像との間の動き補償予測の誤差信号（予測誤差信号）に対してのみＤＣＴ演算、量子化及び可変長符号化を行うため、特に予測誤差信号が小さい場合、すなわち、動きの穏やかな動画像の場合の圧縮効率に優れている。
【０００８】
図９は、ＧＯＰのフレーム配列を示す図である。この図では、原画像の画面順（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５、……）が符号化処理の段階で一部入れ替わり、再生画像の段階で元の並び順に復帰する様子が示されている。符号化処理段階におけるＢピクチャの挿入は、その前後のＩピクチャ（又はＰピクチャ）とＰピクチャの符号化後に行われる。例えば、原画像のＢ３、Ｂ４に着目すると、Ｉ２とＰ５の符号化後、これらのＩ２とＰ５を参照画像にしてＢ３、Ｂ４が符号化され、Ｉ２とＰ５の後に挿入される結果、原画像の段階で「Ｉ２、Ｂ３、Ｂ４、Ｐ５」であった並び順が、「Ｉ２、……、Ｐ５、Ｂ３、Ｂ４」と入れ替わることになる。
【０００９】
ここで、ＧＯＰの生成規則は、▲１▼メディア上のＧＯＰの最初がＩピクチャであることと、▲２▼原画像及び再生画像の並び順でＧＯＰの最後がＰピクチャであることを満たしていればよく、上述のＮパラメータやＭパラメータに使用上の制限はないが、実際には、画質や動画像の動きなどから最適と思われる値、例えば、Ｎはランダムアクセス単位が０．４秒〜１秒程度になるような値（“１５”程度）、また、Ｍは比較的動きの穏やかな画像に合わせた値（“３”程度）に設定されることが多い。
【００１０】
＜動画像記録装置の一例＞
電子スチルカメラは、被写体の像を２次元のイメージセンサで電気信号に変換して、その電気信号から所定周期のフレーム画像を生成するとともに、シャッターキー押し下げ時のフレーム画像をキャプチャし、そのキャプチャ画像をフラッシュメモリ等の記憶媒体に記録するものであり、銀塩カメラと同じく被写体の静止画を記録するものであるが、近時、上記フレーム画像の周期的生成動作を利用し、被写体の動きを連続的に記録できるようにした電子スチルカメラが公知であり、かかる動画像の圧縮記録に上述のＭＰＥＧが用いられている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来の電子スチルカメラにあっては、Ｍパラメータをあらかじめ固定的に設定しており、その設定値は比較的動きの穏やかな画像に合わせた、例えば“３”であったため、メディア上のフレーム配列でＩピクチャ（又はＰピクチャ）とＰピクチャの間に、常にＭ−１＝２個のＢピクチャが挿入されることとなるが、以下の理由で、被写体の動きが激しい場合に画質の劣化を招くという問題点がある。
【００１２】
Ｂピクチャは上述のとおり、フレーム内挿双方向予測符号化画像であって、この画像は前後のＩピクチャ又はＰピクチャから双方向予測された誤差信号（予測誤差信号）にＩピクチャと同様のＤＣＴ演算、量子化及び可変長符号化を適用して情報量を圧縮するものであり、被写体の動きが穏やかな場合には相応の圧縮効果が得られて有効な反面、被写体の動きが激しい場合には予測誤差信号が大きくなって却って情報量の増加を招くことになるから、所要の伝送速度を確保するためには、“きつい量子化処理”………量子化とは連続する信号を適当な“間隔”で代表値に置き換え、代表値の番号を符号化する技術であり、“きつい量子化処理”とはその間隔を広げることをいう。………を施さざるを得ず、画質劣化の要因となっていた。
【００１３】
なお、Ｍパラメータを“１”にすれば、Ｂピクチャの挿入がなくなり、画質劣化を回避できるものの、Ｂピクチャのメリット、すなわち、被写体の動きが穏やかな場合の情報量の削減効果が失われるので好まくない。
【００１４】
そこで本発明は、被写体の動きが穏やかな場合の情報量削減と被写体の動きが激しい場合の画質向上とを共に達成できる動画像記録装置、及び、動画像符号化方法の提供を目的とする。
【００１５】
【課題を解決するための手段】
請求項１記載の発明は、所定の周期で撮像する撮像手段と、この撮像手段によって所定の周期で撮像されるフレーム画像について、現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分を演算する第１の演算手段と、前記撮像手段によって所定の周期で撮像されるフレーム画像について、現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分を演算する第２の演算手段と、前記第１の演算手段によって演算されたエッジ成分の差分と、前記第２の演算手段によって演算された高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えているか否かを判断する第１の判断手段と、この第１の判断手段により前記エッジ成分の差分と前記高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えていると判断されると、前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があるか否かを判断する第２の判断手段と、この第２の判断手段によって前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無いと判断すると、当該現在のフレーム画像をＭＰＥＧ符号化方式のＩピクチャ符号化対象に変更して、前記撮像手段が撮像を停止するまで撮像されたフレーム画像をＭＰＥＧ符号化方式で動画像に符号化する符号化手段と、この符号化手段により符号化された動画像を記録する記録手段と、
を備えたことを特徴とする。
請求項２記載の発明は、請求項１記載の発明に、前記第２の判断手段によって前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があると判断すると、前記現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するよう前記符号化手段を制御する符号化制御手段を更に備えたことを特徴とする。
請求項３記載の発明は、所定の周期で撮像する撮像ステップと、この撮像ステップにて所定の周期で撮像されるフレーム画像について、現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分を演算する第１の演算ステップと、前記撮像ステップにて所定の周期で撮像されるフレーム画像について、現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分を演算する第２の演算ステップと、前記第１の演算ステップにて演算されたエッジ成分の差分と、前記第２の演算ステップにて演算された高輝度成分の差分の少なくともいずれかが、それぞれの基準値を超えているか否かを判断する第１の判断ステップと、この第１の判断ステップにて前記エッジ成分の差分と前記高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えていると判断されると、前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があるか否かを判断する第２の判断ステップと、この第２の判断ステップにて前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無いと判断すると、当該現在のフレーム画像をＭＰＥＧ符号化方式のＩピクチャ符号化対象に変更して、前記撮像ステップにて撮像を停止するまで撮像されたフレーム画像をＭＰＥＧ符号化方式で動画像に符号化する符号化ステップと、からなることを特徴とする。
請求項４記載の発明は、請求項３記載の発明に、前記第２の判断ステップにて前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があると判断すると、前記現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するよう前記符号化ステップを制御する符号化制御ステップを更に含むことを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を、動画（ムービー画像ともいう）記録モードを有する電子スチルカメラを例にして、図面を参照しながら説明する。
【００１７】
図１は、電子スチルカメラの外観図である。図示の電子スチルカメラ１は、特に限定しないが、本体部２と、本体部２に回動可能に取り付けられたカメラ部３とに分かれており、カメラ部３の前面（図面の裏面側）には図示を略した写真レンズが装着されている。写真レンズの後ろには、これも図示を略したＣＣＤ（イメージセンサ）が取り付けられており、後述の撮影モードの際に、写真レンズから取り込まれた被写体の像を映像信号に変換して、高解像度のフレーム画像を生成できるようになっている。
【００１８】
一方、本体部２には、画像（構図調整のためのスルー画像や記録済みのキャプチャー画像若しくはムービー画像の再生画像若しくはムービー画像を構成する各画面のうちｍ個の静止画像）を確認するための平面表示装置、例えば、液晶ディスプレイ４が取り付けられているほか、シャッターキー５を始めとする各種の操作キー類が適宜の位置に取り付けられている。操作キーの種類や呼び方は製造会社や機種によってまちまちであり一意に特定できないが、例えば、プラスキー６、マイナスキー７、メニューキー８、電源スイッチ９、ディスプレイキー１０、撮影モードキー１１、セルフタイマーキー１２、ストロボモードキー１３、ＲＥＣ／ＰＬＡＹキー１４などであり、これら各キーの機能（役割）は、以下のとおりである。
【００１９】
（Ａ）シャッターキー５：
撮影モード時には、その名のとおり“シャッターキー"（半押しで露出とフォーカスを固定し、全押しで画像をキャプチャーする又はムービー撮影を開始する）として働くキーであるが、撮影モードや再生モード時にメニューキー８が押された場合には、液晶ディスプレイ４に表示された様々な選択項目を了解するためのＹＥＳキーとしても働くマルチ機能キーである。
（Ｂ）プラスキー６：
再生画像を選択したり、各種システム設定を選択したりするために用いられるキーである。“プラス"は、その選択方向を意味し、画像選択の場合であれば最新画像の方向、システム設定選択の場合であれば液晶ディスプレイ４の走査方向である。
（Ｃ）マイナスキー７：
方向が逆向きである以外、プラスキーと同じ機能である。
【００２０】
（Ｄ）メニューキー８：
各種システム設定を行うためのキーである。再生モードにおいては、デリートモード（画像の消去モード）をはじめとした各種項目を液晶ディスプレイ４に表示し、撮影モードにおいては、画像の記録に必要な、例えば、記録画像の精細度やオートフォーカスのオンオフなどに加え、さらに、本実施の形態では、ムービー画像の撮影時間を指定するための選択項目を液晶ディスプレイ４に表示する。
（Ｅ）電源スイッチ９：
カメラの電源をオンオフするスイッチである。
（Ｆ）ディスプレイキー１０：
液晶ディスプレイ４に表示された画像に様々な情報をオーバラップ表示するためのキーである。例えば、撮影モードでは、残り撮影可能枚数や撮影形態（通常撮影、パノラマ撮影又はムービー撮影）などの情報をオーバラップ表示し、再生モードでは、再生画像の属性情報（ページ番号や精細度等）をオーバラップ表示する。
【００２１】
（Ｇ）撮影モードキー１１：
撮影モード時のみ使用可能になるキーである。通常撮影やパノラマ撮影を選択するほか、特に本実施の形態では、ムービー撮影モードを選択する。
（Ｈ）セルフタイマーキー１２：
セルフタイマー機能をオンオフするキーである。
（Ｉ）ストロボモードキー１３：
ストロボに関する様々な設定、例えば、強制発光させたり、発光を禁止したり、赤目を防止したりするキーである。
（Ｊ）ＲＥＣ／ＰＬＡＹキー１４
撮影モードと再生モードを切り替えるためのキーである。この例では、スライドスイッチになっており、上にスライドすると撮影モード、下にスライドすると再生モードになる。
【００２２】
図２は、本実施の形態における電子スチルカメラのブロック図である。なお、本実施の形態の電子スチルカメラは、自動露光（ＡＥ）機能と自動焦点（ＡＦ）機能を備えており、これらの機能に特有の要素（例えば、光量測定用センサ、測距センサ、オートフォーカス用駆動機構及びこれらの制御機構など）を備えているが、図示の簡単化のためにブロック図に記載していない。
【００２３】
図２において、１５は写真レンズ、１６はＣＣＤ（イメージセンサ；発明の要旨に記載の入力手段（変換手段）に相当）、１７は水平・垂直ドライバ、１８はタイミング発生器（略号はＴＧ）、１９はサンプルホールド回路（略号はＳ／Ｈ；発明の要旨に記載の入力手段（変換手段）に相当）、２０はアナログディジタル変換器（略号はＡ／Ｄ；発明の要旨に記載の入力手段（変換手段）に相当）、２１はカラープロセス回路（発明の要旨に記載の入力手段（変換手段）に相当）、２２はビデオトランスファー回路、２３はバッファメモリ、２４は圧縮・伸長回路（発明の要旨に記載の符号化手段及び変更手段に相当）、２５はフラッシュメモリ（発明の要旨に記載の記憶媒体に相当）、２６はＣＰＵ（発明の要旨に記載の記録手段に相当）、２７はキー入力部、２８はディジタルビデオエンコーダ、２９はバスであり、さらに、３０は本実施の形態の特有の要素の一つである動き検出回路（発明の要旨に記載の抽出手段及び検出手段に相当）である。
【００２４】
これら各部の機能は、概ね以下のとおりである。
（ａ）写真レンズ１５：
ＣＣＤ１６の受光面上に被写体の像を結ばせるためのものであり、自動焦点機能のための焦点合わせ機構を備えている。なお、ズーム機能を備えたり、沈胴式であったりしてもよい。
（ｂ）ＣＣＤ１６：
電荷をアレイ状に転送する固体撮像デバイスであり、写真レンズ１５を介して取り込まれた被写体像を電気信号に変換し、毎秒数十コマ程度のフレーム画像信号を出力するものである。
【００２５】
一般にＣＣＤは、多数の光電変換素子をアレイ状に並べた光電変換部と、光電変換素子の出力電荷を蓄積する電荷蓄積部と、電荷蓄積部の電荷を所定の方式で読み出す電荷読み出し部とから構成されており、光電変換素子の一つ一つが画素になる。例えば、有効画素数が１００万画素のＣＣＤでは、少なくともアレイの桝目が１００万個並んでいることになる。以下、説明の都合上、図示のＣＣＤ１６の有効画素数を１２８０×９６０とする。すなわち、行方向（横方向）に１２８０個、列方向（縦方向）に９６０個の画素で構成された、１２８０列×９６０行のアレイ構造を有しているとする。
【００２６】
なお、本実施の形態のＣＣＤ１６はカラーＣＣＤである。一般にＣＣＤの画素情報そのものは色情報を持っていないため、カラーＣＣＤでは前面に色フィルター（光の三原色を用いた原色フィルター又は色の三原色を用いた補色フィルター）を装着する。
【００２７】
また、ＣＣＤは、電荷の読み出し方式によって二つのタイプに分けることができる。第１は、信号を読み出すときに画素を一つずつ飛ばす「飛び越し読み出し方式」（インターレースＣＣＤとも言う）のタイプであり、第２は、全画素を順番に読み出す「全面読み出し方式」（プログレッシブＣＣＤとも言う）のタイプである。電子スチルカメラでは第２のタイプがよく用いられるものの、昨今の１００万画素を越えるメガピクセル級の電子スチルカメラでは第1のタイプを用いることもある。以下、説明の便宜上、本実施の形態のＣＣＤ１６は、第２のタイプ（全面読み出し方式）とする。
【００２８】
（ｃ）水平・垂直ドライバ１７とタイミング発生器１８：
ＣＣＤ１６の読み出しに必要な駆動信号を生成する部分であり、本実施の形態のＣＣＤ１６は、全面読み出し方式と仮定されているから、ＣＣＤ１６の各列を次々に指定しながら行単位に画素の情報を転送する（読み出す）ことができる駆動信号、要するに、１２８０列×９６０行のアレイ構造の左上から右下の方向（この方向はテレビジョンの走査方向に類似する）に画素情報をシリアルに読み出すための水平・垂直それぞれの駆動信号を生成するものである。
（ｄ）サンプルホールド回路１９：
ＣＣＤ１６から読み出された時系列の信号（この段階ではアナログ信号である）を、ＣＣＤ１６の解像度に適合した周波数でサンプリング（例えば、相関二重サンプリング）するものである。なお、サンプリング後に自動利得調整（ＡＧＣ）を行うこともある。
（ｅ）アナログディジタル変換器２０：
サンプリングされた信号をディジタル信号に変換するものである。
【００２９】
アナログディジタル変換器２０の出力から輝度・色差マルチプレクス信号（以下、ＹＵＶ信号と言う）を生成する部分である。ＹＵＶ信号を生成する理由は、次のとおりである。アナログディジタル変換器２０の出力は、アナログかディジタルかの違い及びサンプリングやディジタル変換の誤差を除き、実質的にＣＣＤ１６の出力と一対一に対応し、光の三原色データ（ＲＧＢデータ）そのものであるが、このデータはサイズが大きく、限られたメモリ資源の利用や処理時間の点で不都合をきたす。そこで、何らかの手法で多少なりともデータ量の削減を図る必要がある。ＹＵＶ信号は、一般にＲＧＢデータの各要素データ（Ｒデータ、Ｇデータ、Ｂデータ）は輝度信号Ｙに対して、Ｇ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙの三つの色差信号で表現できるうえ、これら三つの色差信号の冗長を取り除けば、Ｇ−Ｙを転送しなくてもよく、Ｇ−Ｙ＝α（Ｒ−Ｙ）−β（Ｂ−Ｙ）で再現できる、という原理に基づく一種のデータ量削減信号と言うことができる。ここで、αやβは合成係数である。
【００３０】
なお、ＹＵＶ信号をＹＣｂＣｒ信号（ＣｂとＣｒはそれぞれＢ−ＹとＲ−Ｙ）と言うこともあるが、本明細書ではＹＵＶ信号に統一することにする。また、ＹＵＶ信号の信号フォーマットは、輝度信号と二つの色差信号のそれぞれを独立して含む“コンポーネント”と呼ばれる固定長の三つのブロックで構成されており、各コンポーネントの長さ（ビット数）の比をコンポーネント比と言う。変換直後のＹＵＶ信号のコンポーネント比は１：１：１であるが、色差信号の二つのコンポーネントを短くする、すなわち、１：ｘ：ｘ（但し、ｘ＜１）とすることによってもデータ量を削減できる。これは、人間の視覚特性は輝度信号よりも色差信号に対して鈍感であると言うことを利用したものである。
【００３１】
（ｆ）ビデオトランスファー回路２２：
ビデオトランスファー回路２２は、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸張回路２４の間を行き来するデータの流れをコントロールするものである。
【００３２】
なお、“流れ”とは、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸長回路２４の間を行き来するデータの動きを概念的に捉えた便宜上の表現であり、その言葉自体に格別の意味はないものの、一般にディジタルシステムにとっては、データの素早い動きはその性能を直接に左右し、とりわけ大量の画素情報を取り扱う電子スチルカメラにとっては、（データの素早い動きは）当然配慮されなければならない設計条件の一つであるから、上記流れのすべて又は一部は高速データ転送の手法を駆使したデータの流れを意味するものである。すなわち、すべての流れは、例えば、ＤＭＡ（direct memory access）転送による流れであり、ビデオトランスファー回路２２は、それに必要な制御部（ＤＭＡコントローラ）やその他の周辺部分（例えば、転送速度調節のためのＦＩＦＯメモリ及びインターフェース回路など）を含み、これら各部の働きによって、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸長回路２４の間の“素早いデータ転送”（例えば、ＤＭＡ転送）を可能にするものである。
【００３３】
（ｇ）バッファメモリ２３：
書き換え可能な半導体メモリの一種であるＤＲＡＭで構成されている。一般にＤＲＡＭは記憶内容を保持するために、データの再書込み（リフレッシュ）をダイナミックに行う点でスタティックＲＡＭ（ＳＲＡＭ）と相違するが、ＳＲＡＭと比べて書込みや読み出し速度が劣るものの、ビット単価が安く、大容量の一時記憶を安価に構成できることから、特に電子スチルカメラに好適である。但し、本発明では、ＤＲＡＭに限定しない。書き換え可能な半導体メモリであればよい。
【００３４】
ここで、バッファメモリ２３の記憶容量は、以下の条件を全て満たさなければならない。第１の条件は作業に必要な充分なワークエリア（作業空間）を確保できる容量であるという点である。作業空間の大きさはＣＰＵ２６のアーキテクチャやＯＳ（オペレーティングシステム）及びそのＯＳの管理下で実行される各種のアプリケーションプログラムによって決まるので、これらの仕様を検討して過不足のない適切な大きさにすればよい。第２の条件は少なくともカラープロセス回路２１で生成された高精細な画像の情報（６４０×４８０画素の画像情報で且つ１：１：１のコンポーネント比をもつＹＵＶ信号）を格納できる大きさのバッファ領域を確保できる容量であるという点であり、さらに、第３の条件は動画用の画像（６４０×４８０画素）を格納できる大きさのバッファ領域を確保できる容量であるという点である。
【００３５】
（ｈ）圧縮・伸長回路２４：
通常撮影の画像についてはＪＰＥＧ圧縮と伸長を行い、ムービー撮影の画像（ムービー画像）についてはＭＰＥＧ圧縮と伸長を行う部分である。ＭＰＥＧは冒頭で説明したとおり動画像の符号化標準であり、ＪＰＥＧ（joint photographic experts group）はカラー静止画（２値画像や動画像を含まないフルカラーやグレイスケールの静止画）の国際符号化標準である。なお、圧縮・伸長回路２４は処理速度の点で専用のハードウェアにすべきであるが、ＣＰＵ２６でソフト的に行うことも可能である。
【００３６】
ＭＰＥＧのＮパラメータのディフォルト値（既定値）は、適当なランダムアクセス単位を考慮した適当な値（後述）に設定されている。また、Ｍパラメータは比較的穏やかな画像に合わせた適当な値（後述）に設定されている。これらのディフォルト値は、後述の「動き検出信号ＭＶ」がインアクティブ（便宜的にＬ論理）のときに適用される。
【００３７】
すなわち、ムービー画像を圧縮する際に「ＭＶ＝Ｌ」であれば、Ｎ枚のピクチャフレームでＧＯＰを構成するとともに、Ｉピクチャ（又はＰピクチャ）とＰピクチャの間にＭ−１枚のＢピクチャを挿入するが、「動き検出信号ＭＶ」がアクティブ（便宜的にＨ論理）のときで、且つ、そのアクティブ期間の長さが２フレーム分にわたる場合（図６のケース３及びケース４参照；詳細は後述）は、上記ディフォルト値を無視してＧＯＰを強制的に閉じるようになっている。
【００３８】
（ｉ）フラッシュメモリ２５：
書き換え可能な読み出し専用メモリ（ＰＲＯＭ：programmable read only memory）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものを指す。フラッシュＥＥＰＲＯＭ（flash electrically erasableＰＲＯＭ）とも言う。本実施の形態におけるフラッシュメモリ２５は、カメラ本体から取り外せない固定型であってもよいし、カード型やパッケージ型のように取り外し可能なものであってもよい。
（ｊ）ＣＰＵ２６：
所定のプログラムを実行してカメラの動作を集中制御するものである。プログラムは、ＣＰＵ２６の内部のインストラクションＲＯＭに書き込まれており、記録モードでは、そのモード用のプログラムが、また、再生モードでは、そのモード用のプログラムがインストラクションＲＯＭからＣＰＵ２６の内部ＲＡＭにロードされて実行される。
【００３９】
（ｋ）キー入力部２７：
カメラ本体に設けられた各種キースイッチの操作信号を生成する部分である。
（ｌ）ディジタルビデオエンコーダ２８：
ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域から読み出されたディジタル値の表示用画像をアナログ電圧に変換するとともに、液晶ディスプレイ４の走査方式に応じたタイミングで順次に出力するものである。
（ｍ）バス２９：
以上各部の間で共有されるデータ（及びアドレス）転送路である。図では省略しているが、各部の間には所要の制御線（コントロールライン）も設けられている。
【００４０】
（ｎ）動き検出回路３０：
Ａ／Ｄ２０の出力、すなわち、ディジタルデータに変換された撮像系の出力信号でＹＵＶ信号に変換する前の生のフレーム画像信号に基づいて被写体の動きを検出し、動きが大きい（又は激しい）場合にアクティブ（Ｈ論理）となる動き検出信号ＭＶを出力する回路である。
【００４１】
図３は、動き検出回路３０のブロック図であり、３１はローパスフィルタ（ＬＰＦ）、３２はハイパスフィルタ（ＨＰＦ）、３３はゲート回路、３４はピークホールド回路、３５は高輝度判定回路、３６は積算回路、３７は動き判定部である。ＬＰＦ３１とＨＰＦ３２でフレーム画像信号の高域周波数成分を取り出すとともに、ゲート回路３３で画面内の特定範囲以外をマスクし、ピークホールド回路３４でその特定範囲における高域周波数成分のピーク値ＰＫを保持する。同時に、高輝度判定回路３５で画面内の高輝度部分を判定し、その高輝度部分のマスクをゲート回路３３に指示するとともに、積算回路３６で高輝度部分の輝度積算値ＢＴを演算する。
【００４２】
図４は、動き判定部３７の構成図であり、３８はＰＫを１フレームの間保持するレジスタ、３９は現在のＰＫと前フレームのＰＫとの差分ΔＰＫを演算する差演算器、４０はΔＰＫと基準値ＲPKとを比較して「ΔＰＫ≧ＲPK」のときにＨ論理を出力する比較器である。また、４１はＢＴを１フレームの間保持するレジスタ、４２は現在のＢＴと前フレームのＢＴとの差分ΔＢＴを演算する差演算器、４３はΔＢＴと基準値ＲBTとを比較して「ΔＢＴ≧ＲBT」のときにＨ論理を出力する比較器である。さらに、４４は二つの比較器４０、４３の少なくとも一方からＨ論理が出力されたときにＨ論理を出力するオアゲート、４５はオアゲート４４の出力を１フレームの間保持するレジスタであり、レジスタ４５の保持値が動き検出信号ＭＶとして出力される。なお、ＦはＣＣＤ１６のフレーム周期に同期したフレーム信号であり、三つのレジスタ３８、４１及び４５は、このフレーム信号Ｆに応答して保持値を更新する。
【００４３】
図５は、動き判定部３７の真理値であり、「ΔＰＫ≧ＲPK」又は「ΔＢＴ≧ＲBT」のときにＭＶ＝Ｈ、すなわち、動き検出信号ＭＶが“アクティブ”になっている。
【００４４】
ここで、ΔＰＫは画面内の特定範囲における高域周波数成分のピーク値ＰＫのフレーム間差分であり、当該ピーク値ＰＫは被写体像のエッジ成分（発明の要旨に記載の特徴部分に相当）をよく表し、そのフレーム間差分に相当するΔＰＫが大きい場合（ΔＰＫ≧ＲPK）は、被写体の動きが大きく、二つのフレームの相関関係が希薄であることが分かる。
【００４５】
また、ΔＢＴは画面内の輝度成分（特に高輝度成分）積算値ＢＴのフレーム間差分であり、当該積算値ＢＴは被写体像を含む画面全体の明るさ（発明の要旨に記載の特徴部分に相当）をよく表し、そのフレーム間差分に相当するΔＢＴが大きい場合（ΔＢＴ≧ＲBT）も、被写体の動きが大きく、二つのフレームの相関関係が希薄であることが分かる。したがって、何れの場合も、被写体の著しい動きを検出しているから、該当するフレームの間、動き検出信号ＭＶをアクティブ状態に保持する。
【００４６】
次に、作用を説明する。
＜通常撮影の記録モード＞
このモードでは、写真レンズ１５の後方に配置されたＣＣＤ１６がドライバ１７からの信号で駆動され、写真レンズ１５で集められた映像が一定周期毎に光電変換されて１画像分の映像信号が出力される。そして、この映像信号がサンプリングホールド回路１９でサンプリングされ、アナログディジタル変換器２０でディジタル信号に変換された後、カラープロセス回路２１でＹＵＶ信号が生成される。このＹＵＶ信号は、ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域に転送され、同バッファ領域への転送完了後に、ビデオトランスファー回路２２及びディジタルビデオエンコーダ２８を介して液晶ディスプレイ４に送られ、スルー画像として表示される。
【００４７】
この状態でカメラの向きを変えると、液晶ディスプレイ４に表示中のスルー画像の構図が変化し、所望の構図が得られた時点でシャッターキー５を“半押し”して露出とフォーカスをセットした後、“全押し”すると、バッファメモリ２３のバッファ領域に保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ４に表示されているスルー画像も同時点の画像で固定される。
【００４８】
そして、その時点でバッファメモリ２３のバッファ領域に保存されているＹＵＶ信号は、ビデオトランスファー回路２２を介して圧縮・伸長回路２４に送られ、Ｙ、Ｃｂ、Ｃｒの各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ２５に書き込まれ、１画像分のキャプチャー画像として記録される。
【００４９】
＜通常撮影の再生モード＞
このモードでは、ＣＣＤ１６からバッファメモリ２３までの経路が停止されるとともに、最新のキャプチャー画像がフラッシュメモリ２５から読み出され、圧縮・伸長回路２４で伸張処理された後、ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域に送られる。そして、このバッファ領域のデータがビデオトランスファー回路２２とディジタルビデオエンコーダ２８を介して液晶ディスプレイ４に送られ、再生画像として表示される。
【００５０】
＜ムービー撮影の記録モード＞
基本的な動作は通常撮影時と同じであるが、シャッターキー５を全押しした後、あらかじめ設定されたムービー撮影時間の間、カラープロセス回路２１からのＹＵＶ信号を圧縮・伸長回路２４でＭＰＥＧ圧縮してフラッシュメモリ２５に記録する点で相違する。例えば、ムービー撮影時間が９秒に設定されている場合、シャッターキー５を全押ししてから９秒間のスルー画像を連続的にＭＰＥＧ圧縮してフラッシュメモリ２５に記録する。
【００５１】
＜ムービー撮影の再生モード＞
この再生モードでは二つのモードを選択することができる。その一つはフラッシュメモリ２５に記録されている動画像を再生して液晶ディスプレイ４に表示するモードであり、いわゆる動画再生のモードであるが、他の一つは動画像を構成する各画面の中からｍ個の画面を選択して液晶ディスプレイ４にマルチ画面表示するモードである。画面の選択数ｍは任意であるが、便宜的にｍ＝９とした場合、液晶ディスプレイ４に９枚の静止画を表示でき、例えば、ゴルフスィングを撮影した９秒間の動画像の中から１秒毎の９枚の静止画を表示してフォームの矯正等を行うことができる。
【００５２】
＜ムービー撮影の記録モードにおけるＭＰＥＧ圧縮の一例＞
図６は、ムービー撮影の記録モードにおけるＧＯＰ構造を示す図である。この図において、Ｆｎは入力画像信号（正確にはビデオトランスファー回路２２を介してカラープロセス回路２１からバッファメモリ２３に取り込まれたＹＵＶ信号）、ｔｎはＦｎのフレーム番号に対応した時間の指標である。なお、ｎはＣＣＤ１６の駆動周期に対応したフレームの順番である。
【００５３】
図には、ａ、ｂ及びｃの三つのパターンのＧＯＰ構造が示されており、これらのパターンは動き検出信号ＭＶの論理状態（ケース０〜ケース４）に基づいて択一的に選択される。すなわち、ＭＶが常にＬ論理となるケース０又はＭＶが１フレームだけＨ論理（アクティブ状態）となるケース１、２では、パターンａのＧＯＰ構造が選択され、ＭＶが２フレーム連続してＨ論理（アクティブ状態）となるケース３又はケース４では、パターンｂ又はパターンｃのＧＯＰ構造が選択されるようになっている。
【００５４】
パターンａのＧＯＰ構造は、ＧＯＰのＮパラメータとＭパラメータにディフォルト値を適用する。ここに、ディフォルト値は特に限定しないが、Ｎ＝９、Ｍ＝３である。パターンａの一つのＧＯＰは、例えば、Ｆ０、Ｆ−２、Ｆ−１、Ｆ３、Ｆ１、Ｆ２、Ｆ６、Ｆ４及びＦ５の９フレーム（Ｎフレーム）で構成されており、その符号化方式（符号化のピクチャタイプ）はＭ＝３に対応してＧＯＰの先頭から順にＩ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂの配列になっている。なお、前方参照フレームはＰピクチャ符号化における参照フレームとＢピクチャ符号化における前方向の参照フレームを表し、後方参照フレームはＢピクチャ符号化における後方向の参照フレームを表している。
【００５５】
ここに、ケース０のＭＶは、常にＬ論理（インアクティブ状態）であり、動き検出回路３０において被写体の著しい動きを検出していない（言い換えれば、動き検出回路３０において被写体の穏やかな動きを検出している）ことを示しているから、ケース０に、ディフォルトのＮパラメータとＭパラメータを適用する。これは、被写体の動きが穏やかな場合の予測誤差信号（動き補償予測の誤差信号）が小さく、圧縮効率を向上できるからである。
【００５６】
一方、ケース１とケース２のＭＶに着目すると、これらは１フレームの間、Ｈ論理（アクティブ状態）となっており、動き検出回路３０において被写体の著しい動きを検出していることを示しているが、当該フレームをＦｉとすると、その検出対象フレームはＦｉ−２とＦｉ−１の２フレーム（ケース１ではＦｉ＝Ｆ２であるからＦ０とＦ１、ケース２ではＦｉ＝Ｆ３であるからＦ１とＦ２）だけであり、この２フレームの相関関係が希薄（ケース１ではＦ０≠Ｆ１、ケース１ではＦ１≠Ｆ２）となっているものの、Ｂピクチャの符号化に必要な他の参照画像（ケース１ではＦ３、ケース２ではＦ０及びＦ３）とＦｉの相関関係（ケース０ではＦ１＝Ｆ３、ケース１ではＦ０＝Ｆ１及びＦ２＝Ｆ３）は認められるので、被写体の動きが穏やかな場合とみなして支障なく、ケース１とケース２についてもケース０と同様にディフォルトのＮ及びＭパラメータを適用する。
【００５７】
他方、ケース３とケース４のＭＶは、２フレームの間、Ｈ論理（アクティブ状態）が続いており、何れのケースもＢピクチャの符号化に必要な二つの参照画像との間の相関関係が明らかに希薄である。すなわち、ケース３ではＦ０≠Ｆ１≠Ｆ２であり、ケース４ではＦ１≠Ｆ２≠Ｆ３であるから、何れのケースも被写体の動きが激しく、予測誤差信号（動き補償予測の誤差信号）が大きいため、Ｂピクチャの挿入は却って圧縮効率を阻害することになるので、かかるケース３と４にあっては、該当フレーム（ケース３ではＦ−１、ケース４ではＦ１）の符号化を完了した時点でＮ及びＭのディフォルト値を無視して強制的にＧＯＰをクローズし、新たなＧＯＰの生成を開始する。
【００５８】
これによれば、新たなＧＯＰの先頭が必ずＩピクチャとなり、Ｉピクチャの画質は、例えば、静止画符号化標準のＪＰＥＧ相当になるので、被写体の動きが激しい場合の画質劣化を防止でき、ムービー撮影の記録画像の品質向上を図ることができる。
【００５９】
なお、新たなＧＯＰの生成の際に、Ｍパラメータを“１”にしてもよい。すなわち、Ｂピクチャを含まないＩピクチャとＰピクチャだけのＧＯＰ構造にしてもよく、被写体の動きが穏やかになってから、Ｍパラメータをディフォルト値に戻してもよい。
【００６０】
以上のとおり、本実施の形態によれば、動き検出回路３０で被写体の著しい動きを検出すると、ＮパラメータやＭパラメータのディフォルト値を無視してＧＯＰを強制的に閉じるようにしたから、画質のよいＩピクチャの実質数を増やして、ムービー撮影の記録画像の品質向上を図ることができるという格別の効果が得られる。
【００６１】
また、動き検出回路３０を構成するＬＰＦ３１、ＨＰＦ３２、ゲート回路３３、ピークホールド回路３４、高輝度判定回路３５及び積算回路３６などは、電子スチルカメラのＡＦ部に搭載されていることが多く、回路の共有化が可能であるため、大幅な改修等を必要とせずに低コストで上記効果を得ることができるというメリットもある。
【００６２】
さらに、動き検出回路３０の出力信号（動き検出信号ＭＶ）を利用することにより、ＭＰＥＧの動き補償の演算量削減も可能である。すなわち、ＭＰＥＧでは、被写体の画像の一部を切り出して動き量だけずらし、それを次のフレームの画像として予測（動き補償フレーム間予測）しているが、動き検出信号ＭＶによって、Ｂピクチャ符号化の対象フレームが前後いずれかのみに相関関係を有しているかを検出可能であるため、ＭＰＥＧの動き補償処理において、相関関係を持つ参照フレームに対してのみ動き補償フレーム間予測を適用することにより、動きベクトルの演算など大量の演算処理を簡素化でき、省電力化を図ることができるというメリットが得られる。
【００６３】
【発明の効果】
請求項１又は３記載の発明によれば、所定の周期で撮像されるフレーム画像について現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分と現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分とを演算し、これらエッジ成分の差分と高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えている場合、この現在のフレーム画像がＢピクチャ符号化対象であり、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無い場合には、この現在のフレーム画像をＩピクチャ符号化対象に変更して、撮像を停止するまで撮像されたフレーム画像を動画像に符号化するようにしたので、撮像された被写体の動きと画像全体の変化とに応じて、動画像をＭＰＥＧ符号化する際の符号化対象フレームを変更でき、動きが激しい場合の動画像の画質向上を達成できる。
請求項２又は４記載の発明によれば、請求項１又は３記載の発明に加え、現在のフレーム画像がＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係がある場合、この現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するようにしたので、撮像された被写体の動きと画像全体の変化とに応じて、動き補償フレーム間予測も採用することができ、動きが激しい場合の動画像の画質向上だけでなく、動きが穏やかな場合の情報量削減も達成できる。
【図面の簡単な説明】
【図１】電子スチルカメラの外観図である。
【図２】電子スチルカメラのブロック図である。
【図３】動き検出回路の構成図である。
【図４】動き判定部の構成図である。
【図５】動き判定部の真理値表である。
【図６】本実施の形態におけるＧＯＰ構造図である。
【図７】ＭＰＥＧのシンタクス図である。
【図８】ＧＯＰ構造の一例を示す図である。
【図９】原画像の画面順の入れ替わりを示す状態図である。
【符号の説明】
１６ ＣＣＤ（入力手段（変換手段））
１９ サンプルホールド回路（入力手段（変換手段））
２０ アナログディジタル変換器（入力手段（変換手段））
２１ カラープロセス回路（入力手段（変換手段））
２４ 圧縮・伸長回路（符号化手段、変更手段）
２５ フラッシュメモリ（記憶媒体）
２６ ＣＰＵ（記録手段）
３０ 動き検出回路（抽出手段、検出手段）
Claims (4)
- 所定の周期で撮像する撮像手段と、
この撮像手段によって所定の周期で撮像されるフレーム画像について、現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分を演算する第１の演算手段と、
前記撮像手段によって所定の周期で撮像されるフレーム画像について、現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分を演算する第２の演算手段と、
前記第１の演算手段によって演算されたエッジ成分の差分と、前記第２の演算手段によって演算された高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えているか否かを判断する第１の判断手段と、
この第１の判断手段により前記エッジ成分の差分と前記高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えていると判断されると、前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があるか否かを判断する第２の判断手段と、
この第２の判断手段によって前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無いと判断すると、当該現在のフレーム画像をＭＰＥＧ符号化方式のＩピクチャ符号化対象に変更して、前記撮像手段が撮像を停止するまで撮像されたフレーム画像をＭＰＥＧ符号化方式で動画像に符号化する符号化手段と、
この符号化手段により符号化された動画像を記録する記録手段と、
を備えたことを特徴とする動画像記録装置。 - 前記第２の判断手段によって前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があると判断すると、前記現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するよう前記符号化手段を制御する符号化制御手段を更に備えたことを特徴とする請求項１に記載の動画像記録装置。
- 所定の周期で撮像する撮像ステップと、
この撮像ステップにて所定の周期で撮像されるフレーム画像について、現在のフレーム画像とこの現在の一つ前のフレーム画像に含まれる被写体像のエッジ成分の差分を演算する第１の演算ステップと、
前記撮像ステップにて所定の周期で撮像されるフレーム画像について、現在のフレーム画像全体とこの現在の一つ前のフレーム画像全体の高輝度成分の差分を演算する第２の演算ステップと、
前記第１の演算ステップにて演算されたエッジ成分の差分と、前記第２の演算ステップにて演算された高輝度成分の差分の少なくともいずれかが、それぞれの基準値を超えているか否かを判断する第１の判断ステップと、
この第１の判断ステップにて前記エッジ成分の差分と前記高輝度成分の差分の少なくともいずれかがそれぞれの基準値を超えていると判断されると、前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係があるか否かを判断する第２の判断ステップと、
この第２の判断ステップにて前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参照フレーム画像と相関関係が無いと判断すると、当該現在のフレーム画像をＭＰＥＧ符号化方式のＩピクチャ符号化対象に変更して、前記撮像ステップにて撮像を停止するまで撮像されたフレーム画像をＭＰＥＧ符号化方式で動画像に符号化する符号化ステップと、
からなることを特徴とする動画像符号化方法。 - 前記第２の判断ステップにて前記現在のフレーム画像がＭＰＥＧ符号化方式のＢピクチャ符号化対象であり、且つ、符号化に必要な前方向あるいは後方向の参 照フレーム画像と相関関係があると判断すると、前記現在のフレーム画像について動き補償フレーム間予測を行いＭＰＥＧ符号化方式で動画像に符号化するよう前記符号化ステップを制御する符号化制御ステップを更に含むことを特徴とする請求項３に記載の動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36622698A JP3794529B2 (ja) | 1998-12-24 | 1998-12-24 | 動画像記録装置、及び、動画像符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36622698A JP3794529B2 (ja) | 1998-12-24 | 1998-12-24 | 動画像記録装置、及び、動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000197003A JP2000197003A (ja) | 2000-07-14 |
| JP3794529B2 true JP3794529B2 (ja) | 2006-07-05 |
Family
ID=18486243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36622698A Expired - Fee Related JP3794529B2 (ja) | 1998-12-24 | 1998-12-24 | 動画像記録装置、及び、動画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3794529B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4436583B2 (ja) | 2001-12-19 | 2010-03-24 | 富士フイルム株式会社 | デジタルカメラ |
| JP2005184626A (ja) | 2003-12-22 | 2005-07-07 | Canon Inc | 画像処理装置 |
| JP4500610B2 (ja) | 2004-07-07 | 2010-07-14 | キヤノン株式会社 | 映像信号処理装置、メモリ制御方法、及びプログラム |
| JP5144237B2 (ja) | 2007-12-05 | 2013-02-13 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
| KR101409852B1 (ko) * | 2012-12-27 | 2014-06-20 | 전자부품연구원 | 영상의 움직임 객체 분석에 따른 계위적 부호화 방법 및 장치 |
-
1998
- 1998-12-24 JP JP36622698A patent/JP3794529B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000197003A (ja) | 2000-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8743227B2 (en) | Imaging apparatus and control method for reducing a load of writing image data on a recording medium | |
| WO2009098877A1 (ja) | 画像処理装置、及び画像処理方法 | |
| JP3822380B2 (ja) | 画像信号処理装置 | |
| JP4234968B2 (ja) | デジタルカメラ | |
| US8503855B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP6354877B2 (ja) | 撮像制御装置、及びその制御方法とプログラム | |
| JP3794529B2 (ja) | 動画像記録装置、及び、動画像符号化方法 | |
| JP2008252685A (ja) | 画像符号化装置およびそれを用いた撮像装置 | |
| JP3945059B2 (ja) | 動画像記録装置、及び、動画像記録方法 | |
| US6774940B1 (en) | Electronic camera apparatus having image reproducing function and method for controlling reproduction thereof | |
| JP6103481B2 (ja) | 撮像装置、及びその制御方法とプログラム | |
| JP4003172B2 (ja) | 画像信号処理装置及び電子カメラ | |
| JP2000032332A (ja) | 電子カメラ | |
| JP4311161B2 (ja) | 電子カメラ及び電子カメラの撮影制御方法 | |
| JP3695140B2 (ja) | 電子スチルカメラ及びその制御方法 | |
| JP2004186866A (ja) | 画像記録装置 | |
| JP3815068B2 (ja) | 電子スチルカメラ及びその制御方法 | |
| JP2000278641A (ja) | 動画処理装置及び動画処理方法 | |
| JP2000101916A (ja) | 電子スチルカメラ及びその制御方法 | |
| JP4247701B2 (ja) | 動画記録装置及び動画記録方法 | |
| JP4647480B2 (ja) | 動画像表示装置、及び、表示制御方法 | |
| JP2009033767A (ja) | 動画像記録装置、及び、動画像記録方法 | |
| JP3835657B2 (ja) | 電子スチルカメラ及び連写画像再生方法 | |
| JP3985115B2 (ja) | 電子カメラ及び画像表示方法 | |
| JP4635076B2 (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060324 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |