JP3945059B2

JP3945059B2 - Moving image recording apparatus and moving image recording method

Info

Publication number: JP3945059B2
Application number: JP36623898A
Authority: JP
Inventors: 浩資鍬田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1998-12-24
Filing date: 1998-12-24
Publication date: 2007-07-18
Anticipated expiration: 2018-12-24
Also published as: JP2000197004A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像記録装置に関し、詳しくは、ＭＰＥＧ（MovingPicture Experts Group）標準の符号化方式を適用して動画像の圧縮記録を行う動画像記録装置、及び、動画像記録方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧは、蓄積メディア系や通信メディア系への動画像適用を目的としてＣＣＩＴＴＨ．２６１（テレビ電話、テレビ会議用符号化）から発展した符号化標準である。ＭＰＥＧは、ＭＣ（Motion Compensation；動き補償）やＤＣＴ（Discrete Cosine Transform；離散コサイン変換）などの符号化ツールを持つ点で基本的にＨ．２６１と共通するが、早送り、巻戻し、途中再生及び逆転再生などのトリックモードを実現するための特殊な構造、すなわち、ＧＯＰ（Group Of Pictures）構造を持つ点で相違する。
【０００３】
図７は、ＭＰＥＧのシンタクス（構文；ビット・ストリームの満たすべき順序と内容）である。このシンタクスは、シーケンスヘッダとシーケンスエンドの間に幾つかのＧＯＰを持つシーケンス層と、その下位のＧＯＰ層からなり、ＧＯＰ層はＧＯＰヘッダの後にｎ個のピクチャフレーム（符号化された画面データ）を持つ構造になっている。
【０００４】
一つのＧＯＰがランダムアクセスの１単位であり、この単位で上述のトリックモードを可能にする。ｎ個のピクチャフレームのタイプ（ピクチャタイプ）は、Ｉピクチャ（略号：Ｉ）、Ｐピクチャ（略号：Ｐ）又はＢピクチャ（略号：Ｂ）の何れかであり、各ピクチャタイプの内容は、以下のとおりである。
（１）Ｉピクチャ
フレーム内符号化画像（Intra-Coded Picture）の略。画面の全てをイントラ符号化する画像である。ＧＯＰ内の独立性（参照画像を必要としない）を持つ点で他のピクチャタイプと異なる。
（２）Ｐピクチャ
フレーム間順方向予測符号化画像（Predictive-Coded Picture）の略。前のＩピクチャ又はＰピクチャから順方向予測される画像である。
（３）Ｂピクチャ
フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）の略。前後のＩピクチャ又はＰピクチャから双方向予測される画像である。
【０００５】
図８は、ＧＯＰ構造の一例を示す図であり、ＧＯＰのピクチャ数（Ｎパラメータ）を“１５”とするとともに、ＩピクチャとＰピクチャの周期（Ｍパラメータ）を“３”とした場合の例である。すなわち、１ＧＯＰが１５枚のフレームで構成されており、且つ、Ｉピクチャ（又はＰピクチャ）から次のＰピクチャまでのフレーム数が３枚の場合の例を示している。
【０００６】
図８において、Ｉピクチャは参照画像を必要としないイントラ符号化画像であるが、ＰピクチャとＢピクチャは、それぞれ順方向と双方向の予測符号化画像であり、図に示すように、Ｐピクチャは既に符号化済みのＩピクチャ又はＰピクチャを参照画像とし、Ｂピクチャは前後のＩピクチャ又はＰピクチャを参照画像として、それぞれ順方向予測及び双方向予測された画像である。
【０００７】
図９は、原画像の画面順（Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５、……）が符号化処理の段階で一部入れ替わり、再生画像の段階で元の並び順に復帰する様子を表す図である。符号化処理段階におけるＢピクチャの挿入は、その前後のＩピクチャ（又はＰピクチャ）とＰピクチャの符号化後に行われる。例えば、原画像のＢ３、Ｂ４に着目すると、Ｉ２とＰ５の符号化後、これらのＩ２とＰ５を参照画像にしてＢ３、Ｂ４が符号化され、Ｉ２とＰ５の後に挿入される結果、原画像の段階で「Ｉ２、Ｂ３、Ｂ４、Ｐ５」であった並び順が、「Ｉ２、……、Ｐ５、Ｂ３、Ｂ４」と入れ替わることになる。
【０００８】
ここで、ＧＯＰ構造の重要なパラメータは、上述の“Ｎパラメータ”と“Ｍパラメータ”、すなわち、ＧＯＰ内のピクチャ数（Ｎ）と、Ｉ又はＰピクチャの現れる周期（Ｍ）である。これらのパラメータに使用上の制限はない。▲１▼ビットストリーム上でＧＯＰの最初がＩピクチャであることと、▲２▼原画像の並び順でＧＯＰの最後がＩ又はＰピクチャであるという条件を満たしている限り、値の選択は自由であるが、実際には画質や動画像の動きなどから最適と思われる値が設定されている。
【０００９】
例えば、Ｍは２〜３程度の値に選ばれることが多く、また、Ｎはランダムアクセス単位が０．４秒〜１秒程度になるような値に選ばれることが多い。ちなみに、Ｍの最適値は動画像の動き（激しい動きは小さなＭ、穏やかな動きは大きなＭ）で決まるが、Ｎの最適値は画質とランダムアクセス単位の妥協で決まる。これは、Ｎを小さくするとランダムアクセス単位がきめ細かくなって、トリックモードの利便性向上を図ることができる点で好ましい反面、符号化効率が低下して画質の劣化を招くからである。
【００１０】
図１０は、従来のＧＯＰ層生成処理を示す原理的なフローチャートである。このフローチャートにおいて、“ＣＮ”、“ＣＭ”、“ｉ”及び“ｉΣ”は変数であり、その用途は次のとおりである。
ＣＮ：Ｎパラメータ（ＧＯＰ内のピクチャ数）の格納用変数
ＣＭ：Ｍパラメータ（Ｉ又はＰピクチャの現れる周期）の格納用変数
ｉ：Ｉ又はＰピクチャの現れる周期を数えるためのカウンタ変数
ｉΣ：ＧＯＰ内のピクチャ数を数えるためのカウンタ変数
【００１１】
このフローチャートでは、まず、変数ＣＮとＣＭにＮパラメータとＭパラメータをセットし（Ｓ１）、変数ｉとｉΣに初期値（０）をセット（Ｓ２、Ｓ３）して初期化処理を実行した後、以降のピクチャ生成処理（Ｓ４〜Ｓ１３）を実行する。
【００１２】
ピクチャ生成処理では、まず、原画像の画面ＧｉΣを読み込み（Ｓ４）、次いで、ｉΣ＝０であるか否かを判定し（Ｓ５）、その判定結果がＹＥＳであれば画面ＧｉΣのフレーム内符号化画像（Ｉピクチャ）を生成し（Ｓ６）、ＮＯであればｉ＜ＣＭであるか否かを判定して（Ｓ８）、その判定結果がＹＥＳであれば画面ＧｉΣのフレーム内挿双方向予測符号化画像（Ｂピクチャ）を生成し（Ｓ９）、ＮＯであれば画面ＧｉΣのフレーム間順方向予測符号化画像（Ｐピクチャ）を生成する（Ｓ１０）。
【００１３】
そして、ＩピクチャとＰピクチャを生成した場合は変数ｉとｉΣの両方をカウントアップし（Ｓ７、Ｓ１２）、Ｂピクチャを生成した場合は変数ｉの初期化（Ｓ１１）と変数ｉΣのカウントアップ（Ｓ１２）を行い、何れの場合も、ｉΣ＝ＣＮであるか否かを判定して（Ｓ１３）、その判定結果がＮＯの場合にＧｉΣの読み込み処理（Ｓ４）以降を繰り返すという処理を実行する。
【００１４】
以上の処理によれば、ｉΣ＝０のときの画面ＧｉΣはビットストリーム上でＧＯＰの最初となる画面であり、前述の条件▲１▼に当てはまる画面であるから、その画面ＧｉΣはＩピクチャでなければならないが、Ｓ４、Ｓ５及びＳ６に至るステップによって、かかる条件▲１▼を満たすことができ、ビットストリーム上でＧＯＰの最初となる画面Ｇ０をＩピクチャにすることができる。
さらに、ビットストリーム上でＧＯＰの最初以降の画面Ｇ１、Ｇ２、……については、変数ｉがＭパラメータ（Ｉ又はＰピクチャの現れる周期）に満たないとき、そのときの画面ＧｉΣをＢピクチャにすることができ、且つ、変数ｉがＭパラメータを満たしたとき、そのときの画面ＧｉΣをＰピクチャにすることができる。
【００１５】
したがって、例えば、Ｎを“２１”、Ｍを“３”と仮定した場合、原画像のＧ０〜Ｇ２０までの画面について、その最初の画面Ｇ０をＩピクチャにできるとともに、以降、ｉ＜ＣＭ、すなわち、ｉ＜３となるときの画面ＧｉΣ（例えば、Ｇ１とＧ２、Ｇ４とＧ５、Ｇ７とＧ８、……）の全てをＢピクチャにでき、且つ、ｉ＝３となるときの画面ＧｉΣ（例えば、Ｇ３、Ｇ６、Ｇ９、……）の全てをＰピクチャにできるから、あらかじめ最適値に設定されたＮパラメータとＭパラメータに応じたピクチャ配列のＭＰＥＧ画像をメディア上に構成することができる。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記従来の技術にあっては、特にＮパラメータ（ＧＯＰ内のピクチャ数）をあらかじめ最適と思われる値に設定するものであったため、例えば、メディア上の画面配列の中から任意の画面を選択して静止画像として表示（又は出力）する場合に選択画面の自由度が少ないという問題点があった。
【００１７】
例えば、動画像をＭＰＥＧ圧縮して記録するディジタルビデオカメラ（一部の電子スチルカメラを含む）などの画像記録システムにおいては、動画像を構成する１枚若しくは複数枚の画面を任意に抜き出して静止画として画面表示することが行われているが、表示対象の画面はＩ、Ｂ及びＰの三つのピクチャタイプの画面のうちＩピクチャだけに限られている。これは、Ｉピクチャの画面はフレーム内符号化画像であり、他のピクチャタイプに比べて原画像の画質に近い（ＪＰＥＧ画像の復号化画像程度の画質である）からである。
【００１８】
今、動画像を構成する各画像のフレーム周期を便宜的に０．０５秒とし、Ｎパラメータ（ＧＯＰ内のピクチャ数）を“２１”とすると、ランダムアクセス単位は０．０５秒×２１＝１．０５秒になる。このことは、１．０５秒毎にＩピクチャが現れることを意味しているから、１．０５秒間隔で画面を抜き出すことによって原画像の画質に近い静止画を表示することができる。
【００１９】
しかし、かかる選択画面の指定は、“１．０５秒間隔”という制限の下で行わなければならず、上記間隔以外の画面（例えば、０．５秒間隔の画面）を選択できないという不都合があるので、任意の画面を選択して静止画を表示（又は出力）するという点で使い勝手が悪く、この点において、解決すべき問題点がある。
【００２０】
そこで本発明は、所望する時間の静止画を表示（又は出力）できる動画像記録装置、及び、動画像記録方法の提供を目的とする。
【００２１】
【課題を解決するための手段】
請求項１記載の発明は、動画像に含まれる静止画を表示する表示手段と、この表示手段に表示され得る静止画の数をフレーム内符号化画像の数として、前記動画像である原画像の各画面の時間に対するランダムアクセス単位の目標時間に基づいてＧＯＰ内のピクチャ数を設定する設定手段と、この設定手段によって設定されたピクチャ数にしたがって、前記動画像をＭＰＥＧ圧縮して記録する記録手段とを備えたことを特徴とする。
請求項２記載の発明は、請求項１記載の発明に、第１のモードまたは第２のモードを選択する選択手段と、この選択手段により前記第１のモードが選択された場合には、前記記録手段に記録された動画像を読み出して前記表示手段に再生表示し、前記第２のモードが選択された場合には、前記記録手段に記録された動画像を読み出し当該動画像に含まれる複数の静止画を読み出して前記表示手段に表示する制御手段とを更に備えたことを特徴とする。
請求項３記載の発明は、請求項１又は２記載の発明に、撮像手段を更に備え、前記記録手段は、前記撮像手段によって撮像された動画像をＭＰＥＧ圧縮して記録することを特徴とする。
請求項４記載の発明は、動画像に含まれる静止画を表示部に表示させる表示ステップと、この表示ステップにて表示部に表示され得る静止画の数をフレーム内符号化画像の数として、前記動画像である原画像の各画面の時間に対するランダムアクセス単位の目標時間に基づいてＧＯＰ内のピクチャ数を設定する設定ステップと、前記設定ステップにて設定されたピクチャ数にしたがって前記動画像をＭＰＥＧ圧縮してメモリに記録する記録ステップとからなることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を、動画（ムービー画像ともいう）記録モードを有する電子スチルカメラを例にして、図面を参照しながら説明する。
【００２３】
図１は、電子スチルカメラの外観図である。図示の電子スチルカメラ１は、特に限定しないが、本体部２と、本体部２に回動可能に取り付けられたカメラ部３とに分かれており、カメラ部３の前面（図面の裏面側）には図示を略した写真レンズが装着されている。写真レンズの後ろには、これも図示を略したＣＣＤ（イメージセンサ）が取り付けられており、後述の撮影モードの際に、写真レンズから取り込まれた被写体の像を映像信号に変換して、高解像度のフレーム画像を生成できるようになっている。
【００２４】
一方、本体部２には、画像（構図調整のためのスルー画像や記録済みのキャプチャー画像若しくはムービー画像の再生画像若しくはムービー画像を構成する各画面のうちｍ個の静止画像）を確認するための平面表示装置、例えば、液晶ディスプレイ４が取り付けられているほか、シャッターキー５を始めとする各種の操作キー類が適宜の位置に取り付けられている。操作キーの種類や呼び方は製造会社や機種によってまちまちであり一意に特定できないが、例えば、プラスキー６、マイナスキー７、メニューキー８、電源スイッチ９、ディスプレイキー１０、撮影モードキー１１、セルフタイマーキー１２、ストロボモードキー１３、ＲＥＣ／ＰＬＡＹキー１４などであり、これら各キーの機能（役割）は、以下のとおりである。
【００２５】
（Ａ）シャッターキー５：
撮影モード時には、その名のとおり“シャッターキー"（半押しで露出とフォーカスを固定し、全押しで画像をキャプチャーする又はムービー撮影を開始する）として働くキーであるが、撮影モードや再生モード時にメニューキー８が押された場合には、液晶ディスプレイ４に表示された様々な選択項目を了解するためのＹＥＳキーとしても働くマルチ機能キーである。
（Ｂ）プラスキー６：
再生画像を選択したり、各種システム設定を選択したりするために用いられるキーである。“プラス"は、その選択方向を意味し、画像選択の場合であれば最新画像の方向、システム設定選択の場合であれば液晶ディスプレイ４の走査方向である。
（Ｃ）マイナスキー７：
方向が逆向きである以外、プラスキーと同じ機能である。
【００２６】
（Ｄ）メニューキー８：
各種システム設定を行うためのキーである。再生モードにおいては、デリートモード（画像の消去モード）をはじめとした各種項目を液晶ディスプレイ４に表示し、撮影モードにおいては、画像の記録に必要な、例えば、記録画像の精細度やオートフォーカスのオンオフなどに加え、さらに、本実施の形態では、ムービー画像の撮影時間を指定するための選択項目を液晶ディスプレイ４に表示する。（Ｅ）電源スイッチ９：
カメラの電源をオンオフするスイッチである。
（Ｆ）ディスプレイキー１０：
液晶ディスプレイ４に表示された画像に様々な情報をオーバラップ表示するためのキーであり、例えば、撮影モードでは、残り撮影可能枚数や撮影形態（通常撮影、パノラマ撮影又はムービー撮影）などの情報をオーバラップ表示し、再生モードでは、再生画像の属性情報（ページ番号や精細度等）をオーバラップ表示する。
【００２７】
（Ｇ）撮影モードキー１１：
撮影モード時のみ使用可能になるキーである。通常撮影やパノラマ撮影を選択するほか、特に本実施の形態では、ムービー撮影のモードを選択する。
（Ｈ）セルフタイマーキー１２：
セルフタイマー機能をオンオフするキーである。
（Ｉ）ストロボモードキー１３：
ストロボに関する様々な設定、例えば、強制発光させたり、発光を禁止したり、赤目を防止したりするキーである。
（Ｊ）ＲＥＣ／ＰＬＡＹキー１４
撮影モードと再生モードを切り替えるためのキーである。この例では、スライドスイッチになっており、上にスライドすると撮影モード、下にスライドすると再生モードになる。
【００２８】
図２は、本実施の形態における電子スチルカメラのブロック図である。なお、本実施の形態の電子スチルカメラは、自動露光機能及び自動焦点機能付きであり、これらの機能に特有の要素（例えば、光量測定用センサ、測距センサ、オートフォーカス用駆動機構及びこれらの制御機構など）を備えているが、図示の簡単化のためにブロック図には記載していない。
【００２９】
図２において、１５は写真レンズ、１６はＣＣＤ（イメージセンサ）、１７は水平・垂直ドライバ、１８はタイミング発生器（ＴＧ）、１９はサンプルホールド回路（Ｓ／Ｈ）、２０はアナログディジタル変換器（Ａ／Ｄ）、２１はカラープロセス回路、２２はビデオトランスファー回路、２３はバッファメモリ、２４は圧縮・伸長回路（発明の要旨に記載の変更手段に相当）、２５はフラッシュメモリ、２６はＣＰＵ、２７はキー入力部、２８はディジタルビデオエンコーダ、２９はバスである。
【００３０】
これら各部の機能は、概ね以下のとおりである。
（ａ）写真レンズ１５：
ＣＣＤ１６の受光面上に被写体の像を結ばせるためのものであり、自動焦点機能のための焦点合わせ機構を備えている。なお、ズーム機能を備えたり、沈胴式であったりしてもよい。
（ｂ）ＣＣＤ１６：
電荷をアレイ状に転送する固体撮像デバイスである。電荷結合素子とも呼ばれる。アナログ遅延線などに用いられるものもあるが、本明細書では、特に、二次元の光学情報を時系列（シリアル列）の電気信号に変換する固体のイメージセンサーを指す。
【００３１】
一般にＣＣＤは、多数の光電変換素子をアレイ状に並べた光電変換部と、光電変換素子の出力電荷を蓄積する電荷蓄積部と、電荷蓄積部の電荷を所定の方式で読み出す電荷読み出し部とから構成されており、光電変換素子の一つ一つが画素になる。例えば、有効画素数が１００万画素のＣＣＤでは、少なくともアレイの桝目が１００万個並んでいることになる。以下、説明の都合上、図示のＣＣＤ１６の有効画素数を１２８０×９６０とする。すなわち、行方向（横方向）に１２８０個、列方向（縦方向）に９６０個の画素で構成された、１２８０列×９６０行のアレイ構造を有しているとする。
【００３２】
なお、本実施の形態のＣＣＤ１６はカラーＣＣＤである。一般にＣＣＤの画素情報そのものは色情報を持っていないため、カラーＣＣＤでは前面に色フィルター（光の三原色を用いた原色フィルター又は色の三原色を用いた補色フィルター）を装着する。
【００３３】
また、ＣＣＤは、電荷の読み出し方式によって二つのタイプに分けることができる。第１は、信号を読み出すときに画素を一つずつ飛ばす「飛び越し読み出し方式」（インターレースＣＣＤとも言う）のタイプであり、第２は、全画素を順番に読み出す「全面読み出し方式」（プログレッシブＣＣＤとも言う）のタイプである。電子スチルカメラでは第２のタイプがよく用いられるものの、昨今の１００万画素を越えるメガピクセル級の電子スチルカメラでは第1のタイプを用いることもある。以下、説明の便宜上、本実施の形態のＣＣＤ１６は、第２のタイプ（全面読み出し方式）とする。
【００３４】
（ｃ）水平・垂直ドライバ１７とタイミング発生器１８：
ＣＣＤ１６の読み出しに必要な駆動信号を生成する部分であり、本実施の形態のＣＣＤ１６は、全面読み出し方式と仮定されているから、ＣＣＤ１６の各列を次々に指定しながら行単位に画素の情報を転送する（読み出す）ことができる駆動信号、要するに、１２８０列×９６０行のアレイ構造の左上から右下の方向（この方向はテレビジョンの走査方向に類似する）に画素情報をシリアルに読み出すための水平・垂直それぞれの駆動信号を生成するものである。
（ｄ）サンプルホールド回路１９：
ＣＣＤ１６から読み出された時系列の信号（この段階ではアナログ信号である）を、ＣＣＤ１６の解像度に適合した周波数でサンプリング（例えば、相関二重サンプリング）するものである。なお、サンプリング後に自動利得調整（ＡＧＣ）を行うこともある。
（ｅ）アナログディジタル変換器２０：
サンプリングされた信号をディジタル信号に変換するものである。
【００３５】
（ｆ）カラープロセス回路２１：
アナログディジタル変換器２０の出力から輝度・色差マルチプレクス信号（以下、ＹＵＶ信号と言う）を生成する部分である。ＹＵＶ信号を生成する理由は、次のとおりである。アナログディジタル変換器２０の出力は、アナログかディジタルかの違い及びサンプリングやディジタル変換の誤差を除き、実質的にＣＣＤ１６の出力と一対一に対応し、光の三原色データ（ＲＧＢデータ）そのものであるが、このデータはサイズが大きく、限られたメモリ資源の利用や処理時間の点で不都合をきたす。そこで、何らかの手法で多少なりともデータ量の削減を図る必要がある。ＹＵＶ信号は、一般にＲＧＢデータの各要素データ（Ｒデータ、Ｇデータ、Ｂデータ）は輝度信号Ｙに対して、Ｇ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙの三つの色差信号で表現できるうえ、これら三つの色差信号の冗長を取り除けば、Ｇ−Ｙを転送しなくてもよく、Ｇ−Ｙ＝α（Ｒ−Ｙ）−β（Ｂ−Ｙ）で再現できる、という原理に基づく一種のデータ量削減信号と言うことができる。ここで、αやβは合成係数である。
【００３６】
なお、ＹＵＶ信号をＹＣｂＣｒ信号（ＣｂとＣｒはそれぞれＢ−ＹとＲ−Ｙ）と言うこともあるが、本明細書ではＹＵＶ信号に統一することにする。また、ＹＵＶ信号の信号フォーマットは、輝度信号と二つの色差信号のそれぞれを独立して含む“コンポーネント”と呼ばれる固定長の三つのブロックで構成されており、各コンポーネントの長さ（ビット数）の比をコンポーネント比と言う。変換直後のＹＵＶ信号のコンポーネント比は１：１：１であるが、色差信号の二つのコンポーネントを短くする、すなわち、１：ｘ：ｘ（但し、ｘ＜１）とすることによってもデータ量を削減できる。これは、人間の視覚特性は輝度信号よりも色差信号に対して鈍感であると言うことを利用したものである。
【００３７】
（ｇ）ビデオトランスファー回路２２：
ビデオトランスファー回路２２は、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸張回路２４の間を行き来するデータの流れをコントロールするものである。
【００３８】
なお、“流れ”とは、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸長回路２４の間を行き来するデータの動きを概念的に捉えた便宜上の表現であり、その言葉自体に格別の意味はないものの、一般にディジタルシステムにとっては、データの素早い動きはその性能を直接に左右し、とりわけ大量の画素情報を取り扱う電子スチルカメラにとっては、（データの素早い動きは）当然配慮されなければならない設計条件の一つであるから、上記流れのすべて又は一部は高速データ転送の手法を駆使したデータの流れを意味するものである。すなわち、すべての流れは、例えば、ＤＭＡ（direct memory access）転送による流れであり、ビデオトランスファー回路２２は、それに必要な制御部（ＤＭＡコントローラ）やその他の周辺部分（例えば、転送速度調節のためのＦＩＦＯメモリ及びインターフェース回路など）を含み、これら各部の働きによって、カラープロセス回路２１、バッファメモリ２３、ディジタルビデオエンコーダ２８及び圧縮・伸長回路２４の間の“素早いデータ転送”（例えば、ＤＭＡ転送）を可能にするものである。
【００３９】
（ｈ）バッファメモリ２３：
書き換え可能な半導体メモリの一種であるＤＲＡＭで構成されている。一般にＤＲＡＭは記憶内容を保持するために、データの再書込み（リフレッシュ）をダイナミックに行う点でスタティックＲＡＭ（ＳＲＡＭ）と相違するが、ＳＲＡＭと比べて書込みや読み出し速度が劣るものの、ビット単価が安く、大容量の一時記憶を安価に構成できることから、特に電子スチルカメラに好適である。但し、本発明では、ＤＲＡＭに限定しない。書き換え可能な半導体メモリであればよい。
【００４０】
ここで、バッファメモリ２３の記憶容量は、以下の条件を全て満たさなければならない。第１の条件は作業に必要な充分なワークエリア（作業空間）を確保できる容量であるという点である。作業空間の大きさはＣＰＵ２６のアーキテクチャやＯＳ（オペレーティングシステム）及びそのＯＳの管理下で実行される各種のアプリケーションプログラムによって決まるので、これらの仕様を検討して過不足のない適切な大きさにすればよい。第２の条件は少なくともカラープロセス回路２１で生成された高精細な画像の情報（６４０×４８０画素の画像情報で且つ１：１：１のコンポーネント比をもつＹＵＶ信号）を格納できる大きさのバッファ領域を確保できる容量であるという点であり、さらに、第３の条件は動画用の画像（６４０×４８０画素）を格納できる大きさのバッファ領域を確保できる容量であるという点である。
【００４１】
（ｉ）圧縮・伸長回路２４：
通常撮影の画像についてはＪＰＥＧ圧縮と伸長を行い、ムービー撮影の画像（ムービー画像）についてはＭＰＥＧ圧縮と伸長を行う部分である。なお、圧縮・伸長回路２４は処理速度の点で専用のハードウェアにすべきであるが、ＣＰＵ２６でソフト的に行うことも可能である。
なお、ＭＰＥＧは冒頭で説明したとおり動画像の符号化標準であり、ＪＰＥＧ（joint photographic experts group）はカラー静止画（２値画像や動画像を含まないフルカラーやグレイスケールの静止画）の国際符号化標準である。
【００４２】
ちなみに、ＪＰＥＧでは、圧縮されたデータを完全に元に戻すことができる可逆符号化と、元に戻せない非可逆符号化の二つの方式が定められているが、殆どの場合、圧縮率の高い後者の非可逆符号化が用いられている。ＪＰＥＧの使い易さは、圧縮に用いられるパラメータ（圧縮パラメータ）を調節することによって、符号化に伴う画質劣化の程度を自在に変えられる点にある。すなわち、符号化側では、画像品質とファイルサイズのトレードオフの中から適当な圧縮パラメータを選択できるし、あるいは、復号化側では、品質を多少犠牲にして復号スピードを上げたり、時間はかかっても最高品質で再生したりするなどの選択ができる点で使い易い。ＪＰＥＧの実用上の圧縮率は、非可逆符号の場合で、およそ１０：１から５０：１程度である。一般的に１０：１から２０：１であれば視覚上の劣化を招かないが、多少の劣化を許容すれば３０：１から５０：１でも十分実用に供する。他の符号化方式の圧縮率は、例えば、ＧＩＦ（graphics interchange format）の場合で５：１程度に留まるから、ＪＰＥＧの優位性は明らかである。
【００４３】
（ｊ）フラッシュメモリ２５：
書き換え可能な読み出し専用メモリ（ＰＲＯＭ：programmable read only memory）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものを指す。フラッシュＥＥＰＲＯＭ（flash electrically erasableＰＲＯＭ）とも言う。本実施の形態におけるフラッシュメモリ２５は、カメラ本体から取り外せない固定型であってもよいし、カード型やパッケージ型のように取り外し可能なものであってもよい。
（ｋ）ＣＰＵ２６：
所定のプログラムを実行してカメラの動作を集中制御するものである。プログラムは、ＣＰＵ２６の内部のインストラクションＲＯＭに書き込まれており、記録モードでは、そのモード用のプログラムが、また、再生モードでは、そのモード用のプログラムがインストラクションＲＯＭからＣＰＵ２６の内部ＲＡＭにロードされて実行される。
【００４４】
（ｌ）キー入力部２７：
カメラ本体に設けられた各種キースイッチの操作信号を生成する部分である。
（ｍ）ディジタルビデオエンコーダ２８：
ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域から読み出されたディジタル値の表示用画像をアナログ電圧に変換するとともに、液晶ディスプレイ４の走査方式に応じたタイミングで順次に出力するものである。
（ｎ）バス２９：
以上各部の間で共有されるデータ（及びアドレス）転送路である。図では省略しているが、各部の間には所要の制御線（コントロールライン）も設けられている。
【００４５】
次に、作用を説明する。
＜通常撮影の記録モード＞
このモードでは、写真レンズ１５の後方に配置されたＣＣＤ１６がドライバ１７からの信号で駆動され、写真レンズ１５で集められた映像が一定周期毎に光電変換されて１画像分の映像信号が出力される。そして、この映像信号がサンプリングホールド回路１９でサンプリングされ、アナログディジタル変換器２０でディジタル信号に変換された後、カラープロセス回路２１でＹＵＶ信号が生成される。このＹＵＶ信号は、ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域に転送され、同バッファ領域への転送完了後に、ビデオトランスファー回路２２及びディジタルビデオエンコーダ２８を介して液晶ディスプレイ４に送られ、スルー画像として表示される。
【００４６】
この状態でカメラの向きを変えると、液晶ディスプレイ４に表示中のスルー画像の構図が変化し、所望の構図が得られた時点でシャッターキー５を“半押し”して露出とフォーカスをセットした後、“全押し”すると、バッファメモリ２３のバッファ領域に保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ４に表示されているスルー画像も同時点の画像で固定される。
【００４７】
そして、その時点でバッファメモリ２３のバッファ領域に保存されているＹＵＶ信号は、ビデオトランスファー回路２２を介して圧縮・伸長回路２４に送られ、Ｙ、Ｃｂ、Ｃｒの各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ２５に書き込まれ、１画像分のキャプチャー画像として記録される。
【００４８】
＜通常撮影の再生モード＞
このモードでは、ＣＣＤ１６からバッファメモリ２３までの経路が停止されるとともに、最新のキャプチャー画像がフラッシュメモリ２５から読み出され、圧縮・伸長回路２４で伸張処理された後、ビデオトランスファー回路２２を介してバッファメモリ２３のバッファ領域に送られる。そして、このバッファ領域のデータがビデオトランスファー回路２２とディジタルビデオエンコーダ２８を介して液晶ディスプレイ４に送られ、再生画像として表示される。
【００４９】
＜ムービー撮影の記録モード＞
基本的な動作は通常撮影時と同じであるが、シャッターキー５を全押した後、あらかじめ設定されたムービー撮影時間の間、カラープロセス回路２１からのＹＵＶ信号出力を圧縮・伸長回路２４でＭＰＥＧ圧縮してフラッシュメモリ２５に記録する点で相違する。例えば、ムービー撮影時間が９秒に設定されている場合、シャッターキー５を全押ししてから９秒間のスルー画像を連続的にＭＰＥＧ圧縮してフラッシュメモリ２５に記録できる。
【００５０】
＜ムービー撮影の再生モード＞
この再生モードでは二つのモードを選択することができる。その一つはフラッシュメモリ２５に記録されている動画像を再生して液晶ディスプレイ４に表示するモードであり、いわゆる動画再生のモードであるが、他の一つは動画像を構成する各画面の中からｍ個の画面を選択して液晶ディスプレイ４にマルチ画面表示するモードである。画面の選択数ｍは任意であるが、便宜的にｍ＝９とした場合、液晶ディスプレイ４に９枚の静止画を表示でき、例えば、ゴルフスィングを撮影した９秒間の動画像の中から１秒毎の９枚の静止画を表示してフォームの矯正等を行うことができる。
【００５１】
図３は、本実施の形態におけるＭＰＥＧ圧縮処理の動作フローチャートであり、冒頭で説明した従来例（図１０）との相違はＳ７とＳ１３のステップの間にＮパラメータの更新処理（Ｓ２０）を設けた点にある。すなわち、Ｉ、Ｂ又はＰピクチャを生成する度に、図４に示す「Ｎ更新処理」を実行するようにした点にある。
【００５２】
図４において、Ｎ更新処理は、所定のフラグ（ＦＬＧ）を検査（Ｓ２１）して“１”であれば、次式（イ）を演算してＣＮ（ＧＯＰ内のピクチャ数）を更新し（Ｓ２２）、ＦＬＧのリセットと変数ｉ及びｉΣの初期化を行う（Ｓ２３〜Ｓ２５）というものである。
ＣＮ←ＩＴ／ＧＴ …………（イ）
ここに、ＩＴはランダムアクセス単位の目標時間であり、ＧＴは原画像の各画面の時間（フレーム時間相当）である。例えば、ＩＴ＝１．０５秒、ＧＴ＝０．０５秒とすると、ＣＮは“２１”となり、あるいは、ＩＴ＝０．５秒、ＧＴ＝０．０５秒とすると、ＣＮは“１０”となる。
【００５３】
図示のＮ更新処理においては、ＩＴやＧＴに応じてＮパラメータ（ＧＯＰ内のピクチャ数）を変更することができ、例えば、Ｎパラメータを“２１”から“１０”に変更した場合は、Ｉピクチャの出現間隔を１．０５秒から０．５秒へと変化させることができ、液晶ディスプレイ４に表示する静止画用Ｉピクチャ画面の選択間隔を１．０５秒から０．５秒へと変更して、よりきめ細かな時間間隔の静止画表示を行うことができる。
【００５４】
ちなみに、図５と図６は、Ｎパラメータをそれぞれ“２１”及び“１０”とした場合（何れもＭ＝３）のＧＯＰ構造図である。図５のＧＯＰ構造ではＩピクチャの出現間隔が２１画面ごとであるが、図６のＧＯＰ構造では１０画面ごとになっている。すなわち、ＧＴ＝０．０５秒とすると、前者は１．０５秒ごとの出現、後者は０．５秒ごとの出現となり、明らかに後者の方が短い時間間隔で静止画用のＩピクチャ画面を選択することができる。したがって、ゴルフスィングを例にとれば、０．５秒間隔のｍ個の静止画を表示でき、よりきめ細かなフォーム分析を行うことができるという格別の効果を得ることができる。
【００５５】
Ｎパラメータの変更、すなわち、「Ｎ変更処理」の実行は、ＦＬＧをセットするだけでよい。例えば、図５のＧＯＰ生成処理中にＦＬＧをセットするとともに、ＩＴに０．５秒をセットすれば、以降のＧＯＰ構造を図６のようにすることができる。
【００５６】
ＦＬＧのセット及びＩＴへの所望時間の設定は、例えば、キー入力部２７のメニューキー８を操作して液晶ディスプレイ４に所要のメニュー（Ｎパラメータ変更メニュー）を表示し、そのメニュー項目を、キー入力部２７のプラスキー６やマイナスキー７などを用いて選択することによって直接的（ＩＴの直接変更とＦＬＧのセット）に行ってもよいし、または、キー入力部２７のメニューキー８を操作してムービー画像の撮影時間を指定する際に、その指定された撮影時間に関連付けてＮパラメータ（ＩＴ）を間接変更するとともに、ＦＬＧをセットしてもよい。いずれにしても、キー入力部２７は、圧縮・伸長回路２４と共にＭＰＥＧのＮパラメータを変更する機能を担うので、圧縮・伸長回路２４と共に発明の要旨に記載の変更手段として機能する。
【００５７】
なお、ムービー画像中の任意の画面を良好な画質で静止画表示するという観点に立てば、当該任意の画面をＣＣＤ１６で撮影した時点で、例えば、シャッターキー５を押して強制的にＧＯＰを開始するようにしてもよい。ＧＯＰの最初の画面は常にＩピクチャになるからである。この場合、シャッターキー５は発明の要旨に記載のイベント発生手段として機能し、また、ＣＣＤ１６とカラープロセス回路２１は同要旨に記載の画面取得手段として機能し、さらに、圧縮・伸長回路２４とＣＰＵ２６は同要旨に記載のＧＯＰ開始手段として機能する。
【００５８】
【発明の効果】
請求項１又は４記載の発明によれば、表示され得る静止画の数をフレーム内符号化画像の数として、動画像である原画像の各画面の時間に対するランダムアクセス単位の目標時間に基づいてＧＯＰ内のピクチャ数を設定し、動画像を記録する際はこの設定されたピクチャ数にしたがってＭＰＥＧ圧縮して記録するので、動画像をＭＰＥＧ圧縮して記録する際のＧＯＰ内のピクチャ数を、表示する静止画の数に基づいて設定することができ、例えば、動画像の中から画質のよい画面を静止画表示する際の自在性を向上することができる。
請求項２記載の発明によれば、請求項１記載の発明に加え、記録された動画像を読み出して前記表示手段に再生表示するモードと、記録された動画像に含まれる複数の静止画を読み出して表示するモードの２つを選択できるようにしたので、例えば、動画像の中の静止画を表示するだけでなく、通常の動画再生も行うことができる。
請求項３記載の発明によれば、請求項１又は２記載の発明に加え、撮像された動画像についてＭＰＥＧ圧縮して記録するようにしたので、撮像した動画像についても、動画像の中から画質のよい画面を静止画表示する際の自在性を向上することができる。
【図面の簡単な説明】
【図１】電子スチルカメラの外観図である。
【図２】電子スチルカメラのブロック図である。
【図３】本実施の形態におけるＭＰＥＧ圧縮処理の動作フローチャートである。
【図４】本実施の形態におけるＮ更新処理の動作フローチャートである。
【図５】本実施の形態におけるＧＯＰ構造図（Ｎ＝２１）である。
【図６】本実施の形態におけるＧＯＰ構造図（Ｎ＝１０）である。
【図７】ＭＰＥＧのシンタクス図である。
【図８】ＧＯＰ構造の一例を示す図である。
【図９】原画像の画面順の入れ替わりを示す状態図である。
【図１０】従来のＧＯＰ層生成処理を示す原理的なフローチャートである。
【符号の説明】
５シャッターキー（イベント発生手段）
１６ＣＣＤ（画面取得手段）
２１カラープロセス回路（画面取得手段）
２４圧縮・伸長回路（変更手段、ＧＯＰ開始手段）
２６ＣＰＵ（ＧＯＰ開始手段）
２７キー入力部（変更手段）[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a moving picture recording apparatus, and more particularly, to a moving picture recording apparatus that compresses and records a moving picture by applying an MPEG (Moving Picture Experts Group) standard encoding method.And a moving image recording methodRelated.
[0002]
[Prior art]
MPEG is CCITT H.264 for the purpose of applying moving images to storage media and communication media. It is a coding standard developed from H.261 (video phone, video conference coding). MPEG is basically H.264 in that it has coding tools such as MC (Motion Compensation) and DCT (Discrete Cosine Transform). Although it is common to H.261, it is different in that it has a special structure for realizing trick modes such as fast forward, rewind, halfway reproduction, and reverse reproduction, that is, a GOP (Group Of Pictures) structure.
[0003]
FIG. 7 shows the MPEG syntax (syntax; the order and contents to be satisfied by the bit stream). This syntax consists of a sequence layer having several GOPs between the sequence header and the sequence end, and a GOP layer below it. The GOP layer consists of n picture frames (encoded screen data) after the GOP header. It has a structure with
[0004]
One GOP is one unit of random access, and this unit enables the above trick mode. The type (picture type) of n picture frames is any of an I picture (abbreviation: I), a P picture (abbreviation: P), or a B picture (abbreviation: B). The contents of each picture type are as follows: It is as follows.
(1) I picture
Abbreviation for intra-coded picture. This is an image for intra-coding all of the screen. It differs from other picture types in that it has independence within GOP (no reference image is required).
(2) P picture
An abbreviation for Predictive-Coded Picture. This is an image predicted in the forward direction from the previous I picture or P picture.
(3) B picture
Abbreviation for Bidirectionally Predictive-Coded Picture. It is an image that is bidirectionally predicted from the preceding and following I-pictures or P-pictures.
[0005]
FIG. 8 is a diagram illustrating an example of the GOP structure, in which the number of GOP pictures (N parameter) is set to “15” and the period of I and P pictures (M parameter) is set to “3”. It is. That is, an example is shown in which one GOP is composed of 15 frames, and the number of frames from an I picture (or P picture) to the next P picture is three.
[0006]
In FIG. 8, an I picture is an intra-coded picture that does not require a reference picture, but a P picture and a B picture are predictive coded pictures in the forward and bidirectional directions, respectively. Is a picture that has been subjected to forward prediction and bidirectional prediction, respectively, using an already encoded I picture or P picture as a reference picture, and a B picture using the preceding and following I pictures or P pictures as reference pictures.
[0007]
FIG. 9 shows a state in which the screen order (B0, B1, I2, B3, B4, P5,...) Of the original image is partially replaced at the encoding process stage and is restored to the original arrangement order at the playback image stage. FIG. The insertion of the B picture in the encoding process stage is performed after encoding the I picture (or P picture) and the P picture before and after that. For example, focusing on B3 and B4 of the original image, after encoding I2 and P5, B3 and B4 are encoded using these I2 and P5 as reference images, and inserted after I2 and P5. In this stage, the arrangement order of “I2, B3, B4, P5” is replaced with “I2,..., P5, B3, B4”.
[0008]
Here, the important parameters of the GOP structure are the above-mentioned “N parameter” and “M parameter”, that is, the number of pictures (N) in the GOP and the period (M) in which the I or P picture appears. There are no usage restrictions on these parameters. (1) The value can be freely selected as long as the condition that the first GOP is an I picture on the bitstream and (2) the last GOP is an I or P picture in the original image arrangement order is satisfied. However, in practice, values that are considered to be optimal are set based on the image quality and the motion of moving images.
[0009]
For example, M is often selected to have a value of about 2 to 3, and N is often selected to have a random access unit of about 0.4 seconds to 1 second. By the way, the optimum value of M is determined by the motion of the moving image (small motion is intense motion and large M is gentle motion), but the optimal value of N is determined by the compromise between image quality and random access unit. This is because, if N is made small, the random access unit becomes fine and the convenience of the trick mode can be improved. On the other hand, the coding efficiency is lowered and the image quality is deteriorated.
[0010]
FIG. 10 is a principle flowchart showing a conventional GOP layer generation process. In this flowchart, “CN”, “CM”, “i”, and “iΣ” are variables, and their uses are as follows.
CN: Variable for storing N parameter (number of pictures in GOP)
CM: Variable for storing M parameter (cycle in which I or P picture appears)
i: Counter variable for counting the period in which an I or P picture appears
iΣ: Counter variable for counting the number of pictures in the GOP
[0011]
In this flowchart, first, N and M parameters are set in variables CN and CM (S1), initial values (0) are set in variables i and iΣ (S2, S3), and initialization processing is executed. Subsequent picture generation processing (S4 to S13) is executed.
[0012]
In the picture generation process, first, the screen GiΣ of the original image is read (S4), and then it is determined whether iΣ = 0 (S5). If the determination result is YES, intraframe coding of the screen GiΣ is performed. An image (I picture) is generated (S6). If NO, it is determined whether i <CM (S8). If the determination result is YES, the frame interpolation bi-directional prediction code of screen GiΣ is determined. Generated image (B picture) (S9). If NO, an interframe forward prediction encoded image (P picture) of screen GiΣ is generated (S10).
[0013]
When an I picture and a P picture are generated, both the variables i and iΣ are counted up (S7, S12). When a B picture is generated, the variable i is initialized (S11) and the variable iΣ is counted up ( In any case, it is determined whether or not iΣ = CN (S13). If the determination result is NO, the processing of repeating GiΣ reading processing (S4) and subsequent steps is executed.
[0014]
According to the above processing, the screen GiΣ when iΣ = 0 is the first screen of the GOP on the bitstream, and is a screen that satisfies the above-mentioned condition (1). Therefore, the screen GiΣ must be an I picture. However, the condition (1) can be satisfied by the steps up to S4, S5 and S6, and the screen G0 which is the first of the GOP on the bitstream can be an I picture.
Further, for the screens G1, G2,... After the first GOP on the bitstream, when the variable i is less than the M parameter (cycle in which the I or P picture appears), the screen GiΣ at that time is changed to the B picture. When the variable i satisfies the M parameter, the screen GiΣ at that time can be a P picture.
[0015]
Therefore, for example, if N is assumed to be “21” and M is assumed to be “3”, the first screen G0 of the original images from G0 to G20 can be changed to an I picture, and thereafter, i <CM, , When i <3, the screen GiΣ (for example, G1 and G2, G4 and G5, G7 and G8,...) Can all be B pictures and the screen GiΣ when i = 3 (for example, Since all of G3, G6, G9,...) Can be made into P pictures, MPEG images having picture arrangements corresponding to N parameters and M parameters set to optimum values in advance can be constructed on the medium.
[0016]
[Problems to be solved by the invention]
However, in the above prior art, since the N parameter (number of pictures in the GOP) is set to a value that seems to be optimal in advance, any screen can be selected from the screen layout on the media. When selecting and displaying (or outputting) as a still image, there is a problem that the degree of freedom of the selection screen is small.
[0017]
For example, in an image recording system such as a digital video camera (including some electronic still cameras) that records moving images after MPEG compression, one or more screens constituting the moving image are arbitrarily extracted and stopped. Although the screen is displayed as an image, the display target screen is limited to only the I picture among the three picture type screens of I, B, and P. This is because the screen of the I picture is an intra-frame encoded image, which is closer to the image quality of the original image than the other picture types (the image quality is about the decoded image of the JPEG image).
[0018]
Now, if the frame period of each image constituting the moving image is set to 0.05 seconds for convenience and the N parameter (number of pictures in the GOP) is “21”, the random access unit is 0.05 seconds × 21 = 1. .05 seconds. This means that an I picture appears every 1.05 seconds, so that a still image close to the image quality of the original image can be displayed by extracting the screen at intervals of 1.05 seconds.
[0019]
However, such a selection screen must be specified under the restriction of “1.05 second interval”, and there is a disadvantage that a screen other than the above interval (for example, a screen having an interval of 0.5 second) cannot be selected. Therefore, it is not convenient for selecting an arbitrary screen and displaying (or outputting) a still image. In this respect, there is a problem to be solved.
[0020]
  Accordingly, the present invention provides a moving image recording apparatus capable of displaying (or outputting) a still image for a desired time.And moving image recording methodThe purpose is to provide.
[0021]
[Means for Solving the Problems]
  The invention described in claim 1Display means for displaying still images included in moving images, and the number of still images that can be displayed on the display means as the number of intra-frame encoded images,Setting means for setting the number of pictures in the GOP based on a target time of a random access unit with respect to the time of each screen of the original image as a moving picture, and the moving picture is converted into MPEG according to the number of pictures set by the setting means. And recording means for compressing and recording.
  According to a second aspect of the present invention, in the first aspect of the present invention, when the first mode or the second mode is selected and the first mode is selected by the selection unit, the first mode or the second mode is selected. Read the video recorded on the recording meansSaidWhen reproduced and displayed on the display means and the second mode is selected, the moving image recorded in the recording means is read out, and a plurality of still images included in the moving image are read out and displayed on the display means. And a control means.
  The invention according to claim 3 is the invention according to claim 1 or 2, further comprising an imaging means, wherein the recording means records the moving image taken by the imaging means after MPEG compression..
  The invention according to claim 4 is a display step for displaying a still image included in a moving image on a display unit, and the number of still images that can be displayed on the display unit in this display step as the number of intra-frame encoded images. AboveA setting step of setting the number of pictures in the GOP based on a target time of a random access unit with respect to the time of each screen of the original image which is a moving image, and the moving image is converted into MPEG according to the number of pictures set in the setting step And a recording step of compressing and recording in a memory.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings, taking as an example an electronic still camera having a moving image (also called movie image) recording mode.
[0023]
FIG. 1 is an external view of an electronic still camera. The illustrated electronic still camera 1 is not particularly limited, but is divided into a main body portion 2 and a camera portion 3 rotatably attached to the main body portion 2, and is provided on the front surface (the back side in the drawing) of the camera portion 3. Is equipped with a photographic lens (not shown). A CCD (image sensor) (not shown) is also attached to the back of the photographic lens, which converts the image of the subject captured from the photographic lens into a video signal in the shooting mode described later, A resolution frame image can be generated.
[0024]
On the other hand, the main body 2 confirms an image (a still image for composition adjustment, a captured image that has already been recorded, a playback image of a movie image, or m still images among the screens constituting the movie image). A flat display device such as a liquid crystal display 4 is attached, and various operation keys including a shutter key 5 are attached at appropriate positions. The types and names of operation keys vary depending on the manufacturer and model, and cannot be uniquely specified. For example, plus key 6, minus key 7, menu key 8, power switch 9, display key 10, shooting mode key 11, self A timer key 12, a strobe mode key 13, a REC / PLAY key 14, and the like (functions) of these keys are as follows.
[0025]
(A) Shutter key 5:
As the name suggests, it is a key that works as a shutter button (fixes exposure and focus when pressed halfway and captures an image or starts movie shooting when pressed fully) when in shooting mode. When the menu key 8 is pressed, it is a multi-function key that also serves as a YES key for understanding various selection items displayed on the liquid crystal display 4.
(B) Plus key 6:
This key is used to select a playback image and various system settings. “Plus” means the selection direction, which is the direction of the latest image in the case of image selection, and the scanning direction of the liquid crystal display 4 in the case of system setting selection.
(C) Minus key 7:
It has the same function as the plus key except that the direction is reversed.
[0026]
(D) Menu key 8:
This key is used to make various system settings. In the playback mode, various items such as a delete mode (image erasing mode) are displayed on the liquid crystal display 4, and in the shooting mode, for example, the definition of the recorded image and the autofocus required for recording the image are displayed. In addition to on / off, etc., in the present embodiment, a selection item for designating the shooting time of the movie image is displayed on the liquid crystal display 4. (E) Power switch 9:
This is a switch that turns the camera on and off.
(F) Display key 10:
This is a key for displaying various information in an overlapping manner on the image displayed on the liquid crystal display 4. For example, in the shooting mode, information such as the number of remaining shots and the shooting mode (normal shooting, panoramic shooting or movie shooting) are displayed. In the reproduction mode, the reproduction image attribute information (page number, definition, etc.) is displayed in an overlapping manner.
[0027]
(G) Shooting mode key 11:
This key can be used only in shooting mode. In addition to selecting normal shooting or panoramic shooting, a movie shooting mode is selected particularly in the present embodiment.
(H) Self-timer key 12:
This key turns on and off the self-timer function.
(I) Strobe mode key 13:
Various keys relating to the strobe, for example, forcibly emitting light, prohibiting light emission, and preventing red eyes.
(J) REC / PLAY key 14
This is a key for switching between the shooting mode and the playback mode. In this example, it is a slide switch, and when it is slid up, it is in the shooting mode, and when it is slid down, it is in the playback mode.
[0028]
FIG. 2 is a block diagram of the electronic still camera in the present embodiment. Note that the electronic still camera of the present embodiment has an automatic exposure function and an automatic focus function, and elements unique to these functions (for example, a light quantity measurement sensor, a distance measurement sensor, an autofocus drive mechanism, and these Control mechanism, etc.), but not shown in the block diagram for the sake of simplicity.
[0029]
In FIG. 2, 15 is a photographic lens, 16 is a CCD (image sensor), 17 is a horizontal / vertical driver, 18 is a timing generator (TG), 19 is a sample hold circuit (S / H), and 20 is an analog-digital converter. (A / D), 21 is a color process circuit, 22 is a video transfer circuit, 23 is a buffer memory, 24 is a compression / decompression circuit (corresponding to the changing means described in the gist of the invention), 25 is a flash memory, and 26 is a CPU. 27 is a key input unit, 28 is a digital video encoder, and 29 is a bus.
[0030]
The functions of these parts are as follows.
(A) Photo lens 15:
This is for forming an image of a subject on the light receiving surface of the CCD 16 and includes a focusing mechanism for an automatic focusing function. In addition, a zoom function may be provided or a retractable type may be used.
(B) CCD 16:
It is a solid-state imaging device that transfers charges in an array. Also called a charge coupled device. Some are used for an analog delay line or the like, but in this specification, in particular, it refers to a solid-state image sensor that converts two-dimensional optical information into a time-series (serial column) electrical signal.
[0031]
In general, a CCD is composed of a photoelectric conversion unit in which a large number of photoelectric conversion elements are arranged in an array, a charge storage unit that stores output charges of the photoelectric conversion elements, and a charge reading unit that reads out the charges of the charge storage unit by a predetermined method. Each of the photoelectric conversion elements is a pixel. For example, in a CCD having 1 million effective pixels, at least 1 million cells in the array are arranged. Hereinafter, for convenience of explanation, the effective number of pixels of the illustrated CCD 16 is 1280 × 960. In other words, it is assumed that it has an array structure of 1280 columns × 960 rows composed of 1280 pixels in the row direction (horizontal direction) and 960 pixels in the column direction (vertical direction).
[0032]
Note that the CCD 16 of the present embodiment is a color CCD. In general, CCD pixel information itself does not have color information, so a color filter (primary color filter using the three primary colors of light or a complementary color filter using the three primary colors) is attached to the front surface of the color CCD.
[0033]
CCDs can be divided into two types according to the charge readout method. The first is the “interlaced readout method” (also referred to as interlaced CCD), which skips pixels one by one when reading out signals, and the second is the “overall readout method” (also known as progressive CCD) that sequentially reads all pixels. Say) type. Although the second type is often used in an electronic still camera, the first type is sometimes used in an electronic still camera of a megapixel class exceeding 1 million pixels. Hereinafter, for convenience of explanation, the CCD 16 according to the present embodiment is of a second type (entire readout method).
[0034]
(C) Horizontal / vertical driver 17 and timing generator 18:
This is a part that generates a drive signal necessary for reading out the CCD 16, and the CCD 16 of the present embodiment is assumed to be a full-face reading method. Therefore, the pixel information is stored in units of rows while designating each column of the CCD 16 one after another. A drive signal that can be transferred (read out), that is, for reading out pixel information serially in the direction from the upper left to the lower right of an array structure of 1280 columns × 960 rows (this direction is similar to the scanning direction of a television). It generates horizontal and vertical drive signals.
(D) Sample hold circuit 19:
A time-series signal (analog signal at this stage) read from the CCD 16 is sampled (for example, correlated double sampling) at a frequency suitable for the resolution of the CCD 16. Note that automatic gain adjustment (AGC) may be performed after sampling.
(E) Analog-digital converter 20:
The sampled signal is converted into a digital signal.
[0035]
(F) Color process circuit 21:
This is a part for generating a luminance / color difference multiplexed signal (hereinafter referred to as YUV signal) from the output of the analog-digital converter 20. The reason for generating the YUV signal is as follows. The output of the analog-to-digital converter 20 substantially corresponds to the output of the CCD 16 except for the difference between analog and digital and sampling and digital conversion errors, and is the light primary color data (RGB data) itself. This data has a large size, which is inconvenient in terms of the use of limited memory resources and processing time. Therefore, it is necessary to reduce the amount of data by some method. In general, each element data (R data, G data, and B data) of RGB data can be expressed by three color difference signals of GY, RY, and BY with respect to the luminance signal Y. If the redundancy of these three color difference signals is removed, it is not necessary to transfer G−Y, and a kind of data based on the principle that it can be reproduced by G−Y = α (R−Y) −β (B−Y). It can be said to be a quantity reduction signal. Here, α and β are synthesis coefficients.
[0036]
The YUV signal is sometimes referred to as a YCbCr signal (Cb and Cr are BY and RY, respectively), but in this specification, the YUV signal is unified. The signal format of the YUV signal is composed of three fixed-length blocks called “components” each independently including a luminance signal and two color difference signals, and the length (number of bits) of each component. The ratio is called the component ratio. The component ratio of the YUV signal immediately after conversion is 1: 1: 1, but the data amount can also be reduced by shortening the two components of the color difference signal, that is, 1: x: x (where x <1). Can be reduced. This is based on the fact that human visual characteristics are less sensitive to color difference signals than luminance signals.
[0037]
(G) Video transfer circuit 22:
The video transfer circuit 22 controls the flow of data passing between the color process circuit 21, the buffer memory 23, the digital video encoder 28, and the compression / decompression circuit 24.
[0038]
Note that “flow” is a convenient expression that conceptually captures data movement between the color process circuit 21, the buffer memory 23, the digital video encoder 28, and the compression / decompression circuit 24. In general, for digital systems, the quick movement of data directly affects its performance, and especially for electronic still cameras that handle large amounts of pixel information (fast movement of data) is naturally considered. Since this is one of the design conditions that must be established, all or part of the above flow means a data flow using a high-speed data transfer method. That is, the entire flow is, for example, a flow by DMA (direct memory access) transfer, and the video transfer circuit 22 has a control unit (DMA controller) and other peripheral parts (for example, transfer rate adjustment for necessary). The FIFO memory and interface circuit, etc.), and by the operation of each of these units, “rapid data transfer” (for example, DMA transfer) between the color process circuit 21, the buffer memory 23, the digital video encoder 28, and the compression / decompression circuit 24 is performed. It is what makes it possible.
[0039]
(H) Buffer memory 23:
It is composed of a DRAM which is a kind of rewritable semiconductor memory. In general, a DRAM is different from a static RAM (SRAM) in that data is rewritten (refreshed) dynamically in order to retain stored contents. However, although the writing and reading speed is inferior to that of an SRAM, the bit unit price is low. Since a large-capacity temporary storage can be configured at low cost, it is particularly suitable for an electronic still camera. However, the present invention is not limited to DRAM. Any rewritable semiconductor memory may be used.
[0040]
Here, the storage capacity of the buffer memory 23 must satisfy all of the following conditions. The first condition is that the capacity is enough to secure a sufficient work area (work space) necessary for work. The size of the work space is determined by the architecture of the CPU 26, the OS (operating system), and various application programs executed under the management of the OS. That's fine. The second condition is a buffer having a size capable of storing at least high-definition image information generated by the color process circuit 21 (640 × 480 pixel image information and a 1: 1: 1 component ratio). The third condition is that the capacity can secure a buffer area of a size that can store a moving image (640 × 480 pixels).
[0041]
(I) Compression / decompression circuit 24:
This is a portion that performs JPEG compression and decompression for a normal image, and performs MPEG compression and decompression for a movie image (movie image). The compression / decompression circuit 24 should be dedicated hardware in terms of processing speed, but can be performed by the CPU 26 in software.
Note that MPEG is a moving picture coding standard as described at the beginning, and JPEG (joint photographic experts group) is an international code for color still images (full-color and gray-scale still images not including binary images or moving images). Standardized.
[0042]
Incidentally, in JPEG, there are two methods, lossless encoding that can completely restore compressed data and lossy encoding that cannot be restored, but in most cases the compression rate is high. The latter lossy encoding is used. The ease of use of JPEG is that the degree of image quality degradation accompanying encoding can be freely changed by adjusting parameters (compression parameters) used for compression. In other words, on the encoding side, an appropriate compression parameter can be selected from the trade-off between image quality and file size, or on the decoding side, the decoding speed is increased at the expense of some quality, and it takes time. It is easy to use because it can be selected for playback at the highest quality. The practical compression rate of JPEG is about 10: 1 to 50: 1 in the case of lossy codes. Generally, 10: 1 to 20: 1 does not cause visual deterioration, but if some deterioration is allowed, 30: 1 to 50: 1 is sufficiently practical. The compression rate of other encoding schemes is, for example, about 5: 1 in the case of GIF (graphics interchange format), and the superiority of JPEG is clear.
[0043]
(J) Flash memory 25:
This refers to a rewritable read-only memory (PROM) that can electrically rewrite the contents by erasing the contents of all bits (or blocks). Also called flash EEPROM (flash electrically erasable PROM). The flash memory 25 in the present embodiment may be a fixed type that cannot be removed from the camera body, or a removable type such as a card type or a package type.
(K) CPU 26:
A predetermined program is executed to centrally control the operation of the camera. The program is written in the instruction ROM inside the CPU 26. In the recording mode, the program for the mode is loaded into the internal RAM of the CPU 26 from the instruction ROM for execution in the playback mode. Is done.
[0044]
(L) Key input unit 27:
This is a part for generating operation signals of various key switches provided in the camera body.
(M) Digital video encoder 28:
A digital display image read from the buffer area of the buffer memory 23 via the video transfer circuit 22 is converted into an analog voltage, and sequentially output at a timing corresponding to the scanning method of the liquid crystal display 4. .
(N) Bus 29:
This is the data (and address) transfer path shared between the above portions. Although omitted in the figure, necessary control lines are also provided between the respective parts.
[0045]
Next, the operation will be described.
<Recording mode for normal shooting>
In this mode, the CCD 16 disposed behind the photographic lens 15 is driven by a signal from the driver 17, and the video collected by the photographic lens 15 is photoelectrically converted at regular intervals to output a video signal for one image. The The video signal is sampled by the sampling and holding circuit 19 and converted into a digital signal by the analog / digital converter 20, and then a YUV signal is generated by the color process circuit 21. This YUV signal is transferred to the buffer area of the buffer memory 23 via the video transfer circuit 22, and after the transfer to the buffer area is completed, it is sent to the liquid crystal display 4 via the video transfer circuit 22 and the digital video encoder 28. Displayed as a through image.
[0046]
If the camera orientation is changed in this state, the composition of the live view image displayed on the liquid crystal display 4 changes, and when the desired composition is obtained, the shutter key 5 is “half-pressed” to set the exposure and focus. After that, when the “full press” is performed, the YUV signal stored in the buffer area of the buffer memory 23 is fixed with the YUV signal at that time, and the through image displayed on the liquid crystal display 4 is also fixed with the image at the same time. The
[0047]
Then, the YUV signal stored in the buffer area of the buffer memory 23 at that time is sent to the compression / decompression circuit 24 via the video transfer circuit 22, and 8 × 8 pixels for each of Y, Cb, and Cr components. After being JPEG-encoded in units called basic blocks, they are written into the flash memory 25 and recorded as a captured image for one image.
[0048]
<Normal shooting playback mode>
In this mode, the path from the CCD 16 to the buffer memory 23 is stopped, and the latest captured image is read from the flash memory 25 and decompressed by the compression / decompression circuit 24, and then passed through the video transfer circuit 22. It is sent to the buffer area of the buffer memory 23. Then, the data in the buffer area is sent to the liquid crystal display 4 via the video transfer circuit 22 and the digital video encoder 28 and displayed as a reproduced image.
[0049]
<Recording mode for movie shooting>
The basic operation is the same as in normal shooting, but after the shutter key 5 is fully pressed, the YUV signal output from the color process circuit 21 is MPEG encoded by the compression / decompression circuit 24 for a preset movie shooting time. It is different in that it is compressed and recorded in the flash memory 25. For example, when the movie shooting time is set to 9 seconds, a through image of 9 seconds after the shutter key 5 is fully pressed can be continuously MPEG-compressed and recorded in the flash memory 25.
[0050]
<Movie shooting playback mode>
In this playback mode, two modes can be selected. One of them is a mode in which a moving image recorded in the flash memory 25 is reproduced and displayed on the liquid crystal display 4, which is a so-called moving image reproduction mode. In this mode, m screens are selected from among them, and a multi-screen display is performed on the liquid crystal display 4. The number m of screen selections is arbitrary, but if m = 9 for the sake of convenience, nine still images can be displayed on the liquid crystal display 4, for example, 1 out of nine seconds of moving images taken of golf swings. Nine still images per second can be displayed to correct the form.
[0051]
FIG. 3 is an operational flowchart of the MPEG compression process in the present embodiment. The difference from the conventional example (FIG. 10) described at the beginning is that an N parameter update process (S20) is provided between steps S7 and S13. It is in the point. That is, the “N update process” shown in FIG. 4 is executed every time an I, B, or P picture is generated.
[0052]
In FIG. 4, the N update process checks the predetermined flag (FLG) (S21) and if it is “1”, the following equation (A) is calculated to update CN (the number of pictures in the GOP) ( S22) The FLG is reset and the variables i and iΣ are initialized (S23 to S25).
CN ← IT / GT ............ (I)
Here, IT is the target time of the random access unit, and GT is the time of each screen of the original image (corresponding to the frame time). For example, when IT = 1.05 seconds and GT = 0.05 seconds, CN becomes “21”, or when IT = 0.5 seconds and GT = 0.05 seconds, CN becomes “10”. .
[0053]
In the illustrated N update process, the N parameter (the number of pictures in the GOP) can be changed according to IT or GT. For example, when the N parameter is changed from “21” to “10”, the I picture Can be changed from 1.05 seconds to 0.5 seconds, and the selection interval of the still picture I picture screen displayed on the liquid crystal display 4 is changed from 1.05 seconds to 0.5 seconds. Thus, it is possible to display still images at finer time intervals.
[0054]
Incidentally, FIGS. 5 and 6 are GOP structure diagrams when the N parameter is set to “21” and “10” (both M = 3), respectively. In the GOP structure of FIG. 5, the appearance interval of the I picture is every 21 screens, but in the GOP structure of FIG. That is, when GT = 0.05 seconds, the former appears every 1.05 seconds, the latter appears every 0.5 seconds, and the latter clearly displays an I picture screen for still images at shorter time intervals. You can choose. Therefore, taking golf swing as an example, it is possible to display m still images at intervals of 0.5 seconds, and to obtain a special effect that a finer form analysis can be performed.
[0055]
To change the N parameter, that is, to execute the “N changing process”, it is only necessary to set the FLG. For example, if FLG is set during the GOP generation processing of FIG. 5 and IT is set to 0.5 seconds, the subsequent GOP structure can be as shown in FIG.
[0056]
For setting the FLG and setting the desired time for the IT, for example, the menu key 8 of the key input unit 27 is operated to display a required menu (N parameter change menu) on the liquid crystal display 4, and the menu item is displayed as a key. It may be performed directly (direct change of IT and setting of FLG) by selecting using the plus key 6 or the minus key 7 of the input unit 27, or the menu key 8 of the key input unit 27 is operated. Then, when specifying the shooting time of the movie image, the N parameter (IT) may be indirectly changed in association with the specified shooting time, and FLG may be set. In any case, since the key input unit 27 has a function of changing the N parameter of the MPEG together with the compression / decompression circuit 24, the key input unit 27 functions as a changing unit described in the gist of the invention together with the compression / decompression circuit 24.
[0057]
From the viewpoint of displaying a still image with a good image quality on an arbitrary screen in the movie image, for example, when the arbitrary screen is captured by the CCD 16, the GOP is forcibly started by pressing the shutter key 5, for example. You may do it. This is because the first screen of the GOP is always an I picture. In this case, the shutter key 5 functions as event generating means described in the gist of the invention, the CCD 16 and the color process circuit 21 function as screen acquisition means described in the gist, and further, the compression / decompression circuit 24 and the CPU 26. Functions as a GOP starting means described in the same summary.
[0058]
【The invention's effect】
  Claim 1 or4According to the described invention,The number of still images that can be displayed is the number of intra-frame encoded images,The number of pictures in the GOP is set based on the target time of the random access unit with respect to the time of each screen of the original image that is a moving image, and when moving images are recorded, MPEG compression is performed according to the set number of pictures. Therefore, it is possible to set the number of pictures in the GOP when recording a moving image with MPEG compression based on the number of still images to be displayed. The flexibility in displaying can be improved.
  According to the invention described in claim 2, in addition to the invention described in claim 1, a mode in which a recorded moving image is read and reproduced and displayed on the display means, and a plurality of still images included in the recorded moving image are displayed. Since two modes of reading and displaying can be selected, for example, not only a still image in a moving image but also a normal moving image reproduction can be performed.
  According to the invention described in claim 3, in addition to the invention described in claim 1 or 2, since the captured moving image is recorded by MPEG compression, the captured moving image is also selected from the moving images. It is possible to improve the flexibility in displaying a still image on a screen with good image quality.
[Brief description of the drawings]
FIG. 1 is an external view of an electronic still camera.
FIG. 2 is a block diagram of an electronic still camera.
FIG. 3 is an operation flowchart of MPEG compression processing in the present embodiment.
FIG. 4 is an operation flowchart of N update processing in the present embodiment.
FIG. 5 is a GOP structure diagram (N = 21) in the present embodiment.
FIG. 6 is a GOP structure diagram (N = 10) in the present embodiment.
FIG. 7 is an MPEG syntax diagram.
FIG. 8 is a diagram illustrating an example of a GOP structure.
FIG. 9 is a state diagram showing a change of the screen order of original images.
FIG. 10 is a principle flowchart showing a conventional GOP layer generation process.
[Explanation of symbols]
5 Shutter key (event generation means)
16 CCD (Screen acquisition means)
21 Color process circuit (Screen acquisition means)
24 Compression / decompression circuit (change means, GOP start means)
26 CPU (GOP starting means)
27 Key input part (change means)

Claims

Display means for displaying a still image included in the moving image;
The number of still images that can be displayed on the display means is the number of intra-frame encoded images, and the number of pictures in the GOP is calculated based on the target time of the random access unit with respect to the time of each screen of the original image that is the moving image. Setting means for setting;
In accordance with the number of pictures set by the setting means, recording means for recording the moving image after MPEG compression;
A moving image recording apparatus comprising:

Selection means for selecting the first mode or the second mode;
When said first mode is selected by the selection means, when said recording means reads the recorded moving image is reproduced and displayed on said display means, said second mode is selected, 2. The moving image recording according to claim 1, further comprising a control unit that reads out the moving image recorded in the recording unit, reads out a plurality of still images included in the moving image, and displays them on the display unit. apparatus.

Further comprising an imaging means,
3. The moving image recording apparatus according to claim 1, wherein the recording unit records the moving image picked up by the image pickup unit with MPEG compression.

A display step for displaying a still image included in the moving image on the display unit;
The number of still images that can be displayed on the display unit in this display step is the number of intra-frame encoded images, and based on the target time of the random access unit with respect to the time of each screen of the original image that is the moving image, A setting step for setting the number of pictures;
A moving image recording method comprising: a recording step of MPEG-compressing the moving image in accordance with the number of pictures set in the setting step and recording it in a memory.