JP4698961B2 - 電子カメラ、及び電子カメラの制御プログラム - Google Patents

Description

本発明は、動画像を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等の電子カメラ、及び電子カメラの制御プログラムに関する。

近年では、ビデオカメラ等が普及し、一般家庭でも手軽に動画撮影や記録ができるようになった。また、小型デジタルカメラでも、動画撮影や録音機能もできるようになっている。デジタルビデオカメラでは、撮影時にタイトルを作成したり、各種の特殊効果を含む撮影ができる機種も多いが、一旦撮影記録した映像を編集や加工するには、専用の映像編集装置やパーソナルコンピュータ上で実行させる映像編集用のプログラムが必要となっている。

パーソナルコンピュータは、メモリ容量が大きく処理能力（ＣＰＵ性能）も高いなど十分なハードウェアを備えており、また表示画面サイズが大きく、マウス等のポインティングデバイスを使用することができ操作環境も優れているため、動画像編集プログラムを用いて動画像の編集も自由に行えるようになった。

例えば、最近の映像編集プログラムでは、パーソナルコンピュータの画面にタイムライン（時間軸目盛）を表示し、このタイムライン上にインデックス画像や映像や音声ファイルの時間を示す帯をオブジェクトとして、マウス等でドラッグ＆ドロップ操作して並べることで、動画像データに対して、挿入や削除、結合等のドッキングやカット編集を行うことができる。これにより、視覚的に分かりやすく、詳細な編集が自由にできる。

しかしながら、携帯型の電子カメラなどの小型機器では、処理能力やメモリ量などに制約があり、また表示画面のサイズが小さく、限られたボタンやキーによる操作しかできないため、撮影後の圧縮記録済みの画像を、機器内で自由に編集することが困難となっていた。

従来、動画像や音声の編集方法や編集操作に関しては、次のような方法が考えられている。

例えば、カット単位で記憶された動画像の代表フレーム画像をカット順序表のカット番号に従って取り出し静止画像として一覧表示し、カット番号を任意に修正して、カット番号に従って再生した動画像を記録することにより動画像を編集する（例えば、特許文献１）
また、分割映像各々の冒頭画像をシーンインデックスで一覧表示し、複数のシーンインデックスをクリップ化したクリップインデックスを表示し、映像分割情報とクリップ情報に基づき編集情報を生成し、編集情報を参照してデジタル映像を生成し、蓄積記録する（例えば、特許文献２）。
特許第２６９８６９５号公報 特許第３２７６５９６号公報

このように従来では、特許文献１，２に記載されているように、動画像や音声の編集方法や編集操作に関して各種の方法が考えられているが、何れもパーソナルコンピュータなど十分なハードウェア環境や操作環境を備えた装置で実行することを前提としているため、表示画面サイズが小さく操作性も劣る携帯型の電子カメラ等には適用することができなかった。すなわち、従来の携帯型の電子カメラでは、ハードウェアの制限や操作環境の制限により、動画像について視覚的に分かりやすく、詳細な編集をすることが困難となっていた。

本発明の課題は、ハードウェアの性能に制限されることなく、操作性良く、各種編集を容易に実行することが可能な電子カメラ、及び電子カメラの制御プログラムを提供することにある。

請求項１記載の発明は、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像データに含まれる複数のフレームを所定数毎にグループ化しながらグループ単位で圧縮符号化して記録する動画像記録手段と、前記動画像記録手段によって記録された動画像データに対する編集操作により、前記圧縮符号化されたグループ単位で、該動画像データにおいて編集対象となるフレーム位置および編集内容を入力し、この入力された圧縮符号化のグループ位置および編集内容を示す再生制御情報を生成する編集操作入力手段と、前記編集操作入力手段により生成された再生制御情報を前記動画像記録手段によって記録された圧縮符号化されたままの動画像データに関連付けて記録する再生制御情報記録手段と、前記再生制御情報記録手段によって前記再生制御情報が関連付けて記録された前記圧縮符号化されたままの動画像データを再生する場合に、該動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、該再生制御情報が示す編集対象となるグループが復号されたときは、該グループに含まれる複数のフレームに対して該再生制御情報が示す編集内容に応じた編集処理を施しながら再生出力する再生出力手段と、を具備したことを特徴とする。

請求項２記載の発明は、更に、前記動画像記録手段によって記録された動画像データに含まれる複数のグループを、シーン毎にグループ化するシーン別グループ化手段を更に備え、前記編集操作入力手段は、前記シーン別グループ化手段によりグループ化されたシーン単位で編集対象となるフレーム位置および編集内容を入力し、この入力されたシーン位置を前記編集対象となるフレーム位置とする再生制御情報を生成することを特徴とする。

請求項３記載の発明は、更に、前記編集操作入力手段は、遷移元のグループ位置と遷移先のグループ位置を指定するとともに、画像を遷移させる特殊効果を前記編集内容として入力し、この入力された遷移元のグループ位置、遷移先のグループ位置、および前記画像を遷移させる特殊効果を示す再生制御情報を生成し、前記再生出力手段は、前記動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、前記再生制御情報が前記画像を遷移させる特殊効果を示す場合であり、前記再生制御情報が示す遷移元グループ内の最後のフレーム位置から前記再生制御情報が示す遷移先グループ内の最初のフレーム位置へと再生出力するフレームを切り換えるときは、該遷移元グループ内の画像と該遷移先グループ内の画像に基づいて生成された画像の遷移を表現する連続画像のフレームを挿入して再生出力することを特徴とする。

請求項４記載の発明は、更に、前記動画像記録手段は、前記グループ内に、復号の際に前後のフレームの参照が不要な独立したフレームと、復号の際に前後のフレームの参照が必要なフレームとを含むように圧縮符号化して記録し、前記再生出力手段は、前記遷移元グループ内における前記独立したフレームの画像と前記遷移先グループ内における前記独立したフレームの画像とに基づいて、画像の遷移を表現する連続画像のフレームを生成することを特徴とする。

請求項５記載の発明は、更に、前記再生出力手段は、復号の際に前後のフレームの参照が不要な独立したフレームと、復号の際に前後のフレームの参照が必要なフレームとを含む前記圧縮符号化のグループ単位で、前記画像の遷移を表現する連続画像のフレームを生成することを特徴とする。

請求項６記載の発明は、更に、前記編集操作入力手段は、ジャンプ元のグループ位置とジャンプ先のグループ位置を指定するとともに、再生位置のジャンプ再生を前記編集内容として入力し、この入力されたジャンプ元のグループ位置、ジャンプ先のグループ位置、および前記再生位置のジャンプ再生を示す再生制御情報を生成し、前記再生出力手段は、前記動画像データに含まれる複数のフレームを順番に復号しながら再生出力していき、前記再生制御情報が前記再生位置のジャンプ再生を示す場合であり、前記再生制御情報が示すジャンプ元のグループ位置の画像を再生出力した後は、再生出力の対象となるグループ位置を前記再生制御情報が示すジャンプ先のグループ位置へと移動させることを特徴とする。

請求項７記載の発明は、更に、前記編集操作入力手段は、前記動画像記録手段に記録された動画像のデータに含まれる各グループを代表する画像を一覧表示し、この一覧表示された画像の選択操作によって編集対象となるグループ位置を入力することを特徴とする。

請求項８記載の発明は、更に、前記編集操作入力手段は、前記一覧表示された画像に選択操作が行われた場合に、この選択された画像に対応するグループの編集内容に応じた編集アイコンを、この選択された画像に対応する位置に表示させることを特徴とする。
請求項９記載の発明は、電子カメラに内蔵されたコンピュータが実行する制御プログラムであって、コンピュータを、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像データに含まれる複数のフレームを所定数毎にグループ化しながらグループ単位で圧縮符号化して記録する動画像記録手段と、前記動画像記録手段によって記録された動画像データに対する編集操作により、前記圧縮符号化されたグループ単位で、該動画像データにおいて編集対象となるフレーム位置および編集内容を入力し、この入力された圧縮符号化のグループ位置および編集内容を示す再生制御情報を生成する編集操作入力手段と、前記編集操作入力手段により生成された再生制御情報を前記動画像記録手段によって記録された圧縮符号化されたままの動画像データに関連付けて記録する再生制御情報記録手段と、前記再生制御情報記録手段によって前記再生制御情報が関連付けて記録された前記圧縮符号化されたままの動画像データを再生する場合に、該動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、該再生制御情報が示す編集対象となるグループが復号されたときは、該グループに含まれる複数のフレームに対して該再生制御情報が示す編集内容に応じた編集処理を施しながら再生出力する再生出力手段と、して機能させることを特徴とする。

本発明によれば、動画像を撮影して記録する電子カメラにおいて、グループ単位で圧縮符号化して記録された動画像データに対する編集操作により、この圧縮符号化されたグループ単位で、該動画像データにおいて編集対象となるフレーム位置および編集内容を入力し、この入力された圧縮符号化のグループ位置および編集内容を示す再生制御情報（プレイリスト）を生成して圧縮符号化されたままの動画像データに関連付けて記録し、再生時には、動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、再生制御情報が示すグループが復号されたときは、このグループに含まれる複数のフレームに対して再生制御情報が示す編集内容に応じた編集処理を施しながら再生出力することにより、圧縮符号化されたままの状態で動画像データの編集、記録、再生を行うことができ、復号された動画像のデータに対する実際の編集記録処理を実行しないため、電子カメラに搭載されたハードウェアの性能が十分でない場合、例えばＣＰＵ性能が低い、メモリ容量が少ないといった場合であっても、ユーザから指示される動画像データに対する各種編集の内容を記録しておくことができ、動画像データと共に記録された再生制御情報に基づいて編集内容が反映された動画像データの再生出力が可能となる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の第１実施形態における電子カメラの回路システム構成を示すブロック図である。本発明は、動画像を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等の携帯型の電子カメラに適用することが可能である。

第１実施形態における電子カメラは、静止画像の他に動画像を撮影することができ、撮影記録後の動画像データに対するトリミングやカット編集、特殊効果の付加など各種の編集を施した動画像の再生を、内蔵の低速ＣＰＵや小容量メモリを用いて実行できるようにする動画像の編集再生機能が設けられている。

電子カメラは、携帯カメラ本体部２及びズーム撮像部４により構成される。ズーム撮像部４は、携帯カメラ本体部２に対して例えば回動可能となるようにコネクタ部６により結合されている。ズーム撮像部４を回動可能とすることで、携帯カメラ本体部２の状態を維持したまま、ズーム撮像部４による撮影方向を任意に設定することができる。

携帯カメラ本体部２は、充電／ＰＣ転送用クレードル部７に装着可能となっている。携帯カメラ本体部２は、充電／ＰＣ転送用クレードル部７を介して、電力の供給を受けて充電することができる。また、携帯カメラ本体部２は、充電／ＰＣ転送用クレードル部７を介して、パーソナルコンピュータ等の他の情報機器と接続することができ、他の情報機器との間で静止画像や動画像などの各種データの送受信、あるいはプログラムなどの受信が可能である。

充電／ＰＣ転送用クレードル部７は、携帯カメラ本体部２に対して電力を供給すると共に、携帯カメラ本体部２と他の情報機器との間の各種データなどの送受信を仲介する。充電／ＰＣ転送用クレードル部７は、ＡＣアダプタ部８と接続されてＤＣ（直流）入力する。

ＡＣアダプタ部８は、ＡＣ電源に接続され、ＡＣ電源をＤＣ出力に変換して充電／ＰＣ転送用クレードル部７に供給する。

まず、携帯カメラ本体部２の構成の詳細について説明する。
携帯カメラ本体部２には、カメラ全体を制御する制御回路１０が設けられている。制御回路１０は、ＣＰＵと、後述する各種処理を実現するためのプログラムや各動作モード時に画面に表示する画像データ等を固定的に記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成される。第１実施形態の電子カメラは、ズーム撮像部４により撮像された動画像のデータを符号化して記録すると共に、動画像に対する編集操作を受付て再生制御情報（後述するプレイリスト）を作成し、動画再生時に再生制御情報を参照しながら符号化されたデータをもとに再生出力することができる。

制御回路１０は、入力回路１２を通じて各種入力デバイスから入力される指示に応じて、各種機能の制御や設定等を実行する。入力回路１２は、例えば静止画撮影半押し／シャッタボタン１３、動画撮影開始／停止ボタン１４、その他の操作入力部１５等からの入力を制御回路１０に通知する。操作入力部１５には、例えば、電源のオンオフを切り替えるための電源ＯＮ／ＯＦＦスイッチ、動作モード（例えば撮影モード（動画像、静止画像）、再生モード、編集モード等）を切り替えるためのモードスイッチ、ズーム操作をするためのズーム操作レバー、メニューを表示させるためのメニューキー、上下左右方向の指示を入力するためのカーソルキー、選択実行を指示するためのセットキー、表示画面の切り替えや選択対象の変更を指示するためのディスプレイボタン等が含まれる。

制御回路１０は、コネクタ部６を介してズーム撮像部４に設けられた制御部７０（後述する）を制御することにより画像（静止画像、動画像）の撮影を実行する。

制御回路１０には、表示メモリ１７、表示駆動部１８、画像バッファメモリ２０、画像信号処理部２２、圧縮符号化／復号部２４、編集／再生制御部２６、静止画像／動画像／音声データメモリ２８、プレイリストメモリ３０、音声復号化部３１、外部メモリインタフェース３６、音声符号化部４０、電源制御部４４、電源制御部４４、外部Ｉ／Ｏインタフェース４８などが接続される。

表示メモリ１７は、ズーム撮像部４により撮影された画像の画像データ、あるいは各種メニューの画像データなど、表示部１９において表示させる画像のデータが記録される。

表示駆動部１８は、表示メモリ１７に記録された画像データをもとに表示部１９に画像を表示させる。例えば撮影モードでは、ズーム撮像部４により撮影された画像が表示メモリ１７においてスルー表示され、電子カメラのファインダとして機能する。表示部１９は、例えば液晶ディスプレイなどにより構成されている。電子カメラが携帯型に構成されている場合、筐体サイズの制限などから比較的、表示画面のサイズが小さくなっている。

画像バッファメモリ２０は、ズーム撮像部４（Ａ／Ｄ回路７６）から入力される画像データを一時記憶する。

画像信号処理部２２は、画像バッファメモリ２０に記録されたズーム撮像部４からの画像データに対して画像処理を施すもので、圧縮符号化／復号部２４によってデータ圧縮等の処理を施して静止画像／動画像／音声データメモリ２８（あるいは外部メモリインタフェース３６を介して外部メモリ３７）に撮影画像として記録する。

圧縮符号化／復号部２４は、ズーム撮像部４から入力される画像データ（動画像、静止画像）に対する符号化処理、及び符号化されたデータの復号処理を実行する。第１実施形態では、ＭＰＥＧ（Moving Picture Experts Group）方式により画像の符号化／復号を実行するものとして説明する。

編集／再生制御部２６は、第１実施形態における電子カメラの特徴的な機能を実現するもので、ズーム撮像部４を通じて撮影された動画像に対する編集操作に応じて、動画像データを編集後の動画像データに変換して記録しないで（符号化された動画像の元データを残したまま）、所定単位毎（例えば時間毎、シーン毎、ＧＯＰ毎、チャプタ毎）に再生順序変更や遷移画面効果などを表す再生制御情報をプレイリストとして生成編集してプレイリストメモリ３０に記録する。編集／再生制御部２６は、動画像データを再生する際には、プレイリストメモリ３０に記録したプレイリストの再生制御情報を参照しながら、符号化された動画像データに対して編集や特殊処理を施した動画像データを生成して出力させる。

静止画像／動画像／音声データメモリ２８は、静止画像データ、動画像データ、音声データが各データファイルとして記録される。動画像データについては、符号化されてＭＰＥＧファイルとして記録される。また圧縮符号化／復号部２４により符号化された画像データ（静止画像データ、動画像データ）と音声符号化部４０により符号化された音声データとが多重化された多重符号化データのファイルとして記録される。

プレイリストメモリ３０は、編集／再生制御部２６によって作成される再生制御情報を含むプレイリストが記録される。プレイリストの詳細については後述する（図２０、図２１、図２２、図２３）。

音声復号化部３１は、符号化された音声データを復号化する。音声復号化部３１により復号化された音声データは、Ａ／Ｄ変換部３２により音声信号に変換され、増幅部３３により増幅されてスピーカ３４から音声出力される。

外部メモリインタフェース３６は、図示せぬスロットに装着される外部メモリ３７とのインタフェースであり、制御回路１０の制御のもとで、外部メモリ３７に対する各種データの記録あるいは読み出しを実行する。

音声符号化部４０は、Ａ／Ｄ変換部部４１から出力される音声データを符号化する。Ａ／Ｄ変換部部４１は、マイク４３から入力され、増幅部４２により増幅された音声信号を入力して、Ａ／Ｄ変換して音声データを出力する。

電源制御部４４は、携帯カメラ本体部２の電源制御を行うもので、電池４６から各部に対して電力を供給し、またコネクタ５０を介して接続される充電／ＰＣ転送用クレードル部７から電力供給を受けて電池４６を充電する。

外部Ｉ／Ｏインタフェース４８は、コネクタ５０を介して接続される外部機器、例えば充電／ＰＣ転送用クレードル部７とのインタフェースであり、制御回路１０の制御のもとで、外部機器との間のデータ入出力等を制御する。

コネクタ５０は、充電／ＰＣ転送用クレードル部７に設けられたコネクタ９２と接続されるインタフェースであり、携帯カメラ本体部２が充電／ＰＣ転送用クレードル部７に設けられるホルダに載置されることで、電源ライン、データライン、制御ラインなどを接続する。

次に、ズーム撮像部４の詳細な構成について説明する。
ズーム撮像部４では、複数のレンズからなるレンズ光学系５２、絞り５３、ハーフミラー５４、シャッタ５５を通じて受光される被写体の光がＣＣＤ（Charge Coupled Device）等の撮像素子６０に導入され光電変換される。レンズ光学系５２は、レンズ駆動部５８により焦点制御のためにレンズ位置が変更され、レンズ駆動部５９によりズーム制御のために位置が変更される。測光／測距センサ６２は、レンズ光学系５２ａを介して入力される光をもとにして測光／測距を行う。

ズーム撮像部４は、携帯カメラ本体部２の制御回路１０のもとで動作する制御部７０によって撮影動作を制御する。制御部７０には、焦点制御部７１、ズーム制御部７２、絞り制御部７３、シャッタ制御部７４、ＣＤＳ／ＡＧＣ７５、Ａ／Ｄ回路７６、タイミング制御駆動部７７、露出制御部７８、測距制御部７９、フラッシュ制御部８０を有している。

焦点制御部７１は、レンズ駆動部５８を通じてレンズ位置を駆動制御することで焦点調整をする。
ズーム制御部７２は、レンズ駆動部５９を通じてレンズ位置を駆動制御することでズーム調整をする。

絞り制御部７３は、レンズ光学系５２に設けられた絞り５３を制御する。

シャッタ制御部７４は、シャッタ５５を開閉駆動を制御するもので、携帯カメラ本体部２の静止画撮影半押し／シャッタボタン１３あるいは動画撮影開始／停止ボタン１４の操作に応じて制御回路１０からの指示に応じてシャッタ５５を開放して、レンズ光学系５２を通じて入力される光を撮像素子６０に導入する。

タイミング制御駆動部７７は、撮像素子６０に対する走査駆動制御を実行し、撮像素子６０によって光電変換された信号を、ＣＤＳ／ＡＧＣ７５、Ａ／Ｄ回路７６を通じてデジタルデータ化して制御回路１０に出力させる。

露出制御部７８及び測距制御部７９は、レンズ光学系５２（レンズ光学系５２ａ）、ハーフミラー５４を介して入力される光をもとにした測光／測距センサ６２による測光、測距に応じた測距制御、露出制御をそれぞれ実行する。

フラッシュ制御部８０は、制御回路１０の制御により、静止画撮影半押し／シャッタボタン１３に対するシャッタ操作に応じて、フラッシュ駆動部８２によりフラッシュ８３を閃光駆動させる。フラッシュ駆動部８２は、ストロボ駆動が設定されている場合に、電源制御部４４を介して電池４６からの電力を図示せぬフラッシュ用大容量コンデンサに充電させた上でフラッシュ８３を閃光駆動する。

また、測光／測距センサ６２により測光して露出条件や絞りの開閉量や、シャッタ速度、ホワイトバランスや撮像感度などを自動調整したり、ＰＳＤ（Position Sensitive Detector）センサなど測距センサにより被写体との距離に合わせてレンズ位置を自動的に駆動制御するオートフォーカス機構や、多焦点のズームレンズ駆動機構を実現することができる。

次に、充電／ＰＣ転送用クレードル部７の詳細な構成について説明する。
充電／ＰＣ転送用クレードル部７には、全体を制御する制御回路９０が設けられており、携帯カメラ本体部２（コネクタ５０）とコネクタ９２を介して接続される。

制御回路９０には、充電制御部９４、電源／充電／転送インジケータ９６、無線ＬＡＮインタフェース（Ｉ／Ｆ）９８、ＬＡＮ通信インタフェース（Ｉ／Ｆ）１０４、ＵＳＢ通信インタフェース（Ｉ／Ｆ）１０６が接続されている。

充電制御部９４は、ＡＣアダプタ部８からの電力を、コネクタ９２を介して携帯カメラ本体部２に供給して、携帯カメラ本体部２の電池４６を充電するための制御を行う。

電源／充電／転送インジケータ９６は、充電／ＰＣ転送用クレードル部７の動作状態をユーザに通知するためのインジケータであり、電源との接続の有無、携帯カメラ本体部２への電力供給（充電）の有無、外部の情報機器との間のデータ転送の有無などを点灯あるいは点滅によって通知する。

無線ＬＡＮＩ／Ｆ９８は、符号／復号部９９、変調／復調部１００、及び送信／受信部１０１を介して、外部の情報機器との間における無線通信を制御するためのインタフェースである。

ＬＡＮ通信Ｉ／Ｆ１０４は、ＬＡＮコネクタ１１０を介して、ケーブルにより接続される他の情報機器との間の通信を制御するインタフェースである。
ＵＳＢ通信Ｉ／Ｆ１０６は、ＵＳＢコネクタ１０８を介して、ケーブルにより接続される他の情報機器との間の通信を制御するインタフェースである。

制御回路９０は、携帯カメラ本体部２の制御回路１０からの要求に応じて、無線ＬＡＮＩ／Ｆ９８、ＬＡＮ通信Ｉ／Ｆ１０４、あるいはＵＳＢ通信Ｉ／Ｆ１０６を介して接続される他の情報機器、例えばパーソナルコンピュータ（ＰＣ）、プリンタ機器、他の電子カメラとの間で、画像データの転送などの通信を実行することができる。

ＡＣアダプタ部８は、安定化回路１２０、平滑回路１２２、整流回路１２４、ヒューズ１２６が設けられている。ＡＣアダプタ部８は、ＡＣ電源を、安定化回路１２０、平滑回路１２２、及び整流回路１２４によってＤＣ出力に変換し、ＤＣ入力コネクタ１１２を介して充電／ＰＣ転送用クレードル部７（充電制御部９４）に供給する。

次に、第１実施形態における動画像（静止画像、音声等を含む）に対する編集操作に応じて再生制御情報（プレイリスト）を作成する再生編集制御部１３０、及び再生制御情報を参照して動画像を再生出力する復号再生制御部１４０の各機能について説明する。

第１実施形態の電子カメラは、撮影した動画像に対する編集については、動画像データを編集して編集後の動画像に置き換えて記録する代りに、ＭＰＥＧ等で符号化して圧縮記録した動画像の元データを残したまま、所定単位毎（例えばＧＯＰ単位毎、時間毎、シーン毎）の再生順序の変更（ジャンプ）やスキップ、シーン切替わり時の遷移画面効果（トランジションエフェクト）など、編集内容を表す再生制御情報を再生制御用プログラム（プレイリスト）として設定して記録する。

また、動画像データを再生出力する際には、プレイリストを呼び出して、その再生制御情報を参照しながら、再生順序を自動的に切替えたり、特殊処理を付加した動画像を生成して再生出力する。

図２は、再生編集制御部１３０の機能構成を示すブロック図、図３は、復号再生制御部１４０の機能構成を示すブロック図である。再生編集制御部１３０と復号再生制御部１４０は、制御回路１０、圧縮符号化／復号部２４、及び編集／再生制御部２６によって実現される。メモリ媒体／通信路１３６，１４２は、静止画像／動画像／音声データメモリ２８とプレイリストメモリ３０、さらには例えば外部Ｉ／Ｏインタフェース４８を介して接続される通信路（外部機器）に相当する。

図２に示すように、再生編集制御部１３０は、再生方法編集部１３０ａ、多重分離復号部１３０ｂ、各種復号部１３０ｃ、フレーム内画像復号部１３０ｄ、縮小インデックス画像作成部１３０ｅ、音声インデックス作成部１３０ｆ、プレイリスト作成部１３０ｇ、及びシーン切替識別部１３０ｈが設けられている。

再生方法編集部１３０ａは、符号化された動画像データ（ＭＰＥＧファイル１３２）に対するユーザからの編集操作を入力し、この編集操作に応じて、動画像への編集内容を表す再生制御情報を含むプレイリストを編集する。例えば、再生編集制御部１３０は、編集モードの画面中に、インデックス画像作成部１３０ｅにより編集対象とする単位（例えばＧＯＰ）毎のインデックス画像（例えばＩピクチャ）の列と共に、例えばスキップ、ジャンプ、ワイプ、ディゾルブ、フェードイン、フェードアウト、タイトルの付加、ＢＧＭ、アフレコ音、効果音付加などの編集アイコンを表示させる。再生方法編集部１３０ａは、編集モードの画面中において、ユーザにより編集対象とするインデックス画像と編集アイコンとを選択させることで編集操作を入力する。ユーザは、動画像に対する編集操作として、インデックス画像と編集アイコンとを選択するだけで良いため、例えば楽譜に音符や伴奏をつけるような感覚で、プレイリストを自動生成させることができる。

多重分離復号部１３０ｂは、ＭＰＥＧファイル１３２の多重符号化されたデータ（多重符号化データ）から、符号化された動画像データと音声データとを分離する。

各種復号部１３０ｃは、動画像の編集用に用意された画像・音声ファイル１３４の符号化された画像データあるいは音声データを復号する。編集用の音声ファイルには、例えばＢＧＭ、アフレコ音、効果音などの動画像に付加して再生するための音声データが含まれる。

フレーム内画像復号部１３０ｄは、多重分離復号部１３０ｂあるいは各種復号部１３０ｃにより分離された画像データに対し、フレーム内復号して画像データを生成する。

縮小インデックス画像作成部１３０ｅは、フレーム内画像復号部１３０ｄにより生成された画像データをもとに、編集処理の単位毎、例えばＧＯＰ単位毎、シーン単位毎、所定の時間単位毎、ユーザが設定したチャプタ毎などのインデックス画像を生成し、編集モードの表示部１９において一覧表示させる。インデックス画像作成部１３０ｅは、シーン単位毎のインデックス画像を表示する場合、インデックス画像作成部１３０ｅにより識別される動画像中のシーンの切替位置に応じて、インデックス画像を作成する。なお、再生編集制御部１３０は、編集モードの画面中に、編集対象とする単位毎にインデックス画像作成部１３０ｅにより生成されるインデックス画像を表示させるだけでなく、動画像データを復号しながら生成した縮小動画像のクリップを表示させるようにしても良い。

音声インデックス作成部１３０ｆは、各種復号部１３０ｃにより復号された音声データをもとに、編集処理の単位毎の音声インデックスを作成して、表示部１９において一覧表示させる。

プレイリスト作成部１３０ｇは、再生方法編集部１３０ａにより編集された動画像に対する編集内容を表す再生制御情報を含むプレイリストを作成して、プレイリストファイル１３６ｂとしてプレイリストメモリ３０に記録する。なお、プレイリストは、例えば表形式のデータファイル、あるいは編集コードと該当ＧＯＰ等の対応付けが識別できるものなら、ＸＭＬ（Extensible Markup Language）形式など簡易なプログラム、ＣＳＶ（Comma Separated Value：コンマ区切り）ファイルやテキストファイルなどでも構わない。プレイリストの詳細な構成例については後述する。

シーン切替識別部１３０ｈは、例えばフレーム内画像復号部１３０ｄによって復号される画像（例えばＩピクチャ）をもとにした画像間の相関度、あるいは動画像撮影時にユーザから入力された指示に応じて動画像と関連付けて記録されたデータに応じてシーンの区切り位置を識別する。

なお、再生編集制御部１３０による再生方法の編集処理では、動画像に対する編集操作に応じてプレイリストファイル１３６ｂを作成するが、動画像データ自体には編集を施さないため、ＭＰＥＧファイル１３６ａと追加画像・音声ファイル１３６ｃは元データのままである。

次に、復号再生制御部１４０は、図３に示すように、再生順序制御部１４０ａ、フレーム間復号部１４０ｂ、フレーム内復号部１４０ｃ、特殊効果合成部１４０ｄ、フレーム内復号部１４０ｅ、フレーム間復号部１４０ｆ、効果音合成部１４０ｇ、及び音声復号部１４０ｈが設けられている。

再生順序制御部１４０ａは、再生編集制御部１３０によって作成されたプレイリストファイル１４２ａ（１３６ｂ）を参照して、ＭＰＥＧファイル１４２ｂの動画像データ、追加画像ファイル１４２ｃの画像データ、及び追加音声ファイル１４２ｄの音声データの再生順序を制御する。再生順序制御部１４０ａは、フレーム間復号部１４０ｂ，１４０ｆ及びフレーム内復号部１４０ｃ，１４０ｅによる復号、フレーム内復号部１４０ｅによる特殊効果の合成（画像生成）、効果音合成部１４０ｇと音声復号部１４０ｈによる音声の生成の順番を制御する。

フレーム間復号部１４０ｂ，１４０ｆは、符号化された動画像データに対して、フレーム間復号により画像データを生成する。

フレーム内復号部１４０ｃ，１４０ｅは、符号化された動画像データに対して、フレーム内復号により画像データを生成する。

特殊効果合成部１４０ｄは、プレイリストにおいて設定された、動画像に対して付加する特殊効果の画像を、例えばフレーム内復号部１４０ｃ，１４０ｅのそれぞれにより復号された２枚の画像（例えば遷移元画像、遷移先画像）を用いて合成する。ここでは、例えば特殊効果に応じて、複数枚の画像からなる遷移画面の連続画像を合成する。

効果音合成部１４０ｇは、プレイリストに設定された動画像に付加する効果音を、追加音声ファイル１４２ｄの音声データをもとに合成する。

音声復号部１４０ｈは、プレイリストに設定された動画像に付加する音声（ＢＧＭ、アフレコ音など）を、追加音声ファイル１４２ｄの音声データをもとに合成する。

再生出力制御部１４０ｋは、プレイリストファイル１４２ａのプレイリスト（再生制御情報）に応じて、フレーム間復号部１４０ｂ，１４０ｆにより復号された画像、フレーム内復号部１４０ｃ，１４０ｅにより復号された画像、特殊効果合成部１４０ｄにより合成された画像、効果音合成部１４０ｇにより合成される音声、及び音声復号部１４０ｈにより復号された音声を出力することで、プレイリストが表す編集が施された動画像（画像、音声）を出力させる。

次に、再生編集制御部１３０による再生編集と復号再生制御部１４０による再生出力の制御、及び圧縮符号化／復号部２４の詳細な構成について、図４を参照しながら説明する。

図１に示す圧縮符号化／復号部２４は、図４に示すように、ＭＰＥＧ符号器（エンコーダ）２４ａとＭＰＥＧ復号器（デコーダ）２４ｂを含んで構成される。なお、ＭＰＥＧ符号器２４ａとＭＰＥＧ復号器２４ｂは、既存のＭＰＥＧ方式を用いた符号器／復号器であり、詳細な構成についての説明を省略する。

ＭＰＥＧ符号器２４ａは、ズーム撮像部４により撮影された動画像のデータについて符号化して画像符号化データを生成する。ＭＰＥＧ符号器２４ａは、音声符号化部４０により出力される、動画像の撮影時にマイク４３から入力された音声についての音声符号化データを画像符号化データと多重化して、多重符号化データ（符号化された動画像データ）として出力する。

再生編集制御部１３０は、図２に示す構成により、符号化された動画像データ（ＭＰＥＧファイル）に対して逆多重化復号し（多重分離復号部１３０ｂ）、例えばＧＯＰ単位のフレーム画像内復号により得られる画像（Ｉピクチャ）をもとにインデックス画像を作成して、編集モードの画面に表示出力させる。再生編集制御部１３０は、ユーザから編集モードの画面中で指定される入力操作、すなわちインデックス画像に対する再生順番の指定と編集アイコンの選択に応じてプレイリストを編集し、プレイリストファイル１３６ｂ（１４２ａ）として記録する。

復号再生制御部１４０の再生順序制御部１４０ａは、再生編集制御部１３０により生成されるプレイリスト（プレイリストファイル１３６ｂ，１４２ａ）を参照して、ＭＰＥＧ復号器２４ｂにより、所定単位毎の符号化された動画像データ（音声データを含む）を復号する順序を制御する。また、ＭＰＥＧ復号器２４ｂによるフレーム内復号により生成されるＩピクチャ画像１７１をもとに、特殊効果の編集に応じた遷移画像（連続画像）を特殊効果合成部１４０ｄにより合成させる。再生出力制御部１４０ｋは、ＭＰＥＧ復号器２４ｂにより復号された画像、合成された特殊効果を表す連続画像、及び音声を、プレイリストに設定され再生制御情報に応じて出力させる（ビデオ再生出力、音声再生出力）。

次に、圧縮符号化／復号部２４による符号化により生成されるＭＰＥＧ動画像データの階層構造と符号／復号フレーム順序の概略について説明する。

図５には、ＭＰＥＧ動画像データの階層構造を示している。
図５に示すように、ＭＰＥＧ動画像データは、シーケンス層、ＧＯＰ（Group Of Pictures）層、ピクチャ層、スライス層、マクロブロック層、ブロック層の６層の階層構造からなっている。

図５（Ａ）に示すシーケンス層は、一連の同じ属性をもつ画面グループからなり、ＧＯＰ層を含んでいる。ＧＯＰ層は、ランダムアクセスの単位となる画面グループの最小単位である。ピクチャ層は１枚の画面に共通な属性（例えば画面符号化モード（Ｉ，Ｐ，Ｂのピクチャタイプ））、スライス層は、１枚の画面を任意の長さに分割した小画面に共通の情報、マクロブロック層は、スライス層をさらに分割した画素ブロックに共通の情報、ブロック層は、変数係数そのものを表している。

図６には、符号化／復号化時のフレーム画像の順序を示している。
ＭＰＥＧでは、画像の３つのタイプ、Ｉピクチャ（Intra符号化画像）、Ｐピクチャ（Predictive符号化画像）、Ｂピクチャ（Bidirectionally predictive符号化画像）が規定されている。

Ｉピクチャは、ＧＯＰの独立性を保つために設けられ、その情報だけからフレーム内符号化された画面であり、フレーム間予測を使わずに生成される。Ｐピクチャは、ＩピクチャまたはＰピクチャからの予測を行うことによって生成される画面であり、フレーム内予測画面と順方向フレーム間予測画面とを含んでいる。Ｂピクチャは、双方向予測によって生成される画面であり、フレーム内予測符号化、順方向と逆方向のフレーム間予測符号化により生成される。

図６（ａ）に示すように、元画像（入力画像）が入力される場合、Ｂピクチャをスキップして次のＩ，Ｐピクチャを先に符号化し、その後に、間にあるＢピクチャを符号化するため、符号化画像（記録媒体内）では、図６（ｂ）に示すようＢピクチャがＩピクチャとＰピクチャとの間に挿入される。

図６（ｂ）に示す符号化画像を復号化（出力）する場合、Ｂピクチャについては直ちに復号して表示し、Ｉ，Ｐピクチャについては復号した後に、間に入るＢピクチャを復号化して表示した後に表示する。

第１実施形態の電子カメラでは、動画像に対する編集操作を入力する際、例えばＧＯＰ単位でフレーム内復号してＩピクチャをインデックス画像として、編集モードの画面中に表示させる。編集操作の入力は、インデックス画像に対する指定により行われるため、動画像データを符号化したままでＧＯＰ単位での編集（プレイリストの作成）を容易かつ迅速にすることができる。

次に、第１実施形態における電子カメラの動作について説明する。
図７は、電子カメラの全体の制御の流れを説明するためのフローチャートである。

まず、操作入力部１５のモードスイッチが撮影モードに切り替えられると、制御回路１０は、入力回路１２を通じて動作モードの切り替えが指示され、これにより撮影モードに移行する（ステップＡ１、Ｙｅｓ）。撮影モードに入ると、制御回路１０は、撮影条件の設定を行ない（ステップＡ２）、測距制御部７９を制御して測光／測距センサ６２により測光処理を実行し（ステップＡ３）、またズーム制御部７２を制御してズーム処理を実行し（ステップＡ４）、さらに焦点制御部７１を制御してオートフォーカス処理を実行する（ステップＡ５）。

制御回路１０は、ズーム撮像部４により撮影される画像を表示部１９においてスルー表示して、ファインダとして機能させる（ステップＡ６）。

ここで、静止画撮影半押し／シャッタボタン１３に対する操作によって静止画像の撮影実行が指示されると（ステップＡ７）、制御回路１０は、測光処理を実行させ（ステップＡ８）、ズーム撮像部４により撮影条件と測光値に従って静止画像を撮影させる（ステップＡ９）。制御回路１０は、ズーム撮像部４により撮像された静止画像のデータを、画像バッファメモリ２０に一時記録し、圧縮符号化／復号部２４により符号化して静止画像／動画像／音声データメモリ２８あるいは、外部メモリインタフェース３６を通じて外部メモリ３７に記録する（ステップＡ１０）。また、制御回路１０は、撮像された静止画像データを表示メモリ１７に記憶させ、表示駆動部１８により表示部１９において表示させる（ステップＡ１１）。

一方、動画撮影開始／停止ボタン１４に対する操作によって動画像の撮影の実行が指示されると（ステップＡ１４、Ｙｅｓ）、制御回路１０は、測光処理を実行させ（ステップＡ１５）、ズーム撮像部４により撮影条件と測光値に従い動画像を撮影させる（ステップＡ１６）。制御回路１０は、ズーム撮像部４により撮影される動画像データを画像バッファメモリ２０に順次記録していき、圧縮符号化／復号部２４により符号化して静止画像／動画像／音声データメモリ２８あるいは、外部メモリインタフェース３６を通じて外部メモリ３７に記録する（ステップＡ１７）。

図８（ａ）には、動画像を撮影する動画撮影モードにおける表示部１９に表示される画面の一例を示している。

ここで、その他のキー操作があった場合には、制御回路１０は、入力されたキー操作に応じた表示処理等を実行する（ステップＡ１２，Ａ１３）。

ところで、操作入力部１５のモードスイッチの操作により再生モードに切り替えられると、制御回路１０は、編集／再生制御部２６を起動して再生モードに移行する（ステップＡ２２、Ｙｅｓ）。

再生モードに移行すると、制御回路１０は、例えば図８（ｂ）に示すように、１ファイル毎に動画像を再生する再生モードの表示画面を表示する。ここで、例えばズーム操作レバーを（Ｗ）側にする操作により、インデックス表示の実行が指示されると（ステップＡ２３。Ｙｅｓ）、制御回路１０は、静止画像／動画像／音声データメモリ２８に記録されている画像データをもとにインデックス画像を生成し、インデックス画像の一覧を表示部１９において表示させる（ステップＡ２４）。

図８（ｃ）には、インデックス表示した再生モードの表示画面の一例を示している。インデックス画像の一覧では、例えばカーソルキーの操作によって、再生対象とする動画像を任意に指定することができる。また、インデックス画像の一覧表示では、例えばズーム操作レバーを（Ｔ）側にする操作により、図８（ｂ）に示す１ファイル毎に動画像を再生する再生モードの表示画面を表示させることができる。

なお、図８（ｂ）に示す再生モードの画面では、チャプタ登録用のボタンが設けられており、例えばカーソルキーの下方向キーの操作により、動画像に対してチャプタを設定することができる。制御回路１０は、ユーザからのチャプタ指定に応じて、動画像データと関連付けてチャプタに関するデータを記録しておく。

制御回路１０は、操作入力部１５のメニューキーに対する操作によってメニュー表示が要求されると、例えば図９（ａ）（ｂ）に示すようなメニューを表示部１９に表示させる。

例えば、図９（ａ）に示すような再生に関係する複数の項目が設けられた再生メニュー、図９（ｂ）に示す動画編集に関係する複数の項目が設けられた編集メニュー、各種設定に関係する設定メニュー（図示せず）が用意されている。制御回路１０は、例えばカーソルキーの左右キーの操作に応じてメニュー表示を切り替える。また、制御回路１０は、各メニューにおいて、上下キーの操作に応じて、選択対象とするメニュー項目を切り替える。

再生メニューでは、動画像あるいは静止画像の再生などの実行を指示することができる。例えば、図９（ａ）に示すように、「プレイリスト再生」の項目を選択することで、後述する動画像のプレイリストに応じた編集を施しながらの動画再生の実行を指示することができる。また、編集メニューでは、図９（ｂ）に示すように、「プレイリスト編集・エフェクト」の項目を選択することで、後述する動画像に対する編集（プレイリストの作成）の実行を指示することができる。

再生モード（図８（ｂ）に示す１ファイル毎）において通常の動画再生が指示されると（ステップＡ２３，Ａ２５、Ａ２６（Ｎｏ））、制御回路１０は、静止画像／動画像／音声データメモリ２８に記録された複数の動画像データから、インデックス画像の一覧表示から再生対象として選択された動画像データを読み出して、圧縮符号化／復号部２４により復号し（ステップＡ２８）、この復号された動画像データを表示メモリ１７に記憶させて表示部１９により再生表示させる（ステップＡ２９）。制御回路１０は、再生対象とする動画像データの全てについて処理が完了するまで再生出力を継続する（ステップＡ３０）。

また、再生メニューからプレイリストによる再生が指示されると（ステップＡ２６、Ｙｅｓ）、制御回路１０は、編集／再生制御部２６及び圧縮符号化／復号部２４により、プレイリストメモリ３０に記憶されたプレイリストを用いた再生処理を実行させる（ステップＡ２７）。プレイリストによる再生処理の詳細については後述する（図２８参照）。

なお、再生メニューなどから静止画の再生が指示されると（ステップＡ３１、Ｙｅｓ）、制御回路１０は、静止画像／動画像／音声データメモリ２８に記録された複数の静止画像から再生対象として選択された静止画像データを読み出して圧縮符号化／復号部２４により復号し（ステップＡ３２）、この復号した画像データを表示メモリ１７に記録することで表示部１９において表示させる（ステップＡ３３）。

一方、操作入力部１５のモードスイッチの操作、あるいは編集メニューから編集モードの実行が指示されると（ステップＡ１８、Ｙｅｓ）、制御回路１０は、通常の動画像あるいは静止画像に対する編集を実行する編集処理、あるいは編集操作入力に応じてプレイリストを作成する再生方法の編集処理を実行するための編集モードに移行する（ステップＡ１９）。なお、再生方法の編集処理の詳細については後述する（図１０参照）。

なお、その他のキー操作があった場合には、制御回路１０は、入力されたキー操作に応じた表示処理等を実行する（ステップＡ２０，Ａ２１）。

次に、図７のステップＡ１９に示す再生方法の編集処理（プレイリストの作成）について、図１０に示すフローチャートを参照しながら説明する（図２に示す再生編集制御部１３０参照）。
第１実施形態における再生方法の編集処理では、動画像に対する編集や特殊効果などの再生方法の設定（プレでリストの編集）を、例えばＧＯＰ単位でフレーム内復号したＩピクチャからインデックス画像を作成して一覧表示し（あるいは動画像データを復号しながら生成した縮小動画像のクリップでも良い）、この一覧画面上でインデックス画像に対してカーソルキー等で再生順序を指定することができる。また、例えば、インデックス画像の列の下に、スキップや、ジャンプ、ワイプ、ディゾルブ、フェードイン、フェードアウト、タイトル、ＢＧＭ、アフレコ音、効果音付加などの複数の編集アイコンを設け、カーソルキーで編集アイコンを選択することで、インデックス画像に対応する所定単位の動画像に対する編集内容を入力することができる。ユーザにより編集対象とするインデックス画像と編集アイコンとを選択させることで編集操作を入力し、この操作内容をプレイリストとして編集して記録する。

まず、ユーザからの指定に応じて、静止画像／動画像／音声データメモリ２８に記録された複数の動画像データ（ＭＰＥＧファイル１３２）から編集対象とする動画像データを選択する（ステップＢ１）。

再生編集制御部１３０は、多重分離復号部１３０ｂにより分離された動画像データについて圧縮符号化／復号部２４により復号し、所定単位毎のインデックス画像を生成して、編集モード用の画面として表示部１９において一覧表示させる（ステップＢ２）。ここでは、所定単位のインデックス画像として、例えば時間毎、シーン毎、ＧＯＰ毎のインデックス画像をそれぞれ生成して一覧表示できるものとする。

図１１（ａ）（ｂ）には、編集モードの表示画面においてインデックス画像の一覧が表示されている例を示している。インデックス画像の一覧画面では、「時間毎」、「シーン毎」、「ＧＯＰ毎」のそれぞれに対応するタグが設けられており、例えばディスプレイボタンによりタグの選択状態に切り替え、カーソルキーの上下キーにより任意にタグを選択することができる。なお、ユーザが再生モードや編集モードで設定したチャプタ毎の先頭画像をインデックス画像として一覧表示するようにしても良い（図示せず）。

図１１（ａ）は、「時間毎」のタグが指定された場合のインデックス画像の一覧表示例を示している。「時間毎」のインデックス画像の一覧表示では、例えば５分毎の先頭画像からインデックス画像（あるいはクリップ動画像）を生成して一覧表示する。また、タイムライン（時間軸目盛）を表示して動画像全体の長さと表すと共に、現在、インデックス画像の一覧表示の対象となっている動画像の範囲を表している。一覧表示画面では、上下左右のカーソルキーにより、インデックス画像を一覧表示させる範囲を切り替え、またセットキーにより選択対象とするインデックス画像（例えば、左上の位置にあるインデックス画像）に対応する範囲の動画像を再生させることができる。また、インデックス画像単位での再生順序の変更と特殊効果の付加による編集の実行する指定するための「編集」の項目が設けられている。例えば、ディスプレイボタンに対する操作によって、編集操作の実行を指示することができる。

図１１（ｂ）は、「ＧＯＰ毎」のタグが指定された場合のインデックス画像の一覧表示例を示している。「ＧＯＰ毎」のインデックス画像の一覧表示では、例えば符号化された動画像データのＧＯＰ単位毎の先頭画像からインデックス画像（あるいはクリップ動画像）を生成して一覧表示する。なお、その他は、図１１（ａ）と同じであるので説明を省略する。

なお、図示していないが、「シーン毎」のタグが指定された場合には、編集対象とする動画像データからシーンの切り替え位置を自動で識別し（図２、シーン切替識別部１３０ｈ）、この識別したシーン毎の先頭画像をもとにインデックス画像を生成して一覧表示する。動画像データからシーンの切り替え位置を識別するシーン識別処理の詳細については後述する（図１７、図１８）。

また、インデックス画像が一覧表示されている状態で、例えばディスプレイボタンの操作により編集操作の実行が指示された場合には、インデックス画像単位で再生順序を設定するための編集モード画面が表示される。

図１１（ｃ）には、再生順序の設定中の画面の一例を示している。図１１（ｃ）に示すように、画面上部には再生順が指定されたインデックス画像を表示するための再生順序エリアが設けられ、画面下部にはインデックス画像を表示する撮影画像エリアが設けられている。

この画面では、例えば左右方向のカーソルキーの操作により、一覧表示されるインデックス画像を変更させることができ、さらにセットキーによって再生対象とするインデックス画像（例えば左端にあるインデックス画像）を指定することができる。セットキーの操作により再生対象として選択されたインデックス画像は、画面上部の再生順序エリアに表示される。従って、複数のインデックス画像から再生順序に従って、順次、インデックス画像を選択していくことにより、所定単位での再生順序を指定することがてきる。また、再生対象として選択しないことで、カット（削除）することもできる。

また、図１１（ｃ）に示す再生順序の設定中の画面において、例えば上下方向のカーソルキーの操作により、特殊効果を付加するための編集モード画面が表示される。

図１２（ａ）には、特殊効果の付加の設定中の画面の一例を示している。図１２（ａ）に示すように、画面上部には再生順が指定されたインデックス画像を表示するための再生順序エリアが設けられ、画面下部には編集（特殊効果）内容を表す編集アイコンを表示する編集アイコンエリアが設けられている。

編集アイコンエリアには、「トランジション」「デジタルエフェクト」「効果音」のタグが設けられており、例えば左右方向のカーソルキーの操作によって任意のタグを選択することができる。

例えば、「トランジション」のタグが選択された場合には、図１２（ａ）に示すように、遷移画面効果を施す編集を付加するための複数の編集アイコンを表示させる。また、「デジタルエフェクト」のタグが選択された場合には、図１２（ｂ）に示すように、デジタルエフェクトを施す編集を付加するための複数の編集アイコンを表示させる。

なお、図１２（ａ）（ｂ）に示す編集アイコンが表示された編集モード画面では、キー操作などによって、再生順序エリアにおいて設定されたインデックス画像から、編集アイコンを付加する対象とするものを任意に指定することができるものとする。

遷移画面効果（トランジションエフェクト）による編集は、例えば図１３（ａ）に示すように、２つのインデックス画像のそれぞれに対応する動画像、クリップ＃１，＃２がある場合に、遷移元のクリップ＃１に対応するインデックス画像に対してトランジションの編集アイコンを付加することで、クリップ＃１の最後のＧＯＰのＩピクチャを復号した画像Ａと、遷移後のクリップ＃２の最初のＧＯＰのＩピクチャを復号した画像Ｂとから、画像の遷移を表現する各種の画面効果による連続画像を合成して、図１３（ｂ）に示すようにクリップ＃１，＃２の間に合成する。

図１４には、トランジションエフェクトに関係する編集アイコン（図１４（ａ）〜（ｈ））と、それぞれに対応する画面遷移の例を示している。例えば、画面Ａを拭き取るように画面Ｂに切り変わるワイプ（図１４（ａ））、画面Ａと画面Ｂとがオーバーラップして溶け込むように変わるディゾルブ（図１４（ｂ））など単純なものから、画面Ａのドアを開けると画面Ｂに遷移するドア・オープン（図１４（ｄ））、画面Ａのページをめくって画面Ｂに変わるページ・ピール（図１４（ｅ））、立方体が回転しながら画面が切り替わるキューブ・スピン（図１４（ｆ））など画像の縮小や変形モディファイ処理を要する複雑な遷移画面効果を施すものまで用意されている。

また、デジタルエフェクトによる編集は、例えば図１５（ａ）に示すように、インデックス画像に対応する動画像、例えばクリップ＃１がある場合に、クリップ＃１に対応するインデックス画像に対してデジタルエフェクトの編集アイコンを付加することで、図１５（ｂ）に示すよう、該当するクリップ＃１に対して編集アイコンが示すデジタルエフェクトを施す。

図１６には、デジタルエフェクトに関係する編集アイコン（図１６（ａ）〜（ｌ））と、それぞれに対応するデジタル効果の例を示している。例えば、セピア、モノクローム、モザイク、ズーム・イン／アウト、ネガ、回転、ミラー（鏡像）、スリム／ストレッチ、フレーム／マーク、はめ込み合成、ストロボムービー、スチル（静止画再生）などの各種のデジタルエフェクトを施すものが用意されている。

なお、図示していないが、「効果音」のタグが選択された場合には、効果音、あるいはＢＧＭを表す複数の編集アイコン（例えば図１２（ｂ）に示す音符記号を用いている）を表示させる。

図１２（ａ）（ｂ）に示すように、編集アイコンエリアにおいて編集アイコンが選択されると、再生順序エリアに設定されたインデックス画像の下部に、選択された編集アイコンが付加される。これにより、編集操作の内容を視認できるようになっている。

以上のようにして、編集モード画面を通じて、インデックス画像に対する再生順序の編集と、再生対象として選択されたインデックス画像に対する編集アイコンの付加による編集操作入力が行われる（ステップＢ３、Ｂ４、Ｂ５）。ここでの編集操作入力は、インデックス画像の指定と編集アイコンの選択だけで良いため、広い表示画面を必要とせず、またキーやボタンなどを用いた簡単な操作のみで実行可能である。

こうして、編集操作入力が行われると、再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像に付加された編集アイコンに応じて、編集再生用プレイリストを仮作成する（ステップＢ６）。

ここで、編集結果のプレビュー表示の実行が指示された場合（ステップＢ７、Ｙｅｓ）、仮プレイリストを動画像の再生に参照するプレイリストとして指定し（ステップＢ８）、このプレイリストを用いた動画像の再生処理を実行する（ステップＢ９）。なお、プレイリストによる再生処理の詳細については後述する。

以下、同様にして、インデックス画像の一覧表示から任意にインデックス画像を選択し、また編集アイコンを付加する編集操作をすることで、それぞれの編集操作に応じた仮プレイリストが作成される。

こうして、編集操作入力が行われた後、編集終了の指示が入力されると（ステップＢ１０、Ｙｅｓ）、再生編集制御部１３０は、編集結果をプレイリストとして記録するか否かを、例えば表示部１９にメッセージを表示するなどしてユーザに問い合わせる（ステップＢ１１）。ここで、プレイリストとしての記録が指示された場合、仮プレイリストが示す編集結果をもとに、編集再生用プレイリストを本作成してプレイリストメモリ３０に記録する（ステップＢ１２）。

以上の編集操作によってプレイリストが生成され、プレイリストメモリ３０に記録される。

ここで、前述したインデックス画像の一覧表示の際に、シーン毎のインデックス画像を生成するために実行されるシーンの識別処理について説明する（図２、フレーム内画像復号部１３０ｄ、シーン切替識別部１３０ｈ）。図１７と図１８は、それぞれシーンの識別処理（第１、第２）を説明するためのフローチャートである。第１実施形態の電子カメラでは、図１７または図１８のフローチャートに示すシーンの識別処理の何れかが用いられるものとする。

まず、図１７に示す第１のシーン識別処理について説明する。
まず、編集対象とする動画像データの最初のＧＯＰを読み込み（ステップＣ１）、ＧＯＰ内のＩピクチャをフレーム内復号し、前回メモリに一時記憶する（ステップＣ２）。

次のＧＯＰを読み込み、ＧＯＰ内のＩピクチャをフレーム内復号し、今回メモリに一時記憶する（ステップＣ３）。

そして、今回メモリに記憶したＩピクチャと前回メモリに記憶したＩピクチャについて、空間パターン情報を用いた相関度Ｒを算出する（ステップＣ４）。例えば、相関度は、統計処理等で一般に用いる相関係数や、共分散と標準偏差等を用いて算出することができる。

例えば、ピアソンの積率相関係数（Ｒ）は、ｍ×ｎの画像やパターンでは、次式、Ｒ＝（画像ｆと画像ｔの共分散）／｛（画像ｆの標準偏差）・（画像ｔの標準偏差）｝によって計算できる。

すなわち、積率相関係数（Ｒ）は、以下の式（１）によって算出する。

ただし、ｆ［ｘ，ｙ］は、入力画像ｆ（前回メモリ）のｘ，ｙ座標の濃度値、ｔ［ｘ，ｙ］は、参照画像ｔ（今回メモリ）のｘ，ｙ座標の濃度値、ｆAVは入力画像ｆの濃度値の平均値、ｔAVは参照画像ｔの濃度値の平均値である。

相関度Ｒが所定値以上の場合は（ステップＣ５、Ｙｅｓ）、前のＧＯＰと連続するシーンと見なし、相関度が所定値より低い場合は（ステップＣ５、Ｎｏ）、ＧＯＰを新しいシーンヘの切り替り位置として識別する。そして、新しいシーンと識別されたＧＯＰで始まる画像に、新しいシーンＮｏ．を割り当てて記憶する（ステップＣ６）。

次のＧＯＰの処理のために、今回メモリ内容を前回メモリに移し（書き換え）（ステップＣ７）、最後のＧＯＰまでの処理が終了する、あるいはシーケンスコード（ＳＥＣ）を検出するまで、前述したように、各ＧＯＰを対象としてシーンに識別を行う（ステップＣ８）。

次に、図１８に示す第２のシーン識別処理について説明する。
第１のシーン識別処理では、フレーム内復号したＩピクチャの画像データの空間パターン情報をもとにシーンの切り替え位置を識別しているが、第２のシーン識別処理では、Ｉピクチャの輝度または色差のＤＣＴ係数のＤＣ（直流）成分をもとにシーンの切り替え位置を識別する。

まず、編集対象とする動画像データの最初のＧＯＰを読み込み（ステップＣ１１）、ＧＯＰ内のＩピクチャの（輝度または色差データの）ＤＣＴ係数のＤＣ成分を前回メモリに一時記憶する（ステップＣ１２）。

次のＧＯＰを読み込み、ＧＯＰ内のＩピクチャの（輝度または色差データの）ＤＣＴ係数のＤＣ成分を今回メモリに一時記憶する（ステップＣ１３）。

そして、今回メモリに記憶したＤＣ成分と前回メモリに記憶したＤＣ成分の相関度Ｒ、すなわち輝度情報（Ｙ）または色差情報（Ｃｒ、Ｃｂ）のＤＣＴ係数のＤＣ（直流）成分を用いた相関度Ｒを算出する（ステップＣ１４）。例えば、相関度は、統計処理等で一般に用いる相関係数や、共分散と標準偏差等を用いて算出することができる。

例えば、ピアソンの積率相関係数（Ｒ）は、ｍ×ｎの画像やパターンでは、次式、Ｒ＝（ＤＣ成分ａとＤＣ成分ｂの共分散）／｛（ＤＣ成分ａの標準偏差）・（ＤＣ成分ｂの標準偏差）｝によって計算できる。

すなわち、積率相関係数（Ｒ）は、前述した式（１）によって算出する。

ただし、ｆ［ｘ，ｙ］は、入力画像ｆ（前回メモリ）のｘ，ｙ座標のＤＣ成分、ｔ［ｘ，ｙ］は、参照画像ｔ（今回メモリ）のｘ，ｙ座標のＤＣ成分、ｆAVは入力画像ｆのＤＣ成分の平均値、ｔAVは参照画像ｔのＤＣ成分の平均値である。

相関度Ｒが所定値以上の場合は（ステップＣ１５、Ｙｅｓ）、前のＧＯＰと連続するシーンと見なし、相関度が所定値より低い場合は（ステップＣ１５、Ｎｏ）、ＧＯＰを新しいシーンヘの切り替り位置として識別する。そして、新しいシーンと識別されたＧＯＰで始まる画像に、新しいシーンＮｏ．を割り当てて記憶する（ステップＣ１６）。

次のＧＯＰの処理のために、今回メモリ内容を前回メモリに移し（書き換え）（ステップＣ１７）、最後のＧＯＰまでの処理が終了する、あるいはシーケンスコード（ＳＥＣ）を検出するまで、前述したように、各ＧＯＰを対象としてシーンに識別を行う（ステップＣ１８）。

なお、図１７及び図１８のフローチャートに示すシーンの識別処理では、ＧＯＰ間のＩピクチャの相関度をもとにして、シーンの切り替え位置を識別しているが、その他の方法によってシーン切り替え位置を識別するようにしても良い。

例えば、動画像の撮影時に入力される操作に応じて、シーンの区切り位置を示すデータを動画像データと関連付けて記録しておく。例えば、撮影開始／停止スイッチの操作イベント（少なくとも何れか一方）を、タイムコードやＧＯＰに対応付けて動画像データと共に記録しておく。

そして、撮影開始操作が記録された時刻やＧＯＰから、撮影停止操作が記録された時刻やＧＯＰまでを、一つのシーンとして識別してインデックス画像を生成する。

なお、撮影開始／停止スイッチの操作だけでなく、撮影動作中にその他の入力操作、例えばユーザから意図的な切り替え位置を指示する入力操作を受け付け、この入力操作に応じて動画像データと関連付けて切り替え位置を示すデータを記録するようにしても良い。この場合、切り替え位置を示すデータをもとに動画像を区分し、それぞれの区分に対応するインデックス画像（例えば先頭画像）を生成すれば良い。

次に、前述した編集モードにおける編集操作入力に応じた再生方法の編集処理（プレイリストの作成）について説明する。

図１９には、動画像に対する編集の一例を示している。図１９（ａ）は必要なパートだけをつなぐトリミング編集、図１９（ｂ）は複数クリップの再生順序を変更するカット編集、図１９（ｃ）はオープニングやエンディングの画像にタイトルの文字や画像を合成するタイトル編集（効果音やＢＧＭの付加を含む）の例をそれぞれ示している。

図２０には、トリミング編集（図１９（ａ））におけるプレイリスト作成／再生制御の例を示している。なお、以下の説明では、編集モードのインデックス画像の一覧位置画面において、ＧＯＰ単位のインデックス画像に対して入力操作が行われるものとする。

トリミング編集では、編集モードの入力操作画面（図１１，１２）において、再生対象とするパートに対応するインデックス画像のみが、先頭方向から再生順に順次選択される。図２０（ａ）では、パート１に該当するＧＯＰ５〜１０が、それぞれに対応するインデックス画像の選択により指定される。同様にして、パート２に該当するＧＯＰ１３〜２１、パート３に対応するＧＯＰ２７〜３２が指定される。

再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像（ＧＯＰ）を選択する編集操作に応じて、再生制御情報を編集してプレイリストに記録する。

図２０（ｂ）には、図２０（ａ）に示す入力操作に応じて作成されるプレイリストの具体例を示している。図２０（ｂ）に示すように、プレイリストは、再生制御情報として、「編集コード」「該当元ＧＯＰ（アウト）」「タイムコード」「該当先ＧＯＰ（イン）」「タイムコード」についてのデータがそれぞれ対応付けて記録される。

例えば「編集コード」にはスタートコード（「start」）が設定され、先頭のＧＯＰ５が「該当先ＧＯＰ」として記録される。また、ＧＯＰ５の動画像先頭からの時間を示す「タイムコード」が記録される。また、「編集コード」として、再生しないＧＯＰを読み飛ばすことを示すジャンプコード（「Jump1」「Jump2」）が設定され、それぞれジャンプ元のＧＯＰ（ＧＯＰ１０，ＧＯＰ２１）が「該当元ＧＯＰ」として設定され、ジャンプ先のＧＯＰ（ＧＯＰ１３，ＧＯＰ２７）が「該当先ＧＯＰ」として設定される（それぞれのＧＯＰのタイムコードも設定される）。

図２０（ｂ）に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図２０（ｃ）に示すように、「編集コード」にスタートコード「start」が設定されているＧＯＰ５から再生が開始される。そして、ＧＯＰ５〜１０まで再生された後、ジャンプコード「Jump1」に従ってＧＯＰ９からＧＯＰ１３にジャンプして、その間のＧＯＰをカットし、同様にして、パート２に該当するＧＯＰ１３〜２０を再生出力した後、ジャンプコード「Jump2」に従ってＧＯＰ２０からＧＯＰ２７にジャンプして、その間のＧＯＰをカットするように再生出力される。すなわち、プレイリストを参照した再生出力によって、再生対象として選択されたパートに該当するＧＯＰのみが再生出力され、不要な部分がカットされた、トリミング編集された動画像を再生することができる。

図２１には、カット編集（図１９（ｂ））におけるプレイリスト作成／再生制御の例を示している（ＧＯＰ単位のインデックス画像に対して入力操作が行われるものとする）。

カット編集では、編集モードの入力操作画面（図１１，１２）において、再生対象とするパートに対応するインデックス画像が再生順に任意に選択される。図２１（ａ）では、クリップ＃３に該当するＧＯＰ２７〜３２が、それぞれに対応するインデックス画像の選択により指定される。次に、クリップ＃２に該当するＧＯＰ１３〜２１、クリップ＃１に対応するＧＯＰ５〜１０の順番で、それぞれ同様にして指定される。

再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像（ＧＯＰ）を選択する編集操作に応じて、再生制御情報を編集してプレイリストに記録する。

図２１（ｂ１）には、図２１（ａ）に示す入力操作に応じて作成されるプレイリストの具体例を示している。図２１（ｂ１）に示すように、プレイリストは、再生制御情報として、「再生順序」「該当先ＧＯＰ」「タイムコード」「先頭先からの換算タイム」「該当元ＧＯＰ」「タイムコード」などについてのデータがそれぞれ対応付けて記録される。

例えば「再生順序」にはカットインコード「Cut In 0」が設定され、クリップ＃３の先頭のＧＯＰ２７が「該当先ＧＯＰ」として記録される。また、ＧＯＰ２７の動画像先頭からの時間を示すタイムコードと、当該ＧＯＰを再生出力するまでの「先頭からの換算タイム」（当初は０）が記録される。また、「該当元ＧＯＰ」には、次のクリップへのジャンプ元となるＧＯＰ３２（クリップ＃３の最終ＧＯＰ）が設定される。クリップ＃２については、「該当先ＧＯＰ」としてＧＯＰ１３が設定され、「該当元ＧＯＰ」としてクリップ＃２の最終ＧＯＰ２１が設定される（図示せず）。また、クリップ＃３の再生時間（各ＧＯＰのタイムコードの合計）をＧＯＰ２７に対応する「先頭からの換算タイム」に加算し、この求めた時間をカットインコード「Cut In 1」に対応する「先頭からの換算タイム」として設定する。同様にして、＃１についても、「再生順序」「該当先ＧＯＰ」「タイムコード」「先頭先からの換算タイム」「該当元ＧＯＰ」「タイムコード」を設定する。

なお、図２１（ｂ１）に示す形式のプレイリストではなく、図２１（ｂ２）に示すような形式、すなわちトリミング編集で説明した図２０（ｂ）に準じた形式としても良い。図２１（ｂ２）では、図２０（ｂ）の形式に、それぞれの「編集コード」に対応する「先頭からの換算タイム」のデータが付加されている。

図２０（ｂ１）に示すように、プレイリストが生成された場合、後述するプレイリストによる再生処理では、「再生順序」にカットインコード「Cut In 0」が設定されているＧＯＰ２７から再生を開始して、「該当元ＧＯＰ」のＧＯＰ３２まで再生する。次に、カットインコード「Cut In 1」が設定されているＧＯＰ１３から再生を開始して「該当元ＧＯＰ」のＧＯＰ２１まで再生し、同様にして、カットインコード「Cut In 2」が設定されているＧＯＰ５から再生を開始して「該当元ＧＯＰ」に設定されているＧＯＰ１０まで再生する。こうして、カット編集された編集操作に応じた再生出力を、プレイリストを参照しながら実行できるようにする。

図２２には、タイトル編集におけるプレイリスト作成／再生制御の例を示している。

タイトル編集では、任意のインデックス画像に対してタイトルを表す画像（及び音声）が付加される。図２２（ａ）では、パート２、パート１、パート３の順番で再生出力されるようにカット編集がされている。カット編集の詳細な説明については省略する（図２１参照）。さらに、最初のパート２のＧＯＰ６１〜７５に対して、タイトル１とＢＧＭ１を合成する編集が付加され、パート２の最終ＧＯＰ７７にワイプアウトが付加されている。また、パート１の先頭ＧＯＰ５にはワイプイン、最終ＧＯＰ５６にはフェードアウト５６が付加されている。また、パート３の先頭ＧＯＰ８１にはフェードイン、ＧＯＰ８２〜１００に対してタイトル２を合成する編集が付加されている。

再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像（ＧＯＰ）を選択する編集操作（編集の付加）に応じて、再生制御情報を編集してプレイリストに記録する。

図２２（ｂ）には、図２２（ａ）に示す編集の付加に応じて作成されるプレイリストの具体例を示している。図２２（ｂ）に示すように、プレイリストは、再生制御情報として、「編集コード」「該当元ＧＯＰ（アウト）」「タイムコード」「先頭からの換算タイム」「該当先ＧＯＰ（イン）」「タイムコード」「ファイル」についてのデータがそれぞれ対応付けて記録される。

なお、図２０（ｂ）、図２１（ｂ２）と共通する部分については説明を省略する。「編集コード」にはＧＯＰに対して付加された編集の内容を表すコード、例えばタイトルコード「Title 1」「Title 2」、ＢＧＭコード「ＢＧＭ 1」、ワイプコード「Wipe 1」、フェードコード「Fade 1」などが設定されている。また、タイトルコード、ＢＧＭコードに対応して、画像あるいは音声などのファイル名（「プリセットＡ」「音声ファイルＢ」「ファイルＣ」など）が「ファイル」として設定される。

図２２（ｂ）に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図２２（ｃ）に示すように、「編集コード」にスタートコード「start」が設定されているＧＯＰ６０から再生が開始される。そして、タイトルコードとＢＧＭコードが設定されているＧＯＰ６１〜７５に対して、「プリセットＡ」（画像）のファイルのデータを用いてタイトル１を合成し、また「音声ファイルＢ」（音声）のファイルのデータを用いてＢＧＭ１を再生して、ＧＯＰ７７まで再生出力する。パート２の最終ＧＯＰ７７からパート１の先頭ＧＯＰ５は、ワイプ１により画面を遷移させ、ＧＯＰ５〜５６まで再生出力する。パート１の最終ＧＯＰ５６と、パート３の先頭ＧＯＰ８１は、フェード１により画面を遷移させ、ＧＯＰ８２〜１００に対して、「ファイルＣ」のファイルのデータを用いてタイトル２を合成し、ＧＯＰ１０１まで再生出力する。すなわち、編集モードにおいて、インデックス画像に対して付加された編集アイコンに応じた編集を付加して動画像を再生することができる。

また、図２３には、トランジションエフェクトなど遷移画面効果を挿入する場合のプレイリスト作成／再生制御の例を示している。

遷移画面効果を挿入する場合、図２２においても説明したように、任意のインデックス画像に対して、編集内容を表す編集アイコンが付加される。図２３（ａ）では、クリップ＃１の最終ＧＯＰ２１にワイプが付加された場合を示している。この場合、ＧＯＰ２１にはワイプアウト、クリップ＃２の先頭ＧＯＰ２５にワイプインが付加される。

図２３（ｂ）に示すように、プレイリストには、ワイプを示す編集コード「Wipe 1」に対応して、「該当元ＧＯＰ」としてＧＯＰ２２、「該当先ＧＯＰ」としてＧＯＰ１５が記録される。その他の詳細については、図２０〜２２の説明に代えて省略する。

図２３（ｂ）に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図２３（ｃ）に示すように、「該当元ＧＯＰ」のＧＯＰ２２のＩピクチャを抽出して復号し（遷移元画像Ａ）、また「該当先ＧＯＰ」のＧＯＰ１５のＩピクチャを抽出して復号する（遷移先画像）。そして、遷移元画像Ａと遷移先画像Ｂを用いて、特殊効果（ここではワイプ）を表す連続画像を合成する。

そして、図２３（ｄ）に示すように、クリップ＃１からクリップ＃２の間に画面効果の遷移画像が挿入されて出力される。なお、遷移画像の合成の詳細については後述する（図２５〜図２７）。

次に、図７のステップＡ２７、図１０のステップＢ９に示すプレイリストによる再生処理について、図２４に示すフローチャートを参照しながら説明する（図３に示す復号再生制御部１４０参照）。
まず、再生順序制御部１４０ａ（圧縮符号化／復号部２４）は、再生対象とする動画像に対応するプレイリストファイル１４２ａをプレイリストメモリ３０（メモリ媒体／通信路１４２）から読み出す（ステップＤ１）。

再生順序制御部１４０ａは、スタートが設定されたＧＯＰから順に圧縮符号化／復号部２４（フレーム間復号部１４０ｂ，１４０ｆ、フレーム内復号部１４０ｃ，１４０ｅ）により復号して再生させる（ステップＤ２）。

ここで、プレイリストにトランジションエフェクト／タイトル等の編集が設定されている場合（ステップＤ３、Ｙｅｓ）、フレーム内復号部１４０ｃ，１４０ｅにより遷移前後のＧＯＰのＩピクチャ画像（遷移元画像、遷移先画像）を圧縮符号化／復号部２４により復号して生成し（ステップＤ５）、この遷移前後のＩピクチャより画面効果の連続画像を合成する（ステップＤ５）。なお、具体的な画面効果の連続画像の合成については後述する（図２５、図２６、図２７）。

そして、再生出力制御部１４０ｋは、合成されたトランジションエフェクト等の連続画像を再生表示させる（ステップＤ６）。

再生順序制御部１４０ａは、プレイリストに記録された遷移先の先頭ＧＯＰ（該当先ＧＯＰ）に移り、同様にして順に復号再生させる（ステップＤ７）。

また、プレイリストにデジタルエフェクトの編集が設定されている場合（ステップＤ１３、Ｙｅｓ）、該当ＧＯＰのＩピクチャまたは続く画像を復号し（ステップＣ１４）、該当Ｉピクチャまたは続く画像にズームイン、モノクロ化、セピアカラー、モザイク等、該当特殊効果を加える（ステップＤ１５）。

そして、再生出力制御部１４０ｋは、デジタルエフェクト処理された連続画像を再生表示させる（ステップＤ１６）。

また、プレイリストにジャンプまたはカットの編集が設定されている場合（ステップＤ１７、Ｙｅｓ）、ジャンプ元の最後ＧＯＰからジャンプ先の先頭ＧＯＰに移り、順に復号再生する（ステップＤ１８）。

また、何れの編集も付加がされていない場合（ステップＤ１７、Ｎｏ）、プレイリストに設定された再生順序に従い、順に復号再生する（ステップＤ１９）。

なお、プレイリストに効果音／ＢＧＭを付加する設定がされている場合（ステップＤ８）、該当効果音または音楽等の音声ファイル（追加音声ファイル１４２ｄ）を静止画像／動画像／音声データメモリ２８から読み込み（ステップＤ９）、該当画像を復号再生させると共に、該当音声ファイルを効果音合成部１４０ｇまたは音声復号部１４０ｈにより復号再生させる（ステップＤ１０）。

ここで、プレイリストの最後まで再生処理が完了していなければ（ステップＤ１１、Ｎｏ）、前述と同様にして、プレイリストに記録された再生制御情報に従って復号生成を実行する。

プレイリストの最後まで再生処理が完了すると（ステップＤ１２、Ｙｅｓ）、再生編集処理を終了して、元の処理に戻る。

次に、図２４のステップＣ５に示すトランジションエフェクト画面の合成処理の具体例について、ドアオープン／クローズの編集が設定されている場合を例にして説明する。

ドアオープン／クローズのトランジションエフェクト画面では、図２５に示すように、ドアオープンの状態からドアクローズの状態、あるいはその逆に画像を順次遷移させていく。図２６には、トランジションエフェクト画面が合成される様子を説明するための図、図２７には、遷移画面の合成処理を説明するためのフローチャートを示している。

まず、遷移前のクリップ＃１の最後のＧＯＰのＩピクチャをフレーム内復号して、Ａ画像（遷移元画像）として記録する（ステップＤ５１）（図２６（ａ））。

また、遷移後のクリップ＃２の最初のＧＯＰのＩピクチャをフレーム内復号して、Ｂ画像（遷移先画像）として記録する（ステップＤ５２）（図２６（ｂ））。

次に、ドアオープン効果など、遷移効果の切出しマスクの所定枚数ｋの連続画像Ｍ１〜Ｍｋを作成する（ステップＤ５３）（図２６（ｃ））。

次に、画像Ａを変形処理（画像変換等）し、マスク画像Ｍ１〜Ｍｋのマスク部分の形状に合わせて貼り付ける。あるいは、マスク部分と重なった部分のみを残し、重なっていない部分を切り抜く（ステップＤ５４）（図２６（ｄ））。

画像Ｂを所定枚数ｋだけコピーし、各画像Ｂをマスク画像Ｍ１〜Ｍｎと重ね、重なった部分を切り抜き、残りの部分を残す処理をする（ステップＤ５５）（図２６（ｅ））。すなわち、マスク画像Ｍ１〜Ｍｋの各マスク部分データを全て０、残りを全て１とし、Ｂ画像と各マスク画像とをＡＮＤ処理する。

次に、マスク処理して切り抜いた各Ａ画像と対応するＢ画像とを結合（ＯＲ）し、所定枚数の連続画像を作成する（ステップＤ５６）（図２６（ｆ））。

以上の処理によって、トランジションエフェクト画面の合成をすることができる。

このようにして、第１実施形態の電子カメラでは、ズーム撮像部４を通じて撮影された動画像に対して編集を施す場合に、動画像データを編集後の動画像データに変換して記録する代りに、ＭＰＥＧ圧縮動画像の元データを残したまま、クリップやシーン毎に再生順序変更や遷移画面効果などを表す再生制御情報をプレイリストとして編集して記録することができる。そして、動画像を再生出力する際には、プレイリストの再生制御情報を参照しながら編集や特殊処理を施した動画像を生成して再生出力するようにしたので、例えば次のような効果を得ることができる。

（１）プレイリストの編集情報を変更するだけで、色々な編集を何度でも施すことができる。従って、記録した動画像データ自体に変更や加工をしないので、何度編集しても画質が劣化しない。

（２）複雑な復号や再符号化、ストリームの連続性やバッファ量の制御等が不要なので、構成が簡単で処理量が少なく、小型携帯型に構成された電子カメラ等の低速ＣＰＵや処理回路でも、再生しながら特殊効果等を簡単に生成して再生出力できる。

（３）プレイリストを新たに別ファイルとして記録するだけなので、メモリの所要量も少なく、メモリ容量が少ない携帯型の電子カメラ等でも実現できる。

（４）編集操作は、従来のようにタイムライン上にクリップ画像をドラッグ＆ドロップしたり、画像トラックと画像トラックの間のトラックに画面効果のオブジェクト等を並べたりする代りに、インデックス画像を再生順に選択し、また画面効果やタイトルや効果音付加等を表す編集アイコンを選択してインデックス画像に付加する操作だけで良い。このため、表示サイズが小さい（多数のトラックなどを設けた編集画面を同時表示できない）表示部１９や、限られたボタンやキーによる簡易な操作入力部１５でも容易に編集操作入力が可能でありハードウェアの制限により操作性を損なうことがない。

なお、前述した第１実施形態では、再生制御情報をプレイリストとして編集して記録し、動画像を再生する場合には、プレイリストの再生制御情報を参照しながら、編集や特殊処理を施した動画像を生成して再生するようにしたが、プレイリストの再生制御情報を参照して、編集を施した後の動画像データを新規の動画像データとして追加記録できるようにしても良い。あるいは、再生編集（プレイリストの作成）だけでなく、前述した編集操作入力によって、例えばＧＯＰ単位で簡易に動画像データに対して編集処理（編集記録）を行う編集機能や編集モードを設けても良い。また、再生編集とするか、さらに編集記録とするかをユーザからの指定入力によって選択できるようにしでもよい。

なお、遷移画面効果やタイトルや効果音、ＢＧＭなどの付加の編集例を示したが、その他の遷移画面効果や音声効果、あるいは遷移画面以外の画像の変形やモデファイ、デフォルメ加工や、画像の色相や彩度、明度などを変化させたり、白黒画像やモザイク画像、解像度や階調度を変えた画像など、その他のデジタルエフェクトを付加したり、その他の楽器音や擬音、声音等を合成して付加できるようにしてもよい。

また、タイムライン上での編集操作は小型機器では難しいが、一覧性や時系列順序は分かりやすいので、編集前後の一覧表示として、タイムラインや時間軸上のインデックス画像表示等を合せて表示できるようにしてもよい。

次に、本発明の第２実施形態について説明する。
第１実施形態では、動画像に対するユーザよって入力される編集操作に対して、動画像データについて実際の編集処理を施さずプレイリストを作成編集するとしているが、第２実施形態では、編集操作に対して、動画像データ自体に対して実際に編集処理を施して記録する。

なお、第２実施形態における電子カメラの構成及び基本的な動作について第１実施形態と同じであるものとして詳細な説明を省略する。

以下、第２実施形態における動画像データの編集処理について、図２８に示すフローチャートを参照しながら説明する。

まず、ユーザからの指定に応じて、静止画像／動画像／音声データメモリ２８に記録された複数の動画像データ（ＭＰＥＧファイル１３２）から編集対象とする動画像データを選択する（ステップＥ１）。

再生編集制御部１３０は、多重分離復号部１３０ｂにより分離された動画像データについて圧縮符号化／復号部２４により復号し、所定単位毎のインデックス画像を生成して、編集モード用の画面として表示部１９において一覧表示させる（ステップＥ２）。ここでは、所定単位のインデックス画像として、例えば時間毎、シーン毎、ＧＯＰ毎のインデックス画像をそれぞれ生成して一覧表示できるものとする。

ここでは、第１実施形態と同様にして、インデックス画像が一覧表示された編集モード画面を通じて、インデックス画像に対する再生順序の編集と、再生対象として選択されたインデックス画像に対する編集アイコンの付加による編集操作入力が行われる（ステップＥ３、Ｅ４、Ｅ５）。ここでの編集操作入力は、インデックス画像の指定と編集アイコンの選択だけで良いため、広い表示画面を必要とせず、またキーやボタンなどを用いた簡単な操作のみで実行可能である。

こうして、編集操作入力が行われると、再生編集制御部１３０（再生方法編集部１３０ａ）は、インデックス画像に付加された編集アイコンに応じて、編集再生用プレイリストを仮作成する（ステップＥ６）。

ここで、編集結果のプレビュー表示の実行が指示された場合（ステップＥ７、Ｙｅｓ）、仮プレイリストを動画像の再生に参照するプレイリストとして指定し（ステップＥ８）、このプレイリストを用いた動画像の再生処理を実行する（ステップＥ９）。なお、プレイリストによる再生処理の詳細については後述する。

以下、同様にして、インデックス画像の一覧表示から任意にインデックス画像を選択し、また編集アイコンを付加する編集操作をすることで、それぞれの編集操作に応じた仮プレイリストが作成される。

こうして、編集操作入力が行われた後、編集終了の指示が入力されると（ステップＥ１０、Ｙｅｓ）、再生編集制御部１３０は、編集結果をプレイリストとして記録するか否かを、例えば表示部１９にメッセージを表示するなどしてユーザに問い合わせる（ステップＥ１１）。ここで、プレイリストとしての記録が指示された場合、仮プレイリストが示す編集結果をもとに、編集再生用プレイリストを本作成してプレイリストメモリ３０に記録する（ステップＥ１２）。

プレイリストの編集終了後には、編集後の動画像データを記録する設定がされているかを判別する（ステップＥ１３、Ｙｅｓ）。例えば、プレイリストの作成編集の後に、「編集後のデータを記録するか？」といった、ユーザに対して確認するためのメッセージを表示する。このメッセージに対して実行を指示する応答があった場合に編集後の動画像データを記録する設定がされていると判別する。あるいは、作成編集モードとは別に、編集記録モードを設け、この編集記録モードが設定されている場合に、プレイリスト記録だけでなく、編集後の動画像データ自体も記録するものと判別する。

編集後の動画像データの記録をする場合、該当プレイリストを読出し（ステップＥ１４）、スタートが設定されたシーンのＧＯＰから順に動画像データを読出し、圧縮符号化されたデータのまま複製コピーを作成して、ＧＯＰ単位で結合して新たな動画像データを作成する（ステップＥ１５）。

ここで、対象とするＧＯＰにジャンプやスキップ（カット）の編集が付加されている場合（ステップＥ２４、Ｙｅｓ）、ジャンプ先の先頭ＧＯＰに移って、そこからまた順にＧＯＰ単位で圧縮符号化されたデータを結合していく（ステップＥ２５）。

また、遷移画面効果のトランジションエフェクトやタイトル画面などを付加する編集が付加されている場合には（ステップＥ１６、Ｙｅｓ）、遷移前と遷移後の各ＧＯＰのＩピクチャをフレーム内復号して（ステップＥ１７）、遷移前後のＩピクチャの静止画像Ａ，Ｂ（遷移もと画像、遷移先画像）から該当する画面遷移など特殊効果用の連続画像を合成して作成し（ステップＥ１８）、合成した遷移効果の連続画像を新たな単数または複数のＧＯＰの動画像データとして、前後の隣接ＧＯＰとともに符号化して結合する（ステップＥ１９）。そして、遷移先の先頭切らせに移り、ＧＯＰ単位で結合する（ステップＥ２０）
この場合、隣接ＧＯＰ間でバッファ量（ＶＢＶ_delay値など）や符号量のバランスなどを調整するために、特殊効果用に合成した連続画像を新たなＧＯＰとして作成し、また、符号化する場合には、バッファ量（ＶＢＶ_delay値）を所定値に再設定するとともに、前後のＧＯＰの動画像データを一旦復号して、遷移前のＧＯＰと、合成した画面効果部分のＧＯＰと、遷移後のＧＯＰとの複数ＧＯＰをまとめて再符号化して、符号量が過不足やアンバランスをふせぐ（ステップＥ２１）。

ここで、プレイリストの最後、またはエンドが設定されたプレイリストに到達したならば、そこまで結合した動画像データを元の動画像データとは別の新たな動画像データとして記録し、編集を終了する（ステップＥ２３）。

第２実施形態では、ジャンプやスキップ（カット）など再生順序の変更をＧＯＰ単位で行うので、殆どの編集の部分では、図２９（ａ）に示すように、圧縮符号化されたデータのままＧＯＰ単位で切り貼りすればよい。

また、図２９（ｂ）に示すように、圧縮符号化データのままフレーム単位で編集することもできるが、編集点前後でのＧＯＰの修正作業、例えばカット点がＰピクチャフレームの場合、前のＩピクチャのＤＣＴ成分に動き補償を施したものに、カット点のＰピクチャのＤＣＴ成分を加え、新たなＩピクチャとするなどの修正が必要となる。ＧＯＰ単位では、このような修正作業を行う必要がなく、簡単な構成と処理で圧縮データのまま編集処理が実現できる。

また、トランジションエフェクトやタイトル合成等特殊効果などの部分では、図３０に示すように、第１実施形態と同様にして、遷移前後のＧＯＰ単位でフレーム内復号したＩピクチャを元に合成した遷移画面を生成し、編集記録のためには、前後のＧＯＰとともに再符号化して新たなＧＯＰを作成する必要があるが、復号や再符号化の処理は少ないので、編集記録を行っても、符号量や復号したベースバンド動画像を記録するためのメモリ所要量が少なくても済む。その部分で時間が多少かかっても、編集中なので使用上の不都合は少ない。

また、撮影して記録した元の動画像データはそのまま変更せず、新たな動画像データを新規に作成するので、何度編集しても、元の動画像の画質が劣化することはない。また、第１実施形態のように、再生制御方法を設定したプレイリストだけの作成に比べ、編集の処理やメモリ所要量は若干増えるが、第１実施形態と違い、再生時には編集後の動画像データをそのまま再生するだけでよくなるので再生時の制御が不要で簡単になる。

このようにして、第２実施形態では、編集単位をＧＯＰ単位として、殆どの編集では圧縮符号化データでの編集で行えるようにし、また、遷移画面効果などの特殊効果の編集もＧＯＰ単位の簡易方式ながら行えるようにしたので、従来例に比べて編集処理を単純化でき、かつ、圧縮記録後の動画像データでも編集できる機能を、例えば小型の電子カメラに搭載された低速ＣＰＵや画像データ処理回路でも十分実現できるようなる。

なお、前述した図２８のフローチャートの処理では、ユーザからの入力操作に対してプレイリストを作成編集するとしているが、プレイリストを作成しないで動画像データに対して編集を施して、編集済みの動画像データを記録しておくようにしても良い。

なお、第２実施形態では、ユーザからの入力操作に対して動画像データに対して編集処理を施して記録するものとしてるが、第１実施形態と同様にしてプレイリストを作成し、このプレイリストに設定された編集内容（再生制御情報）に応じて編集処理を実行するようにしても良い。

また、前述した各実施形態では、携帯カメラ本体部２及びズーム撮像部４によって撮影された動画像を対象にして説明しているが、例えば充電／ＰＣ転送用クレードル部７を介して、ＵＳＢ、ＬＡＮ、あるいは無線通信などにより他のパーソナルコンピュータなどの情報機器から受信された動画像データに対して同様の処理を実行して、動画像データに対して符号化して記録するとともにプレイリストを作成し、携帯カメラ本体部２において再生できるようにしても良い。また、他の情報機器から符号化された動画像データと共に、この動画像データに対するプレイリストのデータを受信し、携帯カメラ本体部２において、プレイリストをもとに動画像を再生出力することもできる。

また、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

また、前述した各実施形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。電子カメラに搭載されるコンピュータの機能は、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

本発明の第１実施形態における電子カメラの回路システム構成を示すブロック図。 第１実施形態における再生編集制御部１３０の機能構成を示すブロック図。 第１実施形態における復号再生制御部１４０の機能構成を示すブロック図。 第１実施形態における再生編集制御部１３０による再生編集と復号再生制御部１４０による再生出力の制御及び圧縮符号化／復号部２４の詳細な構成を説明するための図。 ＭＰＥＧ動画像データの階層構造を示す図。 符号化／復号化時のフレーム画像の順序を示す図。 第１実施形態における電子カメラの全体の制御の流れを説明するためのフローチャート。 第１実施形態における動画像を撮影する動画撮影モードにおける表示部１９に表示される画面の一例を示す図。 第１実施形態における再生メニューと編集メニューの一例を示す図。 第１実施形態における再生方法の編集処理（プレイリストの作成）について説明するためのフローチャート。 第１実施形態における編集モードの表示画面においてインデックス画像の一覧が表示されている例を示す図。 第１実施形態における特殊効果の付加の設定中の画面の一例を示す図。 遷移画面効果（トランジションエフェクト）による編集を説明するための図。 第１実施形態におけるトランジションエフェクトに関係する編集アイコンとそれぞれに対応する画面遷移の例を示す図。 デジタルエフェクトによる編集を説明するための図。 第１実施形態におけるデジタルエフェクトに関係する編集アイコンとそれぞれに対応するデジタル効果の例を示す図。 第１実施形態における第１のシーン識別処理について説明するためのフローチャート。 第１実施形態における第２のシーン識別処理について説明するためのフローチャート。 動画像に対する編集（トリミング編集、カット編集、タイトル編集）の一例を説明するための図。 第１実施形態におけるトリミング編集のプレイリスト作成／再生制御の例を示す図。 第１実施形態におけるカット編集のプレイリスト作成／再生制御の例を示す図。 第１実施形態におけるタイトル編集におけるプレイリスト作成／再生制御の例を示す図。 第１実施形態におけるトランジションエフェクトなど遷移画面効果を挿入する場合のプレイリスト作成／再生制御の例を示す図。 第１実施形態におけるプレイリストによる再生処理について説明するためのフローチャート。 第１実施形態におけるドアオープン／クローズのトランジションエフェクト画面を説明するための図。 第１実施形態におけるトランジションエフェクト画面が合成される様子を説明するための図。 第１実施形態における遷移画面の合成処理を説明するためのフローチャート。 第２実施形態における第２実施形態における動画像データの編集処理について説明するためのフローチャート。 第２実施形態における圧縮データ上での編集を説明するための図。 第２実施形態におけるＧＯＰ単位での復号と再符号化による編集を説明するための図。

符号の説明

２…携帯カメラ本体部、４…ズーム撮像部、６…コネクタ部、７…充電／ＰＣ転送用クレードル部、１０…制御回路、１２…入力回路、１３…静止画撮影半押し／シャッタボタン、１４…動画撮影開始／停止ボタン、１５…操作入力部、１７…表示メモリ、１８…表示駆動部、１９…表示部、２０…画像バッファメモリ、２２…画像信号処理部、２４…圧縮符号化／復号部、２６…編集／再生制御部、２８…静止画像／動画像／音声データメモリ、３０…プレイリストメモリ、３１…音声復号化部、３２…Ａ／Ｄ変換部、３３…増幅部、３４…スピーカ、３６…外部メモリインタフェース、３７…外部メモリ、４０…音声符号化部、４１…Ａ／Ｄ変換部部、４２…増幅部、４３…マイク、４４…電源制御部、４６…電池、４８…外部Ｉ／Ｏインタフェース、５０，９２…コネクタ、５２…レンズ光学系、５３…絞り、５４…ハーフミラー、５５…シャッタ、５８，５９…レンズ駆動部、６０…撮像素子、６２…測光／測距センサ、７０…制御部、７１…焦点制御部、７２…ズーム制御部、７３…絞り制御部、７４…シャッタ制御部、７５…ＣＤＳ／ＡＧＣ、７６…Ａ／Ｄ回路、７７…タイミング制御駆動部、７８…露出制御部、７９…測距制御部、８０…フラッシュ制御部、８２…フラッシュ駆動部、８３…フラッシュ、９０…制御回路、９４…充電制御部、９６…電源／充電／転送インジケータ、９７…操作部、９８…無線ＬＡＮＩ／Ｆ、９９…符号／復号部、１００…変調／復調部、１０１…送信／受信部、１０４…ＬＡＮ通信Ｉ／Ｆ、１０６…ＵＳＢ通信Ｉ／Ｆ、１０８…ＵＳＢコネクタ、１１０…ＬＡＮコネクタ、１２０…安定化回路、１２２…平滑回路、１２４…整流回路、１２６…ヒューズ、１３０…再生編集制御部、１３０ａ…再生方法編集部、１３０ｂ…多重分離復号部、１３０ｃ…各種復号部、１３０ｄ…フレーム内画像復号部、１３０ｅ…インデックス画像作成部、１３０ｆ…音声インデックス再生部、１３０ｇ…プレイリスト作成部、１３０ｈ…シーン切替識別部、１３２，１３６ａ，１４２ｂ…ＭＰＥＧファイル、１３４…画像・音声ファイル、１３６，１４２…メモリ媒体／通信路、１３６ｂ，１４２ａ…プレイリストファイル、１３６ｃ…追加画像・音声ファイル、１４０ａ…再生順序制御部、１４０ｂ…フレーム間復号部、１４０ｃ…フレーム内復号部、１４０ｄ…特殊効果合成部、１４０ｅ…フレーム内復号部、１４０ｆ…フレーム間復号部、１４０ｇ…効果音合成部、１４０ｈ…音声復号部、１４０ｋ…再生出力制御部、１４２ｃ…追加画像ファイル、１４２ｄ…追加音声ファイル。

Claims (9)

1. 動画像を撮影する動画像撮影手段と、
   前記動画像撮影手段によって撮影された動画像データに含まれる複数のフレームを所定数毎にグループ化しながらグループ単位で圧縮符号化して記録する動画像記録手段と、
   前記動画像記録手段によって記録された動画像データに対する編集操作により、前記圧縮符号化されたグループ単位で、該動画像データにおいて編集対象となるフレーム位置および編集内容を入力し、この入力された圧縮符号化のグループ位置および編集内容を示す再生制御情報を生成する編集操作入力手段と、
   前記編集操作入力手段により生成された再生制御情報を前記動画像記録手段によって記録された圧縮符号化されたままの動画像データに関連付けて記録する再生制御情報記録手段と、
   前記再生制御情報記録手段によって前記再生制御情報が関連付けて記録された前記圧縮符号化されたままの動画像データを再生する場合に、該動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、該再生制御情報が示す編集対象となるグループが復号されたときは、該グループに含まれる複数のフレームに対して該再生制御情報が示す編集内容に応じた編集処理を施しながら再生出力する再生出力手段と、
   を具備したことを特徴とする電子カメラ。
2. 前記動画像記録手段によって記録された動画像データに含まれる複数のグループを、シーン毎にグループ化するシーン別グループ化手段を更に備え、
   前記編集操作入力手段は、前記シーン別グループ化手段によりグループ化されたシーン単位で編集対象となるフレーム位置および編集内容を入力し、この入力されたシーン位置を前記編集対象となるフレーム位置とする再生制御情報を生成することを特徴とする請求項１記載の電子カメラ。
3. 前記編集操作入力手段は、遷移元のグループ位置と遷移先のグループ位置を指定するとともに、画像を遷移させる特殊効果を前記編集内容として入力し、この入力された遷移元のグループ位置、遷移先のグループ位置、および前記画像を遷移させる特殊効果を示す再生制御情報を生成し、
   前記再生出力手段は、前記動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、前記再生制御情報が前記画像を遷移させる特殊効果を示す場合であり、前記再生制御情報が示す遷移元グループ内の最後のフレーム位置から前記再生制御情報が示す遷移先グループ内の最初のフレーム位置へと再生出力するフレームを切り換えるときは、該遷移元グループ内の画像と該遷移先グループ内の画像に基づいて生成された画像の遷移を表現する連続画像のフレームを挿入して再生出力することを特徴とする請求項１記載の電子カメラ。
4. 前記動画像記録手段は、前記グループ内に、復号の際に前後のフレームの参照が不要な独立したフレームと、復号の際に前後のフレームの参照が必要なフレームとを含むように圧縮符号化して記録し、
   前記再生出力手段は、前記遷移元グループ内における前記独立したフレームの画像と前記遷移先グループ内における前記独立したフレームの画像とに基づいて、画像の遷移を表現する連続画像のフレームを生成することを特徴とする請求項３記載の電子カメラ。
5. 前記再生出力手段は、復号の際に前後のフレームの参照が不要な独立したフレームと、復号の際に前後のフレームの参照が必要なフレームとを含む前記圧縮符号化のグループ単位で、前記画像の遷移を表現する連続画像のフレームを生成することを特徴とする請求項４記載の電子カメラ。
6. 前記編集操作入力手段は、ジャンプ元のグループ位置とジャンプ先のグループ位置を指定するとともに、再生位置のジャンプ再生を前記編集内容として入力し、この入力されたジャンプ元のグループ位置、ジャンプ先のグループ位置、および前記再生位置のジャンプ再生を示す再生制御情報を生成し、
   前記再生出力手段は、前記動画像データに含まれる複数のフレームを順番に復号しながら再生出力していき、前記再生制御情報が前記再生位置のジャンプ再生を示す場合であり、前記再生制御情報が示すジャンプ元のグループ位置の画像を再生出力した後は、再生出力の対象となるグループ位置を前記再生制御情報が示すジャンプ先のグループ位置へと移動させることを特徴とする請求項１記載の電子カメラ。
7. 前記編集操作入力手段は、前記動画像記録手段に記録された動画像のデータに含まれる各グループを代表する画像を一覧表示し、この一覧表示された画像の選択操作によって編集対象となるグループ位置を入力することを特徴とする請求項１記載の電子カメラ。
8. 前記編集操作入力手段は、前記一覧表示された画像に選択操作が行われた場合に、この選択された画像に対応するグループの編集内容に応じた編集アイコンを、この選択された画像に対応する位置に表示させることを特徴とする請求項７記載の電子カメラ。
9. 電子カメラに内蔵されたコンピュータが実行する制御プログラムであって、
   コンピュータを、
   動画像を撮影する動画像撮影手段と、
   前記動画像撮影手段によって撮影された動画像データに含まれる複数のフレームを所定数毎にグループ化しながらグループ単位で圧縮符号化して記録する動画像記録手段と、
   前記動画像記録手段によって記録された動画像データに対する編集操作により、前記圧縮符号化されたグループ単位で、該動画像データにおいて編集対象となるフレーム位置および編集内容を入力し、この入力された圧縮符号化のグループ位置および編集内容を示す再生制御情報を生成する編集操作入力手段と、
   前記編集操作入力手段により生成された再生制御情報を前記動画像記録手段によって記録された圧縮符号化されたままの動画像データに関連付けて記録する再生制御情報記録手段と、
   前記再生制御情報記録手段によって前記再生制御情報が関連付けて記録された前記圧縮符号化されたままの動画像データを再生する場合に、該動画像データに含まれる複数のフレームを前記圧縮符号化されたグループ単位で順番に復号しながら再生出力していき、該再生制御情報が示す編集対象となるグループが復号されたときは、該グループに含まれる複数のフレームに対して該再生制御情報が示す編集内容に応じた編集処理を施しながら再生出力する再生出力手段と、
   して機能させるための電子カメラの制御プログラム。

Images