JP5283433B2 - デジタルスチルカメラ、画像処理方法およびプログラム - Google Patents

Description

本発明は、ユーザによって取得された画像データを含む素材データを加工して、符号化された記録データを生成する技術に関する。

昨今、カメラ付きの携帯電話やデジタルスチルカメラが広く普及し、一般的なユーザが手軽にデジタル画像データを楽しむようになってきた。そして、これらの画像データを単にディスプレイに静止画として表示させて楽しむだけでなく、音声データや文字データと合成してナレーションを入れたり、様々な特殊効果を施した画像データとして表示させるなど、表示形態が多様化してきた。

従来より、デジタルスチルカメラで撮像した複数の静止画像データを、撮影順に一定時間間隔で表示してスライドショーのような動画像を表示させるための編集データ（ビデオストリーム）を作成する技術が知られている。

一方で、動画像を配したブログの作成、動画投稿サイトへのアップロード、あるいはＤＶＤへの書き込みなど、動画像の利用形態も多様化している。すなわち、編集データを作成したその場で単に視聴するだけでなく、編集データを符号化して保存用の記録データを作成しておきたいという要請が強くなっている。

しかしながら、静止画像データを取得するために構成されるデジタルスチルカメラは動画像を表現した記録データを作成するための専用のハードウェアを備えていない場合が多い。かといって、ソフトウェア処理によってこのような記録データを作成するように構成すると、画像データの圧縮・符号化処理等は演算量が多く、本来の撮像処理等に支障を来す原因となる。

そこで従来より、静止画像データを作成するための専用のハードウェア（デジタルスチルカメラのような撮像装置が通常備えているハードウェア）でフレームデータに相当する静止画像データを複数作成して１つのファイルに格納し、再生する際には、フレームレート（１秒間に３０フレーム程度）に従って、当該ファイルに格納されているフレームデータを順次表示する技術が提案されている。このようなファイルの形式として、例えば、ＭｏｔｉｏｎＪＰＥＧ形式が提案されている。

特開２００７−３０６４２６号公報 特開２００８−０４２２５６号公報

ところが、フレームデータに相当する静止画像データをそれぞれ独立して１つのファイルに格納しておく技術では、格納される静止画像データの数が多くなり、記録データのデータ量が増大するという問題があった。特に、可搬性の装置として構成されるデジタルスチルカメラには記憶容量に制限があるため、より深刻な事態を招来する。

本発明は、上記課題に鑑みてなされたものであり、特別なハードウェアを必要とせず、かつ、演算量およびデータ量を抑制しつつ記録データの作成を行うことを目的とする。

上記の課題を解決するため、請求項１の発明は、編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて、それぞれがフレームデータを構成する複数の静止画像データを作成することにより、一連の動画像を表示させるための画像ファイルを作成するデジタルスチルカメラであって、前記複数の静止画像データを記憶する記憶手段と、前記一連の動画像において連続する同一の静止画像データのみを前記複数の静止画像データから抽出する抽出手段と、前記抽出手段により抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する静止画像ファイル作成手段と、前記複数の静止画像データのうち前記連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する動画像ファイル作成手段と、前記静止画像ファイルと前記動画像ファイルとに基づいて前記一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成するデータ作成手段とを備える。

また、請求項２の発明は、請求項１の発明に係るデジタルスチルカメラであって、前記データ作成手段は、作成した表示指示データで構成される表示指示ファイルを作成する。

また、請求項３の発明は、請求項１または２の発明に係るデジタルスチルカメラであって、画像を表示する表示手段と、前記静止画像ファイルと前記動画像ファイルとによって表現される前記一連の動画像を前記表示指示データに応じて前記表示手段に表示させる表示制御手段とをさらに備える。

また、請求項４の発明は、請求項１ないし３のいずれかの発明に係るデジタルスチルカメラであって、前記１の静止画像データは、前記連続する同一の静止画像データのうちの１つである。

また、請求項５の発明は、請求項１ないし４のいずれかの発明に係るデジタルスチルカメラであって、前記静止画像ファイルと前記動画像ファイルと前記表示指示データとを１つの記録ファイルに合成するファイル合成手段をさらに備える。

また、請求項６の発明は、それぞれがフレームデータを構成する複数の静止画像データから一連の動画像を表示させるための画像ファイルを作成する画像処理方法であって、(a)編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて、前記複数の静止画像データを作成する工程と、(b)前記複数の静止画像データを記憶手段に記憶させる工程と、(c)前記一連の動画像において連続する同一の静止画像データのみを前記記憶手段に記憶された複数の静止画像データから抽出する工程と、(d)抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する工程と、(e)前記複数の静止画像データのうち前記連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する工程と、(f)前記静止画像ファイルと前記動画像ファイルとに基づいて前記一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成する工程とを有する。

また、請求項７の発明は、コンピュータによって実行されるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて作成された、それぞれがフレームデータを構成する複数の静止画像データを記憶する記憶手段と、前記記憶手段に記憶された複数の静止画像データから、一連の動画像において連続する同一の静止画像データのみを抽出する抽出手段と、前記抽出手段により抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する静止画像ファイル作成手段と、前記複数の静止画像データのうち前記連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する動画像ファイル作成手段と、前記静止画像ファイルと前記動画像ファイルとに基づいて前記一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成するデータ作成手段とを備えるデジタルスチルカメラとして機能させる。

請求項１ないし５に記載の発明は、編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて、それぞれがフレームデータを構成する複数の静止画像データを作成することにより、一連の動画像を表示させるための画像ファイルを作成するデジタルスチルカメラであって、複数の静止画像データを記憶する記憶手段と、一連の動画像において連続する同一の静止画像データのみを複数の静止画像データから抽出する抽出手段と、抽出手段により抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する静止画像ファイル作成手段と、複数の静止画像データのうち連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する動画像ファイル作成手段と、静止画像ファイルと動画像ファイルとに基づいて一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成するデータ作成手段とを備えることにより、特別なハードウェアを必要とすることなく、画像ファイルのデータ量を削減できる。

請求項２に記載の発明は、作成した表示指示データで構成される表示指示ファイルを作成することにより、例えば、スクリプト言語に従って表示制御する一般的な構成で実現できる。

請求項４に記載の発明は、１の静止画像データは、連続する同一の静止画像データのうちの１つであることにより、静止画像ファイル用に別途静止画像データを作成する必要がない。

請求項５に記載の発明は、静止画像ファイルと動画像ファイルと表示指示データとを１つの記録ファイルに合成するファイル合成手段をさらに備えることにより、一連の動画像を表示させるための画像ファイルが１つの記録ファイルにまとめられるので、データ管理が容易になる。

請求項６に記載の発明は、それぞれがフレームデータを構成する複数の静止画像データから一連の動画像を表示させるための画像ファイルを作成する画像処理方法であって、編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて、複数の静止画像データを作成する工程と、複数の静止画像データを記憶手段に記憶させる工程と、一連の動画像において連続する同一の静止画像データのみを記憶手段に記憶された複数の静止画像データから抽出する工程と、抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する工程と、複数の静止画像データのうち連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する工程と、静止画像ファイルと動画像ファイルとに基づいて一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成する工程とを有することにより、特別なハードウェアを必要とすることなく、画像ファイルのデータ量を削減できる。

請求項７に記載の発明は、コンピュータを、編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて作成された、それぞれがフレームデータを構成する複数の静止画像データを記憶する記憶手段と、記憶手段に記憶された複数の静止画像データから、一連の動画像において連続する同一の静止画像データのみを抽出する抽出手段と、抽出手段により抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する静止画像ファイル作成手段と、複数の静止画像データのうち連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する動画像ファイル作成手段と、静止画像ファイルと前記動画像ファイルとに基づいて一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成するデータ作成手段とを備えるデジタルスチルカメラとして機能させることにより、特別なハードウェアを必要とすることなく、画像ファイルのデータ量を削減できる。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。

＜１． 実施の形態＞
図１は、本発明に係るデジタルスチルカメラ２を含む情報処理システム１を示す図である。情報処理システム１は、デジタルスチルカメラ２と、端末装置３と、例えばコンテンツプロバイダ等に設置されるサーバ装置５とを備えている。本実施の形態における情報処理システム１では、端末装置３とサーバ装置５とが互いにネットワーク８を介して接続される構成となっている。

なお、ネットワーク８としては、インターネットや公衆網等が該当する。また、サーバ装置５の台数は１台に限定されるものではなく、例えば複数のサーバ装置５がネットワーク８に接続されていてもよい。

サーバ装置５は、データベース５０を備えた一般的なコンピュータとして構成されており、先述のようにネットワーク８に接続されている。サーバ装置５のデータベース５０には、シナリオ元データ５２、ＧＵＩデータ５３および素材データ５４（以下、これらを「コンテンツデータ５１」と総称する場合がある。）が予め保存されている。なお、コンテンツデータ５１は、シナリオ元データ５２、ＧＵＩデータ５３および素材データ５４のうちの全てを含んでいる必要はなく、それらのうちのいずれかであってもよい。

コンテンツデータ５１は、画像処理に関する専門知識を有するオペレータ（イラストレータやカメラマン、プログラマ等）によって予め作成されたデータである。したがって、コンテンツデータ５１は、一般ユーザによって作成されるデータに比べて品質の高いデータとして提供される。コンテンツデータ５１のうちのシナリオ元データ５２およびＧＵＩデータ５３は、デジタルスチルカメラ２において実行されるデータであって、例えば、スクリプト言語等で記述されるテキストデータである。

シナリオ元データ５２は、結婚式やゴルフコンペ、運動会、卒業式といった様々なテーマごとにそれぞれ制作されており、対応するテーマと関連づけられて保存されている。したがって、ユーザは具体的なテーマを選択するだけで、個々のシナリオ元データ５２の内容を詳細に理解していなくても、所望の編集データを作成するためのシナリオ元データ５２をコンテンツプロバイダが提供する複数のシナリオ元データ５２の中から容易に指定することが可能である。

なお、シナリオ元データ５２と関連づけられるテーマは、上記に挙げたものに限定されるものではないが、ユーザが状況に応じて容易に思いつき、かつ、内容を容易に想像できるものがテーマとして好ましい。また、編集データとは、本実施の形態では画像（静止画像または動画像）や音声を表現した未圧縮のストリーム情報である。

また、各テーマには対応するＧＵＩデータ５３も関連づけられている。すなわち、テーマを介して、シナリオ元データ５２とＧＵＩデータ５３とが互いに関連づけられている。ＧＵＩデータ５３は、各シナリオ元データ５２にとって専用のＧＵＩデータ５３であってもよいし、複数のテーマ（シナリオ元データ５２）において共通に使用される汎用のＧＵＩデータ５３であってもよい。このようにシナリオ元データ５２にＧＵＩデータ５３が関連づけられていることにより、ユーザはテーマを選択するだけで、シナリオ元データ５２を指定できるとともに、当該シナリオ元データ５２に必要なＧＵＩデータ５３も特定できる。

シナリオ元データ５２には、目的の編集データに必要な編集前データ（画像データや音声データ、フォントデータ等）の識別子が記述されるとともに、各編集前データに対して実行すべき装飾（データ処理）が各編集前データごとに記述される。すなわち、シナリオ元データ５２には、編集前データの識別子とデータ処理とが互いに関連づけられて記述されている。

シナリオ元データ５２に記述されるデータ処理として、例えば、画像を表現した編集前データについて、どのような画像効果（Effect）を施すか、どのような画像合成（Synthesis）を行うか、あるいはどのように画像移行（Transition）させるか等が想定され、対応する編集前データに応じて画像処理の専門家であるオペレータによって選択され記述される。また、音声を表現した編集前データについても、再生のタイミングや音量等に関する設定情報（データ処理の種別を示す情報）が記述される。

なお、シナリオ元データ５２に識別子が記述される編集前データのうち、オペレータが制作したデータ（サーバ装置５に存在する素材データ５４）については、当該シナリオ元データ５２において当該素材データ５４との関連づけが既にされている。したがって、シナリオ元データ５２が特定されると、特定されたシナリオ元データ５２において使用される素材データ５４も編集前データとして特定される。

このように、コンテンツプロバイダは、ユーザがテーマを選択するだけで、サーバ装置５上の必要なシナリオ元データ５２、ＧＵＩデータ５３および素材データ５４が容易に特定されるように、それぞれの関連づけを行って提供する。

ＧＵＩデータ５３は、対応するシナリオ元データ５２に応じて、適切なＧＵＩをデジタルスチルカメラ２のユーザに提供するものである。すなわち、ＧＵＩデータ５３を実行することにより、デジタルスチルカメラ２は、シナリオ元データ５２において要求される編集前データを素材データ９０（図２）の中から特定するための特定情報を入力するようにユーザに対して要求し、デジタルスチルカメラ２におけるユーザ操作を支援する。

例えば、対応するシナリオ元データ５２で要求されている編集前データのうち、ユーザが指定（選択）しなければならないデータについては、その入力を促したり、当該編集前データとして適切な素材データ９０をユーザが容易に指定できるように、当該編集前データに関する情報を表示したりする。

素材データ５４は、デジタルスチルカメラ２において加工される素材となるデータであって、画像データや音声データ、フォントデータ等である。素材データ５４に含まれる画像データとしては、例えば、アニメキャラクタや映画の名場面、名所を撮影した風景画像、イラスト画像等であり、静止画像に限らず動画像であってもよい。また、音声データとしては、例えば、声優や俳優の声、ＢＧＭ、動物の鳴き声、楽器の音、効果音等であり、現実に録音されたデータであってもよいし、機械的に合成された音を出力するためのデータであってもよい。素材データ５４は、各シナリオ元データ５２に最適なデータとして、専門家のオペレータによって制作され収集されたデータである。

詳細は図示しないが、端末装置３は、一般的なコンピュータとしての構成および機能を備えた装置であって、ネットワーク８に接続されている。すなわち、情報処理システム１では、端末装置３とサーバ装置５との間でネットワーク８を介したデータ通信が可能とされている。したがって、ユーザは、端末装置３を操作することによって、サーバ装置５からコンテンツデータ５１を端末装置３にダウンロードすることができる。

また、端末装置３はケーブル４を介してデジタルスチルカメラ２と着脱自在に接続することも可能とされている。すなわち、ユーザは、デジタルスチルカメラ２と端末装置３とをケーブル４で接続しておき、サーバ装置５から端末装置３にダウンロードしたコンテンツデータ５１をデジタルスチルカメラ２に転送しておくことにより、デジタルスチルカメラ２にコンテンツデータ５１を記憶させることが可能である。

デジタルスチルカメラ２は、図１に示すように可搬性の記録メディア９を着脱することができるように設計されており、当該記録メディア９に記憶されているデータを読み出して利用したり、デジタルスチルカメラ２において生成したデータ（あるいは端末装置３から転送されたデータ）を当該記録メディア９に記憶させたりすることが可能である。本実施の形態では記録メディア９としてＳＤカードを採用するが、記録メディア９はこれに限定されるものではなく、例えばＰＣカードやメモリスティック等であってもよい。

図２は、デジタルスチルカメラ２の構成を示すブロック図である。図２では、デジタルスチルカメラ２の記録メディア９には、サーバ装置５からダウンロードされたシナリオ元データ５２、ＧＵＩデータ５３および素材データ５４が既に格納されている状態を示している。

なお、撮像データ９１および録音データ９２は、デジタルスチルカメラ２においてユーザにより撮像または録音され生成されるユーザ由来（サーバ装置５から提供されるデータではないという意味）のデータである。したがって、記録メディア９に記憶される素材データ９０は、図２に示すように、オペレータによって制作される素材データ５４の他に、撮像データ９１および録音データ９２を含んでいる。

先述のように、素材データ５４はテーマが選択されることによって特定されダウンロードされたデータであるから、当該テーマに関連づけられたシナリオ元データ５２において要求されている編集前データである。しかし、素材データ９０に含まれる撮像データ９１および録音データ９２は、編集データを作成する以外の目的でユーザが収集したデータを含んでおり、必ずしも編集前データとは限らない。すなわち、本実施の形態においては、素材データ９０は編集前データ以外のデータを含んでいる。

デジタルスチルカメラ２は、各種データに関する演算処理を行うＣＰＵ２０と、各種データを必要に応じて適宜記憶する記憶部２１とを備えており、一般的なコンピュータとしても構成されている。

ＣＰＵ２０は、記憶部２１のＲＡＭを一時的なワーキングエリアとして使用しつつ、記憶部２１のＲＯＭに格納されているプログラム２１０に従って動作することにより、デジタルスチルカメラ２の各構成を制御する。なお、ＣＰＵ２０は、サーバ装置５からダウンロードされて記録メディア９に格納されているシナリオ元データ５２、ＧＵＩデータ５３あるいは記録ファイル９４等を実行する機能も有しているが詳細は後述する。

また、デジタルスチルカメラ２は、各種データを取り込むための構成として、ユーザによって操作される操作部２２と、周囲の音声を電気信号に変換することにより録音を行うマイク２３と、入射する光を電気信号に変換することにより撮像を行う撮像部２４とを備えている。

操作部２２は、ユーザがデジタルスチルカメラ２に対して指示を入力するために使用される。操作部２２は、例えば、デジタルスチルカメラ２（撮像部２４）に撮像を行わせるための指示を入力するシャッターボタン、デジタルスチルカメラ２の動作に必要な設定データ等を入力するためのボタン類、あるいは文字データを入力するためのキー等で構成されている。特に、本実施の形態では、操作部２２は、ユーザが、所望のテーマ（シナリオ元データ５２）を選択するときや、記録メディア９に記憶されている素材データ９０から編集前データを特定するための特定情報を入力するとき等に操作される。

マイク２３は、先述のように、音声を電気信号に変換する機能を備えており、マイク２３によって取得された電気信号はＡ／Ｄ変換された後、音声データとして、後述するデータ変換部２７に伝達される。

撮像部２４は、レンズ等の光学系と、光学系によって導かれた光を受光して電気信号に変換する複数の光電変換素子（例えばＣＣＤ素子）とを備えている。複数の光電変換素子は、アレイ状に配列されており、それぞれが撮像時に受光した光の光量に応じた電気信号を出力する。

撮像部２４は、ユーザが操作部２２（シャッターボタン）を操作することにより撮像を行う。そして、１度の撮像によって複数の光電変換素子から得られたそれぞれの出力信号はＡ／Ｄ変換や色補正等がされた後、１枚の静止画像を表現したデジタルデータとして、後述するデータ変換部２７に伝達される。

デジタルスチルカメラ２は、各種データを出力するための構成として、音声データに基づいて生成される電気信号により音声を再生するスピーカ２５と、画像データに基づいて画像を表示する液晶パネル２６とを備える。

スピーカ２５は、録音データ９２、編集データに含まれる音声ストリーム情報、あるいは再生データ（後述）を構成する音声データ等に基づいて音声を再生するための装置である。

液晶パネル２６は、ＣＰＵ２０からの制御によって必要なデータを画像として表示する表示装置として構成されている。例えば、液晶パネル２６は記録メディア９内に記憶されている素材データ９０（画像を表現したデータ）や、作成された編集データのうちの映像に関するデータを再生表示するだけでなく、ＣＰＵ２０からの指示に従って所定のメッセージ（文字）等を表示する機能も有している。

特に、本実施の形態における液晶パネル２６は、ＣＰＵ２０がＧＵＩデータ５３を実行することにより提供されるＧＵＩ画面や編集データに含まれる画像ストリーム情報、あるいは再生データを構成する画像データ等を表示する機能を有している。

さらに、デジタルスチルカメラ２は、データ変換部２７、カードスロット２８および通信部２９を備えている。

データ変換部２７は、論理回路（ハードウェア）から主に構成され、伝達されるデータのデータ形式を符号化（エンコード）することにより圧縮変換する機能と、符号化されたデータを復号化（デコード）することにより伸長変換する機能とを有している。

本実施の形態におけるデータ変換部２７は、ＣＰＵ２０からの制御に従って、未圧縮の画像データをＪＰＥＧ形式に符号化することにより圧縮し、１枚の静止画像を表現した静止画像データを生成する。なお、データ変換部２７によって生成されるＪＰＥＧ形式の静止画像データは、素材データ９０（撮像データ９１）または記録ファイル９４となるが、詳細は後述する。

また、データ変換部２７は、ＣＰＵ２０からの制御に従って、未圧縮の音声データをＭＰ３形式に符号化することにより圧縮し、圧縮された音声データを生成する。なお、データ変換部２７によって生成されるＭＰ３形式の音声データは、素材データ９０（録音データ９２）または記録ファイル９４となるが、詳細は後述する。

一般に撮像により得られる画像データや録音により得られる音声データは未圧縮のデータであり、データサイズが大きなデータとなる。したがって、これを圧縮せずにそのままの状態で保存（記憶）すると記録媒体（記録メディア９）のデータ容量（記憶可能なデータ量）が不足するおそれがある。

したがって、撮像機能や録音機能を有する装置において、撮像や録音により得られたデータを保存用に高速に圧縮するデータ変換部２７のような専用のハードウェアを設けることは、一般的なアーキテクチャとして広く採用されている。なお、画像データや音声データを圧縮変換する際の符号化形式はＪＰＥＧ形式やＭＰ３形式に限定されるものではない。

さらに、データ変換部２７は、ＪＰＥＧ形式の画像データをデコードする機能と、ＭＰ３形式の音声データをデコードする機能とを有している。

データ変換部２７がＪＰＥＧ形式の画像データをデコードする場合とは、主に、素材データ９０に関連づけられているデータ処理を実施する際にＣＰＵ２０が当該素材データ９０のデコードをデータ変換部２７に依頼する場合と、液晶パネル２６に画像を表示させる際にＣＰＵ２０が記録メディア９に記憶されているデータのデコードをデータ変換部２７に依頼する場合とがある。

また、データ変換部２７がＭＰ３形式の音声データをデコードする場合とは、主に、素材データ９０に関連づけられているデータ処理を実施する際にＣＰＵ２０が当該素材データ９０のデコードをデータ変換部２７に依頼する場合と、スピーカ２５に音声を再生させ際にＣＰＵ２０が記録メディア９に記憶されているデータのデコードをデータ変換部２７に依頼する場合とがある。

カードスロット２８は、デジタルスチルカメラ２に記録メディア９を装着する機能を提供するハードウェアインタフェースである。カードスロット２８に記録メディア９が装着されることにより、デジタルスチルカメラ２は記録メディア９を記憶装置として使用することが可能となる。

通信部２９は、デジタルスチルカメラ２を端末装置３にケーブル４を介して着脱自在に接続する機能を有している。これにより、デジタルスチルカメラ２は、端末装置３からコンテンツデータ５１を取得することが可能である。本実施の形態における情報処理システム１では、ケーブル４と通信部２９として、ＵＳＢケーブルとＵＳＢ端子とを採用する。

なお、デジタルスチルカメラ２が端末装置３からコンテンツデータ５１を取得するための構成は、ケーブル４を介したデータ通信に限定されるものではない。例えば、記録メディア９を端末装置３に装着し、端末装置３において記録メディア９にコンテンツデータ５１を記憶させてから、当該記録メディア９をデジタルスチルカメラ２に装着するように構成してもよい。このように構成した場合、デジタルスチルカメラ２において通信部２９は不要となる。

以上、ここまでに説明したように、本実施の形態におけるデジタルスチルカメラ２の各ハードウェアは、本発明に特化した専用のハードウェアである必要がなく、広く一般的に流通している撮像装置と同様のハードウェアを採用することができる。したがって、本発明を実現するハードウェアとしては、市販の撮像装置を採用可能であり、画像処理装置のコストを抑制することができる。

図３は、デジタルスチルカメラ２の機能ブロックをデータの流れとともに示す図である。図３に示す要求部１００、シナリオ解析部１０１、画像生成部１０２、音声生成部１０３およびデータ処理部１０４は、主にＣＰＵ２０が記憶部２１に記憶されているプログラム２１０に従って動作することにより実現される機能ブロックである。

なお、以下の説明では、ユーザによって「テーマ」が既に選択されており、当該選択されたテーマに応じて特定された１つのシナリオ元データ５２がデジタルスチルカメラ２において取得されているものとする。すなわち、図３は、ユーザが操作部２２を操作することにより、既にシナリオ元データ５２の特定は完了し、特定されたシナリオ元データ５２に関連づけられているＧＵＩデータ５３および素材データ５４も既に記録メディア９に記憶されている状態を示している。

要求部１００は、ＧＵＩデータ５３を参照しつつ、そこに記述されている内容に従って、デジタルスチルカメラ２のユーザに対して必要な情報を入力するように促すＧＵＩを提供する。すなわち、要求部１００は、液晶パネル２６にメニュー画面や入力画面等を表示させることにより、シナリオ元データ５２において要求される編集前データを特定するための特定情報を入力するようにユーザに対して要求する機能を有している。

シナリオ元データ５２に記述されている編集前データの識別子とは、いわば編集データにおける役名である。そして、各役名にどの俳優（素材データ９０）を具体的に割り当てるかは、ユーザが特定情報を入力することにより決定される。ユーザがＧＵＩデータ５３によって提供されるＧＵＩに従って入力することにより、編集前データの識別子（役名）と素材データ９０の識別子（俳優名）とが関連づけられる。

言い換えれば、ユーザは、液晶パネル２６に表示されるＧＵＩ画面によって要求される情報を、当該ＧＵＩ画面に従って操作部２２を操作して入力するだけで、専門的な知識を有していなくても、編集データを作成するために必要な指示をデジタルスチルカメラ２に与えることが可能である。

また、本実施の形態における要求部１００は、すでに記録メディア９に記憶されている素材データ９０から編集前データとなるデータを選択するように要求するだけではなく、素材収集指示情報をＧＵＩ画面として液晶パネル２６に表示させることにより、ユーザに対して、編集前データとなる新たな素材データ９０を取得するように要求する機能も有している。例えば、既に撮像され撮り溜めされた過去の撮像データ９１を編集前データとして選択させるだけでなく、新たに撮像を行って編集前データとなりうる撮像データ９１を取得するよう要求する。

すなわち、要求部１００は、例えば、撮像指示情報を液晶パネル２６に表示させることにより撮像部２４よる撮像をユーザに対して要求するとともに、その要求に応じて行われる撮像により生成される撮像データ９１を、シナリオ元データ５２において要求される編集前データとして特定するための特定情報を生成する。撮像指示情報は、新たな撮像を行うように指示するメッセージだけでなく、どのような場面や被写体を撮像すればよいか等を指示するメッセージ等を含めることも可能である。

なお、要求部１００は、ＧＵＩ画面に従って、ユーザが撮像（あるいは録音）を行って新たに取得したデータをデータ変換部２７を介して記録メディア９に記憶させる機能も有している。すなわち、マイク２３および撮像部２４から要求部１００に入力される新たなデータ（音声データおよび画像データ）は、データ変換部２７において圧縮処理された後、記録メディア９に転送され素材データ９０として記憶される。

ユーザからの指示に従って選択あるいは新たに取得された各素材データ９０は、シナリオ元データ５２において宣言されている各編集前データとしてユーザに指定されたものとみなされ、互いに関連づけが行われて、その情報が要求部１００からシナリオ解析部１０１に伝達される。すなわち、全ての編集前データに関するユーザの指定が完了した段階で、要求部１００は、シナリオ元データ５２で要求される編集前データの識別子と、記録メディア９に記憶されている各素材データ９０の記録メディア９上の識別子（例えば記録メディア９における各素材データ９０のファイル名）とを関連づけた情報（以下、「素材指定情報」と称する）をシナリオ解析部１０１に伝達する。先に示した例えで言えば、素材指定情報とは、役名と俳優名とを関連づけたリスト情報となる。

シナリオ解析部１０１は、要求部１００から伝達される素材指定情報とシナリオ元データ５２とに基づいて、記録メディア９に記憶された素材データ９０の中から当該シナリオ元データ５２において要求される編集前データを特定する。

また、シナリオ解析部１０１は、編集前データとして特定された素材データ９０の識別子と、編集前データに対して実行すべきデータ処理を示す識別子とを、それぞれに関連づけられている編集前データの識別子を仲立ちにして、互いに関連づけ、シナリオデータ９３を作成し、記録メディア９に記憶させる。すなわち、シナリオデータ９３とは、シナリオ元データ５２と、素材指定情報とに基づいてシナリオ解析部１０１によって作成されるデータであって、要求する素材データ９０と当該素材データに対して施すデータ処理との対応関係を示すデータである。

このようなシナリオデータ９３が作成されることによって、編集データを作成するために要求される全ての素材データ９０を特定することができ、かつ、各素材データ９０に対するデータ処理を特定することもできる。すなわち、本実施の形態におけるシナリオデータ９３は編集データを作成するための作成シナリオを記述したデータと言える。

なお、デジタルスチルカメラ２では、様々な場面においてシナリオデータ９３が作成される。すなわち、記録メディア９に記憶されているシナリオデータ９３は一つとは限らず、複数のシナリオデータ９３が存在している場合がある。以下の説明では、複数のシナリオデータ９３のうち、作成しようとする編集データに対応したシナリオデータ９３を特に「対象シナリオデータ９３」と称する。

画像生成部１０２は、対象シナリオデータ９３（より詳しくは映像に係る対象シナリオデータ９３）を参照しつつ、そこに記述されている素材データ９０の識別子に基づいて記録メディア９から該当する素材データ９０を読み出すようにデータ変換部２７を制御する。そして、当該対象シナリオデータ９３において当該素材データ９０に関連づけられているデータ処理の識別子に応じて、データ変換部２７により読み出され復号化された当該素材データ９０にデータ処理を施して編集データ（編集データのうちの一連の動画像に係るデータ）を生成する。

なお、画像生成部１０２は、素材データ９０にデータ処理を施すに際して、素材データ９０における画像を解析して被写体の動きや形状あるいは性質等を判定したり、画像の合成や補間、変換等の様々な加工を行う機能も有している。例えば、人物が撮影されている素材データ９０に対して、人物の顔にズームインするデータ処理が関連づけられている場合、画像生成部１０２は、当該素材データ９０に顔認識処理を行って、どの領域にズームインするか（拡大表示させるか）を決定する。また、素材データ９０が音声データである場合には、音声を画像に反映させるデータ処理（音声認識を実行し、文字画像に変換して合成する処理等）を行う機能も有している。

画像生成部１０２は、生成した映像に係る編集データを液晶パネル２６あるいはデータ変換部２７に伝達する。

本実施の形態における画像生成部１０２は、ユーザによって記録ファイル９４の作成が指示された場合にのみ、生成した編集データをデータ変換部２７に伝達する。他方、リアルタイムに演算しつつ編集データを作成して再生するようにユーザにより指示がされた場合、画像生成部１０２は生成した編集データをデータ変換部２７に伝達せずに、液晶パネル２６にのみ伝達する。

音声生成部１０３は、対象シナリオデータ９３（より詳しくは音声に係る対象シナリオデータ９３）を参照しつつ、そこに記述されている素材データ９０の識別子に基づいて記録メディア９から該当する素材データ９０を読み出すようにデータ変換部２７を制御する。そして、当該対象シナリオデータ９３において当該素材データ９０に関連づけられているデータ処理の識別子に応じて、データ変換部２７によって復号化された素材データ９０にデータ処理を施して編集データ（より詳しくは編集データのうちの音声に係るデータ）を生成する。

音声生成部１０３は、生成した音声に係る編集データをスピーカ２５あるいはデータ変換部２７に伝達する。

本実施の形態における音声生成部１０３は、ユーザによって記録ファイル９４の作成が指示された場合にのみ、生成した編集データをデータ変換部２７に伝達する。他方、リアルタイムに演算しつつ編集データを作成して再生するようにユーザにより指示がされた場合、音声生成部１０３は生成した編集データをデータ変換部２７に伝達せずに、スピーカ２５にのみ伝達する。

データ処理部１０４は、データ変換部２７から伝達されるＪＰＥＧ形式の静止画像データおよびＭＰ３形式の音声データとに基づいて記録ファイル９４を生成する機能を有する。また、データ処理部１０４は、記録ファイル９４に基づいて液晶パネル２６に一連の動画像を表示させるとともに、スピーカ２５に音声を再生させる機能を有する。

図４は、データ処理部１０４を構成する機能ブロックを示すブロック図である。図４に示す抽出部１０５、静止画像ファイル作成部１０６、動画像ファイル作成部１０７、データ作成部１０８、ファイル合成部１０９および再生部１１０がデータ処理部１０４の有する機能ブロックである。

抽出部１０５は、データ変換部２７から順次伝達される静止画像データ（それぞれがフレームデータを構成する）を記憶部２１に静止画像データ２１１として記憶させる。すなわち、データ変換部２７からデータ処理部１０４にフレームデータとしての静止画像データが伝達されるたびに、静止画像データ２１１は伝達された新しい静止画像データによって上書きされ更新される。また、抽出部１０５は、次の静止画像データが伝達されるまでの所定のタイミング（後述）で、静止画像データ２１１を新たな静止画像データ２１２として複写することにより静止画像データ２１２を更新する。

これにより、抽出部１０５が静止画像データ２１１を更新してから、静止画像データ２１２を更新するまでの間、静止画像データ２１１と静止画像データ２１２とは連続して伝達された静止画像データとなる。なお、静止画像データ２１２が先のフレームデータに相当し、静止画像データ２１１が後のフレームデータに相当する。

また、抽出部１０５は、記憶部２１に記憶されている静止画像データ２１１と静止画像データ２１２とを比較して、これらが同一の静止画像データであるか否かを判定することにより、連続する同一の静止画像データを抽出する。抽出部１０５は、前記の判定結果を示す判定信号を静止画像ファイル作成部１０６または動画像ファイル作成部１０７に伝達する。なお、判定信号を伝達するタイミングについては後述する。

また、抽出部１０５は、連続する同一の静止画像データを抽出する際に、抽出された静止画像データの数（同一の静止画像データが連続する数）をカウントしてデータ作成部１０８に伝達する。なお、以下の説明では、ここに言うカウンタを「連続カウンタ」と称する。連続カウンタの値は、一連の動画像の中で画像に変化のない間のフレーム数に相当する。また、同一の静止画像データが連続していると判定された場合、少なくとも同一の静止画像データの数は２つであるから、連続カウンタの初期値は「１」である。

さらに、抽出部１０５は、連続する静止画像データのうちで前の静止画像データと同一でなく、かつ、後ろの静止画像データとも同一でない静止画像データが連続する数をカウントしてデータ作成部１０８に伝達する。なお、以下の説明では、ここに言うカウンタを「非同一カウンタ」と称する。非同一カウンタの値は、一連の動画像の中で画像が変化し続けている間のフレーム数に相当する。また、前の静止画像データと同一でないだけでなく、後ろの静止画像データとも同一でない場合（すなわち、２回以上連続して同一でないと判定された場合）にのみ連続して同一でない静止画像データが存在したと判定する必要があるので、非同一カウンタの初期値は「−１」である。

静止画像ファイル作成部１０６は、抽出部１０５から判定信号が通知された際に、記憶部２１に記憶されている静止画像データ２１２を読み出して、当該静止画像データ２１２で構成される静止画像ファイル２１３を作成する。先述のように、データ変換部２７から伝達され記憶部２１に記憶される静止画像データ２１１，２１２はともにＪＰＥＧ形式のデータである。したがって、本実施の形態における静止画像ファイル２１３は１の静止画像を表現したＪＰＥＧ形式のデータとなる。

また、静止画像ファイル作成部１０６は、静止画像ファイル２１３を作成するごとに、作成した静止画像ファイル２１３の識別子（ファイル名）をデータ作成部１０８に伝達する。

動画像ファイル作成部１０７は、ＪＰＥＧ形式の静止画像データに基づいてＭｏｔｉｏｎＪＰＥＧ形式の動画像ファイル２１４を作成する機能を有している。動画像ファイル作成部１０７は、抽出部１０５から判定信号が伝達されたときに、記憶部２１に記憶されている静止画像データ２１２を１つのファイルに追加することにより、動画像ファイル２１４を作成する。

また、動画像ファイル作成部１０７は、新たな動画像ファイル２１４を作成するごとに、新たに作成した動画像ファイル２１４の識別子（ファイル名）をデータ作成部１０８に伝達する。さらに、１つの静止画像データ２１２を動画像ファイル２１４に格納するたびに、静止画像データ２１２のファイル（ここでは動画像ファイル２１４）への格納が完了した旨を示す格納完了通知を抽出部１０５に伝達する。

ここで、抽出部１０５、静止画像ファイル作成部１０６および動画像ファイル作成部１０７によって、記録ファイル９４のデータ量が抑制される原理について説明する。

図５は、抽出部１０５によって記憶部２１に記憶される静止画像データ２１１を時間に沿って表した概念図である。なお、例えば、図５に示す静止画像２１１ａと静止画像２１１ｂとは、一連の動画像を表現したフレームデータのうちの連続する静止画像データである。

デジタルスチルカメラ２のように、静止画像を撮像することを目的に構成されている装置は、静止画像を符号化して圧縮処理するためのハードウェア（デジタルスチルカメラ２におけるデータ変換部２７）を備えている。したがって、デジタルスチルカメラ２においても、一連の動画像を表現した画像ストリーム情報について、これをハードウェアによって符号化して、それぞれがフレームデータを構成する複数の静止画像データ２１１（２１１ａないし２１１ｎ）を作成することが可能である。

しかしながら、動画像を扱うことを目的にしていない装置は、フレーム間のデータの差分に応じて、さらに圧縮処理するためのハードウェア（例えばＭＰＥＧ形式の画像データを作成するハードウェア）を備えていない場合が多い。もちろん、このような場合であっても、ソフトウェアによる圧縮処理を行うことは可能であるが、その場合は、演算装置の負荷が増大し、他の処理に影響を及ぼす結果となる。

したがって、従来より、フレーム間のデータの差分に応じたデータ圧縮を行う専用のハードウェアを搭載していない装置では、作成された複数の静止画像データを順次格納した１つのファイルを作成し、一連の動画像を表示させるときには、当該ファイルに格納されている複数の静止画像データを、順次、所定の時間間隔（フレームレート）で表示させることによって、一連の動画像を表示する技術が実施されている。このような技術において作成されるファイルとして、例えば、ＭｏｔｉｏｎＪＰＥＧ形式の動画像ファイルがある。

しかしながら、このような形式の動画像ファイルでは、まったく変化のない画像を一定時間表示させる場合にも、当該時間に応じたフレーム数の静止画像データを格納しておかなければならず、データ量が多くなる。図５に示すような例では、静止画像データ２１１ａないし静止画像データ２１１ｎによって表現される一連の動画像の内容にかかわらず、全ての静止画像データ２１１を１つのＭｏｔｉｏｎＪＰＥＧ形式のファイルに格納しておかなければならない。

一方、一連の動画像では、通常、あるシーンの前後に、前後のシーンから当該シーンへと移行するための、何らかの画像移行（トランジション）が実行される画像構成となっている（ただし、トランジションが実行されずに、いきなりシーンが切り替わる場合も存在する）。図５は、シーンＡの前後にトランジションＰ，Ｑが実行される例を示しており、一般に、一連の動画像はこのような画像構成の繰り返しとなっている。

何らかのトランジションが実行されている間は、その性質上、画像が次々と変化するので、トランジションが実行される間のフレームデータは個々に異なる静止画像を表現したデータとなるのが普通である。しかし、トランジションが実行される時間は比較的短く、各シーンを構成するフレーム数に比べてトランジションが実行される間のフレーム数は少ない。

また、各シーンにおいては、トランジションに比べて画像の変化は少なく、動き（画像の変化）のない画像から構成される時間も存在する。さらに、各シーンの時間はトランジションが実行される時間に比べて長く、フレーム数も多い。

ＭｏｔｉｏｎＪＰＥＧ形式のファイルを再生した場合に、動きのない画像が表示される時間とは、同一のフレームデータ（静止画像データ）が順次連続して表示される時間であり、当該静止画像データの数（その間のフレームデータの数）とフレームレートとの積で求まる時間である。以下では、この時間を「静止時間」と称する。

静止時間の間は、フレームデータは同一であるから、これらをフレームレートに従って順次表示させる必要はない。静止時間を予め求めることができれば、当該静止時間が経過する間、１つのフレームデータを表示したままにしておけばよい。

先述のように、本実施の形態におけるデジタルスチルカメラ２では、抽出部１０５によって、データ変換部２７によって作成され伝達された複数の静止画像データ（静止画像データ２１１）から、連続する同一の静止画像データが抽出され、そのうちの１の静止画像データに基づいて静止画像ファイル２１３が作成される。また、連続カウンタの値として、連続する同一のフレームデータの数がデータ作成部１０８に伝達される。フレームレートは予め定められている値であるから、連続カウンタの値を用いれば静止時間を求めることが可能となる。

したがって、当該静止画像ファイル２１３と連続カウンタの値とを関連づけて記憶しておけば、連続カウンタの値から求めた静止時間の間、当該静止画像ファイル２１３によって表現される静止画像を表示すれば、複数のフレームデータを記憶しておく必要がなく、データ量が抑制される。

本実施の形態における映像に係る編集データのように、静止画像を表現したデータ（撮像データ９１）に基づいて作成される動画像を表現したデータでは、各シーンにおける画像に変化のない時間が一般の動画像よりも多くなり、特に、本発明によるデータ量の抑制効果が高い。

また、同一の静止画像データが連続していない間は、動画像ファイル作成部１０７によつて、ＭｏｔｉｏｎＪＥＰＧ形式の動画像ファイル２１４が作成される。したがって、この間のデータ量は抑制されない。

すなわち、データ変換部２７から伝達された静止画像データから１つのＭｏｔｉｏｎＪＰＥＧ形式の動画像ファイルを作成するのではなく、ＪＰＥＧ形式の静止画像ファイル２１３とＭｏｔｉｏｎＪＰＥＧ形式の動画像ファイル２１４とを作成することにより、デジタルスチルカメラ２は、記録ファイル９４のデータ量を抑制することができる。

図４に戻って、データ作成部１０８は、静止画像ファイル作成部１０６から伝達される静止画像ファイル２１３の識別子に連続カウンタの値を関連づけるとともに、動画像ファイル作成部１０７から伝達される動画像ファイル２１４の識別子に非同一カウンタの値を関連づける。また、データ作成部１０８がこれらの識別子を取得した順序に従って、これらの識別子とカウンタの値とを記述することにより表示指示データを作成し、当該表示指示データに基づいて表示指示ファイル２１５を作成する。

なお、本実施の形態におけるデジタルスチルカメラ２では、データ変換部２７からデータ処理部１０４に伝達されたＭＰ３形式の音声データについては、そのまま音声ファイル２１６として記憶部２１に記憶させる。

ファイル合成部１０９は、記憶部２１に記憶されている複数の静止画像ファイル２１３、複数の動画像ファイル２１４、表示指示ファイル２１５および音声ファイル２１６を連結して１つのファイルに合成することにより、１つの記録ファイル９４を作成する。このようなファイルを合成する手法としては従来から様々な手法が提案されており、これらを適用することが可能であるため、詳細な説明は省略する。

再生部１１０は、例えばユーザによって記録ファイル９４の実行が指示された場合に、記録ファイル９４に含まれる音声ファイル２１６に係るデータ（ＭＰ３形式のデータ）をデータ変換部２７に復号化させつつ、スピーカ２５に転送することにより、スピーカ２５に音声を再生させる。

また、記録ファイル９４に含まれる表示指示ファイル２１５に係るデータに示される表示パターンに従って、静止画像ファイル２１３あるいは動画像ファイル２１４に係るデータ（ＪＰＥＧ形式のデータ）をデータ変換部２７に復号化させつつ、液晶パネル２６に転送する。これにより、再生部１１０は、液晶パネル２６に一連の動画像を表示させる。

以上が、本実施の形態におけるデジタルスチルカメラ２の構成および機能の説明である。次に、本発明に係る画像処理方法について説明する。

図６は、デジタルスチルカメラ２の主な動作を示す流れ図である。デジタルスチルカメラ２は、ユーザが操作部２２を操作することにより、電源が投入されると、所定の初期設定を行った後、監視状態に遷移する。

監視状態において、デジタルスチルカメラ２のＣＰＵ２０は、シナリオ作成指示がされたか（ステップＳ１）、記録ファイル９４を新たに作成する指示がされたか（ステップＳ３）、既に作成されている記録ファイル９４を再生する指示がされたか（ステップＳ５）およびデジタルスチルカメラ２における処理を終了する指示がされたか（ステップＳ７）を監視している。

シナリオ作成指示とは、デジタルスチルカメラ２に新たなシナリオデータ９３を作成させるための指示であって、ユーザが操作部２２を操作することにより入力され、ＣＰＵ２０によって検出される。

なお、監視状態において、ＣＰＵ２０によって実行される処理は、これらの監視処理に限定されるものではなく、適宜、例えば通常の撮像処理等の他の処理（タスク）が実行される。また、図６には示していないが、既に作成されているシナリオデータ９３に基づいてリアルタイムに演算して編集データを作成しつつ液晶パネル２６に動画像を表示させる（スピーカ２５に音声を再生させる）処理等も実行することができる。

監視状態において、ユーザが操作部２２を操作してシナリオ作成指示がされると、ＣＰＵ２０はステップＳ１においてＹｅｓと判定し、シナリオデータ作成処理を実行する（ステップＳ２）。

図７は、シナリオデータ作成処理を示す流れ図である。なお、シナリオデータ作成処理が開始されるまでに、サーバ装置５には、オペレータによって作成されたコンテンツデータ５１が記憶されているものとする。すなわち、画像処理の専門家であるオペレータがシナリオ元データ５２を予め作成する工程は、図５に示す各工程の前に既に完了しているものとする。

まず、ユーザはデジタルスチルカメラ２と端末装置３とをケーブル４によって接続する。次に、端末装置３の操作部を操作して、所望する状況に応じてテーマを入力する。例えば、結婚式を撮像した素材データ９０を編集して編集データを作成しようとする場合、ユーザはテーマとして「結婚式」を入力する。より詳細には、ユーザはサーバ装置５のネットワーク８におけるアドレスや、ダウンロードするコンテンツデータ５１の保存場所としてデジタルスチルカメラ２の記録メディア９を指定する情報等も入力する。

これに応じて端末装置３がネットワーク８を介してサーバ装置５にアクセスし、入力されたテーマ「結婚式」をサーバ装置５に伝達する。サーバ装置５は端末装置３から伝達されたテーマ「結婚式」をキーワードとしてデータベース５０を検索し、当該テーマに関連づけられているシナリオ元データ５２を、ＧＵＩデータ５３および素材データ５４とともに端末装置３に送信する。これによって、コンテンツデータ５１（シナリオ元データ５２、ＧＵＩデータ５３および素材データ５４）が端末装置３にダウンロードされるとともに（ステップＳ１１）、デジタルスチルカメラ２に装着されている記録メディア９に記憶される。

ダウンロードが完了すると、ユーザはデジタルスチルカメラ２からケーブル４を抜き、デジタルスチルカメラ２と端末装置３との接続状態を解除する。これによって、デジタルスチルカメラ２は再び携帯可能な状態となり、ユーザはデジタルスチルカメラ２を任意の場所（撮像場所）に持参することが可能となる。

なお、ステップＳ１１のダウンロードのみを複数のテーマについて繰り返しておくことも可能である。

次に、ユーザは操作部２２を操作して指定作業の開始を指示する（ステップＳ１２）。この指示に応じて、デジタルスチルカメラ２の要求部１００が記録メディア９に格納されたＧＵＩデータ５３を参照し、ユーザに必要な入力を促すＧＵＩ画面を液晶パネル２６に表示させる（ステップＳ１３）。

このとき、要求部１００は、要求される編集前データに関するデータを表示するとともに、当該編集前データとして、既に記録メディア９に記憶されている素材データ９０から選択するか否かを選択するようにユーザに対して要求するメッセージを表示する（ステップＳ１４）。

ユーザは、既に記録メディア９に記憶されている素材データ９０を指定する場合は、ステップＳ１４において「選択する」旨を入力する。これにより要求部１００はステップＳ１４においてＹｅｓと判定し、その時点で記録メディア９に記憶されている素材データ９０を一覧表示した選択画面をＧＵＩ画面として液晶パネル２６に表示する（ステップＳ１５）。選択画面が表示されると、ユーザは、一覧表示された素材データ９０から適当なデータを特定するための特定情報を入力することにより、編集前データとしての素材データ９０を選択する（ステップＳ１６）。

これにより、素材データ９０の中からシナリオ元データ５２において要求される編集前データが１つ特定され、素材指定情報の１レコードが作成される。なお、ステップＳ１６が実行される場合とは、要求される編集前データのうちの１つが既に記録メディア９に素材データ９０として記憶されていたことを示す。

一方、ユーザが新たに素材データ９０を取得しようと所望する場合は、ステップＳ１４において「選択しない」旨を入力する。これにより要求部１００はステップＳ１４においてＮｏと判定し、ＧＵＩ画面として取得画面を液晶パネル２６に表示させる（ステップＳ１７）。取得画面が表示されると、ユーザは取得画面に表示される撮像指示情報（または録音指示情報）に従って、撮像（または録音）を行うように操作部２２を操作し、これにより撮像（または録音）が行われる（ステップＳ１８）。

ステップＳ１８が実行されることにより取得された画像データまたは音声データはデータ変換部２７によって所定のデータ圧縮が施された後、素材データ９０（撮像データ９１または録音データ９２）として記録メディア９に記憶される。さらに、要求部１００は、ステップＳ１８において作成された素材データ９０を、シナリオ元データ５２において要求されている編集前データの１つとして特定し、素材指定情報の１レコードを作成する。

すなわち、ステップＳ１８が実行されることにより、１つの編集データを作成するために要求される素材データ９０のうち、未だ記録メディア９に記憶されていなかった（作成されていなかった）素材データ９０が新たに１つ作成され記憶されたことになる。なお、ステップＳ１８は撮像と録音のいずれか一方のみが行われる処理に限定されるものではなく、撮像と録音とが同時に行われてもよい。すなわち、撮像データ９１と録音データ９２とが１回の指定によって作成されてもよい。

ステップＳ１６またはステップＳ１８が実行されるたびに、要求部１００は、ＧＵＩデータ５３を参照することにより、全ての編集前データが特定されたか否かを判定する（ステップＳ１９）。要求部１００は、参照したＧＵＩデータ５３において要求されている編集前データ（すなわちシナリオ元データ５２において要求されている編集前データ）のうち、未だ特定されていない編集前データが存在する場合はステップＳ１９においてＮｏと判定し、ステップＳ１３からの処理を繰り返す。

一方、全ての編集前データが特定されていれば、要求部１００はステップＳ１９においてＹｅｓと判定する。これにより、１つの編集データにおいて要求される全ての素材データ９０が記録メディア９に記憶され、特定されたことになる。

全ての編集前データが特定されると（ステップＳ１９においてＹｅｓ）、シナリオ解析部１０１が、要求部１００から伝達される素材指定情報と、記録メディア９に記憶されているシナリオ元データ５２とを参照する。そして、編集前データとして特定された各素材データ９０と、各素材データ９０に対して実行すべきデータ処理との関連づけを行い、シナリオデータ９３を生成し記録メディア９に記憶させる（ステップＳ２０）。

以上のように、デジタルスチルカメラ２は、編集データを作成するためのシナリオデータ９３と、当該シナリオデータ９３において要求される素材データ９０のうちコンテンツデータ５１に含まれない素材データ９０とを作成して記憶（あるいは既に記憶されている素材データ９０から特定）しておくことが可能である。また、素材データ５４についてはダウンロードにより予め記憶しておくことが可能である。

なお、シナリオデータ作成処理を複数回繰り返すことによって、複数のシナリオデータ９３と、それぞれのシナリオデータ９３において要求される素材データ９０とを記憶しておくことも可能である。

ステップＳ２０の処理が終了すると、デジタルスチルカメラ２は、図７に示すシナリオ作成処理を終了して図６の処理に戻り、再び監視状態となる。

監視状態において、ユーザが操作部２２を操作して記録ファイル作成指示がされると、ＣＰＵ２０はステップＳ３においてＹｅｓと判定し、記録ファイル作成処理を実行する（ステップＳ４）。

図８は、記録ファイル作成処理を示す流れ図である。なお、記録ファイル作成処理は、作成しようとする記録ファイル９４の作成シナリオであるシナリオデータ９３が作成されていなければ開始できない。したがって、図８に示す記録データ生成処理が開始されるまでに、デジタルスチルカメラ２において図７に示したシナリオデータ作成処理が少なくとも１回以上実行され、デジタルスチルカメラ２に装着されている記録メディア９には、少なくとも１つのシナリオデータ９３と、当該少なくとも１つのシナリオデータ９３において要求される全ての素材データ９０が既に記憶されているものとする。

図８において図示を省略しているが、記録ファイル作成処理が開始されると、ＣＰＵ２０は、連続カウンタの値を「１」にリセットするとともに、非同一カウンタの値を「−１」にリセットする。

次に、画像生成部１０２および音声生成部１０３が、操作部２２から伝達されたシナリオデータ９３の識別子に基づいて、記録メディア９に記憶されている複数のシナリオデータ９３から、対象シナリオデータ９３を特定する（ステップＳ２１）。なお、対象シナリオデータ９３とは、先述のように編集データを作成する対象（ここでは記録ファイル９４を作成する対象でもある）となるシナリオデータ９３である。

対象シナリオデータ９３を特定すると、画像生成部１０２および音声生成部１０３は、特定した対象シナリオデータ９３を参照しつつ、当該対象シナリオデータ９３に記述される素材データ９０を１つずつ特定する（ステップＳ２２）。さらに、特定した素材データ９０に対して、当該対象シナリオデータ９３において当該素材データ９０に関連づけられているデータ処理を施して編集データを生成しつつ（ステップＳ２３）、生成した編集データをデータ変換部２７に伝達する。

そして、データ変換部２７は、画像生成部１０２から伝達される編集データをフレームデータごとにＪＰＥＧ形式に符号化しつつ、データ処理部１０４に伝達する。また、データ変換部２７は、音声生成部１０３から伝達される編集データをＭＰ３形式に符号化しつつ、データ処理部１０４に伝達する。データ処理部１０４は、データ変換部２７から伝達されるこれらのデータに基づいてファイル作成処理を実行する（ステップＳ２４）。

なお、デジタルスチルカメラ２において、ステップＳ２２ないしステップＳ２４は同時並行的に進行する処理である。

ＣＰＵ２０は、記録ファイル９４に含まれる全てのファイルの作成を終了したか否かを判定し（ステップＳ２５）、終了していない場合はステップＳ２２に戻って処理を繰り返す。なお、既に全ての素材データ９０について特定が終了している場合は、ステップＳ２２をスキップする。また、既に全ての編集データの作成を終了している場合には、ステップＳ２３もスキップする。最終的に、データ処理部１０４による全てのファイルの作成が終了するまでステップＳ２４の処理が繰り返される。

図９ないし図１１は、ファイル作成処理を示す流れ図である。なお、ファイル作成処理とは、本実施の形態では、静止画像ファイル２１３、動画像ファイル２１４、表示指示ファイル２１５および音声ファイル２１６を作成する処理である。

ファイル作成処理が開始されると、抽出部１０５は、データ変換部２７から静止画像データを取得したか（ステップＳ３１）、または、データ変換部２７から音声データを取得したか（図１０：ステップＳ４３）を判定し、いずれも取得していない場合には、ファイル作成処理を終了し、図８に示す処理に戻る。

データ変換部２７から静止画像データを取得した場合は、抽出部１０５はステップＳ３１においてＹｅｓと判定し、取得した静止画像データを記憶部２１に静止画像データ２１１として記憶させる（ステップＳ３２）。

次に、抽出部１０５は、静止画像データ２１１と静止画像データ２１２とが同一であるか否かを判定する（ステップＳ３３）。まずは、最初の静止画像データを取得したときについて、ステップＳ３３以下の処理を説明する。

最初の静止画像データを取得したときには、静止画像データ２１２は未だ記憶されていないため、最初の静止画像データを取得したときに実行されるステップＳ３３では、必ずＮｏと判定される。

静止画像データ２１１と静止画像データ２１２とが同一でない場合（ステップＳ３３においてＮｏ）とは、今回データ変換部２７から取得した静止画像データが、前回データ変換部２７から取得した静止画像データと異なっていることを意味し、一連の動画像において連続する静止画像データが異なっていることを意味する。

ステップＳ３３においてＮｏと判定した場合、抽出部１０５は、連続カウンタの値が「１」より大きいか否かを判定する（図１１：ステップＳ５１）。連続カウンタの値は初期値が「１」であるため、連続カウンタの値が「１」より大きいか否かとは、連続カウンタの値がインクリメントされた状態か否かを判定することを意味する。

しかし、最初の静止画像データを取得したときには、連続カウンタがインクリメントされていることはなく、最初の静止画像データを取得したときに実行されるステップＳ５１では、必ずＮｏと判定される。したがって、ステップＳ５２，Ｓ５３の処理はスキップされる。

ステップＳ５１においてＮｏと判定すると、抽出部１０５は、非同一カウンタの値が「−１」より大きいか否かを判定する（ステップＳ５４）。非同一カウンタの値は初期値が「−１」であるため、非同一カウンタの値が「−１」より大きいか否かとは、非同一カウンタの値がインクリメントされた状態か否かを判定することを意味する。

しかし、最初の静止画像データを取得したときには、非同一カウンタがインクリメントされていることはなく、最初の静止画像データを取得したときに実行されるステップＳ５４では、必ずＮｏと判定される。したがって、ステップＳ５５ないしＳ５７の処理はスキップされる。

ステップＳ５４においてＮｏと判定すると、抽出部１０５は、静止画像データ２１１を新たな静止画像データ２１２として複写する（ステップＳ５８）ことにより静止画像データ２１２を更新し、非同一カウンタの値をインクリメントする（図１０：ステップＳ４１）。すなわち、ステップＳ３３において、静止画像データ２１１と静止画像データ２１２とが同一ではないと判定されることによって、静止画像データ２１２が静止画像データ２１１によって上書きされ、非同一カウンタの値が「１」だけ増加する。

ステップＳ４１を実行した後、データ処理部１０４は、データ変換部２７から音声データを取得しているか否かを判定し（ステップＳ４３）、音声データを取得している場合は音声ファイルを作成する（ステップＳ４４）。一方、音声データを取得していない場合はファイル作成処理を終了して図８に示す処理に戻る。

次に、データ処理部１０４がデータ変換部２７から２回目の静止画像データを取得した場合におけるファイル作成処理のステップＳ３３以降の処理について説明する。既に説明したように、最初（１回目）の静止画像データを取得したことによって、必ずステップＳ５８が実行されているので、最初（前回）に取得した静止画像データは静止画像データ２１２として記憶されており、２回目（今回）に取得した静止画像データはステップＳ３２によって静止画像データ２１１として記憶されている。

ステップＳ３３において抽出部１０５は、静止画像データ２１１と静止画像データ２１２とを比較し、これらが同一でない場合は、１回目と同様にステップＳ５１を実行する。

２回目の静止画像データを取得したときに、静止画像データ２１１と静止画像データ２１２とが同一でない場合とは、これまで同一の静止画像データが取得されたことがないことを意味する。したがって、２回目の静止画像データを取得したときに実行されるステップＳ５１においても必ずＮｏと判定され、ステップＳ５２，Ｓ５３の処理はスキップされる。

次に、ステップＳ５４が実行されることにより、抽出部１０５によって、非同一カウンタの値が「−１」より大きいか否かが判定される。既に説明したように、最初の静止画像データを取得したときには、必ず、ステップＳ４１が実行され、非同一カウンタの値が初期値からインクリメントされる。したがって、２回目の静止画像データを取得したときであって、かつ、ステップＳ５４が実行されるときには、非同一カウンタの値は「０」の状態になっており、ステップＳ５４において必ずＹｅｓと判定される。

ステップＳ５４においてＹｅｓと判定すると、抽出部１０５は、さらに非同一カウンタの値が「０」であるか否かを判定する（ステップＳ５５）。ここでは、非同一カウンタの値は必ず「０」であるので、ステップＳ５５において、必ずＹｅｓと判定される。

ステップＳ５５においてＹｅｓと判定すると、抽出部１０５は、その判定結果を動画像ファイル作成部１０７に伝達する。これに応じて、動画像ファイル作成部１０７が新たなＭｏｔｉｏｎＪＰＥＧ形式の動画像ファイル２１４を作成する（ステップＳ５６）。

ステップＳ５６を実行した際には、動画像ファイル作成部１０７は、新たに作成した動画像ファイル２１４の識別子（ファイル名）をデータ作成部１０８に伝達する。これにより、データ作成部１０８は、当該識別子を表示指示データとして表示指示ファイル２１５の最後尾に書き込む。

ステップＳ５６を実行すると、動画像ファイル作成部１０７は、静止画像データ２１２（ここでは最初の静止画像データ）を当該動画像ファイル２１４に追加する（ステップＳ５７）。

すなわち、２回目に取得された静止画像データである静止画像データ２１１と、最初に取得された静止画像データである静止画像データ２１２とが同一でない場合、最初に取得された静止画像データは連続する同一の静止画像データではないので、間引くことができず、ステップＳ５７によって動画像ファイル２１４に格納される。

また、静止画像データ２１２の格納を完了した動画像ファイル作成部１０７は、その旨（格納完了通知）を抽出部１０５に伝達する。

格納完了通知を受け取ると、抽出部１０５は、ステップＳ５８を実行して、静止画像データ２１１を新たな静止画像データ２１２として複写する。また、ステップＳ４１を実行することにより、非同一カウンタの値をインクリメントして、その値を「１」に更新する。以後、ステップＳ５７が連続して実行されるごとに、ステップＳ４１が実行されるので、非同一カウンタの値は、現在作成中の動画像ファイル２１４に格納されている静止画像データ（フレームデータ）の数を表す値となる。

一方、２回目に取得した静止画像データが最初に取得した静止画像データと同一であった場合（ステップＳ３３においてＹｅｓ）、抽出部１０５は、非同一カウンタの値が「０」より大きいか否かを判定する（ステップＳ３４）。既に述べたように、２回目の静止画像データを取得したときには、非同一カウンタの値は「０」なので、抽出部１０５は、ステップＳ３４において必ずＮｏと判定し、ステップＳ３５の処理をスキップして、非同一カウンタの値を「−１」にリセットする（ステップＳ３６）。

次に、抽出部１０５は、連続カウンタの値が「１」か否かを判定する（ステップＳ３７）。

２回目の静止画像データを取得した場合に、ステップＳ３７が実行されるときにおいては、連続カウンタの値は未だインクリメントされておらず、初期値の「１」の状態であるから、ステップＳ３７において必ずＹｅｓと判定される。

ステップＳ３７においてＹｅｓと判定すると、抽出部１０５は、この判定結果を静止画像ファイル作成部１０６に伝達する。これにより、静止画像ファイル作成部１０６が、静止画像データ２１２に基づいて、当該静止画像データ２１２で構成される新たな静止画像ファイル２１３を作成する（ステップＳ３８）。

ステップＳ３８を実行した際には、静止画像ファイル作成部１０６は、作成した静止画像ファイル２１３の識別子（ファイル名）をデータ作成部１０８に伝達する。これにより、データ作成部１０８は、当該識別子を表示指示データとして表示指示ファイル２１５の最後尾に書き込む。

先述のように、ステップＳ５６が実行されるときには、表示指示ファイル２１５の最後尾に動画像ファイル２１４の識別子が記載され、ステップＳ３８が実行されるときには、表示指示ファイル２１５の最後尾に静止画像ファイル２１３の識別子が記載される。したがって、表示指示ファイル２１５に記載されたこれら識別子の記述順序は、これらの識別子によって示されるファイルの作成順（すなわち、表示順）を示す。

次に、抽出部１０５は、連続カウンタの値をインクリメントし（ステップＳ４２）、連続カウンタの値を「２」とする。以後、連続して同一と判定されるごとに、ステップＳ４２が実行されるので、連続カウンタの値は、連続する同一の静止画像データ（フレームデータ）の数を表す値となる。

なお、静止画像ファイル２１３への静止画像データ２１２の格納を完了したとき、抽出部１０５は、静止画像データ２１１を静止画像データ２１２に複写する処理を行わない。これは、静止画像データ２１２を静止画像ファイル２１３に格納する場合とは、静止画像データ２１１と静止画像データ２１２とが同一であり、複写する必要がないからである。ただし、複写するように構成してもよい。

次に、ｍ回目以降の静止画像データを取得した場合について説明する（ｍは３以上の整数）。この場合には、ｍ回目に取得した静止画像データがステップＳ３２によって静止画像データ２１１として記憶されており、（ｍ−１）回目に取得した静止画像データ（またはこれと同一と判定された静止画像データ）が静止画像データ２１２として記憶されている。

静止画像データ２１１と静止画像データ２１２とが同一である場合、抽出部１０５は、ステップＳ３３においてＹｅｓと判定し、さらに、非同一カウンタの値が「０」より大きいか否かを判定する（ステップＳ３４）。

ｍ回目の静止画像データを取得したときに、非同一カウンタの値が「０」より大きい状態（ステップＳ３４においてＹｅｓと判定される状態）とは、連続する静止画像データが同一でないと連続して判定されている状態を示しており、（ｍ−１）回目の静止画像データを取得したときは、動画像ファイル２１４に（ｍ−２）回目に取得した静止画像データが格納されたことを意味する。

このような状況で、ステップＳ３３においてＹｅｓと判定され、ステップＳ３４が実行される状態とは、しばらくの間、画像に変化が続いていたが、今回取得したｍ回目の静止画像データが（ｍ−１）回目の静止画像データと同一となり、画像の変化が停止したことを意味する。

したがって、このような場合には、抽出部１０５は、画像の変化が続いたフレーム数（非同一カウンタの値）をデータ作成部１０８に伝達する。これにより、データ作成部１０８は表示指示ファイル２１５の最後尾に記載されている識別子に関連づけて、伝達された値を表示指示データとして記述し、記憶させる（ステップＳ３５）。

一方、ｍ回目の静止画像データを取得したときに、非同一カウンタの値が「０」以下の状態（ステップＳ３４においてＮｏと判定される状態）とは、連続する静止画像データにおいて同一でない静止画像データが連続していない状態を示している。

したがって、このような場合には、抽出部１０５は、例え、非同一カウンタの値が初期値でなかったとしても、静止画像から静止画像に切り替わったものと判定し、ステップＳ３５をスキップする。

ステップＳ３５が実行されるか否かにかかわらず、ステップＳ３３においてＹｅｓと判定された場合には、画像の変化の連続が終了したので、抽出部１０５は、非同一カウンタの値を「−１」にリセットする（ステップＳ３６）。

次に、抽出部１０５は、連続カウンタの値が「１」か否かを判定する（ステップＳ３７）。

静止画像データ２１１と静止画像データ２１２とが同一（ステップＳ３３においてＹｅｓ）であり、かつ、連続カウンタの値が未だ初期値の「１」にリセットされた状態である場合とは、ｍ回目に取得した静止画像データによって、同一の静止画像データの連続状態が開始されたことを意味する。

したがって、ステップＳ３７においてＹｅｓと判定した場合、抽出部１０５は、既に説明したようにステップＳ３８を実行する。

一方、ステップＳ３７においてＮｏと判定される場合とは、連続カウンタの値が既に２以上になっており、同一の静止画像データが連続的に取得されている状態を示す。

したがって、ステップＳ３７においてＹｅｓと判定した場合、抽出部１０５は、ステップＳ３８をスキップすることにより、取得した静止画像データをどのファイルにも格納しない。これにより、データ変換部２７から伝達される静止画像データを間引くことができるため、データ量を抑制できる。

ステップＳ３７が実行されるか否かにかかわらず、ステップＳ３３においてＹｅｓと判定された場合には、画像の変化がなくなった（静止画像となった）ので、抽出部１０５は、ステップＳ４２を実行して、連続カウンタの値をインクリメントして、フレーム数をカウントする。

一方、ｍ回目の静止画像データを取得したときに、静止画像データ２１１と静止画像データ２１２とが同一でない場合、抽出部１０５は、ステップＳ３３においてＮｏと判定し、さらに、連続カウンタの値が「１」より大きいか否かを判定する（ステップＳ５１）。

ステップＳ３３においてＮｏと判定され、かつ、連続カウンタの値が初期値の「１」にリセットされていない状態（ステップＳ５１においてＹｅｓと判定される状態）とは、同一の静止画像データが連続する状態が（ｍ−１）回目の静止画像データまでは継続していたが、ｍ回目の静止画像データによってこの状態が終了したことを意味する。

したがって、この場合には、抽出部１０５は、連続カウンタの値をデータ作成部１０８に伝達する。これにより、データ作成部１０８は、表示指示ファイル２１５の最後尾の識別子（静止画像ファイル２１３の識別子となる）に、伝達された値を関連づけて表示指示データとして記述し、記憶させる（ステップＳ５２）。そして、連続する静止画像データが同一ではなくなったので、ステップＳ５３を実行して、連続カウンタの値を「１」にリセットする。

ステップＳ３３においてＮｏと判定され、かつ、連続カウンタの値が初期値の「１」にリセットされている状態（ステップＳ５１においてＮｏと判定される状態）とは、（ｍ−１）回目の静止画像データと（ｍ−２）回目の静止画像データとが既に異なる静止画像データであったことを意味している。

したがって、この場合には、抽出部１０５は、ステップＳ５２，Ｓ５３を実行する必要はないので、これらの処理をスキップする。

次に、抽出部１０５は、非同一カウンタの値が「−１」より大きいか否かを判定する（ステップＳ５４）。

ステップＳ３３においてＮｏと判定され、かつ、非同一カウンタの値が初期値の「−１」にリセットされている状態（ステップＳ５４においてＮｏと判定される状態）とは、（ｍ−１）回目の静止画像データと（ｍ−２）回目の静止画像データとが同一の静止画像データであったことを意味している。

したがって、（ｍ−１）回目の静止画像データについては、（ｍ−２）回目の静止画像データと同一であり、間引くことが可能であるから、ファイルへの格納を行う必要がない。したがって、抽出部１０５は、ステップＳ５５ないしＳ５７の処理をスキップする。

ステップＳ３３においてＮｏと判定され、かつ、非同一カウンタの値が初期値の「−１」より大きい状態（ステップＳ５４においてＹｅｓと判定される状態）とは、（ｍ−１）回目の静止画像データと（ｍ−２）回目の静止画像データとが既に同一の静止画像データではなかったことを意味している。すなわち、連続する静止画像データが２回以上連続して「異なる」と判定されたことを示している。

したがって、この場合には、（ｍ−１）回目の静止画像データ（静止画像データ２１２）を動画像ファイル２１４として格納する必要があるため、抽出部１０５は、さらに、非同一カウンタの値が「０」か否かを判定する（ステップＳ５５）。

非同一カウンタの値が「０」の場合とは、連続する静止画像データにおいて１回だけ異なる静止画像データとなったことを示しており、（ｍ−２）回目の静止画像データと（ｍ−３）回目の静止画像データは同一であったことを示している。したがって、ステップＳ５５においてＹｅｓと判定される状態とは、（ｍ−２）回目の静止画像データ（若しくはそれと同一の静止画像データ）は静止画像ファイル２１３として格納されており、（ｍ−１）回目の静止画像データが１つの動画像ファイル２１４における先頭のフレームデータとして格納されるべきであると判定できる。

そこで、抽出部１０５は、ステップＳ５５においてＹｅｓと判定した場合、その判定結果を動画像ファイル作成部１０７に伝達する。これにより、動画像ファイル作成部１０７が新たな動画像ファイル２１４を作成する（ステップＳ５６）。また、このとき作成された動画像ファイル２１４の識別子がデータ作成部１０８に伝達され、表示指示ファイル２１５に記述される。

そして、静止画像データ２１２が動画像ファイル２１４に追加される（ステップＳ５７）。なお、ステップＳ５５においてＮｏと判定された場合にも、静止画像データ２１２の格納は行う必要があるので、ステップＳ５７が実行される。

さらに、ステップＳ３３においてＮｏと判定された場合には、ｍ回目の静止画像データと（ｍ−１）回目の静止画像データが異なっているので、ｍ回目の静止画像データを残しておく必要がある。したがって、既に説明したように、抽出部１０５は、ステップＳ５８を実行し、さらに、ステップＳ４１を実行する。

このようにして、静止画像ファイル２１３、動画像ファイル２１４、表示指示ファイル２１５および音声ファイル２１６が、データ変換部２７から伝達されるデータに従って作成され、データ変換部２７から伝達される全てのデータについてファイル作成処理が終了すると、ＣＰＵ２０は、図８に示すステップＳ２５においてＹｅｓと判定する。

全てのファイルの作成が終了し、ＣＰＵ２０が、ステップＳ２５においてＹｅｓと判定すると、ＣＰＵ２０はファイルを作成する際に用いられた素材データ９０のうち、所定の素材データ９０を削除する（ステップＳ２６）。

ステップＳ２６において削除される素材データ９０とは、例えば、コンテンツデータ５１に含まれる素材データ５４の一部が考えられる。素材データ５４は、コンテンツプロバイダによって提供されるデータであって、著作権が存在する場合が考えられる。したがって、記録ファイル９４の作成（本来の目的）を達成した後には、これらのデータが不正に複製等されないように記録メディア９から削除することが好ましい。なお、ステップＳ２６において削除すべき素材データ９０には、削除されるべきことを示す識別子が予め付加されているものとする。

次に、ファイル合成部１０９がファイル作成処理において作成された複数のファイル（静止画像ファイル２１３、動画像ファイル２１４、表示指示ファイル２１５および音声ファイル２１６）を１つの記録ファイル９４に合成し（ステップＳ２７）、記録ファイル９４を作成する。そして、データ処理部１０４（ファイル合成部１０９）は、作成した記録ファイル９４を記録メディア９に記憶させる（ステップＳ２８）。

なお、詳細は省略したが、本実施の形態に示すファイル作成処理を実行すると、１つの静止画像データに基づいて、動画像ファイル２１４が作成される場合がある。そこで、デジタルスチルカメラ２のＣＰＵ２０は、ステップＳ２７を実行する前に、表示指示ファイル２１５を解析することにより、フレーム数が「１」の動画像ファイル２１４が存在するか否かを検出し、存在していた場合、当該動画像ファイル２１４を静止画像ファイル２１３に書き換える処理を行う。

ただし、このような動画像ファイル２１４が作成されないように、例えば、３つの連続する静止画像データを記憶部２１に記憶させて比較するように構成してもよい。あるいは、非同一カウンタの値による制御を変更し、一旦、静止画像ファイル２１３として作成したものを、３回以上異なると判定された場合に、動画像ファイル２１４に書き換えることによっても実現できる。

ステップＳ２８が実行されると、ＣＰＵ２０は記録ファイル作成処理を終了して、図６に示す処理に戻って、監視状態となる。

監視状態において、ユーザが操作部２２を操作して、記録ファイル再生指示がされると、ＣＰＵ２０は図６に示すステップＳ５においてＹｅｓと判定し、記録ファイル再生処理を実行する（ステップＳ６）。

記録ファイル再生処理では、再生部１１０が、ユーザによって指定された記録ファイル９４を解析し、記録ファイル９４として合成された表示指示ファイル２１５を解析する。先述のように、表示指示ファイル２１５には、映像に係る画像データの表示パターンと、音声に係る音声データの再生パターンとが記述されている。

再生部１１０は、表示指示ファイル２１５に記述されている表示パターンに従って、最初に液晶パネル２６に表示させる静止画像ファイル２１３（または動画像ファイル２１４）を特定する。本実施の形態では表示指示ファイル２１５に識別子が記述されている順に表示するので、表示指示ファイル２１５の先頭に記載されている識別子によって最初に表示させる静止画像ファイル２１３（または動画像ファイル２１４）を特定する。

特定された静止画像ファイル２１３（または動画像ファイル２１４）は、データ変換部２７に伝達され、復号化されてから液晶パネル２６に伝達され、表示される。

以後、再生部１１０は特定された静止画像ファイル２１３（または動画像ファイル２１４）の表示が終了するたびに、表示指示ファイル２１５を参照して、次に識別子が記述されている静止画像ファイル２１３（または動画像ファイル２１４）を、次に表示させるべき静止画像ファイル２１３（または動画像ファイル２１４）として特定し、液晶パネル２６に表示させる。

再生部１１０は、静止画像ファイル２１３を表示させるときには、表示指示ファイル２１５において、当該静止画像ファイル２１３の識別子に関連づけられているフレーム数（連続カウンタの値）を同時に取得し、当該フレーム数とフレームレートとの積を求めることにより、静止時間を求める。そして、当該静止画像ファイル２１３に係る静止画像データを、求めた静止時間の間だけ表示すると、当該静止画像ファイル２１３の表示を終了する。すなわち、１の静止画像ファイル２１３の表示を終了するタイミングを表示指示ファイル２１５に記述されているデータに基づいて決定する。

再生部１１０は、動画像ファイル２１４を表示させるときは、表示指示ファイル２１５において、当該動画像ファイル２１４の識別子に関連づけられているフレーム数（非同一カウンタの値）を取得するのではなく、当該動画像ファイル２１４に格納されているフレームデータ（静止画像データ）をフレームレートに示される時間間隔で順次液晶パネル２６に表示させる。全てのフレームデータを表示させるとと、当該動画像ファイル２１４の表示を終了する。

なお、音声ファイル２１６は、静止画像ファイル２１３または動画像ファイル２１４の表示に並行して、データ変換部２７によって復号化され、スピーカ２５によって再生される。

このようにして、表示指示ファイル２１５に記述されている全ての静止画像ファイル２１３および動画像ファイル２１４についての表示を終了するとともに、音声ファイル２１６の再生を終了すると、記録ファイル９４の再生が終了したとしてステップＳ６の処理を終了して監視状態に戻る。

監視状態において、ユーザが操作部２２を操作して、デジタルスチルカメラ２の電源をＯＦＦ状態にすると、ＣＰＵ２０は図６に示すステップＳ７においてＹｅｓと判定し、処理を終了する。

以上のように、本実施の形態におけるデジタルスチルカメラ２は、静止画像を表現した画像データを符号化して圧縮するデータ変換部２７しか備えない構成でありなが、連続する同一のフレームデータを抽出して間引くことにより、従来のＭｏｔｉｏｎＪＰＥＧ形式よりも、さらに、圧縮率を向上させた記録ファイル９４を作成することができる。これにより、記録ファイル９４のデータ量を、データを劣化させることなく削減できる。

なお、本実施の形態におけるデジタルスチルカメラ２は、記録ファイル９４を作成しつつ、静止画像に係るフレームデータを間引く処理を実行するように構成したが、例えば、ＭｏｔｉｏｎＪＰＥＧ形式の動画像ファイルを一旦記録メディア９上に作成した後に、静止画像を表現している期間（フレーム数）をカウントして、フレームデータを間引くように構成してもよい。この場合、一旦、記録メディア９のデータ容量を消費するものの、最終的には、同程度の圧縮率の記録ファイル９４を作成でき、しかも容易な制御で実現できる。

また、本実施の形態におけるデジタルスチルカメラ２は、１つの記録ファイル９４として一連の動画像を表示させるための画像ファイルを作成したが、静止画像ファイル２１３や動画像ファイル２１４をまとめる手法はフォルダであってもよい。すなわち、１つのフォルダを記録メディア９上に設け、当該フォルダ内に必要な画像ファイルを格納するように構成してもよい。

この場合は、静止画像ファイル２１３や動画像ファイル２１４が独立したファイルとして存在するので、例えば、ＪＰＥＧ形式の静止画像データである静止画像ファイル２１３の汎用性が向上する。例えば、ファイル名をシーン名とすれば、結婚式の指輪の交換シーンの画像データが必要な場合には、「指輪の交換」というファイル名の静止画像ファイル２１３を指定すればよいことが容易にユーザにも理解できる。

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態では画像処理システムとしてデジタルスチルカメラ２を例に説明したが、本発明に係る画像処理システムは携帯電話であってもよい。

また、ケーブル４と通信部２９とは端末装置３からコンテンツデータ５１を取得する機能を実現できるものであればＵＳＢケーブルとＵＳＢ端子とに限定されるものではない。例えば、デジタルスチルカメラ２専用のクレードルと、当該クレードルが接続されるフレキシブル端子とによって構成されてもよい。

また、デジタルスチルカメラ２においてコンテンツデータ５１を取得するための構成は端末装置３を介した構成に限定されるものではない。例えば、デジタルスチルカメラ２に無線通信機能を備えた通信部２９を採用し、必要に応じてネットワーク８に接続することによって、サーバ装置５から直接コンテンツデータ５１をダウンロードする構成としてもよい。このような無線通信機能を実現する通信部２９の構成としては、ＷｉＦｉ（Wireless Fidelity）や赤外線通信といった通信規格を採用することが可能である。なお、画像処理システムとして、上記のように携帯電話が採用された場合には、当該携帯電話の通信機能によって、サーバ装置５からコンテンツデータ５１をダウンロードしてもよい。

また、上記実施の形態における機能ブロックはプログラム２１０（ソフトウェア）によって実現される例で説明したが、これらの機能ブロックによって実現される機能の一部または全部を専用の論理回路（ハードウェア）として実現してもよい。一方、上記実施の形態において論理回路により構成されると説明した構成（例えばデータ変換部２７）の一部または全部をソフトウェアによって実現するように構成してもよい。

また、表示指示データは独立したファイル（表示指示ファイル２１５）として作成される必要はない。例えば、取得した順序と、各カウンタの値とを数字で表現し、各静止画像ファイル２１３および各動画像ファイル２１４のファイル名に付加してもよい。この場合でも、ファイル名によって表示順と表示時間とを容易に求めることができる。あるいは、このような数字データを各ファイルのヘッダに付加してもよい。

また、上記に示した処理の内容（図４ないし図６）はあくまでも例示であって、同様の効果が得られるならば、各工程の内容および順序等が適宜変更されてもよい。

また、デジタルスチルカメラ２で使用されるコンテンツデータ５１はサーバ装置５によってネットワーク８を介して提供されると説明したが、例えば、記録メディア９によって提供されてもよい。すなわち、コンテンツデータ５１を記憶した記録メディア９が店頭等において配布され、これをデジタルスチルカメラ２に装着して利用するように構成してもよい。

本発明に係るデジタルスチルカメラを含む情報処理システムを示す図である。 デジタルスチルカメラの構成を示すブロック図である。 デジタルスチルカメラの機能ブロックをデータの流れとともに示す図である。 データ処理部を構成する機能ブロックを示すブロック図である。 抽出部によって記憶部に記憶される静止画像データを時間に沿って表した概念図である。 デジタルスチルカメラの主な動作を示す流れ図である。 シナリオデータ作成処理を示す流れ図である。 記録ファイル作成処理を示す流れ図である。 ファイル作成処理を示す流れ図である。 ファイル作成処理を示す流れ図である。 ファイル作成処理を示す流れ図である。

符号の説明

１００ 要求部
１０１ シナリオ解析部
１０２ 画像生成部
１０３ 音声生成部
１０４ データ処理部
１０５ 抽出部
１０６ 静止画像ファイル作成部
１０７ 動画像ファイル作成部
１０８ データ作成部
１０９ ファイル合成部
１１０ 再生部
２ デジタルスチルカメラ
２０ ＣＰＵ
２１ 記憶部
２１０ プログラム
２１１，２１１ａ，２１１ｂ，２１１ｎ，２１２ 静止画像データ
２１３ 静止画像ファイル
２１４ 動画像ファイル
２１５ 表示指示ファイル
２１６ 音声ファイル
２４ 撮像部
２６ 液晶パネル
２７ データ変換部
９４ 記録ファイル

Claims (7)

1. 編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて、それぞれがフレームデータを構成する複数の静止画像データを作成することにより、一連の動画像を表示させるための画像ファイルを作成するデジタルスチルカメラであって、
   前記複数の静止画像データを記憶する記憶手段と、
   前記一連の動画像において連続する同一の静止画像データのみを前記複数の静止画像データから抽出する抽出手段と、
   前記抽出手段により抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する静止画像ファイル作成手段と、
   前記複数の静止画像データのうち前記連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する動画像ファイル作成手段と、
   前記静止画像ファイルと前記動画像ファイルとに基づいて前記一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成するデータ作成手段と、
   を備えるデジタルスチルカメラ。
2. 請求項１に記載のデジタルスチルカメラであって、
   前記データ作成手段は、作成した表示指示データで構成される表示指示ファイルを作成するデジタルスチルカメラ。
3. 請求項１または２に記載のデジタルスチルカメラであって、
   画像を表示する表示手段と、
   前記静止画像ファイルと前記動画像ファイルとによって表現される前記一連の動画像を前記表示指示データに応じて前記表示手段に表示させる表示制御手段と、
   をさらに備えるデジタルスチルカメラ。
4. 請求項１ないし３のいずれかに記載のデジタルスチルカメラであって、
   前記１の静止画像データは、前記連続する同一の静止画像データのうちの１つであるデジタルスチルカメラ。
5. 請求項１ないし４のいずれかに記載のデジタルスチルカメラであって、
   前記静止画像ファイルと前記動画像ファイルと前記表示指示データとを１つの記録ファイルに合成するファイル合成手段をさらに備えるデジタルスチルカメラ。
6. それぞれがフレームデータを構成する複数の静止画像データから一連の動画像を表示させるための画像ファイルを作成する画像処理方法であって、
   (a) 編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて、前記複数の静止画像データを作成する工程と、
   (b) 前記複数の静止画像データを記憶手段に記憶させる工程と、
   (c) 前記一連の動画像において連続する同一の静止画像データのみを前記記憶手段に記憶された複数の静止画像データから抽出する工程と、
   (d) 抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する工程と、
   (e) 前記複数の静止画像データのうち前記連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する工程と、
   (f) 前記静止画像ファイルと前記動画像ファイルとに基づいて前記一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成する工程と、
   を有する画像処理方法。
7. コンピュータによって実行されるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
   編集前データとして特定された１枚の静止画像を表現した撮像データに基づいて作成された、それぞれがフレームデータを構成する複数の静止画像データを記憶する記憶手段と、
   前記記憶手段に記憶された複数の静止画像データから、一連の動画像において連続する同一の静止画像データのみを抽出する抽出手段と、
   前記抽出手段により抽出された連続する同一の静止画像データのみに基づいて、１の静止画像データで構成される静止画像ファイルを作成する静止画像ファイル作成手段と、
   前記複数の静止画像データのうち前記連続する同一の静止画像データ以外の静止画像データに基づいて、動画像ファイルを作成する動画像ファイル作成手段と、
   前記静止画像ファイルと前記動画像ファイルとに基づいて前記一連の動画像を表示させる際の表示パターンを記述した表示指示データを作成するデータ作成手段と、
   を備えるデジタルスチルカメラとして機能させるプログラム。

Images