JP5257980B2 - Image processing system, image processing method, and program - Google Patents
Image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP5257980B2 JP5257980B2 JP2008150350A JP2008150350A JP5257980B2 JP 5257980 B2 JP5257980 B2 JP 5257980B2 JP 2008150350 A JP2008150350 A JP 2008150350A JP 2008150350 A JP2008150350 A JP 2008150350A JP 5257980 B2 JP5257980 B2 JP 5257980B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- scenario
- image processing
- unit
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimiles In General (AREA)
- Studio Devices (AREA)
Description
本発明は、ユーザによって取得された画像データを含む素材データを加工して、符号化された記録データを生成する技術に関する。 The present invention relates to a technique for processing encoded material data by processing material data including image data acquired by a user.
昨今、カメラ付きの携帯電話やデジタルスチルカメラが広く普及し、一般的なユーザが手軽にデジタル画像データを楽しむようになってきた。そして、これらの画像データを単にディスプレイに静止画として表示させて楽しむだけでなく、音声データや文字データと合成してナレーションを入れたり、様々な特殊効果を施した画像データとして表示させるなど、表示形態が多様化してきた。 Recently, mobile phones with cameras and digital still cameras have become widespread, and general users can easily enjoy digital image data. These image data are not only displayed as still images on the display for enjoyment, but they can also be displayed as image data with various special effects, including narration by synthesizing with audio data and text data. The form has diversified.
従来より、デジタルスチルカメラで撮像した複数の静止画像データを、撮影順に一定時間間隔で表示してスライドショーのような動画像を表示させるための編集データ(ビデオストリーム)を作成する技術が知られている。 2. Description of the Related Art Conventionally, a technique for creating editing data (video stream) for displaying a plurality of still image data captured by a digital still camera at a certain time interval in the order of shooting and displaying a moving image such as a slide show is known. Yes.
一方で、動画像を配したブログの作成、動画投稿サイトへのアップロード、あるいはDVDへの書き込みなど、動画像の利用形態も多様化している。すなわち、編集データを作成したその場で単に視聴するだけでなく、編集データを符号化して保存用の記録データ(例えばMotionJPEGファイルやMPEGファイル等)を作成しておきたいという要請が強くなっている。 On the other hand, usage forms of moving images are diversifying, such as creating a blog with moving images, uploading to a video posting site, or writing to a DVD. That is, there is a strong demand not only for viewing the edited data on the spot where it was created, but also for creating the recording data for storage (for example, a Motion JPEG file or an MPEG file) by encoding the edited data. .
ところが、動画像に係る編集データを作成しつつ、これを符号化して記録データを作成するとなると画像処理における演算量や当該画像処理に要する時間が増大するという問題があった。この場合、当該画像処理を行う演算装置が記録データの作成のために占有されてしまい、その間、演算装置による他の処理を実行できないという問題があった。 However, when editing data relating to a moving image is created and recording data is created by encoding the editing data, there is a problem that the amount of calculation in image processing and the time required for the image processing increase. In this case, there is a problem that the arithmetic device that performs the image processing is occupied for creating the recording data, and during that time, other processing by the arithmetic device cannot be executed.
本発明は、上記課題に鑑みてなされたものであり、演算装置による他の処理の実行を妨げることなく、当該演算装置による記録データの作成を行うことを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to create recording data by the arithmetic device without interfering with execution of other processing by the arithmetic device.
上記の課題を解決するため、請求項1の発明は、素材データに基づいて符号化された記録データを作成する画像処理システムであって、要求する素材データと前記要求する素材データに対して施すデータ処理との対応関係を示すシナリオデータと前記シナリオデータにおいて要求される素材データとを事前に記憶する記憶手段と、前記記憶手段に記憶されているシナリオデータに基づいて、前記シナリオデータにおいて要求される素材データに施されるべきデータ処理を特定しつつ、特定したデータ処理を前記素材データに施して編集データを生成する生成手段と、前記生成手段により生成された編集データを演算により符号化して記録データを生成する演算手段と、前記演算手段がタスクを実行していない空き時間をユーザ操作をトリガとして検出して、前記演算手段による前記符号化が前記空き時間に行われるように、前記演算手段が前記符号化を開始するタイミングを決定するスケジュール手段とを備える。
In order to solve the above-mentioned problems, the invention of
また、請求項2の発明は、請求項1の発明に係る画像処理システムであって、前記ユーザ操作は、前記画像処理システムを外部装置に接続する操作である。
Further, the invention of
また、請求項3の発明は、請求項1または2の発明に係る画像処理システムであって、前記ユーザ操作は、前記画像処理システムを外部装置に接続する操作である。
The invention of
また、請求項4の発明は、請求項1ないし3のいずれかの発明に係る画像処理システムであって、前記ユーザ操作は、全ての処理を終了する指示を与える操作である。
The invention according to claim 4 is the image processing system according to any one of
また、請求項5の発明は、請求項1ないし4のいずれかの発明に係る画像処理システムであって、前記記憶手段は、前記演算手段による記録データの生成が終了した後に、前記素材データの少なくとも一部を削除する。
The invention according to
また、請求項6の発明は、素材データに基づいて符号化された記録データを作成する画像処理方法であって、(a) 要求する素材データと前記要求する素材データに対して施すデータ処理との対応関係を示すシナリオデータと前記シナリオデータにおいて要求される素材データとを事前に記憶手段に記憶させる工程と、(b) 演算手段がタスクを実行していない空き時間をユーザ操作をトリガとして検出する工程と、(c) 前記記憶手段に記憶されているシナリオデータに基づいて、前記シナリオデータにおいて要求される素材データに施されるべきデータ処理を特定しつつ、特定したデータ処理を前記素材データに施して編集データを生成し前記演算手段に伝達する工程と、(d) 前記(b)工程において空き時間が検出されたことに応じて、前記(c)工程において前記演算手段に伝達された編集データを前記演算手段に演算させることにより符号化して記録データを生成する工程とを有する。 The invention of claim 6 is an image processing method for creating recording data encoded based on material data, wherein: (a) requested material data and data processing applied to the requested material data; Storing in advance the storage means the scenario data indicating the correspondence relationship between the scenario data and the material data required in the scenario data, and (b) detecting the free time when the calculation means is not executing the task as a trigger by the user operation And (c) identifying the data processing to be performed on the material data required in the scenario data based on the scenario data stored in the storage means, and performing the identified data processing on the material data (D) in the step (c) in response to the detection of an empty time in the step (b). There are that having a generating a recording data is encoded by calculating the edited data transmitted to the arithmetic unit to the arithmetic unit.
また、請求項7の発明は、請求項6の発明に係る画像処理方法であって、(e) 前記(d)工程において記録データが生成された後に、前記記憶手段から前記素材データの少なくとも一部を削除する工程をさらに有する。
The invention of
また、請求項8の発明は、記憶手段と演算手段とを備えるコンピュータによって実行されるプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、(a) 要求する素材データと前記要求する素材データに対して施すデータ処理との対応関係を示すシナリオデータと前記シナリオデータにおいて要求される素材データとを事前に前記記憶手段に記憶させる工程と、(b) 前記演算手段がタスクを実行していない空き時間をユーザ操作をトリガとして検出する工程と、(c) 前記記憶手段に記憶されているシナリオデータに基づいて、前記シナリオデータにおいて要求される素材データに施されるべきデータ処理を特定しつつ、特定したデータ処理を前記素材データに施して編集データを生成し前記演算手段に伝達する工程と、(d) 前記(b)工程において空き時間が検出されたことに応じて、前記(c)工程において前記演算手段に伝達された編集データを前記演算手段に演算させることにより符号化して記録データを生成する工程とを実行させる。
The invention of
また、請求項9の発明は、請求項8の発明に係るプログラムであって、(e) 前記(d)工程において記録データが生成された後に、前記記憶手段から前記素材データの少なくとも一部を削除する工程をさらに実行させる。
The invention of
請求項1ないし9に記載の発明は、演算手段がタスクを実行していない空き時間を検出して、演算手段による符号化が検出した空き時間に行われるように、演算手段が符号化を開始するタイミングを決定することにより、演算手段による他のタスクの実行を妨げることなく、演算手段による記録データの作成を行うことができる。
The invention according to any one of
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
<1. 第1の実施の形態>
図1は、第1の実施の形態における情報処理システム1を示す図である。情報処理システム1は、本発明に係る画像処理システムとして構成されるデジタルスチルカメラ2と、端末装置3と、例えばコンテンツプロバイダ等に設置されるサーバ装置7とを備えている。本実施の形態における情報処理システム1では、端末装置3とサーバ装置7とが互いにネットワーク8を介して接続される構成となっている。
<1. First Embodiment>
FIG. 1 is a diagram illustrating an
なお、ネットワーク8としては、インターネットや公衆網等が該当する。また、サーバ装置7の台数は1台に限定されるものではなく、例えば複数のサーバ装置7がネットワーク8に接続されていてもよい。
The
サーバ装置7は、データベース70を備えた一般的なコンピュータとして構成されており、先述のようにネットワーク8に接続されている。サーバ装置7のデータベース70には、シナリオ元データ72、GUIデータ73および素材データ74(以下、これらを「コンテンツデータ71」と総称する場合がある。)が予め保存されている。なお、コンテンツデータ71は、シナリオ元データ72、GUIデータ73および素材データ74を全て含んでいる必要はなく、それらのうちのいずれかであってもよい。
The
コンテンツデータ71は、画像処理に関する専門知識を有するオペレータ(イラストレータやカメラマン、プログラマ等)によって予め作成されたデータである。したがって、コンテンツデータ71は、一般ユーザによって作成されるデータに比べて品質の高いデータとして提供される。コンテンツデータ71のうちのシナリオ元データ72およびGUIデータ73は、デジタルスチルカメラ2において実行されるデータであって、例えば、スクリプト言語等で記述されるテキストデータである。
The
シナリオ元データ72は、結婚式やゴルフコンペ、運動会、卒業式といった様々なテーマごとにそれぞれ制作されており、対応するテーマと関連づけられて保存されている。したがって、ユーザは具体的なテーマを選択するだけで、個々のシナリオ元データ72の内容を詳細に理解していなくても、所望の編集データを作成するためのシナリオ元データ72をコンテンツプロバイダによって提供される複数のシナリオ元データ72の中から容易に指定することが可能である。
The
なお、シナリオ元データ72と関連づけられるテーマは、上記に挙げたものに限定されるものではないが、ユーザが状況に応じて容易に思いつき、かつ、内容を容易に想像できるものが好ましい。また、編集データとは、ユーザが視聴する映像や音声を作成するために必要なデータであって、本実施の形態では画像(静止画像または動画像)や音声を表現した未圧縮のストリーム情報である。
The themes associated with the
また、各テーマには対応するGUIデータ73も関連づけられている。すなわち、テーマを介して、シナリオ元データ72とGUIデータ73とが互いに関連づけられている。対応づけられるGUIデータ73は、各シナリオ元データ72にとって専用のGUIデータ73であってもよいし、複数のシナリオ元データ72において共通に使用される汎用のGUIデータ73であってもよい。このようにシナリオ元データ72にGUIデータ73が関連づけられていることにより、ユーザはテーマを選択するだけで、シナリオ元データ72を指定できるとともに、当該シナリオ元データ72に必要なGUIデータ73も特定できる。
Each theme is also associated with
シナリオ元データ72には、目的の編集データに必要な編集前データ(画像データや音声データ、フォントデータ等)の識別子が記述されるとともに、各編集前データに対して実行すべき装飾(データ処理)が各編集前データごとに記述される。すなわち、シナリオ元データ72には、編集前データの識別子とデータ処理とが互いに関連づけられて記述される。
In the scenario
シナリオ元データ72に記述されるデータ処理として、例えば、画像を表現した編集前データについて、どのような画像効果(Effect)を施すか、どのような画像合成(Synthesis)を行うか、あるいはどのように画像移行(Transition)させるか等が想定される。また、音声を表現した編集前データについても、再生のタイミングや音量等に関する設定情報(データ処理の種別を示す情報)が記述される。
As the data processing described in the scenario
さらに、音声データを画像に変換して画像データに合成したり、逆に、画像(文字)を認識して音声データ(読み上げ音声)に変換するなどのデータ処理も想定される。データ処理は、対応する編集前データに応じて画像処理の専門家であるオペレータによって選択され、シナリオ元データ72に記述される。
Further, data processing such as converting voice data into an image and synthesizing it into image data, or conversely, recognizing an image (character) and converting it into voice data (read-out voice) is also assumed. The data processing is selected by an operator who is an image processing expert according to the corresponding pre-edit data and is described in the
なお、シナリオ元データ72に識別子が記述される編集前データのうち、オペレータが制作したデータ(サーバ装置7に存在する素材データ74)については、当該シナリオ元データ72において当該素材データ74との関連づけが既にされている。したがって、シナリオ元データ72が特定されると、特定されたシナリオ元データ72において使用される素材データ74も編集前データとして特定される。
Of the pre-edit data whose identifier is described in the
このように、コンテンツプロバイダは、ユーザがテーマを選択するだけで、サーバ装置7上の必要なシナリオ元データ72、GUIデータ73および素材データ74が容易に特定されるように、それぞれの関連づけを行って提供する。
As described above, the content provider associates each of the
GUIデータ73は、対応するシナリオ元データ72に応じて、適切なGUIをデジタルスチルカメラ2のユーザに提供するものである。すなわち、GUIデータ73を実行することにより、デジタルスチルカメラ2は、シナリオ元データ72において要求される編集前データを素材データ90(図2)の中から特定するための特定情報を入力するようにユーザに対して要求し、デジタルスチルカメラ2におけるユーザ操作を支援する。
The
例えば、対応するシナリオ元データ72で要求されている編集前データのうち、ユーザが指定(選択)しなければならないデータについては、その入力を促したり、当該編集前データとして適切な素材データ90をユーザが容易に指定できるように、当該編集前データに関する情報を表示したりする。
For example, among the pre-edit data requested by the corresponding
素材データ74は、デジタルスチルカメラ2において加工される素材となるデータであって、画像データや音声データ、フォントデータ等である。素材データ74に含まれる画像データとしては、例えば、アニメキャラクタや映画の名場面、名所を撮影した風景画像、イラスト画像等であり、静止画像に限らず動画像であってもよい。また、音声データとしては、例えば、声優や俳優の声、BGM、動物の鳴き声、楽器の音、効果音等であり、現実に録音されたデータであってもよいし、機械的に合成された音を出力するためのデータであってもよい。素材データ74は、各シナリオ元データ72に最適なデータとして、専門家のオペレータによって制作され収集されたデータである。
The
詳細は図示しないが、端末装置3は、一般的なコンピュータとしての構成および機能を備えた装置であって、ネットワーク8に接続されている。すなわち、情報処理システム1では、端末装置3とサーバ装置7との間でネットワーク8を介したデータ通信が可能とされている。したがって、ユーザは、端末装置3を操作することによって、サーバ装置7からコンテンツデータ71を端末装置3にダウンロードすることができる。
Although not shown in detail, the
また、端末装置3はケーブル30を介してデジタルスチルカメラ2と着脱自在に接続することも可能とされている。すなわち、ユーザは、デジタルスチルカメラ2と端末装置3とをケーブル30で接続しておき、サーバ装置7から端末装置3にダウンロードしたコンテンツデータ71をデジタルスチルカメラ2に転送しておくことにより、デジタルスチルカメラ2にコンテンツデータ71を記憶させることが可能である。
Further, the
デジタルスチルカメラ2は、図1に示すように可搬性の記録メディア9を自在に着脱できるように設計されている。したがって、デジタルスチルカメラ2は、装着された記録メディア9に記憶されているデータを読み出して利用したり、デジタルスチルカメラ2において生成したデータ(あるいは端末装置3から転送されたデータ)を当該記録メディア9に記憶させたりすることが可能である。本実施の形態では記録メディア9としてSDカードを採用するが、記録メディア9はこれに限定されるものではなく、例えばPCカードやメモリスティック等であってもよい。
The digital
図2は、第1の実施の形態において画像処理システムとして構成されるデジタルスチルカメラ2の構成を示すブロック図である。図2に示す例では、デジタルスチルカメラ2の記録メディア9には、サーバ装置7からダウンロードされたシナリオ元データ72、GUIデータ73および素材データ74が既に格納されている。
FIG. 2 is a block diagram showing a configuration of the digital
なお、撮像データ91および録音データ92は、デジタルスチルカメラ2においてユーザにより撮像または録音され生成されるユーザ由来(サーバ装置7から提供されるデータではないという意味)のデータである。したがって、記録メディア9に記憶される素材データ90は、図2に示すように、オペレータによって制作される素材データ74の他に、撮像データ91および録音データ92を含んでいる。
The
先述のように、素材データ74はテーマが選択されることによって特定されダウンロードされたデータであるから、当該テーマに関連づけられたシナリオ元データ72において要求されている編集前データである。すなわち、本実施の形態においては、素材データ90は編集前データ以外のデータを含んでいる。
As described above, since the
デジタルスチルカメラ2は、各種データに関する演算処理を行うCPU20と、各種データを必要に応じて適宜記憶する記憶部21とを備えており、一般的なコンピュータとしても構成されている。
The digital
CPU20は、記憶部21のRAMを一時的なワーキングエリアとして使用しつつ、記憶部21のROMに格納されているプログラム210に従って動作することにより、デジタルスチルカメラ2の各構成を制御する。なお、CPU20は、サーバ装置7からダウンロードされて記録メディア9に格納されているシナリオ元データ72およびGUIデータ73を実行する機能も有しているが詳細は後述する。
The
また、デジタルスチルカメラ2は、各種データを取り込むための構成として、ユーザによって操作される操作部22と、周囲の音声を電気信号に変換することにより録音を行うマイク23と、入射する光を電気信号に変換することにより撮像を行う撮像部24とを備えている。
The digital
操作部22は、ユーザがデジタルスチルカメラ2に対して指示を入力するために使用される。操作部22は、例えば、デジタルスチルカメラ2(撮像部24)に撮像を行わせるための指示を入力するシャッターボタン、デジタルスチルカメラ2の動作に必要な設定データ等を入力するためのボタン類、あるいは文字データを入力するためのキー等で構成されている。特に、本実施の形態では、操作部22は、ユーザが、所望のテーマ(シナリオ元データ72)を選択するときや、記録メディア9に記憶されている素材データ90から編集前データを特定するための特定情報を入力するとき等に操作される。
The
マイク23は、先述のように、音声を電気信号に変換する機能を備えており、マイク23によって取得された電気信号はA/D変換された後、音声データとして、後述するデータ変換部27に伝達される。
As described above, the
撮像部24は、レンズ等の光学系と、光学系によって導かれた光を受光して電気信号に変換する複数の光電変換素子(例えばCCD素子)とを備えている。複数の光電変換素子は、アレイ状に配列されており、それぞれが撮像時に受光した光の光量に応じた電気信号を出力する。
The
撮像部24は、ユーザが操作部22(シャッターボタン)を操作することにより撮像を行う。そして、1度の撮像によって複数の光電変換素子から得られたそれぞれの出力信号はA/D変換や色補正等がされた後、1枚の画像を表現したデジタルデータとして、後述するデータ変換部27に伝達される。
The
デジタルスチルカメラ2は、各種データを出力するための構成として、音声データに基づいて生成される電気信号により音声を再生するスピーカ25と、画像データに基づいて画像を表示する液晶パネル26とを備える。
As a configuration for outputting various data, the digital
スピーカ25は、録音データ92、編集データに含まれる音声ストリーム情報、あるいは再生データ(後述)を構成する音声データ等に基づいて音声を再生するための装置である。
The
液晶パネル26は、CPU20からの制御によって必要なデータを画像として表示する表示装置として構成されている。例えば、液晶パネル26は記録メディア9内に記憶されている素材データ90(画像を表現したデータ)や、作成された編集データのうちの映像に関するデータを再生表示するだけでなく、CPU20からの指示に従って所定のメッセージ(文字)等を表示する機能も有している。
The
特に、本実施の形態における液晶パネル26は、CPU20がGUIデータ73を実行することにより提供されるGUI画面や編集データに含まれる画像ストリーム情報、あるいは再生データを構成する画像データ等を表示する機能を有している。
In particular, the
さらに、デジタルスチルカメラ2は、データ変換部27、カードスロット28および通信部29を備えている。
Further, the digital
データ変換部27は、論理回路(ハードウェア)から主に構成され、伝達されるデータのデータ形式を圧縮変換(エンコード)する機能と、圧縮変換されたデータをデコードする機能とを有している。
The
本実施の形態におけるデータ変換部27は、撮像部24から伝達される画像データをJPEG形式に圧縮された撮像データ91(静止画像データ)として生成する機能と、JPEG形式の画像データ(撮像データ91を含む)をデコードして液晶パネル26に表示可能な状態に変換する機能とを有している。
The
また、データ変換部27は、マイク23から伝達される音声データをMP3形式に圧縮された録音データ92として生成する機能と、MP3形式の音声データ(録音データ92を含む)をデコードしてスピーカ25が再生可能な状態に変換する機能とを有している。
The
一般に撮像により得られる画像データや録音により得られる音声データはデータサイズが大きなデータとなる。したがって、これを圧縮せずにそのままの状態で保存(記憶)すると記録媒体(記録メディア9)のデータ容量(記憶可能なデータ量)が不足するおそれがある。したがって、撮像機能や録音機能を有する装置において、撮像や録音により得られたデータを保存用に圧縮するデータ変換部27のような専用のハードウェアを設けることは、一般的なアーキテクチャとして広く採用されている。ただし、画像データや音声データを圧縮変換する形式はJPEG形式やMP3形式に限定されるものではない。なお、データ変換部27により生成された撮像データ91および録音データ92は、記録メディア9に転送され記憶される。
In general, image data obtained by imaging and audio data obtained by recording are data having a large data size. Therefore, if this is stored (stored) as it is without being compressed, the data capacity (data amount that can be stored) of the recording medium (recording medium 9) may be insufficient. Therefore, in a device having an imaging function and a recording function, it is widely adopted as a general architecture to provide dedicated hardware such as a
カードスロット28は、デジタルスチルカメラ2に記録メディア9を装着する機能を提供するハードウェアインタフェースである。カードスロット28に記録メディア9が装着されることにより、デジタルスチルカメラ2は記録メディア9を記憶装置として使用することが可能となる。
The
通信部29は、デジタルスチルカメラ2を端末装置3にケーブル30を介して着脱自在に接続する機能を有している。これにより、デジタルスチルカメラ2は、端末装置3からコンテンツデータ71を取得することが可能である。本実施の形態における情報処理システム1では、ケーブル30と通信部29として、USBケーブルとUSB端子とを採用する。
The
なお、デジタルスチルカメラ2が端末装置3からコンテンツデータ71を取得するための構成は、ケーブル30を介したデータ通信に限定されるものではない。例えば、記録メディア9を端末装置3に装着し、端末装置3において記録メディア9にコンテンツデータ71を記憶させてから、当該記録メディア9をデジタルスチルカメラ2に装着するように構成してもよい。このように構成した場合、デジタルスチルカメラ2において通信部29は不要となる。
The configuration for the digital
以上、ここまでに説明したように、本実施の形態におけるデジタルスチルカメラ2の各ハードウェアは、本発明に特化した専用のハードウェアである必要がなく、広く一般的に流通している撮像装置と同様のハードウェアを採用することができる。したがって、本発明を実現するハードウェアとしては、市販の撮像装置を採用可能であり、システム全体のコストを抑制することができる。
As described above, each hardware of the digital
図3は、第1の実施の形態において画像処理システムとして構成されるデジタルスチルカメラ2の機能ブロックをデータの流れとともに示す図である。図3に示す要求部100、シナリオ解析部101、画像生成部102、音声生成部103、A/Vコーデック部104およびスケジュール部105は、主にCPU20が記憶部21に記憶されているプログラム210に従って動作することにより実現される機能ブロックである。
FIG. 3 is a diagram showing functional blocks of the digital
なお、以下の説明では、ユーザによって「テーマ」が既に選択されており、当該選択されたテーマに応じて特定された1つのシナリオ元データ72がデジタルスチルカメラ2において取得されているものとする。すなわち、図3は、ユーザが操作部22を操作することにより、既にシナリオ元データ72の特定は完了し、特定されたシナリオ元データ72に関連づけられているGUIデータ73および素材データ74も既に記録メディア9に記憶されている状態を示している。
In the following description, it is assumed that “theme” has already been selected by the user, and one
要求部100は、GUIデータ73を参照しつつ、そこに記述されている内容に従って、デジタルスチルカメラ2のユーザに対して必要な情報を入力するように促すGUIを提供する。すなわち、要求部100は、液晶パネル26にメニュー画面や入力画面等を表示させることにより、シナリオ元データ72において要求される編集前データを特定するための特定情報を入力するようにユーザに対して要求する機能を有している。
The
シナリオ元データ72に記述されている編集前データの識別子とは、いわば編集データにおける役名である。そして、各役名にどの俳優(素材データ90)を具体的に割り当てるかは、ユーザが特定情報を入力することにより決定される。ユーザがGUIデータ73によって提供されるGUIに従って入力することにより、編集前データの識別子(役名)と素材データ90の識別子(俳優名)とが関連づけられる。
The identifier of the pre-edit data described in the scenario
言い換えれば、ユーザは、液晶パネル26に表示されるGUI画面によって要求される情報を、当該GUI画面に従って操作部22を操作して入力するだけで、専門的な知識を有していなくても、編集データを作成するために必要な指示をデジタルスチルカメラ2に与えることが可能である。
In other words, the user simply inputs the information requested by the GUI screen displayed on the
また、本実施の形態における要求部100は、すでに記録メディア9に記憶されている素材データ90から編集前データとなるデータを選択するように要求するだけではなく、素材収集指示情報をGUI画面として液晶パネル26に表示させることにより、ユーザに対して、編集前データとなる新たな素材データ90を取得するように要求する。具体的には、既に撮像され撮り溜めされた過去の撮像データ91を選択させるだけでなく、新たに撮像を行って撮像データ91を取得するよう要求する。
In addition, the
すなわち、要求部100は、例えば、撮像指示情報を液晶パネル26に表示させることにより撮像部24よる撮像をユーザに対して要求するとともに、その要求に応じて行われる撮像により生成される撮像データ91を、シナリオ元データ72において要求される編集前データとして特定するための特定情報を生成する。撮像指示情報は、新たな撮像を行うように指示するメッセージだけでなく、どのような場面や被写体を撮像すればよいか等を指示するメッセージ等を含めることも可能である。
That is, for example, the
なお、要求部100は、GUI画面に従って、ユーザが撮像(あるいは録音)を行って新たに取得したデータをデータ変換部27を介して記録メディア9に記憶させる機能も有している。すなわち、マイク23および撮像部24から要求部100に入力される新たなデータ(音声データおよび画像データ)は、データ変換部27において圧縮処理された後、記録メディア9に転送され素材データ90として記憶される。
Note that the
ユーザからの指示に従って選択あるいは新たに取得された各素材データ90は、シナリオ元データ72において宣言されている各編集前データとしてユーザに指定されたものとみなされ、互いに関連づけが行われて、その情報が要求部100からシナリオ解析部101に伝達される。すなわち、全ての編集前データに関するユーザの指定が完了した段階で、要求部100は、シナリオ元データ72で要求される編集前データの識別子と、記録メディア9に記憶されている各素材データ90の記録メディア9上の識別子(例えば記録メディア9における各素材データ90のファイル名)とを関連づけた情報(以下、「素材指定情報」と称する)をシナリオ解析部101に伝達する。先に示した例えで言えば、素材指定情報とは、役名と俳優名とを関連づけたリスト情報となる。
Each
シナリオ解析部101は、要求部100から伝達される素材指定情報とシナリオ元データ72とに基づいて、記録メディア9に記憶された素材データ90の中から当該シナリオ元データ72において要求される編集前データを特定する。
Based on the material designation information and the
また、シナリオ解析部101は、編集前データとして特定された素材データ90の識別子と、編集前データに対して実行すべきデータ処理を示す識別子とを、それぞれに関連づけられている編集前データの識別子を仲立ちにして、互いに関連づけ、シナリオデータ93を作成し、記録メディア9に記憶させる。すなわち、シナリオデータ93とは、シナリオ元データ72と、素材指定情報とに基づいてシナリオ解析部101によって作成されるデータであって、要求する素材データ90と当該素材データに対して施すデータ処理との対応関係を示すデータである。
In addition, the
このようなシナリオデータ93が作成されることによって、編集データを作成するために要求される全ての素材データ90が特定され、かつ、各素材データ90に対するデータ処理が特定される。なお、デジタルスチルカメラ2では、様々な場面においてシナリオデータ93が作成される。すなわち、記録メディア9に記憶されているシナリオデータ93は1つとは限らず、複数のシナリオデータ93が存在している場合がある。以下の説明では、複数のシナリオデータ93のうち、作成しようとする編集データに対応したシナリオデータ93を特に「対象シナリオデータ93」と称する。
By creating
画像生成部102は、対象シナリオデータ93(より詳しくは映像に係る対象シナリオデータ93)を参照しつつ、そこに記述されている素材データ90の識別子に基づいて記録メディア9から該当する素材データ90を読み出す。そして、当該対象シナリオデータ93において当該素材データ90に関連づけられているデータ処理の識別子に応じて、当該素材データ90にデータ処理を施して編集データ(より詳しくは編集データのうちの映像に係るデータ)を生成する。なお、画像生成部102は、素材データ90にデータ処理を施すに際して、素材データ90における画像を解析して被写体の動きや形状等を判定したり、画像の合成や補間、変換等の様々な加工を行う機能も有している。
The
画像生成部102は、生成した映像に係る編集データを液晶パネル26あるいはA/Vコーデック部104に伝達する。本実施の形態における画像生成部102は、スケジュール部105によって編集データの作成が指示された場合にのみ、生成した編集データをA/Vコーデック部104に伝達する。一方、リアルタイムに演算しつつ編集データを作成して再生するようにユーザにより指示がされた場合、画像生成部102は生成した編集データをA/Vコーデック部104に伝達せずに、液晶パネル26に伝達する。これにより、液晶パネル26に編集データに係る画像(主に動画像)が表示される。
The
音声生成部103は、対象シナリオデータ93(より詳しくは音声に係る対象シナリオデータ93)を参照しつつ、そこに記述されている素材データ90の識別子に基づいて記録メディア9から該当する素材データ90を読み出す。そして、当該対象シナリオデータ93において当該素材データ90に関連づけられているデータ処理の識別子に応じて、当該素材データ90にデータ処理を施して編集データ(より詳しくは編集データのうちの音声に係るデータ)を生成する。
The
音声生成部103は、生成した音声に係る編集データをスピーカ25あるいはA/Vコーデック部104に伝達する。本実施の形態における音声生成部103は、スケジュール部105によって編集データの作成が指示された場合にのみ、生成した編集データをA/Vコーデック部104に伝達する。一方、リアルタイムに演算しつつ編集データを作成して再生するようにユーザにより指示がされた場合、音声生成部103は生成した編集データをA/Vコーデック部104に伝達せずに、スピーカ25に伝達する。これにより、スピーカ25によって編集データに係る音声が再生される。
The
A/Vコーデック部104は、画像生成部102および音声生成部103によって生成され伝達される編集データ(画像ストリーム情報および音声ストリーム情報)を符号化して記録データ94を生成し、記録メディア9に記憶させる機能を有する。A/Vコーデック部104は、先述のように、CPU20がプログラム210に従って演算を行うことにより実現される機能ブロックである。したがって、主にCPU20が本発明における演算手段に相当する。
The A /
本実施の形態におけるA/Vコーデック部104は、「MotionJPEG形式」に圧縮されたデータとして記録データ94を作成する。「MotionJPEG形式」とは、動画像を構成する各フレームの画像データをJPEG形式とする符号化方式(規格)である。
The A /
一般に画像生成部102によって生成される画像ストリーム情報や、音声生成部103によって生成される音声ストリーム情報はデータサイズが大きなデータとなる。したがって、これを圧縮せずにそのままの状態で保存(記憶)すると記録媒体(記録メディア9)のデータ容量(記憶可能なデータ量)が不足するおそれがある。
In general, the image stream information generated by the
しかし、本実施の形態におけるデジタルスチルカメラ2は、「MotionJPEG形式」に圧縮された記録データ94を作成することにより、保存用のデータのサイズを抑制することができる。
However, the digital
また、広く一般に用いられている規格に従ってデータ圧縮された記録データ94を生成することにより、例えば、記録データ94を他の装置において容易に再生することができ、保存用の記録データ94の汎用性が向上する。ただし、記録データ94のデータ形式は「MotionJPEG形式」に限定されるものではなく、例えば、各フレーム間の画像データの差分に基づいて、さらに圧縮率を向上させたMPEG形式であってもよい。
In addition, by generating the
記録データ94を再生するようにユーザにより指示がされた場合、A/Vコーデック部104は、記録メディア9に記憶されている記録データ94をデコードして、画像に係る再生データを液晶パネル26に表示させるとともに、音声に係る再生データをスピーカ25に再生させる機能も有する。
When the user gives an instruction to reproduce the recorded
本実施の形態におけるスケジュール部105は、シナリオ解析部101によってシナリオデータ93が作成されたときに、管理データ95に、新たに作成されたシナリオデータ93の識別子を格納し、当該シナリオデータ93を管理データ95に登録する。一方、スケジュール部105は、A/Vコーデック部104によって記録データ94が作成されたときに、作成された記録データ94に対応するシナリオデータ93の識別子を管理データ95から削除する。
In the present embodiment, when the
また、スケジュール部105は管理データ95にシナリオデータ93が登録されているか否かに基づいて、記録データ94を作成すべきシナリオデータ93が記録メディア9に存在するか否かを監視する機能を有している。そして、管理データ95に登録されているシナリオデータ93が存在する場合には、CPU20がタスクを実行していない空き時間を検出して、CPU20(A/Vコーデック部104)による符号化(記録データ94の作成)が当該空き時間に行われるように、A/Vコーデック部104が記録データ94の作成を行うタイミングを決定する。
Further, the
先述のように、スケジュール部105によって編集データの生成が指示された場合、画像生成部102および音声生成部103は編集データをA/Vコーデック部104に伝達し、A/Vコーデック部104によって記録データ94が生成される。すなわち、本実施の形態におけるスケジュール部105は、画像生成部102および音声生成部103による編集データの生成を開始するタイミングを決定することにより、A/Vコーデック部104が記録データ94の作成を行うタイミングを決定する。なお、スケジュール部105が当該タイミングを決定する手法については後述する。
As described above, when generation of edit data is instructed by the
さらに、スケジュール部105は、決定したタイミングに画像生成部102および音声生成部103に編集データの生成開始を指示するとともに、どのシナリオデータ93に基づいて編集データの生成を行うのかを画像生成部102および音声生成部103に指示する。具体的には、決定したタイミングに、管理データ95から取得したシナリオデータ93の識別子(すなわち対象シナリオデータ93の識別子)を画像生成部102および音声生成部103に伝達する。
Further, the
以上が情報処理システム1の構成および機能の説明である。次に、デジタルスチルカメラ2によって実施される画像処理方法について説明する。
The above is the description of the configuration and functions of the
図4は、第1の実施の形態における画像処理方法を示す流れ図である。なお、図4に示す処理が開始されるまでに、デジタルスチルカメラ2は、ユーザによって電源が投入され、所定の初期設定を行った後、監視状態に遷移しているものとする。
FIG. 4 is a flowchart showing the image processing method according to the first embodiment. It is assumed that the digital
監視状態において、デジタルスチルカメラ2のCPU20は、ユーザによってシナリオ作成指示がされたか(ステップS1)、管理データ95にシナリオデータ93が登録されているか(ステップS3)およびデジタルスチルカメラ2における処理を終了する指示がユーザによってされたか(ステップS6)を監視している。
In the monitoring state, the
シナリオ作成指示とは、デジタルスチルカメラ2に新たなシナリオデータ93を作成させるための指示であって、ユーザが操作部22を操作することにより入力され、CPU20によって検出される。また、管理データ95にシナリオデータ93が登録されているか否かは、スケジュール部105が管理データ95を参照することによりCPU20によって検出される。さらに、デジタルスチルカメラ2による処理を終了する指示とは、ユーザが操作部22を操作することによって、デジタルスチルカメラ2の電源がOFFにされることである。
The scenario creation instruction is an instruction for causing the digital
なお、監視状態において、CPU20によって実行される処理は、図4に示す監視処理(ステップS1,S3,S6)に限定されるものではなく、適宜、通常の撮像処理等の他の処理(タスク)を受け付けるための監視処理も実行されている。したがって、ステップS1,S3,S6が実行される間に、適宜、別の監視処理により受け付けられた別のタスクがCPU20によって実行される。
Note that the processing executed by the
監視状態において、ユーザが操作部22を操作してシナリオ作成指示がされると、CPU20はステップS1においてYesと判定し、シナリオデータ作成処理を実行する(ステップS2)。言い換えれば、CPU20が実行すべきタスクとして、シナリオデータ作成処理が選択され、当該処理が開始される。
In the monitoring state, when the user operates the
図5は、第1の実施の形態におけるシナリオデータ作成処理を示す流れ図である。なお、シナリオデータ作成処理が開始されるまでに、サーバ装置7には、オペレータによって作成されたコンテンツデータ71が記憶されているものとする。すなわち、画像処理の専門家であるオペレータがシナリオ元データ72を予め作成する工程は、図5に示す各工程の前に既に完了しているものとする。
FIG. 5 is a flowchart showing scenario data creation processing in the first embodiment. It is assumed that
まず、ユーザはデジタルスチルカメラ2と端末装置3とをケーブル30によって接続する。次に、端末装置3の操作部を操作して、所望する状況に応じてテーマを入力する。例えば、結婚式を撮像した素材データ90を編集して編集データを作成しようとする場合、ユーザはテーマとして「結婚式」を入力する。より詳細には、ユーザはサーバ装置7のネットワーク8におけるアドレスや、ダウンロードするコンテンツデータ71の保存場所としてデジタルスチルカメラ2の記録メディア9を指定する情報等も入力する。
First, the user connects the digital
これに応じて端末装置3がネットワーク8を介してサーバ装置7にアクセスし、入力されたテーマ「結婚式」をサーバ装置7に伝達する。サーバ装置7は端末装置3から伝達されたテーマ「結婚式」をキーワードとしてデータベース70を検索し、当該テーマに関連づけられているシナリオ元データ72を、GUIデータ73および素材データ74とともに端末装置3に送信する。これによって、コンテンツデータ71(シナリオ元データ72、GUIデータ73および素材データ74)が端末装置3にダウンロードされるとともに(ステップS11)、デジタルスチルカメラ2に装着されている記録メディア9に記憶される。
In response to this, the
ダウンロードが完了すると、ユーザはデジタルスチルカメラ2からケーブル30を抜き、デジタルスチルカメラ2と端末装置3との接続状態を解除する。これによって、デジタルスチルカメラ2は再び携帯可能な状態となり、ユーザによって任意の場所(撮像場所)に持参される。
When the download is completed, the user disconnects the
次に、ユーザは操作部22を操作して指定作業の開始を指示する(ステップS12)。この指示に応じて、デジタルスチルカメラ2の要求部100が記録メディア9に格納されたGUIデータ73を参照し、ユーザに必要な入力を促すGUI画面を液晶パネル26に表示させる(ステップS13)。
Next, the user operates the
このとき、要求部100は、要求される編集前データに関するデータを表示するとともに、当該編集前データとして、既に記録メディア9に記憶されている素材データ90から選択するか否かを選択するようにユーザに対して要求するメッセージを表示する(ステップS14)。
At this time, the
ユーザは、既に記録メディア9に記憶されている素材データ90を指定する場合は、ステップS14において「選択する」旨を入力する。これにより要求部100はステップS14においてYesと判定し、その時点で記録メディア9に記憶されている素材データ90を一覧表示した選択画面をGUI画面として液晶パネル26に表示する(ステップS15)。選択画面が表示されると、ユーザは、一覧表示された素材データ90から適当なデータを特定するための特定情報を入力することにより、編集前データとしての素材データ90を選択する(ステップS16)。
When designating the
これにより、素材データ90の中からシナリオ元データ72において要求される編集前データが1つ特定され、素材指定情報の1レコードが作成される。なお、ステップS16が実行される場合とは、要求される編集前データのうちの1つが既に記録メディア9に素材データ90として記憶されていたことを示す。
As a result, one pre-edit data required in the
一方、ユーザが新たに素材データ90を取得しようと所望する場合は、ステップS14において「選択しない」旨を入力する。これにより要求部100はステップS14においてNoと判定し、GUI画面として取得画面を液晶パネル26に表示させる(ステップS17)。取得画面が表示されると、ユーザは取得画面に表示される撮像指示情報(または録音指示情報)に従って、撮像(または録音)を行うように操作部22を操作し、これにより撮像(または録音)が行われる(ステップS18)。
On the other hand, when the user desires to newly acquire the
ステップS18が実行されることにより取得された画像データまたは音声データはデータ変換部27によって所定のデータ圧縮が施された後、素材データ90(撮像データ91または録音データ92)として記録メディア9に記憶される。さらに、要求部100は、ステップS18において作成された素材データ90を、シナリオ元データ72において要求されている編集前データの1つとして特定し、素材指定情報の1レコードを作成する。
The image data or audio data acquired by executing step S18 is subjected to predetermined data compression by the
すなわち、ステップS18が実行されることにより、1つの編集データを作成するために要求される素材データ90のうち、未だ記録メディア9に記憶されていなかった(作成されていなかった)素材データ90が新たに1つ作成され記憶されたことになる。なお、ステップS18は撮像と録音のいずれか一方のみが行われる処理に限定されるものではなく、撮像と録音とが同時に行われてもよい。すなわち、撮像データ91と録音データ92とが1回の指定によって作成されてもよい。
That is, by executing step S18, among the
ステップS16またはステップS18が実行されるたびに、要求部100は、GUIデータ73を参照することにより、全ての編集前データが特定されたか否かを判定する(ステップS19)。要求部100は、参照したGUIデータ73において要求されている編集前データ(すなわちシナリオ元データ72において要求されている編集前データ)のうち、未だ特定されていない編集前データが存在する場合はステップS19においてNoと判定し、ステップS13からの処理を繰り返す。
Each time step S16 or step S18 is executed, the
一方、全ての編集前データが特定されていれば、要求部100はステップS19においてYesと判定する。これにより、1つの編集データにおいて要求される全ての素材データ90が記録メディア9に記憶され、特定されたことになる。
On the other hand, if all the pre-edit data has been specified, the
全ての編集前データが特定されると(ステップS19においてYes)、シナリオ解析部101が、要求部100から伝達される素材指定情報と、記録メディア9に記憶されているシナリオ元データ72とを参照する。そして、編集前データとして特定された各素材データ90と、各素材データ90に対して実行すべきデータ処理との関連づけを行い、シナリオデータ93を生成し記録メディア9に記憶させる(ステップS20)。
When all the data before editing is specified (Yes in step S19), the
また、ステップS20では、スケジュール部105がステップS20において生成されたシナリオデータ93の識別子を管理データ95に登録する。本実施の形態では、シナリオデータ93が作成されると、自動的に、当該シナリオデータ93の識別子が管理データ95に書き込まれ登録される。これにより、ユーザはシナリオデータ93の作成を指示するだけで、当該シナリオデータ93による記録データ94の作成処理を予約することができる。ただし、管理データ95への登録(あるいは削除)は、ユーザからの別途指示によって行われてもよい。
In step S20, the
以上のように、デジタルスチルカメラ2は、編集データを作成するためのシナリオデータ93と、当該シナリオデータ93において要求される素材データ90のうちコンテンツデータ71に含まれない素材データ90とを作成して記憶(あるいは既に記憶されている素材データ90から特定)しておくことが可能である。また、素材データ74についてはダウンロードにより予め記憶しておくことが可能である。
As described above, the digital
なお、シナリオデータ作成処理を複数回繰り返すことによって、複数のシナリオデータ93と、それぞれにおいて要求される素材データ90とを記憶しておくことも可能である。
It is also possible to store a plurality of
ステップS20の処理が終了すると、デジタルスチルカメラ2は、図5に示すシナリオ作成処理を終了して図4の処理に戻り、再び監視状態となる。
When the process of step S20 ends, the digital
監視状態において、スケジュール部105が管理データ95を参照することにより、管理データ95にシナリオデータ93の識別子が登録されていることを検出すると、スケジュール部105は、記録データ94を作成するべきシナリオデータ93が存在するとみなして、ステップS3においてYesと判定する。
In the monitoring state, when the
ステップS3においてYesと判定した場合、スケジュール部105は、CPU20がタスクを実行していない空き時間であるか否かをさらに判定する(ステップS4)。
When it determines with Yes in step S3, the
ステップS4において、デジタルスチルカメラ2のCPU20が、空き時間を検出する手法はいくつか考えられる。
In step S4, the
例えば、ステップS4を実行するときに、CPU20がタスクを実行中か否かを確認し、タスクを実行していなければ空き時間を検出したと判定してもよい。すなわち、ステップS4を実行するタイミングごとにタスクを実行中か否かを判定して、その判定結果に応じて空き時間を検出したか否かを判断する手法を採用することができる。あるいは、CPU20が、所定の時間(予め初期設定された時間)タスクを実行していないことを検出したときに、空き時間を検出したと判断してもよい。
For example, when executing step S4, it may be determined whether or not the
さらに、ユーザ操作をトリガにして、空き時間を検出することも可能である。 Furthermore, it is possible to detect the idle time by using a user operation as a trigger.
空き時間を検出したと判定可能なユーザ操作とは、例えば、ユーザがデジタルスチルカメラ2をスリープモードに遷移するように指示を与える操作が考えられる。あるいは、ユーザがデジタルスチルカメラ2にケーブル30を装着し、デジタルスチルカメラ2を端末装置3に接続する操作であってもよい。携帯型のデジタルスチルカメラ2が端末装置3に接続された場合、その状態で撮像処理(優先されるべき他のタスク)がユーザによって要求されることは希だからである。また、本実施の形態のように、USB接続を採用している場合、記録データ94を作成するための電力を端末装置3から供給することができ、さらに好都合だからである。
The user operation that can be determined that the idle time has been detected is, for example, an operation in which the user gives an instruction to shift the digital
これらの手法により、CPU20がタスクを実行していない空き時間を検出したと判定した場合、スケジュール部105は、ステップS4においてYesと判定し、その判定を行ったタイミングを、A/Vコーデック部104(CPU20)が記録データ94を作成する処理を開始するタイミングとして決定する。
When it is determined by these methods that the
すなわち、スケジュール部105は、ステップS4においてYesと判定したタイミングで、シナリオデータ93の識別子を画像生成部102および音声生成部103に伝達し、これにより、デジタルスチルカメラ2は記録データ生成処理を開始する(ステップS5)。
That is, the
図6は、記録データ生成処理を示す流れ図である。なお、記録データ作成処理は、管理データ95にシナリオデータ93が登録されている場合にのみ開始される。したがって、図6に示す記録データ生成処理が開始されるまでに、デジタルスチルカメラ2において図5に示したシナリオデータ作成処理が少なくとも1回以上実行され、デジタルスチルカメラ2に装着されている記録メディア9には、少なくとも1つのシナリオデータ93と、当該少なくとも1つのシナリオデータ93において要求されるすべての素材データ90が既に記憶されている。
FIG. 6 is a flowchart showing the recording data generation process. The recording data creation process is started only when the
記録データ生成処理が開始されると、画像生成部102および音声生成部103は、スケジュール部105から伝達されたシナリオデータ93の識別子に基づいて、記録メディア9に記憶されている複数のシナリオデータ93から、対象シナリオデータ93を特定する(ステップS21)。なお、対象シナリオデータ93とは、先述のように編集データを作成する対象(ここでは記録データ94を作成する対象でもある)となるシナリオデータ93である。
When the recording data generation process is started, the
次に、画像生成部102および音声生成部103は、特定された対象シナリオデータ93を参照しつつ、当該対象シナリオデータ93に記述される素材データ90を1つずつ特定し(ステップS22)、記録メディア9から読み出す。さらに、読み出した素材データ90に対して、当該対象シナリオデータ93において当該素材データ90に関連づけられているデータ処理を施して編集データを生成しつつ(ステップS23)、生成した編集データをA/Vコーデック部104に伝達する。
Next, the
そして、A/Vコーデック部104は、編集データを演算によりMotionJPEG形式に符号化することによって記録データ94を生成する(ステップS24)。
Then, the A /
画像生成部102および音声生成部103は、特定された対象シナリオデータ93を参照しつつ、当該対象シナリオデータ93に記述されている全ての素材データ90に対して処理を終了したか否かを判定し(ステップS25)、未だ終了していない素材データ90が存在する場合は、ステップS22に戻って処理を繰り返す。
The
一方、全ての素材データ90に対して処理を終了した場合、CPU20は、ステップS25においてYesと判定し、記録データ94を作成する際に用いられた素材データ90のうち、所定の素材データ90を削除する(ステップS26)。
On the other hand, when the processing is completed for all the
ステップS26において削除される素材データ90とは、例えば、コンテンツデータ71に含まれる素材データ74の一部が考えられる。素材データ74は、コンテンツプロバイダによって提供されるデータであって、著作権が存在する場合が考えられる。したがって、記録データ94の作成(本来の目的)を達成した後には、これらのデータが不正に複製等されないように記録メディア9から削除することが好ましい。なお、ステップS26において削除すべき素材データ90には、削除されるべきことを示す識別子が予め付加されているものとする。
As the
素材データ90の削除が終了すると、A/Vコーデック部104は、ステップS24を繰り返すことによって作成した記録データ94を記録メディア9に保存する(ステップS27)。これにより、記録メディア9に記録データ94が記憶される。
When the deletion of the
このように、本実施の形態におけるデジタルスチルカメラ2では、電源が投入された状態(様々な処理が実行され得る状況)において、スケジュール部105によってCPU20の空き時間を検出し、空き時間が検出されたときにのみ、記録データ94の作成を行う。これにより、CPU20による他の処理の実行を妨げることなく、CPU20(A/Vコーデック部104)による記録データ94の作成を行うことができる。
As described above, in the digital
ステップS27が実行され、記録メディア9に記録データ94が保存されると、スケジュール部105が管理データ95から対象シナリオデータ93の識別子を削除する。そして、デジタルスチルカメラ2は、記録データ生成処理を終了して図4に示す処理に戻り、再び監視状態となる。
When step S27 is executed and the
監視状態において、ユーザが操作部22を操作して、デジタルスチルカメラ2の電源をOFF状態にする操作がされると、CPU20はユーザがデジタルスチルカメラ2における全ての処理を終了するよう指示を入力したと判定して、図4に示すステップS6においてYesと判定し、全ての処理を終了する。
In the monitoring state, when the user operates the
以上のように、第1の実施の形態におけるデジタルスチルカメラ2は、CPU20が他のタスクを実行していない空き時間を検出し、空き時間が検出されたときにA/Vコーデック部104による符号化処理を実行して記録データ94を作成する。これにより、専用のハードウェアを備えていなくても、通常の撮影処理等の実行を妨げることなく、記録データ94の作成を行うことができる。
As described above, the digital
なお、ケーブル30と通信部29とは端末装置3からコンテンツデータ71を取得する機能を実現できるものであればUSBケーブルとUSB端子とに限定されるものではない。例えば、デジタルスチルカメラ2専用のクレードルと、当該クレードルが接続されるフレキシブル端子とによって構成されてもよい。
The
また、デジタルスチルカメラ2においてコンテンツデータ71を取得するための構成は端末装置3を介した構成に限定されるものではない。例えば、デジタルスチルカメラ2において無線通信機能を備えた通信部29を採用し、必要に応じてネットワーク8に接続することによって、サーバ装置7から直接コンテンツデータ71をデジタルスチルカメラ2にダウンロードする構成としてもよい。このような無線通信機能を実現する通信部29の構成としては、WiFi(Wireless Fidelity)や赤外線通信といった通信規格を採用することが可能である。
The configuration for acquiring the
さらに、デジタルスチルカメラ2で使用されるコンテンツデータ71はサーバ装置7によってネットワーク8および端末装置3を介して提供されると説明したが、例えば、記録メディア9によって提供されてもよい。すなわち、コンテンツデータ71を記憶した記録メディア9が店頭等において配布され、これをデジタルスチルカメラ2に装着して利用するように構成してもよい。
Further, the
<2. 第2の実施の形態>
第1の実施の形態における画像処理システムは、デジタルスチルカメラ2として構成されており、撮像機能(撮像部24)を有するシステムとして説明した。すなわち、画像処理システムが素材データ90の作成(撮像および録音)と、記録データ94の作成とを行う機能を有していたが、本発明はこのようなシステム構成の画像処理システムに限定されるものではない。
<2. Second Embodiment>
The image processing system in the first embodiment is configured as the digital
図7は、第2の実施の形態における情報処理システム1aを示す図である。情報処理システム1aは、本発明に係る画像処理システムとして構成されるコンピュータ4と、デジタルスチルカメラ5とを備えている。また、第2の実施の形態における情報処理システム1aは、図7に示すように、第1の実施の形態における情報処理システム1と同様のサーバ装置7を備えている。サーバ装置7およびネットワーク8については、第1の実施の形態と同様の構成を採用することができるため、以下、説明を省略する。また、詳細は後述するが、情報処理システム1aでは、デジタルスチルカメラ5が素材データ90の作成を行い、コンピュータ4が符号化された記録データ94を作成する。
FIG. 7 is a diagram illustrating an information processing system 1a according to the second embodiment. The information processing system 1a includes a computer 4 configured as an image processing system according to the present invention and a digital
図8は、第2の実施の形態において画像処理システムとして構成されるコンピュータ4の構成を示すブロック図である。コンピュータ4は、CPU40、ROM41、RAM42およびハードディスク43を備えており、詳細は後述するが、本発明における画像処理システムとして構成されている。
FIG. 8 is a block diagram showing a configuration of the computer 4 configured as an image processing system in the second embodiment. The computer 4 includes a
CPU40は、ROM41に格納されたプログラム410に従って動作することにより、コンピュータ4の各構成を制御する。CPU40の機能および動作については後述する。
The
ROM41、RAM42およびハードディスク43はコンピュータ4が備える記憶装置を構成しており、各種データを記憶する。ROM41は、読み取り専用の記憶装置であり、主にプログラム410を格納する。RAM42は、比較的高速にアクセス可能な記憶装置であり、CPU40の一時的なワーキングエリアとして使用される。ハードディスク43は、比較的大容量のデータを記憶することが可能な記憶装置である。なお、プログラム410の一部がハードディスク43に記憶されていてもよい。すなわち、CPU40は、ハードディスク43に記憶されているプログラム410を必要に応じてRAM42に読み出して実行してもよい。
The
操作部44は、ユーザによって操作されるキーボード(ボタンやキー)やポインティングデバイス(マウスやタッチパネル)、各種スイッチ等から構成されるハードウェアである。ユーザは、コンピュータ4に対して何らかの指示を与えるときに操作部44を操作する。すなわち、ユーザは、操作部44を操作することによって、コンピュータ4に対して、様々なデータ(指示)を入力することができる。
The
スピーカ45は音声を再生するための一般的な装置である。スピーカ45は、音声データ(録音データ92や編集データのうちの音声に係るデータ等)に基づいて生成される電気信号に従って音声を再生する機能を有している。
The
ディスプレイ46は、液晶ディスプレイやCRT等が該当し、各種データを画面に画像として表示する装置である。
The
USB端子47は、ケーブル31の一方端と接続するために必要な形状を有しており、コンピュータ4がケーブル31の他方端に接続されたデジタルスチルカメラ5との間でUSB規格に従ったデータ通信を行うために使用される。すなわち、デジタルスチルカメラ5がケーブル31を介してUSB端子47に接続された状態のとき、コンピュータ4は、デジタルスチルカメラ5に記憶されているデータ(例えば、撮像データ91や録音データ92)を適宜参照したり、ハードディスク43に複写することが可能となる。
The
通信部48は、コンピュータ4をネットワーク8に接続する機能を提供する。これにより、コンピュータ4はネットワーク8を介してサーバ装置7との間で、データ通信を行うことができる。
The
図9は、第2の実施の形態において画像処理システムとして構成されるコンピュータ4の機能ブロックをデータの流れとともに示す図である。図9に示す要求部100a、シナリオ解析部101、画像生成部102、音声生成部103、A/Vコーデック部104およびスケジュール部105は、CPU40がプログラム410に従って動作することにより実現される機能ブロックである。
FIG. 9 is a diagram illustrating functional blocks of the computer 4 configured as an image processing system in the second embodiment together with a data flow. The
なお、シナリオ解析部101、画像生成部102、音声生成部103、A/Vコーデック部104およびスケジュール部105は、第1の実施の形態におけるデジタルスチルカメラ2において実現された各機能ブロックと同様であるため、それぞれ同一の符号を付し、説明を省略する。
The
要求部100aは、GUIデータ73を参照しつつ、そこに記述されている内容に従って、コンピュータ4のユーザに対して必要な情報を入力するように促すGUIを提供する。すなわち、要求部100aは、ディスプレイ46にメニュー画面や入力画面等を表示させることにより、シナリオ元データ72において要求される編集前データを特定するための特定情報を入力するようにユーザに対して要求する機能を有している。
While referring to the
要求部100aは、すでにハードディスク43に記憶されている素材データ90を選択候補としてディスプレイ46に一覧表示させる。このとき、デジタルスチルカメラ5が接続されていれば、要求部100aは、USB端子47およびケーブル31を介して、デジタルスチルカメラ5と通信を行い、デジタルスチルカメラ5に記憶されている撮像データ91および録音データ92についても選択候補としてディスプレイ46に一覧表示させる。
The
第2の実施の形態においても、第1の実施の形態と同様に、シナリオ元データ72に記述されている編集前データにどのデータを具体的に割り当てるかは、ユーザが特定情報を入力することにより決定される。ユーザがGUIデータ73によって提供されるGUI画面に従って入力することにより、指定された素材データ90の識別子と編集前データの識別子とが関連づけられる。
Also in the second embodiment, as in the first embodiment, the user inputs specific information as to which data is specifically assigned to the pre-edit data described in the
なお、デジタルスチルカメラ5に記憶されている撮像データ91または録音データ92が指定された場合は、指定されたデータがデジタルスチルカメラ5からハードディスク43に素材データ90として転送される。そして、転送後の当該素材データ90の識別子と編集前データの識別子とが要求部100aによって関連づけられる。
When the
このように、第2の実施の形態においても、ユーザは、ディスプレイ46に表示されるGUI画面によって要求される情報を、当該GUI画面に従って操作部44を操作して入力するだけで、専門的な知識を有していなくても、編集データを作成するために必要な指示をコンピュータ4に与えることが可能である。
As described above, also in the second embodiment, the user can input information required by the GUI screen displayed on the
ただし、本実施の形態における要求部100aは、すでに収集されているデータから編集前データとなる素材データ90を選択するように要求するのみである。すなわち、第1の実施の形態のように素材収集指示情報をGUI画面としてディスプレイ46に表示させることにより、ユーザに対して、編集前データとなる新たな素材データ90を取得するように要求することはない。したがって、新たに撮像や録音を行って、撮像データ91や録音データ92を新たに取得するよう要求することはない。
However, the
ユーザからの指示に従って選択された各素材データ90は、シナリオ元データ72において宣言されている各編集前データとしてユーザに指定されたものとみなされ、互いに関連づけが行われて、その情報が要求部100aからシナリオ解析部101に伝達される。すなわち、全ての編集前データに関するユーザの指定が完了した段階で、要求部100aは、シナリオ元データ72で要求される編集前データの識別子と、ハードディスク43に記憶されている各素材データ90のハードディスク43上の識別子(例えばハードディスク43における各素材データ90のファイル名)とを関連づけた素材指定情報をシナリオ解析部101に伝達する。
Each
図7に戻って、デジタルスチルカメラ5は、記録媒体としての記録メディア9を装着し利用できるように構成されている。また、デジタルスチルカメラ5は、USB規格に準拠したケーブル31の一方端と接続することが可能な端子(図示せず)を備えており、USB規格に準拠したデータ通信をコンピュータ4との間で実行することが可能である。
Returning to FIG. 7, the digital
デジタルスチルカメラ5は、撮像データ91を取得する撮像機能と、録音データ92を取得する録音機能とを有するが、市販の一般的なデジタルスチルカメラを採用することにより実現できるため、詳細な説明は省略する。
Although the digital
以上が、第2の実施の形態における情報処理システム1aの構成および機能の説明である。次に、情報処理システム1aを用いて実現される第2の実施の形態における画像処理方法について説明する。 The above is the description of the configuration and functions of the information processing system 1a according to the second embodiment. Next, an image processing method in the second embodiment realized using the information processing system 1a will be described.
図10は、第2の実施の形態における画像処理方法を示す流れ図である。なお、図10の処理が開始されるまでに、ユーザによってコンピュータ4がすでに起動されて監視状態(様々なタスクを実行することが可能な状態)に遷移しており、コンピュータ4がネットワーク8に接続されているものとする。
FIG. 10 is a flowchart illustrating an image processing method according to the second embodiment. By the time the processing of FIG. 10 is started, the computer 4 has already been activated by the user and has transitioned to a monitoring state (a state in which various tasks can be performed), and the computer 4 is connected to the
コンピュータ4のCPU40は、監視状態において、図10に示した処理以外の処理(タスク)を適宜実行しつつ、シナリオ作成指示がされたか(ステップS31)、CPU40の空き時間を検出したか(ステップS33)、および、処理終了が指示されたか(ステップS36)を監視している。
In the monitoring state, the
監視状態においてユーザがコンピュータ4の操作部44を操作して、シナリオデータ93を作成する指示をコンピュータ4に与えると、CPU40がステップS31においてYesと判定する。これによって、CPU40が実行すべきタスクとして、シナリオデータ作成処理が選択され、当該処理が開始される(ステップS32)。
When the user operates the
図11は、第2の実施の形態におけるシナリオデータ作成処理を示す流れ図である。第2の実施の形態においても、第1の実施の形態とほぼ同様の手順によって、ユーザによりサーバ装置7におけるコンテンツデータ71が指定される。
FIG. 11 is a flowchart showing scenario data creation processing in the second embodiment. Also in the second embodiment, the
これにより、指定されたコンテンツデータ71(シナリオ元データ72、GUIデータ73および素材データ74)がコンピュータ4にダウンロードされ(ステップS41)、ハードディスク43に記憶される。
As a result, the designated content data 71 (scenario
ダウンロードが完了すると、ユーザは操作部44を操作して指定作業の開始を指示する(ステップS42)。この指示に応じて、要求部100aがハードディスク43に格納されたGUIデータ73を参照し、ユーザに必要な入力を促すGUI画面(選択画面)をディスプレイ46に表示させる(ステップS43)。
When the download is completed, the user operates the
ステップS43においてディスプレイ46に表示される選択画面とは、当該選択画面において特定すべき編集前データの特徴を示すデータと、当該編集前データとして選択可能なデータ(選択候補のデータ)の一覧である。また、編集前データの特徴を示すデータとは、例えば、テーマ「結婚式」において、特定すべき編集前データが新郎新婦が指輪を交換している場面を表現した画像として要求される編集前データであれば、「指輪交換(写真)」といった文字データが考えられる。また、同じ場面であっても音声として要求される編集前データであれば、「指輪交換(BGM)」といった文字データが考えられる。
The selection screen displayed on the
ステップS43を実行するとき、要求部100aは、USB端子47にケーブル31を介してデジタルスチルカメラ5が接続されているか否かを検出する。そして、デジタルスチルカメラ5が接続されている場合には、選択画面において選択可能なデータとして、ハードディスク43に記憶されている素材データ90のみならず、当該デジタルスチルカメラ5に記憶されている撮像データ91および録音データ92も表示させる。
When executing step S43, the
ユーザは選択画面に表示された一覧表から、当該選択画面において特定される編集前データとして最適のデータを選択することにより、特定情報を入力する(ステップS44)。 The user inputs specific information from the list displayed on the selection screen by selecting optimum data as pre-edit data specified on the selection screen (step S44).
これにより、素材データ90の中からシナリオ元データ72において要求される編集前データが1つ特定され、指定された素材データ90と編集前データとが関連づけられる(ステップS45)。すなわち、ステップS45が実行されるごとに、1つの編集前データが特定され、素材指定情報の1レコードが作成される。なお、ステップS44において選択されたデータが、デジタルスチルカメラ5に記憶されている撮像データ91または録音データ92であった場合には、これらのデータが素材データ90としてハードディスク43に複写された後、ステップS45における関連づけが行われる。
Thereby, one pre-edit data required in the
ステップS45が実行されると、要求部100aは、全ての編集前データについて特定が終了したか否かを判定し(ステップS46)、未だ特定されていない編集前データが存在する場合はステップS43に戻って処理を繰り返す。
When step S45 is executed, the
一方、全ての編集前データについて特定が終了すると、シナリオ解析部101が、要求部100aから伝達される素材指定情報と、ハードディスク43記憶されているシナリオ元データ72とを参照する。そして、編集前データとして特定された各素材データ90と、各素材データ90に対して実行すべきデータ処理との関連づけを行い、シナリオデータ93を生成しハードディスク43に記憶させる(ステップS47)。また、ステップS47では、第1の実施の形態と同様に、スケジュール部105がステップS47において生成されたシナリオデータ93の識別子を管理データ95に登録する。
On the other hand, when the specification for all the pre-edit data is completed, the
ステップS47を終了すると、コンピュータ4のCPU40は、シナリオデータ作成処理を終了して、図10に示す処理に戻り、再び監視状態に戻る。
When step S47 ends, the
監視状態において、CPU40の空き時間を検出すると、CPU40はステップS33においてYesと判定する。このとき、さらにCPU40(スケジュール部105)は、管理データ95を参照して、シナリオデータ93が登録されているか否かを判定する(ステップS34)。
When the
管理データ95にシナリオデータ93が登録されている場合(ステップS34においてYes)、CPU40は、記録データ生成処理を実行する(ステップS35)。なお、第2の実施の形態における記録データ生成処理は、第1の実施の形態における記録データ生成処理(図6)と同様に実行することが可能であるため、説明を省略する。
When the
一方、管理データ95にシナリオデータ93が登録されていない場合(ステップS34においてNo)、例え、CPU40が、CPU40の空き時間を検出したとしても記録データ94の作成を行う必要はないので、ステップS35をスキップして監視状態に戻る。
On the other hand, if the
監視状態において、ユーザが操作部44を操作して、コンピュータ4による全ての処理を終了するように指示がされると、CPU40は、図10に示すステップS36においてYesと判定する。
In the monitoring state, when the user operates the
本実施の形態におけるCPU40は、コンピュータ4による全ての処理を終了する指示が与えられたときに、直ちに電源をOFF状態に切り替えるのではなく、スケジュール部105が管理データ95を参照することにより、この時点で、管理データ95に登録されたシナリオデータ93が未だ残っているか否かを判定する(ステップS37)。
The
そして、ステップS37が実行された時点で、管理データ95に登録されたシナリオデータ93が存在しない場合(ステップS37においてNo)、記録データ94を作成すべきシナリオデータ93が既に存在しないとみなして、コンピュータ4の電源をOFF状態に切り替える。
When the
一方、ステップS37が実行された時点で、管理データ95に登録されたシナリオデータ93が存在する場合(ステップS37においてYes)、記録データ94を作成すべきシナリオデータ93が未だ存在するとみなして、記録データ生成処理を実行する(ステップS38)。そして、ステップS37においてNoと判定されるまで(管理データ95に登録された全てのシナリオデータ93について記録データ生成処理を完了するまで)、ステップS38の処理を繰り返し実行する。なお、ステップS38の処理は、ステップS35の処理と同様に実行することが可能であるため、説明は省略する。
On the other hand, when the
このように、コンピュータ4における全て処理を終了するように指示された後は、CPU40が優先すべき他のタスクを実行することのない空き時間として検出して、記録データ生成処理を実行する。これにより、CPU40による他の処理の実行を妨げることなく、CPU40(A/Vコーデック部104)による記録データ94の作成を行うことができる。
As described above, after instructed to finish all the processes in the computer 4, the
<3. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<3. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態では画像処理システムとしてデジタルスチルカメラ2またはコンピュータ4を例に説明したが、本発明に係る画像処理システムは携帯電話によって構成されてもよい。なお、画像処理システムとして、上記のように携帯電話が採用された場合には、当該携帯電話の通信機能によって、サーバ装置7からコンテンツデータ71をダウンロードしてもよい。
For example, in the above embodiment, the digital
また、上記実施の形態における機能ブロックはプログラム210,410(ソフトウェア)によって実現される例で説明したが、これらの機能ブロックによって実現される機能の一部または全部を専用の論理回路(ハードウェア)として実現してもよい。一方、上記実施の形態において論理回路により構成されると説明した構成(例えばデータ変換部27)の一部または全部をソフトウェアによって実現するように構成してもよい。 Moreover, although the functional block in the said embodiment was demonstrated by the example implement | achieved by program 210,410 (software), a part or all of the function implement | achieved by these functional blocks is a dedicated logic circuit (hardware). It may be realized as. On the other hand, part or all of the configuration (for example, the data conversion unit 27) described as being configured by a logic circuit in the above embodiment may be realized by software.
また、上記に示した処理の内容はあくまでも例示であって、同様の効果が得られるならば、各工程の内容および順序等が適宜変更されてもよい。 Moreover, the content of the process shown above is an illustration to the last, and if the same effect is acquired, the content, order, etc. of each process may be changed suitably.
また、上記実施の形態では、画像処理システム(デジタルスチルカメラ2またはコンピュータ4)においてシナリオデータ93を作成すると説明したが、シナリオデータ93は画像処理システムで作成されなくてもよい。例えば、デジタルスチルカメラ5に要求部100およびシナリオ解析部101に相当する機能ブロックを設けて、素材データ90の特定、およびシナリオデータ93の作成をデジタルスチルカメラ5で行ってもよい。その後、作成されたシナリオデータ93と必要な素材データ90とをコンピュータ4に転送するとともに管理データ95に登録し、コンピュータ4において記録データ94を作成するように構成してもよい。
In the above embodiment, the
また、上記実施の形態では、編集データの生成と記録データ94の生成とを同じ装置で行う例について説明した。すなわち、画像生成部102および音声生成部103と、A/Vコーデック部104とが同じ装置に搭載されている例で説明した。しかし、これらの処理は別々の装置で行われてもよい。例えば、要求部100、シナリオ解析部101、画像生成部102および音声生成部103を備えるデジタルスチルカメラと、A/Vコーデック部104およびスケジュール部105を備えるコンピュータとによって画像処理システムを構成することも可能である。この場合、スケジュール部105からの制御に従ってデジタルスチルカメラで編集データを作成しつつ接続されたコンピュータに転送し、当該コンピュータのA/Vコーデック部104が記録データ94を生成してもよい。
In the above-described embodiment, the example in which the editing data is generated and the
さらに、上記実施の形態では、一旦、記録データ94の生成を開始した後は、他のタスクの発生にかかわらず、当該処理を継続するように説明した。しかし、記録データ94の生成中(記録データ生成処理の実行中)においても他のタスクが発生していないかを常に監視し、発生した場合は記録データ94の生成を一時的に中断するように構成してもよい。
Further, in the above embodiment, it has been described that once the generation of the
2 デジタルスチルカメラ
20,40 CPU
100,100a 要求部
101 シナリオ解析部
102 画像生成部
103 音声生成部
104 A/Vコーデック部
105 スケジュール部
21 記憶部
210,410 プログラム
22,44 操作部
23 マイク
24 撮像部
25 スピーカ
26 液晶パネル
27 データ変換部
28 カードスロット
29 通信部
3 端末装置
4 コンピュータ
43 ハードディスク
46 ディスプレイ
72 シナリオ元データ
73 GUIデータ
74,90 素材データ
8 ネットワーク
9 記録メディア
91 撮像データ
92 録音データ
93 シナリオデータ
94 記録データ
95 管理データ
2 Digital still
100,
Claims (9)
要求する素材データと前記要求する素材データに対して施すデータ処理との対応関係を示すシナリオデータと前記シナリオデータにおいて要求される素材データとを事前に記憶する記憶手段と、
前記記憶手段に記憶されているシナリオデータに基づいて、前記シナリオデータにおいて要求される素材データに施されるべきデータ処理を特定しつつ、特定したデータ処理を前記素材データに施して編集データを生成する生成手段と、
前記生成手段により生成された編集データを演算により符号化して記録データを生成する演算手段と、
前記演算手段がタスクを実行していない空き時間をユーザ操作をトリガとして検出して、前記演算手段による前記符号化が前記空き時間に行われるように、前記演算手段が前記符号化を開始するタイミングを決定するスケジュール手段と、
を備える画像処理システム。 An image processing system for creating recorded data encoded based on material data,
Storage means for storing in advance scenario data indicating a correspondence relationship between requested material data and data processing applied to the requested material data, and material data required in the scenario data;
Based on the scenario data stored in the storage means, the data processing to be performed on the material data required in the scenario data is specified, and the specified data processing is performed on the material data to generate edit data. Generating means for
Calculation means for encoding the edit data generated by the generation means to generate recording data;
Timing at which the calculation means starts the encoding so that the calculation means detects the idle time during which the calculation means is not executing a task as a trigger, and the encoding by the calculation means is performed during the idle time. Scheduling means for determining
Images processing system Ru comprising a.
前記ユーザ操作は、スリープモードに遷移するように指示を与える操作である画像処理システム。 The image processing system according to claim 1,
The image processing system in which the user operation is an operation for giving an instruction to shift to a sleep mode .
前記ユーザ操作は、前記画像処理システムを外部装置に接続する操作である画像処理システム。 The image processing system according to claim 1 or 2,
The image processing system in which the user operation is an operation for connecting the image processing system to an external device .
前記ユーザ操作は、全ての処理を終了する指示を与える操作である画像処理システム。 The image processing system according to any one of claims 1 to 3,
The image processing system in which the user operation is an operation for giving an instruction to end all processing.
前記記憶手段は、前記演算手段による記録データの生成が終了した後に、前記素材データの少なくとも一部を削除する画像処理システム。 The image processing system according to any one of claims 1 to 4 ,
The storage means is an image processing system for deleting at least a part of the material data after generation of recording data by the computing means is completed .
(a) 要求する素材データと前記要求する素材データに対して施すデータ処理との対応関係を示すシナリオデータと前記シナリオデータにおいて要求される素材データとを事前に記憶手段に記憶させる工程と、
(b) 演算手段がタスクを実行していない空き時間をユーザ操作をトリガとして検出する工程と、
(c) 前記記憶手段に記憶されているシナリオデータに基づいて、前記シナリオデータにおいて要求される素材データに施されるべきデータ処理を特定しつつ、特定したデータ処理を前記素材データに施して編集データを生成し前記演算手段に伝達する工程と、
(d) 前記(b)工程において空き時間が検出されたことに応じて、前記(c)工程において前記演算手段に伝達された編集データを前記演算手段に演算させることにより符号化して記録データを生成する工程と、
を有する画像処理方法。 An image processing method for creating recording data encoded based on material data,
(a) storing scenario data indicating a correspondence relationship between requested material data and data processing applied to the requested material data and material data requested in the scenario data in a storage unit in advance;
(b) a step of detecting a free time when the computing means is not executing a task as a trigger of a user operation ;
(c) Based on the scenario data stored in the storage means, the data processing to be applied to the material data required in the scenario data is specified, and the specified data processing is applied to the material data for editing. Generating data and transmitting it to the computing means;
(d) When the idle time is detected in the step (b), the editing data transmitted to the calculation unit in the step (c) is encoded by causing the calculation unit to calculate and record the recorded data. Generating step;
Images processing methods that have a.
(e) 前記(d)工程において記録データが生成された後に、前記記憶手段から前記素材データの少なくとも一部を削除する工程をさらに有する画像処理方法。 The image processing method according to claim 6,
(e) An image processing method further comprising a step of deleting at least part of the material data from the storage unit after the recording data is generated in the step (d) .
(a) 要求する素材データと前記要求する素材データに対して施すデータ処理との対応関係を示すシナリオデータと前記シナリオデータにおいて要求される素材データとを事前に前記記憶手段に記憶させる工程と、
(b) 前記演算手段がタスクを実行していない空き時間をユーザ操作をトリガとして検出する工程と、
(c) 前記記憶手段に記憶されているシナリオデータに基づいて、前記シナリオデータにおいて要求される素材データに施されるべきデータ処理を特定しつつ、特定したデータ処理を前記素材データに施して編集データを生成し前記演算手段に伝達する工程と、
(d) 前記(b)工程において空き時間が検出されたことに応じて、前記(c)工程において前記演算手段に伝達された編集データを前記演算手段に演算させることにより符号化して記録データを生成する工程と、
を実行させるプログラム。 A program executed by a computer including a storage unit and a calculation unit, and the execution of the program by the computer is performed on the computer,
(a) storing scenario data indicating a correspondence relationship between requested material data and data processing applied to the requested material data and material data required in the scenario data in the storage unit in advance;
(b) detecting a free time during which the computing means is not executing a task as a trigger of a user operation ;
(c) Based on the scenario data stored in the storage means, the data processing to be applied to the material data required in the scenario data is specified, and the specified data processing is applied to the material data for editing. Generating data and transmitting it to the computing means;
(d) When the idle time is detected in the step (b), the editing data transmitted to the calculation unit in the step (c) is encoded by causing the calculation unit to calculate and record the recorded data. Generating step;
Help program to the execution.
(e) 前記(d)工程において記録データが生成された後に、前記記憶手段から前記素材データの少なくとも一部を削除する工程をさらに実行させるプログラム。 The program according to claim 8, wherein
(e) A program that further executes a step of deleting at least part of the material data from the storage means after the recording data is generated in the step (d) .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008150350A JP5257980B2 (en) | 2008-06-09 | 2008-06-09 | Image processing system, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008150350A JP5257980B2 (en) | 2008-06-09 | 2008-06-09 | Image processing system, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009296503A JP2009296503A (en) | 2009-12-17 |
JP5257980B2 true JP5257980B2 (en) | 2013-08-07 |
Family
ID=41544222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008150350A Expired - Fee Related JP5257980B2 (en) | 2008-06-09 | 2008-06-09 | Image processing system, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5257980B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086921A (en) * | 1995-02-24 | 2004-03-18 | Matsushita Electric Ind Co Ltd | Multiprocessor system and method for executing task in multiprocessor system thereof |
EP1354318A1 (en) * | 2000-12-22 | 2003-10-22 | Muvee Technologies Pte Ltd | System and method for media production |
JP2005149126A (en) * | 2003-11-14 | 2005-06-09 | Sony Corp | Information acquiring system and method, and information processing program |
JP4059505B2 (en) * | 2004-03-03 | 2008-03-12 | キヤノン株式会社 | Image processing device |
JP2007160522A (en) * | 2005-12-09 | 2007-06-28 | Seiko Epson Corp | Printer |
JP2007306426A (en) * | 2006-05-12 | 2007-11-22 | Fujifilm Corp | Method, device, and program for reproducing image, storage medium, method, device, and program for reproducing content, and storage medium |
-
2008
- 2008-06-09 JP JP2008150350A patent/JP5257980B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009296503A (en) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9124860B2 (en) | Storing a video summary as metadata | |
JP5568178B2 (en) | How to summarize videos | |
US8446490B2 (en) | Video capture system producing a video summary | |
JP5783737B2 (en) | Image pickup apparatus and moving image recording apparatus control method | |
JP2006186420A (en) | Imaging apparatus and its control method | |
JP4587178B2 (en) | Imaging apparatus and imaging method | |
JP5818599B2 (en) | Movie recording device | |
JP5283433B2 (en) | Digital still camera, image processing method and program | |
JP5683301B2 (en) | Image recording device | |
JP5769434B2 (en) | Movie recording device, information processing device | |
JP2012138804A (en) | Image processor, image processing method, and program | |
JP5257980B2 (en) | Image processing system, image processing method, and program | |
JP2011147119A (en) | Image processing apparatus and image processing program | |
US20070297767A1 (en) | Image reproducing apparatus and reproducing program creation apparatus | |
JP4698961B2 (en) | Electronic camera and electronic camera control program | |
JP2009272846A (en) | Image processor, image processing method and program | |
JP4130517B2 (en) | Digital still camera with music playback function and image music playback device | |
JP2009253710A (en) | Image processing system, information processor, and image processing method | |
JP2009266215A (en) | Image processor, image processing method, and program | |
JP2008276899A (en) | Recording and playback device and control method thereof | |
JP6566826B2 (en) | Image processing apparatus, control method thereof, and control program | |
JP6079907B2 (en) | Image editing apparatus and editing program | |
JP4616895B2 (en) | Digital still camera with music playback function and image music playback device | |
JP5866896B2 (en) | Image editing apparatus and editing program | |
JP2004304777A (en) | Image photographing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130418 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5257980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |