JP4487594B2 - Imaging apparatus and moving image composition control program - Google Patents
Imaging apparatus and moving image composition control program Download PDFInfo
- Publication number
- JP4487594B2 JP4487594B2 JP2004054303A JP2004054303A JP4487594B2 JP 4487594 B2 JP4487594 B2 JP 4487594B2 JP 2004054303 A JP2004054303 A JP 2004054303A JP 2004054303 A JP2004054303 A JP 2004054303A JP 4487594 B2 JP4487594 B2 JP 4487594B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frame
- image
- images
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、動画を撮像する撮像装置、この撮像装置における動画合成制御プログラムに関する。 The present invention relates to an imaging apparatus that captures a moving image and a moving image synthesis control program in the imaging apparatus.
従来、撮像した動画を構成する各フレームの左側部分と右側部分の画像を合成する機能を備えた電子カメラが提案されるに至っている。この電子カメラは、シャッターキーが操作されると、動画撮像時間の計測を開始するとともに1回目の動画撮像処理を実行する。この1回目の動画撮像処理では、撮像した第1の動画を構成する各フレームにおける右半分の部分画像のデータを切り出し、DRAMに一時保存し、シャッターキーの操作をやめると、1回目の動画撮像処理を終了する。また、再度シャッターキーが操作されると、前記計測した1回目の動画撮像時間内にて2回目の動画撮像処理を実行し、第2の動画を構成する各フレームにおける左半分の部分画像のデータを切り出し、DRAMに一時保存する。 2. Description of the Related Art Conventionally, an electronic camera having a function of synthesizing the left and right side images of each frame constituting a captured moving image has been proposed. When the shutter key is operated, the electronic camera starts measuring the moving image capturing time and executes the first moving image capturing process. In the first moving image capturing process, the right half partial image data in each frame constituting the captured first moving image is cut out, temporarily stored in the DRAM, and the shutter key operation is stopped. The process ends. When the shutter key is operated again, the second moving image capturing process is executed within the measured first moving image capturing time, and the left half partial image data in each frame constituting the second moving image. And temporarily stored in DRAM.
そして、2回目の動画撮像処理が終了すると、1回目の動画撮像で得られた第1の動画各フレームにおける右半分の部分画像と、2回目の動画撮像で得られた第2の動画の各フレームにおける左半分の部分画像とを各フレームの右左に配置して、フレーム毎に合成を行って合成動画を作成し、メモリ・カードに保存する。したがって、最終的に、各フレームの右半分に1回目の動画撮像で撮像した部分画像が存在しかつ左半分に2回目の動画撮像で撮像した部分画像が存在する合成動画を保存することができるものである(例えば、特許文献1参照。)。
前述のような電子カメラの動画合成機能は、スポーツ、ダンス、芸術系等において、第1の動画としてあるプレイヤの動作を撮像し、第2の動画として他のプレイヤの動作を撮像して合成を行い、これにより再生時に画面の左右に比較対照となる両プレイヤの動作を表示し、これを見ることにより各プレイヤの一連動作を比較、検討する場合等に主として用いられる。したがって、動画の各フレームにおける左右の画像は、各プレイヤの動作タイミングが合致していることが、両プレイヤ動作の比較、検討等を的確に行う上で望ましい。 The moving image synthesis function of the electronic camera as described above captures the action of a player as a first moving image and combines the action of another player as a second moving image in sports, dance, arts, or the like. This is mainly used when, for example, the actions of both players serving as comparative controls are displayed on the left and right of the screen during reproduction, and the series of actions of each player is compared and examined by viewing this. Therefore, it is desirable for the right and left images in each frame of the moving image that the motion timings of the respective players are matched in order to accurately compare and examine the motions of both players.
しかるに、前述した従来の電子カメラにおける動画合成技術にあっては、単に動画撮像時間を一致させて1回目の撮像時間と2回目の撮像時間とを行い、しかる後に両者の合成を行うに過ぎないことから、合成される各動画におけるフレーム画像のタイミングにユーザが関与することはできない。したがって、合成された動画にあっては、左右プレイヤの一連動作におけるタイミングが合致していない場合が生じ、スポーツ、ダンス、芸術系等において左右画像を比較、検討する際に必ずしも有用となるものではなかった。 However, in the above-described moving image synthesizing technique in the conventional electronic camera, the first imaging time and the second imaging time are simply made by matching the moving image imaging time, and then both are synthesized. Therefore, the user cannot be involved in the timing of the frame image in each moving image to be synthesized. Therefore, in the synthesized video, the timing in the sequence of movements of the left and right players may not match, and it is not always useful when comparing and examining left and right images in sports, dance, arts, etc. There wasn't.
本発明は、かかる従来の課題に鑑みてなされたものであり、合成された動画における各部画像の動作の比較、検討を的確に行うことができるように合成を行うことのできる撮像装置及び動画合成制御プログラムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and an imaging apparatus and a moving image composition capable of performing composition so that the comparison and examination of the operations of the respective images in the synthesized motion image can be performed accurately. An object is to provide a control program.
前記課題を解決するため請求項1記載の発明に係る撮像装置にあっては、動画を構成する各フレームにおける所定部分の画像を順次撮像する第1の動画撮像手段と、前記フレームにおける前記所定部分とは異なる部分の画像を順次撮像する第2の動画撮像手段と、前記第1及び第2の動画撮像手段により撮像された動画を並べて再生表示する表示手段と、前記表示手段に双方の動画が再生表示されている状態における所定の操作に応答して、当該操作時点で前記表示手段に表示されている動画のフレームを前記合成の開始フレームとして指定する指定手段と、前記指定手段により開始を指定されたフレームから、前記双方の動画のいずれか一方の動画の最終フレームになるまでの動画をフレーム毎に合成する合成手段と、この合成手段の合成により得られた合成動画を記録する動画記録手段とを備える。 In order to solve the above problem, in the imaging apparatus according to the first aspect of the present invention, first moving image imaging means for sequentially capturing an image of a predetermined portion in each frame constituting the moving image, and the predetermined portion in the frame A second moving image capturing unit that sequentially captures images of portions different from the above, a display unit that reproduces and displays the moving images captured by the first and second moving image capturing units, and both moving images on the display unit. In response to a predetermined operation in the state of playback display, designation means for designating the frame of the moving image displayed on the display means at the time of the operation as the start frame of the synthesis, and designation of the start by the designation means from frames, and combining means for combining video until the last frame of one of videos of the both video for each frame, the synthesis of the combining means And a video recording means for recording more resultant synthesized moving.
したがって、第1の動画撮像手段により撮像された動画と、第2の動画撮像手段により撮像された画像とが、指定手段により指定されたフレームから合成されることから、撮像されて合成される各動画におけるフレーム画像の開始タイミングにユーザが関与することが可能となる。よって、この開始タイミングに対するユーザの関与により、合成された動画の各フレームにおける所定部分の画像と、異なる部分の画像との動作タイミングを整合させることが可能となる。 Accordingly, since the moving image captured by the first moving image capturing unit and the image captured by the second moving image capturing unit are combined from the frame specified by the specifying unit, each captured and combined The user can be involved in the start timing of the frame image in the moving image. Therefore, the user's involvement in this start timing makes it possible to match the operation timings of the predetermined portion image and the different portion image in each frame of the synthesized moving image.
また、請求項2記載の発明に係る撮像装置にあっては、前記第1の動画撮像手段は、前記各フレームにおける左右の一方側部分の画像を撮像し、前記第2の動画撮像手段は、他方側部分の画像を撮像する。したがって、前記開始タイミングに対するユーザの関与により、合成された動画の各フレームにおける左右各部分の画像の動作タイミングを整合させることが可能となる。
Moreover, in the imaging device according to the invention of
また、請求項3記載の発明に係る動画合成制御プログラムにあっては、動画撮像手段と動画記録手段とを備える撮像装置が有するコンピュータを、前記動画撮像手段を制御して、動画を構成する各フレームにおける所定部分の画像を順次撮像させる第1の撮像制御手段と、前記フレームにおける前記所定部分とは異なる部分の画像を順次撮像させる第2の撮像制御手段と、前記第1及び第2の撮像制御手段の制御により撮像された動画を並べて再生表示する表示手段と、前記表示手段に双方の動画が再生表示されている状態における所定の操作に応答して、当該操作時点で前記表示手段に表示されている動画のフレームを前記合成の開始フレームとして指定する指定手段と、この指定手段により指定されたフレームから、前記双方の動画のいずれか一方の動画の最終フレームになるまでの動画をフレーム毎に合成する合成手段と、この合成手段の合成により得られた合成動画を前記動画記録手段に記録させる記録制御手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項1記載の発明と同様の作用効果を奏する。
Further, in the moving image composition control program according to the invention of
また、請求項4記載の発明に係る動画合成制御プログラムにあっては、前記第1の動画撮像手段は、前記各フレームにおける左右の一方側部分の画像を撮像し、前記第2の動画撮像手段は、他方側部分の画像を撮像することを特徴とする。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項2記載の発明と同様の作用効果を奏する。
In the moving image composition control program according to the invention described in
以上説明したように、請求項1、3に係る発明によれば、第1に撮像された動画と、第2に撮像された画像とが、指定されたフレームから合成されることから、撮像されて合成される各動画におけるフレーム画像の開始タイミングにユーザが関与することが可能となる。よって、この開始タイミングに対するユーザの関与により、合成された動画の各フレームにおける所定部分の画像と所定部分とは異なる部分の画像との動作タイミングの整合性を図ることが可能となる。これにより、スポーツ、ダンス、芸術系等において所定部分の画像と所定部分とは異なる部分の画像を比較、検討する際に、再生される合成動画においてプレイヤの一連動作のタイミングを一致させることも可能となり、各プレイヤの動作の比較、検討を的確に行うことが可能となる。
As described above, according to the inventions according to
さらに、請求項2、4に係る発明によれば、開始タイミングに対するユーザの関与により、合成された動画の各フレームにおける左右各部分の画像の動作タイミングの整合性を図ることが可能となる。 Further, according to the second and fourth aspects of the present invention, it is possible to achieve consistency in the operation timing of the images of the left and right portions in each frame of the synthesized moving image due to the user's involvement with the start timing.
以下、本発明の実施の形態を図にしたがって説明する。
(第1の実施の形態)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
図1は、本発明の各実施の形態に共通するデジタルカメラ1の背面斜視図である。図示のように、このデジタルカメラ1には、カメラ本体2の上面に電源キー3と、シャッターキー4とが配設され、カメラ本体2の背面に光学ファインダ5と、記録(REC)モードと再生(PLAY)モードとを切り換えるモード切換スイッチ6、記録画像や各種の情報を表示するとともに電子ビューファインダとして機能する液晶モニタ7、メニュー画面を表示させるためのメニュー(MENU)キー8、表示されたメニュー項目等の選択や確定操作に使用する操作キー9が配設されている。
FIG. 1 is a rear perspective view of a
デジタルカメラ1においては、記録モードの下位モードとして静止画撮像モードに加え、通常の動画撮像モード、カップリングムービーモードが用意されており、操作キー9の操作によって各撮像モードが選択可能となっている。ここで、カップリングムービーモードとは、図2(a)(b)に示すように、動画を構成する各フレームを左フレーム部LFと右フレーム部RFとに区分して各々動画撮像を行い、最終的には同図(c)に示すように、左フレーム部LFと右フレーム部RFとを単一のフレームFに合成して、この合成された複数のフレームFからなる動画を作成するモードである。
In the
このため、デジタルカメラ1には、さらに左フレーム部LFをスクロール表示させる際に操作されるLキー31、右フレーム部RFをスクロール表示させる際に操作されるRキー32、及び合成する際のスタートフレームやエンドフレームを決定する際に操作されるOKキー33が設けられている。
For this reason, the
図3は、デジタルカメラ1の電気的構成の概略を示すブロック図である。デジタルカメラ1は、カメラ本体2の図示しない正面側に配置された撮像レンズ10の光軸後方に配置された撮像素子であるCCD11を備えている。CCD11は、タイミング発生器(TG)12、垂直ドライバ13によって走査駆動され、一定周期で1画面分の撮像信号を出力する。
FIG. 3 is a block diagram showing an outline of the electrical configuration of the
CCD11の出力信号は、アナログ信号の状態でRGBの原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路(S/H)14でサンプルホールドされ、A/D変換器15でデジタルデータに変換されカラープロセス回路16に送られる。カラープロセス回路16は画像補間処理を含むカラープロセス処理により、デジタル値の輝度信号Y及び色差信号Cb,Crを生成し、DMA(Direct Memory Access)DMAコントローラ17に出力する。
The output signal of the
DMAコントローラ17は輝度信号Y及び色差信号Cb,Crを、カラープロセス回路16からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ17内部のバッファに書込み、DRAMインタフェース(I/F)18を介してDRAM19にDMA転送する。制御部20は、上記輝度及び色差信号データ、つまり画像データのDRAM19へのDMA転送終了後に、その画像データを、DRAMインタフェース18を介してDRAM19から読み出し、VRAMコントローラ21を介してVRAM22に書き込む。
The
デジタルビデオエンコーダ23は、上記画像データを、VRAMコントローラ21を介してVRAM22より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部24に出力する。表示部24は本発明の表示手段であり、上記液晶モニタ7とその駆動回路等により構成され、デジタルビデオエンコーダ23からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ21から取り込まれている画像情報に基づくスルー画像を表示する。
The
キー入力部25は、前述したシャッターキー4やモード切換スイッチ6等の各キーを含み、スルー画像が表示されている状態でシャッターキー4が操作されると、撮像開始用のトリガ信号を発生する。
The
記録モードによる静止画撮像モード時には、上記トリガ信号に応じて制御部20がCCD11からのDRAM19への経路を停止し、DRAM19に書込まれている1フレーム分の画像データを、DRAMインタフェース18を介して読み出し、JPEG回路26に送る。JPEG回路26では送られた画像データを圧縮符号化し、圧縮された画像データは制御部20によって読み出され、静止画ファイルとして不揮発性メモリであるフラッシュメモリ27に記録される。なお、記録モードによる動画撮像モード及びカップリングムービーモード時には、DRAM19からの画像データの読込み、及び画像データの圧縮符号化が連続して行われ、圧縮された複数フレーム分の画像データが、動画ファイルとしてフラッシュメモリ27に記録される。また、カップリングムービーモード時における動画合成は、DRAM19を用いて行われ、動画合成後の圧縮された複数フレーム分の画像データが、動画ファイルとしてフラッシュメモリ27に記録される。
In the still image capturing mode in the recording mode, the
フラッシュメモリ27に記録された画像(静止画、動画又は合成動画(カップリングムービー))ファイルは、再生モードにおいて、前記操作キー9等による選択操作に応じてJPEG回路26に読み込まれ、そこで画像データに復号された後、VRAMコントローラ21を介してVRAM22へ送られ、表示部24で表示される。
An image (still image, moving image, or synthesized moving image (coupling movie)) file recorded in the
また、制御部20は、主としてCPU及びその周辺回路と、CPUの作業用メモリであるRAM、及びカレンダ機能を有する内蔵時計から構成されるマイクロコンピュータであり、フラッシュメモリ27に確保されているプログラム領域に格納されているプログラムに基づき動作し、前述した各部の動作を制御する。
The
図4は、カップリングムービーモード時におけるDRAM19のメモリ領域を示す模式図である。カップリングムービーモード時においてDRAM19の一部には、作業領域191と、左フレーム部LFのみの複数のフレームで構成される左部分動画データを記憶する左部分動画記憶領域192、及び右フレーム部RFのみの複数のフレームで構成される右部分動画データを記憶する右部分動画記憶領域193とが確保される。
FIG. 4 is a schematic diagram showing a memory area of the
図5は、ユーザーが、液晶モニタ7に表示されたメニュー画面から、「カップリングムービーモード」を選択したときの制御部20によるカップリングムービーモード処理の内容を示すフローチャートである。
FIG. 5 is a flowchart showing the contents of the coupling movie mode processing by the
制御部20は「カップリングムービーモード」が選択されたことに伴い、右半分をマスクしてスルー画像表示する(ステップS101)。すなわち、撮像レンズ10により被写体像が結像されたCCD11から出力された1画面分の撮像信号から左半分の画像信号のみを取り込み、あるいは、CCD11から左半分の画像信号のみが出力されるように制御することにより、左半分の画像信号のみに基づき、液晶モニタ7を駆動する。したがって、このステップS101での処理により、図6(a)に示すように、液晶モニタ7の左領域7Lにスルー画像の左部分画像Lが表示されるとともに、右領域7Rは黒色表示される。なお、液晶モニタ7の左領域7L及び右領域7Rの双方にスルー画像を表示させ、どちらの領域が撮影対象領域なのかを表示するようにしてもよい。例えば、非撮影対象領域である右領域7Rに表示されるスルー画像をモノクロ表示(低階調表示)させたり、文字表示や図形表示によりどちらの領域が撮影対象領域なのかを知らせるといった手法が考えられる。
As the “coupling movie mode” is selected, the
次に、シャッターキー4が操作されるまで待ち(ステップS102)、シャッターキー4が操作されたならば、左部分画像を動画撮像処理する(ステップS103)。つまり、図2(a)に示した左フレーム部LFのみに画像が存在するフレームを順次、左部分動画記憶領域192に記憶させていく。次に、2回目のシャッターキー4の操作があったか否かを判断し(ステップS104)、操作があった時点で左部分画像の動画撮像処理を終了する(ステップS105)。したがって、1回目と2回目のシャッターキー4の操作時間内において、左部分画像の動画撮像処理が継続してなされる。これにより、左部分動画記憶領域192には、その間の時間に応じた数からなるフレームであって、左フレーム部LFのみに画像が存在する複数のフレームからなる左部分動画データが記憶されることとなる。
Next, the process waits until the
引き続き、左半分をマスクしてスルー画像表示する(ステップS106)。すなわち、前述とは逆に、撮像レンズ10により被写体像が結像されたCCD11から出力された1画面分の撮像信号から右半分の画像信号のみを取り込み、あるいは、CCD11から左右分の画像信号のみが出力されるように制御することにより、右半分の画像信号のみに基づき、液晶モニタ7を駆動する。したがって、このステップS106での処理により、図6(b)に示すように、液晶モニタ7の左領域7Lにスルー画像の右部分画像Rが表示されるとともに、左領域7Lは黒色表示される。なお、この場合も前述したように、液晶モニタ7の左領域7L及び右領域7Rの双方にスルー画像を表示させ、どちらの領域が撮影対象領域なのかを表示するようにしてもよい。また、液晶モニタ7の左領域7Lに左部分動画記憶領域192に記憶されている左部分動画データを表示させるようにしてもよい。
Subsequently, the left half is masked and a through image is displayed (step S106). That is, contrary to the above, only the right half image signal is taken in from the imaging signal for one screen output from the
次に、3回目のシャッターキー4が操作されるまで待ち(ステップS107)、3回目のシャッターキー4が操作されたならば、右部分画像を動画撮像処理する(ステップS108)。つまり、図2(b)に示した右フレーム部RFのみに画像が存在するフレームを順次、右部分動画記憶領域193に記憶させていく。次に、4回目のシャッターキー4の操作があったか否かを判断し(ステップS109)、4回目の操作があった時点で右部分画像の動画撮像処理を終了する(ステップS110)。したがって、3回目と4回目のシャッターキー4の操作時間内において、右部分画像の動画撮像処理が継続してなされる。これにより、右部分動画記憶領域193には、その間の時間に応じた数からなるフレームであって、右フレーム部RFのみに画像が存在する複数のフレームからなる右部分動画データが記憶されることとなる。
Next, the process waits until the
そして、次のステップS111における合成処理にて、左フレーム部LFのみに画像が存在する複数のフレームからなる左部分動画データと、右フレーム部RFのみに画像が存在する複数のフレームからなる右部分動画データとの合成を行う。 Then, in the composition processing in the next step S111, the left partial moving image data including a plurality of frames in which an image exists only in the left frame portion LF and the right portion including a plurality of frames in which an image exists only in the right frame portion RF. Combine with video data.
図7は、この合成処理の詳細を示すフローチャートである。まず、左右部分動画の先頭フレームを左右並列表示する(ステップS201)。つまり、左部分動画記憶領域192に記憶されている左部分動画データの先頭フレームと、右部分動画記憶領域193に記憶されている右部分動画データの先頭フレームとを読み出して、各画像部分のデータに基づき表示部24を駆動し、これにより各先頭フレームの画像部分が左右に並ぶように液晶モニタ7に表示させる。このステップS201での処理により、図8(a)に示すように、液晶モニタ7の左領域7Lに、左部分動画データの先頭フレームL−1の画像である左部分動画が表示され、かつ、右領域7Rに、右部分動画データの先頭フレームR−1の画像である右部分動画が表示されることとなる。
FIG. 7 is a flowchart showing details of the synthesis process. First, the first frame of the left and right partial videos is displayed side by side (step S201). That is, the first frame of the left partial moving image data stored in the left partial moving
次に、Lキー31が操作されたか否かを判断し(ステップS202)、Lキー31が操作された場合には、液晶モニタ7の左領域7Lに表示されている、左部分動画データの次フレームの画像を表示する(ステップS203)。さらにRキー32が操作されたか否かを判断し(ステップS204)、Rキー32が操作された場合には、液晶モニタ7の右領域7Rに表示されている、右部分動画データの次フレームの画像を表示する(ステップS205)。しかる後に、OKキー33が操作されたか否かを判断し(ステップS206)、OKキー33が操作されるまで、ステップS202〜S206の処理を繰り返す。
Next, it is determined whether or not the
この間、ユーザは、カップリングムービーにおいて、スタートフレームとして左右に合成される所望のフレームの画像が表示されるまで、Rキー32のみ、Lキー31のみ、あるいはRキー32とLキー31の操作を行って、液晶モニタ7の左右領域7L、7Rの画像をスクロール表示させる。そして、例えば図8(b)に示すように、左部分動画データの15番目のフレームL−15の画像と、右部分動画データの20番目のフレームR−20とが当該ユーザがスタートフレームとして合致させたいフレームの画像であるとすると、このフレームL−15の画像とフレームR−20とが液晶モニタ7の左右領域7L、7Rに表示された時点でOKキー33を操作する。
During this time, the user operates only the
すると、ステップS206からステップS207に進み、この表示されているフレームL−15とフレームR−20とをカップリングムービーにおけるスタートフレームとして決定する(ステップS207)。そして、この決定したスタートフレームからカップリングムービーの合成を開始する。すなわち、左フレーム部LFのみの複数のフレームで構成される左部分動画データを記憶する左部分動画記憶領域192と、及び右フレーム部RFのみの複数のフレームで構成される右部分動画データを記憶する右部分動画記憶領域193より、各々決定したスタートフレームからの動画データを読み出し、作業領域191にて、対応するフレームの画像部分を切り出して左右に並列し、フレーム毎に順次合成する。
Then, the process proceeds from step S206 to step S207, and the displayed frame L-15 and frame R-20 are determined as start frames in the coupling movie (step S207). Then, the synthesis of the coupling movie is started from the determined start frame. That is, the left partial moving
しかし、このとき決定したスタートフレームから左部分動画データの最終フレームまでのフレーム数と、決定したスタートフレームから右部分動画データの最終フレームまでのフレーム数とが一致するとは限らない。したがって、いずれか一方の部分動画データが最終フレームとなるまで(ステップS209)、前記合成を継続し、いずれか一方の部分動画データが最終フレームとなった時点で(ステップS209;YES)、前記合成を終了する(ステップS210)。これにより、DRAM19の作業領域191には、各々決定したスタートフレームからいずれか一方の最終フレームまでの、左フレーム部LFと右フレーム部RFとを合成したカップリングムービーデータ(合成動画データ)が生成さることとなる。そして、最終ステップS211においては、このカップリングムービーデータにファイル名を付したカップリングムービーファイルをフラッシュメモリ27に記憶、保存させる。
However, the number of frames from the start frame determined at this time to the final frame of the left partial moving image data does not necessarily match the number of frames from the determined start frame to the final frame of the right partial moving image data. Therefore, the synthesis is continued until one of the partial moving image data becomes the final frame (step S209), and when either one of the partial moving image data becomes the final frame (step S209; YES), the synthesis is performed. Is finished (step S210). Thereby, in the
したがって、モード切換スイッチ6の操作により再生(PLAY)モードを設定して、このカップリングムービーファイルを再生した際には、液晶モニタ7の左右領域7L、7Rにユーザの所望したタイミングで左部分動画と右部分動画とが再生開始される全体動画が表示されることとなる。これにより、スポーツ、ダンス、芸術系等において左右画像を比較、検討する際に、左右部分動画の各プレイヤの一連動作における開始タイミングが一致し、各プレイヤの動作の比較、検討を的確に行うことが可能となる。
Therefore, when the playback (PLAY) mode is set by operating the
また、カップリングムービーデータを汎用的なムービーファイルの形態でフラッシュメモリ27に記録するので、フラッシュメモリ27をカメラ本体2に対して着脱可能なメモリカードとしたり、フラッシュメモリ27に記録されているムービーファイルを外部に出力するUSB端子等の出力端子をカメラ本体2に設けることにより、外部機器を用いてカップリングムービーデータを再生して各プレイヤの動作の比較、検討を行うといったことも可能になる。
In addition, since the coupling movie data is recorded in the
なお、本実施の形態においては、左部分動画のスタートフレームと右部分動画のスタートフレームとの双方を指定できるようにしたが、左部分動画のスタートフレームと右部分動画のスタートフレームのいずれか一方のみを指定できるようにしてもよい。この場合であっても、ユーザはいずれか一方の部分動画のタイミングに関与することができるので、左右部分動画の各プレイヤの一連動作における開始タイミングが一致させることもできる。 In this embodiment, both the start frame of the left partial video and the start frame of the right partial video can be specified, but either the start frame of the left partial video or the start frame of the right partial video can be specified. It may be possible to specify only. Even in this case, the user can be involved in the timing of either one of the partial videos, so that the start timings in the series of actions of each player of the left and right partial videos can be matched.
(第2の実施の形態)
図9は、本発明の第2の実施の形態における前記合成処理(ステップS111)の詳細を示すフローチャートであり、合成を開始させるスタートフレームのみならず、合成を終了するエンドフレームも指定できるようにしたものである。
(Second Embodiment)
FIG. 9 is a flowchart showing details of the composition processing (step S111) in the second embodiment of the present invention so that not only a start frame for starting composition but also an end frame for ending composition can be designated. It is a thing.
このフローチャートにおいて、ステップS301〜S307の処理は、前述した図7のフローチャートにおけるステップS201〜S207の処理と同一である。したがって、ステップS307の処理が終了した時点で、左右部分動画のスタートフレームが各々決定されていることとなる。 In this flowchart, the processes of steps S301 to S307 are the same as the processes of steps S201 to S207 in the flowchart of FIG. Therefore, when the process of step S307 ends, the start frames of the left and right partial moving images are determined.
そして、ステップS307に続くステップS308においては、さらにLキー31が操作されたか否かを判断し(ステップS308)、Lキー31が操作された場合には、液晶モニタ7の左領域7Lに表示されている、左部分動画データの次フレームの画像を表示する(ステップS309)。しかし、Rキー32が操作されたか否かの判断はするが(ステップS310)、Rキー32が操作さてもNOPとする(ステップS311)。したがって、左右部分動画のスタートフレームが各々決定された後には、Lキー31の操作のみが有効であり、Rキー32の操作は無視される。しかる後に、OKキー33が操作されたか否かを判断し(ステップS312)、OKキー33が操作されるまで、ステップS308〜S312の処理を繰り返す。
In step S308 following step S307, it is further determined whether or not the
この間、ユーザは、カップリングムービーにおいて合成させる左部分動画の所望する最後のフレームであるエンドフレームの画像が表示されるまで、Lキー31のみの操作を行って、液晶モニタ7の左領域7Lの画像をスクロール表示させる。そして、左部分動画の所望する最後のフレームで画像が液晶モニタ7の左領域7Lに表示された時点でOKキー33を操作する。すると、ステップS312からステップS313に進み、この表示されている左部分動画の所望するフレームをカップリングムービーにおけるエンドフレームとして決定する(ステップS313)。
During this time, the user operates only the L key 31 until the end frame image, which is the desired final frame of the left partial video to be synthesized in the coupling movie, is displayed, and the
しかる後に、前述のステップS307で決定したスタートフレームからカップリングムービーの合成を開始する。すなわち、左フレーム部LFのみの複数のフレームで構成される左部分動画データを記憶する左部分動画記憶領域192と、及び右フレーム部RFのみの複数のフレームで構成される右部分動画データを記憶する右部分動画記憶領域193より、各々決定したスタートフレームからの動画データを読み出し、作業領域191にて、対応するフレームの画像部分を切り出して左右に並列し、フレーム毎に順次合成する。
Thereafter, the synthesis of the coupling movie is started from the start frame determined in step S307. That is, the left partial moving
そして、前記ステップS313で決定したエンドフレームとなるまで(ステップS315)、前記合成を継続し、エンドフレームまでの合成を完了した時点で(ステップS315;YES)、前記合成を終了する(ステップS316)。これにより、DRAM19の作業領域191には、各々決定したスタートフレームからエンドフレームまでの、左フレーム部LFと右フレーム部RFとを合成したカップリングムービーデータが生成されることとなる。そして、最終ステップS317においては、このカップリングムービーデータにファイル名を付したカップリングムービーファイルをフラッシュメモリ27に記憶、保存させる。
The synthesis is continued until the end frame determined in step S313 is reached (step S315). When the synthesis up to the end frame is completed (step S315; YES), the synthesis is terminated (step S316). . As a result, in the
したがって、モード切換スイッチ6の操作により再生(PLAY)モードを設定して、このカップリングムービーファイルを再生した際には、液晶モニタ7の左右領域7L、7Rにユーザの所望した開始タイミングで左部分動画と右部分動画とが再生開始され、かつ終了タイミングで再生が終了する全体動画が表示されることとなる。これにより、スポーツ、ダンス、芸術系等において左右画像を比較、検討する際に、左右部分動画の各プレイヤの一連動作における開始タイミングのみならず終了タイミングにユーザの意思が反映され、各プレイヤの動作の比較、検討を的確に行うことが可能となる。
Therefore, when the playback (PLAY) mode is set by operating the
なお、本実施の形態においては、Lキー31及びRキー32を操作して左右領域に所望のフレームを表示させた後、OKキー33を操作してスタートフレームを決定し、続いて、Lキー31を操作して左領域に所望のフレームを表示させた後、OKキー33を操作してエンドフレームを決定するようにしたが、先ずLキー31を操作して左領域に所望のフレームを表示させ、OKキー33を操作して左領域のスタートフレームを決定し、引き続き、Lキー31を操作して左領域に所望のフレームを表示させ、OKキー33を操作して左領域のエンドフレームを決定し、その後、Rキー32を操作して右領域に所望のフレームを表示させ、OKキー33を操作して右領域のスタートフレームを決定するようにしてもよい。
また、本実施の形態においては、左部分動画のエンドフレームを指定するようにしたが、これとは逆に右部分動画のエンドフレームを指定するようにしてもよい。
In this embodiment, the
In the present embodiment, the end frame of the left partial video is designated, but the end frame of the right partial video may be designated conversely.
(第3の実施の形態)
図10は、本発明の第3の実施の形態において、ユーザーが、液晶モニタ7に表示されたメニュー画面から、「カップリングムービーモード」を選択したときの制御部20によるカップリングムービーモード処理の内容を示すフローチャートである。
(Third embodiment)
FIG. 10 shows the coupling movie mode process performed by the
制御部20は「カップリングムービーモード」が選択されたことに伴い、右半分をマスクしてスルー画像表示する(ステップS401)。すなわち、撮像レンズ10により被写体像が結像されたCCD11から出力された1画面分の撮像信号から左半分の画像信号のみを取り込み、あるいは、CCD11から左半分の画像信号のみが出力されるように制御することにより、左半分の画像信号のみに基づき、液晶モニタ7を駆動する。したがって、このステップS401での処理により、図6(a)に示すように、液晶モニタ7の左領域7Lにスルー画像の左部分画像Lが表示されるとともに、右領域7Rは黒色表示される。
As the “coupling movie mode” is selected, the
次に、シャッターキー4が操作されるまで待ち(ステップS402)、シャッターキー4が操作されたならば、左部分画像を動画撮像処理する(ステップS403)。つまり、図2(a)に示した左フレーム部LFのみに画像が存在するフレームを順次、左部分動画記憶領域192に記憶させていく。次に、2回目のシャッターキー4の操作があったか否かを判断し(ステップS404)、操作があった時点で左部分画像の動画撮像処理を終了する(ステップS405)。したがって、1回目と2回目のシャッターキー4の操作時間内において、左部分画像の動画撮像処理が継続してなされる。これにより、左部分動画記憶領域192には、その間の時間に応じた数からなるフレームであって、左フレーム部LFのみに画像が存在する複数のフレームからなる左部分動画データが記憶されることとなる。
Next, the process waits until the
引き続き、前記左部分動画記憶領域192に記憶させた左部分動画データの先頭フレームを読み出して、液晶モニタ7に表示させ(ステップS406)、Lキー31が操作されたか否かを判断する(ステップS407)。Lキー31が操作された場合には、液晶モニタ7の左領域7Lに表示されている、左部分動画データの次フレームの画像を表示する(ステップS408)。しかる後に、OKキー33が操作されたか否かを判断し(ステップS409)、OKキー33が操作されるまで、ステップS407〜S409の処理を繰り返す。
Subsequently, the first frame of the left partial moving image data stored in the left partial moving
この間、ユーザは、カップリングムービーにおいて合成させる左部分動画の所望する最初のフレームであるスタートフレームの画像が表示されるまで、Lキー31のみの操作を行って、液晶モニタ7の左領域7Lの画像をスクロール表示させる。そして、左部分動画の所望する最初のフレームで画像が液晶モニタ7の左領域7Lに表示された時点でOKキー33を操作する。すると、ステップS409からステップS410に進み、この表示されている左部分動画の所望するフレームをカップリングムービーにおけるスタートフレームとして決定する(ステップS410)。
During this time, the user operates only the L key 31 until the image of the start frame that is the desired first frame of the left partial video to be synthesized in the coupling movie is displayed, so that the
次に、この決定した左部分動画のスタートフレームを液晶モニタ7の左領域7Lに表示させ、かつ、スルー画像を液晶モニタ7の右領域7Rに表示させる(ステップS411)。すなわち、液晶モニタ7の左領域7Lには、左部分動画のスタートフレームの画像を固定的に表示させ、右領域7Rには、撮像レンズ10により被写体像が結像されたCCD11から出力された1画面分の撮像信号から右半分の画像信号のみを取り込み、あるいは、CCD11から左右分の画像信号のみが出力されるように制御することにより、右半分の画像信号のみに基づき、液晶モニタ7を駆動する。したがって、このステップS411での処理により、図11(a)に示すように、液晶モニタ7の左領域7Lにスタートフレームの固定画像PLが表示されるとともに、右領域にスルー画像の右部分画像Rが表示されることとなる。
Next, the determined start frame of the left partial moving image is displayed in the
次に、3回目のシャッターキー4が操作されたか否かを判断し(ステップS412)、この間、スルー画像の右部分画像Rの動作が固定画像PLの形態と一致するようなタイミングが到来するのを待つ。そして、図11(b)に示すように、スルー画像の右部分画像Rの動作が固定画像PLの形態と一致するようなタイミングが到来した時点で、ユーザが3回目のシャッターキー4の操作を行うと、右部分画像の動画撮像処理を開始する(ステップS413)。つまり、前述と同様に図2(b)に示した右フレーム部RFのみに画像が存在するフレームを順次、右部分動画記憶領域193に記憶させていく。そして、引き続きステップS414における左右合成処理にて、左フレーム部LFのみに画像が存在する複数のフレームからなる左部分動画データと、右フレーム部RFのみに画像が存在する複数のフレームからなる右部分動画データとの合成を行う。
Next, it is determined whether or not the
そして、前記左部分動画記憶領域192に記憶されている左部分動画データが最終フレームとなるまで、又は4回目のシャッターキー4の操作があるまで、右部分動画の撮像と合成とを継続し、いずれか一方の状態となった時点で(ステップS415;YES)、前記右部分動画の撮像と合成とを終了する(ステップS416)。これにより、DRAM19の作業領域191には、決定した左部分動画のスタートフレームから最終フレームまで、又は決定した左部分動画のスタートフレームから4回目のシャッターキー4の操作があった時点までの左フレーム部LFと右フレーム部RFとを合成したカップリングムービーデータ(合成動画データ)が生成されることとなる。そして、最終ステップS417においては、このカップリングムービーデータにファイル名を付したカップリングムービーファイルをフラッシュメモリ27に記憶、保存させる。
Then, until the left partial moving image data stored in the left partial moving
したがって、本実施の形態においては、右部分動画の撮像の終了と同時に合成も終了することとなり、カップリングムービーファイルの作成を迅速に完了することができる。しかも、ユーザは、既に決定した右部分画像Rのスタートフレームと、実際に動作しているスルー画像の右部分画像Rとを見ながら、スルー画像から右部分画像Rのスタートフレームを決定できることとなり、左右部分動画の開始タイミングの整合性をより高めることができる。 Therefore, in the present embodiment, the synthesis is completed simultaneously with the completion of the imaging of the right partial moving image, and the creation of the coupling movie file can be completed quickly. Furthermore, the user can determine the start frame of the right partial image R from the through image while viewing the start frame of the right partial image R that has already been determined and the right partial image R of the through image that is actually operating. The consistency of the start timing of the left and right partial videos can be further increased.
なお、本実施の形態においては、左部分動画に関してはスタートフレームの静止画状態にしたまま、3回目のシャッターキー4の操作に応じて右部分画像の動画撮像処理を行うようにしたが、3回目のシャッターキー4の操作に応じて、左部分動画を再生表示しつつ、右部分画像の動画撮像処理を行うようにしてもよい。また、本実施の形態では、左部分動画を先に撮像してスタートフレームを決定するようにしたが、これとは逆にしたり、あるいはいずれを先に撮像してスタートフレームを決定するかを選択できるようにしてもよい。
In the present embodiment, while the left partial moving image is in the still image state of the start frame, the moving image capturing process for the right partial image is performed in response to the third operation of the
さらに、各実施の形態においては、フレームを左右に2等分して合成を行う場合を示したが、左右に限らず上下あるいは他の分割形態であってもよく、また、分割数も2分割に限らずより多数に分割して合成を行う場合であっても、本発明を適用することができる。さらに、各実施の形態においては、本発明をデジタルカメラに適用した場合をしめしたが、これに限定されず、カメラ付き携帯電話、カメラ付きパソコン、ビデオカメラ等に適用することもできる。 Furthermore, in each embodiment, the case where the frame is divided into two equal parts to the left and right has been shown. However, the composition is not limited to the left and right, and may be in the vertical or other division form, and the number of divisions is also divided into two. The present invention can be applied to the case where the composition is not limited to the above but is performed by dividing into a larger number. Further, in each embodiment, the present invention is applied to a digital camera. However, the present invention is not limited to this, and the present invention can also be applied to a camera-equipped mobile phone, a camera-equipped personal computer, a video camera, and the like.
1 デジタルカメラ
2 カメラ本体
4 シャッターキー
7 液晶モニタ
7L 左領域
7R 右領域
9 操作キー
10 撮像レンズ
11 CCD
17 DMAコントローラ
19 DRAM
20 制御部
22 VRAM
23 デジタルビデオエンコーダ
24 表示部
25 キー入力部
27 フラッシュメモリ
31 Lキー
32 Rキー
33 OKキー
191 作業領域
192 左部分動画記憶領域
193 右部分動画記憶領域
F フレーム
LF 左フレーム部
RF 右フレーム部
L 左部分画像
R 右部分画像
PL 固定画像
1
17
20
23
Claims (4)
前記フレームにおける前記所定部分とは異なる部分の画像を順次撮像する第2の動画撮像手段と、
前記第1及び第2の動画撮像手段により撮像された動画を並べて再生表示する表示手段と、
前記表示手段に双方の動画が再生表示されている状態における所定の操作に応答して、当該操作時点で前記表示手段に表示されている動画のフレームを前記合成の開始フレームとして指定する指定手段と、
前記指定手段により開始を指定されたフレームから、前記双方の動画のいずれか一方の動画の最終フレームになるまでの動画をフレーム毎に合成する合成手段と、
この合成手段の合成により得られた合成動画を記録する動画記録手段と
を備えたことを特徴とする撮像装置。 First moving image capturing means for sequentially capturing images of a predetermined portion in each frame constituting the moving image;
Second moving image capturing means for sequentially capturing images of portions different from the predetermined portion in the frame;
Display means for reproducing and displaying the moving images captured by the first and second moving image capturing means ;
In response to a predetermined operation in a state where both moving images are reproduced and displayed on the display means, a specifying means for designating a frame of the moving image displayed on the display means at the time of the operation as a start frame of the synthesis ,
A synthesizing unit that synthesizes a moving image for each frame from a frame specified by the specifying unit to a final frame of one of the moving images ;
An imaging apparatus comprising: a moving image recording unit that records a combined moving image obtained by combining the combining unit.
前記動画撮像手段を制御して、動画を構成する各フレームにおける所定部分の画像を順次撮像させる第1の撮像制御手段と、
前記フレームにおける前記所定部分とは異なる部分の画像を順次撮像させる第2の撮像制御手段と、
前記第1及び第2の撮像制御手段の制御により撮像された動画を並べて再生表示する表示手段と、
前記表示手段に双方の動画が再生表示されている状態における所定の操作に応答して、当該操作時点で前記表示手段に表示されている動画のフレームを前記合成の開始フレームとして指定する指定手段と、
この指定手段により指定されたフレームから、前記双方の動画のいずれか一方の動画の最終フレームになるまでの動画をフレーム毎に合成する合成手段と、
この合成手段の合成により得られた合成動画を前記動画記録手段に記録させる記録制御手段と
して機能させることを特徴とする動画合成制御プログラム。 A computer included in an imaging apparatus including a moving image capturing unit and a moving image recording unit,
A first imaging control unit that controls the moving image capturing unit to sequentially capture images of a predetermined portion in each frame constituting the moving image;
Second imaging control means for sequentially imaging images of a portion different from the predetermined portion in the frame;
Display means for displaying and displaying moving images captured under the control of the first and second imaging control means ;
In response to a predetermined operation in a state where both moving images are reproduced and displayed on the display means, a specifying means for designating a frame of the moving image displayed on the display means at the time of the operation as a start frame of the synthesis ,
A synthesizing unit that synthesizes a moving image for each frame from a frame specified by the specifying unit to a final frame of one of the moving images ;
A moving image synthesis control program that causes a synthesized moving image obtained by the synthesis of the synthesis means to function as a recording control unit that causes the moving image recording unit to record the synthesized moving image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004054303A JP4487594B2 (en) | 2004-02-27 | 2004-02-27 | Imaging apparatus and moving image composition control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004054303A JP4487594B2 (en) | 2004-02-27 | 2004-02-27 | Imaging apparatus and moving image composition control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005244799A JP2005244799A (en) | 2005-09-08 |
JP4487594B2 true JP4487594B2 (en) | 2010-06-23 |
Family
ID=35026008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004054303A Expired - Fee Related JP4487594B2 (en) | 2004-02-27 | 2004-02-27 | Imaging apparatus and moving image composition control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4487594B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5423285B2 (en) * | 2009-09-29 | 2014-02-19 | 株式会社ニコン | camera |
JP2017034587A (en) * | 2015-08-05 | 2017-02-09 | ソニー株式会社 | Signal processing device and signal processing method |
-
2004
- 2004-02-27 JP JP2004054303A patent/JP4487594B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005244799A (en) | 2005-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI304302B (en) | Moving-image recording device for recording moving image,method of recording moving-image and recording medium | |
US6542192B2 (en) | Image display method and digital still camera providing rapid image display by displaying low resolution image followed by high resolution image | |
US20030071904A1 (en) | Image capturing apparatus, image reproducing apparatus and program product | |
JP2001346075A (en) | Image quality selecting method and digital camera | |
CN102006416A (en) | Data structure of a static image file, image generation device, image playback device and electronic camera | |
JP4408456B2 (en) | Information processing device | |
JP5136245B2 (en) | Image composition apparatus, image composition program, and image composition method | |
JPH10313444A (en) | Information processing unit and recording medium | |
JP3909614B2 (en) | Information recording / reproducing apparatus and recording medium | |
CN101990060A (en) | Imaging apparatus and image recording method | |
JP5023355B2 (en) | Liquid crystal display device, liquid crystal display method and program | |
JPH10108123A (en) | Image reproduction device | |
JP4487594B2 (en) | Imaging apparatus and moving image composition control program | |
JP3918228B2 (en) | Information processing apparatus and recording medium | |
JP4678273B2 (en) | Imaging apparatus, moving image storage method, and moving image storage program | |
JP2007166539A (en) | Imaging apparatus, imaging method, program and storage medium | |
JPH11284884A (en) | Digital camera | |
JP2007282279A (en) | Information processing apparatus and recording medium | |
JP4671989B2 (en) | camera | |
JP2006287377A (en) | Image storage device, image storage method, and image storage program | |
JP2003338977A (en) | Imaging apparatus and method of compositing image | |
JP5621834B2 (en) | Recording control apparatus, recording control method, and program | |
JP4437562B2 (en) | Information processing apparatus and storage medium | |
JP2008271385A (en) | Imaging apparatus, and computer program therefor | |
JP4239701B2 (en) | Electronic camera and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100322 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4487594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |