JP4068485B2 - 画像合成方法、画像合成装置、画像合成プログラム - Google Patents
画像合成方法、画像合成装置、画像合成プログラム Download PDFInfo
- Publication number
- JP4068485B2 JP4068485B2 JP2003068968A JP2003068968A JP4068485B2 JP 4068485 B2 JP4068485 B2 JP 4068485B2 JP 2003068968 A JP2003068968 A JP 2003068968A JP 2003068968 A JP2003068968 A JP 2003068968A JP 4068485 B2 JP4068485 B2 JP 4068485B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- strobe
- frames
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体画像の時系列を重ね合わせてストロボ合成画像を生成する画像合成方法、装置、およびプログラムに関する。
【０００２】
【従来の技術】
動画から被写体部分のみを切り出し、他の画像と重ね合わせて合成画像を生成して表示する画像処理技術は、例えば、複数の時刻に撮られた被写体画像を重ね合わせたストロボ合成画像の生成に有用である。その際、複数の被写体画像を簡単に重ねられるユーザインターフェースを提供しないと、ストロボ合成画像を容易に生成することができず多くの操作に時間を費やすこととなる。
【０００３】
従来、透明部分を持つレイヤと呼ばれる画像構成要素を複数枚重ね合わせる技術が、複数の被写体画像を重ね合わせるストロボ合成画像の生成に用いられてきた（例えば、非特許文献１参照）。まず、あらかじめ何らかの方法により、動画像から被写体画像領域のみを切り出す。これには、例えば図２８（ａ）〜（ｃ）に示すように、全面均一色の背景１００２の下で物体１００１の運動を撮影し、色成分の違いを用いて切り出しを行うクロマキー法が利用できる。そして、画像処理ソフトウェアのレイヤ機能を用い、切り出した被写体画像領域を複製して複数のレイヤとし、これら複数のレイヤを重ね合わせれば、ストロボ合成画像を得ることができる。
【０００４】
具体的には、例えば、図２９のような複数の時刻に撮られた被写体画像からなる動画像を読み込み、図３０のように複数のレイヤを作成する。次に、図３１のようにレイヤ２をレイヤ１に対して時間的にずらすとともに、これとは異なる量でレイヤ３をレイヤ１に対して時間的にずらす。この状態で１つのフレームに複数フレームを重ね合わせることができる。図３２は、図３１における３つのレイヤのある時刻のフレーム５０１であり、これら図３２の各レイヤを順に重ね合わせる様子を図３３に示す。このように、複数の時刻に撮られた被写体画像をそれぞれ別のレイヤとして編集し、重ねあわせることでストロボ合成画像を生成できる。
【０００５】
【非特許文献１】
Adobe社Premier 6.0 マニュアル第７章pp281-294
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の技術でストロボ合成画像を作成するためには、各フレームに対応するレイヤをユーザの操作によって作成し、重ね合わせ方法についてもレイヤを作成する段階の上下関係で指定するか、レイヤ作成後に各レイヤに対しユーザの操作によって、上下関係を調整する必要があった。また、従来の技術では一度ストロボ合成の対象となる画像を取り込み、ファイルに保存してからストロボ合成を行う必要があった。また、例えば、スポーツの試合など、全面均一の背景の下で撮影できない場合には、画像から被写体部分を切出すのにクロマキー法は用いることができないため、手作業で切出し作業を行わなければならず、ストロボ合成画像を作成するまでの時間が長くなってしまう。
【０００７】
ストロボ合成画像はテレビ生放送におけるスポーツ選手のフォームの解説に使われるなど、画像が得られてからストロボ合成画像を作成するまでの時間が短くなければならないことが多い。従来技術を利用してストロボ合成画像を作成するには多くの時間が必要とされ、これらの要求にこたえることができない。従って、短時間で思い通りのストロボ合成画像を生成する方法が必要とされている。
【０００８】
本発明はかかる事情を考慮してなされたものであり、ストロボ合成画像の生成時におけるユーザ操作を軽減し、画像生成作業に要する時間を短縮することのできる画像合成方法、画像合成装置、および画像合成プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る画像合成方法、装置、およびプログラムは、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成するものである。前記動画像の中から第１のフレームを選択する。次に、ストロボ合成対象の複数の画像フレームを決定する。該複数の画像フレームは、選択された前記第１のフレームの時間軸上の位置を所定数ずらした位置に相当する対象フレームを基準とする。さらに、この複数の画像フレームを重ね合わせる際の重ね合わせ方法を設定する。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照しながら説明する。
【００１１】
（第１実施形態）図１は本発明の第１実施形態に係る画像合成装置の概略構成を示すブロック図である。図１に示すように本実施形態の画像合成装置は、入力映像および該入力映像に基づくストロボ合成画像の生成、編集のための各種画面等を表示する表示装置１と、中央処理装置（ＣＰＵ）２と、キーボードやポインティングデバイス（マウス等）からなる入力装置３と、主記憶装置４とにより構成される。ストロボ画像の生成、編集のためのプログラム５、入力映像のデータ６、および生成されたストロボ画像のデータ７は、ハードディスク装置や光磁気ディスク装置等の外部記録装置に記録される。
【００１２】
このような本実施形態の画像合成装置は、汎用のコンピュータを用い、同コンピュータ上で動作するソフトウェアとして実現することができる。この場合、ストロボ画像を生成し編集するための処理を担うコンピュータプログラム５は、主記憶装置４に読み出され、中央処理装置２により実行される。なお、本実施形態の構成には、同コンピュータのハードウェアを制御したり、ファイルシステムやグラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するオペレーティング・システム（ＯＳ）も導入されている。このような構成において、上記ストロボ画像を生成し編集するための処理を担うコンピュータプログラムは、該オペレーティング・システム上で動作するアプリケーション・ソフトウェアとして組み込まれる。
【００１３】
本実施形態に係る画像合成装置の具体的な処理動作を説明する前に、まずストロボ合成の概略手順について説明する。
【００１４】
ストロボ合成において、入力画像は動画像であり、出力画像はストロボ合成された画像（動画像あるいは静止画像）である。入力動画像から出力ストロボ合成画像を生成するためには、入力画像からストロボ合成を行う被写体部分のみを切り出す被写体切り出しを行うステップと、ストロボ合成を行うためにどのフレームをどのように重ね合わせるかを表すストロボ合成対象を指示するステップの２つのステップが必要となる。この２つのステップはそれぞれ独立しており、どちらが先に実行されても良い。
【００１５】
ここで、ストロボ合成された動画像Ｙとは、入力した被写体の動画像をＸとしたとき、Ｙの第１フレームをＸの第１フレームの画像とし、Ｙの第２フレームをＹの第１フレームの上にＸの第２フレームを重ねた画像とし、Ｙの第３フレームをＹの第２フレームの上にＸの第３フレームを重ねた画像とし、さらに、Ｙの第（ｋ＋１）（ｋは自然数）フレームをＹの第ｋフレームの上にＸの第（ｋ＋１）フレームを重ねた画像とし、Ｙの各フレームに適当な時刻を与えて動画像としたものとする。このような重ね合わせの様子を図２に示す。
【００１６】
また、ここでは上に重ねるとしたが、ユーザから下重ねの指示があるフレームについては下に重ねるものとする。また、後述するような、離散的なフレームのみを用いる場合でも同様に、入力被写体画像の時系列に従い上もしくは下に重ねていく。また、入力被写体画像の時系列は被写体が撮影されたときの時系列と同じである必要はなく、例えば時系列の逆順、いわゆる逆再生であっても良い。
【００１７】
また、重ね合わせ対象とするフレームは必ずしも連続している必要はなく、離散的であっても良い。特に、Ｎフレーム（Ｎは整数）ごとに重ね合わせの対象としたいということは多いので、第Ａフレームから第ＢフレームまでＮフレームごとに重ね合わせの対象とするというユーザインターフェース（Ａ，Ｂ，Ｎは整数）を提供することもできる。
【００１８】
例えば、フレーム番号０からフレーム番号９までの１０フレームの動画像に対し、フレーム番号１、フレーム番号３、フレーム番号５、フレーム番号７、フレーム番号９のように２フレームごとに合成の対象とすることで、インタレーススキャンの動画像のうち奇数フレームのみから合成画像を生成することができる。
【００１９】
また別の例として、被写体の動きがあまり激しくないときには、例えば図３に示すように全てのフレームを合成の対象とするとストロボ合成画像がわかりにくくなる。このような場合、例えば２フレームごとに合成の対象とするといったようにある程度の間引きをすることで、図４のように得られるストロボ合成画像はわかりやすいものとなる。
【００２０】
ストロボ画像合成のためにユーザに１つのフレームを指示させ、さらに重ね合わせを指示させるためのインターフェースを説明する。このインターフェースに基づき、図５に示すような一連の手続きが実行される。
【００２１】
最初にフレーム選択入力手続き（ステップＳ１）を行い、ユーザによって１つのフレームが選択されるのを待つ。フレームが選択されたら、俗にＩＮ点、ＯＵＴ点と呼ばれるような対象フレームを算出し決定するフレームずらし手続きを行う（ステップＳ２）。その後、フレームずらし手続きによって得られた対象フレームに対し、重ね合わせ方法設定手続きを行う（ステップＳ３）。最後に、重ね合わせを行ってストロボ合成画像を得る（ステップＳ４）。
【００２２】
フレーム選択入力手続き（ステップＳ１）では、例えば図６に示すように、スライダ３２０１と選択中のフレーム３２０２を表示するインターフェースをユーザに提示する。このインターフェースにおいて、ユーザはスライダ３２０１をマウスやキーボードを操作し、所望のフレームを選択できる。
【００２３】
なお、フレーム選択入力手続きにおいて、複数のフレームを提示してもよい。例えば、図７に示すように選択中のフレーム（注目フレーム）とその前後のフレームを提示し、スライダによる選択だけでなく、フレームそのもの（１４０１〜１４０３）をクリックすることでもフレーム選択が可能なようにインターフェースを構成すれば、ユーザにとってフレーム選択操作はより直感的で使いやすいものとなる。あるいは、現在選択されたフレームにフレームずらし手続きを行ったときのフレームを提示することも好ましい。これにより、ユーザは、現在の選択内容によってどのフレームが指示されるのかを直ちに知ることができる。
【００２４】
重ね合わせ方法設定手続き（ステップＳ３）では、例えば、ステップＳ２において決定された対象フレームをストロボ合成の開始点あるいは終了点のいずれかに設定する。ある特定の開始フレームからある特定の終了フレームまでの連続したＮ枚のフレーム（Ｎは自然数）を、上に（あるいは下に）、順番に重ね合わせてストロボ合成を行う場合、開始フレームをストロボ合成の開始点とし、終了フレームをストロボ合成の終了点とする。なお、フレームは必ずしも連続している必要はなく、離散的な任意枚数のフレームについても同様に開始点と終了点を決めてよい。また、ユーザのフレーム選択に基づいて、複数のフレームずらし手続きおよび重ね合わせ方法設定手続きを同時に実行可能に構成してもよい。例えば、１つのフレーム指定から、ストロボ合成の開始点と終了点の両方を同時に決定してもよい。
【００２５】
ここで、ストロボ合成の開始点の指定方法について説明する。図７は開始点指定のためにユーザに提示する画面の一例を示している。本実施形態では、注目フレームのＮフレーム前からＭフレーム分までをストロボ合成するものとし、Ｎ、Ｍ（整数値）は予め定めておくものとする。ユーザによって注目フレーム１４０２が選択されると（この例ではフレーム（番号）７１）、Ｎフレーム前のフレーム（この例ではフレーム６５）を開始フレーム（開始点）とし、開始フレームのＭフレーム後のフレーム（この例ではフレーム７８）を終了フレーム（終了点）とする上重ねストロボ合成が指定されたものとみなす。「開始点決定」ボタンが押された時点で、合成の実行が行われる。
【００２６】
なお、「開始点決定」ボタンが押された時点で必ずしもストロボ合成の実行を開始する必要はなく、例えば開始フレームから終了フレームまでが選択された状態で「上重ね」ボタンが押されたものとみなし、合成の実行指示を待つようなインターフェースとしてもよい。また、提示する画像は、切り出された被写体であっても、切り出される前の画像であっても良い。また、上記の例では終了フレームを定義したが、Ｍを決めておかず、開始点のみを選択するようにしても良い。
【００２７】
（第２実施形態）次に、ストロボ画像合成のためにユーザに２つのフレームを指示させ、さらに重ね合わせを指示させるためのインターフェースを説明する。このインターフェースに基づき、図８に示すような一連の手続きが実行される。必要最低限のユーザ操作により速やかにストロボ合成画像を得る際には上述した第１実施形態が好ましいが、ストロボ合成の始終点（フレーム）をユーザが厳密に指定したい場合には本実施形態のインターフェースが有用である。また、本実施形態では、一度作成したストロボ合成画像について、一部のフレームについて重ね合わせ方を変更して再度、画像を生成できるものである。
【００２８】
先ず、フレーム選択入力手続きを行い、本実施形態では、ユーザから２つのフレーム（開始点、終了点）が選択されるのを待つ（ステップＳ１１）。フレームが選択されたら、選択された２つのフレーム間の各フレームを処理フレームとして、重ね合わせを行う（ステップＳ１２）。ここで、本実施形態では重ね合わせ方法を変更し（ステップＳ１３）、再度、重ね合わせを行ってストロボ合成画像を得る（ステップＳ１４）。
【００２９】
フレーム選択画面提示手続きは、例えば図９に示すように、１つのスライダ３３０１と、このスライダ３３０１によって選択されるフレーム３３０２を提示し、ユーザにスライダから２つのフレームを選択させることで実現できる。ボタン３３０３とボタン３３０４はそれぞれ現在の注目点を開始点、終了点として設定するボタンであり、図９には、ボタン３３０３を押して開始点を設定したときの状態が示されている。ユーザは、図１０に示すように、スライダ３３０１を移動させ、図１１に示すようにボタン３３０４で終了点を設定する。
【００３０】
なお、上述した第１実施形態と同様に、ユーザがスライダを用いてフレームを選択する際に、選択中のフレームのみならずその前後のフレームも提示するようにしたり、スライダによる選択以外にユーザがフレームをクリックすることによってもフレームを選択できるよう構成すれば、フレーム選択操作はより直感的で使いやすいものとなる。
【００３１】
ステップＳ１２における重ね合わせの方法としては、例えば、時刻が古いフレームから順に重ね合わせたり、逆に、新しいフレームから順に重ね合わせるなど、任意である。
【００３２】
ここで、図８のフローチャートに示した一連の手続きに関し、指定範囲について重ね合わせを行う例を説明する。
【００３３】
ユーザに提示する画面の例を図１２に示す。ここで説明するインターフェースの目的は、ユーザに、テキストつきボタン３００４により選択対象の先頭フレームの選択を行わせ、テキストつきボタン３００５により選択対象の最終フレームの選択を行わせることである。図１２において、３００１、３００３にはそれぞれボタン３００４、３００５に対応するフレームの画像が表示されており、選択中のフレームが一目でわかるようになっている。テキスト３００６には現在の注目フレームのフレーム番号、３００２にはそれに対応する画像が表示されており、ユーザはスライダ３０１３をマウス入力やキーボード入力によって左右に動かすことで、注目点の移動を行うことができる。また、ユーザはフレームの選択に先立ち、重ね合わせ方法を排他的押しボタン３０１０、３０１１を用いて指示することもできる。これらのボタンは排他的で、どれかのボタンが押されると他のボタンは押されていない状態に戻る。
【００３４】
図１３〜図１９は、図１２におけるボタン３００４、３００５、３００６、およびスライダ３０１３を抽出して示した図であり、これらの図を参照して、対象となる先頭フレームと最終フレームを選択する一連の操作手順を説明する。ボタン３００４、３００５、３００６の表示オブジェクトには、ボタンの名称を表すテキスト文字、及びフレーム位置（番号）を表す数字を表示できるようになっている（以下、これらを「テキストつきボタン」という）。なお、ボタン上の数字は、スライダ３０１３への操作、およびボタンに対する確定指示に応じて表示が更新される。
【００３５】
インターフェースがユーザに最初に提示されたとき、この時点では開始点および終了点は指定されていない状態である。この状態では図１３に示すように終了点はグレイ表示され、ボタンを押すことができないようになっている。そこで、まずユーザは図１３のように、注目点を開始点としたいフレームに移動させる。次に、ユーザは図１４に示すように、開始点のテキストつきボタン３００４を押して、現在の注目点を開始点として設定する。
【００３６】
次に、ユーザは図１５に示すように、注目点を終了点としたいフレームに移動させる。この時点では対象フレームは未確定であるため、対象フレームは薄い色として選択されている。この状態で終了点のテキストつきボタン３００５を押すと終了点が確定し、対象フレームはそのときの重ね合わせ方法を指定する排他的押しボタン３０１０、３０１１の押下状態に従い、重ね合わせ指定を受け付ける。図１６の状態でもう一度終了点のテキストつきボタン３００５を押すと確定解除となり、図１５の状態に戻る。また、図１６の状態で「合成の実行」ボタン３０１４を押せばストロボ合成が実行される。また、図１６の状態で注目フレームを再度選択し図１７のように再び開始点ボタンを押下すると、図１８に示すようにこれまでの重ね合わせ指定から引き続き、新しい区間についての別のストロボ画像のための重ね合わせを指示できるようになる。ユーザは図１９のようにこの新しい区間に対する終了点を選択し、また必要に応じ排他的押しボタン３０１０、３０１１の押下状態を変化させるなど、先ほどの対象フレーム選択と同様の操作を行って、別の対象フレームに対し重ね合わせ指示を行うことができる。
【００３７】
ボタン３００７は、現在の重ね合わせ設定を記憶装置４に記憶するためのボタンであり、図２０に示すように、現在の注目点からの相対位置のフレームに対する重ね合わせ設定が保存される。注目点を選択してボタン３０１２を押せば、保存された重ね合わせ設定が読み込まれ、適用される。このように保存しておいた設定を呼び出すようにすれば、操作時間を短縮できる。また、あらかじめ記憶しておいた設定の幾つかをリストとして用意しておき、必要に応じてそのリストを提示し、他の設定を読み込むことができるようにすれば、複数の設定を使い分けることができるようになり好ましい。
【００３８】
また、記憶装置４に記憶されている現在の重ね合わせ設定をＨＤＤ等の記録装置に記録しておき、後に、この重ね合わせ設定の内容を読み出し、別のストロボ画像の合成に適用してもよい。すなわち、後に読み出した重ね合わせ設定を、現在処理中のものとは別のフレーム群に適用して上記別のストロボ画像を合成してもよい。
【００３９】
また、それぞれ内容が異なる複数の重ね合わせ設定を上記記録装置に記録しておき、各重ね合わせ設定ごとのストロボ合成画像を一括して生成したり、ある同一の重ね合わせ設定をもとに複数のストロボ合成画像を生成してもよい。重ね合わせ設定の作業のみ行って、後に一括して画像生成処理することは作業効率向上の観点から好ましい。
次に、全フレームを上重ねとしてストロボ合成画像を一度生成・提示し、その中から、ユーザによって指示されたオブジェクトをまとめ、下重ねに変更してストロボ合成画像を再度生成するためのインターフェースについて説明する。これは、図８におけるステップＳ１３及びステップＳ１４の手続きに相当する。
【００４０】
図２１に示すように、まず、上重ねで合成画像を表示し（図２１（ａ））、その画面に対してユーザは左側３つの被写体画像のオブジェクト２１０１をそれぞれマウスポインタの左クリックにより指定する。指定されたオブジェクト２１０１には他の被写体と区別可能な着色を施すと良い（図２１（ｂ））。そして、ユーザが右クリックすると、これら選択された３つのオブジェクト２１０１が下重ねに切り替わり、図２１（ｃ）のような新たな合成画像が表示される。なお、全フレームをあらかじめ上重ねとして提示せずに、図１２のインターフェースをあらかじめ提示しておき、右クリックされたときに上重ねの部分は下重ねに、下重ねの部分は上重ねに変更することもできる。このようにすれば、おおまかな重ね方の指定とフレーム単位の重ね方の調整の２つを短時間で実現できる。
【００４１】
なお、本実施形態ではストロボ合成画像から対象フレームを選択し、別途重ね合わせ方法の変更を指定するインターフェースを説明したが、ユーザによってストロボ合成画像から対象フレームが選択された際にもその重ね合わせ順序を変更可能なインターフェースを追加すれば、ストロボ合成画像の作成、編集におけるさらなる時間短縮を実現できる。ただし、クリックの瞬間にストロボ合成画像を変化させることは、画像合成装置の高い処理能力を必要とするし、瞬時の画面変化に対応できるようオペレータが熟練を要するため、状況に応じて使い分けできるようにすると良い。
【００４２】
また、フレームの選択にスライダを用いることとして説明したが、例えばいくつかの代表フレームを提示し、これら代表フレームの中からいずれかをユーザに選択させ、選択された代表フレームに近いフレームのみを提示し、これらフレームに基づいてユーザに重ね合わせの指示を求めるようにすれば、上記のようなスライダ操作を省略できる。
【００４３】
以上説明したように、ストロボ合成に必要なユーザ操作を極めて簡略化するインターフェースが提供されることにより、ストロボ合成の実行手順が明確になりまた、ユーザに与える操作負担を大幅に軽減できる。したがって、ストロボ合成画像作成の所要時間を短縮でき、また、画像合成システムの使い勝手も向上できる。
【００４４】
（第３実施形態）次に、マニュアル操作による切り出し作業中にプレビューを提示するインターフェースを備えた第３実施形態について、図２２乃至図２７を参照して説明する。図２２に示すような入力映像について、ユーザにより被写体画像の切り出しが行われている途中の状況、具体的には、第１フレームと第２フレームの切り出しが完了し、第３フレームの切り出しが行われている状況を考える。
【００４５】
図２３に示すように、被写体画像１７０１を含まないよう被写体画像１７０２の切り出しをユーザが行っている際に、図２４に示すように画像の一部１８０１の切り出しが不正確であった場合、その影響は図２５に示すようにストロボ合成画像の一部１９０１として現れ、画質低下を招いてしまう。
【００４６】
そこで、図２６のように、入力画像や切り出し画像だけでなく、現在の切り出し画像１８０２に基づくストロボ合成後の画像１８０３を逐次合成しプレビュー表示すれば、ユーザは、不正確な切り出しが行われてストロボ合成画像に影響を与える部分を直ちに確認することができ、望みのストロボ合成画像を得るための修正が容易になる。図２７に示すように、修正後のストロボ合成画像を直ちに確認できる。
【００４７】
なお、プレビューとは、処理前に現在の指示内容に基づく処理結果を提示することであり、例えばユーザの重ね合わせフレーム選択などの入力に応じて、完成画像（静止画でも、動画でも良い）を、逐次更新しながらユーザに提示することをいう。
【００４８】
なお、入力画像、切り出し画像、ストロボ合成画像のすべてを提示する必要はなく、例えば入力画像とストロボ合成画像の２つのみを提示しても良い。また、プレビューの提示は、完全にユーザの手によって切り出しが行われる場合のみならず、ソフトウェアによって自動的あるいは半自動的に切り出しが行われた結果をユーザが修正する場合において行われても良い。
【００４９】
また、背景など時間の経過によって変化しない画像領域から被写体を切り出す場合には、不正確な切り出しが行われてもストロボ合成画像には何ら影響はないから、切り出しに手間をかける必要はない。プレビューによれば、そのことをユーザが確認できる。したがって、切り出しの手間を省いてストロボ合成画像生成の時間を短縮できる。
【００５０】
また、ユーザは編集中に最終画像を知ることができ、ストロボ合成画像が生成された後に、それがユーザの期待通りのストロボ合成画像であるかチェックする必要もなくなる。このように、プレビューとしてストロボ合成画像を逐次提示することは、切り出し画像をプレビューとして提示する以上に、ストロボ合成画像生成に要する時間短縮およびユーザの負担軽減に大いに寄与する。
【００５１】
（第４の実施形態）図３４は本発明の第４の実施形態に係るストロボ画像合成の一連の処理を示すフローチャートである。本実施形態では、動画像の撮影中にユーザによる指示（例：ボタンを押す、マウスをクリックする等）を受けると、そのタイミングを考慮した所望の合成画像を生成する。入力デバイスとしては例えば動画を撮影するカメラをストロボ合成システムに接続して用いる。以下、第４の実施形態を実施するシステムを１指示型ストロボ合成システムと呼ぶ。あらかじめ、動画像を保存するためのキュー（先入れ先だしバッファ）を用意しておく。なお、キューに代えて多段遅延回路を用いることができる。
【００５２】
１指示型ストロボ合成システムは、ユーザ入力による指示がない限り、図３４に示すＳ３４０１〜Ｓ３４０２のステップを繰り返す。すなわち、入力デバイスから次の画像フレームを取り込む画像入力ステップ（Ｓ３４０１）と、キューの先頭フレームを破棄して１フレーム分シフトし、最終フレームに取り込んだフレームを追加する画像保持ステップ（Ｓ３４０２）を繰り返す。
【００５３】
ここで、ユーザ入力による指示（Ｓ３４０３：ユーザ入力ステップ）を検出すると、１指示型ストロボ合成システムは、ユーザ入力があった時刻から所定時間が経過した時に少なくとも一度の通知（タイムアウト）を発するタイマをセットし（Ｓ３４０４）、Ｓ３４０１〜Ｓ３４０２の処理を続ける。タイマからの通知があった時点（Ｓ３４０５）で、キューに保存されている画像を用いてストロボ合成を行い（Ｓ３４０６：画像合成ステップ）、合成画像を出力する（Ｓ３４０７：画像出力ステップ）。本実施形態によれば、ユーザによる指示は１回だけで済むので、ユーザによる負担を大幅に軽減し、ストロボ合成画像生成作業の所要時間の大幅な短縮が可能となる。
【００５４】
（第５の実施形態）図３５は第５の実施形態に係るストロボ画像合成の一連の処理を示すフローチャートである。本実施形態は、ストロボ合成を行うにあたり重要なフレーム（「特徴画像フレーム」という）を動画像の撮影中に自動的に検出し、そのタイミングを考慮した所望の合成画像を生成する。このような第５の実施形態のシステムを「全自動ストロボ合成システム」と呼ぶことにする。
【００５５】
上述の第４実施形態と同様に、動画像を保存するためのキュー（先入れ先だしバッファ）を用意しておく。本実施形態に係る全自動ストロボ合成システムは、次に示すＳ３５０１〜Ｓ３５０３のステップを繰り返す。すなわち、入力デバイスから次の画像フレームを取り込む画像入力ステップ（Ｓ３５０１）と、キューの先頭フレームを破棄して１フレーム分シフトし、最終フレームに取り込んだフレームを追加する画像保持ステップ（Ｓ３５０２）、特徴画像フレームが存在するか否かをチェックする特徴画像フレーム検出ステップ（Ｓ３５０３）である。
【００５６】
ここで、特徴画像フレームが存在すると、全自動ストロボ合成システムは特徴フレームの検出時刻から所定時間が経過した時に１度だけ通知（タイムアウト）を発するタイマをセットし（Ｓ３５０４）、Ｓ３５０１〜Ｓ３５０３の処理を続ける。タイマからの通知があった時点で（Ｓ３５０５）、キューに保存されている画像を用いてストロボ合成を行い（Ｓ３５０６：画像合成ステップ）、合成画像を出力する（Ｓ３５０７：画像出力ステップ）。
【００５７】
このような本実施形態によれば、ユーザによる指示を完全に省略でき、ストロボ合成画像生成作業の所要時間を上述の第４実施形態よりもさらに短縮できる。なお、ユーザの指示あるいは特徴画像フレームの検出を行う第４および第５実施形態においては、タイマを用いる例を示したが、時刻を一定時間間隔で記録し、所定時間の経過を判定するようにしてもよい。全自動ストロボ合成システムにおいて、特徴画像フレームをどのように定め、これをどのように検出するかについては種々考えられる。ゴルフのティーショットにおけるストロボ合成画像を例にとって説明する。ストロボ画像合成適合条件としては、例えば次のようなものが考えられる。
【００５８】
（１）ティーショット時に発生する音を検出し、音が検出された画像フレームを特徴画像フレームとする。
（２）特徴画像フレームにおける被写体の形状（テンプレート）をあらかじめ準備しておき、画像フレームごとに被写体領域の抽出を行い、被写体の形状がテンプレートと十分に似ていると判断できるときにそれを特徴画像フレームとする。
（３）特徴画像フレームとその前後数フレームの被写体のテンプレートをあらかじめ準備し、画像フレームごとに被写体領域の抽出を行い、連続する数フレームの被写体の形状がテンプレートと十分に似ていると判断できるときにそれを特徴画像フレームとする。
（４）画像フレームごとに被写体領域の面積を算出し、連続する数フレームの面積の最大値と最小値の差（ピーク・ピーク値）を求め、ピーク・ピーク値が別途定めた値を超えるときに、面積の最大値（最小値でも良い）を与えるフレームを特徴画像フレームとする。
【００５９】
なお、被写体領域の抽出においては、例えば、あらかじめ単色の背景を用意しておき、背景色とは異なる色領域を被写体領域とするクロマキー法を用いることができる。被写体領域の面積算出においては、例えばクロマキー法を用いて被写体領域を抽出し、その領域の画素数を算出してこれを面積とすれば良い。また、テンプレート画像との類似度を判断する基準として、例えば、テンプレートの被写体領域の面積Ｓｔ、抽出された被写体領域の面積Ｓｅ、テンプレートの被写体領域と抽出された被写体領域が重なる領域の面積Ｓｃをそれぞれ算出し、（Ｓｃ／Ｓｔ）と（Ｓｃ／Ｓｅ）との２つの値において小さい方の値がしきい値以上である場合に十分に近いと判断すれば良い。
【００６０】
これらの方法から、目標とするストロボ合成の被写体に適した方法をあらかじめ選択しておき、選択された方法で特徴画像フレームを検出すれば、特徴画像フレームの検出精度が向上する。したがって、全自動ストロボ合成システムの有用性も向上する。その結果、ストロボ合成画像生成作業の所要時間の短縮を実現できる。
【００６１】
（プリセットを提示）
１指示型ストロボ合成システムあるいは全自動ストロボ合成システムにおいて、生成されるストロボ合成の品質は入力画像の種類、ストロボ合成のアルゴリズムに依存する。例えば、クロマキー法によって対象となる各フレームの被写体領域を抽出する場合には、色空間においてどの範囲を背景色とみなすかを設定するしきい値を制御する必要がある。クロマキー法におけるしきい値のようなパラメータを、ユーザ設定が可能とすれば高い品質を得ることができる。しかし、ストロボ合成時にその都度パラメータを設定するのではユーザの操作負担が増し、ストロボ合成に要する作業時間が増大してしまう。そこで、あらかじめ何種類かのパラメータを準備しておき、使用するパラメータをストロボ合成前にユーザが選択できるようにすることが好ましい。これにより、ストロボ合成画像の品質を向上できるとともに作業を効率化できる。
【００６２】
（ストロボの最終フレームまたは再生動画を提示）
また、入力画像によっては、ストロボ合成のパラメータをあらかじめ決定しておくことが困難な場合がある。その場合、候補となるパラメータを数種類に限定し、それらすべてに対してストロボ合成を行い、その結果を提示してユーザに選択させることで、ユーザは所望の出力画像を得ることができる。例えばマウスと画面を用いたユーザインターフェースにおいては、図３６のように、３通りのパラメータでストロボ合成を行い、３６０１、３６０２、３６０３に提示されたストロボ合成の最終フレームから、マウス操作によって所望のストロボ合成画像をユーザに選択させる。なお、最終フレームを提示する代わりにストロボ合成された動画像を再生しても良い。この方法によれば、ユーザによるパラメータ設定なくしては十分な品質を達成できないような場合であっても、その作業を最小限にとどめることができ、その結果ストロボ合成に要する時間を短縮できる。
【００６３】
（第６実施形態）図３９は、本発明の第６実施形態に係るストロボ画像合成のフローチャートである。本実施形態では、ストロボ画像合成に用いられる自動切出しパラメータを予め決定しておくものである。本実施形態では、スポーツの試合を例に挙げ、その試合中にスポーツ選手を撮影してストロボ画像を合成する場合について説明する。
【００６４】
まず、試合前に選手（被写体）の動画像を正解データ用に撮影してパソコンに取り込んでおく（Ｓ４１０１）。次に、その動画像をパソコンのディスプレイに１フレームずつ静止させて表示し、フレーム毎に選手の領域を正確にマウスなどを用いて入力する（Ｓ４１０２）。そして、選手の領域を切出した画像を１フレームずつ上重ねしながら合成することでストロボ合成画像を生成する（Ｓ４１０３）。これは極めて合成品質の高いストロボ合成画像であり、これを正解ストロボ合成画像と呼ぶ。
【００６５】
次に、同じ正解データ用画像から選手の領域を自動的に切出す。切出し手法の例を図４１に示す。切出しの対象フレーム４３０１と別の参照フレーム４３０２との間で輝度の差を求める。このフレーム間差分がしきい値よりも大きい場合にはオブジェクト領域、そうでない場合には背景領域と判定してアルファマスク４３０３を生成する。アルファマスクは、オブジェクト領域と背景領域との２値から成るビットマップである。
【００６６】
次に、異なる参照フレーム４３０４との差によるアルファマスク４３０５を複数生成し、オブジェクト領域の論理積を求めることで正確なオブジェクト領域のアルファマスク４３０６を得る。最後に、文献「自己相似写像による輪郭線のフィッティング」(井田、他、第５回画像センシングシンポジウム講演論文集,C-15, pp.115-120, June 1999.）に記載された手法などを用いて輪郭フィッティングをすれば、さらに正確なアルファマスク４３０７が得られる。輪郭フィッティングは、誤りの大きい輪郭から、より誤りの少ない輪郭を得る輪郭抽出処理である。
【００６７】
本実施形態に係る以上のような切出し手法の場合、オブジェクト領域か背景領域かを判定するしきい値や、対象フレームと参照フレームのフレーム間隔、輪郭フィッティングの強度などが切出しのパラメータである。
【００６８】
切出しのパラメータを仮にある値に設定し、選手領域を切出す（Ｓ４１０４）。そして、選手領域の切出し結果に基づいて仮のストロボ合成画像を生成する（Ｓ４１０５）。仮のストロボ合成画像は、一般に、正解ストロボ合成画像よりも合成品質が劣る。その程度を測るために、正解ストロボ合成画像に対する仮のストロボ合成画像の誤差を算出する（Ｓ４１０６）。パラメータとしては、予め幾つかの組合せを決めておき、その組合せの範囲で切替えながら、Ｓ４１０４からＳ４１０６を繰り返せばよい。つまり、予め決めたパラメータを全て実行した場合は次に進み、そうでない場合はＳ４１０４に戻る（Ｓ４１０７）。
【００６９】
全てのパラメータについて上述のステップＳ４１０４〜Ｓ４１０６を繰り返した後に、正解ストロボ合成画像に対する仮のストロボ合成画像の誤差が最も小さかったパラメータを、その後に適用されるパラメータとして正式に決定する（Ｓ４１０８）。ここで決定されたパラメータを本実施形態では実行パラメータと称する。そして、試合中に撮影する正解データ用画像以外の画像から、その実行パラメータを用いて切出しを行い（Ｓ４１０９）、ストロボ合成画像を生成する（Ｓ４１１０）。
【００７０】
切出しパラメータの最適な値は、選手のユニフォームの色や、背景の色、カメラの撮影時に発生するノイズの特徴などの環境変化に依存する。しかし、同じ試合中であれば、これらの環境は一定であり、パラメータ値を切替えなくても良好な合成が可能である。本実施形態によれば、試合中も良好な合成画像が得られるパラメータ値を決定することができる。これによって、手作業を要しない自動的な合成が可能となり、ストロボ合成画像を短時間で生成できる。
【００７１】
なお、誤差の評価対象として、切出した領域の形状ではなく、合成画像を用いるのが本実施形態の特徴である。これは、第３実施形態で述べたように、ストロボ画像合成の場合、領域の形状が誤っていても合成画像には影響ないことがあるからである。本当は背景の部分であるところを仮に選手の領域として検出したとしても、元々背景である部分に同じ背景が上書きされるだけで変化がなく、ここが選手領域として検出されなかった場合と同じ合成結果になる。また、誤差としては、例えば、対応するフレーム間で差分を求め、その絶対値の和や２乗和を用いることができる。
【００７２】
（第７実施形態）図４０は本発明の第７実施形態に係るストロボ画像合成装置の概略構成を示すブロック図である。第７実施形態は第６実施形態において説明したストロボ画像合成の一連の処理を実行する具体的装置に関する。
【００７３】
撮影された画像４２０１が入力され、例えばパソコンの場合、半導体記憶素子や、磁気記録装置などの記憶手段４２０２に保持される。画像４２０３は正解データ用画像として正解被写体領域を設定する設定部４２０４に送られる。ここでは、例えば、画像４２０３がパソコンのディスプレイに表示され、使用者がマウスなどを用いて被写体の領域を正確に入力する。その領域で切出された正解被写体画像４２０５は合成部４２０６に送られる。合成部４２０６は被写体画像４２０５を時間順に上書きし、正解ストロボ合成画像４２０７を保持部４２０８に送る。
【００７４】
一方、画像４２０３は被写体領域の検出回路４２１２にも送られる。検出部４２１２では、パラメータ設定部４２１０から送られる切出しパラメータ値４２１１に基づいて被写体領域が検出され、その領域で切出された被写体画像４２１３が合成部４２１４に送られる。合成部４２１４は、被写体画像４２１３を時間順に上書きし、ストロボ合成画像４２１５を誤差検出部４２１６に送る。また、記憶部４２０８から正解ストロボ合成画像４２０７が誤差検出部４２１６に送られる。誤差検出部４２１６は、正解ストロボ合成画像４２０７とストロボ合成画像４２１５との誤差４２１７を計算する。この誤差４２１７はパラメータ設定部４２１０に送られる。
【００７５】
パラメータ設定部４２１０は、パラメータ値４２１１を逐次切替え、その結果得られる誤差４２１７を調べ、該誤差４２１７が最小となるパラメータ値を求める。別の画像４２０１が入力された場合は、そのパラメータ値４２１１が検出部４２１２に送られ、検出部４２１２は、記憶部４２０２から読み出した画像４２０１から被写体領域を検出する。被写体画像４２１３は合成部４２１４によりストロボ画像合成される。このストロボ合成画像４２１５は外部に出力される。
【００７６】
このような構成とすれば、２回目以降に入力される画像からは自動的な処理となり、ストロボ合成画像を短時間で生成できる。
【００７７】
（第８実施形態）本発明の第８実施形態は、ユーザが被写体動画像のスロー再生映像を見ながら、ストロボ画像の合成に用いられる画像フレームを選択できるように構成されている。第８実施形態は、図３７に示す一連の手続きに従って、ステップＳ３７０１から実行される。各ステップで実行される内容を説明する前に「重ね合わせ方法切り替えフレーム」なる用語を次のように用いる。すなわち、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を切り替える画像フレームを「重ね合わせ方法切り替えフレーム」と呼ぶことにする。各ステップで実行される内容は以下の通りである。
【００７８】
ステップＳ３７０１：１つの画像フレームを取り込んで表示する。その後、ステップＳ３７０２へ進む。
【００７９】
ステップＳ３７０２：ユーザによる画像フレーム選択の指示を受け付ける。所定の時間内に指示がない場合、ステップＳ３７０１に戻る。指示があった場合はステップＳ３７０３へ進む。
【００８０】
ステップＳ３７０３：ステップＳ３７０２で受け付けたユーザ指示の直前にステップＳ３７０１で表示した画像フレームを重ね合わせ方法切り替えフレームとして決定し、その重ね合わせ方法切り替えフレームの位置から時間方向にあらかじめ定めた数だけずらした位置を開始点として決定し、別途定めた数だけずらした位置を終了点として決定し、開始点から終了点までの画像フレームの中の所定数間隔の画像フレームをストロボ合成の対象とする対象画像フレームとして決定する。その後、ステップＳ３７０４へ進む。
【００８１】
ステップＳ３７０４：ステップＳ３７０３で決定したストロボ合成の対象とする画像フレームのうち、まだ取り込んでいない画像フレームがある場合は、それらを取り込む。その後、ステップＳ３７０５へ進む。
【００８２】
ステップＳ３７０５：ステップＳ３７０３で決定したストロボ合成の対象とする画像フレームを重ね合わせてストロボ合成する。そして、この一連の手続きを終了する。
【００８３】
従来、ユーザが被写体の動画像に固有のフレームレートでの再生映像を見ながら所望の画像フレームを選択しようとしても、それを正確に選択できない場合が多かったが、この実施形態により、正確に選択できるようになる。その結果として、ストロボ合成画像生成までの時間を短縮できる。
【００８４】
なお、本実施形態は次のように変形することができる。
【００８５】
（１）ステップＳ３７０２で受け付ける指示をユーザが誤って出してしまった場合、前記一連の手続きを終了して再びやり直さないと誤りを訂正することができない。そのような誤りを訂正できるようにするため、ユーザが誤りに気づいた時点で表示されている画像を過去に表示された画像に戻して、誤ってしまった操作を過去に遡ってやり直すことができるようにすることが好ましい。
【００８６】
（２）ステップＳ３７０１では画像を表示している。ここで、画像の表示時間をユーザが決定できるようにすれば、ステップＳ３７０２で受け付ける指示のユーザによる誤りを減らすことができる。また、画像表示中にその表示時間を変更できるようにするのもよい。
【００８７】
（３）ステップＳ３７０１において１つの画像フレームを逐次的に取り込み、ステップＳ３８０４でもまた必要数の画像フレームを取り込んでいる。これに代えて、例えば画像フレームを一括で取り込んでも良く、ステップ３７０１で複数の画像フレームを取り込むようにしても良い。
【００８８】
（４）ステップＳ３７０２で受け取ったユーザ指示に従い、ステップＳ３７０３で重ね合わせ方法切り替えフレーム、開始点および終了点を決定している。その際、ユーザ指示に対応する画像フレームを重ね合わせ方法切り替えフレームとして決定する。これは、例えばユーザ指示に対応する画像フレームを開始点や終了点として決定してもよい。
【００８９】
（５）上重ね合成と下重ね合成とを切り替える必要がない場合には、重ね合わせ方法切り替えフレームを決定する必要がないため、ユーザ指示に対応する画像フレームを基準にして開始点と終了点を自動的に決定しても良い。このようにすれば、ユーザ操作の回数を減らすことができ、ストロボ合成画像を生成するまでの時間を短縮することができる。
【００９０】
（６）ステップＳ３７０２で受け取った１回のユーザ指示に従い、重ね合わせ方法切り替えフレーム、開始点および終了点を決定しているが、例えば、ユーザ所望のストロボ合成画像を得るためには、１回のユーザ指示で複数ではなく１つの画像フレームを決定しても良い。これは、１回のユーザ指示では十分な品質のストロボ合成画像を生成することができない場合に有効であり、より多くの画像に対して本実施形態を適用できる。
【００９１】
（７）開始点のみが決定していて終了点が未定の状況において、開始点決定直後にステップＳ３７０５の実行を開始した場合、終了点決定からストロボ合成終了までの時間を短縮することができる。
【００９２】
（第９実施形態）本発明の第９実施形態は、ユーザが被写体ストロボ合成動画像の再生映像を見ながら画像フレームを選択できるようにしたものである。第９実施形態は、図３８に示す一連の手続きに従って実行される。この一連の手続きはステップＳ３８０１から実行される。各ステップで実行される内容は以下の通りである。
【００９３】
ステップＳ３８０１：１つの画像フレームを取り込んで表示する。その後、ステップＳ３８０２へ進む。
【００９４】
ステップＳ３８０２：ユーザによるストロボ合成開始の指示を受け付ける。所定の時間内に開始の指示がない場合、ステップＳ３８０１に戻る。あるいは、開始しないという指示があった場合、ステップＳ３８０１に戻る。開始の指示があった場合、ステップＳ３８０３へ進む。
【００９５】
ステップＳ３８０３：１つの画像フレームを取り込む。その後、ステップＳ３８０４へ進む。
【００９６】
ステップＳ３８０４：画像フレームを重ね合わせてストロボ合成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を変更するかどうかのユーザ指示を受け付ける。変更の指示があった場合、ステップＳ３８０５へ進む。所定の時間内に変更の指示がない場合、ステップＳ３８０６へ進む。あるいは、変更しないという指示があった場合、ステップＳ３８０６へ進む。
【００９７】
ステップＳ３８０５：画像フレームを重ね合わせてストロボ合成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を変更する。その後、ステップＳ３８０６へ進む。
【００９８】
ステップＳ３８０６：画像フレームを重ね合わせ方法に従って重ね合わせてストロボ合成する。その後、ステップＳ３８０７へ進む。
【００９９】
ステップＳ３８０７：ステップＳ３８０６で合成したストロボ合成画像を表示する。その後、ステップＳ３８０８へ進む。
【０１００】
ステップＳ３８０８：ストロボ合成を終了するかどうかのユーザ指示を受け付ける。所定の時間内に終了の指示がない場合、ステップＳ３８０３に戻る。あるいは、終了しないという指示があった場合、ステップＳ３８０３に戻る。終了の指示があった場合、前記一連の手続きを終了する。
【０１０１】
本実施形態によれば、ストロボ合成、ストロボ合成動画像の再生、および画像フレーム選択を同時に行えるので、ユーザ所望のストロボ合成が完了するまでの時間を短縮できる。
【０１０２】
なお、第９実施形態は次のように改良することができる。
【０１０３】
（１）ステップＳ３８０２、ステップＳ３８０４、およびステップＳ３８０８で受理する指示をユーザが誤って出してしまった場合、前記一連の手続きを終了して再びやり直さないと誤りを訂正することができない。そのような誤りを訂正できるようにするため、ユーザが誤りに気づいた時点で表示されている画像を過去に表示された画像に戻して、誤ってしまった操作を過去に遡ってやり直すことができるようにする。
【０１０４】
（２）ステップＳ３８０１とステップＳ３８０７で画像を表示している。これらの画像を表示する時間をユーザが決定できるようにすれば、ステップＳ３８０２、ステップＳ３８０４およびステップＳ３８０８で受け付ける指示のユーザによる誤りを減らすことができる。また、画像表示中にその表示時間を変更できるようにするのもよい。
【０１０５】
（３）ステップＳ３８０１とステップＳ３８０３においてそれぞれ１つの画像フレームを逐次的に取り込んでいるが、例えば、画像フレームを一括で取り込んでも良いし、ステップ３８０１やステップＳ３８０３で複数の画像フレームを取り込むようにしても良い。
【０１０６】
（４）ステップＳ３８０４でユーザ指示を受け取った場合、ストロボ合成の際の重ね合わせ方法を変更するようにしている。そのユーザ指示に対応する画像フレームの位置から時間方向にずらした位置を終了点として決定しても良い。その場合、終了点を重ね合わせ合成し、そのストロボ合成画像を表示した時点で前記一連の手続きを終了する。これにより、ユーザによる指示を１回分減らすことができ、ストロボ合成終了までの時間を短縮できる。
【０１０７】
（５）時間方向にずらした位置を終了点として決定するのではなく、開始点として決定するようにすることもできる。このように、あるユーザ入力に対応する画像フレームの位置から時間方向にずらした位置の画像フレームを開始点、終了点および重ね合わせ方法を変更する境になるフレームとして決定すれば、ステップＳ３８０２で受理したユーザ指示が誤っていても、操作をやり直したり訂正したりする必要がなくなり、ストロボ合成にかかる時間を短縮することができる。
【０１０８】
（６）第９実施形態では、ストロボ合成と同時にストロボ合成画像を表示している。そのストロボ合成画像を記憶装置に記憶し、後でそのストロボ合成画像を再生できるようにしても良い。
【０１０９】
（第１０実施形態）図４２は、本発明の第１０実施形態に係るストロボ画像合成方法の処理の流れを示すフローチャートである。図４２において、Ｓ４６０１は時系列の画像フレームを順次入力する画像入力ステップ、Ｓ４６０２は画像入力ステップにより入力された最新のＮフレーム（Ｎは自然数）の画像フレームを保持する画像保持ステップ、Ｓ４６０３はストロボ画像合成に適合する画像フレームであるか否かを決定するストロボ画像合成適合条件によりストロボ画像合成される複数の画像フレームの基準となる基準画像フレームを検出する基準画像フレーム検出ステップ、Ｓ４６０４は基準画像フレームが検出されてから別途定めた時間が経過したときに前記画像保持ステップによって記憶された複数の画像フレームに対してストロボ画像合成処理を行う画像合成ステップ、Ｓ４６０５は前記画像合成ステップによってストロボ画像合成処理された合成画像フレームを出力する画像出力ステップである。
【０１１０】
画像入力ステップＳ４６０１は、例えばスポーツ中継でのカメラ撮影のように、ストロボ合成したい被写体を撮影して入力するステップに相当する。ここでは時系列の画像フレームが順次入力される。画像保持ステップＳ４６０２は、画像入力ステップＳ４６０１により入力された最新のＮフレームの画像フレームを保持するステップであり、例えば、限られた容量の蓄積媒体の保持内容を常に更新しながらスポーツ中継映像の例えば最新の２秒間（３０［ｆｐｓ］なら６０フレーム）を保持する。
【０１１１】
基準画像フレーム検出ステップＳ４６０３は、画像保持ステップＳ４６０２により最新のＮフレームの画像フレームが保持されている状態で、現在保持されている画像列が、ストロボ画像合成に適する画像フレームであるか否かを決定するストロボ画像合成適合条件によって、ストロボ画像合成される複数の画像フレームの基準となる基準画像フレームを検出する。例えば、野球中継の映像が画像入力ステップＳ４６０１によって入力されている場合、ストロボ合成処理を行いたい画像列はピッチャーの投球シーンや、バッターのバッティングシーン、ボールの複数画像フレームである。ここで、基準画像フレームは、ピッチャーがボールを放す瞬間のフレーム、バッターがボールを打つ瞬間のフレームに相当するのであり、その前後のフレームをストロボ画像合成することによって所望の画像を作成できる。ストロボ画像合成適合条件には、例えば、画像情報を用いた条件と、画像とは別情報を用いた条件とがある。画像情報を用いた条件では、画像内のみの情報を用いる。一方、画像とは別情報を用いた条件では、画像入力ステップと同期した別の入力ステップにより、画像とは別の情報を求める。これには、マイク、赤外線センサー、重量計、あるいは物理的スイッチが用いられる。これら２つの条件によって例えば以下のように基準画像フレームを検出できる。
【０１１２】
（画像情報を用いた条件）
・予め登録された画像と類似した画像フレームが検出されたフレームを基準画像フレームとして検出する。予め登録された画像とは、例えばインパクトの瞬間の画像フレームである。
【０１１３】
・フレーム内に予め設定された部分領域の画素値の変化が検出されたフレームを基準画像フレームとして検出する。例えば、ゴルフボールが置かれた位置を部分領域として設定し、白色の画素が緑色の画素に変化したフレームや、野球のバットが、ある領域を通過したときのフレームである。
【０１１４】
・予め設定されたマスク画像（被写体領域と背景領域とを分離抽出する際に用いられる２値画像）と類似したマスク画像が作成されたとき、このマスク画像の原画像フレームを基準画像フレームとして検出する。
【０１１５】
・画像フレームから作成されたマスク画像において、被写体領域の面積が最小となるフレームを基準画像フレームとして検出する。野球のバッティングやゴルファーのスイングは、インパクトの瞬間が被写体領域の面積が最小になる傾向にある。
【０１１６】
（画像とは別情報を用いた条件）
・予め設定された音が検出されたとき、その時点に該当するフレームを基準画像フレームとして検出する。検出音としては、野球のバッティングの打球音、ゴルフのインパクト音などである。
【０１１７】
・赤外線センサーが被検知物体を感知したとき、その時点に該当するフレームを基準画像フレームとして検出する。例えば、野球のバット、投手の腕、ゴルフクラブが既定点を通過したことが赤外線センサーにより感知された時点、ゴルフのティーや人工芝のマット上に存在したボールが存在しなくなったことが感知された時点に相当する画像フレームである。
【０１１８】
・重量の変化が感知されたとき、その時点に該当するフレームを基準画像フレームとして検出する。ゴルフのティーや人工芝のマットの重さが変化した時点のフレームは基準画像フレームに適する場合がある。
【０１１９】
・物理的スイッチが動作したとき、その時点に該当するフレームを基準画像フレームとして検出する。例えば投手がピッチングプレートに踏み込んだ時点、ゴルフのティーや人工芝のマットに圧力がかかった時点などである。
【０１２０】
画像合成ステップＳ４６０４は、基準画像フレーム検出ステップＳ４６０３によって検出された基準フレームをもとに、画像保持ステップＳ４６０２において記憶された複数の画像フレームに対してストロボ画像合成を行う。その際、基準画像フレーム検出ステップＳ４６０３が基準画像を検出した直後に、画像保持ステップＳ４６０２に記憶された複数の画像フレームに対してストロボ合成を行ってもよい。また、基準画像フレームが検出されてから別途定めた時間が経過してから、画像保持ステップＳ４６０２に記憶された複数の画像フレームに対してストロボ合成を行ってもよい。前者は、基準画像フレームが、ストロボ合成を行いたい複数のフレームの最終フレームとして検出されている場合であり、後者は、基準画像フレームが、ストロボ合成を行いたい複数のフレームの途中のフレーム（例えば、野球のバッティングやゴルフスイングのインパクトの瞬間）として検出されている場合である。また、ストロボ合成されるフレーム数は、画像保持ステップＳ４６０２に保持されている全ての画像でも良いし、別途定めたフレーム数、例えば、基準画像フレームを中心に前後Ｍフレームの（２Ｍ＋１）フレームをストロボ合成してもよい。
【０１２１】
画像出力ステップＳ４６０５では、画像合成ステップＳ４６０４によってストロボ合成処理された合成画像フレームを、ディスプレイ上や映像ファイルとして出力する。
【０１２２】
以上のようにしてストロボ画像合成に適合する画像フレームであるか否かを決定するストロボ画像合成条件をもとにストロボ画像合成される複数のフレームの基準となる基準画像フレームを検出することは、上記複数の画像フレームの区間指定を自動で行えるようになることを意味する。これにより、撮影からストロボ合成映像出力までの時間を短縮でき、オペレータの処理を介さずにストロボ合成出力を行うシステムを実現できる。
【０１２３】
（第１１実施形態）図４３は、本発明の第１１実施形態に係るストロボ画像合成方法のフローチャートである。図４３において、４７０１はストロボ合成画像のために入力され、被写体を表す複数の画像フレームからなる入力映像、４７０２は被写体の特徴点の移動軌跡を求める特徴点追跡工程、４７０３は得られた軌跡のパターンをもとにして被写体の運動解析を行う運動パターン判定工程、４７０４は運動パターン判定工程によって判定された運動パターン判定結果である。
【０１２４】
特徴点追跡工程４７０２では、入力映像４７０１において撮影されている被写体の特徴点を追跡する。これは、ユーザがポインティングデバイスを用いてマニュアルで行うことも可能であるし、画像の色情報を用いて自動的に特徴点を追跡することもできる。追跡には、例えば、特徴点の周囲の矩形領域についてその色分布ヒストグラムを作成し、フレームごとに色分布ヒストグラムが最も近い領域を探索するヒストグラムインタセクション法を用いることができる。入力映像が既にストロボ合成された映像である場合、複数の特徴点が１枚の画像フレームに合成されており、より特徴点の追跡が行いやすい。追跡された特徴点の例として、ゴルフスイング中でのクラブヘッド、及び、ゴルファーの頭頂部を追跡した結果を図４４（ａ），（ｂ）に示す。図４４（ｂ）では、図４４（ａ）に示された被写体の頭部近傍を拡大して示すものであり、ゴルファーの頭頂部の軌跡が示されている。
【０１２５】
図４５（ａ）および（ｂ）は運動パターン判定工程が実行される様子を示す図である。運動パターン判定工程４７０３では、特徴点追跡工程４７０２によって得られた特徴点の軌跡である特徴点追跡結果のパターンをもとにして被写体の運動解析を行う。なお、図４５（ａ）はクラブヘッドの運動パターンを解析する場合を示し、図４５（ｂ）はゴルファーの頭頂部の運動パターンを解析する場合を示している。図４５（ａ）および（ｂ）において、４９０１および４９０４はそれぞれ運動パターン判定工程４７０３への入力であり、特徴点追跡工程４７０２から出力された特徴点追跡結果に相当する。４９０２および４９０５は予め登録されたパターンと特徴点追跡結果のパターンとを照合して運動パターンを判定する運動パターン判定部である。また、４９０３および４９０６は運動パターン判定部４９０２および４９０５によって判定された運動解析結果の出力例である。
【０１２６】
ゴルフのクラブヘッドの軌跡のパターンは、プレイヤーを横から見た場合に、一般的にダウンスイングの最中よりフォロースルーのスイングの軌跡の方が大きくなってくれば、力の入っていない、クラブヘッドの重さを利用した良いスイングであるとされる。このような良いスイングを表すクラブヘッドの運動パターンや、悪いスイングを表すクラブヘッドの運動パターン、初心者にありがちなスイングを表すクラブヘッドの運動パターン等を運動パターン判定部４９０２にあらかじめ登録しておく。そして、運動パターンの入力４９０１について、登録された運動パターンのなかから最も類似するパターンを選択し、運動解析結果４９０３を出力する。図４５（ａ）の例では、入力された運動パターン４９０１に対して「上級者」という運動解析結果４９０３が得られている。
【０１２７】
また、ゴルファーの頭頂部の軌跡のパターンは、プレイヤーを横から見た場合、横及び縦方向へのブレが少ない方が上半身がスウェーしておらず背骨の軸の安定した良いスイングであるとされる。
【０１２８】
上級者のスイングでは、テイクバックで右足に体重が移動した状態（図４５（ｂ）中の左端へ軌跡が移動している状態４９０７）から、ボールを打つインパクトに向けて左足に体重が移動し（図中４９０８のように右側へ向けて軌跡が移動）、インパクトの直前ではクラブヘッドを加速させるために瞬間的にクラブヘッドと腕が引っ張り合い（このとき、頭頂部の軌跡は再び図中の左側へ向けて移動）、ビハインドボールの状態４９０９でインパクトを迎える。インパクト後は、自然な体重移動で左足に体重が移動していく（４９１０）。これが上級者のスイングにおける頭頂部の運動パターンである。
【０１２９】
上述のクラブヘッドの場合と同様に、上級者のスイングにおける頭頂部の運動パターンや、悪いスイングを表す頭頂部の運動パターン、初心者にありがちなスイングを表す頭頂部の運動パターン等を運動パターン判定部４９０２にあらかじめ登録しておく。そして、運動パターンの入力４９０４について、登録された運動パターンのなかから最も類似するパターンを選択し、運動解析結果４９０６を出力する。図４５（ｂ）の例では、入力された運動パターン４９０４に対して「上級者」という運動解析結果４９０３が得られている。
【０１３０】
以上説明した本実施形態によれば、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、被写体の特徴点の移動軌跡を求め、得られた軌跡のパターンをもとにして被写体の運動解析を行うことにより、ストロボ合成画像を視覚的に出力するのみならず、運動技術の向上等につながる運動解析結果を共に出力することが可能になる。
【０１３１】
（第１２実施形態）図４６は、本発明の第１２実施形態に係るストロボ画像合成方法のフローチャートである。図４６において、Ｓ５００１は撮影中の画像フレームからリアルタイムで物体領域を切り出す物体領域切り出し工程、Ｓ５００２はストロボ合成を行う基準となる画像フレームを指定する基準フレーム指定工程、Ｓ５００３は指定された基準フレームと切り出されている物体領域を用いてストロボ合成を行う画像合成工程である。
【０１３２】
まず物体領域切り出し工程Ｓ５００１では、入力された画像がストロボ合成処理を行うフレームであるか否かとは無関係に、常にリアルタイムで物体領域を切り出す。基準フレーム指定工程Ｓ５００２においては、例えばユーザのマニュアル指定、あるいは第１０実施形態で説明したような自動的な方法によってストロボ合成を行う基準となる画像フレームを指定する。画像合成工程Ｓ５００３では、指定された基準フレームと切り出されている物体領域を用いてストロボ合成を行う。上記実施形態でこれまでに説明したストロボ画像合成方法では、ストロボ合成を行う基準となる画像フレームが指定された後に、ストロボ合成の対象となる複数フレームから物体領域を切り出してストロボ合成を行っていた。これには、出力映像範囲決定から実際の映像出力までに物体領域切り出し処理時間も加算されるという問題がある。しかし、本実施形態で説明するように、常にリアルタイムで物体領域切り出し処理を行う場合、この問題を解決することができる。
【０１３３】
動画像の複数のフレームを重ね合わせてストロボ合成画像を生成するストロボ画像合成方法において、撮影中の画像フレームからリアルタイムで物体領域を切り出しながら、ストロボ合成を行う基準となる画像フレームの指定を待つ。基準画像フレームが指定されたら、この指定された基準フレーム画像と切り出されている物体領域とを用いてストロボ合成を行う。したがって、撮影からストロボ合成映像出力までの時間を大幅に短縮できる。
【０１３４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１３５】
【発明の効果】
以上説明したように、本発明によれば、ストロボ合成画像生成に必要なユーザ操作の負担を軽減し、ストロボ合成画像生成作業の所要時間を大幅に短縮できる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る画像合成装置の概略構成を示すブロック図
【図２】 フレームの重ね合わせの様子を示す図
【図３】 動きが遅い物体画像から合成したストロボ合成画像を示す図
【図４】 一部フレームを間引いて生成したストロボ合成画像を示す図
【図５】 １フレームを指定して重ね合わせ方法を変更する一連の手続きを示すフローチャート
【図６】 スライダによる注目点の選択インターフェースの一例を示す図
【図７】 合成開始点の指定のためにユーザに提示する画面の一例を示す図
【図８】 第２実施形態に係り、対象範囲を指定して重ね合わせ方法を変更する一連の手続きを示すフローチャート
【図９】 開始点および終了点の２つのフレームの選択インターフェースの一例を示す図
【図１０】 図９のインターフェースにおけるスライダ操作の様子を示す図
【図１１】 図９のインターフェースにおける終了点設定の様子を示す図
【図１２】 図９のインターフェースの詳細構成を示す図
【図１３】 図１２のインターフェースによる範囲指定を説明するための図であって、注目点を開始点まで移動させる様子を示す図
【図１４】 範囲指定における開始点の決定を示す図
【図１５】 範囲指定において注目点を終了点まで移動させる様子を示す図
【図１６】 範囲指定における終了点の決定を示す図
【図１７】 範囲指定における２つ目の開始点の設定を示す図
【図１８】 範囲指定における２つ目の開始点の設定後を示す図
【図１９】 範囲指定における２つ目の終了点の選択を示す図
【図２０】 重ね合わせ方の設定を記憶するデータ内容の一例を示す図
【図２１】 重ね合わせ方の変更例を示す図
【図２２】 第３実施形態に係るプレビュー提示インターフェースを説明するための図であって、一連の入力映像フレームを示す図
【図２３】 手動で切り出しを行うフレームの一枚を示す図
【図２４】 図２３のフレームの手動切り出し結果を示す図
【図２５】 図２５のフレームを含むストロボ合成画像の生成例を示す図
【図２６】 プレビュー提示インターフェースの一例を示す図
【図２７】 プレビュー提示インターフェースによる修正後を示す図
【図２８】 従来のクロマキー法を説明するための図
【図２９】 入力映像のフレームを示す図
【図３０】 ３つのレイヤを複製した後の映像フレームを示す図
【図３１】 レイヤを時間方向にずらした映像フレームを示す図
【図３２】 図３１の各レイヤの１フレーム目の画像を示す図
【図３３】 図３１の１フレーム目を重ね合わせたストロボ合成画像を示す図
【図３４】本発明の第４実施形態に係るストロボ画像合成方法のフローチャート
【図３５】本発明の第５実施形態に係るストロボ画像合成方法のフローチャート
【図３６】所望のストロボ合成画像をユーザに選択させるため用いられるユーザインタフェースの一例を示す図
【図３７】本発明の第８実施形態に係るストロボ画像合成方法のフローチャート
【図３８】本発明の第９実施形態に係るストロボ画像合成装置の概略構成を示すブロック図
【図３９】本発明の第６実施形態に係るストロボ画像合成方法のフローチャート
【図４０】本発明の第７実施形態に係るストロボ画像合成方法のフローチャート
【図４１】正解データ用画像から領域を自動的に切出す処理の一例を示す図
【図４２】本発明の第１０実施形態に係るストロボ画像合成方法のフローチャート
【図４３】本発明の第１１実施形態に係るストロボ画像合成方法のフローチャート
【図４４】特徴点追跡結果の例を示す図
【図４５】運動パターン判定工程が実行される様子を示す図
【図４６】本発明の第１２実施形態に係るストロボ画像合成方法の処理の流れを示すフローチャート
【符号の説明】
１…表示装置、２…中央処理装置、３…入力装置、４…主記憶装置、５…ストロボ画像合成プログラム、６、７…データ
【発明の属する技術分野】
本発明は、被写体画像の時系列を重ね合わせてストロボ合成画像を生成する画像合成方法、装置、およびプログラムに関する。
【０００２】
【従来の技術】
動画から被写体部分のみを切り出し、他の画像と重ね合わせて合成画像を生成して表示する画像処理技術は、例えば、複数の時刻に撮られた被写体画像を重ね合わせたストロボ合成画像の生成に有用である。その際、複数の被写体画像を簡単に重ねられるユーザインターフェースを提供しないと、ストロボ合成画像を容易に生成することができず多くの操作に時間を費やすこととなる。
【０００３】
従来、透明部分を持つレイヤと呼ばれる画像構成要素を複数枚重ね合わせる技術が、複数の被写体画像を重ね合わせるストロボ合成画像の生成に用いられてきた（例えば、非特許文献１参照）。まず、あらかじめ何らかの方法により、動画像から被写体画像領域のみを切り出す。これには、例えば図２８（ａ）〜（ｃ）に示すように、全面均一色の背景１００２の下で物体１００１の運動を撮影し、色成分の違いを用いて切り出しを行うクロマキー法が利用できる。そして、画像処理ソフトウェアのレイヤ機能を用い、切り出した被写体画像領域を複製して複数のレイヤとし、これら複数のレイヤを重ね合わせれば、ストロボ合成画像を得ることができる。
【０００４】
具体的には、例えば、図２９のような複数の時刻に撮られた被写体画像からなる動画像を読み込み、図３０のように複数のレイヤを作成する。次に、図３１のようにレイヤ２をレイヤ１に対して時間的にずらすとともに、これとは異なる量でレイヤ３をレイヤ１に対して時間的にずらす。この状態で１つのフレームに複数フレームを重ね合わせることができる。図３２は、図３１における３つのレイヤのある時刻のフレーム５０１であり、これら図３２の各レイヤを順に重ね合わせる様子を図３３に示す。このように、複数の時刻に撮られた被写体画像をそれぞれ別のレイヤとして編集し、重ねあわせることでストロボ合成画像を生成できる。
【０００５】
【非特許文献１】
Adobe社Premier 6.0 マニュアル第７章pp281-294
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の技術でストロボ合成画像を作成するためには、各フレームに対応するレイヤをユーザの操作によって作成し、重ね合わせ方法についてもレイヤを作成する段階の上下関係で指定するか、レイヤ作成後に各レイヤに対しユーザの操作によって、上下関係を調整する必要があった。また、従来の技術では一度ストロボ合成の対象となる画像を取り込み、ファイルに保存してからストロボ合成を行う必要があった。また、例えば、スポーツの試合など、全面均一の背景の下で撮影できない場合には、画像から被写体部分を切出すのにクロマキー法は用いることができないため、手作業で切出し作業を行わなければならず、ストロボ合成画像を作成するまでの時間が長くなってしまう。
【０００７】
ストロボ合成画像はテレビ生放送におけるスポーツ選手のフォームの解説に使われるなど、画像が得られてからストロボ合成画像を作成するまでの時間が短くなければならないことが多い。従来技術を利用してストロボ合成画像を作成するには多くの時間が必要とされ、これらの要求にこたえることができない。従って、短時間で思い通りのストロボ合成画像を生成する方法が必要とされている。
【０００８】
本発明はかかる事情を考慮してなされたものであり、ストロボ合成画像の生成時におけるユーザ操作を軽減し、画像生成作業に要する時間を短縮することのできる画像合成方法、画像合成装置、および画像合成プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る画像合成方法、装置、およびプログラムは、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成するものである。前記動画像の中から第１のフレームを選択する。次に、ストロボ合成対象の複数の画像フレームを決定する。該複数の画像フレームは、選択された前記第１のフレームの時間軸上の位置を所定数ずらした位置に相当する対象フレームを基準とする。さらに、この複数の画像フレームを重ね合わせる際の重ね合わせ方法を設定する。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照しながら説明する。
【００１１】
（第１実施形態）図１は本発明の第１実施形態に係る画像合成装置の概略構成を示すブロック図である。図１に示すように本実施形態の画像合成装置は、入力映像および該入力映像に基づくストロボ合成画像の生成、編集のための各種画面等を表示する表示装置１と、中央処理装置（ＣＰＵ）２と、キーボードやポインティングデバイス（マウス等）からなる入力装置３と、主記憶装置４とにより構成される。ストロボ画像の生成、編集のためのプログラム５、入力映像のデータ６、および生成されたストロボ画像のデータ７は、ハードディスク装置や光磁気ディスク装置等の外部記録装置に記録される。
【００１２】
このような本実施形態の画像合成装置は、汎用のコンピュータを用い、同コンピュータ上で動作するソフトウェアとして実現することができる。この場合、ストロボ画像を生成し編集するための処理を担うコンピュータプログラム５は、主記憶装置４に読み出され、中央処理装置２により実行される。なお、本実施形態の構成には、同コンピュータのハードウェアを制御したり、ファイルシステムやグラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するオペレーティング・システム（ＯＳ）も導入されている。このような構成において、上記ストロボ画像を生成し編集するための処理を担うコンピュータプログラムは、該オペレーティング・システム上で動作するアプリケーション・ソフトウェアとして組み込まれる。
【００１３】
本実施形態に係る画像合成装置の具体的な処理動作を説明する前に、まずストロボ合成の概略手順について説明する。
【００１４】
ストロボ合成において、入力画像は動画像であり、出力画像はストロボ合成された画像（動画像あるいは静止画像）である。入力動画像から出力ストロボ合成画像を生成するためには、入力画像からストロボ合成を行う被写体部分のみを切り出す被写体切り出しを行うステップと、ストロボ合成を行うためにどのフレームをどのように重ね合わせるかを表すストロボ合成対象を指示するステップの２つのステップが必要となる。この２つのステップはそれぞれ独立しており、どちらが先に実行されても良い。
【００１５】
ここで、ストロボ合成された動画像Ｙとは、入力した被写体の動画像をＸとしたとき、Ｙの第１フレームをＸの第１フレームの画像とし、Ｙの第２フレームをＹの第１フレームの上にＸの第２フレームを重ねた画像とし、Ｙの第３フレームをＹの第２フレームの上にＸの第３フレームを重ねた画像とし、さらに、Ｙの第（ｋ＋１）（ｋは自然数）フレームをＹの第ｋフレームの上にＸの第（ｋ＋１）フレームを重ねた画像とし、Ｙの各フレームに適当な時刻を与えて動画像としたものとする。このような重ね合わせの様子を図２に示す。
【００１６】
また、ここでは上に重ねるとしたが、ユーザから下重ねの指示があるフレームについては下に重ねるものとする。また、後述するような、離散的なフレームのみを用いる場合でも同様に、入力被写体画像の時系列に従い上もしくは下に重ねていく。また、入力被写体画像の時系列は被写体が撮影されたときの時系列と同じである必要はなく、例えば時系列の逆順、いわゆる逆再生であっても良い。
【００１７】
また、重ね合わせ対象とするフレームは必ずしも連続している必要はなく、離散的であっても良い。特に、Ｎフレーム（Ｎは整数）ごとに重ね合わせの対象としたいということは多いので、第Ａフレームから第ＢフレームまでＮフレームごとに重ね合わせの対象とするというユーザインターフェース（Ａ，Ｂ，Ｎは整数）を提供することもできる。
【００１８】
例えば、フレーム番号０からフレーム番号９までの１０フレームの動画像に対し、フレーム番号１、フレーム番号３、フレーム番号５、フレーム番号７、フレーム番号９のように２フレームごとに合成の対象とすることで、インタレーススキャンの動画像のうち奇数フレームのみから合成画像を生成することができる。
【００１９】
また別の例として、被写体の動きがあまり激しくないときには、例えば図３に示すように全てのフレームを合成の対象とするとストロボ合成画像がわかりにくくなる。このような場合、例えば２フレームごとに合成の対象とするといったようにある程度の間引きをすることで、図４のように得られるストロボ合成画像はわかりやすいものとなる。
【００２０】
ストロボ画像合成のためにユーザに１つのフレームを指示させ、さらに重ね合わせを指示させるためのインターフェースを説明する。このインターフェースに基づき、図５に示すような一連の手続きが実行される。
【００２１】
最初にフレーム選択入力手続き（ステップＳ１）を行い、ユーザによって１つのフレームが選択されるのを待つ。フレームが選択されたら、俗にＩＮ点、ＯＵＴ点と呼ばれるような対象フレームを算出し決定するフレームずらし手続きを行う（ステップＳ２）。その後、フレームずらし手続きによって得られた対象フレームに対し、重ね合わせ方法設定手続きを行う（ステップＳ３）。最後に、重ね合わせを行ってストロボ合成画像を得る（ステップＳ４）。
【００２２】
フレーム選択入力手続き（ステップＳ１）では、例えば図６に示すように、スライダ３２０１と選択中のフレーム３２０２を表示するインターフェースをユーザに提示する。このインターフェースにおいて、ユーザはスライダ３２０１をマウスやキーボードを操作し、所望のフレームを選択できる。
【００２３】
なお、フレーム選択入力手続きにおいて、複数のフレームを提示してもよい。例えば、図７に示すように選択中のフレーム（注目フレーム）とその前後のフレームを提示し、スライダによる選択だけでなく、フレームそのもの（１４０１〜１４０３）をクリックすることでもフレーム選択が可能なようにインターフェースを構成すれば、ユーザにとってフレーム選択操作はより直感的で使いやすいものとなる。あるいは、現在選択されたフレームにフレームずらし手続きを行ったときのフレームを提示することも好ましい。これにより、ユーザは、現在の選択内容によってどのフレームが指示されるのかを直ちに知ることができる。
【００２４】
重ね合わせ方法設定手続き（ステップＳ３）では、例えば、ステップＳ２において決定された対象フレームをストロボ合成の開始点あるいは終了点のいずれかに設定する。ある特定の開始フレームからある特定の終了フレームまでの連続したＮ枚のフレーム（Ｎは自然数）を、上に（あるいは下に）、順番に重ね合わせてストロボ合成を行う場合、開始フレームをストロボ合成の開始点とし、終了フレームをストロボ合成の終了点とする。なお、フレームは必ずしも連続している必要はなく、離散的な任意枚数のフレームについても同様に開始点と終了点を決めてよい。また、ユーザのフレーム選択に基づいて、複数のフレームずらし手続きおよび重ね合わせ方法設定手続きを同時に実行可能に構成してもよい。例えば、１つのフレーム指定から、ストロボ合成の開始点と終了点の両方を同時に決定してもよい。
【００２５】
ここで、ストロボ合成の開始点の指定方法について説明する。図７は開始点指定のためにユーザに提示する画面の一例を示している。本実施形態では、注目フレームのＮフレーム前からＭフレーム分までをストロボ合成するものとし、Ｎ、Ｍ（整数値）は予め定めておくものとする。ユーザによって注目フレーム１４０２が選択されると（この例ではフレーム（番号）７１）、Ｎフレーム前のフレーム（この例ではフレーム６５）を開始フレーム（開始点）とし、開始フレームのＭフレーム後のフレーム（この例ではフレーム７８）を終了フレーム（終了点）とする上重ねストロボ合成が指定されたものとみなす。「開始点決定」ボタンが押された時点で、合成の実行が行われる。
【００２６】
なお、「開始点決定」ボタンが押された時点で必ずしもストロボ合成の実行を開始する必要はなく、例えば開始フレームから終了フレームまでが選択された状態で「上重ね」ボタンが押されたものとみなし、合成の実行指示を待つようなインターフェースとしてもよい。また、提示する画像は、切り出された被写体であっても、切り出される前の画像であっても良い。また、上記の例では終了フレームを定義したが、Ｍを決めておかず、開始点のみを選択するようにしても良い。
【００２７】
（第２実施形態）次に、ストロボ画像合成のためにユーザに２つのフレームを指示させ、さらに重ね合わせを指示させるためのインターフェースを説明する。このインターフェースに基づき、図８に示すような一連の手続きが実行される。必要最低限のユーザ操作により速やかにストロボ合成画像を得る際には上述した第１実施形態が好ましいが、ストロボ合成の始終点（フレーム）をユーザが厳密に指定したい場合には本実施形態のインターフェースが有用である。また、本実施形態では、一度作成したストロボ合成画像について、一部のフレームについて重ね合わせ方を変更して再度、画像を生成できるものである。
【００２８】
先ず、フレーム選択入力手続きを行い、本実施形態では、ユーザから２つのフレーム（開始点、終了点）が選択されるのを待つ（ステップＳ１１）。フレームが選択されたら、選択された２つのフレーム間の各フレームを処理フレームとして、重ね合わせを行う（ステップＳ１２）。ここで、本実施形態では重ね合わせ方法を変更し（ステップＳ１３）、再度、重ね合わせを行ってストロボ合成画像を得る（ステップＳ１４）。
【００２９】
フレーム選択画面提示手続きは、例えば図９に示すように、１つのスライダ３３０１と、このスライダ３３０１によって選択されるフレーム３３０２を提示し、ユーザにスライダから２つのフレームを選択させることで実現できる。ボタン３３０３とボタン３３０４はそれぞれ現在の注目点を開始点、終了点として設定するボタンであり、図９には、ボタン３３０３を押して開始点を設定したときの状態が示されている。ユーザは、図１０に示すように、スライダ３３０１を移動させ、図１１に示すようにボタン３３０４で終了点を設定する。
【００３０】
なお、上述した第１実施形態と同様に、ユーザがスライダを用いてフレームを選択する際に、選択中のフレームのみならずその前後のフレームも提示するようにしたり、スライダによる選択以外にユーザがフレームをクリックすることによってもフレームを選択できるよう構成すれば、フレーム選択操作はより直感的で使いやすいものとなる。
【００３１】
ステップＳ１２における重ね合わせの方法としては、例えば、時刻が古いフレームから順に重ね合わせたり、逆に、新しいフレームから順に重ね合わせるなど、任意である。
【００３２】
ここで、図８のフローチャートに示した一連の手続きに関し、指定範囲について重ね合わせを行う例を説明する。
【００３３】
ユーザに提示する画面の例を図１２に示す。ここで説明するインターフェースの目的は、ユーザに、テキストつきボタン３００４により選択対象の先頭フレームの選択を行わせ、テキストつきボタン３００５により選択対象の最終フレームの選択を行わせることである。図１２において、３００１、３００３にはそれぞれボタン３００４、３００５に対応するフレームの画像が表示されており、選択中のフレームが一目でわかるようになっている。テキスト３００６には現在の注目フレームのフレーム番号、３００２にはそれに対応する画像が表示されており、ユーザはスライダ３０１３をマウス入力やキーボード入力によって左右に動かすことで、注目点の移動を行うことができる。また、ユーザはフレームの選択に先立ち、重ね合わせ方法を排他的押しボタン３０１０、３０１１を用いて指示することもできる。これらのボタンは排他的で、どれかのボタンが押されると他のボタンは押されていない状態に戻る。
【００３４】
図１３〜図１９は、図１２におけるボタン３００４、３００５、３００６、およびスライダ３０１３を抽出して示した図であり、これらの図を参照して、対象となる先頭フレームと最終フレームを選択する一連の操作手順を説明する。ボタン３００４、３００５、３００６の表示オブジェクトには、ボタンの名称を表すテキスト文字、及びフレーム位置（番号）を表す数字を表示できるようになっている（以下、これらを「テキストつきボタン」という）。なお、ボタン上の数字は、スライダ３０１３への操作、およびボタンに対する確定指示に応じて表示が更新される。
【００３５】
インターフェースがユーザに最初に提示されたとき、この時点では開始点および終了点は指定されていない状態である。この状態では図１３に示すように終了点はグレイ表示され、ボタンを押すことができないようになっている。そこで、まずユーザは図１３のように、注目点を開始点としたいフレームに移動させる。次に、ユーザは図１４に示すように、開始点のテキストつきボタン３００４を押して、現在の注目点を開始点として設定する。
【００３６】
次に、ユーザは図１５に示すように、注目点を終了点としたいフレームに移動させる。この時点では対象フレームは未確定であるため、対象フレームは薄い色として選択されている。この状態で終了点のテキストつきボタン３００５を押すと終了点が確定し、対象フレームはそのときの重ね合わせ方法を指定する排他的押しボタン３０１０、３０１１の押下状態に従い、重ね合わせ指定を受け付ける。図１６の状態でもう一度終了点のテキストつきボタン３００５を押すと確定解除となり、図１５の状態に戻る。また、図１６の状態で「合成の実行」ボタン３０１４を押せばストロボ合成が実行される。また、図１６の状態で注目フレームを再度選択し図１７のように再び開始点ボタンを押下すると、図１８に示すようにこれまでの重ね合わせ指定から引き続き、新しい区間についての別のストロボ画像のための重ね合わせを指示できるようになる。ユーザは図１９のようにこの新しい区間に対する終了点を選択し、また必要に応じ排他的押しボタン３０１０、３０１１の押下状態を変化させるなど、先ほどの対象フレーム選択と同様の操作を行って、別の対象フレームに対し重ね合わせ指示を行うことができる。
【００３７】
ボタン３００７は、現在の重ね合わせ設定を記憶装置４に記憶するためのボタンであり、図２０に示すように、現在の注目点からの相対位置のフレームに対する重ね合わせ設定が保存される。注目点を選択してボタン３０１２を押せば、保存された重ね合わせ設定が読み込まれ、適用される。このように保存しておいた設定を呼び出すようにすれば、操作時間を短縮できる。また、あらかじめ記憶しておいた設定の幾つかをリストとして用意しておき、必要に応じてそのリストを提示し、他の設定を読み込むことができるようにすれば、複数の設定を使い分けることができるようになり好ましい。
【００３８】
また、記憶装置４に記憶されている現在の重ね合わせ設定をＨＤＤ等の記録装置に記録しておき、後に、この重ね合わせ設定の内容を読み出し、別のストロボ画像の合成に適用してもよい。すなわち、後に読み出した重ね合わせ設定を、現在処理中のものとは別のフレーム群に適用して上記別のストロボ画像を合成してもよい。
【００３９】
また、それぞれ内容が異なる複数の重ね合わせ設定を上記記録装置に記録しておき、各重ね合わせ設定ごとのストロボ合成画像を一括して生成したり、ある同一の重ね合わせ設定をもとに複数のストロボ合成画像を生成してもよい。重ね合わせ設定の作業のみ行って、後に一括して画像生成処理することは作業効率向上の観点から好ましい。
次に、全フレームを上重ねとしてストロボ合成画像を一度生成・提示し、その中から、ユーザによって指示されたオブジェクトをまとめ、下重ねに変更してストロボ合成画像を再度生成するためのインターフェースについて説明する。これは、図８におけるステップＳ１３及びステップＳ１４の手続きに相当する。
【００４０】
図２１に示すように、まず、上重ねで合成画像を表示し（図２１（ａ））、その画面に対してユーザは左側３つの被写体画像のオブジェクト２１０１をそれぞれマウスポインタの左クリックにより指定する。指定されたオブジェクト２１０１には他の被写体と区別可能な着色を施すと良い（図２１（ｂ））。そして、ユーザが右クリックすると、これら選択された３つのオブジェクト２１０１が下重ねに切り替わり、図２１（ｃ）のような新たな合成画像が表示される。なお、全フレームをあらかじめ上重ねとして提示せずに、図１２のインターフェースをあらかじめ提示しておき、右クリックされたときに上重ねの部分は下重ねに、下重ねの部分は上重ねに変更することもできる。このようにすれば、おおまかな重ね方の指定とフレーム単位の重ね方の調整の２つを短時間で実現できる。
【００４１】
なお、本実施形態ではストロボ合成画像から対象フレームを選択し、別途重ね合わせ方法の変更を指定するインターフェースを説明したが、ユーザによってストロボ合成画像から対象フレームが選択された際にもその重ね合わせ順序を変更可能なインターフェースを追加すれば、ストロボ合成画像の作成、編集におけるさらなる時間短縮を実現できる。ただし、クリックの瞬間にストロボ合成画像を変化させることは、画像合成装置の高い処理能力を必要とするし、瞬時の画面変化に対応できるようオペレータが熟練を要するため、状況に応じて使い分けできるようにすると良い。
【００４２】
また、フレームの選択にスライダを用いることとして説明したが、例えばいくつかの代表フレームを提示し、これら代表フレームの中からいずれかをユーザに選択させ、選択された代表フレームに近いフレームのみを提示し、これらフレームに基づいてユーザに重ね合わせの指示を求めるようにすれば、上記のようなスライダ操作を省略できる。
【００４３】
以上説明したように、ストロボ合成に必要なユーザ操作を極めて簡略化するインターフェースが提供されることにより、ストロボ合成の実行手順が明確になりまた、ユーザに与える操作負担を大幅に軽減できる。したがって、ストロボ合成画像作成の所要時間を短縮でき、また、画像合成システムの使い勝手も向上できる。
【００４４】
（第３実施形態）次に、マニュアル操作による切り出し作業中にプレビューを提示するインターフェースを備えた第３実施形態について、図２２乃至図２７を参照して説明する。図２２に示すような入力映像について、ユーザにより被写体画像の切り出しが行われている途中の状況、具体的には、第１フレームと第２フレームの切り出しが完了し、第３フレームの切り出しが行われている状況を考える。
【００４５】
図２３に示すように、被写体画像１７０１を含まないよう被写体画像１７０２の切り出しをユーザが行っている際に、図２４に示すように画像の一部１８０１の切り出しが不正確であった場合、その影響は図２５に示すようにストロボ合成画像の一部１９０１として現れ、画質低下を招いてしまう。
【００４６】
そこで、図２６のように、入力画像や切り出し画像だけでなく、現在の切り出し画像１８０２に基づくストロボ合成後の画像１８０３を逐次合成しプレビュー表示すれば、ユーザは、不正確な切り出しが行われてストロボ合成画像に影響を与える部分を直ちに確認することができ、望みのストロボ合成画像を得るための修正が容易になる。図２７に示すように、修正後のストロボ合成画像を直ちに確認できる。
【００４７】
なお、プレビューとは、処理前に現在の指示内容に基づく処理結果を提示することであり、例えばユーザの重ね合わせフレーム選択などの入力に応じて、完成画像（静止画でも、動画でも良い）を、逐次更新しながらユーザに提示することをいう。
【００４８】
なお、入力画像、切り出し画像、ストロボ合成画像のすべてを提示する必要はなく、例えば入力画像とストロボ合成画像の２つのみを提示しても良い。また、プレビューの提示は、完全にユーザの手によって切り出しが行われる場合のみならず、ソフトウェアによって自動的あるいは半自動的に切り出しが行われた結果をユーザが修正する場合において行われても良い。
【００４９】
また、背景など時間の経過によって変化しない画像領域から被写体を切り出す場合には、不正確な切り出しが行われてもストロボ合成画像には何ら影響はないから、切り出しに手間をかける必要はない。プレビューによれば、そのことをユーザが確認できる。したがって、切り出しの手間を省いてストロボ合成画像生成の時間を短縮できる。
【００５０】
また、ユーザは編集中に最終画像を知ることができ、ストロボ合成画像が生成された後に、それがユーザの期待通りのストロボ合成画像であるかチェックする必要もなくなる。このように、プレビューとしてストロボ合成画像を逐次提示することは、切り出し画像をプレビューとして提示する以上に、ストロボ合成画像生成に要する時間短縮およびユーザの負担軽減に大いに寄与する。
【００５１】
（第４の実施形態）図３４は本発明の第４の実施形態に係るストロボ画像合成の一連の処理を示すフローチャートである。本実施形態では、動画像の撮影中にユーザによる指示（例：ボタンを押す、マウスをクリックする等）を受けると、そのタイミングを考慮した所望の合成画像を生成する。入力デバイスとしては例えば動画を撮影するカメラをストロボ合成システムに接続して用いる。以下、第４の実施形態を実施するシステムを１指示型ストロボ合成システムと呼ぶ。あらかじめ、動画像を保存するためのキュー（先入れ先だしバッファ）を用意しておく。なお、キューに代えて多段遅延回路を用いることができる。
【００５２】
１指示型ストロボ合成システムは、ユーザ入力による指示がない限り、図３４に示すＳ３４０１〜Ｓ３４０２のステップを繰り返す。すなわち、入力デバイスから次の画像フレームを取り込む画像入力ステップ（Ｓ３４０１）と、キューの先頭フレームを破棄して１フレーム分シフトし、最終フレームに取り込んだフレームを追加する画像保持ステップ（Ｓ３４０２）を繰り返す。
【００５３】
ここで、ユーザ入力による指示（Ｓ３４０３：ユーザ入力ステップ）を検出すると、１指示型ストロボ合成システムは、ユーザ入力があった時刻から所定時間が経過した時に少なくとも一度の通知（タイムアウト）を発するタイマをセットし（Ｓ３４０４）、Ｓ３４０１〜Ｓ３４０２の処理を続ける。タイマからの通知があった時点（Ｓ３４０５）で、キューに保存されている画像を用いてストロボ合成を行い（Ｓ３４０６：画像合成ステップ）、合成画像を出力する（Ｓ３４０７：画像出力ステップ）。本実施形態によれば、ユーザによる指示は１回だけで済むので、ユーザによる負担を大幅に軽減し、ストロボ合成画像生成作業の所要時間の大幅な短縮が可能となる。
【００５４】
（第５の実施形態）図３５は第５の実施形態に係るストロボ画像合成の一連の処理を示すフローチャートである。本実施形態は、ストロボ合成を行うにあたり重要なフレーム（「特徴画像フレーム」という）を動画像の撮影中に自動的に検出し、そのタイミングを考慮した所望の合成画像を生成する。このような第５の実施形態のシステムを「全自動ストロボ合成システム」と呼ぶことにする。
【００５５】
上述の第４実施形態と同様に、動画像を保存するためのキュー（先入れ先だしバッファ）を用意しておく。本実施形態に係る全自動ストロボ合成システムは、次に示すＳ３５０１〜Ｓ３５０３のステップを繰り返す。すなわち、入力デバイスから次の画像フレームを取り込む画像入力ステップ（Ｓ３５０１）と、キューの先頭フレームを破棄して１フレーム分シフトし、最終フレームに取り込んだフレームを追加する画像保持ステップ（Ｓ３５０２）、特徴画像フレームが存在するか否かをチェックする特徴画像フレーム検出ステップ（Ｓ３５０３）である。
【００５６】
ここで、特徴画像フレームが存在すると、全自動ストロボ合成システムは特徴フレームの検出時刻から所定時間が経過した時に１度だけ通知（タイムアウト）を発するタイマをセットし（Ｓ３５０４）、Ｓ３５０１〜Ｓ３５０３の処理を続ける。タイマからの通知があった時点で（Ｓ３５０５）、キューに保存されている画像を用いてストロボ合成を行い（Ｓ３５０６：画像合成ステップ）、合成画像を出力する（Ｓ３５０７：画像出力ステップ）。
【００５７】
このような本実施形態によれば、ユーザによる指示を完全に省略でき、ストロボ合成画像生成作業の所要時間を上述の第４実施形態よりもさらに短縮できる。なお、ユーザの指示あるいは特徴画像フレームの検出を行う第４および第５実施形態においては、タイマを用いる例を示したが、時刻を一定時間間隔で記録し、所定時間の経過を判定するようにしてもよい。全自動ストロボ合成システムにおいて、特徴画像フレームをどのように定め、これをどのように検出するかについては種々考えられる。ゴルフのティーショットにおけるストロボ合成画像を例にとって説明する。ストロボ画像合成適合条件としては、例えば次のようなものが考えられる。
【００５８】
（１）ティーショット時に発生する音を検出し、音が検出された画像フレームを特徴画像フレームとする。
（２）特徴画像フレームにおける被写体の形状（テンプレート）をあらかじめ準備しておき、画像フレームごとに被写体領域の抽出を行い、被写体の形状がテンプレートと十分に似ていると判断できるときにそれを特徴画像フレームとする。
（３）特徴画像フレームとその前後数フレームの被写体のテンプレートをあらかじめ準備し、画像フレームごとに被写体領域の抽出を行い、連続する数フレームの被写体の形状がテンプレートと十分に似ていると判断できるときにそれを特徴画像フレームとする。
（４）画像フレームごとに被写体領域の面積を算出し、連続する数フレームの面積の最大値と最小値の差（ピーク・ピーク値）を求め、ピーク・ピーク値が別途定めた値を超えるときに、面積の最大値（最小値でも良い）を与えるフレームを特徴画像フレームとする。
【００５９】
なお、被写体領域の抽出においては、例えば、あらかじめ単色の背景を用意しておき、背景色とは異なる色領域を被写体領域とするクロマキー法を用いることができる。被写体領域の面積算出においては、例えばクロマキー法を用いて被写体領域を抽出し、その領域の画素数を算出してこれを面積とすれば良い。また、テンプレート画像との類似度を判断する基準として、例えば、テンプレートの被写体領域の面積Ｓｔ、抽出された被写体領域の面積Ｓｅ、テンプレートの被写体領域と抽出された被写体領域が重なる領域の面積Ｓｃをそれぞれ算出し、（Ｓｃ／Ｓｔ）と（Ｓｃ／Ｓｅ）との２つの値において小さい方の値がしきい値以上である場合に十分に近いと判断すれば良い。
【００６０】
これらの方法から、目標とするストロボ合成の被写体に適した方法をあらかじめ選択しておき、選択された方法で特徴画像フレームを検出すれば、特徴画像フレームの検出精度が向上する。したがって、全自動ストロボ合成システムの有用性も向上する。その結果、ストロボ合成画像生成作業の所要時間の短縮を実現できる。
【００６１】
（プリセットを提示）
１指示型ストロボ合成システムあるいは全自動ストロボ合成システムにおいて、生成されるストロボ合成の品質は入力画像の種類、ストロボ合成のアルゴリズムに依存する。例えば、クロマキー法によって対象となる各フレームの被写体領域を抽出する場合には、色空間においてどの範囲を背景色とみなすかを設定するしきい値を制御する必要がある。クロマキー法におけるしきい値のようなパラメータを、ユーザ設定が可能とすれば高い品質を得ることができる。しかし、ストロボ合成時にその都度パラメータを設定するのではユーザの操作負担が増し、ストロボ合成に要する作業時間が増大してしまう。そこで、あらかじめ何種類かのパラメータを準備しておき、使用するパラメータをストロボ合成前にユーザが選択できるようにすることが好ましい。これにより、ストロボ合成画像の品質を向上できるとともに作業を効率化できる。
【００６２】
（ストロボの最終フレームまたは再生動画を提示）
また、入力画像によっては、ストロボ合成のパラメータをあらかじめ決定しておくことが困難な場合がある。その場合、候補となるパラメータを数種類に限定し、それらすべてに対してストロボ合成を行い、その結果を提示してユーザに選択させることで、ユーザは所望の出力画像を得ることができる。例えばマウスと画面を用いたユーザインターフェースにおいては、図３６のように、３通りのパラメータでストロボ合成を行い、３６０１、３６０２、３６０３に提示されたストロボ合成の最終フレームから、マウス操作によって所望のストロボ合成画像をユーザに選択させる。なお、最終フレームを提示する代わりにストロボ合成された動画像を再生しても良い。この方法によれば、ユーザによるパラメータ設定なくしては十分な品質を達成できないような場合であっても、その作業を最小限にとどめることができ、その結果ストロボ合成に要する時間を短縮できる。
【００６３】
（第６実施形態）図３９は、本発明の第６実施形態に係るストロボ画像合成のフローチャートである。本実施形態では、ストロボ画像合成に用いられる自動切出しパラメータを予め決定しておくものである。本実施形態では、スポーツの試合を例に挙げ、その試合中にスポーツ選手を撮影してストロボ画像を合成する場合について説明する。
【００６４】
まず、試合前に選手（被写体）の動画像を正解データ用に撮影してパソコンに取り込んでおく（Ｓ４１０１）。次に、その動画像をパソコンのディスプレイに１フレームずつ静止させて表示し、フレーム毎に選手の領域を正確にマウスなどを用いて入力する（Ｓ４１０２）。そして、選手の領域を切出した画像を１フレームずつ上重ねしながら合成することでストロボ合成画像を生成する（Ｓ４１０３）。これは極めて合成品質の高いストロボ合成画像であり、これを正解ストロボ合成画像と呼ぶ。
【００６５】
次に、同じ正解データ用画像から選手の領域を自動的に切出す。切出し手法の例を図４１に示す。切出しの対象フレーム４３０１と別の参照フレーム４３０２との間で輝度の差を求める。このフレーム間差分がしきい値よりも大きい場合にはオブジェクト領域、そうでない場合には背景領域と判定してアルファマスク４３０３を生成する。アルファマスクは、オブジェクト領域と背景領域との２値から成るビットマップである。
【００６６】
次に、異なる参照フレーム４３０４との差によるアルファマスク４３０５を複数生成し、オブジェクト領域の論理積を求めることで正確なオブジェクト領域のアルファマスク４３０６を得る。最後に、文献「自己相似写像による輪郭線のフィッティング」(井田、他、第５回画像センシングシンポジウム講演論文集,C-15, pp.115-120, June 1999.）に記載された手法などを用いて輪郭フィッティングをすれば、さらに正確なアルファマスク４３０７が得られる。輪郭フィッティングは、誤りの大きい輪郭から、より誤りの少ない輪郭を得る輪郭抽出処理である。
【００６７】
本実施形態に係る以上のような切出し手法の場合、オブジェクト領域か背景領域かを判定するしきい値や、対象フレームと参照フレームのフレーム間隔、輪郭フィッティングの強度などが切出しのパラメータである。
【００６８】
切出しのパラメータを仮にある値に設定し、選手領域を切出す（Ｓ４１０４）。そして、選手領域の切出し結果に基づいて仮のストロボ合成画像を生成する（Ｓ４１０５）。仮のストロボ合成画像は、一般に、正解ストロボ合成画像よりも合成品質が劣る。その程度を測るために、正解ストロボ合成画像に対する仮のストロボ合成画像の誤差を算出する（Ｓ４１０６）。パラメータとしては、予め幾つかの組合せを決めておき、その組合せの範囲で切替えながら、Ｓ４１０４からＳ４１０６を繰り返せばよい。つまり、予め決めたパラメータを全て実行した場合は次に進み、そうでない場合はＳ４１０４に戻る（Ｓ４１０７）。
【００６９】
全てのパラメータについて上述のステップＳ４１０４〜Ｓ４１０６を繰り返した後に、正解ストロボ合成画像に対する仮のストロボ合成画像の誤差が最も小さかったパラメータを、その後に適用されるパラメータとして正式に決定する（Ｓ４１０８）。ここで決定されたパラメータを本実施形態では実行パラメータと称する。そして、試合中に撮影する正解データ用画像以外の画像から、その実行パラメータを用いて切出しを行い（Ｓ４１０９）、ストロボ合成画像を生成する（Ｓ４１１０）。
【００７０】
切出しパラメータの最適な値は、選手のユニフォームの色や、背景の色、カメラの撮影時に発生するノイズの特徴などの環境変化に依存する。しかし、同じ試合中であれば、これらの環境は一定であり、パラメータ値を切替えなくても良好な合成が可能である。本実施形態によれば、試合中も良好な合成画像が得られるパラメータ値を決定することができる。これによって、手作業を要しない自動的な合成が可能となり、ストロボ合成画像を短時間で生成できる。
【００７１】
なお、誤差の評価対象として、切出した領域の形状ではなく、合成画像を用いるのが本実施形態の特徴である。これは、第３実施形態で述べたように、ストロボ画像合成の場合、領域の形状が誤っていても合成画像には影響ないことがあるからである。本当は背景の部分であるところを仮に選手の領域として検出したとしても、元々背景である部分に同じ背景が上書きされるだけで変化がなく、ここが選手領域として検出されなかった場合と同じ合成結果になる。また、誤差としては、例えば、対応するフレーム間で差分を求め、その絶対値の和や２乗和を用いることができる。
【００７２】
（第７実施形態）図４０は本発明の第７実施形態に係るストロボ画像合成装置の概略構成を示すブロック図である。第７実施形態は第６実施形態において説明したストロボ画像合成の一連の処理を実行する具体的装置に関する。
【００７３】
撮影された画像４２０１が入力され、例えばパソコンの場合、半導体記憶素子や、磁気記録装置などの記憶手段４２０２に保持される。画像４２０３は正解データ用画像として正解被写体領域を設定する設定部４２０４に送られる。ここでは、例えば、画像４２０３がパソコンのディスプレイに表示され、使用者がマウスなどを用いて被写体の領域を正確に入力する。その領域で切出された正解被写体画像４２０５は合成部４２０６に送られる。合成部４２０６は被写体画像４２０５を時間順に上書きし、正解ストロボ合成画像４２０７を保持部４２０８に送る。
【００７４】
一方、画像４２０３は被写体領域の検出回路４２１２にも送られる。検出部４２１２では、パラメータ設定部４２１０から送られる切出しパラメータ値４２１１に基づいて被写体領域が検出され、その領域で切出された被写体画像４２１３が合成部４２１４に送られる。合成部４２１４は、被写体画像４２１３を時間順に上書きし、ストロボ合成画像４２１５を誤差検出部４２１６に送る。また、記憶部４２０８から正解ストロボ合成画像４２０７が誤差検出部４２１６に送られる。誤差検出部４２１６は、正解ストロボ合成画像４２０７とストロボ合成画像４２１５との誤差４２１７を計算する。この誤差４２１７はパラメータ設定部４２１０に送られる。
【００７５】
パラメータ設定部４２１０は、パラメータ値４２１１を逐次切替え、その結果得られる誤差４２１７を調べ、該誤差４２１７が最小となるパラメータ値を求める。別の画像４２０１が入力された場合は、そのパラメータ値４２１１が検出部４２１２に送られ、検出部４２１２は、記憶部４２０２から読み出した画像４２０１から被写体領域を検出する。被写体画像４２１３は合成部４２１４によりストロボ画像合成される。このストロボ合成画像４２１５は外部に出力される。
【００７６】
このような構成とすれば、２回目以降に入力される画像からは自動的な処理となり、ストロボ合成画像を短時間で生成できる。
【００７７】
（第８実施形態）本発明の第８実施形態は、ユーザが被写体動画像のスロー再生映像を見ながら、ストロボ画像の合成に用いられる画像フレームを選択できるように構成されている。第８実施形態は、図３７に示す一連の手続きに従って、ステップＳ３７０１から実行される。各ステップで実行される内容を説明する前に「重ね合わせ方法切り替えフレーム」なる用語を次のように用いる。すなわち、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を切り替える画像フレームを「重ね合わせ方法切り替えフレーム」と呼ぶことにする。各ステップで実行される内容は以下の通りである。
【００７８】
ステップＳ３７０１：１つの画像フレームを取り込んで表示する。その後、ステップＳ３７０２へ進む。
【００７９】
ステップＳ３７０２：ユーザによる画像フレーム選択の指示を受け付ける。所定の時間内に指示がない場合、ステップＳ３７０１に戻る。指示があった場合はステップＳ３７０３へ進む。
【００８０】
ステップＳ３７０３：ステップＳ３７０２で受け付けたユーザ指示の直前にステップＳ３７０１で表示した画像フレームを重ね合わせ方法切り替えフレームとして決定し、その重ね合わせ方法切り替えフレームの位置から時間方向にあらかじめ定めた数だけずらした位置を開始点として決定し、別途定めた数だけずらした位置を終了点として決定し、開始点から終了点までの画像フレームの中の所定数間隔の画像フレームをストロボ合成の対象とする対象画像フレームとして決定する。その後、ステップＳ３７０４へ進む。
【００８１】
ステップＳ３７０４：ステップＳ３７０３で決定したストロボ合成の対象とする画像フレームのうち、まだ取り込んでいない画像フレームがある場合は、それらを取り込む。その後、ステップＳ３７０５へ進む。
【００８２】
ステップＳ３７０５：ステップＳ３７０３で決定したストロボ合成の対象とする画像フレームを重ね合わせてストロボ合成する。そして、この一連の手続きを終了する。
【００８３】
従来、ユーザが被写体の動画像に固有のフレームレートでの再生映像を見ながら所望の画像フレームを選択しようとしても、それを正確に選択できない場合が多かったが、この実施形態により、正確に選択できるようになる。その結果として、ストロボ合成画像生成までの時間を短縮できる。
【００８４】
なお、本実施形態は次のように変形することができる。
【００８５】
（１）ステップＳ３７０２で受け付ける指示をユーザが誤って出してしまった場合、前記一連の手続きを終了して再びやり直さないと誤りを訂正することができない。そのような誤りを訂正できるようにするため、ユーザが誤りに気づいた時点で表示されている画像を過去に表示された画像に戻して、誤ってしまった操作を過去に遡ってやり直すことができるようにすることが好ましい。
【００８６】
（２）ステップＳ３７０１では画像を表示している。ここで、画像の表示時間をユーザが決定できるようにすれば、ステップＳ３７０２で受け付ける指示のユーザによる誤りを減らすことができる。また、画像表示中にその表示時間を変更できるようにするのもよい。
【００８７】
（３）ステップＳ３７０１において１つの画像フレームを逐次的に取り込み、ステップＳ３８０４でもまた必要数の画像フレームを取り込んでいる。これに代えて、例えば画像フレームを一括で取り込んでも良く、ステップ３７０１で複数の画像フレームを取り込むようにしても良い。
【００８８】
（４）ステップＳ３７０２で受け取ったユーザ指示に従い、ステップＳ３７０３で重ね合わせ方法切り替えフレーム、開始点および終了点を決定している。その際、ユーザ指示に対応する画像フレームを重ね合わせ方法切り替えフレームとして決定する。これは、例えばユーザ指示に対応する画像フレームを開始点や終了点として決定してもよい。
【００８９】
（５）上重ね合成と下重ね合成とを切り替える必要がない場合には、重ね合わせ方法切り替えフレームを決定する必要がないため、ユーザ指示に対応する画像フレームを基準にして開始点と終了点を自動的に決定しても良い。このようにすれば、ユーザ操作の回数を減らすことができ、ストロボ合成画像を生成するまでの時間を短縮することができる。
【００９０】
（６）ステップＳ３７０２で受け取った１回のユーザ指示に従い、重ね合わせ方法切り替えフレーム、開始点および終了点を決定しているが、例えば、ユーザ所望のストロボ合成画像を得るためには、１回のユーザ指示で複数ではなく１つの画像フレームを決定しても良い。これは、１回のユーザ指示では十分な品質のストロボ合成画像を生成することができない場合に有効であり、より多くの画像に対して本実施形態を適用できる。
【００９１】
（７）開始点のみが決定していて終了点が未定の状況において、開始点決定直後にステップＳ３７０５の実行を開始した場合、終了点決定からストロボ合成終了までの時間を短縮することができる。
【００９２】
（第９実施形態）本発明の第９実施形態は、ユーザが被写体ストロボ合成動画像の再生映像を見ながら画像フレームを選択できるようにしたものである。第９実施形態は、図３８に示す一連の手続きに従って実行される。この一連の手続きはステップＳ３８０１から実行される。各ステップで実行される内容は以下の通りである。
【００９３】
ステップＳ３８０１：１つの画像フレームを取り込んで表示する。その後、ステップＳ３８０２へ進む。
【００９４】
ステップＳ３８０２：ユーザによるストロボ合成開始の指示を受け付ける。所定の時間内に開始の指示がない場合、ステップＳ３８０１に戻る。あるいは、開始しないという指示があった場合、ステップＳ３８０１に戻る。開始の指示があった場合、ステップＳ３８０３へ進む。
【００９５】
ステップＳ３８０３：１つの画像フレームを取り込む。その後、ステップＳ３８０４へ進む。
【００９６】
ステップＳ３８０４：画像フレームを重ね合わせてストロボ合成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を変更するかどうかのユーザ指示を受け付ける。変更の指示があった場合、ステップＳ３８０５へ進む。所定の時間内に変更の指示がない場合、ステップＳ３８０６へ進む。あるいは、変更しないという指示があった場合、ステップＳ３８０６へ進む。
【００９７】
ステップＳ３８０５：画像フレームを重ね合わせてストロボ合成する際に、上重ね合成するのか下重ね合成するのかという重ね合わせ方法を変更する。その後、ステップＳ３８０６へ進む。
【００９８】
ステップＳ３８０６：画像フレームを重ね合わせ方法に従って重ね合わせてストロボ合成する。その後、ステップＳ３８０７へ進む。
【００９９】
ステップＳ３８０７：ステップＳ３８０６で合成したストロボ合成画像を表示する。その後、ステップＳ３８０８へ進む。
【０１００】
ステップＳ３８０８：ストロボ合成を終了するかどうかのユーザ指示を受け付ける。所定の時間内に終了の指示がない場合、ステップＳ３８０３に戻る。あるいは、終了しないという指示があった場合、ステップＳ３８０３に戻る。終了の指示があった場合、前記一連の手続きを終了する。
【０１０１】
本実施形態によれば、ストロボ合成、ストロボ合成動画像の再生、および画像フレーム選択を同時に行えるので、ユーザ所望のストロボ合成が完了するまでの時間を短縮できる。
【０１０２】
なお、第９実施形態は次のように改良することができる。
【０１０３】
（１）ステップＳ３８０２、ステップＳ３８０４、およびステップＳ３８０８で受理する指示をユーザが誤って出してしまった場合、前記一連の手続きを終了して再びやり直さないと誤りを訂正することができない。そのような誤りを訂正できるようにするため、ユーザが誤りに気づいた時点で表示されている画像を過去に表示された画像に戻して、誤ってしまった操作を過去に遡ってやり直すことができるようにする。
【０１０４】
（２）ステップＳ３８０１とステップＳ３８０７で画像を表示している。これらの画像を表示する時間をユーザが決定できるようにすれば、ステップＳ３８０２、ステップＳ３８０４およびステップＳ３８０８で受け付ける指示のユーザによる誤りを減らすことができる。また、画像表示中にその表示時間を変更できるようにするのもよい。
【０１０５】
（３）ステップＳ３８０１とステップＳ３８０３においてそれぞれ１つの画像フレームを逐次的に取り込んでいるが、例えば、画像フレームを一括で取り込んでも良いし、ステップ３８０１やステップＳ３８０３で複数の画像フレームを取り込むようにしても良い。
【０１０６】
（４）ステップＳ３８０４でユーザ指示を受け取った場合、ストロボ合成の際の重ね合わせ方法を変更するようにしている。そのユーザ指示に対応する画像フレームの位置から時間方向にずらした位置を終了点として決定しても良い。その場合、終了点を重ね合わせ合成し、そのストロボ合成画像を表示した時点で前記一連の手続きを終了する。これにより、ユーザによる指示を１回分減らすことができ、ストロボ合成終了までの時間を短縮できる。
【０１０７】
（５）時間方向にずらした位置を終了点として決定するのではなく、開始点として決定するようにすることもできる。このように、あるユーザ入力に対応する画像フレームの位置から時間方向にずらした位置の画像フレームを開始点、終了点および重ね合わせ方法を変更する境になるフレームとして決定すれば、ステップＳ３８０２で受理したユーザ指示が誤っていても、操作をやり直したり訂正したりする必要がなくなり、ストロボ合成にかかる時間を短縮することができる。
【０１０８】
（６）第９実施形態では、ストロボ合成と同時にストロボ合成画像を表示している。そのストロボ合成画像を記憶装置に記憶し、後でそのストロボ合成画像を再生できるようにしても良い。
【０１０９】
（第１０実施形態）図４２は、本発明の第１０実施形態に係るストロボ画像合成方法の処理の流れを示すフローチャートである。図４２において、Ｓ４６０１は時系列の画像フレームを順次入力する画像入力ステップ、Ｓ４６０２は画像入力ステップにより入力された最新のＮフレーム（Ｎは自然数）の画像フレームを保持する画像保持ステップ、Ｓ４６０３はストロボ画像合成に適合する画像フレームであるか否かを決定するストロボ画像合成適合条件によりストロボ画像合成される複数の画像フレームの基準となる基準画像フレームを検出する基準画像フレーム検出ステップ、Ｓ４６０４は基準画像フレームが検出されてから別途定めた時間が経過したときに前記画像保持ステップによって記憶された複数の画像フレームに対してストロボ画像合成処理を行う画像合成ステップ、Ｓ４６０５は前記画像合成ステップによってストロボ画像合成処理された合成画像フレームを出力する画像出力ステップである。
【０１１０】
画像入力ステップＳ４６０１は、例えばスポーツ中継でのカメラ撮影のように、ストロボ合成したい被写体を撮影して入力するステップに相当する。ここでは時系列の画像フレームが順次入力される。画像保持ステップＳ４６０２は、画像入力ステップＳ４６０１により入力された最新のＮフレームの画像フレームを保持するステップであり、例えば、限られた容量の蓄積媒体の保持内容を常に更新しながらスポーツ中継映像の例えば最新の２秒間（３０［ｆｐｓ］なら６０フレーム）を保持する。
【０１１１】
基準画像フレーム検出ステップＳ４６０３は、画像保持ステップＳ４６０２により最新のＮフレームの画像フレームが保持されている状態で、現在保持されている画像列が、ストロボ画像合成に適する画像フレームであるか否かを決定するストロボ画像合成適合条件によって、ストロボ画像合成される複数の画像フレームの基準となる基準画像フレームを検出する。例えば、野球中継の映像が画像入力ステップＳ４６０１によって入力されている場合、ストロボ合成処理を行いたい画像列はピッチャーの投球シーンや、バッターのバッティングシーン、ボールの複数画像フレームである。ここで、基準画像フレームは、ピッチャーがボールを放す瞬間のフレーム、バッターがボールを打つ瞬間のフレームに相当するのであり、その前後のフレームをストロボ画像合成することによって所望の画像を作成できる。ストロボ画像合成適合条件には、例えば、画像情報を用いた条件と、画像とは別情報を用いた条件とがある。画像情報を用いた条件では、画像内のみの情報を用いる。一方、画像とは別情報を用いた条件では、画像入力ステップと同期した別の入力ステップにより、画像とは別の情報を求める。これには、マイク、赤外線センサー、重量計、あるいは物理的スイッチが用いられる。これら２つの条件によって例えば以下のように基準画像フレームを検出できる。
【０１１２】
（画像情報を用いた条件）
・予め登録された画像と類似した画像フレームが検出されたフレームを基準画像フレームとして検出する。予め登録された画像とは、例えばインパクトの瞬間の画像フレームである。
【０１１３】
・フレーム内に予め設定された部分領域の画素値の変化が検出されたフレームを基準画像フレームとして検出する。例えば、ゴルフボールが置かれた位置を部分領域として設定し、白色の画素が緑色の画素に変化したフレームや、野球のバットが、ある領域を通過したときのフレームである。
【０１１４】
・予め設定されたマスク画像（被写体領域と背景領域とを分離抽出する際に用いられる２値画像）と類似したマスク画像が作成されたとき、このマスク画像の原画像フレームを基準画像フレームとして検出する。
【０１１５】
・画像フレームから作成されたマスク画像において、被写体領域の面積が最小となるフレームを基準画像フレームとして検出する。野球のバッティングやゴルファーのスイングは、インパクトの瞬間が被写体領域の面積が最小になる傾向にある。
【０１１６】
（画像とは別情報を用いた条件）
・予め設定された音が検出されたとき、その時点に該当するフレームを基準画像フレームとして検出する。検出音としては、野球のバッティングの打球音、ゴルフのインパクト音などである。
【０１１７】
・赤外線センサーが被検知物体を感知したとき、その時点に該当するフレームを基準画像フレームとして検出する。例えば、野球のバット、投手の腕、ゴルフクラブが既定点を通過したことが赤外線センサーにより感知された時点、ゴルフのティーや人工芝のマット上に存在したボールが存在しなくなったことが感知された時点に相当する画像フレームである。
【０１１８】
・重量の変化が感知されたとき、その時点に該当するフレームを基準画像フレームとして検出する。ゴルフのティーや人工芝のマットの重さが変化した時点のフレームは基準画像フレームに適する場合がある。
【０１１９】
・物理的スイッチが動作したとき、その時点に該当するフレームを基準画像フレームとして検出する。例えば投手がピッチングプレートに踏み込んだ時点、ゴルフのティーや人工芝のマットに圧力がかかった時点などである。
【０１２０】
画像合成ステップＳ４６０４は、基準画像フレーム検出ステップＳ４６０３によって検出された基準フレームをもとに、画像保持ステップＳ４６０２において記憶された複数の画像フレームに対してストロボ画像合成を行う。その際、基準画像フレーム検出ステップＳ４６０３が基準画像を検出した直後に、画像保持ステップＳ４６０２に記憶された複数の画像フレームに対してストロボ合成を行ってもよい。また、基準画像フレームが検出されてから別途定めた時間が経過してから、画像保持ステップＳ４６０２に記憶された複数の画像フレームに対してストロボ合成を行ってもよい。前者は、基準画像フレームが、ストロボ合成を行いたい複数のフレームの最終フレームとして検出されている場合であり、後者は、基準画像フレームが、ストロボ合成を行いたい複数のフレームの途中のフレーム（例えば、野球のバッティングやゴルフスイングのインパクトの瞬間）として検出されている場合である。また、ストロボ合成されるフレーム数は、画像保持ステップＳ４６０２に保持されている全ての画像でも良いし、別途定めたフレーム数、例えば、基準画像フレームを中心に前後Ｍフレームの（２Ｍ＋１）フレームをストロボ合成してもよい。
【０１２１】
画像出力ステップＳ４６０５では、画像合成ステップＳ４６０４によってストロボ合成処理された合成画像フレームを、ディスプレイ上や映像ファイルとして出力する。
【０１２２】
以上のようにしてストロボ画像合成に適合する画像フレームであるか否かを決定するストロボ画像合成条件をもとにストロボ画像合成される複数のフレームの基準となる基準画像フレームを検出することは、上記複数の画像フレームの区間指定を自動で行えるようになることを意味する。これにより、撮影からストロボ合成映像出力までの時間を短縮でき、オペレータの処理を介さずにストロボ合成出力を行うシステムを実現できる。
【０１２３】
（第１１実施形態）図４３は、本発明の第１１実施形態に係るストロボ画像合成方法のフローチャートである。図４３において、４７０１はストロボ合成画像のために入力され、被写体を表す複数の画像フレームからなる入力映像、４７０２は被写体の特徴点の移動軌跡を求める特徴点追跡工程、４７０３は得られた軌跡のパターンをもとにして被写体の運動解析を行う運動パターン判定工程、４７０４は運動パターン判定工程によって判定された運動パターン判定結果である。
【０１２４】
特徴点追跡工程４７０２では、入力映像４７０１において撮影されている被写体の特徴点を追跡する。これは、ユーザがポインティングデバイスを用いてマニュアルで行うことも可能であるし、画像の色情報を用いて自動的に特徴点を追跡することもできる。追跡には、例えば、特徴点の周囲の矩形領域についてその色分布ヒストグラムを作成し、フレームごとに色分布ヒストグラムが最も近い領域を探索するヒストグラムインタセクション法を用いることができる。入力映像が既にストロボ合成された映像である場合、複数の特徴点が１枚の画像フレームに合成されており、より特徴点の追跡が行いやすい。追跡された特徴点の例として、ゴルフスイング中でのクラブヘッド、及び、ゴルファーの頭頂部を追跡した結果を図４４（ａ），（ｂ）に示す。図４４（ｂ）では、図４４（ａ）に示された被写体の頭部近傍を拡大して示すものであり、ゴルファーの頭頂部の軌跡が示されている。
【０１２５】
図４５（ａ）および（ｂ）は運動パターン判定工程が実行される様子を示す図である。運動パターン判定工程４７０３では、特徴点追跡工程４７０２によって得られた特徴点の軌跡である特徴点追跡結果のパターンをもとにして被写体の運動解析を行う。なお、図４５（ａ）はクラブヘッドの運動パターンを解析する場合を示し、図４５（ｂ）はゴルファーの頭頂部の運動パターンを解析する場合を示している。図４５（ａ）および（ｂ）において、４９０１および４９０４はそれぞれ運動パターン判定工程４７０３への入力であり、特徴点追跡工程４７０２から出力された特徴点追跡結果に相当する。４９０２および４９０５は予め登録されたパターンと特徴点追跡結果のパターンとを照合して運動パターンを判定する運動パターン判定部である。また、４９０３および４９０６は運動パターン判定部４９０２および４９０５によって判定された運動解析結果の出力例である。
【０１２６】
ゴルフのクラブヘッドの軌跡のパターンは、プレイヤーを横から見た場合に、一般的にダウンスイングの最中よりフォロースルーのスイングの軌跡の方が大きくなってくれば、力の入っていない、クラブヘッドの重さを利用した良いスイングであるとされる。このような良いスイングを表すクラブヘッドの運動パターンや、悪いスイングを表すクラブヘッドの運動パターン、初心者にありがちなスイングを表すクラブヘッドの運動パターン等を運動パターン判定部４９０２にあらかじめ登録しておく。そして、運動パターンの入力４９０１について、登録された運動パターンのなかから最も類似するパターンを選択し、運動解析結果４９０３を出力する。図４５（ａ）の例では、入力された運動パターン４９０１に対して「上級者」という運動解析結果４９０３が得られている。
【０１２７】
また、ゴルファーの頭頂部の軌跡のパターンは、プレイヤーを横から見た場合、横及び縦方向へのブレが少ない方が上半身がスウェーしておらず背骨の軸の安定した良いスイングであるとされる。
【０１２８】
上級者のスイングでは、テイクバックで右足に体重が移動した状態（図４５（ｂ）中の左端へ軌跡が移動している状態４９０７）から、ボールを打つインパクトに向けて左足に体重が移動し（図中４９０８のように右側へ向けて軌跡が移動）、インパクトの直前ではクラブヘッドを加速させるために瞬間的にクラブヘッドと腕が引っ張り合い（このとき、頭頂部の軌跡は再び図中の左側へ向けて移動）、ビハインドボールの状態４９０９でインパクトを迎える。インパクト後は、自然な体重移動で左足に体重が移動していく（４９１０）。これが上級者のスイングにおける頭頂部の運動パターンである。
【０１２９】
上述のクラブヘッドの場合と同様に、上級者のスイングにおける頭頂部の運動パターンや、悪いスイングを表す頭頂部の運動パターン、初心者にありがちなスイングを表す頭頂部の運動パターン等を運動パターン判定部４９０２にあらかじめ登録しておく。そして、運動パターンの入力４９０４について、登録された運動パターンのなかから最も類似するパターンを選択し、運動解析結果４９０６を出力する。図４５（ｂ）の例では、入力された運動パターン４９０４に対して「上級者」という運動解析結果４９０３が得られている。
【０１３０】
以上説明した本実施形態によれば、動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、被写体の特徴点の移動軌跡を求め、得られた軌跡のパターンをもとにして被写体の運動解析を行うことにより、ストロボ合成画像を視覚的に出力するのみならず、運動技術の向上等につながる運動解析結果を共に出力することが可能になる。
【０１３１】
（第１２実施形態）図４６は、本発明の第１２実施形態に係るストロボ画像合成方法のフローチャートである。図４６において、Ｓ５００１は撮影中の画像フレームからリアルタイムで物体領域を切り出す物体領域切り出し工程、Ｓ５００２はストロボ合成を行う基準となる画像フレームを指定する基準フレーム指定工程、Ｓ５００３は指定された基準フレームと切り出されている物体領域を用いてストロボ合成を行う画像合成工程である。
【０１３２】
まず物体領域切り出し工程Ｓ５００１では、入力された画像がストロボ合成処理を行うフレームであるか否かとは無関係に、常にリアルタイムで物体領域を切り出す。基準フレーム指定工程Ｓ５００２においては、例えばユーザのマニュアル指定、あるいは第１０実施形態で説明したような自動的な方法によってストロボ合成を行う基準となる画像フレームを指定する。画像合成工程Ｓ５００３では、指定された基準フレームと切り出されている物体領域を用いてストロボ合成を行う。上記実施形態でこれまでに説明したストロボ画像合成方法では、ストロボ合成を行う基準となる画像フレームが指定された後に、ストロボ合成の対象となる複数フレームから物体領域を切り出してストロボ合成を行っていた。これには、出力映像範囲決定から実際の映像出力までに物体領域切り出し処理時間も加算されるという問題がある。しかし、本実施形態で説明するように、常にリアルタイムで物体領域切り出し処理を行う場合、この問題を解決することができる。
【０１３３】
動画像の複数のフレームを重ね合わせてストロボ合成画像を生成するストロボ画像合成方法において、撮影中の画像フレームからリアルタイムで物体領域を切り出しながら、ストロボ合成を行う基準となる画像フレームの指定を待つ。基準画像フレームが指定されたら、この指定された基準フレーム画像と切り出されている物体領域とを用いてストロボ合成を行う。したがって、撮影からストロボ合成映像出力までの時間を大幅に短縮できる。
【０１３４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１３５】
【発明の効果】
以上説明したように、本発明によれば、ストロボ合成画像生成に必要なユーザ操作の負担を軽減し、ストロボ合成画像生成作業の所要時間を大幅に短縮できる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る画像合成装置の概略構成を示すブロック図
【図２】 フレームの重ね合わせの様子を示す図
【図３】 動きが遅い物体画像から合成したストロボ合成画像を示す図
【図４】 一部フレームを間引いて生成したストロボ合成画像を示す図
【図５】 １フレームを指定して重ね合わせ方法を変更する一連の手続きを示すフローチャート
【図６】 スライダによる注目点の選択インターフェースの一例を示す図
【図７】 合成開始点の指定のためにユーザに提示する画面の一例を示す図
【図８】 第２実施形態に係り、対象範囲を指定して重ね合わせ方法を変更する一連の手続きを示すフローチャート
【図９】 開始点および終了点の２つのフレームの選択インターフェースの一例を示す図
【図１０】 図９のインターフェースにおけるスライダ操作の様子を示す図
【図１１】 図９のインターフェースにおける終了点設定の様子を示す図
【図１２】 図９のインターフェースの詳細構成を示す図
【図１３】 図１２のインターフェースによる範囲指定を説明するための図であって、注目点を開始点まで移動させる様子を示す図
【図１４】 範囲指定における開始点の決定を示す図
【図１５】 範囲指定において注目点を終了点まで移動させる様子を示す図
【図１６】 範囲指定における終了点の決定を示す図
【図１７】 範囲指定における２つ目の開始点の設定を示す図
【図１８】 範囲指定における２つ目の開始点の設定後を示す図
【図１９】 範囲指定における２つ目の終了点の選択を示す図
【図２０】 重ね合わせ方の設定を記憶するデータ内容の一例を示す図
【図２１】 重ね合わせ方の変更例を示す図
【図２２】 第３実施形態に係るプレビュー提示インターフェースを説明するための図であって、一連の入力映像フレームを示す図
【図２３】 手動で切り出しを行うフレームの一枚を示す図
【図２４】 図２３のフレームの手動切り出し結果を示す図
【図２５】 図２５のフレームを含むストロボ合成画像の生成例を示す図
【図２６】 プレビュー提示インターフェースの一例を示す図
【図２７】 プレビュー提示インターフェースによる修正後を示す図
【図２８】 従来のクロマキー法を説明するための図
【図２９】 入力映像のフレームを示す図
【図３０】 ３つのレイヤを複製した後の映像フレームを示す図
【図３１】 レイヤを時間方向にずらした映像フレームを示す図
【図３２】 図３１の各レイヤの１フレーム目の画像を示す図
【図３３】 図３１の１フレーム目を重ね合わせたストロボ合成画像を示す図
【図３４】本発明の第４実施形態に係るストロボ画像合成方法のフローチャート
【図３５】本発明の第５実施形態に係るストロボ画像合成方法のフローチャート
【図３６】所望のストロボ合成画像をユーザに選択させるため用いられるユーザインタフェースの一例を示す図
【図３７】本発明の第８実施形態に係るストロボ画像合成方法のフローチャート
【図３８】本発明の第９実施形態に係るストロボ画像合成装置の概略構成を示すブロック図
【図３９】本発明の第６実施形態に係るストロボ画像合成方法のフローチャート
【図４０】本発明の第７実施形態に係るストロボ画像合成方法のフローチャート
【図４１】正解データ用画像から領域を自動的に切出す処理の一例を示す図
【図４２】本発明の第１０実施形態に係るストロボ画像合成方法のフローチャート
【図４３】本発明の第１１実施形態に係るストロボ画像合成方法のフローチャート
【図４４】特徴点追跡結果の例を示す図
【図４５】運動パターン判定工程が実行される様子を示す図
【図４６】本発明の第１２実施形態に係るストロボ画像合成方法の処理の流れを示すフローチャート
【符号の説明】
１…表示装置、２…中央処理装置、３…入力装置、４…主記憶装置、５…ストロボ画像合成プログラム、６、７…データ
Claims (21)
- 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、
前記動画像から第１のフレームおよび第２のフレームを選択するステップと、
選択された前記第１のフレームと第２のフレームとの間の複数のフレームを対象フレームに決定するステップと、
前記対象フレームを重ね合わせる際の重ね合わせ方法を設定するステップと、
前記重ね合わせ方法の設定情報を記録手段に記録するステップとを具備する画像合成方法。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、
前記動画像の中から第１のフレームを選択するステップと、
前記第１のフレームを基準として複数の合成対象フレームを決定するステップと、
前記合成対象フレームの重ね合わせ方法を設定するステップと、
前記重ね合わせ方法の設定内容を記憶手段に記憶するステップと、
前記記憶手段に記憶された重ね合わせ方法の設定内容を、別の動画像に適用して別のストロボ合成画像を生成するステップとを備える画像合成方法。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成プログラムであって、
前記動画像の中から第１のフレームを選択する手順と、
前記第１のフレームを基準として複数の合成対象フレームを決定する手順と、
前記合成対象フレームの重ね合わせ方法を設定する手順と、
前記重ね合わせ方法の設定内容を記憶手段に記憶する手順と、
前記記憶手段に記憶された重ね合わせ方法の設定内容を、別の動画像に適用して別のストロボ合成画像を生成する手順とをコンピュータに実行させる画像合成プログラム。 - 動画像を入力する入力ステップと、
前記動画像の最新のＮフレーム（Ｎは自然数）を保持する画像保持ステップと、
ユーザによる入力を受理するユーザ入力ステップと、
前記ユーザ入力ステップにおける入力に応答して、前記画像保持ステップにおいて記憶された最新のＮフレームから少なくとも一枚のストロボ合成画像を合成する画像合成ステップと、
前記画像合成ステップにおいて合成されたストロボ合成画像を出力する画像出力ステップとを具備する画像合成方法。 - 動画像を入力する入力ステップと、
前記動画像の最新のＮフレーム（Ｎは自然数）を保持する画像保持ステップと、
ストロボ画像合成に適合するフレームであるか否かを決定するストロボ画像合成適合条件に従い、前記動画像の中から基準フレームを検出する基準フレーム検出ステップと、
前記基準フレームの検出に応じて、前記最新のＮフレームを用いてストロボ合成画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成されたストロボ合成画像を出力する画像出力ステップとを備える画像合成方法。 - 前記ストロボ合成画像の合成に用いることが可能な複数の画像合成パラメータ値のいずれかをユーザに選択させる画像合成パラメータ選択ステップを具備する請求項４又は５に記載の画像合成方法。
- 前記ストロボ合成画像の合成に用いることが可能な複数の画像合成パラメータ値のそれぞれを適用して複数のストロボ合成画像を合成するステップと、
合成された前記複数のストロボ合成画像を表示し、少なくともいずれかをユーザに選択させるステップとを具備する請求項４又は５に記載の画像合成方法。 - 第１及び第２の動画像を入力するステップと、
前記第１の動画像の各フレームに対して正解被写体領域を入力するステップと、
前記正解被写体領域を用いて、前記第１の動画像の各フレームから複数の正解被写体画像を取得するステップと、
前記第１の動画像の各フレーム及び前記複数の正解被写体画像に基づいて、前記第１の動画像の各フレームから被写体領域を検出する際に用いる実行切り出しパラメータを決定するステップと、
前記実行切り出しパラメータを用いて、前記第２の動画像の各フレームから被写体領域を検出する本検出ステップと、
前記本検出ステップで得られた被写体領域及び前記第２の動画像の各フレームを用いてストロボ合成画像を生成するステップとを備える画像合成方法。 - 前記実行切り出しパラメータ決定ステップは、
前記複数の正解被写体画像を重ね合わせて正解ストロボ合成画像を生成するステップと、
（ａ）仮切り出しパラメータを用いて、前記第１の動画像の各フレームから仮被写体領域を検出する仮検出ステップと、
（ｂ）前記仮被写体領域を用いて、前記第１の動画像の各フレームから複数の仮被写体画像を取得するステップと、
（ｃ）前記複数の仮被写体画像を重ね合わせて仮ストロボ合成画像を生成するステップと、
（ｄ）前記正解ストロボ合成画像と前記仮ストロボ合成画像との誤差を求める誤差算出ステップと、
前記仮切り出しパラメータを変えながら前記（ａ）−（ｄ）のステップを繰り返し、前記誤差が最小となる仮切り出しパラメータを前記実行切り出しパラメータとして決定するステップとを備える請求項８記載の画像合成方法。 - 第１及び第２の動画像を入力する手段と、
前記第１の動画像の各フレームに対して正解被写体領域を入力する手段と、
前記正解被写体領域を用いて、前記第１の動画像の各フレームから複数の正解被写体画像を取得する手段と、
前記第１の動画像の各フレーム及び前記複数の正解被写体画像に基づいて、前記第１の動画像の各フレームから被写体領域を検出する際に用いる実行切り出しパラメータを決定する手段と、
前記実行切り出しパラメータを用いて、前記第２の動画像の各フレームから被写体領域を検出する本検出手段と、
前記本検出手段で得られた被写体領域及び前記第２の動画像の各フレームを用いてストロボ合成画像を生成する生成手段とを具備する画像合成装置。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法において、
動画像の各フレームを逐次表示する表示ステップと、
前記表示ステップで前記各フレームを表示している最中に、少なくとも１つのフレームを基準フレームとして選択する基準フレーム選択ステップと、
前記基準フレームを基準にして、ストロボ合成の対象とする複数の画像フレームを決定する対象画像フレーム決定ステップと、
前記対象画像フレーム決定ステップで決定した複数の画像フレームを重ね合わせてストロボ合成画像を生成するストロボ合成ステップと、
前記表示ステップで動画像のフレームを表示する際のフレーム間の時間間隔を設定するステップと、
重ね合わせ方を切り替える切り替えフレームを決定するステップと、を備え、
前記ストロボ画像合成ステップでは、前記切り替えフレームの前後で重ね合わせ方を上重ねと下重ねとの間で切り替える画像合成方法。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成方法であって、
前記動画像のフレームの中からストロボ合成の開始点となるフレームを決定する開始点決定ステップと、
前記開始点決定ステップで決定された開始点を基準にして、フレームを逐次重ね合わせてストロボ合成画像を生成する生成ステップと、
前記生成ステップで合成されたストロボ合成画像を逐次表示する表示ステップと、
前記表示ステップでストロボ合成画像を逐次表示する際の時間間隔を設定するステップと、
前記開始点決定ステップで決定された開始点と前記表示ステップで表示した画像との中から、少なくとも１つのフレームを選択する選択ステップと、
前記選択ステップで選択されたフレームを基準にして重ね合わせ方を切り替える切り替えフレームを決定するステップとを備え、
前記生成ステップでは、前記切り替えフレームの前後で重ね合わせ方を上重ねと下重ねとの間で切り替える画像合成方法。 - 前記開始点決定ステップで決定された開始点と前記表示ステップで表示した画像との中から、少なくとも１つのフレームを選択する選択ステップと、
前記開始点決定ステップで決定された開始点と前記選択ステップで選択されたフレームの位置とを基準にして、ストロボ合成の対象とする複数の画像フレームを決定する対象フレーム決定ステップとを具備する請求項１２に記載の画像合成方法。 - 動画像を入力する入力手段と、
前記動画像の最新のＮフレーム（Ｎは自然数）を保持する画像保持手段と、
ユーザによる入力を受理する入力手段と、
前記入力手段による入力に応答して、前記画像保持手段に記憶された最新のＮフレームから少なくとも一枚のストロボ合成画像を合成する画像合成手段と、
前記画像合成手段により合成されたストロボ合成画像を出力する画像出力手段とを具備する画像合成装置。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成装置において、
動画像の各フレームを逐次表示する表示手段と、
前記表示手段により前記各フレームを表示している最中に、少なくとも１つのフレームを基準フレームとして選択する基準フレーム選択手段と、
前記基準フレームを基準にして、ストロボ合成の対象とする複数の画像フレームを決定する対象画像フレーム決定手段と、
前記対象画像フレーム決定手段で決定された複数の画像フレームを重ね合わせてストロボ合成画像を生成するストロボ合成手段と、
前記表示手段により動画像のフレームを表示する際のフレーム間の時間間隔を設定する 手段と、
重ね合わせ方を切り替える切り替えフレームを決定する手段と、を備え、
前記ストロボ画像合成手段は、前記切り替えフレームの前後で重ね合わせ方を上重ねと下重ねとの間で切り替える画像合成装置。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成装置であって、
前記動画像のフレームの中からストロボ合成の開始点となるフレームを決定する開始点決定手段と、
前記開始点決定手段で決定された開始点を基準にして、フレームを逐次重ね合わせてストロボ合成画像を生成する生成手段と、
前記生成手段で生成されたストロボ合成画像を逐次表示する表示手段と、
前記表示手段によりストロボ合成画像を逐次表示する際の時間間隔を設定する手段と、
前記開始点決定手段により決定された開始点と前記表示手段により表示された画像との中から、少なくとも１つのフレームを選択する選択手段と、
前記選択手段により選択されたフレームを基準にして重ね合わせ方を切り替える切り替えフレームを決定する手段とを備え、
前記生成手段は、前記切り替えフレームの前後で重ね合わせ方を上重ねと下重ねとの間で切り替える画像合成装置。 - 動画像を入力する入力手順と、
前記動画像の最新のＮフレーム（Ｎは自然数）を保持する画像保持手順と、
ユーザによる入力を受理するユーザ入力手順と、
前記ユーザ入力手順における入力に応答して、前記画像保持手順において記憶された最新のＮフレームから少なくとも一枚のストロボ合成画像を合成する画像合成手順と、
前記画像合成手順において合成されたストロボ合成画像を出力する画像出力手順とをコンピュータに実行させるための画像合成プログラム。 - 動画像を入力する入力手順と、
前記動画像の最新のＮフレーム（Ｎは自然数）を保持する画像保持手順と、
ストロボ画像合成に適合するフレームであるか否かを決定するストロボ画像合成適合条件に従い、前記動画像の中から基準フレームを検出する基準フレーム検出手順と、
前記基準フレームの検出に応じて、前記最新のＮフレームを用いてストロボ合成画像を生成する画像合成手順と、
前記画像合成手順において生成されたストロボ合成画像を出力する画像出力ス手順とをコンピュータに実行させるための画像合成プログラム。 - 第１及び第２の動画像を入力する手順と、
前記第１の動画像の各フレームに対して正解被写体領域を入力する手順と、
前記正解被写体領域を用いて、前記第１の動画像の各フレームから複数の正解被写体画像を取得する手順と、
前記第１の動画像の各フレーム及び前記複数の正解被写体画像に基づいて、前記第１の動画像の各フレームから被写体領域を検出する際に用いる実行切り出しパラメータを決定する手順と、
前記実行切り出しパラメータを用いて、前記第２の動画像の各フレームから被写体領域を検出する本検出手順と、
前記本検出ステップで得られた被写体領域及び前記第２の動画像の各フレームを用いてストロボ合成画像を生成する手順とをコンピュータに実行させるための画像合成プログラム。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成プログラムにおいて、
コンピュータに、
動画像の各フレームを逐次表示する表示手順と、
前記表示手順で前記各フレームを表示している最中に、少なくとも１つのフレームを基準フレームとして選択する基準フレーム選択手順と、
前記基準フレームを基準にして、ストロボ合成の対象とする複数の画像フレームを決定する対象画像フレーム決定手順と、
前記対象画像フレーム決定手順で決定された複数の画像フレームを重ね合わせてストロボ合成画像を生成するストロボ合成手順と、
前記表示手順で動画像のフレームを表示する際のフレーム間の時間間隔を設定する手順と、
重ね合わせ方を切り替える切り替えフレームを決定する手順と、を実行させるための画像合成プログラムであって、
前記ストロボ画像合成手順では、前記切り替えフレームの前後で重ね合わせ方を上重ねと下重ねとの間で切り替える画像合成プログラム。 - 動画像の複数のフレームを重ね合わせてストロボ合成画像を生成する画像合成プログラムであって、
コンピュータに、
前記動画像のフレームの中からストロボ合成の開始点となるフレームを決定する開始点決定手順と、
前記開始点決定手順で決定された開始点を基準にして、フレームを逐次重ね合わせてストロボ合成画像を生成する生成手順と、
前記生成手順で生成されたストロボ合成画像を逐次表示する表示手順と、
前記表示手順でストロボ合成画像を逐次表示する際の時間間隔を設定する手順と、
前記開始点決定手順で決定された開始点と前記表示手順で表示した画像との中から、少なくとも１つのフレームを選択する選択手順と、
前記選択手順で選択されたフレームを基準にして重ね合わせ方を切り替える切り替えフレームを決定する手順とを実行させるための画像合成プログラムであって、
前記生成手順では、前記切り替えフレームの前後で重ね合わせ方を上重ねと下重ねとの間で切り替える画像合成プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003068968A JP4068485B2 (ja) | 2002-09-30 | 2003-03-13 | 画像合成方法、画像合成装置、画像合成プログラム |
| US10/664,878 US7123275B2 (en) | 2002-09-30 | 2003-09-22 | Strobe image composition method, apparatus, computer, and program product |
| US11/436,556 US20060209087A1 (en) | 2002-09-30 | 2006-05-19 | Strobe image composition method, apparatus, computer, and program product |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002288014 | 2002-09-30 | ||
| JP2003068968A JP4068485B2 (ja) | 2002-09-30 | 2003-03-13 | 画像合成方法、画像合成装置、画像合成プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007122439A Division JP2007259477A (ja) | 2002-09-30 | 2007-05-07 | 画像合成方法、画像合成装置、画像合成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004180259A JP2004180259A (ja) | 2004-06-24 |
| JP4068485B2 true JP4068485B2 (ja) | 2008-03-26 |
Family
ID=32658548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003068968A Expired - Fee Related JP4068485B2 (ja) | 2002-09-30 | 2003-03-13 | 画像合成方法、画像合成装置、画像合成プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7123275B2 (ja) |
| JP (1) | JP4068485B2 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004038746A (ja) * | 2002-07-05 | 2004-02-05 | Toshiba Corp | 画像編集方法および画像編集システム |
| JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
| JP4155118B2 (ja) * | 2003-06-13 | 2008-09-24 | カシオ計算機株式会社 | 静止画合成装置、及び動画像からの静止画合成方法 |
| JP2006060339A (ja) * | 2004-08-18 | 2006-03-02 | Sharp Corp | 移動体通信端末及び静止画像抽出合成方法 |
| JP4516536B2 (ja) * | 2005-03-09 | 2010-08-04 | 富士フイルム株式会社 | 動画生成装置、動画生成方法、及びプログラム |
| KR100892022B1 (ko) | 2005-08-12 | 2009-04-07 | 소니 컴퓨터 엔터테인먼트 인코포레이티드 | 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램 |
| EP1934938A1 (en) * | 2005-10-12 | 2008-06-25 | Active Optics Pty Ltd. | Method of forming a combined image based on a plurality of image frames |
| US20070196005A1 (en) * | 2006-02-23 | 2007-08-23 | White Christopher A | Feature Tracing Process for M-mode Images |
| US20090129752A1 (en) * | 2006-05-17 | 2009-05-21 | Pioneer Corporation | Playback Device, Repeated Playback Method For The Playback Device, And Program |
| WO2008038686A1 (en) | 2006-09-29 | 2008-04-03 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device |
| JP5061708B2 (ja) * | 2007-05-02 | 2012-10-31 | カシオ計算機株式会社 | 画像処理装置、撮影装置、画像処理方法及びプログラム |
| US8926416B2 (en) | 2007-08-10 | 2015-01-06 | Full Swing Golf | Sports simulator and simulation method |
| CN102067181A (zh) * | 2008-06-23 | 2011-05-18 | 松下电器产业株式会社 | 合成装置及合成方法 |
| JP4591576B2 (ja) * | 2008-08-18 | 2010-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| WO2010083449A2 (en) | 2009-01-19 | 2010-07-22 | Full Swing Golf, Inc. | Methods and systems for sports simulation |
| JP2010211386A (ja) * | 2009-03-09 | 2010-09-24 | Oki Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
| US8659680B2 (en) * | 2009-07-31 | 2014-02-25 | Casio Computer Co., Ltd. | Imaging apparatus, image recording method, and recording medium |
| US20110075162A1 (en) * | 2009-09-29 | 2011-03-31 | Saettel John J | Exposure averaging |
| JP2011114823A (ja) * | 2009-11-30 | 2011-06-09 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
| JP5293587B2 (ja) * | 2009-12-16 | 2013-09-18 | ソニー株式会社 | 表示制御装置、表示制御方法、プログラム |
| JP5533241B2 (ja) * | 2010-05-18 | 2014-06-25 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
| US20120002112A1 (en) * | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
| US10645344B2 (en) * | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
| JP5093317B2 (ja) * | 2010-09-13 | 2012-12-12 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP5750864B2 (ja) * | 2010-10-27 | 2015-07-22 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| US9210468B2 (en) * | 2011-03-22 | 2015-12-08 | Sony Corporation | System and method for effectively implementing a stroboscopic visual effect |
| JP5821625B2 (ja) | 2011-08-29 | 2015-11-24 | カシオ計算機株式会社 | 画像編集装置およびプログラム |
| JP5803467B2 (ja) * | 2011-09-14 | 2015-11-04 | 株式会社リコー | 画像処理装置および撮像装置、ならびに画像処理方法 |
| US20150002546A1 (en) * | 2012-02-20 | 2015-01-01 | Sony Corporation | Image processing device, image processing method, and program |
| JP5648647B2 (ja) * | 2012-03-21 | 2015-01-07 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| GB2510613A (en) * | 2013-02-08 | 2014-08-13 | Nokia Corp | User interface for image processing |
| US9036943B1 (en) * | 2013-03-14 | 2015-05-19 | Amazon Technologies, Inc. | Cloud-based image improvement |
| US9070230B2 (en) * | 2013-07-23 | 2015-06-30 | Adobe Systems Incorporated | Simulating strobe effects with digital image content |
| US9609236B2 (en) | 2013-09-16 | 2017-03-28 | Kyle L. Baltz | Camera and image processing method |
| US20150319375A1 (en) * | 2014-04-30 | 2015-11-05 | Sony Corporation | Apparatus and method for creating real-time motion (stroboscopic) video from a streaming video |
| WO2015186341A1 (ja) * | 2014-06-03 | 2015-12-10 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム記憶媒体 |
| CN104134225B (zh) * | 2014-08-06 | 2016-03-02 | 深圳市中兴移动通信有限公司 | 图片的合成方法及装置 |
| JP6641679B2 (ja) * | 2014-09-11 | 2020-02-05 | 富士通株式会社 | 画像編集方法、装置、及びプログラム |
| JP2017046162A (ja) * | 2015-08-26 | 2017-03-02 | 隆正 光信 | 合成動画作成システム、合成動画作成補助システム及び合成動画作成プログラム |
| JP6786346B2 (ja) * | 2016-10-20 | 2020-11-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN108717684B (zh) * | 2018-04-20 | 2022-05-27 | 中南大学 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
| JP7366611B2 (ja) * | 2019-07-05 | 2023-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996018265A1 (de) * | 1994-12-06 | 1996-06-13 | Cfb Centrum Für Neue Bildgestaltung Gmbh | Bildtransferverfahren und -vorrichtung |
| US5914748A (en) * | 1996-08-30 | 1999-06-22 | Eastman Kodak Company | Method and apparatus for generating a composite image using the difference of two images |
| US6342900B1 (en) * | 1996-12-06 | 2002-01-29 | Nikon Corporation | Information processing apparatus |
| US6335985B1 (en) | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
| US6266068B1 (en) * | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
| US7184100B1 (en) * | 1999-03-24 | 2007-02-27 | Mate - Media Access Technologies Ltd. | Method of selecting key-frames from a video sequence |
| US6665342B1 (en) * | 1999-07-02 | 2003-12-16 | International Business Machines Corporation | System and method for producing a still image representation of a motion video |
| US6785329B1 (en) * | 1999-12-21 | 2004-08-31 | Microsoft Corporation | Automatic video object extraction |
| US6654483B1 (en) * | 1999-12-22 | 2003-11-25 | Intel Corporation | Motion detection using normal optical flow |
| JP2001197366A (ja) * | 2000-01-12 | 2001-07-19 | Hitachi Ltd | 画像合成方法及び画像合成プログラムを記録した記録媒体 |
| JP3802322B2 (ja) * | 2000-07-26 | 2006-07-26 | 株式会社東芝 | 動画像内オブジェクト抽出方法及び装置 |
| JP3782368B2 (ja) * | 2002-03-29 | 2006-06-07 | 株式会社東芝 | 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置 |
| JP2004038746A (ja) * | 2002-07-05 | 2004-02-05 | Toshiba Corp | 画像編集方法および画像編集システム |
| JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
| JP3946676B2 (ja) * | 2003-08-28 | 2007-07-18 | 株式会社東芝 | 撮影画像処理装置及びその方法 |
-
2003
- 2003-03-13 JP JP2003068968A patent/JP4068485B2/ja not_active Expired - Fee Related
- 2003-09-22 US US10/664,878 patent/US7123275B2/en not_active Expired - Fee Related
-
2006
- 2006-05-19 US US11/436,556 patent/US20060209087A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US7123275B2 (en) | 2006-10-17 |
| JP2004180259A (ja) | 2004-06-24 |
| US20060209087A1 (en) | 2006-09-21 |
| US20040125115A1 (en) | 2004-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4068485B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラム | |
| JP2007259477A (ja) | 画像合成方法、画像合成装置、画像合成プログラム | |
| US8885979B2 (en) | Apparatus and associated methodology for analyzing subject motion in images | |
| JP4131929B2 (ja) | オブジェクト画像合成方法 | |
| US10382704B2 (en) | Image processing device that generates a composite image | |
| KR101458645B1 (ko) | 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라 | |
| JP4626668B2 (ja) | 画像処理装置、表示制御方法、プログラム及び記録媒体 | |
| EP3528504A1 (en) | Image processing apparatuses and methods | |
| KR101413926B1 (ko) | 촬상 장치 및 촬상 장치의 제어 방법 | |
| JP2004164563A (ja) | 画像解析方法、画像解析装置、画像解析プログラム | |
| US20220180570A1 (en) | Method and device for displaying data for monitoring event | |
| JP4264368B2 (ja) | 実技分析システム及びプログラム | |
| JP2011139282A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP2003117045A (ja) | スイングフォーム診断装置 | |
| US20150138238A1 (en) | Method, device and computer software | |
| CN107506108B (zh) | 图像处理装置、图像处理方法以及计算机可读取的存储介质 | |
| JP2804949B2 (ja) | 動画像の処理方法 | |
| JP3929811B2 (ja) | 画像合成装置及び画像合成方法 | |
| JP3802322B2 (ja) | 動画像内オブジェクト抽出方法及び装置 | |
| KR100279681B1 (ko) | 스포츠 영상효과 처리장치 | |
| WO2021187193A1 (ja) | 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム | |
| JP2002223405A (ja) | 映像記録再生装置、及び映像記録再生プログラム | |
| JP2003038487A (ja) | 超音波画像処理装置 | |
| JP3535736B2 (ja) | 画像列並列表示方法および装置並びに画像列並列表示プログラムを記録した記録媒体 | |
| JP2019176260A (ja) | 表示プログラム、表示方法および表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |