JP3782368B2 - 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像中から指定された被写体を切り出す物体画像切り出し方法及びプログラム並びに物体画像切り出し装置に関する。
【０００２】
【従来の技術】
画像中の特定の被写体に注目しその物体を切り出す物体画像切り出し技術は、切り出された物体を別の背景画像に合成して加工するカタログやポスターの作成、あるいはＷｅｂページのコンテンツ作成に利用される。また、映像中の物体に関連情報（名前、値段など）を付与してユーザが映像中の物体をポインティングすれば関連情報を提示するような映像コンテンツを制作するためのアンカー領域を指定するためにも用いられる。更には、動画像圧縮の国際規格であるＭＰＥＧ−４においては、文献「MPEG-4 standardized methods for the compression of arbitrarily shaped video objects」 N. Brady (IEEE Transactions on Circuits and Systems for Video Technology, vol.9,no.8,pp.1170 1189, December 1999)のように、物体毎にデータを符号化するオブジェクト符号化の機能が採用されており、符号化する前のオブジェクトデータを作成するために、画像中から物体を切り出す物体画像切り出し技術は用いられる。
【０００３】
この技術の具体的な手法の一つとして、特開２００１−１４４７７「画像輪郭線抽出装置」がある。これはユーザがマウスなどのポインティングデバイスを用いて線を引く事によって輪郭線を入力して、その輪郭線を修正する手法である。しかしながら、一般的に、ユーザの手入力によって輪郭線を入力するためには、画像中の切り出したい物体の凹凸に沿ってポインティングデバイスを動かさねばならず、物体の輪郭線に沿って正しく手入力するのは時間と労力がかかる。
【０００４】
一方、株式会社クレオの毛筆印刷ソフトのクリップツールでは、予め幾つかのテンプレートが用意されていて、テンプレートを変形することによって所望の領域を切り出す（「筆まめVer. 11」ガイドブック、頁１０９−１１０）。このツールを用いると、物体の形がテンプレートに近い場合には、物体の切り出しに用いることができる。例えば、図３０（ａ）のような画像から三日月の部分を切り出したい時は、図３０（ｂ）のような三日月のテンプレートを選択し、ハンドルと呼ばれる制御ポイントをドラッグすることで、図３０（ｃ）のように変形して物体領域を切り出すことができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、参照アルファ画像の変形による物体画像切り出し手法では、複数の元画像から物体を切り出すためには、元画像の枚数分の変形パラメータ調整をユーザが行わなければなければならないという問題があった。
【０００６】
本発明は、上記のような問題を鑑み、簡単に複数の元画像に対してそれぞれの物体領域を表すアルファ画像を生成する物体画像切り出し方法及びプログラム並びに物体画像切り出し装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の第１局面は、元画像に含まれる物体領域を表すアルファ画像を出力アルファ画像として生成することにより該物体領域の画像を切り出す物体画像切り出し方法において、切り出される物体領域を含む複数の元画像と、予め用意された該物体領域を表す複数の参照アルファ画像とを記憶手段に保持する工程と、前記記憶手段に保持され、基準となる基準元画像に対応する基準参照アルファ画像を変形することによって前記基準元画像の出力アルファ画像を生成し、この出力アルファ画像に基づいて前記変形に関する変形パラメータを決定する変形パラメータ決定工程と、前記変形パラメータに基づいて残りの参照アルファ画像を変形することによって残りの元画像の出力アルファ画像を生成する出力アルファ画像作成工程と、前記出力アルファ画像に基づいて元画像から物体領域の画像を切り出す工程とを備えることを特徴とする物体画像切り出し方法を提供する。
【０００８】
本発明の第２局面は、元画像に含まれる物体領域を表すアルファ画像を出力アルファ画像として生成することにより該物体領域の画像を切り出す物体画像切り出しプログラムにおいて、切り出される物体領域を含む複数の元画像と、予め用意された該物体領域を表す複数の参照アルファ画像とを記憶手段に保持させる命令と、前記記憶手段に保持され、基準となる基準元画像に対応する基準参照アルファ画像を変形することによって前記基準元画像の出力アルファ画像を生成させる命令と、この出力アルファ画像に基づいて前記変形に関する変形パラメータを決定させる命令と、前記変形パラメータに基づいて残りの参照アルファ画像を変形することによって残りの元画像の出力アルファ画像を生成させる命令と、前記出力アルファ画像に基づいて元画像から物体領域の画像を切り出させる命令とを含むことを特徴とする物体画像切り出しプログラムを提供する。
【０００９】
本発明の第３局面は、元画像に含まれる物体領域を表すアルファ画像を出力アルファ画像として生成することにより該物体領域の画像を切り出す物体画像切り出し装置において、切り出される物体領域を含む複数の元画像と、予め用意された該物体領域を表す複数の参照アルファ画像とを保持する記憶手段と、前記記憶手段に保持され、基準となる基準元画像に対応する基準参照アルファ画像を変形することによって前記基準元画像の出力アルファ画像を生成し、この出力アルファ画像に基づいて前記変形に関する変形パラメータを決定する変形パラメータ決定手段と、前記変形パラメータに基づいて残りの参照アルファ画像を変形することによって残りの元画像の出力アルファ画像を生成する出力アルファ画像作成手段と、前記出力アルファ画像に基づいて元画像から物体領域の画像を切り出す手段とを備えることを特徴とする物体画像切り出し装置を提供する。
【００１０】
本発明によると、ある基準元画像と基準参照アルファ画像での変形パラメータを用いて残りの参照アルファ画像を変形して残りの元画像の出力アルファ画像を作成する。従って、変形のために費やされる労力が大幅に削減され、複数の元画像に対してそれぞれの物体領域を表す出力アルファ画像を簡単に生成することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１２】
（第１実施形態）
図１は、本発明の第１実施形態の物体画像切り出し装置のブロック図である。図１に示す装置によると、切り出される物体が含まれる複数の元画像を保持する記憶装置１０１、予め用意された複数の参照アルファ画像を保持する記憶装置１０２、基準となる基準元画像に対応ずる基準参照アルファ画像を変形することで基準元画像の出力アルファ画像を生成して、変形パラメータを決定する変形パラメータ決定手段１０３、前記変形と同じ変形パラメータで残りの参照アルファ画像を変形することで残りの元画像の出力アルファ画像を生成する出力アルファ画像作成手段１０４、および出力アルファ画像作成手段１０４によって作成された前記元画像１０１に対するそれぞれの物体領域を表す出力アルファ画像を格納する記憶装置１０５が設けられる。
【００１３】
上記構成の物体画像切り出し装置の動作を説明する。
【００１４】
まず、複数の元画像を保持する記憶装置１０１、複数の参照アルファ画像を保持する記憶装置１０２から、基準となるある一組の基準元画像１０６と基準参照アルファ画像１０７が選択される。これは、予め基準元画像および基準参照アルファ画像として準備された一組の元画像と参照アルファ画像を用いても良い。
【００１５】
複数の元画像と複数の参照アルファ画像が対応付けられていれば、図２に示すように、一組ずつ元画像と参照アルファ画像の組を表示手段に表示して、ユーザが基準元画像と基準参照アルファ画像を決定する。即ち、初めに、元画像と参照アルファ画像との組ｉがリセットされる（Ｓ１１）。次に、ｉが画像数と比較される（Ｓ１２）。ｉ＜画像数であるので、ｉ組の元画像と参照アルファ画像が表示される（Ｓ１３）。ユーザはこの表示を見て基準元画像と基準参照アルファ画像とが整合していれば決定の指示を与えるが、整合しないと決定指示を与えない。決定指示がなされないと、ｉがインクリメントされ（Ｓ１５）、処理はステップＳ１２に戻り、上述した処理が繰り返し行われる。ステップＳ１４において、決定指示がなされると、基準元画像と基準参照アルファ画像が決定され、処理が終了する。なお、ステップＳ１２においてｉが画像数を超えると、ステップ１１に戻り、ｉはリセットされる。
【００１６】
複数の元画像と複数の参照アルファ画像が対応付けられていなければ、図３に示すように、複数の元画像を順に表示してユーザが基準元画像を決定し、続いて、決定された基準元画像と複数の参照アルファ画像を順に表示してユーザが基準参照アルファ画像を決定することによって、基準元画像と基準参照アルファ画像を選択する。即ち、まず、ｉがリセットされ（Ｓ１１１）、ｉ＜元画像数が判断される（Ｓ１１２）。ステップ１１２での判定がYesであると、ｉ番目の元画像が表示される（Ｓ１１３）。この表示画像に基づいてユーザが決定指示を出したかが判定される（Ｓ１１４）。この判定がNoであると、処理はインクリメントされ（Ｓ１１５）、ステップＳ１１２に戻る。判定がYesであると、基準元画像が決定される（Ｓ１１６）。この後、ｉがリセットされ（Ｓ１１７）、ｉが参照アルファ画像数より小さいかが判定される（Ｓ１１８）。この判定がYesであると、基準元画像とｉ番目の参照アルファ画像とが表示される（Ｓ１１９）。次に、ユーザによる参照アルファ画像決定指示が有るかが判定される（Ｓ１２０）。この判定がNoであると、ｉがインクリメントされ（Ｓ１２１）、処理はステップＳ１１８に戻る。判定がYesであると、基準参照アルファ画像が決定され（Ｓ１２２）、処理は終了する。
【００１７】
このようにして選択された基準元画像と基準参照アルファ画像を変形パラメータ決定手段１０３に入力する。変形パラメータ決定手段１０３では、図３０で説明した場合と同様、図４に示すように、ユーザが、１枚の基準元画像１０６に対応する基準参照アルファ画像１０７を、ある変形パラメータに従って変形させることによって、基準元画像１０６に対応する出力アルファ画像１０８を作成して、出力アルファ画像記憶装置１０５に格納する。この変形パラメータの決定は、基準参照アルファ画像１０７と基準元画像１０６を重ねて表示させて、マウスなどのポインティングデバイスによってドラッグして平行移動、サイズ変更、回転等させる処理でも良いし、変形パラメータ値を入力して基準参照アルファ画像１０７を変形させても良い。これによって、変形パラメータ決定手段１０３からは、ある１組の基準元画像１０６と基準参照アルファ画像１０７の関係を表す変形パラメータ１０９と、その元画像の１枚の出力アルファ画像１０８が出力される。
【００１８】
続いて、出力アルファ画像作成手段１０４には、残りの元画像１１０と対応する残りの参照アルファ画像１１１および変形パラメータ決定手段１０３によって決定された変形パラメータ１０９が入力される。出力アルファ画像作成手段１０４においては、図５のように、変形パラメータ決定手段１０３によって決定された変形パラメータ１０９で、残りの参照アルファ画像１１１を変形する。これによって、残りの元画像１１０の出力アルファ画像１１２が作成され、出力アルファ画像記憶装置１０５に格納される。
【００１９】
以上によって、複数の元画像に対してそれぞれの物体領域を表す出力アルファ画像を簡単に生成することができる。
【００２０】
（第２実施形態）
図６は、本発明の第２実施形態の物体画像切り出し方法の流れを示すフローチャートである。本物体画像切り出し方法においては、まず、第１実施形態と同様に、複数の元画像、複数の参照アルファ画像の中から、基準元画像、基準参照アルファ画像を選択する（Ｓ２１１）。この基準元画像と基準参照アルファ画像を表示する（Ｓ２１２）。この表示に際しては、別ウィンドウにこれら画像を表示してもよいし、基準参照アルファ画像を半透明にして、基準元画像と重ね合わせて表示してもよい。
【００２１】
続いて、基準元画像の物体領域を基準参照アルファ画像が切り出しているかが判定される（Ｓ２１３）。この判定がNoであると、変形パラメータを調整し（Ｓ２１４）、調整された変形パラメータで基準参照アルファ画像を変形し（Ｓ２１５）、処理をステップＳ２１２に戻される。
【００２２】
ステップＳ２１３において、変形された基準参照アルファ画像が基準元画像の物体を切り出されると、この変形された基準参照アルファ画像を基準元画像に対応する出力アルファとして出力する（Ｓ２１６）とともに、変形パラメータを決定する（Ｓ２１７）。
【００２３】
上述して得られた変形パラメータと同じ変形パラメータを用いて、残りの全ての複数の参照アルファ画像を変形する（Ｓ２１８）。これによって、変形された複数の参照アルファ画像を、複数の元画像に対応する複数の出力アルファ画像として出力する（Ｓ２１９）。
【００２４】
以上によって、複数の元画像に対してそれぞれの物体領域を表す出力アルファ画像を簡単に生成することができる。
【００２５】
（第３実施形態）
第１実施形態で説明した物体画像切り出し装置での複数の元画像を保持する記憶装置１０１に保持されている複数の元画像を、異なる複数の被写体が写った複数の元画像でなく、同じ物体を写した時系列画像とし、第１実施形態で説明した物体画像切り出し装置での複数の参照アルファ画像を保持する記憶装置１０２に保持されている複数の参照アルファ画像を、異なる複数の被写体が写った複数物体のテンプレートでなく、同じ物体のテンプレートを表す参照アルファ画像列とすることで、映像中の動物体を切り出すことも可能である。
【００２６】
図７を用いて、参照アルファ画像列の変形を用いた時系列画像からの物体画像切り出し装置の動作を説明する。図７中の時系列画像には、画面内を右から左に移動する自動車が撮影されている。また、参照アルファ画像列として、予め画面内を右から左に移動する自動車の参照アルファ画像列を用意しておく。基準となる１つの基準時系列画像基準参照アルファ画像の組として、例えば、第１フレームの元画像と参照アルファ画像を選択する。この１組の基準元画像、基準参照アルファ画像を変形パラメータ決定手段１０３に入力して、第１フレームの出力アルファ画像と変形パラメータを決定する。出力アルファ画像作成手段１０４では、この変形パラメータで表される同じ変形によって残りの参照アルファ画像列を変形することで残りの時系列画像の出力アルファ画像列を生成する。
【００２７】
以上によって、参照アルファ画像列の変形を用いて、時系列画像から動物体画像を切り出すことができる。本手法は、同じ方向に移動する自動車の切り出しのみならず、予め参照アルファ画像列を準備できる時系列映像、例えば、物体の動きが毎回ほぼ一定なテニスのサーブや野球の投球、ゴルフのスイング等のスポーツ映像から人物などの被写体を簡単に切り出す際にも応用が可能である。
【００２８】
（第４実施形態）
第１実施形態で説明した物体画像切り出し装置での変形パラメータ１０９を、平行移動とサイズ変換、回転という変形に限定することによって、変形パラメータの決定や表現が簡単になる。平行移動、サイズ変換、回転、反転等からなる変形は、アフィン変形と呼ばれる。これは
【数１】

によって表される変形であり、変形パラメータは拡大縮小・回転等に関するパラメータの（ａ、ｂ、ｃ、ｄ）と、平行移動に関するパラメータの（ｅ、ｆ）によって表される。この変形パラメータの調整は、参照アルファ画像と元画像を重ねて表示させて、マウスなどのポインティングデバイスによってドラッグして拡大縮小・回転・平行移動させる処理によって決定可能である。また、直接、これら拡大縮小・回転・平行移動の変形パラメータ値を入力することによっても決定可能である。
【００２９】
以上によって、アフィン変形パラメータを用いて、複数の元画像から指定された被写体を簡単に切り出すことができる。
【００３０】
（第５実施形態）
第１実施形態で説明した物体画像切り出し装置において。基準元画像を表示する手段と、複数の参照アルファ画像を選択的に表示する手段と、複数の参照アルファ画像のうちの一つを基準参照アルファ画像として決定する手段を備えることによって、複数の参照アルファ画像の中から基準となる基準参照アルファ画像を選択することが可能である。
【００３１】
図８に示すフローチャートを用いて、第３実施形態で説明した時系列画像と参照アルファ画像列の場合について、時間方向に対して時系列画像と参照アルファ画像列との対応を取る方法を説明する。まず、ユーザが時系列画像中から基準となる基準時系列画像を１フレーム選択する（Ｓ３１１）。これは、予め用意された時系列画像を基準時系列画像として用いても良いし、図３において基準元画像を決定した方法で決定しても良い。
【００３２】
続いて、ｉがリセットされ（Ｓ３１２）、ｉが０以上かが判定される（Ｓ３１３）。この判定がＹｅｓであると、ｉが全フレーム数未満かが判定される（Ｓ３１４）。この判定がＮｏであると、全フレーム数に１が加算されてステップＳ３１６に進み、判定がＹｅｓであると、そのままステップ３１６に進む。ステップ３１６では、選択された基準時系列画像と仮の基準参照アルファ画像である第ｉ番目の参照アルファ画像とが表示される。この表示は、別ウィンドウに並べて表示しても良いし、図９のように、基準時系列画像と選択的に表示される仮の基準参照アルファ画像である第ｉ番目の参照アルファ画像を重ね合わせ画像として表示しても良い。
【００３３】
ユーザは、基準時系列画像と選択的に表示される仮の基準参照アルファ画像を見て、図１０のように、現在表示されている第ｉ番目の参照アルファ画像が基準参照アルファ画像として適するかが判断される。この判断がYesであると、参照アルファ画像を基準参照アルファ画像として決定する（Ｓ３１９）。Ｎｏであれば、基準時系列画像と選択的に表示される仮の基準参照アルファ画像を見て、適する基準参照アルファ画像が、現在表示されている第ｉ番目の参照アルファ画像より時間的に過去フレームにあるか未来フレームにあるかを判断し、図９のように仮の基準参照アルファ画像を時間方向に前後に変更して、再び基準時系列画像と時間方向にフレームが変更された仮の基準参照アルファ画像を表示する工程に戻る（Ｓ３１８）。
【００３４】
フレーム番号の変更は、１フレームずつ参照アルファ画像列の過去フレーム、未来フレームを表示させるボタンで変更したり、スライドバー等で任意のフレーム番号を指定しても良い。適する基準参照アルファ画像が決定されるまでこの処理を繰り返す。このように、仮の基準参照アルファ画像列を時間方向に調整し、図１０のように基準時系列画像と位相があった基準参照アルファ画像が見つかった時点で、基準時系列画像と基準参照アルファ画像を対応付ける。また、同時に、残りの各時系列画像と参照アルファ画像列も対応付けして、今まで、時間方向のフレーム番号変更処理によって更新表示されてないように固定されていた基準時系列画像の固定を解除する。以降、時間方向のフレーム番号変更処理によって、対応した時系列画像と参照アルファ画像の組が更新されながら表示される。
【００３５】
以上によって、時間方向に対しても時系列画像と参照アルファ画像との対応を取ることができる。この処理の後、第３実施形態で説明した方法によって、画像内つまり空間方向での物体画像切り出し処理を行い、映像中の動物体を切り出すことが可能になる。
【００３６】
（第６実施形態）
第１実施形態で説明した物体画像切り出し装置において、前記基準参照アルファ画像を表示する手段と、前記複数の元画像を選択的に表示する手段と、前記複数の元画像のうちの一つを前記基準元画像として決定する手段を備えることによって、基準参照アルファ画像に対応する基準元画像を選択することが可能である。
【００３７】
図１１に示すフローチャートを用いて、第３実施形態で説明した時系列画像と参照アルファ画像列の場合について、時間方向に対して時系列画像と参照アルファ画像列との対応を取る方法を説明する。まず、ユーザが参照アルファ画像列中から基準となる基準参照アルファ画像を１フレーム選択する（Ｓ４１１）。これは、予め用意された参照アルファ画像を基準参照アルファ画像として用いても良いし、図３において基準元画像を決定した方法で決定しても良い。
【００３８】
続いて、ｉが０にリセットされ（Ｓ４１２）、ｉが全フレーム数未満かが判定される（Ｓ４１４）。この判定がYesであると、そのままステップＳ４１６に進み、Ｎｏであれば、全フレーム数に１が加算され、ステップ４１６に進む。ステップ４１６では、選択された基準参照アルファ画像と仮の基準時系列画像である第ｉ番目の時系列画像を表示する。表示方法は、別ウィンドウに並べて表示しても良いし、図１２のように、基準参照アルファ画像と選択的に表示される仮の基準時系列画像である第ｉ番目の時系列画像を重ね合わせ画像として表示しても良い。
【００３９】
ユーザは、基準参照アルファ画像と選択的に表示される仮の基準時系列画像を見て、図１３のように、現在表示されている第ｉ番目の時系列画像が基準時系列画像として適するかが判断され（Ｓ４１７）、この判断がＹｅｓなら、この時系列画像を基準時系列画像として決定する（Ｓ３１９）。そうでないなら、基準参照アルファ画像と選択的に表示される仮の基準時系列画像を見て、適する基準時系列画像が、現在表示されている第ｉ番目の時系列画像より時間的に過去フレームにあるか未来フレームにあるかを判断し、図１２のように仮の基準時系列画像を時間方向に前後に変更して、再び基準参照アルファ画像と時間方向にフレームが変更された仮の基準時系列画像を表示する工程に戻る（Ｓ３１８）。
【００４０】
フレーム番号の変更は、１フレームずつ時系列画像の過去フレーム、未来フレームを表示させるボタンで変更したり、スライドバー等で任意のフレーム番号を指定しても良い。適する基準時系列画像が決定されるまでこの処理を繰り返す。このように、仮の基準時系列画像を時間方向に調整し、図１３のように基準参照アルファ画像と位相があった基準時系列画像が見つかった時点で、基準参照アルファ画像と基準時系列画像を対応付ける。また、同時に、残りの各参照アルファ画像列と時系列画像も対応付けして、今まで、時間方向のフレーム番号変更処理によって更新表示されてないように固定されていた基準参照アルファ画像の固定を解除する。以降、時間方向のフレーム番号変更処理によって、対応した時系列画像と参照アルファ画像の組が更新されながら表示される。
【００４１】
以上によって、時間方向に対しても時系列画像と参照アルファ画像との対応を取ることができる。この処理の後、第３実施形態で説明した方法によって、画像内つまり空間方向での物体画像切り出し処理を行い、映像中の動物体を切り出すことが可能になる。
【００４２】
（第７実施形態）
第３実施形態で説明した物体画像切り出し装置での予め用意する複数の参照アルファ画像列が、時系列画像よりも時間方向に高いフレームレートであり、第５実施形態及び第６実施形態で説明した方法や画像処理的な方法によって基準となる基準時系列画像と基準参照アルファ画像の対応する組を決定し、決定した基準参照アルファ画像を基準として参照アルファ画像列を間引くことによって時系列画像と参照アルファ画像列との時間的なフレームレートを同じにして位相を合わせて、時系列画像と時間的なフレームレートを同じにした参照アルファ画像列を用いて出力アルファ画像列を生成することによって、時系列画像から動物体を切り出すことが可能である。
【００４３】
図１４においては、参照アルファ画像列は、時系列画像に対して時間方向２倍のフレームレートで用意されている。まずは、時系列画像と参照アルファ画像列から、対応する１組の基準元画像と基準参照アルファ画像を見つける。これは、第４実施形態で説明した方法や第５実施形態で説明した方法で見つけることが可能であるし、画像処理的な方法で自動的に見つけることも可能である。図１４（ａ）では、第１フレームの基準元画像に対応する参照アルファ画像が選択されている。この例では、参照アルファ画像列は、２倍のフレームレートで準備されているので、参照アルファ画像列を１枚飛ばしで選択することによって、残りの時系列画像に対応する参照アルファ画像も図１４（ｂ）のように決定する。これによって、時系列画像と参照アルファ画像列との時間的なフレームレートが同じになり位相が合った。
【００４４】
以降の処理は、第３実施形態と同様に行う。図１５を用いて、高いフレームレートで参照アルファ画像列を用意しておき、参照アルファ画像列の変形を用いて時系列画像から物体画像を切り出す方法を説明する。図１４（ａ）によって対応付けられた基準時系列画像と基準参照アルファ画像を変形パラメータ決定手段１０３に入力して、基準時系列画像での出力アルファ画像と変形パラメータを決定する。出力アルファ画像作成手段１０４では、この変形パラメータで表される同じ変形によって残りの時系列画像と図１４（ｂ）によって対応付けられた参照アルファ画像列を変形することで残りの時系列画像の出力アルファ画像列を生成することができる。
【００４５】
本手法において予め用意しておく参照アルファ画像列のフレームレートは、時系列画像の整数倍のみでなく任意の倍数でもよく、また、時間方向に一定の割合で増やされたレートで用意されている必要もない。
【００４６】
以上によって、参照アルファ画像列が時系列画像よりも時間方向について高いフレームレートである場合でも、時系列画像から所望の物体画像を切り出すことが可能になる。これは、撮影された時系列画像に対して、より時間的に近い位相の参照アルファ画像列を対応させることが可能になり、より精度良く動物体を抽出することが可能になる。
【００４７】
（第８実施形態）
第３実施形態で説明した物体画像切り出し装置での予め用意する複数の参照アルファ画像列が、時系列画像よりも時間方向に高いフレームレートであり、複数の仮の基準アルファ画像を基準として参照アルファ画像列を間引くことよって複数の位相での仮の参照アルファ画像列を生成し、複数の位相での仮の参照アルファ画像列をもとに複数の仮の出力アルファ画像列を生成し、複数の仮の出力アルファ画像列のうちの一つを最終的な出力アルファ画像列として選択することにより、より高速にかつ精度良く時系列画像から動物体を切り出すことが可能である。
【００４８】
図１６においては、参照アルファ画像列は、時系列画像に対して時間方向２倍のフレームレートで用意されている。２倍のフレームレートであるので、１フレームとばしで参照アルファ画像列を選択すると図１６のように、フレームレートは同じだが、位相がずれている仮の参照アルファ画像列１と仮の参照アルファ画像列２を予め生成しておくことが可能である。このそれぞれの仮の参照アルファ画像列をもとに仮の出力アルファ画像列１と仮の出力アルファ画像列２を生成し、二つの仮の出力アルファ画像列から、最終的な出力アルファ画像列を選択する。
【００４９】
以上によって、参照アルファ画像列が時系列画像よりも時間方向について高いフレームレートである場合でも、より高速にかつより精度良く時系列画像から所望の物体画像を切り出すことが可能である。
【００５０】
（第９実施形態）
第３実施形態で説明した時系列画像からの動物体切り出し装置において、参照アルファ画像列を複数物体について個別に用意し、それぞれの基準参照アルファ画像を変形させることによって変形パラメータを個別に決定し、この変形パラメータによって残りの参照アルファ画像列に対して個別に変形を行い複数物体の出力アルファ画像列を出力することで、動画像中からの複数動物体の切り出しが可能になる。
【００５１】
図１７では、参照アルファ画像列１として自動車が画像の右から左に移動するテンプレート、参照アルファ画像列２として飛行機が画像の左から右に移動するテンプレートという２種類の物体から成る参照アルファ画像列が準備されている。図１７のような時系列画像が入力された場合、それぞれの被写体に対して、独立に第３実施形態で説明した動物体切り出し処理を行うことによって、図１７のように、出力アルファ画像列１と出力アルファ画像列２を作成することが可能である。
【００５２】
（第１０実施形態）
第９実施形態で説明した時系列画像からの動物体切り出し装置において、複数物体の出力アルファ画像列の物体領域の和を取った合成出力アルファ画像列を生成することもできる。図１８では、参照アルファ画像列１と参照アルファ画像列２によって独立に動物体を切り出したあとで出力アルファ画像列を合成することで、合成出力アルファ画像列を出力している。
【００５３】
（第１１実施形態）
第１実施形態での複数物体の物体画像切り出し処理や、第３実施形態での時系列画像からの動物体切り出し処理の後処理として、複数の出力アルファ画像、もしくは出力アルファ画像列に対して、各フレーム毎に、更に、出力アルファ画像内の物体領域と背景領域の境界である輪郭線の位置を修正することによって、物体切り出しの精度を高めることができる。輪郭線の修正には、元画像での輝度情報と、出力アルファ画像での輪郭線情報を利用する。具体的には、文献「ＬＩＦＳを用いた被写体輪郭線の高精度な検出」井田、三本杉、渡邊（電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ、Ｊ８２−Ｄ−ＩＩ、Ｎｏ．８、頁１２８２〜１２８９、１９９９年８月）等の手法を用いて、輪郭線の位置の修正を行うことが可能である。
【００５４】
この輪郭線修正の様子を図１９に示す。図１９左図のように、熊に対して白色で示す大まかな輪郭線が与えられると、図１９右図のように輪郭線を修正して切り出しの精度が高まっている。この輪郭線修正手段を用いて、図２０のように、作成された複数の出力アルファ画像、複数の元画像を輪郭線修正手段に入力して、複数の修正出力アルファ画像を得ることができる。図２０では、第１実施形態で説明した方法のように、基準元画像と基準参照アルファ画像の変形を表す変形パラメータによって、残りの複数の元画像中の物体を残りの複数の参照アルファ画像の変形を用いて切り出している。出力された複数の出力アルファ画像のそれぞれが、輪郭線修正手段に入力される。また、それぞれに対応する複数の元画像も輪郭線修正手段に入力される。これら出力アルファ画像によって表される物体領域を物体の概略輪郭線として、この概略輪郭線と元画像の輝度情報によって、概略輪郭線を修正する。この処理は、各フレーム独立に行われ、複数の元画像に対応した複数の修正出力アルファ画像が最終的に出力される。
【００５５】
以上によって、より精度良く物体画像を切り出すことが可能になる。
【００５６】
（第１２実施形態）
複数の元画像に対してそれぞれの物体領域を表すアルファ画像を出力アルファ画像として出力するためのＧＵＩを説明する。
【００５７】
図２１でその一例として、時間方向、空間方向における参照アルファ画像列の調整を行うためのＧＵＩを示す。図２１中の２１０１は、第５実施形態で説明したように、時系列画像と参照アルファ画像列の位相合わせをするために時間方向に固定する基準時系列画像を決定／解除するためのボタンである。２１０２は、第６実施形態で説明したように、時系列画像と参照アルファ画像列の位相合わせをするために時間方向に固定する基準参照アルファ画像を決定／解除するためのボタンである。ユーザは、固定されていない方の仮の基準参照アルファ画像、もしくは仮の基準時系列画像を、時間的に１フレーム分、過去フレームに変更して表示させるボタン２１０３および時間的に１フレーム分、未来フレームに変更して表示させるボタン２１０４を用いて、適する基準時系列画像と基準参照アルファ画像を選択する。ボタン２１０１とボタン２１０２が共に解除モードになっている場合は、時系列画像と参照アルファ画像列は、共に時間方向に変更される。時間方向に、基準時系列画像と基準参照アルファ画像の対応が取れたら、ボタン２１０５、２１０６、２１０７で、基準時系列画像と基準参照アルファ画像の空間方向の位置・サイズ合わせを行う。ボタン２１０５では、参照アルファ画像の拡大縮小を行う。ボタン２１０６では、参照アルファ画像の平行移動を行う。ボタン２１０７では、参照アルファ画像の回転を行う。
【００５８】
以上、一連の時間方向、空間方向の調整処理は、画面２１０８に表示されて、変形結果が確認される。ここでは、元画像と参照アルファ画像が重ね合わせて表示されているが、それぞれが別ウインドウで表示されていても良い。
【００５９】
図２２を用いて、上記ＧＵＩを用いた時間方向、空間方向における時系列画像と参照アルファ画像列の調整を行う流れを説明する。まずは、現在選択されている時系列画像（第ｉフレーム）と参照アルファ画像（第ｊフレーム）を表示画面２１０８に表示する（Ｓ５１１）。
【００６０】
過去フレームに変更して表示させるボタン２１０３からの指示があり（Ｓ５１２）、かつ、時系列画像を時間方向に固定するボタン２１０１が解除されている（Ｓ５１３）場合は、時系列画像のフレーム番号を第（ｉ−１）フレームに更新する（Ｓ５１５）。時系列画像を時間方向に固定するボタン２１０１が固定されている場合は、時系列画像のフレーム番号は第ｉフレームのままに固定する。
【００６１】
続いて、参照アルファ画像列を時間方向に固定するボタン２１０２が解除されている（Ｓ５１５）場合は、参照アルファ画像のフレーム番号を第（ｊ−１）フレームに更新する（Ｓ５１６）。参照アルファ画像列を時間方向に固定するボタン２１０２が固定されている（Ｓ５１５）場合は、参照アルファ画像のフレーム番号は第ｊフレームのままに固定する。各ボタンの状態によって、ｉ−ｊを更新して、再び、時系列画像（第ｉフレーム）と参照アルファ画像（第ｊフレーム）を表示画面２１０８に表示させる工程（Ｓ５１１）に戻る。
【００６２】
また、未来フレームに変更して表示させるボタン２１０４からの指示があった場合（Ｓ５１７）も同様に、時系列画像を時間方向に固定するボタン２１０１が解除されている（Ｓ５１８）場合は、時系列画像のフレーム番号を第（ｉ＋１）フレームに更新し（Ｓ５１９）、時系列画像を時間方向に固定するボタン２１０１が固定されている（Ｓ５１８）場合は、時系列画像のフレーム番号は第ｉフレームのままに固定する。
【００６３】
参照アルファ画像列を時間方向に固定するボタン２１０２が解除されている（Ｓ５２０）場合は、参照アルファ画像のフレーム番号を第（ｊ＋１）フレームに更新し（Ｓ５２１）、参照アルファ画像列を時間方向に固定するボタン２１０２が固定されている（Ｓ５２０）場合は、参照アルファ画像のフレーム番号は第ｊフレームのままに固定する。各ボタンの状態によって、ｉとｊを更新して、再び、時系列画像（第ｉフレーム）と参照アルファ画像（第ｊフレーム）を表示画面２１０８に表示させる工程（Ｓ５１１）に戻る。
【００６４】
ここまでの流れによって、第５実施形態、第６実施形態、第７実施形態、第８実施形態で説明してきたような時系列画像と参照アルファ画像列の時間方向における位相合わせを行うことができる。続いて、図２２の残りの空間方向における時系列画像と参照アルファ画像列の調整を行う流れを説明する。
【００６５】
時間方向に調整された基準時系列画像と基準参照アルファ画像が表示画面２１０８に表示されている。拡大縮小ボタン２１０５からの信号がある場合（Ｓ５２２）は、基準参照アルファ画像内の物体領域を示す部分を拡大、もしくは縮小する（Ｓ５２３）。平行移動ボタン２１０６からの信号がある場合（Ｓ５２４）は、基準参照アルファ画像内の物体領域を示す部分を平行移動する（Ｓ５２５）。回転ボタン２１０７からの信号がある場合（Ｓ５２６）は、基準参照アルファ画像内の物体領域を示す部分の回転を行う（Ｓ５２７）。これら変形された基準参照アルファ画像を、新たな基準参照アルファ画像として、フローチャートの始めの時系列画像と参照アルファ画像を表示画面２１０８に表示させる工程（Ｓ５１１）に戻る。
【００６６】
ここまでの流れによって、第１実施形態、第２実施形態、第３実施形態、第４実施形態、第９実施形態、第１０実施形態、第１１実施形態で説明してきたような時系列画像と参照アルファ画像列の空間方向における調整を行うことができる。
【００６７】
以上のＧＵＩを用いることによって、ユーザは、複数の元画像から複数の出力アルファ画像を生成することが可能になる。
【００６８】
（第１３実施形態）
第１実施形態で説明した物体画像切り出し方法によって得られた複数の出力アルファ画像を用いて、切り出した物体を重ね合わせて表示することによって、新たな映像効果を得ることができる。その様子を図２３に示す。図２３は、第３実施形態で説明した移動する自動車の切り出し画像を重ね合わせて表示した例である。
【００６９】
この時系列合成画像を合成する流れを図２４のフローチャートで説明する。まず、始めに、時系列合成画像の第１フレームとして、第１フレーム時系列画像を出力する（Ｓ６１１）。続いて、第２フレームから最後の第Ｎフレームまでの画像の合成が行われる。この場合、ｉが２に設定され（Ｓ６１２）、ｉが全フレーム数Ｎ以下であることが判定された（Ｓ６１３）後に第１実施形態で出力した複数の出力アルファ画像を用いて物体を切り出す（Ｓ６１４）。第ｉフレームの出力アルファ画像を用いて第ｉフレームの時系列画像中にある物体を切り出し（Ｓ６１５）、切り出された第ｉフレーム時系列画像中の切り出し物体を第（ｉ−１）フレーム合成画像に重ね合わせる（Ｓ６１５）。この重ね合わされた合成画像を第ｉフレーム時系列合成画像として出力する（Ｓ６１６）。この後、ｉが更新され、処理をステップＳ６１３に戻す（Ｓ６１７）。このような処理を第Ｎフレームまで行うことで、新たな時系列合成画像が作成され、第１〜Ｎフレーム合成画像を新たな時系列合成画像として出力する（Ｓ６１８）。
【００７０】
このように、時系列画像において、第１フレーム、第１〜２フレーム、第１〜３フレーム、・、第１〜Ｎフレームを重ね合わせた画像を、それぞれ新たなフレームとして時系列画像を映像化すると、動きを持って自動車の軌跡を見ることができる。例えば、図２３（ａ）のように自動車の軌跡が分かると共に、新たな映像効果としても用いることができる。
【００７１】
図２３（ａ）は自動車が直線的に走行している軌跡を示しているが、自動車が撮影箇所に近づき、それから遠ざかる場合には奥行き情報を与えることにより図２３（ｂ）に示されるように臨場感のある特殊効果映像を合成することができる。この場合、より近づく切り出し物体に対して最前である奥行き情報を与え、物体の全体を視認できるように切り出しを行う。これに対して遠ざかっていく場合には、遠ざかる切り出し物体に対しては大きくなる奥行き情報を与える。これにより、図２３（ｂ）に示されるように最も近づいた切り出し物体の後ろ側に順次重なるように遠近形態を表す合成画像が作成される。このように移動物体の遠近関係に応じて奥行き情報を切り出し物体情報に与えることにより、より臨場感のある特殊効果映像が実現できる。この変形例の場合、図２４のフローのステップＳ６１５の切り出し物体を重ね合わせる前に切り出し物体に遠近を判断し、切り出し物体の遠近に応じて奥行き情報を切り出し物体に与えるステップが設けられる。このような処理はプログラムにより行える。
【００７２】
このような技術を先に説明したスポーツ映像等に応用すれば、フォーム解析、効果的なインストラクター映像等に応用可能である。
【００７３】
（第１４実施形態）
第３実施形態で説明した動物体切り出し装置において、参照アルファ画像列に予めマークを付けておき、時系列画像中のあるフレームの物体にマークを与えることによって時間的に最も近い基準参照アルファ画像と基準時系列画像を見つけて位相を合わせることが可能である。
【００７４】
図２５において、自動車が画面内を右から左に移動する参照アルファ画像において、予め車体の中心付近に○のマークが付けられている。ある基準時系列画像を選び、この基準時系列画像に対応する基準参照アルファ画像を求めようとした場合、基準時系列画像内の物体に対してマークを与える。ここでは、図２５の基準時系列画像内の車体の中心付近に○マークが与えられている。基準時系列画像での○マークに最も近い位置で○マークを持つ参照アルファ画像を○マークの座標位置の距離計算等によって探すことによって、自動的に基準時系列画像に対応する基準参照アルファ画像を決定することが可能である。
【００７５】
（第１５実施形態）
第１４実施形態で説明した位相合わせの方法において、時系列画像の選択されている基準時系列画像を表示する手段と、表示されている基準時系列画像にマークを入力するマーキング手段とを備えて、位相合わせをすることが可能である。即ち、図２６に示されるように、時系列画像の選択されている基準時系列画像を表示する手段２６０１、表示されている基準時系列画像のマークを入力するマーキング手段２６０２が設けられる。ここでは、マーキング手段２６０２はペンタブレットによるシステムを示しているが、一般的なディスプレイとマウスの組み合わせでも良い。
【００７６】
図２７に示すフローチャートを用いて、この位相合わせ方法の流れを説明する。まず、基準時系列画像を選択し（Ｓ７１１）、ディスプレイ２６０１に表示する（Ｓ７１２）。ユーザが、マーキング手段２６０２を用いて基準時系列画像中の物体を指し示し、マーキング位置を入力する（Ｓ７１３）。ユーザが物体のどこを指し示すかは、参照アルファ画像列に予め付けられているマーク位置によって異なり、例えば、図２６のように「車体の中心」であったり「車体の左端」であったりする。
【００７７】
続いて、第１４実施形態で説明したように、入力されたマークと最も位置が近いマークを持つ参照アルファ画像を参照アルファ画像列から探索する（Ｓ７１４）。探索された最も位置が近いマークを持つ参照アルファ画像を基準参照アルファ画像と決定する（Ｓ７１５）。これにより、基準時系列画像に対応する基準参照アルファ画像を自動的に決定して、時系列画像と参照アルファ画像列の位相合わせを行うことが可能である。
【００７８】
（第１６実施形態）
第３実施形態で説明した動物体切り出し装置において、時系列画像の背景画像を予め保持しておき、背景画像と基準時系列画像の差分を取ることよって物体の位置を検出し、検出された結果をもとに基準時系列画像と時間的に最も近い参照アルファ画像を見つけて位相を合わせることが可能である。
【００７９】
図２８においては、自動車が画面内を右から左に移動する時系列画像のうちのある１フレームを基準時系列画像として選択してある。また、予め、被写体である自動車が撮影されていない背景画像も用意されている。基準時系列画像と背景画像の各画素値の誤差を絶対値誤差や平均２乗誤差で算出し、誤差に閾値処理を施すことによって、図２８の差分画像を生成する。これは、例えば、物体部分の画素値が０、背景部分の画素値が１という値を持っており、前述してきた参照アルファ画像や出力アルファ画像と同じ構造である。この差分画像と最も似ている基準参照アルファ画像を、参照アルファ画像列より探索する。この探索は、差分画像と参照アルファ画像とで物体領域を表す面積の重なりが最も大きい参照アルファ画像を探索したり、差分画像での物体領域の重心位置が参照アルファ画像での物体領域の重心位置に最も近い参照アルファ画像を探索したりすることよって見つけることができる。図２８では、（ａ）のように、基準参照アルファ画像が自動的に選択されている。
【００８０】
以上によって、基準時系列画像に対応する基準参照アルファ画像を見つけることができ、自動的に時系列画像と参照アルファ画像列の位相を合わせることが可能になる。
【００８１】
（第１７実施形態）
第３実施形態で説明した動物体切り出し装置において、時系列画像のうちの基準時系列画像と時間的に過去のフレームとの画像の第１の差分画像を作成する手段と、基準時系列画像と時間的に未来のフレームの画像との第２の差分画像を作成する手段と、第１の差分画像と第２の差分画像との各画素値の論理積と取った論理積画像を作成して物体の位置を検出する手段と、検出された結果をもとに時間的に基準時系列画像と最も近い参照アルファ画像を見つけて位相を合わせる位相合わせ手段を備えることによって、位相を合わせることが可能になる。
【００８２】
図２９において、自動車が画面内を右から左に移動する時系列画像のうちのある第ｎフレームを基準時系列画像として選択してある。第ｎフレーム基準時系列画像と第（ｎ−１）フレームの時系列画像の各画素値の誤差を絶対値誤差や平均２乗誤差で算出し、誤差に閾値処理を施すことによって、図２９の第ｎフレーム基準時系列画像と第（ｎ−１）フレームとの差分画像Ａを生成する。これは、例えば、物体部分の画素値が０、背景部分の画素値が１という値を持っており、前述してきた参照アルファ画像や出力アルファ画像と同じ構造である。また、同様に、第ｎフレーム基準時系列画像と第（ｎ＋１）フレームの時系列画像の各画素値の誤差を求め、誤差に閾値処理を施すことによって、図２９の第ｎフレーム基準時系列画像と第（ｎ＋１）フレームとの差分画像Ｂを生成する。この差分画像Ａと差分画像Ｂとの各画素値の論理積を求め、差分画像Ａと差分画像Ｂの論理積画像を生成する。この論理積画像には、第ｎフレーム基準時系列画像内の物体領域の一部が抽出される。この論理積画像と最も似ている基準参照アルファ画像を、参照アルファ画像列より探索する。この探索は、物体領域を表す面積の重なりが最も大きい参照アルファ画像を探索したり、物体領域の重心位置が最も近い参照アルファ画像を探索したりすることよって見つけることができる。図２９では、（ａ）のように、基準参照アルファ画像が自動的に選択されている。
【００８３】
以上によって、基準時系列画像に対応する基準参照アルファ画像を見つけることができ、自動的に時系列画像と参照アルファ画像列の位相を合わせることが可能になる。
【００８４】
【発明の効果】
以上説明したように、本発明の物体画像切り出し装置によれば、予め複数のアルファ画像を参照アルファ画像として用意しておき、ある基準元画像に対して、対応する基準参照アルファ画像を変形することで元画像の出力アルファ画像を生成して、前記変形と同じ変形パラメータで残りの参照アルファ画像を変形することで残りの元画像の出力アルファ画像を生成することによって、複数の元画像に対してそれぞれの物体領域を表すアルファ画像を簡単に生成することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の物体画像切り出し装置のブロック図
【図２】第１実施形態の基準元画像・基準参照アルファ画像の第一の選択方法の流れを示すフローチャート。
【図３】第１実施形態の基準元画像・基準参照アルファ画像の第二の選択方法の流れを示すフローチャート。
【図４】第１実施形態の物体画像切り出し装置での変形パラメータ決定手段１０３による画像処理状態を示す図。
【図５】第１実施形態の物体画像切り出し装置による他の画像処理状態を示す図。
【図６】第２実施形態の物体画像切り出し処理の流れを示すフローチャート。
【図７】第３実施形態の時系列画像からの動物体切り出しの一例を示す図。
【図８】第５実施形態の物体切り出し処理の流れを示すフローチャート。
【図９】第５実施形態の物体切り出し処理における選択的に基準参照アルファ画像を決定する状態を示す図。
【図１０】第５実施形態の物体切り出し処理における選択的に基準参照アルファ画像を決定した状態を示す図。
【図１１】第６実施形態の物体切り出し処理の流れを示すフローチャート。
【図１２】第６実施形態の物体切り出し処理における選択的に基準元画像を決定する状態を示す図。
【図１３】第６実施形態の物体切り出し処理における選択的に基準元画像を決定した状態を示す図。
【図１４】第７実施形態の物体切り出し処理における参照アルファ画像列間引き処理状態を示す図。
【図１５】第７実施形態の物体画像切り出し装置の処理状態を示す図
【図１６】第８実施形態の物体切り出し処理における複数の仮の参照アルファ画像列を生成する状態を示す図。
【図１７】第９実施形態の物体切り出し処理における複数物体の出力アルファ画像列を生成する状態を示す図。
【図１８】第１０実施形態の物体切り出し処理における複数物体領域の和を取った一つの出力アルファ画像列を生成する状態を示す図
【図１９】第１１実施形態の物体切り出し処理における輪郭線修正手段による画像処理状態を示す図。
【図２０】第１１実施形態の物体画像切り出し装置の画像処理状態を示す図。
【図２１】第１２実施形態の物体画像切り出し装置のＧＵＩを示す図。
【図２２】第１２実施形態の物体切り出し処理におけるＧＵＩの流れを示すフローチャート。
【図２３】第１３実施形態の物体画像切り出し装置の合成映像の状態を示す図。
【図２４】第１３実施形態の物体切り出し処理におけるＧＵＩの流れを示すフローチャート。
【図２５】第１４実施形態の物体画像切り出し装置の画像切り出し処理を示す図。
【図２６】第１５実施形態の物体画像切り出し装置のＧＵＩを示す図。
【図２７】第１５実施形態の物体切り出し処理におけるＧＵＩの流れを示すフローチャート。
【図２８】第１６実施形態の物体画像切り出し装置の画像切り出し処理を示す図。
【図２９】第１７実施形態の物体画像切り出し装置の画像切り出し処理を示す図。
【図３０】従来例での変形パラメータの決定を示す図。
【符号の説明】
１０１…元画像記憶装置
１０２…参照アルファ画像記憶装置
１０３…変形パラメータ決定手段
１０４…出カアルファ画像作成手段
１０５…出カアルファ画像記憶装置
１０６…基準元画像
１０７…基準参照アルファ画像
１０８…出カアルフア画像
１０９…変形パラメータ
１１０…残りの元画像
１１１…残りの参照アルファ画像
１１２…複数の出カアルファ画像
２１０１…時系列画像固定／解除ボタン
２１０２…参照アルファ画像固定／解除ボタン
２１０３…過去方向へのフレーム移動ボタン
２１０４…未来方向へのフレーム移動ボタン
２１０５…拡大縮小調整ボタン
２１０６…平行移動調整ボタン
２１０７…回転調整ボタン
２１０８…マーキング手段

Claims (31)

1. 元画像に含まれる物体領域を表すアルファ画像を出力アルファ画像として生成することにより該物体領域の画像を切り出す物体画像切り出し方法において、切り出される物体領域を含む複数の元画像と、予め用意された該物体領域を表す複数の参照アルファ画像とを記憶手段に保持する工程と、前記記憶手段に保持され、基準となる基準元画像に対応する基準参照アルファ画像を変形することによって前記基準元画像の出力アルファ画像を生成し、この出力アルファ画像に基づいて前記変形に関する変形パラメータを決定する変形パラメータ決定工程と、前記変形パラメータに基づいて残りの参照アルファ画像を変形することによって残りの元画像の出力アルファ画像を生成する出力アルファ画像作成工程と、前記出力アルファ画像に基づいて元画像から物体領域の画像を切り出す工程とを備えることを特徴とする物体画像切り出し方法。
2. 前記複数の元画像が同じ物体領域に関する時系列画像であり、前記複数の参照アルファ画像が同じ物体領域のテンプレートを表す参照アルファ画像列であり、前記変形パラメータ決定工程は、基準となる基準時系列画像と基準参照アルファ画像より変形パラメータを決定し、出力される複数の出力アルファ画像が同じ物体の物体領域を表す出力アルファ画像列であることを特徴とする請求項１記載の物体画像切り出し方法。
3. 前記変形パラメータが、平行移動、サイズ変換および回転の少なくとも一つを表すパラメータであることを特徴とする請求項１記載の物体画像切り出し方法。
4. 前記複数の参照アルファ画像を選択的に表示することによって、前記複数の参照アルファ画像のうちの一つを、前記基準元画像に対応する前記基準参照アルファ画像として決定する工程を備えることを特徴とする請求項１記載の物体画像切り出し方法。
5. 前記複数の元画像を選択的に表示することによって、前記複数の元画像のうちの一つを、前記基準参照アルファ画像に対応する前記基準元画像として決定する工程を備えることを特徴とする請求項１記載の物体画像切り出し方法。
6. 前記参照アルファ画像列が、前記時系列画像よりも時間方向について高いフレームレートであり、基準となる基準時系列画像と基準参照アルファ画像の対応する組を決定する工程と、決定された前期基準アルファ画像を基準として参照アルファ画像列を間引くことによって前記時系列画像と前記参照アルファ画像列との時間的なフレームレートを同じにして位相を合わせる工程と、前記時系列画像と時間的なフレームレートを同じにした参照アルファ画像列を用いて出力アルファ画像列を生成する工程とを備えることを特徴とする請求項２記載の物体画像切り出し方法。
7. 前記参照アルファ画像列が、前記時系列画像よりも時間方向について高いフレームレートであり、複数の仮の基準アルファ画像を基準として参照アルファ画像列を間引くことによって複数の位相で仮の参照アルファ画像列を生成し、前記複数の位相での仮の参照アルファ画像列をもとに複数の仮の出力アルファ画像列を生成し、複数の仮の出力アルファ画像列のうちの一つを最終的な出力アルファ画像列として選択することを特徴とする請求項２記載の物体画像切り出し方法。
8. 前記参照アルファ画像列を複数の物体領域について個別に用意し、それぞれ前記基準参照アルファ画像を変形させることによって変形パラメータを個別に決定し、この変形パラメータによって残りの参照アルファ画像列に対して個別に変形を行い、前記物体領域の和を取ることを特徴とする請求項２記載の物体画像切り出し方法。
9. 前記複数の物体領域の出力アルファ画像列の物体領域の和を取った合成出力アルファ画像列を生成することを特徴とする請求項８記載の物体画像切り出し方法。
10. 作成された前記複数の出力アルファ画像を入力として、輪郭線の位置を修正する輪郭線修正工程を備えることを特徴とする請求項１記載の物体画像切り出し方法。
11. 前記参照アルファ画像列に予めマークを付けておき、前記時系列画像中の物体にマークを与えることによって時間的に最も近い基準参照アルファ画像と基準時系列画像を見つけて位相を合わせる位相合わせ工程を備えることを特徴とする請求項２記載の物体画像切り出し方法。
12. 前記時系列画像の背景画像を予め保持しておき、背景画像と基準時系列画像の差分を取ることによって物体領域の位置を検出し、検出された結果をもとに基準時系列画像に時間的に最も近い基準参照アルファ画像を見つけて位相を合わせる位相合わせ工程を備えることを特徴とする請求項２記載の物体画像切り出し方法。
13. 前記時系列画像のうちの基準時系列画像と時間的に過去のフレームとの画像の第１の差分画像を作成する工程と、基準時系列画像と時間的に未来のフレームの画像との第２の差分画像を作成する工程と、第１の差分画像と第２の差分画像との各画素値の論理積と取った論理積画像を作成して物体の位置を検出する工程と、検出された結果をもとに時間的に基準時系列画像と最も近い参照アルファ画像を見つけて位相を合わせる位相合わせ工程を備えることを特徴とする請求項２記載の物体画像切り出し方法。
14. 元画像に含まれる物体領域を表すアルファ画像を出力アルファ画像として生成することにより該物体領域の画像を切り出す機能をコンピュータに実現させる物体画像切り出しプログラムにおいて、切り出される物体領域を含む複数の元画像と、予め用意された該物体領域を表す複数の参照アルファ画像とを記憶手段に保持させる命令と、前記記憶手段に保持され、基準となる基準元画像に対応する基準参照アルファ画像を変形することによって前記基準元画像の出力アルファ画像を生成させる命令と、この出力アルファ画像に基づいて前記変形に関する変形パラメータを決定させる命令と、前記変形パラメータに基づいて残りの参照アルファ画像を変形することによって残りの元画像の出力アルファ画像を生成させる命令と、前記出力アルファ画像に基づいて元画像から物体領域の画像を切り出させる命令とを含むことを特徴とする物体画像切り出しプログラム。
15. 前記複数の元画像が同じ物体領域に関する時系列画像であり、前記複数の参照アルファ画像が同じ物体領域のテンプレートを表す参照アルファ画像列であり、前記変形パラメータ決定命令は、基準となる基準時系列画像と基準参照アルファ画像より変形パラメータを決定させる命令であり、出力される複数の出力アルファ画像が同じ物体の物体領域を表す出力アルファ画像列であることを特徴とする請求項１４記載の物体画像切り出しプログラム。
16. 前記変形パラメータが、平行移動、サイズ変換および回転の少なくとも一つを表すパラメータであることを特徴とする請求項１４記載の物体画像切り出しプログラム。
17. 前記複数の参照アルファ画像を選択的に表示することによって、前記複数の参照アルファ画像のうちの一つを、前記基準元画像に対応する前記基準参照アルファ画像として決定させる命令を含むことを特徴とする請求項１４記載の物体画像切り出しプログラム。
18. 前記複数の元画像を選択的に表示することによって、前記複数の元画像のうちの一つを、前記基準参照アルファ画像に対応する前記基準元画像として決定させる命令を含むことを特徴とする請求項１４記載の物体画像切り出しプログラム。
19. 前記参照アルファ画像列が、前記時系列画像よりも時間方向について高いフレームレートであり、基準となる基準時系列画像と基準参照アルファ画像の対応する組を決定させる命令と、決定された前期基準アルファ画像を基準として参照アルファ画像列を間引くことによって前記時系列画像と前記参照アルファ画像列との時間的なフレームレートを同じにして位相を合わさせる命令と、前記時系列画像と時間的なフレームレートを同じにした参照アルファ画像列を用いて出力アルファ画像列を生成させる命令とを含むことを特徴とする請求項１５記載の物体画像切り出しプログラム。
20. 前記参照アルファ画像列が、前記時系列画像よりも時間方向について高いフレームレートであり、複数の仮の基準アルファ画像を基準として参照アルファ画像列を間引くことによって複数の位相で仮の参照アルファ画像列を生成させる命令と、前記複数の位相での仮の参照アルファ画像列をもとに複数の仮の出力アルファ画像列を生成させる命令と、複数の仮の出力アルファ画像列のうちの一つを最終的な出力アルファ画像列として選択させる命令とを含むことを特徴とする請求項１５記載の物体画像切り出しプログラム。
21. 前記参照アルファ画像列を複数の物体領域について個別に用意し、それぞれ前記基準参照アルファ画像を変形させることによって変形パラメータを個別に決定させる命令と、この変形パラメータによって残りの参照アルファ画像列に対して個別に変形させる命令と、前記物体領域の和を算出させる命令とを含むことを特徴とする請求項１５記載の物体画像切り出しプログラム。
22. 前記複数の物体領域の出力アルファ画像列の物体領域の和を取った合成出力アルファ画像列を生成させる命令を含むことを特徴とする請求項２１記載の物体画像切り出しプログラム。
23. 作成された前記複数の出力アルファ画像を入力として、輪郭線の位置を修正させる命令を含むことを特徴とする請求項１４記載の物体画像切り出しプログラム。
24. 前記参照アルファ画像列に予めマークを付けておき、前記時系列画像中の物体にマークを与えることによって時間的に最も近い基準参照アルファ画像と基準時系列画像を見つけて位相を合わさせる命令を含むことを特徴とする請求項１５記載の物体画像切り出しプログラム。
25. 前記時系列画像の背景画像を予め保持しておき、背景画像と基準時系列画像の差分を取ることによって物体領域の位置を検出させる命令と、検出された結果をもとに基準時系列画像に時間的に最も近い基準参照アルファ画像を見つけて位相を合わさせる命令を含むことを特徴とする請求項１５記載の物体画像切り出しプログラム。
26. 前記時系列画像のうちの基準時系列画像と時間的に過去のフレームとの画像の第１の差分画像を作成させる命令と、基準時系列画像と時間的に未来のフレームの画像との第２の差分画像を作成させる命令と、第１の差分画像と第２の差分画像との各画素値の論理積と取った論理積画像を作成して物体の位置を検出させる命令と、検出された結果をもとに時間的に基準時系列画像と最も近い参照アルファ画像を見つけて位相を合わさせる命令とを含むことを特徴とする請求項１５記載の物体画像切り出しプログラム。
27. 元画像に含まれる物体領域を表すアルファ画像を出力アルファ画像として生成することにより該物体領域の画像を切り出す物体画像切り出し装置において、切り出される物体領域を含む複数の元画像と、予め用意された該物体領域を表す複数の参照アルファ画像とを保持する記憶手段と、前記記憶手段に保持され、基準となる基準元画像に対応する基準参照アルファ画像を変形することによって前記基準元画像の出力アルファ画像を生成し、この出力アルファ画像に基づいて前記変形に関する変形パラメータを決定する変形パラメータ決定手段と、前記変形パラメータに基づいて残りの参照アルファ画像を変形することによって残りの元画像の出力アルファ画像を生成する出力アルファ画像作成手段と、前記出力アルファ画像に基づいて元画像から物体領域の画像を切り出す手段とを備えることを特徴とする物体画像切り出し装置。
28. 前記複数の元画像のうちの選択されている元画像を表示する手段と、前記複数の参照アルファ画像のうちの選択されている参照アルファ画像を表示する手段と、参照アルファ画像を変形するための変形パラメータの入力手段とを備えることを特徴とする請求項２７記載の物体画像切り出し装置。
29. 複数の出力アルファ画像に基づいて元画像から物体領域の画像を切り出し、切り出された物体領域の画像を重ね合わせて表示する手段を備えることを特徴とする請求項２７記載の物体画像切り出し装置。
30. 前記表示手段は、切り出した物体領域の遠近関係に応じて前記切り出した物体領域の情報に奥行き情報を与えて前記切り出した物体領域を遠近形態に重ね合わせて表示することを特徴とする請求項２９記載の物体画像切り出し装置。
31. 前記時系列画像の選択されている基準時系列画像を表示する手段と、前記表示されている基準時系列画像にマークを入力するマーキング手段とを備えることを特徴とする請求項２７記載の物体画像切り出し装置。

Images