JP3607717B2 - 映像切り出し方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、映像から映像情報を用いて該映像の一部を切り出す映像切り出し方法に関するものである。
【０００２】
【従来の技術】
従来、撮影された映像から映像の一部を切り出す方法に関して多くの報告がある（永島他“映像信号における人物像検出、追跡法の一検討”、ＴＶ学会技法ＩＰＡ８７−３９，ｐｐ１７−２４等）。これらの切り出し方法は、フレーム間の差分情報を利用し、人物を検出し、人間を含むフレームで切り出すことを特徴としている。この技術は、テレビ電話、ドアホン等の映像通信端末の入力部に応用され、撮影中の人物が動いても画面から切れることなく撮影することを可能にしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の映像切り出し方法の目的が、人物の切り出し追跡であること、使用技術が単純フレーム間差分であることから、映像の表現として切り出された映像が人間にとって決して見やすいものであるとは限らなかった。例えば、人物が左右に動いている場合、上記の方法で切り出された映像は、観察者に映像酔いに似た感じを与え、けして良い映像表現ではない。このことは、上記したように切り出し目的が抽出、追跡であり、映像作成者の観察者に対する意図が含まれていないことによる。
【０００４】
一般に映像表現は、映像演出技術を用いて行われている。通常の我々が見るＴＶ、映画等の映像は、演出技術を持って撮影空間からフレームを切り出すことを行っている。このようにして切り出された（作成された）映像は、見る者にとって不快感を与えるものではない。
【０００５】
本発明の目的は、映像作成者の観察者に対する意図が含まれた映像演出技術を用いて作成する、良い映像表現のなされた映像を自動的に切り出す方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために請求項１の発明は、対象物を連続的に撮影して得られた映像情報を用いて該映像から映像の一部を切り出す方法であって、
該映像から映像の構図を決める空間的特徴の時間的振るまいである動き構成に関する情報を検出する映像の空間的特徴解析過程と、該空間的特徴解析過程により得られた動き構成に関する情報から、動きが多く含まれる領域を各フレームに対して求め、前記動きが多く含まれる領域、及び切り出されたフレームと切り出すフレームとの時空間的変位を用い、時空間に弾性モデルを仮定して、該切り出し位置と大きさに関する時空間的変位の弾性エネルギーを算出する過程と、
該弾性エネルギーが与えられた条件を満たすように該映像の切り出し位置と大きさを算出する過程と、を有することを特徴とする。
【０００７】
また、同じく上記の目的を達成するために請求項２の発明は、前記弾性エネルギーを算出する過程では、オリジナルフレームと切り出し位置とのエネルギー、切り出し位置と動きが多く含まれる領域とのエネルギー、および切り出し位置と前フレームの切り出し位置とのエネルギーを算出することを特徴とする。さらに、請求項３の発明は、前記映像の空間的特徴解析過程では、前記映像からフレームを時間軸方向に並べた時空間画像を生成する第１の空間的特徴解析過程と、該時空間画像を、画面法線を含む平面で切断した時空間断面画像を生成する第２の空間的特徴解析過程と、該時空間断面画像にフィルタ処理を施しエッジを検出した時空間エッジ画像を作成する第３の空間的特徴解析過程と、第２の空間的特徴解析過程における切断面と垂直方向に該時空間エッジ画像を積分し、動き構成に関する情報である時空間投影画像を生成する第 4 の空間的特徴解析過程と、を有することを特徴とする。
【０００８】
【作用】
本発明の映像切り出し方法では、映像から映像の構図を決める空間的特徴の時間的な振るまいである動き構成に関する情報を検出し、得られた動き構成に関する情報と切り出されたフレームと切り出すフレームとの時空間的変位を用い、弾性モデルを仮定して該切り出し位置と大きさに関する時空間的変位の弾性エネルギーを算出し、この弾性エネルギーが与えられた条件を満たすように、該映像の切り出し位置と大きさとを算出して映像の切り出し位置と大きさとを自動的に規定することにより、映像作成者等の観察者に対する意図が含まれた映像演出技術を上記で与える条件に反映させて、そのような映像演出技術を用いた良い映像表現の切り出し映像を自動的に得る。
【０００９】
【実施例】
以下、本発明の実施例を、図面を参照して詳細に説明する。
【００１０】
図１は本発明の一実施例を示す流れ図である。本実施例は、対象物を連続的に撮影して得られた映像情報を用いて該映像から映像の一部を切り出す方法であって、まず、入力した映像を映像フレームの時間軸へ並べ替えて時空間画像を得、次に、画面法線を含む平面で時空間画像を切断して時空間断面画像を得、次に、フィルタ処理によりエッジ及び線を検出してエッジ／線の強度を算出し、次に、エッジ及び線の統計的解析を行って時空間投影画像を得、動き情報の抽出を行う。以上が、映像から映像の構図を決める空間的特徴の時間的振るまいである動き構成に関する情報を検出する映像の空間的特徴解析過程である。次に、バネモデルによる切り出しフレーム位置、大きさを算出する。これは、上記の空間的特徴解析過程により得られた動き構成に関する情報、及び切り出されたフレームと切り出すフレームとの時空間的変位を用い、時空間にバネモデルを仮定して、切り出し位置と大きさに関する時空間的変位の弾性エネルギーを算出する過程と、算出した弾性エネルギーが与えられた条件を満たすように映像の切り出し位置と大きさを算出する過程を含んでいる。最後に、上記で得られた映像の切り出し位置と大きさにより入力映像から映像を切り出して出力する。
【００１１】
映像を表現する重要な要素の一つとしてカメラ操作がある。これらの要素の良し悪しで映像表現の良し悪しが左右される。本実施例では、映像のおもしろさである動きに関して特に映像の情報として、良い映像表現（適切なカメラ操作）で映像から映像の一部を切り出す方法について詳細に述べる。図２はカメラ操作の説明図であり、図２中、２−１はパンニング操作、２−２はティルティング操作、２−３はズーミング操作、２−４はトッラキング操作、２−５はドリーイング操作を示す。また、図３は従来の手の動きの切り出しを説明する図であり、図３中、３−１は時間、３−２はフレームを示す。さらに、図４は手の動きの望ましい切り出しを説明する図であり、図４中、４−１は時間の流れ、４−２は時間の流れ４−１における各時間で切り出されるフレームを示している。ここで、映像の一部を切り出すために用いるカメラ操作として、図２に示したカメラ操作のうち、パンニング操作２−１、ズーミング操作２−３、ティルティング操作２−２を対象とする。ここで言う適切なカメラ操作とは、動きに応じた適切な構図が得られる操作であり、しかも画面を変化させた場合、画面が時間的、空間的に連続するような操作である。例えば、図３に示すように従来技術を用いて、時間３−１の流れに沿ってただ単に手の動きを追いかけるようにフレーム３−２を切り出すと、映像酔いを起こし、適切な映像表現にはならない。すなわち、図４のように、時間の流れ４−１に沿った手の動き全体が含まれるフレーム４−２を時間の流れ４−１の各時間において切り出すことが望まれる。フレーム切り出しを適切なカメラ操作で行う場合、動きの時間的ふるまいから動き構成を検出し、切り出しのためのカメラ操作を規定する必要がある。このために、切り出しに用いる映像情報は動きの時間的ふるまいを適切に表現した形の物が望ましい。ここで用いた解析情報は、映像から算出される時空間投影画像（阿久津、外村、“時空間画像を用いたグローバルな動き抽出方法の検討”、１９９２年電気情報通信学会秋季大会、Ｄ−２５４，ｐｐ．６−２５６、１９９２）である。この時空間投影画像の特徴は、動きの時間的ふるまいが流れとして表現されている点にある。この流れから切り出しのためのカメラ操作を規定することで動きに応じた適切な映像表現をしたフレームが切り出し可能になる。
【００１２】
そこで、時空間投影画像の算出方法について説明する。その処理のアルゴリズムは、図１の手順１−１から１−４までに示されている。
【００１３】
まず、手順１−１は、時空間画像を作成するものである。ここでいう時空間画像とは、時間的に連続して撮影された画像を時間軸方向に並べた物をいう。図５に時空間画像の例を示す。図５では、時間的に連続したフレーム５−１が時間軸５−２方向に並べられて時空間画像が構成されている。このようにして、入力画像を時空間画像として扱う。
【００１４】
次に、手順１−２は、時空間画像から時空間断面画像を作成するものである。ここでいう時空間断面図画像とは、映像を、時空間軸方向に切断した画像であり、この時空間断面画像の一例として、コンピュータビジョンの分野で用いられている、カメラの進行方向と画面の法線を含む平面で、時空間画像を切断した時の切断面（エピポーラ平面画像（Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ））がある。この時空間断面画像から被写体の三次元位置を推定している。これは、そのエピポーラ平面画像上で物体の特徴点の軌跡が直線になり、この直線の傾きが物体特徴点の動きの大きさになることによっている［Ｒ．Ｃ．Ｂｏｌｌｅｓ，Ｈ．Ｂａｋｅｒ，ａｎｄ Ｄ．Ｈ．Ｍａｒｉｍｏｎｔ，“Ｅｐｉｐｏｌａｒ−ｐｌａｎｅ ｉｍａｇｅａｎａｌｙｓｉｓ：Ａｎ ａｐｐｒｏａｃｈ ｔｏ ｄｅｔｅｒｍｉｎｇ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ”，ＩＪＣＶ，１，１，ｐｐ７−５５，ｊｕｎｅ １９８９．］。図６に時空間画像の切断の一方法を示す。６−１はｘ−ｔ時空間画像、６−２はｙ−ｔ時空間画像である。ここで、ｘは画像の横方向（左右方向）軸、ｙは画像の縦方向（上下方向）軸、ｔは時間軸である。時空間断面画像としては、このように時空間画像を切断することにより、ｘ−ｔ時空間画像列とｙ−ｔ時空間画像列を算出する。ｘ−ｔ時空間画像列とは、図７に示した複数枚のｘ−ｔ時空間画像７−１（７−２がｘ−ｔ時空間画像列）であり、ｙ−ｔ時空間画像列も同様に複数枚のｙ−ｔ時空間画像７−３（７−４がｙ−ｔ時空間画像列）である。ここでいうｘ−ｔ時空間画像／ｙ−ｔ時空間画像とは、それぞれ画面の法線を含む平面で時空間画像を切断した切断面をいう。
【００１５】
次に、手順１−３での処理は、ｘ−ｔ時空間画像列に対して各ｘ−ｔ時空間画像毎にフィルタ（第一次微分，第二次微分等）処理を施し、エッジ及び線を検出するものである。手順１−３の処理結果は、上記で説明した、物体の特徴点の動きに関する軌跡を検出した結果に相当する。
【００１６】
次に、手順１−４においては、手順１−３で算出されたエッジ及び線の強度から統計的解析が行われる。エッジの強度情報から時空間投影画像が算出できる。時空間投影画像を図８に示す。図中、８−１は時空間エッジ画像列、８−２，８−３は積分方向、８−４はｘ−ｔ時空間投影画像、８−５はｙ−ｔ時空間投影画像を示す。時空間断面画像列に対する手順１−３の処理結果である時空間エッジ画像列８−１から列方向の積分値（ｘ−ｔ二次元ヒストグラム）を算出したものが時空間投影（積分）画像８−４，８−５である。時空間投影（積分）画像作成処理では、物体の特徴点（エッジ等）の動きが、動きに感度を持つフィルターでエッジ（動き）検出され、個々のエッジ（動き）を積分処理することで強調され、流れとして視覚化されている。このことにより時空間投影画像は、動きの時間的振るまいの表現として有効である。
【００１７】
続いて、映像解析情報を時空間投影画像としたときの映像の一部を切り出す方法について詳細に説明する。ここでの処理は、時空間投影画像を用いて、映像から映像の一部を切り出す時の切り出し位置と大きさを算出することである。映像から切り出す映像の一部の位置と大きさを規定することと、切り出しのためのカメラ操作を規定することは等価である。ここで算出される切り出しカメラ操作を位置と大きさと時間の関数として以下のように表す。
【００１８】
Ｆ（Ａ，ｍ，ｔ） （１）
ここで、Ａは切り出し映像一部の中心位置座標（ｘ，ｙ）を、ｍは切り出し映像の大きさ、ｔは時間をそれぞれ表す。この関数は、空間的、時間的に連続であり滑らかである。この条件は、先に述べたように適切な映像表現（カメラ操作）を決める条件である。ｘ−ｔ時空間投影画像は、時間ｔにおける画像中の横方向（左右方向）の動きの存在確率を表している。すなわち値が大きいほどその時間の映像には横方向の動きが多く含まれていることを示している。同様にｙ−ｔ時空間投影画像においても、その値が大きいほどその時間の映像に上下方向の動きが多く含まれていることを示している。この映像情報（分析）を定量化する方法として分布の平均値と分散等がある。図９に時空間投影画像を用いた映像情報（動きの分布）の定量化を示す。図例では、時空間画像９−１に対し、画像の横方向軸からの角度θ方向から投影して時空間投影画像９−２を得、その時の分布関数ρθ（ｔ）で定量化を図っている。また、平均値の他にメディアン値、重心等もある。
【００１９】
切り出し制約条件は、カメラ操作の制約条件であり、切り出しフレームの時空間変化が連続でありかつ滑らかであると設定する。また、切り出されたフレームは、カメラ操作の、電子ズーム、電子パン等に相当する操作で撮影されたものと等価である。映像をフレームから切り出すために必要なパラメータは、切り出し位置と大きさである。
【００２０】
図１０に動き情報と切り出し位置、大きさの関係を示す。図中、１０−１は動き情報、１０−２は外接フレーム、１０−３は切り出しフレーム、１０−４はオリジナルフレームを示す。動き情報（動き分布）１０−１に外接する四角形が外接フレーム１０−２である。フレーム１０−３は縦横のアスペクト比３：２として現行のＴＶに準拠した切り出しフレームである。またフレーム１０−４はオリジナル映像のフレームを示している。
【００２１】
カメラ操作の制約条件は、切り出すフレームの位置、大きさの時間変化が滑らかであると換言できる。そこで、本実施例では、弾性モデル（バネモデル）を仮定することにより、制約条件（動きが滑らか）を定量化する。
【００２２】
バネの種類として空間を制約するものと時間を制約するものとを設ける。時空間に設けたバネによってエネルギーが定義され、切り出し位置、大きさの滑らかな抽出問題をエネルギー和の最小化問題として考え直すことになる。エネルギー最小化問題の解法としてはＤＰマッチング法がある。
【００２３】
図１１は、算出すべき切り出しフレームを示す説明図である。まず、切り出し位置、大きさ算出のために、時空間にバネを設け、以下のようなエネルギーを定義し算出する。
【００２４】
Ｅ_{ｆｒａｍｃ}＝（１／２）μ_１｜ｕ_ｉ ^ｆ −ｕ_ｉ ^１｜^２ （２）
Ｅ_{ｍｏｔｉｏｎ}＝（１／２）μ_２｜ｕ_ｉ ^１−ｓ_ｉ ^１｜^２ （３）
Ｅ_ｔｍｐ＝＝（１／２）μ_３｜ｕ_ｉ ^１−ｕ_ｉ ^０｜^２，ｉ＝１〜４ （４）
ここで、ｕ_ｉ ^０はある時間の切り出しフレームの座標を表し、ｕ_ｉ ^１は次の時間に算出する切り出しフレームの座標を表し、ｕ_ｉ ^ｆはオリジナル映像のフレーム座標を表す。また、ｓ_ｉ ^０は上記ある時間の動き情報に対する外接フレームの座標を表し、ｓ_ｉ ^１は上記次の時間の動き情報に対する外接フレームの座標を表す。μ_ｎ（ｎ＝１〜３）はそれぞれバネ係数を表す。
【００２５】
次に、これら時空間バネから定義されたエネルギー和、
Ｅ_{ｔｏｔａｌ}＝Ｅ_{ｆｒａｍｃ}＋Ｅ_{ｍｏｔｉｏｎ}＋Ｅ_ｔｍｐ （５）
を求め、その和を最小にするｕ_ｉ ^１（ｉ＝１〜４）を求める。このｕ_ｉ ^１が求める切り出しフレームに相当する。各バネ係数を小さくすると動きを単純に動きの大きさのフレームで追跡することとなり、大きくすると演出しないオリジナルな映像になる。すなわち、このバネ係数の設定によって、映像作成者の観察者に対する意図が含まれた映像演出技術を反映させた良い映像表現の映像の切り出し条件を与えることができる。
【００２６】
バネのエネルギー最小化問題を解く方法に、ＤＰマッチング法のＡｍｉｎｉの解法［Ａ．Ａ．Ａｍｉｎｉ，Ｔ．Ｅ．Ｗｅｙｍｏｕｔｈ ａｎｄ Ｒ．Ｃ．Ｊａｉｎ：“Ｕｓｉｎｇ ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ ｆｏｒ ｓｏｌｖｉｎｇ ｖａｒｉａｔｉｏｎａｌ ｐｒｏｂｌｅｍｓ ｉｎ ｖｉｓｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．＆ Ｍａｃｈ．Ｉｎｔｅｌｌ．，ＰＡＭＩ−１２，Ｖｏｌ．９，ｐｐ．８５５−８６７（１９９０）．］を用いることで、切り出しフレームであるｕ_ｉ ^１（ｉ＝１〜４）を導出することができる。
【００２７】
図１２に典型的な流れからの切り出しフレームの様子を示す。図中、１２−１は時空間投影画像であり、１２−１−１はｘ−ｔ時空間投影画像、１２−１−２はｙ−ｔ時空間投影画像を示す。また、１２−２は切り出しフレームであり、分散等からエネルギー最小化問題を解くことによって算出できる切り出し大きさを表している。１２−２−３はある時間の切り出しフレームを示しており、１２−２−１はその切り出しフレーム（横辺）、１２−２−２は切り出しフレーム（縦辺）を示す。
【００２８】
以上の実施例では、切り出しに用いた情報が動きに関するものだけであったが、映像解析情報としては、動きの他に色、画面構図、テクスチャー、エッジ、物体の形等の様々な解析情報が考えられる。これらの情報を用いた場合においても上記の方法を拡張することによって対応がつく。すなわち、用いる各画像情報を重みつき組み合せ、線形和、積等で表現した新たな映像情報とすることで拡張可能となる。
【００２９】
また、上記の実施例では、映像解析情報から算出できる切り出し位置と大きさについて説明してきたが、ここで算出される切り出し位置と大きさを具体的に表現する方法として、ＨＤＴＶ等で用いられている高精細なＣＣＤカメラ等で入力された画像から映像の一部として切り出す方法と入力時にカメラ自体を自動で操作する方法が考えられる。
【００３０】
以上、本発明を実施例に基づき具体的に説明したが、本発明は、上記実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【００３１】
【発明の効果】
以上、説明したように本発明の映像切り出し方法は、映像から映像の構図を決める空間的特徴の時間的な振るまいである動き構成に関する情報を検出する映像の空間的特徴解析過程と、その解析により得られた動き構成に関する情報と切り出されたフレームと切り出すフレームとの時空間的変位を用い、時空間に弾性モデルを仮定して該切り出し位置と大きさに関する時空間的変位の弾性エネルギーを算出する過程と、該算出された弾性エネルギーが映像演出技術を反映させて与えることのできる条件を満たすように、該映像の切り出し位置と大きさを算出する過程とを有し、それによって映像の切り出し位置と大きさとを自動的に規定するため、映像作成者等の観察者に対する意図が含まれた映像演出技術を反映させた良い映像表現の切り出し映像を自動的に得ることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す流れ図
【図２】カメラ操作の説明図
【図３】従来の手の動きの切り出しを説明する図
【図４】手の動きの望ましい切り出しを説明する図
【図５】時空間画像を示す図
【図６】時空間切断画像を得るために時空間画像の切断の一方法を説明する図
【図７】（ａ），（ｂ）はｘ−ｔ時空間画像列とｙ−ｔ時空間画像列を示す図
【図８】時空間投影画像を示す図
【図９】時空間投影画像を用いた映像情報の定量化を示す説明図
【図１０】動き情報と切り出し位置、大きさの関係を示す図
【図１１】算出すべき切り出しフレームを示す説明図
【図１２】典型的な流れからの切り出しフレームの様子を示す説明図
【符号の説明】
２−１…パンニング操作
２−２…ティルティング操作
２−３…ズーミング操作
６−１…ｘ−ｔ時空間画像
６−２…ｙ−ｔ時空間画像
７−１…ｘ−ｔ時空間画像
７−２…ｘ−ｔ時空間画像列
７−３…ｙ−ｔ時空間画像
７−４…ｙ−ｔ時空間画像列
８−１…時空間エッジ画像列
８−２，８−３…積分方向
８−４…ｘ−ｔ時空間投影画像
８−５…ｙ−ｔ時空間投影画像
１０−１…動き情報
１０−２…外接フレーム
１０−３…切り出しフレーム
１０−４…オリジナルフレーム
１２−１…時空間投影画像
１２−１−１…ｘ−ｔ時空間投影画像
１２−１−２…ｙ−ｔ時空間投影画像
１２−２…切り出しフレーム
１２−２−１…切り出しフレーム（横辺）
１２−２−２…切り出しフレーム（縦辺）
１２−２…切り出しフレーム

Claims (3)

1. 対象物を連続的に撮影して得られた映像情報を用いて該映像から映像の一部を切り出す方法であって、
   該映像から映像の構図を決める空間的特徴の時間的振るまいである動き構成に関する情報を検出する映像の空間的特徴解析過程と、
   該空間的特徴解析過程により得られた動き構成に関する情報から、動きが多く含まれる領域を各フレームに対して求め、
   前記動きが多く含まれる領域、及び切り出されたフレームと切り出すフレームとの時空間的変位を用い、時空間に弾性モデルを仮定して、該切り出し位置と大きさに関する時空間的変位の弾性エネルギーを算出する過程と、
   該弾性エネルギーが与えられた条件を満たすように該映像の切り出し位置と大きさを算出する過程と、
   を有することを特徴とする映像切り出し方法。
2. 前記弾性エネルギーを算出する過程では、
   オリジナルフレームと切り出し位置とのエネルギー、切り出し位置と動きが多く含まれる領域とのエネルギー、および切り出し位置と前フレームの切り出し位置とのエネルギーを算出することを特徴とする請求項１記載の映像切り出し方法。
3. 前記映像の空間的特徴解析過程では、
   前記映像からフレームを時間軸方向に並べた時空間画像を生成する第１の空間的特徴解析過程と、
   該時空間画像を、画面法線を含む平面で切断した時空間断面画像を生成する第２の空間的特徴解析過程と、
   該時空間断面画像にフィルタ処理を施しエッジを検出した時空間エッジ画像を作成する第３の空間的特徴解析過程と、
   第２の空間的特徴解析過程における切断面と垂直方向に該時空間エッジ画像を積分し、動き構成に関する情報である時空間投影画像を生成する第 4 の空間的特徴解析過程と、
   を有する請求項１または請求項２記載の映像切り出し方法。

Images