JP4163914B2 - 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム - Google Patents
切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム Download PDFInfo
- Publication number
- JP4163914B2 JP4163914B2 JP2002258663A JP2002258663A JP4163914B2 JP 4163914 B2 JP4163914 B2 JP 4163914B2 JP 2002258663 A JP2002258663 A JP 2002258663A JP 2002258663 A JP2002258663 A JP 2002258663A JP 4163914 B2 JP4163914 B2 JP 4163914B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- moving
- cutout
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影された映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムに関する。
【０００２】
【従来の技術】
従来、一台のテレビカメラにより撮影された映像内容によって、他の複数のカメラを自動制御したり、複数のカメラからの映像出力を本線用に切り替えたりする技術が知られている（例えば、非特許文献１）。
【０００３】
【非特許文献１】
井口ほか 「アクティブカメラの協調によるスポーツ映像撮影システム」 電子情報学会画像工学研究会技術研究報告 ｐ３７−４４ ２０００年７月
【０００４】
また、従来、撮影された映像から一部の映像を切り出して「切り出し映像」を生成する方法が知られている。この種の従来技術としては、本出願人により、特願２００１−３６２９０８において、撮影された映像（以降、「撮影映像」という）から、一部の領域を抽出して切り出し映像を生成する「映像生成装置」が提案されている。この映像生成装置は、被写体の動き情報に基づいて撮影映像から映像を抽出する領域（以降、「切り出し領域」という）を設定して切り出し映像を生成するように構成されている。
【０００５】
以下、特願２００１−３６２９０８の映像生成装置における切り出し領域の設定方法について、図１０及び図１１を参照して説明する。参照する図面において、図１０は、従来の切り出し領域の設定方法における動領域の設定方法を説明するための図である。また、図１１は、従来の切り出し領域の設定方法における切り出し領域の設定方法を説明するための図である。
【０００６】
切り出し領域を設定する際は、まず、撮影映像を「背景映像」と「この背景以外の映像（以降、『被写体映像』という）」とに分離する。次に、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである「相対動きベクトル」を算出する。
【０００７】
次に、相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックを「動マクロブロック」として判定し、この動マクロブロックを含んで構成される矩形領域を「動領域」として設定する。動領域は、図１０に示すように、動領域を構成する動マクロブロックの水平及び垂直方向の座標が最小である座標Ａ（Ｘｍｉｎ，Ｙｍｉｎ）と、最大である座標Ｂ（Ｘｍａｘ，Ｙｍａｘ）とで囲まれる矩形領域として設定される。
【０００８】
そして、図１１に示すように、動領域の水平方向に水平方向の幅がαである領域を左右対称に付け足し、動領域の垂直方向に垂直方向の高さがβである領域を上下対称に付け足して「切り出し領域」を設定する。切り出し領域は、切り出し領域を構成するマクロブロックの水平及び垂直方向の座標が最小である座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と、最大である座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）とで囲まれる矩形領域として設定される。なお、Ｘ´ｍｉｎ＝Ｘｍｉｎ−α、Ｙ´ｍｉｎ＝Ｙｍｉｎ−β、Ｘ´ｍａｘ＝Ｘｍａｘ＋α、Ｙ´ｍａｘ＝Ｙｍａｘ＋βである。また、αとβは、被写体の動き情報である動領域における相対動きベクトルの平均値及び分散と、切り出し映像を表示する際のアスペクト比に基づいて決定される。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記映像生成装置における切り出し領域の設定方法では、動領域において被写体がどのように分布しているかを示す情報である「被写体の分布情報」については考慮していなかった。即ち、動領域における被写体の分布が均等な場合（図１２（ａ）参照）と、不均等な場合（図１２（ｂ）参照）との区別をしていなかった。そのため、動領域における被写体の分布が不均等な場合（図１２（ｂ）参照）は、図１３に示すように、切り出し領域には、その映像において被写体が多く分布している領域である「注目領域」（図中の破線で囲った部分）から外れた領域が多く含まれるため、切り出し映像の映像内容が冗長化するという問題があった。
【００１０】
また、前記した切り出し領域の設定方法では、切り出し領域を設定する際に、その切り出し映像を表示する際のアスペクト比が必要であるため、前記アスペクト比が不明な場合は切り出し領域を設定することができないという問題があった。
【００１１】
そこで、本発明は、生成された切り出し映像の映像内容の冗長化を防止することができ、かつ、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために、以下のように構成した。
請求項１に記載の切り出し映像生成装置は、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置であって、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出部と、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定部と、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域抽出部とを備えて構成されることを特徴とする。
【００１３】
請求項１に記載の切り出し映像生成装置によれば、相対動きベクトル算出部では、まず、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離する。次に、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出することができる。
また、動領域設定部では、相対動きベクトル算出部で算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定することができる。
また、切り出し領域設定部では、動領域設定部で設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定することができる。
そして、切り出し領域抽出部では、切り出し領域設定部で設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成することができる。
【００１４】
以上のようにして、請求項１に記載の切り出し映像生成装置によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００１５】
また、請求項２に記載の切り出し映像生成装置は、請求項１に記載の切り出し映像生成装置において、前記切り出し領域設定部は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部とを備えて構成されることを特徴とする。
【００１６】
請求項２に記載の切り出し映像生成装置によれば、切り出し領域設定部では、以下のように動作する。
小領域作成部では、動領域設定部で設定された動領域を水平及び垂直方向に分割して小領域を作成することができる。また、動小領域設定部では、小領域作成部で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定することができる。
動小領域中心点・面積算出部では、動小領域設定部で設定された動小領域毎に、動小領域の中心点及び面積を算出することができる。また、動領域中心点算出部では、動小領域中心点・面積算出部で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出することができる。
そして、相対動きベクトル平均値・分散算出部では、相対動きベクトル算出部で算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出することができる。また、切り出し領域座標算出部では、動領域中心点算出部で算出された動領域の中心点と、相対動きベクトル平均値・分散算出部で算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出することができる。
【００１７】
以上のようにして、請求項２に記載の切り出し映像生成装置によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００１８】
請求項３に記載の切り出し映像生成装置は、請求項１に記載の切り出し映像生成装置において、前記切り出し領域設定部は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部とを備えて構成されることを特徴とする。
【００１９】
請求項３に記載の切り出し映像生成装置によれば、切り出し領域設定部では、以下のように動作する。
小領域作成部では、動領域設定部で設定された動領域を水平及び垂直方向に分割して小領域を作成することができる。また、動小領域設定部では、小領域作成部で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定することができる。
動小領域中心点・面積算出部では、動小領域設定部で設定された動小領域毎に、動小領域の中心点及び面積を算出することができる。また、動領域中心点算出部では、動小領域中心点・面積算出部で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出することができる。
そして、相対動きベクトル平均値・分散算出部では、相対動きベクトル算出部で算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出することができる。また、切り出し領域座標算出部では、動領域中心点算出部で算出された動領域の中心点と、相対動きベクトル平均値・分散算出部で算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出することができる。
【００２０】
以上のようにして、請求項３に記載の切り出し映像生成装置によれば、被写体の動き情報である「動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００２１】
請求項４に記載の切り出し映像生成方法は、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成方法であって、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出ステップと、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定ステップと、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定ステップと、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出ステップとを含むことを特徴とする。
【００２２】
請求項４に記載の切り出し映像生成方法によれば、まず、相対動きベクトル算出ステップでは、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
続いて、動領域設定ステップでは、相対動きベクトル算出ステップで算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する。
次に、切り出し領域設定ステップでは、動領域設定ステップで設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する。
そして、切り出し領域抽出ステップでは、切り出し領域設定ステップで設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成する。
【００２３】
以上のようにして、請求項４に記載の切り出し映像生成方法によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して、切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００２４】
また、請求項５に記載の切り出し映像生成方法は、請求項４に記載の切り出し映像生成方法において、前記切り出し領域設定ステップは、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、前記動領域の中心点と、前記動領域における相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップとを含むことを特徴とする。
【００２５】
請求項５に記載の切り出し映像生成方法によれば、切り出し領域設定部ステップでは、以下のように処理が進む。
まず、小領域作成ステップでは、動領域設定ステップで設定された動領域を水平及び垂直方向に分割して小領域を作成する。そして、続く、動小領域設定ステップでは、小領域作成ステップで作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
続いて、動小領域中心点・面積算出ステップでは、動小領域設定ステップで設定された動小領域毎に、動小領域の中心点及び面積を算出する。そして、続く、動領域中心点算出ステップでは、動小領域中心点・面積算出ステップで算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
次に、相対動きベクトル平均値・分散算出ステップでは、相対動きベクトル算出ステップで算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出する。そして、続く、切り出し領域座標算出ステップでは、動領域中心点算出ステップで算出された動領域の中心点と、相対動きベクトル平均値・分散算出ステップで算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００２６】
以上のようにして、請求項５に記載の切り出し映像生成方法によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００２７】
請求項６に記載の切り出し映像生成方法は、請求項４に記載の切り出し映像生成方法において、前記切り出し領域設定ステップは、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップとを含むことを特徴とする。
【００２８】
請求項６に記載の切り出し映像生成方法によれば、切り出し領域設定部ステップでは、次のように処理が進む。
まず、小領域作成ステップでは、動領域設定ステップで設定された動領域を水平及び垂直方向に分割して小領域を作成する。そして、続く、動小領域設定ステップでは、小領域作成ステップで作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
続いて、動小領域中心点・面積算出ステップでは、動小領域設定ステップで設定された動小領域毎に、動小領域の中心点及び面積を算出する。そして、続く、動領域中心点算出ステップでは、動小領域中心点・面積算出ステップで算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
次に、相対動きベクトル平均値・分散算出ステップでは、相対動きベクトル算出ステップで算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出する。そして、続く、切り出し領域座標算出ステップでは、動領域中心点算出ステップで算出された動領域の中心点と、相対動きベクトル平均値・分散算出ステップで算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００２９】
以上のようにして、請求項６に記載の切り出し映像生成方法によれば、被写体の動き情報である「動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３０】
請求項７に記載の切り出し映像生成プログラムは、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出手段、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定手段、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定手段、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出手段である。
【００３１】
請求項７に記載の切り出し映像生成プログラムによれば、相対動きベクトル算出手段では、まず、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離する。次に、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
また、動領域設定手段では、相対動きベクトル算出手段で算出された相対動きベクトル算出部で算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する。
また、切り出し領域設定手段では、動領域設定手段で設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する。
そして、切り出し領域抽出手段では、切り出し領域設定手段で設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成する。
【００３２】
以上のようにして、請求項７に記載の切り出し映像生成プログラムによれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００３３】
請求項８に記載の切り出し映像生成プログラムは、請求項７に記載の切り出し映像生成プログラムにおいて、前記切り出し領域設定手段は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段とを備えていることを特徴とする。
【００３４】
請求項８に記載の切り出し映像生成プログラムによれば、切り出し領域設定手段は、以下のように機能する。
小領域作成手段では、動領域設定手段で設定された動領域を水平及び垂直方向に分割して小領域を作成する。また、動小領域設定手段では、小領域作成手段で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
動小領域中心点・面積算出手段では、動小領域設定手段で設定された動小領域毎に、動小領域の中心点及び面積を算出する。また、動領域中心点算出手段では、動小領域中心点・面積算出手段で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
そして、相対動きベクトル平均値・分散算出手段では、相対動きベクトル算出手段で算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出する。また、切り出し領域座標算出手段では、動領域中心点算出手段で算出された動領域の中心点と、相対動きベクトル平均値・分散算出手段で算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００３５】
以上のようにして、請求項８に記載の切り出し映像生成プログラムによれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３６】
請求項９に記載の切り出し映像生成プログラムは、請求項７に記載の切り出し映像生成プログラムにおいて、前記切り出し領域設定手段は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段とを備えていることを特徴とする。
【００３７】
請求項９に記載の切り出し映像生成プログラムによれば、切り出し領域設定手段は、以下のように機能する。
小領域作成手段では、動領域設定手段で設定された動領域を水平及び垂直方向に分割して小領域を作成する。また、動小領域設定手段では、小領域作成手段で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
動小領域中心点・面積算出手段では、動小領域設定手段で設定された動小領域毎に、動小領域の中心点及び面積を算出する。また、動領域中心点算出手段では、動小領域中心点・面積算出手段で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
そして、相対動きベクトル平均値・分散算出手段では、相対動きベクトル算出手段で算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出する。また、切り出し領域座標算出手段では、動領域中心点算出手段で算出された動領域の中心点と、相対動きベクトル平均値・分散算出手段で算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００３８】
以上のようにして、請求項９に記載の切り出し映像生成プログラムによれば、被写体の動き情報である「動領域における背景と隣接する小領域の平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３９】
【発明の実施の形態】
以下、本発明の一実施の形態を、適宜図面を参照して詳細に説明する。なお、本発明に係る切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムは、撮影された撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて一部の領域を抽出して切り出し映像を生成するものである。
【００４０】
初めに、本発明における「切り出し領域の設定方法」の概略について簡単に説明する。図３は、本発明における切り出し領域の設定方法を説明するための図である。なお、本発明における切り出し領域の設定方法では、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割して作成された「マクロブロック」を最小単位として扱う。
【００４１】
本発明における切り出し領域の設定方法を図３を参照して説明すると、まず、各マクロブロックを、相対動きベクトルの大きさによって「動マクロブロック」と「静マクロブロック」とに分けた後、動マクロブロックを含んで構成される矩形領域を「動領域」として設定する。次に、動領域を水平及び垂直方向に所定の数に分割して「小領域」を作成し、小領域毎に、動マクロブロックを含んで構成される矩形領域を「動小領域」として設定する。そして、「各動小領域の中心点及び面積」を基に「動領域の中心点」を求め、動領域の中心点と「動領域における相対動きベクトルの平均値及び分散」とを用いて「切り出し領域」を設定する。
【００４２】
（切り出し映像生成装置１の構成）
まず、切り出し映像生成装置１の構成を、主に図１を参照して説明する。参照する図面において、図１は、切り出し映像生成装置１の構成を示すブロック図である。
【００４３】
図１に示すように、切り出し映像生成装置１は、相対動きベクトル算出部１０、動領域設定部２０、切り出し領域設定部３０、信号遅延部４０及び切り出し領域抽出部５０を備えている。この切り出し映像生成装置１に入力された撮影映像（入力映像信号）は、２つに分岐されて相対動きベクトル算出部１０と信号遅延部４０とに入力される。以下、切り出し映像生成装置１の各部について詳細に説明する。
【００４４】
相対動きベクトル算出部１０は、撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
【００４５】
詳しく説明すると、相対動きベクトル算出部１０は、まず、各フレームについて、撮影映像を背景映像と被写体映像とに分離する。また、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割してマクロブロックを作成する。そして、マクロブロック毎に、被写体の動きベクトルを算出する。なお、動きベクトルとは、被写体の動きの大きさをベクトル量で表したものであり、例えば、フレーム間にブロックマッチング法を適用して算出することができる。
【００４６】
次に、相対動きベクトル算出部１０は、背景画像の動きベクトルを算出する。背景映像の動きベクトルは、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐ．９９４−９５２、１９９３年１２月，上倉一人 等）に開示されている方法や、文献（「Ａ Ｈｉｇｈ‐Ｐｒｅｃｉｓｉｏｎ Ｃａｍｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｉｎｆｅｒｒｉｎｇ」ＩＥＥＥ Ｔｒａｎｓａｃａｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ、Ｖｏｌ．４７、Ｎｏ．１、ｐ．４６−５５、Ｍａｒｃｈ ２００１，鄭文涛 等）に開示されている方法を用いて算出することができる。
【００４７】
そして、相対動きベクトル算出部１０は、マクロブロック毎に、被写体の動きベクトルと、背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。なお、カメラが静止している場合は、背景映像の動きベクトルの大きさは一定となるので、被写体の動きベクトルがそのまま相対動きベクトルとなる。相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルは、相対動きベクトル情報として動領域設定部２０と切り出し領域設定部３０とに入力される。
【００４８】
動領域設定部２０は、相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルを基に、動領域を設定する。
【００４９】
動領域の設定方法について詳しく説明すると、まず、相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックを「動マクロブロック」と判定し、この動マクロブロックを含んで構成される矩形領域を動領域として設定する。なお、動マクロブロック以外のマクロブロックは、「静マクロブロック」と判定される。
【００５０】
そして、図１１に示すように、動領域を構成する動マクロブロックの水平及び垂直方向の座標が最小である座標Ａ（Ｘｍｉｎ，Ｙｍｉｎ）と、最大である座標Ｂ（Ｘｍａｘ，Ｙｍａｘ）を検出し、座標Ａと座標Ｂとで囲まれる矩形領域を動領域として設定する。動領域設定部２０で設定された動領域は、動領域情報として切り出し領域設定部３０に入力される。
【００５１】
切り出し領域設定部３０は、動領域における相対動きベクトルの平均値及び分散に基づいて、撮影映像から抽出する切り出し領域を設定する。図２は、切り出し映像生成装置１における切り出し領域設定部３０の構成を示すブロック図である。
【００５２】
図１及び図２に示すように、切り出し領域設定部３０は、小領域作成部３１、動小領域設定部３２、動小領域中心点・面積算出部３３、動領域中心点算出部３４、相対動きベクトル平均値・分散算出部３５及び切り出し領域座標算出部３６を備えて構成されている。相対動きベクトル算出部１０で算出された相対動きベクトル情報は、動小領域設定部３２と相対動きベクトル平均値・分散算出部３５とに入力される。また、動領域設定部２０で設定された動領域情報は、小領域作成部３１と相対動きベクトル平均値・分散算出部３５とに入力される。
【００５３】
小領域作成部３１は、動領域設定部２０で設定された動領域を水平及び垂直方向に分割して小領域を作成する。図３の例では、動領域は水平及び分割方向にそれぞれ２分割されており、４つの小領域が作成されている。
【００５４】
なお、動領域を分割する数は、動領域の画素数により決定される。例えば、動領域の水平及び垂直方向の画素数がそれぞれ２５６画素以上の場合は水平及び垂直方向にそれぞれ２分割、３５６画素以上の場合は水平及び垂直方向にそれぞれ３分割、５１２画素以上の場合は水平及び垂直方向にそれぞれ４分割というように、予め定めておくとよい。
【００５５】
また、本実施の形態では、各小領域は、相対動きベクトル算出部１０で作成されたマクロブロックを最小単位として構成されている。このように、各小領域を、相対動きベクトル算出部１０で作成されたマクロブロックを最小単位として構成することにより、動小領域設定部３２において動マクロブロックを判定する手間を省くことができる。
【００５６】
動小領域設定部３２は、小領域作成部３１で作成された小領域毎に、動マクロブロックを含んで構成される矩形領域を動小領域として設定する。図４は、動小領域を設定する方法を説明するための図であり、（ａ）は一例を示し、（ｂ）は他の例を示す。なお、図４（ａ），（ｂ）の例では、小領域は、１６個のマクロブロックＭＢ１〜ＭＢ１６から構成されている。
【００５７】
図４（ａ）の例では、小領域を構成しているマクロブロックＭＢ１〜ＭＢ１６の内、マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ５，ＭＢ６，ＭＢ９，ＭＢ１０が動マクロブロックで、その他のマクロブロックＭＢが静マクロブロックである。そして、動マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ５，ＭＢ６，ＭＢ９，ＭＢ１０に、静マクロブロックＭＢ７，ＭＢ１１を加えた矩形領域が動小領域となる。
【００５８】
また、図４（ｂ）の例では、小領域を構成しているマクロブロックＭＢ１〜ＭＢ１６の内、マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ７，ＭＢ８，ＭＢ９，ＭＢ１０が動マクロブロックで、その他のマクロブロックＭＢが静マクロブロックである。そして、動マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ７，ＭＢ８，ＭＢ９，ＭＢ１０に、静マクロブロックＭＢ５，ＭＢ６，ＭＢ１１，ＭＢ１２を加えた矩形領域が動小領域となる。
【００５９】
動小領域中心点・面積算出部３３は、動小領域設定部３２で設定された動小領域毎に、動小領域の中心点及び面積を算出する。図５は、図４（ａ）で設定された動小領域の中心点及び面積を算出する方法を説明するための図である。なお、ここでは、図４（ａ）に示す小領域は、小領域ＳＤ１に該当するものとする。
【００６０】
動小領域の中心点Ｍｓｄを求める際は、図５に示すように、動小領域を構成するマクロブロックＭＢの水平及び垂直方向の座標が最小である座標ａ（ｘｍｉｎ，ｙｍｉｎ）と、最大である座標ｂ（ｘｍａｘ，ｙｍａｘ）とを検出する。そして、座標ａと座標ｂとの中点である（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）が動小領域の中心点Ｍｓｄとなる。
【００６１】
また、動小領域の面積Ｓは、動小領域に含まれる動マクロブロックの数とする。図４（ａ）の例では、動小領域内には動マクロブロックが７つ含まれているので、動小領域の面積Ｓは「７」となる。また、図４（ｂ）の例では、動小領域内には動マクロブロックが８つ含まれているので、動小領域の面積Ｓは「８」となる。
【００６２】
動領域中心点算出部３４は、動小領域中心点・面積算出部３３で算出された動小領域の中心点Ｍｓｄ及び面積Ｓを用いて動領域の中心点Ｍｍｄを算出する。動領域の中心点Ｍｍｄ（Ｘｍｉｄ，Ｙｍｉｄ）は、下記の式（１）によって算出される。
【００６３】
【数１】
【００６４】
図６は、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの一例を示す図である。図６に示すように、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの位置は、本来の動領域の中心Ｍ（（Ｘｍｉｎ＋Ｘｍａｘ）／２，（Ｙｍｉｎ＋Ｙｍａｘ）／２）の位置とは異なっている。
【００６５】
相対動きベクトル平均値・分散算出部３５は、相対動きベクトル算出部１０で算出された相対動きベクトル情報から、動領域における相対動きベクトルの平均値Ａｖｅｉ（ｉ＝ｘ，ｙ）と、分散σｉ2（ｉ＝ｘ，ｙ）とを算出する。
【００６６】
そして、切り出し領域座標算出部３６は、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉと分散σｉ2とを用いて、切り出し領域を設定するための座標を算出する。図７は、切り出し領域を設定する方法を説明するための図である。
【００６７】
図７に示すように、動領域の水平方向に水平方向の幅がαである領域と水平方向の幅がβである領域を付け足し、動領域の垂直方向に垂直方向の高さがγである領域と垂直方向の高さがδである領域を付け足して切り出し領域を設定する。なお、水平方向の幅がαである領域は、水平方向における座標の小さい側に付け足され、水平方向の幅がβである領域は、水平方向における座標の大きい側に付け足される。また、垂直方向の高さがγである領域は、垂直方向における座標の小さい側に付け足され、垂直方向の高さがδである領域は、垂直方向における座標の大きい側に付け足される。
【００６８】
この切り出し領域は、切り出し領域を構成するマクロブロックの水平及び垂直方向の座標が最小である座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と、最大である座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）とで囲まれる矩形領域として設定される。なお、Ｘ´ｍｉｎはＸｍｉｎ−α、Ｘ´ｍａｘはＸｍａｘ＋β、Ｙ´ｍｉｎはＹｍｉｎ−γ、Ｙ´ｍａｘはＹｍａｘ＋δである。
【００６９】
α、β、γ、δは、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ2とを用いて算出される。具体的には、下記の式（２）〜（５）によって算出される。なお、下記の式（２）〜（９）において、ｆ（σｉ2）は図８に示す関数によって求められる。また、定数ｐは正の数とする。
【００７０】
α、βは、下記の式（２）〜（５）によって算出される。
【００７１】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（２）
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）＋ｐ×（Ｘｍｉｄ−Ｘｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｄ）……（３）
【００７２】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）＋ｐ×（Ｘｍａｘ−Ｘｍｉｄ）／（Ｘｍｉｄ−Ｘｍｉｎ）……（４）
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（５）
【００７３】
γ、δは、下記の式（６）〜（９）によって算出される。
【００７４】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（６）
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）＋ｐ×（Ｙｍｉｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｄ）……（７）
【００７５】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）＋ｐ×（Ｙｍａｘ−Ｙｍｉｄ）／（Ｙｍｉｄ−Ｙｍｉｎ）……（８）
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（９）
【００７６】
また、特定のアスペクト比の切り出し映像を生成する場合は、α、β、γ、δは、下記の式（１０）〜（１７）によって算出される。なお、アスペクト比はａ：ｂとする。また、下記の式（１０）〜（２５）において、ｆ（σｉ2）は図８に示す関数によって求められる。また、定数ｐは正の数とする。
【００７７】
（Ｙｍａｘ−Ｙｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｎ）≧ｂ／ａの場合は、α、β、γ、δは、下記の式（１０）〜（１７）によって算出される。
【００７８】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（１０）
β＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋α）……（１１）
【００７９】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）…（１２）
α＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋β）……（１３）
【００８０】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（１４）
δ＝ｂ／ａ（Ｙｍａｘ−Ｙｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋γ）……（１５）
【００８１】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（１６）
γ＝ｂ／ａ（Ｙｍａｘ−Ｙｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋δ）……（１７）
【００８２】
（Ｙｍａｘ−Ｙｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｎ）＜ｂ／ａの場合は、α、β、γ、δは、下記の式（１８）〜（２５）によって算出される。
【００８３】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（１８）
β＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋α）……（１９）
【００８４】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）…（２０）
α＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋β）……（２１）
【００８５】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（２２）
δ＝ｂ／ａ（Ｘｍａｘ−Ｘｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋γ）……（２３）
【００８６】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（２４）
γ＝ｂ／ａ（Ｘｍａｘ−Ｘｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋δ）……（２５）
【００８７】
切り出し領域座標算出部３６で算出された座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）は、切り出し座標情報として切り出し領域抽出部５０に入力される。
【００８８】
なお、必要があれば、伝送フォーマットにおける画素数やモニターの画素数等に合わせて、切り出し領域抽出部５０で生成された切り出し映像の画素数を変換することもできる。画素数を変換する方法としては、例えば、標本化周波数変換手法を用いることができる。
【００８９】
図１に戻って説明を続けると、信号遅延部４０は、切り出し領域抽出部５０に切り出し領域座標算出部３６で算出された切り出し領域情報が入力されるまで、切り出し領域抽出部５０に入力される入力映像信号を遅延させ、切り出し領域抽出部５０における切り出し領域情報と入力映像信号との同時性を確保する。
【００９０】
そして、切り出し領域抽出部５０では、切り出し領域設定部３０から入力された切り出し座標情報に基づいて、撮影映像から切り出し領域を抽出して切り出し映像を生成する。切り出し領域抽出部５０で生成された切り出し映像は、出力映像信号として外部に出力される。
【００９１】
（切り出し映像生成装置１の動作）
次に、図９に示す切り出し映像生成装置１の動作を示すフローチャートを参照して切り出し映像生成装置１の動作を説明する。
【００９２】
まず、相対動きベクトル算出部１０（図１参照）では、撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する（Ｓ１）。
【００９３】
続いて、動領域設定部２０（図１参照）では、相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルを基に、動領域（図３参照）を設定する（Ｓ２）。
【００９４】
次に、切り出し領域設定部３０（図１参照）では、動領域における相対動きベクトルの平均値及び分散に基づいて、撮影映像から抽出する切り出し領域（図７参照）を設定する（Ｓ３）。
【００９５】
切り出し領域設定部３０内での動作を詳しく説明すると、まず、小領域作成部３１（図２参照）では、動領域設定部２０で設定された動領域を水平及び垂直方向に分割して小領域（図３参照）を作成する（Ｓ３１）。
【００９６】
次に、動小領域設定部３２（図２参照）では、小領域作成部３１で作成された小領域毎に、動マクロブロックを含んで構成される矩形領域を動小領域（図４（ａ），（ｂ）参照）として設定する（Ｓ３２）。
【００９７】
動小領域中心点・面積算出部３３（図２参照）では、動小領域設定部３２で設定された動小領域毎に、動小領域の中心点Ｍｓｄ（図５参照）及び面積Ｓを算出する（Ｓ３３）。
【００９８】
動領域中心点算出部３４（図２参照）では、動小領域中心点・面積算出部３３で算出された動小領域の中心点Ｍｓｄ及び面積Ｓを用いて動領域の中心点Ｍｍｄ（図６参照）を算出する（Ｓ３４）。
【００９９】
相対動きベクトル平均値・分散算出部３５（図２参照）では、相対動きベクトル算出部１０で算出された相対動きベクトル情報から、動領域における相対動きベクトルの平均値Ａｖｅｉ（ｉ＝ｘ，ｙ）と、分散σｉ2（ｉ＝ｘ，ｙ）とを算出する（Ｓ３５）。
【０１００】
切り出し領域座標算出部３６（図２参照）では、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉと分散σｉ2とを用いて、切り出し領域を設定するための座標（図７参照）を算出する（Ｓ３６）。
【０１０１】
そして、切り出し領域抽出部５０では、切り出し領域設定部３０から入力された切り出し領域情報に基づいて、撮影映像から切り出し領域を抽出して切り出し映像を生成する（Ｓ４）。
【０１０２】
以上のようにして、本発明に係る切り出し映像生成装置及び切り出し映像生成方法によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて一部の領域を抽出して切り出し映像を生成することができる。このようにして生成された切り出し映像は、被写体の分布情報に基づいて切り出し領域が設定されているので、映像内容は冗長にならない。また、本発明に係る切り出し映像生成装置及び切り出し映像生成方法では、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１０３】
以上、本発明の一実施の形態について説明したが、本発明はこれにのみ限定されるものではなく、本発明の技術的思想に基づく限りにおいて、種々の変形が可能である。
【０１０４】
例えば、切り出し映像生成装置１の各構成を各過程（ステップ）と見なした、切り出し映像生成方法と捉えることも可能である。この場合、切り出し映像生成方法は、切り出し映像生成装置と同様の効果が得られる。また、切り出し映像生成装置１の各構成を一般的なコンピュータ言語で記述したプログラム（切り出し映像生成プログラム）と見なすことも可能である。この場合も、切り出し映像生成プログラムは、切り出し映像生成装置１と同様の効果が得られる。
【０１０５】
また、本実施の形態では、切り出し領域設定部３０の切り出し領域座標算出部３６において、切り出し領域を設定するための座標を算出する際は、動領域の中心点Ｍｍｄと、動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ2とを用いてα、β、γ、δを算出しているが、動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ2の代わりに、動領域内の背景と隣接する小領域における相対動きベクトルの平均値Ａｖｅｓｊｉ（ｉ＝ｘ，ｙ）及び分散σｓｊｉ2（ｉ＝ｘ，ｙ）を用いてα、β、γ、δを算出することもできる。なお、ｓｊは小領域の番号で、ｊ＝１〜ｍ×ｎとする。
【０１０６】
具体的には、動領域の水平方向における座標が小さい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｘを比較し、平均値Ａｖｅｓｊｘの最小値「Ｍｉｎ Ａｖｅｓｊｘ」を求める。同様に、動領域の水平方向における座標が大きい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｘを比較し、平均値Ａｖｅｓｊｘの最大値「Ｍａｘ Ａｖｅｓｊｘ」を求める。
【０１０７】
また、動領域の垂直方向における座標が小さい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｙを比較し、平均値Ａｖｅｓｊｙの最小値「Ｍｉｎ Ａｖｅｓｊｙ」を求める。同様に、動領域の垂直方向における座標が大きい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｙを比較し、平均値Ａｖｅｓｊｙの最大値「Ｍａｘ Ａｖｅｓｊｙ」を求める。
【０１０８】
そして、α、β、γ、δは、下記の式（２６）〜（３３）によって算出される。なお、下記の式（２６）〜（３３）において、ｆ（σｓｊｉ2）は図８に示す関数によって求められる。また、定数ｐは１．０とする。
【０１０９】
α、βは、下記の式（２６）〜（２９）によって算出される。
【０１１０】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ2）……（２６）
β＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｘ2）＋ｐ×（Ｘｍｉｄ−Ｘｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｄ）……（２７）
【０１１１】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ2）＋ｐ×（Ｘｍａｘ−Ｘｍｉｄ）／（Ｘｍｉｄ−Ｘｍｉｎ）……（２８）
β＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ2）……（２９）
【０１１２】
γ、δは、下記の式（３０）〜（３３）によって算出される。
【０１１３】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）……（３０）
δ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）＋ｐ×（Ｙｍｉｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｄ）……（３１）
【０１１４】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）＋ｐ×（Ｙｍａｘ−Ｙｍｉｄ）／（Ｙｍｉｄ−Ｙｍｉｎ）……（３２）
δ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）……（３３）
【０１１５】
このようにα、β、γ、δを算出することで、本実施の形態と同様に、切り出し領域設定部３０の切り出し領域座標算出部３６において切り出し領域を設定することができる。
【０１１６】
【発明の効果】
請求項１、請求項４及び請求項７に記載の発明によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１１７】
請求項２、請求項５及び請求項８に記載の発明によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、被写体の分布情報に基づいて切り出し領域を設定することができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。また、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１１８】
請求項３、請求項６及び請求項９に記載の発明によれば、被写体の動き情報である「動領域内における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、被写体の分布情報に基づいて切り出し領域を設定することができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。また、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像生成装置１の構成を示すブロック図である。
【図２】切り出し映像生成装置１における切り出し領域設定部３０の構成を示すブロック図である。
【図３】本発明における切り出し領域の設定方法を説明するための図である。
【図４】動小領域を設定する方法を説明するための図であり、（ａ）は一例を示し、（ｂ）は他の例を示す。
【図５】図４（ａ）で設定された動小領域の中心点及び面積を算出する方法を説明するための図である。
【図６】動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの一例を示す図である。
【図７】撮影映像における切り出し領域を示す図である。
【図８】切り出し領域を設定するための座標を算出する際に用いる関数を示す図である。
【図９】切り出し映像生成装置１の動作を示すフローチャートである。
【図１０】従来の切り出し領域の設定方法における動領域の設定方法を説明するための図である。
【図１１】従来の切り出し領域の設定方法における切り出し領域の設定方法を説明するための図である。
【図１２】動領域における被写体の分布を示す図であり、（ａ）は動領域における被写体の分布が均等な場合を示し、（ｂ）は動領域における被写体の分布が不均等な場合を示す。
【図１３】動領域における被写体の分布が不均等な場合の切り出し領域を示す図である。
【符号の説明】
１ 切り出し映像生成装置
１０ 相対動きベクトル算出部
２０ 動領域設定部
３０ 切り出し領域設定部
３１ 小領域作成部
３２ 動小領域設定部
３３ 動小領域中心点・面積算出部
３４ 動領域中心点算出部
３５ 相対動きベクトル平均値・分散算出部
３６ 切り出し領域座標算出部
４０ 信号遅延部
５０ 切り出し領域抽出部
【発明の属する技術分野】
本発明は、撮影された映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムに関する。
【０００２】
【従来の技術】
従来、一台のテレビカメラにより撮影された映像内容によって、他の複数のカメラを自動制御したり、複数のカメラからの映像出力を本線用に切り替えたりする技術が知られている（例えば、非特許文献１）。
【０００３】
【非特許文献１】
井口ほか 「アクティブカメラの協調によるスポーツ映像撮影システム」 電子情報学会画像工学研究会技術研究報告 ｐ３７−４４ ２０００年７月
【０００４】
また、従来、撮影された映像から一部の映像を切り出して「切り出し映像」を生成する方法が知られている。この種の従来技術としては、本出願人により、特願２００１−３６２９０８において、撮影された映像（以降、「撮影映像」という）から、一部の領域を抽出して切り出し映像を生成する「映像生成装置」が提案されている。この映像生成装置は、被写体の動き情報に基づいて撮影映像から映像を抽出する領域（以降、「切り出し領域」という）を設定して切り出し映像を生成するように構成されている。
【０００５】
以下、特願２００１−３６２９０８の映像生成装置における切り出し領域の設定方法について、図１０及び図１１を参照して説明する。参照する図面において、図１０は、従来の切り出し領域の設定方法における動領域の設定方法を説明するための図である。また、図１１は、従来の切り出し領域の設定方法における切り出し領域の設定方法を説明するための図である。
【０００６】
切り出し領域を設定する際は、まず、撮影映像を「背景映像」と「この背景以外の映像（以降、『被写体映像』という）」とに分離する。次に、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである「相対動きベクトル」を算出する。
【０００７】
次に、相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックを「動マクロブロック」として判定し、この動マクロブロックを含んで構成される矩形領域を「動領域」として設定する。動領域は、図１０に示すように、動領域を構成する動マクロブロックの水平及び垂直方向の座標が最小である座標Ａ（Ｘｍｉｎ，Ｙｍｉｎ）と、最大である座標Ｂ（Ｘｍａｘ，Ｙｍａｘ）とで囲まれる矩形領域として設定される。
【０００８】
そして、図１１に示すように、動領域の水平方向に水平方向の幅がαである領域を左右対称に付け足し、動領域の垂直方向に垂直方向の高さがβである領域を上下対称に付け足して「切り出し領域」を設定する。切り出し領域は、切り出し領域を構成するマクロブロックの水平及び垂直方向の座標が最小である座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と、最大である座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）とで囲まれる矩形領域として設定される。なお、Ｘ´ｍｉｎ＝Ｘｍｉｎ−α、Ｙ´ｍｉｎ＝Ｙｍｉｎ−β、Ｘ´ｍａｘ＝Ｘｍａｘ＋α、Ｙ´ｍａｘ＝Ｙｍａｘ＋βである。また、αとβは、被写体の動き情報である動領域における相対動きベクトルの平均値及び分散と、切り出し映像を表示する際のアスペクト比に基づいて決定される。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記映像生成装置における切り出し領域の設定方法では、動領域において被写体がどのように分布しているかを示す情報である「被写体の分布情報」については考慮していなかった。即ち、動領域における被写体の分布が均等な場合（図１２（ａ）参照）と、不均等な場合（図１２（ｂ）参照）との区別をしていなかった。そのため、動領域における被写体の分布が不均等な場合（図１２（ｂ）参照）は、図１３に示すように、切り出し領域には、その映像において被写体が多く分布している領域である「注目領域」（図中の破線で囲った部分）から外れた領域が多く含まれるため、切り出し映像の映像内容が冗長化するという問題があった。
【００１０】
また、前記した切り出し領域の設定方法では、切り出し領域を設定する際に、その切り出し映像を表示する際のアスペクト比が必要であるため、前記アスペクト比が不明な場合は切り出し領域を設定することができないという問題があった。
【００１１】
そこで、本発明は、生成された切り出し映像の映像内容の冗長化を防止することができ、かつ、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために、以下のように構成した。
請求項１に記載の切り出し映像生成装置は、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置であって、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出部と、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定部と、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域抽出部とを備えて構成されることを特徴とする。
【００１３】
請求項１に記載の切り出し映像生成装置によれば、相対動きベクトル算出部では、まず、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離する。次に、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出することができる。
また、動領域設定部では、相対動きベクトル算出部で算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定することができる。
また、切り出し領域設定部では、動領域設定部で設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定することができる。
そして、切り出し領域抽出部では、切り出し領域設定部で設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成することができる。
【００１４】
以上のようにして、請求項１に記載の切り出し映像生成装置によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００１５】
また、請求項２に記載の切り出し映像生成装置は、請求項１に記載の切り出し映像生成装置において、前記切り出し領域設定部は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部とを備えて構成されることを特徴とする。
【００１６】
請求項２に記載の切り出し映像生成装置によれば、切り出し領域設定部では、以下のように動作する。
小領域作成部では、動領域設定部で設定された動領域を水平及び垂直方向に分割して小領域を作成することができる。また、動小領域設定部では、小領域作成部で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定することができる。
動小領域中心点・面積算出部では、動小領域設定部で設定された動小領域毎に、動小領域の中心点及び面積を算出することができる。また、動領域中心点算出部では、動小領域中心点・面積算出部で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出することができる。
そして、相対動きベクトル平均値・分散算出部では、相対動きベクトル算出部で算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出することができる。また、切り出し領域座標算出部では、動領域中心点算出部で算出された動領域の中心点と、相対動きベクトル平均値・分散算出部で算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出することができる。
【００１７】
以上のようにして、請求項２に記載の切り出し映像生成装置によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００１８】
請求項３に記載の切り出し映像生成装置は、請求項１に記載の切り出し映像生成装置において、前記切り出し領域設定部は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部とを備えて構成されることを特徴とする。
【００１９】
請求項３に記載の切り出し映像生成装置によれば、切り出し領域設定部では、以下のように動作する。
小領域作成部では、動領域設定部で設定された動領域を水平及び垂直方向に分割して小領域を作成することができる。また、動小領域設定部では、小領域作成部で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定することができる。
動小領域中心点・面積算出部では、動小領域設定部で設定された動小領域毎に、動小領域の中心点及び面積を算出することができる。また、動領域中心点算出部では、動小領域中心点・面積算出部で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出することができる。
そして、相対動きベクトル平均値・分散算出部では、相対動きベクトル算出部で算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出することができる。また、切り出し領域座標算出部では、動領域中心点算出部で算出された動領域の中心点と、相対動きベクトル平均値・分散算出部で算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出することができる。
【００２０】
以上のようにして、請求項３に記載の切り出し映像生成装置によれば、被写体の動き情報である「動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００２１】
請求項４に記載の切り出し映像生成方法は、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成方法であって、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出ステップと、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定ステップと、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定ステップと、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出ステップとを含むことを特徴とする。
【００２２】
請求項４に記載の切り出し映像生成方法によれば、まず、相対動きベクトル算出ステップでは、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
続いて、動領域設定ステップでは、相対動きベクトル算出ステップで算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する。
次に、切り出し領域設定ステップでは、動領域設定ステップで設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する。
そして、切り出し領域抽出ステップでは、切り出し領域設定ステップで設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成する。
【００２３】
以上のようにして、請求項４に記載の切り出し映像生成方法によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して、切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００２４】
また、請求項５に記載の切り出し映像生成方法は、請求項４に記載の切り出し映像生成方法において、前記切り出し領域設定ステップは、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、前記動領域の中心点と、前記動領域における相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップとを含むことを特徴とする。
【００２５】
請求項５に記載の切り出し映像生成方法によれば、切り出し領域設定部ステップでは、以下のように処理が進む。
まず、小領域作成ステップでは、動領域設定ステップで設定された動領域を水平及び垂直方向に分割して小領域を作成する。そして、続く、動小領域設定ステップでは、小領域作成ステップで作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
続いて、動小領域中心点・面積算出ステップでは、動小領域設定ステップで設定された動小領域毎に、動小領域の中心点及び面積を算出する。そして、続く、動領域中心点算出ステップでは、動小領域中心点・面積算出ステップで算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
次に、相対動きベクトル平均値・分散算出ステップでは、相対動きベクトル算出ステップで算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出する。そして、続く、切り出し領域座標算出ステップでは、動領域中心点算出ステップで算出された動領域の中心点と、相対動きベクトル平均値・分散算出ステップで算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００２６】
以上のようにして、請求項５に記載の切り出し映像生成方法によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００２７】
請求項６に記載の切り出し映像生成方法は、請求項４に記載の切り出し映像生成方法において、前記切り出し領域設定ステップは、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップとを含むことを特徴とする。
【００２８】
請求項６に記載の切り出し映像生成方法によれば、切り出し領域設定部ステップでは、次のように処理が進む。
まず、小領域作成ステップでは、動領域設定ステップで設定された動領域を水平及び垂直方向に分割して小領域を作成する。そして、続く、動小領域設定ステップでは、小領域作成ステップで作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
続いて、動小領域中心点・面積算出ステップでは、動小領域設定ステップで設定された動小領域毎に、動小領域の中心点及び面積を算出する。そして、続く、動領域中心点算出ステップでは、動小領域中心点・面積算出ステップで算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
次に、相対動きベクトル平均値・分散算出ステップでは、相対動きベクトル算出ステップで算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出する。そして、続く、切り出し領域座標算出ステップでは、動領域中心点算出ステップで算出された動領域の中心点と、相対動きベクトル平均値・分散算出ステップで算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００２９】
以上のようにして、請求項６に記載の切り出し映像生成方法によれば、被写体の動き情報である「動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３０】
請求項７に記載の切り出し映像生成プログラムは、撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出手段、前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定手段、前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定手段、前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出手段である。
【００３１】
請求項７に記載の切り出し映像生成プログラムによれば、相対動きベクトル算出手段では、まず、撮影された「撮影映像」を、「背景映像」とこの背景映像以外の映像である「被写体映像」とに分離する。次に、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割してマクロブロックを作成し、マクロブロック毎の「被写体の動きベクトル」と、「背景映像の動きベクトル」とを算出する。そして、マクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
また、動領域設定手段では、相対動きベクトル算出手段で算出された相対動きベクトル算出部で算出された相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する。
また、切り出し領域設定手段では、動領域設定手段で設定された動領域における相対動きベクトルの平均値及び分散を算出し、その算出結果に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する。
そして、切り出し領域抽出手段では、切り出し領域設定手段で設定された切り出し領域を撮影映像から抽出して「切り出し映像」を生成する。
【００３２】
以上のようにして、請求項７に記載の切り出し映像生成プログラムによれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し映像を表示する際のアスペクト比が不明な場合でも切り出し領域を設定することができる。
【００３３】
請求項８に記載の切り出し映像生成プログラムは、請求項７に記載の切り出し映像生成プログラムにおいて、前記切り出し領域設定手段は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段とを備えていることを特徴とする。
【００３４】
請求項８に記載の切り出し映像生成プログラムによれば、切り出し領域設定手段は、以下のように機能する。
小領域作成手段では、動領域設定手段で設定された動領域を水平及び垂直方向に分割して小領域を作成する。また、動小領域設定手段では、小領域作成手段で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
動小領域中心点・面積算出手段では、動小領域設定手段で設定された動小領域毎に、動小領域の中心点及び面積を算出する。また、動領域中心点算出手段では、動小領域中心点・面積算出手段で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
そして、相対動きベクトル平均値・分散算出手段では、相対動きベクトル算出手段で算出された各マクロブロックの相対動きベクトルから、動領域における相対動きベクトルの平均値及び分散を算出する。また、切り出し領域座標算出手段では、動領域中心点算出手段で算出された動領域の中心点と、相対動きベクトル平均値・分散算出手段で算出された動領域における相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００３５】
以上のようにして、請求項８に記載の切り出し映像生成プログラムによれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３６】
請求項９に記載の切り出し映像生成プログラムは、請求項７に記載の切り出し映像生成プログラムにおいて、前記切り出し領域設定手段は、前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段とを備えていることを特徴とする。
【００３７】
請求項９に記載の切り出し映像生成プログラムによれば、切り出し領域設定手段は、以下のように機能する。
小領域作成手段では、動領域設定手段で設定された動領域を水平及び垂直方向に分割して小領域を作成する。また、動小領域設定手段では、小領域作成手段で作成された小領域毎に、動マクロブロックを含んで構成される領域を動小領域として設定する。
動小領域中心点・面積算出手段では、動小領域設定手段で設定された動小領域毎に、動小領域の中心点及び面積を算出する。また、動領域中心点算出手段では、動小領域中心点・面積算出手段で算出された動小領域の中心点及び面積を用いて動領域の中心点を算出する。
そして、相対動きベクトル平均値・分散算出手段では、相対動きベクトル算出手段で算出された各マクロブロックの相対動きベクトルから、動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散を算出する。また、切り出し領域座標算出手段では、動領域中心点算出手段で算出された動領域の中心点と、相対動きベクトル平均値・分散算出手段で算出された動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、切り出し領域を設定するための座標を算出する。
【００３８】
以上のようにして、請求項９に記載の切り出し映像生成プログラムによれば、被写体の動き情報である「動領域における背景と隣接する小領域の平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、動領域における被写体の分布が不均等な場合でも、被写体が多く分布している領域である「注目領域」を中心に切り出し領域を設定することができる。その結果、従来の切り出し領域設定方法に比べて、切り出し領域における注目領域から外れた領域を減少させることができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。
【００３９】
【発明の実施の形態】
以下、本発明の一実施の形態を、適宜図面を参照して詳細に説明する。なお、本発明に係る切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラムは、撮影された撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて一部の領域を抽出して切り出し映像を生成するものである。
【００４０】
初めに、本発明における「切り出し領域の設定方法」の概略について簡単に説明する。図３は、本発明における切り出し領域の設定方法を説明するための図である。なお、本発明における切り出し領域の設定方法では、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割して作成された「マクロブロック」を最小単位として扱う。
【００４１】
本発明における切り出し領域の設定方法を図３を参照して説明すると、まず、各マクロブロックを、相対動きベクトルの大きさによって「動マクロブロック」と「静マクロブロック」とに分けた後、動マクロブロックを含んで構成される矩形領域を「動領域」として設定する。次に、動領域を水平及び垂直方向に所定の数に分割して「小領域」を作成し、小領域毎に、動マクロブロックを含んで構成される矩形領域を「動小領域」として設定する。そして、「各動小領域の中心点及び面積」を基に「動領域の中心点」を求め、動領域の中心点と「動領域における相対動きベクトルの平均値及び分散」とを用いて「切り出し領域」を設定する。
【００４２】
（切り出し映像生成装置１の構成）
まず、切り出し映像生成装置１の構成を、主に図１を参照して説明する。参照する図面において、図１は、切り出し映像生成装置１の構成を示すブロック図である。
【００４３】
図１に示すように、切り出し映像生成装置１は、相対動きベクトル算出部１０、動領域設定部２０、切り出し領域設定部３０、信号遅延部４０及び切り出し領域抽出部５０を備えている。この切り出し映像生成装置１に入力された撮影映像（入力映像信号）は、２つに分岐されて相対動きベクトル算出部１０と信号遅延部４０とに入力される。以下、切り出し映像生成装置１の各部について詳細に説明する。
【００４４】
相対動きベクトル算出部１０は、撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。
【００４５】
詳しく説明すると、相対動きベクトル算出部１０は、まず、各フレームについて、撮影映像を背景映像と被写体映像とに分離する。また、撮影映像を水平及び垂直方向にｍ×ｎ画素（ｍ，ｎは正の定数）の矩形領域に分割してマクロブロックを作成する。そして、マクロブロック毎に、被写体の動きベクトルを算出する。なお、動きベクトルとは、被写体の動きの大きさをベクトル量で表したものであり、例えば、フレーム間にブロックマッチング法を適用して算出することができる。
【００４６】
次に、相対動きベクトル算出部１０は、背景画像の動きベクトルを算出する。背景映像の動きベクトルは、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐ．９９４−９５２、１９９３年１２月，上倉一人 等）に開示されている方法や、文献（「Ａ Ｈｉｇｈ‐Ｐｒｅｃｉｓｉｏｎ Ｃａｍｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｉｎｆｅｒｒｉｎｇ」ＩＥＥＥ Ｔｒａｎｓａｃａｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ、Ｖｏｌ．４７、Ｎｏ．１、ｐ．４６−５５、Ｍａｒｃｈ ２００１，鄭文涛 等）に開示されている方法を用いて算出することができる。
【００４７】
そして、相対動きベクトル算出部１０は、マクロブロック毎に、被写体の動きベクトルと、背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する。なお、カメラが静止している場合は、背景映像の動きベクトルの大きさは一定となるので、被写体の動きベクトルがそのまま相対動きベクトルとなる。相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルは、相対動きベクトル情報として動領域設定部２０と切り出し領域設定部３０とに入力される。
【００４８】
動領域設定部２０は、相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルを基に、動領域を設定する。
【００４９】
動領域の設定方法について詳しく説明すると、まず、相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックを「動マクロブロック」と判定し、この動マクロブロックを含んで構成される矩形領域を動領域として設定する。なお、動マクロブロック以外のマクロブロックは、「静マクロブロック」と判定される。
【００５０】
そして、図１１に示すように、動領域を構成する動マクロブロックの水平及び垂直方向の座標が最小である座標Ａ（Ｘｍｉｎ，Ｙｍｉｎ）と、最大である座標Ｂ（Ｘｍａｘ，Ｙｍａｘ）を検出し、座標Ａと座標Ｂとで囲まれる矩形領域を動領域として設定する。動領域設定部２０で設定された動領域は、動領域情報として切り出し領域設定部３０に入力される。
【００５１】
切り出し領域設定部３０は、動領域における相対動きベクトルの平均値及び分散に基づいて、撮影映像から抽出する切り出し領域を設定する。図２は、切り出し映像生成装置１における切り出し領域設定部３０の構成を示すブロック図である。
【００５２】
図１及び図２に示すように、切り出し領域設定部３０は、小領域作成部３１、動小領域設定部３２、動小領域中心点・面積算出部３３、動領域中心点算出部３４、相対動きベクトル平均値・分散算出部３５及び切り出し領域座標算出部３６を備えて構成されている。相対動きベクトル算出部１０で算出された相対動きベクトル情報は、動小領域設定部３２と相対動きベクトル平均値・分散算出部３５とに入力される。また、動領域設定部２０で設定された動領域情報は、小領域作成部３１と相対動きベクトル平均値・分散算出部３５とに入力される。
【００５３】
小領域作成部３１は、動領域設定部２０で設定された動領域を水平及び垂直方向に分割して小領域を作成する。図３の例では、動領域は水平及び分割方向にそれぞれ２分割されており、４つの小領域が作成されている。
【００５４】
なお、動領域を分割する数は、動領域の画素数により決定される。例えば、動領域の水平及び垂直方向の画素数がそれぞれ２５６画素以上の場合は水平及び垂直方向にそれぞれ２分割、３５６画素以上の場合は水平及び垂直方向にそれぞれ３分割、５１２画素以上の場合は水平及び垂直方向にそれぞれ４分割というように、予め定めておくとよい。
【００５５】
また、本実施の形態では、各小領域は、相対動きベクトル算出部１０で作成されたマクロブロックを最小単位として構成されている。このように、各小領域を、相対動きベクトル算出部１０で作成されたマクロブロックを最小単位として構成することにより、動小領域設定部３２において動マクロブロックを判定する手間を省くことができる。
【００５６】
動小領域設定部３２は、小領域作成部３１で作成された小領域毎に、動マクロブロックを含んで構成される矩形領域を動小領域として設定する。図４は、動小領域を設定する方法を説明するための図であり、（ａ）は一例を示し、（ｂ）は他の例を示す。なお、図４（ａ），（ｂ）の例では、小領域は、１６個のマクロブロックＭＢ１〜ＭＢ１６から構成されている。
【００５７】
図４（ａ）の例では、小領域を構成しているマクロブロックＭＢ１〜ＭＢ１６の内、マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ５，ＭＢ６，ＭＢ９，ＭＢ１０が動マクロブロックで、その他のマクロブロックＭＢが静マクロブロックである。そして、動マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ５，ＭＢ６，ＭＢ９，ＭＢ１０に、静マクロブロックＭＢ７，ＭＢ１１を加えた矩形領域が動小領域となる。
【００５８】
また、図４（ｂ）の例では、小領域を構成しているマクロブロックＭＢ１〜ＭＢ１６の内、マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ７，ＭＢ８，ＭＢ９，ＭＢ１０が動マクロブロックで、その他のマクロブロックＭＢが静マクロブロックである。そして、動マクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ７，ＭＢ８，ＭＢ９，ＭＢ１０に、静マクロブロックＭＢ５，ＭＢ６，ＭＢ１１，ＭＢ１２を加えた矩形領域が動小領域となる。
【００５９】
動小領域中心点・面積算出部３３は、動小領域設定部３２で設定された動小領域毎に、動小領域の中心点及び面積を算出する。図５は、図４（ａ）で設定された動小領域の中心点及び面積を算出する方法を説明するための図である。なお、ここでは、図４（ａ）に示す小領域は、小領域ＳＤ１に該当するものとする。
【００６０】
動小領域の中心点Ｍｓｄを求める際は、図５に示すように、動小領域を構成するマクロブロックＭＢの水平及び垂直方向の座標が最小である座標ａ（ｘｍｉｎ，ｙｍｉｎ）と、最大である座標ｂ（ｘｍａｘ，ｙｍａｘ）とを検出する。そして、座標ａと座標ｂとの中点である（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）が動小領域の中心点Ｍｓｄとなる。
【００６１】
また、動小領域の面積Ｓは、動小領域に含まれる動マクロブロックの数とする。図４（ａ）の例では、動小領域内には動マクロブロックが７つ含まれているので、動小領域の面積Ｓは「７」となる。また、図４（ｂ）の例では、動小領域内には動マクロブロックが８つ含まれているので、動小領域の面積Ｓは「８」となる。
【００６２】
動領域中心点算出部３４は、動小領域中心点・面積算出部３３で算出された動小領域の中心点Ｍｓｄ及び面積Ｓを用いて動領域の中心点Ｍｍｄを算出する。動領域の中心点Ｍｍｄ（Ｘｍｉｄ，Ｙｍｉｄ）は、下記の式（１）によって算出される。
【００６３】
【数１】
図６は、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの一例を示す図である。図６に示すように、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの位置は、本来の動領域の中心Ｍ（（Ｘｍｉｎ＋Ｘｍａｘ）／２，（Ｙｍｉｎ＋Ｙｍａｘ）／２）の位置とは異なっている。
【００６５】
相対動きベクトル平均値・分散算出部３５は、相対動きベクトル算出部１０で算出された相対動きベクトル情報から、動領域における相対動きベクトルの平均値Ａｖｅｉ（ｉ＝ｘ，ｙ）と、分散σｉ2（ｉ＝ｘ，ｙ）とを算出する。
【００６６】
そして、切り出し領域座標算出部３６は、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉと分散σｉ2とを用いて、切り出し領域を設定するための座標を算出する。図７は、切り出し領域を設定する方法を説明するための図である。
【００６７】
図７に示すように、動領域の水平方向に水平方向の幅がαである領域と水平方向の幅がβである領域を付け足し、動領域の垂直方向に垂直方向の高さがγである領域と垂直方向の高さがδである領域を付け足して切り出し領域を設定する。なお、水平方向の幅がαである領域は、水平方向における座標の小さい側に付け足され、水平方向の幅がβである領域は、水平方向における座標の大きい側に付け足される。また、垂直方向の高さがγである領域は、垂直方向における座標の小さい側に付け足され、垂直方向の高さがδである領域は、垂直方向における座標の大きい側に付け足される。
【００６８】
この切り出し領域は、切り出し領域を構成するマクロブロックの水平及び垂直方向の座標が最小である座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と、最大である座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）とで囲まれる矩形領域として設定される。なお、Ｘ´ｍｉｎはＸｍｉｎ−α、Ｘ´ｍａｘはＸｍａｘ＋β、Ｙ´ｍｉｎはＹｍｉｎ−γ、Ｙ´ｍａｘはＹｍａｘ＋δである。
【００６９】
α、β、γ、δは、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ2とを用いて算出される。具体的には、下記の式（２）〜（５）によって算出される。なお、下記の式（２）〜（９）において、ｆ（σｉ2）は図８に示す関数によって求められる。また、定数ｐは正の数とする。
【００７０】
α、βは、下記の式（２）〜（５）によって算出される。
【００７１】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（２）
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）＋ｐ×（Ｘｍｉｄ−Ｘｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｄ）……（３）
【００７２】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）＋ｐ×（Ｘｍａｘ−Ｘｍｉｄ）／（Ｘｍｉｄ−Ｘｍｉｎ）……（４）
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（５）
【００７３】
γ、δは、下記の式（６）〜（９）によって算出される。
【００７４】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（６）
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）＋ｐ×（Ｙｍｉｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｄ）……（７）
【００７５】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）＋ｐ×（Ｙｍａｘ−Ｙｍｉｄ）／（Ｙｍｉｄ−Ｙｍｉｎ）……（８）
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（９）
【００７６】
また、特定のアスペクト比の切り出し映像を生成する場合は、α、β、γ、δは、下記の式（１０）〜（１７）によって算出される。なお、アスペクト比はａ：ｂとする。また、下記の式（１０）〜（２５）において、ｆ（σｉ2）は図８に示す関数によって求められる。また、定数ｐは正の数とする。
【００７７】
（Ｙｍａｘ−Ｙｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｎ）≧ｂ／ａの場合は、α、β、γ、δは、下記の式（１０）〜（１７）によって算出される。
【００７８】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（１０）
β＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋α）……（１１）
【００７９】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）…（１２）
α＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋β）……（１３）
【００８０】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（１４）
δ＝ｂ／ａ（Ｙｍａｘ−Ｙｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋γ）……（１５）
【００８１】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（１６）
γ＝ｂ／ａ（Ｙｍａｘ−Ｙｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋δ）……（１７）
【００８２】
（Ｙｍａｘ−Ｙｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｎ）＜ｂ／ａの場合は、α、β、γ、δは、下記の式（１８）〜（２５）によって算出される。
【００８３】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ａｖｅｘ｜×ｆ（σｘ2）……（１８）
β＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋α）……（１９）
【００８４】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
β＝｜Ａｖｅｘ｜×ｆ（σｘ2）…（２０）
α＝ａ／ｂ（Ｙｍａｘ−Ｙｍｉｎ＋γ＋δ）−（Ｘｍａｘ−Ｘｍｉｎ＋β）……（２１）
【００８５】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（２２）
δ＝ｂ／ａ（Ｘｍａｘ−Ｘｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋γ）……（２３）
【００８６】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
δ＝｜Ａｖｅｙ｜×ｆ（σｙ2）……（２４）
γ＝ｂ／ａ（Ｘｍａｘ−Ｘｍｉｎ＋α＋β）−（Ｙｍａｘ−Ｙｍｉｎ＋δ）……（２５）
【００８７】
切り出し領域座標算出部３６で算出された座標Ｃ（Ｘ´ｍｉｎ，Ｙ´ｍｉｎ）と座標Ｄ（Ｘ´ｍａｘ，Ｙ´ｍａｘ）は、切り出し座標情報として切り出し領域抽出部５０に入力される。
【００８８】
なお、必要があれば、伝送フォーマットにおける画素数やモニターの画素数等に合わせて、切り出し領域抽出部５０で生成された切り出し映像の画素数を変換することもできる。画素数を変換する方法としては、例えば、標本化周波数変換手法を用いることができる。
【００８９】
図１に戻って説明を続けると、信号遅延部４０は、切り出し領域抽出部５０に切り出し領域座標算出部３６で算出された切り出し領域情報が入力されるまで、切り出し領域抽出部５０に入力される入力映像信号を遅延させ、切り出し領域抽出部５０における切り出し領域情報と入力映像信号との同時性を確保する。
【００９０】
そして、切り出し領域抽出部５０では、切り出し領域設定部３０から入力された切り出し座標情報に基づいて、撮影映像から切り出し領域を抽出して切り出し映像を生成する。切り出し領域抽出部５０で生成された切り出し映像は、出力映像信号として外部に出力される。
【００９１】
（切り出し映像生成装置１の動作）
次に、図９に示す切り出し映像生成装置１の動作を示すフローチャートを参照して切り出し映像生成装置１の動作を説明する。
【００９２】
まず、相対動きベクトル算出部１０（図１参照）では、撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、被写体映像の動きベクトルと背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する（Ｓ１）。
【００９３】
続いて、動領域設定部２０（図１参照）では、相対動きベクトル算出部１０で算出された各マクロブロックの相対動きベクトルを基に、動領域（図３参照）を設定する（Ｓ２）。
【００９４】
次に、切り出し領域設定部３０（図１参照）では、動領域における相対動きベクトルの平均値及び分散に基づいて、撮影映像から抽出する切り出し領域（図７参照）を設定する（Ｓ３）。
【００９５】
切り出し領域設定部３０内での動作を詳しく説明すると、まず、小領域作成部３１（図２参照）では、動領域設定部２０で設定された動領域を水平及び垂直方向に分割して小領域（図３参照）を作成する（Ｓ３１）。
【００９６】
次に、動小領域設定部３２（図２参照）では、小領域作成部３１で作成された小領域毎に、動マクロブロックを含んで構成される矩形領域を動小領域（図４（ａ），（ｂ）参照）として設定する（Ｓ３２）。
【００９７】
動小領域中心点・面積算出部３３（図２参照）では、動小領域設定部３２で設定された動小領域毎に、動小領域の中心点Ｍｓｄ（図５参照）及び面積Ｓを算出する（Ｓ３３）。
【００９８】
動領域中心点算出部３４（図２参照）では、動小領域中心点・面積算出部３３で算出された動小領域の中心点Ｍｓｄ及び面積Ｓを用いて動領域の中心点Ｍｍｄ（図６参照）を算出する（Ｓ３４）。
【００９９】
相対動きベクトル平均値・分散算出部３５（図２参照）では、相対動きベクトル算出部１０で算出された相対動きベクトル情報から、動領域における相対動きベクトルの平均値Ａｖｅｉ（ｉ＝ｘ，ｙ）と、分散σｉ2（ｉ＝ｘ，ｙ）とを算出する（Ｓ３５）。
【０１００】
切り出し領域座標算出部３６（図２参照）では、動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄと、相対動きベクトル平均値・分散算出部３５で算出された動領域における相対動きベクトルの平均値Ａｖｅｉと分散σｉ2とを用いて、切り出し領域を設定するための座標（図７参照）を算出する（Ｓ３６）。
【０１０１】
そして、切り出し領域抽出部５０では、切り出し領域設定部３０から入力された切り出し領域情報に基づいて、撮影映像から切り出し領域を抽出して切り出し映像を生成する（Ｓ４）。
【０１０２】
以上のようにして、本発明に係る切り出し映像生成装置及び切り出し映像生成方法によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて一部の領域を抽出して切り出し映像を生成することができる。このようにして生成された切り出し映像は、被写体の分布情報に基づいて切り出し領域が設定されているので、映像内容は冗長にならない。また、本発明に係る切り出し映像生成装置及び切り出し映像生成方法では、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１０３】
以上、本発明の一実施の形態について説明したが、本発明はこれにのみ限定されるものではなく、本発明の技術的思想に基づく限りにおいて、種々の変形が可能である。
【０１０４】
例えば、切り出し映像生成装置１の各構成を各過程（ステップ）と見なした、切り出し映像生成方法と捉えることも可能である。この場合、切り出し映像生成方法は、切り出し映像生成装置と同様の効果が得られる。また、切り出し映像生成装置１の各構成を一般的なコンピュータ言語で記述したプログラム（切り出し映像生成プログラム）と見なすことも可能である。この場合も、切り出し映像生成プログラムは、切り出し映像生成装置１と同様の効果が得られる。
【０１０５】
また、本実施の形態では、切り出し領域設定部３０の切り出し領域座標算出部３６において、切り出し領域を設定するための座標を算出する際は、動領域の中心点Ｍｍｄと、動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ2とを用いてα、β、γ、δを算出しているが、動領域における相対動きベクトルの平均値Ａｖｅｉ及び分散σｉ2の代わりに、動領域内の背景と隣接する小領域における相対動きベクトルの平均値Ａｖｅｓｊｉ（ｉ＝ｘ，ｙ）及び分散σｓｊｉ2（ｉ＝ｘ，ｙ）を用いてα、β、γ、δを算出することもできる。なお、ｓｊは小領域の番号で、ｊ＝１〜ｍ×ｎとする。
【０１０６】
具体的には、動領域の水平方向における座標が小さい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｘを比較し、平均値Ａｖｅｓｊｘの最小値「Ｍｉｎ Ａｖｅｓｊｘ」を求める。同様に、動領域の水平方向における座標が大きい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｘを比較し、平均値Ａｖｅｓｊｘの最大値「Ｍａｘ Ａｖｅｓｊｘ」を求める。
【０１０７】
また、動領域の垂直方向における座標が小さい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｙを比較し、平均値Ａｖｅｓｊｙの最小値「Ｍｉｎ Ａｖｅｓｊｙ」を求める。同様に、動領域の垂直方向における座標が大きい側において、背景と隣接する小領域同士で相対動きベクトルの平均値Ａｖｅｓｊｙを比較し、平均値Ａｖｅｓｊｙの最大値「Ｍａｘ Ａｖｅｓｊｙ」を求める。
【０１０８】
そして、α、β、γ、δは、下記の式（２６）〜（３３）によって算出される。なお、下記の式（２６）〜（３３）において、ｆ（σｓｊｉ2）は図８に示す関数によって求められる。また、定数ｐは１．０とする。
【０１０９】
α、βは、下記の式（２６）〜（２９）によって算出される。
【０１１０】
Ｘｍｉｄ≧（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ2）……（２６）
β＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｘ2）＋ｐ×（Ｘｍｉｄ−Ｘｍｉｎ）／（Ｘｍａｘ−Ｘｍｉｄ）……（２７）
【０１１１】
Ｘｍｉｄ＜（Ｘｍｉｎ＋Ｘｍａｘ）／２の場合
α＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ2）＋ｐ×（Ｘｍａｘ−Ｘｍｉｄ）／（Ｘｍｉｄ−Ｘｍｉｎ）……（２８）
β＝｜Ｍｉｎ Ａｖｅｓｊｘ｜×ｆ（σｓｊｘ2）……（２９）
【０１１２】
γ、δは、下記の式（３０）〜（３３）によって算出される。
【０１１３】
Ｙｍｉｄ≧（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）……（３０）
δ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）＋ｐ×（Ｙｍｉｄ−Ｙｍｉｎ）／（Ｙｍａｘ−Ｙｍｉｄ）……（３１）
【０１１４】
Ｙｍｉｄ＜（Ｙｍｉｎ＋Ｙｍａｘ）／２の場合
γ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）＋ｐ×（Ｙｍａｘ−Ｙｍｉｄ）／（Ｙｍｉｄ−Ｙｍｉｎ）……（３２）
δ＝｜Ｍｉｎ Ａｖｅｓｊｙ｜×ｆ（σｓｊｙ2）……（３３）
【０１１５】
このようにα、β、γ、δを算出することで、本実施の形態と同様に、切り出し領域設定部３０の切り出し領域座標算出部３６において切り出し領域を設定することができる。
【０１１６】
【発明の効果】
請求項１、請求項４及び請求項７に記載の発明によれば、撮影映像から、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」に基づいて一部の領域を抽出して切り出し映像を生成することができる。したがって、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１１７】
請求項２、請求項５及び請求項８に記載の発明によれば、被写体の動き情報である「動領域における相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、被写体の分布情報に基づいて切り出し領域を設定することができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。また、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【０１１８】
請求項３、請求項６及び請求項９に記載の発明によれば、被写体の動き情報である「動領域内における背景と隣接する小領域の相対動きベクトルの平均値及び分散」と、被写体の分布情報である「動領域の中心点」とに基づいて切り出し領域を設定することができる。したがって、被写体の分布情報に基づいて切り出し領域を設定することができるので、生成された切り出し映像の映像内容の冗長化を防止することができる。また、切り出し領域をアスペクト比によって制約されることなく設定することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像生成装置１の構成を示すブロック図である。
【図２】切り出し映像生成装置１における切り出し領域設定部３０の構成を示すブロック図である。
【図３】本発明における切り出し領域の設定方法を説明するための図である。
【図４】動小領域を設定する方法を説明するための図であり、（ａ）は一例を示し、（ｂ）は他の例を示す。
【図５】図４（ａ）で設定された動小領域の中心点及び面積を算出する方法を説明するための図である。
【図６】動領域中心点算出部３４で算出された動領域の中心点Ｍｍｄの一例を示す図である。
【図７】撮影映像における切り出し領域を示す図である。
【図８】切り出し領域を設定するための座標を算出する際に用いる関数を示す図である。
【図９】切り出し映像生成装置１の動作を示すフローチャートである。
【図１０】従来の切り出し領域の設定方法における動領域の設定方法を説明するための図である。
【図１１】従来の切り出し領域の設定方法における切り出し領域の設定方法を説明するための図である。
【図１２】動領域における被写体の分布を示す図であり、（ａ）は動領域における被写体の分布が均等な場合を示し、（ｂ）は動領域における被写体の分布が不均等な場合を示す。
【図１３】動領域における被写体の分布が不均等な場合の切り出し領域を示す図である。
【符号の説明】
１ 切り出し映像生成装置
１０ 相対動きベクトル算出部
２０ 動領域設定部
３０ 切り出し領域設定部
３１ 小領域作成部
３２ 動小領域設定部
３３ 動小領域中心点・面積算出部
３４ 動領域中心点算出部
３５ 相対動きベクトル平均値・分散算出部
３６ 切り出し領域座標算出部
４０ 信号遅延部
５０ 切り出し領域抽出部
Claims (9)
- 撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成装置であって、
前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出部と、
前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定部と、
前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定部と、
前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出部と
を備えて構成されることを特徴とする切り出し映像生成装置。 - 前記切り出し領域設定部は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、
前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、
前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部と
を備えて構成されることを特徴とする請求項１に記載の切り出し映像生成装置。 - 前記切り出し領域設定部は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成部と、前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定部と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出部と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出部と、
前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出部と、
前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出部と
を備えて構成されることを特徴とする請求項１に記載の切り出し映像生成装置。 - 撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する切り出し映像生成方法であって、
前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出ステップと、
前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定ステップと、
前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定ステップと、
前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出ステップと
を含むことを特徴とする切り出し映像生成方法。 - 前記切り出し領域設定ステップは、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、
前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、
前記動領域の中心点と、前記動領域における相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップと
を含むことを特徴とする請求項４に記載の切り出し映像生成方法。 - 前記切り出し領域設定ステップは、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成ステップと、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定ステップと、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出ステップと、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出ステップと、
前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出ステップと、
前記動領域の中心点と、前記動領域における背景と隣接する小領域の相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出ステップと
を含むことを特徴とする請求項４に記載の切り出し映像生成方法。 - 撮影された撮影映像から一部の領域を抽出して切り出し映像を生成する装置を、
前記撮影映像を背景映像とこの背景映像以外の映像である被写体映像とに分離し、前記撮影映像を水平及び垂直方向に所定の画素数の矩形領域に分割して作成したマクロブロック毎に、前記被写体映像の動きベクトルと前記背景映像の動きベクトルとの差分ベクトルである相対動きベクトルを算出する相対動きベクトル算出手段、
前記相対動きベクトルの大きさが予め定められた閾値を超えるマクロブロックである動マクロブロックを含んで構成され、前記動マクロブロックの水平及び垂直方向の座標が最小である座標と、最大である座標とで囲まれる矩形領域を動領域として設定する動領域設定手段、
前記動領域における前記相対動きベクトルの平均値及び分散に基づいて前記動領域の上下にそれぞれ付け足す矩形領域の高さとして、前記動マクロブロックが多く分布している方向に付け足す矩形領域の高さの方が大きくなるように算出し、かつ、前記動領域の左右にそれぞれ付け足す矩形領域の幅として、前記動マクロブロックが多く分布している方向に付け足す矩形領域の幅の方が大きくなるように算出し、前記撮影映像から抽出する切り出し領域を、当該動領域の上下左右に前記算出された矩形領域をそれぞれ付け足すことで形成される矩形領域として設定する切り出し領域設定手段、
前記撮影映像から前記切り出し領域を抽出して切り出し映像を生成する切り出し領域抽出手段
として機能させることを特徴とする切り出し映像生成プログラム。 - 前記切り出し領域設定手段は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、
前記動領域における前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、
前記動領域の中心点と、前記動領域における前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段と
を備えていることを特徴とする請求項７に記載の切り出し映像生成プログラム。 - 前記切り出し領域設定部手段は、
前記動領域を水平及び垂直方向に分割して小領域を作成する小領域作成手段と、
前記小領域毎に前記動マクロブロックを含んで構成される領域を動小領域として設定する動小領域設定手段と、
前記動小領域毎に動小領域の中心点及び面積を算出する動小領域中心点・面積算出手段と、
前記動小領域の中心点及び面積を用いて前記動領域の中心点を算出する動領域中心点算出手段と、
前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散を算出する相対動きベクトル平均値・分散算出手段と、
前記動領域の中心点と、前記動領域における背景と隣接する小領域の前記相対動きベクトルの平均値及び分散とを用いて、前記切り出し領域を設定するための座標を算出する切り出し領域座標算出手段と
を備えていることを特徴とする請求項７に記載の切り出し映像生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002258663A JP4163914B2 (ja) | 2002-09-04 | 2002-09-04 | 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002258663A JP4163914B2 (ja) | 2002-09-04 | 2002-09-04 | 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096679A JP2004096679A (ja) | 2004-03-25 |
| JP4163914B2 true JP4163914B2 (ja) | 2008-10-08 |
Family
ID=32063222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002258663A Expired - Fee Related JP4163914B2 (ja) | 2002-09-04 | 2002-09-04 | 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4163914B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100826812B1 (ko) * | 2007-07-23 | 2008-05-02 | 주식회사 만도 | 차량의 아이스 노면에서 선회시 조향각 센서의 신호 이상검출 방법 |
| US8280115B2 (en) | 2007-10-30 | 2012-10-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
| JP6162492B2 (ja) * | 2013-06-11 | 2017-07-12 | 株式会社メガチップス | 動体検出装置、動体検出方法及び制御プログラム |
| CN104408743A (zh) * | 2014-11-05 | 2015-03-11 | 百度在线网络技术（北京）有限公司 | 图像分割方法和装置 |
-
2002
- 2002-09-04 JP JP2002258663A patent/JP4163914B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004096679A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100731979B1 (ko) | 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 | |
| US9041773B2 (en) | Conversion of 2-dimensional image data into 3-dimensional image data | |
| JPH10150663A (ja) | ブロッキング効果の最小化方法及び最小化装置 | |
| US10116917B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2014135667A (ja) | 映像処理装置、表示装置および映像処理方法 | |
| JP4163914B2 (ja) | 切り出し映像生成装置、切り出し映像生成方法及び切り出し映像生成プログラム | |
| US20180276794A1 (en) | Video resolution up-conversion method and device | |
| JP2018067106A (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
| JP2001128195A (ja) | 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体 | |
| JP2016126673A (ja) | 情報処理装置及びその制御方法、並びに、ビデオカメラ | |
| KR20210012927A (ko) | 정보 처리 장치, 정보 처리 방법 및 저장 매체 | |
| US20150350669A1 (en) | Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing | |
| KR20010013243A (ko) | 바로전 소스 프레임으로부터 하나 이상의 중간 프레임들을독단적으로 합성함으로써 소스 프레임들의 시퀀스로부터디스플레이 프레임들을 발생하기 위한 방법 및 장치 | |
| JP2018529145A5 (ja) | ||
| KR20130068520A (ko) | 영상 워핑 처리 방법 및 장치 | |
| JP6242104B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPWO2011129361A1 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
| WO2020036072A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2002077941A (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2020126393A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4166463B2 (ja) | 映像生成装置 | |
| JPS6219973A (ja) | デ−タ圧縮方法 | |
| JP2004240913A (ja) | 物体形状算出装置、物体形状算出方法、物体形状算出プログラム | |
| JP7456553B2 (ja) | 画像処理装置、方法およびプログラム | |
| US20240054665A1 (en) | Image processing apparatus, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080725 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140801 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |