JP4528212B2 - トリミング制御装置及びトリミング制御プログラム - Google Patents

Description

本発明は、トリミング制御技術に関し、特に、番組用に制作された映像コンテンツ等を携帯端末等の小さい画面で視聴する場合に、視認性を損なうことがないトリミング制御技術に関する。

従来、テレビ放送を受信することが可能な携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ）等の携帯端末が普及している。このような携帯端末は、動画像を表示する画面の大きさや伝送容量に制限があるため、例えば、携帯端末向けデジタル放送（１セグ放送）に採用されたＨ．２６４の解像度の場合、番組によっては視認性が著しく悪くなることが想定される。

この問題を解決する方法として、動画像の注目領域を拡大表示することが考えられる。しかし、携帯端末では、視認性を損なわないようにトリミング映像を最適に表示することは困難である。

一方、画像の注目領域を表示するためのトリミング制御について、様々な技術が開示されている。例えば、特許文献１のトリミング装置は、トリミングの対象となる画像の注目領域を算出してオブジェクト指標を求め、当該オブジェクト指標に基づいてトリミング手法を選択し、当該選択したトリミング手法でトリミング処理を行う。これにより、画像のトリミングを自動的かつ効果的に行うことができる。また、動画像の手ぶれを補正する技術として、例えば、特許文献２の手ブレ制御装置は、映像フィールドの時間的な画像の動きを検出して手ブレ量を算出し、決定した切り出し枠を手ブレ量に応じて移動させることにより、手ブレ補正を実現する。この場合、手ブレ量は、映像フィールドを４つのブロックに分割し、ブロック間を比較し代表的マッチング法を用いて算出される。

特開２００４−２２８９９５号公報 特開平６−４６３１６号公報

しかしながら、前述した技術は、画像を見る者の観点で画像が見やすくなるように、トリミング画面の中心座標（以下、トリミング座標という。）や、手ブレ補正の際に表示画面の中心座標を求めることはしていない。すなわち、携帯端末に画像を出力する場合、視認性を考慮した処理が行われていないため、必ずしも見やすい画像が提供されているとは限らない。

また、従来、放送のデジタル化や多チャンネル化が進み、コンテンツ不足が懸念されている。このため、各放送局や番組制作会社は、限られた資源を利用して番組を制作しなければならず、新たな映像生成技術が要望されていた。

そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示可能なトリミング制御装置及びトリミング制御プログラムを提供することにある。

本発明におけるトリミング制御装置は、複数フレームからなるオリジナル映像を入力し、予め定めたファジィルールにより処理対象のフレームのオリジナル映像から所定のトリミング座標を中心とした所定の大きさの画面を切り出してトリミング画面を生成するトリミング制御装置であって、
前記ファジィルールとして、各行が注目オブジェクト位置、各列が注目オブジェクト移動量であり、各行及び各列の交差する部分がトリミング座標の移動量に対するファジィ集合を示すメンバシップ関数として表され、該メンバシップ関数は注目オブジェクト位置がトリミング画面中心付近であるときには注目オブジェクト移動量によることなく当該注目トリミング座標の移動量が０近辺になるように設定されており、
入力される複数フレームからなるオリジナル映像のうち少なくとも１つのフレームに関連付けられた、注目オブジェクト座標を示す参照データを入力し、前記参照データに基づいて注目オブジェクト座標を検出する注目オブジェクト座標検出部と、
検出した注目オブジェクト座標に基づいて、第ｎ−１フレームのオリジナル映像におけるトリミング画面の位置で第ｎフレームのオリジナル映像に対するトリミング画面の注目オブジェクト位置及び注目オブジェクトの移動量を算出し、前記ファジィルールによりトリミング座標の移動量を算出し、第ｎフレームのオリジナル映像に対するトリミング座標を決定するファジィ制御部と、
第ｎフレームのオリジナル映像に対して、前記決定したトリミング座標を中心とした所定の大きさの画面を切り出し、第ｎフレームのオリジナル映像に対するトリミング画面を生成するトリミング処理部とを備え、
前記ファジィ制御部は、前記ファジィルールにより、前記メンバシップ関数の重心値を第ｎフレームのオリジナル映像におけるトリミング座標の移動量として決定し、第ｎ−１フレームのトリミング座標に該移動量を加えた座標を第ｎフレームのトリミング座標として決定し、前記複数フレームに対して連続的に実行することを特徴とする。

また、本発明におけるトリミング制御装置は、前記検出された注目オブジェクト座標に基づいてオフセット量を決定し、該オフセット量を前記トリミング座標に付加した座標を、新たなトリミング座標に決定するオフセット量付加部を備え、
前記トリミング処理部は、前記トリミング座標の代わりに前記新たなトリミング座標を中心に、入力したオリジナル映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力することを特徴とする。

また、本発明におけるトリミング制御装置は、前記注目オブジェクト座標検出部は、前記少なくとも１つのフレームのオリジナル映像に関連付けられた、注目オブジェクト座標を示す参照データを含むメタデータを受信し、該メタデータから注目オブジェクト座標を検出することを特徴とする。

さらに、本発明におけるトリミングプログラムは、複数フレームからなるオリジナル映像を入力し、予め定めたファジィルールにより処理対象のフレームのオリジナル映像から所定のトリミング座標を中心とした所定の大きさの画面を切り出してトリミング画面を生成するトリミング制御装置として構成するコンピュータに、
前記ファジィルールとして、各行が注目オブジェクト位置、各列が注目オブジェクト移動量であり、各行及び各列の交差する部分がトリミング座標の移動量に対するファジィ集合を示すメンバシップ関数として表され、該メンバシップ関数は注目オブジェクト位置がトリミング画面中心付近であるときには注目オブジェクト移動量によることなく当該注目トリミング座標の移動量が０近辺になるように設定されており、
入力される複数フレームからなるオリジナル映像のうち少なくとも１つのフレームに関連付けられた、注目オブジェクト座標を示す参照データを入力し、前記参照データに基づいて注目オブジェクト座標を検出するステップと、
検出した注目オブジェクト座標に基づいて、第ｎ−１フレームのオリジナル映像におけるトリミング画面の位置で第ｎフレームのオリジナル映像に対するトリミング画面の注目オブジェクト位置及び注目オブジェクトの移動量を算出し、前記ファジィルールによりトリミング座標の移動量を算出し、第ｎフレームのオリジナル映像に対するトリミング座標を決定するステップと、
第ｎフレームのオリジナル映像に対して、前記決定したトリミング座標を中心とした所定の大きさの画面を切り出し、第ｎフレームのオリジナル映像に対するトリミング画面を生成するステップとを実行させるためのトリミング制御プログラムであって、
前記トリミング座標を決定するステップは、前記ファジィルールにより、前記メンバシップ関数の重心値を第ｎフレームのオリジナル映像におけるトリミング座標の移動量として決定し、第ｎ−１フレームのトリミング座標に該移動量を加えた座標を第ｎフレームのトリミング座標として決定し、前記複数フレームに対して連続的に実行するステップを含む、トリミング制御プログラムである。

一般に、番組撮影においてカメラマンは、被写体であるオブジェクトの向き、動く方向、周囲の環境等を総合的に判断し、ズームやパン・チルト等のカメラワークを決定する。例えば、被写体を必ず中心におく構図で撮影された映像よりも、被写体の向きや動く方向によりその前を空けるような構図（図１４を参照）で撮影された映像の方が自然な感じを受ける場合が多い。本発明は、注目するオブジェクト座標をそのままトリミング座標として用いるのではなく、注目するオブジェクトの進行方向等を考慮してトリミング座標を決定し、当該トリミング座標を用いてトリミング処理を行う。これにより、表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示することが可能となり、トリミング映像は見やすいものとなる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。本発明の実施の形態によるトリミング制御装置は、番組用に制作された映像コンテンツ等の映像を入力し、この映像のオリジナル画面からトリミング画面を切り出して生成し、出力するものである。このトリミング画面を生成する際に、オリジナル画面から対象となる注目オブジェクト座標を検出し、トリミング画面の中心座標であるトリミング座標を決定する。ここで、本発明は、トリミング画面を映像として携帯端末等に表示した場合に、その視認性を損なわないトリミング映像とするためのトリミング座標を如何に決定するかが特徴となる。

本発明の実施例１は、対象となるオブジェクト座標の細かな変動を平滑化するものであり、図１に示されている。実施例２は、オブジェクト座標にオフセットを加えた座標をトリミング座標とするものであり、図２及び図３に示されている。実施例３は、ファジィ制御によりトリミング座標を求めるものであり、図４から図１０に示されている。実施例４は、ファジィ制御により前空き画面を有するトリミング座標を求めるものであり、図１１から図１４に示されている。実施例５は、ファジィ制御により求めたトリミング座標に対してオフセットを加えるものであり、図１５に示されている。以下、実施例１から５について詳細に説明する。

図１は、本発明によるトリミング制御装置の実施例１の構成及びフローチャートを示す図である。図１（ａ）を参照して、このトリミング制御装置１０は、トリミング処理部１１、注目オブジェクト座標検出部１２、及び平滑化処理部１３を備えている。トリミング処理部１１は、外部から映像を、平滑化処理部１３からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。つまり、トリミング処理部１１は、オリジナル画面のシーンをフレーム毎に再構成し、再構成したシーンを例えばディスプレイに表示する。注目オブジェクト座標検出部１２は、外部から参照データ（メタデータ）を入力し、オリジナル画面中の注目するオブジェトの座標（注目オブジェクト座標）を検出し、当該注目オブジェクト座標を平滑化処理部１３に出力する。この場合、注目オブジェクト座標検出部１２は、外部から映像そのものを入力し、例えば正規化相関トラッキングによるパターンマッチング等の画像処理技術により、注目オブジェクト座標を検出するようにしてもよい。平滑化処理部１３は、注目オブジェクト座標検出部１２から注目オブジェクト座標を入力し、フレーム毎の注目オブジェクト座標を図示しない記憶手段に記憶する。そして、過去数フレーム分の注目オブジェクト座標を記憶手段から読み出し、移動平均を求め、その移動平均の値をトリミング座標としてトリミング処理部１１に出力する。

図１（ｂ）を参照して、トリミング制御装置１０の動作について説明する。トリミング制御装置１０が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部１２は、入力した参照データに基づいて注目オブジェクト座標を検出する（ステップＳ１０１）。平滑化処理部１３は、注目オブジェクト座標検出部１２から注目オブジェクト座標を入力すると、所定フレーム数のオブジェクト座標を記憶する（ステップＳ１０２）。そして、平滑化処理部１３は、記憶したオブジェクト座標に基づいて移動平均を算出し（ステップＳ１０３）、この移動平均の値をトリミング座標に決定する（ステップＳ１０４）。トリミング処理部１１は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する（ステップＳ１０５）。

以上のように、実施例１のトリミング制御装置１０によれば、平滑化処理部１３が、過去数フレーム分の注目オブジェクト座標の移動平均値をトリミング座標として決定するようにした。これにより、注目オブジェクトが細かい座標変動を起こした場合であっても、トリミング座標はこの変動に対して必要以上に追従することがない。

尚、前述の平滑化処理部１３は、過去数フレーム分の注目オブジェクト座標の移動平均値をトリミング座標として出力するようにしたが、積分回路（ローパスフィルタ）を用いてトリミング座標を求め出力するようにしてもよい。これにより、注目オブジェクトの座標変動により生じる高周波成分を取り除くことができる。

図２は、本発明によるトリミング制御装置の実施例２の構成及びフローチャートを示す図である。図２（ａ）を参照して、このトリミング制御装置２０は、トリミング処理部２１、注目オブジェクト座標検出部２２、及びオフセット量付加部２３を備えている。トリミング処理部２１は、外部から映像を、オフセット量付加部２３からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。注目オブジェクト座標検出部２２は、図１に示した実施例１の注目オブジェクト座標検出部１２と同様に、注目オブジェクト座標を検出し、当該注目オブジェクト座標をオフセット量付加部２３に出力する。オフセット量付加部２３は、注目オブジェクト座標検出部２２から注目オブジェクト座標を入力し、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの位置（距離及び方向）を求め、この中心からの位置に比例したオフセット量を決定する。この場合、予め設定された値をオフセット量として決定してもよい。そして、オブジェクト座標にオフセット量を加えてトリミング座標とし、当該トリミング座標をトリミング処理部２１に出力する。

図３は、オリジナル画面中の注目オブジェクトをボールとし、ボール自体がオリジナル画面の中心から左側に位置している場合の例である。図３に示すように、オフセット量付加部２３は、例えば、トリミング処理を行うときもボールがトリミング画面の左側に位置するように、オフセット量を決定する。

図２（ｂ）を参照して、トリミング制御装置２０の動作について説明する。トリミング制御装置２０が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部２２は、入力した参照データに基づいて注目オブジェクト座標を検出する（ステップＳ２０１）。オフセット量付加部２３は、注目オブジェクト座標検出部２２から注目オブジェクト座標を入力すると、注目オブジェクト座標とオリジナル画面の中心座標とに基づいて注目オブジェクトの位置を検出し（ステップＳ２０２）、その位置に基づいてオフセット量を決定し（ステップＳ２０３）、注目オブジェクト座標にオフセット量を加えた座標を、トリミング座標に決定する（ステップＳ２０４）。トリミング処理部２１は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する（ステップＳ２０５）。

以上のように、実施例２のトリミング制御装置２０によれば、オフセット量付加部２３が、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの注目オブジェクトの位置に応じたオフセット量を決定し、オブジェクト座標にオフセット量を加えた座標をトリミング座標に決定するようにした。これにより、オリジナル画面における注目オブジェクトの位置を反映したトリミング画面を生成することができる。つまり、オリジナル映像におけるカメラワークと同様なカメラワークを実現し、視認性を損なわないトリミング映像を実現することが可能となる。

尚、前述のオフセット量付加部２３は、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの注目オブジェクトの位置に応じてオフセット量を決定するようにしたが、ボールの移動方向及び移動量を予測してオフセット量を決定するようにしてもよい。具体的には、ボール自体がオリジナル画面の中心から左側に位置している場合に、オフセット量付加部２３は、前フレームのボールの位置と現フレームのボールの位置との間の差分を求め、今後ボールがどの方向に移動するか及び移動量を予測する。ボールがさらに左側に移動するものと予測できる場合には、トリミング処理を行うときにボールがトリミング画面の中央に位置するように、オフセット量を決定する。

また、ボールを支配しているチームの情報を用いて、攻撃と防御を加味したオフセット量を決定するようにしてもよい。具体的には、オフセット量付加部２３は、外部から入力した参照データから、ボールを支配しているチームの識別情報を抽出し、攻撃側のチームがボールを支配していると判断した場合は、守備側のチームの方向にトリミング画面幅の１／４程度のオフセット量を決定する。これにより、攻撃方向にスペース（前空き）を有するトリミング画面を生成することができる。

図４は、本発明によるトリミング制御装置の実施例３の構成及びフローチャートを示す図である。図４（ａ）を参照して、このトリミング制御装置３０は、トリミング処理部３１、注目オブジェクト座標検出部３２、及びファジィ制御部３３を備えている。トリミング処理部３１は、外部から映像を、ファジィ制御部３３からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。注目オブジェクト座標検出部３２は、図１に示した実施例１の注目オブジェクト座標検出部１２と同様に、注目オブジェクト座標を検出し、当該注目オブジェクト座標をファジィ制御部３３に出力する。ファジィ制御部３３は、注目オブジェクト座標検出部３２から注目オブジェクト座標を入力し、オブジェクトの移動量を算出する。また、前フレームのトリミングをそのままの位置で続けた場合の、現在のオブジェクト位置（トリミング画面のオブジェクト位置）を算出する。そして、ファジィ制御部３３は、トリミング画面のオブジェクト位置及びオブジェクト移動量を入力値、トリミング座標の移動量を出力値とし、オブジェクトがトリミング画面の中心に移動するように設定されたファジィルールにより、トリミング座標を決定し、トリミング処理部３１に出力する。

図４（ｂ）を参照して、トリミング制御装置３０の動作について説明する。尚、トリミング制御装置３０の動作の詳細については後述するが、ここでは動作の概要を説明する。トリミング制御装置３０が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部３２は、入力した参照データに基づいて注目オブジェクト座標を検出する（ステップＳ３０１）。ファジィ制御部３３は、注目オブジェクト座標検出部３２から注目オブジェクト座標を入力すると、オブジェクトの移動量を算出し（ステップＳ３０２）、トリミング画面のオブジェクト位置を算出し（ステップＳ３０３）、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する（ステップＳ３０４）。トリミング処理部３１は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する（ステップＳ３０５）。

次に、ファジィ制御部３３の動作について詳細に説明する。例えば、サッカー中継においてボールを注目オブジェクトとする場合、ボールの現在座標（トリミング画面のボール位置）、及びボールの移動量を入力値として使用する。図５を参照して、オリジナル画面の左上を起点に、水平方向をｘ軸、垂直方向をｙ軸とし、オリジナル画面中のボールを中心とした枠内の画面をトリミング画面とする。図５の上部に示した画面は、ｎ−１フレームにおけるオリジナル画面及びトリミング画面であり、下部に示した画面は、ｎフレームにおけるオリジナル画面及びトリミング画面である。

いま、ｎ−ｔフレームのオリジナル画面において、ボール位置を（ｘａ［ｎ−１］，ｙａ［ｎ−１］）、トリミングする中心座標を（ｘｔ［ｎ−１］，ｙｔ［ｎ−１］）とし、ｎフレームのオリジナル画面において、ボール位置を（ｘａ［ｎ］，ｙａ［ｎ］）、トリミングする中心座標を（ｘｔ［ｎ］，ｙｔ［ｎ］）とする。この場合、トリミング後の画面（トリミング画面）において、ボール位置を（ｘｂｔ［ｎ］，ｙｂｔ［ｎ］）とすると、トリミング座標を起点（０，０）として（１）式となる。
（ｘｂｔ［ｎ］，ｙｂｔ［ｎ］）＝（ｘａ［ｎ］−ｘｔ［ｎ−１］，ｙａ［ｎ］−ｙｔ［ｎ−１］） ・・・ （１）
また、ボール移動量を（ｘｂｍ［ｎ］，ｙｂｍ［ｎ］）とすると、（２）式となる。
（ｘｂｍ［ｎ］，ｙｂｍ［ｎ］）＝（ｘａ［ｎ］−ｘａ［ｎ−１］，ｙａ［ｎ］−ｙａ［ｎ−１］） ・・・ （２）

ファジィ制御の入力値として、前フレームのトリミングをそのままの位置で続けたときの現在のボール位置（式（１）を参照）、及び、ボール移動量（式（２）を参照）を使用し、出力値としてトリミング座標の移動量（Δｘ［ｎ］，Δｙ［ｎ］）を求める。したがって、実際にトリミングするべき中心座標は（３）式となる。
（ｘｔ［ｎ］，ｙｔ［ｎ］）＝（ｘｔ［ｎ−１］＋Δｘ［ｎ］，ｙｔ［ｎ−１］＋Δｙ［ｎ］） ・・・ （３）
尚、トリミング座標の初期値を（４）式とする。
（ｘｔ［０］，ｙｔ［０］）＝（ｘａ［０］，ｙａ［０］） ・・・ （４）

図６は、ファジィ制御部３３の詳細な動作を示すフローチャート図である。このフローチャートは、図４（ｂ）に示したフローチャートのステップ３０２〜３０４をより詳細に示したものである。図６を参照して、トリミング処理部３１に最初のフレーム（ｎ＝０）のトリミング処理を行わせるために、ファジィ制御部３３は、ボール座標（ｘａ［０］，ｘａ［０］）をトリミング座標として出力する（ステップＳ６０１）。つまり、トリミング座標は前述した（４）式のとおりである。そして、次のフレーム（ｎ＝１）に進む（ステップＳ６０２）。

ファジィ制御部３３は、注目オブジェクト座標検出部３２が参照データ（メタデータ）に基づいて検出したボール位置（ｘａ［ｎ］，ｙａ［ｎ］）を入力する（ステップＳ６０３）。また、前フレームにおけるトリミング画面のボール位置（（１）式を参照）、及びボール移動量（（２）式を参照）をそれぞれ求め（ステップＳ６０４，６０５）、ファジィ推論から制御量であるトリミング座標の移動量を（５）式のように求める（ステップＳ６０６）。
（Δｘ［ｎ］，Δｙ［ｎ］）＝Ｆｕｚｚｙ｛（ｘｂｔ［ｎ］，ｙｂｔ［ｎ］），（ｘｂｍ［ｎ］，ｙｂｍ［ｎ］）｝ ・・・ （５）
また、前フレームのトリミング座標に制御量を加えた座標をトリミング座標として、トリミング処理部３１に出力する（ステップＳ６０７）。そして、次のフレーム（ｎ←ｎ＋１）に進み（ステップＳ６０８）、ステップ６０３に移行する。このようにして、フレーム毎にステップ６０３からステップ６０８の各処理を実行する。

例えば、解像度がＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）（６４０×４８０）の動画映像をＱＶＧＡ（Ｑｕａｒｔｅｒ ＶＧＡ）（３２０×２４０）サイズでトリミングする場合、トリミング後のＱＶＧＡ画面でのボール位置は、−１６０≦ｘｂｔ≦１６０，−１２０≦ｙｂｔ≦１２０の範囲の値をとり、ボール移動量は、−６４０≦ｘｂｍ≦６４０，−４８０≦ｙｂｍ≦４８０の範囲の値をとる。

次に、図６に示したステップ６０６のファジィ推論による制御量（オブジェクト座標の移動量）の算出方法について詳細に説明する。一般に、ファジィ制御は、複数のＩＦ−ＴＨＥＮルールを用いて行われる。このファジィルールを表１に示す。

表１において、各行はボール位置、各列はボール移動量であり、その交差する部分は出力値（トリミング座標の移動量）に対応している。表中の記号「ＮＢ」「ＮＳ」「ＺＯ」「ＰＳ」「ＰＢ」は、それぞれ「負に大きな値」「負に小さな値」「ゼロ」「正に小さな値」「正に大きな値」を示している。例えば、１行３列目は、
「ＩＦ ボール位置がＮＢ（左寄り）かつボール移動量がＺＯ（ゼロ） ＴＨＥＮ トリミング座標の移動量をＰＳ（右に大きく動かす）」
というルールを示している。また、ファジィ制御を行うために、「ＮＢ」「ＮＳ」「ＺＯ」「ＰＳ」「ＰＢ」に対応するファジィ集合を決定しておく。図７は、トリミング画面のボール位置に対するファジィ集合を示す図、図８は、ボール移動量に対するファジィ集合を示す図、図９は、トリミング座標の移動量に対するファジィ集合を示す図である。このように、ファジィ集合は、図７〜９のようなメンバシップ関数として表される。

例えば、ボール位置のｘ座標が−９０、ｘ軸方向のボール移動量が１５の場合の動作について説明する。図１０は、ファジィ制御によるトリミング座標の移動量の算出方法を図式化した図である。図１０を参照して、このボール位置と図７に示したメンバシップ関数とによりＮＳ＝０．６，ＺＯ＝０．４、ボール移動量と図８に示したメンバシップ関数とによりＺＯ＝０．８，ＰＳ＝０．２を求める。また、表１に示したファジィルールは以下のとおりである。
「ＩＦ ＮＳ ＡＮＤ ＺＯ ＴＨＥＮ ＰＳ」
「ＩＦ ＮＳ ＡＮＤ ＰＳ ＴＨＥＮ ＰＳ」
「ＩＦ ＺＯ ＡＮＤ ＺＯ ＴＨＥＮ ＺＯ」
「ＩＦ ＺＯ ＡＮＤ ＰＳ ＴＨＥＮ ＺＯ」
これらにより、簡易化ファジィ推論法を用いた一般的なファジィ制御を行うと、メンバシップ関数の重心値は、以下の（６）式により求められる。
（0.4×0＋0.6×50）／（0.4＋0.6）＝30 ・・・ （６）
したがって、トリミング座標を右方向に３０だけ移動させればよいことになる。同様にして、ｙ軸方向についてもトリミング座標の移動量を算出する。

以上のように、実施例３のトリミング制御装置３０によれば、ファジィ制御部３３が、トリミング画面のボール位置及びボール移動量に基づいて、表１に示したファジィルールにより、トリミング座標の移動量を算出するようにした。この場合、表１に示したファジィルールは、ボール位置が画面中心付近であるときにはボール移動量によることなく、出力値であるトリミング座標の移動量が０近辺になるように設定されている。これにより、ボールがトリミング画面の端に移動すればするほど、ボールを画面の中心に戻すように制御を行うことができる。また、ボール位置の変動に過敏に反応することはなく、穏やかな制御を実現することができる。つまり、注目オブジェクトが細かい座標変動を起こした場合であっても、トリミング座標はこの変動に必要以上に追従することがない。したがって、カメラマンが持っているカメラワークのノウハウに近い形でトリミング制御を実現することが可能となる。

図１１は、本発明によるトリミング制御装置の実施例４の構成及びフローチャートを示す図である。図１１（ａ）を参照して、このトリミング制御装置４０は、トリミング処理部４１、注目オブジェクト座標検出部４２、及びファジィ制御部４３を備えている。このトリミング制御装置４０と、図４に示した実施例３のトリミング制御装置３０とを比較すると、トリミング処理部４１とトリミング処理部３１、及び注目オブジェクト座標検出部４２と注目オブジェクト座標検出部３２はそれぞれ同等の機能を有する点で同一である。これに対し、ファジィ制御部４３は、オリジナル画面のオブジェクト位置、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とするが、ファジィ制御部３３は、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とする点で相違する。

表１に示した実施例３のファジィルールでは、ボールを画面の中心に位置させるようにトリミング処理が行われる。ところで、例えば、サッカー中継において画面の右方向に攻めている場合に、一般にカメラマンは、ボールを画面の左側に位置させるようなカメラワークをとる傾向がある。逆に画面の左方向に攻めている場合には、ボールを画面の右側に位置させるようなカメラワークをとる傾向がある。これは、ボールの進行方向の状況がよくわかる自然な前空き映像にするためである。実施例４では、オリジナル画面が、このようなカメラマンによるカメラワークを考慮した画面であることに着目し、オリジナル画面のボール位置、トリミング画面のボール位置、及びボール移動量を入力値としてファジィ制御を行うことにより、前空き映像を得るものである。

具体的には、ファジィ制御部４３は、注目オブジェクト座標検出部４２から注目オブジェクト座標を入力し、当該注目オブジェクト座標をオリジナル画面のオブジェクト位置とすると共に、オブジェクトの移動量を算出する。また、前フレームのトリミングをそのままの位置で続けた場合の、現在のオブジェクト位置（トリミング画面のオブジェクト位置）を算出する。そして、ファジィ制御部４３は、オリジナル画面のオブジェクト位置、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値、トリミング座標の移動量を出力値とし、オリジナル画面におけるオブジェクト位置をトリミング画面におけるオブジェクト位置に反映すると共に、オブジェクトがトリミング画面の中心に移動するように設定されたファジィルールにより、トリミング座標を決定し、トリミング処理部３１に出力する。

図１１（ｂ）を参照して、トリミング制御装置４０の動作について説明する。尚、トリミング制御装置４０の動作の詳細については後述するが、ここでは動作の概要を説明する。トリミング制御装置４０が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部４２は、入力した参照データに基づいて注目オブジェクト座標を検出する（ステップＳ４０１）。ファジィ制御部４３は、注目オブジェクト座標検出部４２から注目オブジェクト座標を入力すると、当該注目オブジェクト座標をオリジナル画面のオブジェクト座標とし（ステップＳ４０２）、オブジェクトの移動量を算出し（ステップＳ４０３）、トリミング画面のオブジェクト位置を算出し（ステップＳ４０４）、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する（ステップＳ４０５）。トリミング処理部４１は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する（ステップＳ４０６）。

次に、ファジィ制御部４３の動作について詳細に説明する。例えば、サッカー中継においてボールを注目オブジェクトとする場合、オリジナル画面のボール位置、トリミング画面のボール位置、及びボールの移動量を入力値として使用する。図１２は、ファジィ制御部４３の詳細な動作を示すフローチャート図である。このフローチャートは、図１１（ｂ）に示したフローチャートのステップ４０２〜４０５をより詳細に示したものである。このフローチャートと図６に示した実施例３のフローチャートとを比較すると、ステップ１２０１とステップ６０１、ステップ１２０２とステップ６０２、ステップ１２０４とステップ６０４、ステップ１２０５とステップ６０５、ステップ１２０７とステップ６０７、及び、ステップ１２０８とステップ６０８は同じ処理である点で同一である。これに対し、ステップ１２０３とステップ６０３、及びステップ１２０６とステップ６０６は異なる処理である点で相違する。すなわち、ステップ１２０３において、ファジィ制御部４３は、注目オブジェクト座標検出部４２が参照データ（メタデータ）に基づいて検出したボール位置（ｘａ［ｎ］，ｙａ［ｎ］）を入力し、当該ボール位置をオリジナル画面のボール位置として、ファジィ制御のための入力値として使用する。図１３に、オリジナル画面のボール位置に対するファジィ集合を示す。また、ステップ１２０６において、ファジィ制御部４３は、ファジィ推論から制御量であるトリミング座標の移動量を（７）式のように求める。
（Δｘ［ｎ］，Δｙ［ｎ］）＝Ｆｕｚｚｙ｛（ｘａ［ｎ］，ｙａ［ｎ］），（ｘｂｔ［ｎ］，ｙｂｔ［ｎ］），（ｘｂｍ［ｎ］，ｙｂｍ［ｎ］）｝ ・・・ （７）

表２は、図１２に示したステップ１２０６のファジィ推論による制御量（オブジェクト座標の移動量）の算出のために用いるファジィルールである。このファジィルールと表１に示した実施例３のファジィルールとを比較すると、表２のファジィルールは、オリジナル画面のボール位置も入力値として使用している点で相違する。

以上のように、実施例４のトリミング制御装置４０によれば、ファジィ制御部４３が、オリジナル画面のボール位置、トリミング画面のボール位置及びボール移動量に基づいて、表２に示したファジィルールにより、トリミング座標の移動量を算出するようにした。この場合、表２に示したファジィルールは、ボールがオリジナル画面の左側に位置するときにはトリミング画面においても左側に位置するように、また、ボールがオリジナル画面の右側に位置するときにはトリミング画面においても右側に位置するように設定されている。これにより、図１４に示すように、オリジナル画面に対応してボールの進行方向に対してスペースを空けることができ、ボールの進行方向の状況がよくわかり、自然な前空き映像を実現することが可能となる。つまり、カメラマンによるカメラワークを考慮したトリミング画面を生成することが可能となる。

図１５は、本発明によるトリミング制御装置の実施例５の構成及びフローチャートを示す図である。図１５（ａ）を参照して、このトリミング制御装置５０は、トリミング処理部５１、注目オブジェクト座標検出部５２、ファジィ制御部５３、及びオフセット量付加部５４を備えている。このトリミング制御装置５０と図４に示した実施例３のトリミング制御装置３０とを比較すると、トリミング処理部５１とトリミング処理部４１、及びファジィ制御部３３とファジィ制御部５３はそれぞれ同等の機能を有する点で同一である。これに対し、注目オブジェクト座標検出部５２は、注目オブジェクト座標をファジィ制御部５３だけでなくオフセット量付加部５４にも出力し、オフセット量付加部５４は、ファジィ制御部５３からトリミング座標を、注目オブジェクト座標検出部５２から注目オブジェクト座標をそれぞれ入力し、注目オブジェクト座標に基づいてオフセット量を決定し、トリミング座標にオフセット量を加えて新たなトリミング座標とし、当該新たなトリミング座標をトリミング処理部５１に出力する点で相違する。このオフセット量付加部５４は、図２に示した実施例２のオフセット量付加部２３と同等の機能を有する。

図１５（ｂ）を参照して、トリミング制御装置５０の動作について説明する。トリミング制御装置５０が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部５２は、入力した参照データに基づいて注目オブジェクト座標を検出する（ステップＳ５０１）。ファジィ制御部５３は、注目オブジェクト座標検出部５２から注目オブジェクト座標を入力すると、オブジェクトの移動量を算出し（ステップＳ５０２）、トリミング画面のオブジェクト位置を算出し（ステップＳ５０３）、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する（ステップＳ５０４）。オフセット量付加部５４は、注目オブジェクト座標検出部５２から注目オブジェクト座標を、ファジィ制御部５３からトリミング座標をそれぞれ入力すると、注目オブジェクト座標とオリジナル画面の中心座標とに基づいて注目オブジェクトの位置を検出し、その位置に基づいてオフセット量を決定し、トリミング座標にオフセット量を加えて新たなトリミング座標を決定する（ステップＳ５０６）。トリミング処理部５１は、入力した映像のオリジナル画面から、新たなトリミング座標を中心とした所定の大きさのトリミング画面を切り出して生成する（ステップＳ５０７）。

以上のように、実施例５のトリミング制御装置５０によれば、ファジィ制御部５３が、トリミング画面のボール位置及びボール移動量に基づいて、表１に示したファジィルールにより、トリミング座標を決定し、オフセット量付加部５４が、オリジナル画面の中心からの注目オブジェクトの位置に応じたオフセット量を決定し、ファジィ制御部５３により決定されたトリミング座標にオフセット量を加えた座標を新たなトリミング座標に決定するようにした。これにより、前述した実施例２及び実施例３と同等の効果を得ることができる。

尚、前述のファジィ制御部５３は、実施例３に示したファジィ制御部３３と同等の機能を有するようにしたが、実施例４に示したファジィ制御部４３と同等の機能を有するようにしてもよい。この場合、実施例２の効果に加えて実施例４と同等の効果を得ることができる。また、ファジィ制御部５３の代わりに、実施例１に示した平滑化処理部１３を有するようにしてもよい。この場合、実施例２の効果に加えて実施例１と同等の効果を得ることができる。

以上、実施例１〜５により本発明を説明したが、本発明は上記実施例１〜５に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、トリミング制御装置１０〜５０は、放送波により、またはインターネット網を介して、映像及び参照データを受信（入力）するようにしてもよい。この場合、映像及び参照データを放送波により受信するようにしてもよいし、インターネット網を介して受信するようにしてもよい。また、映像を放送波により受信し、参照データをインターネット網を介して受信するようにしてよいし、映像をインターネット網を介して受信し、参照データを放送波により受信するようにしてもよい。

また、サッカー中継の場合に、ハイビジョンカメラのような高精度なカメラをサッカーフィールド全体が映るように１台のみ（または両サイドから２台）設置し、前述のトリミング制御装置１０〜５０が、ハイビジョンカメラにより撮影されたサッカーフィールド全体の映像を入力し、トリミング処理部１１が、従来のパン・チルト、または複数のカメラによるスイッチングと同等の機能を、トリミング処理により実現するようにしてもよい。ボール及び選手の追跡は、正規化相関トラッキング等の画像処理または人間による補正等により行い、前述の実施例１〜５のトリミング処理を行うことにより、注目オブジェクトが激しく移動した場合であっても、トリミング座標が急変動しないようにすることができる。

また、注目オブジェクトをサッカー中継のボールとした場合に、前述のトリミング制御装置１０〜５０の注目オブジェクト座標検出部１２〜５２は、例えば正規化相関トラッキング等の画像処理技術によって注目オブジェクト座標を検出するようにした。しかし、予め送信側が、ボール位置座標（注目オブジェクト座標）を検出し、当該注目オブジェクト座標をフレーム毎のデータとして番組メタデータに格納し、当該注目オブジェクト座標を含む番組メタデータを、放送波やインターネット網等を通じて受信側のトリミング制御装置１０〜５０へ伝送し、注目オブジェクト座標検出部１２〜５２が、伝送された番組メタデータから注目オブジェクト座標を抽出するようにしてもよい。

また、前述のトリミング制御装置１０〜５０のトリミング処理部１１〜５１は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力するようにしたが、オリジナル画面から切り出した画面を拡大し、当該拡大した画面をトリミング画面としてもよいし、切り出した画面をそのままトリミング画面としてもよい。

尚、前述のトリミング制御装置１０〜５０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボード等の入力装置、データを表示する表示装置、及び外部の装置と通信するためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、トリミング制御装置１０〜５０に備えたトリミング処理部１１〜５１，注目オブジェクト座標検出部１２〜５２，平滑化処理部１３，オフセット量付加部２３，５４、ファジィ制御部３３，４３，５３の各機能は、当該機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

本発明によるトリミング制御装置の実施例１の構成及びフローチャートを示す図である。 本発明によるトリミング制御装置の実施例２の構成及びフローチャートを示す図である。 実施例２のオフセット処理を説明する図である。 本発明によるトリミング制御装置の実施例３の構成及びフローチャートを示す図である。 実施例３のファジィ制御を説明する図である。 実施例３の詳細な動作を示すフローチャート図である。 トリミング画面のボール位置に対するファジィ集合を示す図である。 ボール移動量に対するファジィ集合を示す図である。 トリミング座標の移動量に対するファジィ集合を示す図である。 ファジィ制御によるトリミング座標の移動量の算出方法を図式化した図である。 本発明によるトリミング制御装置の実施例４の構成及びフローチャートを示す図である。 実施例４の詳細な動作を示すフローチャート図である。 オリジナル画面のボール位置に対するファジィ集合を示す図である。 実施例４の前空き画面を説明する図である。 本発明によるトリミング制御装置の実施例５の構成及びフローチャートを示す図である。

符号の説明

１０，２０，３０，４０，５０ トリミング制御装置
１１，２１，３１，４１，５１ トリミング処理部
１２，２２，３２，４２，５２ 注目オブジェクト座標検出部
１３ 平滑化処理部
２３，５４ オフセット量付加部
３３，４３，５３ ファジィ制御部

Claims (4)

1. 複数フレームからなるオリジナル映像を入力し、予め定めたファジィルールにより処理対象のフレームのオリジナル映像から所定のトリミング座標を中心とした所定の大きさの画面を切り出してトリミング画面を生成するトリミング制御装置であって、
   前記ファジィルールとして、各行が注目オブジェクト位置、各列が注目オブジェクト移動量であり、各行及び各列の交差する部分がトリミング座標の移動量に対するファジィ集合を示すメンバシップ関数として表され、該メンバシップ関数は注目オブジェクト位置がトリミング画面中心付近であるときには注目オブジェクト移動量によることなく当該注目トリミング座標の移動量が０近辺になるように設定されており、
   入力される複数フレームからなるオリジナル映像のうち少なくとも１つのフレームに関連付けられた、注目オブジェクト座標を示す参照データを入力し、前記参照データに基づいて注目オブジェクト座標を検出する注目オブジェクト座標検出部と、
   検出した注目オブジェクト座標に基づいて、第ｎ−１フレームのオリジナル映像におけるトリミング画面の位置で第ｎフレームのオリジナル映像に対するトリミング画面の注目オブジェクト位置及び注目オブジェクトの移動量を算出し、前記ファジィルールによりトリミング座標の移動量を算出し、第ｎフレームのオリジナル映像に対するトリミング座標を決定するファジィ制御部と、
   第ｎフレームのオリジナル映像に対して、前記決定したトリミング座標を中心とした所定の大きさの画面を切り出し、第ｎフレームのオリジナル映像に対するトリミング画面を生成するトリミング処理部とを備え、
   前記ファジィ制御部は、前記ファジィルールにより、前記メンバシップ関数の重心値を第ｎフレームのオリジナル映像におけるトリミング座標の移動量として決定し、第ｎ−１フレームのトリミング座標に該移動量を加えた座標を第ｎフレームのトリミング座標として決定し、前記複数フレームに対して連続的に実行することを特徴とするトリミング制御装置。
2. 請求項１に記載のトリミング制御装置において、
   前記検出された注目オブジェクト座標に基づいてオフセット量を決定し、該オフセット量を前記トリミング座標に付加した座標を、新たなトリミング座標に決定するオフセット量付加部を備え、
   前記トリミング処理部は、前記トリミング座標の代わりに前記新たなトリミング座標を中心に、入力したオリジナル映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力することを特徴とするトリミング制御装置。
3. 請求項１又は２に記載のトリミング制御装置において、
   前記注目オブジェクト座標検出部は、前記少なくとも１つのフレームのオリジナル映像に関連付けられた、注目オブジェクト座標を示す参照データを含むメタデータを受信し、該メタデータから注目オブジェクト座標を検出することを特徴とするトリミング制御装置。
4. 複数フレームからなるオリジナル映像を入力し、予め定めたファジィルールにより処理対象のフレームのオリジナル映像から所定のトリミング座標を中心とした所定の大きさの画面を切り出してトリミング画面を生成するトリミング制御装置として構成するコンピュータに、
   前記ファジィルールとして、各行が注目オブジェクト位置、各列が注目オブジェクト移動量であり、各行及び各列の交差する部分がトリミング座標の移動量に対するファジィ集合を示すメンバシップ関数として表され、該メンバシップ関数は注目オブジェクト位置がトリミング画面中心付近であるときには注目オブジェクト移動量によることなく当該注目トリミング座標の移動量が０近辺になるように設定されており、
   入力される複数フレームからなるオリジナル映像のうち少なくとも１つのフレームに関連付けられた、注目オブジェクト座標を示す参照データを入力し、前記参照データに基づいて注目オブジェクト座標を検出するステップと、
   検出した注目オブジェクト座標に基づいて、第ｎ−１フレームのオリジナル映像におけるトリミング画面の位置で第ｎフレームのオリジナル映像に対するトリミング画面の注目オブジェクト位置及び注目オブジェクトの移動量を算出し、前記ファジィルールによりトリミング座標の移動量を算出し、第ｎフレームのオリジナル映像に対するトリミング座標を決定するステップと、
   第ｎフレームのオリジナル映像に対して、前記決定したトリミング座標を中心とした所定の大きさの画面を切り出し、第ｎフレームのオリジナル映像に対するトリミング画面を生成するステップとを実行させるためのトリミング制御プログラムであって、
   前記トリミング座標を決定するステップは、前記ファジィルールにより、前記メンバシップ関数の重心値を第ｎフレームのオリジナル映像におけるトリミング座標の移動量として決定し、第ｎ−１フレームのトリミング座標に該移動量を加えた座標を第ｎフレームのトリミング座標として決定し、前記複数フレームに対して連続的に実行するステップを含む、トリミング制御プログラム。