JP4181313B2

JP4181313B2 - Scene content information adding device and scene content information adding program

Info

Publication number: JP4181313B2
Application number: JP2001213890A
Authority: JP
Inventors: 源曽根原; 昌秀苗村
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-07-13
Filing date: 2001-07-13
Publication date: 2008-11-12
Anticipated expiration: 2021-07-13
Also published as: JP2003032544A

Description

【０００１】
【発明の属する技術分野】
本発明は、シーン内容情報付加装置及びシーン内容情報付加プログラムに係り、特に動画像にシーン内容情報を付加するシーン内容情報付加装置及びシーン内容情報付加プログラムに関する。
【０００２】
【従来の技術】
例えばスポーツ中継などの動画像にシーン内容をテキスト情報等で付加する装置としては、人間が動画像或いは公式記録からシーン内容を判別し、手動によりシーン内容を付加するものがあった。
【０００３】
また、動画像から移動物体を抽出する装置としては、抽出する対象（オブジェクト）又は動画像の条件を限定することにより移動物体を抽出していた。例えば動画像からオブジェクトとしてサッカー選手を抽出する装置では、芝生の色と異なる色の部分をサッカー選手，ボール等として抽出する為に、芝生の色を手動で記録していた。
【０００４】
また、固定の監視カメラから動画像を取り込むことで移動物体を抽出する装置では、背景と異なる部分を移動物体として認識させていた。例えばクロマキーでは背景色を青一色とし、青色でない部分を前景の物体として抽出している為に、抽出する物体が青色でない動画像に限定されていた。
【０００５】
従来、動画像のシーン内容を判別する場合、移動物体の動きのパターンからシーン内容を判別していた。例えば移動物体として人間の手足胴体の各部分にマーカを取り付け、固定の監視カメラによりマーカの動きを撮影することで、マーカの動きのパターンからシーン内容の判別を行っていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、動画像にシーン内容を付加する従来のシーン内容情報付加装置は、人間がシーン内容を判別して手動によりシーン内容を付加していた。したがって、従来のシーン内容情報付加装置は作業効率が悪く、作業時間が余計に掛るという問題があった。
【０００７】
また、動画像からオブジェクトを抽出する従来のオブジェクト抽出装置は、オブジェクトを抽出する為の条件を人間が手動で入力していた。したがって、従来のオブジェクト抽出装置は動画像に応じてオブジェクトを抽出する為の条件を入力し直す必要があり、作業効率が極めて悪いという問題があった。
【０００８】
本発明は、上記の点に鑑みなされたもので、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することが可能なシーン内容情報付加装置及びシーン内容情報付加プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、動画像にシーン内容情報を付加するシーン内容情報付加装置であって、動画像から１つ以上の移動物体を抽出する抽出手段と、抽出した１つ以上の移動物体の分類がボール，選手，審判，ゴールキーパーの何れであるかを識別する識別手段と、分類がボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体の位置関係を前記分類ごとに判別する判別手段と、判別した前記分類ごとの位置関係に応じてシーン内容情報を特定する特定手段と、特定したシーン内容情報を動画像に付加する付加手段とを備え、前記特定手段は、ボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体間の距離を前記分類ごとに算出する算出手段と、前記分類ごとに算出した１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納している格納手段とを備え、前記分類ごとに算出した１つ以上の移動物体間の距離に応じて前記格納手段からシーン内容情報を特定することを特徴とする。
【００１０】
このようなシーン内容情報付加装置では、移動物体の位置関係に応じてシーン内容情報を特定している。つまり、本発明のシーン内容情報付加装置は、移動物体の位置関係とシーン内容情報との関連性を利用することで、移動物体の位置関係からシーン内容情報を特定することができる。
【００１１】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業効率を大幅に向上させることが可能である。
【００１３】
このようなシーン内容情報付加装置では、１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納しておくことにより、１つ以上の移動物体間の距離からシーン内容情報を特定することができる。
【００１４】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業時間を大幅に短縮させることが可能である。
【００１５】
また、本発明は、コンピュータを利用して動画像にシーン内容情報を付加するシーン内容情報付加装置に、動画像から１つ以上の移動物体を抽出する抽出手順と、抽出した１つ以上の移動物体の分類がボール，選手，審判，ゴールキーパーの何れであるかを識別する識別手順と、分類がボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体の位置関係を前記分類ごとに判別する判別手順と、判別した前記分類ごとの位置関係に応じてシーン内容情報を特定する特定手順と、特定したシーン内容情報を動画像に付加する付加手順とを備え、前記特定手順は、ボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体間の距離を前記分類ごとに算出する算出手順と、前記分類ごとに算出した１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納している格納手段を参照し、前記分類ごとに算出した１つ以上の移動物体間の距離に応じたシーン内容情報を特定するシーン内容情報特定手順とを実行させるシーン内容情報付加プログラムであることを特徴とする。
【００１６】
このようなシーン内容情報付加プログラムでは、移動物体の位置関係に応じてシーン内容情報を特定している。つまり、本発明のシーン内容情報付加プログラムは、移動物体の位置関係とシーン内容情報との関連性を利用することで、移動物体の位置関係からシーン内容情報を特定することができる。
【００１７】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業効率を大幅に向上させることが可能である。
【００１９】
このようなシーン内容情報付加プログラムでは、１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納しておくことにより、１つ以上の移動物体間の距離からシーン内容情報を特定することができる。
【００２０】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業時間を大幅に短縮させることが可能である。
【００２１】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。なお、本実施例では入力される動画像の一例としてサッカー中継の動画像について説明するが、芝生等の一様色領域内にオブジェクトが存在するいかなる動画像でもよい。
【００２２】
図１は、本発明のシーン内容情報付加方法の一例のフローチャートを示す。例えばサッカー中継の動画像が入力されると、シーン内容情報付加装置はステップＳ１０に進む。
【００２３】
ステップＳ１０では、シーン内容情報付加装置が補助情報の有無を判定する。なお、補助情報はオブジェクトの抽出を補助する為の情報であって、例えば一様色領域情報，ゴールキーパーを除いたチーム毎の選手の色情報，審判の色情報，チーム毎のゴールキーパーの色情報及びボールの色情報などを含む。また、補助情報は、オブジェクト抽出の精度を高める為の情報であって、人間が設定する。
【００２４】
補助情報があると判定すると（Ｓ１０においてＹＥＳ）、シーン内容情報付加装置はステップＳ２０に進む。ステップＳ２０では、シーン内容情報付加装置が補助情報の読み出しを行い、ステップＳ３０に進む。一方、補助情報がないと判定すると（Ｓ１０においてＮＯ）、シーン内容情報付加装置はステップＳ３０に進む。
【００２５】
ステップＳ３０では、シーン内容情報付加装置が、入力された動画像の特徴量を分析することにより一様色領域があるか否かを判定する。なお、補助情報があれば、一様色領域があるか否かの判定に利用してもよい。一様色領域があると判定すると（Ｓ３０においてＹＥＳ）、シーン内容情報付加装置はステップＳ４０に進む。一方、一様色領域がないと判定すると（Ｓ３０においてＮＯ）、シーン内容情報付加装置は処理を終了する。
【００２６】
ステップＳ４０では、シーン内容情報付加装置が、一様色領域内の白線をＨｏｕｇｈ変換により抽出し、垂直成分を多く含む白線群の画面上の密度及び傾きからサイド別のゴール領域を抽出する。なお、白線のＨｏｕｇｈ変換によるゴール領域抽出処理の詳細については、後述する。
【００２７】
ステップＳ４０に続いてステップＳ５０に進み、シーン内容情報付加装置は一様色領域の色と異なる領域をオブジェクトとして抽出するオブジェクト抽出処理を行う。そして、シーン内容情報付加装置は抽出したオブジェクトを選手オブジェクト，ボールオブジェクト，審判オブジェクト及びゴールキーパーオブジェクトに分類する。
【００２８】
ここで、図２のフローチャートを参照しつつ、ステップＳ５０のオブジェクト抽出処理の詳細について説明する。図２は、オブジェクト抽出処理の一例のフローチャートを示す。
【００２９】
ステップＳ５１では、シーン内容情報付加装置が、一様色領域の色と異なる領域をオブジェクトとして抽出する。ステップＳ５１に続いてステップＳ５２に進み、シーン内容情報付加装置は抽出したオブジェクトからボールオブジェクトを識別する。
【００３０】
例えばシーン内容情報付加装置は抽出したオブジェクトの垂直方向の大きさをヒストグラム化し、最多となる垂直方向の大きさを人間の身長とする。シーン内容情報付加装置は、人間の身長とボールとの大小比率のデータからボールオブジェクトの大きさを推定することができる。
【００３１】
ただし、サッカー中継で多用される高い視点からのカメラアングルの場合、画面上部と画面下部とでは人間の大きさが異なる。そこで、一様色領域を縦方向に例えば三等分し、三等分した夫々の領域毎に最多となる垂直方向の大きさを求めることにより、縦方向の位置に応じて人間の身長とする値を変えてもよい。
【００３２】
シーン内容情報付加装置は、推定されたボールオブジェクトの大きさに適合するオブジェクトを、ステップＳ５１で抽出されたオブジェクトから識別してボールオブジェクトとする。なお、ボールオブジェクトについては、特開平８−１８６８２５号公報「動きベクトル検出方法」に記載された動きベクトルを用いた追跡技術を用いて追跡を行い、抽出されたオブジェクトからボールオブジェクトを識別する際の補助情報として用いる。
【００３３】
例えば、推定されたボールオブジェクトの大きさに適合するオブジェクトがステップＳ５１で抽出されたオブジェクトに複数存在する場合、追跡情報（信頼度の大小）を参照して信頼度の値が大きなオブジェクトをボールオブジェクトとして識別する。また、ボールオブジェクトが一様色領域から出た場合、追跡情報で示される位置でボールの色情報及び人間の身長とボールとの大小比率に基づいてボールオブジェクトを識別する。
【００３４】
ステップＳ５２に続いてステップＳ５３に進み、シーン内容情報付加装置は抽出したオブジェクトからゴールキーパーを除いたチーム毎の選手オブジェクトを識別する。例えばシーン内容情報付加装置は、ステップＳ５１で抽出したオブジェクト（ボールオブジェクトとして識別されたオブジェクトを除く）毎の色ヒストグラムを生成し、生成した色ヒストグラムに応じて２つのチームの選手オブジェクトを識別する。
【００３５】
なお、オブジェクト毎の色ヒストグラムの算出は、以下の手順で行う。例えばオブジェクトが占める領域をＯｊ、Ｏｊに含まれる画素の画面上での座標をｘｉ＝（ｘｉ，ｙｉ）∈Ｏｊ、ｘｉでの色の３要素を｛ｃ１（ｘｉ），ｃ２（ｘｉ），ｃ３（ｘｉ）｝とすると、色ヒストグラムＯｂｊ＿Ｈｉｓｔ〔ｃ１〕〔ｃ２〕〔ｃ３〕の算出手順は以下の擬似コードで表すことができる。
【００３６】

ステップＳ５３に続いてステップＳ５４に進み、シーン内容情報付加装置は抽出したオブジェクトから審判オブジェクトを識別する。例えばシーン内容情報付加装置は、ステップＳ５１で抽出したオブジェクトのうちステップＳ５２でボールオブジェクトと識別されたオブジェクト及びステップＳ５３で選手オブジェクトと識別されたオブジェクト以外を審判オブジェクト又はゴールキーパーオブジェクトとする。
【００３７】
審判オブジェクトとゴールキーパーオブジェクトとの識別は、ゴール領域の内外における各オブジェクトの出現頻度から識別する。なお、ゴール領域は、以下の手順で一様色領域内の白線をＨｏｕｇｈ変換により抽出し、垂直成分を多く含む白線群の画面上の密度及び傾きから抽出される。
【００３８】
まず、対象となる一様色領域内でソーベルオペレータやＣａｎｎｙオペレータ等のエッジフィルタを掛けてしきい値処理を施すことにより、画像からエッジ部を検出する。なお、ノイズの影響を少なくする為、エッジフィルタを施す前にガウシアンフィルター等で画像のスムージング処理を行ってもよい。
【００３９】
検出されたエッジ部はモルフォロジカル処理の中の膨張処理で空間的に広げられ、この信号が次の白色領域検出部の有効領域を決定する。白色領域検出部はエッジ検出された領域のみで、その画素の色が白色かどうかを判定し、白色と判定された画素だけを白色領域として出力する。白色の判定は、例えば色の３要素がｒｇｂの場合、全ての色要素が一定値以上であるときに白色と判定する理論などを用いて行うことができる。
【００４０】
出力された白色領域はノイズやしきい値処理の不安定さ等で途切れ途切れとなっている。そこで、検出された白色領域にＨｏｕｇｈ変換を施し、所定数以上の画素が直線状に並んで構成する直線のパラメータを検出する。検出された直線のパラメータに従って画面上に直線を引く。
【００４１】
画面上での直線の線分要素を見つける為に、検出されたパラメータにより引かれた直線を空間的に拡大し、エッジ検出と白色領域検出とで検出した領域を比較して線分の端点を求め、その端点を結ぶ線分を最終的な白色領域（白線）として抽出することができる。
【００４２】
ステップＳ５４に続いてステップＳ５５に進み、シーン内容情報付加装置は抽出したオブジェクトからゴールキーバーオブジェクトを識別する。例えばシーン内容情報付加装置は、ステップＳ５１で抽出したオブジェクトのうちステップＳ５２でボールオブジェクトと識別されたオブジェクト，ステップＳ５３で選手オブジェクトと識別されたオブジェクト及びステップＳ５４で審判オブジェクトと識別されたオブジェクト以外をゴールキーパーオブジェクトとする。チーム毎のゴールキーパーオブジェクトの識別は、サイド別のゴール領域の出現頻度から識別できる。
【００４３】
つまり、ステップＳ５０のオブジェクト抽出処理では、２つのチームの選手オブジェクト，２つのチームのゴールキーパーオブジェクト，審判オブジェクト及びボールオブジェクトの４分類，６オブジェクトに識別されたオブジェクトが抽出される。
【００４４】
ステップＳ５０に続いてステップＳ６０に進み、シーン内容情報付加装置は識別された各オブジェクト間の相対距離を算出する。選手オブジェクトは複数のオブジェクトから構成されている為、距離を算出する相手のオブジェクトに一番近いもの或いは距離を算出する相手のオブジェクトとボールオブジェクトとの延長線上に一番近いものが代表として選択される。
【００４５】
ステップＳ６０に続いてステップＳ７０に進み、シーン内容情報付加装置は算出された各オブジェクト間の相対距離に応じてシーン内容を判別する。シーン内容は、例えば図３のようにオブジェクト間の相対距離で表現できる。図３は、シーン内容とオブジェクト間の相対距離との一例の関係図を示す。
【００４６】
図３中、「Ｂ」がボール，「Ｇ」が審判，「Ｋ」がゴールキーパー，「Ｔ」が選手の位置を表す。また、「Ｌ（ｘ，ｙ）」がオブジェクトｘ，ｙ間の相対距離を表す。また、「Ｌｘｙ」はオブジェクトｘ，ｙ間の既定値を表す。なお、選手及びゴールキーパーは２つのチームを区別する為、Ａ又はＢの添字を用いる。また、「ＬｘｙＰ」，「ＬｘｙＦ」の記述は、「Ｌｘｙ」の既定値がシーン内容の種類ごとに異なっていることを意味する。
【００４７】
例えばボールとＡチームのゴールキーパーとの相対距離がボール及びゴールキーパー間の規定値より小さく、且つＡチームのゴールキーパーとＢチームの選手との相対距離がゴールキーパー及び選手間の既定値より大きければ、シーン内容がシュートであると判別する。
【００４８】
つまり、シーン内容情報付加装置は図３の関係図に設定されているオブジェクト間の相対距離のうち、ステップＳ６０で算出した各オブジェクト間の相対距離に合致するものを選択することにより、シーン内容を判別できる。
【００４９】
ステップＳ７０に続いてステップＳ８０に進み、シーン内容情報付加装置は判別されたシーン内容に応じたテキスト情報等のシーン内容情報を動画像に付加して出力する。したがって、動画像のシーン内容を自動的に判別し、特定したシーン内容に応じたシーン内容情報を動画像に付加することができる。
【００５０】
図４は、本発明のシーン内容情報付加装置の一実施例の構成図を示す。図４のシーン内容情報付加装置１は、一様色領域抽出部１０，ゴール領域抽出部２０，補助情報データ−ベース（以下、ＤＢと呼ぶ）２５，オブジェクト抽出部３０，ボールオブジェクト識別部４０，選手オブジェクト識別部５０，審判・ゴールキーパーオブジェクト識別部６０，オブジェクト間相対距離算出部７０，シーン内容判定部８０，シーン内容情報付加部９０，シーン内容条件ＤＢ９５を備えるように構成される。
【００５１】
例えばサッカー中継の動画像が一様色領域抽出部１０及びシーン内容情報付加部９０に入力される。一様色領域抽出部１０は入力された動画像から以下の手順で一様色領域を抽出する。一様色領域抽出部１０は動画像として入力される画像を所定の規則に応じて矩形のブロックに分割する。ブロックの大きさは入力される画像の映像フォーマットに依存するが、例えばハイビジョンの場合、縦横を２画素×４画素とする。一様色領域抽出部１０はブロック内の平均色レベルをブロック毎に算出する。
【００５２】
一様色領域抽出部１０は、ブロック毎に算出した平均色レベルを用いて図５のような画面中央領域１００の色のヒストグラムを生成し、最多色を求める。そして、一様色領域抽出部１０は最多色のＲＧＢの各値に±ｎの誤差を許容することにより、誤差内の色を同一色と判定する。
【００５３】
次に、一様色領域抽出部１０は最多色のＲＧＢの各値に±ｎの誤差を許容し、最多色と同一色である同色領域を全画面領域１０１から求める。一様色領域抽出部１０は同色領域から注目ブロック１１０を順次選択し、図６のような注目ブロック１１０の周りにある２４個の隣接ブロックが同一色である場合、その注目ブロック１１０を一様色領域と判定する。
【００５４】
一様色領域抽出部１０は、画面中央から一様色領域と判定された注目ブロック１１０までの距離を注目ブロック１１０毎に算出する。そして、一様色領域抽出部１０は注目ブロック１１０毎に算出した距離の不偏分散νを以下の手順で算出する。例えば一様色領域をＤ，一様色領域に含まれる領域要素から画面中央までの距離をｄｉ∈Ｄ，Ｎを要素数とすると、以下の式（１），式（２）により不偏分散νを算出できる。
【００５５】
【数１】

また、一様色領域抽出部１０は、一様色領域の全画面領域１０１に対する面積率γを以下の手順で算出する。例えば一様色領域の大きさをＤ，全画面領域の大きさをＺとすると、以下の式（３）により面積率γを算出できる。
【００５６】
γ＝Ｚ／Ｄ・・・・・（３）
一様色領域抽出部１０は算出した不偏分散ν，面積率γを予め設定されている所定値と比較し、比較した結果に応じて一様色領域の有無を判定する。例えば予め設定されている不偏分散νの所定値をｓ，面積率γの所定値をｍ，算出した不偏分散νをｓｓ，面積率γをｍｍとすると、比較した結果がｓ≦ｓｓ及びｍ≦ｍｍであるときに一様色領域が有ると判定する。一様色領域が有ると判定すると、一様色領域抽出部１０は抽出した一様色領域をゴール領域抽出部２０及びオブジェクト抽出部３０に供給する。
【００５７】
ゴール領域抽出部２０は一様色領域内の白線を前述したＨｏｕｇｈ変換により抽出し、垂直成分を多く含む白線群の画面上の密度及び傾きからサイド別のゴール領域を抽出する。ゴール領域抽出部２０は抽出したゴール領域を審判・ゴールキーパーオブジェクト識別部６０に供給する。
【００５８】
オブジェクト抽出部３０は一様色領域内であって、一様色領域の色と異なる領域をオブジェクトとして抽出する。なお、オブジェクト抽出部３０は例えば画面端等の一様色領域外をオブジェクト抽出対象領域から除外する。オブジェクト抽出部３０は抽出したオブジェクトをボールオブジェクト識別部４０に供給する。
【００５９】
ボールオブジェクト識別部４０はオブジェクト抽出部３０から供給されたオブジェクトの垂直方向の大きさをヒストグラム化し、最多となる垂直方向の大きさを人間の身長と仮定する。ボールオブジェクト識別部４０は、仮定した人間の身長からボールの大きさを決定する。
【００６０】
ボールオブジェクト識別部４０は、決定したボールの大きさとオブジェクト抽出部３０から供給されたオブジェクトの大きさとのマッチング値及びボールの色情報を利用してボールオブジェクトを識別する。なお、ボールの色情報は補助情報ＤＢ２５から読み出される。識別の結果、複数のオブジェクトがボールオブジェクトの候補となる場合は、前述した追跡情報（信頼度の大小）を参照して信頼度の値が大きなオブジェクトをボールオブジェクトとして識別する。
【００６１】
なお、識別の結果、ボールオブジェクトの候補となるオブジェクトがない場合は、信頼度が付随している動きベクトル領域をボール領域とする。ボールの色情報は、ある範囲を有する既定値として予め設定されており、識別されたボールオブジェクトの色が既定値内であれば識別されたボールオブジェクトの色を規定値内の中心値とすることが可能である。また、ボールの色情報は、人間が直接設定できる。
【００６２】
ボールオブジェクト識別部４０はオブジェクト抽出部３０から供給されたオブジェクトのうち、ボールオブジェクトと識別されたオブジェクトをオブジェクト間相対距離算出部７０に供給する。また、ボールオブジェクト識別部４０はオブジェクト抽出部３０から供給されたオブジェクトのうち、ボールオブジェクトと識別されたオブジェクト以外を選手オブジェクト識別部５０に供給する。
【００６３】
選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクトの垂直方向の大きさと、仮定した人間の身長とを誤差を考慮して比較し、誤差範囲外のオブジェクトを除外する。つまり、選手オブジェクト識別部５０は、誤差範囲外のオブジェクトを除外して人物オブジェクトを識別する。
【００６４】
そして、選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクト（除外されたオブジェクトを除く）毎の色ヒストグラムを生成する。
【００６５】
選手オブジェクト識別部５０は、生成した色ヒストグラムを用いて各オブジェクト間のマッチング値を求める。選手オブジェクト識別部５０は各オブジェクト間のマッチング値及びしきい値を用いて従属関係を決定し、２つのチームの選手オブジェクトを識別する。
【００６６】
選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクトのうち、選手オブジェクトと識別されたオブジェクトをオブジェクト間相対距離算出部７０に供給する。また、選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクトのうち、選手オブジェクトと識別されたオブジェクト以外の人物オブジェクトを審判・ゴールキーパーオブジェクト識別部６０に供給する。なお、選手オブジェクト識別部５０は、チーム毎の選手の色情報が補助情報ＤＢ２５にある場合、その色情報を用いて２つのチームの選手オブジェクトを識別してもよい。
【００６７】
審判・ゴールキーパーオブジェクト識別部６０は、審判の色情報，チーム毎のゴールキーパーの色情報が補助情報ＤＢ２５にある場合、その色情報を用いて供給された人物オブジェクトから審判オブジェクト，２つのチームのゴールキーパーオブジェクトを識別する。
【００６８】
また、審判・ゴールキーパーオブジェクト識別部６０は、審判の色情報，チーム毎のゴールキーパーの色情報が補助情報ＤＢ２５にない場合、ゴール領域の内外における人物オブジェクトの出現頻度から識別する。なお、ゴール領域は、ゴール領域抽出部２０から供給される。
【００６９】
補助情報ＤＢ２５は、人物オブジェクト毎に色情報，両サイドのゴール領域内に存在している時間，ゴール領域外に存在している時間を格納している。審判・ゴールキーパーオブジェクト識別部６０は、「審判はゴールエリア外での出現頻度が高い」，「各ゴールキーパーは、それぞれのチームのゴール領域内での出現頻度が高い」，「３人のウェアの色がそれぞれ異なり、且つ各チームのウェアの色とも異なる」という仮定を用いて審判オブジェクト，２つのチームのゴールキーパーオブジェクトを識別する。
【００７０】
例えば審判・ゴールキーパーオブジェクト識別部６０は、人物オブジェクトのうちゴール領域外の出現頻度が高い人物オブジェクトを審判オブジェクトと識別する一方、人物オブジェクトのうちゴール領域内の出現頻度が高い人物オブジェクトをゴールキーパーオブジェクトと識別する。審判・ゴールキーパーオブジェクト識別部６０は選手オブジェクト識別部５０から供給された人物オブジェクトのうち、審判オブジェクト又は２つのチームのゴールキーパーオブジェクトをオブジェクト間相対距離算出部７０に供給する。
【００７１】
オブジェクト間相対距離算出部７０は、各オブジェクト間の相対距離を算出する。そして、オブジェクト間相対距離算出部７０は算出した各オブジェクト間の相対距離をシーン内容判別部８０に供給する。シーン内容判別部８０はオブジェクト間相対距離算出部７０から供給された各オブジェクト間の相対距離と、シーン内容情報ＤＢ９５に格納されている図３のようなオブジェクト間の相対距離及びシーン内容とを用いてシーン内容を判別する。
【００７２】
シーン内容判別部８０はシーン内容情報ＤＢ９５に格納されているオブジェクト間の相対距離のうち、オブジェクト間相対距離算出部７０から供給された各オブジェクト間の相対距離に合致するものを選択し、選択したオブジェクト間の相対距離に対応するシーン内容をシーン内容情報ＤＢ９５から読み出すことによりシーン内容を判別することができる。そして、シーン内容判別部８０は判別したシーン内容に応じてテキスト情報等のシーン内容情報をシーン内容情報付加部９０に供給する。
【００７３】
シーン内容情報付加部９０は動画像とシーン内容情報とが供給され、シーン内容情報を動画像にフィールド単位で付加して出力する。したがって、シーン内容情報付加装置１は動画像のシーン内容を自動的に特定し、特定したシーン内容に応じてシーン内容情報を動画像に付加することができる。
【００７４】
なお、前述したモルフォロジカルフィルタ，膨張処理，Ｈｏｕｇｈ変換，不偏分散については、例えば東京大学出版会「画像解析ハンドブック」に詳細に記載されている。
【００７５】
【発明の効果】
上述の如く、本発明によれば、移動物体の位置関係とシーン内容情報との関連性を利用することで、移動物体の位置関係からシーン内容情報を特定することができる。したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業効率を大幅に向上させることが可能である。
【００７６】
また、本発明によれば、１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納しておくことにより、１つ以上の移動物体間の距離からシーン内容情報を特定することができる。したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業時間を大幅に短縮させることが可能である。
【００７７】
【図面の簡単な説明】
【図１】本発明のシーン内容情報付加方法の一例のフローチャートである。
【図２】オブジェクト抽出処理の一例のフローチャートである。
【図３】シーン内容とオブジェクト間の相対距離との一例の関係図である。
【図４】本発明のシーン内容情報付加装置の一実施例の構成図である。
【図５】画面中央領域を含む画面の一例のイメージ図である。
【図６】一様色領域の判定処理の一例について説明する図である。
【符号の説明】
１シーン内容情報付加装置
１０一様色領域抽出部
２０ゴール領域抽出部
２５補助情報データベース（補助情報ＤＢ）
３０オブジェクト抽出部
４０ボールオブジェクト識別部
５０選手オブジェクト識別部
６０審判・ゴールキーパーオブジェクト識別部
７０オブジェクト間相対距離算出部
８０シーン内容判別部
９０シーン内容情報付加部
９５シーン内容条件データベース（シーン内容条件ＤＢ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a scene content information adding device and a scene content information adding device. program In particular, a scene content information adding device for adding scene content information to moving images and scene content information addition program About.
[0002]
[Prior art]
For example, as an apparatus for adding scene contents to a moving image such as a sports broadcast using text information or the like, there is an apparatus in which a human discriminates the scene contents from a moving image or an official record and manually adds the scene contents.
[0003]
In addition, as a device for extracting a moving object from a moving image, the moving object is extracted by limiting a target (object) to be extracted or a moving image condition. For example, in an apparatus for extracting a soccer player as an object from a moving image, the color of the lawn is manually recorded in order to extract a color part different from the color of the lawn as a soccer player, a ball, or the like.
[0004]
In addition, in an apparatus that extracts a moving object by capturing a moving image from a fixed monitoring camera, a portion different from the background is recognized as a moving object. For example, in the chroma key, the background color is set to be blue and the non-blue portion is extracted as a foreground object, so the extracted object is limited to a non-blue moving image.
[0005]
Conventionally, when the scene content of a moving image is determined, the scene content is determined from the movement pattern of the moving object. For example, a marker is attached to each part of a human limb torso as a moving object, and the movement of the marker is photographed by a fixed monitoring camera, whereby the scene contents are discriminated from the pattern of the marker movement.
[0006]
[Problems to be solved by the invention]
However, in a conventional scene content information adding apparatus that adds scene content to a moving image, a human discriminates the scene content and manually adds the scene content. Therefore, the conventional scene content information adding apparatus has a problem that work efficiency is poor and work time is excessive.
[0007]
Further, in a conventional object extraction apparatus that extracts an object from a moving image, a human manually inputs conditions for extracting the object. Therefore, the conventional object extraction apparatus needs to re-input the conditions for extracting the object according to the moving image, and there is a problem that the work efficiency is extremely poor.
[0008]
The present invention has been made in view of the above points. A scene content information adding apparatus and scene content capable of automatically specifying scene content information of a moving image and adding the specified scene content information to the moving image. Information addition program The purpose is to provide.
[0009]
[Means for Solving the Problems]
Therefore, in order to solve the above-described problem, the present invention is a scene content information adding device that adds scene content information to a moving image, and includes an extracting unit that extracts one or more moving objects from the moving image, and an extracted 1 More than one moving object Whether the classification is ball, player, referee or goalkeeper Identifying means for identifying Whether the classification is ball, player, referee, or goalkeeper The positional relationship of one or more identified moving objects For each classification Discriminating means for discriminating and discriminating Per said classification A specifying unit that specifies scene content information according to the positional relationship, and an adding unit that adds the specified scene content information to a moving image. The specifying means is a calculating means for calculating a distance between one or more moving objects, which is identified as a ball, a player, a referee, or a goalkeeper, for each classification, and one calculated for each classification. Storage means for storing the distance between moving objects and scene content information in association with each other, and scene content information from the storage means according to the distance between one or more moving objects calculated for each classification. Identify It is characterized by that.
[0010]
In such a scene content information adding device, scene content information is specified in accordance with the positional relationship of moving objects. That is, the scene content information adding device of the present invention can specify the scene content information from the positional relationship of the moving object by using the relationship between the positional relationship of the moving object and the scene content information.
[0011]
Therefore, since the scene content information of the moving image can be automatically specified and the specified scene content information can be added to the moving image, the work efficiency can be greatly improved.
[0013]
In such a scene content information adding device, the scene content information is specified from the distance between the one or more moving objects by storing the distance between the one or more moving objects and the scene content information in association with each other. be able to.
[0014]
Therefore, since the scene content information of the moving image can be automatically specified and the specified scene content information can be added to the moving image, the work time can be greatly shortened.
[0015]
The present invention also provides: Using a computer Scene content information addition for adding scene content information to moving images Equipment Extracting one or more moving objects from a moving image procedure And one or more extracted moving objects Whether the classification is ball, player, referee or goalkeeper Identify to identify procedure When, Whether the classification is ball, player, referee, or goalkeeper The positional relationship of one or more identified moving objects For each classification Judgment to determine procedure And determined Per said classification Identifies scene content information according to the positional relationship procedure And adding the specified scene content information to the video procedure And with The specific procedure includes a calculation procedure for calculating, for each category, a distance between one or more moving objects that are identified as a ball, a player, a referee, or a goalkeeper, and one for each category. A scene that specifies scene content information according to the distance between one or more moving objects calculated for each of the classifications with reference to storage means that stores the distance between the moving objects and the scene content information in association with each other. Execute content information identification procedure Added scene content information Is a program It is characterized by that.
[0016]
Adding scene content information like this program Then, scene content information is specified according to the positional relationship of moving objects. That is, scene content information addition of the present invention program The scene content information can be specified from the positional relationship of the moving object by using the relationship between the positional relationship of the moving object and the scene content information.
[0017]
Therefore, since the scene content information of the moving image can be automatically specified and the specified scene content information can be added to the moving image, the work efficiency can be greatly improved.
[0019]
Adding scene content information like this program Then, by storing the distance between one or more moving objects and the scene content information in association with each other, the scene content information can be specified from the distance between the one or more moving objects.
[0020]
Therefore, since the scene content information of the moving image can be automatically specified and the specified scene content information can be added to the moving image, the work time can be greatly shortened.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings. In this embodiment, a soccer relay moving image is described as an example of an input moving image. However, any moving image in which an object exists in a uniform color region such as a lawn may be used.
[0022]
FIG. 1 shows a flowchart of an example of the scene content information adding method of the present invention. For example, when a soccer relay moving image is input, the scene content information adding apparatus proceeds to step S10.
[0023]
In step S10, the scene content information adding device determines whether auxiliary information is present. The auxiliary information is information for assisting object extraction. For example, uniform color area information, player color information for each team excluding the goalkeeper, referee color information, and goalkeeper color for each team Information and ball color information. The auxiliary information is information for improving the accuracy of object extraction, and is set by a human.
[0024]
If it is determined that there is auxiliary information (YES in S10), the scene content information adding apparatus proceeds to step S20. In step S20, the scene content information adding apparatus reads auxiliary information, and the process proceeds to step S30. On the other hand, if it is determined that there is no auxiliary information (NO in S10), the scene content information adding device proceeds to step S30.
[0025]
In step S30, the scene content information adding device determines whether or not there is a uniform color region by analyzing the feature amount of the input moving image. If there is auxiliary information, it may be used to determine whether there is a uniform color area. If it is determined that there is a uniform color area (YES in S30), the scene content information adding apparatus proceeds to step S40. On the other hand, if it is determined that there is no uniform color area (NO in S30), the scene content information adding apparatus ends the process.
[0026]
In step S40, the scene content information adding device extracts white lines in the uniform color region by Hough transform, and extracts goal regions for each side from the density and inclination of the white line group containing many vertical components on the screen. Details of the goal area extraction processing by Hough conversion of the white line will be described later.
[0027]
Proceeding to step S50 following step S40, the scene content information adding apparatus performs an object extraction process for extracting a region different from the color of the uniform color region as an object. The scene content information adding device classifies the extracted objects into player objects, ball objects, referee objects, and goalkeeper objects.
[0028]
Here, the details of the object extraction processing in step S50 will be described with reference to the flowchart of FIG. FIG. 2 shows a flowchart of an example of the object extraction process.
[0029]
In step S51, the scene content information adding apparatus extracts a region different from the color of the uniform color region as an object. Progressing to step S52 following step S51, the scene content information adding apparatus identifies a ball object from the extracted objects.
[0030]
For example, the scene content information adding apparatus generates a histogram of the vertical size of the extracted object, and sets the maximum vertical size as the human height. The scene content information adding device can estimate the size of the ball object from the data of the ratio between the height of the human and the ball.
[0031]
However, in the case of a camera angle from a high viewpoint that is frequently used in soccer broadcasts, the human size is different between the upper part of the screen and the lower part of the screen. Therefore, for example, the uniform color area is divided into three equal parts in the vertical direction, and the height in the vertical direction is obtained for each of the three divided parts to obtain the height of the person according to the position in the vertical direction. You may change the value.
[0032]
The scene content information adding device identifies an object that fits the estimated size of the ball object from the objects extracted in step S51 and sets it as a ball object. The ball object is tracked by using a tracking technique using a motion vector described in “Motion vector detection method” of JP-A-8-186825, and the ball object is identified from the extracted object. Used as auxiliary information.
[0033]
For example, if there are a plurality of objects that match the estimated size of the ball object in the object extracted in step S51, refer to the tracking information (reliability level) to select an object with a high reliability value as the ball object. Identify as. Further, when the ball object comes out of the uniform color area, the ball object is identified based on the color information of the ball and the size ratio of the human height and the ball at the position indicated by the tracking information.
[0034]
Progressing to step S53 following step S52, the scene content information adding device identifies a player object for each team excluding the goal keeper from the extracted object. For example, the scene content information adding apparatus generates a color histogram for each object (excluding an object identified as a ball object) extracted in step S51, and identifies player objects of two teams according to the generated color histogram.
[0035]
The calculation of the color histogram for each object is performed according to the following procedure. For example, the area occupied by the object is Oj, the coordinates on the screen of the pixels included in Oj are xi = (xi, yi) εOj, and the three elements of color at xi are {c1 (xi), c2 (xi), c3 (Xi)}, the calculation procedure of the color histogram Obj_Hist [c1] [c2] [c3] can be expressed by the following pseudo code.
[0036]

Proceeding to step S54 following step S53, the scene content information adding apparatus identifies a referee object from the extracted objects. For example, the scene content information adding apparatus sets the objects extracted in step S51 other than the object identified as the ball object in step S52 and the object identified as the player object in step S53 as the referee object or the goalkeeper object.
[0037]
The referee object and the goal keeper object are identified from the appearance frequency of each object inside and outside the goal area. The goal area is extracted from the density and inclination of the white line group containing a lot of vertical components by extracting the white line in the uniform color area by Hough transform according to the following procedure.
[0038]
First, an edge portion is detected from an image by applying a threshold value process by applying an edge filter such as a Sobel operator or a Canny operator within the target uniform color region. In order to reduce the influence of noise, image smoothing may be performed with a Gaussian filter or the like before applying the edge filter.
[0039]
The detected edge part is spatially expanded by the expansion process in the morphological process, and this signal determines the effective area of the next white area detection part. The white region detection unit determines whether or not the color of the pixel is white only in the region where the edge is detected, and outputs only the pixel determined to be white as the white region. For example, when the three color elements are rgb, the white color can be determined using a theory that determines that the color is white when all the color elements are equal to or greater than a certain value.
[0040]
The output white region is interrupted due to noise or instability of threshold processing. Therefore, Hough conversion is performed on the detected white region, and a linear parameter formed by arranging a predetermined number or more of pixels in a straight line is detected. A straight line is drawn on the screen according to the detected straight line parameter.
[0041]
In order to find the line segment element of the straight line on the screen, the straight line drawn by the detected parameter is spatially expanded, and the end points of the line segment are compared by comparing the areas detected by edge detection and white area detection. The line segment connecting the end points can be extracted as the final white region (white line).
[0042]
Proceeding to step S55 following step S54, the scene content information adding apparatus identifies the goal key bar object from the extracted objects. For example, the scene content information adding apparatus except the object identified as the ball object in step S52, the object identified as the player object in step S53, and the object identified as the referee object in step S54 among the objects extracted in step S51. A goal keeper object. The goal keeper object for each team can be identified from the appearance frequency of the goal area for each side.
[0043]
That is, in the object extraction process in step S50, the two team player objects, the two team goalkeeper objects, the referee object, and the ball object are classified into four categories, and objects identified as six objects are extracted.
[0044]
Progressing to step S60 following step S50, the scene content information adding apparatus calculates the relative distance between the identified objects. Since the player object is composed of a plurality of objects, the object closest to the opponent object for calculating the distance or the object closest to the extension line between the opponent object for calculating the distance and the ball object is selected as a representative. The
[0045]
Progressing to step S70 following step S60, the scene content information adding apparatus determines the scene content according to the calculated relative distance between the objects. The scene content can be expressed by a relative distance between objects as shown in FIG. FIG. 3 shows an example of the relationship between the scene contents and the relative distance between objects.
[0046]
In FIG. 3, “B” represents the ball, “G” represents the referee, “K” represents the goalkeeper, and “T” represents the position of the player. “L (x, y)” represents the relative distance between the objects x and y. “Lxy” represents a predetermined value between the objects x and y. The players and goalkeepers use A or B suffixes to distinguish between the two teams. Further, the description of “LxyP” and “LxyF” means that the default value of “Lxy” differs for each type of scene content.
[0047]
For example, the relative distance between the ball and the goal keeper of the A team is smaller than the prescribed value between the ball and the goal keeper, and the relative distance between the goal keeper of the A team and the player of the B team is larger than a predetermined value between the goal keeper and the players. For example, it is determined that the scene content is a shoot.
[0048]
That is, the scene content information adding device selects the scene content by selecting the relative distance between the objects set in the relationship diagram of FIG. 3 that matches the relative distance between the objects calculated in step S60. Can be determined.
[0049]
Progressing to step S80 following step S70, the scene content information adding device adds scene content information such as text information corresponding to the determined scene content to the moving image and outputs it. Therefore, it is possible to automatically determine the scene content of the moving image and add scene content information corresponding to the specified scene content to the moving image.
[0050]
FIG. 4 shows a block diagram of an embodiment of the scene content information adding apparatus of the present invention. 4 includes a uniform color area extraction unit 10, a goal area extraction unit 20, an auxiliary information data base (hereinafter referred to as DB) 25, an object extraction unit 30, a ball object identification unit 40, A player object identification unit 50, a referee / goalkeeper object identification unit 60, an inter-object relative distance calculation unit 70, a scene content determination unit 80, a scene content information addition unit 90, and a scene content condition DB 95 are configured.
[0051]
For example, a moving image of soccer broadcast is input to the uniform color area extraction unit 10 and the scene content information addition unit 90. The uniform color area extraction unit 10 extracts a uniform color area from the input moving image according to the following procedure. The uniform color area extraction unit 10 divides an image input as a moving image into rectangular blocks according to a predetermined rule. The size of the block depends on the video format of the input image. For example, in the case of high-definition, the vertical and horizontal dimensions are 2 pixels × 4 pixels. The uniform color area extraction unit 10 calculates the average color level in the block for each block.
[0052]
The uniform color area extraction unit 10 generates a color histogram of the screen center area 100 as shown in FIG. 5 using the average color level calculated for each block, and obtains the most frequent color. Then, the uniform color region extraction unit 10 determines the colors within the error as the same color by allowing an error of ± n in each RGB value of the most frequent color.
[0053]
Next, the uniform color region extraction unit 10 allows an error of ± n for each RGB value of the most frequent color, and obtains the same color region that is the same color as the most frequent color from the entire screen region 101. The uniform color area extraction unit 10 sequentially selects the target block 110 from the same color area, and when the 24 adjacent blocks around the target block 110 as shown in FIG. It is determined as a color area.
[0054]
The uniform color area extraction unit 10 calculates the distance from the center of the screen to the target block 110 determined as the uniform color area for each target block 110. Then, the uniform color region extraction unit 10 calculates the unbiased variance ν of the distance calculated for each target block 110 in the following procedure. For example, assuming that the uniform color region is D, the distance from the region element included in the uniform color region to the center of the screen is diεD, and N is the number of elements, the unbiased variance ν by the following equations (1) and (2) Can be calculated.
[0055]
[Expression 1]

The uniform color area extraction unit 10 calculates the area ratio γ of the uniform color area with respect to the entire screen area 101 in the following procedure. For example, when the size of the uniform color region is D and the size of the entire screen region is Z, the area ratio γ can be calculated by the following equation (3).
[0056]
γ = Z / D (3)
The uniform color region extraction unit 10 compares the calculated unbiased variance ν and area ratio γ with a predetermined value set in advance, and determines the presence or absence of a uniform color region according to the comparison result. For example, assuming that a predetermined value of the unbiased variance ν is s, a predetermined value of the area ratio γ is m, the calculated unbiased variance ν is ss, and the area ratio γ is mm, the comparison results are s ≦ ss and m ≦ When it is mm, it is determined that there is a uniform color region. If it is determined that there is a uniform color area, the uniform color area extraction unit 10 supplies the extracted uniform color area to the goal area extraction unit 20 and the object extraction unit 30.
[0057]
The goal area extraction unit 20 extracts the white line in the uniform color area by the above-described Hough transform, and extracts the goal area for each side from the density and inclination of the white line group including many vertical components on the screen. The goal area extraction unit 20 supplies the extracted goal area to the referee / goalkeeper object identification unit 60.
[0058]
The object extraction unit 30 extracts an area within the uniform color area that is different from the color of the uniform color area as an object. Note that the object extraction unit 30 excludes, for example, outside the uniform color area such as the screen edge from the object extraction target area. The object extraction unit 30 supplies the extracted object to the ball object identification unit 40.
[0059]
The ball object identification unit 40 forms a histogram of the vertical sizes of the objects supplied from the object extraction unit 30 and assumes the highest vertical size as a human height. The ball object identification unit 40 determines the size of the ball from the assumed human height.
[0060]
The ball object identification unit 40 identifies the ball object using a matching value between the determined ball size and the object size supplied from the object extraction unit 30 and ball color information. Ball color information is read from the auxiliary information DB 25. As a result of the identification, if a plurality of objects are candidates for the ball object, an object having a large reliability value is identified as a ball object with reference to the tracking information (reliability level) described above.
[0061]
If there is no candidate object for the ball object as a result of identification, the motion vector area accompanied by the reliability is set as the ball area. The color information of the ball is preset as a default value having a certain range. If the color of the identified ball object is within the default value, the color of the identified ball object is set as the center value within the specified value. Is possible. Also, the color information of the ball can be set directly by a human.
[0062]
The ball object identification unit 40 supplies the object identified as the ball object among the objects supplied from the object extraction unit 30 to the inter-object relative distance calculation unit 70. The ball object identification unit 40 supplies the player object identification unit 50 with the objects supplied from the object extraction unit 30 other than the object identified as the ball object.
[0063]
The player object identification unit 50 compares the vertical size of the object supplied from the ball object identification unit 40 with the assumed human height in consideration of errors, and excludes objects outside the error range. That is, the player object identification unit 50 identifies the person object by excluding objects outside the error range.
[0064]
Then, the player object identification unit 50 generates a color histogram for each object (excluding excluded objects) supplied from the ball object identification unit 40.
[0065]
The player object identification unit 50 obtains a matching value between the objects using the generated color histogram. The player object identification unit 50 determines the dependency using the matching value and threshold value between the objects, and identifies the player objects of the two teams.
[0066]
The player object identification unit 50 supplies the object identified as the player object among the objects supplied from the ball object identification unit 40 to the inter-object relative distance calculation unit 70. In addition, the player object identifying unit 50 supplies the referee / goalkeeper object identifying unit 60 with a person object other than the object identified as the player object among the objects supplied from the ball object identifying unit 40. In addition, when the color information of the player for each team is in the auxiliary information DB 25, the player object identification unit 50 may identify the player objects of the two teams using the color information.
[0067]
When the color information of the referee and the color information of the goal keeper for each team are in the auxiliary information DB 25, the referee / goal keeper object identifying unit 60 uses the color information to supply the referee object, the referee object, Identifies the goalkeeper object.
[0068]
The referee / goalkeeper object identifying unit 60 identifies the color information of the referee and the color information of the goalkeeper for each team in the auxiliary information DB 25 based on the appearance frequency of the person object inside and outside the goal area. The goal area is supplied from the goal area extraction unit 20.
[0069]
The auxiliary information DB 25 stores color information for each person object, time existing in the goal area on both sides, and time existing outside the goal area. The referee / goalkeeper object identification unit 60 determines that “the referee has a high appearance frequency outside the goal area”, “each goalkeeper has a high appearance frequency in the goal area of each team”, “three wearers The referee object and the goalkeeper objects of the two teams are identified using the assumption that “the colors of the two are different and the colors of the wear of each team”.
[0070]
For example, the referee / goalkeeper object identifying unit 60 identifies a person object having a high appearance frequency outside the goal area among the person objects as a referee object, while selecting a person object having a high appearance frequency in the goal area among the person objects. Identify as an object. The referee / goalkeeper object identifying unit 60 supplies the referee object or the goalkeeper objects of the two teams among the person objects supplied from the player object identifying unit 50 to the inter-object relative distance calculating unit 70.
[0071]
The relative distance calculation part 70 between objects calculates the relative distance between each object. Then, the inter-object relative distance calculation unit 70 supplies the calculated relative distance between the objects to the scene content determination unit 80. The scene content determination unit 80 uses the relative distance between the objects supplied from the inter-object relative distance calculation unit 70, and the relative distance between the objects and the scene content as shown in FIG. To determine the scene contents.
[0072]
The scene content determination unit 80 selects and selects the relative distance between the objects stored in the scene content information DB 95 that matches the relative distance between the objects supplied from the inter-object relative distance calculation unit 70. The scene content can be determined by reading the scene content corresponding to the relative distance between the objects from the scene content information DB 95. Then, the scene content determination unit 80 supplies scene content information such as text information to the scene content information addition unit 90 according to the determined scene content.
[0073]
The scene content information adding unit 90 is supplied with a moving image and scene content information, and adds the scene content information to the moving image in units of fields for output. Therefore, the scene content information adding device 1 can automatically specify the scene content of the moving image and add the scene content information to the moving image according to the specified scene content.
[0074]
The above-described morphological filter, expansion processing, Hough transform, and unbiased dispersion are described in detail, for example, in “Image Analysis Handbook” of the University of Tokyo Press.
[0075]
【The invention's effect】
As described above, according to the present invention, the scene content information can be specified from the positional relationship of the moving object by utilizing the relationship between the positional relationship of the moving object and the scene content information. Therefore, since the scene content information of the moving image can be automatically specified and the specified scene content information can be added to the moving image, the work efficiency can be greatly improved.
[0076]
According to the present invention, the scene content information can be specified from the distance between the one or more moving objects by storing the distance between the one or more moving objects and the scene content information in association with each other. it can. Therefore, since the scene content information of the moving image can be automatically specified and the specified scene content information can be added to the moving image, the work time can be greatly shortened.
[0077]
[Brief description of the drawings]
FIG. 1 is a flowchart of an example of a scene content information addition method according to the present invention.
FIG. 2 is a flowchart illustrating an example of an object extraction process.
FIG. 3 is a relationship diagram of an example of scene contents and relative distances between objects.
FIG. 4 is a block diagram of an embodiment of a scene content information adding device according to the present invention.
FIG. 5 is an image diagram of an example of a screen including a screen center area.
FIG. 6 is a diagram illustrating an example of a uniform color region determination process.
[Explanation of symbols]
1 Scene content information addition device
10 Uniform color area extraction unit
20 Goal area extraction unit
25 Auxiliary Information Database (Auxiliary Information DB)
30 Object extraction part
40 Ball object identification part
50 Player object identification part
60 Referee / Goalkeeper Object Identification Unit
70 Inter-object relative distance calculator
80 Scene content discriminator
90 Scene content information adding part
95 Scene Content Condition Database (Scene Content Condition DB)

Claims

A scene content information adding device for adding scene content information to a moving image,
Extraction means for extracting one or more moving objects from the moving image;
An identification means for identifying whether one or more of the extracted moving objects is a ball, a player, a referee, or a goalkeeper ;
A discriminating means for discriminating the positional relationship of one or more moving objects that identify whether the classification is a ball, a player, a referee, or a goalkeeper ;
A specifying means for specifying scene content information according to the determined positional relationship for each classification ;
Adding means for adding the specified scene content information to the moving image ,
The specifying means is a calculating means for calculating a distance between one or more moving objects, which are identified as ball, player, referee, or goalkeeper, for each of the classifications;
Storage means for storing a distance between one or more moving objects calculated for each classification and scene content information in association with each other;
Scene content information adding device, wherein that you identify scene content information from said storage means in accordance with the distance between one or more moving objects calculated for each of the classification.

In a scene content information adding device for adding scene content information to a moving image using a computer ,
An extraction procedure for extracting one or more moving objects from a moving image;
An identification procedure for identifying whether one or more of the extracted moving objects is a ball, a player, a referee, or a goalkeeper ;
A discriminating procedure for discriminating the positional relationship of one or more moving objects that identify whether the classification is a ball, a player, a referee, or a goalkeeper, for each classification ;
A specific procedure for identifying scene content information according to the determined positional relationship for each classification ;
And an additional procedure for adding the specified scene content information to the moving image ,
The specific procedure is a calculation procedure for calculating, for each classification, a distance between one or more moving objects that identify a ball, a player, a referee, or a goalkeeper.
Referring to storage means for storing the distance between one or more moving objects calculated for each category and scene content information in association with each other, according to the distance between the one or more moving objects calculated for each category Scene content information identification procedure for identifying the scene content information
Scene content information adding program Ru allowed to run.