JPH04294694A - 映像の自動要約編集方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、録画された映像と該映
像に付随させた各種の情報を基に自動的に必要な映像を
自動編集する方法に関する。

【０００２】

【従来の技術】映像の要約編集は、多数の素材となる録
画された映像から、該映像が表現しようとする最も重要
な場面を選択し、それをストーリに従って組み立てる作
業である。

【０００３】従来は、この映像の要約編集作業が多くの
人手で行っているのが現状である。

【０００４】

【発明が解決しようとする課題】このような人手作業に
よる手間を省く目的で、コンピュータにより支援を行う
ことが試みられている。しかし、現状ではビデオテープ
の作業性の悪さを改善するためにビデオディスクや磁気
ディスクを使用してビデオテープの早送りに相当する作
業を即時にできるようにして、作業能率を改善した程度
であり、自動的な編集とは、ほど遠い状態にある。

【０００５】本発明は、多数の素材となる録画された映
像について、機械的に得られる情報を予め用意し、これ
に編集上必要な人が判断すべき情報を付加して、その後
は自動的に要約編集された映像を作成する方法を提供す
ることを目的とする。

【０００６】

【課題を解決するための手段】本発明は、少なくとも映
像中の移動体の移動情報と、該移動体に対して予め定め
られたルールと前記移動情報を照合して、前記移動体の
移動結果の重要度を判定し、該判定結果を基に前記映像
から必要な映像を抽出し、自動的に要約編集された映像
を得ることを特徴とする。

【０００７】

【作用】本発明によれば、自動要約に必要な各種情報を
機械的に得られる標準時刻または該標準時刻に相当する
時刻を基準として位置づけ、全ての情報が前記時刻によ
って各々の関係が関連づけられ、かつ、編集上必要な人
が判断すべき情報を付加することにより、映像中の重要
となる映像場面（シーン）を抽出、編集して自動的に要
約編集された映像をうる。

【０００８】

【実施例】図１は、本発明方法を実施する一実施例装置
の構成ブロック図を示す。図１において、１は入力装置
で、文字キー，ファンクションキー等を有したキーボー
ドや、マウス，ジョイステック等でなる。２は表示装置
で、入力された文字列、視聴のための映像、ガイドメッ
セージ、その他の情報等を表示するＣＲＴ、液晶表示装
置でなる。３は外部映像・情報記録装置で、映像，音声
，各種の映像に付加した情報を格納し、必要により複数
台を設置する。４は内部記憶装置で、プログラムやメッ
セージを格納し、かつ外部映像・情報記憶装置３内の各
種情報を一時的に保存する。５は制御装置で、上述した
各装置を制御し、かつ、必要な情報の処理を行う。

【０００９】以下の説明において、外部映像・情報記憶
装置３内に蓄積する映像と、この映像に付随させる情報
を野球の試合を例にとり述べる。

【００１０】ここで、上記の付随させる情報は、複数台
の外部映像・情報記憶装置３が全て持つ必要は必ずしも
ない。

【００１１】図２は、ドーム付き野球場の上面から見た
概要配置図であり、図中、６−１〜６−４はベースで、
６−１は１塁、６−２は２塁、６−３は３塁、６−４は
ホームベースである。７−１，７−２はベースライン、
８−１〜８−４はＮｏ１〜Ｎｏ４カメラ、９−１，９−
２はバッターボックス、１０−１，１０−２は対戦チー
ムの各ベンチである。

【００１２】本例ではドーム付き野球場であるので、天
井に配置し全体の動きを撮影するＮｏ４カメラ８−４と
、１塁側のＮｏ１カメラ８−１と、外野側のＮｏ２カメ
ラ８−２と、３塁側のＮｏ３カメラの計４台が設置され
ている。そして、これらカメラの撮影した映像は試合の
開始から終了まで全て録画してあるものとし、図１の外
部映像・情報記憶装置３に格納されている。

【００１３】上記Ｎｏ４カメラ８−４は上述したように
野球全体を撮影し、グランドＧ内の人（移動体と記述す
るが、説明の都合上、各状態でランナー、出塁者等で呼
称することもある）Ｈの動きと、ベース６−１〜６−４
、バッターボックス９−１，９−２、ベンチ１０−１，
１０−２等の固定した位置との関係をとらえて、野球ル
ールに合せて、その場面の状況の判断に主として用いる
。

【００１４】また、他のＮｏ１〜Ｎｏ３カメラ８−１〜
８−３は、通常の試合（ゲーム）の撮影を行うが、球場
内での位置は確定しており、カメラの撮影方向と画角θ
（Ｎｏ１カメラをθ１，Ｎｏ２カメラをθ２，Ｎｏ３カ
メラをθ３とする）がわかれば、球場のどの位置を撮影
しているか、容易に計算できるため、このＮｏ１〜Ｎｏ
３カメラの撮影情報を、時刻を基準にして残しておく。

【００１５】また、野球では、ピッチャーの投球したボ
ールや、移動体（Ｈ）の判断は審判員（Ｈ’）が行うた
め、これらの情報と、得点等は手入力により機械に情報
を伝えなければならないが、現在の野球中継放送におい
ても、画面にカウントを出力するようになっており、上
記手入力は特別な負担となることではない。

【００１６】また、ピッチャーの投球するボールの速度
についてもスピードガンにより測定されており、これに
より、ボールの速度がわかるとともにピッチャーの投球
のタイミングを機械が容易に知ることが可能になる。上
述したこれらの情報についても、時刻を基準としてその
情報をデータとして収集する。

【００１７】図３は、時刻を基準とした得点情報等の説
明図である。図に示すように得点情報等は時刻単位（横
軸）で整理されていて、図中、１１は標準時刻または該
標準時刻に相当する時刻（タイムコード）である。この
場合の試合開始時刻は１３時で、試合終了時刻は１４時
５０分であり、時刻は１５時過ぎまで示してある。

【００１８】また、ここでの時刻は、年月日を含めた時
刻であってもよい。

【００１９】１２は得点情報であり、得点が入った時刻
を短い棒線１２ａで示し、両対戦チーム合せて６回、得
点（１２ａ１〜１２ａ６）が入ったことを例示してある
。

【００２０】１３は投球情報であり、棒線１３ａの位置
がボール投球のタイミングを示し、また、この棒線１３
ａの縦方向の長さの違いが投球時のボールの速度を示す
。これは時刻１１を基準にしているため得点１２ａの入
った時刻より前で、かつ、その時刻に最も近い投球によ
り得点が入ったと一般的に判断できる。

【００２１】ただし、盗塁による得点については、投球
との関係が無くなり、一義的には関係づけられないが、
盗塁は同じバッターがバッターボックス９−１または９
−２に得点が入った後もなお居る等の情報で判断が可能
である。

【００２２】１４はボールカウント情報とチェンジ情報
であり、ストライクＳは横線の上方に出る棒線１４Ｓ、
ボールＢは横線の下方に出る棒線１４Ｂで区別し、チェ
ンジのタイミングはアウトの数から判断でき横線の上下
に突出た棒線１４ｃで示す。１５ないし１９は移動体情
報の各情報を示し、その中の１５は出塁情報であり、有
効情報の発生１６、有効レベル１７、有効情報範囲１８
、有効情報発生位置１９までの情報と一緒に天井カメラ
（Ｎｏ４）１８−４による人（移動体）の動き情報（以
下、移動体情報という）と、他の情報との組み合わせに
より判断できるものである。

【００２３】ここで、移動体（バッター）の出塁の判断
等は、野球ルールから生じる移動体への拘束条件や、行
動のパターンを利用する。例えば、バッターボックス９
−１または９−２にいた移動体が１塁ベース６−１に接
触し、アウトのカウントが増加しない場合は、移動体は
出塁したと判断できる。この出塁者が居る範囲を横線上
に太線で示してある。

【００２４】上記移動体情報の収集には、ビデオ情報か
ら移動体の重心を追従する市販装置（ビデオトラッカＧ
２１２０ＩＩ：応用計測研究所））が使用できる。

【００２５】この装置では、２値化画像が必要なため、
得られたビデオ情報のうち、動きを示す部分と、動きを
示さない部分とに分離し、これを２値化する。

【００２６】この２値化画像を各試合回の表と裏との攻
撃を単位にその攻撃ごとに個々の移動体を追跡する。こ
の追跡点が各塁やバッターボックス領域の座標と同じ座
標を示したときに、各塁との移動体の接触やバッターボ
ックスに居ることが判断できる。また、ベースライン７
−１，７−２の座標やスタンドとの境の座標から特定の
領域内に留る移動体が外野手であるとか、内野手である
ことが判断でき、走塁ランナーとの区別が可能である。

【００２７】前出の有効情報の発生１６は、移動体の動
きの中から、つまり移動体情報１５，１７〜１９から、
下記表１に示した判定項目と照合し、照合一致した時刻
を有効情報の発生時刻とし、横線を上下に突出した縦棒
線１６ａで示し、横線の下方矢印の先端に示した数（３
，２，１）は３塁，２塁，１塁を示す。

【００２８】

【表１】

【００２９】上記表１には、移動体情報から判断可能な
項目の例として、（１）シーンの重要度の判定項目と、
（２）他に得られる情報の判定項目を示す。

【００３０】この重要度の判定項目（１）では、３段階
の重要度順位づけ（１位〜３位）と、逆に重要度が最も
低いと判断される最下位を示した。ここで、重要度の１
位は３塁ベースに接触していた移動体（ランナー）がホ
ームベース６−４と接触したと判断した時点である。こ
の場合は、得点が入った可能性（得点情報１２）があり
、最も重要な情報にあたる。

【００３１】次に重要度の２位は、移動体（ランナー）
が２塁ベースや３塁ベースに接触した時点であり、３位
はバッターボックス内のバッターが１塁ベースに出塁し
たと判定された時点である。また、重要度が最も低いと
判断できる状況は、球場内に移動体（ここではランナー
）が存在しなかったり、何等かの理由で移動体（ランナ
ー）が動かない場合である。

【００３２】上述した有効情報の発生１６の時刻と重要
度の判定の過程を図４のフローチャートに示し、ここで
の重要度の判定は、前出の有効レベル１７（図３）に対
応する。即ち、図３では有効レベル１７としては、有効
情報の発生１６の１位から３位（前出表１）までを用い
、重要度の最下位の判定は繁雑となるので図４では省略
してある。

【００３３】作業を開始すると、図１の外部映像・情報
記憶装置３に格納されている天井カメラ（Ｎｏ４）８−
４の移動体情報の中から表１の判定項目に対応する点を
試合（ゲーム）の開始から終了まで入力装置１の操作及
び制御装置５により表示装置２上の表示画像から探す（
Ｓ１）。 対応する移動体情報の有効判定ができた時点の時刻ＴＯ
を制御装置５は読む（Ｓ２）。次に判定の有効レベル１
７（図３）を表１の判定基準に従って制御装置５は決定
する（Ｓ３）。これらの処理（Ｓ１）〜（Ｓ３）をゲー
ムの開始から終了まで繰返す（Ｓ４）。

【００３４】ここで、有効レベル１７の判定は、前述し
たように得点情報１２により、有効レベル１位と判定す
る場合と、得点は入らなかったが表１から有効レベル１
位と判定する場合があるので、以下これについて図５に
示す有効レベル１位決定のフローチャートにより説明す
る。

【００３５】図５は、得点情報１２による有効レベル１
７と、その判定の過程を示すフローチャートであって、
これは、有効レベル１位を決定する場合である。

【００３６】試合（ゲーム）の開始にともない得点ｎを
“１”とする（Ｓ１）。次に得点ｎが入った得点時刻Ｔ
ｎを得点情報１２から時刻（タイムコード）１１に対応
した時刻を読む（Ｓ２）。次に得点時刻Ｔｎより前で該
得点時刻Ｔｎに近い投球時刻ＴＰを投球情報１３から読
む（Ｓ３）。

【００３７】次にその投球が行われた回の攻撃が開始さ
れた時刻ＴＡと、次回の攻撃を開始する時刻ＴＢをチェ
ンジ情報１４から読む（Ｓ４）。次に開始時刻ＴＡとＴ
Ｂの間に移動体（ランナー）が実際に出塁していた期間
の出塁の開始時刻ＴＣと、その終了時刻ＴＤとを読む（
Ｓ５）。

【００３８】ここで、この攻撃開始時刻ＴＡとＴＢの間
に移動体（ランナー）が１回出塁して、その後、例えば
アウトになり、一旦移動体（ランナー）がいなくなり、
再度、移動体（ランナー）が出ることもあるため、出塁
の開始時刻ＴＣとその終了時刻ＴＤが２組以上存在する
場合もある。このため、出塁の開始時刻ＴＣとその終了
時刻ＴＤが２組以上あるか判断し（Ｓ６）、もし、あれ
ば（ＹＥＳ）、得点が入った得点時刻Ｔｎを含む出塁の
開始時刻ＴＣとその終了時刻ＴＤを選択する（Ｓ７）。

【００３９】次に上記ステップ（Ｓ７）を経るか、また
は、ステップ（Ｓ６）で出塁の開始時刻ＴＣとその終了
時刻ＴＤが２組以上なければ（ＮＯ）、出塁の開始時刻
ＴＣとその終了時刻ＴＤの間の有効情報発生１６の時刻
ＴＯを読む（Ｓ８）。この出塁の開始時刻ＴＣとその終
了時刻ＴＤの間には、有効情報の発生１６が複数あるこ
とがある。例えば、まず、移動体（ランナー）が１塁ベ
ース６−１に出塁し、次のバッターのヒットによって、
１塁ベースの移動体（ランナー）がホームベース６−４
にホームインしたとすると、１塁ベースへの出塁と、次
のヒットの両方が得点にとって重要であり、両方とも有
効レベル１位とすることになる。

【００４０】このため、出塁の開始時刻ＴＣとその終了
時刻ＴＤとの間の全ての有効情報の発生１６の時刻ＴＯ
が有効レベル１位となる（Ｓ９）。

【００４１】次に、図３の有効情報範囲１８はステップ
（Ｓ１０）で、次のように行われる。例えば、３塁ベー
ス６−３に接触していた移動体（ランナー）がホームベ
ース６−４と接触したと判定すると、まず、移動体（ラ
ンナー）が３塁ベースから離れ、ホームベース方向に移
動を開始した時刻ＴＶと、ホームベースに接触した時刻
ＴＷを基本の有効情報範囲１８とする。しかし、この移
動開始時刻ＴＶとホームベース接触時刻ＴＷだけではホ
ームインした瞬間に画面が消えてしまい、得点の感激等
が伝わらないため、その後、数秒を更に付加した時刻（
情報）を有効情報範囲１８とすることが望ましい。

【００４２】この付加する秒数は、ホームベースに移動
体（ランナー）が接触したときは長く、１，２，３塁ベ
ースに出塁したときは、ホームベースに移動体（ランナ
ー）が接触したときよりは短くするのが一般であるが、
その秒数の長さは、経験によって決められるものである
。

【００４３】なお、上述した有効情報範囲１８の決定方
法については後で詳述する。

【００４４】さて、次に別の有効情報の発生１６の発生
時刻ＴＯの存在を確認し（Ｓ１１）、もし、あれば（Ｙ
ＥＳ）、前記ステップ（Ｓ１０）を繰返し、なければ（
ＮＯ）、次の得点情報１２があるか判断し（Ｓ１２）、
あれば（ＹＥＳ）、得点ｎをｎ＋１として（Ｓ１３）、
前記ステップ（Ｓ２）に戻り、なければ（ＮＯ）、終了
する。

【００４５】ここで、得点ｎは対戦する両チームの点数
の合計値を用いているが、両チームの得点ｎを区別して
得点情報として管理することも可能である。このような
各ステップ（Ｓ１）〜（Ｓ１３）を経て有効レベル１位
を得点情報１２から判定する。

【００４６】次に前記で概略説明した有効情報範囲１８
の決定方法を図６のフローチャートにより説明する。作
業を開始すると、有効情報の発生１６点の発生時刻ＴＯ
を読む（Ｓ１）。次にこの有効情報の発生時刻ＴＯより
前で最も該発生時刻ＴＯに近い投球時刻ＴＰを、図３の
投球情報１３から読む（Ｓ２）。

【００４７】次に有効情報の発生時刻ＴＯと投球時刻Ｔ
Ｐの間にバッターボックス内の移動体（ここではバッタ
ー）が１塁ベースに移動したかを、図３のボールカウン
ト情報１４のアウト数の変化及び出塁情報１５から判断
する（Ｓ３）。このとき、アウト数の増加または出塁が
あれば（ＹＥＳ）、投球時刻ＴＰより一定時刻前に有効
情報の開始時刻ＴＦとする（Ｓ４）。ここで、一定時刻
前とは、先にも説明したように経験的に決める時間であ
り、ピッチャーが投球する前に投球の構えをするが、こ
れを映像としてある程度の時間、見せた後にピッチャー
の投球があった方が、急にピッチャーが投球した瞬間か
ら映像が見えるより、視聴者に自然な感じを与えるため
である。つまり、上記一定時刻とは経験的にどの程度前
から見せると自然な感じになるかによって決まる。

【００４８】次に上記有効情報の発生時刻ＴＯより一定
時刻後を有効情報の終了時刻ＴＧとする（Ｓ５）。この
場合の終了時刻ＴＧについても経験的にその時間が決ま
る。

【００４９】一方、前記ステップ（Ｓ３）の判断処理に
おいて、バッターボックス内の移動体（バッター）が１
塁ベースに出塁しなかったか、もしくは、アウトと判断
した場合（Ｓ３のＮＯ）、これは、移動体（ランナー）
が盗塁した場合に相当する。この場合は、移動体（ラン
ナー）が最初に接続していた塁から離れた時刻より、一
定時間前を有効情報の開始時刻ＴＦとする（Ｓ６）。

【００５０】更に有効情報の発生時刻ＴＯより一定時刻
後を有効情報の終了時刻ＴＧとする（Ｓ７）。ここで、
用いた一定時刻の付加時刻も経験的に決まる値である。 このような判断と有効情報の発生時刻ＴＯとその終了時
刻ＴＧを試合（ゲーム）終了するまで繰返し、試合全体
の有効情報範囲１８を決定する（Ｓ８）。

【００５１】次に有効情報の発生による有効レベル１７
の決定方法について、図７のフローチャートにより説明
する。作業を開始すると、まず、有効情報の発生１６点
の最初を番号ｍ＝１とし（Ｓ１）、この場合ｍの発生時
刻ＴＯを読む（Ｓ２）。次に有効情報の発生時刻ＴＯと
同時刻の有効情報がレベル１位に指定されているか調べ
る（Ｓ３）。これは、得点情報１２からすでに有効レベ
ルを指定されている番号があるからであり（Ｓ３のＹＥ
Ｓ）、その場合は、ステップ（Ｓ１４）に移る。

【００５２】また、指定されていない場合は（Ｓ３のＮ
Ｏ）、発生時刻ＴＯを含む出塁情報１５の範囲を調べ、
出塁の開始時刻ＴＣとその終了時刻ＴＤを読む（Ｓ４）
。

【００５３】次に出塁の開始時刻ＴＣとその終了時刻Ｔ
Ｄに含まれる他の有効情報の発生１６点をその有効情報
の発生から調べ、その数Ｌとそれ等の有効情報の発生時
刻ＴＯを読む（Ｓ５）。

【００５４】これにより、同じ出塁範囲にある全ての有
効情報が一括して扱えるようになる。

【００５５】次に上記有効情報の発生時刻ＴＯを含む有
効情報の範囲の開始時刻ＴＦとその終了時刻ＴＧを読む
（Ｓ６）。そして、他に有効情報の発生時刻ＴＯがある
か判断し（Ｓ７）、あれば（ＹＥＳ）、再び上記ステッ
プ（Ｓ６）に戻り処理を行う。また、なければ（ＮＯ）
、出塁の開始時刻ＴＣとその終了時刻ＴＤの間に出塁者
がホームベース６−４へ達（接触）したか判断する（Ｓ
８）。

【００５６】このとき、ホームベースに接触した出塁者
があれば（Ｓ８のＹＥＳ）、有効情報の発生時刻ＴＯを
含む出塁の開始時刻ＴＣとその終了時刻ＴＤの中の全て
の上記有効情報の発生時刻ＴＯを有効レベル１位とする
（Ｓ９）。

【００５７】また、出塁者がホームベースに接触してい
ない場合（Ｓ８のＮＯ）、同じ出塁の開始時刻ＴＣとそ
の終了時刻ＴＤの範囲で出塁者が２塁ベースと接触した
か判断する（Ｓ１０）。

【００５８】ここで、接触している場合（Ｓ１０のＹＥ
Ｓ）、各有効情報の発生時刻ＴＯは有効レベル２位とす
る（Ｓ１１）。また、接触していない場合（Ｓ１０のＮ
Ｏ）、各有効情報の発生時刻ＴＯは有効レベル３位とす
る（Ｓ１２）。

【００５９】次に有効情報の発生時刻ＴＯが他に残って
いるか判断し（Ｓ１３）、残っていれば（Ｓ１３のＹＥ
Ｓ）、上記ステップＳ８に戻り、残っていなければ（Ｓ
１３のＮＯ）、有効情報の発生１６点は他にあるか判断
し（Ｓ１４）、他にあれば（Ｓ１４のＹＥＳ）番号ｍを
、ｍ＋Ｌとし（Ｓ１５）、上記ステップＳ２に戻る。ま
た、なければ（Ｓ１４のＮＯ）終了する。

【００６０】以上のようにして図３の移動体情報１５〜
１９が得られる。

【００６１】ここで、図３に戻り、１９はこれまでのべ
た有効情報発生位置（具体的には繁雑になるので単一線
で示す）であり、前記表１の各判定項目（１），（２）
の各注目点が、グランド（Ｇ）上でどの位置に対応して
いるかを示す。つまり、有効情報があれば注目点を撮影
したＮｏ１〜Ｎｏ３カメラ８−１〜８−３が、これらカ
メラの何れであるかを判定（有効情報の発生点に関する
補足情報２０〜２２）できる。

【００６２】このようにして重みづけ（有効レベル１位
ないし３位）した図３の有効情報と時刻（タイムコード
）１１に対応した時刻で表された有効情報の範囲等を用
いて映像監視することについて次に説明する。

【００６３】ここで、重みづけした有効情報の範囲にお
いて、見る人により詳細に見る人もいれば、要点だけを
見たい人もいる。このため、詳細に見たい人は、重みづ
けの１位から３位までの有効レベルを有効情報範囲１８
で指定されている範囲を時間にそって順次見ることにな
る。

【００６４】一方、要点だけを見たい人は有効レベル１
位のみを選択し、それに対応する有効情報範囲１８を順
次見ることになる。このようにして、見たい人のレベル
により異なる映像を見ることになる。

【００６５】しかし、実際には、更に２つの問題がある
。この問題の第１は、カメラ８がこの場合でもＮｏ１か
らＮｏ３まで、３台準備され、それぞれ試合（ゲーム）
の全ての期間の映像を録画しており、そのどれを見るか
が問題となる。そこで、１つの方法として有効情報発生
位置１９に従い、その位置を撮影しているカメラの映像
を見る方法がある。

【００６６】これを達成するためには各Ｎｏ１〜Ｎｏ３
カメラ８−１〜８−３が撮影している方向と画角θ１，
θ２，θ３（図２参照）についての情報を備えている必
要がある。 これについては、図３では省略したが、カメラ８−１〜
８−３ごとにそれ等の情報を付与することが重要である
。

【００６７】しかし、ここまでカメラを特定しても注目
すべき有効情報の発生点を複数のカメラが撮影している
場合があり、その場合に、いずれを優先するかが問題と
なる。これについては右バッターと左バッターではいず
れのカメラが適当であるとか、１塁のランナーが２塁ベ
ースに走る場合は「いずれがランナーの表情をとらえて
いる」というような経験的な情報を付加することにより
、優先度をある程度決めることができる。

【００６８】このようにしても、なお決められない場合
があるが、この場合には現行のテレビのように１台の表
示装置２に１画面を表示するものではなく複数の画面を
表示し、そのうちの興味ある映像を中心に見る方法を採
用するようにする。この方法では優先順位の高い映像を
大きく表示し、順位の低い映像を小さく表示することも
可能である。この具体的な見方の例は次の説明と一緒に
図８を用いて説明する。

【００６９】次に、問題の第２は図３の有効情報の範囲
１８をどのように決定するかである。これまでの説明で
は経験等により決めている時刻決定があるため、不必要
な映像場面（シーン）が長すぎたり、必要なシーンが短
かすぎるなどの問題がどうしても生じる。この点に関し
ては最終的には人が介在してその長さの調整をする必要
がある。

【００７０】また、人が介在するのであれば複数のカメ
ラの情報のうち機械的に選択した方法では不都合の場合
には人が関与して、その優先度について、指示をする方
法がある。特に野球などの場合は各対戦チームのファン
によって試合が勝っても負けても、そのチームに都合の
良い見方をしたいものであり、これを機械（制御装置５
）に区別させるのは困難な問題である。

【００７１】そこで、図８に示す表示例のような編集機
能を持つ表示を使用することが便利である。

【００７２】図８は図１の表示装置２に表示される画面
３０の例であり、図中の３１は最も優先順位の高い画像
であり、ここでは、一例としてＮｏ２のカメラ８−２の
画像である。３２と３３は他の２台のＮｏ１，Ｎｏ３カ
メラ８−１，８−３の同じ時刻における画像である。３
４は画像３１を制御するコントロールパネルであり、キ
ーボタンを指定することにより通常のテープレコーダの
ように再生，早送り，逆転，停止等が可能であるととも
に各映像の開始点や終了点を変更することも可能である
。

【００７３】３５は野球場の配置図を示す図であり、こ
の中には上記の画像３１，３２，３３が表示されている
時刻の各プレーヤ３６の配置が黒丸で示してある。ここ
では図が繁雑になるためカメラが撮影している方向や画
角等が示してないが、図２の各カメラに付けた画角θ１
，θ２，θ３と方向表示等を入れることにより、知りた
い情報がどのカメラに存在するか判るようになる。また
、ボールの位置についての情報があればこれも色を変え
て入れることにより、よりリアルな状況表示が可能にな
る。

【００７４】３７は表示画像のバッター名や出塁者名の
氏名表示欄、３８はボールカウント表示欄、３９は自動
要約の有効レベル表示欄であり、この場合は有効レベル
が２位である。４０は自動要約の中で現表示がどの位置
にあるかを示すタイムラインであり、ここでは全体が１
０分でその内の３０％に達している事を＊印のカーソル
で示してある。

【００７５】４１はこの時点でのスコア表示欄、４２は
操作処理表示欄で各種の画面やその他の情報を操作して
処理するための処理スイッチを有する。このスコアは映
像を早送りしても逆再生しても全て現在表示されている
映像が時刻で管理されているため、その時点でのスコア
は明らかであり、そのスコア状況が表示できる。これを
利用するとスコアの位置を指定するとその時点の映像を
表示することも可能になる。もちろんタイムライン４０
のカーソルを移動しても、その時刻における映像を表示
することが可能である。

【００７６】このような表示画面３０を用いると、先に
述べたカメラの優先順序を変更して、画像３１を表示す
るカメラを変更したり、各シーンの開始や終了点を変更
することが容易にできる。

【００７７】この方法での別の特徴としては管理してい
る情報が時刻を基にした有効情報範囲１８とその有効レ
ベル１７であるため、先に述ベたように勝者側のファン
と敗者側のファンのどらちにも都合の良い映像を３台の
カメラの映像から選びだせる特徴がある。このため、予
め視聴者がどちらのファンであるかを指定しておくと同
じ有効情報範囲を使用するが、どちらか一方のチームの
攻撃と守備を中心とした映像で構成することにより、そ
のファンの希望に添った映像が提供できる。もちろん同
じ有効情報範囲を用いて逆のチームを中心として映像と
することも、また中立的な映像とすることも可能である
ことは言うまでもない。

【００７８】以上、これまでの説明では野球を中心とし
た実施例について説明したが、これを他の映像に適用で
きることは言うまでもない。特にあらかじめ定められた
ルールが存在し、かつそのルールのもとで動くゴルフ，
ラグビー，サッカー，テニス，相撲等のスポーツに適用
することが最適である。

【００７９】また、レーダで動きと位置をとらえ、管制
を行う航空機や船舶についても、航路や航法などにルー
ルが存在するので、その監視映像をもとにして自動編集
が可能である。

【００８０】また、道路上の車や人の動にも道路や通路
が決まりかつ交通規則があるためこの監視映像をもとに
して自動編集が可能である。

【００８１】また、前述の説明では天井カメラからの映
像を用いたが、天井カメラが使用できない場合は高い位
置から撮影した映像をコンピュータ処理により鳥瞰図的
に変更して天井カメラと同じ役目をさせることが可能で
ある。

【００８２】また、レーダでその位置が確認できる航空
機や船舶の特定の標識を持つ移動体についてもその動き
をとらえて上記説明と同様に扱えるようになる。

【００８３】

【発明の効果】以上説明したように、本発明の映像の自
動要約編集方法は、映像対象物の動きがルールにより規
定され、かつ、ルールの中での動きに重要度のレベル付
けを定義できる対象についての映像を編集するにあたり
、得られた動き情報を機械的に判断し、その重要度を各
シーンに付加するので、その重要度の中で一定以上のレ
ベルの映像を集めることにより、機械がその映像の重要
なシーンを集めた要約を自動的に作成することが可能に
なる。

【００８４】また、スポーツなどでは対戦する両者に対
して、それぞれファンが存在し、各ファンは自らが応援
する側の活躍を中心にその試合を見たいものである。本
発明では全ての情報を時刻を単位に管理しており、かつ
重要度のレベルを判断する映像等の情報と実際の映像の
録画が分けてある。このため、重要度のレベルから判断
された映像場面（シーン）は時刻で表されることができ
る。このため、同一内容を複数台のカメラが録画した映
像を使える場合は、視聴者の好みに合った映像を選択し
て視聴することが可能になり、視聴者の個人的希望に合
せた映像を提供できる新しい映像提供システムが実現可
能になる。

【００８５】更に抽出した映像の重要度に重みづけをし
ておくため、視聴者の内容に対する関心の度合により、
重要度が選択できる。このため関心の高い内容について
は重要度の低いシーンまで入れた詳しい内容の映像が見
られ、逆に関心が低い内容では重要度の高いシーンだけ
からなるエッセンスを見る事ができるようになる。

【図面の簡単な説明】

【図１】本発明を実施する一実施例装置の構成ブロック
図である。

【図２】ドーム付き野球場の上面から見た概要配置図で
ある。

【図３】時刻を基準にした得点情報等の説明図である。

【図４】有効情報の発生時刻と重要度の判定過程を説明
するフローチャートである。

【図５】有効レベル１位決定のフローチャートである。

【図６】有効情報範囲の決定方法を説明するフローチャ
ートである。

【図７】有効情報の発生による有効レベルの決定方法を
説明するフローチャートである。

【図８】図１の表示装置に表示する画面の例を示す図で
ある。

【符号の説明】

１…入力装置、　　２…表示装置、　　３…外部映像・
情報記憶装置、　　４…内部記憶装置、　　５…制御装
置、　　６−１〜６−４…ベース、　　７−１，７−２
…ベースライン、８−１〜８−４…Ｎｏ１〜Ｎｏ４カメ
ラ、　　９−１，９−２…バッターボックス、　　１０
−１，１０−２…ベンチ、　　１１…時刻（タイムコー
ド）、　　１２，１２ａ１〜１２ａ６…得点情報、　　
１３，１３ａ…投球情報（速度，タイミング）、　　１
４…ボールカウント及びチェンジ情報、１４Ｓ…ストラ
イク、　　１４Ｂ…ボール、　　１５…出塁情報、　　
１６…有効情報の発生、１７…有効レベル、　　１８…
有効情報範囲、　　１９…有効情報発生位置、　　２０
〜２２…有効情報発生点の補足情報、　　３０…表示装
置２の表示画面、　　３１…Ｎｏ２カメラの画像、　　
３２…Ｎｏ１カメラの画像、　　３３…Ｎｏ３カメラの
画像、　　３４…画像３１用のコントロールパネル、　
　３５…野球場の配置図、　　３６…プレーヤ、　　３
７…氏名表示欄、　　３８…ボールカウント表示欄、　
　３９…有効レベル表示欄、　　４０…タイムライン、
　　４１…スコア表示欄、　　４２…操作処理表示欄。

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　少なくとも映像中の移動体の移動情報
   と、該移動体に対して予め定められたルールと前記移動
   情報を照合して、前記移動体の移動結果の重要度を判定
   し、該判定結果を基に前記映像から必要な映像を抽出し
   、自動的に要約編集された映像を得ることを特徴とする
   映像の自動要約編集方法。
2. 【請求項２】　　判定結果を基に映像から必要な映像を
   抽出するにあたり、移動体の移動情報から得られる他の
   情報及び他の付加情報を用いて必要な映像の範囲を決定
   することを特徴とする請求項１記載の映像の自動要約編
   集方法。
3. 【請求項３】　　判定結果を基に映像から必要な映像を
   抽出するにあたり、重要度のレベルに応じて優先度を高
   く設定し、視聴許容時間に応じて選択する映像の優先度
   のレベルを変更することを特徴とする請求項１記載の映
   像の自動要約編集方法。
4. 【請求項４】　　必要な映像を連結する編集情報を作成
   するに当り、該編集情報を統一した時刻を用いて記述す
   ることを特徴とする請求項１記載の映像の自動要約編集
   方法。