JPH07226877A - カメラ移動誘発シーン変化を検出するための方法 - Google Patents
カメラ移動誘発シーン変化を検出するための方法Info
- Publication number
- JPH07226877A JPH07226877A JP7016577A JP1657795A JPH07226877A JP H07226877 A JPH07226877 A JP H07226877A JP 7016577 A JP7016577 A JP 7016577A JP 1657795 A JP1657795 A JP 1657795A JP H07226877 A JPH07226877 A JP H07226877A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- camera
- cumulative
- active
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/60—Solid state media
- G11B2220/65—Solid state media wherein solid state memory is used for storing indexing information or metadata
Abstract
(57)【要約】
【目的】 ショット内の境界で発生するシーンの変化の
みを検出し、個々のショット内で発生するシーンの変化
を検出していなかった従来のシーン変化検出法を改善す
る。 【構成】 本発明による単一ショットを構成する一つの
視覚情報を帯びるフレームの列内のカメラ誘発シーン変
化を決定するための方法においては、最初に、単一のカ
メラショット内の複数のフレーム対の各対間のカメラ誘
発移動が決定される。このカメラ誘発移動が、これら複
数のフレーム対ごとに、少なくとも第一の成分に分解さ
れる。この第一の成分の値が、これら複数のフレーム対
に対して総和され、第一の累積信号が形成される。この
第一の累積信号がある判定基準を満たしたときに、シー
ン変化が示される（決定、検出される）。
みを検出し、個々のショット内で発生するシーンの変化
を検出していなかった従来のシーン変化検出法を改善す
る。 【構成】 本発明による単一ショットを構成する一つの
視覚情報を帯びるフレームの列内のカメラ誘発シーン変
化を決定するための方法においては、最初に、単一のカ
メラショット内の複数のフレーム対の各対間のカメラ誘
発移動が決定される。このカメラ誘発移動が、これら複
数のフレーム対ごとに、少なくとも第一の成分に分解さ
れる。この第一の成分の値が、これら複数のフレーム対
に対して総和され、第一の累積信号が形成される。この
第一の累積信号がある判定基準を満たしたときに、シー
ン変化が示される（決定、検出される）。
Description
【０００１】
【産業上の利用分野】本発明は、ビデオ番組などの映像
列内のシーン変化を自動的に検出するための方法、より
具体的には、パン、ティルト、ズームなどのカメラ動作
に起因するショット内シーン変化を検出するための方法
に係る。
列内のシーン変化を自動的に検出するための方法、より
具体的には、パン、ティルト、ズームなどのカメラ動作
に起因するショット内シーン変化を検出するための方法
に係る。
【０００２】
【従来の技術】ビデオ番組は、通常、映画やビデオ産業
において“ショット”と称される複数の異なるビデオセ
グメントの編集によって形成される。各ショットは、単
一カメラの一つの継続した（中断の無い）動作間隔中に
生成された一続きのフレーム列（つまり、複数の映像）
から成る。例えば、動画においては、ショットは、単一
のカメラによって収録を開始してから停止されるまでの
間に生成されたフィルムに記録された一続きのフレーム
である。生のテレビ放送においては、一つのショット
は、画面上に見られる単一のカメラが大気中に放送を開
始してから別のカメラによって取って代わられるまでの
間の映像から構成される。
において“ショット”と称される複数の異なるビデオセ
グメントの編集によって形成される。各ショットは、単
一カメラの一つの継続した（中断の無い）動作間隔中に
生成された一続きのフレーム列（つまり、複数の映像）
から成る。例えば、動画においては、ショットは、単一
のカメラによって収録を開始してから停止されるまでの
間に生成されたフィルムに記録された一続きのフレーム
である。生のテレビ放送においては、一つのショット
は、画面上に見られる単一のカメラが大気中に放送を開
始してから別のカメラによって取って代わられるまでの
間の映像から構成される。
【０００３】複数のショットは、（“カット”と称され
る）二つの一続きのショット間の境界がはっきりと定義
される急峻なモード（つまり、突き合わせ編集、或は切
り替えモード）にて互いに結合することも、或は多くの
他の編集モードの一つ、例えば、結果として一つのショ
ットから次のショットへの緩やかな遷移が起こるフェー
ド或はディゾルブなどのによって結合することもでき
る。使用される特定の遷移モードは、通常、監督によっ
て、時間と場所の変化についてのヒントが得られ、視聴
者が事象の進行について行けるように選択される。
る）二つの一続きのショット間の境界がはっきりと定義
される急峻なモード（つまり、突き合わせ編集、或は切
り替えモード）にて互いに結合することも、或は多くの
他の編集モードの一つ、例えば、結果として一つのショ
ットから次のショットへの緩やかな遷移が起こるフェー
ド或はディゾルブなどのによって結合することもでき
る。使用される特定の遷移モードは、通常、監督によっ
て、時間と場所の変化についてのヒントが得られ、視聴
者が事象の進行について行けるように選択される。
【０００４】複数の異なるショット間の急峻な遷移を検
出するための幾つかの自動ビデオ索引付け法が知られて
いる。急峻な遷移と緩やかな遷移の両方を検出すること
ができる自動ビデオ索引付け法の一例が、１９９３年１
２月２１日付けで申請された、『Method and Apparatus
for Detecting Abrupt and Gradual Scene ChangesIn
Image Sequences（映像列の急峻な及び緩やかなシーン
変化を検出するための方法と装置）』という名称の特許
出願第０８／１７１，１３６号において開示されている
が、この内容を参照されたい。自動ビデオ番組索引付け
の背景においては、これらの急峻な遷移は、しばしば、
“シーン”と呼ばれ、検出された境界（つまり、カッ
ト）は、“シーン境界”と呼ばれる。ただし、ある一つ
の“シーン”は、通常、実質的に類似する情報を運ぶ密
接に関連した内容のフレームの列であるものと考慮され
る。ビデオ番組が“静止ショット”（つまり、カメラの
移動がないショット）のみから構成される場合は、各シ
ョットは、単一のシーンを含むのみである。ただし、通
常は、ビデオ番組は、静止ショットばかりでなく、“移
動ショット”（つまり、カメラにパン、ティルト、ズー
ムなどの動作が加えられるショット）も含む。従って、
カメラの移動のために、一連のフレームの内容が一つの
ショットの期間中に大きく変化し、あるショット内に一
つ以上のシーンが存在する結果となる。従って、異なる
ショット間の境界もシーン境界を構成するが、カメラ移
動によってショット内シーン変化が生成されるために、
前者のショット間シーン境界は、あるビデオ番組内にお
いて発生する後者を含めた全シーン境界の一部分である
にすぎない。
出するための幾つかの自動ビデオ索引付け法が知られて
いる。急峻な遷移と緩やかな遷移の両方を検出すること
ができる自動ビデオ索引付け法の一例が、１９９３年１
２月２１日付けで申請された、『Method and Apparatus
for Detecting Abrupt and Gradual Scene ChangesIn
Image Sequences（映像列の急峻な及び緩やかなシーン
変化を検出するための方法と装置）』という名称の特許
出願第０８／１７１，１３６号において開示されている
が、この内容を参照されたい。自動ビデオ番組索引付け
の背景においては、これらの急峻な遷移は、しばしば、
“シーン”と呼ばれ、検出された境界（つまり、カッ
ト）は、“シーン境界”と呼ばれる。ただし、ある一つ
の“シーン”は、通常、実質的に類似する情報を運ぶ密
接に関連した内容のフレームの列であるものと考慮され
る。ビデオ番組が“静止ショット”（つまり、カメラの
移動がないショット）のみから構成される場合は、各シ
ョットは、単一のシーンを含むのみである。ただし、通
常は、ビデオ番組は、静止ショットばかりでなく、“移
動ショット”（つまり、カメラにパン、ティルト、ズー
ムなどの動作が加えられるショット）も含む。従って、
カメラの移動のために、一連のフレームの内容が一つの
ショットの期間中に大きく変化し、あるショット内に一
つ以上のシーンが存在する結果となる。従って、異なる
ショット間の境界もシーン境界を構成するが、カメラ移
動によってショット内シーン変化が生成されるために、
前者のショット間シーン境界は、あるビデオ番組内にお
いて発生する後者を含めた全シーン境界の一部分である
にすぎない。
【０００５】
【発明が解決しようとする課題】従来のシーン変化検出
法は、前者のショット間の境界の所で発生するシーンの
変化のみを検出し、後者の個々のショット内で発生する
シーンの変化を検出しないために不完全である。
法は、前者のショット間の境界の所で発生するシーンの
変化のみを検出し、後者の個々のショット内で発生する
シーンの変化を検出しないために不完全である。
【０００６】
【課題を解決するための手段】本発明においては、単一
のショットを構成する視覚情報を帯びるフレームの列内
のカメラ誘発シーン変化を決定（検出）するための方法
が開発された。この方法の一例においては、単一のカメ
ラショット内の複数の対のフレームの各対間のカメラ誘
発移動が決定される。このカメラ誘発移動が、これら複
数の各フレーム対について、少なくとも、第一の成分に
分解される。この第一の成分の値が、これら複数の各フ
レーム対に対して総和され、第一の累積信号が形成され
る。この第一の累積信号がある判定基準を満たしたとき
にシーンの変化が示される（検出、決定される）。
のショットを構成する視覚情報を帯びるフレームの列内
のカメラ誘発シーン変化を決定（検出）するための方法
が開発された。この方法の一例においては、単一のカメ
ラショット内の複数の対のフレームの各対間のカメラ誘
発移動が決定される。このカメラ誘発移動が、これら複
数の各フレーム対について、少なくとも、第一の成分に
分解される。この第一の成分の値が、これら複数の各フ
レーム対に対して総和され、第一の累積信号が形成され
る。この第一の累積信号がある判定基準を満たしたとき
にシーンの変化が示される（検出、決定される）。
【０００７】本発明の一つの具体例においては、カメラ
移動が映像パン、映像ティルト、或は映像ズームのいず
れか一つを表わす第一の成分に分解される。本発明の別
の例においては、カメラ移動が、三つのこれら成分の全
てに分解される。本発明の別の例においては、単一のカ
メラショット内の複数の対のフレームの各対間のカメラ
誘発移動を表わす信号が生成される。複数のこれらの信
号がこれら複数のフレーム対に対して総和され、第一の
累積信号が形成される。この第一の累積信号がある判定
しきい値を超えたときにシーン変化が示される。本発明
のさらにもう一つの例においては、本発明の方法が、カ
メラショット間の急峻及び緩やかな遷移を検出するブロ
ック比較技法などの周知の方法と共に使用される。周知
の方法が、各カメラショットの開始を見つけるために使
用されるが、この開始は、新しいシーンの開始と呼ばれ
る。次に、周知の任意の方法を使用してそのカメラショ
ット内の一続きのフレームの間で発生する映像パン、映
像ティルト、及び映像ズームが抽出される。映像パン、
映像ティルト、映像ズームのカメラ動作の各々に対し
て、一続きのフレームの間で計算された値を使用して、
２つの信号、つまり：１）新しいシーンが開始されて以
来のカメラ動作の累積値を表わす連続信号；及び２）与
えられた動作に対するカメラの連続した起動（を示す２
進信号、が生成される。シーン変化が：１）カメラの任
意の動作に対する累積値の規模が所定のしきい値を超え
た場合；或は２）任意のカメラ動作（つまり、パン、テ
ィルト、或はズーム動作）に対する一つの連続動作期間
が終端したことが２進信号によって示され、しかもその
時点でそれに対応する累積値が、少なくとも、もう一つ
の所定のしきい値と同一の規模を持つときに示される。
移動が映像パン、映像ティルト、或は映像ズームのいず
れか一つを表わす第一の成分に分解される。本発明の別
の例においては、カメラ移動が、三つのこれら成分の全
てに分解される。本発明の別の例においては、単一のカ
メラショット内の複数の対のフレームの各対間のカメラ
誘発移動を表わす信号が生成される。複数のこれらの信
号がこれら複数のフレーム対に対して総和され、第一の
累積信号が形成される。この第一の累積信号がある判定
しきい値を超えたときにシーン変化が示される。本発明
のさらにもう一つの例においては、本発明の方法が、カ
メラショット間の急峻及び緩やかな遷移を検出するブロ
ック比較技法などの周知の方法と共に使用される。周知
の方法が、各カメラショットの開始を見つけるために使
用されるが、この開始は、新しいシーンの開始と呼ばれ
る。次に、周知の任意の方法を使用してそのカメラショ
ット内の一続きのフレームの間で発生する映像パン、映
像ティルト、及び映像ズームが抽出される。映像パン、
映像ティルト、映像ズームのカメラ動作の各々に対し
て、一続きのフレームの間で計算された値を使用して、
２つの信号、つまり：１）新しいシーンが開始されて以
来のカメラ動作の累積値を表わす連続信号；及び２）与
えられた動作に対するカメラの連続した起動（を示す２
進信号、が生成される。シーン変化が：１）カメラの任
意の動作に対する累積値の規模が所定のしきい値を超え
た場合；或は２）任意のカメラ動作（つまり、パン、テ
ィルト、或はズーム動作）に対する一つの連続動作期間
が終端したことが２進信号によって示され、しかもその
時点でそれに対応する累積値が、少なくとも、もう一つ
の所定のしきい値と同一の規模を持つときに示される。
【０００８】
【実施例】図１は本発明によるシーン変化検出器２を示
す。検出器２は、映像デジタル化器３、映像プロセッサ
４、及びデジタルコンピュータ７を含む。映像プロセッ
サ４は、現在のフレームと前のフレームのデジタル化さ
れた映像を保持し、また、映像プロセッサ４によって生
成された中間結果を格納するための映像メモリ６を含
む。映像プロセッサ４はさらに映像メモリ６内に含まれ
る映像を処理するためのプロセッサ５を含む。本発明の
別の実施例においては、デジタルコンピュータ７が映像
プロセッサ４の仕事を遂行し、これによって、個別の映
像プロセッサ４の必要性が排除される。上に述べたよう
に、シーン変化検出器２は、ショット間の境界とショッ
ト内シーンの境界の両方を検出することができる。
す。検出器２は、映像デジタル化器３、映像プロセッサ
４、及びデジタルコンピュータ７を含む。映像プロセッ
サ４は、現在のフレームと前のフレームのデジタル化さ
れた映像を保持し、また、映像プロセッサ４によって生
成された中間結果を格納するための映像メモリ６を含
む。映像プロセッサ４はさらに映像メモリ６内に含まれ
る映像を処理するためのプロセッサ５を含む。本発明の
別の実施例においては、デジタルコンピュータ７が映像
プロセッサ４の仕事を遂行し、これによって、個別の映
像プロセッサ４の必要性が排除される。上に述べたよう
に、シーン変化検出器２は、ショット間の境界とショッ
ト内シーンの境界の両方を検出することができる。
【０００９】本発明の方法は、ビデオ番組内の個々のシ
ョットについて動作する。ただし、このようなショット
内のシーンの変化を検出するためには、その前に、その
ビデオ番組を周知の方法で個々のショットにセグメント
化しておくことが必要である。個々のショットが区分さ
れたら、各ショットのショット内シーン変化が図２に示
されるように本発明の方法によって検出される。ここで
注意すべき点は、ある一つのショット境界は、（用語の
定義上）それ自身が一つのシーン変化であることであ
る。
ョットについて動作する。ただし、このようなショット
内のシーンの変化を検出するためには、その前に、その
ビデオ番組を周知の方法で個々のショットにセグメント
化しておくことが必要である。個々のショットが区分さ
れたら、各ショットのショット内シーン変化が図２に示
されるように本発明の方法によって検出される。ここで
注意すべき点は、ある一つのショット境界は、（用語の
定義上）それ自身が一つのシーン変化であることであ
る。
【００１０】図２には、本発明の一例によって遂行され
るステップが示される。ある一つのショットの開始（こ
れは一つの新たなシーンの開始でもある）において、ス
テップ２１０に示されるように、カメラ誘発シーン変化
検出器が初期化される。ステップ２４０において、その
ショット内の一続きのフレームがデジタル化され、ステ
ップ２５０において、このカメラ誘発シーン変化検出方
法を使用して、ショット内シーン変化が検出される。ス
テップ２６０において、ステップ２５０からの出力がシ
ーン変化が存在するかチェックされる。シーン変化が検
出された場合は、ステップ２７０において適当な動作が
行なわれる。遂行される特定の動作は、シーン変化検出
が使用される用途に基づいて選択される。本発明のこの
方法は、任意の所望の用途と共に使用することができる
が、これらの数例が後に説明される。ショット内シーン
変化検出器が、次に、このプロセスを反復するために初
期化される。上に説明のステップがそのショット内の全
てのフレームが処理されるまで反復される。シーン変化
が検出されない場合は、このプロセスが、ショット内シ
ーン変化検出器の再初期化を行なうことなしに継続され
る。
るステップが示される。ある一つのショットの開始（こ
れは一つの新たなシーンの開始でもある）において、ス
テップ２１０に示されるように、カメラ誘発シーン変化
検出器が初期化される。ステップ２４０において、その
ショット内の一続きのフレームがデジタル化され、ステ
ップ２５０において、このカメラ誘発シーン変化検出方
法を使用して、ショット内シーン変化が検出される。ス
テップ２６０において、ステップ２５０からの出力がシ
ーン変化が存在するかチェックされる。シーン変化が検
出された場合は、ステップ２７０において適当な動作が
行なわれる。遂行される特定の動作は、シーン変化検出
が使用される用途に基づいて選択される。本発明のこの
方法は、任意の所望の用途と共に使用することができる
が、これらの数例が後に説明される。ショット内シーン
変化検出器が、次に、このプロセスを反復するために初
期化される。上に説明のステップがそのショット内の全
てのフレームが処理されるまで反復される。シーン変化
が検出されない場合は、このプロセスが、ショット内シ
ーン変化検出器の再初期化を行なうことなしに継続され
る。
【００１１】本発明のもう一つの実施例においては、図
３に示されるように、ショット境界）とショット内シー
ン変化の検出の両方がビデオ番組について一緒に遂行さ
れる。このケースにおいては、初期化ステップ３１０が
最初に、及び、各シーン変化の検出の後に遂行される。
ステップ３４０においてフレームが順番にデジタル化さ
れる。デジタル化されたフレームは、最初に、ステップ
３５０において、周知のショット境界検出方法、例え
ば、上に説明の方法を使用して、ショット境界が存在す
るかチェックされる。この結果がステップ３６０におい
てチェックされる。ショット境界（これはまたシーン境
界でもある）が検出された場合は、ステップ３８０が遂
行され、プロセスは、ステップ３１０から再び反復され
る。ショット境界が検出されない場合は、ステップ２５
０がショット内シーン変化が存在しないか検出するため
に遂行される。このステップの結果がステップ３７０に
おいてチェックされる。ショット内シーン変化が検出さ
れた場合は、ステップ３８０が遂行され、プロセスは、
ステップ３１０から再び反復される。ショット内シーン
変化が検出されない場合は、プロセスは、ステップ３２
０から再び反復され、こうして、ショット内検出器の再
初期化が回避される。プロセスは、ステップ３２０が最
後の番組フレームに到達したことを示す場合は、ステッ
プ３３０において終端する。
３に示されるように、ショット境界）とショット内シー
ン変化の検出の両方がビデオ番組について一緒に遂行さ
れる。このケースにおいては、初期化ステップ３１０が
最初に、及び、各シーン変化の検出の後に遂行される。
ステップ３４０においてフレームが順番にデジタル化さ
れる。デジタル化されたフレームは、最初に、ステップ
３５０において、周知のショット境界検出方法、例え
ば、上に説明の方法を使用して、ショット境界が存在す
るかチェックされる。この結果がステップ３６０におい
てチェックされる。ショット境界（これはまたシーン境
界でもある）が検出された場合は、ステップ３８０が遂
行され、プロセスは、ステップ３１０から再び反復され
る。ショット境界が検出されない場合は、ステップ２５
０がショット内シーン変化が存在しないか検出するため
に遂行される。このステップの結果がステップ３７０に
おいてチェックされる。ショット内シーン変化が検出さ
れた場合は、ステップ３８０が遂行され、プロセスは、
ステップ３１０から再び反復される。ショット内シーン
変化が検出されない場合は、プロセスは、ステップ３２
０から再び反復され、こうして、ショット内検出器の再
初期化が回避される。プロセスは、ステップ３２０が最
後の番組フレームに到達したことを示す場合は、ステッ
プ３３０において終端する。
【００１２】以下では、ステップ２５０において遂行さ
れるショット内シーン変化の検出方法について詳細に説
明する。ステップ２５０において使用される検出基準は
カメラ動作に依存するために、最初に、様々なカメラ動
作の例と、それら動作を使用する目的について説明す
る。その後に、これらカメラ動作のフレームへの効果
と、これら効果を認識するために使用される検出基準に
ついて説明される。
れるショット内シーン変化の検出方法について詳細に説
明する。ステップ２５０において使用される検出基準は
カメラ動作に依存するために、最初に、様々なカメラ動
作の例と、それら動作を使用する目的について説明す
る。その後に、これらカメラ動作のフレームへの効果
と、これら効果を認識するために使用される検出基準に
ついて説明される。
【００１３】カメラ動作 ビデオ番組は通常２つの異なるタイプのショットから構
成される。一つのタイプのショットは、カメラが移動せ
ず、また、レンズがズームイン或はズームアウトしない
場合に得られる。このタイプのショットは、“静止ショ
ット”と称される。もう一つのタイプのショットは、カ
メラが、移動した場合、ズーム動作が行なわれた場合、
或は両者が同時に起こった場合に得られる。これらショ
ットは、“移動ショット”と称される。カメラの移動と
ズーム動作は、集合的に、“カメラ動作”或は“カメラ
の動き”と称される。
成される。一つのタイプのショットは、カメラが移動せ
ず、また、レンズがズームイン或はズームアウトしない
場合に得られる。このタイプのショットは、“静止ショ
ット”と称される。もう一つのタイプのショットは、カ
メラが、移動した場合、ズーム動作が行なわれた場合、
或は両者が同時に起こった場合に得られる。これらショ
ットは、“移動ショット”と称される。カメラの移動と
ズーム動作は、集合的に、“カメラ動作”或は“カメラ
の動き”と称される。
【００１４】カメラ動作は、次のように分類することが
できる。“パン”は、カメラの左右への水平方向の（つ
まり、垂直軸を中心としての）回転である。“ティル
ト”は、カメラの上下の（つまり、水平軸を中心として
の）回転である。“ドリー”は、カメラの光学軸に沿っ
て対象に接近或は離れるカメラ移動である。“トラッキ
ング”は、ここでは、カメラの光学軸に垂直な平面内で
のカメラの移動を指すのに使用される。勿論、カメラの
全ての移行運動は、ドリーとトラッキング動作の組合わ
せから成る。“ズーム”は、ズームレンズの焦点長を変
化させることによって達成される効果であり、これは、
ドリー動作によって達成される効果と極めて類似する。
上の個々のカメラ動作が、カメラが経験する実際の動き
の成分であると見なされる。
できる。“パン”は、カメラの左右への水平方向の（つ
まり、垂直軸を中心としての）回転である。“ティル
ト”は、カメラの上下の（つまり、水平軸を中心として
の）回転である。“ドリー”は、カメラの光学軸に沿っ
て対象に接近或は離れるカメラ移動である。“トラッキ
ング”は、ここでは、カメラの光学軸に垂直な平面内で
のカメラの移動を指すのに使用される。勿論、カメラの
全ての移行運動は、ドリーとトラッキング動作の組合わ
せから成る。“ズーム”は、ズームレンズの焦点長を変
化させることによって達成される効果であり、これは、
ドリー動作によって達成される効果と極めて類似する。
上の個々のカメラ動作が、カメラが経験する実際の動き
の成分であると見なされる。
【００１５】カメラ動作の目的 典型的には、カメラは、明白な目的がない限り、移動さ
れない。良く監督されたビデオ番組においては、個々の
カメラ動作は明白な理由のために遂行される。例えば、
パン或はティルト移動は、対象がその映像の片側から反
対側に移動したとき、“その行為を追跡する”ために使
用される。パン或はティルトは、二つの異なる対象間の
視野の橋渡しを行なうための“関連付け”のためにも使
用されるが、これは、一つの対象から別の対象にパン及
び／或はティルトすることによって行なわれる。パンと
ティルトは、また、恐らくは、完全にズームアウトされ
た位置でも一つのフレーム内に入りきらない大きな対象
に対する“見当識”を得るためにも使用される。つま
り、カメラが複数のフレームを通じて対象全体が記録で
きるように移動される。“見当識”に類似するものとし
て、パンとティルトが“探究”のために使用される場合
があるが、この動作においては、シーンの選択された細
部が接近光景にて示される。関連付け、見当識、探究な
どのカメラ動作の例が、Stasheff E．とBretz R.による
著書『The Television Program: Its Direction and Pr
oduction』、４版、Hill and Wang publishers、New Yo
rk、１９６８年出版、において示されているので参照さ
れたい。
れない。良く監督されたビデオ番組においては、個々の
カメラ動作は明白な理由のために遂行される。例えば、
パン或はティルト移動は、対象がその映像の片側から反
対側に移動したとき、“その行為を追跡する”ために使
用される。パン或はティルトは、二つの異なる対象間の
視野の橋渡しを行なうための“関連付け”のためにも使
用されるが、これは、一つの対象から別の対象にパン及
び／或はティルトすることによって行なわれる。パンと
ティルトは、また、恐らくは、完全にズームアウトされ
た位置でも一つのフレーム内に入りきらない大きな対象
に対する“見当識”を得るためにも使用される。つま
り、カメラが複数のフレームを通じて対象全体が記録で
きるように移動される。“見当識”に類似するものとし
て、パンとティルトが“探究”のために使用される場合
があるが、この動作においては、シーンの選択された細
部が接近光景にて示される。関連付け、見当識、探究な
どのカメラ動作の例が、Stasheff E．とBretz R.による
著書『The Television Program: Its Direction and Pr
oduction』、４版、Hill and Wang publishers、New Yo
rk、１９６８年出版、において示されているので参照さ
れたい。
【００１６】トラッキングは、パンとティルト動作に非
常に類似する結果を達成するために使用することができ
る（ただし、厳密には同一でない）。トラッキングは、
３６０ の全視野から対象を見るために使用される。パ
ンとティルトの回転動作によって共有されないトラッキ
ングの一つの特性として、深さの感覚の増加がある。こ
れは、カメラが追跡（トラック）を行なうとき、カメラ
に近い対象がカメラから遠い対象よりも速く移動するよ
うに見えるために起こる。
常に類似する結果を達成するために使用することができ
る（ただし、厳密には同一でない）。トラッキングは、
３６０ の全視野から対象を見るために使用される。パ
ンとティルトの回転動作によって共有されないトラッキ
ングの一つの特性として、深さの感覚の増加がある。こ
れは、カメラが追跡（トラック）を行なうとき、カメラ
に近い対象がカメラから遠い対象よりも速く移動するよ
うに見えるために起こる。
【００１７】ズーム動作は、複数の目的を果たす。ズー
ムイン動作は、対象の接近した視野を生成し、広い視野
では見ることのできない詳細を提供する。一つのショッ
トは、ズームレンズが広角位置にある状態にて開始さ
れ、一つ或は数個の対象の小さな視野を生成し、次に、
一つの特定の対象の拡大された視野を得るためにズーム
インされ、結果として他の対象が排除される場合もあ
る。大きな倍率の変化を伴うゆっくりしたズーム動作
は、対象の、従って、観察可能な細部の倍率の連続した
増加或は減少を与え、一方において、シーン内の複数の
対象の相対位置に関する追加の情報を供給する。ズーム
アウト動作は、対象の周囲の視野を提供するため、或は
そのシーン内に他の対象を入れるために使用される。ズ
ームとドリー動作は両方とも、視野と倍率を変化させ
る。ドリー動作によって生成される倍率の程度はカメラ
と対象との間の距離に依存し、一方、ズーム動作によっ
て生成される倍率の程度は、距離には独立であり、レン
ズの焦点長の変化のみの関数である。
ムイン動作は、対象の接近した視野を生成し、広い視野
では見ることのできない詳細を提供する。一つのショッ
トは、ズームレンズが広角位置にある状態にて開始さ
れ、一つ或は数個の対象の小さな視野を生成し、次に、
一つの特定の対象の拡大された視野を得るためにズーム
インされ、結果として他の対象が排除される場合もあ
る。大きな倍率の変化を伴うゆっくりしたズーム動作
は、対象の、従って、観察可能な細部の倍率の連続した
増加或は減少を与え、一方において、シーン内の複数の
対象の相対位置に関する追加の情報を供給する。ズーム
アウト動作は、対象の周囲の視野を提供するため、或は
そのシーン内に他の対象を入れるために使用される。ズ
ームとドリー動作は両方とも、視野と倍率を変化させ
る。ドリー動作によって生成される倍率の程度はカメラ
と対象との間の距離に依存し、一方、ズーム動作によっ
て生成される倍率の程度は、距離には独立であり、レン
ズの焦点長の変化のみの関数である。
【００１８】映像へのカメラ動作の効果 上に説明の個々のカメラ動作は、そのカメラによって生
成されるフレームに特有の効果を与える。ここでの説明
の目的に対してはカメラの移動についてのみ考察される
が、全体としての動きは、カメラの動きと対象の動きが
複合されたものである。カメラの動きを抽出するために
使用されるこの方法は、カメラの動きと、対象の動きを
判別する能力を持つ。カメラのパン動作は、映像に水平
シフトを与える。全ての静止している対象（及び背景）
は、カメラに対するそれらの位置とは無関係に、同一の
量だけ移動する。映像のこの水平シフトは、以降、“映
像パン”と呼ばれる。映像パンの結果として、映像の内
容の一部分が左右に外れ、それぞれ、左右から新しい内
容が入る。
成されるフレームに特有の効果を与える。ここでの説明
の目的に対してはカメラの移動についてのみ考察される
が、全体としての動きは、カメラの動きと対象の動きが
複合されたものである。カメラの動きを抽出するために
使用されるこの方法は、カメラの動きと、対象の動きを
判別する能力を持つ。カメラのパン動作は、映像に水平
シフトを与える。全ての静止している対象（及び背景）
は、カメラに対するそれらの位置とは無関係に、同一の
量だけ移動する。映像のこの水平シフトは、以降、“映
像パン”と呼ばれる。映像パンの結果として、映像の内
容の一部分が左右に外れ、それぞれ、左右から新しい内
容が入る。
【００１９】カメラティルト動作は、映像に垂直シフト
を与える。パンの場合と同様に、全ての静止している対
象は、同一の量だけ移動する。映像のこのシフトは、以
降、“映像ティルト”と呼ばれる。映像ティルトの結果
として、映像の一部分が上下に外れ、それぞれ、上下か
ら新しい映像が入る。水平線に沿ってのカメラトラッキ
ング動作は、映像内の対象を水平にシフトさせる。ただ
し、カメラのパン動作とは異なり、カメラに接近した対
象は、カメラから離れた対象よりも大きくシフトする。
対象のシフトの変動は、対象からカメラまでの距離の変
動が小さいと小さくなる。この発明の目的に対しては、
水平トラッキングはカメラパンと同一に扱われ、映像へ
のこれらの効果は、以降、集合的に“映像パン”と呼ば
れる。同様に、垂直線に沿ってのカメラのトラッキング
動作は、“映像ティルト”を与える。対角線（或は曲
線）に沿ってのカメラトラッキング動作は、映像パンと
映像ティルトの両方を与える。
を与える。パンの場合と同様に、全ての静止している対
象は、同一の量だけ移動する。映像のこのシフトは、以
降、“映像ティルト”と呼ばれる。映像ティルトの結果
として、映像の一部分が上下に外れ、それぞれ、上下か
ら新しい映像が入る。水平線に沿ってのカメラトラッキ
ング動作は、映像内の対象を水平にシフトさせる。ただ
し、カメラのパン動作とは異なり、カメラに接近した対
象は、カメラから離れた対象よりも大きくシフトする。
対象のシフトの変動は、対象からカメラまでの距離の変
動が小さいと小さくなる。この発明の目的に対しては、
水平トラッキングはカメラパンと同一に扱われ、映像へ
のこれらの効果は、以降、集合的に“映像パン”と呼ば
れる。同様に、垂直線に沿ってのカメラのトラッキング
動作は、“映像ティルト”を与える。対角線（或は曲
線）に沿ってのカメラトラッキング動作は、映像パンと
映像ティルトの両方を与える。
【００２０】カメラのズーム動作は、映像内の対象の倍
率に変化を与える。ズームイン動作の場合は、倍率が増
加する。これには、対象の映像の中央から逃げる方向の
見掛けの径方向の移動が伴ない、場合によっては、存在
していた幾つかの対象が映像から外れる。ズームアウト
動作は、ズームイン動作のそれと反対の効果を与え、映
像内に新しい対象が出現する。カメラのズーム動作或は
ドリー動作に起因する対象の倍率の変化は“映像ズー
ム”と呼ばれる。
率に変化を与える。ズームイン動作の場合は、倍率が増
加する。これには、対象の映像の中央から逃げる方向の
見掛けの径方向の移動が伴ない、場合によっては、存在
していた幾つかの対象が映像から外れる。ズームアウト
動作は、ズームイン動作のそれと反対の効果を与え、映
像内に新しい対象が出現する。カメラのズーム動作或は
ドリー動作に起因する対象の倍率の変化は“映像ズー
ム”と呼ばれる。
【００２１】検出基準 カメラ移動誘発シーン変化を決定するための基準は、そ
れらのカメラ移動の意図と、映像に対するそれらの効果
に基づく。本発明の目的に対しては、カメラ移動は、そ
れらの意図に基づいて以下に述べられるように二つの異
なる範疇に分割される。カメラ移動の第一の範疇は、最
終結果のみが意味を持つカメラ動作から成る。例えば、
パン及び／ティルト、或はトラッキング動作は、しばし
ば、対象の動きを追跡するために使用され、従って、対
象が移動を中止すると、カメラも移動を中止する。この
ケースにおいては、カメラ移動の最終結果のみが重要で
ある。別の例は、パン或はティルト動作が、“関連付
け”に使用された場合に見られる。このケースにおいて
は、カメラの移動が、二つの隣接するショット間のゆる
やかな遷移（例えば、ディゾルブ：画面が暗くなるのに
オーバーラップして次の場面が現われる場面転換法）に
類似する役割を果し、カメラ動作の終端は、新たなシー
ンの開始となる。さらにもう一つの例は、ズームイン動
作が、そのシーン内に最初に出現した対象（例えば、ホ
テルの部屋のドア）の拡大された光景を得て、細部（例
えば、部屋の番号）を観察できるように使用される場合
に見られる。
れらのカメラ移動の意図と、映像に対するそれらの効果
に基づく。本発明の目的に対しては、カメラ移動は、そ
れらの意図に基づいて以下に述べられるように二つの異
なる範疇に分割される。カメラ移動の第一の範疇は、最
終結果のみが意味を持つカメラ動作から成る。例えば、
パン及び／ティルト、或はトラッキング動作は、しばし
ば、対象の動きを追跡するために使用され、従って、対
象が移動を中止すると、カメラも移動を中止する。この
ケースにおいては、カメラ移動の最終結果のみが重要で
ある。別の例は、パン或はティルト動作が、“関連付
け”に使用された場合に見られる。このケースにおいて
は、カメラの移動が、二つの隣接するショット間のゆる
やかな遷移（例えば、ディゾルブ：画面が暗くなるのに
オーバーラップして次の場面が現われる場面転換法）に
類似する役割を果し、カメラ動作の終端は、新たなシー
ンの開始となる。さらにもう一つの例は、ズームイン動
作が、そのシーン内に最初に出現した対象（例えば、ホ
テルの部屋のドア）の拡大された光景を得て、細部（例
えば、部屋の番号）を観察できるように使用される場合
に見られる。
【００２２】カメラ動作の第二の範疇は、カメラ動作の
進行中に起こる映像の見える内容の変化が重要であるカ
メラ動作から成る。これらカメラ移動には、上に定義さ
れたように、“見当識”或は“探究”の目的に対する大
きなパンとティルト移動が含まれる。この範疇には、倍
率に大きな変化が見られるゆるやかなズームイン動作も
含まれる。これらのケースにおいては、隣接するフレー
ムの内容は非常に類似するが、一方、かなり離れたフレ
ームは、大きなパン、ティルト或はズーム動作の結果と
して、最初に存在した対象がカメラの視野から排除さ
れ、最初に存在しなかった新しい対象が導入されるため
に、内容が大きく異なることがある。このような内容の
変化は、単一のショットの間に何回も発生し、一つの継
続したカメラ動作の最中においてさえも数回発生するこ
とがある。
進行中に起こる映像の見える内容の変化が重要であるカ
メラ動作から成る。これらカメラ移動には、上に定義さ
れたように、“見当識”或は“探究”の目的に対する大
きなパンとティルト移動が含まれる。この範疇には、倍
率に大きな変化が見られるゆるやかなズームイン動作も
含まれる。これらのケースにおいては、隣接するフレー
ムの内容は非常に類似するが、一方、かなり離れたフレ
ームは、大きなパン、ティルト或はズーム動作の結果と
して、最初に存在した対象がカメラの視野から排除さ
れ、最初に存在しなかった新しい対象が導入されるため
に、内容が大きく異なることがある。このような内容の
変化は、単一のショットの間に何回も発生し、一つの継
続したカメラ動作の最中においてさえも数回発生するこ
とがある。
【００２３】注目すべき点は、上に説明のカメラ動作の
二つの範疇が互いに排他的でないことである。つまり、
フレーム内容の変化がカメラ移動の最中、並びにカメラ
移動の終端において大くなるようなカメラ動作がしばし
ば見られる。カメラ動作の二つの範疇が説明されたが、
これに基づいてあるショット内のカメラ移動誘発シーン
変化を検出するための基準が以下に説明される。第一の
範疇のカメラ移動によって生成されるシーン変化は、以
下のように検出される。映像パン、映像ティルト、及び
映像ズームの各動作について、その期間を通じて動作が
継続して能動である時間間隔（フレーム単位にて測定）
が見つけられる。シーン変化は、二つの基準：つまり、
１）能動間隔が終端した（つまり、カメラ移動が停止し
た）、及び２）現在のシーンの開始以来の累積効果が所
定のしきい値に到達或はこれを超えた、という二つの基
準が満たされたときに検出される。第一の基準は、カメ
ラ動作の終端を検出する。第二の基準は、正味の効果が
シーン変化を正当化するために充分な意味を持たないよ
うなカメラ動作が起こったときに、シーン変化が生成さ
れることを阻止するために課せられる。このような意味
のない動作は、ジッタの結果として或は対象の小さな横
方向の移動を補正するためにカメラが反復して左右にパ
ンされたときになどに発生する。このようなカメラ動作
の終端時には、映像パンの正味の量は小さく、従って、
一つのシーン変化は生成されない。
二つの範疇が互いに排他的でないことである。つまり、
フレーム内容の変化がカメラ移動の最中、並びにカメラ
移動の終端において大くなるようなカメラ動作がしばし
ば見られる。カメラ動作の二つの範疇が説明されたが、
これに基づいてあるショット内のカメラ移動誘発シーン
変化を検出するための基準が以下に説明される。第一の
範疇のカメラ移動によって生成されるシーン変化は、以
下のように検出される。映像パン、映像ティルト、及び
映像ズームの各動作について、その期間を通じて動作が
継続して能動である時間間隔（フレーム単位にて測定）
が見つけられる。シーン変化は、二つの基準：つまり、
１）能動間隔が終端した（つまり、カメラ移動が停止し
た）、及び２）現在のシーンの開始以来の累積効果が所
定のしきい値に到達或はこれを超えた、という二つの基
準が満たされたときに検出される。第一の基準は、カメ
ラ動作の終端を検出する。第二の基準は、正味の効果が
シーン変化を正当化するために充分な意味を持たないよ
うなカメラ動作が起こったときに、シーン変化が生成さ
れることを阻止するために課せられる。このような意味
のない動作は、ジッタの結果として或は対象の小さな横
方向の移動を補正するためにカメラが反復して左右にパ
ンされたときになどに発生する。このようなカメラ動作
の終端時には、映像パンの正味の量は小さく、従って、
一つのシーン変化は生成されない。
【００２４】第二の範疇のカメラ移動によって生成され
るシーン変化は以下の通りである。映像パン、映像ティ
ルト、及び映像ズームの各動作について、現在のシーン
の開始以来の与えられた動作の累積効果が所定のしきい
値（これは、各動作に対して異なる可能性を持つ）に対
して比較される。その動作に対する累積効果が各々の所
定のしきい値に到達した或は超えたときにシーン変化が
検出される。上記の第一の範疇とは異なり、このケース
においては、動作がまだ進行中のときにシーン変化が生
成されることがある。第二の範疇のカメラ動作に対して
使用される所定のしきい値は、通常は、第一の範疇に対
して使用されるそれよりもかなり大きくされる。第二の
しきい値は、一つの大きなカメラ動作（或は複数の一連
の小さな動作）の進行中に、映像に新たな内容が入るに
は、どれだけの量（値）の変化が要求されるかを決定す
る。例えば、探究或は見当識の目的のためのカメラパン
動作の遂行においては、映像の幅に概ね等しい累積映像
パン値が与えられたときに、結果として、映像の元の内
容が外側に移動し、新しい内容が内部に移動する。この
場合、映像パンのしきい値がその映像の幅と同一或は前
後に選択された場合、適当な時点で新たなシーンが検出
される。
るシーン変化は以下の通りである。映像パン、映像ティ
ルト、及び映像ズームの各動作について、現在のシーン
の開始以来の与えられた動作の累積効果が所定のしきい
値（これは、各動作に対して異なる可能性を持つ）に対
して比較される。その動作に対する累積効果が各々の所
定のしきい値に到達した或は超えたときにシーン変化が
検出される。上記の第一の範疇とは異なり、このケース
においては、動作がまだ進行中のときにシーン変化が生
成されることがある。第二の範疇のカメラ動作に対して
使用される所定のしきい値は、通常は、第一の範疇に対
して使用されるそれよりもかなり大きくされる。第二の
しきい値は、一つの大きなカメラ動作（或は複数の一連
の小さな動作）の進行中に、映像に新たな内容が入るに
は、どれだけの量（値）の変化が要求されるかを決定す
る。例えば、探究或は見当識の目的のためのカメラパン
動作の遂行においては、映像の幅に概ね等しい累積映像
パン値が与えられたときに、結果として、映像の元の内
容が外側に移動し、新しい内容が内部に移動する。この
場合、映像パンのしきい値がその映像の幅と同一或は前
後に選択された場合、適当な時点で新たなシーンが検出
される。
【００２５】検出方法 図４はカメラ誘発シーン変化検出ステップ２５０内に含
まれる詳細なステップの一例を示す流れ図である。最初
に、ステップ４００において、映像パン、映像ティル
ト、及び映像ズームの値が、現在のフレームと前のフレ
ームを使用して決定される。これは、ビデオ番組の時間
的に短縮してサンプリングされたバージョンを使用して
行なうこともできる。これら値は、映像内の複数の時点
において移動ベクトルを発見するためのブロック比較に
よって決定することができる。移動ベクトルの集合がさ
らに、対象の移動と、カメラの移動とを区別し、カメラ
移動を、パン、ティルト、及びズーム成分に分解するた
めに遂行される。これらの手続きは周知であり、例え
ば、Umori K.らによって、IEEE Transactions on Consu
mer Electronics 、Ｖｏｌ．３６、Ｎｏ．３、ページ５
１０−５１９、１９９０年８月発行、に掲載の『Automa
tic Image Stabilizing System by Full-DigitalSignal
Processing（全デジタル処理による自動映像安定化シ
ステム）』という標題の論文、及びAkutsu A．らによっ
て、Proc. SPIE Conf. Visual Communications and Ima
ge Processing （ＶＣＩＰ’９２）、Ｖｏｌ．１８１
８、ページ１５２２−１５３０『Video Indexing Using
Motion Vectors （移動ベクトルを使用してのビデオの
索引付け）』という標題の論文に説明されている。
まれる詳細なステップの一例を示す流れ図である。最初
に、ステップ４００において、映像パン、映像ティル
ト、及び映像ズームの値が、現在のフレームと前のフレ
ームを使用して決定される。これは、ビデオ番組の時間
的に短縮してサンプリングされたバージョンを使用して
行なうこともできる。これら値は、映像内の複数の時点
において移動ベクトルを発見するためのブロック比較に
よって決定することができる。移動ベクトルの集合がさ
らに、対象の移動と、カメラの移動とを区別し、カメラ
移動を、パン、ティルト、及びズーム成分に分解するた
めに遂行される。これらの手続きは周知であり、例え
ば、Umori K.らによって、IEEE Transactions on Consu
mer Electronics 、Ｖｏｌ．３６、Ｎｏ．３、ページ５
１０−５１９、１９９０年８月発行、に掲載の『Automa
tic Image Stabilizing System by Full-DigitalSignal
Processing（全デジタル処理による自動映像安定化シ
ステム）』という標題の論文、及びAkutsu A．らによっ
て、Proc. SPIE Conf. Visual Communications and Ima
ge Processing （ＶＣＩＰ’９２）、Ｖｏｌ．１８１
８、ページ１５２２−１５３０『Video Indexing Using
Motion Vectors （移動ベクトルを使用してのビデオの
索引付け）』という標題の論文に説明されている。
【００２６】Umori らの論文は、カメラ映像の安定化に
係るものであり、移動の推定、対象の移動とカメラの移
動の区別、及び映像パンと映像ティルトの測定のための
リアルタイムシステムを提供する。Akutsuらは、ブロッ
ク比較とハフ変換をショット検出と組合わせて使用する
ことにより、単一ショット期間中のカメラ動作を表わす
新たな映像イコンを生成してカメラ動作を推定するため
の方法を開示する。前述のように、カメラ移動がドリー
或はトラッキング動作を伴う場合は、シーン内の異なる
対象は、一続きのフレーム間で、異なる量だけ移動す
る。このようなケースにおいては、関心の中心は、最も
支配的な対象（それが占拠する全映像に対する割合の観
点から見た場合の）の移動におかれ、この支配的な対象
の移動は、これらの上に述べた方法にて決定することが
できる。
係るものであり、移動の推定、対象の移動とカメラの移
動の区別、及び映像パンと映像ティルトの測定のための
リアルタイムシステムを提供する。Akutsuらは、ブロッ
ク比較とハフ変換をショット検出と組合わせて使用する
ことにより、単一ショット期間中のカメラ動作を表わす
新たな映像イコンを生成してカメラ動作を推定するため
の方法を開示する。前述のように、カメラ移動がドリー
或はトラッキング動作を伴う場合は、シーン内の異なる
対象は、一続きのフレーム間で、異なる量だけ移動す
る。このようなケースにおいては、関心の中心は、最も
支配的な対象（それが占拠する全映像に対する割合の観
点から見た場合の）の移動におかれ、この支配的な対象
の移動は、これらの上に述べた方法にて決定することが
できる。
【００２７】ステップ４１０において、二つのフレーム
間のカメラ誘発移動が（これらが既に個別の成分として
計算されてない場合は）、映像パン、映像ティルト、及
び映像ズーム成分に分解される。これらの各成分につい
て計算された値から、それぞれ、瞬間パン（ＩＰ）、瞬
間ティルト（ＩＴ）、及び瞬間ズーム（ＩＺ）と称され
る３つの離散時間信号が生成される。これら三組の瞬間
信号を独立的に使用して、ステップ４２０、４３０、４
４０において、追加の二つの組の信号が生成される。第
一の組は、現シーンの開始時におけるその瞬間信号の値
から開始してのこれら３つの瞬間信号の一つの値の総和
に等しい値を持つ３つの累積信号から構成され、これら
信号は、それぞれ、累積パン（ＣＰ）、累積ティルト
（ＣＴ）、及び累積ズーム信号と称される。第二の組の
信号は、各々がカメラ移動の３つの成分（つまり、パ
ン、ティルト及びズーム）の一つに対応する３つの二進
値信号（つまり、各々が２つの値のみを持つ信号）から
構成される。これら信号は、対応する移動が使用されて
ない（つまり、能動でない）場合は、０に設定され、一
方、移動が使用されている場合は、１に設定される。こ
れら信号は、それぞれ、パン能動（ＰＡ）、ティルト能
動（ＴＡ）、及びズーム能動（ＺＡ）信号と称される。
本発明の幾つかの例においては、ＰＡ、ＴＡ、ＺＡ信号
を生成する場合には、二つの能動の間隔内に入る短い能
動でない間隔を排除し、これらの二つの能動の間隔が一
つの大きな能動の間隔に併合されるように追加のステッ
プを使用する。
間のカメラ誘発移動が（これらが既に個別の成分として
計算されてない場合は）、映像パン、映像ティルト、及
び映像ズーム成分に分解される。これらの各成分につい
て計算された値から、それぞれ、瞬間パン（ＩＰ）、瞬
間ティルト（ＩＴ）、及び瞬間ズーム（ＩＺ）と称され
る３つの離散時間信号が生成される。これら三組の瞬間
信号を独立的に使用して、ステップ４２０、４３０、４
４０において、追加の二つの組の信号が生成される。第
一の組は、現シーンの開始時におけるその瞬間信号の値
から開始してのこれら３つの瞬間信号の一つの値の総和
に等しい値を持つ３つの累積信号から構成され、これら
信号は、それぞれ、累積パン（ＣＰ）、累積ティルト
（ＣＴ）、及び累積ズーム信号と称される。第二の組の
信号は、各々がカメラ移動の３つの成分（つまり、パ
ン、ティルト及びズーム）の一つに対応する３つの二進
値信号（つまり、各々が２つの値のみを持つ信号）から
構成される。これら信号は、対応する移動が使用されて
ない（つまり、能動でない）場合は、０に設定され、一
方、移動が使用されている場合は、１に設定される。こ
れら信号は、それぞれ、パン能動（ＰＡ）、ティルト能
動（ＴＡ）、及びズーム能動（ＺＡ）信号と称される。
本発明の幾つかの例においては、ＰＡ、ＴＡ、ＺＡ信号
を生成する場合には、二つの能動の間隔内に入る短い能
動でない間隔を排除し、これらの二つの能動の間隔が一
つの大きな能動の間隔に併合されるように追加のステッ
プを使用する。
【００２８】本発明の検出方法は、３つの独立したステ
ップを含むが、これらの各々のステップは、カメラ移動
の３つの成分の一つに対応する。図４において、これら
ステップは、映像パン４１０、映像ティルト４３０、及
び映像ズームステップとして示される。パン、ティル
ト、及びズームに基づくシーン変化検出の副ステップ
は、しきい値パラメータが互いに異なることを除いて全
て実質的に同一である。従って、以下においては、パン
に基づく検出と関連するステップのみをより詳細に説明
し、必要である場合、これと残りの二つの成分の間の差
異を指摘することで充分であると考える。
ップを含むが、これらの各々のステップは、カメラ移動
の３つの成分の一つに対応する。図４において、これら
ステップは、映像パン４１０、映像ティルト４３０、及
び映像ズームステップとして示される。パン、ティル
ト、及びズームに基づくシーン変化検出の副ステップ
は、しきい値パラメータが互いに異なることを除いて全
て実質的に同一である。従って、以下においては、パン
に基づく検出と関連するステップのみをより詳細に説明
し、必要である場合、これと残りの二つの成分の間の差
異を指摘することで充分であると考える。
【００２９】図５には図４の映像パンステップ４２０の
詳細が示される。最初に、ステップ５００において、累
積パン（ＣＰ）信号の新たな値が前の値から、前の値に
瞬間パン信号の新しい値を加えることによって生成され
る。この累積値は、この方法の開始時と、シーン変化の
検出の後の両方において、つまり、ステップ２１０と３
１０で初期化される。注目すべき点は、ＩＰ信号はパン
の方向によって正及び負の数の両方を取ることである。
従って、ＣＰ信号は、正或は負となり、その大きさは、
新たなＩＰ値がＣＰ値に加えられたとき、増加或は減少
する。ステップ５１０において、ＩＰ信号を使用してパ
ン能動（ＡＰ）信号の新しい値が生成される。この信号
は、パン動作が能動でない間隔では０の値を持ち、能動
の間隔においては１の値を取る。上に述べたように、接
近して位置する能動の間隔を単一の間隔に併合し、これ
ら間隔の終端を検出するために追加のステップが使用さ
れる。パン能動ステップ５１０の詳細については、図６
に示され、後に説明される。
詳細が示される。最初に、ステップ５００において、累
積パン（ＣＰ）信号の新たな値が前の値から、前の値に
瞬間パン信号の新しい値を加えることによって生成され
る。この累積値は、この方法の開始時と、シーン変化の
検出の後の両方において、つまり、ステップ２１０と３
１０で初期化される。注目すべき点は、ＩＰ信号はパン
の方向によって正及び負の数の両方を取ることである。
従って、ＣＰ信号は、正或は負となり、その大きさは、
新たなＩＰ値がＣＰ値に加えられたとき、増加或は減少
する。ステップ５１０において、ＩＰ信号を使用してパ
ン能動（ＡＰ）信号の新しい値が生成される。この信号
は、パン動作が能動でない間隔では０の値を持ち、能動
の間隔においては１の値を取る。上に述べたように、接
近して位置する能動の間隔を単一の間隔に併合し、これ
ら間隔の終端を検出するために追加のステップが使用さ
れる。パン能動ステップ５１０の詳細については、図６
に示され、後に説明される。
【００３０】ステップ５２０において、ＣＰ信号の大き
さが所定のしきい値Ｔｐ１に比較される。ＣＰ信号の大
きさがＴｐ１に達した或はこれを超えた場合は、カメラ
動作の第二の範疇に属するシーン変化が示される。この
ケースにおいては、ＰＡ信号の値は使用されない。ＣＰ
信号のこのしきい値への到達は、現在のシーンの最中に
発生する、一つの能動パン間隔、或は複数の離散した能
動間隔のいずれかの結果として起こる。カメラ動作の第
二の範疇に属するシーン変化が検出されなかった場合
は、この方法は、ステップ５３０において、能動パン間
隔の終端がステップ５１０において示されたかチェック
する。終端が検出された場合は、ステップ５４０におい
てＣＰ信号の大きさが所定のしきい値Ｔｐ２に比較され
る。このしきい値に到達或は超えている場合は、カメラ
動作の第一の範疇に属するシーン変化が示される。ステ
ップ５４０は、無視できるような正味効果を持つ複数の
能動パン間隔が一つのシーン変化として登録されること
を阻止するために使用される。このような無視できるカ
メラ動作の例については既に説明した。
さが所定のしきい値Ｔｐ１に比較される。ＣＰ信号の大
きさがＴｐ１に達した或はこれを超えた場合は、カメラ
動作の第二の範疇に属するシーン変化が示される。この
ケースにおいては、ＰＡ信号の値は使用されない。ＣＰ
信号のこのしきい値への到達は、現在のシーンの最中に
発生する、一つの能動パン間隔、或は複数の離散した能
動間隔のいずれかの結果として起こる。カメラ動作の第
二の範疇に属するシーン変化が検出されなかった場合
は、この方法は、ステップ５３０において、能動パン間
隔の終端がステップ５１０において示されたかチェック
する。終端が検出された場合は、ステップ５４０におい
てＣＰ信号の大きさが所定のしきい値Ｔｐ２に比較され
る。このしきい値に到達或は超えている場合は、カメラ
動作の第一の範疇に属するシーン変化が示される。ステ
ップ５４０は、無視できるような正味効果を持つ複数の
能動パン間隔が一つのシーン変化として登録されること
を阻止するために使用される。このような無視できるカ
メラ動作の例については既に説明した。
【００３１】図６はパン能動ステップの詳細を示す。Ｉ
Ｐ信号の現在の値を使用して、ステップ６００、６１
０、及び６２０において、ＰＡ信号に対する新しい値が
生成される。０でないＩＰ信号の値（正或は負）は、パ
ンが能動であることを示し、従って、ＰＡ信号に対して
１の値が与えられ、一方、ＩＰ信号に対する値が０の場
合は、０のＰＡ値が与えれる。ノイズ或は他の要因によ
ってＩＰ信号がカメラが移動してないのに小さな０でな
い値を示すような幾つかの状況においては、ステップ６
００を修正して、ＩＰ信号の大きさをその小さな０でな
い値と比較するチェックを行ない、パン動作能動、或は
非能動が決定される。
Ｐ信号の現在の値を使用して、ステップ６００、６１
０、及び６２０において、ＰＡ信号に対する新しい値が
生成される。０でないＩＰ信号の値（正或は負）は、パ
ンが能動であることを示し、従って、ＰＡ信号に対して
１の値が与えられ、一方、ＩＰ信号に対する値が０の場
合は、０のＰＡ値が与えれる。ノイズ或は他の要因によ
ってＩＰ信号がカメラが移動してないのに小さな０でな
い値を示すような幾つかの状況においては、ステップ６
００を修正して、ＩＰ信号の大きさをその小さな０でな
い値と比較するチェックを行ない、パン動作能動、或は
非能動が決定される。
【００３２】次に、ＰＡ信号がさらに、接近して位置す
る能動間隔を併合し、これら間隔の終端を検出するため
に処理される。ＰＡ信号の新しい値がステップ６３０に
おいてチェックされる。ＰＡ信号が０でない場合は、ス
テップ６４０において、ＰＡ カウンタと称されるカウン
タが所定の整数値Ｎｐ（１よりも大）にセットされる。
このカウンタは、ステップ２１０と３１０において０に
セットされる。Ｎｐの値は、二つの一続きの能動領域を
併合するために埋められる能動でない領域（つまり、Ｐ
Ａ＝０）の最大サイズを決定する。ＰＡ信号が０である
場合は、ステップ６４０は遂行されない。ＰＡ カウン
タが次にステップ６５０において１だけ減分され、ステ
ップ６６０においてその結果がチェックされる。正のカ
ウンタ値は、ＰＡ信号が現在１にセットされているか、
或はこれがＮｐ回のフレーム時間において少なくとも既
に一回は１にセットされたことを示す。これは、結果と
して、（ステップ６１０においてそれが既に１にセット
されてない場合は）、ＰＡ信号を１にセットし、こうし
て、接近して位置する複数の能動間隔を併合する。ＰＡ
カウンタの負の値は、ステップ６５０の以前にカウン
タが０であったことを示す。これは、結果として、ステ
ップ６７０においてカウンタを再度０にセットさせ、ス
テップ６９５において、ＰＡ信号を０にセットさせる。
ステップ６６０におけるカウンタに対する０の値は、カ
ウンタがステップ６６０の以前に１の値を持ったことが
あることを示す。これは、ステップ６８０における能動
間隔の終端を示す。パン能動ステップ５１０の終了時に
おいて、ＰＡ信号に対する現在の（処理された）値が生
成され、存在する場合は、一つの能動パン間隔の終端が
検出される。
る能動間隔を併合し、これら間隔の終端を検出するため
に処理される。ＰＡ信号の新しい値がステップ６３０に
おいてチェックされる。ＰＡ信号が０でない場合は、ス
テップ６４０において、ＰＡ カウンタと称されるカウン
タが所定の整数値Ｎｐ（１よりも大）にセットされる。
このカウンタは、ステップ２１０と３１０において０に
セットされる。Ｎｐの値は、二つの一続きの能動領域を
併合するために埋められる能動でない領域（つまり、Ｐ
Ａ＝０）の最大サイズを決定する。ＰＡ信号が０である
場合は、ステップ６４０は遂行されない。ＰＡ カウン
タが次にステップ６５０において１だけ減分され、ステ
ップ６６０においてその結果がチェックされる。正のカ
ウンタ値は、ＰＡ信号が現在１にセットされているか、
或はこれがＮｐ回のフレーム時間において少なくとも既
に一回は１にセットされたことを示す。これは、結果と
して、（ステップ６１０においてそれが既に１にセット
されてない場合は）、ＰＡ信号を１にセットし、こうし
て、接近して位置する複数の能動間隔を併合する。ＰＡ
カウンタの負の値は、ステップ６５０の以前にカウン
タが０であったことを示す。これは、結果として、ステ
ップ６７０においてカウンタを再度０にセットさせ、ス
テップ６９５において、ＰＡ信号を０にセットさせる。
ステップ６６０におけるカウンタに対する０の値は、カ
ウンタがステップ６６０の以前に１の値を持ったことが
あることを示す。これは、ステップ６８０における能動
間隔の終端を示す。パン能動ステップ５１０の終了時に
おいて、ＰＡ信号に対する現在の（処理された）値が生
成され、存在する場合は、一つの能動パン間隔の終端が
検出される。
【００３３】図７は、各々が異なる状況を表わす、Ｉ
（左側）とＩＩ（右側）によって示される二つの異なる
領域内における瞬間パン信号とこれから導出された信号
に対する典型的な波形の例を示す。領域Ｉは、一方向に
おいて発生する一つの連続したパン動作に対するＩＰ信
号７００を示す。この信号に沿っての二つのポイント７
０２において、ＩＰ信号は非常に短い時間期間だけ０に
なる。これらポイント７０２は、これらの時点において
処理すべき良好のフレームが存在しないため、或は動作
が非常に短い時間停止しその後再開されたために起こ
る。これと関連するＰＡ信号７１０は、ポイント７０２
に起因する二つの能動でない間隔を持つ。これらの能動
でない間隔は、ポイント７０２と関連する１から０への
二つの遷移７１２と、間隔の終端７１３を持つ。７２０
を生成するためにＰＡ信号を処理することによって、こ
の２つの能動でない間隔が排除される。能動パン間隔の
終端７２３は、間隔の終端７１３に対応し、処理に起因
して７１３に対して僅かにシフトされる。ＣＰ信号７３
０は、シーンの開始において０の値を持つが、ＩＰ値の
総和である。能動のパン間隔の終端７２３において、Ｃ
Ｐ信号７３０は、Ｔｐ２しきい値７３５を超える。この
結果として、シーン変化が示され、検出器が再初期化さ
れ、結果として、ＣＰ信号（並びに他の累積信号、能動
信号、及びカウンタ）がポイント７３３において０にセ
ットされる。処理されたＰＡ信号７２０は、能動パン間
隔の終端に対応するポイント７２４を持つ。ただし、こ
のケースにおいては、ＣＰ信号は、パン移動の方向の反
転に起因する変動を持つが、Ｔｐ２しきい値より低い値
７３０を持ち、偽の検出が回避される。
（左側）とＩＩ（右側）によって示される二つの異なる
領域内における瞬間パン信号とこれから導出された信号
に対する典型的な波形の例を示す。領域Ｉは、一方向に
おいて発生する一つの連続したパン動作に対するＩＰ信
号７００を示す。この信号に沿っての二つのポイント７
０２において、ＩＰ信号は非常に短い時間期間だけ０に
なる。これらポイント７０２は、これらの時点において
処理すべき良好のフレームが存在しないため、或は動作
が非常に短い時間停止しその後再開されたために起こ
る。これと関連するＰＡ信号７１０は、ポイント７０２
に起因する二つの能動でない間隔を持つ。これらの能動
でない間隔は、ポイント７０２と関連する１から０への
二つの遷移７１２と、間隔の終端７１３を持つ。７２０
を生成するためにＰＡ信号を処理することによって、こ
の２つの能動でない間隔が排除される。能動パン間隔の
終端７２３は、間隔の終端７１３に対応し、処理に起因
して７１３に対して僅かにシフトされる。ＣＰ信号７３
０は、シーンの開始において０の値を持つが、ＩＰ値の
総和である。能動のパン間隔の終端７２３において、Ｃ
Ｐ信号７３０は、Ｔｐ２しきい値７３５を超える。この
結果として、シーン変化が示され、検出器が再初期化さ
れ、結果として、ＣＰ信号（並びに他の累積信号、能動
信号、及びカウンタ）がポイント７３３において０にセ
ットされる。処理されたＰＡ信号７２０は、能動パン間
隔の終端に対応するポイント７２４を持つ。ただし、こ
のケースにおいては、ＣＰ信号は、パン移動の方向の反
転に起因する変動を持つが、Ｔｐ２しきい値より低い値
７３０を持ち、偽の検出が回避される。
【００３４】図８は第一と第二の範疇の両方に属するシ
ーン変化が検出されるような状況における典型的な波形
の一例を示す。ＩＰ信号７００は、このケースにおいて
は、長期間に渡って維持された一つのパン動作を示す。
これは、処理されたＰＡ信号７２０に反映されるが、こ
れは、８２３における長い能動間隔の終端を示す。ＣＰ
信号は、Ｔｐ１しきい値に、一回目は、能動期間中の８
３３によって示されるポイントにおいて到達する。この
結果として、（第二の範疇に属する）シーン変化が検出
される。ＣＰ信号は、この時点において０にリセットさ
れ、再度、ＩＰ値の累積が開始される。Ｔｐ１しきい値
に、それぞれ、ポイント８３４と８３５において、二度
目、三度目と到達し、結果として、さらに二つのシーン
変化が検出され、結果として、ＣＰ信号が０にセットさ
れる。最後に、能動間隔の終端８２３において、ＣＰ信
号はＴｐ２しきい値を超えており、結果として、ポイン
ト８３６においてもう一つのシーン変化が検出される
が、これは、カメラ移動の第一の範疇に属する。
ーン変化が検出されるような状況における典型的な波形
の一例を示す。ＩＰ信号７００は、このケースにおいて
は、長期間に渡って維持された一つのパン動作を示す。
これは、処理されたＰＡ信号７２０に反映されるが、こ
れは、８２３における長い能動間隔の終端を示す。ＣＰ
信号は、Ｔｐ１しきい値に、一回目は、能動期間中の８
３３によって示されるポイントにおいて到達する。この
結果として、（第二の範疇に属する）シーン変化が検出
される。ＣＰ信号は、この時点において０にリセットさ
れ、再度、ＩＰ値の累積が開始される。Ｔｐ１しきい値
に、それぞれ、ポイント８３４と８３５において、二度
目、三度目と到達し、結果として、さらに二つのシーン
変化が検出され、結果として、ＣＰ信号が０にセットさ
れる。最後に、能動間隔の終端８２３において、ＣＰ信
号はＴｐ２しきい値を超えており、結果として、ポイン
ト８３６においてもう一つのシーン変化が検出される
が、これは、カメラ移動の第一の範疇に属する。
【００３５】ティルトに基づくシーン変化の検出 ティルトとパンは、それらの移動の方向の差異を除いて
は本質的に同一である。従って、パンに基づく検出ステ
ップとティルトに基づくステップは、これらが互いに異
なるしきい値を持つことを除いて本質的に同一である。
これらステップは、互いに独立して遂行される。
は本質的に同一である。従って、パンに基づく検出ステ
ップとティルトに基づくステップは、これらが互いに異
なるしきい値を持つことを除いて本質的に同一である。
これらステップは、互いに独立して遂行される。
【００３６】ズームに基づくシーン変化の検出 カメラのズーム（或はドリー）が映像に与える効果は、
パンとティルトが与える効果とは異なる。パン或はティ
ルトに基づくシーン変化を検出するために使用されたシ
ョット内シーン変化の二つの範疇に対して上に確立され
た基準は、ズームに対しても同様に適用できる。ただ
し、ズームの場合は、瞬間ズーム（ＩＺ）信号と累積ズ
ーム（ＣＺ）信号の計算の前に追加のステップが遂行さ
れなければならない。この区別の理由が以下に説明され
る。
パンとティルトが与える効果とは異なる。パン或はティ
ルトに基づくシーン変化を検出するために使用されたシ
ョット内シーン変化の二つの範疇に対して上に確立され
た基準は、ズームに対しても同様に適用できる。ただ
し、ズームの場合は、瞬間ズーム（ＩＺ）信号と累積ズ
ーム（ＣＺ）信号の計算の前に追加のステップが遂行さ
れなければならない。この区別の理由が以下に説明され
る。
【００３７】パンとティルトは、映像に水平方向と垂直
方向の移行運動を与える。この移行運動は、二つのフレ
ーム間で測定されたとき、これらフレーム間のパン（或
はティルト）動作が一方の方向であるときは正であり、
これとは反対の方向のときは負である。従って、数個の
フレームを通じて遂行される同一の大きさではあるが、
ただし方向の異なるパン（或はティルト）動作は、累積
パン（或はティルト）信号を計算するとき互いに相殺し
合い、従って、現在のシーンの開始以来の０の正味移動
となる。換言すれば、パンとティルトは、加算的成分で
ある。ただし、二つのフレーム間の映像ズームは、乗算
的成分である。例えば、一つのズーム動作の期間中の３
つの一続きのフレームを考える。フレーム２の倍率がフ
レーム１のそれの二倍であり、フレーム３の倍率がフレ
ーム２のそれの１．２５倍である場合は、フレーム３の
フレーム１に対する倍率は、２に１．２５を掛けたも
の、つまり、２．５倍である。従って、本発明の方法
は、映像ズームに対して適用される場合は、瞬間ズーム
信号（ＩＺ）の各値を現在のフレームと前のフレームの
間の相対的倍率の対数に等しくセットされる。この結果
として、倍率が同一に留まる場合（つまり、相対倍率が
１に等しく、対数が０となる場合）、ＩＺ信号に対する
値は、０となる。倍率が増大すると（つまり、倍率係数
が１よりも大きな場合は）、対数は正となり、他方、倍
率が縮小する場合は、対数は負となる。従って、ズーム
能動（ＺＡ）信号と累積ズーム（ＣＺ）信号は、上に説
明のパンに基づく移動に対するのと同一の方法にて計算
されるが、ただし、ＩＺ信号を生成するために対数を計
算するためのこの追加のステップが要求される。
方向の移行運動を与える。この移行運動は、二つのフレ
ーム間で測定されたとき、これらフレーム間のパン（或
はティルト）動作が一方の方向であるときは正であり、
これとは反対の方向のときは負である。従って、数個の
フレームを通じて遂行される同一の大きさではあるが、
ただし方向の異なるパン（或はティルト）動作は、累積
パン（或はティルト）信号を計算するとき互いに相殺し
合い、従って、現在のシーンの開始以来の０の正味移動
となる。換言すれば、パンとティルトは、加算的成分で
ある。ただし、二つのフレーム間の映像ズームは、乗算
的成分である。例えば、一つのズーム動作の期間中の３
つの一続きのフレームを考える。フレーム２の倍率がフ
レーム１のそれの二倍であり、フレーム３の倍率がフレ
ーム２のそれの１．２５倍である場合は、フレーム３の
フレーム１に対する倍率は、２に１．２５を掛けたも
の、つまり、２．５倍である。従って、本発明の方法
は、映像ズームに対して適用される場合は、瞬間ズーム
信号（ＩＺ）の各値を現在のフレームと前のフレームの
間の相対的倍率の対数に等しくセットされる。この結果
として、倍率が同一に留まる場合（つまり、相対倍率が
１に等しく、対数が０となる場合）、ＩＺ信号に対する
値は、０となる。倍率が増大すると（つまり、倍率係数
が１よりも大きな場合は）、対数は正となり、他方、倍
率が縮小する場合は、対数は負となる。従って、ズーム
能動（ＺＡ）信号と累積ズーム（ＣＺ）信号は、上に説
明のパンに基づく移動に対するのと同一の方法にて計算
されるが、ただし、ＩＺ信号を生成するために対数を計
算するためのこの追加のステップが要求される。
【００３８】上の議論は、カメラ誘発移動のパン、ティ
ルト、及びズーム成分の各々を互いに独立して扱う。た
だし、これは、本発明によって規定される検出基準が、
これら成分の幾つかの組合わせに対して適用されること
を排除することを意味するものではない。例えば、パン
とティルト成分を結合して一つの移動ベクトル生成し、
この結果として得られるベクトルの大きさを本発明の検
出方法において使用することもできる。
ルト、及びズーム成分の各々を互いに独立して扱う。た
だし、これは、本発明によって規定される検出基準が、
これら成分の幾つかの組合わせに対して適用されること
を排除することを意味するものではない。例えば、パン
とティルト成分を結合して一つの移動ベクトル生成し、
この結果として得られるベクトルの大きさを本発明の検
出方法において使用することもできる。
【００３９】用途 ショット境界検出法はビデオ番組に対する索引を生成す
るために使用することができる。これら索引はビデオ番
組から個々のショットを選択的に検索するために使用す
ることができる。本発明は、ショット内の個々のシーン
に対する索引を生成することによる第二のレベルの索引
付けを提供する。これら両方のレベルの索引を提供する
ことによって、より選択性の高いビデオ情報検索システ
ムを提供することが可能である。本発明の方法の索引付
け以外の他の用途も可能であり、これらの幾つかについ
て以下に説明される。
るために使用することができる。これら索引はビデオ番
組から個々のショットを選択的に検索するために使用す
ることができる。本発明は、ショット内の個々のシーン
に対する索引を生成することによる第二のレベルの索引
付けを提供する。これら両方のレベルの索引を提供する
ことによって、より選択性の高いビデオ情報検索システ
ムを提供することが可能である。本発明の方法の索引付
け以外の他の用途も可能であり、これらの幾つかについ
て以下に説明される。
【００４０】各シーン（ショット境界とショット内シー
ン境界の観点から定義された）からの単一のフレームを
保持しながら、元のフレームの列から代表フレームの列
を生成することが可能である。この代表フレームの列
は、元のフレーム列の内容（例えば、ビデオ番組）が大
きな変化を被ったようなフレームを含む。一続きの代表
フレーム間の時間的な距離は、二つの一続きの代表フレ
ームの間に位置する元のフレーム列内フレームの内容の
変化の速度の関数である。つまり、内容が急速に変化す
る場合は、より多くの代表映像が保持され、一方、内容
があまり速く変化しない場合は、より少ない代表映像が
保持される。信号処理の視点からは、この状況は、例え
ばビデオ番組の、一様な間隔のサンプル（例えば、ＮＴ
ＳＣビデオの毎秒当り３０のフレーム）を持つ一様にサ
ンプリングされたソースからの、かなり少数のサンプル
への、一様でない再サンプリング（或はダウンサンプリ
ング）であると見ることができる。この少数のサンプル
は、集合的に、元のビデオ番組内に含まれる視覚情報の
殆どを含む。従って、本発明の方法に従って生成された
セットの代表映像は、元のビデオ番組の濃縮版と見なす
ことができる。この方法にて得られたセットの静止映像
は、複数の映像圧縮技術の任意の技術（例えば、ＪＰＥ
Ｇ）を使用して処理することにより、さらに格納及び伝
送要件を低減することができる。
ン境界の観点から定義された）からの単一のフレームを
保持しながら、元のフレームの列から代表フレームの列
を生成することが可能である。この代表フレームの列
は、元のフレーム列の内容（例えば、ビデオ番組）が大
きな変化を被ったようなフレームを含む。一続きの代表
フレーム間の時間的な距離は、二つの一続きの代表フレ
ームの間に位置する元のフレーム列内フレームの内容の
変化の速度の関数である。つまり、内容が急速に変化す
る場合は、より多くの代表映像が保持され、一方、内容
があまり速く変化しない場合は、より少ない代表映像が
保持される。信号処理の視点からは、この状況は、例え
ばビデオ番組の、一様な間隔のサンプル（例えば、ＮＴ
ＳＣビデオの毎秒当り３０のフレーム）を持つ一様にサ
ンプリングされたソースからの、かなり少数のサンプル
への、一様でない再サンプリング（或はダウンサンプリ
ング）であると見ることができる。この少数のサンプル
は、集合的に、元のビデオ番組内に含まれる視覚情報の
殆どを含む。従って、本発明の方法に従って生成された
セットの代表映像は、元のビデオ番組の濃縮版と見なす
ことができる。この方法にて得られたセットの静止映像
は、複数の映像圧縮技術の任意の技術（例えば、ＪＰＥ
Ｇ）を使用して処理することにより、さらに格納及び伝
送要件を低減することができる。
【００４１】一般的には、保持されるべき特定の代表映
像の決定に採用される基準は、何がビデオセグメントの
内容の変化を構成するか、或はどんなタイプの変化が重
要であると見なされるかを決定するために使用される基
準に依存する。使用される特定の基準は、代表フレーム
を保持するための動機によっても異なる。例えば、幾つ
かの用途においては、人物の顔の表情などのような微妙
な細部が重要であると考えられ、このような変化の検出
が、ある特定の映像技術では不可能な高度で複雑なレベ
ルの処理を必要とする可能性はあるが、ただし、本発明
の方法によって規定される基準は、ビデオ番組内の大多
数のコンテキストの変化を検出するための良く定義され
た実際的な方法を与える。代表フレーム内に含まれる情
報は、それ自体では完全なものではないかもしれない
が、これらのフレームが、例えば、マルチメディアデー
タ内の視覚要素として使用された場合、この組合わせは
豊かな情報源と成り得る。ダウンサンプリング処理の結
果としての幾らかの視覚情報の潜在的な損失は、しばし
ば、格納及び伝送要件のかなりの低減が達成されること
を前提に正当化される。
像の決定に採用される基準は、何がビデオセグメントの
内容の変化を構成するか、或はどんなタイプの変化が重
要であると見なされるかを決定するために使用される基
準に依存する。使用される特定の基準は、代表フレーム
を保持するための動機によっても異なる。例えば、幾つ
かの用途においては、人物の顔の表情などのような微妙
な細部が重要であると考えられ、このような変化の検出
が、ある特定の映像技術では不可能な高度で複雑なレベ
ルの処理を必要とする可能性はあるが、ただし、本発明
の方法によって規定される基準は、ビデオ番組内の大多
数のコンテキストの変化を検出するための良く定義され
た実際的な方法を与える。代表フレーム内に含まれる情
報は、それ自体では完全なものではないかもしれない
が、これらのフレームが、例えば、マルチメディアデー
タ内の視覚要素として使用された場合、この組合わせは
豊かな情報源と成り得る。ダウンサンプリング処理の結
果としての幾らかの視覚情報の潜在的な損失は、しばし
ば、格納及び伝送要件のかなりの低減が達成されること
を前提に正当化される。
【００４２】本発明のマルチメディアビデオ番組と関連
する幾つかの用途例が以下に説明される。例えば、本発
明によって得られたセットの代表映像は、恐らくは、圧
縮された形式にて、音響及び／或はテキスト（これらも
圧縮された形式）との関連で使用され、コンピュータ或
はワークステーション上に濃縮されたマルチメディア番
組として格納することができる。元の番組の濃縮版は、
検索して、コンピュータ上に表示することができる。代
表フレームは、コンピュータ画面上に音響を伴って表示
され、音響は、スピーカを通じてフレームとの適切な同
期にて伝えられる。コンピュータに格納された代表フレ
ームは、番組を所望のポイントに早送り或は巻き戻しす
るための索引として使用することもできる。ビデオ番組
のデジタル的に格納・圧縮されたマルチメディア版は、
別のワークステーションによって遠隔地から簡単にアク
セスすることができる。
する幾つかの用途例が以下に説明される。例えば、本発
明によって得られたセットの代表映像は、恐らくは、圧
縮された形式にて、音響及び／或はテキスト（これらも
圧縮された形式）との関連で使用され、コンピュータ或
はワークステーション上に濃縮されたマルチメディア番
組として格納することができる。元の番組の濃縮版は、
検索して、コンピュータ上に表示することができる。代
表フレームは、コンピュータ画面上に音響を伴って表示
され、音響は、スピーカを通じてフレームとの適切な同
期にて伝えられる。コンピュータに格納された代表フレ
ームは、番組を所望のポイントに早送り或は巻き戻しす
るための索引として使用することもできる。ビデオ番組
のデジタル的に格納・圧縮されたマルチメディア版は、
別のワークステーションによって遠隔地から簡単にアク
セスすることができる。
【００４３】生のビデオ番組の濃縮されたマルチメディ
ア版をリアルタイムにて生成し、帯域制限された伝送ラ
インを使用して遠隔地に伝送することもできる。これ
は、遠隔ユーザが、静止映像を表示しまた音響を再生す
ることができるビデオ電話或はコンピュータを使用し
て、電話回線を通じて生の放送にアクセスすることを可
能にする。ビデオ番組或はビデオセグメントの内容に基
づく再サンプリングは、映像データベースやビデオデー
タベースにも適用することができる。映像データベース
は、フレーム或は映像の集合から構成されるが、これに
関して内容に基づく照会を遂行することができる。照会
に応答して映像から情報を取り出すためには、通常、デ
ータベース内の映像の多数のセグメントに関して映像処
理と解釈を遂行することが必要である。映像処理と解釈
の動作の高い計算コストのために処理できる映像の数に
は制約がある。従って、ビデオ番組の集成に対して、個
々のフレームの処理によってこれらの動作を遂行するこ
とは、ビデオセグメント内に含まれるフレームの数が大
きいために非常に困難である。ところが、本発明の内容
に基づく再サンプリング法を使用すると、個々のビデオ
セグメントをより少数の映像に低減することができる
が、こうして濃縮された映像に対して、内容に基づく照
会を行なう方法の方がより現実的であると考えられる。
ア版をリアルタイムにて生成し、帯域制限された伝送ラ
インを使用して遠隔地に伝送することもできる。これ
は、遠隔ユーザが、静止映像を表示しまた音響を再生す
ることができるビデオ電話或はコンピュータを使用し
て、電話回線を通じて生の放送にアクセスすることを可
能にする。ビデオ番組或はビデオセグメントの内容に基
づく再サンプリングは、映像データベースやビデオデー
タベースにも適用することができる。映像データベース
は、フレーム或は映像の集合から構成されるが、これに
関して内容に基づく照会を遂行することができる。照会
に応答して映像から情報を取り出すためには、通常、デ
ータベース内の映像の多数のセグメントに関して映像処
理と解釈を遂行することが必要である。映像処理と解釈
の動作の高い計算コストのために処理できる映像の数に
は制約がある。従って、ビデオ番組の集成に対して、個
々のフレームの処理によってこれらの動作を遂行するこ
とは、ビデオセグメント内に含まれるフレームの数が大
きいために非常に困難である。ところが、本発明の内容
に基づく再サンプリング法を使用すると、個々のビデオ
セグメントをより少数の映像に低減することができる
が、こうして濃縮された映像に対して、内容に基づく照
会を行なう方法の方がより現実的であると考えられる。
【図１】本発明に従う一例としてのカメラ誘発シーン変
化検出器のブロック図を示すが、ビデオ源とアプリケー
ションインターフェースも示される。
化検出器のブロック図を示すが、ビデオ源とアプリケー
ションインターフェースも示される。
【図２】単一のショットに関して動作する本発明の方法
の一例を図解するフローチャートである。
の一例を図解するフローチャートである。
【図３】ショット境界検出器との関連でショット境界の
所のシーン変化とショット内の位置でのシーン変化を検
出するために動作する本発明の一例を図解するフローチ
ャートである。
所のシーン変化とショット内の位置でのシーン変化を検
出するために動作する本発明の一例を図解するフローチ
ャートである。
【図４】カメラ誘発シーン変化の検出において使用され
る詳細なステップの一例を図解するフローチャートであ
る。
る詳細なステップの一例を図解するフローチャートであ
る。
【図５】パンに基づくシーン変化の検出において使用さ
れる追加の詳細ステップの一例を図解するフローチャー
トである。
れる追加の詳細ステップの一例を図解するフローチャー
トである。
【図６】複数の接近した能動間隔から単一のパン能動信
号を生成するための詳細システムを図解するフローチャ
ートである。
号を生成するための詳細システムを図解するフローチャ
ートである。
【図７】映像パン信号に対する一例としての波形である
が、それぞれ、複数の接近した能動間隔を併合するため
の処理の前と後の関連するパン能動信号、及び一つの能
動間隔の終端においてシーン変化を与える累積パン信号
が示される。
が、それぞれ、複数の接近した能動間隔を併合するため
の処理の前と後の関連するパン能動信号、及び一つの能
動間隔の終端においてシーン変化を与える累積パン信号
が示される。
【図８】一つの持続されたパン動作中の映像パン信号の
一例であるが、それぞれ、複数の接近した能動間隔の前
と後の関連するパン能動信号と累積パン信号が示され
る。４つのシーン変化の内の３つはこの一つの能動間隔
の最中に発生することがわかる。
一例であるが、それぞれ、複数の接近した能動間隔の前
と後の関連するパン能動信号と累積パン信号が示され
る。４つのシーン変化の内の３つはこの一つの能動間隔
の最中に発生することがわかる。
１ ビデオソース ３ 映像デジタル化装置 ４ 映像プロセッサ ５ プロセッサ ６ 映像メモリ ７ デジタルコンピュータ ８ シーン変化検出アプリケーション
Claims (19)
- 【請求項１】 単一のショットを構成する視覚情報を帯
びるフレームの列のカメラ誘発シーン変化を決定する方
法であって、この方法が： （ａ）単一のカメラショット内の複数のフレーム対の各
々の間のカメラ誘発移動を表わす第一の信号を生成する
ステップ； （ｂ）第一の信号を少なくともカメラ誘発移動の一つの
成分を表わす第一の成分信号に分解するステップ； （ｃ）各フレーム対に対する第一の成分信号の値を総和
して、複数のフレーム対を通じてのその成分に対する総
和カメラ誘発移動を表わす第一の累積信号を形成するス
テップ；及び （ｄ）第一の累積信号がある判定基準を満たしたときシ
ーン変化を示す指示信号を生成するステップを含むこと
を特徴とする方法。 - 【請求項２】 （ｅ）カメラ誘発移動の第二、第三成分
に対してステップ（ｂ）を反復し、第二、第三成分の信
号を形成し、それぞれ、第一、第二、第三の成分が映像
パン、映像ティルト、映像ズームを表わすようにするス
テップ；及び （ｆ）第二、第三の成分に対してステップ（ｃ）を反復
し、それぞれ、第二、第三の累積信号を形成するステッ
プがさらに含まれ、ここで前記のステップ（ｄ）が第
一、第二或は第三の累積信号の少なくとも一つがある判
定基準を満たしたときシーン変化を示す指示信号を生成
するステップから成ることを特徴とする請求項１の方
法。 - 【請求項３】 （ｅ）カメラ誘発移動の第一の成分に対
応する少なくともの第一の能動信号を生成するステップ
がさらに含まれ、この第一の能動信号が、それぞれ、カ
メラ誘発移動の第一の成分に対するカメラ誘発移動の不
在と、カメラ誘発移動の存在を表わす第一と、第二の値
を持ち；ここで、前記の指示信号を生成するステップが
第一の能動信号と第一の累積信号が各々ある判定基準を
満たしたときにシーン変化を示す指示信号を生成するス
テップから成ることを特徴とする請求項１の方法。 - 【請求項４】 （ｆ）カメラ誘発移動の第二、第三の成
分に対してステップ（ｂ）を反復し、第二、第三成分の
信号を形成し、それぞれ、第一、第二、第三の成分が映
像パン、映像ティルト、映像ズームを表わすようにする
ステップ； （ｇ）第二、第三の成分に対してステップ（ｃ）を反復
して、それぞれ、第二、第三の累積信号を形成するステ
ップ；及び （ｈ）ステップ（ｅ）を反復することにより、それぞ
れ、カメラ移動の第二、第三の成分に対応する第二、第
三の能動信号を決定するステップがさらに含まれ、 ここで、前記のシーン変化を示す指示信号を生成するス
テップが、第一、第二或は第三の能動信号の少なくとも
一つと、この少なくとも一つの第一、第二、或は第三の
能動信号と同一のカメラ誘発移動の成分を表わす累積信
号とが、それぞれ、ある判定基準を満たすときシーン変
化を示す指示信号を生成するステップから成ることを特
徴とする請求項３の方法。 - 【請求項５】 前記のある判定基準が前記の複数の累積
信号の各々に対する複数の所定のしきい値から構成さ
れ、この判定基準が、第一、第二、或は第三の累積信号
の少なくとも一つがそれに対応する所定のしきい値と少
なくとも同一の大きさの規模を持つときに満たされるこ
とを特徴とする請求項２の方法。 - 【請求項６】 前記の指示信号を生成するステップがさ
らに：一つの間隔の終端の後にシーン変化を示す指示信
号を生成するステップを含み、ここでこの間隔を通じて
前記の複数の能動信号の少なくとも一つが第二の値を取
り、しかもこの少なくとも一つの能動信号と同一のカメ
ラ誘発移動の成分を表わす対応する累積信号の規模が一
つの能動間隔の終端においてある所定のしきい値の大き
さと少なくとも同一であるときに前記の指示信号が生成
されることを特徴とする請求項４の方法。 - 【請求項７】 単一のカメラショットを構成する視覚情
報を帯びるフレームの列内のカメラ誘発シーン変化を決
定する方法であって、この方法が： （ａ）単一のカメラショット内の複数の対のフレームの
各対の間のカメラ誘発移動を表わす第一の信号を生成す
るステップ； （ｂ）複数のフレーム対に対して、前記の第一の信号の
カメラ誘発移動を映像パン、映像ティルト、及び映像ズ
ームの値を表わす成分に分解し、それぞれ、映像パン信
号、映像ティルト信号、及び映像ズーム信号を形成する
ステップ； （ｃ）映像パン、映像ティルト、及び映像ズーム信号の
各々を総和して、それぞれ、累積パン信号、累積ティル
ト信号、及び累積ズーム信号を形成するステップ；及び （ｄ）これらの累積信号の少なくとも一つがある判定基
準を満たしたときにシーン変化を示す指示信号を生成す
るステップを含むことを特徴とする方法。 - 【請求項８】 （ｅ）映像パン、映像ティルト、及び映
像ズーム成分の各々に対して一つの能動信号を生成する
ためのステップがさらに含まれ、これら各能動信号が第
一と第二の値を持ち、第一の値がある成分が０の大きさ
を持つことを表わし、第二の値がある成分が０でない大
きさを持つことを表わし；前記のシーン変化を示す指示
信号を生成するステップが、前記の複数の能動信号の少
なくとも一つと、この少なくとも一つの能動信号と同一
成分のカメラ誘発移動を表わす累積信号とが、それぞ
れ、ある判定基準を満たしたときにシーン変化を示す指
示信号を生成するステップから成ることを特徴とする請
求項７の方法。 - 【請求項９】 前記の幾つかの判定基準が複数の累積信
号の少なくとも一つの大きさが所定のしきい値を超えた
ときに満たされることを特徴とする請求項７の方法。 - 【請求項１０】 前記の判定基準が前記の複数の累積信
号の各々に対する複数の所定のしきい値から構成され、
この判定基準がこれら複数の累積信号の少なくとも一つ
がその対応する所定のしきい値を超えたときに満たされ
ることを特徴とする請求項７の方法。 - 【請求項１１】 前記の指示信号を生成するステップが
さらに：一つの間隔の終端の後にシーン変化を示すステ
ップを含み、ここでこの一つの間隔を通じて前記の複数
の能動の信号の少なくとも一つがその第二の値を取り、
しかもこの少なくとも一つの能動信号と同一成分のカメ
ラ誘発移動を表わす対応する累積信号の規模がその能動
間隔の終端において少なくともある所定のしきい値と同
一の大きさを持つときに前記の指示信号が生成されるこ
とを特徴とする請求項８の方法。 - 【請求項１２】 前記の第一の信号を生成するステップ
が： （ａ）前記の複数の対のフレームの各対の間の移動推定
を遂行するステップ；及び （ｂ）各フレーム対に対して、カメラ誘発移動と対象の
移動との間の判別を行なうステップを含むことを特徴と
する請求項７の方法。 - 【請求項１３】 前記の指示信号を生成するステップが
さらに、示されたシーン変化によって定義されるあるシ
ーンからのフレームを保持するステップを含むことを特
徴とする請求項１の方法。 - 【請求項１４】 （ｅ）ステップ（ａ）から（ｄ）を単
一のショット内のシーン変化間の全ての境界が示される
まで反復するステップがさらに含まれ、前記の第一成分
の信号の値を総和して第一の累積信号を形成するステッ
プが、直前のシーン変化の後に決定された第一の成分の
値のみを総和するステップから成ることを特徴とする請
求項１の方法。 - 【請求項１５】 検出されたシーン変化によって定義さ
れる各シーンからのフレームを保持するステップがさら
に含まれることを特徴とする請求項１４の方法。 - 【請求項１６】 検出されたシーン変化によって定義さ
れる各シーンからのフレームの位置を含む索引を形成す
るステップがさらに含まれることを特徴とする請求項１
４の方法。 - 【請求項１７】 前記の保持されたフレームがマルチメ
ディアデータの視覚成分を構成するセットの代表フレー
ムを形成することを特徴とする請求項１５の方法。 - 【請求項１８】 単一のショットを構成する視覚情報を
帯びるフレームの列内のカメラ誘発シーン変化を決定す
る方法であって、この方法が： （ａ）単一のカメラショット内の複数の対のフレームの
各対の間のカメラ誘発移動を表わす信号を生成するステ
ップ； （ｂ）複数のフレーム対に対して、複数のこれら信号を
総和することによって第一の累積信号を形成するステッ
プ；及び （ｃ）前記の第一の累積信号がある判定基準を満たした
ときシーン変化を示す指示信号を生成するステップを含
むことを特徴とする方法。 - 【請求項１９】 （ｆ）ステップ（ｂ）をカメラ誘発移
動の第二、第三の成分に対して反復し、第二、第三の成
分信号を形成し、それぞれ、第一、第二、及び第三の成
分が映像パン、映像ティルト、及び映像ズームを表わす
ようにするステップ； （ｇ）第一、第二、第三の成分信号の組合わせに対して
ステップ（ｃ）を反復し、一つの結合された累積信号を
形成するステップ；及び （ｈ）ステップ（ｅ）を反復して前記の結合された累積
信号に対応する一つの結合された能動信号を生成するス
テップがさらに含まれ；前記の指示信号を生成するため
のステップが、結合された能動信号と結合された累積信
号とが、それぞれ、ある判定基準を満たすときにシーン
変化を示す指示信号を生成するステップから成ることを
特徴とする請求項３の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/191,234 US6211912B1 (en) | 1994-02-04 | 1994-02-04 | Method for detecting camera-motion induced scene changes |
| US191234 | 1994-02-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07226877A true JPH07226877A (ja) | 1995-08-22 |
| JP3554595B2 JP3554595B2 (ja) | 2004-08-18 |
Family
ID=22704664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01657795A Expired - Lifetime JP3554595B2 (ja) | 1994-02-04 | 1995-02-03 | カメラ移動誘発シーン変化を検出するための方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6211912B1 (ja) |
| EP (1) | EP0666687B1 (ja) |
| JP (1) | JP3554595B2 (ja) |
| KR (1) | KR100333993B1 (ja) |
| CA (1) | CA2135938C (ja) |
| DE (1) | DE69513541T2 (ja) |
| HK (1) | HK1004508A1 (ja) |
| SG (1) | SG43690A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003514318A (ja) | 1999-11-18 | 2003-04-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ／データ／ビジュアル情報選択のための方法及び装置 |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6271892B1 (en) | 1994-06-02 | 2001-08-07 | Lucent Technologies Inc. | Method and apparatus for compressing a sequence of information-bearing frames having at least two media |
| US7298425B2 (en) * | 1998-03-26 | 2007-11-20 | Micron Technology, Inc. | Method for assisting video compression in a computer system |
| US6987545B1 (en) * | 1998-03-26 | 2006-01-17 | Micron Technology, Inc. | Apparatus for assisting video compression in a computer system |
| AUPP340798A0 (en) * | 1998-05-07 | 1998-05-28 | Canon Kabushiki Kaisha | Automated video interpretation system |
| JP2000059669A (ja) * | 1998-08-07 | 2000-02-25 | Canon Inc | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| US6539055B1 (en) * | 1999-12-03 | 2003-03-25 | Intel Corporation | Scene change detector for video data |
| US20040189804A1 (en) * | 2000-02-16 | 2004-09-30 | Borden George R. | Method of selecting targets and generating feedback in object tracking systems |
| US7015976B1 (en) * | 2000-08-07 | 2006-03-21 | Ati International Srl | Automatic panning of digital content while zoomed |
| US6700601B1 (en) * | 2000-08-10 | 2004-03-02 | Jps International, Inc. | Method and apparatus for video communication over a limited bandwidth medium |
| US7414646B2 (en) | 2000-08-10 | 2008-08-19 | Jps International, Inc. | Method and apparatus for video communication over a limited bandwidth medium |
| JP4366023B2 (ja) * | 2001-03-16 | 2009-11-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
| JP4497761B2 (ja) | 2001-07-18 | 2010-07-07 | キヤノン株式会社 | 画像処理装置及びインデックス作成方法 |
| KR100415313B1 (ko) * | 2001-12-24 | 2004-01-16 | 한국전자통신연구원 | 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 |
| US20040100560A1 (en) * | 2002-11-22 | 2004-05-27 | Stavely Donald J. | Tracking digital zoom in a digital video camera |
| US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| JP4112968B2 (ja) | 2002-12-26 | 2008-07-02 | 富士通株式会社 | ビデオテキスト処理装置 |
| US7312819B2 (en) * | 2003-11-24 | 2007-12-25 | Microsoft Corporation | Robust camera motion analysis for home video |
| KR101017362B1 (ko) * | 2004-01-08 | 2011-02-28 | 삼성전자주식회사 | 다이나믹 영상 재생을 위한 자동 줌 장치 및 방법 |
| US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US9210312B2 (en) | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
| US20050270372A1 (en) * | 2004-06-02 | 2005-12-08 | Henninger Paul E Iii | On-screen display and privacy masking apparatus and method |
| US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
| US7733369B2 (en) * | 2004-09-28 | 2010-06-08 | Objectvideo, Inc. | View handling in video surveillance systems |
| US7504965B1 (en) | 2005-08-05 | 2009-03-17 | Elsag North America, Llc | Portable covert license plate reader |
| JP4818031B2 (ja) * | 2005-10-27 | 2011-11-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP4210954B2 (ja) * | 2006-08-22 | 2009-01-21 | ソニー株式会社 | 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置 |
| EP2063635A4 (en) * | 2006-09-12 | 2009-12-09 | Panasonic Corp | CONTENT IMAGE FORMATION DEVICE |
| JP2008160564A (ja) * | 2006-12-25 | 2008-07-10 | Toshiba Corp | カメラ装置およびカメラ装置におけるチャプタデータ生成方法 |
| WO2008111308A1 (ja) * | 2007-03-12 | 2008-09-18 | Panasonic Corporation | コンテンツ撮影装置 |
| US20080255840A1 (en) * | 2007-04-16 | 2008-10-16 | Microsoft Corporation | Video Nametags |
| US8526632B2 (en) * | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
| US8330787B2 (en) | 2007-06-29 | 2012-12-11 | Microsoft Corporation | Capture device movement compensation for speaker indexing |
| US8165416B2 (en) * | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
| JP5050727B2 (ja) * | 2007-08-22 | 2012-10-17 | ソニー株式会社 | 画像表示装置 |
| US8667455B1 (en) * | 2010-06-11 | 2014-03-04 | Worldwide Pro Ltd. | Hierarchical visualization-based analysis of integrated circuits |
| US8922648B2 (en) | 2010-08-26 | 2014-12-30 | Honda Motor Co., Ltd. | Rotation cancellation for moving obstacle detection |
| US20130104083A1 (en) * | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
| US9131143B2 (en) * | 2012-07-20 | 2015-09-08 | Blackberry Limited | Dynamic region of interest adaptation and image capture device providing same |
| WO2015025185A1 (en) * | 2013-08-21 | 2015-02-26 | Thomson Licensing | Video display with pan function controlled by viewing direction |
| DE102014216511A1 (de) * | 2014-08-20 | 2016-02-25 | Carl Zeiss Meditec Ag | Erstellen von Kapitelstrukturen für Videodaten mit Bildern aus einem Operationsmikroskop-Objektbereich |
| EP3264880B1 (en) * | 2015-02-26 | 2020-11-18 | FUJI Corporation | Component-mounting device |
| US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60143330A (ja) * | 1983-12-29 | 1985-07-29 | Matsushita Electric Ind Co Ltd | 撮影装置 |
| US4823184A (en) * | 1984-04-09 | 1989-04-18 | Corporate Communications Consultants, Inc. | Color correction system and method with scene-change detection |
| DE3415685A1 (de) * | 1984-04-27 | 1985-11-07 | Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt | Verfahren zur szenenwechselerkennung in filmen und videoaufzeichnungen sowie zur ueberwachung von objekten mittels videokameras |
| GB2187913B (en) * | 1984-09-07 | 1988-02-10 | British Broadcasting Corp | Measurement of film unsteadiness in a video signal |
| JP2977829B2 (ja) * | 1989-01-11 | 1999-11-15 | 株式会社東芝 | 動画像再生装置および動画像再生方法 |
| JP2861249B2 (ja) * | 1989-05-11 | 1999-02-24 | 日本電気株式会社 | 画像変化検出方法および画像変化検出装置 |
| US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
| US5192964A (en) * | 1991-03-04 | 1993-03-09 | Ricoh Company, Ltd. | Camera having blurring movement correction mechanism |
| JP2677312B2 (ja) * | 1991-03-11 | 1997-11-17 | 工業技術院長 | カメラワーク検出方法 |
| JP3103897B2 (ja) * | 1991-03-19 | 2000-10-30 | ソニー株式会社 | 手振れ補正装置および手振れ補正方法 |
| US6055025A (en) * | 1993-12-21 | 2000-04-25 | Lucent Technologies, Inc. | Method and apparatus for detecting abrupt and gradual scene changes in image sequences |
-
1994
- 1994-02-04 US US08/191,234 patent/US6211912B1/en not_active Expired - Lifetime
- 1994-11-16 CA CA002135938A patent/CA2135938C/en not_active Expired - Fee Related
-
1995
- 1995-01-24 KR KR1019950001138A patent/KR100333993B1/ko not_active IP Right Cessation
- 1995-01-26 DE DE69513541T patent/DE69513541T2/de not_active Expired - Lifetime
- 1995-01-26 EP EP95300459A patent/EP0666687B1/en not_active Expired - Lifetime
- 1995-01-26 SG SG1995002192A patent/SG43690A1/en unknown
- 1995-02-03 JP JP01657795A patent/JP3554595B2/ja not_active Expired - Lifetime
-
1998
- 1998-05-05 HK HK98103839A patent/HK1004508A1/xx not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003514318A (ja) | 1999-11-18 | 2003-04-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ／データ／ビジュアル情報選択のための方法及び装置 |
| JP2011086315A (ja) * | 1999-11-18 | 2011-04-28 | Koninkl Philips Electronics Nv | オーディオ／データ／ビジュアル情報選択のための方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1004508A1 (en) | 1998-11-27 |
| DE69513541T2 (de) | 2000-07-06 |
| SG43690A1 (en) | 1997-11-14 |
| EP0666687A3 (en) | 1996-02-07 |
| KR100333993B1 (ko) | 2002-09-05 |
| KR950033633A (ko) | 1995-12-26 |
| CA2135938A1 (en) | 1995-08-05 |
| DE69513541D1 (de) | 2000-01-05 |
| US6211912B1 (en) | 2001-04-03 |
| EP0666687A2 (en) | 1995-08-09 |
| JP3554595B2 (ja) | 2004-08-18 |
| EP0666687B1 (en) | 1999-12-01 |
| CA2135938C (en) | 2000-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3554595B2 (ja) | カメラ移動誘発シーン変化を検出するための方法 | |
| US7046731B2 (en) | Extracting key frames from a video sequence | |
| Pritch et al. | Nonchronological video synopsis and indexing | |
| US7469010B2 (en) | Extracting key frames from a video sequence | |
| Zhang et al. | Developing power tools for video indexing and retrieval | |
| US6278466B1 (en) | Creating animation from a video | |
| JP5355422B2 (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
| US6268864B1 (en) | Linking a video and an animation | |
| US6081278A (en) | Animation object having multiple resolution format | |
| US7376274B2 (en) | Method and apparatus for use in video searching | |
| US7734144B2 (en) | Method and apparatus for editing source video to provide video image stabilization | |
| JP5451769B2 (ja) | 同じイベントの動画及び静止画をこのビデオのグローバル運動ベクトルに基づき合併すること | |
| KR20010089770A (ko) | 동적 임계치를 사용하는 비주얼 인덱싱 시스템에 대한중요 장면 검출 및 프레임 필터링 | |
| JP2001526859A (ja) | ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア | |
| JPH0993588A (ja) | 動画像処理方法 | |
| KR100313713B1 (ko) | 화소샘플링을이용한시각율동생성방법 | |
| Zhang | Content-based video browsing and retrieval | |
| WO1999065224A2 (en) | Creating animation from a video | |
| Kim et al. | Visual rhythm and shot verification | |
| WO1999005865A1 (en) | Content-based video access | |
| Hampapur et al. | Indexing in video databases | |
| JP3558886B2 (ja) | 映像処理装置 | |
| Kopf et al. | Automatic generation of summaries for the Web | |
| Kim et al. | An efficient graphical shot verifier incorporating visual rhythm | |
| Zhang | Video content analysis and retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040303 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040510 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |