JPH06333048A - 動画像処理装置 - Google Patents
動画像処理装置Info
- Publication number
- JPH06333048A JPH06333048A JP12590293A JP12590293A JPH06333048A JP H06333048 A JPH06333048 A JP H06333048A JP 12590293 A JP12590293 A JP 12590293A JP 12590293 A JP12590293 A JP 12590293A JP H06333048 A JPH06333048 A JP H06333048A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- moving image
- moving
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Abstract
(57)【要約】
【目的】本発明は、動画像の内容を容易に把握できるよ
うな代表画像の検出を可能にする。 【構成】動画像からシーンの切れ目となる分割時点を検
出するシーン検出部２０と、シーン検出部２０によって
切れ目が検出されたシーン毎に、動画像の撮影位置が移
動している状態で撮影された部分を含むシーンであるか
否かによってシーンの種類を判別するシーン種類判別部
２２と、シーン種類判別部２２によって、動画像の撮影
位置が移動している状態で撮影された部分を含むと判別
されたシーンを、撮影位置が移動した時点で分割する第
１シーン分割部２６と、シーン種類判別部２２によっ
て、動画像の撮影位置が移動している状態で撮影された
部分を含まないと判別されたシーンを、所定以上の移動
物体が存在する時点で分割する第２シーン分割部２８と
を具備して構成する。
うな代表画像の検出を可能にする。 【構成】動画像からシーンの切れ目となる分割時点を検
出するシーン検出部２０と、シーン検出部２０によって
切れ目が検出されたシーン毎に、動画像の撮影位置が移
動している状態で撮影された部分を含むシーンであるか
否かによってシーンの種類を判別するシーン種類判別部
２２と、シーン種類判別部２２によって、動画像の撮影
位置が移動している状態で撮影された部分を含むと判別
されたシーンを、撮影位置が移動した時点で分割する第
１シーン分割部２６と、シーン種類判別部２２によっ
て、動画像の撮影位置が移動している状態で撮影された
部分を含まないと判別されたシーンを、所定以上の移動
物体が存在する時点で分割する第２シーン分割部２８と
を具備して構成する。
Description
【０００１】
【産業上の利用分野】本発明は、動画像を内容に応じて
時間軸上で分割することにより、代表的な画面を選択し
て管理する動画像処理装置に関する。
時間軸上で分割することにより、代表的な画面を選択し
て管理する動画像処理装置に関する。
【０００２】
【従来の技術】従来、ビデオカメラ等によって撮影され
た動画像から必要な部分を抽出するような場合には、必
要な箇所がビデオテープのどこに録画されているか不明
であるため、早送りなどで映像を最初から映ていき目的
とする必要な箇所を探索するという作業が必要であり、
使用者には不便であった。
た動画像から必要な部分を抽出するような場合には、必
要な箇所がビデオテープのどこに録画されているか不明
であるため、早送りなどで映像を最初から映ていき目的
とする必要な箇所を探索するという作業が必要であり、
使用者には不便であった。
【０００３】ところで、計算機の処理能力の進歩によ
り、計算機で動画像を蓄積、再生することが可能となっ
ている。計算機での動画像の再生により、映画を見るよ
うに長時間連続して見るのではなく、例えば商品の展示
会の様子が撮影された動画像の中から特定の商品に関係
する部分のみを見ようとする際に、情報検索を容易に行
なうことができるようなる。
り、計算機で動画像を蓄積、再生することが可能となっ
ている。計算機での動画像の再生により、映画を見るよ
うに長時間連続して見るのではなく、例えば商品の展示
会の様子が撮影された動画像の中から特定の商品に関係
する部分のみを見ようとする際に、情報検索を容易に行
なうことができるようなる。
【０００４】近年では、計算機を用いて動画像中から必
要な部分を探索するために、動画像中の例えば隣接する
フレーム画像間の輝度等の差分を求め、差分値が大きな
時点をシーンの切れ目として検出し、シーン毎に代表画
像を求めて、この代表画像をもとに動画像の管理ができ
る装置が考えられている。この種、装置によれば、使用
者は、動画像を連続して見る必要はなく、代表画像だけ
を見て必要な箇所（シーン）を選択することができる。
要な部分を探索するために、動画像中の例えば隣接する
フレーム画像間の輝度等の差分を求め、差分値が大きな
時点をシーンの切れ目として検出し、シーン毎に代表画
像を求めて、この代表画像をもとに動画像の管理ができ
る装置が考えられている。この種、装置によれば、使用
者は、動画像を連続して見る必要はなく、代表画像だけ
を見て必要な箇所（シーン）を選択することができる。
【０００５】
【発明が解決しようとする課題】このように従来の動画
像処理装置では、動画像中からシーンを検出し、各シー
ンに対応して代表画像を求め、この代表画像をもとに動
画像の管理を行なっていた。
像処理装置では、動画像中からシーンを検出し、各シー
ンに対応して代表画像を求め、この代表画像をもとに動
画像の管理を行なっていた。
【０００６】しかしながら、シーンの切れ目は、撮影さ
れた内容による分割として適当ではあるが、必ずしも動
画像の内容を把握するための適切な箇所とはいえなかっ
た。例えば、講演会の様子を撮影する場合、カメラの位
置が固定されて撮影が継続されることによって動画像が
取得される場合がある。この動画像中では、説明者が交
替する程度しか画像変化がないため、シーンの切れ目と
判別される差分値が検出されないことがある。このた
め、長時間に及ぶ１シーンに対して代表画像が求められ
ることになり、このシーン内の内容を把握することがで
きなくなってしまう。この場合、従来と同様に、候補と
なるシーン内から目的とする部分を探し出すために、シ
ーン内の動画像を見る必要があり、使用者に対する負担
となってしまう。
れた内容による分割として適当ではあるが、必ずしも動
画像の内容を把握するための適切な箇所とはいえなかっ
た。例えば、講演会の様子を撮影する場合、カメラの位
置が固定されて撮影が継続されることによって動画像が
取得される場合がある。この動画像中では、説明者が交
替する程度しか画像変化がないため、シーンの切れ目と
判別される差分値が検出されないことがある。このた
め、長時間に及ぶ１シーンに対して代表画像が求められ
ることになり、このシーン内の内容を把握することがで
きなくなってしまう。この場合、従来と同様に、候補と
なるシーン内から目的とする部分を探し出すために、シ
ーン内の動画像を見る必要があり、使用者に対する負担
となってしまう。
【０００７】このように、従来のようにシーンの検出だ
けに基づいて代表画像を求める装置では、動画像の内容
を代表画像から十分に把握することができず、使用者の
負担の増加を招くことがあった。
けに基づいて代表画像を求める装置では、動画像の内容
を代表画像から十分に把握することができず、使用者の
負担の増加を招くことがあった。
【０００８】本発明は前記のような点に鑑みてなされた
もので、動画像の内容を容易に把握できるように代表画
像を検出することが可能な動画像処理装置を提供するこ
とを目的とする。
もので、動画像の内容を容易に把握できるように代表画
像を検出することが可能な動画像処理装置を提供するこ
とを目的とする。
【０００９】
【課題を解決するための手段】本発明は、連続するフレ
ーム画像から構成される動画像を時間軸上で分割する動
画像処理装置において、前記動画像からシーンの切れ目
となる分割時点を検出するシーン検出手段と、前記シー
ン検出手段によって切れ目が検出されたシーン毎に、前
記動画像の撮影位置が移動している状態で撮影された部
分を含むシーンであるか否かによってシーンの種類を判
別する種類判別手段と、前記種類判別手段によって、前
記動画像の撮影位置が移動している状態で撮影された部
分を含むと判別されたシーンを、撮影位置が移動した時
点で分割する第１シーン分割手段と、前記種類判別手段
によって、前記動画像の撮影位置が移動している状態で
撮影された部分を含まないと判別されたシーンを、所定
以上の移動物体が存在する時点で分割する第２シーン分
割手段とを具備したことを特徴とする。
ーム画像から構成される動画像を時間軸上で分割する動
画像処理装置において、前記動画像からシーンの切れ目
となる分割時点を検出するシーン検出手段と、前記シー
ン検出手段によって切れ目が検出されたシーン毎に、前
記動画像の撮影位置が移動している状態で撮影された部
分を含むシーンであるか否かによってシーンの種類を判
別する種類判別手段と、前記種類判別手段によって、前
記動画像の撮影位置が移動している状態で撮影された部
分を含むと判別されたシーンを、撮影位置が移動した時
点で分割する第１シーン分割手段と、前記種類判別手段
によって、前記動画像の撮影位置が移動している状態で
撮影された部分を含まないと判別されたシーンを、所定
以上の移動物体が存在する時点で分割する第２シーン分
割手段とを具備したことを特徴とする。
【００１０】また、前記シーン検出手段、前記第１シー
ン分割手段、及び前記第２シーン分割手段によって得ら
れた時点におけるフレーム画像を、各時点での代表的な
画像として管理する代表画像管理手段をさらに具備した
ことを特徴とする。
ン分割手段、及び前記第２シーン分割手段によって得ら
れた時点におけるフレーム画像を、各時点での代表的な
画像として管理する代表画像管理手段をさらに具備した
ことを特徴とする。
【００１１】
【作用】このような構成によれば、動画像の内容を把握
するために参照されるフレーム画像（代表画像）が、シ
ーンを代表する代表画像に加えて、各シーンを撮影位置
が移動した時点、すなわち動画像を取得する際にカメラ
が移動した時点と、シーンの切れ目とは判別されなかっ
た所定以上の移動物体が存在する時点において求められ
る。従って、動画像の内容を表わす特徴的な代表画像が
適度（必要以上に多くなることなく）に得られ、動画像
の内容把握を容易、かつ効果的に行なうことができる。
するために参照されるフレーム画像（代表画像）が、シ
ーンを代表する代表画像に加えて、各シーンを撮影位置
が移動した時点、すなわち動画像を取得する際にカメラ
が移動した時点と、シーンの切れ目とは判別されなかっ
た所定以上の移動物体が存在する時点において求められ
る。従って、動画像の内容を表わす特徴的な代表画像が
適度（必要以上に多くなることなく）に得られ、動画像
の内容把握を容易、かつ効果的に行なうことができる。
【００１２】
【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は本発明の一実施例に係わる動画像処理装
置の構成を示すブロック図である。図１に示すように動
画像処理装置は、動画像入力部１０、シーン検出部２
０、シーン種類判別部２２、動画像階層化部２４、代表
画像管理部３０によって構成されている。また、動画像
階層化部２４は、第１シーン分割部２６及び第２シーン
分割部２８によって構成されている。
明する。図１は本発明の一実施例に係わる動画像処理装
置の構成を示すブロック図である。図１に示すように動
画像処理装置は、動画像入力部１０、シーン検出部２
０、シーン種類判別部２２、動画像階層化部２４、代表
画像管理部３０によって構成されている。また、動画像
階層化部２４は、第１シーン分割部２６及び第２シーン
分割部２８によって構成されている。
【００１３】動画像入力部１０は、ビデオカメラ等によ
って撮影した映像の信号をデジタル化することによって
生成された、連続するフレーム画像によって構成される
動画像を入力するものである。
って撮影した映像の信号をデジタル化することによって
生成された、連続するフレーム画像によって構成される
動画像を入力するものである。
【００１４】シーン検出部２０は、動画像入力部１０に
よって入力された動画像からシーン変化を検出するもの
である。シーン種類判別部２２は、シーン検出部２０に
よって検出されたシーンを動画像階層化部２４がシーン
種類（後述する）に応じて分割するために、各シーンの
種類を判別するものである。
よって入力された動画像からシーン変化を検出するもの
である。シーン種類判別部２２は、シーン検出部２０に
よって検出されたシーンを動画像階層化部２４がシーン
種類（後述する）に応じて分割するために、各シーンの
種類を判別するものである。
【００１５】動画像階層化部２４は、シーン検出部２０
によって検出されたシーン毎に解析を行ない、シーン種
類判別部２２によって判別されたシーン種類に応じた方
式により、シーン内部で画像変化が所定以上大きい箇所
を検出（シーン分割）するものである。
によって検出されたシーン毎に解析を行ない、シーン種
類判別部２２によって判別されたシーン種類に応じた方
式により、シーン内部で画像変化が所定以上大きい箇所
を検出（シーン分割）するものである。
【００１６】本実施例におけるシーン種類としては、第
１にカメラ移動がある状態で撮影された動画像が検出さ
れたシーン（第１シーン）であり、第２にカメラ移動が
ない状態で撮影された動画像が検出されたシーン（第２
シーン）である。
１にカメラ移動がある状態で撮影された動画像が検出さ
れたシーン（第１シーン）であり、第２にカメラ移動が
ない状態で撮影された動画像が検出されたシーン（第２
シーン）である。
【００１７】第１シーン分割部２６は、シーン種類判別
部２２によって第１シーンと判別されたシーンについ
て、代表画像の階層化のために動画像の分割を行なうも
のである。第２シーン分割部２８は、シーン種類判別部
２２によって第２シーンと判別されたシーンについて、
代表画像の階層化のために動画像の分割を行なうもので
ある。
部２２によって第１シーンと判別されたシーンについ
て、代表画像の階層化のために動画像の分割を行なうも
のである。第２シーン分割部２８は、シーン種類判別部
２２によって第２シーンと判別されたシーンについて、
代表画像の階層化のために動画像の分割を行なうもので
ある。
【００１８】代表画像管理部３０は、シーン検出部２０
によって検出されるシーンの切れ目の代表画像、及び動
画像階層化部２４（第１シーン分割部２６，第２シーン
分割部２８）によるシーン分割に応じて求められる代表
画像の管理を行なうもので、図示せぬ表示装置の表示制
御を行なうものである。
によって検出されるシーンの切れ目の代表画像、及び動
画像階層化部２４（第１シーン分割部２６，第２シーン
分割部２８）によるシーン分割に応じて求められる代表
画像の管理を行なうもので、図示せぬ表示装置の表示制
御を行なうものである。
【００１９】次に、本実施例の動作について、図２に示
すフローチャートを参照しながら説明する。なお、以下
の説明では、動画像をｆ（ｔ，ｘ，ｙ）で表わすものと
する。また、説明を簡単にするために、時点ｔ、位置
（ｘ，ｙ）の値は一つの値、例えば輝度だけであるとし
て説明する。カラー動画像の場合には、時点ｔ、位置
（ｘ，ｙ）毎に３つの値、例えば赤（Ｒ）・緑（Ｇ）・
青（Ｂ）の３成分のデータ値で表現されるが、以下で説
明する手順が、その場合に拡張して適用できることは明
らかである。
すフローチャートを参照しながら説明する。なお、以下
の説明では、動画像をｆ（ｔ，ｘ，ｙ）で表わすものと
する。また、説明を簡単にするために、時点ｔ、位置
（ｘ，ｙ）の値は一つの値、例えば輝度だけであるとし
て説明する。カラー動画像の場合には、時点ｔ、位置
（ｘ，ｙ）毎に３つの値、例えば赤（Ｒ）・緑（Ｇ）・
青（Ｂ）の３成分のデータ値で表現されるが、以下で説
明する手順が、その場合に拡張して適用できることは明
らかである。
【００２０】動画像入力部１０により入力された動画像
は、シーン検出部２０に与えられる。シーン検出部２０
は、処理対象の動画像に対して、連続フレーム間の差分
演算を行なって、シーンの切れ目を検出する（ステップ
Ｓ１）。シーン検出部２０は、以下のような処理を行な
う。
は、シーン検出部２０に与えられる。シーン検出部２０
は、処理対象の動画像に対して、連続フレーム間の差分
演算を行なって、シーンの切れ目を検出する（ステップ
Ｓ１）。シーン検出部２０は、以下のような処理を行な
う。
【００２１】まず、シーン検出部２０は、以下の（１）
式で示す演算によって、図３に示すように、処理対象と
するフレーム画像ｆ（ｔ，ｘ，ｙ）と隣り合うフレーム
画像ｆ（ｔ−１，ｘ，ｙ）により差分画像ｄｉｆｆ１
（ｔ，ｘ，ｙ）を求める。 ｄｉｆｆ１（ｔ，ｘ，ｙ）＝ｆ（ｔ，ｘ，ｙ）−ｆ（ｔ−１，ｘ，ｙ）…（１） 次に、差分に関わった２つのフレーム画像間での変化の
大きさＤ（ｔ）を、以下の（２）式に基づいて求める。
式で示す演算によって、図３に示すように、処理対象と
するフレーム画像ｆ（ｔ，ｘ，ｙ）と隣り合うフレーム
画像ｆ（ｔ−１，ｘ，ｙ）により差分画像ｄｉｆｆ１
（ｔ，ｘ，ｙ）を求める。 ｄｉｆｆ１（ｔ，ｘ，ｙ）＝ｆ（ｔ，ｘ，ｙ）−ｆ（ｔ−１，ｘ，ｙ）…（１） 次に、差分に関わった２つのフレーム画像間での変化の
大きさＤ（ｔ）を、以下の（２）式に基づいて求める。
【００２２】
【数１】
【００２３】ただし、式（２）で使われている記号NX，
NYは、動画像の縦と横のサイズを表わしている。最後
に、シーン検出部２０は、正規化によって得られた変化
の大きさ（Ｄ（ｔ）／(NX ×NY) ）に対して、予め設定
されたしきい値に基づくしきい値処理によって、シーン
の切れ目かどうかを判別する。すなわち、変化の大きさ
が、しきい値以上であって画像の変化が大きい場合に、
時点ｔ−１と時点ｔとの間をシーンの切れ目として検出
する。
NYは、動画像の縦と横のサイズを表わしている。最後
に、シーン検出部２０は、正規化によって得られた変化
の大きさ（Ｄ（ｔ）／(NX ×NY) ）に対して、予め設定
されたしきい値に基づくしきい値処理によって、シーン
の切れ目かどうかを判別する。すなわち、変化の大きさ
が、しきい値以上であって画像の変化が大きい場合に、
時点ｔ−１と時点ｔとの間をシーンの切れ目として検出
する。
【００２４】次に、シーン種類判別部２２は、シーン検
出部２０によって検出されたシーンの切れ目までのシー
ンについてシーン種類を判定し、シーンの分割を第１シ
ーン分割部２６または第２シーン分割部２８の何れを使
用するかを選択する（ステップＳ２）。
出部２０によって検出されたシーンの切れ目までのシー
ンについてシーン種類を判定し、シーンの分割を第１シ
ーン分割部２６または第２シーン分割部２８の何れを使
用するかを選択する（ステップＳ２）。
【００２５】シーン種類判別部２２での判定処理とし
て、２つの方法（ａ）（ｂ）がある。まず、方法（ａ）
について説明する。シーン種類判別部２２は、該当する
シーンの先頭と最後のフレームとを比較し、変化が大き
い領域が大きい場合は、そのシーンでカメラ移動がある
と判別し、そうでない場合は、シーンでカメラ移動がな
いと判別する。シーン種類判別部２２は、以下のような
処理を行なう。
て、２つの方法（ａ）（ｂ）がある。まず、方法（ａ）
について説明する。シーン種類判別部２２は、該当する
シーンの先頭と最後のフレームとを比較し、変化が大き
い領域が大きい場合は、そのシーンでカメラ移動がある
と判別し、そうでない場合は、シーンでカメラ移動がな
いと判別する。シーン種類判別部２２は、以下のような
処理を行なう。
【００２６】まず、次式（３）の演算により、先頭時点
ＴS の画像と最後の時点ＴE の画像との差分画像ｄｉｆ
ｆ（ｘ，ｙ）を求める。 ｄｉｆｆ（ｘ，ｙ）＝ｆ（ＴS ，ｘ，ｙ）−ｆ（ＴE −１，ｘ，ｙ）…（３） 次に、シーン種類判別部２２は、次式（４）に示すよう
に、画素毎に、予め設定されたしきい値をもとに、しき
い値処理を行なって変化が大きいと判別された画素を
“１”、その他を“０”とする。
ＴS の画像と最後の時点ＴE の画像との差分画像ｄｉｆ
ｆ（ｘ，ｙ）を求める。 ｄｉｆｆ（ｘ，ｙ）＝ｆ（ＴS ，ｘ，ｙ）−ｆ（ＴE −１，ｘ，ｙ）…（３） 次に、シーン種類判別部２２は、次式（４）に示すよう
に、画素毎に、予め設定されたしきい値をもとに、しき
い値処理を行なって変化が大きいと判別された画素を
“１”、その他を“０”とする。
【００２７】
【数２】
【００２８】最後に、シーン種類判別部２２は、次式
（５）に示すように、変化が大きい領域の面積（ｃｈａ
ｎｇｅＡＲＥＡ）を求め、この面積が所定値以上大きい
場合にカメラ移動があると判別する。
（５）に示すように、変化が大きい領域の面積（ｃｈａ
ｎｇｅＡＲＥＡ）を求め、この面積が所定値以上大きい
場合にカメラ移動があると判別する。
【００２９】
【数３】
【００３０】次に、方法（ｂ）について説明する。シー
ン種類判別部２２は、画素毎に、シーン全体を通しての
輝度値の分散を求め、分散が大きい画素が多い場合は、
そのシーンでカメラ移動があると判別し、そうでない場
合は、シーンでカメラ移動がないと判別する。シーン種
類判別部２２は、以下のような処理を行なう。まず、次
式（６）に示すように、分散画像ｄｉｖ（ｘ，ｙ）を求
める。
ン種類判別部２２は、画素毎に、シーン全体を通しての
輝度値の分散を求め、分散が大きい画素が多い場合は、
そのシーンでカメラ移動があると判別し、そうでない場
合は、シーンでカメラ移動がないと判別する。シーン種
類判別部２２は、以下のような処理を行なう。まず、次
式（６）に示すように、分散画像ｄｉｖ（ｘ，ｙ）を求
める。
【００３１】
【数４】
【００３２】なお、（６）式のNTは、（ＴE −ＴS ＋
１）であり、対象としているシーンの長さを表わしてい
る。次に、シーン種類判別部２２は、次式（７）に示す
ように、画素毎に、予め設定されたしきい値をもとに、
しきい値処理を行なって分散が大きいと判別された画素
を“１”、その他を“０”とする。
１）であり、対象としているシーンの長さを表わしてい
る。次に、シーン種類判別部２２は、次式（７）に示す
ように、画素毎に、予め設定されたしきい値をもとに、
しきい値処理を行なって分散が大きいと判別された画素
を“１”、その他を“０”とする。
【００３３】
【数５】
【００３４】最後に、シーン種類判別部２２は、次式
（８）に示すように、分散が大きい領域の面積（ｄｉｖ
ｅｒｇｅＡＲＥＡ）を求め、この面積が所定値以上大き
い場合にカメラ移動があると判別する。
（８）に示すように、分散が大きい領域の面積（ｄｉｖ
ｅｒｇｅＡＲＥＡ）を求め、この面積が所定値以上大き
い場合にカメラ移動があると判別する。
【００３５】
【数６】
【００３６】シーン種類判別部２２は、カメラ移動があ
ると判別した場合には、動画像階層化部２４の第１シー
ン分割部２６に通知し、カメラ移動がない判別した場合
には、第２シーン分割部２８に通知して処理を起動す
る。
ると判別した場合には、動画像階層化部２４の第１シー
ン分割部２６に通知し、カメラ移動がない判別した場合
には、第２シーン分割部２８に通知して処理を起動す
る。
【００３７】次に、カメラ移動があると判別された場合
の、第１シーン分割部２６における処理について説明す
る。第１シーン分割部２６は、シーン中からカメラの移
動した時点を検出し、この時点でシーンを分割する（ス
テップＳ３）。
の、第１シーン分割部２６における処理について説明す
る。第１シーン分割部２６は、シーン中からカメラの移
動した時点を検出し、この時点でシーンを分割する（ス
テップＳ３）。
【００３８】カメラの動きは、例えば図４に示すよう
に、画像に対して設定した小領域の動きで求めることが
できる。図４に示す例では、小領域を上（Ｕ）、下
（Ｄ）、右（Ｒ）、左（Ｌ）に配置している。第１シー
ン分割部２６は、４つの小領域が同一方向に動いている
期間をカメラの縦横の動きとして検出し、その前後でシ
ーンを分割する。
に、画像に対して設定した小領域の動きで求めることが
できる。図４に示す例では、小領域を上（Ｕ）、下
（Ｄ）、右（Ｒ）、左（Ｌ）に配置している。第１シー
ン分割部２６は、４つの小領域が同一方向に動いている
期間をカメラの縦横の動きとして検出し、その前後でシ
ーンを分割する。
【００３９】なお、小領域の動きを求めるためには、例
えばパターンサーチの手法を用いる。これは、ｆ（ｔ，
ｘ，ｙ）における小領域との差異が小さいパターンをｆ
（ｔ＋１，ｘ，ｙ）の中で探索するもので、以下の手順
で実現できる。
えばパターンサーチの手法を用いる。これは、ｆ（ｔ，
ｘ，ｙ）における小領域との差異が小さいパターンをｆ
（ｔ＋１，ｘ，ｙ）の中で探索するもので、以下の手順
で実現できる。
【００４０】すなわち、ｆ（ｔ，ｘ，ｙ）の中の小領域
ｆ（ｔ，ｕ，ｖ）を考える。ただし、ｘｓ≦ｕ≦ｘｅ、
ｙｓ≦ｖ≦ｙｅである。ｆ（ｔ＋１，ｘ，ｙ）の中で、
ｆ（ｔ，ｕ，ｖ）との差異ｄｉｓｔ（dx，dy）を次式
（９）で求める。
ｆ（ｔ，ｕ，ｖ）を考える。ただし、ｘｓ≦ｕ≦ｘｅ、
ｙｓ≦ｖ≦ｙｅである。ｆ（ｔ＋１，ｘ，ｙ）の中で、
ｆ（ｔ，ｕ，ｖ）との差異ｄｉｓｔ（dx，dy）を次式
（９）で求める。
【００４１】
【数７】
【００４２】ただし、（dx，dy）は可能性がある小領域
の動きの量で、短時間で小領域の動きが小さいと考えれ
ば、−２≦dx≦２、−２≦dy≦２程度で十分である。そ
して、ｄｉｓｔ（dx，dy）が最小となる（dx，dy）が、
その小領域の動きを表わす値である。第１シーン分割部
２６は、この値に基づいてシーンを分割する。
の動きの量で、短時間で小領域の動きが小さいと考えれ
ば、−２≦dx≦２、−２≦dy≦２程度で十分である。そ
して、ｄｉｓｔ（dx，dy）が最小となる（dx，dy）が、
その小領域の動きを表わす値である。第１シーン分割部
２６は、この値に基づいてシーンを分割する。
【００４３】次に、カメラ移動がないと判別された場合
の、第２シーン分割部２８における処理について説明す
る。第２シーン分割部２８は、シーン中から移動物体の
出入りを検出し、この時点でシーンを分割する（ステッ
プＳ４）。
の、第２シーン分割部２８における処理について説明す
る。第２シーン分割部２８は、シーン中から移動物体の
出入りを検出し、この時点でシーンを分割する（ステッ
プＳ４）。
【００４４】第２シーン分割部２８は、ステップＳ１に
おける処理と同様にして、差分画像ｄｉｆｆ１（ｔ，
ｘ，ｙ）を求めて、しきい値処理を行なうことで、連続
フレーム間で変化した画像を求めることができる。ここ
での処理は、カメラ移動がない場合に行なっているの
で、これらの画像には移動物体が存在しているものと判
別できる。特に、画像の外周縁部に変化した画素が多数
ある場合には、移動物体が侵入、あるいは退出したと判
別できる。ここでシーンを分割して代表画像を求める。
おける処理と同様にして、差分画像ｄｉｆｆ１（ｔ，
ｘ，ｙ）を求めて、しきい値処理を行なうことで、連続
フレーム間で変化した画像を求めることができる。ここ
での処理は、カメラ移動がない場合に行なっているの
で、これらの画像には移動物体が存在しているものと判
別できる。特に、画像の外周縁部に変化した画素が多数
ある場合には、移動物体が侵入、あるいは退出したと判
別できる。ここでシーンを分割して代表画像を求める。
【００４５】なお、ステップＳ４におけるしきい値処理
は、ステップＳ１におけるしきい値処理で用いられるし
きい値よりも低い（画像の変化が大きいと判別されやす
い）値に設定されている。
は、ステップＳ１におけるしきい値処理で用いられるし
きい値よりも低い（画像の変化が大きいと判別されやす
い）値に設定されている。
【００４６】以上のステップＳ２〜Ｓ４の処理を、ステ
ップＳ１によって判別された全てのシーンについて行な
うまで繰り返して行なう（ステップＳ５）。この結果、
例えば図５に示すように、動画像が階層的に分割され
る。
ップＳ１によって判別された全てのシーンについて行な
うまで繰り返して行なう（ステップＳ５）。この結果、
例えば図５に示すように、動画像が階層的に分割され
る。
【００４７】図５に示す動画像は、シーン１（カメラ移
動あり）、シーン２（カメラ移動なし）、シーン３…が
検出されており、さらにシーン１についてカメラ移動１
〜３（３箇所）が検出され、シーン２について１箇所で
移動物体（講演会における説明者の交替）が検出てい
る。従って、この動画像については、各シーンを代表す
る代表画像と、カメラ移動及び移動物体が検出された時
点の代表画像が得られる。
動あり）、シーン２（カメラ移動なし）、シーン３…が
検出されており、さらにシーン１についてカメラ移動１
〜３（３箇所）が検出され、シーン２について１箇所で
移動物体（講演会における説明者の交替）が検出てい
る。従って、この動画像については、各シーンを代表す
る代表画像と、カメラ移動及び移動物体が検出された時
点の代表画像が得られる。
【００４８】代表画像管理部３０は、動画像階層化部２
４によって得られた代表画像について、動画像の内容を
把握するために、例えば次の（１）〜（３）のようにし
て管理する。
４によって得られた代表画像について、動画像の内容を
把握するために、例えば次の（１）〜（３）のようにし
て管理する。
【００４９】（１）短い動画像の場合、分割された部分
毎の代表画像を全て（あるいは一部）を、図示せぬ表示
装置に配列表示する。これにより、使用者が動画像の構
成を把握し、必要な部分を選択することを支援すること
ができる。
毎の代表画像を全て（あるいは一部）を、図示せぬ表示
装置に配列表示する。これにより、使用者が動画像の構
成を把握し、必要な部分を選択することを支援すること
ができる。
【００５０】（２）長い動画像の場合、まずシーン毎の
代表画像を使用者に提示して選択を促し、次に使用者が
選択シーンに含まれる、再分割された部分毎の代表画像
を提示して最終的に必要な部分を選択することを可能に
する。
代表画像を使用者に提示して選択を促し、次に使用者が
選択シーンに含まれる、再分割された部分毎の代表画像
を提示して最終的に必要な部分を選択することを可能に
する。
【００５１】（３）使用者がシーン毎に、再分割された
部分毎に任意のキーワードを付与して記録しておくこと
により、例えば展示会を撮影した動画像の中から、特定
の部分をキーワードをもとに容易に検索することができ
る。
部分毎に任意のキーワードを付与して記録しておくこと
により、例えば展示会を撮影した動画像の中から、特定
の部分をキーワードをもとに容易に検索することができ
る。
【００５２】このようにして、動画像をシーンの切れ目
毎に分割して代表画像を取得し、さらに各シーン内でカ
メラ移動があれば、その部分を検出してシーン分割し、
カメラ移動がなければ移動物体を検出して、その部分で
シーン分割して代表画像を取得する。従って、動画像が
階層化された代表画像によって、その内容を十分に把握
することができる。
毎に分割して代表画像を取得し、さらに各シーン内でカ
メラ移動があれば、その部分を検出してシーン分割し、
カメラ移動がなければ移動物体を検出して、その部分で
シーン分割して代表画像を取得する。従って、動画像が
階層化された代表画像によって、その内容を十分に把握
することができる。
【００５３】なお、前記実施例ではシーンの再分割の方
法を、カメラ移動ありの場合とカメラ移動なしの場合に
別けて自動的に選択するものとして説明したが、１つの
動画像全体で１つの方法を固定して使用したり、使用者
が任意に選択した方法を用いるようにしても良い。
法を、カメラ移動ありの場合とカメラ移動なしの場合に
別けて自動的に選択するものとして説明したが、１つの
動画像全体で１つの方法を固定して使用したり、使用者
が任意に選択した方法を用いるようにしても良い。
【００５４】
【発明の効果】以上のように本発明によれば、動画像か
ら検出されるシーンから、さらに特徴的な時点を求めて
シーンの分割を行なうので、動画像の内容を容易に把握
できるような代表画像の検出が可能となるものである。
ら検出されるシーンから、さらに特徴的な時点を求めて
シーンの分割を行なうので、動画像の内容を容易に把握
できるような代表画像の検出が可能となるものである。
【図１】本発明の一実施例に係わる動画像処理装置の構
成を示すブロック図。
成を示すブロック図。
【図２】本実施例の動作の手順を説明するためのフロー
チャート。
チャート。
【図３】シーン検出を説明するための図。
【図４】カメラ移動の検出を説明するための図。
【図５】階層的に分割された動画像を説明するための
図。
図。
１０…動画像入力部、２０…シーン検出部、２２…シー
ン種類判別部、２４…動画像階層部、２６…第１シーン
分割部、２８…第２シーン分割部、３０…代表画像管理
部。
ン種類判別部、２４…動画像階層部、２６…第１シーン
分割部、２８…第２シーン分割部、３０…代表画像管理
部。
Claims (2)
- 【請求項１】 連続するフレーム画像から構成される動
画像を時間軸上で分割する動画像処理装置において、 前記動画像からシーンの切れ目となる分割時点を検出す
るシーン検出手段と、 前記シーン検出手段によって切れ目が検出されたシーン
毎に、前記動画像の撮影位置が移動している状態で撮影
された部分を含むシーンであるか否かによってシーンの
種類を判別する種類判別手段と、 前記種類判別手段によって、前記動画像の撮影位置が移
動している状態で撮影された部分を含むと判別されたシ
ーンを、撮影位置が移動した時点で分割する第１シーン
分割手段と、 前記種類判別手段によって、前記動画像の撮影位置が移
動している状態で撮影された部分を含まないと判別され
たシーンを、所定以上の移動物体が存在する時点で分割
する第２シーン分割手段と、 を具備したことを特徴とする動画像処理装置。 - 【請求項２】 前記シーン検出手段、前記第１シーン分
割手段、及び前記第２シーン分割手段によって得られた
時点におけるフレーム画像を、各時点での代表的な画像
として管理する代表画像管理手段をさらに具備したこと
を特徴とする請求項１記載の動画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12590293A JPH06333048A (ja) | 1993-05-27 | 1993-05-27 | 動画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12590293A JPH06333048A (ja) | 1993-05-27 | 1993-05-27 | 動画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06333048A true JPH06333048A (ja) | 1994-12-02 |
Family
ID=14921741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12590293A Pending JPH06333048A (ja) | 1993-05-27 | 1993-05-27 | 動画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06333048A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233422A (ja) * | 1996-02-26 | 1997-09-05 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JP2005536094A (ja) * | 2002-08-01 | 2005-11-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツのコンテンツベーステーブルを生成するための方法、システム及びプログラムプロダクツ |
| JP2011244307A (ja) * | 2010-05-20 | 2011-12-01 | Nec Casio Mobile Communications Ltd | 端末装置及びプログラム |
| US8588475B2 (en) | 2010-12-09 | 2013-11-19 | Sony Corporation | Image processing apparatus and image processing method for indicating movement information |
-
1993
- 1993-05-27 JP JP12590293A patent/JPH06333048A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233422A (ja) * | 1996-02-26 | 1997-09-05 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JP2005536094A (ja) * | 2002-08-01 | 2005-11-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツのコンテンツベーステーブルを生成するための方法、システム及びプログラムプロダクツ |
| JP2011244307A (ja) * | 2010-05-20 | 2011-12-01 | Nec Casio Mobile Communications Ltd | 端末装置及びプログラム |
| US8588475B2 (en) | 2010-12-09 | 2013-11-19 | Sony Corporation | Image processing apparatus and image processing method for indicating movement information |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tonomura et al. | Videomap and videospaceicon: Tools for anatomizing video content | |
| US7248294B2 (en) | Intelligent feature selection and pan zoom control | |
| EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
| Tonomura et al. | Structured video computing | |
| EP0666687B1 (en) | Method for detecting camera motion induced scene changes | |
| US7307652B2 (en) | Method and apparatus for object tracking and detection | |
| EP0597450B1 (en) | A recording medium, an apparatus for recording a moving image, an apparatus and a system for generating a digest of a moving image, and a method of the same | |
| JP3230858B2 (ja) | 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置 | |
| JPH09130732A (ja) | シーンチェンジ検出方法および動画像編集装置 | |
| JPH08191411A (ja) | シーン判別方法および代表画像記録・表示装置 | |
| JP3312105B2 (ja) | 動画像インデックス生成方法および生成装置 | |
| JP3649468B2 (ja) | 撮影機能付き電子アルバムシステム | |
| JPH10126721A (ja) | 動画像検索用情報生成装置 | |
| JPH11150676A (ja) | 画像処理装置及び追尾装置 | |
| JPH06333048A (ja) | 動画像処理装置 | |
| JP3534592B2 (ja) | 代表画像生成装置 | |
| JP3427969B2 (ja) | 映像表示方法および装置並びに映像表示プログラムを記録した記録媒体 | |
| JP3625935B2 (ja) | 動画像の重要画像抽出装置および重要画像抽出方法 | |
| JP3558886B2 (ja) | 映像処理装置 | |
| JP4223762B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
| JP3024574B2 (ja) | 動画像検索装置 | |
| JPH09149364A (ja) | 静止画生成装置 | |
| JP3426997B2 (ja) | 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体 | |
| JP2001197405A (ja) | インデックス画像作成装置および方法 | |
| JPH10243340A (ja) | 動画像処理装置 |