JPH0622304A - シーンチェンジ検出装置 - Google Patents
シーンチェンジ検出装置Info
- Publication number
- JPH0622304A JPH0622304A JP35161592A JP35161592A JPH0622304A JP H0622304 A JPH0622304 A JP H0622304A JP 35161592 A JP35161592 A JP 35161592A JP 35161592 A JP35161592 A JP 35161592A JP H0622304 A JPH0622304 A JP H0622304A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- scene change
- coding
- unit
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 動画像の符号化／復号化に際して計算される
種々の特徴量を用いてシーンチェンジを自動的に検出で
きるシーンチェンジ検出装置を得る。 【構成】 １フレーム毎の予測誤差の累計値、符号化デ
ータのデータ量、またはフレーム内符号化（フレーム間
符号化）された画素数などの、動画像の符号化／復号化
に際して計算される特徴量を用いて、シーンチェンジが
行われるフレームを自動検出し、また、フレームモード
を示すデータと符号化モードの生起頻度を情報保持手段
に保持させ、時間的に連続する２フレーム分のフレーム
モードの比較結果と符号化モードの生起頻度の比較結果
が、所定の条件に合致した場合に検出信号を出力するよ
うにしたもの。
種々の特徴量を用いてシーンチェンジを自動的に検出で
きるシーンチェンジ検出装置を得る。 【構成】 １フレーム毎の予測誤差の累計値、符号化デ
ータのデータ量、またはフレーム内符号化（フレーム間
符号化）された画素数などの、動画像の符号化／復号化
に際して計算される特徴量を用いて、シーンチェンジが
行われるフレームを自動検出し、また、フレームモード
を示すデータと符号化モードの生起頻度を情報保持手段
に保持させ、時間的に連続する２フレーム分のフレーム
モードの比較結果と符号化モードの生起頻度の比較結果
が、所定の条件に合致した場合に検出信号を出力するよ
うにしたもの。
Description
【０００１】
【産業上の利用分野】この発明は、複数のシーンから構
成される動画像より、シーンの変化するフレームを自動
検出するシーンチェンジ検出装置に関するものである。
成される動画像より、シーンの変化するフレームを自動
検出するシーンチェンジ検出装置に関するものである。
【０００２】
【従来の技術】図２５は従来のシーンチェンジ検出装置
が適用される、予測符号化方式による動画像の符号化装
置および復号化装置の一例を示すブロック図である。図
において、１は直前の１フレーム分の画像データが格納
されているフレームメモリであり、２は入力される画像
信号とこのフレームメモリ１に格納されていた画像デー
タとの差分を算出する減算器である。３は減算器２の出
力を離散コサイン変換（以下、ＤＣＴという）するＤＣ
Ｔ部、４はこのＤＣＴ部３で変換された信号を量子化す
る量子化部であり、５はこの量子化部４で量子化された
信号を符号化して通信路に送出するエントロピー符号化
部である。
が適用される、予測符号化方式による動画像の符号化装
置および復号化装置の一例を示すブロック図である。図
において、１は直前の１フレーム分の画像データが格納
されているフレームメモリであり、２は入力される画像
信号とこのフレームメモリ１に格納されていた画像デー
タとの差分を算出する減算器である。３は減算器２の出
力を離散コサイン変換（以下、ＤＣＴという）するＤＣ
Ｔ部、４はこのＤＣＴ部３で変換された信号を量子化す
る量子化部であり、５はこの量子化部４で量子化された
信号を符号化して通信路に送出するエントロピー符号化
部である。
【０００３】６は前記量子化部４で量子化された信号
に、前記ＤＣＴ部３とは逆の逆離散コサイン変換（以
下、逆ＤＣＴという）を施す逆ＤＣＴ部であり、７は前
記フレームメモリ１に格納されていた前フレームの画像
データにこの逆ＤＣＴ部６で逆ＤＣＴされた信号を加算
して、再度フレームメモリ１に格納する加算器である。
動画像の符号化装置はこれら各部によって形成されてい
る。
に、前記ＤＣＴ部３とは逆の逆離散コサイン変換（以
下、逆ＤＣＴという）を施す逆ＤＣＴ部であり、７は前
記フレームメモリ１に格納されていた前フレームの画像
データにこの逆ＤＣＴ部６で逆ＤＣＴされた信号を加算
して、再度フレームメモリ１に格納する加算器である。
動画像の符号化装置はこれら各部によって形成されてい
る。
【０００４】８は前記符号化装置より通信路に送出され
た符号化データを復号するエントロピー復号化部であ
り、９はこのエントロピー復号化部８にて復号された信
号に対して逆ＤＣＴの処理を施す逆ＤＣＴ部である。１
０は直前の１フレーム分の画像データが格納されている
フレームメモリであり、１１は逆ＤＣＴ部９で逆ＤＣＴ
処理された画像信号とこのフレームメモリ１０に格納さ
れていた画像データとを加算して画像信号を再生する加
算器である。動画像の復号化装置はこれら各部によって
形成されている。
た符号化データを復号するエントロピー復号化部であ
り、９はこのエントロピー復号化部８にて復号された信
号に対して逆ＤＣＴの処理を施す逆ＤＣＴ部である。１
０は直前の１フレーム分の画像データが格納されている
フレームメモリであり、１１は逆ＤＣＴ部９で逆ＤＣＴ
処理された画像信号とこのフレームメモリ１０に格納さ
れていた画像データとを加算して画像信号を再生する加
算器である。動画像の復号化装置はこれら各部によって
形成されている。
【０００５】次に動作について説明する。動画像の符号
化装置に入力された画像信号は減算器２において、フレ
ームメモリ１に蓄えられていた直前のフレームの画像デ
ータと同一位置の画素ごとに差分が計算される。この減
算器２による減算結果はＤＣＴ部３に送られ、適当な大
きさの２次元ブロック（通常は８×８画素程度のブロッ
ク）に分割された上で、各ブロックごとにＤＣＴの処理
が施される。ＤＣＴ部３の演算結果は量子化部４に送ら
れて有限個の代表値で近似されて量子化され、この量子
化部４より出力される前記代表値は、エントロピー符号
化部５と逆ＤＣＴ部６に送られ、各々の処理が加えられ
る。
化装置に入力された画像信号は減算器２において、フレ
ームメモリ１に蓄えられていた直前のフレームの画像デ
ータと同一位置の画素ごとに差分が計算される。この減
算器２による減算結果はＤＣＴ部３に送られ、適当な大
きさの２次元ブロック（通常は８×８画素程度のブロッ
ク）に分割された上で、各ブロックごとにＤＣＴの処理
が施される。ＤＣＴ部３の演算結果は量子化部４に送ら
れて有限個の代表値で近似されて量子化され、この量子
化部４より出力される前記代表値は、エントロピー符号
化部５と逆ＤＣＴ部６に送られ、各々の処理が加えられ
る。
【０００６】まず、エントロピー符号化部５では、量子
化部４より受けた代表値に、その生起頻度に応じた可変
長符号を割り当てて符号化し（一般に、生起頻度の高い
量子化出力ほど短い符号が割り当てられる）、符号化デ
ータを通信路に送出する。ここで、通信路とは仮想的な
ものであり、実際の通信路であったり、或いは、記憶媒
体であったりする。このことは、以下の説明においても
同様である。
化部４より受けた代表値に、その生起頻度に応じた可変
長符号を割り当てて符号化し（一般に、生起頻度の高い
量子化出力ほど短い符号が割り当てられる）、符号化デ
ータを通信路に送出する。ここで、通信路とは仮想的な
ものであり、実際の通信路であったり、或いは、記憶媒
体であったりする。このことは、以下の説明においても
同様である。
【０００７】一方、逆ＤＣＴ部６では、量子化部４の出
力に対してＤＣＴ部３における操作とは逆の逆ＤＣＴが
施され、その結果が加算器７に送られる。加算器７では
この逆ＤＣＴ部６の出力とフレームメモリ１に蓄えられ
た前フレームの画像データを同一位置にある画素ごとに
加算し、加算結果をフレームメモリ１に再格納する。１
フレーム分の処理が終了すると、フレームメモリ１には
現フレームの画像データが再構成され、次のフレームの
予測処理時に直前のフレームの画像データとして利用さ
れる。
力に対してＤＣＴ部３における操作とは逆の逆ＤＣＴが
施され、その結果が加算器７に送られる。加算器７では
この逆ＤＣＴ部６の出力とフレームメモリ１に蓄えられ
た前フレームの画像データを同一位置にある画素ごとに
加算し、加算結果をフレームメモリ１に再格納する。１
フレーム分の処理が終了すると、フレームメモリ１には
現フレームの画像データが再構成され、次のフレームの
予測処理時に直前のフレームの画像データとして利用さ
れる。
【０００８】一方、動画像の復号化装置では、通信路よ
り受け取った符号化データが、エントロピー符号化とい
う手法によって、データの出現確率に応じた可変長符号
に符号化されているものであるため（一般に、生起確率
の高いデータほど短い符号が割り当てられる）、まずエ
ントロピー復号化部８においてその復号を行う。この復
号結果はＤＣＴ処理により周波数領域に変換されたもの
であり、従って、逆ＤＣＴ部９に送って時間領域のデー
タに変換する。逆ＤＣＴ部９の出力は加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力され、また、
フレームメモリ１０に記憶されて次フレームの復号に利
用される。
り受け取った符号化データが、エントロピー符号化とい
う手法によって、データの出現確率に応じた可変長符号
に符号化されているものであるため（一般に、生起確率
の高いデータほど短い符号が割り当てられる）、まずエ
ントロピー復号化部８においてその復号を行う。この復
号結果はＤＣＴ処理により周波数領域に変換されたもの
であり、従って、逆ＤＣＴ部９に送って時間領域のデー
タに変換する。逆ＤＣＴ部９の出力は加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力され、また、
フレームメモリ１０に記憶されて次フレームの復号に利
用される。
【０００９】なお、この場合、量子化部４の出力は代表
値に割り当てられた固定長の番号ではなく、便宜上、代
表値そのものであると仮定しているが、この仮定は特に
一般性を損なうものではない。また、以下においても、
量子化部４の出力は代表値そのものであるとして説明を
行う。
値に割り当てられた固定長の番号ではなく、便宜上、代
表値そのものであると仮定しているが、この仮定は特に
一般性を損なうものではない。また、以下においても、
量子化部４の出力は代表値そのものであるとして説明を
行う。
【００１０】ここで、マルチメディア処理技術の進歩に
より、動画像を計算機で自由に扱えることがマルチメデ
ィアの必須条件になりつつある。動画像は１秒当り数十
フレームの静止画像の連続として捉えることができる
が、さらに、大局的に眺めると、複数の連続するフレー
ムから構成されるシーンの連続と考えることもできる。
そして、計算機という情報処理装置で動画像を扱うこと
を考えると、前者のフレームの連続として捉えるより、
ある意味的にまとまりのあるシーンの連続として捉える
方が都合が良い。
より、動画像を計算機で自由に扱えることがマルチメデ
ィアの必須条件になりつつある。動画像は１秒当り数十
フレームの静止画像の連続として捉えることができる
が、さらに、大局的に眺めると、複数の連続するフレー
ムから構成されるシーンの連続と考えることもできる。
そして、計算機という情報処理装置で動画像を扱うこと
を考えると、前者のフレームの連続として捉えるより、
ある意味的にまとまりのあるシーンの連続として捉える
方が都合が良い。
【００１１】例えば、動画像の編集を行うことを考えて
みた場合、動画像の編集は、撮影された動画像を映像素
材として用い、これを適宜つなぎ合わせたりカットした
りすることにより、全体として編集者の意図する映像に
組み上げる作業である。この編集作業では、意味的にま
とまりのあるシーンが編集の基本単位になる場合が多
い。計算機を用いてこの動画像の編集を行う場合、従来
は熟練者がシーンの変化を識別すると共に、この識別結
果に基づいて編集作業を行うことが多かった。そして、
ここでは、計算機は単なるマンマシンインタフェースの
道具として編集環境を提供するだけであった。
みた場合、動画像の編集は、撮影された動画像を映像素
材として用い、これを適宜つなぎ合わせたりカットした
りすることにより、全体として編集者の意図する映像に
組み上げる作業である。この編集作業では、意味的にま
とまりのあるシーンが編集の基本単位になる場合が多
い。計算機を用いてこの動画像の編集を行う場合、従来
は熟練者がシーンの変化を識別すると共に、この識別結
果に基づいて編集作業を行うことが多かった。そして、
ここでは、計算機は単なるマンマシンインタフェースの
道具として編集環境を提供するだけであった。
【００１２】しかしながら、今後マルチメディア技術が
広く社会に広がり、家庭にまで浸透することが予想され
る状況において、熟練者のみならず、素人が計算機を用
いて動画像の編集を行うことを考慮しておく必要があ
る。このとき、計算機が動画像をシーンの集まりとして
管理していることが望ましく、さらに、自動的に動画像
のシーンの変化点を認識し、その結果を計算機が利用で
きることが望ましいことは言うまでもない。そして、そ
のための要素技術の研究が各所で進められている。
広く社会に広がり、家庭にまで浸透することが予想され
る状況において、熟練者のみならず、素人が計算機を用
いて動画像の編集を行うことを考慮しておく必要があ
る。このとき、計算機が動画像をシーンの集まりとして
管理していることが望ましく、さらに、自動的に動画像
のシーンの変化点を認識し、その結果を計算機が利用で
きることが望ましいことは言うまでもない。そして、そ
のための要素技術の研究が各所で進められている。
【００１３】図２６は、例えば情報処理学会第４０回
（平成２年前期）全国大会の発表論文１Ｑ−５（予稿集
第６４２〜６４３頁）“ビデオ作品の場面変わり自動検
出法”に示された、従来のシーンチェンジ検出装置のア
ルゴリズムを示すフローチャートである。図において、
ＳＴ１は画面の分割処理、ＳＴ２は色分布の計数処理、
ＳＴ３は相関度の計算処理、ＳＴ４は相関計数の計算処
理、ＳＴ５はしきい値との比較処理、ＳＴ６はシーンチ
ェンジ判定処理、ＳＴ７は非シーンチェンジ判定処理、
ＳＴ８は次フレームへの移行処理である。
（平成２年前期）全国大会の発表論文１Ｑ−５（予稿集
第６４２〜６４３頁）“ビデオ作品の場面変わり自動検
出法”に示された、従来のシーンチェンジ検出装置のア
ルゴリズムを示すフローチャートである。図において、
ＳＴ１は画面の分割処理、ＳＴ２は色分布の計数処理、
ＳＴ３は相関度の計算処理、ＳＴ４は相関計数の計算処
理、ＳＴ５はしきい値との比較処理、ＳＴ６はシーンチ
ェンジ判定処理、ＳＴ７は非シーンチェンジ判定処理、
ＳＴ８は次フレームへの移行処理である。
【００１４】次に動作について説明する。まず、ステッ
プＳＴ１において動画像のフレームがｎ×ｎ＝ｎ2 画面
に分割され、ステップＳＴ２で各分割画面ごとの色の分
布が計測される。次にステップＳＴ３で前フレームと現
フレームの対応する分割画面ごとに色の分布の相関度を
求める。この相関度としては様々なものを考えることが
できるが、ここでは次式のカイ２乗統計量ｘk 2（Ｋ＝
１，２，・・・ｎ2 ）を用いる。
プＳＴ１において動画像のフレームがｎ×ｎ＝ｎ2 画面
に分割され、ステップＳＴ２で各分割画面ごとの色の分
布が計測される。次にステップＳＴ３で前フレームと現
フレームの対応する分割画面ごとに色の分布の相関度を
求める。この相関度としては様々なものを考えることが
できるが、ここでは次式のカイ２乗統計量ｘk 2（Ｋ＝
１，２，・・・ｎ2 ）を用いる。
【００１５】
【数１】
【００１６】式（１）において、ｍi は現フレームの分
割画面における色ｉの分布、Ｙi は前フレームで対応す
る分割画面におけるｉという色の分布を表わしている。
そしてステップＳＴ４において、次式により相関度の総
和を計算して相関係数ｒを求める。
割画面における色ｉの分布、Ｙi は前フレームで対応す
る分割画面におけるｉという色の分布を表わしている。
そしてステップＳＴ４において、次式により相関度の総
和を計算して相関係数ｒを求める。
【００１７】
【数２】
【００１８】次に、ステップＳＴ５でこの相関係数ｒと
あらかじめ設定されているしきい値とを比較し、その大
小関係に応じて現フレームがシーンチェンジであるか否
かをステップＳＴ６もしくはＳＴ７にて判断し、その
後、ステップＳＴ８にて次のフレームへ処理を移行させ
るようになっている。
あらかじめ設定されているしきい値とを比較し、その大
小関係に応じて現フレームがシーンチェンジであるか否
かをステップＳＴ６もしくはＳＴ７にて判断し、その
後、ステップＳＴ８にて次のフレームへ処理を移行させ
るようになっている。
【００１９】
【発明が解決しようとする課題】従来のシーンチェンジ
検出装置は以上のように構成されているので、動画像の
フレームごとに色の分布を調べると共に、フレーム間で
の相関係数を求める、という複雑な処理を行わなければ
ならず、これらの処理を汎用的なプロセッサで実行した
場合、到底実時間処理は不可能であり、シーンチェンジ
の自動検出を実時間処理を実現するためには専用のハー
ドウェアが必要となり、また、今後計算機で動画像を扱
うことを考えると、動画像は当然ディジタル化され、し
かも、ディジタル動画像の膨大なデータ量を削減するた
め、動画像符号化技術によりデータ量を削減した後に、
計算機内部に取り込まれるものと予想されるが、その場
合にも、上記従来例の処理では動画像符号化／復号化と
は全く独立した処理であり、従って、動画像符号化ある
いは復号化に際して、動画像のフレーム間に渡って複雑
な処理が行われているにもかかわらず、その処理結果を
利用できず、動画像符号化前、あるいは復号後の画像信
号に対して上記の複雑な処理を実行しなければならない
という問題点があった。
検出装置は以上のように構成されているので、動画像の
フレームごとに色の分布を調べると共に、フレーム間で
の相関係数を求める、という複雑な処理を行わなければ
ならず、これらの処理を汎用的なプロセッサで実行した
場合、到底実時間処理は不可能であり、シーンチェンジ
の自動検出を実時間処理を実現するためには専用のハー
ドウェアが必要となり、また、今後計算機で動画像を扱
うことを考えると、動画像は当然ディジタル化され、し
かも、ディジタル動画像の膨大なデータ量を削減するた
め、動画像符号化技術によりデータ量を削減した後に、
計算機内部に取り込まれるものと予想されるが、その場
合にも、上記従来例の処理では動画像符号化／復号化と
は全く独立した処理であり、従って、動画像符号化ある
いは復号化に際して、動画像のフレーム間に渡って複雑
な処理が行われているにもかかわらず、その処理結果を
利用できず、動画像符号化前、あるいは復号後の画像信
号に対して上記の複雑な処理を実行しなければならない
という問題点があった。
【００２０】この発明は上記のような問題点を解消する
ためになされたものであり、動画像の符号化あるいは復
号に際して計算される様々な特徴量を用いてシーンチェ
ンジを自動検出することが可能なシーンチェンジ検出装
置を得ることを目的とする。
ためになされたものであり、動画像の符号化あるいは復
号に際して計算される様々な特徴量を用いてシーンチェ
ンジを自動検出することが可能なシーンチェンジ検出装
置を得ることを目的とする。
【００２１】
【課題を解決するための手段】請求項１に記載の発明に
係るシーンチェンジ検出装置は、フレーム間の相関を利
用した符号化の際のフレーム間の予測誤差に所定の演算
を施す演算部と、その演算出力を１フレームごとに累計
する計数部と、１フレームの符号化が終了するごとにそ
の計数値をしきい値と比較して、現フレームでのシーン
チェンジを判定する比較部を設けたものである。
係るシーンチェンジ検出装置は、フレーム間の相関を利
用した符号化の際のフレーム間の予測誤差に所定の演算
を施す演算部と、その演算出力を１フレームごとに累計
する計数部と、１フレームの符号化が終了するごとにそ
の計数値をしきい値と比較して、現フレームでのシーン
チェンジを判定する比較部を設けたものである。
【００２２】また、請求項２に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用した動画
像の符号化装置より出力される符号化データの、１フレ
ームごとのデータ量を計数する計数部と、１フレームの
符号化が終了するごとその計数値をしきい値と比較し
て、現フレームでのシーンチェンジを判定する比較部を
設けたものである。
チェンジ検出装置は、フレーム間の相関を利用した動画
像の符号化装置より出力される符号化データの、１フレ
ームごとのデータ量を計数する計数部と、１フレームの
符号化が終了するごとその計数値をしきい値と比較し
て、現フレームでのシーンチェンジを判定する比較部を
設けたものである。
【００２３】また、請求項３に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用した符号
化において、フレーム間の相関で予測不可能と判定され
た画素をフレーム内の相関を利用して符号化する際、予
測不可能、あるいは予測可能と判定された画素の数を１
フレームごとに計数する計数部と、１フレームの符号化
が終了するごとにその計数値をしきい値と比較して、現
フレームでのシーンチェンジを判定する比較部を設けた
ものである。
チェンジ検出装置は、フレーム間の相関を利用した符号
化において、フレーム間の相関で予測不可能と判定され
た画素をフレーム内の相関を利用して符号化する際、予
測不可能、あるいは予測可能と判定された画素の数を１
フレームごとに計数する計数部と、１フレームの符号化
が終了するごとにその計数値をしきい値と比較して、現
フレームでのシーンチェンジを判定する比較部を設けた
ものである。
【００２４】また、請求項４に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する際の、フレー
ム間の予測誤差に所定の演算を施す演算部と、その演算
出力を１フレームごとに累計する計数部と、１フレーム
の復号が終了するごとにその計数値をしきい値と比較し
て、現フレームでのシーンチェンジを判定する比較部を
設けたものである。
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する際の、フレー
ム間の予測誤差に所定の演算を施す演算部と、その演算
出力を１フレームごとに累計する計数部と、１フレーム
の復号が終了するごとにその計数値をしきい値と比較し
て、現フレームでのシーンチェンジを判定する比較部を
設けたものである。
【００２５】また、請求項５に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する復号化装置に
入力される符号化データの、１フレームごとのデータ量
を計数する計数部と、１フレームの復号が終了するごと
にその計数値をしきい値と比較して、現フレームでのシ
ーンチェンジを判定する比較部を設けたものである。
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する復号化装置に
入力される符号化データの、１フレームごとのデータ量
を計数する計数部と、１フレームの復号が終了するごと
にその計数値をしきい値と比較して、現フレームでのシ
ーンチェンジを判定する比較部を設けたものである。
【００２６】また、請求項６に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関で予測不可能と
判定された画素をフレーム内の相関を利用して符号化し
た符号化データを復号する際、予測不可能あるいは予測
可能と判定された画素の数を１フレームごとに計数する
計数部と、１フレームの復号が終了するごとにその計数
値をしきい値と比較して、現フレームでのシーンチェン
ジを判定する比較部を設けたものである。
チェンジ検出装置は、フレーム間の相関で予測不可能と
判定された画素をフレーム内の相関を利用して符号化し
た符号化データを復号する際、予測不可能あるいは予測
可能と判定された画素の数を１フレームごとに計数する
計数部と、１フレームの復号が終了するごとにその計数
値をしきい値と比較して、現フレームでのシーンチェン
ジを判定する比較部を設けたものである。
【００２７】また、請求項７に記載の発明に係るシーン
チェンジ検出装置は、動画像の符号化データを取り込む
動画像符号化データ入力部と、取り込まれた動画像の符
号化データのデータ量を１フレームごとに計数する計数
部と、その計数値としきい値の比較結果に基づいて、当
該フレームでのシーンチェンジを判定する比較部を備え
たものである。
チェンジ検出装置は、動画像の符号化データを取り込む
動画像符号化データ入力部と、取り込まれた動画像の符
号化データのデータ量を１フレームごとに計数する計数
部と、その計数値としきい値の比較結果に基づいて、当
該フレームでのシーンチェンジを判定する比較部を備え
たものである。
【００２８】また、請求項８に記載の発明に係るシーン
チェンジ検出装置は、符号化モードを適応的に切り換
え、フレーム間の相関にて予測不可能と判定された画素
をフレーム内の相関を利用して符号化した動画像の符号
化データより、その画素がいずれの符号化モードで符号
化されたかを抽出する多重分離部と、その符号化モード
を１フレームごとに計数して、フレーム間予測可能ある
いはフレーム間予測不可能と判定された画素の数を算出
する計数部と、その計数値を１フレームごとにしきい値
と比較して、当該フレームでのシーンチェンジを判定す
る比較部を備えたものである。
チェンジ検出装置は、符号化モードを適応的に切り換
え、フレーム間の相関にて予測不可能と判定された画素
をフレーム内の相関を利用して符号化した動画像の符号
化データより、その画素がいずれの符号化モードで符号
化されたかを抽出する多重分離部と、その符号化モード
を１フレームごとに計数して、フレーム間予測可能ある
いはフレーム間予測不可能と判定された画素の数を算出
する計数部と、その計数値を１フレームごとにしきい値
と比較して、当該フレームでのシーンチェンジを判定す
る比較部を備えたものである。
【００２９】また、請求項９に記載の発明に係るシーン
チェンジ検出装置は、複数に分割された動画像のフレー
ムの各領域を、第１〜第４の符号化モード中のいずれを
用いて符号化するかを決定する符号化モード決定手段の
出力より、フレーム内での各符号化モードの生起頻度を
計数する計数手段、前記動画像のフレームのフレームモ
ードが、第１〜第３のフレーム中のいずれかであるかを
示すフレームモード決定手段の出力と計数手段の計数結
果とを少なくとも時間的に連続する２フレーム分保持す
る情報保持手段、およびこの情報保持手段に保持されて
いる時間的に連続した２フレーム分のフレームモード、
および符号化モードの生起頻度をそれぞれ比較して、そ
れらの比較結果があらかじめ定められた条件に合致する
場合に検出信号を出力する検出信号出力手段を有するも
のである。
チェンジ検出装置は、複数に分割された動画像のフレー
ムの各領域を、第１〜第４の符号化モード中のいずれを
用いて符号化するかを決定する符号化モード決定手段の
出力より、フレーム内での各符号化モードの生起頻度を
計数する計数手段、前記動画像のフレームのフレームモ
ードが、第１〜第３のフレーム中のいずれかであるかを
示すフレームモード決定手段の出力と計数手段の計数結
果とを少なくとも時間的に連続する２フレーム分保持す
る情報保持手段、およびこの情報保持手段に保持されて
いる時間的に連続した２フレーム分のフレームモード、
および符号化モードの生起頻度をそれぞれ比較して、そ
れらの比較結果があらかじめ定められた条件に合致する
場合に検出信号を出力する検出信号出力手段を有するも
のである。
【００３０】また、請求項１０に記載の発明に係るシー
ンチェンジ検出装置は、動画像のフレームのフレームモ
ードを示すデータと、第１〜第４の符号化モードのいず
れが使用されているかを示すデータとを符号化データよ
り抽出する多重分離手段、この多重分離手段の出力より
フレーム内での各符号化モードの生起頻度を計数する計
数手段、フレームモードを示すデータと、計数手段の計
数結果とを少なくとも時間的に連続する２フレーム分保
持する情報保持手段、およびこの情報保持手段に保持さ
れている時間的に連続した２フレーム分のフレームモー
ド、および符号化モードの生起頻度をそれぞれ比較し
て、それらの比較結果があらかじめ定められた条件に合
致する場合に検出信号を出力する検出信号出力手段を有
するものである。
ンチェンジ検出装置は、動画像のフレームのフレームモ
ードを示すデータと、第１〜第４の符号化モードのいず
れが使用されているかを示すデータとを符号化データよ
り抽出する多重分離手段、この多重分離手段の出力より
フレーム内での各符号化モードの生起頻度を計数する計
数手段、フレームモードを示すデータと、計数手段の計
数結果とを少なくとも時間的に連続する２フレーム分保
持する情報保持手段、およびこの情報保持手段に保持さ
れている時間的に連続した２フレーム分のフレームモー
ド、および符号化モードの生起頻度をそれぞれ比較し
て、それらの比較結果があらかじめ定められた条件に合
致する場合に検出信号を出力する検出信号出力手段を有
するものである。
【００３１】
【作用】請求項１に記載の発明における比較手段は、演
算部によるフレーム間の予測誤差に対する演算結果を１
フレーム分累計した計数部の計数値を、１フレームの符
号化が終了する度にしきい値と比較し、その大小関係に
基づいて現フレームがシーンチェンジであるか否かを判
定することにより、動画像の符号化に際して計算される
特徴量をシーンチェンジの自動検出にも利用可能とす
る。
算部によるフレーム間の予測誤差に対する演算結果を１
フレーム分累計した計数部の計数値を、１フレームの符
号化が終了する度にしきい値と比較し、その大小関係に
基づいて現フレームがシーンチェンジであるか否かを判
定することにより、動画像の符号化に際して計算される
特徴量をシーンチェンジの自動検出にも利用可能とす
る。
【００３２】また、請求項２に記載の発明における比較
手段は、計数部にて１フレーム分計数された当該符号化
装置より出力される符号化データのデータ量を、１フレ
ームの符号化が終了する度にしきい値と比較し、その大
小関係に基づいて現フレームがシーンチェンジであるか
否かを判定することにより、動画像の符号化に際して計
算される特徴量をシーンチェンジの自動検出にも利用可
能とする。
手段は、計数部にて１フレーム分計数された当該符号化
装置より出力される符号化データのデータ量を、１フレ
ームの符号化が終了する度にしきい値と比較し、その大
小関係に基づいて現フレームがシーンチェンジであるか
否かを判定することにより、動画像の符号化に際して計
算される特徴量をシーンチェンジの自動検出にも利用可
能とする。
【００３３】また、請求項３に記載の発明における比較
手段は、フレーム間の相関にて予測不可能と判定された
画素をフレーム内の相関を利用して符号化する際、計数
部にて１フレーム分計数された予測不可能（予測可能）
の画素の数を、１フレームの符号化が終了する度にしき
い値と比較し、その大小関係に基づいて現フレームがシ
ーンチェンジであるか否かを判定することにより、動画
像の符号化に際して計算される特徴量をシーンチェンジ
の自動検出にも利用可能とする。
手段は、フレーム間の相関にて予測不可能と判定された
画素をフレーム内の相関を利用して符号化する際、計数
部にて１フレーム分計数された予測不可能（予測可能）
の画素の数を、１フレームの符号化が終了する度にしき
い値と比較し、その大小関係に基づいて現フレームがシ
ーンチェンジであるか否かを判定することにより、動画
像の符号化に際して計算される特徴量をシーンチェンジ
の自動検出にも利用可能とする。
【００３４】また、請求項４に記載の発明における比較
手段は、復号されたフレーム間の予測誤差に対する演算
部の演算結果を１フレーム分累計した計数部の計数値
を、１フレームの復号が終了する度にしきい値と比較
し、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを判定することにより、動画像の復号に
際して計算される特徴量をシーンチェンジの自動検出に
も利用可能とする。
手段は、復号されたフレーム間の予測誤差に対する演算
部の演算結果を１フレーム分累計した計数部の計数値
を、１フレームの復号が終了する度にしきい値と比較
し、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを判定することにより、動画像の復号に
際して計算される特徴量をシーンチェンジの自動検出に
も利用可能とする。
【００３５】また、請求項５に記載の発明における比較
手段は、計数部にて１フレーム分計数された当該復号化
装置に入力される符号化データのデータ量を、１フレー
ムの復号が終了する度にしきい値と比較し、その大小関
係に基づいて現フレームがシーンチェンジであるか否か
を判定することにより、動画像の復号に際して計算され
る特徴量をシーンチェンジの自動検出にも利用可能とす
る。
手段は、計数部にて１フレーム分計数された当該復号化
装置に入力される符号化データのデータ量を、１フレー
ムの復号が終了する度にしきい値と比較し、その大小関
係に基づいて現フレームがシーンチェンジであるか否か
を判定することにより、動画像の復号に際して計算され
る特徴量をシーンチェンジの自動検出にも利用可能とす
る。
【００３６】また、請求項６に記載の発明における比較
手段は、フレーム間の相関にて予測不可能と判定された
画素をフレーム内の相関を利用して符号化した符号化デ
ータの復号に際して、計数部にて１フレーム分計数され
た予測不可能（予測可能）の画素の数を、１フレームの
復号が終了する度にしきい値と比較し、その大小関係に
基づいて現フレームがシーンチェンジであるか否かを判
定することにより、動画像の復号に際して計算される特
徴量をシーンチェンジの自動検出にも利用可能とする。
手段は、フレーム間の相関にて予測不可能と判定された
画素をフレーム内の相関を利用して符号化した符号化デ
ータの復号に際して、計数部にて１フレーム分計数され
た予測不可能（予測可能）の画素の数を、１フレームの
復号が終了する度にしきい値と比較し、その大小関係に
基づいて現フレームがシーンチェンジであるか否かを判
定することにより、動画像の復号に際して計算される特
徴量をシーンチェンジの自動検出にも利用可能とする。
【００３７】また、請求項７に記載の発明における動画
像符号化データ入力部は、複数のシーンから構成される
動画像の符号化データを取り込んで計数部に入力するこ
とにより、符号化装置や復号化装置の存在とは関係な
く、単に符号化データから必要な情報だけを抽出して解
析するだけでシーンチェンジの検出を可能とする。
像符号化データ入力部は、複数のシーンから構成される
動画像の符号化データを取り込んで計数部に入力するこ
とにより、符号化装置や復号化装置の存在とは関係な
く、単に符号化データから必要な情報だけを抽出して解
析するだけでシーンチェンジの検出を可能とする。
【００３８】また、請求項８に記載の発明における多重
分離部は、複数のシーンから構成される動画像の画像信
号をフレーム間の相関を利用して符号化する際に、フレ
ーム間符号化とフレーム内符号化とを適応的に切り換え
て、フレーム間の相関にて予測不可能と判定された画素
についてはフレーム内の相関を利用して符号化した動画
像の符号化データより、その画素がどちらの符号化モー
ドによって符号化されたかを抽出して計数部に入力する
ことにより、符号化装置もしくは復号化装置の存在とは
関係なく、単に符号化データから必要な情報だけを抽出
して解析するだけでシーンチェンジの検出を可能とす
る。
分離部は、複数のシーンから構成される動画像の画像信
号をフレーム間の相関を利用して符号化する際に、フレ
ーム間符号化とフレーム内符号化とを適応的に切り換え
て、フレーム間の相関にて予測不可能と判定された画素
についてはフレーム内の相関を利用して符号化した動画
像の符号化データより、その画素がどちらの符号化モー
ドによって符号化されたかを抽出して計数部に入力する
ことにより、符号化装置もしくは復号化装置の存在とは
関係なく、単に符号化データから必要な情報だけを抽出
して解析するだけでシーンチェンジの検出を可能とす
る。
【００３９】また、請求項９に記載の発明における検出
信号出力手段は、情報保持手段に保持された時間的に連
続する２フレーム分のフレームモードの比較を行うとと
もに、計数手段で計数されて情報保持手段に保持された
時間的に連続する２フレーム分の符号化モードの生起頻
度の比較を行い、それらの比較結果があらかじめ定めら
れた条件に合致した場合に検出信号を出力する。
信号出力手段は、情報保持手段に保持された時間的に連
続する２フレーム分のフレームモードの比較を行うとと
もに、計数手段で計数されて情報保持手段に保持された
時間的に連続する２フレーム分の符号化モードの生起頻
度の比較を行い、それらの比較結果があらかじめ定めら
れた条件に合致した場合に検出信号を出力する。
【００４０】また、請求項１０に記載の発明における多
重分離手段は、符号化データより抽出した、動画像のフ
レームのフレームモードを示すデータを情報保持手段
に、第１〜第４の符号化モードのいずれが使用されてい
るかを示すデータを、その生起頻度を計数している計数
手段に、それぞれ出力する。
重分離手段は、符号化データより抽出した、動画像のフ
レームのフレームモードを示すデータを情報保持手段
に、第１〜第４の符号化モードのいずれが使用されてい
るかを示すデータを、その生起頻度を計数している計数
手段に、それぞれ出力する。
【００４１】
実施例１．以下、この発明の一実施例を図に基づいて説
明する。図１はこの請求項１に記載の発明の一実施例を
示すブロック図である。図において、１はフレームメモ
リ、２は減算器、３はＤＣＴ部、４は量子化部、５はエ
ントロピー符号化部、６は逆ＤＣＴ部、７は加算器であ
り、図２５に同一符号を付した従来のそれらと同一、あ
るいは相当部分であるため詳細な説明は省略する。
明する。図１はこの請求項１に記載の発明の一実施例を
示すブロック図である。図において、１はフレームメモ
リ、２は減算器、３はＤＣＴ部、４は量子化部、５はエ
ントロピー符号化部、６は逆ＤＣＴ部、７は加算器であ
り、図２５に同一符号を付した従来のそれらと同一、あ
るいは相当部分であるため詳細な説明は省略する。
【００４２】また、１２は前記逆ＤＣＴ部６からのフレ
ーム間の予測誤差に対して所定の演算、例えばそれを二
乗する演算を施す演算部としての乗算器であり、１３は
１フレームごとにこの乗算器１２の出力を累計する計数
部である。１４は１フレームの符号化が終了する都度、
この計数部１３の計数値をしきい値と比較して、その大
小関係に基づいて現フレームがシーンチェンジであるか
否かを示すシーンチェンジ検出信号を発生する比較部で
ある。
ーム間の予測誤差に対して所定の演算、例えばそれを二
乗する演算を施す演算部としての乗算器であり、１３は
１フレームごとにこの乗算器１２の出力を累計する計数
部である。１４は１フレームの符号化が終了する都度、
この計数部１３の計数値をしきい値と比較して、その大
小関係に基づいて現フレームがシーンチェンジであるか
否かを示すシーンチェンジ検出信号を発生する比較部で
ある。
【００４３】次に動作について説明する。ここで、入力
された画像信号が符号化されて通信路に送出されるまで
は従来の場合と同様であるためその説明は省略する。画
像信号符号化の過程で逆ＤＣＴ部６から出力されるフレ
ーム間の予測誤差の値ｘは乗算器１２にも入力され、そ
こで次式で与えられる演算が施される。
された画像信号が符号化されて通信路に送出されるまで
は従来の場合と同様であるためその説明は省略する。画
像信号符号化の過程で逆ＤＣＴ部６から出力されるフレ
ーム間の予測誤差の値ｘは乗算器１２にも入力され、そ
こで次式で与えられる演算が施される。
【００４４】 ｙ＝ｘ2 ・・・・・・・（３）
【００４５】ここで、式（３）におけるｙは、予測誤差
信号のエネルギーに相当し、計数部１３に送られて１フ
レーム分の累計が計数される。この計数部１３の計数値
は比較部１４に送られて、あらかじめ定められているし
きい値と１フレームごとに比較される。比較の結果、計
数部１３の計数値がしきい値より大であれば、比較部１
４は現フレームがシーンチェンジである旨を示すシーン
チェンジ検出信号を出力する。
信号のエネルギーに相当し、計数部１３に送られて１フ
レーム分の累計が計数される。この計数部１３の計数値
は比較部１４に送られて、あらかじめ定められているし
きい値と１フレームごとに比較される。比較の結果、計
数部１３の計数値がしきい値より大であれば、比較部１
４は現フレームがシーンチェンジである旨を示すシーン
チェンジ検出信号を出力する。
【００４６】実施例２．図２は請求項１の発明の他の実
施例を示すブロック図であり、この実施例２は図１に示
した実施例１をより単純化したものである。即ち、図１
のように処理の複雑なＤＣＴの処理を含まず、減算器２
で現フレームとフレームメモリ１に記憶されている直前
フレームの同一位置の画素どうしを減算した結果を直接
量子化部４で量子化し、量子化結果をエントロピー符号
化部５で符号化して通信路に送出している。この場合に
おいても、乗算器１２、計数部１３、比較部１４による
シーンチェンジを検出する機構の動作は図１に示した実
施例１の場合と全く同じである。
施例を示すブロック図であり、この実施例２は図１に示
した実施例１をより単純化したものである。即ち、図１
のように処理の複雑なＤＣＴの処理を含まず、減算器２
で現フレームとフレームメモリ１に記憶されている直前
フレームの同一位置の画素どうしを減算した結果を直接
量子化部４で量子化し、量子化結果をエントロピー符号
化部５で符号化して通信路に送出している。この場合に
おいても、乗算器１２、計数部１３、比較部１４による
シーンチェンジを検出する機構の動作は図１に示した実
施例１の場合と全く同じである。
【００４７】実施例３．図３は請求項１に記載した発明
のさらに他の実施例を示すブロック図である。この実施
例３では動画像の符号化の際のフレーム間予測として動
き補償予測を用いている。図において、１５は入力され
た画像信号とフレームメモリ１に格納されている前フレ
ームの画像データとから動きベクトルを検出する動き検
出部であり、１６はこの動き検出部１５の検出した動き
ベクトルを用いてフレームメモリ１から読み出した前フ
レームの画像データの補償を行う動き補償部である。
のさらに他の実施例を示すブロック図である。この実施
例３では動画像の符号化の際のフレーム間予測として動
き補償予測を用いている。図において、１５は入力され
た画像信号とフレームメモリ１に格納されている前フレ
ームの画像データとから動きベクトルを検出する動き検
出部であり、１６はこの動き検出部１５の検出した動き
ベクトルを用いてフレームメモリ１から読み出した前フ
レームの画像データの補償を行う動き補償部である。
【００４８】次に動作について説明する。ここで、この
動き補償予測は図１に示した実施例１のようなフレーム
間で同一位置にある画素どうしを減算するという単純な
フレーム間差分ではなく、被写体の動きを検出し、この
動きに応じてフレーム間差分をとる画素を可変にできる
方式である。即ち、動き検出部１５は現フレームにおけ
る物体、あるいは適当な大きさのブロックがフレームメ
モリ１に記憶されている前フレームのどの位置に対応す
るかを求め、これを動きベクトルとして検出する。そし
て、動き補償部１６ではこの動き検出部１５で検出され
た動きベクトルを用いて予測に用いる前フレームの画素
を決定し、減算器２で現フレームの画像信号との差分を
とる。
動き補償予測は図１に示した実施例１のようなフレーム
間で同一位置にある画素どうしを減算するという単純な
フレーム間差分ではなく、被写体の動きを検出し、この
動きに応じてフレーム間差分をとる画素を可変にできる
方式である。即ち、動き検出部１５は現フレームにおけ
る物体、あるいは適当な大きさのブロックがフレームメ
モリ１に記憶されている前フレームのどの位置に対応す
るかを求め、これを動きベクトルとして検出する。そし
て、動き補償部１６ではこの動き検出部１５で検出され
た動きベクトルを用いて予測に用いる前フレームの画素
を決定し、減算器２で現フレームの画像信号との差分を
とる。
【００４９】例えば、動きの全くないフレームが連続す
る場合には動き検出部１５より出力される動きベクトル
は０となり、実施例１の場合の単純なフレーム間差分と
一致する。このように、動き補償予測を用いたものは、
図１に示した実施例１のフレーム間差分を高度化したも
のと考えられるが、シーンチェンジの検出機構である乗
算器１２、計数部１３、および比較部１４の動作は実施
例１の場合と全く同じである。
る場合には動き検出部１５より出力される動きベクトル
は０となり、実施例１の場合の単純なフレーム間差分と
一致する。このように、動き補償予測を用いたものは、
図１に示した実施例１のフレーム間差分を高度化したも
のと考えられるが、シーンチェンジの検出機構である乗
算器１２、計数部１３、および比較部１４の動作は実施
例１の場合と全く同じである。
【００５０】実施例４．なお、図１および図３に示した
実施例１および３では乗算器１２を逆ＤＣＴ部６の出力
に接続したものを示したが、これは減算器２の出力、Ｄ
ＣＴ部３の出力、あるいは量子化部４の出力のいずれに
接続したとしてもよく、上記実施例と同様の効果を奏す
る。また、前記の実施例１および３では、フレーム間差
分をＤＣＴ処理する場合について示したが、これはＤＣ
Ｔ処理に限定されるものではない。
実施例１および３では乗算器１２を逆ＤＣＴ部６の出力
に接続したものを示したが、これは減算器２の出力、Ｄ
ＣＴ部３の出力、あるいは量子化部４の出力のいずれに
接続したとしてもよく、上記実施例と同様の効果を奏す
る。また、前記の実施例１および３では、フレーム間差
分をＤＣＴ処理する場合について示したが、これはＤＣ
Ｔ処理に限定されるものではない。
【００５１】実施例５．さらに、図１〜図３に示した各
実施例では、演算部として乗算器１２を用いて式（３）
を計算するものを示したが、この演算としてはより一般
的な次式を用いてもよい。
実施例では、演算部として乗算器１２を用いて式（３）
を計算するものを示したが、この演算としてはより一般
的な次式を用いてもよい。
【００５２】 ｙ＝｜ｘ｜r （ｒは実数） ・・・・・（４）
【００５３】以上の実施例で説明したように、このシー
ンチェンジを検出する機構は、フレーム間の相関を利用
する動画像符号化のアルゴリズムには全く依存しないこ
とは明らかである。
ンチェンジを検出する機構は、フレーム間の相関を利用
する動画像符号化のアルゴリズムには全く依存しないこ
とは明らかである。
【００５４】実施例６．一方、上記各実施例では、シー
ンチェンジを検出する機構として、演算部としての乗算
器１２、および計数部１３、比較部１４というハードウ
ェアを用いたが、これらは図４に示す請求項１の発明の
さらに他の実施例を示すブロック図のように、汎用的な
ＣＰＵ１７を用いたソフトウェア処理により実現するこ
とも可能である。この実施例では、フレームメモリ１、
減算器２、量子化部４、エントロピー符号化部５、加算
器７などで形成される動画像符号化部１８がＣＰＵ１７
のバス１９上に接続され、ＣＰＵ１７からシーンチェン
ジ検出に必要なフレーム間の予測誤差を読み取れるよう
になっている。そして、ＣＰＵ１７はメモリ２０に蓄え
られたプログラムに従って、シーンチェンジ検出機構で
ある演算部、計数部、および比較部を実現する。
ンチェンジを検出する機構として、演算部としての乗算
器１２、および計数部１３、比較部１４というハードウ
ェアを用いたが、これらは図４に示す請求項１の発明の
さらに他の実施例を示すブロック図のように、汎用的な
ＣＰＵ１７を用いたソフトウェア処理により実現するこ
とも可能である。この実施例では、フレームメモリ１、
減算器２、量子化部４、エントロピー符号化部５、加算
器７などで形成される動画像符号化部１８がＣＰＵ１７
のバス１９上に接続され、ＣＰＵ１７からシーンチェン
ジ検出に必要なフレーム間の予測誤差を読み取れるよう
になっている。そして、ＣＰＵ１７はメモリ２０に蓄え
られたプログラムに従って、シーンチェンジ検出機構で
ある演算部、計数部、および比較部を実現する。
【００５５】実施例７．図５は請求項２の発明の一実施
例を示すブロック図で、図１の実施例に対応しており、
相当部分には図１と同一符号を付してその説明を省略す
る。図において、２１はエントロピー符号化部５の出力
に接続され、当該動画像の符号化装置より通信路に出力
される符号化データのデータ量を１フレーム毎に計数
し、計数値を比較部１４に出力する計数部である。
例を示すブロック図で、図１の実施例に対応しており、
相当部分には図１と同一符号を付してその説明を省略す
る。図において、２１はエントロピー符号化部５の出力
に接続され、当該動画像の符号化装置より通信路に出力
される符号化データのデータ量を１フレーム毎に計数
し、計数値を比較部１４に出力する計数部である。
【００５６】この実施例７においても、比較部１４は前
記計数部２１が計数した、エントロピー符号化部５から
通信路に出力される符号化データの１フレーム分のデー
タ量を、あらかじめ定められたしきい値と比較し、計数
部２１の計数値がしきい値より大であれば、現フレーム
がシーンチェンジである旨を示すシーンチェンジ検出信
号を出力する。
記計数部２１が計数した、エントロピー符号化部５から
通信路に出力される符号化データの１フレーム分のデー
タ量を、あらかじめ定められたしきい値と比較し、計数
部２１の計数値がしきい値より大であれば、現フレーム
がシーンチェンジである旨を示すシーンチェンジ検出信
号を出力する。
【００５７】実施例８．図６は請求項２に記載した発明
の他の実施例を示すブロック図である。この実施例８は
図２に示す実施例２に対応しており、動画像符号化部分
は図２とは全く同じ構成である。一方、シーンチェンジ
を検出する機構は図５に示した実施例７と全く同様に、
計数部２１と比較部１４とで構成されている。
の他の実施例を示すブロック図である。この実施例８は
図２に示す実施例２に対応しており、動画像符号化部分
は図２とは全く同じ構成である。一方、シーンチェンジ
を検出する機構は図５に示した実施例７と全く同様に、
計数部２１と比較部１４とで構成されている。
【００５８】実施例９．図７は請求項２に記載した発明
のさらに他の実施例を示すブロック図である。この実施
例９は図３に示す実施例３に対応しており、動画像符号
化部分は図３とは全く同じ構成である。一方、シーンチ
ェンジを検出する機構は図５に示した実施例７と同一構
成である。
のさらに他の実施例を示すブロック図である。この実施
例９は図３に示す実施例３に対応しており、動画像符号
化部分は図３とは全く同じ構成である。一方、シーンチ
ェンジを検出する機構は図５に示した実施例７と同一構
成である。
【００５９】実施例１０．図８は請求項２に記載した発
明のさらに他の実施例を示すブロック図である。この実
施例１０はフレーム内符号化とフレーム間符号化とを適
応的に切り換える動画像の符号化装置に適用した場合の
ものである。図において、２２はフレーム内符号化とフ
レーム間符号化のいずれを使用するかの判断を行う符号
化制御部であり、２３，２４はこの符号化制御部２２の
制御によってフレーム内符号化とフレーム間符号化の切
り換えを行うスイッチである。２５は入力される画像信
号とフレームメモリ１に格納されている前フレームの画
像データから現フレームを予測するフレーム間予測部で
ある。
明のさらに他の実施例を示すブロック図である。この実
施例１０はフレーム内符号化とフレーム間符号化とを適
応的に切り換える動画像の符号化装置に適用した場合の
ものである。図において、２２はフレーム内符号化とフ
レーム間符号化のいずれを使用するかの判断を行う符号
化制御部であり、２３，２４はこの符号化制御部２２の
制御によってフレーム内符号化とフレーム間符号化の切
り換えを行うスイッチである。２５は入力される画像信
号とフレームメモリ１に格納されている前フレームの画
像データから現フレームを予測するフレーム間予測部で
ある。
【００６０】次に動作について説明する。符号化制御部
２２は、例えば８×８画素程度のブロック単位にフレー
ム内符号化とフレーム間符号化のどちらかを使用するか
を判断し、スイッチ２３，２４、量子化部４の特性、エ
ントロピー符号化部５で使用する符号を制御すると共
に、フレーム内符号化とフレーム間符号化のどちらを用
いて符号化されたかを示すフラグを生成して通信路に送
出する。図示の状態は、スイッチ２３，２４がフレーム
間符号化を選択した状態を示しており、フレーム内符号
化を選択する場合、各々のスイッチ２３，２４はそれぞ
れ図示とは逆方向に接続される。
２２は、例えば８×８画素程度のブロック単位にフレー
ム内符号化とフレーム間符号化のどちらかを使用するか
を判断し、スイッチ２３，２４、量子化部４の特性、エ
ントロピー符号化部５で使用する符号を制御すると共
に、フレーム内符号化とフレーム間符号化のどちらを用
いて符号化されたかを示すフラグを生成して通信路に送
出する。図示の状態は、スイッチ２３，２４がフレーム
間符号化を選択した状態を示しており、フレーム内符号
化を選択する場合、各々のスイッチ２３，２４はそれぞ
れ図示とは逆方向に接続される。
【００６１】スイッチ２３を通った信号は、フレーム内
符号化の場合は画像信号そのものであり、フレーム間符
号化の場合は予測誤差信号である。この信号はＤＣＴ部
３でＤＣＴ処理を受けた後、量子化部４にて量子化さ
れ、エントロピー符号化部５で符号化された後、通信路
に送出される。また、量子化部４における量子化の結果
は、逆ＤＣＴ部６に送られて逆ＤＣＴの処理を受け、ス
イッチ２４の出力と加算器７で加算され、フレームメモ
リ１に記録される。この加算結果は現フレームを復号し
た画像であり、次フレームの予測に用いられる。ここ
で、スイッチ２４の出力は、フレーム内符号化の場合は
０であり、フレーム間符号化の場合はフレーム間予測信
号である。
符号化の場合は画像信号そのものであり、フレーム間符
号化の場合は予測誤差信号である。この信号はＤＣＴ部
３でＤＣＴ処理を受けた後、量子化部４にて量子化さ
れ、エントロピー符号化部５で符号化された後、通信路
に送出される。また、量子化部４における量子化の結果
は、逆ＤＣＴ部６に送られて逆ＤＣＴの処理を受け、ス
イッチ２４の出力と加算器７で加算され、フレームメモ
リ１に記録される。この加算結果は現フレームを復号し
た画像であり、次フレームの予測に用いられる。ここ
で、スイッチ２４の出力は、フレーム内符号化の場合は
０であり、フレーム間符号化の場合はフレーム間予測信
号である。
【００６２】フレーム間予測部２５は、フレームメモリ
１に記憶された前フレームの画像データから現フレーム
を予測する。この実施例では、図７の場合と同様の動き
補償予測が用いられており、動きベクトルが通信路に送
出される。なお、このフレーム間予測部２５は必ずしも
動き補償予測である必要はなく、単なるフレーム間差分
をとるだけであっても構わず、その場合には動きベクト
ルの伝送の必要はない。一方、シーンチェンジを検出す
る機構（計数部２１、および比較部１４）は図５に示し
た実施例７の場合と全く同じ構成となっている。
１に記憶された前フレームの画像データから現フレーム
を予測する。この実施例では、図７の場合と同様の動き
補償予測が用いられており、動きベクトルが通信路に送
出される。なお、このフレーム間予測部２５は必ずしも
動き補償予測である必要はなく、単なるフレーム間差分
をとるだけであっても構わず、その場合には動きベクト
ルの伝送の必要はない。一方、シーンチェンジを検出す
る機構（計数部２１、および比較部１４）は図５に示し
た実施例７の場合と全く同じ構成となっている。
【００６３】実施例１１．一方、上記実施例では、シー
ンチェンジを検出する機構として、計数部２１および比
較部１４というハードウェアを用いたものを示したが、
これらは図４に示すように、汎用的なＣＰＵを用いたソ
フトウェア処理によって実現することも可能である。同
図では、動画像符号化部１８がＣＰＵ１７のバス１９上
に接続され、ＣＰＵ１７からシーンチェンジ検出に必要
な符号化データ量を読み取れるようになっている。そし
て、ＣＰＵ１７はメモリ２０に蓄えられたプログラムに
従って、シーンチェンジ検出機構である計数部、および
比較部を実現する。
ンチェンジを検出する機構として、計数部２１および比
較部１４というハードウェアを用いたものを示したが、
これらは図４に示すように、汎用的なＣＰＵを用いたソ
フトウェア処理によって実現することも可能である。同
図では、動画像符号化部１８がＣＰＵ１７のバス１９上
に接続され、ＣＰＵ１７からシーンチェンジ検出に必要
な符号化データ量を読み取れるようになっている。そし
て、ＣＰＵ１７はメモリ２０に蓄えられたプログラムに
従って、シーンチェンジ検出機構である計数部、および
比較部を実現する。
【００６４】実施例１２．なお、図５，図７および図８
に示した実施例では、減算器２の出力をＤＣＴ変換する
場合について説明したが、これはＤＣＴ変換にのみ限定
されるものではなく、さらにＤＣＴ変換に代表される直
交変換以外の方式、例えば予測符号化であっても構わな
い。
に示した実施例では、減算器２の出力をＤＣＴ変換する
場合について説明したが、これはＤＣＴ変換にのみ限定
されるものではなく、さらにＤＣＴ変換に代表される直
交変換以外の方式、例えば予測符号化であっても構わな
い。
【００６５】実施例１３．図９は請求項３に記載された
発明の一実施例を示すブロック図であり、シーンチェン
ジを検出する機構以外は図８と全く同一であるので、こ
こではシーンチェンジを検出する機構について説明す
る。図において、２６は符号化制御部２２の出力するフ
レーム内／フレーム間符号化識別フラグに基づいて、フ
レーム間の相関による予測が不可能な画素の数を計数
し、計数値を比較部１４に送る計数部である。
発明の一実施例を示すブロック図であり、シーンチェン
ジを検出する機構以外は図８と全く同一であるので、こ
こではシーンチェンジを検出する機構について説明す
る。図において、２６は符号化制御部２２の出力するフ
レーム内／フレーム間符号化識別フラグに基づいて、フ
レーム間の相関による予測が不可能な画素の数を計数
し、計数値を比較部１４に送る計数部である。
【００６６】次に動作について説明する。まず、計数部
２６が、１フレームごとに符号化制御部２２の出力であ
るフレーム内／フレーム間符号化識別フラグに基づいて
フレーム内符号化される画素の数を計数する。比較部１
４はあらかじめ定められたしきい値とこの計数部２６の
計数値とを１フレームごとに比較し、前記計数値がしき
い値より大であれば現フレームがシーンチェンジである
旨を示すシーンチェンジ検出信号を出力する。
２６が、１フレームごとに符号化制御部２２の出力であ
るフレーム内／フレーム間符号化識別フラグに基づいて
フレーム内符号化される画素の数を計数する。比較部１
４はあらかじめ定められたしきい値とこの計数部２６の
計数値とを１フレームごとに比較し、前記計数値がしき
い値より大であれば現フレームがシーンチェンジである
旨を示すシーンチェンジ検出信号を出力する。
【００６７】実施例１４．なお、上記実施例１３におい
ては、フレーム間符号化として動き補償予測とＤＣＴの
組合せ、フレーム内符号化としてＤＣＴを用いたものを
示したが、これらの方式に限定されるものではなく、フ
レーム内符号化とフレーム間符号化とを適応的に切り換
える動画像符号化方式であれば、どのようなものにでも
適用可能である。
ては、フレーム間符号化として動き補償予測とＤＣＴの
組合せ、フレーム内符号化としてＤＣＴを用いたものを
示したが、これらの方式に限定されるものではなく、フ
レーム内符号化とフレーム間符号化とを適応的に切り換
える動画像符号化方式であれば、どのようなものにでも
適用可能である。
【００６８】実施例１５．また、上記実施例では、計数
部２６がフレーム内符号化されている画素の数を計数す
る場合について説明したが、これはフレーム間符号化さ
れている画素の数を計数部２６で計数して、計数部２６
の計数値がしきい値より小のときにシーンチェンジ信号
を出力するようにしてもよく、さらにフレーム内符号化
とフレーム間符号化のいずれを用いているかの判定が、
あるブロック単位（例えば、８×８画素）で行われてい
る場合には、計数部２６でこのブロックの数を計数する
ようにしてもよい。
部２６がフレーム内符号化されている画素の数を計数す
る場合について説明したが、これはフレーム間符号化さ
れている画素の数を計数部２６で計数して、計数部２６
の計数値がしきい値より小のときにシーンチェンジ信号
を出力するようにしてもよく、さらにフレーム内符号化
とフレーム間符号化のいずれを用いているかの判定が、
あるブロック単位（例えば、８×８画素）で行われてい
る場合には、計数部２６でこのブロックの数を計数する
ようにしてもよい。
【００６９】実施例１６．一方、上記実施例では、シー
ンチェンジを検出する機構として計数部２６、および比
較部１４というハードウェアを用いたものを示したが、
これらは図４に示すように、汎用的なＣＰＵを用いたソ
フトウェア処理により実現することも可能である。同図
では、動画像符号化部１８がＣＰＵ１７のバス１９上に
接続され、ＣＰＵ１７からシーンチェンジ検出に必要な
フレーム内符号化される画素数を読み取れるようになっ
ている。そして、ＣＰＵ１７はメモリ２０に蓄えられた
プログラムに従って、シーンチェンジ検出機構である計
数部、および比較部を実現する。
ンチェンジを検出する機構として計数部２６、および比
較部１４というハードウェアを用いたものを示したが、
これらは図４に示すように、汎用的なＣＰＵを用いたソ
フトウェア処理により実現することも可能である。同図
では、動画像符号化部１８がＣＰＵ１７のバス１９上に
接続され、ＣＰＵ１７からシーンチェンジ検出に必要な
フレーム内符号化される画素数を読み取れるようになっ
ている。そして、ＣＰＵ１７はメモリ２０に蓄えられた
プログラムに従って、シーンチェンジ検出機構である計
数部、および比較部を実現する。
【００７０】実施例１７．次にこの発明の実施例１７を
図について説明する。図１０は請求項４に記載した発明
の一実施例を示すブロック図である。図において、８は
エントロピー復号化部、９は逆ＤＣＴ部、１０はフレー
ムメモリ、１１は加算器であり、図２５に同一符号を付
した従来のそれらと同一、あるいは相当部分であるため
詳細な説明は省略する。
図について説明する。図１０は請求項４に記載した発明
の一実施例を示すブロック図である。図において、８は
エントロピー復号化部、９は逆ＤＣＴ部、１０はフレー
ムメモリ、１１は加算器であり、図２５に同一符号を付
した従来のそれらと同一、あるいは相当部分であるため
詳細な説明は省略する。
【００７１】また、２７は前記逆ＤＣＴ部９から復号さ
れたフレーム間の予測誤差に対して所定の演算、例えば
それを二乗する演算を施す演算部としての乗算器であ
り、２８は１フレームごとにこの乗算器２７の出力を累
計する計数部である。２９は１フレームの符号化が終了
する都度、この計数部２８の計数値をしきい値と比較し
て、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを示すシーンチェンジ検出信号を発生す
る比較部である。
れたフレーム間の予測誤差に対して所定の演算、例えば
それを二乗する演算を施す演算部としての乗算器であ
り、２８は１フレームごとにこの乗算器２７の出力を累
計する計数部である。２９は１フレームの符号化が終了
する都度、この計数部２８の計数値をしきい値と比較し
て、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを示すシーンチェンジ検出信号を発生す
る比較部である。
【００７２】次に動作について説明する。ここで、通信
路より受けた符号化データを画像信号に復号するまでは
従来の場合と同様であるためその説明は省略する。画像
信号復号の過程で逆ＤＣＴ部９から出力されるフレーム
間の予測誤差の値ｘは乗算器２７にも入力され、そこで
次式で与えられる演算が施される。
路より受けた符号化データを画像信号に復号するまでは
従来の場合と同様であるためその説明は省略する。画像
信号復号の過程で逆ＤＣＴ部９から出力されるフレーム
間の予測誤差の値ｘは乗算器２７にも入力され、そこで
次式で与えられる演算が施される。
【００７３】 ｙ＝ｘ2 ・・・・・・・（５）
【００７４】ここで、式（５）におけるｙは予測誤差信
号のエネルギーに相当し、計数部２８に送られて１フレ
ーム分の累計が計数される。この計数部２８の計数値は
比較部２９に送られて、あらかじめ定められたしきい値
と１フレームごとに比較される。比較の結果、計数部２
８の計数値がしきい値より大であれば、比較部２９は現
フレームがシーンチェンジである旨を示すシーンチェン
ジ検出信号を出力する。
号のエネルギーに相当し、計数部２８に送られて１フレ
ーム分の累計が計数される。この計数部２８の計数値は
比較部２９に送られて、あらかじめ定められたしきい値
と１フレームごとに比較される。比較の結果、計数部２
８の計数値がしきい値より大であれば、比較部２９は現
フレームがシーンチェンジである旨を示すシーンチェン
ジ検出信号を出力する。
【００７５】実施例１８．図１１は請求項４に記載した
発明の他の実施例を示すブロック図であり、この実施例
１８は図１０の実施例１７をより単純化したものであ
る。即ち、符号化データとしてフレーム間差分を直接エ
ントロピー符号化したデータが伝送されてくるので、エ
ントロピー復号化部８で復号した後、加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力する一方、フ
レームメモリ１０に格納して次フレームの復号に利用す
る。なお、シーンチェンジを検出する機構（乗算器２
７、計数部２８、および比較部２９）は図１０の実施例
１７と同一である。
発明の他の実施例を示すブロック図であり、この実施例
１８は図１０の実施例１７をより単純化したものであ
る。即ち、符号化データとしてフレーム間差分を直接エ
ントロピー符号化したデータが伝送されてくるので、エ
ントロピー復号化部８で復号した後、加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力する一方、フ
レームメモリ１０に格納して次フレームの復号に利用す
る。なお、シーンチェンジを検出する機構（乗算器２
７、計数部２８、および比較部２９）は図１０の実施例
１７と同一である。
【００７６】実施例１９．図１２は請求項４に記載した
発明のさらに他の実施例を示すブロック図である。この
実施例１９では動画像符号化におけるフレーム間予測と
して動き補償予測を用いて符号化されたデータを復号す
る動画像復号化装置の場合を示しており、図において、
３０はその動き補償を行う動き補償部である。
発明のさらに他の実施例を示すブロック図である。この
実施例１９では動画像符号化におけるフレーム間予測と
して動き補償予測を用いて符号化されたデータを復号す
る動画像復号化装置の場合を示しており、図において、
３０はその動き補償を行う動き補償部である。
【００７７】ここで、この動き補償予測はフレーム間で
同一位置にある画素どうしを減算するという単純なフレ
ーム間差分ではなく、被写体の動きを検出し、この動き
に応じてフレーム間差分をとる画素を可変にできる方式
である。即ち、現フレームにおける物体、あるいは適当
な大きさのブロックが前フレームのどの位置に対応する
かを求め、これを動きベクトルとして検出する。そし
て、前記動きベクトルを用いて予測に用いる前フレーム
の画素を決定し、現フレームとの差分をとる。例えば、
動きの全くないフレームが連続する場合には動きベクト
ルは０となり、単純なフレーム間差分と一致する。従っ
て、この方式では復号の際に符号化データに加えて動き
ベクトルが必要になる。
同一位置にある画素どうしを減算するという単純なフレ
ーム間差分ではなく、被写体の動きを検出し、この動き
に応じてフレーム間差分をとる画素を可変にできる方式
である。即ち、現フレームにおける物体、あるいは適当
な大きさのブロックが前フレームのどの位置に対応する
かを求め、これを動きベクトルとして検出する。そし
て、前記動きベクトルを用いて予測に用いる前フレーム
の画素を決定し、現フレームとの差分をとる。例えば、
動きの全くないフレームが連続する場合には動きベクト
ルは０となり、単純なフレーム間差分と一致する。従っ
て、この方式では復号の際に符号化データに加えて動き
ベクトルが必要になる。
【００７８】この復号化装置ではまず、符号化データは
図１０の場合と同じ経路、即ち、エントロピー復号化部
８、逆ＤＣＴ部９、加算器１１を経て画像信号に変換さ
れる。また、現フレームの復号結果はフレームメモリ１
０に記憶され、次フレームの復号に使用される。一方、
動き補償部３０は符号化装置より通信路に送出された動
きベクトルを用いて、予測に用いる前フレームの画素を
決定し、フレームメモリ１０からその画素値を取り出し
て加算器１１に加える。このように、動き補償予測を用
いたものは、図１０のフレーム間差分を高度化したもの
と考えられるが、シーンチェンジを検出する機構である
乗算器２７、計数部２８、および比較部２９の動作は図
１０の場合と全く同じである。
図１０の場合と同じ経路、即ち、エントロピー復号化部
８、逆ＤＣＴ部９、加算器１１を経て画像信号に変換さ
れる。また、現フレームの復号結果はフレームメモリ１
０に記憶され、次フレームの復号に使用される。一方、
動き補償部３０は符号化装置より通信路に送出された動
きベクトルを用いて、予測に用いる前フレームの画素を
決定し、フレームメモリ１０からその画素値を取り出し
て加算器１１に加える。このように、動き補償予測を用
いたものは、図１０のフレーム間差分を高度化したもの
と考えられるが、シーンチェンジを検出する機構である
乗算器２７、計数部２８、および比較部２９の動作は図
１０の場合と全く同じである。
【００７９】実施例２０．なお、図１０および図１２に
示した実施例では乗算器２７が逆ＤＣＴ部９の出力に接
続されたものを示したが、それを逆ＤＣＴ部９の入力に
接続してもよく、上記実施例と同様の効果が得られる。
また、図１０，図１２に示した実施例では、フレーム間
差分に対してＤＣＴ処理を施す場合を説明したが、これ
はＤＣＴ処理に限定されるものではなく、さらに、ＤＣ
Ｔに代表される直交変換以外の方式、例えば予測符号化
であっても構わない。
示した実施例では乗算器２７が逆ＤＣＴ部９の出力に接
続されたものを示したが、それを逆ＤＣＴ部９の入力に
接続してもよく、上記実施例と同様の効果が得られる。
また、図１０，図１２に示した実施例では、フレーム間
差分に対してＤＣＴ処理を施す場合を説明したが、これ
はＤＣＴ処理に限定されるものではなく、さらに、ＤＣ
Ｔに代表される直交変換以外の方式、例えば予測符号化
であっても構わない。
【００８０】実施例２１．さらに、図１０〜図１２に示
した実施例では、演算部として乗算器２７を用いて式
（５）を計算するものを示したが、この演算としてはよ
り一般的な次式を用いてもよい。
した実施例では、演算部として乗算器２７を用いて式
（５）を計算するものを示したが、この演算としてはよ
り一般的な次式を用いてもよい。
【００８１】 ｙ＝｜ｘ｜r （ｒは実数） ・・・・・（６）
【００８２】また、以上の実施例の説明から明らかなよ
うに、このシーンチェンジを検出する機構は、フレーム
間の相関を利用する動画像符号化のアルゴリズムには全
く依存しないことは明らかである。
うに、このシーンチェンジを検出する機構は、フレーム
間の相関を利用する動画像符号化のアルゴリズムには全
く依存しないことは明らかである。
【００８３】実施例２２．一方、上記各実施例では、シ
ーンチェンジを検出する機構として、演算部としての乗
算器２７、および計数部２８、比較部２９というハード
ウェアを用いたが、これらは図１３に示す請求項４の発
明のさらに他の実施例を示すブロック図のように、汎用
的なＣＰＵ３１を用いたソフトウェア処理により実現す
ることも可能である。この実施例では、エントロピー復
号化部、逆ＤＣＴ部９、フレームメモリ１０、加算器１
１などで形成される動画像復号化部３２がＣＰＵ３１の
バス３３上に接続され、ＣＰＵ３１からシーンチェンジ
検出に必要なフレーム間の予測誤差を読み取れるように
なっている。そして、ＣＰＵ３１はメモリ３４に蓄えら
れたプログラムに従って、シーンチェンジ検出機構であ
る演算部、計数部、および比較部を実現する。
ーンチェンジを検出する機構として、演算部としての乗
算器２７、および計数部２８、比較部２９というハード
ウェアを用いたが、これらは図１３に示す請求項４の発
明のさらに他の実施例を示すブロック図のように、汎用
的なＣＰＵ３１を用いたソフトウェア処理により実現す
ることも可能である。この実施例では、エントロピー復
号化部、逆ＤＣＴ部９、フレームメモリ１０、加算器１
１などで形成される動画像復号化部３２がＣＰＵ３１の
バス３３上に接続され、ＣＰＵ３１からシーンチェンジ
検出に必要なフレーム間の予測誤差を読み取れるように
なっている。そして、ＣＰＵ３１はメモリ３４に蓄えら
れたプログラムに従って、シーンチェンジ検出機構であ
る演算部、計数部、および比較部を実現する。
【００８４】実施例２３．図１４は請求項５に記載され
た発明の一実施例を示すブロック図で、図１０の実施例
に対応しており、相当部分には図１０と同一符号を付し
てその説明を省略する。図において、３５はエントロピ
ー復号化部８の入力に接続され、当該動画像の復号化装
置に入力される符号化データのデータ量を１フレームご
とに計数し、計数値を比較部２９に出力する計数部であ
る。
た発明の一実施例を示すブロック図で、図１０の実施例
に対応しており、相当部分には図１０と同一符号を付し
てその説明を省略する。図において、３５はエントロピ
ー復号化部８の入力に接続され、当該動画像の復号化装
置に入力される符号化データのデータ量を１フレームご
とに計数し、計数値を比較部２９に出力する計数部であ
る。
【００８５】次に動作について説明する。エントロピー
復号化部８の入力に接続された計数部３５は、通信路か
らの符号化データの１フレームごとのデータ量を計数し
て比較部２９に送る。比較部２９はあらかじめ定められ
たしきい値とこの計数部３５の計数値とを１フレームご
とに比較し、計数部３５の計数値がしきい値より大であ
ればシーンチェンジ検出信号を出力する。
復号化部８の入力に接続された計数部３５は、通信路か
らの符号化データの１フレームごとのデータ量を計数し
て比較部２９に送る。比較部２９はあらかじめ定められ
たしきい値とこの計数部３５の計数値とを１フレームご
とに比較し、計数部３５の計数値がしきい値より大であ
ればシーンチェンジ検出信号を出力する。
【００８６】実施例２４．図１５は請求項５に記載した
発明の他の実施例を示すブロック図である。この実施例
は図１１に対応しており、動画像復号化部分は図１１と
全く同じ構成である。一方、シーンチェンジを検出する
機構は図１４に示した実施例と全く同様に、計数部３５
と比較部２９で構成されている。
発明の他の実施例を示すブロック図である。この実施例
は図１１に対応しており、動画像復号化部分は図１１と
全く同じ構成である。一方、シーンチェンジを検出する
機構は図１４に示した実施例と全く同様に、計数部３５
と比較部２９で構成されている。
【００８７】実施例２５．図１６は請求項５に記載した
発明のさらに他の実施例を示すブロック図である。この
実施例２５は図１２に対応しており、動画像復号化部分
は図１２と全く同じ構成である。一方、シーンチェンジ
を検出する機構は図１４と全く同じく、計数部３５と比
較部２９とで構成されている。
発明のさらに他の実施例を示すブロック図である。この
実施例２５は図１２に対応しており、動画像復号化部分
は図１２と全く同じ構成である。一方、シーンチェンジ
を検出する機構は図１４と全く同じく、計数部３５と比
較部２９とで構成されている。
【００８８】実施例２６．図１７は請求項５に記載した
発明のさらに他の実施例を示すブロック図である。この
実施例２６はフレーム内符号化とフレーム間符号化とを
適応的に切り換える動画像符号化装置を用いて符号化さ
れたデータを復号する動画像復号化装置に適用した場合
のものである。図において、３６は通信路からのフレー
ム内／フレーム間符号化フラグによって、送られてきた
符号化データがフレーム内符号化によるものかフレーム
間符号化によるものかを判断する復号化制御部であり、
３７はこの復号化制御部３６によって切り換えが制御さ
れるスイッチである。
発明のさらに他の実施例を示すブロック図である。この
実施例２６はフレーム内符号化とフレーム間符号化とを
適応的に切り換える動画像符号化装置を用いて符号化さ
れたデータを復号する動画像復号化装置に適用した場合
のものである。図において、３６は通信路からのフレー
ム内／フレーム間符号化フラグによって、送られてきた
符号化データがフレーム内符号化によるものかフレーム
間符号化によるものかを判断する復号化制御部であり、
３７はこの復号化制御部３６によって切り換えが制御さ
れるスイッチである。
【００８９】次に動作について説明する。復号化制御部
３６は通信路を通して送られてくるフレーム内／フレー
ム間符号化識別フラグに応じて、例えば画像の８×８画
素程度のブロック単位にフレーム内符号化とフレーム間
符号化のどちらかが使用されているかを判断し、スイッ
チ３７、およびエントロピー復号化部８で使用する符号
を制御する。図示の状態は、スイッチ３７はフレーム間
符号化で符号化された符号化データを復号する状態にな
っており、フレーム内符号化で符号化された符号化デー
タを復号する場合、このスイッチ３７は図示とは逆方向
に接続され、０を出力する。
３６は通信路を通して送られてくるフレーム内／フレー
ム間符号化識別フラグに応じて、例えば画像の８×８画
素程度のブロック単位にフレーム内符号化とフレーム間
符号化のどちらかが使用されているかを判断し、スイッ
チ３７、およびエントロピー復号化部８で使用する符号
を制御する。図示の状態は、スイッチ３７はフレーム間
符号化で符号化された符号化データを復号する状態にな
っており、フレーム内符号化で符号化された符号化デー
タを復号する場合、このスイッチ３７は図示とは逆方向
に接続され、０を出力する。
【００９０】通信路より受け取った符号化データはエン
トロピー復号化部８でまず復号された後、逆ＤＣＴ部９
に送られて逆ＤＣＴの処理がなされ、加算器１１でスイ
ッチ３７の出力と加算される。この加算結果は現フレー
ムを復号した画像信号そのものであり、外部に出力され
るとともにフレームメモリ１０に蓄積されて次フレーム
の復号に用いられる。また、この実施例では、フレーム
間符号化として動き補償予測を用いた符号化データを復
号することを想定しており、その動作は図１２に示した
実施例の場合と同様である。ただし、このフレーム間予
測は動き補償予測に限定されるわけではない。一方、シ
ーンチェンジを検出する機構（計数部３５、比較部２
９）は図１４に示す実施例と同一の構成となっている。
トロピー復号化部８でまず復号された後、逆ＤＣＴ部９
に送られて逆ＤＣＴの処理がなされ、加算器１１でスイ
ッチ３７の出力と加算される。この加算結果は現フレー
ムを復号した画像信号そのものであり、外部に出力され
るとともにフレームメモリ１０に蓄積されて次フレーム
の復号に用いられる。また、この実施例では、フレーム
間符号化として動き補償予測を用いた符号化データを復
号することを想定しており、その動作は図１２に示した
実施例の場合と同様である。ただし、このフレーム間予
測は動き補償予測に限定されるわけではない。一方、シ
ーンチェンジを検出する機構（計数部３５、比較部２
９）は図１４に示す実施例と同一の構成となっている。
【００９１】実施例２７．一方、上記実施例では、シー
ンチェンジを検出する機構として、計数部３５および比
較部２９というハードウェアを用いたものを示したが、
これらは図１３に示すように、汎用的なＣＰＵを用いた
ソフトウェア処理によって実現することも可能である。
同図では、動画像復号化部３２がＣＰＵ３１のバス３３
上に接続され、ＣＰＵ３１からシーンチェンジ検出に必
要な１フレームごとの符号化データ量を読み取れるよう
になっている。そして、ＣＰＵ３１はメモリ３４に蓄え
られたプログラムに従って、シーンチェンジ検出機構で
ある計数部、および比較部を実現する。
ンチェンジを検出する機構として、計数部３５および比
較部２９というハードウェアを用いたものを示したが、
これらは図１３に示すように、汎用的なＣＰＵを用いた
ソフトウェア処理によって実現することも可能である。
同図では、動画像復号化部３２がＣＰＵ３１のバス３３
上に接続され、ＣＰＵ３１からシーンチェンジ検出に必
要な１フレームごとの符号化データ量を読み取れるよう
になっている。そして、ＣＰＵ３１はメモリ３４に蓄え
られたプログラムに従って、シーンチェンジ検出機構で
ある計数部、および比較部を実現する。
【００９２】実施例２８．なお、図１４，図１６，図１
７に示した実施例では、動画像符号化側においてフレー
ム間差分に対してＤＣＴの処理を施すことを想定してい
るが、これはＤＣＴ処理に限定するものではなく、さら
に、ＤＣＴに代表される直交変換以外の方式、例えば予
測符号化であっても構わない。
７に示した実施例では、動画像符号化側においてフレー
ム間差分に対してＤＣＴの処理を施すことを想定してい
るが、これはＤＣＴ処理に限定するものではなく、さら
に、ＤＣＴに代表される直交変換以外の方式、例えば予
測符号化であっても構わない。
【００９３】実施例２９．図１８は請求項６に記載され
た発明の一実施例を示すブロック図であり、シーンチェ
ンジを検出する機構以外は図１７と全く同一であるの
で、ここではシーンチェンジを検出する機構について説
明する。図において、３８は復号化制御部３６に入力さ
れるフレーム内／フレーム間符号化識別フラグに基づい
て、フレーム間の相関による予測が不可能な画素の数を
計数し、計数値を比較部２９に送る計数部である。
た発明の一実施例を示すブロック図であり、シーンチェ
ンジを検出する機構以外は図１７と全く同一であるの
で、ここではシーンチェンジを検出する機構について説
明する。図において、３８は復号化制御部３６に入力さ
れるフレーム内／フレーム間符号化識別フラグに基づい
て、フレーム間の相関による予測が不可能な画素の数を
計数し、計数値を比較部２９に送る計数部である。
【００９４】次に動作について説明する。まず、計数部
３８は、１フレームごとにフレーム内／フレーム間符号
化識別フラグに基づいてフレーム内符号化されている画
素の数を計数する。比較部２９はあらかじめ定められた
しきい値とこの計数部３８の計数値とを１フレームごと
に比較し、前記計数値がしきい値より大であればシーン
チェンジ検出信号を出力する。
３８は、１フレームごとにフレーム内／フレーム間符号
化識別フラグに基づいてフレーム内符号化されている画
素の数を計数する。比較部２９はあらかじめ定められた
しきい値とこの計数部３８の計数値とを１フレームごと
に比較し、前記計数値がしきい値より大であればシーン
チェンジ検出信号を出力する。
【００９５】実施例３０．なお、上記実施例２９におい
ては、フレーム間符号化として動き補償予測とＤＣＴの
組合せ、フレーム内符号化としてＤＣＴを用いて符号化
されたデータを復号する場合について説明したが、これ
らの方式に限定されるものではなく、フレーム内符号化
とフレーム間符号化とを適応的に切り換える動画像符号
化方式で符号化されたデータであれば、どのようなもの
にでも適用可能である。
ては、フレーム間符号化として動き補償予測とＤＣＴの
組合せ、フレーム内符号化としてＤＣＴを用いて符号化
されたデータを復号する場合について説明したが、これ
らの方式に限定されるものではなく、フレーム内符号化
とフレーム間符号化とを適応的に切り換える動画像符号
化方式で符号化されたデータであれば、どのようなもの
にでも適用可能である。
【００９６】実施例３１．また、上記実施例では、計数
部３８がフレーム内符号化されている画素の数を計数す
る場合について説明したが、これはフレーム間符号化さ
れている画素の数を計数部３８で計数して、計数部３８
の計数値がしきい値より小のときにシーンチェンジ検出
信号を出力するようにしてもよく、さらに、フレーム内
符号化とフレーム間符号化のいずれを用いているかの判
定が、あるブロック単位（例えば８×８画素）で行われ
ている場合には、計数部３８でこのブロックの数を計数
するようにしてもよい。
部３８がフレーム内符号化されている画素の数を計数す
る場合について説明したが、これはフレーム間符号化さ
れている画素の数を計数部３８で計数して、計数部３８
の計数値がしきい値より小のときにシーンチェンジ検出
信号を出力するようにしてもよく、さらに、フレーム内
符号化とフレーム間符号化のいずれを用いているかの判
定が、あるブロック単位（例えば８×８画素）で行われ
ている場合には、計数部３８でこのブロックの数を計数
するようにしてもよい。
【００９７】実施例３２．一方、上記実施例では、シー
ンチェンジを検出する機構として計数部３８および比較
部２９というハードウェアを用いたものを示したが、こ
れらは図１３に示すように、汎用的なＣＰＵを用いたソ
フトウェア処理により実現することも可能である。同図
では、動画像復号化部３２がＣＰＵ３１のバス３３上に
接続され、ＣＰＵ３１からシーンチェンジ検出に必要な
フレーム内符号化される画素数を読み取れるようになっ
ている。そして、ＣＰＵ３１はメモリ３４に蓄えられた
プログラムに従って、シーンチェンジ検出機構である計
数部、および比較部を実現する。
ンチェンジを検出する機構として計数部３８および比較
部２９というハードウェアを用いたものを示したが、こ
れらは図１３に示すように、汎用的なＣＰＵを用いたソ
フトウェア処理により実現することも可能である。同図
では、動画像復号化部３２がＣＰＵ３１のバス３３上に
接続され、ＣＰＵ３１からシーンチェンジ検出に必要な
フレーム内符号化される画素数を読み取れるようになっ
ている。そして、ＣＰＵ３１はメモリ３４に蓄えられた
プログラムに従って、シーンチェンジ検出機構である計
数部、および比較部を実現する。
【００９８】実施例３３．なお、上記実施例１から３２
では、比較部は計数部の計数結果をしきい値と比較し、
計数部の計数値がしきい値より大であれば、そのフレー
ムをシーンチェンジであると判定するものを示したが、
比較部の処理をより複雑にすることにより、シーンチェ
ンジの検出をより正確に行うこともできる。例えば、風
景をカメラで撮影しており、カメラの撮影方向が左から
右へと動く場合を考えてみると、このとき、映像はフレ
ーム毎に変化しているため、計数部に計数される計数値
が連続するフレームにわたって大きくなり、従って、単
純なしきい値比較だけでは全フレームをシーンチェンジ
と判定してしまう可能性がある。ところが、実際には計
数部の計数値がしきい値を越える最初のフレームをシー
ンチェンジと判定することが望ましい。これに対して
は、連続するフレームにわたって計数値がしきい値を越
える場合には、最初のフレームだけをシーンチェンジと
判定する、という処理を追加することにより容易に対応
可能である。また、比較部のしきい値を計数部の計数結
果に応じて適応的に変化させることによっても対応可能
である。
では、比較部は計数部の計数結果をしきい値と比較し、
計数部の計数値がしきい値より大であれば、そのフレー
ムをシーンチェンジであると判定するものを示したが、
比較部の処理をより複雑にすることにより、シーンチェ
ンジの検出をより正確に行うこともできる。例えば、風
景をカメラで撮影しており、カメラの撮影方向が左から
右へと動く場合を考えてみると、このとき、映像はフレ
ーム毎に変化しているため、計数部に計数される計数値
が連続するフレームにわたって大きくなり、従って、単
純なしきい値比較だけでは全フレームをシーンチェンジ
と判定してしまう可能性がある。ところが、実際には計
数部の計数値がしきい値を越える最初のフレームをシー
ンチェンジと判定することが望ましい。これに対して
は、連続するフレームにわたって計数値がしきい値を越
える場合には、最初のフレームだけをシーンチェンジと
判定する、という処理を追加することにより容易に対応
可能である。また、比較部のしきい値を計数部の計数結
果に応じて適応的に変化させることによっても対応可能
である。
【００９９】実施例３４．次にこの発明の実施例３４を
図について説明する。図１９は請求項７に記載した発明
の一実施例を示すブロック図である。図において、４１
は複数のシーンから構成される動画像の符号化データが
格納されたディスクであり、４２はこのディスク４１か
ら動画像の符号化データを取り込む動画像符号化データ
入力部である。４３はこの動画像符号化データ入力部４
２によって取り込まれた動画像の符号化データの１フレ
ームごとのデータ量を計数する計数部であり、４４はこ
の計数部４３の計数部をしきい値と比較して、その大小
関係に基づいて当該フレームがシーンチェンジであるか
否かを示す信号を発生する比較部である。４５はこのシ
ステム全体の制御を行うＣＰＵである。
図について説明する。図１９は請求項７に記載した発明
の一実施例を示すブロック図である。図において、４１
は複数のシーンから構成される動画像の符号化データが
格納されたディスクであり、４２はこのディスク４１か
ら動画像の符号化データを取り込む動画像符号化データ
入力部である。４３はこの動画像符号化データ入力部４
２によって取り込まれた動画像の符号化データの１フレ
ームごとのデータ量を計数する計数部であり、４４はこ
の計数部４３の計数部をしきい値と比較して、その大小
関係に基づいて当該フレームがシーンチェンジであるか
否かを示す信号を発生する比較部である。４５はこのシ
ステム全体の制御を行うＣＰＵである。
【０１００】次に動作について説明する。ディスク４１
には複数のシーンから構成される動画像の画像信号を符
号化した符号化データが蓄えられており、動画像符号化
データ入力部４２がこのディスク４１から順次、動画像
の符号化データを読み出してゆく。読み出された動画像
の符号化データは計数部４３に送られて１フレームごと
にそのデータ量が計数され、計数結果が比較部４４に出
力される。比較部４４は受け取った計数値をしきい値と
比較して、計数値がしきい値より大きい場合には、その
フレームがシーンチェンジである旨を示すシーンチェン
ジ検出信号を出力する。そして、この比較部４４より出
力されたシーンチェンジ検出信号はＣＰＵ４５から読み
取れるように構成されている。
には複数のシーンから構成される動画像の画像信号を符
号化した符号化データが蓄えられており、動画像符号化
データ入力部４２がこのディスク４１から順次、動画像
の符号化データを読み出してゆく。読み出された動画像
の符号化データは計数部４３に送られて１フレームごと
にそのデータ量が計数され、計数結果が比較部４４に出
力される。比較部４４は受け取った計数値をしきい値と
比較して、計数値がしきい値より大きい場合には、その
フレームがシーンチェンジである旨を示すシーンチェン
ジ検出信号を出力する。そして、この比較部４４より出
力されたシーンチェンジ検出信号はＣＰＵ４５から読み
取れるように構成されている。
【０１０１】実施例３５．次にこの発明の実施例３５を
図について説明する。図２０は請求項８に記載した発明
の一実施例を示すブロック図である。図において、４５
は前記ＣＰＵであり、４６はフレーム間の相関を利用し
て複数のシーンから成る動画像の画像信号を符号化する
際に、フレーム間の相関にて予測不可能と判定された画
素については、フレーム内の相関を利用して符号化する
というように、フレーム間符号化とフレーム内符号化と
を適応的に切り換えて符号化された動画像の符号化デー
タが格納されているディスクである。４７はこのディス
ク４６より取り込んだ動画像の符号化データより、その
画素の符号化にフレーム間符号化とフレーム内符号化の
いずれが適用されたかを示す符号化モードを抽出する多
重分離部であり、４８はこの多重分離部４７で抽出され
た符号化モードを１フレームごとに計数し、フレーム間
予測可能あるいはフレーム間予測不可能と判定された画
素の数を算出する計数部である。４９はフレームごとに
計数部４８で計数した計数値をしきい値と比較して、そ
の大小関係に基づいて当該フレームがシーンチェンジで
あるか否かを示す信号を発生する比較部である。
図について説明する。図２０は請求項８に記載した発明
の一実施例を示すブロック図である。図において、４５
は前記ＣＰＵであり、４６はフレーム間の相関を利用し
て複数のシーンから成る動画像の画像信号を符号化する
際に、フレーム間の相関にて予測不可能と判定された画
素については、フレーム内の相関を利用して符号化する
というように、フレーム間符号化とフレーム内符号化と
を適応的に切り換えて符号化された動画像の符号化デー
タが格納されているディスクである。４７はこのディス
ク４６より取り込んだ動画像の符号化データより、その
画素の符号化にフレーム間符号化とフレーム内符号化の
いずれが適用されたかを示す符号化モードを抽出する多
重分離部であり、４８はこの多重分離部４７で抽出され
た符号化モードを１フレームごとに計数し、フレーム間
予測可能あるいはフレーム間予測不可能と判定された画
素の数を算出する計数部である。４９はフレームごとに
計数部４８で計数した計数値をしきい値と比較して、そ
の大小関係に基づいて当該フレームがシーンチェンジで
あるか否かを示す信号を発生する比較部である。
【０１０２】次に動作について説明する。多重分離部４
７はディスク４１に蓄えられている動画像の符号化デー
タを順次読み出して、各画素の符号化にフレーム間符号
化とフレーム内符号化のいずれが適用されたかを示す符
号化モードを抽出する。抽出された符号化モードは計数
部４８に送られ、計数部４８は１フレームごとにそれを
計数して、フレーム間予測不可能と判定された画素の数
を算出する。その計数結果は比較部４９に送られてしき
い値と比較され、計数値がしきい値より大きい場合、比
較部４９はそのフレームがシーンチェンジである旨を示
すシーンチェンジ検出信号を出力する。そして、この比
較部４９より出力されたシーンチェンジ検出信号はＣＰ
Ｕ４５から読み取れるように構成されている。
７はディスク４１に蓄えられている動画像の符号化デー
タを順次読み出して、各画素の符号化にフレーム間符号
化とフレーム内符号化のいずれが適用されたかを示す符
号化モードを抽出する。抽出された符号化モードは計数
部４８に送られ、計数部４８は１フレームごとにそれを
計数して、フレーム間予測不可能と判定された画素の数
を算出する。その計数結果は比較部４９に送られてしき
い値と比較され、計数値がしきい値より大きい場合、比
較部４９はそのフレームがシーンチェンジである旨を示
すシーンチェンジ検出信号を出力する。そして、この比
較部４９より出力されたシーンチェンジ検出信号はＣＰ
Ｕ４５から読み取れるように構成されている。
【０１０３】なお、この実施例３４，３５における動画
像符号化データ入力部４２、計数部４３，４８、比較部
４４，４９は専用のハードウェア、あるいは汎用のＣＰ
Ｕを用いたソフトウェアのいずれによっても実現可能で
ある。
像符号化データ入力部４２、計数部４３，４８、比較部
４４，４９は専用のハードウェア、あるいは汎用のＣＰ
Ｕを用いたソフトウェアのいずれによっても実現可能で
ある。
【０１０４】実施例３６．次にこの発明の実施例３６を
図について説明する。図２１は請求項９に記載した発明
の一実施例を示すブロック図である。図において、５１
は複数フレーム分の画像信号が記憶されるフレームメモ
リ、５２はこのフレームメモリ５１から読み出された画
像信号とフレーム間予測信号との差分をとる減算器であ
り、５３はその差分出力を直交変換の１つである離散コ
サイン変換（以下、ＤＣＴという）する変換器である。
５４はＤＣＴされた信号を量子化する量子化器、５５は
量子化された信号の可変長符号化を行う可変長符号化器
であり、５６は可変長符号化された信号を符号化モード
やフレームモードなどを示す他のデータと混合する多重
化器である。５７は量子化器５４より出力される信号を
逆量子化する逆量子化器、５８は逆量子化された信号を
逆ＤＣＴする逆変換器であり、５９はこの逆変換器５８
より出力される信号にフレーム間予測信号を加算する加
算器、６０はこの加算器５９の出力する画像信号を記憶
するフレームメモリである。６１はこのフレームメモリ
６０よりフレーム間予測に用いるデータを読み出してフ
レーム間予測信号を生成するフレーム間予測器、６２は
フレーム間予測に必要な動きベクトルを検出してフレー
ム間予測器６１に与える動きベクトル検出器であり、６
３はフレーム間予測信号と接地（アース）とを切り換え
て減算器５２に供給するスイッチ、６４は同じくフレー
ム間予測信号と接地（アース）とを切り換えて加算器５
９に供給するスイッチである。
図について説明する。図２１は請求項９に記載した発明
の一実施例を示すブロック図である。図において、５１
は複数フレーム分の画像信号が記憶されるフレームメモ
リ、５２はこのフレームメモリ５１から読み出された画
像信号とフレーム間予測信号との差分をとる減算器であ
り、５３はその差分出力を直交変換の１つである離散コ
サイン変換（以下、ＤＣＴという）する変換器である。
５４はＤＣＴされた信号を量子化する量子化器、５５は
量子化された信号の可変長符号化を行う可変長符号化器
であり、５６は可変長符号化された信号を符号化モード
やフレームモードなどを示す他のデータと混合する多重
化器である。５７は量子化器５４より出力される信号を
逆量子化する逆量子化器、５８は逆量子化された信号を
逆ＤＣＴする逆変換器であり、５９はこの逆変換器５８
より出力される信号にフレーム間予測信号を加算する加
算器、６０はこの加算器５９の出力する画像信号を記憶
するフレームメモリである。６１はこのフレームメモリ
６０よりフレーム間予測に用いるデータを読み出してフ
レーム間予測信号を生成するフレーム間予測器、６２は
フレーム間予測に必要な動きベクトルを検出してフレー
ム間予測器６１に与える動きベクトル検出器であり、６
３はフレーム間予測信号と接地（アース）とを切り換え
て減算器５２に供給するスイッチ、６４は同じくフレー
ム間予測信号と接地（アース）とを切り換えて加算器５
９に供給するスイッチである。
【０１０５】また、６５は動画像のフレームを複数の領
域に分割した領域毎の符号化モードを、現フレームの情
報を用いて符号化する第１の符号化モード、既に符号化
された時間的に過去に位置するフレームの情報を用いて
符号化する第２の符号化モード、既に符号化された時間
的に未来に位置するフレームの情報を用いて符号化する
第３の符号化モード、あるいは既に符号化された時間的
に過去に位置するフレームの情報と既に符号化された時
間的に未来に位置するフレームの情報とを用いて符号化
する第４の符号化モード中のいずれを用いるかの決定を
行う符号化モード決定手段である。６６は動画像のフレ
ームのフレームモードが、前記第１の符号化モードだけ
を用いて符号化される第１のフレーム、第１の符号化モ
ードと第２の符号化モードのいずれかを用いて符号化さ
れる第２のフレーム、あるいは第１〜第４の符号化モー
ドのいずれかを用いて符号化される第３のフレーム中の
いずれであるかを決定するフレームモード決定手段であ
る。６７は符号化モード決定手段６５の出力からフレー
ム内での各符号化モードの生起頻度を計数する計数手段
であり、６８はフレームモード決定手段６６の出力と計
数手段６７の計数結果とを少なくとも時間的に連続する
２フレーム分保持する情報保持手段である。６９はこの
情報保持手段６８に保持されている時間的に連続した２
フレーム分のフレームモードを比較するとともに、情報
保持手段６８に保持されている時間的に連続した２フレ
ーム分の符号化モードの生起頻度の比較を行い、それら
の比較結果があらかじめ定められた条件に合致する場合
に検出信号を出力する検出信号出力手段である。
域に分割した領域毎の符号化モードを、現フレームの情
報を用いて符号化する第１の符号化モード、既に符号化
された時間的に過去に位置するフレームの情報を用いて
符号化する第２の符号化モード、既に符号化された時間
的に未来に位置するフレームの情報を用いて符号化する
第３の符号化モード、あるいは既に符号化された時間的
に過去に位置するフレームの情報と既に符号化された時
間的に未来に位置するフレームの情報とを用いて符号化
する第４の符号化モード中のいずれを用いるかの決定を
行う符号化モード決定手段である。６６は動画像のフレ
ームのフレームモードが、前記第１の符号化モードだけ
を用いて符号化される第１のフレーム、第１の符号化モ
ードと第２の符号化モードのいずれかを用いて符号化さ
れる第２のフレーム、あるいは第１〜第４の符号化モー
ドのいずれかを用いて符号化される第３のフレーム中の
いずれであるかを決定するフレームモード決定手段であ
る。６７は符号化モード決定手段６５の出力からフレー
ム内での各符号化モードの生起頻度を計数する計数手段
であり、６８はフレームモード決定手段６６の出力と計
数手段６７の計数結果とを少なくとも時間的に連続する
２フレーム分保持する情報保持手段である。６９はこの
情報保持手段６８に保持されている時間的に連続した２
フレーム分のフレームモードを比較するとともに、情報
保持手段６８に保持されている時間的に連続した２フレ
ーム分の符号化モードの生起頻度の比較を行い、それら
の比較結果があらかじめ定められた条件に合致する場合
に検出信号を出力する検出信号出力手段である。
【０１０６】次に動作について説明する。ここで、この
実施例３６では、動画像符号化部分にはＩＳＯで標準化
が進められている蓄積メディア用動画像符号化方式であ
るＭＰＥＧ（モーション・ピクチャー・エキスパーツ・
グループ；Motion Picture Experts Group）方式を用い
ることを想定している。そこで、まず図２２を用いてこ
のＭＰＥＧ方式の概念について説明する。図２２におい
て、Ｉ，Ｐ，Ｂと記されているのはフレームモードであ
り、Ｉフレームはこの発明における第１のフレームに、
Ｐフレームは同じく第２のフレーム、Ｂフレームは第３
のフレームにそれぞれ相当している。符号化に当たっ
て、まずＩフレーム２０が独立に符号化され、次にＩフ
レーム８０を用いてＰフレーム８３が予測符号化され
る。その後、Ｉフレーム８０とＰフレーム８３を用いて
Ｂフレーム８１，８２がこの順に予測符号化される。そ
れ以降、時間的に最も近くにあるＩまたはＰフレーム
（図２２ではＰフレーム８６）を符号化し、次に時間的
に過去にさかのぼってＢフレーム（図２２ではＢフレー
ム８４，８５）の符号化を行うという操作を繰り返す。
このようにＭＰＥＧ方式の符号化では、符号化に際して
複数フレーム分のバッファが必要となる。例えば、Ｂフ
レーム８１，８２の符号化を終えるにはＩフレーム８０
とＰフレーム８３が必要となり、結局、フレーム８０〜
８３までを蓄積しておかねばならない。
実施例３６では、動画像符号化部分にはＩＳＯで標準化
が進められている蓄積メディア用動画像符号化方式であ
るＭＰＥＧ（モーション・ピクチャー・エキスパーツ・
グループ；Motion Picture Experts Group）方式を用い
ることを想定している。そこで、まず図２２を用いてこ
のＭＰＥＧ方式の概念について説明する。図２２におい
て、Ｉ，Ｐ，Ｂと記されているのはフレームモードであ
り、Ｉフレームはこの発明における第１のフレームに、
Ｐフレームは同じく第２のフレーム、Ｂフレームは第３
のフレームにそれぞれ相当している。符号化に当たっ
て、まずＩフレーム２０が独立に符号化され、次にＩフ
レーム８０を用いてＰフレーム８３が予測符号化され
る。その後、Ｉフレーム８０とＰフレーム８３を用いて
Ｂフレーム８１，８２がこの順に予測符号化される。そ
れ以降、時間的に最も近くにあるＩまたはＰフレーム
（図２２ではＰフレーム８６）を符号化し、次に時間的
に過去にさかのぼってＢフレーム（図２２ではＢフレー
ム８４，８５）の符号化を行うという操作を繰り返す。
このようにＭＰＥＧ方式の符号化では、符号化に際して
複数フレーム分のバッファが必要となる。例えば、Ｂフ
レーム８１，８２の符号化を終えるにはＩフレーム８０
とＰフレーム８３が必要となり、結局、フレーム８０〜
８３までを蓄積しておかねばならない。
【０１０７】次に図２１に戻って実施例３６の動作を説
明する。外部からの画像信号はフレームメモリ５１に記
憶される。このときフレームメモリ５１には前述のよう
に複数フレームが記憶されることになる。フレームメモ
リ５１からは図２２のＭＰＥＧアルゴリズム概要で説明
した順にフレームの内容が読み出され、減算器５２でフ
レーム間予測信号であるスイッチ６３の出力との差分が
とられる。次に減算器５２出力は変換器５３にて直交変
換の一つであるＤＣＴが施され、そして、変換係数を係
数毎に割り当てられたビット配分に応じて量子化器５４
で量子化される。量子化された変換係数は可変長符号化
器５５で、その統計的性質に応じて出現確率の高いパタ
ーンに対してより短い符号を割り当てることにより、さ
らなるデータ圧縮を施された後、多重化器５６で他のデ
ータ、例えばフレームモード、符号化モードなどを示す
データと混合され、符号化データとして出力される。
明する。外部からの画像信号はフレームメモリ５１に記
憶される。このときフレームメモリ５１には前述のよう
に複数フレームが記憶されることになる。フレームメモ
リ５１からは図２２のＭＰＥＧアルゴリズム概要で説明
した順にフレームの内容が読み出され、減算器５２でフ
レーム間予測信号であるスイッチ６３の出力との差分が
とられる。次に減算器５２出力は変換器５３にて直交変
換の一つであるＤＣＴが施され、そして、変換係数を係
数毎に割り当てられたビット配分に応じて量子化器５４
で量子化される。量子化された変換係数は可変長符号化
器５５で、その統計的性質に応じて出現確率の高いパタ
ーンに対してより短い符号を割り当てることにより、さ
らなるデータ圧縮を施された後、多重化器５６で他のデ
ータ、例えばフレームモード、符号化モードなどを示す
データと混合され、符号化データとして出力される。
【０１０８】一方、量子化器５４の出力は逆量子化器５
７、および逆変換器５８によって、前記量子化器５４、
および変換器５３と逆の操作がそれぞれ施され、フレー
ム間予測信号を生成するために使われる。このとき、逆
変換器５８の出力から得られる信号は変換器５３の入力
信号に量子化誤差が加わったものとなる。逆変換器５８
の出力は加算器５９においてスイッチ６４の出力信号と
加算され、フレームメモリ６０に記憶される。ここで、
スイッチ６４の出力信号はスイッチ６３の出力と同一の
信号であり、従って、加算器５９の出力はフレームメモ
リ５１から読み出された信号に量子化誤差が加わったも
のとなる。
７、および逆変換器５８によって、前記量子化器５４、
および変換器５３と逆の操作がそれぞれ施され、フレー
ム間予測信号を生成するために使われる。このとき、逆
変換器５８の出力から得られる信号は変換器５３の入力
信号に量子化誤差が加わったものとなる。逆変換器５８
の出力は加算器５９においてスイッチ６４の出力信号と
加算され、フレームメモリ６０に記憶される。ここで、
スイッチ６４の出力信号はスイッチ６３の出力と同一の
信号であり、従って、加算器５９の出力はフレームメモ
リ５１から読み出された信号に量子化誤差が加わったも
のとなる。
【０１０９】次にフレーム間予測器６１はフレームのフ
レームモードが、第１〜第３のフレームのいずれである
かを決定するフレームモード決定手段６６と、第１〜第
４の符号化モードのいずれを用いるかを決定する符号化
モード決定手段６５による制御と、動きベクトル検出器
６２により与えられる動きベクトルとを受けて、フレー
ムメモリ６０からフレーム間予測に用いるデータを読み
出し、フレーム間予測信号を生成してスイッチ６３およ
び６４に与える。ここで、符号化モード決定手段６５は
可変長符号化器５５から符号化データ量を受け、最も符
号化効率が良くなる符号化モードを決定している。ま
た、スイッチ６３，６４は符号化モード決定手段６５と
フレームモード決定手段６６の制御を受け、フレームモ
ードが第１のフレームの場合には、スイッチ６３および
６４は接点“ａ”側がオンになり、接地信号が各々のス
イッチ６３，６４から減算器５２あるいは加算器５９に
出力される。さらに、フレームモードが第２または第３
のフレームの場合、符号化モードが第１の符号化モード
であれば、スイッチ６３および６４は接点“ａ”側がオ
ンになって、接地信号が減算器５２あるいは加算器５９
に出力され、符号化モードが第１の符号化モード以外で
あれば、スイッチ６３および６４は接点“ｂ”側がオン
になって、減算器５２および加算器５９にはフレーム間
予測器６１の出力が各々のスイッチ６３，６４より出力
される。
レームモードが、第１〜第３のフレームのいずれである
かを決定するフレームモード決定手段６６と、第１〜第
４の符号化モードのいずれを用いるかを決定する符号化
モード決定手段６５による制御と、動きベクトル検出器
６２により与えられる動きベクトルとを受けて、フレー
ムメモリ６０からフレーム間予測に用いるデータを読み
出し、フレーム間予測信号を生成してスイッチ６３およ
び６４に与える。ここで、符号化モード決定手段６５は
可変長符号化器５５から符号化データ量を受け、最も符
号化効率が良くなる符号化モードを決定している。ま
た、スイッチ６３，６４は符号化モード決定手段６５と
フレームモード決定手段６６の制御を受け、フレームモ
ードが第１のフレームの場合には、スイッチ６３および
６４は接点“ａ”側がオンになり、接地信号が各々のス
イッチ６３，６４から減算器５２あるいは加算器５９に
出力される。さらに、フレームモードが第２または第３
のフレームの場合、符号化モードが第１の符号化モード
であれば、スイッチ６３および６４は接点“ａ”側がオ
ンになって、接地信号が減算器５２あるいは加算器５９
に出力され、符号化モードが第１の符号化モード以外で
あれば、スイッチ６３および６４は接点“ｂ”側がオン
になって、減算器５２および加算器５９にはフレーム間
予測器６１の出力が各々のスイッチ６３，６４より出力
される。
【０１１０】次に、この実施例において動画像のシーン
チェンジを検出する機構について説明する。計数手段６
７は符号化モード決定手段６５の出力を受けて、現在符
号化中のフレーム内で、第１，第２，第３，第４の符号
化モードがそれぞれ何回使用されるかをカウントする。
そして、情報保持手段６８はフレームモード決定手段６
６の出力であるフレームモード、即ち、現在符号化中の
フレームが第１，第２，第３のフレームのいずれである
かを記憶するとともに、計数手段６７の計数結果も記憶
する。さらに、情報保持手段６８は少なくとも時間的に
連続する２フレームについて、前記フレームモードと、
符号化モードの計数結果を保持する。そして、検出信号
出力手段６９は情報保持手段６８より、時間的に連続す
るフレーム、即ち、注目フレームと注目フレームの１フ
レーム過去に位置するフレーム（以下それを前方フレー
ムと呼ぶ）について、前記フレームモードと、符号化モ
ードの計数結果を取り出し、以下の処理を行う。
チェンジを検出する機構について説明する。計数手段６
７は符号化モード決定手段６５の出力を受けて、現在符
号化中のフレーム内で、第１，第２，第３，第４の符号
化モードがそれぞれ何回使用されるかをカウントする。
そして、情報保持手段６８はフレームモード決定手段６
６の出力であるフレームモード、即ち、現在符号化中の
フレームが第１，第２，第３のフレームのいずれである
かを記憶するとともに、計数手段６７の計数結果も記憶
する。さらに、情報保持手段６８は少なくとも時間的に
連続する２フレームについて、前記フレームモードと、
符号化モードの計数結果を保持する。そして、検出信号
出力手段６９は情報保持手段６８より、時間的に連続す
るフレーム、即ち、注目フレームと注目フレームの１フ
レーム過去に位置するフレーム（以下それを前方フレー
ムと呼ぶ）について、前記フレームモードと、符号化モ
ードの計数結果を取り出し、以下の処理を行う。
【０１１１】まず、注目フレームについて、第１の符号
化モードの使用回数をＮ１、第２の符号化モードの使用
回数をＮ２、第３の符号化モードの使用回数をＮ３、第
４の符号化モードの使用回数をＮ４、同様に前方フレー
ムについて、第１の符号化モードの使用回数をｎ１、第
２の符号化モードの使用回数をｎ２、第３の符号化モー
ドの使用回数をｎ３、第４の符号化モードの使用回数を
ｎ４とする。このとき、検出信号出力手段６９は注目フ
レームと前方フレームの種類に応じて、以下の条件を満
たすか否かを調べ、満たす場合に注目フレームがシーン
チェンジであるという検出信号を出力する。
化モードの使用回数をＮ１、第２の符号化モードの使用
回数をＮ２、第３の符号化モードの使用回数をＮ３、第
４の符号化モードの使用回数をＮ４、同様に前方フレー
ムについて、第１の符号化モードの使用回数をｎ１、第
２の符号化モードの使用回数をｎ２、第３の符号化モー
ドの使用回数をｎ３、第４の符号化モードの使用回数を
ｎ４とする。このとき、検出信号出力手段６９は注目フ
レームと前方フレームの種類に応じて、以下の条件を満
たすか否かを調べ、満たす場合に注目フレームがシーン
チェンジであるという検出信号を出力する。
【０１１２】条件１；注目フレームが第１のフレーム
で、前方フレームが第１または第２のフレームの場合、
検出信号を出力しない。ＭＰＥＧ方式では、図２２から
分かるようにこの条件はほとんど発生しないと考えてよ
い。
で、前方フレームが第１または第２のフレームの場合、
検出信号を出力しない。ＭＰＥＧ方式では、図２２から
分かるようにこの条件はほとんど発生しないと考えてよ
い。
【０１１３】条件２；注目フレームが第１のフレーム
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｚに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、前方フレームが注目フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｚに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、前方フレームが注目フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
【０１１４】 ｎ２／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｚ ・・・・・・・（８）
【０１１５】また、上記式（８）はこの条件を表わす一
例であり、前方フレームが注目フレームの情報を用いて
予測される割合が少ないことを示すものであれば、以下
に例示するようなこれ以外の条件式を用いることも可能
である。
例であり、前方フレームが注目フレームの情報を用いて
予測される割合が少ないことを示すものであれば、以下
に例示するようなこれ以外の条件式を用いることも可能
である。
【０１１６】 ｎ２／（ｎ３＋ｎ４）＞ｚ ・・・・・・・（９）
【０１１７】 （ｎ１＋ｎ２）／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｚ ・・・（１０）
【０１１８】条件３；注目フレームが第２のフレーム
で、前方フレームが第１または第２のフレームの場合、
あらかじめ定められたしきい値ｙに対して次式が成立す
れば、注目フレームがシーンチェンジであるという検出
信号を出力する。ただし、ＭＰＥＧ方式では、図２２か
ら分かるようにこの条件はほとんど発生しないと考えて
よい。この条件は、注目フレームが前方フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
で、前方フレームが第１または第２のフレームの場合、
あらかじめ定められたしきい値ｙに対して次式が成立す
れば、注目フレームがシーンチェンジであるという検出
信号を出力する。ただし、ＭＰＥＧ方式では、図２２か
ら分かるようにこの条件はほとんど発生しないと考えて
よい。この条件は、注目フレームが前方フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
【０１１９】 Ｎ１／（Ｎ１＋Ｎ２）＞ｙ ・・・・・・・・・（１１）
【０１２０】また、この式（１１）もこの条件を表わす
一例であり、注目フレームが前方フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
一例であり、注目フレームが前方フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
【０１２１】 Ｎ１／Ｎ２＞ｙ ・・・・・・・・・（１２）
【０１２２】条件４；注目フレームが第２のフレーム
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｘに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、前方フレームが注目フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｘに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、前方フレームが注目フレームの情報
を用いて予測される割合が少ないことを示すものであ
る。
【０１２３】 ｎ２／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｘ ・・・・・・・（１３）
【０１２４】また、この式（１３）もこの条件を表わす
一例であり、前方フレームが注目フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
一例であり、前方フレームが注目フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
【０１２５】 ｎ２／（ｎ３＋ｎ４）＞ｘ ・・・・・・・（１４）
【０１２６】 （ｎ１＋ｎ２）／（ｎ１＋ｎ２＋ｎ３＋ｎ４）＞ｘ ・・・（１５）
【０１２７】条件５；注目フレームが第３のフレーム
で、前方フレームが第１または第２のフレームの場合、
あらかじめ定められたしきい値ｗに対して次式が成立す
れば、注目フレームがシーンチェンジであるという検出
信号を出力する。この条件は、注目フレームが前方フレ
ームの情報を用いて予測される割合が少ないことを示す
ものである。
で、前方フレームが第１または第２のフレームの場合、
あらかじめ定められたしきい値ｗに対して次式が成立す
れば、注目フレームがシーンチェンジであるという検出
信号を出力する。この条件は、注目フレームが前方フレ
ームの情報を用いて予測される割合が少ないことを示す
ものである。
【０１２８】 Ｎ３／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）＞ｗ ・・・・・・（１６）
【０１２９】また、この式（１６）もこの条件を表わす
一例であり、注目フレームが前方フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
一例であり、注目フレームが前方フレームの情報を用い
て予測される割合が少ないことを示すものであれば、以
下に例示するようなこれ以外の条件式を用いることも可
能である。
【０１３０】 Ｎ３／（Ｎ２＋Ｎ４）＞ｗ ・・・・・・・・（１７）
【０１３１】 （Ｎ１＋Ｎ３）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）＞ｗ ・・・（１８）
【０１３２】条件６；注目フレームが第３のフレーム
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｖに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、注目フレームが時間的に未来に位置
するフレームの情報を用いて予測され、前方フレームが
時間的に過去に位置するフレームの情報を用いて予測さ
れる割合が多いことを示すものである。
で、前方フレームが第３のフレームの場合、あらかじめ
定められたしきい値ｖに対して次式が成立すれば、注目
フレームがシーンチェンジであるという検出信号を出力
する。この条件は、注目フレームが時間的に未来に位置
するフレームの情報を用いて予測され、前方フレームが
時間的に過去に位置するフレームの情報を用いて予測さ
れる割合が多いことを示すものである。
【０１３３】 （ｎ２／（ｎ１＋ｎ２＋ｎ３＋ｎ４）） ×（Ｎ３／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４））＞ｖ ・・・（１９）
【０１３４】また、この式（１９）もこの条件を表わす
一例であり、注目フレームが時間的に未来に位置するフ
レームの情報を用いて予測され、前方フレームが時間的
に過去に位置するフレームの情報を用いて予測される割
合が多いことを示すものであれば、以下に例示するよう
なこれ以外の条件式を用いることも可能である。
一例であり、注目フレームが時間的に未来に位置するフ
レームの情報を用いて予測され、前方フレームが時間的
に過去に位置するフレームの情報を用いて予測される割
合が多いことを示すものであれば、以下に例示するよう
なこれ以外の条件式を用いることも可能である。
【０１３５】 （（ｎ１＋ｎ２）／（ｎ１＋ｎ２＋ｎ３＋ｎ４）） ×（（Ｎ１＋Ｎ３）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４））＞ｖ・・・（２０）
【０１３６】 （ｎ２／（ｎ３＋ｎ４））×（Ｎ３／（Ｎ２＋Ｎ４））＞ｖ・・・（２１）
【０１３７】以上の条件は、すべてを用いる必要はな
く、取捨選択することが可能である。例えば、ＭＰＥＧ
方式ではほとんど発生しない条件１，条件３を用いない
ようにしても構わない。
く、取捨選択することが可能である。例えば、ＭＰＥＧ
方式ではほとんど発生しない条件１，条件３を用いない
ようにしても構わない。
【０１３８】また、上記の条件を満たすフレームが連続
する場合、１フレーム毎にシーンが変化していると考え
ることも可能であり、あるいはこれらのフレームをひと
まとまりのシーンと考えることも可能である。後者に対
しては、検出信号出力手段６９に、上記条件を満たす最
初のフレームと上記条件が満たされなくなった最初のフ
レームに対してのみ検出信号を出力する機能を付加する
ことにより対処可能である。
する場合、１フレーム毎にシーンが変化していると考え
ることも可能であり、あるいはこれらのフレームをひと
まとまりのシーンと考えることも可能である。後者に対
しては、検出信号出力手段６９に、上記条件を満たす最
初のフレームと上記条件が満たされなくなった最初のフ
レームに対してのみ検出信号を出力する機能を付加する
ことにより対処可能である。
【０１３９】実施例３７．次に、この発明の実施例３７
を図に基づいて説明する。図２３は請求項１０に記載の
発明の一実施例を示すブロック図であり、この場合も動
画像符号化部分にＭＰＥＧ方式を用いることを想定して
おり、図２１と同一の部分には同一符号を付してその説
明を省略する。図において、７０は多重化器５６から出
力される符号化データより、動画像のフレームが第１〜
第３のフレームのいずれであるかのフレームモードを示
すデータと、使用されている符号化モードが第１〜第４
の符号化モードのいずれであるかを示すデータとを分
離，抽出して、それらを情報保持手段６８あるいは計数
手段６７に送る多重分離手段である。
を図に基づいて説明する。図２３は請求項１０に記載の
発明の一実施例を示すブロック図であり、この場合も動
画像符号化部分にＭＰＥＧ方式を用いることを想定して
おり、図２１と同一の部分には同一符号を付してその説
明を省略する。図において、７０は多重化器５６から出
力される符号化データより、動画像のフレームが第１〜
第３のフレームのいずれであるかのフレームモードを示
すデータと、使用されている符号化モードが第１〜第４
の符号化モードのいずれであるかを示すデータとを分
離，抽出して、それらを情報保持手段６８あるいは計数
手段６７に送る多重分離手段である。
【０１４０】次に動作について説明する。多重化器５６
より出力される符号化データは外部に送出される一方、
多重分離手段７０にも入力される。多重分離手段７０は
入力された符号化データよりフレームモードを示すデー
タと符号化モードを示すデータとを分離，抽出して、符
号化モードを示すデータを計数手段６７に、またフレー
ムモードを示すデータを情報保持手段６８にそれぞれ出
力する。そして、それ以降、計数手段６７、情報保持手
段６８、および検出信号出力手段６９によって実施例３
４の場合と同様の手順でシーンチェンジの検出処理が実
行され、検出信号が出力される。
より出力される符号化データは外部に送出される一方、
多重分離手段７０にも入力される。多重分離手段７０は
入力された符号化データよりフレームモードを示すデー
タと符号化モードを示すデータとを分離，抽出して、符
号化モードを示すデータを計数手段６７に、またフレー
ムモードを示すデータを情報保持手段６８にそれぞれ出
力する。そして、それ以降、計数手段６７、情報保持手
段６８、および検出信号出力手段６９によって実施例３
４の場合と同様の手順でシーンチェンジの検出処理が実
行され、検出信号が出力される。
【０１４１】実施例３８．次に、この発明の実施例３８
を図に基づいて説明する。図２４は請求項１０に記載の
発明の他の実施例を示すブロック図で、この場合の動画
像復号化部分はＭＰＥＧ方式で符号化された動画像を復
号することを想定しており、図２３と同一の部分には同
一の符号を付してその説明を省略する。図において、７
１は多重分離手段７０によって符号化データよりフレー
ムモードを示すデータや符号化モードを示すデータと分
離された可変長符号化データを復号する可変長復号器で
ある。
を図に基づいて説明する。図２４は請求項１０に記載の
発明の他の実施例を示すブロック図で、この場合の動画
像復号化部分はＭＰＥＧ方式で符号化された動画像を復
号することを想定しており、図２３と同一の部分には同
一の符号を付してその説明を省略する。図において、７
１は多重分離手段７０によって符号化データよりフレー
ムモードを示すデータや符号化モードを示すデータと分
離された可変長符号化データを復号する可変長復号器で
ある。
【０１４２】次に動作について説明する。外部より入力
された符号化データは多重分離手段７０にて可変長符号
化データと、フレームモードを示すデータや符号化モー
ドを示すデータとに分離され、可変長符号化データは可
変長復号器７１に送られて復号される。この可変長復号
器７１による復号結果のうち、ＤＣＴ係数は逆変換器５
８で逆ＤＣＴが施され、逆量子化器５７を経て予測誤差
信号が復元される。そして、加算器５９でスイッチ６４
から与えられるフレーム間予測信号と加算され、画像信
号として外部に出力される。この加算器５９の出力はフ
レームメモリ６０にも記憶され、フレーム間予測信号を
生成するために利用される。
された符号化データは多重分離手段７０にて可変長符号
化データと、フレームモードを示すデータや符号化モー
ドを示すデータとに分離され、可変長符号化データは可
変長復号器７１に送られて復号される。この可変長復号
器７１による復号結果のうち、ＤＣＴ係数は逆変換器５
８で逆ＤＣＴが施され、逆量子化器５７を経て予測誤差
信号が復元される。そして、加算器５９でスイッチ６４
から与えられるフレーム間予測信号と加算され、画像信
号として外部に出力される。この加算器５９の出力はフ
レームメモリ６０にも記憶され、フレーム間予測信号を
生成するために利用される。
【０１４３】一方、可変長復号器７１によって復号され
た動きベクトルはフレーム間予測器６１に与えられる。
フレーム間予測器６１はこの動きベクトルと、多重分離
手段７０によって分離されたフレームモードを示すデー
タおよび符号化モードを示すデータに基づく制御を受け
て、フレームメモリ６０からフレーム間予測に用いるデ
ータを読み出し、フレーム間予測信号を生成してスイッ
チ６４に与える。また、スイッチ６４は多重分離手段７
０よりフレームモードを示すデータと符号化モードを示
すデータに基づく制御を受けて、フレームモードが第１
のフレームの場合には接点“ａ”側がオンになって接地
信号を出力する。また、フレームモードが第２または第
３のフレームの場合、符号化モードが第１の符号化モー
ドであれば接点“ａ”側がオンになって接地信号がスイ
ッチ６４から出力され、符号化モードが第１の符号化モ
ード以外であれば接点“ｂ”側がオンになってフレーム
間予測器６１の出力がスイッチ６４から出力される。
た動きベクトルはフレーム間予測器６１に与えられる。
フレーム間予測器６１はこの動きベクトルと、多重分離
手段７０によって分離されたフレームモードを示すデー
タおよび符号化モードを示すデータに基づく制御を受け
て、フレームメモリ６０からフレーム間予測に用いるデ
ータを読み出し、フレーム間予測信号を生成してスイッ
チ６４に与える。また、スイッチ６４は多重分離手段７
０よりフレームモードを示すデータと符号化モードを示
すデータに基づく制御を受けて、フレームモードが第１
のフレームの場合には接点“ａ”側がオンになって接地
信号を出力する。また、フレームモードが第２または第
３のフレームの場合、符号化モードが第１の符号化モー
ドであれば接点“ａ”側がオンになって接地信号がスイ
ッチ６４から出力され、符号化モードが第１の符号化モ
ード以外であれば接点“ｂ”側がオンになってフレーム
間予測器６１の出力がスイッチ６４から出力される。
【０１４４】同図におけるシーンチェンジを検出する機
構は実施例３５と全く同じである。即ち、多重分離手段
７０は、入力された符号化データよりフレームモードを
示すデータと符号化モードを示すデータとを分離，抽出
し、符号化モードを示すデータを計数手段６７に、フレ
ームモードを示すデータを情報保持手段６８に受け渡
す。そして、それ以降、計数手段６７、情報保持手段６
８、および検出信号出力手段６９によって実施例３４の
場合と同様の手順でシーンチェンジの検出処理が実行さ
れ、検出信号が出力される。
構は実施例３５と全く同じである。即ち、多重分離手段
７０は、入力された符号化データよりフレームモードを
示すデータと符号化モードを示すデータとを分離，抽出
し、符号化モードを示すデータを計数手段６７に、フレ
ームモードを示すデータを情報保持手段６８に受け渡
す。そして、それ以降、計数手段６７、情報保持手段６
８、および検出信号出力手段６９によって実施例３４の
場合と同様の手順でシーンチェンジの検出処理が実行さ
れ、検出信号が出力される。
【０１４５】実施例３９．なお、実施例３６，実施例３
７，実施例３８は各々ハードウェア，ソフトウェアのい
ずれでも実現可能である。即ち、ハードウェアとして構
成する場合、計数手段６７はカウンタ、情報保持手段６
８はラッチあるいはメモリ、検出信号出力手段６９はコ
ンパレータと乗算器，加算器を組み合わせることにより
構成可能である。そして、このハードウェアと動画像符
号化，復号化を実行するハードウェアとの間でフレーム
モードと符号化モードとを受け渡すことにより、実施例
３６，実施例３７，実施例３８を実現することができ
る。一方、ソフトウェアで実現する場合、計数手段６
７、情報保持手段６８、検出信号出力手段６９はＣＰＵ
と制御用メモリ、データメモリから成る汎用的な計算機
構で実現でき、これと動画像符号化，復号化を実行する
ハードウェアとの間でフレームモードと符号化モードと
を受け渡すことにより、実施例３６，実施例３７，実施
例３８を実現することができる。
７，実施例３８は各々ハードウェア，ソフトウェアのい
ずれでも実現可能である。即ち、ハードウェアとして構
成する場合、計数手段６７はカウンタ、情報保持手段６
８はラッチあるいはメモリ、検出信号出力手段６９はコ
ンパレータと乗算器，加算器を組み合わせることにより
構成可能である。そして、このハードウェアと動画像符
号化，復号化を実行するハードウェアとの間でフレーム
モードと符号化モードとを受け渡すことにより、実施例
３６，実施例３７，実施例３８を実現することができ
る。一方、ソフトウェアで実現する場合、計数手段６
７、情報保持手段６８、検出信号出力手段６９はＣＰＵ
と制御用メモリ、データメモリから成る汎用的な計算機
構で実現でき、これと動画像符号化，復号化を実行する
ハードウェアとの間でフレームモードと符号化モードと
を受け渡すことにより、実施例３６，実施例３７，実施
例３８を実現することができる。
【０１４６】また、動画像符号化，復号化をはじめとし
て、シーンチェンジを検出する機構である計数手段６
７、情報保持手段６８、検出信号出力手段６９の全てを
計算機の中でソフトウェア的に実現することも可能であ
る。この場合、実施例３６，実施例３７，実施例３８は
特別なハードウェア無しに、計算機だけでも実現できる
ことは言うまでもない。
て、シーンチェンジを検出する機構である計数手段６
７、情報保持手段６８、検出信号出力手段６９の全てを
計算機の中でソフトウェア的に実現することも可能であ
る。この場合、実施例３６，実施例３７，実施例３８は
特別なハードウェア無しに、計算機だけでも実現できる
ことは言うまでもない。
【０１４７】
【発明の効果】以上のように、請求項１に記載の発明に
よれば、演算部と計数部によって１フレームごとの予測
誤差を累計し、比較部にて予測誤差の１フレームごとの
累計としきい値とを比較し、その大小関係に基づいてシ
ーンチェンジ検出信号を生成するように構成したので、
計算量やハードウェアを極端に増大させることなくシー
ンチェンジを検出することが可能なシーンチェンジ検出
装置が得られる効果がある。
よれば、演算部と計数部によって１フレームごとの予測
誤差を累計し、比較部にて予測誤差の１フレームごとの
累計としきい値とを比較し、その大小関係に基づいてシ
ーンチェンジ検出信号を生成するように構成したので、
計算量やハードウェアを極端に増大させることなくシー
ンチェンジを検出することが可能なシーンチェンジ検出
装置が得られる効果がある。
【０１４８】また、請求項２に記載の発明によれば、計
数部によって１フレームごとの符号化データ量を計数
し、その計数値を比較部で１フレームごとにしきい値と
比較するように構成したので、シーンチェンジの検出に
要する付加的な計算量やハードウェアを少なくすること
ができる効果がある。
数部によって１フレームごとの符号化データ量を計数
し、その計数値を比較部で１フレームごとにしきい値と
比較するように構成したので、シーンチェンジの検出に
要する付加的な計算量やハードウェアを少なくすること
ができる効果がある。
【０１４９】また、請求項３に記載の発明によれば、計
数部にて１フレームごとにフレーム内符号化（フレーム
間符号化）される画素数を計数し、計数値を比較部で１
フレームごとにしきい値と比較するように構成したの
で、シーンチェンジの検出に要する付加的な計算量やハ
ードウェアを少なくすることができる効果がある。
数部にて１フレームごとにフレーム内符号化（フレーム
間符号化）される画素数を計数し、計数値を比較部で１
フレームごとにしきい値と比較するように構成したの
で、シーンチェンジの検出に要する付加的な計算量やハ
ードウェアを少なくすることができる効果がある。
【０１５０】また、請求項４に記載の発明によれば、演
算部と計数部によって１フレームごとの予測誤差を累計
し、比較部にて予測誤差の１フレームごとの累計としき
い値とを比較し、その大小関係に基づいてシーンチェン
ジ検出信号を生成するように構成したので、計算量やハ
ードウェアを極端に増大させることなくシーンチェンジ
を検出することが可能な動画像の復号化装置が得られる
効果がある。
算部と計数部によって１フレームごとの予測誤差を累計
し、比較部にて予測誤差の１フレームごとの累計としき
い値とを比較し、その大小関係に基づいてシーンチェン
ジ検出信号を生成するように構成したので、計算量やハ
ードウェアを極端に増大させることなくシーンチェンジ
を検出することが可能な動画像の復号化装置が得られる
効果がある。
【０１５１】また、請求項５に記載の発明によれば、計
数部によって１フレームごとの符号化データ量を計数
し、その計数値を比較部で１フレームごとにしきい値と
比較するように構成したので、シーンチェンジの検出に
要する付加的な計算量やハードウェアを少なくすること
ができる効果がある。
数部によって１フレームごとの符号化データ量を計数
し、その計数値を比較部で１フレームごとにしきい値と
比較するように構成したので、シーンチェンジの検出に
要する付加的な計算量やハードウェアを少なくすること
ができる効果がある。
【０１５２】また、請求項６に記載の発明によれば、計
数部によって１フレームごとにフレーム内符号化（フレ
ーム間符号化）される画素数を計数し、計数値を比較部
で１フレームごとにしきい値と比較するように構成した
ので、シーンチェンジの検出に要する付加的な計算量や
ハードウェアを少なくすることができる効果がある。
数部によって１フレームごとにフレーム内符号化（フレ
ーム間符号化）される画素数を計数し、計数値を比較部
で１フレームごとにしきい値と比較するように構成した
ので、シーンチェンジの検出に要する付加的な計算量や
ハードウェアを少なくすることができる効果がある。
【０１５３】また、請求項７に記載の発明によれば、動
画像符号化データ入力部によって複数のシーンから構成
される動画像の符号化データを取り込み、それを計数部
に入力するように構成したので、符号化装置や復号化装
置の存在とは関係なく、単に符号化データから必要な情
報だけを抽出して解析するだけでシーンチェンジの検出
が可能となる効果がある。
画像符号化データ入力部によって複数のシーンから構成
される動画像の符号化データを取り込み、それを計数部
に入力するように構成したので、符号化装置や復号化装
置の存在とは関係なく、単に符号化データから必要な情
報だけを抽出して解析するだけでシーンチェンジの検出
が可能となる効果がある。
【０１５４】また、請求項８に記載の発明によれば、動
画像の画像信号をフレーム間の相関を利用して符号化す
る際、符号化モードを適応的に切り換えてフレーム間の
相関にて予測不可能と判定された画素についてはフレー
ム内の相関を利用して符号化した動画像の符号化データ
より、多重分離部によってその画素がどちらの符号化モ
ードで符号化されたかを抽出し、計数部に入力するよう
に構成したので、符号化装置や復号化装置の存在とは関
係なく、単に符号化データから必要な情報だけを抽出し
て解析するだけでシーンチェンジの検出を可能とする。
画像の画像信号をフレーム間の相関を利用して符号化す
る際、符号化モードを適応的に切り換えてフレーム間の
相関にて予測不可能と判定された画素についてはフレー
ム内の相関を利用して符号化した動画像の符号化データ
より、多重分離部によってその画素がどちらの符号化モ
ードで符号化されたかを抽出し、計数部に入力するよう
に構成したので、符号化装置や復号化装置の存在とは関
係なく、単に符号化データから必要な情報だけを抽出し
て解析するだけでシーンチェンジの検出を可能とする。
【０１５５】また、請求項９に記載の発明によれば、計
数手段によりフレーム内での符号化モードの使用回数を
計数し、情報保持手段により少なくとも連続する２フレ
ーム分について、フレームモードと、計数手段の計数結
果を保持し、検出信号出力手段により情報保持手段に保
持された情報の内容があらかじめ設定された条件を満た
すか否かを調べて検出信号を出力するように構成したの
で、動画像の符号化に際して計算される各種特徴量を用
いてシーンチェンジを自動的に検出することが可能とな
り、シーンチェンジの検出に要する付加的な計算量やハ
ードウェアを少なくすることができる効果がある。
数手段によりフレーム内での符号化モードの使用回数を
計数し、情報保持手段により少なくとも連続する２フレ
ーム分について、フレームモードと、計数手段の計数結
果を保持し、検出信号出力手段により情報保持手段に保
持された情報の内容があらかじめ設定された条件を満た
すか否かを調べて検出信号を出力するように構成したの
で、動画像の符号化に際して計算される各種特徴量を用
いてシーンチェンジを自動的に検出することが可能とな
り、シーンチェンジの検出に要する付加的な計算量やハ
ードウェアを少なくすることができる効果がある。
【０１５６】また、請求項１０に記載の発明によれば、
多重分離手段によって、符号化データからフレームモー
ドと符号化モードを示すデータを分離，抽出して、符号
化モードを示すデータを計数手段に、フレームモードを
示すデータを情報保持手段に送るように構成したので、
符号化の際の特徴量からシーンチェンジを自動的に検出
することが可能となり、シーンチェンジ検出のための付
加的な計算量やハードウェアを少なくできる効果があ
る。
多重分離手段によって、符号化データからフレームモー
ドと符号化モードを示すデータを分離，抽出して、符号
化モードを示すデータを計数手段に、フレームモードを
示すデータを情報保持手段に送るように構成したので、
符号化の際の特徴量からシーンチェンジを自動的に検出
することが可能となり、シーンチェンジ検出のための付
加的な計算量やハードウェアを少なくできる効果があ
る。
【図１】この発明の実施例１を示すブロック図である。
【図２】この発明の実施例２を示すブロック図である。
【図３】この発明の実施例３を示すブロック図である。
【図４】この発明の実施例６，１１および１６を示すブ
ロック図である。
ロック図である。
【図５】この発明の実施例７を示すブロック図である。
【図６】この発明の実施例８を示すブロック図である。
【図７】この発明の実施例９を示すブロック図である。
【図８】この発明の実施例１０を示すブロック図であ
る。
る。
【図９】この発明の実施例１３を示すブロック図であ
る。
る。
【図１０】この発明の実施例１７を示すブロック図であ
る。
る。
【図１１】この発明の実施例１８を示すブロック図であ
る。
る。
【図１２】この発明の実施例１９を示すブロック図であ
る。
る。
【図１３】この発明の実施例２２，２７および３２を示
すブロック図である。
すブロック図である。
【図１４】この発明の実施例２３を示すブロック図であ
る。
る。
【図１５】この発明の実施例２４を示すブロック図であ
る。
る。
【図１６】この発明の実施例２５を示すブロック図であ
る。
る。
【図１７】この発明の実施例２６を示すブロック図であ
る。
る。
【図１８】この発明の実施例２９を示すブロック図であ
る。
る。
【図１９】この発明の実施例３４を示すブロック図であ
る。
る。
【図２０】この発明の実施例３５を示すブロック図であ
る。
る。
【図２１】この発明の実施例３６を示すブロック図であ
る。
る。
【図２２】ＭＰＥＧ方式の動画像符号化のアルゴリズム
を説明するための説明図である。
を説明するための説明図である。
【図２３】この発明の実施例３７を示すブロック図であ
る。
る。
【図２４】この発明の実施例３８を示すブロック図であ
る。
る。
【図２５】従来のシーンチェンジ検出装置が適用される
符号化装置および復号化装置の一例を示すブロック図で
ある。
符号化装置および復号化装置の一例を示すブロック図で
ある。
【図２６】従来のシーンチェンジ検出装置におけるシー
ンチェンジ検出のアルゴリズムを示すフローチャートで
ある。
ンチェンジ検出のアルゴリズムを示すフローチャートで
ある。
【符号の説明】 １２ 演算部（乗算器） １３ 計数部 １４ 比較部 ２１ 計数部 ２６ 計数部 ２７ 演算部（乗算器） ２８ 計数部 ２９ 比較部 ３５ 計数部 ３８ 計数部 ４２ 動画像符号化データ入力部 ４３ 計数部 ４４ 比較部 ４７ 多重分離部 ４８ 計数部 ４９ 比較部 ６５ 符号化モード決定手段 ６６ フレームモード決定手段 ６７ 計数手段 ６８ 情報保持手段 ６９ 検出信号出力手段 ７０ 多重分離手段
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成５年５月１９日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項８
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正内容】
【００１９】
【発明が解決しようとする課題】従来のシーンチェンジ
検出装置は以上のように構成されているので、動画像の
フレームごとに色の分布を調べると共に、フレーム間で
の相関係数を求める、という複雑な処理を行わなければ
ならず、これらの処理を汎用的なプロセッサで実行した
場合、到底実時間処理は不可能であり、シーンチェンジ
の自動検出を実時間処理を実現するためには専用のハー
ドウェアが必要となる。また、今後計算機で動画像を扱
うことを考えると、動画像は当然ディジタル化され、し
かも、ディジタル動画像の膨大なデータ量を削減するた
め、動画像符号化技術によりデータ量を削減した後に、
計算機内部に取り込まれるものと予想されるが、その場
合にも、上記従来例の処理では動画像符号化／復号化と
は全く独立した処理であり、従って、動画像符号化ある
いは復号化に際して、動画像のフレーム間に渡って複雑
な処理が行われているにもかかわらず、その処理結果を
利用できず、動画像符号化前、あるいは復号後の画像信
号に対して上記の複雑な処理を実行しなければならない
という問題点があった。
検出装置は以上のように構成されているので、動画像の
フレームごとに色の分布を調べると共に、フレーム間で
の相関係数を求める、という複雑な処理を行わなければ
ならず、これらの処理を汎用的なプロセッサで実行した
場合、到底実時間処理は不可能であり、シーンチェンジ
の自動検出を実時間処理を実現するためには専用のハー
ドウェアが必要となる。また、今後計算機で動画像を扱
うことを考えると、動画像は当然ディジタル化され、し
かも、ディジタル動画像の膨大なデータ量を削減するた
め、動画像符号化技術によりデータ量を削減した後に、
計算機内部に取り込まれるものと予想されるが、その場
合にも、上記従来例の処理では動画像符号化／復号化と
は全く独立した処理であり、従って、動画像符号化ある
いは復号化に際して、動画像のフレーム間に渡って複雑
な処理が行われているにもかかわらず、その処理結果を
利用できず、動画像符号化前、あるいは復号後の画像信
号に対して上記の複雑な処理を実行しなければならない
という問題点があった。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正内容】
【００２０】この発明は上記のような問題点を解消する
ためになされたものであり、動画像の符号化あるいは復
号化に際して計算される様々な特徴量を用いてシーンチ
ェンジを自動検出することが可能なシーンチェンジ検出
装置を得ることを目的とする。
ためになされたものであり、動画像の符号化あるいは復
号化に際して計算される様々な特徴量を用いてシーンチ
ェンジを自動検出することが可能なシーンチェンジ検出
装置を得ることを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正内容】
【００２３】また、請求項３に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用した符号
化において、フレーム間の相関で予測不可能、あるいは
予測可能と判定された画素の数を１フレームごとに計数
する計数部と、１フレームの符号化が終了するごとにそ
の計数値をしきい値と比較して、現フレームでのシーン
チェンジを判定する比較部を設けたものである。
チェンジ検出装置は、フレーム間の相関を利用した符号
化において、フレーム間の相関で予測不可能、あるいは
予測可能と判定された画素の数を１フレームごとに計数
する計数部と、１フレームの符号化が終了するごとにそ
の計数値をしきい値と比較して、現フレームでのシーン
チェンジを判定する比較部を設けたものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正内容】
【００２６】また、請求項６に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する際、フレーム
間の相関により予測不可能あるいは予測可能と判定され
た画素の数を１フレームごとに計数する計数部と、１フ
レームの復号が終了するごとにその計数値をしきい値と
比較して、現フレームでのシーンチェンジを判定する比
較部を設けたものである。
チェンジ検出装置は、フレーム間の相関を利用して符号
化された動画像の符号化データを復号する際、フレーム
間の相関により予測不可能あるいは予測可能と判定され
た画素の数を１フレームごとに計数する計数部と、１フ
レームの復号が終了するごとにその計数値をしきい値と
比較して、現フレームでのシーンチェンジを判定する比
較部を設けたものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正内容】
【００２８】また、請求項８に記載の発明に係るシーン
チェンジ検出装置は、フレーム間の相関を利用して動画
像を符号化する際に、フレーム間符号化とフレーム内符
号化という符号化モードを適応的に切り換えて符号化し
た動画像の符号化データより、その画素がいずれの符号
化モードで符号化されたかを抽出する多重分離部と、そ
の符号化モードを１フレームごとに計数して、フレーム
間予測可能あるいはフレーム間予測不可能と判定された
画素の数を算出する計数部と、その計数値を１フレーム
ごとにしきい値と比較して、当該フレームでのシーンチ
ェンジを判定する比較部を備えたものである。
チェンジ検出装置は、フレーム間の相関を利用して動画
像を符号化する際に、フレーム間符号化とフレーム内符
号化という符号化モードを適応的に切り換えて符号化し
た動画像の符号化データより、その画素がいずれの符号
化モードで符号化されたかを抽出する多重分離部と、そ
の符号化モードを１フレームごとに計数して、フレーム
間予測可能あるいはフレーム間予測不可能と判定された
画素の数を算出する計数部と、その計数値を１フレーム
ごとにしきい値と比較して、当該フレームでのシーンチ
ェンジを判定する比較部を備えたものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正内容】
【００３３】また、請求項３に記載の発明における比較
手段は、フレーム間の相関を利用して動画像を符号化す
る際に、計数部にて１フレーム分計数されたフレーム間
予測不可能（予測可能）の画素の数を、１フレームの符
号化が終了する度にしきい値と比較し、その大小関係に
基づいて現フレームがシーンチェンジであるか否かを判
定することにより、動画像の符号化に際して計算される
特徴量をシーンチェンジの自動検出にも利用可能とす
る。
手段は、フレーム間の相関を利用して動画像を符号化す
る際に、計数部にて１フレーム分計数されたフレーム間
予測不可能（予測可能）の画素の数を、１フレームの符
号化が終了する度にしきい値と比較し、その大小関係に
基づいて現フレームがシーンチェンジであるか否かを判
定することにより、動画像の符号化に際して計算される
特徴量をシーンチェンジの自動検出にも利用可能とす
る。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正内容】
【００３６】また、請求項６に記載の発明における比較
手段は、フレーム間の相関を利用して符号化された動画
像の符号化データの復号に際して、計数部にて１フレー
ム分計数されたフレーム間予測不可能（予測可能）の画
素の数を、１フレームの復号が終了する度にしきい値と
比較し、その大小関係に基づいて現フレームがシーンチ
ェンジであるか否かを判定することにより、動画像の復
号に際して計算される特徴量をシーンチェンジの自動検
出にも利用可能とする。
手段は、フレーム間の相関を利用して符号化された動画
像の符号化データの復号に際して、計数部にて１フレー
ム分計数されたフレーム間予測不可能（予測可能）の画
素の数を、１フレームの復号が終了する度にしきい値と
比較し、その大小関係に基づいて現フレームがシーンチ
ェンジであるか否かを判定することにより、動画像の復
号に際して計算される特徴量をシーンチェンジの自動検
出にも利用可能とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正内容】
【００３８】また、請求項８に記載の発明における多重
分離部は、複数のシーンから構成される動画像の画像信
号をフレーム間の相関を利用して符号化する際に、フレ
ーム間符号化とフレーム内符号化という符号化モードを
適応的に切り換えて、フレーム間の相関にて予測不可能
と判定された画素についてはフレーム内の相関を利用し
て符号化した動画像の符号化データより、その画素がど
ちらの符号化モードによって符号化されたかを抽出して
計数部に入力することにより、符号化装置もしくは復号
化装置の存在とは関係なく、単に符号化データから必要
な情報だけを抽出して解析するだけでシーンチェンジの
検出を可能とする。
分離部は、複数のシーンから構成される動画像の画像信
号をフレーム間の相関を利用して符号化する際に、フレ
ーム間符号化とフレーム内符号化という符号化モードを
適応的に切り換えて、フレーム間の相関にて予測不可能
と判定された画素についてはフレーム内の相関を利用し
て符号化した動画像の符号化データより、その画素がど
ちらの符号化モードによって符号化されたかを抽出して
計数部に入力することにより、符号化装置もしくは復号
化装置の存在とは関係なく、単に符号化データから必要
な情報だけを抽出して解析するだけでシーンチェンジの
検出を可能とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正内容】
【００４７】実施例３．図３は請求項１に記載した発明
のさらに他の実施例を示すブロック図である。この実施
例３では動画像の符号化の際のフレーム間予測として動
き補償予測を用いている。図において、１５は入力され
た画像信号とフレームメモリ１に格納されている前フレ
ームの画像データとから動きベクトルを検出する動き検
出部であり、１６はこの動き検出部１５の検出した動き
ベクトルを用いてフレームメモリ１から読み出すべき画
素を決定し、フレーム間予測信号を生成する動き補償部
である。
のさらに他の実施例を示すブロック図である。この実施
例３では動画像の符号化の際のフレーム間予測として動
き補償予測を用いている。図において、１５は入力され
た画像信号とフレームメモリ１に格納されている前フレ
ームの画像データとから動きベクトルを検出する動き検
出部であり、１６はこの動き検出部１５の検出した動き
ベクトルを用いてフレームメモリ１から読み出すべき画
素を決定し、フレーム間予測信号を生成する動き補償部
である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正内容】
【００７１】また、２７は前記逆ＤＣＴ部９から復号さ
れたフレーム間の予測誤差に対して所定の演算、例えば
それを二乗する演算を施す演算部としての乗算器であ
り、２８は１フレームごとにこの乗算器２７の出力を累
計する計数部である。２９は１フレームの復号化が終了
する都度、この計数部２８の計数値をしきい値と比較し
て、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを示すシーンチェンジ検出信号を発生す
る比較部である。
れたフレーム間の予測誤差に対して所定の演算、例えば
それを二乗する演算を施す演算部としての乗算器であ
り、２８は１フレームごとにこの乗算器２７の出力を累
計する計数部である。２９は１フレームの復号化が終了
する都度、この計数部２８の計数値をしきい値と比較し
て、その大小関係に基づいて現フレームがシーンチェン
ジであるか否かを示すシーンチェンジ検出信号を発生す
る比較部である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正内容】
【００８３】実施例２２．一方、上記各実施例では、シ
ーンチェンジを検出する機構として、演算部としての乗
算器２７、および計数部２８、比較部２９というハード
ウェアを用いたが、これらは図１３に示す請求項４の発
明のさらに他の実施例を示すブロック図のように、汎用
的なＣＰＵ３１を用いたソフトウェア処理により実現す
ることも可能である。この実施例では、エントロピー復
号化部８、逆ＤＣＴ部９、フレームメモリ１０、加算器
１１などで形成される動画像復号化部３２がＣＰＵ３１
のバス３３上に接続され、ＣＰＵ３１からシーンチェン
ジ検出に必要なフレーム間の予測誤差を読み取れるよう
になっている。そして、ＣＰＵ３１はメモリ３４に蓄え
られたプログラムに従って、シーンチェンジ検出機構で
ある演算部、計数部、および比較部を実現する。
ーンチェンジを検出する機構として、演算部としての乗
算器２７、および計数部２８、比較部２９というハード
ウェアを用いたが、これらは図１３に示す請求項４の発
明のさらに他の実施例を示すブロック図のように、汎用
的なＣＰＵ３１を用いたソフトウェア処理により実現す
ることも可能である。この実施例では、エントロピー復
号化部８、逆ＤＣＴ部９、フレームメモリ１０、加算器
１１などで形成される動画像復号化部３２がＣＰＵ３１
のバス３３上に接続され、ＣＰＵ３１からシーンチェン
ジ検出に必要なフレーム間の予測誤差を読み取れるよう
になっている。そして、ＣＰＵ３１はメモリ３４に蓄え
られたプログラムに従って、シーンチェンジ検出機構で
ある演算部、計数部、および比較部を実現する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正内容】
【０１０３】なお、この実施例３４，３５における動画
像符号化データ入力部４２、多重分離部４７、計数部４
３，４８、比較部４４，４９は専用のハードウェア、あ
るいは汎用のＣＰＵを用いたソフトウェアのいずれによ
っても実現可能である。
像符号化データ入力部４２、多重分離部４７、計数部４
３，４８、比較部４４，４９は専用のハードウェア、あ
るいは汎用のＣＰＵを用いたソフトウェアのいずれによ
っても実現可能である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正内容】
【０１０６】次に動作について説明する。ここで、この
実施例３６では、動画像符号化部分にはＩＳＯで標準化
が進められている蓄積メディア用動画像符号化方式であ
るＭＰＥＧ（モーション・ピクチャー・イメージ・コー
ディング・エキスパーツ・グループ；Motion Picture I
mage Coding Experts Group ）方式を用いることを想定
している。そこで、まず図２２を用いてこのＭＰＥＧ方
式の概念について説明する。図２２において、Ｉ，Ｐ，
Ｂと記されているのはフレームモードであり、Ｉフレー
ムはこの発明における第１のフレームに、Ｐフレームは
同じく第２のフレーム、Ｂフレームは第３のフレームに
それぞれ相当している。符号化に当たって、まずＩフレ
ーム８０が独立に符号化され、次にＩフレーム８０を用
いてＰフレーム８３が予測符号化される。その後、Ｉフ
レーム８０とＰフレーム８３を用いてＢフレーム８１，
８２がこの順に予測符号化される。それ以降、時間的に
最も近くにあるＩまたはＰフレーム（図２２ではＰフレ
ーム８６）を符号化し、次に時間的に過去にさかのぼっ
てＢフレーム（図２２ではＢフレーム８４，８５）の符
号化を行うという操作を繰り返す。このようにＭＰＥＧ
方式の符号化では、符号化に際して複数フレーム分のバ
ッファが必要となる。例えば、Ｂフレーム８１，８２の
符号化を終えるにはＩフレーム８０とＰフレーム８３が
必要となり、結局、フレーム８０〜８３までを蓄積して
おかねばならない。
実施例３６では、動画像符号化部分にはＩＳＯで標準化
が進められている蓄積メディア用動画像符号化方式であ
るＭＰＥＧ（モーション・ピクチャー・イメージ・コー
ディング・エキスパーツ・グループ；Motion Picture I
mage Coding Experts Group ）方式を用いることを想定
している。そこで、まず図２２を用いてこのＭＰＥＧ方
式の概念について説明する。図２２において、Ｉ，Ｐ，
Ｂと記されているのはフレームモードであり、Ｉフレー
ムはこの発明における第１のフレームに、Ｐフレームは
同じく第２のフレーム、Ｂフレームは第３のフレームに
それぞれ相当している。符号化に当たって、まずＩフレ
ーム８０が独立に符号化され、次にＩフレーム８０を用
いてＰフレーム８３が予測符号化される。その後、Ｉフ
レーム８０とＰフレーム８３を用いてＢフレーム８１，
８２がこの順に予測符号化される。それ以降、時間的に
最も近くにあるＩまたはＰフレーム（図２２ではＰフレ
ーム８６）を符号化し、次に時間的に過去にさかのぼっ
てＢフレーム（図２２ではＢフレーム８４，８５）の符
号化を行うという操作を繰り返す。このようにＭＰＥＧ
方式の符号化では、符号化に際して複数フレーム分のバ
ッファが必要となる。例えば、Ｂフレーム８１，８２の
符号化を終えるにはＩフレーム８０とＰフレーム８３が
必要となり、結局、フレーム８０〜８３までを蓄積して
おかねばならない。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正内容】
【０１４０】次に動作について説明する。多重化器５６
より出力される符号化データは外部に送出される一方、
多重分離手段７０にも入力される。多重分離手段７０は
入力された符号化データよりフレームモードを示すデー
タと符号化モードを示すデータとを分離，抽出して、符
号化モードを示すデータを計数手段６７に、またフレー
ムモードを示すデータを情報保持手段６８にそれぞれ出
力する。そして、それ以降、計数手段６７、情報保持手
段６８、および検出信号出力手段６９によって実施例３
６の場合と同様の手順でシーンチェンジの検出処理が実
行され、検出信号が出力される。
より出力される符号化データは外部に送出される一方、
多重分離手段７０にも入力される。多重分離手段７０は
入力された符号化データよりフレームモードを示すデー
タと符号化モードを示すデータとを分離，抽出して、符
号化モードを示すデータを計数手段６７に、またフレー
ムモードを示すデータを情報保持手段６８にそれぞれ出
力する。そして、それ以降、計数手段６７、情報保持手
段６８、および検出信号出力手段６９によって実施例３
６の場合と同様の手順でシーンチェンジの検出処理が実
行され、検出信号が出力される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正内容】
【０１４４】同図におけるシーンチェンジを検出する機
構は実施例３７と全く同じである。即ち、多重分離手段
７０は、入力された符号化データよりフレームモードを
示すデータと符号化モードを示すデータとを分離，抽出
し、符号化モードを示すデータを計数手段６７に、フレ
ームモードを示すデータを情報保持手段６８に受け渡
す。そして、それ以降、計数手段６７、情報保持手段６
８、および検出信号出力手段６９によって実施例３６の
場合と同様の手順でシーンチェンジの検出処理が実行さ
れ、検出信号が出力される。
構は実施例３７と全く同じである。即ち、多重分離手段
７０は、入力された符号化データよりフレームモードを
示すデータと符号化モードを示すデータとを分離，抽出
し、符号化モードを示すデータを計数手段６７に、フレ
ームモードを示すデータを情報保持手段６８に受け渡
す。そして、それ以降、計数手段６７、情報保持手段６
８、および検出信号出力手段６９によって実施例３６の
場合と同様の手順でシーンチェンジの検出処理が実行さ
れ、検出信号が出力される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正内容】
【０１５０】また、請求項４に記載の発明によれば、演
算部と計数部によって１フレームごとの予測誤差を累計
し、比較部にて予測誤差の１フレームごとの累計としき
い値とを比較し、その大小関係に基づいてシーンチェン
ジ検出信号を生成するように構成したので、シーンチェ
ンジの検出に要する付加的な計算量やハードウェアを少
なくすることができる効果がある。
算部と計数部によって１フレームごとの予測誤差を累計
し、比較部にて予測誤差の１フレームごとの累計としき
い値とを比較し、その大小関係に基づいてシーンチェン
ジ検出信号を生成するように構成したので、シーンチェ
ンジの検出に要する付加的な計算量やハードウェアを少
なくすることができる効果がある。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正内容】
【０１５４】また、請求項８に記載の発明によれば、動
画像の画像信号をフレーム間の相関を利用して符号化す
る際、フレーム内符号化とフレーム間符号化という２つ
の符号化モードを適応的に切り換えて符号化した動画像
の符号化データより、多重分離部によってその画素がど
ちらの符号化モードで符号化されたかを抽出し、計数部
に入力するように構成したので、符号化装置や復号化装
置の存在とは関係なく、単に符号化データから必要な情
報だけを抽出して解析するだけでシーンチェンジの検出
を可能とする。
画像の画像信号をフレーム間の相関を利用して符号化す
る際、フレーム内符号化とフレーム間符号化という２つ
の符号化モードを適応的に切り換えて符号化した動画像
の符号化データより、多重分離部によってその画素がど
ちらの符号化モードで符号化されたかを抽出し、計数部
に入力するように構成したので、符号化装置や復号化装
置の存在とは関係なく、単に符号化データから必要な情
報だけを抽出して解析するだけでシーンチェンジの検出
を可能とする。
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図２１
【補正方法】変更
【補正内容】
【図２１】
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正内容】
【図２３】
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図２６
【補正方法】変更
【補正内容】
【図２６】
Claims (10)
- 【請求項１】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化する符号
化装置にて、前記動画像よりシーンの変化するフレーム
を自動的に検出するためのシーンチェンジ検出装置にお
いて、前記フレーム間の予測誤差に対して所定の演算を
施す演算部と、１フレームごとに前記演算部の出力を累
計する計数部と、１フレームの符号化が終了する度に前
記計数部の計数値をしきい値と比較し、その比較結果に
基づいて現フレームがシーンチェンジであるか否かを示
す信号を発生する比較部とを備えたことを特徴とするシ
ーンチェンジ検出装置。 - 【請求項２】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化する符号
化装置にて、前記動画像よりシーンの変化するフレーム
を自動的に検出するためのシーンチェンジ検出装置にお
いて、当該動画像の符号化装置より出力される符号化デ
ータの１フレームごとのデータ量を計数する計数部と、
１フレームの符号化が終了する度に前記計数部の計数値
をしきい値と比較し、その比較結果に基づいて現フレー
ムがシーンチェンジであるか否かを示す信号を発生する
比較部とを備えたことを特徴とするシーンチェンジ検出
装置。 - 【請求項３】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化する際、
前記フレーム間の相関にて予測不可能と判定された画素
については、フレーム内の相関を利用して符号化する符
号化装置にて、前記動画像よりシーンの変化するフレー
ムを自動的に検出するためのシーンチェンジ検出装置に
おいて、１フレームごとに前記予測不可能、あるいは前
記予測可能と判定された画素の数を計数する計数部と、
１フレームの符号化が終了する度に前記計数部の計数値
をしきい値と比較し、その比較結果に基づいて現フレー
ムがシーンチェンジであるか否かを示す信号を発生する
比較部とを備えたことを特徴とするシーンチェンジ検出
装置。 - 【請求項４】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化した符号
化データを前記画像信号に復号する復号化装置にて、前
記動画像よりシーンの変化するフレームを自動的に検出
するためのシーンチェンジ検出装置において、復号され
た前記フレーム間の予測誤差に対して所定の演算を施す
演算部と、１フレームごとに前記演算部の出力を累計す
る計数部と、１フレームの復号が終了する度に前記計数
部の計数値をしきい値と比較し、その比較結果に基づい
て現フレームがシーンチェンジであるか否かを示す信号
を発生する比較部とを備えたことを特徴とするシーンチ
ェンジ検出装置。 - 【請求項５】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化した符号
化データを前記画像信号に復号する復号化装置にて、前
記動画像よりシーンの変化するフレームを自動的に検出
するためのシーンチェンジ検出装置において、当該動画
像の復号化装置に入力される符号化データの１フレーム
ごとのデータ量を計数する計数部と、１フレームの復号
が終了する度に前記計数部の計数値をしきい値と比較
し、その比較結果に基づいて現フレームがシーンチェン
ジであるか否かを示す信号を発生する比較部とを備えた
ことを特徴とするシーンチェンジ検出装置。 - 【請求項６】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化する際、
前記フレーム間の相関にて予測不可能と判定された画素
については、フレーム内の相関を利用して符号化した符
号化データを前記画像信号に復号する復号化装置にて、
前記動画像よりシーンの変化するフレームを自動的に検
出するためのシーンチェンジ検出装置において、１フレ
ームごとに前記予測不可能、あるいは前記予測可能と判
定された画素の数を計数する計数部と、１フレームの復
号が終了する度に前記計数部の計数値をしきい値と比較
し、その比較結果に基づいて現フレームがシーンチェン
ジであるか否かを示す信号を発生する比較部とを備えた
ことを特徴とするシーンチェンジ検出装置。 - 【請求項７】 複数のシーンから構成される動画像の符
号化データを取り込む動画像符号化データ入力部と、前
記動画像符号化データ入力部より取り込まれた前記動画
像の符号化データの１フレームごとのデータ量を計数す
る計数部と、前記計数部の計数値をしきい値と比較し、
その比較結果に基づいてそのフレームがシーンチェンジ
であるか否かを示す信号を発生する比較部とを備えたシ
ーンチェンジ検出装置。 - 【請求項８】 複数のシーンから構成される動画像の画
像信号を、フレーム間の相関を利用して符号化する際、
フレーム間符号化とフレーム内符号化とに適応的に切り
換えて、前記フレーム間の相関にて予測不可能と判定さ
れた画素についてはフレーム内の相関を利用して符号化
した動画像の符号化データより、前記画素が前記フレー
ム間符号化とフレーム内符号化のいずれによって符号化
されたかを示す符号化モードを抽出する多重分離部と、
１フレームごとに前記符号化モードを計数し、前記フレ
ーム間予測可能あるいはフレーム間予測不可能と判定さ
れた画素の数を算出する計数部と、１フレームごとに前
記計数部の計数値をしきい値と比較し、その比較結果に
基づいてそのフレームがシーンチェンジであるか否かを
示す信号を発生する比較部とを備えたシーンチェンジ検
出装置。 - 【請求項９】 動画像のフレームを複数の領域に分割し
た各領域毎の符号化モードとして、現フレームの情報を
用いて符号化する第１の符号化モード、既に符号化され
た時間的に過去に位置するフレームの情報を用いて符号
化する第２の符号化モード、既に符号化された時間的に
未来に位置するフレームの情報を用いて符号化する第３
の符号化モード、あるいは既に符号化された時間的に過
去に位置するフレームの情報と既に符号化された時間的
に未来に位置するフレームの情報とを用いて符号化する
第４の符号化モード中のいずれを用いるかを決定する符
号化モード決定手段の出力より、前記フレーム内での前
記各符号化モードの生起頻度を計数する計数手段と、前
記動画像のフレームのフレームモードが、前記第１の符
号化モードだけを用いて符号化される第１のフレーム、
前記第１の符号化モードと第２の符号化モードのいずれ
かを用いて符号化される第２のフレーム、あるいは第１
ないし第４の符号化モードのいずれかを用いて符号化さ
れる第３のフレーム中のいずれであるかを決定するフレ
ームモード決定手段の出力、および前記計数手段の計数
結果を少なくとも時間的に連続する２フレーム分保持す
る情報保持手段と、前記情報保持手段に保持されている
時間的に連続した２フレーム分のフレームモードを比較
するとともに、前記情報保持手段に保持されている時間
的に連続した２フレーム分の符号化モードの生起頻度を
比較し、それらの比較結果があらかじめ定められた条件
に合致する場合に検出信号を出力する検出信号出力手段
とを備えたシーンチェンジ検出装置。 - 【請求項１０】 動画像のフレームを複数の領域に分割
し、各領域毎に、現フレームの情報を用いて符号化する
第１の符号化モードと、既に符号化された時間的に過去
に位置するフレームの情報を用いて符号化する第２の符
号化モードと、既に符号化された時間的に未来に位置す
るフレームの情報を用いて符号化する第３の符号化モー
ドと、既に符号化された時間的に過去に位置するフレー
ムの情報と既に符号化された時間的に未来に位置するフ
レームの情報とを用いて符号化する第４の符号化モード
とを適応的に切り換えることにより、前記動画像のフレ
ームを、前記第１の符号化モードだけを用いて符号化さ
れる第１のフレームと、前記第１の符号化モードと第２
の符号化モードのいずれかを用いて符号化される第２の
フレームと、第１ないし第４の符号化モードのいずれか
を用いて符号化される第３のフレームとに分けて符号化
した符号化データから、前記フレームが前記第１ないし
第３のフレームのいずれであるかのフレームモードを示
すデータ、および前記第１ないし第４の符号化モードの
いずれが使用されているかを示すデータとを抽出する多
重分離手段と、前記多重分離手段の出力より、前記フレ
ーム内での前記各符号化モードの生起頻度を計数する計
数手段と、前記フレームモードを示すデータと前記計数
手段の計数結果とを少なくとも時間的に連続する２フレ
ーム分保持する情報保持手段と、前記情報保持手段に保
持されている時間的に連続した２フレーム分のフレーム
モードを比較するとともに、前記情報保持手段に保持さ
れている時間的に連続した２フレーム分の符号化モード
の生起頻度を比較し、それらの比較結果があらかじめ定
められた条件に合致する場合に検出信号を出力する検出
信号出力手段とを備えたシーンチェンジ検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35161592A JP3093499B2 (ja) | 1992-03-06 | 1992-12-09 | シーンチェンジ検出装置 |
| US08/787,449 US5815217A (en) | 1992-03-06 | 1997-01-22 | Scene-change detector for a moving image composed of a plurality of frames |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8304992 | 1992-03-06 | ||
| JP14108992 | 1992-05-07 | ||
| JP4-83049 | 1992-05-07 | ||
| JP4-141089 | 1992-05-07 | ||
| JP35161592A JP3093499B2 (ja) | 1992-03-06 | 1992-12-09 | シーンチェンジ検出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11240073A Division JP2000078585A (ja) | 1992-03-06 | 1999-08-26 | シ―ンチェンジ検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0622304A true JPH0622304A (ja) | 1994-01-28 |
| JP3093499B2 JP3093499B2 (ja) | 2000-10-03 |
Family
ID=27304109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35161592A Expired - Fee Related JP3093499B2 (ja) | 1992-03-06 | 1992-12-09 | シーンチェンジ検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5815217A (ja) |
| JP (1) | JP3093499B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521542A (en) * | 1994-09-09 | 1996-05-28 | Nec Corporation | Logarithmic amplifier circuit using triple-tail cells |
| JPH09312829A (ja) * | 1996-05-24 | 1997-12-02 | Hitachi Denshi Ltd | 音声・動画像符号化データ検索方法及び検索装置 |
| JPH09322119A (ja) * | 1996-05-30 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 符号化映像カット検出方法 |
| US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| US6192183B1 (en) | 1996-05-30 | 2001-02-20 | Nippon Telegraph And Telephone Corporation | Video editing scheme using icons directly obtained from coded video data |
| US6885773B2 (en) | 2000-04-04 | 2005-04-26 | Pioneer Corporation | Method of detecting a fade change in image information based on intra-field dispersion values and intra-field DC levels |
| US6937654B2 (en) | 2002-04-17 | 2005-08-30 | Mitsubishi Denki Kabushiki Kaisha | Moving picture coding control apparatus, and coding control database generating apparatus |
| KR100546226B1 (ko) * | 1997-07-09 | 2006-04-28 | 소니 가부시끼 가이샤 | 정보검색장치및방법과전송매체 |
| US7721356B2 (en) | 2005-01-28 | 2010-05-25 | Utax Co., Ltd. | Clothes with crotch part |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322174A (ja) * | 1996-05-30 | 1997-12-12 | Hitachi Ltd | 動画データの再生方法 |
| US6115420A (en) * | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
| US6137844A (en) * | 1998-02-02 | 2000-10-24 | Oki Telecom, Inc. | Digital filter for noise and error removal in transmitted analog signals |
| JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| JP4427827B2 (ja) * | 1998-07-15 | 2010-03-10 | ソニー株式会社 | データ処理方法、データ処理装置及び記録媒体 |
| JP4171940B2 (ja) * | 1998-09-09 | 2008-10-29 | ソニー株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
| KR100618972B1 (ko) * | 1999-08-02 | 2006-09-01 | 삼성전자주식회사 | 가변장 코딩 방법 및 장치 |
| JP3644320B2 (ja) * | 1999-09-17 | 2005-04-27 | 日本電気株式会社 | 制御コード読み込みシステム |
| JP2001268575A (ja) | 2000-03-14 | 2001-09-28 | Pioneer Electronic Corp | 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体 |
| JP2002077723A (ja) * | 2000-09-01 | 2002-03-15 | Minolta Co Ltd | 動画像処理装置、動画像処理方法および記録媒体 |
| US7224892B2 (en) * | 2001-06-26 | 2007-05-29 | Canon Kabushiki Kaisha | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media |
| US20030219232A1 (en) * | 2001-10-01 | 2003-11-27 | Shu Lin | System and method for identifying data on a storage medium |
| US7116374B2 (en) * | 2003-08-26 | 2006-10-03 | Koplar Interactive Systems International, L.L.C. | Method and system for enhanced modulation of video signals |
| JP4574983B2 (ja) * | 2003-11-04 | 2010-11-04 | オリンパス株式会社 | 画像表示装置、画像表示方法、及び画像表示プログラム |
| US7664175B1 (en) * | 2004-06-16 | 2010-02-16 | Koplar Interactive Systems International, L.L.C. | Mark-based content modulation and detection |
| US8296662B2 (en) * | 2007-02-05 | 2012-10-23 | Brother Kogyo Kabushiki Kaisha | Image display device |
| US8798133B2 (en) * | 2007-11-29 | 2014-08-05 | Koplar Interactive Systems International L.L.C. | Dual channel encoding and detection |
| US20150304571A1 (en) * | 2012-11-26 | 2015-10-22 | Golden Boy Technology & Innovation S.R.L. | Automated filming process for sport events |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8603880D0 (en) * | 1986-02-17 | 1986-03-26 | Indep Broadcasting Authority | Hybrid interpolative predictive code |
| US4698672A (en) * | 1986-10-27 | 1987-10-06 | Compression Labs, Inc. | Coding system for reducing redundancy |
| US4885636A (en) * | 1987-06-22 | 1989-12-05 | Eastman Kodak Company | Block adaptive linear predictive coding with adaptive gain and bias |
| US4942467A (en) * | 1988-12-05 | 1990-07-17 | General Electric Company | Predictor controlled encoder for digital transmission systems |
| JPH02174388A (ja) * | 1988-12-26 | 1990-07-05 | Graphics Commun Technol:Kk | 画像符号化装置 |
| JPH02174387A (ja) * | 1988-12-26 | 1990-07-05 | Graphics Commun Technol:Kk | 画像符号化装置 |
| JP2675130B2 (ja) * | 1989-03-29 | 1997-11-12 | 株式会社日立製作所 | 画像データ転送再生方法および転送再生装置 |
| FR2645383B1 (fr) * | 1989-03-31 | 1997-06-27 | Thomson Consumer Electronics | Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee |
| WO1990016130A1 (en) * | 1989-06-19 | 1990-12-27 | Fujitsu Limited | Dynamic image encoder and dynamic image decoder |
| US5028996A (en) * | 1989-06-26 | 1991-07-02 | Matsushita Electric Industrial Co., Ltd. | Picture coding method |
| US5164828A (en) * | 1990-02-26 | 1992-11-17 | Sony Corporation | Video signal transmission and method and apparatus for coding video signal used in this |
| US5150432A (en) * | 1990-03-26 | 1992-09-22 | Kabushiki Kaisha Toshiba | Apparatus for encoding/decoding video signals to improve quality of a specific region |
| US5347309A (en) * | 1991-04-25 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Image coding method and apparatus |
| US5151784A (en) * | 1991-04-30 | 1992-09-29 | At&T Bell Laboratories | Multiple frame motion estimation |
| JPH04334188A (ja) * | 1991-05-08 | 1992-11-20 | Nec Corp | 動画像信号の符号化方式 |
| JP3067275B2 (ja) * | 1991-05-23 | 2000-07-17 | 日本放送協会 | シーンチェンジ検出装置 |
| JPH04354488A (ja) * | 1991-05-31 | 1992-12-08 | Toshiba Corp | 動画像符号化装置 |
| US5227878A (en) * | 1991-11-15 | 1993-07-13 | At&T Bell Laboratories | Adaptive coding and decoding of frames and fields of video |
| JPH05284369A (ja) * | 1992-03-31 | 1993-10-29 | Fujitsu Ltd | 画像データ符号化・復元方法及びその装置 |
| JP3217789B2 (ja) * | 1992-11-17 | 2001-10-15 | 富士通株式会社 | ディジタル画像通信装置 |
| US5497338A (en) * | 1993-04-09 | 1996-03-05 | Sharp Kabushiki Kaisha | Motion vector detecting circuit |
-
1992
- 1992-12-09 JP JP35161592A patent/JP3093499B2/ja not_active Expired - Fee Related
-
1997
- 1997-01-22 US US08/787,449 patent/US5815217A/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521542A (en) * | 1994-09-09 | 1996-05-28 | Nec Corporation | Logarithmic amplifier circuit using triple-tail cells |
| US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| JPH09312829A (ja) * | 1996-05-24 | 1997-12-02 | Hitachi Denshi Ltd | 音声・動画像符号化データ検索方法及び検索装置 |
| JPH09322119A (ja) * | 1996-05-30 | 1997-12-12 | Nippon Telegr & Teleph Corp <Ntt> | 符号化映像カット検出方法 |
| US6192183B1 (en) | 1996-05-30 | 2001-02-20 | Nippon Telegraph And Telephone Corporation | Video editing scheme using icons directly obtained from coded video data |
| KR100546226B1 (ko) * | 1997-07-09 | 2006-04-28 | 소니 가부시끼 가이샤 | 정보검색장치및방법과전송매체 |
| US6885773B2 (en) | 2000-04-04 | 2005-04-26 | Pioneer Corporation | Method of detecting a fade change in image information based on intra-field dispersion values and intra-field DC levels |
| US6937654B2 (en) | 2002-04-17 | 2005-08-30 | Mitsubishi Denki Kabushiki Kaisha | Moving picture coding control apparatus, and coding control database generating apparatus |
| US7721356B2 (en) | 2005-01-28 | 2010-05-25 | Utax Co., Ltd. | Clothes with crotch part |
Also Published As
| Publication number | Publication date |
|---|---|
| US5815217A (en) | 1998-09-29 |
| JP3093499B2 (ja) | 2000-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0622304A (ja) | シーンチェンジ検出装置 | |
| US7023914B2 (en) | Video encoding apparatus and method | |
| US6434196B1 (en) | Method and apparatus for encoding video information | |
| EP1563688B1 (en) | Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and visual mask | |
| US8761254B2 (en) | Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program | |
| CN101978698B (zh) | 用于对图像进行编码和解码的方法及设备 | |
| JP2004007379A (ja) | 動画像符号化方法及び動画像復号化方法 | |
| WO2012095464A1 (en) | Video encoding and decoding with improved error resilience | |
| KR20090095012A (ko) | 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치 | |
| US20120207219A1 (en) | Picture encoding apparatus, picture encoding method, and program | |
| KR100944552B1 (ko) | 동화상 부호화 방법, 동화상 부호화 장치 및 데이터 기억매체 | |
| JP2007060693A (ja) | 動画像符号化、復号化方法及び装置 | |
| US7856054B1 (en) | Scene change identification during encoding of compressed video | |
| EP1374595A2 (en) | Video coding method and device | |
| US8126277B2 (en) | Image processing method, image processing apparatus and image pickup apparatus using the same | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JPH10191347A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 | |
| JP2007124614A (ja) | 符号化方法 | |
| JP2000078585A (ja) | シ―ンチェンジ検出装置 | |
| JPH06113283A (ja) | 動き補償符号化装置 | |
| JPH06105299A (ja) | 動画像圧縮装置 | |
| JP2009153227A (ja) | 画像処理装置およびそれを用いた撮像装置 | |
| Chen et al. | A complexity-scalable software-based MPEG-2 video encoder | |
| KR20070029109A (ko) | 비디오 인코딩 방법 및 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070728 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080728 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |