JP4420811B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、入力動画像データを基にシーンチェンジを検出する画像処理装置およびその方法に関し、特に、ピクチャのデータを画素を間引いて受信してシーンチェンジ検出に利用する画像処理装置およびその方法に関する。

近年、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮符号化方式を用いて、動画像をデジタルデータとして取り扱うことが一般的となっている。例えば、テレビ放送を受信し、デジタルデータとして光ディスク等の記録媒体に記録するビデオレコーダの普及が進んでいる。

動画像は通常、１秒間に数十回程度の静止画像を切り替えることで表示され、各静止画像はフレーム（インタレース方式ではフィールド）と呼ばれる。動画像をＭＰＥＧ方式等で圧縮符号化すると、各フレームにはＩ，Ｂ，Ｐのいずれかの属性が付与される。Ｉフレームは、時間的な差の情報を持たずに単独で構成されるフレームであり、Ｐフレームは、時間的に前のフレームから予測符号化されるフレームであり、Ｂフレームは、時間的に前後の両フレームから予測符号化されるフレームである。

一般的に、動画像の前後のフレームは相関が高いため、ＩフレームよりＰフレームやＢフレームの方がデータ圧縮率が高い。しかし、動画像データの先頭にはＩフレームが必須であり、またＩフレームには、画像編集が容易で、早送りや逆再生時に素早く表示できるといった利点もあることから、通常は十数フレーム〜数百フレームに１回はＩフレームが挿入される。通常の符号化では、１つ以上のＩフレーム（またはフィールド）を含む独立した再生単位としてＧＯＰ（Group Of Picture）が規定され、このＧＯＰで決められた一定の順序でＩ，Ｂ，Ｐのいずれかのフレームが繰り返し生成されていく。これにより、高いデータ圧縮効率と、ランダムアクセス性能等の利便性とを両立させている。

しかし、このようなＧＯＰの規定通りに画像を生成すると、シーンチェンジの境界部では、高いデータ圧縮効果が得られない場合がある。シーンチェンジは例えば、ビデオ録画中に一時停止し、その後に録画を再開した場合や、テレビ番組の途中でコマーシャルに切り替わった場合等に発生し、シーンチェンジの直後のフレームは、その前のフレームに対して非常に相関の低いフレームとなる。このため、シーンチェンジの直後にＢフレームあるいはＰフレームを生成すると、データ圧縮効果が低くなり、その画質も低いものになってしまう。そこで、シーンチェンジを検出して、符号化するピクチャの属性を制御する方法が考えられている。

図９は、シーンチェンジ検出回路を含むＭＰＥＧ符号化のための従来の回路構成を概略的に示す図である。
図９では例として、ＧＯＰの規定により符号化対象のフレームがＰフレームとされる場合のデータの流れについて示している。この図９において、差分検出部５０１は、符号化対象のフレームとその直前のフレームとの差分を演算する。シーンチェンジ検出部５０２は、符号化対象のフレームとその直前のフレームの各データから、シーンチェンジを検出する。セレクタ５０３は、差分検出部５０１からの差分データと、符号化対象のフレームのデータのいずれかを、シーンチェンジ検出信号に応じて選択して出力する。データ圧縮部５０４は、セレクタ５０３により選択出力されたデータを圧縮符号化処理する。

この回路においては、シーンチェンジ検出部５０２によりシーンチェンジの発生が検出されなかった場合には、セレクタ５０３により差分検出部５０１からのデータが選択される。これにより、符号化対象のフレームとその直前のフレームとの差分データを基に圧縮符号化処理が行われ、Ｐフレームが出力される。一方、シーンチェンジ検出部５０２により、符号化対象のフレームでシーンチェンジが発生したことが検出された場合には、セレクタ５０３により符号化対象のフレームのデータが選択され、このフレームのみを用いて圧縮符号化が行われ、Ｉフレームが出力される。

このような回路構成により、シーンチェンジが発生した場合には、ＧＯＰの規定にかかわらず、その直後のフレームがＩフレームとされて、データ圧縮効果の低い無駄なフレーム間予測符号化処理が行われなくなり、画質を改善することができる。また、早送り再生等によりシーンチェンジ後の先頭フレームを確実にサーチしたり、この先頭フレームについてインデックスのためのサムネイル画像を容易に生成できるようにもなる。

シーンチェンジ検出のためには、フレーム間の画素差分を採る画素差分法が一般的に用いられている。この方法では、フレーム間の同一の位置にある画素同士のデータ差分の絶対値を積算し、あらかじめ設定したしきい値より大きい場合にシーンチェンジが発生したと判断する。さらに、この方法を応用したものとして、画素対応のフレーム間差分を累積加算した値に相当する第１の画像相関値を求め、この第１の画像相関値のフレーム間差分に相当する第２の画像相関値を求め、第２の画像相関値がしきい値を超えたときにシーンチェンジの発生を検出することで、動きの激しい動画像でも実際のシーンチェンジのみをより確実に検出するようにした方法もあった（例えば、特許文献１参照）。

また、シーンチェンジの他の検出方法としては、フレーム間の画像の動きを検出する動きベクトル法がある。この方法では、小さく区切られた矩形領域のそれぞれに対して同一の画像がないか否かを検出し、一致するものがない領域が多数を占めた場合に、シーンチェンジが発生したと判断する。
特開２０００−３２４４９９号公報（段落番号〔００２０〕〜〔００２７〕、図２）

ところで、上述した２つのシーンチェンジ検出方法のうち、動きベクトル法は、画素差分法より高い精度でシーンの切り替わりを検出することができるが、複雑な処理が必要となる。しかし、最近では、画像符号化に対して処理負荷や回路規模、製造コストの抑制が強く要望されており、画素差分法を用いてより検出精度を高めることが望まれている。

しかし、画素差分法を用いた場合でも、図９に示したように、データの圧縮符号化処理と、シーンチェンジ検出処理との双方とのために複数フレーム分の画像データを回路内に読み込む必要が生じることから、データを伝送するシステムバスの負荷が大きくなる。このため、システムバスの転送速度を高める必要が生じ、回路規模や製造コストの抑制を阻害する要因となっていた。

本発明はこのような点に鑑みてなされたものであり、シーンチェンジ検出の精度を低下させることなく、画像データの転送時におけるデータバスの負荷が軽減されて、製造コストが低減された画像処理装置を提供することを目的とする。

また、本発明の他の目的は、シーンチェンジ検出の精度を低下させることなく、画像データの転送時におけるデータバスの負荷を軽減して、製造コストを低減できる画像処理方法を提供することである。

本発明では上記課題を解決するために、図１に示すような画像処理装置が提供される。この画像処理装置は、入力動画像データを基にシーンチェンジを検出するものであり、検出対象のピクチャ２１のデータとその直前のピクチャ２２のデータとを画素を間引いて受信し、前記検出対象および前記直前の各ピクチャ２１および２２間のデータの差分値を基にシーンチェンジを検出するシーンチェンジ検出部１１と、少なくとも前記直前のピクチャ２２について、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置１２から連続的に読み出すとともに、前記記憶装置１２から前記画素群間の間隔を空けてデータを読み出して、データバス１３を通じて前記シーンチェンジ検出部１１に転送するように制御し、前記画素群に含まれる画素数ｐを、バス幅に応じて決定される前記データバス１３での転送可能な最大数、またはその整数倍の数とした転送制御部１４とを有することを特徴とする。

ここで、シーンチェンジ検出部１１は、検出対象のピクチャ２１のデータとその直前のピクチャ２２のデータとの差分値を基にシーンチェンジを検出する。このとき、各ピクチャ２１および２２について画素を間引いて受信することで、検出処理が高速化される。転送制御部１４は、検出対象およびその直前の各ピクチャ２１および２２のうちの少なくとも直前のピクチャ２２については、そのピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置１２から連続的に読み出すとともに、この記憶装置１２から画素群間の間隔を空けてデータを読み出して、データバス１３を通じてシーンチェンジ検出部１１に転送するように制御する。このとき、画素群に含まれる画素数ｐを、バス幅に応じて決定されるデータバス１３での転送可能な最大数、またはその整数倍の数とすることで、データバスの利用効率が高められて、検出に使用する画素数を少なくすることなく、画像データの転送に要する時間が短縮される。

また、本発明では、入力動画像データを基にシーンチェンジを検出するための画像処理方法において、転送制御部が、検出対象のピクチャおよびその直前のピクチャのうち、少なくとも前記直前のピクチャについて、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置から連続的に読み出すとともに、前記記憶装置から前記画素群間の間隔を空けてデータを読み出して、データバスを通じて検出処理部に転送するように制御し、前記画素群に含まれる画素数を、バス幅に応じて決定される前記データバスでの転送可能な最大数、またはその整数倍の数としたデータ転送ステップと、前記検出処理部が、前記データバスを通じて受信した前記検出対象および前記直前の各ピクチャのデータの差分値を演算し、その演算結果を基にシーンチェンジを検出する検出処理ステップとを含むことを特徴とする画像処理方法が提供される。

ここで、データ転送ステップでは、シーンチェンジの検出対象のピクチャおよびその直前のピクチャのうち、少なくとも直前のピクチャについて、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置から連続的に読み出すとともに、この記憶装置から画素群間の間隔を空けてデータを読み出して、データバスを通じて検出処理部に転送するように制御する。検出処理ステップでは、データバスを通じて受信した検出対象および直前の各ピクチャのデータの差分値を演算し、その演算結果を基にシーンチェンジを検出する。このとき、ピクチャ内の画素が間引かれて受信されるので、検出処理が高速化される。これに加えて、データ転送ステップでは、画素群に含まれる画素数が、バス幅に応じて決定されるデータバスでの転送可能な最大数、またはその整数倍の数とされるので、データバスの利用効率が高められ、検出に使用する画素数を少なくすることなく、画像データの転送に要する時間が短縮される。

本発明の画像処理装置によれば、シーンチェンジの検出対象およびその直前のピクチャのうち、少なくとも直前のピクチャについては、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータが記憶装置から連続的に読み出されるとともに、この記憶装置から画素群間の間隔を空けてデータが読み出され、データバスを通じて検出処理部に転送される。このとき、画素群に含まれる画素数を、バス幅に応じて決定されるデータバスでの転送可能な最大数、またはその整数倍の数としたことで、データバスの利用効率が高められて、検出に使用する画素数を少なくすることなく、画像データの転送に要する時間が短縮される。従って、シーンチェンジの検出精度を低下させることなく、データバスの負荷を低減することができ、製造コストを低減できる。

また、本発明の画像処理方法によれば、シーンチェンジの検出対象およびその直前のピクチャのうち、少なくとも直前のピクチャについては、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータが記憶装置から連続的に読み出されるとともに、この記憶装置から画素群間の間隔を空けてデータが読み出され、データバスを通じて検出処理部に転送される。このとき、画素群に含まれる画素数を、バス幅に応じて決定されるデータバスでの転送可能な最大数、またはその整数倍の数としたことで、データバスの利用効率が高められて、検出に使用する画素数を少なくすることなく、画像データの転送に要する時間が短縮される。従って、シーンチェンジの検出精度を低下させることなく、データバスの負荷を低減することができ、製造コストを低減できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、実施の形態に係る画像処理装置の動作の概要を示す図である。
図１では、入力動画像データを基にシーンチェンジを検出するための画像処理装置の主な機能の構成を示している。この画像処理装置は、シーンチェンジを検出するシーンチェンジ検出部１１と、画像データを一時的に記憶する記憶装置１２と、記憶装置１２からシーンチェンジ検出部１１へのデータバス１３を通じた画像データの転送を制御する転送制御部１４とを具備する。

シーンチェンジ検出部１１は、検出対象のピクチャ２１と、その直前のピクチャ２２の各データの差分値を基にシーンチェンジを検出する。このシーンチェンジ検出部１１は、各ピクチャ２１および２２の全画素ではなく、画素を間引いて受信して、各ピクチャ２１および２２の対応する位置の画素同士の差分値を算出する。これにより、処理時間を短縮している。

転送制御部１４は、記憶装置１２に読み出しアドレスを発行して、データの読み出しと、データバス１３を通じたシーンチェンジ検出部１１へのデータ転送とを制御する。この転送制御部１４は、例えばＣＰＵやＤＭＡ（Direct Memory Access）コントローラ等として実現される。

このような画像処理装置において、検出対象のピクチャ２１およびその直前のピクチャ２２のうち、少なくとも直前のピクチャ２２は、記憶装置１２に一旦記憶された後、シーンチェンジ検出部１１に供給される。このとき、転送制御部１４の制御により、ピクチャ２２のデータは画素を間引いて読み出され、データバス１３を通じてシーンチェンジ検出部１１に供給される。また、検出対象のピクチャ２１は、例えば外部のビデオキャプチャ部や通信Ｉ／Ｆ等から、直接シーンチェンジ検出部１１に供給されてもよく、あるいは記憶装置１２に一旦記憶されてから供給されてもよい。記憶装置１２に記憶された場合には、直前のピクチャ２２と同様に画素を間引いて読み出され、シーンチェンジ検出部１１に転送される。

ここで、転送制御部１４は、記憶装置１２からピクチャを読み出す際に、一定の画素数ｐ分だけ連続して読み出し、その他の画素を間引く。このとき、画素数ｐを、データバス１３のバス幅に応じて決定されるデータバス１３上での転送可能な最大数とする。例えば、１画素分のデータが１バイトで、バス幅が３２ビットの場合、記憶装置１２からの１回の読み出しで最大４画素分のデータを転送可能であるので、画素数ｐを４とする。あるいは、システムが破綻しないことを保証できれば、画素数ｐをバス幅に応じた転送可能な最大数の整数倍とすることもできる。

シーンチェンジ検出部１１では、より多くの画素を検出対象とするほど検出精度が高められるが、同じ画素数を転送するのであれば、上記条件で一定数の画素を連続的に転送することで、検出精度を維持しつつ、画像データの転送に要する時間を短縮することができる。従って、シーンチェンジの検出精度を低下させることなく、データバス１３の負荷を低減し、製造コストを低減することができる。

また、データバス１３では一般的に、記憶装置１２の読み出しや書き込みの対象データの総サイズが同じであっても、読み出し要求や書き込み要求が行われる時間間隔が広い方がシステムの破綻が少なくなる。このため、読み出し対象となる画素数ｐの隣接画素が割り当てられた水平方向のラインが複数存在するとき、このような１ライン上において連続して読み出しを間引く最大画素数より、全画素の読み出しが間引かれる連続したラインの最大数を小さくすることが望ましい。これにより、読み出し間隔が平均的に広くなるので、シーンチェンジの検出精度を低下させることなく、システムに冗長性を持たせ、安定的な動作が可能となる。

さらにこの条件に加えて、読み出し対象となる画素数ｐの隣接画素が割り当てられた複数のラインの間で、この隣接画素の水平方向の位置を互い違いにすることが望ましい。これにより、シーンチェンジの検出に用いる画素のピクチャ上の位置を分散させることができ、動作を安定化させながらも検出精度を一層高めることができる。

次に、画像処理装置のより具体的な構成例について説明する。ここでは、テレビ放送を受信して画像信号をデジタル化し、ＭＰＥＧ方式で圧縮符号化する装置を例に挙げて説明する。

図２は、実施の形態に係る画像処理装置の具体的な構成例を示す図である。
図２に示す画像処理装置は、チューナ回路１０１、ビデオキャプチャ回路１０２、転送エンジン回路１０３、シーンチェンジ検出回路１０４、ＤＲＡＭ（Dynamic Random Access Memory）１０５、ビデオエンコーダ１０６、およびＣＰＵ１０７を具備する。これらのうち、転送エンジン回路１０３、シーンチェンジ検出回路１０４、ＤＲＡＭ１０５、ビデオエンコーダ１０６、およびＣＰＵ１０７は、システムバス１０８を介して互いに接続されており、データを送受信することが可能となっている。

チューナ回路１０１は、所定の搬送周波数の放送電波を外部のアンテナを通じて受信し、受信信号を復調してアナログ画像信号を出力する。ビデオキャプチャ回路１０２は、チューナ回路１０１からのアナログ画像信号を非圧縮のデジタル画像データとして取り込む。転送エンジン回路１０３は、システムバス１０８のＩ／Ｆであり、ＣＰＵ１０７からの命令に応じてビデオキャプチャ回路１０２からの画像データをシステムバス１０８を通じて転送する。

シーンチェンジ検出回路１０４は、検出対象およびその直前の画像データ（ピクチャ）をシステムバス１０８を通じて受信し、各ピクチャの差分値を基にシーンチェンジを検出する。ＤＲＡＭ１０５は、シーンチェンジ検出回路１０４やビデオエンコーダ１０６等の処理時の作業領域となり、ＣＰＵ１０７の制御の下で画像データを一時的に保持する。

ビデオエンコーダ１０６は、ＣＰＵ１０７の制御の下で、ＤＲＡＭ１０５に記憶された画像データをＭＰＥＧ方式で順次圧縮符号化し、ビデオＥＳ（Elementary Stream）を出力する。ビデオＥＳは例えば、同時に符号化されたオーディオＥＳと多重化されて、ＨＤＤ（Hard Disk Drive）等の記憶装置に記憶されたり、あるいは通信Ｉ／Ｆを通じて外部の機器に送信される。なお、このビデオエンコーダ１０６の機能あるいはその一部は、ＣＰＵ１０７によるソフトウェア処理により実現されてもよい。ＣＰＵ１０７は、この画像処理装置を統括的に制御する回路であり、システムバス１０８を通じて各部の動作を制御するとともに、システムバス１０８上のデータ転送を制御する。

この画像処理装置では、チューナ回路１０１で受信されたテレビ画像がビデオキャプチャ回路１０２によりデジタル変換され、デジタル画像データが転送エンジン回路１０３を通じてシステムバス１０８上に供給される。供給された画像データは、ＤＲＡＭ１０５に一旦格納された後、ビデオエンコーダ１０６によって圧縮符号化される。

また、このような処理の間、シーンチェンジ検出回路１０４は順次供給される画像データからシーンチェンジの有無を検出し、シーンチェンジが発生すると、検出信号をビデオエンコーダ１０６に出力する。ビデオエンコーダ１０６は、検出信号を受信すると、次に符号化するピクチャがＧＯＰの規則ではＢピクチャあるいはＰピクチャであるタイミングであっても、次のピクチャとしてＩピクチャを生成する。これにより、シーンチェンジの直後に生成される画像の画質を高め、無駄なデータ圧縮処理を行わないようにすることができる。

図３は、シーンチェンジ検出回路１０４の構成例を示す図である。
シーンチェンジ検出回路１０４は、例えば図３のように、減算部４１、絶対値演算部４２、加算部４３、積算レジスタ４４、および比較部４５を具備する。減算部４１には、検出対象のピクチャ２１およびその直前のピクチャ２２の対応する画素のデータが順次入力される。減算部４１は、各ピクチャ２１および２２の画素データの差分値を出力し、絶対値演算部４２は、減算部４１からの差分値の絶対値を演算する。

加算部４３は、絶対値演算部４２からの出力値と積算レジスタ４４の出力値とを加算し、積算レジスタ４４に出力する。積算レジスタ４４は、加算部４３の加算結果を保持し、その値を比較部４５に出力するとともに、加算部４３にフィードバックする。これにより、ピクチャ２１および２２の対応画素間の差分値の絶対値が順次積算され、積算レジスタ４４に格納される。なお、積算レジスタ４４は、１つのピクチャからの検出が終了されるとリセットされる。

比較部４５は、積算レジスタ４４の値と所定のしきい値とを比較し、積算レジスタ４４からの値がしきい値を超えたときにシーンチェンジが発生したと判定し、検出信号を出力する。

なお、以上のシーンチェンジ検出回路１０４内の各機能は、各種ゲート回路等のハードウェアにより実現されてもよいし、あるいはＣＰＵ１０７によるソフトウェア処理により実現されてもよい。

ところで、シーンチェンジ検出回路１０４は、減算部４１において、各ピクチャ２１および２２のデータを全画素分受信せずに、画素を間引いて受信することで、処理速度を高速化している。また、本実施の形態では、直前のピクチャ２２のデータについては、ＣＰＵ１０７の制御によりＤＲＡＭ１０５から間引いて読み出すことで取得するが、検出対象のピクチャ２１のデータについては、ビデオキャプチャ回路１０２から転送エンジン回路１０３を通じて直接取得するものとする。すなわち、ビデオキャプチャ回路１０２により生成されたピクチャ２１のデータは、全画素分がシステムバス１０８を通じてＤＲＡＭ１０５に格納されるとともに、シーンチェンジ検出回路１０４にも供給され、シーンチェンジ検出回路１０４は、受信したピクチャ２１のうち必要な画素のデータだけを間引いて取り込む。

なお、以下の例では、システムバス１０８のデータ転送のためのバス幅を３２ビット、ピクチャの１画素分のデータを１バイトとする。
図４は、シーンチェンジ検出に使用する画素位置の例を示す図である。この図４では、ＤＲＡＭ１０５に一旦記憶したピクチャのデータのうち、検出に使用するために読み出す画素を白く表し、それ以外の間引く画素を斜線で表している（以下の図６，図７も同様とする）。

システムバス１０８のバス幅が３２ビットの場合、ＤＲＡＭ１０５から１画素分のデータ（１バイト）を読み出した場合と、隣接する４画素分のデータ（４バイト）を読み出した場合とでは、システムバス１０８への負荷は変わらず、ともに同じ時間だけシステムバス１０８を占有することになる。このため、常に隣接する４画素分のデータを読み出して転送する方が、システムバス１０８の利用効率を高めることができる。図４では例として、ラインＬ０，ラインＬ４，ラインＬ８，ラインＬ１２，ラインＬ１６において、それぞれ１２画素おきに隣接４画素を読み出してシーンチェンジ検出回路１０４に転送して、差分演算に利用している。

図５は、図４の画素位置例を適用した場合のＣＰＵ１０７によるＤＲＡＭ１０５からの画像データ読み出し処理の流れを示すフローチャートである。なお、ここでは、１ピクチャの水平方向、垂直方向の画素数をそれぞれｐｘ、ｐｙ、隣接４画素の先頭から次に読み出す隣接４画素の先頭までの画素数をｉｘ、読み出しを行ったラインから次に読み出しを行うラインまでのライン数をｉ１ｙとする。

〔ステップＳ１０１〕アドレス算出のための変数ｘ，ｙを初期化する。
〔ステップＳ１０２〕水平方向に隣接する４画素に対応する「ｂｕｆｆｅｒ０」〜「ｂｕｆｆｅｒ３」のアドレスをそれぞれ生成する。

〔ステップＳ１０３〕隣接４画素のうちの最初の画素（ｂｕｆｆｅｒ０）のアドレス（ｘ、ｙ）をＤＲＡＭ１０５に指定し、対応する画素のデータをシーンチェンジ検出回路１０４に転送させる。

〔ステップＳ１０４〕次に読み出す画素（ｂｕｆｆｅｒ１）の水平方向アドレス（ｘ＋１）がｐｘより小さい場合はステップＳ１０５に進み、そうでない場合はステップＳ１０６に進む。

〔ステップＳ１０５〕次の画素（ｂｕｆｆｅｒ１）のアドレスをＤＲＡＭ１０５に指定し、対応する画素のデータをシーンチェンジ検出回路１０４に転送させる。
〔ステップＳ１０６〕次に読み出す画素（ｂｕｆｆｅｒ２）の水平方向アドレス（ｘ＋２）がｐｘより小さい場合はステップＳ１０７に進み、そうでない場合はステップＳ１０８に進む。

〔ステップＳ１０７〕次の画素（ｂｕｆｆｅｒ２）のアドレスをＤＲＡＭ１０５に指定し、対応する画素のデータをシーンチェンジ検出回路１０４に転送させる。
〔ステップＳ１０８〕次に読み出す画素（ｂｕｆｆｅｒ３）の水平方向アドレス（ｘ＋３）がｐｘより小さい場合はステップＳ１０９に進み、そうでない場合はステップＳ１１０に進む。

〔ステップＳ１０９〕次の画素（ｂｕｆｆｅｒ３）のアドレスをＤＲＡＭ１０５に指定し、対応する画素のデータをシーンチェンジ検出回路１０４に転送させる。
〔ステップＳ１１０〕変数ｘにｉｘを加算する。

〔ステップＳ１１１〕変数ｘがｐｘより小さい場合はステップＳ１０２に戻り、ｉｘ分の画素を間引いた次の４画素の読み出し処理を続ける。また、変数ｘがｐｘ以上である場合はステップＳ１１２に進む。

〔ステップＳ１１２〕変数ｘを０にし、変数ｙにｉ１ｙを加算して、読み出し対象のラインをｉｌｙ分だけ進める。
〔ステップＳ１１３〕変数ｙがｐｙより小さい場合はステップＳ１０２に戻り、新たなラインにおける隣接４画素の読み出し処理を続ける。また、変数ｙがｐｙ以上である場合は、１ピクチャ分の読み出し処理を終了する。

ここで、図６に、シーンチェンジ検出に使用する総画素数が図４の例とほぼ同じ場合の使用画素位置の例を、参考のために示す。
図６では、図４の場合と同様に、ラインＬ０，ラインＬ４，ラインＬ８，ラインＬ１２，ラインＬ１６においてのみデータの読み出しを行っている。図４と異なる点は、上記各ラインで３画素おきに１画素分のデータだけを読み出していることである。

この図６では、読み出す総画素数は図４の場合と大きな差がないので、シーンチェンジの検出精度はほぼ同じである。しかし、１画素分ずつデータを読み出すため、その読み出し時にはバス幅３２ビットのシステムバス１０８上に１バイトのデータしか転送されない。これに対して、図４の場合には４画素分ずつデータを読み出すことで、システムバス１０８上に転送能力の上限の４バイトのデータが転送され、図６の場合と比較してピクチャ全体での転送に要する時間を約１／４に短縮することができる。

従って、図４のようにバス幅に応じた画素数分だけ連続して読み出すことで、検出精度を低下させることなく、データ転送に要する時間を短縮することができる。あるいは、画像データの転送の間に、ビデオキャプチャ回路１０２からの画像データの取り込みや、ビデオエンコーダ１０６への画像データの送出等、他の用途のデータ転送を実行することが可能となる。従って、システムバス１０８のバス幅を高めて製造コストを増大させることなく、処理効率を向上させて処理能力を高めることができる。

なお、システムの冗長性を保つために、連続して読み出す画素数の総データ量が、バス幅よりわずかに低くなるように画素数を設定してもよい。
ところで、図４に示した例では、データの読み出しが行われるライン（ラインＬ０，ラインＬ４，ラインＬ８，ラインＬ１２，ラインＬ１６）において連続して読み出しを間引く最大の画素数ｄｘよりも、全画素の読み出しが間引かれる連続したライン（例えばラインＬ１〜Ｌ３）の最大数ｄｙを小さくしている。これにより、１ライン上の隣接複数画素の読み出し間隔を広げるとともに、ライン間の読み出し間隔が狭められ、読み出しが要求される時間間隔が平均的に広がって分散される。従って、システムバス１０８に短時間に大きな負荷がかかることが回避され、システムの破綻を防止することができる。

さらに、以下の図７の例のように、読み出しを行う隣接複数画素を割り当てる位置をラインごとに互い違いにすることで、ピクチャ上のシーンチェンジ検出位置が分散され、その検出精度を高めることができる。

図７は、シーンチェンジ検出に使用する画素位置の他の例を示す図である。
図７の例では、図４の場合と同様に、ＤＲＡＭ１０５から隣接する４画素ずつ読み出して、システムバス１０８の利用効率を高めている。また、読み出しが行われるライン上での連続した最大の間引き数ｄｘを、垂直方向の最大間引きライン数ｄｙより大きくして、システムの安定化を図っている。これに加えて、読み出しが行われるラインごとに、読み出し対象の隣接４画素を割り当てる位置を互い違いにしている。例えば、ラインＬ５における読み出し対象の隣接４画素は、ラインＬ０における間引き領域の中央部に位置している。

なお、この図７では、入力動画像信号としてインタレース方式のものを想定している。また、図７の各ラインには、偶数フィールドと奇数フィールドを合わせた１フレームでのライン番号（Ｌ０〜Ｌ１９）を付している。

インタレース方式の場合、奇数フィールドから偶数フィールドに移行するときと、偶数フィールドから奇数フィールドに移行するときのどちらでも、シーンチェンジが発生し得る。このため、シーンチェンジの検出に使用する画素は、偶数フィールドおよび奇数フィールドの双方に割り当てておく必要がある。

図７ではこのことを考慮して、フレーム内の偶数ライン（Ｌ０，Ｌ８，Ｌ１６）および奇数ライン（Ｌ５，Ｌ１３）において隣接４画素のデータの読み出しを行うようにし、さらに読み出しを行う偶数ラインと奇数ラインとの間で読み出し位置を互い違いにしている。これにより、どんなタイミングでシーンチェンジが発生しても、確実に検出できるようになっている。

図８は、図７の画素位置例を適用した場合のＣＰＵ１０７によるＤＲＡＭ１０５からの画像データ読み出し処理の流れを示すフローチャートである。なお、ここでは、図５で用いたｐｘ，ｐｙ，ｉｘの他に、読み出しを行う偶数ライン間または奇数ライン間の間隔（ライン数）をｉ２ｙとする。

〔ステップＳ２０１〕アドレス算出のための変数ｘ，ｙを初期化する。また、読み出し対象が偶数フィールドのラインであることを示すフラグである「ｅｖｅｎ」に１を設定する。

〔ステップＳ２０２〜Ｓ２１１〕これらの処理ステップは、図５のステップＳ１０２〜Ｓ１１１にそれぞれ対応する。すなわち、アドレスに対応する読み出し対象画素の位置がラインの終端に達していなければ、そのアドレスをＤＲＡＭ１０５に指定して画素のデータをシーンチェンジ検出回路１０４に転送させる。そして、ステップＳ２１０で変数ｘにｉｘを加算した後、ステップＳ２１１で、変数ｘで示される水平方向のアドレスがラインの終端に達していなければ、ステップＳ２０２に戻って次の隣接４画素の読み出し処理を続行し、達していた場合はステップＳ２１２に進む。

〔ステップＳ２１２〕フラグ「ｅｖｅｎ」が１である場合はステップＳ２１３に進み、０である場合はステップＳ２１４に進む。
〔ステップＳ２１３〕変数ｘにｉｘ／２を設定し、変数ｙに（ｉ２ｙ／２）＋１を加算し、フラグ「ｅｖｅｎ」に０を設定して、読み出し対象を奇数ラインに進め、ステップＳ２１５に進む。

〔ステップＳ２１４〕変数ｘに０を設定し、変数ｙに（ｉ２ｙ／２）−１を加算し、フラグ「ｅｖｅｎ」に１を設定して、読み出し対象を偶数ラインに進め、ステップＳ２１５に進む。

〔ステップＳ２１５〕変数ｙがｐｙより小さい場合はステップＳ２０２に戻り、新たなラインにおける隣接４画素の読み出し処理を続ける。また、変数ｙがｐｙ以上である場合は、１ピクチャ分の読み出し処理を終了する。

以上の処理により、システムバス１０８の利用効率が向上することに加えて、画像データの読み出しタイミングが分散して、システムバス１０８に対して負荷が集中する事態が回避されるので、システムに冗長性が生まれて動作が安定化する。これとともに、シーンチェンジの検出に用いられる画素の位置が、偶数フィールドおよび奇数フィールドの双方において同じように分散されるので、シーンチェンジの発生タイミングにかかわらず検出精度を向上させることができる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、上記の画像処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等がある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ等がある。光ディスクには、ＤＶＤ（Digital Versatile Disk）、ＤＶＤ−Ｒ（Recordable）／ＲＷ（ReWritable）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ／ＲＷ等がある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）等がある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

実施の形態に係る画像処理装置の動作の概要を示す図である。 実施の形態に係る画像処理装置の具体的な構成例を示す図である。 シーンチェンジ検出回路の構成例を示す図である。 シーンチェンジ検出に使用する画素位置の例を示す図である。 図４の画素位置例を適用した場合のＣＰＵによるＤＲＡＭからの画像データ読み出し処理の流れを示すフローチャートである。 シーンチェンジ検出に使用する総画素数が図４の例と同じ場合の使用画素位置の例を、参考のために示した図である。 シーンチェンジ検出に使用する画素位置の他の例を示す図である。 図７の画素位置例を適用した場合のＣＰＵによるＤＲＡＭからの画像データ読み出し処理の流れを示すフローチャートである。 シーンチェンジ検出回路を含むＭＰＥＧ符号化のための従来の回路構成を概略的に示す図である。

符号の説明

１１ シーンチェンジ検出部
１２ 記憶装置
１３ データバス
１４ 転送制御部
２１，２２ ピクチャ
１０１ チューナ回路
１０２ ビデオキャプチャ回路
１０３ 転送エンジン回路
１０４ シーンチェンジ検出回路
１０５ ＤＲＡＭ
１０６ ビデオエンコーダ
１０７ ＣＰＵ
１０８ システムバス

Claims (8)

1. 入力動画像データを基にシーンチェンジを検出する画像処理装置において、
   検出対象のピクチャのデータとその直前のピクチャのデータとを画素を間引いて受信し、前記検出対象および前記直前の各ピクチャ間のデータの差分値を基にシーンチェンジを検出するシーンチェンジ検出部と、
   少なくとも前記直前のピクチャについて、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置から連続的に読み出すとともに、前記記憶装置から前記画素群間の間隔を空けてデータを読み出して、データバスを通じて前記シーンチェンジ検出部に転送するように制御し、前記画素群に含まれる画素数を、バス幅に応じて決定される前記データバスでの転送可能な最大数、またはその整数倍の数とした転送制御部と、
   を有することを特徴とする画像処理装置。
2. 前記転送制御部は、ピクチャ内で前記画素群が割り当てられた水平方向の１ライン上において連続して読み出しが間引かれる最大画素数より、１ライン上の全画素の読み出しが間引かれる連続したラインの最大数が小さくなるように、前記記憶装置からの読み出しを制御することを特徴とする請求項１記載の画像処理装置。
3. 前記転送制御部は、前記画素群が割り当てられた複数のラインの間で、前記画素群の水平方向の位置が互い違いになるように、前記記憶装置からの読み出しを制御することを特徴とする請求項２記載の画像処理装置。
4. インタレース方式の動画像データが入力される場合に、
   前記転送制御部は、１フレーム中の偶数ラインおよび奇数ラインの双方に前記画素群を割り当てて前記記憶装置から読み出すように制御することを特徴とする請求項１記載の画像処理装置。
5. 入力動画像データを基にシーンチェンジを検出するための画像処理方法において、
   転送制御部が、検出対象のピクチャおよびその直前のピクチャのうち、少なくとも前記直前のピクチャについて、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置から連続的に読み出すとともに、前記記憶装置から前記画素群間の間隔を空けてデータを読み出して、データバスを通じて検出処理部に転送するように制御し、前記画素群に含まれる画素数を、バス幅に応じて決定される前記データバスでの転送可能な最大数、またはその整数倍の数としたデータ転送ステップと、
   前記検出処理部が、前記データバスを通じて受信した前記検出対象および前記直前の各ピクチャのデータの差分値を演算し、その演算結果を基にシーンチェンジを検出する検出処理ステップと、
   を含むことを特徴とする画像処理方法。
6. 前記データ転送ステップでは、前記転送制御部が、ピクチャ内で前記画素群が割り当てられた水平方向の１ライン上において連続して読み出しが間引かれる最大画素数より、１ライン上の全画素の読み出しが間引かれる連続したラインの最大数が小さくなるように、前記記憶装置からの読み出しを制御することを特徴とする請求項５記載の画像処理方法。
7. 前記データ転送ステップでは、前記転送制御部が、前記画素群が割り当てられた複数のラインの間で、前記画素群の水平方向の位置が互い違いになるように、前記記憶装置からの読み出しを制御することを特徴とする請求項６記載の画像処理方法。
8. 入力動画像データを基にシーンチェンジを検出するための処理をコンピュータに実行させる画像処理プログラムにおいて、
   検出対象のピクチャのデータとその直前のピクチャのデータとを画素を間引いて受信し、前記検出対象および前記直前の各ピクチャ間のデータの差分値を基にシーンチェンジを検出するシーンチェンジ検出部、
   少なくとも前記直前のピクチャについて、ピクチャ内の水平方向に隣接する一定数の画素からなる画素群のデータを記憶装置から連続的に読み出すとともに、前記画素群間の間隔を空けて前記記憶装置からデータを読み出して、データバスを通じて前記シーンチェンジ検出部に転送するように制御し、前記画素群に含まれる画素数を、バス幅に応じて決定される前記データバスでの転送可能な最大数、またはその整数倍の数とした転送制御部、
   として前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images