JP3548718B2 - ビデオ画像の画像ブロックへのランダムアクセス方法 - Google Patents

Description

【０００１】
本発明は、ビデオ画像、例えばテレビジョン画像の画像ブロックへのランダムアクセス方法に関する。
【０００２】
画像処理ではしばしば、関連するピクセルまたは隣接するピクセルの画像領域にアクセスして、この領域を画像内容の比較またはフィルタ機能の過程にかけなければならない。ビデオ画像は一般に連続するピクセルのシーケンスから成っている。ピクセルのデータは、先行の走査線が完全に発生してはじめて走査線の形成が開始されるように伝送される。走査線インタレース方式で伝送されるテレビジョン画像では、まず第１の部分画像の第１の走査線（例えば２本目の走査線）が表示され、その後このフレームの第２の走査線（この例では４本目の走査線）が形成されることになる。
【０００３】
このように走査線ごとにビデオ画像を形成する手法に基づいて、直接に続いてまたは同時に１つの画像列のピクセルにアクセスする場合、ピクセルの中間記憶が行われる。画像の垂直方向の所定のピクセルの次に来るピクセルは、前述のようなシーケンシャルなデータ伝送では遅延後でなければ使用できない。中間記憶の際には画像ブロックへの任意のアクセス、すなわち水平方向および垂直方向で隣接するピクセルのグループに対する任意のアクセスが可能である。
【０００４】
中間記憶にはダイナミックメモリＤＲＡＭが適している。これはこのメモリがチップ面積に対して高い記憶容量を有しているからである。通常の場合半導体ダイナミックメモリではメモリセルは複数のメモリフィールドブロックユニットとして配置されている。所定のメモリセルへのアクセス時には、まず当該の走査線を含むメモリフィールドブロックユニットが活性化される。ほぼ同時にアクセスすべき２つのピクセルが異なるメモリフィールドブロックユニットに存在している場合には、まず一方のユニットを活性化し、続いて他方のユニットを活性化してそれぞれのピクセルを読み出さなければならない。ピクセルの伝送速度が大きい場合にはリアルタイムでの画像処理は不可能である。２つの異なるメモリフィールドブロックユニットに配置された２つのピクセルへのアクセスは、今日しばしばそうであるように、画像処理演算のために当該のピクセルへ何度もアクセスしなければならない場合に特に煩わしい。
【０００５】
したがって本発明の課題は、画像メモリ内に記憶されたビデオ画像の画像ブロックへのランダムアクセス方法を僅かな付加メモリコストのみで実行できるようにすることである。この課題は請求項１の特徴を有する方法により解決される。
【０００６】
本発明は、ビデオ画像のピクセルの数に比べて小さなサイズのアクセスメモリで画像処理、例えばテレビジョン画像の処理がリアルタイムで行える利点を有する。アクセス時間に関しては画像メモリよりも高い要求がアクセスメモリに課される。アクセスメモリの容量が比較的小さいために、本発明の方法は低コストで実行することができる。アクセスメモリの第１の領域内部ではそれぞれの画像に個々にアクセスすることができる。
【０００７】
別の利点として、アクセスメモリの出力側でのデータ速度と入力側でのデータ速度との比をメイン画像ブロックのサイズから求めることができる。これによりデータ速度とアクセスメモリのサイズとの比を与えられる条件に適合させることができる。
【０００８】
有利な実施例では、アクセスメモリの第２の領域はメイン画像ブロックの領域の３倍の大きさである。有利にはアクセスメモリの第１の領域はメイン画像ブロックと、このメイン画像ブロックと同じ大きさを有する８個の隣接画像ブロックとから成る。メイン画像ブロックの画像処理が実行された後、それまでのメイン画像ブロックの右側に接する隣接画像ブロックが新たなメイン画像ブロックとなる。ビデオ画像ブロックの走査線の終了部では、新たなメイン画像ブロックが走査線の開始時の位置でメイン画像ブロックの下側に接する隣接画像ブロックから発生する。典型的にはメイン画像ブロックは水平方向で左方から右方へ向かってビデオ画像を越えて変換される。メイン画像ブロックがビデオ画像の終了部に達すると、メイン画像ブロックのレベルは垂直に下方へオフセットされ、走査線内でビデオ画像の左方の縁へ戻される。
【０００９】
アクセスメモリが次のように構成されていると有利である。すなわち第１の領域には水平方向に４８個、垂直方向に２４個のピクセルを有する画像が記憶され、第２の領域には水平方向に１６個、垂直方向に２４個のピクセルを有する画像が記憶される。
【００１０】
アクセスメモリの構成として特に半導体スタティックメモリＳＲＡＭが適している。このメモリのアクセス時間は短い。メモリ容量を得るために大きな必要面積を設けることを考慮する必要はない。なぜならビデオ画像のピクセルの一部のみしかアクセスメモリには記憶されないからである。
【００１１】
別の有利な実施形態および実施態様は従属請求項に記載されている。本発明を以下に図に則して詳細に説明する。図１にはアクセスメモリの編成の概略図が示されている。図２には本発明の方法の説明図が示されている。図３にはメイン画像ブロックが別のサイズを有する場合の本発明の方法の説明図が示されている。
【００１２】
本発明は走査線から成るビデオ画像に基づいており、このビデオ画像は水平方向では完全に、また垂直方向では少なくとも部分的に画像メモリに記憶されている。ビデオ画像は例えば走査線インタレース式のテレビジョン画像のフレームである。通常の場合この種の画像メモリはダイナミックメモリＤＲＡＭであり、低コストかつ高い集積密度で製造することができる。
【００１３】
メモリフィールドブロックユニットから編成される画像メモリからは、個々のピクセルを読み出すのではなく、複数の関連するピクセルのメモリブロックから成るメモリブロック全体を読み出す。メモリブロックとしてはメモリフィールドブロックユニットまたはその一部が適している。画像メモリから読み出されるメモリブロックはアクセスメモリＺＳに格納される。このアクセスメモリのアクセス時間は短く、種々のメモリスペースで同時に読み込みおよび読み出しを行うことができる。アクセスメモリＺＳに格納されたピクセルに個々にアクセスして例えばフィルタ機能を実行することもできる。アクセスメモリＺＳは次に処理すべきメモリブロックを読み込む別の領域を有しており、すでに記憶されたメモリブロックのピクセルについて画像処理演算が実行される。当該の画像処理演算が終了すると、アクセスメモリＺＳの別の領域にその時点で読み込まれているピクセルが画像処理部へ供給される。
【００１４】
図１にはアクセスメモリＺＳの編成が示されている。このアクセスメモリは動作領域ＡＢとバッファ領域ＰＢとに分割されている。ビデオ画像で画像処理演算を実行する場合、この演算はセクションごとに行われる。例えばビデオ画像の左上方の縁部分に存在する第１のセクションが選択される。本発明の方法では、第１のセクションにメイン画像ブロックＨＢが存在し、このメイン画像ブロックに少なくとも１つの隣接画像ブロックＮＢＨがビデオ画像の水平方向で接する。通常、メイン画像ブロックＨＢの全周ないし全縁が隣接画像ブロックＮＢによって包囲されている。
【００１５】
図１には水平方向での隣接画像ブロックＮＢＨのほかに、垂直方向での隣接画像ブロックＮＢＶとメイン画像ブロックの左上方の縁に接している隣接画像ブロックＮＢＤとが存在しており、これらはそれぞれ異なるハッチングによって示されている。全体では図１の実施例のメイン画像ブロックＨＢは８個の隣接画像ブロックＮＢによって包囲されている。画像ブロックＨＢ、ＮＢのサイズすなわち水平方向および垂直方向でのピクセル数は画像処理演算の形式に依存している。
【００１６】
本発明の方法は特に画像内容の動き検出に適している。例えば画像シーケンス中の１つの画像の矩形の画像ウィンドウに対して動きベクトルが検出された場合、メイン画像ブロックＨＢのサイズはこのウィンドウの寸法に相応して選択される。ウィンドウ内のピクセルは画像シーケンス内の続く画像のメイン画像ブロックと比較される。メイン画像ブロックの位置はウィンドウの位置と一致するように選択される。ウィンドウのピクセルが所定のトレランスを考慮してメイン画像ブロックのピクセルと一致する場合には、このウィンドウによって定められる部分画像には当該のウィンドウが選択されている画像から続く画像への移行時に動きは存在しない。
【００１７】
ウィンドウのピクセルと隣接画像ブロックのピクセルとを比較することにより、ウィンドウの選択されている画像から隣接画像ブロックを形成する画像への移行時の画像部分の動きベクトルが求められる。このためにウィンドウのピクセルと隣接画像ブロックのピクセルとの一致の度合が求められる。最大の一致度を有する隣接画像ブロックの位置からウィンドウの画像内容の動きが結論される。隣接画像ブロックＮＢのサイズは平均的に発生する動きにしたがって経験的に求められる。
【００１８】
アクセスメモリＺＳのバッファ領域ＰＢでは、第１のセクションに接するビデオ画像の一部が記憶される。垂直方向でこの画像は第１のセクションの垂直方向でのピクセルと同じ数のピクセルを有する。水平方向ではこの画像はメイン画像ブロックの水平方向のピクセルと同じ数のピクセルを有する。
【００１９】
この方法の第１のステップではビデオ画像の第１のセクションがアクセスメモリＺＳの動作領域ＡＢに記憶される。この第１のセクションはビデオ画像の左上方の縁部に相応すると仮定する。対角方向の隣接画像ブロックＮＢＤはこの場合ビデオ画像の縁部に存在する。メイン画像ブロックＨＢがこの縁部に存在する場合、隣接画像ブロックはメイン画像ブロックの上方および左方でビデオ画像から得られる。この場合、また考慮すべき隣接ブロックがビデオ画像の外部に存在する場合には、当該の隣接ブロックのピクセルは平均的な輝度であると見なされる。
【００２０】
例えば動き検出を行うために動作領域ＡＢのピクセルにアクセスしている間、アクセスメモリＺＳのバッファ領域ＰＢににはビデオ画像のうち第１のセクションに接する部分が読み込まれる。動作領域ＡＢの垂直方向でのピクセルの数とバッファ領域ＰＢの垂直方向でのピクセルの数とは等しい。水平方向では、バッファ領域ＰＢにはメイン画像ブロックＨＢの水平方向でのピクセルと同じ数のピクセルが記憶される。
【００２１】
第２のステップでは、動作領域ＡＢにビデオ画像の第２のセクションが記憶され、このセクションは水平方向でメイン画像ブロックＨＢの幅だけオフセットされた第１のセクションとバッファ領域ＰＢのピクセルとから生じる。メイン画像ブロックと隣接画像ブロックとが同じサイズを有する場合、第２のセクションは第１のセクションの２／３のピクセルとバッファ領域ＰＢのピクセルとを含む。第２のセクションでは第１のセクションでメイン画像ブロックの右方を占めていた隣接画像ブロックがメイン画像ブロックとなる。第２のセクションのピクセルはさらに画像処理にかけられる。同時にバッファ領域ＰＢにはビデオ画像のうち第２のセクションに接する画像領域が読み込まれる。
【００２２】
図２のａには第２のセクションの水平方向でのオフセットが薄い線で示されており、これに対して第１のセクションは濃い線で示されている。第２のステップはメイン画像がビデオ画像の右の縁に達するまで反復される。すでに先行のステップにおいてこの場合のセクションに接するビデオ画像の部分が存在しないので、ピクセルをビデオ画像からバッファ領域ＰＢへ読み込むことはできない。ここでもバッファ領域ＰＢへ平均的な輝度を読み込むことができる。
【００２３】
第３のステップではビデオ画像の第３のセクションがアクセスメモリＺＳの動作領域ＡＢに読み込まれる。第３のセクションは第１のセクションに対して垂直方向のみメイン画像ブロックの垂直方向と同じ数のピクセルだけオフセットされている。図２のｂでは濃い線の第１のセクションとオフセットされた薄い線の第３のセクションとが示されている。第１のセクションの下部ＵＴは第３のセクションの中央部ＭＴに相応する。第３のセクションに対してメイン画像ブロックの垂直方向のピクセルの数だけ垂直方向にオフセットされた第４のセクションでは、上部ＯＴが第１のセクションの下部ＵＴに相応する。つまり第１のセクションの下部ＵＴに属するピクセルは、この実施例では３回画像メモリから読み出される。画像メモリの入力データ速度と出力データ速度との比はしたがって３である。第４のセクションは図２のｃに示されている。
【００２４】
図３には第１の実施例よりも大きなメイン画像ブロックを有する別の実施例が示されている。この場合第２のメイン画像ブロックは垂直方向で第１の実施例の２倍になっている。垂直方向で対角に接する隣接画像ブロックは第１の実施例と同じサイズを有する。側方で第２のメイン画像ブロックＨＢＺに接する隣接画像ブロックは第２のメイン画像ブロックＨＢＺと同じサイズである。この実施例ではバッファ領域ＰＢはアクセスメモリＺＳの動作領域ＡＢの２倍の大きさである。開始位置で選択されたセクションは、図３のａでは１回目に、図３のｂでは２回目に垂直方向で下方へ向かって第２のメイン画像ブロックＨＢＺの垂直方向のピクセルと同じ数のピクセルだけオフセットされる。動作領域ＡＢのピクセルの所定部分ＴＺは図３のａに薄い線で示されているオフセットの後に新たに読み出される。図３のｂに示されている別のオフセットでは初期のセクションに対するオーバラップは存在しない。画像メモリの出力側のデータ速度と入力側のデータ速度との比は図２の実施例と同じ値である。ここでもピクセルのデータは画像メモリから書き込み時よりも高いクロックレートで読み出される。
【図面の簡単な説明】
【図１】アクセスメモリの編成の概略図である。
【図２】本発明の方法の説明図である。
【図３】本発明の方法の別の説明図である。

Claims (6)

1. 走査線から成り、複数の走査線のピクセルが画像メモリに部分画像として記憶されているビデオ画像の画像ブロックへのランダムアクセス方法において、
   アクセスメモリ（ＺＳ）の第１の領域（ＡＢ）に部分画像の第１のセクション、すなわちｘ個のピクセルを有するメイン画像ブロック（ＨＢ）を部分画像の水平方向に有し、かつこれに接する少なくとも１つの同じサイズの隣接画像ブロック（ＮＢ）を垂直方向に有するように選定されたセクションを記憶するステップと、
   画像ブロック（ＨＢ、ＮＢ）の一方をアクセスメモリ（ＺＳ）から読み出すステップと、
   画像ブロック（ＨＢ、ＮＢ）の読み出し中、アクセスメモリ（ＺＳ）の第２の領域（ＰＢ）に、前記第１のセクションに水平方向で接する部分画像のセクション、すなわち水平方向でｘ個のピクセルを有し、垂直方向で第１のセクションと同じ数のピクセルを有するように選択されたセクションを記憶するステップと、
   アクセスメモリ（ＺＳ）の第１の領域（ＡＢ）に前記第１のセクションと同じサイズの部分画像の第２のセクションを記憶し、該第２のセクションは第１のセクションに対して水平方向にオフセットされて第２の領域（ＰＢ）に記憶された部分画像の部分を完全に含むようにするステップとを有する、
   ことを特徴とするビデオ画像の画像ブロックへのランダムアクセス方法。
2. 前記第１のセクションは付加的に、垂直方向でメイン画像ブロック（ＨＢ）に接しメイン画像ブロック（ＨＢ）と同じサイズを有する少なくとも１つの別の隣接画像ブロック（ＮＢ）を有しており、
   第２のセクションのピクセルの少なくとも一部をアクセスメモリ（ＺＳ）から読み出し、
   その後アクセスメモリの第１の領域（ＡＢ）に、メイン画像ブロック（ＨＢ）が前記第１のセクション内に存在するように第１のセクションに対して垂直方向にオフセットされた部分画像の第３のセクションを記憶する、
   請求項１記載の方法。
3. メイン画像ブロック（ＨＢ）を矩形に選択し、該ブロックを８個の隣接画像ブロック（ＮＢＨ、ＮＢＶ、ＮＢＤ）によって包囲する、請求項１または２記載の方法。
4. アクセスメモリ（ＺＳ）の第１の領域（ＡＢ）は水平方向に４８個のピクセル、垂直方向に２４個のピクセルを有し、第２の領域（ＰＢ）は１６×２４個のピクセルを有するように選択する、請求項１から３までのいずれか１項記載の方法。
5. アクセスメモリ（ＺＳ）をＳＲＡＭとして構成する、請求項１から４までのいずれか１項記載の方法。
6. ビデオ画像は走査線インタレースされたテレビジョン画像の１フレームである、請求項１から５までのいずれか１項記載の方法。

Images