JP3266501B2 - 画像フレームの細分化方法とその装置 - Google Patents
画像フレームの細分化方法とその装置Info
- Publication number
- JP3266501B2 JP3266501B2 JP10080596A JP10080596A JP3266501B2 JP 3266501 B2 JP3266501 B2 JP 3266501B2 JP 10080596 A JP10080596 A JP 10080596A JP 10080596 A JP10080596 A JP 10080596A JP 3266501 B2 JP3266501 B2 JP 3266501B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- motion
- signal
- template
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、デジタルのモーシ
ョンビデオ（動画）信号処理に関し、特にビデオ信号を
フォアグラウンド（前景）とバックグラウンド（背景）
とに細分化し、より効率的なビデオ符号化を行うシステ
ムと方法に関する。
ョンビデオ（動画）信号処理に関し、特にビデオ信号を
フォアグラウンド（前景）とバックグラウンド（背景）
とに細分化し、より効率的なビデオ符号化を行うシステ
ムと方法に関する。
【０００２】
【従来の技術】モーションビデオ（動画）は、ビデオフ
レームを表す一連のビット情報であるデジタル信号によ
り表される。各フレームを表示するのに必要な情報ビッ
ト数が増えるにつれて、信号を処理するのに必要なハー
ドウェアのコストと複雑さが増し、同時に信号を処理
し、蓄積し、伝送するのに必要な時間も増加する。
レームを表す一連のビット情報であるデジタル信号によ
り表される。各フレームを表示するのに必要な情報ビッ
ト数が増えるにつれて、信号を処理するのに必要なハー
ドウェアのコストと複雑さが増し、同時に信号を処理
し、蓄積し、伝送するのに必要な時間も増加する。
【０００３】画像圧縮とは、動画のフレームのようなイ
メージ（画像）を表すデジタル信号が、通信チャネルを
介して符号化された形態で伝送できるようにするプロセ
ス、あるいはＣＤ−ＲＯＭのような媒体に、符号化し、
画像に必要とされるデータよりもより少ないデータビッ
トでもって記憶するプロセスである。デジタルビデオ信
号の蓄積と伝送は、多くのアプリケーションにおいて
は、中心的な役割を果たすので、そしてまた蓄積あるい
は伝送のいずれかにおいてより大きなビットレートを必
要とするようなビデオ信号は、より多くの処理時間およ
びより多くの処理装置を必要とするので、デジタルビデ
オ信号のビットレートを減少する技術は、このような進
んだ技術分野においては必要不可欠なものである。
メージ（画像）を表すデジタル信号が、通信チャネルを
介して符号化された形態で伝送できるようにするプロセ
ス、あるいはＣＤ−ＲＯＭのような媒体に、符号化し、
画像に必要とされるデータよりもより少ないデータビッ
トでもって記憶するプロセスである。デジタルビデオ信
号の蓄積と伝送は、多くのアプリケーションにおいて
は、中心的な役割を果たすので、そしてまた蓄積あるい
は伝送のいずれかにおいてより大きなビットレートを必
要とするようなビデオ信号は、より多くの処理時間およ
びより多くの処理装置を必要とするので、デジタルビデ
オ信号のビットレートを減少する技術は、このような進
んだ技術分野においては必要不可欠なものである。
【０００４】ビデオイメージシーケンスを再生するのに
必要とされる全情報量を減少するため（その結果、シー
ケンスを再生するのに必要な時間と装置のコストを減少
するために）、フレームはより関連性のある部分（関連
部分）と、あまり関連性のない部分（非関連部分）とに
分けられる。関連部分に関するデータは、非関連部分に
関するデータよりもより頻繁におよび／またはより高い
解像度でもって伝送される。その結果、全てのデータが
より高いレートでもって伝送される場合よりも、より少
ない情報を転送するだけでよい。これによりビデオ用の
信号は、全てのデータが伝送される場合よりも、より狭
いバンド幅でもって伝送するできる。
必要とされる全情報量を減少するため（その結果、シー
ケンスを再生するのに必要な時間と装置のコストを減少
するために）、フレームはより関連性のある部分（関連
部分）と、あまり関連性のない部分（非関連部分）とに
分けられる。関連部分に関するデータは、非関連部分に
関するデータよりもより頻繁におよび／またはより高い
解像度でもって伝送される。その結果、全てのデータが
より高いレートでもって伝送される場合よりも、より少
ない情報を転送するだけでよい。これによりビデオ用の
信号は、全てのデータが伝送される場合よりも、より狭
いバンド幅でもって伝送するできる。
【０００５】このような主要なセグメンティション（細
分化）技術には３種類あり、その１つはモーションベー
ス（動きをベースにしたセグメンティション）で、これ
は、（S. Peleg & H. Rom, "Motion-Based Segmentatio
n", Proc. IEEE Int'l Conf.Computer Vision and Patt
ern Recognition 109-113 (1990)） を参照のこと、第
２のものは、強度ベースのセグメンティションで、これ
は、（R. Haralick and L. Shapiro, "Image Segmentat
ion Techniques," 2 Computer Graphics, Vision, and
Image Processing 100-32 (1985)）を参照のこと、そし
て第３のものは、不均衡ベースのセグメンティション
で、これは、（M. Waldowiski, "A New Segmentation A
lgorithm for Videophone Applications based on Ster
eo Image Pair," 39 IEEE Tran. Communication 1856-6
8 (1981)）を参照のこと。この動きベースのアプローチ
は、フレーム内の対象物を類似の速度でもって細分化し
てしまう。そしてこのアプローチは、前景の動きと背景
の動きの両方を含むようなシーンではうまくゆかず、そ
のためあまり関連性のない背景も関連性のあるものとし
て処理してしまう。次の強度ベースのアプローチは、強
度のコントラストと空間位置に基づいて画像を細分化す
る。このアプローチは、込み入った対象物に対しては、
うまくゆかず、その理由は、単一の対象物を誤って複数
の対象物に細分化してしまうからである。最後の不平衡
ベースのアプローチは、対象物を細分化するために立体
イメージの間の不平衡を測定している。この立体イメー
ジの間の点対応が不平衡を測定するのに必要であるが、
しかしこのアプローチは複雑で誤りを犯し易い。したが
って以上述べたセグメンティション（細分化）技術はい
ずれも完全には満足できるものではない。
分化）技術には３種類あり、その１つはモーションベー
ス（動きをベースにしたセグメンティション）で、これ
は、（S. Peleg & H. Rom, "Motion-Based Segmentatio
n", Proc. IEEE Int'l Conf.Computer Vision and Patt
ern Recognition 109-113 (1990)） を参照のこと、第
２のものは、強度ベースのセグメンティションで、これ
は、（R. Haralick and L. Shapiro, "Image Segmentat
ion Techniques," 2 Computer Graphics, Vision, and
Image Processing 100-32 (1985)）を参照のこと、そし
て第３のものは、不均衡ベースのセグメンティション
で、これは、（M. Waldowiski, "A New Segmentation A
lgorithm for Videophone Applications based on Ster
eo Image Pair," 39 IEEE Tran. Communication 1856-6
8 (1981)）を参照のこと。この動きベースのアプローチ
は、フレーム内の対象物を類似の速度でもって細分化し
てしまう。そしてこのアプローチは、前景の動きと背景
の動きの両方を含むようなシーンではうまくゆかず、そ
のためあまり関連性のない背景も関連性のあるものとし
て処理してしまう。次の強度ベースのアプローチは、強
度のコントラストと空間位置に基づいて画像を細分化す
る。このアプローチは、込み入った対象物に対しては、
うまくゆかず、その理由は、単一の対象物を誤って複数
の対象物に細分化してしまうからである。最後の不平衡
ベースのアプローチは、対象物を細分化するために立体
イメージの間の不平衡を測定している。この立体イメー
ジの間の点対応が不平衡を測定するのに必要であるが、
しかしこのアプローチは複雑で誤りを犯し易い。したが
って以上述べたセグメンティション（細分化）技術はい
ずれも完全には満足できるものではない。
【０００６】一般的なビデオフレームにおいては前景は
背景よりもより重要な情報を含んでいる。したがって前
景に対応する情報は、背景の情報よりもより高い解像度
あるいはより頻繁に伝送するのが好ましい。各ビデオフ
レームは、複数の画素（即ちピクセルあるいはペル）か
ら構成されている。イメージ（画像）焦点（あるいは逆
の言い方では、イメージの非焦点）は、ペルあるいはペ
ルのブロックのようなフレームの一部に対する画像のシ
ャープさ（鋭さ）の尺度である。このイメージ焦点は、
鋭いエッジのような高い周波数を有する成分から容易に
測定できる。エッジのぼやけが少ないと焦点は、より合
っていることになる。したがって焦点のあっているフレ
ームの一部は、あまりぼやけていないエッジを見つけだ
すことにより決定できる。焦点のあったエッジが前景の
アウトラインを形成すると仮定すると、フレームは前景
（合焦点部分）と背景（焦点の合っていない即ち非合焦
点部分）に分けることができる。かくして前景は、より
関連性のある部分（関連部分）として、背景はあまり関
連性のない部分（非関連部分）として処理することがで
きる。そして前景のみを高い解像度、あるいはより頻繁
に伝送しあるいは符号化しそれによりビットレートを節
約できる。
背景よりもより重要な情報を含んでいる。したがって前
景に対応する情報は、背景の情報よりもより高い解像度
あるいはより頻繁に伝送するのが好ましい。各ビデオフ
レームは、複数の画素（即ちピクセルあるいはペル）か
ら構成されている。イメージ（画像）焦点（あるいは逆
の言い方では、イメージの非焦点）は、ペルあるいはペ
ルのブロックのようなフレームの一部に対する画像のシ
ャープさ（鋭さ）の尺度である。このイメージ焦点は、
鋭いエッジのような高い周波数を有する成分から容易に
測定できる。エッジのぼやけが少ないと焦点は、より合
っていることになる。したがって焦点のあっているフレ
ームの一部は、あまりぼやけていないエッジを見つけだ
すことにより決定できる。焦点のあったエッジが前景の
アウトラインを形成すると仮定すると、フレームは前景
（合焦点部分）と背景（焦点の合っていない即ち非合焦
点部分）に分けることができる。かくして前景は、より
関連性のある部分（関連部分）として、背景はあまり関
連性のない部分（非関連部分）として処理することがで
きる。そして前景のみを高い解像度、あるいはより頻繁
に伝送しあるいは符号化しそれによりビットレートを節
約できる。
【０００７】
【発明が解決しようとする課題】したがって本発明の目
的は、動画信号を処理する際に、ビデオ信号をより関連
性のある前景とあまり関連性のない背景に分割細分化す
るシステムと方法を提供することである。
的は、動画信号を処理する際に、ビデオ信号をより関連
性のある前景とあまり関連性のない背景に分割細分化す
るシステムと方法を提供することである。
【０００８】
【課題を解決するための手段】本発明によれば、元のフ
レームの一部の焦点尺度に基づいてフレームを細分化す
る方法と装置を提供できる。信号が元のフレームに対応
して得られる。この元のフレームは、複数のブロックか
らなりそして各ブロックは、イメージの属性を有してい
る。各ブロックのこのイメージ属性は、他のブロックの
イメージ属性と比較される。各ブロックにはイメージ属
性の比較に基づいた焦点尺度が割り当てられる。この各
ブロックの焦点尺度は、その後しきい値（規準）の焦点
尺度と比較される。しきい値以上の焦点尺度を有するブ
ロックは、合焦点として指定され、しきい値以下の焦点
尺度を有するブロックは、非合焦点として指定される。
その後細分化されたフレームが、元のフレームと合焦点
あるいは非合焦点としての指定に基づいて生成される。
モーションベースのイメージ細分化を本発明の焦点ベー
スの細分化と共に用いて、合成された動き／焦点ベース
の細分化フレームを提供することもできる。
レームの一部の焦点尺度に基づいてフレームを細分化す
る方法と装置を提供できる。信号が元のフレームに対応
して得られる。この元のフレームは、複数のブロックか
らなりそして各ブロックは、イメージの属性を有してい
る。各ブロックのこのイメージ属性は、他のブロックの
イメージ属性と比較される。各ブロックにはイメージ属
性の比較に基づいた焦点尺度が割り当てられる。この各
ブロックの焦点尺度は、その後しきい値（規準）の焦点
尺度と比較される。しきい値以上の焦点尺度を有するブ
ロックは、合焦点として指定され、しきい値以下の焦点
尺度を有するブロックは、非合焦点として指定される。
その後細分化されたフレームが、元のフレームと合焦点
あるいは非合焦点としての指定に基づいて生成される。
モーションベースのイメージ細分化を本発明の焦点ベー
スの細分化と共に用いて、合成された動き／焦点ベース
の細分化フレームを提供することもできる。
【０００９】本発明は、細分化されたフレームに対応す
る出力信号を生成するために元のフレームに対応するデ
ジタル信号を処理するよう動作する処理手段にも組み込
むことができる。本発明の装置は、処理システムあるい
はファームウェアベースあるいはハードウェアベースで
も実現可能である。
る出力信号を生成するために元のフレームに対応するデ
ジタル信号を処理するよう動作する処理手段にも組み込
むことができる。本発明の装置は、処理システムあるい
はファームウェアベースあるいはハードウェアベースで
も実現可能である。
【００１０】本発明の利用方法の一実施例は、ソフトウ
ェアでも実現できる。本発明によるソフトウェアの一実
施例では、記憶媒体に蓄積される複数の処理システムイ
ンストラクションを有する。好ましい蓄積媒体は、磁気
媒体，光学媒体，半導体媒体あるいはそれらの適宜の組
み合わせである。本発明による処理システムインストラ
クションは、処理システムにより読みだし可能で、本発
明の技術を用いて元のフレームに対応する信号を細分化
する処理システムを制御するよう動作する。
ェアでも実現できる。本発明によるソフトウェアの一実
施例では、記憶媒体に蓄積される複数の処理システムイ
ンストラクションを有する。好ましい蓄積媒体は、磁気
媒体，光学媒体，半導体媒体あるいはそれらの適宜の組
み合わせである。本発明による処理システムインストラ
クションは、処理システムにより読みだし可能で、本発
明の技術を用いて元のフレームに対応する信号を細分化
する処理システムを制御するよう動作する。
【００１１】
【発明の実施の形態】図１において、アナログビデオ信
号がビデオソース１０（例えばビデオカメラあるいはレ
ーザディスクプレーヤー）で一連のｎ個の画像用に生成
される。このアナログ信号Ｐn は、ビデオソース１０か
らプレプロセッサ２０に伝送される。このプレプロセッ
サ２０は、Ａ／Ｄコンバータを有し、そこでアナログ信
号は、デジタル信号（元のフレーム信号）に変換され、
一連のｎ個のフレームを表す。必要によってはこのデジ
タル信号は、さらにプレプロセッサ２０によりこの信号
が通信チャネルを介して伝送されるか、あるいはＣＤ−
ＲＯＭのようなデジタル媒体に記憶されるかに応じて、
必要な適切な解像度を有するデジタル信号にさらに変換
される。
号がビデオソース１０（例えばビデオカメラあるいはレ
ーザディスクプレーヤー）で一連のｎ個の画像用に生成
される。このアナログ信号Ｐn は、ビデオソース１０か
らプレプロセッサ２０に伝送される。このプレプロセッ
サ２０は、Ａ／Ｄコンバータを有し、そこでアナログ信
号は、デジタル信号（元のフレーム信号）に変換され、
一連のｎ個のフレームを表す。必要によってはこのデジ
タル信号は、さらにプレプロセッサ２０によりこの信号
が通信チャネルを介して伝送されるか、あるいはＣＤ−
ＲＯＭのようなデジタル媒体に記憶されるかに応じて、
必要な適切な解像度を有するデジタル信号にさらに変換
される。
【００１２】モーションビデオの各ビデオフレームは、
画素（即ちペルあるいはピクセル）であるｆ（ｘ，ｙ）
のマトリックスを有する。各フレームは、１フレーム当
たりのペルの数あるいはブロックのサイズに応じて可変
の数のブロックに分割される。現在の所好ましいものと
しては、各ブロックはペルの４×４のマトリックスを含
む。当然のことながら、このブロックは異なる数のペル
あるいは構成を含むことも可能である。特に各ブロック
は、１個のペルを含む。そして各ペルは、輝度ペルＹと
２つのクロミナンスペルＣb ，Ｃr を含む。このビデオ
信号がデジタル形式の場合には、ブロックの各属性即ち
各成分は、数値によって表示される。複数のブロックが
比較されるべきものは、対応するブロック成分即ちブロ
ック属性の値である。
画素（即ちペルあるいはピクセル）であるｆ（ｘ，ｙ）
のマトリックスを有する。各フレームは、１フレーム当
たりのペルの数あるいはブロックのサイズに応じて可変
の数のブロックに分割される。現在の所好ましいものと
しては、各ブロックはペルの４×４のマトリックスを含
む。当然のことながら、このブロックは異なる数のペル
あるいは構成を含むことも可能である。特に各ブロック
は、１個のペルを含む。そして各ペルは、輝度ペルＹと
２つのクロミナンスペルＣb ，Ｃr を含む。このビデオ
信号がデジタル形式の場合には、ブロックの各属性即ち
各成分は、数値によって表示される。複数のブロックが
比較されるべきものは、対応するブロック成分即ちブロ
ック属性の値である。
【００１３】ビデオ処理ボード３１のようなコンピュー
タ（プロセッサ）を含むプレフィルタ３０は、プレプロ
セッサ２０に接続され、プレプロセッサ２０からの元の
フレーム信号を入力信号として受信する。このプレフィ
ルタ３０は、本発明によりフレーム信号を前景と背景に
細分化して、この細分化されたフレームに対応する出力
信号（細分化フレーム信号）を生成する。この細分化フ
レーム信号は、エンコーダ４０（Ｈ．２６１あるいはＭ
ＰＥＧエンコーダ）に送信され、このエンコーダ４０
は、細分化されたフレーム用の信号を圧縮ビデオビット
ストリームに変換する。その後エンコーダ４０により生
成されたこの圧縮ビデオ信号は、蓄積媒体５０（ＣＤ−
ＲＯＭ）に蓄積されるかあるいはＩＳＤＮリンクを介し
て送信される。
タ（プロセッサ）を含むプレフィルタ３０は、プレプロ
セッサ２０に接続され、プレプロセッサ２０からの元の
フレーム信号を入力信号として受信する。このプレフィ
ルタ３０は、本発明によりフレーム信号を前景と背景に
細分化して、この細分化されたフレームに対応する出力
信号（細分化フレーム信号）を生成する。この細分化フ
レーム信号は、エンコーダ４０（Ｈ．２６１あるいはＭ
ＰＥＧエンコーダ）に送信され、このエンコーダ４０
は、細分化されたフレーム用の信号を圧縮ビデオビット
ストリームに変換する。その後エンコーダ４０により生
成されたこの圧縮ビデオ信号は、蓄積媒体５０（ＣＤ−
ＲＯＭ）に蓄積されるかあるいはＩＳＤＮリンクを介し
て送信される。
【００１４】エンコーダ４０の一部である動きディテク
タ４１は、イメージの各部分が動く程度を決定する。別
の構成としては、この動きディテクタ４１は別個の装置
として構成することもでき、あるいはプレフィルタ３０
に含めることもできる。図１２に関し、さらに詳述する
ようにこの動きディテクタ４１により生成された動き情
報は、細分化されたフレーム信号をさらに微細化する際
に用いられるようにプレフィルタ３０に送信される。図
１に示すようにエンコーダ４０は、個別の装置として形
成されている。しかし、通常このエンコーダ４０とデコ
ーダ（図示せず）は、一体となってコーデックと称す
る。
タ４１は、イメージの各部分が動く程度を決定する。別
の構成としては、この動きディテクタ４１は別個の装置
として構成することもでき、あるいはプレフィルタ３０
に含めることもできる。図１２に関し、さらに詳述する
ようにこの動きディテクタ４１により生成された動き情
報は、細分化されたフレーム信号をさらに微細化する際
に用いられるようにプレフィルタ３０に送信される。図
１に示すようにエンコーダ４０は、個別の装置として形
成されている。しかし、通常このエンコーダ４０とデコ
ーダ（図示せず）は、一体となってコーデックと称す
る。
【００１５】このエンコーダ４０は、公知の圧縮技術を
用いて圧縮信号を生成する。この圧縮技術は、例えばＣ
ＣＩＴＴ（（Consultative Committee on Internationa
l Telegraphy and Telephony）Recommendation H.261,
Draft Revised Recommendation H.261-Video Codec for
Audiovisual Services at px64 kbit/s, Study Group
XV-Report R95 (May 1992), and the ISO/IEC MPEG sta
ndard.）である。ＣＣＩＴＴによる勧告Ｈ．２６１は、
ｐｘ６４ｋｂｉｔ／秒の伝送レートにおけるオーディオ
ビジュアルサービスの符号化標準である。これはまたＩ
ＳＤＮネットワークを介したビデオホーン，テレビ会
議，他のオーディオビジュアル伝送の分野でも適応でき
る。（ESO-IEC JTC1SC2/WG11MPEG CD-11172 Committee
Draft, 1991） に記載されたＭＰＥＧ１標準は、（ISO-
IEC JTC1/SC29/WG11/602 CommitteeDraft, 1993）に記
載されたＭＰＥＧ２の一部として含まれる。このＭＰＥ
Ｇ標準は、高品質デジタルビデオ蓄積とブロードバンド
ネットワークを介した高品質デジタルビデオ伝送用であ
る。
用いて圧縮信号を生成する。この圧縮技術は、例えばＣ
ＣＩＴＴ（（Consultative Committee on Internationa
l Telegraphy and Telephony）Recommendation H.261,
Draft Revised Recommendation H.261-Video Codec for
Audiovisual Services at px64 kbit/s, Study Group
XV-Report R95 (May 1992), and the ISO/IEC MPEG sta
ndard.）である。ＣＣＩＴＴによる勧告Ｈ．２６１は、
ｐｘ６４ｋｂｉｔ／秒の伝送レートにおけるオーディオ
ビジュアルサービスの符号化標準である。これはまたＩ
ＳＤＮネットワークを介したビデオホーン，テレビ会
議，他のオーディオビジュアル伝送の分野でも適応でき
る。（ESO-IEC JTC1SC2/WG11MPEG CD-11172 Committee
Draft, 1991） に記載されたＭＰＥＧ１標準は、（ISO-
IEC JTC1/SC29/WG11/602 CommitteeDraft, 1993）に記
載されたＭＰＥＧ２の一部として含まれる。このＭＰＥ
Ｇ標準は、高品質デジタルビデオ蓄積とブロードバンド
ネットワークを介した高品質デジタルビデオ伝送用であ
る。
【００１６】本発明は、Ｈ．２６１コーデックあるいは
ＭＰＥＧコーデックのいずれにも現在の所使用可能であ
る。しかし、Ｈ．２６１標準，ＭＰＥＧアルゴリズムの
関連特徴を共有するような他のビデオ符号化アルゴリズ
ムを用いたコーデックにも適応可能である。
ＭＰＥＧコーデックのいずれにも現在の所使用可能であ
る。しかし、Ｈ．２６１標準，ＭＰＥＧアルゴリズムの
関連特徴を共有するような他のビデオ符号化アルゴリズ
ムを用いたコーデックにも適応可能である。
【００１７】図２において、モーションビデオ符号化シ
ステム１００は、パソコンとして示されている。このモ
ーションビデオ符号化システム１００は、カメラ１０９
に接続され、フロッピディスクドライブ１０２とハード
ディスクドライブ１０３の両方を有するハードウェアケ
ース１０１とモニタ１０４とキーボード１０５とを有す
る。このモニタ１０４とキーボード１０５は、それぞれ
他の従来の出力装置および入力装置により置換可能であ
る。
ステム１００は、パソコンとして示されている。このモ
ーションビデオ符号化システム１００は、カメラ１０９
に接続され、フロッピディスクドライブ１０２とハード
ディスクドライブ１０３の両方を有するハードウェアケ
ース１０１とモニタ１０４とキーボード１０５とを有す
る。このモニタ１０４とキーボード１０５は、それぞれ
他の従来の出力装置および入力装置により置換可能であ
る。
【００１８】フロッピディスクドライブ１０２は、外部
ディスクから読みだし、あるいはそれへの書き込みが可
能である。ハードディスクドライブ１０３は、高速のア
クセスが可能な蓄積および取り出しの機能を提供でき
る。フロッピディスクドライブ１０２は、他の適当な装
置例えばテープ，コンパクトディスク，電話システム，
ビデオホーン等の送受信装置で置換可能あるいはそれら
と組み合わせて利用できる。別の実施例としては、図１
のビデオ処理ボード３１のような回路基板もこのモーシ
ョンビデオ符号化システム１００に含めることができ
る。
ディスクから読みだし、あるいはそれへの書き込みが可
能である。ハードディスクドライブ１０３は、高速のア
クセスが可能な蓄積および取り出しの機能を提供でき
る。フロッピディスクドライブ１０２は、他の適当な装
置例えばテープ，コンパクトディスク，電話システム，
ビデオホーン等の送受信装置で置換可能あるいはそれら
と組み合わせて利用できる。別の実施例としては、図１
のビデオ処理ボード３１のような回路基板もこのモーシ
ョンビデオ符号化システム１００に含めることができ
る。
【００１９】図１のビデオソース１０は、モーションビ
デオ符号化システム１００に接続されたカメラ１０９を
含むこともできる。別の実施例としては、入力ビデオフ
レームは、フロッピディスクあるいはコンパクトディス
クのような別個の蓄積装置を介して受信することもでき
る。この実施例における重要な側面は、データおよび／
またはインストラクションの収集と細分化は必ずしも同
時に起こる必要はない点である。
デオ符号化システム１００に接続されたカメラ１０９を
含むこともできる。別の実施例としては、入力ビデオフ
レームは、フロッピディスクあるいはコンパクトディス
クのような別個の蓄積装置を介して受信することもでき
る。この実施例における重要な側面は、データおよび／
またはインストラクションの収集と細分化は必ずしも同
時に起こる必要はない点である。
【００２０】ハードウェアケース１０１は、メモリ蓄積
装置（ＲＡＭ）１０７に接続されたＣＰＵ１０６を有す
る。このメモリ蓄積装置１０７は、ＤＲＡＭおよび／ま
たはＳＲＡＭのようなＲＡＭあるいはＲＯＭあるいは他
の従来のメモリ蓄積装置のいずれでもよい。図２におい
てモーションビデオ符号化システム１００は、１個のＣ
ＰＵ１０６と１個のハードディスクドライブ１０３と１
個のメモリ蓄積装置１０７を有するよう図示されている
が、それらの構成要素は、適宜単数個あるいは複数個の
いずれでもよい。
装置（ＲＡＭ）１０７に接続されたＣＰＵ１０６を有す
る。このメモリ蓄積装置１０７は、ＤＲＡＭおよび／ま
たはＳＲＡＭのようなＲＡＭあるいはＲＯＭあるいは他
の従来のメモリ蓄積装置のいずれでもよい。図２におい
てモーションビデオ符号化システム１００は、１個のＣ
ＰＵ１０６と１個のハードディスクドライブ１０３と１
個のメモリ蓄積装置１０７を有するよう図示されている
が、それらの構成要素は、適宜単数個あるいは複数個の
いずれでもよい。
【００２１】本発明は、ビデオ信号圧縮に使用される際
に、特に利点を有するが本発明はそれに限定されるもの
ではなく、他の信号圧縮を利用するシステム、例えばＬ
ＡＮ，ＷＡＮのようなシステムネットワークの処理と、
テレビ電話のような電話システムあるいはテレビ伝送シ
ステム，衛星放送システム，移動無線システム，放送シ
ステム，情報蓄積／取り出しシステム等にも適応できる
ものである。
に、特に利点を有するが本発明はそれに限定されるもの
ではなく、他の信号圧縮を利用するシステム、例えばＬ
ＡＮ，ＷＡＮのようなシステムネットワークの処理と、
テレビ電話のような電話システムあるいはテレビ伝送シ
ステム，衛星放送システム，移動無線システム，放送シ
ステム，情報蓄積／取り出しシステム等にも適応できる
ものである。
【００２２】本発明の一実施例としてパソコンを用いた
例を示しているが、本発明により細分化を実行する従来
の処理手段を有する従来の処理手段，カメラ，ビデオホ
ーン，電話機，テレビ受信機，高級計算機，ハンドヘル
ドコンピュータ，ラップトップ／ノートブック型コンピ
ュータ，ミニコン，メインフレーム，スーパーコンピュ
ータ（ＲＩＳＣ並列処理アーキテクチャーを含む）を含
むどのような処理システムにおいても実行され、同時に
また前述の装置を組み合わせた処理システムネットワー
クでも実現できる。従来の処理システムアーキテクチャ
ーは、（William Stallings, Computer Organization a
nd Architecture (MacMillan Publishing Co., 3rd ed.
1993)）に開示されている。
例を示しているが、本発明により細分化を実行する従来
の処理手段を有する従来の処理手段，カメラ，ビデオホ
ーン，電話機，テレビ受信機，高級計算機，ハンドヘル
ドコンピュータ，ラップトップ／ノートブック型コンピ
ュータ，ミニコン，メインフレーム，スーパーコンピュ
ータ（ＲＩＳＣ並列処理アーキテクチャーを含む）を含
むどのような処理システムにおいても実行され、同時に
また前述の装置を組み合わせた処理システムネットワー
クでも実現できる。従来の処理システムアーキテクチャ
ーは、（William Stallings, Computer Organization a
nd Architecture (MacMillan Publishing Co., 3rd ed.
1993)）に開示されている。
【００２３】さらにまた本発明は、ファームウェアある
いはハードウェアでも実現可能である。また本発明の実
施例は、プログラマブルアレイロジック，プログラマブ
ル論理アレイ，デジタル信号プロセッサ等のプログラマ
ブル論理装置も含むことができる。本発明の他の実施例
としては、またフィールドプログラマブルゲートアレ
イ，ＡＳＩＣｓも含むことができる。
いはハードウェアでも実現可能である。また本発明の実
施例は、プログラマブルアレイロジック，プログラマブ
ル論理アレイ，デジタル信号プロセッサ等のプログラマ
ブル論理装置も含むことができる。本発明の他の実施例
としては、またフィールドプログラマブルゲートアレ
イ，ＡＳＩＣｓも含むことができる。
【００２４】次に図３においてこのマイクロプロセッシ
ングシステムは、本発明を用いてフレーム信号を細分化
するようプログラムされている。このマイクロプロセッ
シングシステムにおいては、ＣＰＵ１０６は、データバ
ス２０３を介してメモリ蓄積装置１０７に接続されてい
る。このメモリ蓄積装置１０７は、ＣＰＵ１０６がイン
ストラクションを取り出しそれを実行するよう動作する
プロセッシングシステムインストラクションを蓄積す
る。このＣＰＵ１０６は、制御ユニット２００と論理演
算ユニット２０１とローカルメモリ２０２とを有する。
このローカルメモリ２０２は、例えばスタック可能なキ
ャッシュあるいは複数のレジスタからなる。制御ユニッ
ト２００は、メモリ蓄積装置１０７からプロセッシング
システムインストラクションを取り出すよう動作する。
論理演算ユニット２０１は、これらのインストラクショ
ンを実行するのに必要なブール代数を含む複数の動作を
実行する。ローカルメモリ２０２は、一次的な計算結果
および制御情報を蓄積するために用いられるローカル高
速蓄積媒体を構成する。
ングシステムは、本発明を用いてフレーム信号を細分化
するようプログラムされている。このマイクロプロセッ
シングシステムにおいては、ＣＰＵ１０６は、データバ
ス２０３を介してメモリ蓄積装置１０７に接続されてい
る。このメモリ蓄積装置１０７は、ＣＰＵ１０６がイン
ストラクションを取り出しそれを実行するよう動作する
プロセッシングシステムインストラクションを蓄積す
る。このＣＰＵ１０６は、制御ユニット２００と論理演
算ユニット２０１とローカルメモリ２０２とを有する。
このローカルメモリ２０２は、例えばスタック可能なキ
ャッシュあるいは複数のレジスタからなる。制御ユニッ
ト２００は、メモリ蓄積装置１０７からプロセッシング
システムインストラクションを取り出すよう動作する。
論理演算ユニット２０１は、これらのインストラクショ
ンを実行するのに必要なブール代数を含む複数の動作を
実行する。ローカルメモリ２０２は、一次的な計算結果
および制御情報を蓄積するために用いられるローカル高
速蓄積媒体を構成する。
【００２５】モーションビデオ符号化システム１００を
用いてフレーム信号を細分化するために用いられる元の
フレーム内の各ブロックの焦点を測定する。カムコーダ
ー（camcoder）のような単眼システムにおける対象物ま
での距離を決定するためにビデオフレームの一部の焦点
の測定（深さの関数である）を用いることは公知であ
る。これに関しては、（A. Pentland, "A New Sense of
Depth of Field," IEEETrans. Pattern Analysis and
Machine Intelligence, Vol. 9, No. 4, pp. 523-531,
Jul 1993）あるいは（M. Subbarao and G. Surya, "Dep
th from Defocus: A Spatial Domain Approuch," Techn
ical Report No. 92.12.03, Computer Vision Laborato
ry, Electrical EngineeringDepartment, SUNY, Stony
Brook, NY）あるいは（C. Swain, M. Bishay, A. Peter
s, and K. Kawamura, "Accuracy Improvement of Depth
from Defocus using Fuzzy Logic," Technical Repor
t No. CIS-94-02, Center for Intelligent Systems, V
anderbilt University, Nashville, TN 37235, May 199
4）を参照のこと。
用いてフレーム信号を細分化するために用いられる元の
フレーム内の各ブロックの焦点を測定する。カムコーダ
ー（camcoder）のような単眼システムにおける対象物ま
での距離を決定するためにビデオフレームの一部の焦点
の測定（深さの関数である）を用いることは公知であ
る。これに関しては、（A. Pentland, "A New Sense of
Depth of Field," IEEETrans. Pattern Analysis and
Machine Intelligence, Vol. 9, No. 4, pp. 523-531,
Jul 1993）あるいは（M. Subbarao and G. Surya, "Dep
th from Defocus: A Spatial Domain Approuch," Techn
ical Report No. 92.12.03, Computer Vision Laborato
ry, Electrical EngineeringDepartment, SUNY, Stony
Brook, NY）あるいは（C. Swain, M. Bishay, A. Peter
s, and K. Kawamura, "Accuracy Improvement of Depth
from Defocus using Fuzzy Logic," Technical Repor
t No. CIS-94-02, Center for Intelligent Systems, V
anderbilt University, Nashville, TN 37235, May 199
4）を参照のこと。
【００２６】図４は、焦点尺度（測定）理論が元になる
簡単なレンズモデル３００を表す図において、次式のレ
ンズの法則数１によれば、
簡単なレンズモデル３００を表す図において、次式のレ
ンズの法則数１によれば、
【数１】 ここでｆは焦点距離で、ｕは対象物とレンズの間の距離
で、ｖはレンズと焦点面との間の距離である。対象物ポ
イント３０３のイメージ面Ｉは、焦点面Ｉ′からずれて
いるので対象物ポイント３０３は、焦点に合っていな
い。イメージ面上では対象物ポイント３０３は、ぼやけ
た円３０１として表われこれをぼやけた円と称する。こ
のぼやけた円のサイズ２ｒは、そして合焦点量（amount
of focus）は、対象物ポイント３０３の深さｕの関数
として式（２）で表すことができる。
で、ｖはレンズと焦点面との間の距離である。対象物ポ
イント３０３のイメージ面Ｉは、焦点面Ｉ′からずれて
いるので対象物ポイント３０３は、焦点に合っていな
い。イメージ面上では対象物ポイント３０３は、ぼやけ
た円３０１として表われこれをぼやけた円と称する。こ
のぼやけた円のサイズ２ｒは、そして合焦点量（amount
of focus）は、対象物ポイント３０３の深さｕの関数
として式（２）で表すことができる。
【数２】 ここでｕは、対象物ポイント３０３とレンズ３０２との
間の距離で、ｆはレンズ３０２の焦点距離で、ｓはレン
ズ３０２とＩとの間の距離で、ｒはぼやけた円３０１の
半径で、Ｄはレンズ３０２の直径である。
間の距離で、ｆはレンズ３０２の焦点距離で、ｓはレン
ズ３０２とＩとの間の距離で、ｒはぼやけた円３０１の
半径で、Ｄはレンズ３０２の直径である。
【００２７】このぼやけたイメージは、ポイント拡散関
数（point spread function （ＰＳＦ））ｈ（ｘ，ｙ）
の合焦点イメージの畳み込み関数で表すことができる。
理想的にはこのＰＳＦは、単位ボリューム（ユニットボ
リューム），ピルボックス（pillbox） の円筒上環状対
象関数である。このピルボックス内では、明るさは、次
式で表されるよう均一である。
数（point spread function （ＰＳＦ））ｈ（ｘ，ｙ）
の合焦点イメージの畳み込み関数で表すことができる。
理想的にはこのＰＳＦは、単位ボリューム（ユニットボ
リューム），ピルボックス（pillbox） の円筒上環状対
象関数である。このピルボックス内では、明るさは、次
式で表されるよう均一である。
【数３】
【００２８】しかし、レンズの収差と回析により明るさ
は、均一ではないが境界に向かって徐々に減衰する。そ
してＰＳＦは、２次元ガウス関数によって決定される。
は、均一ではないが境界に向かって徐々に減衰する。そ
してＰＳＦは、２次元ガウス関数によって決定される。
【数４】 ここでσは、非合焦点尺度に対応する空間定数である。
σは、ぼやけた円ｒに比例して次式で表される。
σは、ぼやけた円ｒに比例して次式で表される。
【数５】 ここでｋは、比例定数である。ＰＳＦのユニットボリュ
ームは１である。実験的に次式が証明されている。
ームは１である。実験的に次式が証明されている。
【数６】 これを（２）式に代入すると、
【数７】
【００２９】これを書き換えると、距離ｕは、ぼやけた
円の半径ｒ（即ち非合焦点尺度σ）の関数として書くこ
とができる。
円の半径ｒ（即ち非合焦点尺度σ）の関数として書くこ
とができる。
【数８】
【００３０】イメージが焦点にあっているとその端部
は、シャープで明確に区別できる。したがって、焦点の
合った端部におけるσの値は低くなる。同様に端部に近
いブロックのイメージ属性は、大きく変化するので焦点
の合った端部における焦点の傾斜もまた大きくなる。ぼ
やけた端部においては、端部にまたがるイメージの属性
の変化は、なだらかでその傾斜もまた小さい。
は、シャープで明確に区別できる。したがって、焦点の
合った端部におけるσの値は低くなる。同様に端部に近
いブロックのイメージ属性は、大きく変化するので焦点
の合った端部における焦点の傾斜もまた大きくなる。ぼ
やけた端部においては、端部にまたがるイメージの属性
の変化は、なだらかでその傾斜もまた小さい。
【００３１】本発明によればフレーム信号のブロック
は、各ブロックの焦点尺度に基づいて前景と背景に細分
化される。特に焦点のあった端部が検出される。この端
部は、フレームの前景部分のボーダー（境界）と見なさ
れる。このアウトライン（外郭線）が焦点の合った端部
から形成される。このアウトラインと元のフレーム信号
に関する情報を含む信号が生成され、エンコーダに送信
され、そこで前景は、より関連性のある部分として処理
され、背景は、あまり関連性のない部分として処理され
る。
は、各ブロックの焦点尺度に基づいて前景と背景に細分
化される。特に焦点のあった端部が検出される。この端
部は、フレームの前景部分のボーダー（境界）と見なさ
れる。このアウトライン（外郭線）が焦点の合った端部
から形成される。このアウトラインと元のフレーム信号
に関する情報を含む信号が生成され、エンコーダに送信
され、そこで前景は、より関連性のある部分として処理
され、背景は、あまり関連性のない部分として処理され
る。
【００３２】次に図５において、元のフレーム信号は、
ブロック５０で得られる。各ブロックの焦点は、公知の
方法によりブロック５１で測定され、それにより焦点傾
斜（focus gradient）を生成する。この元のフレーム信
号は、ブロック５２で平滑化される。別法としてブロッ
ク５２で成された平滑化処理は、焦点が測定される前に
実行することも可能である、あるいは細分化プロセスの
他の時点で行うことも可能である、がまた全く行わなく
てもよい。しきい値（規準）の焦点値がブロック５３で
決定される。各ブロックのこの焦点値は、ブロック５４
でしきい値である焦点値と比較され、焦点のあったブロ
ックと焦点の合ってないブロックとを区別する。焦点し
きい値以上の焦点値を有するブロックは、合焦点ブロッ
クとされ焦点しきい値以下の焦点値を有するブロック
は、非合焦点ブロックと指定される。前景は、この合焦
点ブロックに基づいてブロック５５で決定される。細分
化されたフレーム信号は、前景に基づいてブロック５６
で生成される。
ブロック５０で得られる。各ブロックの焦点は、公知の
方法によりブロック５１で測定され、それにより焦点傾
斜（focus gradient）を生成する。この元のフレーム信
号は、ブロック５２で平滑化される。別法としてブロッ
ク５２で成された平滑化処理は、焦点が測定される前に
実行することも可能である、あるいは細分化プロセスの
他の時点で行うことも可能である、がまた全く行わなく
てもよい。しきい値（規準）の焦点値がブロック５３で
決定される。各ブロックのこの焦点値は、ブロック５４
でしきい値である焦点値と比較され、焦点のあったブロ
ックと焦点の合ってないブロックとを区別する。焦点し
きい値以上の焦点値を有するブロックは、合焦点ブロッ
クとされ焦点しきい値以下の焦点値を有するブロック
は、非合焦点ブロックと指定される。前景は、この合焦
点ブロックに基づいてブロック５５で決定される。細分
化されたフレーム信号は、前景に基づいてブロック５６
で生成される。
【００３３】図６は、本発明の３によりブロック５２で
実行される初期の平滑化操作を表すブロック図である。
元のフレームは、複数のブロックに分割されここでは好
ましくは、ペルの４×４のマトリックスからなるブロッ
クにブロック６１で分割される。各ペルは、ブロックが
オーバラップするように２以上のブロックに割り当てら
れる。各ペルの輝度成分とブロック６２で組み合わせ
る。この組み合わされた輝度値は、ブロック内のペルの
１つの位置に割り当てられる。このプロセスは、各ペル
が組み合わされた輝度値に割り当てられるまで、各ブロ
ックに対して行われこれにより平滑なフレーム信号が形
成される。
実行される初期の平滑化操作を表すブロック図である。
元のフレームは、複数のブロックに分割されここでは好
ましくは、ペルの４×４のマトリックスからなるブロッ
クにブロック６１で分割される。各ペルは、ブロックが
オーバラップするように２以上のブロックに割り当てら
れる。各ペルの輝度成分とブロック６２で組み合わせ
る。この組み合わされた輝度値は、ブロック内のペルの
１つの位置に割り当てられる。このプロセスは、各ペル
が組み合わされた輝度値に割り当てられるまで、各ブロ
ックに対して行われこれにより平滑なフレーム信号が形
成される。
【００３４】元のフレームの各ブロックの焦点は、ブロ
ック５１で測定される。各ブロックの焦点尺度は、端部
の強度から従来の方法により決定される。これに関して
は、（E. Krotov, "Focusing," 1 Intl J. Comp. Visio
n 223-37 (1987)） あるいは、（W. Pratt, Digital Im
age Processing 491-508 (Wiley & Sons 2d ed.1991)）
を参照のこと。現在の好ましい方法としては、Sobel ed
ge 検出が用いられている。
ック５１で測定される。各ブロックの焦点尺度は、端部
の強度から従来の方法により決定される。これに関して
は、（E. Krotov, "Focusing," 1 Intl J. Comp. Visio
n 223-37 (1987)） あるいは、（W. Pratt, Digital Im
age Processing 491-508 (Wiley & Sons 2d ed.1991)）
を参照のこと。現在の好ましい方法としては、Sobel ed
ge 検出が用いられている。
【００３５】フレーム内の合焦点イメージのエッジは、
隣接するブロック間のイメージ強度属性の変化、即ち不
連続性により得ることができる。特にイメージ属性の傾
斜が計算される。傾斜中のスパイク即ち高い値が、端部
を指定する。端部が前景（合焦点部分）を背景（非合焦
点部分）から区別するので、イメージ属性の傾斜は、焦
点の傾斜即ち焦点傾斜である。現在の所好ましい方法あ
るいは装置としては、ブロックの輝度成分中の変化、即
ち不連続性に基づいて端部を検出している。当然のこと
ながら他のイメージ属性の変化即ち不連続性も用いて端
部を検出することが可能である。
隣接するブロック間のイメージ強度属性の変化、即ち不
連続性により得ることができる。特にイメージ属性の傾
斜が計算される。傾斜中のスパイク即ち高い値が、端部
を指定する。端部が前景（合焦点部分）を背景（非合焦
点部分）から区別するので、イメージ属性の傾斜は、焦
点の傾斜即ち焦点傾斜である。現在の所好ましい方法あ
るいは装置としては、ブロックの輝度成分中の変化、即
ち不連続性に基づいて端部を検出している。当然のこと
ながら他のイメージ属性の変化即ち不連続性も用いて端
部を検出することが可能である。
【００３６】Ｘ×Ｙのマトリックスのペルを含むフレー
ムｆ（ｘ，ｙ）にまたがるあるラインに沿った焦点傾斜
は、次式で定義できる。
ムｆ（ｘ，ｙ）にまたがるあるラインに沿った焦点傾斜
は、次式で定義できる。
【数９】 ここでＧ（ｘ，ｙ）は焦点傾斜で、ｆ（ｘ，ｙ）はフレ
ーム信号で、θは水平軸に沿ったラインの角度である。
この焦点傾斜は、行と列に分けることができ、そして行
の傾斜は次式で定義できる。
ーム信号で、θは水平軸に沿ったラインの角度である。
この焦点傾斜は、行と列に分けることができ、そして行
の傾斜は次式で定義できる。
【数１０】 列の傾斜は、次式で定義できる。
【数１１】 好ましくは、prewitt の平方根端部傾斜は、３×３ペル
端部傾斜演算子を用いて次式となる。
端部傾斜演算子を用いて次式となる。
【数１２】 ここでＧ（ｘ，ｙ）は焦点傾斜で、Ｇr（ｘ，ｙ）は行
傾斜で、Ｇc（ｘ，ｙ）は列傾斜である。この行傾斜Ｇr
は次式で定義できる。
傾斜で、Ｇc（ｘ，ｙ）は列傾斜である。この行傾斜Ｇr
は次式で定義できる。
【数１３】 列傾斜Ｇc は、次式で定義できる。
【数１４】 重み係数ａn は、実験的に決定された定数である。
【００３７】一般的に言うと連続的領域の端部セグメン
トにまたがる輝度焦点傾斜Ｇ（ｘ，ｙ）は、ペルの輝度
値とインパルス応答アレイとを次式に示すように畳み込
み演算処理することにより得られる。
トにまたがる輝度焦点傾斜Ｇ（ｘ，ｙ）は、ペルの輝度
値とインパルス応答アレイとを次式に示すように畳み込
み演算処理することにより得られる。
【数１５】 ここでＦ（ｘ，ｙ）は、フレームｆ（ｘ，ｙ）に対する
輝度マトリックスで、Ｈ（ｘ，ｙ）は、インパルス応答
アレイである。これを列と行に分解すると次式となる。
輝度マトリックスで、Ｈ（ｘ，ｙ）は、インパルス応答
アレイである。これを列と行に分解すると次式となる。
【数１６】 そして
【数１７】 様々なインパルス応答アレイをペルの差異，別個のペル
の差異，Roberts インパルス応答アレイ，Prewitt イン
パルス応答アレイ，Frei-Chen インパルス応答アレイを
含むポイント拡散関数（point spread function） と共
に用いられるよう選択することができる。ソベルインパ
ルス応答アレイを用いるのが好ましい。このソベルイン
パルス応答アレイは、次式で表される。行傾斜
の差異，Roberts インパルス応答アレイ，Prewitt イン
パルス応答アレイ，Frei-Chen インパルス応答アレイを
含むポイント拡散関数（point spread function） と共
に用いられるよう選択することができる。ソベルインパ
ルス応答アレイを用いるのが好ましい。このソベルイン
パルス応答アレイは、次式で表される。行傾斜
【数１８】 列傾斜
【数１９】
【００３８】ソベルインパルス応答アレイを用いた場合
には焦点傾斜Ｇ（ｘ，ｙ）は、ソベル傾斜Ｓ（ｘ，ｙ）
でもって表すことができる。各ペルにおけるソベル傾斜
の値が決定され、ソベル傾斜の焦点尺度のＸ×Ｙマトリ
ックスが決定される。端部傾斜生成演算子の性能を上げ
るために、特に高いノイズ環境においては、近傍を３×
３のマトリックスからより大きなマトリックスに広げる
こともできる。
には焦点傾斜Ｇ（ｘ，ｙ）は、ソベル傾斜Ｓ（ｘ，ｙ）
でもって表すことができる。各ペルにおけるソベル傾斜
の値が決定され、ソベル傾斜の焦点尺度のＸ×Ｙマトリ
ックスが決定される。端部傾斜生成演算子の性能を上げ
るために、特に高いノイズ環境においては、近傍を３×
３のマトリックスからより大きなマトリックスに広げる
こともできる。
【００３９】従来の焦点尺度、すなわちソベル傾斜のよ
うな端部検出技術を用いると、端部の検出に際しエラー
を発生することがある。小さい強度の合焦点端部と高い
強度の非合焦点端部とは、類似の焦点尺度を与えること
がある。しかし、この非合焦点端部は、次に述べるより
低い非合焦点尺度を有する。これらの結果は、焦点尺度
を修正することにより改善することができる。合焦点端
部と非合焦点端部との間の際だった特徴は、端部の幅で
ある。合焦点端部は、非合焦点端部よりもより急峻な強
度傾斜とより狭い幅を有する。この焦点尺度は、次式の
ように修正することができる。
うな端部検出技術を用いると、端部の検出に際しエラー
を発生することがある。小さい強度の合焦点端部と高い
強度の非合焦点端部とは、類似の焦点尺度を与えること
がある。しかし、この非合焦点端部は、次に述べるより
低い非合焦点尺度を有する。これらの結果は、焦点尺度
を修正することにより改善することができる。合焦点端
部と非合焦点端部との間の際だった特徴は、端部の幅で
ある。合焦点端部は、非合焦点端部よりもより急峻な強
度傾斜とより狭い幅を有する。この焦点尺度は、次式の
ように修正することができる。
【数２０】 ここでｄ（ｘ，ｙ）は焦点尺度で、Ｓ（ｘ，ｙ）はフレ
ームｆ（ｘ，ｙ）上のソベル端部検出の大きさで、ｗ
は、フレームｆ（ｘ，ｙ）内の端部の幅である。端部の
幅は、垂直方向と水平方向のエッジ内のペルの数をカウ
ントすることにより計算される。水平方向の幅と垂直方
向の幅のメディアンが決定される。平均幅は、この垂直
方向の幅のメディアンと水平方向の幅のメディアンから
計算される。この平均値を端部の幅として用いる。端部
の幅が増加するにつれて（非合焦点程度を意味する）焦
点尺度ｄ（ｘ，ｙ）は減少する。したがって、高い値を
有する端部が必ずしも合焦点端部とは決定されない。端
部が広い場合には、その端部はより低い焦点尺度を有す
る。そして端部が狭い場合には、より高い焦点尺度を有
するからである。
ームｆ（ｘ，ｙ）上のソベル端部検出の大きさで、ｗ
は、フレームｆ（ｘ，ｙ）内の端部の幅である。端部の
幅は、垂直方向と水平方向のエッジ内のペルの数をカウ
ントすることにより計算される。水平方向の幅と垂直方
向の幅のメディアンが決定される。平均幅は、この垂直
方向の幅のメディアンと水平方向の幅のメディアンから
計算される。この平均値を端部の幅として用いる。端部
の幅が増加するにつれて（非合焦点程度を意味する）焦
点尺度ｄ（ｘ，ｙ）は減少する。したがって、高い値を
有する端部が必ずしも合焦点端部とは決定されない。端
部が広い場合には、その端部はより低い焦点尺度を有す
る。そして端部が狭い場合には、より高い焦点尺度を有
するからである。
【００４０】０から２５５までの値がソベル焦点尺度の
値に基づいて各ブロックに割り当てられる。焦点傾斜に
対するしきい値の焦点尺度がブロック５３で決定され
る。このしきい値は、予め決定された値あるいは所望の
情報伝送レートに基づいて決定された値である。例え
ば、バンド幅の制限があるために、フレームのあるパー
セントのみが関連部分として指定され、より高いレート
でもって伝送することが必要なこともある。したがっ
て、しきい値は前景のテンプレートがそのパーセントに
対応するよう選択される。
値に基づいて各ブロックに割り当てられる。焦点傾斜に
対するしきい値の焦点尺度がブロック５３で決定され
る。このしきい値は、予め決定された値あるいは所望の
情報伝送レートに基づいて決定された値である。例え
ば、バンド幅の制限があるために、フレームのあるパー
セントのみが関連部分として指定され、より高いレート
でもって伝送することが必要なこともある。したがっ
て、しきい値は前景のテンプレートがそのパーセントに
対応するよう選択される。
【００４１】フレームの一部が図５のブロック５４で合
焦点部分と非合焦点部分との間で区分される。図７にお
いて、このバイレベル操作は、ソベル演算子の出力点で
実行される。しきい値以上の焦点尺度を有するどのよう
なブロックも合焦点として規定される。そしてしきい値
以下の焦点尺度を有するどのようなブロックも非合焦点
として規定される。図７においては、この合焦点ブロッ
クは白色ペル７１で示され、非合焦点ブロックは黒色ペ
ル７２で示されている。したがって各ブロックは、合焦
点あるいは非合焦点のいずれかに決定される。現在の所
好ましい方法としては、単一のしきい値を用いてフレー
ムを合焦点部分と非合焦点部分との間で区分している。
別法として第２のしきい値を用いて非合焦点部分と合焦
点部分と中間部分とに分けている。ある種の応用におい
て必要とされるように各部分は異なるビットレートある
いは異なる周期でもって伝送される。当然のことながら
様々な数の敷居値を用いてフレームを様々なレベルの焦
点に細分化する。
焦点部分と非合焦点部分との間で区分される。図７にお
いて、このバイレベル操作は、ソベル演算子の出力点で
実行される。しきい値以上の焦点尺度を有するどのよう
なブロックも合焦点として規定される。そしてしきい値
以下の焦点尺度を有するどのようなブロックも非合焦点
として規定される。図７においては、この合焦点ブロッ
クは白色ペル７１で示され、非合焦点ブロックは黒色ペ
ル７２で示されている。したがって各ブロックは、合焦
点あるいは非合焦点のいずれかに決定される。現在の所
好ましい方法としては、単一のしきい値を用いてフレー
ムを合焦点部分と非合焦点部分との間で区分している。
別法として第２のしきい値を用いて非合焦点部分と合焦
点部分と中間部分とに分けている。ある種の応用におい
て必要とされるように各部分は異なるビットレートある
いは異なる周期でもって伝送される。当然のことながら
様々な数の敷居値を用いてフレームを様々なレベルの焦
点に細分化する。
【００４２】前景として規定されるべきフレームの一部
を図５のブロック５５で決定する。好ましくは、図７の
複数の合焦点ブロックの間の領域もまた合焦点部分とし
て規定され、これにより連続的なテンプレートが形成さ
れる。このテンプレートは、前景として規定されるべき
フレームの一部の上に重ね合わせられる。図８は、水平
方向の充填（線でつなぐこと）が最初のバイレベル焦点
尺度フレーム上で実行された後のバイレベル焦点尺度フ
レーム８０を表す。水平方向のバンドが同一の水平方向
のレベルにある複数の合焦点ブロックの間に挿入され
る。図９は、図８のバイレベル焦点尺度フレーム８０上
で垂直方向の充填が行われた後のバイレベル焦点尺度フ
レーム９０を表す。垂直方向のバンドが同一の水平レベ
ルにある複数の合焦点ブロックの間に挿入される。この
水平方向と垂直方向の充填ステップは、イメージが安定
するまで繰り返される。図１０は、この充填操作が安定
した後のバイレベル焦点尺度フレーム１１０を表す。こ
の安定したイメージは、前景テンプレート１１１であ
る。この前景テンプレート１１１は、当然のことながら
他の方法によっても生成することができる。例えば、固
定形状を図８の合焦点ブロック上に適合させて、合焦点
領域の予測を生成することもできる。このテンプレート
あるいは他の方式により得られたテンプレートの生成技
術を用いて計算時間を短くすることもできる。
を図５のブロック５５で決定する。好ましくは、図７の
複数の合焦点ブロックの間の領域もまた合焦点部分とし
て規定され、これにより連続的なテンプレートが形成さ
れる。このテンプレートは、前景として規定されるべき
フレームの一部の上に重ね合わせられる。図８は、水平
方向の充填（線でつなぐこと）が最初のバイレベル焦点
尺度フレーム上で実行された後のバイレベル焦点尺度フ
レーム８０を表す。水平方向のバンドが同一の水平方向
のレベルにある複数の合焦点ブロックの間に挿入され
る。図９は、図８のバイレベル焦点尺度フレーム８０上
で垂直方向の充填が行われた後のバイレベル焦点尺度フ
レーム９０を表す。垂直方向のバンドが同一の水平レベ
ルにある複数の合焦点ブロックの間に挿入される。この
水平方向と垂直方向の充填ステップは、イメージが安定
するまで繰り返される。図１０は、この充填操作が安定
した後のバイレベル焦点尺度フレーム１１０を表す。こ
の安定したイメージは、前景テンプレート１１１であ
る。この前景テンプレート１１１は、当然のことながら
他の方法によっても生成することができる。例えば、固
定形状を図８の合焦点ブロック上に適合させて、合焦点
領域の予測を生成することもできる。このテンプレート
あるいは他の方式により得られたテンプレートの生成技
術を用いて計算時間を短くすることもできる。
【００４３】前景テンプレート１１１のアウトラインが
その後生成される。図１１に示したような、前景テンプ
レート１１１の周囲のブロックがアウトライン１２５
（図１２）として指定される。このアウトラインに対応
するアウトライン信号が、コンピュータプロセッサによ
り生成される。アウトラインのブロックと、このアウト
ラインの中に含まれるブロックの全てが前景として指定
される。アウトラインに対応する信号がＣＰＵ１０６に
より生成される。
その後生成される。図１１に示したような、前景テンプ
レート１１１の周囲のブロックがアウトライン１２５
（図１２）として指定される。このアウトラインに対応
するアウトライン信号が、コンピュータプロセッサによ
り生成される。アウトラインのブロックと、このアウト
ラインの中に含まれるブロックの全てが前景として指定
される。アウトラインに対応する信号がＣＰＵ１０６に
より生成される。
【００４４】細分化したフレーム信号ｆn が、図５のブ
ロック５６で元のフレーム信号ｆnとアウトライン信号
からＣＰＵ１０６により生成される。その後この細分化
されたフレーム信号は、エンコーダあるいは記録媒体に
入力される。
ロック５６で元のフレーム信号ｆnとアウトライン信号
からＣＰＵ１０６により生成される。その後この細分化
されたフレーム信号は、エンコーダあるいは記録媒体に
入力される。
【００４５】本発明の他の実施例によれば焦点ベースの
細分化は、動きベースの細分化と組み合わせて動き／焦
点ベースで細分化されたフレーム信号を生成するよう構
成することもできる。図１２は、このような動き／焦点
ベースの細分化フレームを生成するステップを表す。ブ
ロック１５２において、動きが元のフレーム内で検出さ
れる。B.G. Haskell, P.L. Gordon, R.L. Schmidt, J.
V. Scattaglia著の（IEEE Trans. on Communications,
Vol. Com-25, No. 11 1977） に説明したようになビデ
オシーケンス内の動きをベースにした細分化の方法にお
いては、動きディテクタ４１を用いて動きビデオシーケ
ンスの各フレーム内の静止ブロックを動きブロックから
区分する。ブロック１５３において、動きしきい値が設
定される。上述の焦点しきい値と同様にこの動きしきい
値は、一定でもよい。別法として動きしきい値は、フレ
ームのあるパーセントが動いているすなわち関連してい
ると認識されるように利用可能なバンド幅の観点から決
定することもできる。このフレームは、ブロック１５４
において、動きしきい値の観点から移動ブロックと静止
ブロックに分けられる。一連の水平方向の充填操作と垂
直方向の充填操作がブロック１５７で安定した動きテン
プレートが形成されるまで行われる。
細分化は、動きベースの細分化と組み合わせて動き／焦
点ベースで細分化されたフレーム信号を生成するよう構
成することもできる。図１２は、このような動き／焦点
ベースの細分化フレームを生成するステップを表す。ブ
ロック１５２において、動きが元のフレーム内で検出さ
れる。B.G. Haskell, P.L. Gordon, R.L. Schmidt, J.
V. Scattaglia著の（IEEE Trans. on Communications,
Vol. Com-25, No. 11 1977） に説明したようになビデ
オシーケンス内の動きをベースにした細分化の方法にお
いては、動きディテクタ４１を用いて動きビデオシーケ
ンスの各フレーム内の静止ブロックを動きブロックから
区分する。ブロック１５３において、動きしきい値が設
定される。上述の焦点しきい値と同様にこの動きしきい
値は、一定でもよい。別法として動きしきい値は、フレ
ームのあるパーセントが動いているすなわち関連してい
ると認識されるように利用可能なバンド幅の観点から決
定することもできる。このフレームは、ブロック１５４
において、動きしきい値の観点から移動ブロックと静止
ブロックに分けられる。一連の水平方向の充填操作と垂
直方向の充填操作がブロック１５７で安定した動きテン
プレートが形成されるまで行われる。
【００４６】この動きベースのテンプレートをブロック
２００で焦点ベースのテンプレートと交差させる（重ね
合わせる）。即ち両方（動きベースと焦点ベース）のテ
ンプレートにおいて関連部分として認識されたイメージ
の一部のみがこの組み合わせ動き／焦点テンプレートの
関連部分として識別される。この交差したセグメントの
アウトラインが決定されアウトライン信号がブロック２
０１で生成されるその後この元のフレーム信号がアウト
ライン信号と結合され、ブロック２０２で動き／焦点ベ
ースで細分化されたフレームを生成してさらに伝送，蓄
積，再生用に用いられる。
２００で焦点ベースのテンプレートと交差させる（重ね
合わせる）。即ち両方（動きベースと焦点ベース）のテ
ンプレートにおいて関連部分として認識されたイメージ
の一部のみがこの組み合わせ動き／焦点テンプレートの
関連部分として識別される。この交差したセグメントの
アウトラインが決定されアウトライン信号がブロック２
０１で生成されるその後この元のフレーム信号がアウト
ライン信号と結合され、ブロック２０２で動き／焦点ベ
ースで細分化されたフレームを生成してさらに伝送，蓄
積，再生用に用いられる。
【００４７】
【発明の効果】以上述べたように、本発明によれば、デ
ジタルのモーションビデオ信号処理に関し、特にビデオ
信号をより関連性のある前景とあまり関連性のない背景
とに細分化し、より効率的なビデオ符号化を行うシステ
ムと方法を提供する。
ジタルのモーションビデオ信号処理に関し、特にビデオ
信号をより関連性のある前景とあまり関連性のない背景
とに細分化し、より効率的なビデオ符号化を行うシステ
ムと方法を提供する。
【図１】本発明のモーションビデオ符号化システム１０
０の一実施例を表すブロック図
０の一実施例を表すブロック図
【図２】本発明によりビデオデータを圧縮する処理シス
テム用の機器を表す図
テム用の機器を表す図
【図３】図２の処理システムに用いられるマイクロプロ
セッシングシステムを表すブロック図
セッシングシステムを表すブロック図
【図４】本発明の焦点尺度理論の元となる簡単なレンズ
モデル３００のブロック図
モデル３００のブロック図
【図５】本発明のプレフィルタ３０の全体動作を表すブ
ロック図
ロック図
【図６】本発明のプレフィルタ３０の５２で実行される
初期の平滑化動作を表すブロック図
初期の平滑化動作を表すブロック図
【図７】初期のバイレベル焦点尺度フレーム７０を表す
図
図
【図８】水平方向の埋め込みが初期のバイレベル焦点尺
度フレーム７０上で実行された後のバイレベル焦点尺度
フレーム８０を表す図
度フレーム７０上で実行された後のバイレベル焦点尺度
フレーム８０を表す図
【図９】垂直方向の埋め込みが図８のバイレベル焦点尺
度フレーム８０上で実行された後のバイレベル焦点尺度
フレーム９０を表す図
度フレーム８０上で実行された後のバイレベル焦点尺度
フレーム９０を表す図
【図１０】埋め込み操作が安定化した後のバイレベル焦
点尺度フレーム１１０を表す図
点尺度フレーム１１０を表す図
【図１１】図１０の前景テンプレート１１１のアウトラ
イン１２５を表すバイレベル焦点尺度フレームを表す図
イン１２５を表すバイレベル焦点尺度フレームを表す図
【図１２】動き／焦点ベースの細分化フレームを生成す
るステップを表す図
るステップを表す図
１０ ビデオソース ２０ プレプロセッサ ３０ プレフィルタ ３１ ビデオ処理ボード ４０ エンコーダ ４１ 動きディテクタ ５０ 蓄積媒体 ７０ 初期のバイレベル焦点尺度フレーム ７１ 白色ペル ７２ 黒色ペル ８０，９０，１１０ バイレベル焦点尺度フレーム １００ モーションビデオ符号化システム １０１ ハードウェアケース １０２ フロッピディスクドライブ １０３ ハードディスクドライブ １０４ モニタ １０５ キーボード １０６ ＣＰＵ １０７ メモリ蓄積装置（ＲＡＭ） １０８ マウス １０９ カメラ １１１ 前景テンプレート １２５ アウトライン ２００ 制御ユニット ２０１ 論理演算ユニット ２０２ ローカルメモリ ２０３ データバス ３００ 簡単なレンズモデル ３０１ ぼやけた円 ３０２ レンズ ３０３ 対象物ポイント
───────────────────────────────────────────────────── フロントページの続き (72)発明者 カッサンドラ ターナー スワイン アメリカ合衆国，07724 ニュージャー ジー，イートンタウン，ヴィクトリア ドライブ 88 (56)参考文献 特開 平４−54088（ＪＰ，Ａ) 特開 平４−373369（ＪＰ，Ａ) 特開 昭61−296868（ＪＰ，Ａ) 特開 平２−266782（ＪＰ，Ａ) ＩＥＥＥ ｔｈｅ 12ｔｈ ＩＡＰＲ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎ ｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，1994 Ｖｏ ｌ．１ − Ｃｏｎｆｅｒｅｎｃｅ Ａ：ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｇ （Ａｕｔｏ ｉｍａｇｅ ａｎａｌｙｓ ｉｓ ｏｆ ｐａｒｔｉｃｌｅ ｈｏｌ ｏｇｒａｍｓ）ｐ．781−783 (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68
Claims (37)
- 【請求項１】 ブロックからなるフレームを関連部分と
非関連部分に細分化する方法において、 （Ａ）フレームに対応し、各ブロックに対するイメージ
属性を有する信号を得るステップと、 （Ｂ）各ブロックのイメージ属性を他のブロックのイメ
ージ属性と比較するステップと、 （Ｃ）少なくとも一部はイメージ属性の比較に基づい
て、各ブロックに焦点尺度を割り当てるステップと、前記焦点尺度は端部の幅の推定値と端部焦点傾斜の大き
さとの関数である、 （Ｄ）各ブロックの焦点尺度と、しきい値焦点尺度とを
比較するステップと、 （Ｅ）しきい値以上の焦点尺度を有するブロックを合焦
点部分として指定し、しきい値以下の焦点尺度を有する
ブロックを非合焦点部分として指定するステップと、 （Ｆ）少なくとも一部はこの指定に基づいて細分化され
たフレームを生成するステップとからなることを特徴と
するブロックを有する元の画像フレームを関連部分と非
関連部分に細分化する方法。 - 【請求項２】 前記イメージ属性は、輝度成分であるこ
とを特徴とする請求項１の方法。 - 【請求項３】 前記各ブロックは、単一のペルを含むこ
とを特徴とする請求項２の方法。 - 【請求項４】 前記イメージ属性は、隣接するブロック
のイメージ属性と比較することを特徴とする請求項１の
方法。 - 【請求項５】 （Ｇ）元のフレーム信号を平滑化するス
テップをさらに有することを特徴とする請求項１の方
法。 - 【請求項６】 前記（Ｇ）のステップは、ブロックの輝
度成分と隣接するブロックの輝度成分とを平均化するス
テップを含むことを特徴とする請求項５の方法。 - 【請求項７】 前記（Ｂ）のステップは、ブロックのペ
ルのマトリックスをイメージ応答アレイでもって畳み込
み処理をするステップを含むことを特徴とする請求項１
の方法。 - 【請求項８】 前記イメージ応答アレイは、ソベル（So
bel） 応答アレイであることを特徴とする請求項７の方
法。 - 【請求項９】 前記焦点尺度は、前記端部の幅に逆比例
することを特徴とする請求項８の方法。 - 【請求項１０】 （Ｈ）前記しきい値焦点尺度を計算す
るステップをさらに有することを特徴とする請求項１の
方法。 - 【請求項１１】 前記しきい値焦点尺度の計算は、フレ
ームのあるパーセントに基づいて行われることを特徴と
する請求項１０の方法。 - 【請求項１２】 前記あるフレームのパーセントは、伝
送可能なバンド幅に基づいて決定されることを特徴とす
る請求項１１の方法。 - 【請求項１３】 （Ｉ）前記合焦点部分のアウトライン
を前記指定された部分に基づいて生成するステップ、 をさらに含み、前記細分化されたフレームは、前記アウ
トラインの少なくとも一部に基づいて生成されることを
特徴とする請求項１の方法。 - 【請求項１４】 （Ｊ）各ブロックの動きを測定するス
テップと、 （Ｋ）前記動きの測定に基づいて、各ブロックに動き値
を割り当てるステップと、 （Ｌ）各ブロックの動き尺度としきい値動き尺度とを比
較するステップと、 （Ｍ）動きしきい値以上の動き尺度を有するブロックを
動きブロックとして指定し、動きしきい値以下の動き尺
度を有するブロックを非動きブロックとして指定するス
テップと、 からなり前記細分化フレームは、少なくとも一部は、前
記動き指定に基づいて生成されることを特徴とする請求
項１の方法。 - 【請求項１５】 （Ｎ）焦点尺度に基づいて焦点テンプ
レートを生成するステップと、 （Ｏ）動き指定に基づいて、動きテンプレートを生成す
るステップと、 （Ｐ）前記焦点テンプレートと動きテンプレートとに基
づいて合成テンプレートを生成するステップと、 をさらに有し、前記細分化フレームは、前記合成テンプ
レートに基づいて形成されることを特徴とする請求項１
４の方法。 - 【請求項１６】 前記合成テンプレートは、前記動きテ
ンプレートと前記焦点テンプレートの交差（intersecti
on）であることを特徴とする請求項１５の方法。 - 【請求項１７】 （Ｑ）合成テンプレートをアウトライ
ン化し、アウトライン信号を生成するステップをさらに
有し、前記細分化フレームは、このアウトライン信号に
基づいて生成されることを特徴とする請求項１６の方
法。 - 【請求項１８】 前記しきい値焦点尺度は、第１しきい
値焦点尺度であり、 （Ｒ）各ブロックの焦点尺度を第２しきい値焦点尺度と
比較するステップと、 （Ｓ）前記第１しきい値焦点尺度と第２しきい値焦点尺
度との間の焦点尺度を有するブロックを中間ブロックと
して指定するステップと、 をさらに有し、前記細分化フレームは、合焦点，中間，
非合焦点の指定に少なくとも一部は基づいて生成される
ことを特徴とする請求項１の方法。 - 【請求項１９】 デジタル信号を圧縮する際に使用する
ためにビデオフレーム内の関連情報のアウトラインを表
す出力信号を生成する装置において、 （Ａ）デジタル信号を受信する受信手段と、 前記受信したデジタル信号は、イメージ属性を有する複
数のブロックを表し、 （Ｂ）前記ブロックのイメージ属性を蓄積する蓄積手段
と、 （Ｃ）前記出力信号を生成するために前記受信したデジ
タル信号を処理する処理手段と、 からなり、前記（Ｃ）の処理手段は、 （Ｃ１）属性のマトリックスを蓄積し、 （Ｃ２）前記蓄積したマトリックスの少なくともその一
部に基づいて焦点傾斜を計算し、 （Ｃ３）端部の幅を推定し、 （Ｃ４）焦点傾斜の大きさと端部の幅との比率からなる
関数である焦点尺度を計算し、 （Ｃ５） 前記焦点尺度に基づいて各ブロックと焦点値と
を関連付け、（Ｃ６） 各焦点値と焦点しきい値とを比較し、（Ｃ７） 焦点しきい値以上の焦点値を有する各ブロック
を合焦点と指定し、（Ｃ８） 焦点しきい値以下の焦点値を有する各ブロック
を非合焦点と指定し、（Ｃ９） 前記合焦点のブロックの少なくとも一部に基づ
いて焦点アウトラインを規定することを特徴とするビデ
オフレーム内の関連情報のアウトラインを表す出力信号
を生成する装置。 - 【請求項２０】 前記（Ｃ）の処理ステップは、（Ｃ１０） 前記蓄積したマトリックスに少なくともその
一部に基づいて動き傾斜を計算し、（Ｃ１１） 前記動き傾斜に基づいて各ブロックと動き値
とを関連付け、（Ｃ１２） 各動き値と動きしきい値とを比較し、（Ｃ１３） 動きしきい値以上の動き値を有する各ブロッ
クを動きと指定し、（Ｃ１４） 動きしきい値以下の動き値を有する各ブロッ
クを静止と指定し、（Ｃ１５） 前記動き点のペルに少なくとも一部は基づい
て動きアウトラインを規定する、（Ｃ１６） 前記焦点テンプレートと動きテンプレートと
に基づいて動き／焦点アウトラインを規定することを特
徴とする請求項１９の装置。 - 【請求項２１】 前記イメージ属性は、輝度成分である
ことを特徴とする請求項１９の装置。 - 【請求項２２】 前記（Ｃ）の処理手段は、焦点しきい
値を計算することを特徴とする請求項１９の装置。 - 【請求項２３】 前記（Ｃ）の処理手段は、ビデオフレ
ームのある部分に基づいて焦点しきい値を計算すること
を特徴とする請求項１９の装置。 - 【請求項２４】 前記（Ｃ）の処理手段は、所定のバン
ド幅に基づいて焦点しきい値を計算することを特徴とす
る請求項１９の装置。 - 【請求項２５】 動きビデオフレームを関連部分と非関
連部分に細分化するプレフィルタにおいて、 （Ａ）動きビデオの元のフレームに対応する信号を受信
する手段と、 前記元のフレーム信号は、深さを有する部分を有し、ま
た、前記各部分は幅と焦点傾斜により特徴付けられる端
部を有するイメージを含有する、 （Ｂ）元のフレーム信号の各部分の深さを測定する手段
と、前記深さ尺度は前記部分の焦点度の尺度であり、また、
前記焦点 度は端部特徴の関数として決定され、前記測定
手段は、 （Ｂ１）端部の幅を推定する手段と、 （Ｂ２）焦点傾斜の大きさを推定する手段と、 （Ｂ３）焦点傾斜の大きさと端部の幅との比率からなる
関数を生成する手段とからなる、 （Ｃ）前記深さ尺度の少なくともその一部に基づいて、
前記各部分を前景あるいは背景として指定する手段と、 （Ｄ）前記（Ｃ）のステップの指定の少なくとも一部に
基づいて、テンプレートを生成する手段と、 （Ｅ）前記テンプレートに対応するテンプレート信号を
生成する手段と、 （Ｆ）元のフレーム信号とテンプレート信号とを組み合
わせて細分化フレーム信号を合成する手段とからなるこ
とを特徴とする動きビデオフレームを細分化するプレフ
ィルタ装置。 - 【請求項２６】 前記テンプレートは、焦点テンプレー
トで、 （Ｇ）元のフレーム信号の各部分の動きを測定する手段
と、 （Ｈ）各部分を前記の動きの測定の少なくとも一部に基
づいて動きと静止のいずれかに指定する手段と、 （Ｉ）前記の動きの指定の少なくとも一部に基づいて動
きテンプレートを生成する手段と、 （Ｊ）前記動きテンプレートに対応して動きテンプレー
ト信号を生成する手段と、 （Ｋ）合成動き／焦点テンプレート信号を生成するため
に動きテンプレート信号と焦点テンプレート信号とを比
較する手段と、 （Ｌ）元のフレーム信号と動き／焦点テンプレート信号
とを合成して合成細分化フレーム信号を合成する手段と
をさらに有することを特徴とする請求項２５の装置。 - 【請求項２７】 前記（Ｉ）のテンプレート生成手段
は、 （Ｉ１）水平方向レベルに配置された前景部分（複数）
の間に配置されたフレーム信号の各部分を前景として指
定する手段と、 （Ｉ２）垂直方向レベルに配置された前景部分（複数）
の間に配置されたフレーム信号の各部分を前景として指
定する手段とを有することを特徴とする請求項２５の装
置。 - 【請求項２８】 前記（Ｊ）のテンプレート信号生成手
段は、前記テンプレートのアウトラインに対応する信号
を生成する手段を含むことを特徴とする請求項２５の装
置。 - 【請求項２９】 細分化フレームに対応する信号を生成
する方法において、 （Ａ）元のフレームに対応し、各ペルに対するイメージ
属性を有する信号を得るステップと、 （Ｂ）各ペルのイメージ属性を他のペルのイメージ属性
と比較するステップと、 （Ｃ）前記の属性比較に基づいて元のフレーム信号中の
端部を検出するステップと、前記属性比較は焦点傾斜の大きさと端部の幅との推定値
を提供し、前記端部は前記焦点傾斜の大きさと端部の幅
との関数として検出される、 （Ｄ）端部にあるペルを合焦点と指定するステップと、 （Ｅ）端部にないペルを非合焦点として指定するステッ
プと、 （Ｆ）合焦点ペルに対応する信号を生成するステップ
と、 （Ｇ）前記合焦点ペル信号と元のフレーム信号に基づい
て細分化フレーム信号を生成するステップとからなるこ
とを特徴とする細分化フレーム信号に対応する信号を生
成する方法。 - 【請求項３０】 （Ｈ）異なるフレーム内の各ペルと対
応するペルとを比較するステップと、 （Ｉ）前記比較に基づいて各ペルの動きを測定するステ
ップと、 （Ｊ）動き尺度と動きしきい値とを比較し、しきい値以
上の動き尺度を有するペルを動きペルと指定し、しきい
値以下の動き尺度を有するペルを静止ペルと指定するス
テップと、 （Ｋ）前記動きペルに対応する信号を生成するステップ
と、 をさらに有し、前記細分化フレーム信号は、前記動きペ
ル信号に基づいて生成されることを特徴とする請求項２
９の方法。 - 【請求項３１】 ブロックからなるフレームを関連部分
と非関連部分に細分化する方法において、 （Ａ）フレームに対応し、各ブロックに対するイメージ
属性を有する信号を得るステップと、 （Ｂ）各ブロックのイメージ属性を他のブロックのイメ
ージ属性と比較するステップと、 （Ｃ）少なくとも一部はイメージ属性の比較に基づい
て、各ブロックに焦点尺度を割り当てるステップと、 前記焦点尺度は端部の幅の推定値からなる、 （Ｄ）各ブロックの焦点尺度と、しきい値焦点尺度とを
比較するステップと、 （Ｅ）しきい値以上の焦点尺度を有するブロックを合焦
点部分として指定し、しきい値以下の焦点尺度を有する
ブロックを非合焦点部分として指定するステップと、 （Ｆ）各ブロックの動きを測定するステップと、 （Ｇ）前記動き尺度に基づいて動き値を各ブロックに割
り当てるステップと、 （Ｈ）各ブロックの動き尺度をしきい値動き尺度と比較
するステップと、 （Ｉ）しきい値以上の動き尺度を有するブロックを動き
ブロックとして指定し、しきい値以下の動き尺度を有す
るブロックを静止ブロックとして指定するステップと、 （Ｊ）前記焦点及び動き指定に基づいて、細分化された
フレームを生成するステップとからなることを特徴とす
るブロックを有する元の画像フレームを関連部分と非関
連部分に細分化する方法。 - 【請求項３２】 （Ｋ）前記焦点指定に基づいて焦点テ
ンプレートを生成するステップと、 （Ｌ）前記動き指定に基づいて動きテンプレートを生成
するステップと、 （Ｍ）前記焦点テンプレートと前記動きテンプレートに
基づいて合成テンプレートを生成するステップと、 を更に有することを特徴とする請求項３１の方法。 - 【請求項３３】 前記合成テンプレートは、前記動きテ
ンプレートと前記焦点テンプレートの交差（intersecti
on）であることを特徴とする請求項３２の方法。 - 【請求項３４】 （Ｎ）合成テンプレートをアウトライ
ン化し、アウトライン信号を生成するステップをさらに
有し、前記細分化フレームは、このアウトライン信号に
基づいて生成されることを特徴とする請求項３３の方
法。 - 【請求項３５】 デジタル信号を圧縮する際に使用する
ためにビデオフレーム内の関連情報のアウトラインを表
す出力信号を生成する装置において、 （Ａ）デジタル信号を受信する受信手段と、 前記受信したデジタル信号は、イメージ属性を有する複
数のブロックを表し、 （Ｂ）前記ブロックのイメージ属性を蓄積する蓄積手段
と、 （Ｃ）前記出力信号を生成するために前記受信したデジ
タル信号を処理する処理手段と、 からなり、前記（Ｃ）の処理手段は、 （Ｃ１）属性のマトリックスを蓄積し、 （Ｃ２）前記蓄積したマトリックスの少なくともその一
部に基づいて焦点傾斜を計算し、 （Ｃ３）前記焦点尺度及び端部の幅の推定値に基づいて
各ブロックと焦点値とを関連付け、 （Ｃ４）各焦点値を焦点しきい値と比較し、 （Ｃ５）焦点しきい値以上の焦点値を有する各ブロック
を合焦点と指定し、 （Ｃ６）焦点しきい値以下の焦点値を有する各ブロック
を非合焦点と指定し、 （Ｃ７）前記合焦点のブロックの少なくとも一部に基づ
いて焦点アウトラインを規定し、 （Ｃ８）焦点が合ったブロック間の領域を合焦点と指定
することにより焦点テンプレートを規定し、 （Ｃ９）前記蓄積したマトリックスの少なくともその一
部に基づいて動き傾斜を計算し、 （Ｃ１０）前記動き傾斜に基づいて各ブロックと動き値
とを関連付け、 （Ｃ１１）各動き値を動きしきい値と比較し、 （Ｃ１２）動きしきい値以上の動き値を有する各ブロッ
クを動きブロックと指定し、 （Ｃ１３）動きしきい値以下の動き値を有する各ブロッ
クを静止ブロックと指定し、 （Ｃ１４）前記動きブロッックの少なくともその一部に
基づいて動きテンプレートを規定し、 （Ｃ１５）前記焦点テンプレート及び前記動きテンプレ
ートに基づいて動き／焦点アウトラインを規定すること
を特徴とするビデオフレーム内の関連情報のアウトライ
ンを表す出力信号を生成する装置。 - 【請求項３６】 動きビデオフレームを関連部分と非
関連部分に細分化するプレフィルタにおいて、 （Ａ）元のフレームに対応する信号を受信する手段と、 前記元のフレーム信号は、深さを有する部分を有する、 （Ｂ）端部の幅の推定値の一部に基づいて、元のフレー
ム信号の各部分の深さを測定する手段と、 （Ｃ）前記深さ尺度の少なくともその一部に基づいて、
前記各部分を前景あるいは背景として指定する手段と、 （Ｄ）前記（Ｃ）のステップの指定の少なくとも一部に
基づいて、焦点テンプレートを生成する手段と、 （Ｅ）前記焦点テンプレートに対応する焦点テンプレー
ト信号を生成する手段と、 （Ｆ）前記元のフレーム信号の各部分の動きを測定する
手段と、 （Ｇ）前記動き尺度の少なくともその一部に基づいて、
各部分を、動き部分又は静止部分の何れかに指定する手
段と、 （Ｈ）前記動き指定の少なくともその一部に基づいて、
動きテンプレートを生成する手段と、 （Ｉ）前記動きテンプレートに対応する動きテンプレー
ト信号を生成する手段と、 （Ｊ）合成動き／焦点テンプレート信号を導き出すため
に、前記動きテンプレート信号と前記焦点テンプレート
信号を比較する手段と、 （Ｋ）元のフレーム信号と合成動き／焦点テンプレート
信号とを合成して合成細分化フレーム信号を生成する手
段とからなることを特徴とする動きビデオフレームを細
分化するプレフィルタ装置。 - 【請求項３７】 細分化フレームに対応する信号を生成
する方法において、（Ａ）元のフレームに対応し、各ペ
ルに対するイメージ属性を有する信号を得るステップ
と、 （Ｂ）各ペルのイメージ属性を他のペルのイメージ属性
と比較するステップと、 （Ｃ）端部の幅の推定値を提供する前記の属性比較に基
づいて元のフレーム信号中の端部を検出するステップ
と、 （Ｄ）端部にあるペルを合焦点と指定するステップと、 （Ｅ）端部にないペルを非合焦点として指定するステッ
プと、 （Ｆ）合焦点ペルに対応する信号を生成するステップ
と、 （Ｇ）各ペルを異なるフレーム内の対応ペルと比較する
ステップと、 （Ｈ）前記比較に基づいて各ペルの動きを測定するステ
ップと、 （Ｉ）前記動き尺度を動きしきい値と比較し、しきい値
以上の動き尺度を有するペルを動きペルと指定し、しき
い値以下の動き尺度を有するペルを静止ペルと指定する
ステップと、 （Ｊ）前記動きペルに対応する信号を生成するステップ
と、 （Ｋ）合焦点ペル信号、動きペル信号及び元のフレーム
信号に基づいて細分化フレーム信号を生成するステップ
とからなることを特徴とする細分化フレーム信号に対応
する信号を生成する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US42826595A | 1995-04-25 | 1995-04-25 | |
| US428265 | 1995-04-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08307867A JPH08307867A (ja) | 1996-11-22 |
| JP3266501B2 true JP3266501B2 (ja) | 2002-03-18 |
Family
ID=23698178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10080596A Expired - Fee Related JP3266501B2 (ja) | 1995-04-25 | 1996-04-23 | 画像フレームの細分化方法とその装置 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP0741496B1 (ja) |
| JP (1) | JP3266501B2 (ja) |
| CA (1) | CA2173888C (ja) |
| DE (1) | DE69619887T2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2199973A3 (en) | 1997-06-09 | 2010-09-08 | Seiko Epson Corporation | An image processing apparatus and method, and an image evaluation device and method |
| US6404901B1 (en) | 1998-01-29 | 2002-06-11 | Canon Kabushiki Kaisha | Image information processing apparatus and its method |
| KR101348596B1 (ko) | 2008-01-22 | 2014-01-08 | 삼성전자주식회사 | 임장감 생성 장치 및 방법 |
| US9064295B2 (en) * | 2013-02-04 | 2015-06-23 | Sony Corporation | Enhanced video encoding using depth information |
| EP3021583B1 (en) | 2014-11-14 | 2019-10-23 | Axis AB | Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system |
| CN115243017B (zh) * | 2022-08-03 | 2024-06-07 | 上海研鼎信息技术有限公司 | 一种改善图像质量的方法及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8906587D0 (en) * | 1989-03-22 | 1989-05-04 | Philips Electronic Associated | Region/texture coding systems |
| JP3028553B2 (ja) * | 1990-04-09 | 2000-04-04 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP3175175B2 (ja) * | 1991-03-01 | 2001-06-11 | ミノルタ株式会社 | 合焦検出装置 |
-
1996
- 1996-04-11 CA CA002173888A patent/CA2173888C/en not_active Expired - Fee Related
- 1996-04-17 EP EP96302703A patent/EP0741496B1/en not_active Expired - Lifetime
- 1996-04-17 DE DE69619887T patent/DE69619887T2/de not_active Expired - Lifetime
- 1996-04-23 JP JP10080596A patent/JP3266501B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| ＩＥＥＥ ｔｈｅ １２ｔｈ ＩＡＰＲ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９４ Ｖｏｌ．１ − Ｃｏｎｆｅｒｅｎｃｅ Ａ：ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＆ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｇ（Ａｕｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｏｆ ｐａｒｔｉｃｌｅ ｈｏｌｏｇｒａｍｓ）ｐ．７８１−７８３ |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2173888A1 (en) | 1996-10-26 |
| CA2173888C (en) | 2000-04-04 |
| EP0741496A3 (en) | 1999-11-17 |
| EP0741496B1 (en) | 2002-03-20 |
| JPH08307867A (ja) | 1996-11-22 |
| EP0741496A2 (en) | 1996-11-06 |
| DE69619887D1 (de) | 2002-04-25 |
| DE69619887T2 (de) | 2002-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5710829A (en) | System and method for focused-based image segmentation for video signals | |
| JP3621152B2 (ja) | 特徴点の特定装置及びその方法 | |
| US6301385B1 (en) | Method and apparatus for segmenting images prior to coding | |
| US5854856A (en) | Content based video compression system | |
| EP0579319B1 (en) | Tracking moving objects | |
| KR100583902B1 (ko) | 이미지세그멘테이션 | |
| EP0952552A2 (en) | Method for generating 2-D images from 3-D video data | |
| KR101134668B1 (ko) | 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체 | |
| CN103927767B (zh) | 图像处理方法及图像处理装置 | |
| AU2005272287A1 (en) | Method and device for motion estimation and compensation for panorama image | |
| JP2002534014A (ja) | ビデオ用途における増加されたビデオ再生フレームレート | |
| JP2002519915A (ja) | 領域を基礎とする画像処理方法および装置 | |
| JP2002271795A (ja) | 画像符号化方法と装置および画像復号方法と装置 | |
| JP2004504736A (ja) | 三次元画像生成方法及び装置 | |
| JP3055438B2 (ja) | ３次元画像符号化装置 | |
| JP3266501B2 (ja) | 画像フレームの細分化方法とその装置 | |
| US7085419B2 (en) | Method and apparatus for coding and decoding image data | |
| KR20060111528A (ko) | 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 | |
| JPH08205149A (ja) | ビデオ信号の符号化方法 | |
| US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
| JP4039858B2 (ja) | 画像マッチング方法と装置、および画像符号化方法と装置 | |
| JP3903445B2 (ja) | 最適グリッド決定方法及びその装置 | |
| JP2007122751A (ja) | 画像処理のための方法、装置、プログラム | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| Kim et al. | Stochastic approach for motion vector estimation in video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100111 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |