JP3318848B2

JP3318848B2 - デジタル画像信号の伝送装置

Info

Publication number: JP3318848B2
Application number: JP20730193A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-07-29
Filing date: 1993-07-29
Publication date: 2002-08-26
Anticipated expiration: 2017-08-26
Also published as: JPH0746534A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、低ビットレートでの
伝送が可能な、デジタル画像信号の伝送装置に関する。

【０００２】

【従来の技術】動画像のデジタル画像データは、非常に
多量の情報を含んでおり、これをそのまま伝送しようと
すると、伝送ビットレートが非常に高くなってしまう。
このため、磁気テープや光磁気ディスクなどを用いてデ
ジタル画像データを記録再生する場合のように、伝送ビ
ットレートが制限された低いレートの記録媒体を用いて
記録するようにする場合には、従来は、一般的に、画像
が時空間の情報であることを利用してデータ圧縮するよ
うにしている。

【０００３】例えば、デジタル画像データのフレーム間
の差を取り、その差をＤＣＴ（ディスクリート・コサイ
ン・トランスフォーム（離散コサイン変換））を用いて
データ圧縮するなど、デジタル画像データを圧縮して伝
送するようにすることが、従来から行なわれている。さ
らには、テレビ会議などでは、画像が動きが少ないもの
であることに鑑み、フルフレームを伝送するのではな
く、片フィールドのデータのみを伝送するようにするな
ど、情報量を間引いて伝送することなども行なわれてい
る。

【０００４】片フィールドではなく、さらに伝送するフ
ィールド数を少なくして時間情報を犠牲にし、空間情報
は確保することにより、画像は綺麗であるが、動きがギ
クシャクするような場合もある。

【０００５】しかし、このように動きがギクシャクした
のでは、動画の良さが損なわれるので、１フレームあた
りの画像データを、できるだけデータ圧縮してフルフレ
ームを伝送し、空間解像度を犠牲にするが、動画として
フルモーションで再生できるようにする方法も考えられ
ている。

【０００６】

【発明が解決しようとする課題】上述したように、従来
のデジタル画像信号の伝送方法は、画像データを、時間
方向、あるいは空間方向にデータ圧縮して伝送レートを
下げるように工夫している。

【０００７】しかしながら、データ圧縮のみにより伝送
ビットレートを下げるようにした場合、例えば、時間方
向に圧縮した場合には、動画像の動きが、ギクシャクと
したものとなり不自然な画像となってしまう。また、空
間方向に圧縮した時は、空間解像度がそれだけ劣化する
ため、再生画像が劣化してしまう。

【０００８】すなわち、従来の方法は、データ圧縮のみ
によりビットレートを下げるようにしているため、時間
方向あるいは空間方向のデータの一方を犠牲、あるいは
両方を犠牲にしており、再生画像として満足のゆくもの
を得ることは、なかなかできなかったのである。

【０００９】この発明は、伝送レートが低くても、でき
るだけ美しい再生画が得られると同時に、動きがスムー
ズにできるように工夫した、デジタル画像信号の伝送装
置を提供することを目的としている。

【００１０】上記課題を解決するため、請求項１に記載
のこの発明によるデジタル画像信号の伝送装置は、予
め、背景画の静止画情報と、この背景画上を動く動き物
体の情報とに分ける手段と、上記背景画の静止画情報を
記憶するものであって、基準画面に対してずれた画面領
域を含む１画面分よりも大きい静止画の情報を記憶可能
な背景メモリ手段と、入力デジタル画像信号から１画面
分の大きさの背景画の静止画を分離する手段と、上記分
離した最初の静止画を、上記基準画面の静止画として、
上記背景メモリ手段に記憶する手段と、上記分離した背
景画の静止画の、上記基準画面に対する画枠位置の変化
を検出する手段と、上記分離した静止画と、上記背景メ
モリ手段に記憶されている静止画との不一致部分である
画像変化情報を求める手段と、上記画像変化情報に基づ
いて、上記背景メモリ手段の上記静止画情報を更新する
手段と、上記背景メモリ手段の上記更新された静止画情
報と、上記基準画面に対する画枠位置の変化の情報と、
上記動き物体の情報とを伝送する伝送手段とを備えてな
ることを特徴とする。

【００１１】また、請求項２に記載のこの発明によるデ
ジタル画像信号の伝送装置は、後述の実施例の参照符号
を対応させると、入力デジタル画像信号から、予め、そ
の画面を構成する背景画の静止画からなる背景プレーン
情報と、上記背景画上を動く動き物体のそれぞれの静止
画からなる１〜複数個の動物体プレーン情報とを分離す
る分離手段２２と、上記分離された背景プレーン情報及
び各動物体プレーン情報をそれぞれ個別に記憶するメモ
リ手段２３ＢＧ及び２３Ａ１〜２３Ａｎと、上記入力デ
ジタル画像信号及び上記メモリ手段の出力に基づいて、
上記背景プレーン情報及び動物体プレーン情報として記
憶された静止画に対する変化情報を検出する変化情報検
出手段２２と、この変化情報検出手段の出力を圧縮符号
化する符号化手段２６と、上記変化情報検出手段の出力
により上記メモリ手段のプレーン情報を更新する手段
と、上記メモリ手段の上記更新された複数のプレーン情
報の静止画情報と、上記符号化手段からの変化情報とを
伝送する伝送手段とを備えることを特徴とする。

【００１２】

【作用】上記の構成のこの発明においては、例えば、特
定の画像内容からなる１つのシーンについて考えた時、
そのシーンの画像は、固定の静止画と考えられる背景画
と、動き物体とに分けてとらえる。特に、請求項２の発
明においては、動き物体も、その静止画と、その動き変
化などの変化情報に分けて伝送する。この請求項２の発
明の作用について、以下説明する。

【００１３】すなわち、この請求項２の発明において
は、動画の１フレームの二次元画像を、背景及び複数個
の動き物体のそれぞれの静止画からなる二次元プレーン
の重なりと捕らえる。そして、動き物体については、そ
の動き物体の動き方向、移動距離、物体の形状変化など
の変化情報を抽出する。そして、動画データとして、上
記の背景画プレーン及び動き物体プレーンを伝送すると
共に、動き物体プレーンについての変化情報を伝送す
る。

【００１４】受信側では、背景プレーンの背景画の上
に、動き物体プレーンの動き物体を、その変化情報に応
じて重ねることにより、動画を再生するようにする。

【００１５】この場合、それぞれの背景プレーン及び動
き物体の動きプレーンは１枚の静止画であって、この静
止画の情報は、１つのシーンについて、それぞれ１枚だ
け、伝送すれば足りる。数秒以上からなる１シーンにつ
いて、それぞれ１枚の静止画を伝送すればよいから、こ
れは、低い伝送レートであっても、大量のデータ量を伝
送することができる。したがって、高画質となる。そし
て、変化情報は、高々、数ビットでよいので、１シーン
の内の静止画情報を伝送した残りの時間であっても、余
裕を持ってリアルタイムで伝送することも可能である。

【００１６】ところで、背景プレーン及び動物体プレー
ンのそれぞれを分離する場合に、例えば背景画について
は、動き物体により隠れた部分は、動き物体がその部分
から完全に移動してしまわないと現れない。また、動き
物体も、その物体分の移動量が無いと、当該動き物体を
１物体として分離することができない。

【００１７】そこで、この発明の伝送装置においては、
初期的に背景プレーンメモリ及び動物体プレーンメモリ
に記憶された背景プレーン情報及び動物体プレーン情報
は、それに対する変化分を伝送しながら変更して更新す
る。そして、初期的な背景プレーン情報、動物体プレー
ン情報は伝送せずに、更新されて、最適となった状態の
背景プレーン情報及び動物体プレーン情報を伝送するよ
うにする。

【００１８】

【実施例】以下、この発明によるデジタル画像信号の伝
送装置の一実施例を、光磁気ディスクを記録媒体として
用いるディスク装置に適用した場合について、図を参照
しながら説明する。

【００１９】この例の装置は、例えばＣＣＤ固体撮像素
子を用いるビデオカメラ部を備え、このビデオカメラ部
１で撮影して得た画像信号を、Ａ／Ｄコンバータによ
り、デジタル画像信号に変換して、光磁気ディスクに記
録するものである。そして、この例では、後述する再生
装置の部分を記録装置と共に備えるものである。

【００２０】［デジタル画像信号のディスク記録装置の
説明］図１は、この例の装置のディスク駆動系及びブロ
ック図を示し、この例の装置は、ビデオカメラ部１と、
記録信号系２と、全体の制御を行うためのシステムコン
トローラ３と、ディスク駆動系１０とからなり、ビデオ
カメラ部１の撮像出力信号が、記録信号系２を介して記
録されるようにされている。

【００２１】ディスク駆動系１０において、１１は光磁
気ディスクである。この光磁気ディスク１１は、カート
リッジ１１Ａ内に収納されて構成されている。また、デ
ィスク１１には、予め、光スポット制御用（トラッキン
グ制御用）のプリグルーブが形成されていると共に、こ
の例の場合には、このプリグルーブにトラッキング用の
ウォブリング信号に重畳して絶対アドレスデータが記録
されている。この絶対アドレスデータは、この記録時の
記録トラック位置制御、また、後述する再生時の再生走
査トラック位置制御のために用いられる。

【００２２】ディスク１１は、スピンドルモータ１２に
より回転される。スピンドルモータ１２の回転は、サー
ボ制御回路１５により制御され、ディスク１１が、例え
ば線速度一定の状態で回転するように制御される。

【００２３】ディスク１１にはシャッターが設けられて
おり、ディスク１１がディスク装着トレイ上に載置さ
れ、装置に装填されると、シャッターが開かれる。そし
て、ディスク１１のシャッター開口部の上部には記録用
の磁気ヘッド１３が対向して配置され、ディスク１１の
シャッター開口部の下部には光ピックアップ１４が対向
して配置される。

【００２４】光ピックアップ１４は発光部と受光部とを
有し、送りモータ１６により、ディスク１１の径方向に
移動制御される。また、サーボ制御回路１５により、光
ピックアップ１４のフォーカス及びトラッキング制御が
なされる。

【００２５】システムコントローラ３は、マイクロコン
ピュータを搭載して構成されており、全体の動作を管理
している。このシステムコントローラ３には、キー群４
からキー入力信号が与えられる。キー群４には、撮像録
画スタンバイキー、撮像録画スタートキー、再生キー、
停止キーなどが含まれる。

【００２６】［記録動作の説明］この例の場合、ビデオ
カメラ部１で撮影した動画像は、固定背景部と、その背
景上で動く動き部分とに分けて記録する。固定背景部
は、後述する背景プレーンメモリ２３ＢＧに登録して、
静止画として記録する。

【００２７】動き部分は、各々の動き物体にそれぞれ分
離し、後述する動物体プレーンメモリ２３Ａ１〜２３Ａ
ｎのそれぞれに登録して、その動き物体の静止画を記録
すると共に、各動物体プレーンの動き物体についての変
化情報を記録する。ビデオカメラでパン、チルト、ズー
ムなどの操作をした場合には、背景画も変化するので、
その変化分の画像情報も記録する。

【００２８】撮像画像が例えば図２に示すような２次元
画像３０の場合、図に示すように、動きのない建造物な
どからなる固定の静止画が背景プレーン３１として抽出
される。そして、動き物体としては、図２の例では、飛
行機と、猿と、自動車とが認識されて、それぞれ動物体
プレーン３２、３３、３４として分離される。分離され
たプレーン情報は、背景プレーンメモリ２３ＢＧ及び動
物体プレーンメモリ２３Ａ１〜２３Ａｎに書き込まれ
る。上記の変化情報は、入力画像信号とメモリ２３Ｂ
Ｇ、２３Ａ１〜２３Ａｎに記憶されたプレーン情報とか
ら生成される。

【００２９】そして、この例においては、図３に示すよ
うに、１シーンの記録を、静止画のプレーン情報の分離
期間Ｒａと、変化情報の生成及び記録並びにプレーン情
報の更新期間Ｒｂと、プレーン情報の記録期間Ｒｃとに
分けて行う。

【００３０】分離期間Ｒａでは、プレーン情報の記録は
行わず、後述するように、プレーン情報の分離と、その
分離したプレーン情報のプレーンメモリ２３ＢＧ、２３
Ａ１〜２３Ａｎへの書き込みを行う。

【００３１】期間Ｒｂでは、プレーンメモリ２３ＢＧ、
２３Ａ１〜２３Ａｎのプレーン情報と入力画像信号とか
ら変化情報を後述するように生成し、その変化情報の記
録を行う。これと同時に、その変化情報を用いて各メモ
リ２３ＢＧ、２３Ａ１〜２３Ａｎのプレーン情報の更新
を行い、メモリのプレーン情報を更新したものに書き直
す。

【００３２】期間Ｒｃは、１シーンの画像信号の終了後
の期間である。つまり、期間Ｒｂで入力画像信号に合わ
せてほぼリアルタイムで変化情報が記録されるものであ
る。そして、期間Ｒｃで、変化情報の記録終了後に、プ
レーンメモリに記憶されている更新後の各プレーン情報
を記録する。この期間Ｒｃは、入力信号のリアルタイム
記録の後の期間であるので、その記録は十分に時間をか
けて行うことができる。このため、プレーン情報は、圧
縮せずに、あるいは低圧縮率で記録することができる。

【００３３】［期間Ｒａでのプレーン分離の説明］この
場合、１画面分のプレーン情報は、例えば図４に示すよ
うに、４８０ライン×７２０画素で構成し、また、１画
素のデータを、輝度信号Ｙ（８ビット）及び色情報Ｕ、
Ｖ（８ビット）とで構成する。この例の場合、動物体プ
レーンメモリ２３Ａ１〜２３Ａｎは、この１画面分の静
止画情報を書き込むことができる容量のメモリで構成可
能である。

【００３４】しかし、背景プレーンメモリ２３ＢＧは、
カメラのパン、チルト、ズームを考慮して、図５に示す
ように、１画面分の画素情報以上の、この例では複数画
面分の画素情報を記憶可能な大容量メモリの構成とされ
る。すなわち、例えば背景プレーンメモリ２３ＢＧは、
図５に示すように、垂直方向に（４８０×ａ）ライン、
水平方向に（７２０×ｂ）画素の画素サンプルデータを
書き込むことができる容量を備える。ａ及びｂは、１以
上の数値である。

【００３５】なお、動物体プレーンメモリ２３Ａ１〜２
３Ａｎも、大きな動き物体を想定した場合には、背景プ
レーンと同様に１画面分以上の静止画素情報を記憶可能
な大容量メモリの構成としてもよい。しかし、以下の例
では、説明の簡単のため、動物体プレーンメモリ２３Ａ
１〜２３Ａｎは、１画面分の容量のメモリとする。

【００３６】背景プレーンメモリ２３ＢＧが上述のよう
な大容量を有しているので、背景画は、例えば、図５の
中央位置の画枠ＢＧｓの背景画ＢＧｓを中心としたと
き、この中央の背景画の周囲にカメラをパンニング、チ
ルトなどカメラ撮影画枠位置を変更したときに画枠内に
入ってくる背景をこの背景プレーンメモリ２３ＢＧに書
き込むことができる。つまり、この背景プレーンメモリ
２３ＢＧの全エリアに書き込まれた背景画は、１画面と
して表示される画枠に対して、垂直方向にはａ倍、水平
方向にはｂ倍の範囲の広い範囲のものとなる。

【００３７】このため、この背景プレーンメモリ２３Ｂ
Ｇの全範囲に背景画が書き込まれているときに、その中
央位置の１画面分の画枠の背景画のところで、カメラを
ズーミングして、広角側にしたときでも、上記ａ、ｂの
値に応じた広角範囲内であれば、そのズーム範囲の背景
画のすべてが背景プレーンメモリ２３ＢＧに書き込まれ
ている。

【００３８】期間Ｒａでは、後述するように、背景プレ
ーンメモリ２３ＢＧのほぼ中央のアドレスの画枠ＢＧｓ
の位置に、分離されて得られた１画面分の背景画の情報
が、図５に示すように、書き込まれ（以下、これを初期
背景プレーンという）、また、動物体プレーンメモリ２
３Ａ１〜２３Ａｎのそれぞれには、分離されて得られた
それぞれの動き物体の１画面分の静止画が書き込まれ
る。

【００３９】次に、図１について、この期間Ｒａのプレ
ーン分離及び記憶動作について説明する。

【００４０】カメラ部１からの撮像信号は、Ａ／Ｄコン
バータ２１に供給されて、例えば１画素サンプルが８ビ
ットのデジタル画像信号に変換されて、信号処理回路２
２に供給される。この信号処理回路２２では、カメラ部
１により撮像されたシーンの画像を、動きのない固定の
背景の静止画からなる背景プレーン（初期背景プレー
ン）と、この背景上で動くそれぞれの動き物体の静止画
からなる動物体プレーンとに分離する。

【００４１】そして、信号処理回路２２では、分離した
初期背景プレーンは、背景プレーンメモリ２３ＢＧの図
５に示した中央のアドレスに書き込む。また、分離した
ｎ個の動物体プレーンは、それぞれ動物体プレーンメモ
リ２３Ａ１〜Ａｎ（ｎは自然数）に書き込む。以上の背
景プレーン及び動物体プレーンの分離のための具体実施
例について説明する。

【００４２】［プレーン分離処理回路の実施例］図６
は、信号処理回路２２における背景プレーン及び複数個
の動物体プレーンに分離するためのプレーン分離処理回
路の、一実施例のブロック図である。

【００４３】すなわち、入力端子４１を通じたＡ／Ｄコ
ンバータ２１からの１画素８ビットの画像データは、フ
レームメモリ４２に供給されるとともに、減算回路４４
及び減算回路４５に供給される。また、入力画像データ
は、アンドゲート６１を介して動物体プレーン分離回路
６２に供給される。

【００４４】フレームメモリ４２は、１画素８ビットの
データを１フレーム分記憶し、減算回路４４において、
入力画素データから前のフレームの同一サンプリング位
置に対応する画素データが減算される。この減算回路４
４の差出力は、絶対値化回路４６に供給されて、絶対値
とされ、比較回路４７に供給される。

【００４５】比較回路４７には、端子４８を通じて、し
きい値θ１が供給され、絶対値化回路４６からの差出力
の絶対値がしきい値θ１未満の時には「１」となり、し
きい値θ１以上の時には「０」となる判定出力が得られ
る。この判定出力は、重み係数制御回路４９に供給され
る。

【００４６】図６において、２３ＢＧｓは、１画面分の
背景画（７２０画素×４８０ライン）を、記憶できる容
量の背景プレーンメモリであって、後述するように、初
期状態を経過すると、この背景プレーンメモリ２３ＢＧ
ｓに背景プレーン画像（静止画）が格納される。

【００４７】また、５０は、１フレームの重み係数が格
納される重み係数メモリである。この重み係数メモリ５
０には、例えば、３ビットの重み係数が記憶される。

【００４８】フレームメモリ４２、背景メモリ２３ＢＧ
ｓ及び重み係数メモリ５０は、アドレス制御回路４３の
出力により、共通にアドレス制御され、同一のアドレス
が指定されるようにされている。

【００４９】減算回路４５では、入力画素データから背
景プレーンメモリ２３ＢＧｓよりの画像データが減算さ
れ、この減算回路４５の差出力が絶対値化回路５１に供
給され、差出力の絶対値が求められる。この絶対値化回
路５１からの差の絶対値は、比較回路５２に供給され、
端子５３を通じたしきい値θ２と比較され、入力画素デ
ータと背景画素データの差出力の絶対値が、しきい値θ
２未満の時に「１」となり、しきい値θ２以上の時に
「０」となる判定出力が、この比較回路５２から得られ
る。この比較回路５２よりの判定出力は、重み係数制御
回路４９に供給される。

【００５０】減算回路４５からの入力画素データと背景
画素データとの差出力は、また、乗算回路５４に供給さ
れ、重み係数制御回路４９から発生する重み係数αが乗
じられる。この乗算回路５４の乗算出力は、加算回路５
５に供給されて、背景プレーンメモリ２３ＢＧｓからの
背景画素データと加算され、その加算出力が背景プレー
ンメモリ２３ＢＧｓに書き込まれる。

【００５１】重み係数制御回路４９からの重み係数が、
重み係数メモリ５０に書き込まれるとともに、この重み
係数メモリ５０から読み出された重み係数が重み係数制
御回路４９に供給される。

【００５２】重み係数制御回路４９は、比較器４７及び
５２の判定出力から画素データが動き画素かどうかの判
定を行なっている。

【００５３】以上の構成において、背景プレーンメモリ
２３ＢＧｓ、減算回路４５、乗算回路５４及び加算回路
５５は、背景プレーンメモリ２３ＢＧｓを１フレーム遅
延素子として用いたデジタルフィルタを構成している。
すなわち、重み係数をαとし、ｋフレーム目の入力画素
データをＺｋとし、背景プレーンメモリ２３ＢＧｓから
読み出された背景画像データをＸ（ｋ−１）とするとｋ
フレーム目の背景画素データ（推定値）Ｘｋは、次式で
示されるものとなる。

【００５４】Ｘｋ＝α・（Ｚｋ−Ｘ（ｋ−１））＋Ｘ（ｋ−１）＝（１−α）・Ｘ（ｋ−１）＋α・Ｚｋこの例においては、背景が変化しない１シーンの間で
は、αを例えば、１／16に固定している。入力画像中に
含まれるホワイト雑音は、上の式で表わされる演算を複
数フレームにわたって繰り返すことにより除去され、背
景プレーンメモリ２３ＢＧｓに蓄えられている背景画像
のＳ／Ｎが改善される。

【００５５】また、シーンが変わる時などのように、背
景が切り替わる時には、つまり、撮像シーンが、別の撮
像シーンに変わった場合には、応答時間を短くするとと
もに有色雑音の影響を受けないように、重み係数αを１
／16から１フレームごとに２倍ずつ乗算してゆく。つま
り、１／16→１／８→１／４→１／２→１と指数関数的
に増加する重み係数αを用い、徐々に背景画像の更新を
行なうようにしている。したがって、重み係数αは、５
種類あり、それぞれが３ビットにより表現されている。
重み係数αを２のべき乗にしているのは、乗算回路５４
をシフトレジスタあるいはセレクタによって実現するた
めである。

【００５６】この例においては、初期状態を経過する
と、背景プレーンメモリ２３ＢＧｓに背景静止画データ
が格納される。減算回路４５及び絶対値化回路５１によ
り、現画素と背景画素の差の絶対値が検出される。この
差の絶対値と、しきい値θ２が比較回路５２により比較
され、差の絶対値が、しきい値θ２未満の時に、現画素
が背景画像のものであると判定されて、次のような処理
が行なわれる。

【００５７】すなわち、このときは、重み係数αが２^-4
（＝１／16）に固定される。そして、乗算回路５４にお
いて、減算回路４５の出力に、この重み係数αが乗じら
れ、背景プレーンメモリ２３ＢＧｓの出力と加算回路５
５において加算される。そして、その加算出力が背景プ
レーンメモリ２３ＢＧｓの同一アドレスに書き込まれ、
背景プレーンメモリの更新が行なわれる。このときの重
み係数は、重み係数メモリ５０に書き込まれる。

【００５８】現画素と背景画素の差の絶対値が、しきい
値θ２以上であると比較回路５２において判定されたと
きには、減算回路４４及び絶対値化回路４６により検出
された現画素と、前フレームの対応する画素との差の絶
対値が、しきい値θ１未満か、または、しきい値θ１以
上かが比較回路４７の出力として調べられる。この比較
回路４７の出力が、しきい値θ１未満の時には、次のよ
うな処理が行なわれる。

【００５９】以上のようにして、背景プレーン及び複数
個の動物体プレーンに分離されて、プレーンメモリ２３
ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた各静止画の
画像情報は、前述の図３に示したように、また、図６Ａ
のタイムチャートに示すように、実際にビデオカメラに
よって撮像録画を開始する前の準備期間で、予めディス
ク１１に記録される。

【００６０】すなわち、しきい値θ１未満である場合に
は、シーンチェンジなどにより、背景が切り替わった時
のもので、最初に重み係数メモリ５０に記憶されている
重み係数α（＝１／16）が読み出され、乗算器５４によ
って、この重み係数αが減算回路４５の出力信号に対し
て乗じられる。したがって、このフレームでなされる背
景画素の更新は、Ｘｋ＝15／16・Ｘ（ｋ−１）＋１／16・Ｚｋで示される上述と同様のものである。

【００６１】背景画素の更新がなされると、重み係数制
御回路４９において、αが２倍にされるとともに、この
２倍にされた新たな重み係数が１より大きいかどうかが
判定され、１より小さければ、この２倍された重み係数
αが、重み係数メモリ５０に格納される。１／16の重み
係数からスタートすると、（１／８→１／４→１／２→
１）と１フレームごとに重み係数αが変化する。

【００６２】背景が切り替わって、上述のように重み係
数αが変化し、α＝１となる５フレーム後まで、上述と
同様の背景画素の更新の処理には移行しない。したがっ
て、有色雑音が誤って新たな背景画素として検出され
て、重み係数を変更させる処理を受ける場合でも、正し
い背景画素が保存されることになる。この重み係数αの
変化の仕方は、背景画素の更新時の応答性を良くすると
ともに、有色雑音を除去できるように設定される。

【００６３】比較回路４７において、現画素と前フレー
ム画素との差の絶対値が、しきい値θ１以上であると判
定された時には、これは、現画素が動き画素であると判
定されるもので、この場合には、背景プレーンメモリ２
３ＢＧｓの更新は行なわれない。この動き画素について
は、以下に述べるようにして、動きプレーンの分離の処
理が行なわれる。

【００６４】重み係数制御回路４９においては、比較回
路５２において、現画素と背景画素との絶対値が、しき
い値θ２以上であると検出され、かつ、比較回路４７の
出力から、現画素と前フレーム画素との差の絶対値が、
しきい値θ１以上である場合に、動き画素として検出さ
れるものである。

【００６５】重み係数制御回路４９からの動き画素の検
出信号は、アンドゲート６１に供給され、このアンドゲ
ートに入力されている入力端子４１からの入力デジタル
画素データがゲート制御される。このアンドゲート６１
は、現画素が動き画素の時に、ハイレベルになって開に
なる。したがって、入力画素（現画素）が動き画素でな
いときには、アンドゲート６１の出力は「０」となり、
入力画素が動き画素のときには、その画素データ（これ
は「０」ではないデータである。以下これをノンゼロの
データという）が、このアンドゲート６１から出力され
る。

【００６６】６２は、動物体プレーン分離回路で、１フ
レーム分の画素データを記憶可能な差分メモリ（フレー
ムメモリ）６２Ｍを備え、アンドゲート６１の出力がこ
のメモリ６２Ｍに入力される。このメモリ６２Ｍは、ア
ドレス制御回路４３からのアドレス制御信号により、前
述のフレームメモリ４２、背景プレーンメモリ２３ＢＧ
ｓ及び重み係数メモリ５０と同じアドレス制御を受け
る。

【００６７】したがって、差分メモリ６２Ｍには、背景
画が現画像から除去されて、ノンゼロのデータからなる
動き画素の集合からなる複数個の動き物体の画像のみか
らなる差分画像が蓄えられることになる。そして、図７
に示すように、動き物体のノンゼロ画素データ以外の画
素のデータとしては、「０」データが、メモリ６２Ｍに
書き込まれている。

【００６８】こうして差分メモリ６２Ｍには、１枚の２
次元画像中の複数個の動き物体の画素のデータが、
「０」でないレベルを有するノンゼロ画素データとして
書き込まれ、動き物体の画素以外の背景画の静止画部分
の画素データはオール「０」のデータとして記憶される
ものである。したがって、複数個の動き物体が互いに重
なり合っていないとすれば、差分メモリ６２Ｍの画素デ
ータを順次走査して、近接画素同志で、「０」でないノ
ンゼロ画素データを関連付けてマージ（統合）すること
により、各動き物体のそれぞれのみからなる動物体プレ
ーンを分離することが可能になる。

【００６９】６３は、マイコンであって、動物体プレー
ン分離回路６２の差分メモリ６２Ｍを走査し、以下のよ
うにして各動き物体ごとにプレーン分離し、分離した動
き物体プレーンの情報を対応するアドレスにおいて、各
動物体プレーンメモリ２３Ａ１〜２３Ａｎに書き込むよ
うにするものである。なお、動物体プレーンメモリ２３
Ａ１〜２３Ａｎのそれぞれのすべてのアドレスには、予
め、オール「０」が書き込まれており、各動き物体の画
素のみが、差分メモリ６２Ｍと同じアドレスにおいて、
いづれかの動物体プレーンメモリに書き込まれるもので
ある。

【００７０】図９及び図１０は、マイコン６３の動物体
プレーンの分離のための処理のフローチャートである。
すなわち、この場合の動き物体の分離の処理は、まず、
ステップ１０１において、ノンゼロの画素データをサー
チする（動き画素は０でないので、動き画素を探索する
ことになる）。そして、ステップ１０２で、ノンゼロの
画素データが見つかったならば、ステップ１０３に進ん
で、その周囲の画素データがノンゼロかどうかをチェッ
クする。この例の場合には、図８に示すように、注目画
素ｘの周辺の上下左右の８画素ａ〜ｈのデータをチェッ
クする。

【００７１】そして、次のステップ１０４において、８
画素ａ〜ｈのいづれのデータもノンゼロでなかったとき
には、注目画素ｘは、孤立点と見做してステップ１０４
からステップ１０１に戻って、次の動き画素を探す。

【００７２】ステップ１０４において、８画素ａ〜ｈの
内の１つでもノンゼロの画素があったときには、ステッ
プ１０４からステップ１０５に進み、注目画素ｘの左の
画素ｄと、上（１ライン前）の画素とｂがノンゼロの画
素であるか否かをチェックして、次のステップ１０６に
進む。

【００７３】次のステップ１０６では、左及び上の画素
ｄ及びｂが、両方共にノンゼロでないか否か判別され、
共にノンゼロでない、つまり動き画素でないときには、
ステップ１０７に進んで、動物体プレーンメモリのメモ
リ番号（以下、単にメモリ番号という）として新番号を
設定する。そして、ステップ１０８に進んで、そのメモ
リ番号を当該画素のアドレスに対応して記憶しておく。
その後、ステップ１０９に進んで、差分メモリ６２Ｍの
全画素の走査が終了したか否か判別し、全走査を終了し
たときには、この処理ルーチンを終了する。全走査を終
了していないときには、ステップ１０１に戻って、次の
動き画素の検索を始める。

【００７４】また、ステップ１０６において、左及び上
の画素ｄ及びｂのうち少なくともいずれかはノンゼロの
画素であると判別されたときには、ステップ１０６から
ステップ１１０に進み、両方共にノンゼロであるか否か
判別される。そして、両方共ノンゼロであると判別され
たときには、ステップ１１０からステップ１１１に進
み、両画素ｄ、ｂについてマイコン６３に記憶されてい
るメモリ番号をチェックする。そして、次のステップ１
１２に進んで、両画素ｄ、ｂのメモリ番号が一致してい
るか否か判別する。

【００７５】ステップ１１２における判別の結果、両画
素ｄ、ｂのメモリ番号が一致しているときには、ステッ
プ１１２からステップ１０８に進んで、そのメモリ番号
を当該注目画素ｘのアドレスに対応して記憶する。

【００７６】また、ステップ１１２における判別の結
果、両画素ｄ、ｂのメモリ番号が一致していないと判別
されたときには、ステップ１１２からステップ１１３に
進んで、左の画素ｄのメモリ番号を選択して、そのメモ
リ番号を当該注目画素ｘに関連させて記憶すると共に、
左の画素ｄのメモリ番号と上の画素ｂのメモリ番号と
は、関連があり、メモリ番号は異なっても１つの動き物
体の画素であることを示す情報（マージ情報と呼ぶ）を
記憶する。

【００７７】これは、動き物体が、ある水平走査ライン
のデータでは飛んだ位置の画素であるが、後のラインの
画素のサーチの結果、同一の動き物体の画素として繋が
っていることが判明する場合を示している。

【００７８】ステップ１１０における判別の結果、両方
共にはノンゼロではないときには、このステップ１１０
からステップ１１５に進み、左の画素ｄがノンゼロであ
るか否か判別する。その判別の結果、左の画素ｄがノン
ゼロであるときには、ステップ１１６に進んで、その画
素ｄのメモリ番号をチェックし、その後、ステップ１０
８に進んで、その注目画素ｘのアドレスに対応して、そ
のメモリ番号を記憶する。

【００７９】ステップ１１５の判別の結果、左の画素ｄ
がノンゼロでない、つまり上の画素ｂがノンゼロである
と判別されたときには、ステップ１１７に進んで、上の
画素ｂのメモリ番号をチェックし、その後、ステップ１
０８に進んで、その注目画素ｘのアドレスに対応して、
そのメモリ番号を記憶する。

【００８０】前述したように、ステップ１０８の次に
は、ステップ１０９に進んで、差分メモリ６２Ｍのすべ
ての画素についてのサーチを終了したか否か判別して、
終了していなければ、ステップ１０１に戻って以上の処
理ルーチンを繰り返し、全画素のサーチが終了したら、
この処理ルーチンを終了する。

【００８１】以上の差分メモリ６２Ｍの画素サーチによ
り、マイコン６３の内蔵メモリには、１つ１つの動き物
体について、各動き物体に含まれる画素のアドレスに対
して、同じメモリ番号及びそれと関連するメモリ番号
が、両メモリ番号を関連付ける情報と共に記憶される。
マイコン６３は、同じ動き物体と認識された画素のメモ
リ番号を、１つの動画プレーンメモリのメモリ番号Ｎｏ
と対応付ける。これにより、それぞれの動き物体は、別
々の動画プレーンとして、次のようにして分離すること
ができる。

【００８２】すなわち、マイコン６３は、差分メモリ６
２Ｍから、動き画素データを順次読み出す。この差分メ
モリ６２Ｍの読み出し出力は、動画プレーンメモリ２３
Ａ１〜２３Ａｎのそれぞれに入力される。また、マイコ
ン６３は、読み出した画素について上述のようにして設
定し、記憶したメモリ番号Ｎｏの動画プレーンメモリに
のみ、書き込み画素アドレス（読み出し画素アドレスと
同じでよい）を供給して、その動き画素を、そのメモリ
番号Ｎｏの動画プレーンメモリに書き込んでゆく。

【００８３】こうして、動き物体プレーンメモリ２３Ａ
１〜２３Ａｎのそれぞれには、１つ１つの動き物体が、
分離されて、別々に記憶されるものである。

【００８４】以上の動き物体プレーンの分離方法では、
差分メモリ６２Ｍを、テレビジョン走査と同様に水平、
垂直に画素をサーチして、同じ動き物体に含まれる画素
をマージするようにしたが、１つの動き画素を検出した
とき、その周囲の画素を順次サーチしてノンゼロの画素
を追跡して、マージしてゆくと共に、そのマージした画
素データを、１つの動き物体プレーンメモリに同時に順
次書き込んでゆくようにして、１つの動き物体について
の動き物体プレーンメモリを完成するようにしてもよ
い。

【００８５】なお、ある時点で、２つの動き物体が重な
り合っているとしても、所定の時間経過した後は、その
動き物体は分離して観察することができるので、後述す
るように、動物体プレーンメモリを、変化情報の記録時
に更新することにより、上記の方法により、それぞれの
動き物体のみからなる動物体プレーン情報を、それぞれ
の動物体プレーンメモリが蓄積することができる。

【００８６】ところで、以上のようにして分離された初
期的なプレーン情報は、以下のような問題点がある。

【００８７】まず、背景プレーンＢＧについて考える
と、例えば、図１１Ａに示すように、ある時点で動き物
体Ｍにより隠されている背景部分は、その動き物体がそ
の位置を完全に移動したときに現れる。しかし、期間Ｒ
ａでは、上記の隠されている部分が現れるような動き物
体の完全移動期間としては短いので、動き物体の一部が
初期背景プレーンには含まれている。この問題は、動き
物体Ｍの動き変化に応じた背景の変化を求め、背景プレ
ーンを更新することで解決できる。そこで、次の期間Ｒ
ｂにおいて、背景プレーンメモリＢＧの内容を更新した
ものに書き換えるようにする。

【００８８】また、動物体プレーンについて考えると、
動き物体Ｍは、前述のように動き画素の集合として分離
される。このため、動きが遅い場合には、微小時間では
動きが現れない部分が生じる場合がある。すなわち、例
えば図１１Ｂに示すように、動き物体Ｍが自動車で、こ
れがゆっくり動いて期間Ｒａの期間に実線位置から破線
位置まで動いたとした場合、そのサイドドアｓｄの斜線
を付して示す部分は動き部分としては捕らえられず、こ
れは背景として捕らえられてしまう。しかし、この問題
も、動き物体の変化に応じて動物体プレーンを書き換え
てゆくことにより解決できる。そこで、次の期間Ｒｂに
おいて、動物体プレーンの内容を更新するようにする。

【００８９】［期間Ｒｂの説明］この期間においても、
先ず、上述の期間Ｒａと同様にして、信号処理回路２２
では、撮像信号から背景画及び各動き物体の静止画を分
離する。そして、その分離した静止画と、背景プレーン
メモリ２３ＢＧ及び各動物体プレーンメモリ２３Ａ１〜
２３Ａｎに登録されている初期背景プレーン及び動物体
プレーン情報とを比較し、変化情報の生成を行う。

【００９０】背景静止画については、図５に示したよう
に、初期背景プレーンの静止画の画枠ＢＧｓの背景プレ
ーンメモリ２３ＢＧ上の位置を基準して、これからの変
化方向及び変化量（パン、チルトの方向及び量、さらに
はズーム比など）の情報Ｖｓと背景静止画変化分の画像
情報ΔＰｓとを、背景プレーンに対する変化情報として
生成する。また、各動き物体については、それぞれの動
き物体の動き方向及び動き量Ｖｍ及び回転や形状変化な
どの動き変化による動物体プレーンとの差分の画像情報
ΔＰｍを生成する。

【００９１】そして、以上のようにして生成した変化情
報をリアルタイムでディスク１１に記録する処理を行
う。すなわち、上述のようにして生成した変化情報を圧
縮符号化回路２６に供給し、適当な圧縮率で圧縮符号化
を行い、記録処理回路２５に供給される。この記録処理
回路２５では、データをセクタ構造にするなど、ディス
ク１１の記録フォーマットに適合するデータ処理が行わ
れる。この記録処理回路２５の出力データは、順次、ヘ
ッド駆動回路２７を介して記録用磁気ヘッド１３に供給
され、ディスク１１に光磁気記録される。これにより、
ディスク１１には、図１２Ａのタイムチャートに示すよ
うに、背景画についての変化情報ΔＰｓ及びＶｓと、各
動き物体についての変化情報ΔＰｍ１〜ΔＰｍｎおよび
Ｖｍ１〜Ｖｍｎが、記録されるものである。

【００９２】この場合、記録される変化情報は、後述も
するように、画像情報をデータ圧縮して伝送する場合に
比べて少ないビット数となり、１．２Ｍｂｐｓの低記録
伝送レートであっても、リアルタイムで十二分に記録で
きる。上記の変化情報の検出方法の具体的な実施例は後
述する。

【００９３】この記録に伴って、信号処理回路２２で
は、背景静止画の変化分の画像情報、すなわち、画枠Ｂ
Ｇｓ内での変化分を求め、この画枠ＢＧｓ内の静止画情
報の更新補正を行うと共に、パン、チルトなどにより背
景として画枠ＢＧｓよりも増加したエリア分を含む画像
情報を背景プレーンメモリ２３ＢＧに書き込む処理も行
う。例えば、パン、チルトなどにより画枠位置が変化し
て、撮影した部分の背景静止画が図５の一点鎖線で示す
静止画ＢＧｐになると、図５で斜線を付して示す画像情
報がメモリ２３ＢＧに書き加えられる。

【００９４】また、同様にして、動物体プレーンについ
ての変化分により、各動物体プレーンメモリ２３Ａ１〜
２３Ａｎの内容を書き換える。

【００９５】こうして、背景プレーンメモリ２３ＢＧ及
び各動物体プレーンメモリ２３Ａ１〜２３Ａｎの静止画
情報が書き換えられ、背景プレーンメモリ２３ＢＧの記
憶内容の背景プレーンの情報は、初期背景プレーンより
も適切なものとなると共に、１画面分よりも広い範囲ま
で広がりを有する背景画の情報となる。

【００９６】そして、次の変化情報については、書き換
えられたプレーン情報に基づいて生成が行われる。しか
し、背景についての変化情報を生成する基本となるのは
初期背景プレーンの画枠位置ＢＧｓの１画面分の情報と
されている。

【００９７】以上の変化情報の生成及び背景プレーンメ
モリ２３ＢＧ及び各動物体プレーンメモリ２３Ａ１〜２
３Ａｎの静止画情報の書き換えが、その１シーンの終了
まで行われる。

【００９８】光磁気ディスク１１に対するデータの記録
は、次のようにして行われる。すなわち、ヘッド駆動回
路２７を介して記録用磁気ヘッド１３に供給されること
により、記録データで変調された磁界がディスク１１の
所定位置において印加される。また、光ピックアップ１
４からのレーザービームがディスク１１の同一位置に照
射される。この記録時は、記録トラックには、再生時よ
り大きな一定のパワーのレーザ光が照射されている。こ
の光照射と、磁気ヘッド１３による変調磁界とにより、
ディスク１１には熱磁気記録によってデータが記録され
る。磁気ヘッド１３と光ピックアップ１４とは、共に同
期してディスク１１の半径方向に沿って移動できるよう
に構成されている。

【００９９】また、記録時においては、光ピックアップ
１４の出力がＲＦアンプ２８を介してアドレスデコーダ
２９に供給されて、ディスク１１のトラックに沿って設
けられたプリグルーブにウォブル記録されている絶対ア
ドレスデータが抽出され、デコードされる。そして、そ
の検出された絶対アドレスデータが、記録処理回路２５
に供給され、記録データ中に挿入されて、ディスク１１
に記録される。また、絶対アドレスデータは、システム
コントローラ３に供給され、記録位置の認識及び位置制
御に用いられる。

【０１００】なお、この記録時、ＲＦアンプ２８からの
信号がサーボ制御回路１５に供給され、ディスク１１の
プリグルーブからの信号からスピンドルモータ１２の線
速度一定サーボのための制御信号が形成され、スピンド
ルモータ１２が速度制御される。

【０１０１】［背景画の変化情報及び動き物体について
の変化情報の生成］次に、信号処理回路２２での初期背
景プレーンに対する変化情報及び各動き物体についての
変化情報の生成回路の構成例について、図１３を参照し
ながら説明する。

【０１０２】これらの変化情報は、ビデオカメラ部１で
の撮影により得られる現画像情報から、背景プレーンメ
モリ２３ＢＧ、動物体プレーンメモリ２３Ａ１〜２３Ａ
ｎのデータを用いて生成される。図１３の回路は、期間
Ｒｂにおいて働く。

【０１０３】すなわち、Ａ／Ｄコンバータ２１からの撮
像データは、前述した信号処理回路２２のプレーン分離
回路で１画面分の背景プレーン情報及び各動き物体毎の
プレーン情報に分離される。そして、背景画及びそれぞ
れの各動き物体の１フレームの情報がフレームメモリ７
１ＢＧ及び７１Ａ１〜７１Ａｎに書き込まれる。このフ
レームメモリ７１ＢＧ、７１Ａ１〜７１Ａｎは、２フレ
ームバッファの構成とされ、背景画及び動き物体の情報
の書き込みが一方のフレームメモリに対して行われてい
るとき、他方のフレームメモリからの背景プレーン及び
動物体プレーンの情報データが読み出されて、そのデー
タが変化情報の生成のために使用される。

【０１０４】すなわち、フレームメモリ７１ＢＧからの
背景画の情報は、画枠位置変化検出回路７２ＢＧに供給
されると共に、フレームメモリ７１Ａ１〜７１Ａｎから
の各動き物体の画像情報は、動き変化検出回路７２Ａ１
〜７２Ａｎに供給される。そして、背景プレーンメモリ
２３ＢＧからの初期背景プレーンの静止画情報が画枠位
置変化検出回路７２ＢＧに供給されると共に、動物体プ
レーンメモリ２３Ａ１〜２３Ａｎに準備期間において記
憶されている動物体プレーン情報が、動き変化検出回路
７２Ａ１〜７２Ａｎに供給される。

【０１０５】画枠位置変化検出回路７２ＢＧでは、初期
背景プレーンの背景画情報と、フレームメモリ７１ＢＧ
の背景画情報とが比較され、両者のパターンマッチング
処理が行われ、一致する部分を除く図５に示した斜線部
の如き画像情報ΔＰｓが得られる。この比較処理の際
に、カメラの移動方向及び移動量の情報Ｖｓが参照され
る。この情報Ｖｓにより、マッチングのためのサーチ時
間を短縮することができる。

【０１０６】この情報Ｖｓは、図示しなかったが、カメ
ラ部１に、カメラをチルトやパンニングしたりして移動
させたとき、その移動方向及び距離を検知するジャイロ
スコープなどのセンサ手段を設け、このセンサ手段で検
知するようにする。また、例えば本装置は撮像装置用の
三脚などに取り付けて撮影を行うものとした場合には、
三脚に、カメラのパン、チルトの方向及び移動量を検知
するためのセンサを設けて、このセンサから上記情報Ｖ
ｓを得るようにしてもよい。

【０１０７】こうして得られた初期背景プレーンに対す
る変化情報Ｖｓ及びΔＰｓは、圧縮符号化回路２６に供
給される。

【０１０８】動き変化検出回路７２Ａ１〜７２Ａｎで
は、各動物体プレーンメモリ２３Ａ１〜２３Ａｎに記憶
されている動き物体と、フレームメモリ７１Ａ１〜７１
Ａｎからの各動き物体画像とのパターンマッチングによ
り、その動き物体についての動きベクトル、つまり動き
の方向と、動き量とが求められる。

【０１０９】この場合、動き物体は予め動物体プレーン
としてメモリに蓄えられているので、その形状が変化し
ないとすれば、特定の代表点、あるいは代表ブロックに
着目して、その代表点あるいは代表ブロックについてパ
ターンマッチングを行うことにより、動き物体全体につ
いての動きベクトルを抽出することができ、比較的短時
間でマッチング処理を行うことが可能である。このこと
は、背景画の画枠位置情報を検出する場合においても同
様のことが言える。

【０１１０】動き物体が向きを変えたり、形状を変えた
りしたとき、パターンマッチングで誤差が大きくなる。
そこで、この例では、動きベクトルと共に、その誤差分
を動き変化情報として伝送するようにする。

【０１１１】こうして、動き変化検出回路７２Ａ１〜７
２Ａｎで得られた各動物体プレーンメモリの動き物体に
ついての、動きベクトルと、マッチング誤差の情報は圧
縮符号化回路２６に供給される。

【０１１２】圧縮符号化回路２６では、その入力データ
をデータ圧縮する。前述したように、この圧縮後のデー
タ量は、画像情報に比べて非常に少なく、リアルタイム
でディスクに容易に記録することが可能である。

【０１１３】なお、カメラがズーミングされたときは、
そのズーム比情報を変化情報に含めると共に、撮像信号
との比較のために、背景プレーン及び動物体プレーンの
情報は、そのズーム比に応じてローパスフィルタ（デー
タ間引き）を通されるものである。

【０１１４】各動物体プレーンメモリの動き物体の動き
後の位置は、検出された動きベクトルを用いて容易にメ
モリ上のアドレスとして検出することができる。このた
め、動き物体同志の重なりが生じた状態を、複数個の動
き物体の画素のアドレスが同一になることにより認識す
ることができる。このように、複数個の動き物体に重な
りが生じた場合には、現画像で、その部分の画素とし
て、いずれの動き物体の画素が現れているかにより、動
き物体間の奥行きを検出する。そして、その奥行き情報
を、動き情報と共に、伝送するようにする。なお、奥行
き情報は、背景画と、動き物体についても求めるように
する。

【０１１５】また、動き物体についての動き変化情報と
しては、次の例のような予測動きベクトルと、物体変形
情報を伝送するようにしてもよい。すなわち、図１４の
例においては、フレームメモリ７１Ａ１〜７１Ａｎから
の入力画像情報から抽出された各動き物体のフレーム情
報は、差分演算回路７３Ａ１〜７３Ａｎに供給される。

【０１１６】また、動物体プレーンメモリ２３Ａ１〜２
３Ａｎの動物体プレーン情報が、予測回路７４Ａ１〜７
４Ａｎに供給され、予測動きベクトル発生回路７５Ａ１
〜７５Ａｎからの予測動きベクトルに基づいて、予測さ
れる現時点での移動後の各動き物体のフレーム画像デー
タがこれより得られる。そして、この予測された各動き
物体のフレーム画像データが、差分演算回路７３Ａ１〜
７３Ａｎに供給されて、フレームメモリ７１Ａ１〜７１
Ａｎからの入力画像情報から抽出された各動き物体のフ
レーム情報との差分が演算される。

【０１１７】差分演算回路７３Ａ１〜７３Ａｎでは、動
き物体の画像についての差分を、出力データとして圧縮
符号化回路２６に出力する。また、差分演算回路７３Ａ
１〜７３Ａｎは、上記動き物体の画像についての差分か
ら動きベクトルの差分を求め、出力データとして圧縮符
号化回路２６に供給すると共に、予測動きベクトル発生
回路７５Ａ１〜７５Ａｎに供給し、次のフレームに対す
る各動き物体についての予測動きベクトルを生成する。

【０１１８】なお、以上のいずれの例において、各プレ
ーンメモリの更新は、１シーンの最後まで続けてもよい
が、複数フレーム期間で変化分が所定のスレッショール
ド値より少なくなったときに、更新を停止するようにし
てもよい。これは、特に背景について有効である。つま
り、変化がなくなったときには、動き部分の無い固定の
背景画が得られたと考えられるからである。

【０１１９】［期間Ｒｃでの記録の説明］以上のように
して、１シーンの変化情報の記録が終了した後、期間Ｒ
ｂにおいて、逐次更新された背景プレーンメモリ２３Ｂ
Ｇ、動物体プレーンメモリ２３Ａ１〜２３Ａｎの静止画
情報の記録を行う。

【０１２０】この場合、１画面分のプレーン情報は、図
４に示したように、４８０ライン×７２０画素で構成さ
れ、また、１画素のデータが、輝度信号Ｙ及び色情報
Ｕ、Ｖで、１６ビットで構成されるので、各１画面分の
静止画情報は、それぞれ約５．６Ｍビットの情報量を有
する。このまま圧縮せずに、ディスク１１に記録するこ
ともできるが、ディスクへのデータの記録レートが、例
えば１．２Ｍｂｐｓであるとすると、１枚の静止画を記
録するに当たり約５秒掛かかり、例えば４枚のプレーン
では２０秒掛かってしまう。

【０１２１】このため、この例では、各プレーンメモリ
２３ＢＧ及び２３Ａ１〜２３Ａｎに書き込まれた画像情
報は、圧縮回路２４に供給されて、各プレーン情報が適
当に圧縮されて、記録処理回路２５に供給される。この
記録処理回路２５では、データをセクタ構造にするな
ど、ディスク１１の記録フォーマットに適合するデータ
処理が行われる。この記録処理回路２５の出力データ
は、順次、ヘッド駆動回路２７を介して記録用磁気ヘッ
ド１３に供給され、ディスク１１に光磁気記録される。

【０１２２】圧縮回路２４での、データ圧縮率が１／１
０であれば、例えば４枚のプレーン情報は、２秒の準備
時間で記録できる。１．２Ｍｂｐｓで同じ情報量の動画
データのフルフレームを伝送する場合には、データ圧縮
率は１／１００以上になるので、これと比べると、プレ
ーン情報の画質の劣化は非常に少ない。

【０１２３】以上のようにして、記録されたデータの記
録位置などの情報がディスク１１には記録される。すな
わち、各シーンの背景プレーン情報、動物体プレーン情
報及び変化情報が、それぞれどのトラック、さらには、
どのセクタに記録されているかの情報が、ディスク１１
の最内周に設けられるＴＯＣ（Table Of Contents)領域
と呼ばれるディスク管理エリアに記録される。

【０１２４】以上の例では、背景画及び動き物体の静止
画の初期プレーンの情報は、入力画像から分離するよう
にしたが、背景画及び動き物体を予め互いに分離した状
態で、カメラで撮影することが可能な場合には、予め、
これをそれぞれ個別に撮像して、背景プレーンメモリ２
３ＢＧ及び動物体プレーンメモリ２３Ａ１〜２３Ａｎ
に、初期プレーン情報として、書き込んでおくことがで
きる。

【０１２５】［再記録の説明］以上のようにして、１シ
ーンについて記録を行った後には、背景プレーンメモリ
２３ＢＧには、前述したように、パン、チルト、ズーム
により、そのシーンで使用される背景画のすべてが記憶
されている。しかし、ディスク１１には、背景プレーン
の変化情報としては、初期背景プレーンの静止画ＢＧｓ
に対する変化静止画情報（増加情報）が記録されてい
る。

【０１２６】ここで、背景プレーンの変化情報を求める
基準を初期背景プレーンの代わりに、記録終了後の背景
プレーンメモリ２３ＢＧの内容を背景プレーン情報とす
ると、その背景プレーン情報中の画枠位置を示す情報を
各画像フレームの背景情報として記録することにより、
各フレームの背景静止画を再生側で容易に形成すること
が可能である。そのようにした場合には、背景プレーン
の画像変化情報は記録する必要はなく、その分、記録デ
ータ量を削減することができる。しかも、再生画像の劣
化もない。

【０１２７】この例においては、以上の点に鑑み、ディ
スク１１に記録した情報を再生して、再記録を行う。

【０１２８】すなわち、図１２Ｂに示すように、この再
記録を行う場合には、期間Ｒｃの後に、再記録期間を設
ける。この場合、この再記録期間の前の期間Ｒｃにおい
て、背景プレーン情報としては、記録終了後の背景プレ
ーンメモリ２３ＢＧの情報、つまり良好な固定背景画と
して分離され、かつ、この例では拡大された画枠の静止
画情報ＢＧＬが記録され、また、１シーンの終了後のｎ
個の動き物体について適切なものとされた動物体プレー
ンメモリ２３Ａ１〜２３Ａｎの静止画情報が記録されて
いる。

【０１２９】再記録期間には、記録された信号（変化情
報）を再生して、後述の再生装置により画像再生を行
う。そして、その再生信号と、メモリ２３ＢＧ、２３Ａ
１〜２３Ａｎの情報とから新たな変化情報を生成し、そ
の変化情報を記録する。この記録の際には、背景プレー
ンに対する変化画像情報ΔＰｓの記録は行わず、初期背
景プレーンの画枠位置ＢＧｓに対する変化位置を検出、
生成し、この情報のみを記録する。

【０１３０】すなわち、先ず、記録した拡大背景プレー
ンＢＧＬ上における初期背景プレーンの画枠位置ＢＧｓ
の情報ＳＴを記録する。これは、背景プレーンメモリ２
３ＢＧ上の拡大背景プレーンの静止画の例えば左上隅の
アドレス情報でよい。次に、再生した各フレームの背景
画の画枠位置変化方向及び変化量の情報Ｖｓから求めた
変化後の画枠位置情報ＦＬｓを、当該フレームの背景画
の情報として記録する。この画枠位置情報ＦＬｓも、背
景プレーンメモリ２３ＢＧ上の拡大背景プレーン上の静
止画における、当該画枠の左上隅のアドレス情報でよ
い。

【０１３１】もっとも、再生側で、情報Ｖｓから、当該
フレームの背景画の画枠位置情報を求めるように構成し
た場合には、変化方向及び変化量の情報Ｖｓをそのまま
再記録するようにしてもよい。

【０１３２】以上のようにして、再記録を行うことで、
背景画について、各フレーム（あるいはフィールド）の
画像変化分の情報Ｐｓを記録する必要がなくなり、記録
情報量の削減ができる。しかも、再記録であっても、例
えばＶＴＲでの複製の記録と異なり、画像の画質の劣化
はまったくない。

【０１３３】動物体プレーンについての変化情報も、同
様に、更新されたプレーン情報に基づいて更新して再記
録することにより、さらに、記録データ量を削減するこ
とができる。

【０１３４】また、動き物体については、静止画プレー
ン情報として、拡大画枠の情報ではなく、画像内容が異
なる複数枚の静止画情報を記録して、動き情報を少なく
することもできる。

【０１３５】すなわち、例えば自動車が転回する動画を
想定した場合、自動車のフロントビュー、サイドビュ
ー、リアビューの静止画像を自動車プレーンとしてそれ
ぞれ用意し、それぞれにプレーン番号を付与しておく。
そして、撮像されて入力された現画像中の自動車に関す
る変化情報を求めるに当たって、自動車プレーンとの差
分（変化分）が少ないプレーン番号と、その変化分を記
録することで、変化情報としての記録データ量を減らす
ことができる。

【０１３６】［デジタル画像信号のディスク再生装置の
説明］図１５は、この例のディスク再生装置の一実施例
のブロック図である。この例において、図１の例のディ
スク記録装置と共通部分には同一符号を付してその説明
は省略する。

【０１３７】ディスク１１が装置に装填されると、装置
は、先ず、ディスクのＴＯＣエリアを取り込み、システ
ムコントローラ３で、各シーンの背景プレーン及び動物
体プレーンの記録位置と、その動き変化情報の記録位置
を認識する。

【０１３８】そして、システムコントローラ３は、この
ＴＯＣエリア情報から、先ず、再生しようとするシーン
の背景プレーン及び複数個の動物体プレーンの情報の再
生を行う。

【０１３９】ディスク１１から取り出されたこれらの画
像情報は、ＲＦ回路２８から再生処理回路８１に供給さ
れ、セクタ構造などの所定の記録フォーマットのデータ
のデコード処理が行われ、そのデコードデータがデータ
伸長及びプレーン分離回路８２に供給される。そして、
この回路８２において、低圧縮率で圧縮されている各プ
レーン情報が伸長処理されると共に、それぞれのプレー
ン情報毎に分離され、背景プレーン情報は、背景プレー
ンメモリ８３ＢＧに、動物体プレーン情報は、動物体プ
レーンメモリ８３Ａ１〜８３Ａｎに、それぞれ書き込ま
れる。これにより、動画再生開始準備完了となる。

【０１４０】次に、当該シーンの、背景画の画枠位置情
報、動き変化情報、奥行き情報等がディスクからＴＯＣ
エリア情報を参照して、リアルタイムで抽出され、ＲＦ
回路２８、再生処理回路８１を介してデータ伸長復号化
回路８４に供給される。そして、動き変化情報等が、デ
ータ伸長及び復号化され、信号処理回路８５に供給され
る。

【０１４１】また、信号処理回路８５には、背景プレー
ンメモリ８３ＢＧ及び動物体プレーンメモリ８３Ａ１〜
８３Ａｎからの各静止画情報も供給される。そして、こ
の信号処理回路８５においては、背景プレーンメモリ８
３ＢＧから、画枠位置情報に基づいた画枠位置の背景画
が読み出され、この背景画に、動物体プレーンメモリ８
３Ａ１〜８３Ａｎからの各動き物体の画像を、伸長復号
化回路８４からの、それぞれの動き物体についての動き
変化情報及び奥行き情報を用いて合成する。

【０１４２】つまり、背景画上に、動き物体が、動き変
化情報に応じた位置、奥行き情報に応じた重なり（背景
画との重なりもある）で、フレームあるいはフィールド
毎に張り付けられるような合成が行われて、元の動画像
が得られる。

【０１４３】このとき、背景画についての画枠位置は、
キー群４の画枠位置変更キーを操作することにより、記
録された画枠位置情報に対して上下左右方向に変更する
ことができる。すなわち、画枠位置変更キーが操作され
ると、再生された画枠位置情報で定められる画枠位置に
対して、変更キーにより指定された方向に画枠位置が変
更され、その変更された画枠位置の背景画が、背景プレ
ーン８３ＢＧから読み出される。つまり、画枠位置変更
キーにより再生時の背景画の画枠位置を背景プレーンの
範囲内で、任意の位置に変更することができる。

【０１４４】また、再生ズームキーが設けられ、これが
操作されたときには、ズーム比に応じて拡大、縮小され
た画枠の背景画が、メモリ８３ＢＧから読み出される。
この際、データは、７２０画素×４８０ラインの１画面
のデータに適合するように、ズーム比に応じて補間ある
いは間引き処理される。こうして、撮像時の画枠位置に
関係なく、再生側で、ユーザは、所望の絵づくりを楽し
むこともできる。

【０１４５】この信号処理回路８５からの動画像データ
は、Ｄ／Ａコンバータ８６により元のアナログ信号に戻
され、出力端子８７から導出され、この出力端子に接続
される画像モニター装置にその再生画像が映出される。

【０１４６】以上のようにして、シーン毎に背景プレー
ン、動物体プレーンの情報を、先ず、ディスクから読み
出し、その後、変化情報を順次ディスクから読み出すこ
とで、各シーンの動画の再生を行うことができる。この
場合において、各シーンの変化情報の情報量は非常に少
ないので、１シーンの変化情報を、動画のリアルタイム
に合わせてディスクから取り出すのではなく、バッファ
メモリを設けて、各プレーン情報に続いて動き変化情報
を取り出してバッファメモリに蓄積し、そのバッファメ
モリから順次動き変化情報を動画に合わせて読み出す処
理を行うようにすることもできる。

【０１４７】そして、そのようにした場合には、動画再
現処理と、ディスクからの再生信号の抽出とを分離する
ことができるので、前のシーンの再生中に、次のシーン
のプレーン情報をディスクから抽出して、別のプレーン
メモリに蓄えるようにすることができる。このようにす
れば、とぎれることなく複数のシーンを連続して再生す
ることが可能である。

【０１４８】以上のようにして、この発明によれば、入
力画像を背景画及び動物体プレーンに分け、これを高画
質で記録すると共に、背景画の変化や動物体プレーンに
ついての動き変化を共に記録して再生時に合成するよう
にするので、記録伝送レートが低い記録媒体の場合で
も、高画質、かつ、動きのスムースな動画の記録ができ
る。

【０１４９】例えば、従来、いわゆるＭＰＥＧと呼ばれ
る画像データの圧縮方法が知られているが、この方法
は、一番最初に１枚のフレーム（静止画）の画像情報を
送り、その後は、その最初の画像フレームとの差を取
り、その残差をデータ圧縮して記録する方法である。こ
のＭＰＥＧで最初の１フレームの画像データのビット数
は、データ圧縮された段階で、例えば４００Ｋビットと
されている。この４００Ｋビットの画像は、比較的画質
の良い画像となっている。

【０１５０】この４００Ｋビットの画像は、１フレーム
の情報であるので、これをｂｐｓで表わすと、１秒は、
３０フレームからなるので、１２Ｍｂｐｓ相当となる。
したがって、かなり高画質の画像が得られている。ＭＰ
ＥＧでは、その後の情報として、残差の情報しか記録し
ないため、再生画像は劣化したものとなってしまうが、
最初の１フレームの画像自体は、程度のよい画質となっ
ているのである。

【０１５１】これに対し、上述したこの発明の構成によ
れば、背景プレーンと動物体プレーンの複数枚の画像プ
レーンの情報は、ＭＰＥＧと同等の１２Ｍｂｐｓ相当の
画像データとして記録するとともに、僅かなビット数で
記録された動き変化情報に基づいて、この画質の良い動
物体のプレーンを移動させて、背景プレーンと合成する
ことにより動画が再現されるものであるので、画質がよ
く、しかも動きベクトルの情報はリアルタイムの情報で
あるので、動きもギクシャクすることなく、良好なもの
となる。

【０１５２】なお、背景プレーンと分離される動き情報
は、以上の例のように、複数個の動き物体の静止画から
なる動物体プレーンに分けて記録するのではなく、これ
ら複数個の動き物体を含む動き情報をデータ圧縮して背
景プレーンとは分離して記録する装置にも、この発明は
適用できる。

【０１５３】また、以上の例は、画像データの伝送媒体
として、光磁気ディスクを使用したが、この発明におい
ては、テープやその他の記録媒体を使用できることはい
うまでもない。

【０１５４】

【発明の効果】以上説明したように、この発明によれ
ば、画像を背景の静止画情報（背景プレーン）と、動き
情報とに分けて、背景画の静止画情報を伝送すると共
に、動画の１シーンにおける背景の変化分は、背景静止
画との差分として伝送し、再生側で背景静止画と動き情
報とを合成するようにする。この場合に、この発明で
は、背景画の静止画情報は、１シーンの間に更新した最
適なものをシーン終了後に記録するようにしたので、良
好な固定背景静止画情報を伝送することができる。

【０１５５】さらに、動きの情報についても、複数個の
動き物体の静止画プレーンと、その変化分との記録を行
うようにした場合には、各動き物体の静止画プレーン
も、順次更新して、最適なものを１シーンの終了後に記
録するようにすることにより、良好な動き物体の静止画
を伝送することができ、受信側で美しい再生画像を得る
ことができる。

【０１５６】そして、この発明では、画像を背景プレー
ンの静止画及び動物体プレーンの動き物体の静止画に分
け、これら複数枚の静止画プレーンの情報を、圧縮せず
にあるいは高画質を保つことができる低圧縮率で低速で
伝送するとともに、動き変化情報を僅かなビット数で高
速に伝送し、再生側では、動き変化情報に基づいて、画
質の良い動物体のプレーンを移動させて、背景プレーン
と合成することにより動画が再現されるものであるの
で、画質がよく、しかも、動きもギクシャクすることな
く、良好なものとなる再生画像を得ることができる。

【図面の簡単な説明】

【図１】この発明によるデジタル画像信号の伝送装置の
一実施例としてのディスク記録装置のブロック図であ
る。

【図２】この発明の要部の説明のための図である。

【図３】図１の例の信号記録タイミングを説明するため
の図である。

【図４】図１の例の説明のための図である。

【図５】この発明の一実施例に用いられる背景プレーン
メモリ２３ＢＧの一例を説明するための図である。

【図６】この発明によるデジタル画像信号の伝送装置の
要部の一実施例のブロック図である。

【図７】図６の例の動作の説明のための図である。

【図８】図６の例の動作の説明のための図である。

【図９】図６の例の動作のフローチャートの一部を示す
図である。

【図１０】図６の例の動作のフローチャートの一部を示
す図である。

【図１１】背景及び動き物体の静止画の変化を説明する
ための図である。

【図１２】この発明の一実施例の説明のためのタイムチ
ャートである。

【図１３】この発明によるデジタル画像信号の伝送装置
の一実施例の要部のブロック図である。

【図１４】この発明によるデジタル画像信号の伝送装置
の要部の他の実施例のブロック図である。

【図１５】この発明の一実施例の装置によって記録した
デジタル画像信号の再生装置の一実施例のブロック図で
ある。

【符号の説明】

２２信号処理装置２３ＢＧ背景プレーンメモリ２３Ａ１〜２３Ａｎ動物体プレーンメモリ２４圧縮回路２６圧縮符号化回路３１背景プレーン３２〜３４動物体プレーンメモリ６２動物体プレーン分離回路６２Ｍ差分メモリ７２ＢＧ画枠位置変化検出回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 G06T 1/00 H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】予め、背景画の静止画情報と、この背景画
上を動く動き物体の情報とに分ける手段と、上記背景画の静止画情報を記憶するものであって、基準
画面に対してずれた画面領域を含む１画面分よりも大き
い静止画の情報を記憶可能な背景メモリ手段と、入力デジタル画像信号から１画面分の大きさの背景画の
静止画を分離する手段と、上記分離した最初の静止画を、上記基準画面の静止画と
して、上記背景メモリ手段に記憶する手段と、上記分離した背景画の静止画の、上記基準画面に対する
画枠位置の変化を検出する手段と、上記分離した静止画と、上記背景メモリ手段に記憶され
ている静止画との不一致部分である画像変化情報を求め
る手段と、上記画像変化情報に基づいて、上記背景メモリ手段の上
記静止画情報を更新する手段と、上記背景メモリ手段の上記更新された静止画情報と、上
記基準画面に対する画枠位置の変化の情報と、上記動き
物体の情報とを伝送する伝送手段とを備えてなるデジタ
ル画像信号の伝送装置。
【請求項２】入力デジタル画像信号から、予め、その画
面を構成する背景画の静止画からなる背景プレーン情報
と、上記背景画上を動く動き物体のそれぞれの静止画か
らなる１〜複数個の動物体プレーン情報とを分離する分
離手段と、上記分離された背景プレーン情報及び各動物体プレーン
情報をそれぞれ個別に記憶するメモリ手段と、上記入力デジタル画像信号及び上記メモリ手段の出力に
基づいて、上記背景プレーン情報及び動物体プレーン情
報として記憶された静止画に対する変化情報を検出する
変化情報検出手段と、上記変化情報検出手段の出力により上記メモリ手段のプ
レーン情報を更新する手段と、上記メモリ手段の上記更新された複数のプレーン情報の
静止画情報と、上記変化情報検出手段からの変化情報と
を伝送する伝送手段とを備えることを特徴とするデジタ
ル画像信号の伝送装置。
【請求項３】上記メモリ手段の静止画情報は、圧縮せず
に、あるいは低圧縮率で伝送すると共に、上記変化情報
は圧縮して伝送することを特徴とする請求項２に記載の
デジタル画像信号の伝送装置。
【請求項４】背景画の静止画情報と、この背景画上を動
く動き物体の情報とに分けて、デジタル画像信号を伝送
する装置であって、予め、上記背景画上を動く動き物体のそれぞれの静止画
からなる１〜複数個の動物体プレーン情報を分離する分
離手段と、上記分離された各動物体プレーン情報を、それぞれ個別
に記憶する動物体メモリ手段と、上記入力デジタル画像信号及び上記動物体メモリ手段の
出力に基づいて、上記動物体プレーン情報として記憶さ
れた静止画に対する変化情報を検出する変化情報検出手
段と、上記変化情報検出手段の出力により上記動物体メモリ手
段のプレーン情報を更新する手段と、上記動物体メモリ手段の上記更新された複数のプレーン
情報の静止画情報と、上記変化情報とを伝送する伝送手
段とを備えてなるデジタル画像信号の伝送装置。
【請求項５】上記動物体メモリ手段の静止画情報は、圧
縮せずに、あるいは低圧縮率で伝送すると共に、上記変
化情報は圧縮して伝送することを特徴とする請求項４に
記載のデジタル画像信号の伝送装置。
【請求項６】上記デジタル画像信号は、ビデオカメラの
撮像出力をＡ／Ｄ変換したものであると共に、上記伝送手段は、記録媒体に対する記録である請求項１
〜請求項５のいずれかに記載のデジタル画像信号の伝送
装置。
【請求項７】予め、背景画の静止画情報と、この背景画
上を動く動き物体の情報とに分ける工程と、入力デジタル画像信号から１画面分の大きさの背景画の
静止画を分離する工程と、上記背景画の静止画情報を記憶するものであって、基準
画面に対してずれた画面領域を含む１画面分よりも大き
い静止画の情報を記憶可能な背景メモリ手段に、上記分
離した最初の静止画を、上記基準画面の静止画として記
憶する工程と、上記分離した背景画の静止画の、上記基準画面に対する
画枠位置の変化を検出する工程と、上記分離した静止画と、上記背景メモリ手段に記憶され
ている静止画との不一致部分である画像変化情報を求め
る工程と、上記画像変化情報に基づいて、上記背景メモリ手段の上
記静止画情報を更新する工程と、上記背景メモリ手段の上記更新された静止画情報と、上
記基準画面に対する画枠位置の変化の情報と、上記動き
物体の情報とを伝送する伝送工程とを備えてなるデジタ
ル画像信号の伝送方法。
【請求項８】入力デジタル画像信号から、予め、その画
面を構成する背景画の静止画からなる背景プレーン情報
と、上記背景画上を動く動き物体のそれぞれの静止画か
らなる１〜複数個の動物体プレーン情報とを分離する分
離工程と、上記分離された背景プレーン情報及び各動物体プレーン
情報をそれぞれ個別にメモリ手段に記憶する工程と、上記入力デジタル画像信号及び上記メモリ手段の記憶情
報に基づいて、上記背景プレーン情報及び動物体プレー
ン情報として記憶された静止画に対する変化情報を検出
する変化情報検出工程と、上記変化情報検出工程で検出した上記変化情報により上
記メモリ手段のプレーン情報を更新する工程と、上記メモリ手段の上記更新された複数のプレーン情報の
静止画情報と、上記変化情報検出工程で検出した上記変
化情報とを伝送する伝送工程とを備えることを特徴とす
るデジタル画像信号の伝送方法。
【請求項９】背景画の静止画情報と、この背景画上を動
く動き物体の情報とに分けて、デジタル画像信号を伝送
する方法であって、予め、上記背景画上を動く動き物体のそれぞれの静止画
からなる１〜複数個の動物体プレーン情報を分離する分
離工程と、上記分離された各動物体プレーン情報を、それぞれ個別
にメモリ手段に記憶する工程と、上記入力デジタル画像信号及び上記メモリ手段の記憶情
報に基づいて、上記動物体プレーン情報として記憶され
た静止画に対する変化情報を検出する変化情報検出工程
と、上記変化情報検出工程で検出された変化情報により上記
メモリ手段の動物体プレーン情報を更新する工程と、上記メモリ手段の上記更新された複数の動物体プレーン
情報の静止画情報と、上記変化情報とを伝送する伝送工
程とを備えてなるデジタル画像信号の伝送方法。