JPH1066086A - 動画像処理方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 送信側と受信側で同じ抽象図形のデータベー
スをもつようにする従来の圧縮画像通信方式では任意の
画像を扱うのに難があった。 【解決手段】 送信側の連続する動画像をサンプリング
する画像サンプリング部２１と、任意の単位時間での前
後の連続する画像データを任意のピクセルデータに分解
して比較する差分検出部２５と、変化のあるピクセルデ
ータのみ圧縮する画像圧縮部２６と、差分検出部からの
付帯情報を追加するシーケンス処理部２７と、それらを
元にデータを生成するデータ生成部２８を含む圧縮処理
装置を有し、受信側で送信側から転送されたデータの付
帯情報に基づいて画像データのシーケンスを制御するシ
ーケンス生成部と、そのシーケンスに基づいて動画像を
生成する画像生成部と、画像生成部にて生成された画像
を表示するための表示制御部を含む伸張処理装置を有す
るようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像処理方式に
関し、特にテレビカメラ等から入力される動画像の連続
する画像データを少ないデータ量に圧縮する動画像圧縮
装置と、それら、圧縮動画像データを復元するための圧
縮動画像データ復元装置を含む動画像処理方式に関する
ものである。

【０００２】

【従来の技術】従来、この種の動画像処理方式に関する
ものとして、たとえば特開昭６２−６８３８４号公報に
示される画像通信方式がある。この方式は、テレビカメ
ラにより得た動画像をデータベース上に既に用意された
部分画像と比較し、そのデータベース上のどのデータか
を識別し、その情報を転送することにより、効率的にデ
ータを転送し、同じデータベースをもった受信装置によ
り同じ動画像データを復元する画像通信方式を提供する
ことを目的としている。

【０００３】図７は、上記公報の動画像通信方式の構成
を示すブロック図である。入力装置１は動画像を入力す
るためのもので、画像を連続的に入力する。認識装置２
は、入力装置１により入力された画像を一度、画像蓄積
メモリ３に蓄え、そのデータを前もって、蓄積してある
画像の部分データをデータベース４から読み出し、画像
蓄積メモリ３に入力されたデータと随時比較し、データ
ベース４上に類似する部分データが存在する場合、デー
タの差分データを出力する。出力された差分データを送
信装置５により、伝送路６を使用し受信装置７へ転送す
る。受信された差分データは、再生処理装置８により、
データベース４と同様の部分データをもったデータベー
ス１０から同一の部分データを抽出し、差分データによ
り加工し、順次画像データを再生し、表示メモリ９へ記
憶する。表示メモリ９に一度、保存されたデータは、再
生処理装置８を通して、表示装置１１に表示される。

【０００４】次に動作を説明する。入力装置１に光学的
に入力された画像は、随時電気信号に変換され、画像デ
ータとして、認識装置２に入力され、画像蓄積メモリ３
に入力される。画像蓄積メモリ３に記憶された画像デー
タは、認識装置２により、データベース４に保存された
部分データと比較される。比較結果として、その画像デ
ータ中の抽象的な図形の差分データを出力する。その差
分データは送信装置５により、伝送路６を通して、受信
装置７に入力される。再生装置８は、受信装置７に入力
された差分データをもとに、データベース４と同じデー
タを持つデータベース１０のデータを加工し、画像中の
抽象的な図形データを再生し、表示メモリ９へ、入力す
る。表示メモリ９に入力されたデータをもとに、再生装
置８にて画像データが再生される。再生された画像デー
タは再生装置８をとおして、表示装置１１により動画と
して表示される。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例では、一般用の任意の画像と類似した図形が、デー
タベース上に存在しない場合、すべて新規データとして
転送しなければならないので、一般用として任意の画像
を扱う場合、圧縮率が限りなく１に近くなって、画像デ
ータの圧縮が思うとおりにいかない。

【０００６】また、自然界中の抽象的な図形を、すべて
をデータベース化する事は膨大な作業が必要となってし
まうことから、データベース中のデータは、有限であ
り、一般用の任意の画像をすべて扱う場合、大容量のデ
ータベースが必要になってしまうという問題点がある。

【０００７】したがって、本発明の目的は、広範囲の入
力動画像を効率よく圧縮・伝送・復元することのできる
動画像処理方式を提供することにある。

【０００８】

【課題を解決するための手段】本発明の動画像処理方式
は、入力装置等から入力された動画像データの少なくと
も２フレーム分を記憶するフレームメモリと、前記フレ
ームメモリに記憶した１つのフレーム毎に、複数のサブ
フレームに分割し、分割したサブフレーム毎のピクセル
データをその直前のフレームの同じ位置のサブフレーム
のピクセルデータと比較し、変化のないサブフレームに
ついては変化のないことを、また変化のあるサブフレー
ムについては、その変化分を抽出してそれぞれ送信する
圧縮処理装置と、送信されたデータを随時伝送路に送信
する送信装置と、前記送信装置より伝送路に送信された
データを受信する受信装置と、前に受信したフレームデ
ータに対する変化の有無に従い、受信データを伸長する
伸張処理装置と、前記伸張処理装置により復元されたデ
ータを蓄える表示メモリと、を備えることを特徴とす
る。また、該動画像処理方式において、前記圧縮処理装
置は、前記動画像を任意の間隔にて画像をサンプリング
する画像サンプリング部と、サンプリング部にてサンプ
リングした画像を前記フレームメモリに記憶するための
フレームメモリＩ／Ｆと、前記フレームメモリから任意
のサブフレームを一時的に記憶するためのブロックバッ
ファと、前記動画像より前にサンプリングされたデータ
を記憶するフレームバッファと、前記フレームバッファ
中のサブフレームと前記ブロックバッファ中のサブフレ
ームの差分を検出する差分検出部と、検出された差分デ
ータを圧縮する画像圧縮部と、圧縮データの有無をしめ
すデータを作成するシーケンス処理部と、該シーケンス
処理部の判定により圧縮データを送信するか変化がない
ことを通知するかをきりわけるデータ生成部とを含み構
成されることを特徴とする。

【０００９】さらに、上記動画像処理方式において、前
記伸張処理装置は、前記受信データから、変化の有無に
よりデータを識別するシーケンス処理部と、動画像デー
タからはじめにサンプリングされる画像データを記憶す
るためのフレームバッファと、受信したデータより求め
られた差分データを記憶するブロックバッファと、これ
ら各バッファデータを合成するための画像生成部と、該
画像生成部により復元された画像データを前記表示装置
に表示させるための表示制御部と、表示を順次行うため
フレームデータを蓄えるための表示メモリとを含み構成
されることを特徴とする。

【００１０】また、上記動画像処理方式において、前記
圧縮処理装置は、前記動画像を任意の間隔にて画像をサ
ンプリングする画像サンプリング部と、前記動画像の輪
郭を抽出する輪郭抽出部とを備え、前記差分検出部は前
記フレームメモリからサブフレームの輪郭抽出信号と前
のフレームの輪郭抽出信号との差分を検出することを特
徴とする。

【００１１】また、図１乃至図３に従って説明すれば、
本発明の動画像処理方式は、送信側の連続する動画像を
サンプリングする画像サンプリング部（図２の２１）と
任意の単位時間での前後の連続する画像データを任意の
ピクセルデータに分解して比較する差分検出部（図２の
２５）と、変化のあるピクセルデータのみ圧縮する画像
圧縮部（図２の２６）と、差分検出部からの付帯情報を
追加するシーケンス処理部（図２の２７）と、それらを
元に、データを生成するデータ生成部を含む圧縮処理装
置（図１の１２）を有し、受信側で送信側から転送され
たデータの付帯情報に基づいて画像データのシーケンス
を制御するシーケンス生成部（図３の３０）と、そのシ
ーケンスに基づいて動画像を生成する画像生成部（図３
の３２）と、画像生成部にて生成された画像を表示する
ための表示制御部（図３の３４）を含む伸張処理装置
（図１の１４）を有する。

【００１２】このようにすることにより、はじめの１フ
レーム分のデータ以降、差分のみを転送することにより
効率的にデータを転送することができる。

【００１３】

【発明の実施の形態】

［第１実施形態］本発明の実施の形態について、図面を
参照して詳細に説明する。図１に本実施形態による動画
像処理方式のブロック図を示す。図において、対象物を
撮像して、入力装置１から入力された動画像は、所定の
走査周波数で走査し、圧縮処理装置１２にて、例えば４
倍のサブキャリア周波数でサブサンプリングされる。こ
こで圧縮処理装置１２の詳細を図２に示して説明する。
上述の動画像は、画像サンプリング部２１により、サン
プリングされ、順次、図１に示したフレームメモリ１３
とのインターフェースであるフレームメモリＩ／Ｆ部２
２を介してフレームメモリ１３に記憶される。一方、ブ
ロックバッファ２３は、フレームメモリＩ／Ｆ部２２を
介したフレームメモリ１３に記憶されたフレームと比較
するための２フレーム中の後の１フレームの任意ブロッ
クを記憶するためのもので、フレームバッファ２４は比
較対象のフレームを記憶するためのものである。差分検
出部２５では、ブロックバッファ２３に記憶されたサブ
フレームと同様の位置のサブフレームをフレームバッフ
ァ２４からの２フレーム中の前の１フレームと参照し、
差分をとり、双方のサブフレームの相違の有無をシーケ
ンス処理部２７へ出力する。相違があった場合、差分デ
ータを画像圧縮部２６にてデータ圧縮し、データ生成部
２８に出力する。シーケンス処理部２７には、サブフレ
ームの情報を出力する。これらの差分データとシーケン
ス処理部２７からのサブフレームデータ情報をデータ生
成部２８にて転送データとして生成し、出力する。

【００１４】この差分検出部２５を含む画像圧縮につい
て、更に詳しく説明すれば、サンプリングされた画像情
報は、逐次フレームメモリＩ／Ｆ部２２を介してフレー
ムメモリ１３に記憶し、前のフレームの画像データ毎に
フレームバッファ２４に書き込み読み出して差分検出部
２５に出力し、後のフレームの画像データ毎にブロック
バッファ２３に書き込み読み出して差分検出部２５に出
力する。差分検出部２５は両入力の差分をとり、両フレ
ームの画像データの差分を画像圧縮部２６によりＤＣＴ
（離散コサイン変換）やハッシュ変換により画像圧縮し
てデータ生成部２８に出力する。一方、静止画のような
動きのない画像の場合、差分検出出力が零のときは、シ
ーケンス処理部２７に出力され、例えばタグのみを付加
してデータ生成部２８に出力する。データ生成部２８で
は入力された各画像データを転送データに変換し、送信
装置５に出力する。

【００１５】一方、別の見方として、図１の圧縮処理装
置１２にてサンプリングされたフレームデータは、フレ
ームメモリ１３に、一時的に蓄えられる。フレームメモ
リ１３に蓄えられた画像は、圧縮処理装置１２中のフレ
ームバッファ２４とブロックバッファ２３の両バッファ
に入力される。そして次にフレームメモリ１３に入力さ
れた画像は、任意の大きさのピクセルデータに分割さ
れ、圧縮処理装置１２中のブロックバッファ２３に入力
される。圧縮処理装置１２中のバッファに入力されたブ
ロックデータは圧縮処理装置１２にて、フレームバッフ
ァ２４中の直前の画像データの同一部分のブロックと差
分をとり、その差分のみ圧縮され送信装置５から、伝送
路６を介して受信側へ転送される。転送されたデータ
は、受信装置７にて受信され、伸張処理装置１４にて、
シーケンス通りに画像が生成される。即ち、ここでは任
意の大きさのピクセルデータを１ブロックとして差分検
出部２５によって差分を取られる。従って、画面中動き
のない部分が大きいほど圧縮の効果を上げることができ
る。

【００１６】ここで伸張処理装置１４の内部ブロックを
図３に示して詳細に説明する。入力された転送データ
は、シーケンス生成部３０に入力され、差分の有無を判
定される。差分がない場合、画像生成部３２に前のフレ
ームそのまま、又は前のブロックそのまま復元される。
又、差分ありの場合、画像生成部３２にて、サブフレー
ムの差分を復元し、ブロックバッファ３１に記憶する。
フレームバッファ３３には、ブロックバッファ３１と比
較対象とする元のフレームが記憶され、画像生成部３２
にて合成され、表示制御部３４を通し、表示メモリＩ／
Ｆ３５から表示メモリ１５に記憶される。表示メモリ１
５に記憶されたフレームデータは伸張処理装置１４にて
順次表示装置１１に送られ、動画像として表示される。

【００１７】

【実施例】次に本発明の実施の形態の一実施例の動作を
詳細に説明する。図１を参照すると、たとえば動画像を
送信する側の場合、入力装置１に動画像が入力される
と、そのデータは、圧縮処理装置１２に入力される。圧
縮処理装置１２の動作を図２と図４にて説明する。動画
像データのある時間帯のｎ番目のフレーム、ｎ＋１番目
のフレームの画像にて、ｎ番目の三角形がｎ＋１番目の
画像ではＡからＢに移動した場合を考える。この場合、
まずｎ番目とｎ＋１番目の画像を任意の同一ピクセル数
に分割し、同一の場所に存在するピクセルデータを比較
する。例えばｎ番目の（Ａ，ａ）ブロックとｎ＋１番目
の（Ａ，ａ）ブロックとを比較する。比較して変化のあ
ったピクセルは、差分をとり、その差分データを転送す
る。これらの比較によりｎ番目の画像とｎ＋１番目の画
像の差は、図４の斜線の部分になる。また、ｎ番目の
（Ａ，ａ），（Ａ，ｂ），（Ａ，ｃ），（Ａ，ｄ），
（Ｂ，ａ），（Ｂ，ｂ），（Ｂ，ｃ），（Ｃ，ａ），
（Ｃ，ｂ），（Ｄ，ａ），（Ｄ，ｂ）はｎ＋１番目の場
合も変化しない。従って、ｎ番目の画像に、ｎ＋１番目
のピクセルを上書きすることにより、ｎ＋１番目の画像
を合成する。これを図２のブロック図にて説明すると、
入力装置１から入力された動画像はｎ，ｎ＋１，ｎ＋２
…と順次、画像サンプリング部２１にてサンプリング
し、フレームメモリＩ／Ｆ２２にて、フレームメモリ１
３に蓄積される。

【００１８】一方、最初の画像データがフレームメモリ
１３から読み出されフレームバッファ２４に入力される
と同時に、最初の画像データは全てが画像圧縮部２５に
て圧縮され、シーケンス部２７にて第一番目の画像とし
て付加情報が生成され、データ生成部２８にて圧縮デー
タに付加され出力され、そのまま転送装置５にて送信さ
れる。そして次の画像のピクセルデータがブロックバッ
ファ２３に読み出され、差分検出部２５にて差分がとら
れる。差分がない場合、シーケンス処理部２７にて差分
なしの情報が生成され、データ生成部２８にてブロック
データ内にて付加情報のみが出力される。

【００１９】一方、差分があった場合、差分データは画
像圧縮部２６にて圧縮される。この場合はシーケンス部
２７にて、差分ありの付加情報が生成され、データ生成
部２８にて差分データとともに付加情報が出力される。
出力されたデータは、送信装置５にて、伝送路６を通し
て受信側に転送される。次に受信側は、伝送路６を通し
て転送されたデータは、受信装置７にて受信される。受
信装置７に転送されたデータは、伸張処理装置１４に入
力される。伸張処理装置１４の内部動作を図３にて説明
する。転送されたデータ中、最初の画像は、シーケンス
部３０にて最初の画像という付帯情報を読み出し、その
まま画像生成部３２にて画像を復元し、フレームバッフ
ァ３３に入力する。最初の画像データ以外はシーケンス
生成部３０にて差分があるか、ないかを識別し、差分デ
ータがない場合、フレームバッファ３３内の画像データ
をそのまま、表示制御部３４を通じて表示メモリＩ／Ｆ
３５に入力し表示メモリ１５に記憶する。差分データが
ある場合、画像生成部３２にて差分データを復元し、ブ
ロックバッファ３１に記憶する。その後、フレームバッ
ファ３３内のデータと合成し、表示制御部３４を通し
て、表示メモリＩ／Ｆ３５から、表示メモリ１５に記憶
すると同時に、フレームバッファ３３に同じ画像を保存
する。このようにフレームバッファ３３の内容を次々と
更新し、差分データをブロックバッファ３１に保存し、
順次動画像を復元する。これらで生成され表示メモリ１
５に記憶された内容、表示制御部３４にて表示装置１１
に表示される。

【００２０】［第２実施形態］以下、第２実施形態につ
いて説明する。図５に圧縮処理装置の送信側の圧縮制御
のブロック図を示す。図において、動画を含む画像デー
タがバッファ制御部４５に入力され、随時メモリ４１に
格納される。動画像データの入力されたメモリ４１か
ら、バッファ制御部４５へデータが読み出され、バッフ
ァ制御部４５中で、動画データのサンプリングが行なわ
れる。サンプリングされた画像データは輪郭抽出部４２
へ送られ、画像中の輪郭データが生成される。このデー
タを、差分検出部４３にてストアし、次のサンプリング
画像データの輪郭データと比較される。この比較データ
をもとに、あらかじめ決められた単位に分割された画像
データのどのブロックに変更があったかをブロック制御
部４４によって決定し、そのブロックのみを転送制御部
４６にて再生装置へ転送する。

【００２１】図６に示すように、再生装置側では制御部
５１を介して、ブロックデータを画像合成部５２へ出力
する一方、メモリ５４には、はじめの一回のみ画像デー
タの全ブロックが転送側の装置からメモリ５４へ送ら
れ、先述のブロックデータと画像合成部５２にて合成さ
れ、ＶＲＡＭ５３にてビデオ信号として記憶され、順次
読み出して不図示の表示装置に表示される。これらを順
次くり返すことにより画像中の変化のある部分のみを送
り、全動画を再生することができる。これにより、画像
データ全体を何度も転送することなく、少ない送信デー
タで動画を再生することができる。

【００２２】

【発明の効果】本発明の動画像処理方式によれば、動画
のもつ各一定時間でのサンプリング画像の最初の画像か
ら随時、連鎖的に圧縮・復元するための装置を設けたた
め、一般用として任意の画像を扱っても、高能率で圧縮
できる。

【００２３】また、本発明によれば、初めに受け取った
画像から随時変化のある部分のみ復元し変更することと
したため、復元するためのデータベースが不要である。
送信側も同様にデータベースが不要となるため、データ
ベースの入力も不要となる。

【図面の簡単な説明】

【図１】本発明の動画像処理方式の構成を示すブロック
図である。

【図２】図１の圧縮処理装置の詳細ブロック図である。

【図３】図１の伸張処理装置の詳細ブロック図である。

【図４】本発明の画像データとピクセルデータの関係を
説明する図である。

【図５】本発明による圧縮処理装置の詳細ブロック図で
ある。

【図６】本発明による伸張処理装置の詳細ブロック図で
ある。

【図７】従来例を示すブロック図である。

【符号の説明】

１ 入力装置 ２ 認識装置 ３ 画像蓄積メモリ ４ データベース ５ 送信装置 ６ 伝送路 ７ 受信装置 ８ 再生処理装置 ９ 表示メモリ １０ データベース １１ 表示装置 １２ 圧縮処理装置 １３ フレームメモリ １４ 伸張処理装置 ２１ 画像サンプリング部 ２２ フレームメモリＩ／Ｆ部 ２３ ブロックバッファ ２４ フレームバッファ ２６ 差分検出部 ２７ 画像圧縮部 ２８ シーケンス処理部 ２９ データ生成部 ３０ シーケンス生成部 ３１ ブロックバッファ ３２ 画像生成部 ３３ フレームバッファ ３４ 表示制御部 ３５ 表示メモリＩ／Ｆ部 ４１ メモリ ４２ 輪郭抽出部 ５１ 制御部 ５２ 画像合成部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力装置等から入力された動画像データ
   の少なくとも２フレーム分を記憶するフレームメモリ
   と、前記フレームメモリに記憶した１つのフレーム毎
   に、複数のサブフレームに分割し、分割したサブフレー
   ム毎のピクセルデータをその直前のフレームの同じ位置
   のサブフレームのピクセルデータと比較し、変化のない
   サブフレームについては変化のないことを、また変化の
   あるサブフレームについては、その変化分を抽出してそ
   れぞれ送信する圧縮処理装置と、送信されたデータを随
   時伝送路に送信する送信装置と、前記送信装置より伝送
   路に送信されたデータを受信する受信装置と、前に受信
   したフレームデータに対する変化の有無に従い、受信デ
   ータを伸長する伸張処理装置と、前記伸張処理装置によ
   り復元されたデータを蓄える表示メモリとを備えること
   を特徴とする動画像処理方式。
2. 【請求項２】 前記圧縮処理装置は、前記動画像を任意
   の間隔にて画像をサンプリングする画像サンプリング部
   と、サンプリング部にてサンプリングした画像を前記フ
   レームメモリに記憶するためのフレームメモリＩ／Ｆ
   と、前記フレームメモリから任意のサブフレームを一時
   的に記憶するためのブロックバッファと、前記動画像よ
   り前にサンプリングされたデータを記憶するフレームバ
   ッファと、前記フレームバッファ中のサブフレームと前
   記ブロックバッファ中のサブフレームの差分を検出する
   差分検出部と、検出された差分データを圧縮する画像圧
   縮部と、圧縮データの有無をしめすデータを作成するシ
   ーケンス処理部と、該シーケンス処理部の判定により圧
   縮データを送信するか変化がないことを通知するかをき
   りわけるデータ生成部とを含み構成されることを特徴と
   する請求項１に記載の動画像処理方式。
3. 【請求項３】 前記伸張処理装置は、前記受信データか
   ら、変化の有無によりデータを識別するシーケンス処理
   部と、動画像データからはじめにサンプリングされる画
   像データを記憶するためのフレームバッファと、受信し
   たデータより求められた差分データを記憶するブロック
   バッファと、これら各バッファデータを合成するための
   画像生成部と、該画像生成部により復元された画像デー
   タを前記表示装置に表示させるための表示制御部と、表
   示を順次行うためフレームデータを蓄えるための表示メ
   モリとを含み構成されることを特徴とする請求項１に記
   載の動画像処理方式。
4. 【請求項４】 前記圧縮処理装置は、前記動画像を任意
   の間隔にて画像をサンプリングする画像サンプリング部
   と、前記動画像の輪郭を抽出する輪郭抽出部とを備え、
   前記差分検出部は前記フレームメモリからサブフレーム
   の輪郭抽出信号と前のフレームの輪郭抽出信号との差分
   を検出することを特徴とする請求項１に記載の動画像処
   理方式。