JPH04326686A - 画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビジョン信号（以下
ＴＶ信号）等の符号化装置に関し、特に低速回線を用い
てＴＶ信号を伝送する高能率符号化装置の小型化を図る
ものである。

【０００２】

【従来の技術】ＴＶ信号を圧縮せずにディジタル信号で
伝送するためにはおよそ　１００Ｍｂ／ｓの伝送速度が
必要であることが知られている。これの伝送速度を低下
し、伝送コストを低減するために高能率符号化方式が提
案されている。高能率符号化とは、伝送済みの前画面（
参照フレーム）や、伝送済みの直上走査線の信号等を用
いて現在符号化するＴＶ信号を予測し、その予測値と真
の信号との差分（予測誤差）を求め、これを符号化し伝
送するものである。参照フレームから予測する方式をフ
レーム間予測と呼び、直上走査線等の符号化するフレー
ムからのみ予測する方式をフレーム内予測と呼ぶ。いず
れの符号化方式も伝送速度が遅いときには伝送するフレ
ームを間引くコマ落としを行うことが多い。これらの符
号化方式の詳細は本発明には直接関係がなく、また「Ｔ
Ｖ画像の多次元信号処理」（吹抜敬彦著、日刊工業新聞
社）の２１３ページから等に詳しく述べられているので
、この場での詳細な説明は省略する。

【０００３】図１はＴＶ信号符号化装置の全体構成図で
ある。入力されたＴＶ信号１はＮＴＳＣ解読およびディ
ジタル化回路２において通常のＴＶ信号であるＮＴＳＣ
信号より輝度信号・色信号が抽出されディジタル化され
フレームメモリ（以下ＦＭ）４に格納される。なお、Ｎ
ＴＳＣ解読とディジタル化はどちらを先に処理しても可
能である。ＦＭ４に格納されたディジタル画像信号は符
号化装置６より画素毎に読み出され圧縮・符号化処理を
施され符号語７として出力される。符号語７は伝送Ｉ／
Ｆ８において伝送路によって規定される信号形式に変換
され伝送路９に出力され伝送される。

【０００４】ＦＭ４はフレームメモリ書込み待ち時間を
減らすために２面のメモリを用いてバッファメモリを構
成することが多い。この場合の動作は図２に示す通りで
ある。即ち、 （ア）　２面のＦＭの内の一方のメモリ２１には入力さ
れたＴＶ信号を書込み、他方のメモリ２２は符号化のた
めの読出用に用いる。

【０００５】（イ）　１フレームの符号化が終了した時
に切替要求信号１０により、上記の２個のＦＭの役割を
交替させ、ＴＶ信号の書込みに用いられていたメモリ２
２を符号化用に、符号化読出し用に用いていたメモリ２
１をＴＶ信号の書込み用にする。

【０００６】上記の処理を行うには読出アドレス生成回
路３１、書込アドレス生成回路３２を設け、それぞれの
生成する読出アドレス３５、書込アドレス３６をスイッ
チ３３、３４において設定したメモリ側に切り替える。 またこれに同期して入出力データをスイッチ２０、２３
によって切り替える。これらスイッチの切り替えは全て
切り替え信号３０によって行う。

【０００７】切替制御回路２６はフレームメモリ制御例
１やフレームメモリ制御例２のようにメモリを切り替え
る。

【０００８】ここで、ＦＭ４への画像の読み書き時はフ
レーム単位に見ると一般に次のような条件を満たす。

【０００９】（Ａ）　画像書込み信号３はＴＶ信号のフ
レームに同期して約３３ｍｓ毎の時刻からしか書き込み
を開始することができない。

【００１０】（Ｂ）　画像読出し信号５は符号化装置６
の処理に応じた、書き込みとは非同期なタイミングで読
み出される。

【００１１】また、画像書込み信号３、画像読出し信号
５の読出しは画素単位に見ると通常以下の条件を満たす
。

【００１２】（１）　画素の書き込みは、ＴＶ信号の走
査線の順序に従って画面左上から右下へ水平方向を優先
に、順次定期的に行われる。

【００１３】（２）　画素の読出しは全体的には画面左
上から右下へ行われるが、局所的には一定範囲内で書込
み順序とは無関係の順番に読み出されることがある。

【００１４】（３）　画素の読出し周期は画素の書き込
み周期に比較して同じあるいは長い。すなわち、１フレ
ーム分の書込み時間は必ず読出し時間よりも同じか短い
。

【００１５】（４）　１つの画素を読出してから次の画
素を読出すまでの時間の最大値は規定できない。

【００１６】これらのうち特に問題となるのは（１）の
信号書き込みが特定の時刻からでないと開始されない点
である。ＴＶカメラから転送されたフレームが実際に符
号化されるまでに、図１例１中にＬｗと表示した待ち時
間が生じることがある。この待ち時間により、実際に符
号化処理を行う時間は削減される。この結果、実際の処
理能力が最大能力に比べ低下したり、また逆に予めこの
待ち時間を計算に入れた処理設計を行うことによって装
置規模が大きくなったりする問題が生じる。

【００１７】また、図１例２中の様に、符号化開始直後
のフレームのみを取り込めば待ち時間は生じない。しか
しこの時は図中にＬｄと表示した遅延時間が生じる。Ｔ
Ｖカメラで撮像されたＴＶ信号が受信者に対して表示さ
れるまでの遅延時間が長いと、心理的な負担を増加させ
ることが知られる。

【００１８】これらの問題を実効的に無くす手段が、特
開平２−２０３６８９号公報に開示されている。本開示
発明の特徴は、図３に例示するように、２面バッファメ
モリ方式において、読み書きを同時あるいは瞬時に切り
替えられるメモリ６１、６２（同時読み書き型メモリ）
と読出しと書込みを独立して切り替えることのできる切
り替えスイッチ２０、３４、２３、３３を持つことであ
る。書込み用とされたメモリ６２には繰り返しＴＶカメ
ラで撮像された信号３が書込まれる。１フレームの符号
化が終了後に、メモリ６２への書込みの状態には無関係
に、読出しスイッチ２３、３３を読出し切替信号４０に
よって切り替え、該メモリＢ６２を符号化信号の読出し
用にする。このとき、切り替えられた後にもそのフレー
ムの書込みが終了するまでは、ＴＶカメラで撮像された
ＴＶ信号３を書込みを続け、フレームの書込みが終了し
た後に書込みスイッチ２０、３４を書込み切替信号４１
によって切り替える。読出しは読出用のスイッチ２３、
３３を切り替えた直後から行い、読出しアドレス３５が
書込みアドレス３６に追い付いた場合のみ符号化動作を
一時中止させる。この制御は比較回路４６、制御信号４
７により行い、上記のアドレスが一致する事を防止して
いる。

【００１９】

【発明が解決しようとする課題】上記に述べたように、
従来符号化装置の処理能力を維持するためには、符号化
用で２面のフレームメモリが必要とされ、装置の小型化
が困難となる問題が有る。そこで本発明では、従来と同
等の処理能力を維持しつつ、フレームメモリの面数を低
減する事を課題とする。

【００２０】

【課題を解決するための手段】本課題を達成するため、
ＦＭを同時読み書き型メモリ１面のみの構成とし、以下
の制御回路を付加する。

【００２１】（ａ）　ＴＶカメラ等から伝送されたＴＶ
信号を常時書込み、読出しアドレスに近接した時に書込
みを中止し、次の書込みタイミングにおいて画面先頭よ
り書込みを再開する。

【００２２】（ｂ）　書込みアドレスが画面先頭から一
定区間内にある時は、読出し開始を遅延させ、書込みが
進んだ時点で読出しを開始する。

【００２３】これらの制御により、従来と同等の処理能
力を達成する。

【００２４】

【作用】以下の作用を行うので、１面のＦＭにより読出
しの待ち時間、遅延時間を従来と同等にする事ができる
。

【００２５】（ｃ）　書込みを中止することによって従
来２面必要であったＦＭを１面に減ずることができる。 これと同時に自動的に最も新しい画像を取り込むことが
でき遅延時間を最小にできる。

【００２６】（ｄ）　読出し待ち時間は読出し開始を遅
延させたときにのみ短時間生じる。しかし読出し開始の
遅延が生じるのは書込み終了直後に読出しが終了した場
合であり、この確率は低いため、実質的には読出し待ち
時間は無視できる。

【００２７】

【実施例】図４に本発明の実施例を示す。

【００２８】図中メモリ６１は同時読み書き型メモリで
あり、５９で示した部分が本発明の部分である。切替制
御回路５８はアドレス比較回路５０およびアドレス比較
回路５１の比較結果５２、５３に応じて２つのアドレス
発生回路３１、３２を制御する。以下の制御の方法につ
いて説明する。

【００２９】入力された信号３はメモリ６１内に書込ま
れる。書込む位置は、書込みアドレス発生回路３２によ
って出力された書込みアドレス３６によって示される。 この書き込みは通常すべての入力信号３に対して行うが
、書込みアドレス３６が読出しアドレス３５より前でか
つ近接した場合（図５Ｂ）にはその画面の以降の書込は
中止し、書込みアドレス３６を画面先頭に戻しておく。 図４タイミングチャートの斜線で示した部分が中止した
期間に相当する。一方読出しは随時信号５により行うが
、読出しアドレス３５が書込みアドレス３６に近接した
場合（図５Ｃ）書込みアドレス３５が画面先頭付近にあ
り、かつ符号化処理が終了し読出しアドレス３５が画面
先頭に戻った場合にのみ生じる）、読出し開始を遅延さ
せ（図５Ｄ）読出しアドレス３５が書込みアドレス３６
を追い越すことを防止する。書込みアドレス３６が進ん
だ後は、書込みアドレス３６の進み方の方が読出しアド
レス３５の進み方よりも必ず速いため、読出しが追いつ
くことはない。

【００３０】図５は読出しアドレスと書込みアドレスの
関係を示した図である。図中の実線矢印は読出しアドレ
ス、点線矢印は書込みアドレス、網点部は先の実線矢印
の点まで読みだした時に次に読出す可能性のある範囲で
ある。予測に用いる画素などによってこの範囲は変わっ
てくる。図５Ａは書込みが読出しに追いついた場合、図
５Ｂは書込みが読出しに近接した場合、図５Ｃは読出し
が書込みに近接した場合、図５Ｄは図５Ｃの後に書込み
のみが進んだ場合を示す。

【００３１】先の実施例では読み書きの垂直アドレスを
用いて判定を行っている。アドレスの比較の例を表１に
示す。

【００３２】

【表１】

【００３３】アドレス比較回路５０においては、書込み
垂直アドレス−読出し垂直アドレスの値が零以上でかつ
予め定めた値ＴｈＲ以下であることを検出する。アドレ
スがこの範囲内にある場合には読出し開始遅延信号５２
により読出し開始を遅らせる。アドレス比較回路５１は
、読出し垂直アドレス−書込み垂直アドレスの値が零よ
り大きくかつ予め定めた値ＴｈＷ以下であることを検出
し、範囲内にある時は書込み中止信号５３を出力する。 書込み中止信号５３が出力されると書込みアドレス３６
は画面先頭に戻され、その画面の以降の信号はメモリに
は書込まない。上記のＴｈＲ、ＴｈＷは何れも零または
正の値であり、予測方法等に応じて予め定めておく必要
がある。但し、符号化動作中にこれらを変更することは
可能である。

【００３４】上記の例では垂直アドレスを用いてアドレ
ス比較を行っているが、画像書込みが垂直方向を優先し
て行われる場合、即ちまず画面左上画素から画面左下画
素方向の書き込みを行う場合、水平アドレスを用いた方
が効率がよくなる。また、予め定められた変換法によっ
て２次元アドレスを１次元アドレスに変換した後に比較
を行っても同様の効果が得られる。

【００３５】このような制御を行うことにより、図４タ
イミングチャートに示す動作をする。タイミングチャー
トにおいてＷ３，Ｗ７、Ｗ９で示された画面がメモリに
取り込まれＲ３，Ｒ７、Ｒ９の期間に符号化処理が行わ
れる。Ｗ１，Ｗ２，Ｗ４等の画面は画面書込み中途にお
いて書込み信号が読出し信号に追いつき、書込み中止信
号５３が出力される。図４タイミングチャートにおいて
、Ｒ３で示した読出し処理が終了した時刻とＷ７で示さ
れた画面の取り込み開始の時刻がほぼ一致している例を
示している。この場合は読出し開始遅延信号５２を出力
してＲ７で示した処理の開始を遅らせている。

【００３６】図７に第２の実施例としてフレーム間符号
化の例を示す。図７を説明する前に図６を用いてフレー
ム間符号化の動作を説明する。

【００３７】図１と同一の番号を付与した回路は同等の
機能を有するので説明は省略する。フレーム間符号化器
６ａは直前に伝送した画像（参照画像）信号８０を用い
てこれから符号化する画像（符号化画像）信号５を予測
し、予測誤差を符号化し伝送する。符号化信号は同時に
信号８２として符号化装置内の復号化回路８３に入力さ
れ復号化される。さらに、復号化回路８３では、この復
号化された予測誤差信号と先に用いた参照画像信号８０
を用いてもとの画像（復号化画像）信号８１を再生し、
ＦＭ４ｂに格納する。この信号は次の画面の符号化時に
参照画像に用いられる。

【００３８】図６のフレーム間符号化において、ＦＭ４
ａ、ＦＭ４ｂはそれぞれ図２の構成の回路をそのまま利
用することができる。この場合はメモリの面数は４面必
要になる。

【００３９】図７は本発明を用いて従来４面必要であっ
たメモリを２面に減じた回路である。図７の回路は図６
の回路９０に対応する。

【００４０】信号切替えスイッチ１００、１０１、１０
２、１０３の選択が図７の様になっている場合の動作を
説明する。入力された画像信号はＦＭ４ｂに格納される
。ＦＭ４ｂでは本発明が利用される。ＦＭ４ｂには参照
画像が既に格納されており、入力画像信号のアドレスが
参照画像信号のアドレスに追いつきそうになった時には
書込みを中止しアドレスを画面先頭に戻す。また、１画
面の符号化の終了と入力画像書込み開始がほぼ同時に起
こった場合には、次の画面の符号化開始を少し遅らせる
。

【００４１】一方ＦＭ４ａには符号化画像が既に格納さ
れており、同時に復号化した信号が書込まれる。符号化
画像を読込み、符号化した後に復号化を行い、その結果
再生された信号が読出したアドレスと同じアドレスに書
込まれる。読込んで不要になった部分に書込まれるため
、書込みのアドレスが読出しのアドレスに追いつくこと
はない。このためアドレスの比較等は行う必要はないが
、図７タイミングチャートの入力３、復号化３で示す部
分ではスイッチ１００を切り替えて入力信号３と復号化
信号８１を両方書込む必要がある。この動作にはスイッ
チ１００を高速に切り替え２種の信号を互い違いに書込
む方法やバッファメモリを設け複数画素毎に交代に書込
む方法があるが、この両者とも本発明に含まれることは
明かである。

【００４２】１つの画像の符号化が終了するとスイッチ
１００、１０１、１０２、１０３を切り替える。これに
よりＦＭ４ａとＦＭ４ｂの役割が交代する。すなわちＦ
Ｍ４ａから参照画像が読出され、入力画像が書込まれ、
ＦＭ４ｂから符号化画像が読出され、復号化画像が書込
まれる。

【００４３】図８は間欠的に書込まれる画像を符号化す
る例である。例えば、片フィールドのみを伝送する場合
がこれにあたる。片フィールド伝送ではフレームを構成
する２フィールドのうち１つのフィールドしか伝送しな
い。そのため書き込みは図８Ａのように間欠的になる。 これを図４の構成のフレームメモリに入力すると図８Ａ
のように符号化読出しの前に待ち時間を生じることがあ
る。

【００４４】この待ち時間は図８Ｂのようにすれば解消
することができる。即ち、書込むフィールドを一度外部
メモリに蓄え、２回フレームメモリに書込む。こうする
ことによって書込み信号は連続的になり、待ち時間は生
じなくなる。この場合１回目に書込めた場合（図８Ｂの
Ｗ４）には２回目の書込みは中止することによって、誤
って同一フィールドを符号化することはなくなる。

【００４５】図８Ｂの回路構成例を図９に示す。図中の
１から１０の番号を付した回路は図１に示した回路と同
じ動作をする。新たに付け加わった１１０から１１３は
ノイズリデューサをする回路である。また２０１から２
０９はそれぞれ図中の１から９に対応し、１から９が符
号化動作をするのに対し、２０１から２０９は対称的に
復号化の動作を行う。本発明の実施部分を説明する前に
この復号化部の動作およびノイズリデューサの動作を説
明する。

【００４６】復号化部では回線から伝送された信号２０
９を回線Ｉ／Ｆ２０８にて復号化回路２０６が処理でき
る形式の信号２０７に変換する。復号化回路２０６では
これを解読し画像を再生する（受信復号化画像）。受信
復号化画像は信号線２０５を介しフレームメモリ２０４
に格納される。フレームメモリ２０４に格納された信号
は表示のＴＶ信号に同期して信号線２１１より読み出さ
れ、一般的にはＮＴＳＣ信号生成およびアナログ化回路
２０２にてアナログＮＴＳＣ信号となり出力表示される
。図９においてはこの部分に画面合成回路２１０が挿入
されているがこの回路の動作については後に詳しく説明
をする。

【００４７】ノイズリデューサ１１２では符号化する画
像とその直前の画像あるいは直前に符号化した画像（両
者をまとめて前画像）との画素毎の演算を行い、テレビ
カメラやディジタル化回路等にて発生した雑音信号を符
号化する画像信号より取り除く。具体的な演算手法とし
ては符号化画像と前画像との画素毎の平均を新たな符号
化画像とする方法等がある。

【００４８】このような処理には前画像を格納しておく
フレームメモリ１１０が必要となる。ディジタル化され
た画像信号１１１はノイズリデューサ回路１１２に入力
される。一方、前画像はフレームメモリ１１０に格納さ
れており、ディジタル化された画像信号１１１の入力に
同期して信号線１１３を介してノイズリデューサ１１２
に入力される。ノイズリデューサ１１２に入力された２
つの信号は雑音を除去され、再び信号線１１３を介して
フレームメモリ１１０書込まれる。フレームメモリ１１
０に書込まれた画像信号は図８Ｂに示すタイミングでフ
レームメモリ４に２回ずつ転送され、以下は図８および
図１の項にてすでに説明した符号化処理を行う。

【００４９】ノイズリデューサの処理は画像の入力即ち
ＴＶ信号に同期した処理であるため一定期間で終了する
。従ってノイズリデューサの処理を開始してから一定時
間を経た後にフレームメモリ４への転送を開始すればノ
イズリデューサ処理をしていない画素を転送する等の不
都合は生じない。なお、フレームメモリ１１０には同時
読み書き型メモリが必要である。

【００５０】フレームメモリ１１０を設けることにより
、格納された画像を受信側の表示タイミングに同期して
読出し、画面合成回路２１０において受信復号化画像２
１１との画面合成あるいは画面切替えを行うことが可能
となる。画面合成処理において、送信側の画面入力タイ
ミングと受信側の画面表示タイミングが非同期であると
表示画面が乱れることがある。このとき、送信側の画像
にノイズリデューサ処理前の画像と処理後の画像が混在
し画面が２つに分かれたように見える。しかし、入力・
表示を同期させることによって画面の乱れのない表示を
行うことができる。ある画素のノイズリデューサ処理を
完了してから次の画素のノイズリデューサ処理を開始す
るまでの期間に画面合成用の画素読出しを行うことがで
きる高速メモリをフレームメモリ１１０に用いることに
より、画面合成処理と符号化処理とノイズリデューサ処
理を同時に、しかもフレームメモリ１１０を共用しなが
ら実行することができる。

【００５１】なお、フレーム間符号化の場合、ノイズリ
デューサ処理と同時に符号化画像と前画像の差分を求め
、これをもとに符号化画像を符号化したときの符号量を
推定することができる。符号量の推定法としては、符号
化画像と前画像との画素毎に差分をとった差分画像の電
力や、差分画像のうち振幅が大きい（差分が大きい）画
素の個数、あるいは量子化した差分画像の電力や量子化
した差分画像の各画素の絶対値和、さらには差分画像を
直交変換等により周波数成分に分解した後に各周波数成
分の絶対値和などがある。

【００５２】以上のノイズリデューサ処理においては前
画像として直前に符号化した画像、あるいは直前に入力
された画像としてきた。フレーム間符号化の場合は、図
６の４ａあるいは４ｂに示したフレームメモリに直前に
符号化・復号化し再生した復号化画像が格納されている
ため、前画像信号にこの復号化画像信号を用いるとさら
に符号化効率が向上する。図７に示す本発明を用いたメ
モリ回路９０により、前画像の読出しをこのフレーム４
ａあるいは４ｂよりおこなうことも可能である。図７タ
イミングチャートにおいて、入力３で示した期間に４ｂ
面に書込まれている参照３を読出し演算を行うことによ
りノイズリデューサ処理が可能となる。同様に図中Ｗ７
で示した期間に参照７を読出し両信号の平均等を計算す
ればよい。先に説明した符号量の推定もこれらの信号を
用いて同様に計算ができる。

【００５３】

【発明の効果】本発明により、従来の画像の遅延時間や
符号化装置の処理能力を維持したままフレームメモリの
面数を減少させることができる。

【図面の簡単な説明】

【図１】従来の画像符号化装置ブロック図

【図２】従来
の２面のメモリを持つフレームメモリ例１およびその制
御タイミングチャート

【図３】従来の２面のメモリを持つフレームメモリ例２
およびその制御タイミングチャート、

【図４】本発明によるフレームメモリ構成実施例

【図５
】書込みアドレスと読出しアドレスの関係を表す図

【図６】フレーム間符号化装置のブロック図

【図７】本
発明をフレーム間符号化に適用したフレームメモリ構成
実施例

【図８】間欠的に書込まれる信号を符号化する時のタイ
ミングチャート

【図９】間欠的に書込まれる信号の符号化・復号化装置
の構成図

【符号の説明】

１−入力アナログ画像信号、３−入力画像信号（ディジ
タル）、４−フレームメモリ、５−符号化画像信号、６
−符号化装置、１０−画像切替要求信号、２０，１００
，１０１−入力画像切り替えスイッチ、２３，１０２−
符号化画像切り替えスイッチ、２１，２２−メモリ、６
１，６２−同時読み書き型メモリ、４６，５０，５１−
アドレス比較回路、５８−アドレス切替制御回路、５９
−本発明による制御回路。

Claims (1)

【特許請求の範囲】
1. 【請求項１】読み書きを独立に行うことのできる画像メ
   モリを有する画像符号化装置において、メモリ読出アド
   レス発生器、書込みアドレス発生器、該アドレスの比較
   回路、比較結果によって２つのアドレス発生器を制御す
   る回路を有する事を特徴とする画像符号化装置。