JP2748378B2 - 画像合成方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はテレビ（TV）やVTR（Video Tape Recorder）
画像の合成方法に関し、特に高解像度を実現するのに好
適な画像合成方法に関する。 〔従来の技術〕 多機能テレビやVTRにおいて、二種の映像源を持ち、
一方の映像（副画面または子画面、以下、「子画面」と
いう）を、別の映像（主画面または親画面、以下、「親
画面」という）の一部にはめ込む、「ピクチャ・イン・
ピクチャ」が注目されている。 この種の画面の合成方法としては、従来、子画面をフ
ィールド毎にメモリに記憶し、親画面に同期させて読出
す方法がとられている。一例を、第11図を用いて説明す
る。 第11図（ａ）は、子画面の２フィールド分の走査線の
様子を示しており、同（ｂ）は合成後の走査線の様子を
示している。この例では子画面が1/4に縮小される場合
を示しているが、他の縮小率の場合も原理は同じであ
る。 第11図（ａ），（ｂ）において、実線で示す走査線は
奇数フィールド、破線で示す走査線は偶数フィールドで
ある。なお、本発明の説明においては、「奇数フィール
ド」および「偶数フィールド」という語は、それぞれ、
１フレームの「第１フィールド」および「第２フィール
ド」と同じ意味に用いる。 1/4縮小では、まず子画面の奇数フィールドに対し
て、走査線を1,5,9・・・・のように間引いて、その情
報をメモリに記憶し、偶数フィールドに対しては、265,
269（または266,270）・・・・のように間引く。この情
報をメモリから読出し、親画面の奇数フィールドに対し
て走査線1,5,9・・・を合成し、偶数フィールドに対し
ては265,269（または266,270）・・・・を合成して、第
11図（ｂ）の如き画面を得る。 ところが、同図（ｂ）において、265（または266）は
走査線１と５の中央の走査線となっているが、元の画面
では、３が１と５の中央にあり、上述の265（または26
6）は中央ではない。このような走査線の位置ずれが、
静止画像の垂直解像度低下の原因となっていた。この現
象は、子画面が大きい程顕著である。 上述の、走査線の位置ずれをなくすために、子画面の
同一フィールドの走査線を、親画面の２フィールド分に
振分ける方法も考えられるが、この場合は、動きの大き
い画像の画質を劣化させるという別の問題が生ずる。 第11図に示した如き従来の方法については、例えば、
真利藤雄監修「最近のAV機器とディジタル技術」（コロ
ナ社刊）に述べられている。 〔発明が解決しようとする問題点〕 上記従来技術は、走査線の空間的または時間的なずれ
に対して充分な配慮がなされておらず、画像の画質を劣
化させるという問題があった。 本発明は上記事情に鑑みてなされたもので、その目的
とするところは、従来の画像合成方法における上述の如
き問題を解消し、子画像部分の画質を向上させることが
可能な画像合成方法を提供することにある。 〔問題点を解決するための手段〕 本発明の上記目的は、第１のフィールドと第２のフィ
ールドから成るインタレース走査の副画像を奇数分の１
となる縮小率以外の縮小率で縮小し、主となる画像と合
成する方法において、前記副画像の動きの有無を検出
し、動きが大きいときには第２のフィールド内走査線か
ら縮小後の第２のフィールドの走査線を生成し、動きが
小さくなるとともに第１のフィールドの走査線の重み付
けが大きくなるように第１の走査線を利用して縮小後の
第２のフィールドの走査線を生成することを特徴とする
画像合成方法によって達成される。 〔作用〕 本発明に係わる画像合成方法においては、１フレーム
（２フィールド）メモリを用いたフレーム間差信号によ
り動きの大きさを検出し、この検出結果に基づいて走査
線の使い分け、あるいは補間を行う。すなわち、動きの
小さい画像の場合は、合成する子画面の第２フィールド
に、第１フィールドで間引いた走査線を用い、動きの大
きい画像の場合は、第２フィールドの走査線を用いるよ
うにコントロールする。 また、子画面情報を記憶させるときのメモリの割振り
は、読出字が書込みを追越すのを禁止させるようにコン
トロールする。 〔実施例〕 以下、本発明の実施例を図面に基づいて詳細に説明す
る。 第１図は、本発明の第一の実施例の基本概念を示す図
である。本実施例では1/2縮小を行う場合を例に挙げ
る。 第１図（ａ）は子画面の走査線の様子、同（ｂ）は子
画面の動きの小さいときの合成画面の走査線の様子、同
（ｃ）は子画面の動きの大きいときの合成画面の走査線
の様子、をそれぞれ、示している。 第１図（ｂ）では、子画面奇数フィールドの走査線1,
2,3,4,・・・・を分割し、1,3,5・・・・を親画面奇数
フィールドに当て、2,4,6・・・・を親画面偶数フィー
ルドに当てる。走査線２は、子画面においても合成画面
においても、走査線1,3の中央に位置している。合成画
面では、１フィールド分、時間的にずれた走査線を用い
ることになるが、動きの小さいときには画質は劣化しな
い。 第１図（ｃ）では、子画面偶数フィールドの走査線
を、親画面偶数フィールドの走査線に当てており、時間
的ずれのない、従って、動きの大きい画像（動画像）で
も画質の劣化のしない画像を得ることができる。第１図
（ｃ）では、１と３の中央の走査線を、264と265の平均
値として補間しており、空間的なずれの補正も行ってい
る。 上述の如く、本実施例では、静止画，動画いずれに対
しても、高画質の合成画像が得られる。 第２図は、上記画像合成方法を実施するための具体的
構成例を示すものである。図において、４はローパスフ
ィルタ（LPF）、５はカラー信号を復調するカラー復調
器、６は輝度成分と色差信号とをクランプし、時分割に
切換えるクランプ・スイッチ、７はAD変換器、８は後述
する動き検出・メモリコントロール回路、９はメモリ、
10はDA変換器、11はカラー信号の変調を行うカラー変調
器およびカラー信号と輝度信号の混合器、12は上記各要
素から構成される子画面ビデオ信号と、親画面ビデオ信
号とをクランプし、時分割に切換えるクランプ・スイッ
チを示している。 以下、上述の如く構成された本実施例の動作の概要を
説明する。 子画面ビデオ信号をLPF4に通し輝度成分を分離し、カ
ラー信号については復調してＲ−Y,B−Ｙの色差信号に
分割する。これらの信号を、クランプ・スイッチ６でク
ランプし、時分割に切換えて、AD変換器７によりAD変換
する。この信号から動き検出回路で後述する如く子画面
の動きを検出し、追越しを禁止するようにメモリコント
ロール回路で制御して、メモリ９に書込む。 次に、親画面に同期させてメモリ９から読出しを行
い、DA変換器10によりDA変換し、カラー変調を行った
後、カラー信号と輝度信号を合成して、親画面と切換え
て親子合成画面を得る。 以下、まず、動き検出とその適応について第３図〜第
５図を用いて説明し、次に、メモリ割振りについて第６
図〜第８図を用いて説明する。 第３図は、動き検出とその適応に関する第一の方法を
示す図である。第３図（ａ）は、走査線の位置関係を示
すもので、丸印（○および◎）が奇数フィールド、三角
印（△）が次の偶数フィールド、四角印 がその次の奇数フィールド上の走査線を示している。 NTSC信号に対する動き検出方法としては、従来から、
フレーム差信号をLPFに通して色信号による誤差をなく
す方法や、フレーム遅延の後に色信号の位相を反転させ
るクロマ・インバータを入れ、その後フレーム差信号を
得る方法等が知られている。本発明を、コンポジット信
号による合成に適用する場合は、上記方法が適用可能で
あるが、本実施例では、コンポーネント信号を用いるの
で（第２図参照）、輝度信号のフレーム間差信号（第３
図（ａ）に示す走査線ＡとＤの差）が、動きの大きさを
表わす。 第３図（ｂ）において、Ａは525走査時間分（１フレ
ーム分）遅延された走査線Ａの輝度信号であり、これと
次のフィールドの対応する走査線Ｄの輝度信号Ｄとの差
が演算され、その結果がディジタル・コンパレータ25で
所望のレベルと比較され、スイッチ26または27のいずれ
かが選択される。 静止画と認められた場合には、スイッチ27が選択さ
れ、第３図（ａ）に示す走査線Ａの値がＥの値として前
記メモリ９に記憶される。また、動画に対しては、スイ
ッチ26が選択され、262Hおよび1H遅延メモリ（20,21）
より得たB,Cにつき、23および24でとられた平均値が、
上記Ｅの値としてメモリ９に記憶される。 なお、ここで、上記Ｅを生成させた後のA,B,Cはいず
れも不要である。合成画面に表示されるのは、第３図
（ａ）に示した二重丸（◎）および二重四角 と、上記手順で得られたＥである。 第４図は、動き検出とその適応に関する第二の方法を
示す図である。本実施例が第３図に示した方法と異なる
点は、フレーム差信号をROM28に入力して、ここに記憶
されている変換テーブルから動き係数Ｋを得、フィール
ド間補間とフィールド内補間に重み付けをする点であ
る。フレーム差信号と上記動き係数Ｋとは非線型でも良
い。 第５図は、動き検出とその適応に関する第三の方法を
示す図である。本実施例の方法では、Ｅの走査線を得る
ために、隣接走査線位置にあるＡおよびＤから動き係数
を得るものである。第４図の場合には、Ｅを求めるため
に、ＤとＡの差演算時間,ROMアクセス時間，乗算器29,3
0の乗算時間，加算器31の加算時間の和が必要であった
が、本実施例では、隣接走査線により予め動き係数Ｋを
求められるので、Ｅを求めるためには、乗算器29,30の
乗算時間と加算器31の加算時間の和の時間だけで良い。
従って、比較的遅い半導体素子によって構成できるとい
う利点がある。但し、上記動き係数Ｋを記憶するメモリ
が必要になる。 次に、メモリ割振りについて第６図〜第８図を用いて
説明する。 第６図は、メモリの割振りに対する第一の方法を示す
ものである。第６図（ａ）は、子画面となる画面の走査
線の位置関係を示している。丸印および四角印を奇数フ
ィールド、三角印を偶数フィールド上の走査線とする。 第６図（ｂ）は、メモリの割振りを示すものである。
ａ〜ｈのそれぞれは、合成後の子画面１フィールド分の
容量を有するメモリである。奇数フ類ールドの丸印の走
査線をメモリe,fに図の如く記憶する。すなわち、二重
丸の走査線1,3,・・・・をメモリｅに、一重丸の走査線
2,4,・・・・をメモリｆに、というように１行毎にメモ
リｅとｆに振分ける。同様に、偶数フィールド上の走査
線264,265,・・・・もメモリg,hに記憶させる。該メモ
リg,hへの書込み中の状態を、第６図（ｂ）の左側の列
に示した。メモリg,h内の二重矢印（Ｗの添字付き）
は、そのフィールドに書込み中であることを示してい
る。 メモリａ〜ｄには既に書込みを終了し、読出し待機中
の情報があるとする。仮にメモリg,hへの書込みを開始
したとき、親画面が偶数フィールドにあり、メモリｂか
ら読出し始め、メモリg,hへ書込みを終了したとき、親
画面が奇数フィールドにあり、メモリｃから読出し中と
し、メモリb,cに読出しを示す二重矢印（Ｒの添字付
き）を記した。 次に、子画面の四角印で示す走査線526,527,・・・・
を記憶するときの様子を、第６図（ｂ）の中央の列に示
す。 まず、1Hメモリに264の走査線を読出しておき、同じ
場所（メモリｇの264の記憶場所）に526（二重四角印）
を記憶する。次に、メモリｆの走査線２とメモリｈの走
査線265とを読出し、先に第３図〜第５図に基づいて説
明した方法のいずれかで補間走査線（丸と三角の合成
印）を求め、それをメモリｆに書込み、走査線527をメ
モリｈに書込む。このようにして、メモリg,hが子画面
奇数フィールドの情報に書換えられると同時に、メモリ
ｆは親画面偶数フィールドに同期して読出される補間走
査線（上記丸と三角の合成印）に書換えられる。 この間、親画面はメモリc,dに示したように、情報を
読出す（Ｒの添字付き二重矢印）。メモリa,bは既に読
出しを終了しているので、子画面の次の偶数フィールド
（逆三角形印）の情報を書込むのに用いられる。この様
子を、第６図（ｂ）の右側の列に示す。 以上述べた如く、本実施例の方法では、合成後子画面
８フィールド分のメモリで、動き適応の画面合成が可能
である。縮小率1/2,6ビットサンプリングとして、約1.5
メガビットの容量である。 なお、第６図の読出し、書込みを示す二重矢印R,Wが
同時に同一メモリに記されていないことは、読出しが書
込みを追越すことがないことを示している。 次に、子画面の偶数フィールド264,265・・・・のメ
モリg,hへの書込みを開始したとき、親画面が奇数フィ
ールドにあったとする。このときは、第６図（ｃ）に示
す如く、メモリｃからｄにかけて読出しを行う。この場
合も、読出しが書込みを追越すことがないことを示して
いる。 第７図は、メモリの割振りに対する第二の方法を示す
ものである。基本原理は、第６図に示した方法と全く同
様である。第６図から理解されるように、どの時点で
も、メモリから読出しを終了しているメモリが少なくと
も１個ある。すなわち、第６図（ｂ）の左側の列に示し
た状態では、メモリａが、中央の列に示した状態では、
メモリａとｂが、また、右側の列に示した状態では、メ
モリｃが、それぞれ、既に読出しを終了している。これ
に着目して、メモリを削減させるのが、第７図に示す方
法である。 第７図の左側の列では、メモリｂは読出し終了にな
り、また、中央の列では、メモリｃが読出し終了になっ
ている。従って、子画面の次のフィールド（逆三角形
印）の走査線を書込むときには、メモリb,cを利用可能
である。結局、本方法では、合成後子画面７フィールド
分のメモリで済む。 第８図は、メモリの割振りに対する第三の方法を示す
ものである。本方法では、第６図の偶数フィールド（26
4,265,・・・・）をメモリに書込むとき、隣接の２走査
線の平均を用いる。これにより、第６図ではメモリｇと
ｈに書込んだ情報を、メモリｇだけに書込むことができ
る。これは、前述の、第３図〜第５図に示した（Ｂ＋
Ｃ）/2を予め求めてから、メモリに記憶することを意味
している。 メモリｇに書込み終了したときは、メモリｂの読出し
が終了しているから、次の奇数フィールド（四角印）を
書込むときには、メモリｇとｂを対にして用いることが
可能である。この様子を、第８図の右側に示す。親画面
と子画面の偶数フィールド，奇数フィールドの関係が逆
のときにも、第８図に破線で示される二重矢印のように
読出しを制御すれば、追越しは発生しない。本実施例の
方法では、合成後子画面６フィールド分のメモリで、動
き適応の画面合成が可能であることになる。縮小率1/2,
6ビットサンプリングとして、約１メガビットの容量で
ある。 本発明の他の実施例を、以下、第９図，第10図により
説明する。本実施例では1/4縮小を対象としている。第
９図は、第１図に対応している。第１図に示す方法を1/
4に適用する場合は、子画面の動きが大きいときは、走
査線１と５の中央に、走査線265と266の平均の走査線を
用いることになる。本実施例においては、これを、走査
線265（または266）で代用する。1/4以下の縮小の場合
には、このように、走査線１と５の中央に最も近い走査
線を用いれば、空間的なずれは小さくなり、画質の劣化
は顕著ではない。 この場合の動き適応の補間を実現する構成法を第10図
に示した。図からも明らかな如く、第３図〜第５図に示
したものに比較して、構成が簡単になるのが、本実施例
の特徴である。 また、上記各実施例においては、親画面中に、子画面
を一つだけ挿入するものとして説明を行ったが、第２図
に示した、子画面ビデオ信号処理回路（４〜11）を複数
回路設けて、これらの出力と親画面ビデオ信号処理回路
とのクランプ・スイッチ12を多回路用にすれば、挿入さ
れる子画面が二つまたはそれ以上である場合にも、本発
明を適用することが可能であることは言うまでもない。 〔発明の効果〕 以上、詳細に説明した如く、本発明によれば、子画像
（副画像）部分の画質を向上させることが可能な画像合
成方法を実現できるという顕著な効果を奏するものであ
る。

【図面の簡単な説明】 第１図は本発明の第一の実施例の基本概念を示す図、第
２図は画像合成方法を実施するための具体的構成例を示
す図、第３図〜第５図は動き検出とその適応を示す図、
第６図〜第８図はメモリ割振りの説明図、第９図は本発
明の第二の実施例の基本概念を示す図、第10図はその動
き検出とその適応を示す図、第11図は従来の画像合成方
法を説明するための図である。 1:子画面走査線、2,3:合成画面走査線、4:LPF、5:カラ
ー復調器、6:クランプ・スイッチ、7:AD変換器、8:動き
検出・メモリコントロール回路、9:メモリ、10:DA変換
器、11:カラー変調器およびカラー信号と輝度信号の混
合器、12:クランプ・スイッチ。

Claims (1)

1. (57)【特許請求の範囲】 １．第１のフィールドと第２のフィールドから成るイン
   タレース走査の副画像を奇数分の１となる縮小率以外の
   縮小率で縮小し、主となる画像と合成する方法におい
   て、前記副画像の動きの有無を検出し、動きが大きいと
   きには第２のフィールド内走査線から縮小後の第２のフ
   ィールドの走査線を生成し、動きが小さくなるとともに
   第１のフィールドの走査線の重み付けが大きくなるよう
   に第１の走査線を利用して縮小後の第２のフィールドの
   走査線を生成することを特徴とする画像合成方法。 ２．前記副画像の動きを、連続する２フレーム間の輝度
   信号の差から検出することを特徴とする特許請求の範囲
   第１項記載の画像合成方法。 ３．前記副画像の動きを、連続する２フレームの、生成
   すべき走査線の１本前の走査線間の輝度信号の差から検
   出することを特徴とする特許請求の範囲第１項記載の画
   像合成方法。 ４．前記フィールド内の走査線補間を、前記副画像の動
   きに基づいて決定される動き係数に応じて行うことを特
   徴とする特許請求の範囲第１項〜第３項のいずれかに記
   載の画像合成方法。