JP3745907B2

JP3745907B2 - 映像信号処理方法

Info

Publication number: JP3745907B2
Application number: JP33714798A
Authority: JP
Inventors: 正裕中島; 浩大瀧
Original assignee: Pioneer Corp; Pioneer Micro Technology Corp
Current assignee: Pioneer Corp; Pioneer Micro Technology Corp
Priority date: 1998-11-27
Filing date: 1998-11-27
Publication date: 2006-02-15
Anticipated expiration: 2018-11-27
Also published as: US6330037B1; JP2000165776A

Description

【０００１】
【発明の属する技術分野】
本発明は、レターボックス形態の映像信号など、主画部と無画部の情報を有する映像信号に基づいて画像表示を行う映像信号処理方法に関し、特に、主画部と無画部との境界部分を鮮明に表示することが可能な映像信号処理方法に関するものである。
【０００２】
【従来の技術】
従来、所定のアスペクト比に設定された表示画面を有する表示装置に、それとは異なるアスペクト比の画像を表示させるための方式として、レターボックス形態の画像を表示させる方式が知られている。
【０００３】
例えば、我が国の標準テレビジョン方式（ＮＴＳＣ方式など）では、アスペクト比４：３の表示画面を有するテレビジョン受像機に、映画スクリーンと同じアスペクト比１６：９のワイド画像を表示させるため、レターボックス形態の映像信号がテレビジョン放送されている。
【０００４】
このレターボックス形態の映像信号によると、図８に示すように、アスペクト比４：３のテレビジョン受像機の表示画面に、アスペクト比１６：９に相当する横縦比が４：（９／４）の主画部Ａと、横縦比がそれぞれ４：（３／８）の無画部Ｂ１，Ｂ２から成る画像が表示される。そして、主画部Ａにワイド画像が表示され、無画部Ｂ１，Ｂ２は黒表示がなされることにより、縮小画像にはなるものの、アスペクト比１６：９のワイド画像全体が欠落部分を生じることなく表示されるようになっている。
【０００５】
また、ＮＴＳＣ方式では１フレームの画像情報を２フィールドの映像信号に分けて伝送し、受信側のテレビジョン受像機では、この２フィールドの映像信号を飛越し走査（インターレース走査）することにより１フレームの画像を再生表示している。したがって、レターボックス形態の画像についても、２フィールドの映像信号として伝送し、飛越し走査によって図８に示した形態の再生表示が行われている。
【０００６】
【発明が解決しようとする課題】
ところで、上記の飛越し走査により画像再生を行うと、１ラインおきの走査線構造により粗い画像になったり、ラインフリッカなどが生じて画質が劣化する場合がある。この画質の劣化を除去するために、受信機側で走査線補間を行い、順次走査（ノンインターレース走査）の形態に変換して再生表示させる方法が提案され、一例として、動き適応型補間法が適用されている。
【０００７】
この動き適応型補間法によると、静止画については、フィールド間補間処理により前後のフィールドの画像情報を用いて補間走査信号を生成し、動画については、フィールド内補間処理により互いに隣接するライン情報（走査線情報）を用いて補間走査信号を生成し、これらの補間処理を組合わせたり画像の動き量に応じて適応的に切り換えることで、画質の劣化を除去することとしている。
【０００８】
しかし、動き適応型補間法によりレターボックス形態の映像信号を順次走査の画像信号に走査線変換して表示すると、図８に示した主画部Ａと無画部Ｂ１，Ｂ２の境界部分Ｌ１，Ｌ２に動画と静止画が混在した場合に、その境界部分Ｌ１，Ｌ２の動画に対して垂直方向の補間処理が施され、静止画に対しては補間処理が施されない。このため、境界部分Ｌ１，Ｌ２は、補間処理の施された鮮明な部分と、補間処理の施されない不鮮明な部分とが混在することとなり、画像品質の低下を招くという問題があった。
【０００９】
本発明は、上記従来の課題を克服するためになされたものであり、レターボックス形態の画像の主画部と無画部との境界部分を鮮明に表示して、高画質を実現する映像信号処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため本発明は、主画部と無画部の情報を有する信号を走査線変換する映像信号処理方法であって、前記主画部と前記主画部に隣接する前記無画部との境界部分に対して、画像の動きに係わらず常にフィールド間補間処理により補間走査信号を生成することとした。
【００１１】
また、上記境界部分を、上記主画部と無画部の情報を有する信号に多重されている識別信号に基づいて検出することとした。
【００１２】
かかる構成によると、主画部と無画部の境界部分に動画と静止画が混在した場合でも、常にフィールド間補間処理による補間走査信号によって境界部分の表示が行われる。このため、従来技術のような、境界部分に鮮明な部分と不鮮明な部分とが混在するこがなく、高画質の画像表示が行われる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本実施形態の映像信号処理方法を適用した映像信号処理装置の構成を示すブロック図である。
【００１４】
同図において、本映像信号処理装置には、第１のフィールド遅延回路１と、ライン遅延回路２と、第２のフィールド遅延回路３が備えられている。
【００１５】
第１のフィールド遅延回路１は、ＤＶＤ（Digital Video Disk）再生装置やテレビジョンチューナなどから供給される飛越し走査形態のデジタルのコンポーネント信号（以下、映像信号という）Ｓｉを入力し、１フィールド期間遅延して出力するビデオメモリなどの遅延素子で構成されている。ライン遅延回路２は、第１のフィールド遅延回路１から供給される映像信号Ｓrを１水平期間（１Ｈ期間）遅延して出力するビデオメモリなどの遅延素子で構成されている。第２のフィールド遅延回路３は、ライン遅延回路２から供給される映像信号Ｓpを１フィールド期間遅延して出力するビデオメモリなどの遅延素子で構成されている。
【００１６】
更に、第１のフィールド遅延回路１とライン遅延回路２から出力される映像信号を処理することにより、信号Ｓ_FIを生成する第１の演算器４と増幅器５及び第１の調整回路６と、第２のフィールド遅延回路３から出力される映像信号Ｓpを処理することにより、信号Ｓ_FFを生成する第２の調整回路７が設けられている。
【００１７】
また、信号Ｓ_FI，Ｓ_FFを加算することにより補間走査信号Ｓcを生成する第２の演算器８と、第１のフィールド遅延回路１から出力される映像信号Ｓrと補間走査信号Ｓcに基づいて順次走査（ノンインターレース走査）の形態の映像信号Ｓoを生成する時間軸変換部１２が設けられている。
【００１８】
更に、映像信号Ｓrと第２のフィールド遅延回路３から出力される映像信号Ｓ_ffに基づいて動画と静止画の映像信号を判別する動きベクトル検出部９と、レターボックス形態の映像信号を受信した際に、主画部Ａと無画部Ｂ１，Ｂ２との境界部分を検出する境界部分検出部１０と、動きベクトル検出部９及び境界部分検出部１０の各検出信号に基づいて第１，第２の調整回路６，７を制御する係数発生部１１を備えて構成されている。
【００１９】
ここで、第１の演算器４は、第１のフィールド遅延回路１とライン遅延回路２から出力される各映像信号Ｓr，Ｓpを加算し、それによって生成される加算信号Ｓadを増幅器５に出力する。増幅器５は、加算信号Ｓadを２分の１の振幅に増幅することにより、フィールド内補間信号Ｓ_fiを生成して出力する。第１の調整回路６は、係数発生部１１から供給される係数信号Ｓwに基づいて増幅率Ｋを可変調整する可変増幅器やアッテネータなどで構成されており、フィールド内補間信号Ｓ_fiを増幅率Ｋで増幅することにより信号Ｓ_FIを生成する。尚、増幅率Ｋは、０≦Ｋ≦１の範囲に設定されている。
【００２０】
第２の調整回路７は、第１の調整回路６と同様の構成を有し、係数発生部１１から供給される係数信号Ｓwによって設定される増幅率１−Ｋに基づいて映像信号Ｓ_ffを増幅することにより、信号Ｓ_FFを生成する。この増幅率１−Ｋも、０≦１−Ｋ≦１の範囲に設定されており、第１の調整回路６の増幅率Ｋが増減するのに伴って増幅率１−Ｋが減増する関係に設定されている。
【００２１】
動きベクトル検出部９は減算器などで構成されており、映像信号Ｓ_ffと映像信号Ｓｉの振幅の差を求め、その差分信号Ｓdを出力する。すなわち、第１，第２のフィールド遅延回路１，３及びライン遅延回路２によって設定される遅延時間内における動画情報の変化を表す差分信号Ｓdが出力される。
【００２２】
境界部分検出部１０は、黒レベルと略等しい値のしきい値Ｖ_TH1と映像信号Ｓiとを比較し、映像信号Ｓiが最初にしきい値Ｖ_TH1より大振幅となった時点を上側の無画部Ｂ１と主画部Ａとの境界部分Ｌ１と判定すると共に、映像信号Ｓiがしきい値Ｖ_TH1より小振幅となった時点を下側の無画部Ｂ２と主画部Ａの境界部分Ｌ２と判定する。そして、境界部分Ｌ１，Ｌ２の位置を水平走査線の本数として表す判定信号Ｓ_Lを出力する。
【００２３】
より具体的には、境界部分検出部１０は図２に示す構成となっている。すなわち、映像信号Ｓiとしきい値Ｖ_THとを比較する比較器１３と、垂直同期信号ＶＳと水平同期信号ＨＳとを生成する同期分離回路１４と、計数回路１５，１６、及びデコーダ回路１７，１８を備えて構成されている。
【００２４】
ここで、比較器１３は、映像信号Ｓiとしきい値Ｖ_TH1とを比較し、映像信号Ｓiがしきい値Ｖ_TH1より大振幅となった時点で第１の検出信号ＵＰを出力し、その後、映像信号Ｓiがしきい値Ｖ_TH1より小振幅となった時点で第２の検出信号ＬＯを出力する。計数回路１５は、垂直同期信号ＶＤに同期してリセットして、水平同期信号ＨＳの計数動作を開始し、第１の検出信号ＵＰが発生した時点に同期して計数動作を停止し、その計数値をデコーダ回路１７へ出力する。計数回路１５も同様に、垂直同期信号ＶＤに同期してリセットして、水平同期信号ＨＳの計数動作を開始し、第２の検出信号ＵＰが発生した時点に同期して計数動作を停止し、その計数値をデコーダ回路１８へ出力する。
【００２５】
デコーダ回路１７は、計数回路１５から供給される上記計数値をデコードすることにより、フィールド画像中の上側の境界部分Ｌ１の位置を水平走査線の本数値Ｓ_LUとして出力する。デコーダ回路１８は、計数回路１６から供給される上記計数値をデコードすることにより、フィールド画像中の下側の境界部分Ｌ２の位置を水平走査線の本数値Ｓ_LLとして出力する。そして、これらの本数値Ｓ_LU，Ｓ_LLが判定信号Ｓ_Lとして出力される。
【００２６】
また、境界部分検出部１０は、図３に示す構成であってもよい。すなわち、垂直同期信号ＶＤと水平同期信号ＨＳを出力する同期分離回路１９と、映像信号Ｓiを１水平走査期間遅延させる複数個のライン遅延回路２０と、計数回路２１、減算器２２及び比較器２３を備えて構成される。
【００２７】
減算器２２は、ライン遅延回路２０で遅延された映像信号Ｓi’と現時点の映像信号Ｓiとの差分の絶対値｜Ｓi’−Ｓi｜を求める。比較器２３は、予め決められたしきい値Ｖ_TH2と絶対値｜Ｓi’−Ｓi｜とを比較し、Ｖ_TH2＜｜Ｓi’−Ｓi｜になった時点ｔ_UPと、その後にＶ_TH2＞｜Ｓi’−Ｓi｜になった時点ｔ_LOとを表す検出信号Ｓ_THを出力する。
【００２８】
このように、ライン遅延回路２０と減算器２２及び比較器２３の処理が行われると、図４に示すように、絶対値｜Ｓi’−Ｓi｜が無画部Ｂ１，Ｂ２と主画部Ａとの境界部分で強調された波形となり、この絶対値｜Ｓi’−Ｓi｜をしきい値Ｖ_TH2と比較することで、時点ｔ_UPと時点ｔ_LO（図示略）に同期して、上側の境界部分Ｌ１と下側の境界部分Ｌ２の位置が検出され、検出信号Ｓ_THとして出力される。
【００２９】
計数回路２１は、垂直同期信号ＶＤに同期してリセットし、水平同期信号ＨＳの計数動作を開始して、検出信号Ｓ_THの発生時点ｔ_UPとｔ_LOまで計数する。そして、時点ｔ_UPまでの計数値を上側の境界部分Ｌ１の位置を示す水平走査線の本数値Ｓ_LUとし、時点ｔ_LOまでの計数値を下側の境界部分Ｌ２の位置を示す水平走査線の本数値Ｓ_LLとする判定信号Ｓ_Lを出力する。
【００３０】
また、上記のＤＶＤ再生装置から映像信号Ｓiが供給される場合には、記録媒体であるＤＶＤには、予めレターボックス形態の画像と上側の境界部分Ｌ１と下側の境界部分Ｌ２の情報を示す識別情報が書き込まれているので、この識別情報に基づいて、境界部分Ｌ１，Ｌ２を示す判定信号Ｓ_Lを設定してもよい。
【００３１】
係数発生部８は、図５の特性図中、実線で示された関係に基づいて、動きベクトル検出部９からの差分信号Ｓdに対応する係数値Ｋを設定し、係数信号Ｓwによって第１，第２の調整回路６，７のそれぞれの増幅率Ｋ，１−Ｋを制御する。すなわち、図５中のしきい値Ｖ_TH3は、差分信号Ｓd中の雑音成分などを除去するために設定され、しきい値Ｖ_TH4は、差分信号Ｓdの飽和領域を排除するために設定されている。そして、差分信号Ｓdの値がしきい値Ｖ_TH3より小さいときは、Ｋ＝０、差分信号Ｓdの値がしきい値Ｖ_TH4より大きいときは、Ｋ＝１、差分信号Ｓdの値がしきい値Ｖ_TH3とＶ_TH4の範囲内のときは、差分信号Ｓdの値に比例した係数値Ｋが設定される。
【００３２】
更に、係数発生部８は、判定信号Ｓ_Lによっても係数値Ｋを設定する。すなわち、判定信号Ｓ_Lによって本数値Ｓ_LU，Ｓ_LLが入力されると、境界部分Ｌ１，Ｌ２のタイミングで係数値Ｋを、強制的にＫ＝０にする。
【００３３】
このように、係数発生部８で係数値Ｋが設定されると、Ｋ＝０のときは、第１の調整回路６の増幅率が「０」になることで信号Ｓ_FIは黒レベルとなり、更に、第２の調整回路１０の増幅率が「１」になることで、映像信号Ｓ_ffがそのまま信号Ｓ_FFとなって出力される。
【００３４】
また、Ｋ＝１のときには、第１の調整回路６の増幅率が「１」になることで、フィールド内補間信号Ｓ_fiがそのまま信号Ｓ_FIとなって出力され、更に、第２の調整回路１０の増幅率が「０」になることで、映像信号Ｓ_FFは黒レベルとなる。そして、０＜Ｋ＜１のときは、フィールド内補間信号Ｓ_fiと映像信号Ｓ_ffがそれぞれの増幅率Ｋ，１−Ｋで増幅されて、信号Ｓ_FIとＳ_FFが出力される。
【００３５】
第２の演算器８は、上述したように信号Ｓ_FI，Ｓ_FFを加算することにより補間走査信号Ｓcを生成する。ここで、映像信号Ｓiは、第１，第２のフィールド遅延回路１，３及びライン遅延回路２で遅延されることにより、フィールド間補間が施されるため、映像信号Ｓ_ffはフィールド間補間信号となり、更に、信号Ｓ_FFはこのフィールド間補間信号を第２の調整回路７でレベル調整して得られるフィールド間補間信号となっている。
【００３６】
この結果、補間走査信号Ｓcは、フィールド内補間が施された信号Ｓ_FIとフィールド間補間が施された信号Ｓ_FFとによって形成されるフィールド画像の映像信号となり、更に、係数発生部８で設定される係数値Ｋに応じてレベル調整が成されることにより、無画部Ｂ１，Ｂ２と境界部分Ｌ１，Ｌ２では黒レベル、主画部Ａでは、係数値Ｋに応じて信号Ｓ_FIとＳ_FFが混合（加算）された信号となる。
【００３７】
時間軸変換部１２は、フィールド画像の映像信号Ｓrと補間走査信号Ｓcとを１水平走査期間（１Ｈ）の２分の１の時間に時間圧縮し、１ライン毎に交互に内挿することで順次走査（ノンインターレース走査）の形態の映像信号Ｓoを生成する。すなわち、フレーム画像のノンインターレース映像信号Ｓoが生成される。
【００３８】
そして、この映像信号ＳoをＣＲＴディスプレイなどの表示装置に供給すると、静止画と動画が境界部分Ｌ１，Ｌ２に掛かるような場合であっても、境界部分Ｌ１，Ｌ２は鮮明な黒表示がなされため、ちらつきなどの無い鮮明なレターボックス形態の画像が再生表示される。
【００３９】
次に、図６を参照して、図１に示した映像信号処理装置の一連の動作を概説する。尚、図６は、映像信号処理装置内で生成される上記の各信号のタイミングをフィールド期間に合わせて示した説明図である。また、各信号中の「×」印で示した部分が無画部、（Ｆ１），（Ｆ２），（Ｆ１’），（Ｆ２’）等の括弧付き符号で示した部分が主画部Ａの映像信号を示している。更に、１フィールド期間遅延された主画部Ａの映像信号を、Ｆ１ｄ，Ｆ２ｄ，Ｆ１ｄ’，Ｆ２ｄ’等、符号ｄを付して示している。
【００４０】
同図において、レターボックス形態の映像信号Ｓiが入力すると、第１のフィールド遅延回路１から、１フィールド期間遅延された映像信号Ｓrが出力される。この映像信号Ｓrがライン遅延回路２で１Ｈ期間遅延されて、図１中の映像信号Ｓpが発生する。これら１Ｈ期間の時間差を有する映像信号ＳrとＳpが演算器４と増幅器５を通ることにより、フィールド内補間信号Ｓ_fiが生成される。
【００４１】
第２のフィールド遅延回路３からは、２フィールド期間と１Ｈ期間遅延された映像信号Ｓ_ffが出力され、これによって、映像信号Ｓ_ffはフィールド間補間が施されたフィールド間補間信号となる。更に、この映像信号Ｓ_ffに基づいて、動きベクトル検出部９と境界部分検出部１０が差分信号Ｓdと判定信号Ｓ_Lを生成し、係数発生部１１がこれらの信号Ｓd，Ｓ_Lに基づいて、係数値Ｋを設定するための判定信号Ｓ_Lを生成する。
【００４２】
この判定信号Ｓ_Lに同期して第１，第２の調整回路６，７の各増幅率Ｋ，１−Ｋが設定され、フィールド内補間信号Ｓ_fiと映像信号（フィールド間補間信号）Ｓ_ffのレベル調整が行われ、レベル調整されたフィールド内補間信号Ｓ_FIとフィールド間補間信号Ｓ_FFが演算器８で加算されることにより、補間走査信号Ｓcが生成される。
【００４３】
そして、補間走査信号Ｓcと映像信号Ｓrに基づいて時間軸変換部１２がノンインターレース映像信号Ｓoを生成して出力する。
【００４４】
このように本実施形態の映像信号処理方法及び映像信号処理装置によれば、図７に示すように、無画部Ｂ１，Ｂ２と境界部分Ｌ１，Ｌ２は黒表示がなされることで、動画と静止画が混在した場合でも境界部分Ｌ１，Ｌ２にちらつき等が発生せず、更に、主画部Ａには、フィールド内補間とフィールド間補間の施された画像が形成されるため、極めて鮮明なレターボックス形態の画像を再生表示することができる。
【００４５】
尚、以上の本実施形態では、図５に示したように、２つのしきい値Ｖ_TH3，Ｖ_TH4に基づいて係数値Ｋを強制的に「０」または「１」に設定することとしたが、本発明はこれに限定されるものではない。図５中の２点鎖線で示すように、しきい値Ｖ_TH3は設けずに、差分信号Ｓdの値が「０」のときから係数値Ｋを設定してもよい。この１点鎖線の特性を適用すると、無画部Ｂ１，Ｂ２に字幕スーパー等の情報が多重化された映像信号Ｓiが供給された場合に、その情報を表示させることができる。更に、無画部Ｂ１，Ｂ２中の字幕スーパー等の情報表示を除いた領域は実質的に黒表示がなされるため、画質が低下することはない。
【００４６】
また、しきい値Ｖ_TH4も設けず、図５中の２点鎖線で示すように、差分信号Ｓdの全ての値に対して係数値Ｋと比例関係になるように設定してもよい。この場合にも、境界部分Ｌ１，Ｌ２は、判定信号Ｓ_Lによって係数値Ｋが「０」となることにより黒表示されるため、鮮明なレターボックス形態の画像が再生表示される。
【００４７】
また、本発明は、アスペクト比１６：９のレターボックス形態の画像に限定されるものではなく、任意のアスペクト比の画像を鮮明に再生表示することができる。また、主画部のみからなる通常の画像を再生表示させる場合にも、その主画部の画質を劣化させることは無く、鮮明な画像を提供することができる。
【００４８】
尚、上記実施形態では、フィールド間補間とフィールド内補間処理を行うための基本的な構成を示したが、本発明はこれに限定されるものではなく、フィールド間補間とフィールド内補間を他の構成によって実現してもよい。
【００４９】
また、デジタルのコンポーネント信号Ｓｉを入力して処理する構成としたが、アナログ信号処理回路の構成にして、アナログの映像信号を処理するようにしてもよい。
【００５０】
【発明の効果】
以上説明したように本発明によれば、主画部と無画部の境界部分に動画と静止画が混在した場合でも、常にフィールド間補間処理による補間走査信号によって境界部分の表示を行うようにしたので、境界部分を鮮明に表示することが可能となり、レターボックス形態の画像等、主画部と無画部を有する画像について高画質の画像表示を行うことができる。
【図面の簡単な説明】
【図１】本実施の形態の映像信号処理装置の構成を示すブロック図である。
【図２】境界部分検出部の構成を示すブロック図である。
【図３】境界部分検出部の他の構成を示すブロック図である。
【図４】図３に示した境界部分検出部の動作を説明するための波形図である。
【図５】係数発生部の動作原理を説明するための特性図である。
【図６】本実施の形態の映像信号処理装置の動作を説明するための説明図である。
【図７】本実施の形態の映像信号処理装置の作用を説明するための説明図である。
【図８】従来技術の問題点を説明するための説明図である。
【符号の説明】
１，３…フィールド遅延回路
２，２０…ライン遅延回路
４，８…演算器
５…増幅器
６，７…調整回路
９…動きベクトル検出部
１０…境界部分検出部
１１…係数発生部
１２…時間軸変換部
１３，２３…比較器
１５，１６，２１…計数回路
１７，１８…デコーダ回路

Claims

主画部と無画部の情報を有する信号を走査線変換する映像信号処理方法であって、
前記主画部と前記主画部に隣接する前記無画部との境界部分に対して、画像の動きに係わらず常にフィールド間補間処理により補間走査信号を生成することを特徴とする映像信号処理方法。
前記境界部分は、前記主画部と前記無画部の情報を有する信号に多重されている識別信号に基づいて検出することを特徴とする請求項１に記載の映像信号処理方法。