JP4513313B2

JP4513313B2 - 映像信号処理装置及び方法

Info

Publication number: JP4513313B2
Application number: JP2003396075A
Authority: JP
Inventors: 伸夫上木; 郁男染谷; 真近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-11-26
Filing date: 2003-11-26
Publication date: 2010-07-28
Anticipated expiration: 2023-11-26
Also published as: JP2005159765A

Description

本発明は、映像信号を縮小及び／又は拡大する映像信号処理装置及びその方法に関し、特に、１フレーム内で縮小及び拡大を混在させることが可能な映像信号処理装置及びその方法に関する。

液晶ディスプレイやプラズマディスプレイといった固定画素の表示装置に４８０ｉ（ライン数４８０本のインタレース信号）、４８０ｐ（ライン数４８０本のプログレッシブ信号）、１０８０ｉ、或いは７２０ｐなど、様々なフォーマットの映像信号を表示するためには、入力映像信号の画素数を表示画面の画素数に合わせるための画素数変換が必要となる。例えば４８０ｐの入力映像信号をＷＶＧＡ（Wide Video Graphics Array）の表示画面に表示する場合は、入力映像信号の画素数を７２０×４８０画素から８５４×４８０画素へと変換する必要がある。

従来、このような画素数変換を行う映像信号処理装置として、フレームメモリに書き込む前に縮小補間処理を行い、フレームメモリから読み出しながら拡大補間処理を行うものが知られている（特許文献１等を参照）。

例えば、図１０に示す従来の映像信号処理装置１００において縮小補間処理を行う場合、入力端子１０１から入力された映像信号は、入力端子１０２，１０３から入力された水平／垂直同期信号（InputHD／InputVD）と所望の縮小率とに基づいて縮小補間回路１０４で縮小補間処理が施され、水平／垂直同期信号（InputHD／InputVD）に基づいて書き込み制御回路１０５で生成されるコントロール信号に従ってフレームメモリ１０６に書き込まれる。そして、フレームメモリ１０６に書き込まれた映像信号は、出力同期発生回路１０７で生成された水平／垂直同期信号（OutputHD／OutputVD）に基づいて読み出し制御回路１０８で生成されるコントロール信号に従って読み出され、拡大補間回路１０９内を素通りして出力端子１１０から出力された後、図示しない表示装置に供給される。なお、水平／垂直同期信号（OutputHD／OutputVD）は、出力端子１１１，１１２から出力される。

一方、この映像信号処理装置１００において拡大補間処理を行う場合、入力端子１０１から入力された映像信号は、縮小補間回路１０４内を素通りしてそのままフレームメモリ１０６に書き込まれる。そして、フレームメモリ１０６に書き込まれた映像信号は、出力同期発生回路１０７で生成された水平／垂直同期信号（OutputHD／OutputVD）に基づいて読み出し制御回路１０８で生成されるコントロール信号に従って読み出され、所望の拡大率に基づいて拡大補間回路１０９で拡大補間処理が施され、出力端子１１０から出力された後、図示しない表示装置に供給される。

拡大補間回路１０９の補間処理部分を図１１に示す。図１１に示すように、拡大補間回路１０９は、１ライン分のデータを保持するラインバッファ１２１_１，・・・，１２１_３と、補間処理としてキュービック補間を行う補間回路１２２とを有している。

この拡大補間回路１０９において、フレームメモリ１０６から読み出したライン毎のラインデータは、巡回的にラインバッファ１２１_１，・・・，１２１_３に保持される。そして補間回路１２２は、４ライン分のラインデータを用いて拡大補間処理を行い、処理後のデータを出力端子１１０（図１０）を介して出力する。

特開平１０−２１３８７号公報

ところで、近年、表示装置としてアスペクト比１６：９等の横長の表示画面を有するものが普及している。このような横長の表示画面を有する表示装置は、アスペクト比４：３の映像信号をアスペクト比１６：９等の映像信号に変換する機能を備えることが必須である。

アスペクト比４：３の映像信号をアスペクト比１６：９等の横長の表示画面に表示する場合、横方向（水平方向）にのびた映像となるのを防止するために映像信号のうち垂直方向の中央部を拡大し、この結果上下の映像が切れてしまうのを防止するために上部及び下部を縮小する、という非線形処理を行う場合がある。

ここで、例えば４８０ｐの映像信号をＷＶＧＡの表示画面に表示する場合などは垂直方向の有効画素数が共に４８０画素であるため、垂直方向の中央部については拡大補間処理を行い、上部及び下部については縮小補間処理を行う必要がある。すなわち、１フレーム内で縮小補間処理と拡大補間処理とを混在させる必要がある。しかしながら、上述した従来の映像信号変換装置１００のような画素数変換を行う装置では、縮小補間処理を行う回路と拡大補間処理を行う回路とが別々に設けられているため、１フレーム内で縮小補間処理と拡大補間処理とを混在させた処理を行うことはできなかった。

本発明は、このような従来の実情に鑑みて提案されたものであり、フレームメモリに書き込む前に縮小補間処理を行い、フレームメモリから読み出しながら拡大補間処理を行う映像信号処理装置において、１フレーム内で縮小補間処理と拡大補間処理とを混在させた処理を可能とする映像信号処理装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る映像信号処理装置は、映像信号を構成する入力データがフレーム単位で書き込まれるフレームメモリと、上記フレームメモリから複数ライン分のラインデータを同時に読み出し、所定ライン数のラインデータを用いて所望の拡大率に応じて拡大補間処理を行い、又は所望の縮小率に応じて所定のラインデータを間引いた上記所定ライン数のラインデータを用いて縮小補間処理を行う拡大縮小補間手段とを備え、上記拡大縮小補間手段は、上記入力データの上記所定ライン数のラインデータを用いて縮小補間処理を行い、縮小補間処理後のデータを上記フレーム単位で上記フレームメモリに書き込み、拡大補間処理と縮小補間処理とで１つの補間フィルタを共用するようにし、拡大から縮小に切り換える場合に、切り換え時の１フレームのみ補間フィルタを用いない簡易縮小を行う。

また、上述した目的を達成するために、本発明に係る映像信号処理方法は、映像信号を構成する入力データがフレーム単位で書き込まれるフレームメモリから複数ライン分のラインデータを同時に読み出す読出工程と、所定ライン数のラインデータを用いて所望の拡大率に応じて拡大補間処理を行い、又は所望の縮小率に応じて所定のラインデータを間引いた上記所定ライン数のラインデータを用いて縮小補間処理を行う拡大縮小補間工程とを有し、上記拡大縮小補間工程では、上記入力データの上記所定ライン数のラインデータを用いて縮小補間処理を行い、縮小補間処理後のデータを上記フレーム単位で上記フレームメモリに書き込み、拡大補間処理と縮小補間処理とで１つの補間フィルタを共用するようにし、拡大から縮小に切り換える場合に、切り換え時の１フレームのみ補間フィルタを用いない簡易縮小を行う。

このような映像信号処理装置及びその方法では、所望の縮小率が例えば１／Ｎ倍（Ｎは２以上の整数）以上且つ１倍未満である場合、フレームメモリからＮライン分のラインデータを同時に読み出し、この所望の縮小率に応じて所定のラインデータを間引いた所定ライン数のラインデータを用いて縮小補間処理を行うことができる。

本発明に係る映像信号処理装置及びその方法によれば、フレームメモリからＮライン分のラインデータを同時に読み出すことで、拡大補間処理のみならず、所望の縮小率に応じて所定のラインデータを間引いた所定ライン数のラインデータを用いて縮小補間処理を行うことができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、フレームメモリに書き込む前に縮小補間処理を行い、フレームメモリから読み出しながら拡大補間処理を行う映像信号処理装置において、１フレーム内で縮小補間処理と拡大補間処理とを混在させた処理を可能とする映像信号処理装置に適用したものである。

（第１の実施の形態）
先ず、第１の実施の形態における映像信号処理装置の概略構成を図１に示す。図１に示すように、第１の実施の形態における映像信号処理装置１は、映像信号が入力される入力端子１１と、水平／垂直同期信号（InputHD／InputVD）が入力される入力端子１２，１３と、映像信号に対して縮小補間処理を施す縮小補間回路１４と、フレームメモリ１６に対する書き込みを制御するためのコントロール信号を生成する書き込み制御回路１５と、１フレーム分の映像信号が格納されるフレームメモリ１６と、水平／垂直同期信号（OutputHD／OutputVD）を生成する出力同期発生回路１７と、フレームメモリ１６からの読み出しを制御するためのコントロール信号を生成する読み出し制御回路１８と、映像信号に対して拡大補間処理及び縮小補間処理を施す拡大補間回路１９と、映像信号が出力される出力端子２０と、水平／垂直同期信号（OutputHD／OutputVD）が出力される出力端子２１，２２とから構成されている。

このうち、フレームメモリ１６には、格納された映像信号を２ライン分同時に読み出せるように出力ポートが２箇所に設けられている。また、拡大補間回路１９には、フレームメモリ１６から読み出された２ライン分のラインデータを入力できるように入力端子が２個設けられている。

この映像信号処理装置１において縮小補間処理を行う場合、入力端子１１から入力された映像信号は、入力端子１２，１３から入力された水平／垂直同期信号（InputHD／InputVD）と所望の縮小率とに基づいて縮小補間回路１４で縮小補間処理が施され、水平／垂直同期信号（InputHD／InputVD）に基づいて書き込み制御回路１５で生成されるコントロール信号に従ってフレームメモリ１６に書き込まれる。そして、フレームメモリ１６に書き込まれた映像信号は、出力同期発生回路１７で生成された水平／垂直同期信号（OutputHD／OutputVD）に基づいて読み出し制御回路１８で生成されるコントロール信号に従って読み出され、拡大補間回路１９内を素通りして出力端子２０から出力された後、図示しない表示装置に供給される。なお、水平／垂直同期信号（OutputHD／OutputVD）は、出力端子２１，２２から出力される。

一方、この映像信号処理装置１において拡大補間処理を行う場合、入力端子１１から入力された映像信号は、縮小補間回路１４内を素通りしてそのままフレームメモリ１６に書き込まれる。そして、フレームメモリ１６に書き込まれた映像信号は、出力同期発生回路１７で生成された水平／垂直同期信号（OutputHD／OutputVD）に基づいて読み出し制御回路１８で生成されるコントロール信号に従って読み出され、所望の拡大率に基づいて拡大補間回路１９で拡大補間処理が施され、出力端子２０から出力された後、図示しない表示装置に供給される。

ここで、例えばアスペクト比４：３の映像信号をアスペクト比１６：９等の横長の表示画面に全画面表示又は拡大表示する場合、横方向（水平方向）にのびた映像となるのを防止するために、映像信号のうち垂直方向の中央部を拡大し、上部及び下部を縮小する非線形処理を行う必要がある。すなわち、１フレーム内で縮小補間処理と拡大補間処理とを混在させた処理を行う必要がある。そこで、映像信号処理装置１の拡大補間回路１９では、図１に示したように、フレームメモリ１６から２ライン分のラインデータを同時に読み出すことで拡大補間回路１９における１／２倍までの縮小補間処理を実現し、１フレーム内で縮小補間処理と拡大補間処理とを混在させることを可能としている。

拡大補間回路１９の補間処理部分を図２に示す。図２に示すように、拡大補間回路１９は、１ライン分のラインデータを保持するラインバッファ３１_１，・・・，３１_３と、スイッチ３２_１，・・・，３２_７と、補間処理としてキュービック補間を行う補間回路３３とを有している。なお、本実施の形態では補間処理としてキュービック補間を行うものとして説明するが、線形補間や最近傍補間等の他の補間処理を用いてもよいことは勿論である。

この拡大補間回路１９の補間処理部分の動作について、ライン数を９６０ラインから７６８ラインへと０．８倍に縮小する場合を例として説明する。この場合、４回に１回データを間引く必要があるため、図３に示すように、フェーズが０．０になる毎に１ライン分のラインデータを間引いて補間回路３３（図２）に出力する。ここで、図３におけるＡ，Ｂ，Ｃ，Ｄは、それぞれスイッチ３２_４，・・・，３２_７から補間回路３３に出力される信号を示し、図中Ｌの後に付された１，２，・・・の数字は、ライン番号を示す。

図３のｔ_１からｔ_４までの間におけるスイッチ３２_１，・・・，３２_７の切換制御について、図４を参照しながら説明する。先ずｔ_１の時点では、図４（Ａ）に示すように、各スイッチを全て図中ａ側に接続する。これにより、スイッチ３２_４，・・・，３２_７からは、それぞれラインＬ４，Ｌ３，Ｌ２，Ｌ１のラインデータが出力される。次にｔ_２の時点では、図４（Ｂ）に示すように、各スイッチを全てｂ側に接続する。これにより、スイッチ３２_４，・・・，３２_７からは、それぞれラインＬ６，Ｌ５，Ｌ４，Ｌ３のラインデータが出力され、ラインバッファ３１_３に保持されているラインＬ２のラインデータは間引かれる。なお、この際、拡大補間回路１９は、フレームメモリ１６からの読み出しアドレスを２つインクリメントする。続いてｔ_３の時点では、図４（Ｃ）に示すように、各スイッチを全てａ側に接続する。これにより、スイッチ３２_４，・・・，３２_７からは、それぞれラインＬ７，Ｌ６，Ｌ５，Ｌ４のラインデータが出力される。最後にｔ_４の時点では、図４（Ｄ）に示すように、各スイッチを全てａ側に接続する。これにより、スイッチ３２_４，・・・，３２_７からは、それぞれラインＬ８，Ｌ７，Ｌ６，Ｌ５のラインデータが出力される。

以上のように、本実施の形態における映像信号処理装置１では、フレームメモリ１６から２ライン分のラインデータを同時に読み出すことで拡大補間回路１９における１／２倍までの縮小補間処理を実現し、１フレーム内で縮小補間処理と拡大補間処理とを混在させることを可能としている。

なお、上述した実施の形態では、フレームメモリ１６から２ライン分のラインデータを同時に読み出しているため、１／２倍までの縮小しか行うことができないが、Ｎライン分（Ｎは２以上の整数）のラインデータを同時に読み出すことで、１／Ｎ倍までの縮小が可能である。

（第２の実施の形態）
上述した第１の実施の形態では、拡大補間回路１９の補間回路３３で４タップの演算を行うキュービック補間を行うものとしたため、ラインバッファが３本分必要となり、縮小用補間フィルタと拡大用補間フィルタとをそれぞれ独立して有する構成とすると回路規模の増大を招いてしまう。その一方で、上述した拡大補間回路１９では、１／Ｎ倍の縮小から拡大までシームレスにできるため、２つの補間フィルタを同時に使うことはない。

そこで、第２の実施の形態における映像信号処理装置２では、図５に示すように縮小／拡大補間回路２３を設け、１つの補間フィルタをフレームメモリ１６の前段・後段の何れにも接続できるような構成とする。これにより、回路規模を必要最小限に抑えつつ、所望の機能を実現することができる。

ところで、この縮小／拡大補間処理部２３では縮小補間処理を行うことができるが、その範囲には限りがあるため、その範囲を超えた場合には補間フィルタを縮小側から拡大側、又は拡大側から縮小側へと切り換える必要がある。１つの表示画面に複数の映像を表示するマルチ画面表示として、ここでは２つの映像を表示画面に同時に表示する２画面表示を用いて説明するが、例えば、図６（Ａ）に示すような２つの映像Ａ，Ｂの大きさを図６（Ｂ）に示すように変化させる場合、映像Ａについては拡大側から縮小側へと切り換え、映像Ｂについては縮小側から拡大側へと切り換える必要がある。

ここで、前述したように、拡大補間処理はフレームメモリ１６からの読み出し時に行い、縮小補間処理はフレームメモリ１６への書き込み時に行うものである。このため、映像を拡大から縮小へと変化させる場合には、図７に示すように、拡大側で補間フィルタを使いたいタイミングと縮小側で補間フィルタを使いたいタイミングとが同時に起きるため、補間フィルタをフリーにするために最低１Ｖ期間、等倍となる期間ｔを設けなければならず、一度に拡大から縮小へと変化させることができない。

そこで、このような場合には、図８に示すように、その期間ｔの間のみ、フレームメモリ１６からの読み出しアドレスをコントロールする読み出し制御回路１８で補間フィルタを用いずに間引きによる簡易縮小を行う。これにより、補間フィルタをフリーにでき、その間に補間フィルタを拡大側から縮小側へと切り換えることができる。

一方、映像を縮小から拡大へと変化させる場合には、図９のように同時に補間フィルタを使うタイミングが存在しないため、このような簡易処理を行う必要はない。

なお、図６のように２つの映像を表示している場合には、映像Ａ用と映像Ｂ用とについてそれぞれ映像信号処理装置２を設ける必要がある。また、表示画面に一方の映像のみを拡大表示する場合には、一方の映像信号処理装置のみが拡大補間処理を行い、他方の映像信号処理装置は、その機能を停止させる。

以上、本発明を実施するための最良の形態について説明したが、本発明は、上述の実施の形態に限定されるものではなく、本発明の主旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは当業者にとって明らかである。

例えば、上述の実施の形態では、フレームメモリからＮライン分のラインデータを同時に読み出すことで、１フレーム内の垂直方向について縮小補間処理と拡大補間処理とを混在させた非線形処理を行うものとして説明したが、これに限定されるものではなく、１フレーム内の水平方向について縮小補間処理と拡大補間処理とを混在させた非線形処理を行うようにしても構わない。これは、図２のラインデータを画素データとし、ラインバッファをフリップフロップとすることで、実現可能である。

以上説明した本発明によれば、フレームメモリからの読み出し側で拡大補間処理のみならず縮小補間処理を行うことができるため、例えばアスペクト比４：３の映像信号をアスペクト比１６：９等の横長の表示画面に表示する場合に、垂直方向の中央部を拡大し上部及び下部を縮小するという、１フレーム内で縮小補間処理と拡大補間処理とを混在させた非線形処理を行うことも可能とされる。

第１の実施の形態における映像信号処理装置の概略構成を示す図である。同映像信号処理装置における拡大補間回路の補間処理部分の構成を示す図である。同拡大補間回路で０．８倍の縮小補間処理を行う場合に拡大補間回路内の補間回路に供給される４ライン分のラインデータを示す図である。同拡大補間回路で０．８倍の縮小補間処理を行う場合におけるスイッチの切換制御を説明する図である。第２の実施の形態における映像信号処理装置の概略構成を示す図である。映像が拡大から縮小、又は縮小から拡大へと変化する様子を示す図である。拡大から縮小へと変化させる際に１つの補間フィルタを切り換えて用いる様子を示す図である。拡大から縮小へと変化させる場合に生じる問題を解決する方法を説明するための図である。縮小から拡大へと変化させる際に１つの補間フィルタを切り換えて用いる様子を示す図である。従来の映像信号処理装置の概略構成を示す図である。従来の映像信号処理装置における拡大補間回路の補間処理部分の構成を示す図である。

符号の説明

１，２映像信号処理装置、１４縮小補間回路、１５書き込み制御回路、１６フレームメモリ、１７出力同期発生回路、１８読み出し制御回路、１９拡大補間回路、２３縮小／拡大補間処理部、３１_１，・・・，３１_３ラインバッファ、３２_１，・・・，３２_７スイッチ、３３補間回路

Claims

映像信号を構成する入力データがフレーム単位で書き込まれるフレームメモリと、
上記フレームメモリから複数ライン分のラインデータを同時に読み出し、所定ライン数のラインデータを用いて所望の拡大率に応じて拡大補間処理を行い、又は所望の縮小率に応じて所定のラインデータを間引いた上記所定ライン数のラインデータを用いて縮小補間処理を行う拡大縮小補間手段とを備え、
上記拡大縮小補間手段は、上記入力データの上記所定ライン数のラインデータを用いて縮小補間処理を行い、縮小補間処理後のデータを上記フレーム単位で上記フレームメモリに書き込み、拡大補間処理と縮小補間処理とで１つの補間フィルタを共用するようにし、拡大から縮小に切り換える場合に、切り換え時の１フレームのみ補間フィルタを用いない簡易縮小を行う
映像信号処理装置。
上記所望の縮小率が１／Ｎ倍（Ｎは２以上の整数）以上且つ１倍未満である場合、上記拡大縮小補間手段は、上記フレームメモリからＮライン分のラインデータを同時に読み出す請求項１記載の映像信号処理装置。
上記拡大縮小補間手段は、上記フレームメモリから２ライン分のラインデータを同時に読み出すものであり、それぞれ１ライン分のラインデータを保持する３つのラインバッファと、４ライン分のラインデータを用いて拡大補間処理又は縮小補間処理を行う補間回路と、上記フレームメモリから読み出した２ライン分のラインデータと上記３つのラインバッファに保持された３ライン分のラインデータとのうち上記補間回路に出力する４ライン分のラインデータを切り換える切換手段とを有する請求項２記載の映像信号処理装置。
上記拡大縮小補間手段は、１フレーム内で拡大補間処理及び縮小補間処理を混在させて行う請求項１記載の映像信号処理装置。
映像信号を構成する入力データがフレーム単位で書き込まれるフレームメモリから複数ライン分のラインデータを同時に読み出す読出工程と、
所定ライン数のラインデータを用いて所望の拡大率に応じて拡大補間処理を行い、又は所望の縮小率に応じて所定のラインデータを間引いた上記所定ライン数のラインデータを用いて縮小補間処理を行う拡大縮小補間工程とを有し、
上記拡大縮小補間工程では、上記入力データの上記所定ライン数のラインデータを用いて縮小補間処理を行い、縮小補間処理後のデータを上記フレーム単位で上記フレームメモリに書き込み、拡大補間処理と縮小補間処理とで１つの補間フィルタを共用するようにし、拡大から縮小に切り換える場合に、切り換え時の１フレームのみ補間フィルタを用いない簡易縮小を行う
映像信号処理方法。
上記所望の縮小率が１／Ｎ倍（Ｎは２以上の整数）以上且つ１倍未満である場合、上記読出工程では、上記フレームメモリからＮライン分のラインデータを同時に読み出す請求項５記載の映像信号処理方法。
上記読出工程は、上記フレームメモリからＮライン（Ｎは２以上の整数）分のラインデータを同時に読み出すものであり、
上記拡大縮小補間工程は、上記フレームメモリから読み出したそれぞれ１ライン分のラインデータを（Ｍ−１）個（Ｍは２以上の整数）のラインバッファに保持する保持工程と、
上記フレームメモリから読み出した２ライン分のラインデータと上記（Ｍ−１）個のラインバッファに保持された（Ｍ−１）ライン分のラインデータとを切り換えてＭライン分のラインデータを出力する切換出力工程と、
上記切換出力工程にて出力された上記Ｍライン分のラインデータを用いて拡大補間処理又は縮小補間処理を行う補間工程と
を有する請求項６記載の映像信号処理方法。
上記拡大縮小補間工程では、１フレーム内で拡大補間処理及び縮小補間処理を混在させて行う請求項５記載の映像信号処理方法。