JP4093599B2

JP4093599B2 - 画像処理装置および方法

Info

Publication number: JP4093599B2
Application number: JP23611695A
Authority: JP
Inventors: 洋一尾上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-08-22
Filing date: 1995-08-22
Publication date: 2008-06-04
Anticipated expiration: 2015-08-22
Also published as: JPH0965207A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像のフリッカーを低減するための画像処理装置および方法に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ（以下、ＰＣと称する）が安価になり、ＰＣを利用してタイトルを作成、編集するためのタイトル画像作成装置が考案されている。また、一方で、ＣＤ−ＲＯＭが普及し、ＰＣで扱える画像ソースが簡単に入手することが可能になった。ところが、そのような画像は、ＰＣ用のノンインタレースモニターに表示することを前提に作成されているため、ＮＴＳＣ（ＰＡＬ）用のインタレースモニターに表示すると垂直方向で細かい縞、極端な例として、横方向の１ライン分の幅の細い線がフリッカーを起こし、そのままでは、フリッカーが激しく、非常に見づらいものになってしまう。
【０００３】
また、ＰＣ用のフォトレタッチ（画像加工）アプリケーションには、画像をボカすフィルタの機能が用意されていることが多い。ところが、そのフィルタは、（３×３）、（５×５）、・・・等のガウス係数を持った正方マトリクスを用いて処理を行うため、フリッカー除去の必要が無い横方向（水平方向）にまでフィルタ処理を施すため、本来の画像よりボケてしまい画像全体が解像度の低いものにしかならない問題があった。
【０００４】
さらに、インタレース画像の、例えば奇数フィールドに相当するラインのみを使用し、ノンインタレース画像を表示することも可能だが、垂直方向の解像度が１／２となるため、画像全体として解像度の低いものにしかならない。
【０００５】
【発明が解決しようとする課題】
このように、３Ｄのコンピュータグラフィックスのアプリケーションから高解像度の画像を作り出したり、ＣＤ−ＲＯＭから鮮明な画像を取り出しても、ガウシャンフィルタを通過させると、フリッカーは除去されるが水平方向の解像度が低下する。
【０００６】
従って、この発明の目的は、これらの問題を鑑みて、ビデオ信号の特性を考慮した、ボケの少ないフィルタを考慮することで、フリッカーを低減することができる画像処理装置および方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、インターレース方式の画像データを入力する入力手段と、入力手段より入力された画像データにおいて垂直方向に連続する第１、第２および第３の画素データの値に対して、第１、第２および第３の係数をそれぞれ乗じて加算するローパスフィルタを有し、第１および第３の画素データの値の平均値と第２の画素データの値の差に基づいて、第１、第２および第３の係数を可変する垂直方向のローパスフィルタ処理を行うフリッカー低減手段と、フリッカー低減手段から出力された画像をインターレース方式で表示させる表示手段とからなることを特徴とする画像処理装置である。
【０００８】
また、請求項２に記載の発明は、インターレース方式の画像データを入力する入力ステップと、入力ステップより入力された画像データにおいて垂直方向に連続する第１、第２および第３の画素データの値に対して、第１、第２および第３の係数をそれぞれ乗じて加算するローパスフィルタを有し、第１および第３の画素データの値の平均値と第２の画素データの値の差に基づいて、第１、第２および第３の係数を可変する垂直方向のローパスフィルタ処理を行うフリッカー低減ステップと、フリッカー低減ステップから出力された画像をインターレース方式で表示させる表示ステップとからなることを特徴とする画像処理方法である。
【０００９】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１に、この実施例の概略的構成を示す。１で示すＰＣは、ＰＣ本体にフロッピーディスクドライブ（以下、ＦＤＤと称する）２、ＣＤ−ＲＯＭ３および内蔵ハードディスクドライブ（以下、ＨＤＤと称する）４が設けられている。また、ＰＣ専用のためノンインタレース方式のＰＣ用モニター５がＰＣ１と接続されている。ビデオカメラ６および再生用ＶＴＲ７は、ＰＣ１へビデオ信号を伝送する。通常、このビデオ信号は、インタレース方式のモニターへ出力されるため、インタレース方式として奇数フィールドおよび偶数フィールドから構成される。ＰＣ１は、このインタレース方式のビデオ信号を受信し、後述するようにノンインタレース方式のビデオ信号へ変換してＰＣ用モニター５へ出力する。
【００１０】
そして、インタレース方式からノンインタレース方式へ変換された画像は、ＰＣ用モニター５へ写し出される。これらノンインタレース画像は、ＣＤ−ＲＯＭ３などから読み出された画像と同じように取り扱われ、ビデオ用モニター８および録画用ＶＴＲ９へ出力する場合、インタレース方式へ変換する必要がある。このとき、計算によって得られた画像は、１ライン単位まではっきりと区別のつく画像を再生することが可能なため、そのような画像をメモリに直接転送し、ＮＴＳＣ（ＰＡＬ）のインタレース方式で表示するとフリッカーを生じてしまう。
【００１１】
よって、後述するようにユーザによってフィルタの強さが選択され、静止画が見やすくなるようにディジタル画像データを修正した後、ディジタル画像データをメモリに転送し、メモリから読み出されたインタレース方式のディジタル画像データがビデオ用モニター８へ出力されることが可能となる。また、そのディジタル画像データを録画用ＶＴＲ９へ転送し、録画することも可能となる。また、この実施例では、スイッチャー１０を使用してユーザが外部で画像の合成の制御を行うことが可能とされている。
【００１２】
ここで、ビデオカメラ６と再生用ＶＴＲ７からの画像を合成した画像にスーパーインポーズを使用して文字を入れるためのより具体的な構成を図２に示す。２１で示す入力端子からフォアグランド画像（ＦＲＧＤ）が供給され、そのフォアグランド画像は、Ａ／Ｄ変換器２４を介して、ディジタル画像データとされ、このディジタル画像データがビデオプロセッサ２７へ供給される。ビデオプロセッサ２７の制御の下に、ＤＲＡＭ（フレームメモリ）２８にこのディジタル画像データがコンポーネントデータとして取り込まれる。このフォアグランド画像は、一例としてビデオカメラ６の出力である。ただし、ＦＤＤ２、ＣＤ−ＲＯＭ３または内蔵ＨＤＤ４などに記録されている画像データをＰＣ１によって、フレーム毎に転送される画像データの場合もある。
【００１３】
ビデオプロセッサ２７は、ＤＲＡＭ２８を制御するとともに、ＩＳＡバスにも接続されており、ビデオプロセッサ２７のメモリに取り込まれたディジタル画像データに対してＣＰＵがランダムアクセスすることが可能となっている。従って、ＤＲＡＭ２８に取り込まれた画像データを内蔵ＨＤＤ４に格納したり、逆にハードディスク上の静止画像をＤＲＡＭ２８にロードして表示することも可能である。また、後述するフリッカーの除去は、ＣＰＵのソフトウェア処理あるいはビデオプロセッサ２７内のハードウェアによって行われる。そして、１画素が１６ビットのフォアグランド画像は、ＤＲＡＭ２８からビデオプロセッサ２７を介してクロマキーコントローラ３２へ供給される。
【００１４】
同様に、入力端子２２からバックグランド画像（ＢＫＧＤ）が供給され、そのバックグランド画像は、Ａ／Ｄ変換器２５を介して、ビデオプロセッサ２９およびスイッチ３１の他方の入力端子へ供給される。このバックグランド画像は、再生用ＶＴＲ７の再生出力である。また、上述のフォアグランド画像と同様に、ＦＤＤ２、ＣＤ−ＲＯＭ３および内蔵ＨＤＤ４などに記録されている画像データをＰＣ１によって、フレーム毎に転送される画像データの場合もある。ビデオプロセッサ２９の制御の下にＤＲＡＭ（フレームメモリ）３０にこのディジタル画像データがコンポーネントデータとして取り込まれる。
【００１５】
ビデオプロセッサ２９は、ＤＲＡＭ３０を制御するとともに、ＩＳＡバスにも接続されており、ビデオプロセッサ２９のメモリに取り込まれたディジタル画像データに対してＣＰＵがランダムアクセスすることが可能となっている。従って、ＤＲＡＭ３０に取り込まれた画像データを内蔵ＨＤＤ４に格納したり、逆にハードディスク上の静止画像をＤＲＡＭ３０にロードして表示することも可能である。また、後述するフリッカーの除去は、ＣＰＵのソフトウェア処理あるいはビデオプロセッサ２９内のハードウェアによって行われる。そして、１画素が１６ビットのバックグランド画像は、ＤＲＡＭ３０からビデオプロセッサ２９を介してスイッチ３１の一方の入力端子へ供給される。
【００１６】
スイッチ３１では、同期信号に応じてＡ／Ｄ変換器２５からの画像およびビデオプロセッサ２９からの画像の一方が選択され、クロマキーコントローラ３２へ供給される。
【００１７】
上述した入力端子２１、２２からの２系統のアナログ動画像をＡ／Ｄ変換し、それぞれの１フレーム分をＤＲＡＭ２８、３０（動画メモリ）に取り込み、基準となる読出同期信号に従って、再びＤＲＡＭ２８、３０より読み出す。ビデオプロセッサ２７、２９からの出力は、一例としてインタレース方式の静止画像である。また、その２系統の画像データは、後述するクロマキーコントローラ３２において、８ビットの係数に従って、ワイプなどの合成がなされる。
【００１８】
そして、入力端子２２から供給されるバックグランド画像は、スイッチ２６の一方の入力端子に供給され、そのスイッチ２６の他方の入力端子には入力端子２３から基準同期信号（ＲＥＦ．）が供給される。
【００１９】
ここで、スイッチ２６は、基準同期信号が入力されていれば、基準同期信号が供給されている他方の入力端子が選択され、同期検出回路３３において、同期検出がなされる。検出された同期信号は、読出制御回路３４に供給され、読出制御回路３４において、基準となる読出同期信号が生成される。この生成された読出同期信号が出力端子３５を介して、同期信号処理回路（図示せず）へ伝送される。基準同期信号が入力されていなければ、スイッチ２６は、一方の入力端子を選択し、バックグランド画像の同期信号を基準信号として使用する。この場合、バックグランド画像の同期信号およびシステムのSyncジェネレータの自走周期の一方を基準として使用するかをユーザが選択するようにしても良い。
【００２０】
また、グラフィックアクセラレータ３６では、コンピュータグラフィックなどからタイトルとして画像と合成される文字データが発生し、その文字データは、文字ビットマップデータとしてＶＲＡＭ（Ｙ）３７、ＶＲＡＭ（Ｕ／Ｖ）３８に格納される。また、文字データの混合比と対応する係数α１がＶＲＡＭ３９に格納されるとともに、画像データの混合比と対応する係数α２がＶＲＡＭ４０に格納される。
【００２１】
このグラフィックアクセラレータ３６は、ＰＣ１とＰＣＩバスを介しても接続されており、ＶＲＡＭ３７〜４０に対してＣＰＵがランダムアクセス可能とされている。また、このＶＲＡＭ３７、３８は、文字を表示する以外にも、内蔵ＨＤＤ４上に格納されている静止画データを表示したり、グラフィカルユーザインタフェース（以下、ＧＵＩと称する）画面を表示するために用いることが可能である。また、後述するフリッカーの除去のためのフィルタリング処理は、ＣＰＵのソフトウェア処理あるいはグラフィックアクセラレータ３６内のハードウェアによって行われる。
【００２２】
ＶＲＡＭ（Ｙ）３７およびＶＲＡＭ（Ｕ／Ｖ）３８から出力される文字データは、変換（４２２ｔｏ４４４）回路４１へ供給され、Ｙ：Ｕ：Ｖ＝４：２：２（以下、ＹＵＶ４２２と称する）のコンポーネント信号からＹ：Ｕ：Ｖ＝４：４：４（以下、ＹＵＶ４４４と称する）のコンポーネント信号へ変換され、ディジタルミキサー４３へ供給される。ＶＲＡＭ３９から出力される係数α１は、文字と画像を合成するための混合比を決定する８ビットのデータであり、ディジタルミキサー４３およびキー信号コントローラ４４へ供給される。
【００２３】
ＶＲＡＭ４０からの係数α２は、２つの画像を合成するための混合比を決定する８ビットのデータであり、クロマキーコントローラ３２へ供給される。クロマキーコントローラ３２では、ビデオプロセッサ２７から供給されたフォアグランド画像とスイッチ３１を介されたバックグランド画像とを合成する。通常、ブルー（またはグリーン）バックを前にした人物などのフォアグランド画像と風景などのバックグランド画像とが合成される。クロマキーコントローラ３２の出力がディジタルビデオミキサー４２へ供給される。ディジタルビデオミキサー４２では、文字データと対応する係数α１を用いて、文字データの部分のレベルがより下げられる。例えば、黒レベルとされる。このディジタルビデオミキサー４２の出力がディジタルミキサー４３に供給される。
【００２４】
ディジタルミキサー４３では、ＶＲＡＭ３９からの係数α１に応じて、ＹＵＶ４４４の文字データとディジタルビデオミキサー４２からの画像データが合成される。合成されたディジタル画像データ、すなわちタイトル画像データは、ディジタルミキサー４３に含まれるＤ／Ａ変換器からアナログのＭＯＮＩＴＯＲ信号として出力端子４９に取り出されるとともに、Ｄ／Ａ変換器４６を介してＰＧＭ（プログラム）信号として出力端子４８に取り出される。このＰＧＭ信号は、合成されたディジタル画像データ（タイトル画像データ）であり、ＭＯＮＩＴＯＲ信号は、文字のみ、動画のみ、またはその合成結果の３種類の中から選択した画像である。また、マウスカーソルなどを表示する、オーバーレイの機能も有している。
【００２５】
ＶＲＡＭ３９からの係数α１は、ディジタルミキサー４３のみならず、キー信号コントローラ４４にも供給される。係数α１（キー信号）は、文字を画像に合成する際に使用する８ビットのデータである。外部の合成器（スイッチャー１０）にこのキー信号とＰＧＭ信号を入力し、スイッチャー１０において、画像に文字をインポーズする手法もあるため、このキー信号は、Ｄ／Ａ変換器４５を介して出力端子４７に取り出される。キー信号コントローラ４４は、外部に出力されるキー信号のゲインなどを調整するために設けられている。
【００２６】
すなわち、この一実施例は、係数α１、α２に応じた「静止画＋静止画＋文字」のディジタル画像データをＤ／Ａ変換し、ビデオカメラ６および再生用ＶＴＲ７から入力されたビデオ信号と同じＮＴＳＣ（もしくはＰＡＬ）規格のビデオ信号を出力するものである。
【００２７】
上述した一実施例において、タイトル画像の作成のために一例として、下記のような画像データを使用することができる。
【００２８】
コンピュータグラッフィク：レタリングなどの計算で得られた画像
ＧＵＩ：ＣＰＵからビデオプロセッサ、グラフィックアクセラレータを経由して、直接メモリに描写した画像
特殊な動画像をキャプチャリングした静止画：細かい文字が多く表示されているような画像、細かい横縞が表示されている画像
【００２９】
しかしながら、これらの画像の場合では、インタレース画像としてビデオ用モニター８に表示した場合、フリッカーが目立つ問題がある。このフリッカーを除去するために、この発明では、後述するフィルタリング処理を画像データに対して施す。この実施例では、ビデオプロセッサ２７、２９およびグラフィックアクセラレータ３６は、ＰＣのバスに接続されているので、メモリに対してＣＰＵがランダムアクセス可能であり、フリッカーの除去のための処理をハードウェアまたはソフトウェアの何れでも実現することが可能である。
【００３０】
ここで、フリッカーを除去するためのフィルタリング処理の一例を図３を用いて説明する。ビデオ信号のフリッカーは、奇数フィールドと偶数フィールドとの間で輝度信号のレベル差が大きいときに生じる現象である。従って、縦方向（垂直方向）に対してのみフィルタを通過させることでフリッカーは、除去できる。そして、インタレース方式であることを考えると、目的とする偶数フィールドの画素（ｙ）と、その上下の奇数フィールドの画素（ｙ−１、ｙ＋１）との間でフィルタをかければ、フリッカーは、除去できる。これらのことから、単純に係数分配したときのフィルタを通過させる際の計算式を下記に示す。
【００３１】
フィルタＨ（フリッカーが多い場合、１：２：１のフィルタを用いる）
Ｙ´（ｙ）＝１／４｛Ｙ（ｙ−１）＋２Ｙ（ｙ）＋Ｙ（ｙ＋１）｝（１）
フィルタＬ（フリッカーが少ない場合、１：４：１のフィルタを用いる）
Ｙ´（ｙ）＝１／６｛Ｙ（ｙ−１）＋４Ｙ（ｙ）＋Ｙ（ｙ＋１）｝（２）
但し、ｙ：縦方向の座標
Ｙ（ｙ）：その位置の輝度値
Ｙ´（ｙ）：新しい輝度値
【００３２】
この式（１）および式（２）でそれぞれ示される処理の選択は、ユーザによって、切り換えられる。この例のフィルタは、サイズの大きな画像を単純に間引いて縮小したような場合、間引かれた画像の全画素に対して無条件に作用させるものである。
【００３３】
次に、この発明で使用されるフィルタの他の例を図４を用いて説明する。ここで、図４Ａは、奇数フィールド（odd ）と偶数フィールド（even）とを合成した１フレームの画面を示し、図４Ｂは、その１フレームの画面の縦方向（垂直方向）に連続した各ラインと画素の輝度値とを示したものである。図４Ａに示すように、注目している点がeven０のラインのある点とすると、その上下のodd ０とodd １の２つの点の平均値、すなわち、図４Ｂにおいて（×）で示す値を算出し、算出された点と実際の輝度値の位置との差分の絶対値（ｌ）に応じて、どの程度の強さのフィルタを通過させるかを判断するものである。
【００３４】
even０上の輝度値がodd ０とodd １の平均となる値（×）を持てば、滑らかに輝度が変化し、フリッカーを生じない。しかしながら、図４Ｂの例では、even０上の輝度値が（×）の値とかなり相違する値であるので、フリッカーを生じる。そこで、この他の例では、図５に示すように、フィルタによるフリッカー除去の程度を切り換えられる。ユーザによる切り換えは、微弱、弱、中、強の４段階の選択である。各選択された段階において、差分の絶対値（ｌ）に応じてフィルタ処理が切り換えられる。すなわち、（８０＜ｌ）、（４０＜ｌ≦８０）、（２０＜ｌ≦４０）、（ｌ≦２０）の４段階が差分の絶対値（ｌ）としきい値とによって切り換えられる。このときのしきい値は、１６進数で表されている。
【００３５】
そして、図５において、「そのまま」は、フィルタリング処理を何等行わないことであり、「１：２：１」は、上述の式（１）に従った処理であり、「１：４：１」は、上述の式（２）に従った処理である。この例では、「１：２：１」の処理が選択されると、フリッカー除去の効果が大である。
【００３６】
この実施例では、フォアグランド画像とバックグランド画像とを合成した後、タイトル画像（文字データ）の合成を行ったが、フォアグランド画像とバックグランド画像の合成は、この発明にとって必ずしも必要ではない。
【００３７】
また、この実施例では、供給された動画がビデオプロセッサ２７、２９を介して、静止画として、フリッカー除去が行われているが、静止画に限らず、動画としてフリッカー除去を行うことも可能である。
【００３８】
【発明の効果】
この発明に依れば、フリッカーを除去することができ、然も正方フィルタを施した画像と比べ、横方向（水平方向）の解像度は、高いまま保つことができ、また、１フィールドの画像のみを使用する方法と比べ、縦方向（垂直方向）の解像度の劣化を防止することができる。
【００４０】
さらに、この発明に依れば、ＣＤ−ＲＯＭ、フォトＣＤ、フォトＭＤ等の映像の品質を保持したまま、この映像をＰＣとテレビモニター方式（ＮＴＳＣ、ＰＡＬ）で共用することが可能となる。また、フリッカーを低減できるので、ＰＣのＧＵＩを一般のテレビモニターに表示し、オペレーションさせることが可能になる。これらの点から、ホームユースＰＣに対してこの発明によるタイトル作成機能を搭載することは、有用なことである。
【００４１】
そして、この発明を使用すれば、一般家庭にコンピュータを導入する場合、テレビモニター（もしくはハイビジョンモニター）を利用することが可能となるため、より購入しやすくなる。
【図面の簡単な説明】
【図１】この発明の画像信号変換装置の一実施例を示す概略図である。
【図２】この発明に係るパーソナルコンピュータの一例を示すブロック図である。
【図３】この発明に係るフィルタの説明に用いる一例の略線図である。
【図４】この発明に係るフィルタの説明に用いる一例の略線図である。
【図５】この発明に係るフィルタの係数の関係の一例を示す図である。
【符号の説明】
１パーソナルコンピュータ
２フォロッピーディスクドライブ
３ＣＤ−ＲＯＭ
４内蔵ハードディスクドライブ
５ＰＣ用モニター
６ビデオカメラ
７再生用ＶＴＲ
８ビデオ用モニター
９録画用ＶＴＲ
１０スイッチャー

Claims

インターレース方式の画像データを入力する入力手段と、
上記入力手段より入力された上記画像データにおいて垂直方向に連続する第１、第２および第３の画素データの値に対して、第１、第２および第３の係数をそれぞれ乗じて加算するローパスフィルタを有し、上記第１および第３の画素データの値の平均値と上記第２の画素データの値の差に基づいて、上記第１、第２および第３の係数を可変する垂直方向のローパスフィルタ処理を行うフリッカー低減手段と、
上記フリッカー低減手段から出力された画像をインターレース方式で表示させる表示手段と
からなることを特徴とする画像処理装置。
インターレース方式の画像データを入力する入力ステップと、
上記入力ステップより入力された上記画像データにおいて垂直方向に連続する第１、第２および第３の画素データの値に対して、第１、第２および第３の係数をそれぞれ乗じて加算するローパスフィルタを有し、上記第１および第３の画素データの値の平均値と上記第２の画素データの値の差に基づいて、上記第１、第２および第３の係数を可変する垂直方向のローパスフィルタ処理を行うフリッカー低減ステップと、
上記フリッカー低減ステップから出力された画像をインターレース方式で表示させる表示ステップと
からなることを特徴とする画像処理方法。