JPH09512696A - ビデオイメージプロセッシング - Google Patents

Abstract

(57)【要約】 ビデオ（１０）またはフィルムから発生しているディジタル化されたイメージのシーケンスのビデオ信号処理のための方法と装置が提供されている。フィールドグラバ（１２）は入力端子からディジタル化されたイメージを受信し、そしてそれの分離したフィールドを識別する。イメージ操作段（１４）は必要に応じフィールドを結合し、そして水平および垂直圧縮を適用することによってライン当りの画素数と各イメージにおける画素ラインの数を減少させる；この段はまた必要に応じイメージのフィルタリングとリサイジングを提供する。圧縮されたイメージのエンコーディング（１６）に続いて、エンコードされたデータストリームは、それから例えば、光ディスク上に記録するためのフォームに処理される（１８）。イメージ操作段（１４）がイメージを減少させるラインの数の選択により、ＰＡＬかまたはＮＴＳＣ標準の装置で再生しうるディスクが単一のイメージソースからつくられ得る。

Description

【発明の詳細な説明】 ビデオイメージプロセッシング 本発明は、ビデオ信号を処理する方法に関し、特に、しかし専らではないが、 ＰＡＬかまたはＮＴＳＣのテレビジョン装置で再生されそして表示される異なっ たフォーマットにおけるコンパクトディスクのような記録メディアをつくるため に、６２５ライン５０Ｈｚのビデオかまたはフィルムカメラから生じている材料 の処理に関する。 高および標準精細度の両方のテレシネ装置を用いて、ストックからビデオイメ ージを得るための処理システムの例が欧州特許出願公開明細書ＥＰ−Ａ−０５９ ５３２３（Fujinami et al／sony）に与えられている。高精細度のテレシネは、 順次走査ディスプレイに表示できるような増加した垂直解像度を有するビデオ信 号の製作を可能にするために使用される。画素の数を減らす別の処理によって、 それから標準精細度の飛越走査信号が発生される、標準精細度の順次走査信号が つくられる。 そのようなシステムに対する主要な使用は、ＮＴＳＣ標準ビデオ、光ディスク 、または他の記録メディアの製作においてである。慣習的な技術によれば、これ は、それからディスクが用意される、５２５ラインのＮＴＳＣビデオテープを製 作するために標準変換のプロセスを必要とする。標準変換されたテープを用意す ることのコストは、１個の完全なディスクのための材料に対して典型的にＵＳ＄ １５，０００の領域にある。以上概説したシステムに対する１つの使用は、ミュ ージックビデオ（それは、しばしばフィルムにつくられている）のコンパクトデ ィスク（ＣＤ）標準への変換においてである。 ＰＡＬとＮＴＳＣシステムの異なった要求の問題は長く認識された。それらを 克服する試みは、例えば、欧州特許出願公開明細書ＥＰ−Ａ−０６３９０２９（ Lee／Goldstar）と米国特許明細書ＵＳ５，２８０，３５１（Wilkinson／SonyUK ）に述べられているような中に組み込まれた標準変換設備を有する表示システム を含んできた。そのようなオプションは現在魅力的でないが、しかしながら、セ ッ トの高く増加したコストのため、そのコストは顧客によって担われなければなら ない。 本発明の目的は、とりわけ、ビデオコンパクトディスク標準（また、White Bo ok標準として知られている）によって記録するために適している２個のイメージ のセット、そこで１個のセットはＮＴＳＣ標準プレーヤで再生され他はＰＡＬ標 準プレーヤで再生される、を同時に作ることを実施可能なシステムの用意によっ てフィルムソースからビデオを発生するとき、ＮＴＳＣマスターを用意すること の必要性を避けることにある。 本発明の別の目的は、イメージの２個のセットがオリジナル（マスター）のイ メージシーケンスを通して単一のパスで得られるシステムを提供することにある 。 本発明に従えば、イメージソースからディジタル化されたイメージのシーケン スを受信するための入力端子を有するビデオ信号処理装置が具えられ、その装置 は：入力端子からディジタル化されたイメージを受信するために接続され、そし てそれの分離したフィールドを識別しそしてイメージフレームを画素データのラ インとして出力することが実施可能なフィールドグラバ(field grabber)手段； ライン当りの画素数とフィールドグラバによって出力された各イメージフレーム における画素ラインの数とを、予め選択された表示フォーマットによって定めら れた数に減少させるために水平および垂直圧縮を適用することが実施可能なイメ ージ操作手段；イメージ操作手段から圧縮されたイメージフレームを受信し、そ して予め定められたコーディング標準によってそれらをエンコードするために配 置されたビデオエンコーディング手段を含んでいる。 イメージソースが飛越走査のビデオ信号を供給するところにおいては、フィー ルドグラバ手段は好ましくは、両方のフィールドをつかむことが実施可能であり 、そしてイメージ操作手段は、ほぼ半分のビデオ信号のフィールドレートにおい て圧縮されたイメージフレームをつくるために、サブサンプリングを用いてフィ ールド結合を行うことが実施可能である。そのような状況において、イメージ操 作手段は好ましくは、エイリアシングを減少させそしてイメージフィールドにお ける動きの影響を補償するようにフィールド結合を行うときフィルタリングを適 用することが実施可能である。イメージ操作手段はさらに、イメージの水平方向 の 拡張によってイメージのリサイジングを行うことが実施可能である：このリサイ ジングは代案として、または加えて、エンコーディング段においてイメージの一 部の選択によって実行され得る。 イメージソースがフィルムからイメージを供給する（すなわち、イメージソー スがテレシネ装置を含んでいる）ところでは、一対の圧縮されたイメージフレー ムは再び組合わされ、そして出力は、フィルムの表示フレームレートに、または その近くに好適につくられる。 また、本発明に従えば、イメージソースから受信されたディジタル化されたイ メージのシーケンスを処理する方法が提供され、その方法は： ディジタル化されたイメージをつかみ、それの分離したフィールドを識別し、 そしてイメージフレームを画素データのラインとして出力する； ライン当りの画素数と各イメージフレームにおける画素ラインの数を、それぞ れ水平および垂直圧縮を適用することによって、予め選択された表示フォーマッ トによって定められた数に減少させる；そして 圧縮されたイメージフレームを予め定められたコーディング標準によってエン コードする ステップを含んでいる。 予め定められたコーディング標準は好適にＭＰＥＧ１または２標準であり得て 、そして予め選択された表示フォーマットはＮＴＳＣかまたはＰＡＬ標準である 。 さらに、本発明に従えば、信号処理装置または上述した方法によってつくられ たエンコードされたビデオイメージを担っている記録担体、好ましくは、しかし 本質的ではないが、光ディスクが具えられている。記録担体が光ディスクである ところでは、上記予め定められた記録フォーマットは好適に、コンパクトディス クインタラクティブ標準かまたはビデオコンパクトディスク標準からなる。 理解されるように、上述の処理は、専用の機能かまたは、つかみ、画像リサイ ジング、そして必要なところでは適当なフィルタを用いてのサブサンプリングを 行う装置のオプションとして実行され得る。本発明に従って動作するとき、装置 は、同じソーステープからＰＡＬかまたはＮＴＳＣ表示を予定した出力をつくり 得る。 さて、本発明の好ましい実施の形態は、例の方法だけによって、そして本発明 を具体化しているデータ処理システムのブロック図である添付図面（図１）を参 照して説明されよう。 ＮＴＳＣ表示を予定されたディスクのためのビデオから発生している材料の処 理は、６２５ラインのソースを、ライン当り３５２画素の解像度を有し、２４０ ラインの近いフルスクリーンイメージに減少させる（そしてそれは、プレーヤに おいて、典型的にラインの繰り返しによって４８０ラインを与えるために拡張さ れる）ために、画像に垂直つめ込み（vertical squeezing）の適用を含んでいる 。このつめ込みは、外部のディジタル効果ビデオ装置、またはサブサンプリング とフィルタリング処理の一部としてグラバに作り付けの備品によって適用される 。画像のシーケンスはそのとき、ＭＰＥＧ１または２標準に従ってそして２５Ｈ ｚの画像レートにおいて２４０ラインの画像によって近いフルスクリーンの３５ ２画素としてエンコードされる。利点はそのとき、ＮＴＳＣ出力を提供するため に表示レートを２５から３０Ｈｚに変換するために、プレーヤにおいてデコーダ フレームストアについてとられる。 フィルムから発生している材料に対して、元の６２５ラインの画像のシーケン スは、２５Ｈｚにスピードアップされたもとの秒当り２４フレームのフィルムで あるかも知れない。処理は、ＭＰＥＧのエンコードされたデータストリームが秒 当り２４かまたは２５フレームのレートで時刻が刻まれることを許容し、その結 果、もし必要ならばレートが遅くされる。オーディオは、同期を維持するために 適当に取り扱われなければならない。 図１は、マスタービデオテープを再生するビデオプレーヤ１０でスタートする 、処理系における装置のブロック図である（これがフィルムのフレームからイメ ージを提供するテレシネ装置であり得ることは、容易に理解されるであろうけれ ども）。一方、示されていないけれども、そこでは特別の考慮が適用され、これ らは以下で検討されるにしても、如何にオーディオが取り扱われるかはまた理解 されよう。フィールドグラバ１２は、そうでなかったならぼんやりした画像に帰 着するであろう異なったもとのイメージからのフィールドの組み合わせ（接ぎ目 のどちら側からも、のような）を避けるために、例えば、フィールドの優勢の正 し い維持をチェックすること、そしてまた編集によるシーンの接ぎ目を検出するこ となど、解析のためビデオの種々のフィールドを分離する。分離されたフィール ドはそれから、結合、リサイジング、サブサンプリング、そして必要なフィルタ リングを取り扱うフレーム処理ユニット１４に通される。もし、マスターがフィ ルムであるならば、このユニットは、飛び越し走査のためのフィールドを提供す るために必要なようなサンプルと濾波を行う：もし、マスターがビデオであるな らば、異なったフィルタリングが動きの影響の補償のために要求されるであろう 。リサイジングに関しては、幾つかはまた外部、例えば次段、ＭＰＥＧエンコー ダ１６においてウィンドウ選択によって実行されるけれども、少なくとも幾つか はこの段によって実行されよう。段１４において実行されたサブサンプリングは 、ＭＰＥＧにおけるコーディングのために画像を半分のサイズに減少させる。 慣習的なＭＰＥＧエンコーダ１６に次いで、ディスクビィルダ１８が選択され た特別のディスクフォーマット（例えば、セクタの配置、オーディオの取り扱い その他）のために指定された規則によるデータ、そのデータは複写器２０によっ てディスクの製作のために使用される、を配置する。 さて、一般に既知でそして以下それぞれGreen BookおよびWhite Book標準とし て参照されるコンパクトディスクインタラクティブとビデオコンパクトディスク 標準との間の違いを考慮するに、ビデオに対して、違いは、Green Bookにおいて は、１６×１６画素のブロックとしてエンコードされた画像についてフレーム当 りのブロックの数に制限があるという事実を含んでいる。これは、強制された(c onstrained)ＭＰＥＧにおいて２５Ｈｚで３９６ブロック、３０Ｈｚで３３０ブ ロックの組である。２５Ｈｚに対して、これは ３５２×２８８＝２２×１８＝３９６ blocks ３８４×２５６＝２４×１６＝３８４ blocks ３６８×２７２＝２３×１７＝３９１ blocks． の近いフルスクリーンサイズを許容している。 対照的に、White Book標準に対しては、指定された固定の画像サイズがあり； ＰＡＬに対して２５Ｈｚにおいて３５２×２８８画素、そして２４および３０Ｈ ｚにおいて３５２×２４０画素である。White BookのＰＡＬのディスクは、上下 の各々から通常（常にではない）２４ラインの欠除を有する指定された２４０を 得るために４８ラインが省かれているけれども、ＮＴＳＣディスプレイ上に再生 され得る。そのような状況においては、これらの４８の冗長ラインは簡単に黒に コード化され得、ＰＡＬディスプレイ上に再生されるときイメージに“シネマス コープ”の様相を与える。 システムは、ビデオのオーディオとの再結合が非常に単純であるようなイメー ジのシーケンス全部の時間的な正確さを提供する。スピードにおける２４から２ ５Ｈｚへの増加がないならば、オーディオは処理を必要としない。もしオーディ オの処理が必要であるならば、しかしながら、それは正確に予測できる。オーデ ィオについてのGreen BookとWhite Book標準の異なっている影響は、次のようで ある。Green Bookに対するオーディオのビットレートは可変であるが、しかしWh ite Bookに対しては秒当り２２４ｋ／ｂｉｔｓに固定されていて、言い換えると 、White Bookにおける固定の持続期間のシーケンスに対しては、オーディオビッ トの固定した数が指定される。従って、もし、時間の刻みが２４Ｈｚにおいて加 算され、そして２５Ｈｚにおいて表示することが望まれるならば、正しいビット レートを得るためにオーディオを再コード化することが必要である。２５Ｈｚに おいて時を刻むことは、しかしながら、全体のシーケンスがスピードアップ（オ ーディオを含む）され、しかしオーディオの分離した再コード化は必要ないこと を意味している。 White Bookに関しては、オーディオのレートは、ビデオのレートが秒当り１． １５ｍ／ｂｉｔｓに固定されているのに対して、秒当り２２４ｋ／ｂｉｔｓに固 定されている。Green Bookのオーディオに対しては、そのようなビットレートの 制約はないが、しかし、組み合わされたオーディオとビデオは、データがディス クから引き渡される最大のレートによって束縛される。これを満足させるために 、典型的なGreen Bookのレートは、オーディオが秒当り１９２ｋ／ｂｉｔｓにお いてで、ビデオが秒当り１．１８６ｍ／ｂｉｔｓにおいてである。 特別の問題は、異なった標準に対するアスペクト比歪みについてである。スク リーン上に見られる円は、もしGreen Book標準がセットされるならばWhite Book で表示されたときつぶれて見え、もしWhite BookがセットされるならばGreen Bo okでつぶれて見えるであろう。引用された数字はGreen Book標準に対して適用さ れるべき水平補償に要求された１１％である（これは一般に、周波数がＶＴＲの クロックに相当するWhite Bookにおいては問題でない）。ＣＣＩＲ６０１Ｄ１の クロックのＶＴＲのイメージから出発して、もし、我々がWhite Book標準によっ てＮＴＳＣまたはＰＡＬをつかみたいならば、我々はディスプレイレートおよび 画像サイズの変化をうまく処理しなければならない。Green Book標準に対しては 、我々はまたアスペクト比の変化をうまく処理しなければならない。 一般に、我々はWhite Bookの画像を、３５２×２８８の２５Ｈｚの画像の可能 性を与える、２５ＨｚでＰＡＬに対し、２４Ｈｚまたは２５ＨｚでＮＴＳＣに対 する（一般には両方に対し２５Ｈｚが使用される）固定した画像サイズでコード 化することに頼っている。データのレートに関して、これは両方に対して受け入 れられる。画像サイズについては、これはＰＡＬに対して受け入れられるが、し かしＮＴＳＣは、２４０ライン プラス 上下に２４ラインの黒として処理され る。これは、そのときWhite Bookの画像変換メカニズムを用いて２５Ｈｚで表示 されるか、または、我々は中央の２４０ラインと２４または２５ＨｚのＮＴＳＣ としてのコードを引き出すことができる（この分離は、我々がどんな入力からも ウインドウを取ることのできる、すなわち黒を無視している、エンコーダにおい て可能である。）。 補償の手順は、図１に示される段を通して部分に分離され、そしてつくられた ディスクがWhite BookまたはGreen Book標準であるべきかに関して初期決定を必 要とする。 Green Bookに対して理論的に要求された１１％の伸長（我々が、通常White Bo okを目指しているように）は、４％の垂直のつぶれとともに６％の実際の水平伸 長としてつくられる。１１％の数字は、１３．５ＭＨｚの画素クロックレートに 対する１５ＭＨｚの画素クロックレートの比から引き出され、そして６％の数字 は３６０画素に対する３８４画素の比から引き出され、言い換えると、望まれた イメージのレートにおいて全幅（すなわち、ＣＣＩＲ６０１のイメージのもとの ７２０画素幅）に対する最大許容のGreen Bookイメージの比である。比は画像領 域を端から詳細を失うことなく最大限まで増大するために拡張を許容している。 ＰＡＬ表示を予定したディスクに対する手順は、入力ビデオの両方のフィール ドをつかむことと、ライン当り３５２画素の解像度をもつ典型的な２８８ライン にデータを減少させるためにサブサンプリングでフィールド結合を行うことを含 んでいる。Green Bookフォーマットの場合には、イメージは、最後に表示された イメージにおいて正しいアスペクト比を達成するために水平方向に伸長される。 データは、そのとき慣習的なＭＰＥＧ１または２のエンコーディングスキムを用 いてエンコードされる。 ５２５ラインのＮＴＳＣマスターが存在する場合には、直接にＮＴＳＣからＰ ＡＬに達しようと試みるよりもむしろ、もとのフィルムフレームは、３：２プル ダウンを逆にすることによってＮＴＳＣビデオから再形成されるであろう。もと のフィルムフレームは同じ時点から引き出された連続的なフレーム（ビデオの） 、すなわち動きの影響のないよりシャープなイメージを与える。一般に、フィル ム（すなわち、秒当り２４フレームのシーケンス）からスタートすることが好ま しいが、しかし、もしもとのフィルムストックが失われまたは損傷したときＮＴ ＳＣからの再生がなされる。再形成は３０Ｈｚのビデオから２４フレームを得る ために種々の重みづけの技術を含んでいるが、しかしこれは本発明の範囲外であ る。 前述のことから、ＰＡＬ標準の５０Ｈｚのビデオまたはフィルムを、１つはＮ ＴＳＣプレーヤで再生するディスクを他はＰＡＬプレーヤで再生するディスクを つくるためにコード化される、２つの出力データファイルの同時製作を許容する ようなGreen BookまたはWhite Bookのディジタルビデオにおいてエンコードする ために適しているフォーマットに変換する手順を、我々は記述したことが分かる 。手順は、White Book，Green BookおよびＭＰＥＧ１または２標準によって課せ られた関連した制約を満足し、そしてイメージ歪みのない望ましい出力イメージ をつくるために既存のプレーヤにおける設備を利用することができる。 与えられた開示を読むことから、他の変形が当業者にとって明らかであろう。 そのような変形は、オーディオ／ビジュアル標準変換装置およびそれらの部品の 設計、製造および使用において既知であり、そしてここに既に記述した特徴の代 わりにまたは加えて使用される他の特徴を含み得る。クレームは、この出願にお いて特徴の特別の組合せについて公式化されたけれども、本発明の開示の範囲は また、それがどれかのクレームに現在クレームしたのと同じ発明に関していても そうでなくても、そしてそれが、本発明がしているように同じ技術的課題のいく らかまたは全てを軽減しようともそうでなくても、明示的か暗示的かあるいはそ れらからの派生的にせよここに開示されたどんな新しい特徴または特徴の新しい どんな組合せをも含んでいることが理解されるべきである。出願人は、新しいク レームが本出願の継続中またはそこから引き出された別の出願の継続中に、その ような特徴および／またはそのような特徴の組合せに対して公式化され得ること をこれによって予告する。

Claims (1)

1. 【特許請求の範囲】 １．イメージソースからディジタル化されたイメージのシーケンスを受信するた めの入力端子を有するビデオ信号処理装置であって、該装置は： 入力端子からディジタル化されたイメージを受信するために接続され、そし てそれの分離したフィールドを識別しそしてイメージフレームを画素データのラ インとして出力することが実施可能なフィールドグラバ手段； ライン当りの画素数とフィールドグラバによって出力された各イメージフレ ームにおける画素ラインの数とを、予め選択された表示フォーマットによって定 められた数に減少させるために水平および垂直圧縮を適用することが実施可能な イメージ操作手段； イメージ操作手段から圧縮されたイメージフレームを受信し、そして予め定 められたコーディング標準によってそれらをエンコードするために配置されたビ デオエンコーディング手段 を含んでいることを特徴とするビデオ信号処理装置。 ２．請求項１記載の装置において、前記イメージ操作手段はさらに、画素値の内 挿によって水平方向にイメージを拡張することが実施可能であることを特徴とす るビデオ信号処理装置。 ３．請求項１記載の装置において、イメージソースが飛越走査のビデオ信号を供 給するところにおいては、フィールドグラバ手段は両方のフィールドをつかむこ とが実施可能であり、そしてイメージ操作手段は、ほぼ半分のビデオ信号のフィ ールドレートにおいて前記圧縮されたイメージフレームをつくるために、サブサ ンプリングを用いてフィールド結合を行うことが実施可能であることを特徴とす るビデオ信号処理装置。 ４．請求項３記載の装置において、イメージ操作手段はさらに、イメージフィー ルドにおける動きの影響を補償するようにフィールド結合を行うときフィルタリ ングを適用することが実施可能であることを特徴とするビデオ信号処理装置。 ５．請求項１記載の装置において、イメージソースが連続するフィルムのフレー ムから１対のイメージを供給しているテレシネ装置を含んでいるところにおい ては、フィールドグラバ手段は両方のフィールドをつかむことが可能であり、そ してイメージ操作手段は、前記フィルムの表示のフレームレートまたはその近傍 において前記圧縮されたイメージフレームをつくるために、フィールド結合を行 うことが可能であることを特徴とするビデオ信号処理装置。 ６．請求項１乃至５のいずれか１項記載の装置において、前記ビデオエンコーデ ィング手段は、各受信された圧縮されたイメージフレームの一部をエンコーディ ングするために選択することが実施可能であることを特徴とするビデオ信号処理 装置。 ７．請求項１乃至６のいずれか１項記載の装置において、前記予め定められたコ ーディング標準は、ＭＰＥＧ１またはＭＰＥＧ２標準であることを特徴とするビ デオ信号処理装置。 ８．請求項１乃至７のいずれか１項記載の装置において、該装置はさらに、ビデ オエンコーディング手段から前記エンコードされたフレームを受信するため、お よび光ディスク上に記録するための予め定められた記録フォーマットによってデ ータを配置するために接続されたディスクビィルディング手段を含んでいること を特徴とするビデオ信号処理装置。 ９．請求項８記載の装置において、前記予め定められた記録フォーマットは、ビ デオコンパクトディスク標準からなっていることを特徴とするビデオ信号処理装 置。 １０．請求項８記載の装置において、前記予め定められた記録フォーマットは、 コンパクトディスクインタラクティブ標準からなっていることを特徴とするビデ オ信号処理装置。 １１．イメージソースから受信されたディジタル化されたイメージのシーケンス を処理する方法であって、該方法は： ディジタル化されたイメージをつかみ、それの分離したフィールドを識別し 、そしてイメージフレームを画素データのラインとして出力する； ライン当りの画素数と各イメージフレームにおける画素ラインの数を、それ ぞれ水平および垂直圧縮を適用することによって、予め選択された表示フォーマ ットによって定められた数に減少させる；そして 圧縮されたイメージフレームを予め定められたコーディング標準によってエ ンコードする ステップを含んでいることを特徴とするディジタル化されたイメージのシーケ ンスを処理する方法。 １２．請求項１１記載の方法において、予め選択された表示フォーマットはＮＴ ＳＣ標準であり、そして圧縮はイメージフレームを２４０ラインに減少させるこ とを特徴とするディジタル化されたイメージのシーケンスを処理する方法。 １３．請求項１１記載の方法において、予め選択された表示フォーマットはＰＡ Ｌ標準であり、そして圧縮はイメージフレームを２８８ラインに減少させること を特徴とするディジタル化されたイメージのシーケンスを処理する方法。 １４．請求項１乃至１０のいずれか１項記載の信号処理装置のビデオエンコーデ ィング手段から出力された、エンコードされたビデオイメージを担っていること を特徴とする光ディスク。 １５．請求項１１乃至１３のいずれか１項記載の処理する方法によってエンコー ドされたビデオイメージのシーケンスを担っていることを特徴とするデータ担体 。