JP4335491B2 - デジタルマスタリングのために、デジタル画像の表示及びレンダリングを最適化するためのシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画フィルムのトーンスケール及び色をエミュレートするデジタル画像処理の分野に関する。より詳細には、本発明は、フィルムシステムの複製をエミュレートする、すなわち、動画フィルムで取得及び表示される画像の外観を提供するための電子画像のレンダリングに関する。
【０００２】
【従来の技術】
現在のデジタル時代は、動画分野におけるユーザの操作のやり方を変える潜在能力を有している。動画フィルムを投影する従来の方法は、制御されるために利用可能な非常に多くのオプションがないので比較的簡単であった。基本的に、フィルムは、処理、照明及び実験方法により変更可能な所定の外観、すなわち「外見」を有している。
【０００３】
デジタル世代は、動画産業に動画プリント画像を取得する能力を齎すと共に、データの形式において動画プリント画像を構築する能力を齎している。データが一旦取得されると、そのデータは所望の程度にまで実用的に処理される。しかし、より多くの要素で機能する必要があると、オリジナルの意図を維持又は再構築することは、より困難になる。
【０００４】
電子的な変換にとって潜在的に有効な大量のプログラムマテリアルは、写真フィルムの形式で存在するか、又は取得される。かかるフィルムマテリアルからデジタル信号を生成可能なタイプの装置は、テレシネスキャナ、又は略してテレシネと通常呼ばれる。しかし、動画フィルムは、暗い講堂で投影されるとき、完全に十分な画質を表すものであるが、テレシネにより電子的に見ることのために変換されたときに失望してしまうことがある。
【０００５】
この理由のために、画像に対して非常に有効な調節を電子的に適用することが可能である。これらの補正は、テレシネラボで作業するカラーリストにより典型的に行われ、補正された電子信号は、ハードドライブ又は他のタイプのデジタルメモリのようなデジタルインターメディエイトに書き込まれる。
【０００６】
業界用語では、カラーリストは、フィルム又はＣＲＴに基づくビデオ出力について、スキャンされたフィルムを最適な「外見」に「等級付けする（grades）」。これは、データがフィルムに送られたとき、カラーリスト側での多くの当て推量を必要とする。
【０００７】
今日、デジタルマスタリング又はテレシネラボにおけるカラーリストは、スキャンされた動画フィルム又は他のデジタル捕捉装置から生じるデジタル画像のトーンスケール及び色を調節して許容可能なデジタルマスタを生成する一方で、カラーリストにとって利用可能な見る環境において幾分制限されている。波形モニタ及びベクトルスコープのような装置は、テレシネ及び／又は２次的な色補正から生じる巨大な調整能力をモニタすることができ、動画は、スキャンされるフィルムよりも小さい色再現領域を有するビデオモニタを使用して、この色等級付けプロセスの間に典型的に表示される。
【０００８】
さらに、色等級付けの一方で、（リリースプリントフィルムのような）所望の「外見」を注入する現在のプロセスは、これら制限された色再現領域のビデオ装置で実現される１次元のハードウェアのルックアップテーブル（１ＤＬＵＴ）、及びカラーリストの主観的な創造的な制御に典型的に依存する。（ＬＵＴの１次元の態様は、それぞれの入力値について１つの出力値が探されることを意味する。）従来技術では、所与の「外見」は、テレシネマシンを使用して／使用せずに、da Vinci System社により提供されるda Vinci（登録商標）カラーコレクタのような「１次」又は「２次」色補正装置を使用して各種調節を通して得ることができる。
【０００９】
特許文献では、米国特許第5,255,083号は、フィルムからビデオ信号への変換システムにおける色補正のためのデジタル色補正システム及び方法を開示している。米国特許第5,140,414号、第5,374,954号、第5,406,326号、第5,457,491号及び第5,687,011号（それぞれがMowryに与えられている）では、ポストプロダクションビデオ技術に関連するファミリを表しており、これらの技術は、異なる動画像フィルムストックで生成された画像が、テレシネの“flying spot scanner”機能がテープに録画された高精細ビデオから生成された画像からビデオに転送した後に具現化する、外観の美的に許容可能なシミュレーションに到達しようとする。
【００１０】
この従来技術の１つのコンポーネントは、シーンライティング、シーンブライトネス及び選択されたｆ−ｓｔｏｐ設定の色温度に基づいたＬＵＴを通して、ビデオ生成されたマテリアルを扱う。ＬＵＴにおける変換値は、カラーチャート及びグレイスケールチャートを撮影し、フィルムのテレシネ転送からビデオテープへのチャートのフィルムコンポーネントレスポンスのデジタル表現を取得し、次いで、同じ照明条件下での同じチャートのビデオ生成された画像に対するテレシネ導出されたコンポーネントレスポンスを図表にすることで導出される。最終的にシミュレートされるビデオ画像は、高精細信号として記録されるか、又はＮＴＳＣ信号に変換されてブロードキャスト又は表示される。
【００１１】
上記Mowryの特許のうちの最後の２つでは、デジタル化されたビデオ信号がフィルムレコーダに送出され、このフィルムレコーダは、コンポーネントが変更された画像を選択されたリバーサルフィルムストックで再現する。このフィルムは、フィルムプロセッサにより化学的に処理され、次いで光学的に投影されるか、ビデオ、デジタルビデオ、又は他の電子メディアにスキャンされる。フィルムレコーディングオプションが採用される場合、これらの特許は、コンポーネントの変更で使用されたテレシネ導出されたＬＵＴは、画像がデジタルで記録されているフィルムストックに特有のカラーレスポンスについて補償する応答データを含むことが重要であることを規定している。
【００１２】
【発明が解決しようとする課題】
これらのシステムは、試行錯誤を通して所与の「外見」に知覚的に到達することができるが、ノイズ又は他のアーチファクトが画像に導入される傾向を有しており、また、時間がかかる。加えて、従来の１次元ルックアップテーブル（１ＤＬＵＴ）及び非線形チャネルの相互依存性から得られる３×３マトリクスを使用して、容易に達成することができない色が存在する。
【００１３】
動画に関する色補正を実行する既存の製品を補足しつつ、達成することができない色を供給することができる全体システムの一部として、拡張された色再現範囲をもつ動画に関して、リアルタイムで公知の「外見」（たとえば、リリースフィルムプリント）をエミュレートする簡単でロバストな方法が必要とされる。
【００１４】
本発明の目的は、「外見（look）」（たとえばプリントフィルム）がリアルタイムでデジタル動画データに適用されることを可能にするシステムであって、デジタルプロジェクタのような表示装置を使用して、この「外見」を事前に視覚化することを可能にするシステムを提供することにある。
【００１５】
本発明の更なる目的は、表示装置の制限された色再現領域で最適な動作を可能にする色等級付けシステムであって、このシステム全体の一部として、リアルタイムのパフォーマンスを達成し、全体処理を改善することができるカスタムハードウェアのイメージプロセッサを含む色等級付けシステムを提供することにある。
【００１６】
本発明の更なる目的は、システムが「外見」を提供するのを可能にし、特に取得不可能な色を得るのを可能にするコンフィギュアラブルな処理モジュールのシリーズにおけるコンポーネントとして高速ＬＵＴ技術を使用することにある。
【００１７】
本発明の更なる目的は、（たとえば、３次元ＬＵＴ又は複数の１次元ＬＵＴ及び３×３マトリクスを含む）カスタムハードウェアイメージプロセッサを含む全体システムの一部として拡張された色再現領域をもつデジタルプロジェクタを使用することにある。
【００１８】
【課題を解決するための手段】
本発明は、上記目的のうちの１つ以上を達成するために向けられる。簡単に説明すると、本発明の１態様によれば、走査された動画フィルムのような動画ソースから生じたデジタル画像信号を処理するデジタルマスタリングシステムは、色等級付けチャネル及びデジタルレンダリングチャネルを含んでいる。
【００１９】
色等級付けチャネルは、デジタル画像信号に適用することができる「外見」を事前に視覚化する。この「外見」は、動画プリントフィルムのような標準的な動画ソースにより生成される外観、及び／又は、創造的な効果を得るために標準的な外観に適用される調節により生成される外観を含む。
【００２０】
このために、色等級付けチャネルは、以下を備えている。
（ａ）１つ以上の標準的な動画ソース及び創造的な効果に対応する複数の「外見」についてのパラメータを記憶するパラメータジェネレータ。
（ｂ）１つ以上の選択されたパラメータを使用して、事前に視覚化された「外見」をデジタル画像信号に与えるデジタル色等級付けプロセッサ。また、デジタル色等級付けプロセッサは、特定の表示装置に特有な１つ以上の変換をデジタル画像信号に対して適用して、これにより、事前に視覚化された「外見」及び表示に特有な変換を含んだ色等級付けされたデジタル画像信号を生成する。
（ｃ）色等級付けされたデジタル画像信号を表示に特有な変換により変更されたときに再現する表示装置。
【００２１】
また、デジタルレンダリングチャネルは、所定の「外見」について事前に視覚化されたデジタル画像信号をデジタルマスタにレンダリングする。ここで、レンダリングされた「外見」は、標準的な動画ソースにより生成される外観、及び／又は、創造的な効果を得るために標準的な外観に適用される調節により生成される外観を含んでいる。
【００２２】
このために、デジタルレンダリングチャネルは、以下を備えている。
（ａ）パラメータジェネレータにより選択される１つ以上のパラメータをデジタル画像信号に適用して、レンダリングされた「外見」をデジタル画像信号に与え、これにより、レンダリングされた「外見」を含むものの、表示に特有な変化がないレンダリングされたデジタル画像信号を生成するデジタルレンダリングプロセッサ。
（ｂ）レンダリングされたデジタル画像信号からデジタルマスタを作成するデジタルマスタリング装置。
【００２３】
本発明は、ポストプロダクション施設においてデジタルプロジェクタを使用して、色等級付け処理の表示された結果をカラーリストが最適に見るための能力を提供する。本発明は、１つ以上の３次元ルックアップテーブル、複数の１次元ルックアップテーブル、及びリコンフィギュアラブルな計算エンジンにロードされる３×３マトリクスとして、ハードウェアで実現されるコンフィギュアラブルな処理ステップを含んでいる。この計算エンジンは、デジタルソースから動画入力をリアルタイムで処理して、最適化された出力をデジタルプロジェクタ又はデジタルデータ記憶装置に送出する。
【００２４】
［発明の作用］
本発明により、カラーリストは、デジタルで投影されたデジタルソース画像と所望のエンドプロダクト（たとえば、投影されたリリースフィルムプリント）との間の外観上の（及びおそらく色の）整合を提供するシステムを通してデジタル化されたフィルムソースをより正確に色補正することができる。これは、ビデオモニタのような制限された色再現領域を有する装置への信頼性に関する改善である。この「色等級付け」処理でなされる外部の色調節の視覚化は最適である。システムの表示のみのシナリオにより、事前に視覚化する処理は、プロジェクタに特有の変換を組み込んで、所与のデジタルプロジェクタで所望のエンドプロダクトの「外見」をエミュレートするためにカスタマイズされる。
【００２５】
レンダリング処理において作成することができる「デジタルマスタ」は、カラーリスト又は関心のある利害関係者の意図及び期待をより正確に反映する。デジタルマスタから最終的に生成することができる（たとえばリリースフィルムプリントといった）動画プロダクトの色及びトーンスケールは、最適化される。
【００２６】
（たとえば、デジタルシネマディストリビューションマスタ又はリリースフィルムプリントといった）同じデジタルマスタからの各種のエンドプロダクトは、このシステムの３次元ルックアップテーブルのセットアップパラメータに対する簡単な変更を通して最適に事前に視覚化され、全てのエンドプロダクトにわたって一貫した所望の「外見」が達成される。
【００２７】
幾つかの経験的な「外見」は、システムがレンダリングモードで使用されるときに必要な場合、原画像にレンダリングすることができる。これは、全体的なポストプロダクション処理において特定の「外見」（たとえば、「外見」は、従来のフィルム化学実験処理を通して達成可能なものに類似している）を達成するための既存の従来の方法に対して、費用と時間の節約のための機会を与える。
【００２８】
本発明のこれらの態様、目的、特徴及び効果、並びに、他の態様、目的、特徴及び効果は、より明確に理解され、好適な実施の形態の以下の詳細な記載及び特許請求の範囲を検討すること、及び添付図面の参照により理解されるであろう。
【００２９】
【発明の実施の形態】
特にテレシネ変換の後の動画フィルムの「外見」をエミュレートするビデオ又はデジタル画像処理システムは知られているため、ここでの記載は、本発明によるシステム及び方法の一部を形成する特質、又は本発明のシステム及び方法とより直接的に一体となる特質に特に向けられる。
【００３０】
本明細書で特に図示又は記載されない特質は、当該技術分野において知られているものから選択されてもよい。以下の記載では、本発明の好適な実施の形態は、少なくとも部分的にハードウェアとして本来実現されるが、当業者であれば、かかるハードウェアと等価なものがソフトウェアで提供されてもよいことを認識されるであろう。
【００３１】
以下の実施の形態において本発明に従い記載されるシステムが与えられた場合、本発明の実現のために有効であって本明細書では特に図示、示唆又は記載されないハードウェア及びソフトウェアの設計は、慣習的であって、係る技術分野の範囲内である。
【００３２】
本発明がコンピュータプログラムとして実現される場合、プログラムは、従来のコンピュータ読取り可能な記憶メディアに記憶され、このメディアは、たとえば、（フレキシブルディスク又はハードディスクドライブのような）磁気ディスク又は磁気テープのような磁気記憶メディア、光ディスク、光テープ、又はマシン読取り可能なバーコードのような光記憶メディア、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような固体電子記憶装置、コンピュータプログラムを記憶するために使用される他の物理装置又はメディアが含まれる。
【００３３】
本発明がハードウェアで実現される場合、特定用途向け集積回路（ＡＳＩＣ）のような集積回路、又は当該技術分野において公知の他の手段として実現されてもよい。
【００３４】
本発明は、テレシネ又はデジタルデータ記憶装置のような画像データストリームを生成するマシンと、デジタルマスタリング又はテレシネスーツにおけるデジタルプロジェクタ、フィルムレコーダ又はデジタルマスタレンダリング装置のような表示装置との間の画像データストリームで生じるリアルタイムでの色処理を包含している。
【００３５】
このシステムのリアルタイムの色処理機能は、所与のプロジェクタ（又は他の目標とされるビューイングデバイス）の色再現領域外にあるフィルムで取得された色を補間する最適なやり方を提供し、それぞれの表示装置が個々に特徴付けされるのを可能にする。加えて、フィルムのような「外見」又は他の創造的な「外見」は、このシステムを「デジタルインターメディエイト（digital intermediate）」の環境で使用して、（「外見」をデータにレンダリングするか、レンダリングすることなしに）データストリームに適用することができる。
【００３６】
本発明は、デジタルマスタリング環境において動画像を処理するデータと共にコンフィギュアできる、リコンフィギュアラブルなハードウェア処理要素のセットから構成される。このデータにより、オペレータは、所与の「外見」をそのデータに注入することが可能であり、このデータは、レンダリングモードにおいて記憶装置に「レンダリング」されるか、表示のみのモードにおいてデジタルで投影される。
【００３７】
より詳細には、本発明は、以下に説明するシステムを提供する。
・任意の表示のみの「外見」は、データストリームにリアルタイムで適用され、この「外見」をデジタルソースデータに実際にレンダリングすることなく、「外見」及び外部で印加された色及びトーンスケールの調節が事前に視覚化される。さらに、このシステムは、このシステムの出力を表示するデジタルプロジェクタの色再現領域について原画像を最適化する。このことは、図１における色等級付けチャネル１２で示されている。
・任意の創造的な「外見」は、プロジェクタに特有の変換なしでデータ（すなわち、デジタルマスタ）にレンダリングされる。このことは、図１におけるデジタルレンダリングチャネル１４で示されている。
【００３８】
図１を参照して、デジタルマスタリングシステム１０は、色等級付けプレビューチャネル１２及びデジタルレンダリングチャネル１４を含んでいる。チャネル１２及びチャネル１４の両者は、Philips社により提供されるSprit Data Cine（登録商標）テレシネのような動画フィルムスキャナ２０からのデジタル動画信号を処理する。しかし、処理することができるデータは、本質的には、デジタルカメラ、デジタルコンピュータ（コンピュータ生成画像、アニメーション等）、又はデジタル動画のソースを含んでいるデジタル記憶装置のような、所与のデジタル動画ソースからのデジタル画像データである。
【００３９】
実際には、本発明は、入力フォーマットの範囲を限定するものではないが、データはシステムによりサポートされるフォーマットで提供される必要がある。典型的なスキャナは、ＹＣｂＣｒ信号を色等級付けチャネル１２において提供し、ＲＧＢ信号をデジタルレンダリングチャネル１４において提供する。このＲＧＢ信号は、両チャネルにおいて提供することが可能である。色等級付けチャネル１２では、「外見」プロセッサ２２においてＹＣｂＣｒ信号は変更され、所定の「外見」が該信号に印加される。
【００４０】
本開示の文脈では、「外見」とは、限定するものではないが、デジタルカメラ、コンピュータ生成又は動画プリントフィルムからのソース画像のような標準的なデジタル画像ソースのトーンスケール及び色により生成される外観、及び、創造的な効果を得るために標準的な外観に適用される調整により生成される外観を含んでいる。
【００４１】
たとえば、標準的な「外見」は、Kodak Vision Print Film2383（登録商標）をプリント及び投影することにより生成されるトーンスケール及び色である場合があり、創造的な調整は、該ソースにスキップブリーチプロセスを適用すること、プリント露光フラッシュを行うこと、バランス位置をオフセットすること、廃盤となっているフィルムプロダクトのトーンスケール及び色を加えて創作し直すこと、により得られる効果である場合がある。
【００４２】
創造的及び標準的なフィルムの「外見」パラメータは、パラメータジェネレータ２４から入力され、パラメータジェネレータ２４により、多数の異なる「外見」及び創造的な効果がデジタル信号に与えられる。パラメータは、たとえばＬＵＴエントリのセットのように予め計算された値、又はカラーリストの入力に応答して同時に生成することができる。
【００４３】
好適な実施の形態では、「外見」プロセッサ２２は、リコンフィギュアラブルな計算エンジンであり、パラメータジェネレータ２４は、様々な「外見」及び創造的な効果についての、複数の予め計算されたパラメータを提供する。さらに、da Vinci（登録商標）色補正器のような２次的な色補正器２６を利用して、（図示される）スキャニングプロセスの一部として、又はそのプロセスにおける何処かで、追加の色補正を提供することができる。
【００４４】
実際に、本発明は、色等級付けの間、テレシネ及び２次的な色補正手段により行われる色のファインチューニング及びトーンスケールの調整を補う。さらに、本発明は、かかる補正の良好な開始点を提供する。
【００４５】
処理されたデジタル信号は、次いで、デジタルディスプレイ装置３０で見られ、このディスプレイ装置３０は、デジタルプロジェクタのような広い色再現領域をもつ装置であることが好ましい。この目的に適したプロジェクタを一般に入手可能であり、Texas Instruments社により提供されているＤＬＰプロジェクタ、及びJVC社により提供されているG4000プロジェクタを含む。
【００４６】
所定の信号変換は、特定の表示装置により必要とされるため、「外見」プロセッサ２２はまた、ディスプレイに特有の変換をデジタル信号に適用する。「外見」パラメータのように、パラメータジェネレータ２４は、複数の表示装置に適した変換を可能にする。関心のある特定のディスプレイに特有の変換は、表示装置の色再現領域外にある出力値を再びマッピングするアルゴリズムであり、これにより、かかる出力値は、表示装置の色再現範囲内となる。
【００４７】
本発明の１態様によれば、「外見」プロセッサ２２により提供される色再現領域外の幾つかの色は、適切なディスプレイに特有の変換によりデジタルプロジェクタの色再現範囲に再びマッピングされるが、デジタルプロジェクタの使用により、従来のＣＲＴディスプレイ装置よりも広い色再現領域が提供され、広い色の範囲を表示することができる。このようにして、最適な表示環境が提供される。
【００４８】
デジタルレンダリングチャネル１４のフィルム記録経路では、「外見」プロセッサ３２において、ＲＧＢ信号は変更及び調整される。この「外見」プロセッサ３２は、創造的な効果のみが適用される点を除いて（標準的なフィルムの「外見」は、フィルム処理及び使い方に特有に与えられる）、「外見」プロセッサ２２と同様に動作するものである。
【００４９】
色等級付けチャネルについて、パラメータジェネレータ２４により生成される特定のパラメータは、データ線３４を介して「外見」プロセッサ３２に入力される。処理された信号は、中間マスタ３６に記録されるか、又はフィルムレコーダ３８に直接入力される。このフィルムレコーダ３８は、処理されたデジタル信号を光信号に変換する。光信号は、リリースフィルムプリントマスタ４０を露光する。このマスタ４０から、ディストリビューションプリントが得られる。
【００５０】
デジタルレンダリングチャネル１４のデジタル投影経路では、「外見」プロセッサ４２において、ＲＧＢ信号が変更及び調整される。「外見」プロセッサ４２は、ディスプレイに特有の変換が信号に与えられない点を除いて、「外見」プロセッサ２２と同様に動作するものである。
【００５１】
色等級付けチャネルについて、パラメータジェネレータ２４により生成された特定のパラメータは、データ線４４を介して「外見」プロセッサ４２に入力される。処理されたデジタル信号は、磁気テープ、ハードディスクドライブ、又はＣＤ／ＤＶ−ＲＯＭのようなデジタルマスタ４６として記録される。（代替的に、表示データは、たとえば衛星伝送リンケージにより、デジタルプロジェクタの位置に直接転送されてもよい。）次いで、多数のデジタルコピー４８は、デジタルマスタ４０からコピーされ、複数のシネマロケーション５０に配信され、このシネマロケーション３０では、プロセッサ５２においてプロジェクタに固有の変換により変更され、デジタルプロジェクタ５４により、視聴観衆のために投影される。
【００５２】
デジタルレンダリングチャネル１４のデジタル投影経路の様々な変形が実施される場合がある。１変形例では、特定のプロジェクタ５４の必要条件がレンダリングステージの間で既知である場合に、「外見」プロセッサ４２によりプロジェクタに特有の変換が実現される。
【００５３】
別の変形例では、全ての「外見」及び創造的なパラメータが、たとえばデジタルマスタ４６に記憶され、コピー４８を介してシネマロケーションに配信される場合がある。このシネマロケーションでは、プロセッサ５２が、「外見」プロセッサ４２の代わりに、「外見」及び創作的なパラメータを処理する能力を有している（この場合、「外見」プロセッサ４２は、作動されないか、又は取り除かれる）。
図２を参照して、色等級付けチャネル１２及びデジタルレンダリングチャネル１４において、「外見」プロセッサ２２，３２及び４２により実現される処理ステージは、類似点を強調し、差異を識別するために並んで与えられる。動画フィルムスキャナ２０がＹＣｂＣｒデータ又はＲＧＢプリント濃度を供給することを思い出して、SMPTE292Mのような入力標準に合致するＹＣｂＣｒデータが色等級付けチャネル１２に供給される場合、サンプリングステージ１００は、（たとえば、4:2:2のＹＣｂＣｒサンプリングレートから、4:4:4のＹＣｂＣｒｓサンプリングレートまでといった）入力標準から後続する３次元のＬＵＴ処理ステップにより期待される色空間のサンプリングレートまでの、ソースコンポーネント画素情報に関するアップサンプリングを提供する。
【００５４】
しかし、デジタルレンダリングチャネル１４では、このステップは不要である。それは、原画像が（たとえば、フィルムの「プリント濃度」といった）SMPTE DPXフォーマットのようなフォーマットで、既に十分にサンプリングされた（4:4:4）のＲＧＢ色空間にあるからである。（ＲＧＢ色空間にとどまることは、動画を色処理するときに、色の忠実度を維持する１つの業界の標準的な方法であると考えられる。）
次いで、ソース色空間からシステム内部の色空間への色空間変換を提供することが必要である。たとえば、色空間変換ステージ１０２では、（たとえば、３×４マトリクス変換により）ソースの色空間が変換され、（たとえば、4:4:4のＹＣｂＣｒ色空間から4:4:4のＲＧＢプリント濃度の色空間へといった）後続する３次元ＬＵＴ処理ステップにより期待される色空間となる。しかし、デジタルレンダリングチャネル１４では、このステップは不要である。それは、原画像が既にＲＧＢプリント濃度の色空間にあるからである。
【００５５】
つぎに、それぞれのチャネルにおけるデジタル信号は、ルックアップテーブル（ＬＵＴ）の系列で処理される。はじめに、１０ビット／チャネルから１２ビット／チャネルまでのデジタル画像信号ソースのビット深度のスケーリングは、それぞれのチャネルにおける１次元ＬＵＴを使用して、スケーリングステップにおいて実行される。また、このＬＵＴは、３次元ルックアップテーブルのノードの間で非線形補間を可能にする機能を実現するために使用され、３次元ルックアップテーブルは、ハードウェアでの３次元ＬＵＴのノード間の固有の固定された配置のため、ハードウェアで実現されたときにリニアである。
【００５６】
さらに、従来の１次元ＬＵＴ処理（たとえば、ガンマ調整）は、この点で実現することができる。本発明のワークフロー内の特徴となるエレメントは、３次元ＬＵＴ１０６，１０８及び１１０のグループにおける（他のマトリクスとＦＰＧＡハードウェアで実現される１次元ルックアップテーブルの組合せによる）リコンフィギュアラブルな３次元ルックアップテーブルＡＳＩＣの適用である。
【００５７】
３次元ＬＵＴは、３次元における規則的な点又はノードのグリッドを通して、公知の補間の技法を提供する。ここでは、入力は、３つ組（たとえば、ＲＧＢ）の値であり、出力は、３つ組の処理値である。色処理は、３次元ＬＵＴ ＡＳＩＣを通して、１２ビット画像データを使用することにより得られ、カラーリストは、（たとえば、特定のリリースプリントフィルムの「外見」又は他の創造的な「外見」といった）所与の「外見」をデータストリームに加えることが可能となる。
【００５８】
本発明の譲渡人に譲渡された、係属中の米国シリアル番号．．．（ドケット番号82172）、M.J. Bogdanowicz, C.V. Hume 及びC.P. Hagmaier等により出願された“Method of Digital processing for Digital Cinema Projection of Tone Scale and Color”では、３次元ＬＵＴ１０６，１０８及び１１０により実現される画像処理のチェインを詳細に記載している。
【００５９】
簡単に説明すると、この開示は、デジタル画像信号の系列を処理して、動画プリントフィルムのような特定の表示媒体の外観を整合させる方法を記載している。この方法は、（ａ）デジタル画像信号を、信号値が特定の媒体に対応して色素のセットに比例する分析に基づいた色素の量の空間（analytical dye amount space）に変換するステップ、及び（ｂ）分析に基づいた色素の量の空間における信号値を、ディスプレイプロジェクタのような表示装置に適した出力値に変換するステップを含んでいる。
【００６０】
分析に基づいた色素の量の空間における信号値は、プリントフレア、ガンマ、コントラスト比又はニュートラリティのような見る条件について補正される場合がある。この開示に対する他の態様が存在し、この他の態様は、分析に基づいた色素の量の空間における信号値を、画像信号の表示のために選択された光源に基づく知覚による色空間に変換するステップ、知覚による色空間における信号を、表示装置に適した出力値に変換するステップを含んでいる。
【００６１】
2001年3月2日に出願された継続中の米国出願第09・797,891号では、デジタルソースを動画フィルムプリントリリースに整合させる高速かつ信頼できる処理が提供されている。これにより、画像系列の新鮮なトーン及び色を調整するためにカラーリストが関与する作業が最小にされ、したがって、時間が節約され、デジタルシネマ投影の使用が可能となる。使用される方法は、光で見たときにどのようにフィルムの色素が現れるかを特徴付けるために「フィルムモデル」をシミュレーションすることにより、デジタル画像系列を変換する。
【００６２】
トーンスケール及びトーンスケール操作は、分析に基づいた色素の量の空間として好ましくは言及される、チャネルに独立な空間で動作される。分析に基づいた色素の量は、個々のシアン、マゼンダ及び黄の色素のスペクトロフォトメトリの線形特性である。フィルムベースのエミュレーションの目標となる「外見」は、シアン、マゼンダ及び黄の色素から作成される画像の外観から構築される。分析に基づいた色素の量の空間の選択により、チャネル間のクロストークによる誤差を与えることなしに、トーンスケール曲線の釣り合い（シフト）が可能となる。
【００６３】
色素の量は変換され、目標とするデジタルプロジェクタにマッピングされる。結果的に、３次元ＬＵＴ１０６，１０８及び１１０は、デジタル画像系列を目標とするフィルムモデルに変換するために使用される分析に基づいた濃度に基づくテーブル値を使用する。複数のフィルムの「外見」及び特別な効果についてのパラメータは、ディスプレイに特有の変換と同様に、３次元ＬＵＴ１０６，１０８及び１１０のテーブル値としてパラメータジェネレータ２４に記憶される。
【００６４】
基本的に、2001年3月2日に出願され、本発明の譲渡人に譲渡された係属中の米国シリアル番号09/797,891号に記載されているように、個別のＬＵＴ１０６，１０８及び１１０で表されている画像処理チェインは、算術的モデルとしてそれぞれ表されている。それぞれのＲＧＢ入力セットについて、算術モデルにより定義された潜在的に固有な出力ＲＧＢ値のセットが存在する。モデリングの処理は、実現とは独立である。この作業について、高速な計算方法は、変換を実行することが必要とされる。四面体の３次元補間方法が使用され、必要とされるモデリング計算の量を簡単にする。
【００６５】
四面体３次元補間に関する詳細な情報は、本発明の譲渡人に譲渡された米国特許第4,992,861号において見ることができ、この特許はJohn D’Erricoに与えられ、参照により本明細書に組込まれる。この理由のため、キーとなる処理ステップは、プログラマブルな３次元ＬＵＴ ＡＳＩＣチップ、又はD’Errico特許で記載されている３次元ＬＵＴ処理を好ましくは実現する他の高速ハードウェアのような、リコンフィギュアラブルな「外見」プロセッサ２２，３２及び４２において実現される。これは、システムがリアルタイムで動作することが意図されるために重要である。
【００６６】
ビット深度がスケーリングされた信号は、ＬＵＴ１０６，１０８及び１１０で処理され、創造的な「外見」及び標準的な「外見」、及びデジタルプロジェクタにより要求される特定の変換に関連したトーンスケール及びカラーモデリングが提供される。標準的な「外見」は、動画フィルム投影システムの外見であることが好ましく、創造的な「外見」は、所望とされる特定の創造的な表現を達成するために標準的な「外見」に適用される変更及び調整をカバーする。
【００６７】
基本的に、色等級付けチャネル１２では、ＬＵＴ１０６は、創造的な「外見」及び標準的な「外見」を利用して、ＬＵＴ１１０は、ディスプレイに特定の変換を利用する。代替的に、全ての３つの調整は、１つのＬＵＴ内で行うことができ、又は、これらの調整は、３つの個別のＬＵＴに分けることができる。
【００６８】
上記の2001年3月2日に出願され、本発明の譲渡人に譲渡された係属中の米国シリアル番号09/797,891号で採用されているカラーリマッピング方法は、本発明の文脈において、特に有効なディスプレイに特有の変換の例である。このリマッピング方法は、色再現範囲外の色のセットを処理するために、以下の方法論を採用している。
【００６９】
はじめに、装置に独立な知覚による色空間において、ディスプレイ装置の最大の色再現範囲が決定される。選択された知覚による色空間は、CIE LABであり、これは、当業者にはよく知られているが、ＸＹＺの３刺激又はCIE LUV空間のような他の知覚による色空間も良好に機能する。
【００７０】
CIE LAB空間では、最大の色再現範囲は、色相角度のそれぞれでの最大飽和を設定し、それぞれの点での明度値（Ｌ）を計算することにより決定される。計算された明度値は、色再現範囲外の色を配置し直すための開始位置として使用される。次いで、それぞれの色再現範囲外の色について、色相角度が得られる。この色相角度は、作用する色について開始明度値を探すために使用される。
【００７１】
この色再現範囲のリマッピングアルゴリズムは、目標とする色の色相角度を維持することを試みる。知覚的に、色相角度における変化は、明度又は飽和度における変化よりも明らかとなる。色相角度が維持されるので、明度及び飽和度は、目標とする色をディスプレイ装置の色空間にするために変更されなければならない。目標とする色が最大飽和の明度よりも明るい場合、ディスプレイ装置の色空間と交差するために、目標とする色は暗くされ、非飽和とされる。上述した色再現範囲のマッピング技法が好ましい一方で、他の色再現範囲のマッピング技法をディスプレイに特有の変換として使用し、妥当なＲＧＢコード値を表示できない色に割当ててもよい。
【００７２】
レンダリングチャネル１４では、１つのＬＵＴ１０６は、創造的な「外見」に加えて、動画プリントフィルムにより通常与えられるタイプの標準的なフィルムの「外見」を提供する。他のＬＵＴ１０８は、創造的な「外見」のみを提供する。フィルムレコーダ３８により生成されたフィルムは、使用されている特定の動画プリントフィルムの「外見」を与えるために、ＬＵＴ１０８において標準的な「外見」を提供する必要がない。
【００７３】
ディレクタにより望まれる創造的な「外見」のみが提供される必要がある。逆に、デジタル投影のために参加者に配信されるデジタルマスタリングの作業では、ディレクタにより望まれる創作的な「外見」及び特定の動画プリントフィルムにより与えられる標準的な「外見」の両者を提供する必要があり、これは、フィルムが投影で使用されていないためである。しかし、ディスプレイに特有の変換がこの点で省略することができ、これは、投影サイトがこれら変換を利用することができるためである。
【００７４】
プロジェクタに特有の、及び／又は、たとえばＬＵＴエントリのような創造的なパラメータ又はフィルムの「外見」パラメータは、パラメータジェネレータ２４から３次元ＬＵＴの何れかにアップロードされ、これにより、多数の「外見」、創造的な効果及びプロジェクタに特有の変換を提供するメカニズムが提供される。
【００７５】
それぞれのチャネルでは、１次元ＬＵＴ１１２を使用した更なるスケーリングステップが、３次元ＬＵＴ処理ステップの１２ビット／チャネル出力から１０ビット／チャネルまでのビット深度のスケーリングに加えて、この点で行われることが必要な慣習的な（たとえばカンマ調整といった）１次元ＬＵＴ処理を提供する。
【００７６】
レンダリングチャネル１４では、個別の１次元ＬＵＴ１１２からのデータストリームは、デジタルマスタ３６及び４６（図１）のそれぞれのような（たとえばデジタルマスタのような）物理的な媒体に書込まれる。かかるデジタルマスタを作成するためのマスタリング装置は、ハードディスクドライブの書込み能力、ＣＤ／ＤＶＲＯＭのライタ、磁気テープレコーダ等である場合があり、結果的に得られるマスタは、もはやハードディスクドライブ等のセクションではない。
【００７７】
デジタルでマスタリングされた出力は、１）（たとえばリリースプリントマスタのための）フィルムレコーダ３８を使用してフィルムに画像データを書き込むために使用され、及び／又は２）デジタルプロジェクタ５４を使用した再生／投影のためのデジタルシネマディストリビューションマスタ４６を創作するために使用される。
【００７８】
色等級付けチャネル１２では、ＲＧＢデータは、デジタルディスプレイ３０に直接提供されるか、又は4:4:4のＲＧＢでない場合に、ディスプレイ装置により期待される色空間及びサンプリングレートに変換される。後者のケースでは、（３×４マトリクス変換を使用した）色空間変換ステージ１１４は、（たとえば、ITU709及びSMPTE292Mとして、4:4:4のＲＧＢプロジェクタのディスプレイプライマリから4:4:4のＹＣｂＣｒまでといった）３次元ＬＵＴ１０６及び１１０により生成される色空間から目的とする装置の出力色空間に変換する。
【００７９】
さらに、この点で、（たとえば、4:4:4のＹＣｂＣｒのサンプリングレートから4:2:2のＹＣｂＣｒのサンプリングレートまでといった）所定の目的とするディスプレイ装置により期待されるように、サンプリングステージ１１６におけるソースコンポーネントの画素情報をSMPTE292Mのような出力標準にダウンサンプリングすることが必要な場合がある。
【００８０】
システムの動作モード（ディスプレイのみ、或いは投影又はフィルム記録のいずれかのデジタルレンダリング）、及び原画像データ又は目標とする画像データのフォーマットに依存して、上述したような処理ステップのうちの幾つかを任意にすることができる。デジタルマスタリングシステムのキーとなる処理ステップは、高速ハードウェアとしてのリコンフィギュアラブルな３次元ＬＵＴ１０６，１０８及び１１０で実現される、トーンスケール及びカラーモデリング、創造的な効果及びディスプレイに特有の変換であり、それは、システムがリアルタイムで動作することが意図されるためである。
【００８１】
本発明により、カラーリストは、（ディスプレイ装置３０で）デジタルで投影されるデジタル原画像と（たとえば、投影されたリリースフィルムプリント４０又はデジタルマスタ４６といった）所望のエンドプロダクトとの間の外観（及びおそらくは色）の整合を提供するシステムを通して、デジタル化されたフィルムソースをより正確に色補正することができる。これは、デジタルプロジェクタで達成されることが好ましく、このことで、ビデオモニタのような制限された色再現範囲をもつ装置への信頼性が改善される。
【００８２】
この「色等級付け処理」においてなされる外部の色調整の視覚化は、最適なものとなる。さらに、システムの表示のみのシナリオにより、事前に視覚化する処理は、プロジェクタに特有の変換をＬＵＴ１１０に組込んで、所与のデジタルプロジェクタで所望のエンドプロダクトの「外見」をエミュレートすることを可能にするためにカスタマイズされる。
【００８３】
デジタルレンダリングチャネル１４で作成することができる「デジタルマスタ」は、カラーリスト又は他の関心のある利害関係者の意図及び期待をより正確に反映することができる。デジタルマスタ３６から最終的に生成される（たとえば、リリースフィルムプリント４０といった）動画プロダクトの色及びトーンスケールは、最適化される。同じデジタルマスタからの（たとえば、デジタルシネマディストリビューションマスタ４６又はリリースフィルムプリント４０といった）様々なエンドプロダクトは、全てのエンドプロダクトにわたり一貫した所望の「外見」を達成するために同じデジタルプロジェクタ３０を使用して、このシステムの３次元ルックアップテーブルのセットアップパラメータに対する簡単な変更を通して、最適に事前に視覚化することができる。
【図面の簡単な説明】
【図１】本発明によるデジタルマスタリングシステムのブロック図である。当該システムは、カラーリストが特定の「外見」を事前に視覚化するのを可能にするデジタル色等級付けチャネル１２、及びカラーリストがこの「外見」をマスタリングされたデータにレンダリングするのを可能にするデジタルレンダリングチャネル１４を含んでいる。
【図２】図１に示されるそれぞれのチャネルにおける特定の「外見」の生成に含まれる処理ステージのブロック図である。色等級付けにおいて、本発明の見ることのみのシナリオにより、カラーリストは、「外見」をデジタルソースデータに実際にレンダリングすることなしに、「外見」及び外部で加えられた色及びトーンスケールの調節を事前に視覚化することが可能である。また、デジタルレンダリングでは、本発明のシナリオにより、カラーリストは、プロジェクタに特有の変換なしで、創造的な「外見」をデータ（すなわち、デジタルマスタ）にレンダリングすることができる。
【符号の説明】
１０：デジタルマスタリングシステム
１２：色等級付けプレビューチャネル
１４：デジタルレンダリングチャネル
２０：動画フィルムスキャナ
２２：「外見」プロセッサ
２４：パラメータジェネレータ
３０：デジタルディスプレイ装置
３２：「外見」プロセッサ
３４：データ線
３６：中間マスタ
３８：フィルムレコーダ
４０：リリースプリントフィルムマスタ
４２：「外見」プロセッサ
４４：データ線
４６：デジタルマスタ
４８：デジタルコピー
５０：シネマロケーション
５２：プロセッサ
５４：デジタルプロジェクタ
１００：サンプリングステージ
１０４：１次元ＬＵＴ
１０６：３次元ＬＵＴ
１０８：３次元ＬＵＴ
１１０：３次元ＬＵＴ
１１２：１次元ＬＵＴ
１１４：色空間変換ステージ
１１６：サンプリングステージ

Claims (5)

1. 動画ソースから生じるデジタル画像信号を処理するデジタルマスタリングシステムであって、
   前記デジタル画像信号に適用される「外見」であって、デジタルカメラ、コンピュータによる生成又は動画プリントフィルムを含む標準の動画像ソースにより生成される外観、及びカラーバランスをオフセットすること又は廃盤となっているフィルムプロダクトのトーンスケール及び色を創作し直すことを含む、創造的な効果を得るために前記外観に適用される調節により生成される外観のうちの少なくとも１つの外観であって、色及びトーンスケール特性を有する少なくとも１つの外観を含む「外見」を事前に視覚化する色等級付けチャネルと、
   前記標準の動画像ソース又は前記創造的な効果を得るために標準的な外観に適用される調節のいずれかにより生成される前記少なくとも１つの外観を含む所定の「外見」について事前に視覚化された前記デジタル画像信号をデジタルマスタにレンダリングするデジタルレンダリングチャネルとを備え、
   前記色等級付けチャネルは、
   （ａ）１つ以上の標準の動画像ソース又は創造的な効果に対応する複数の「外見」についての、色及びトーンスケールを含むパラメータを記憶するパラメータジェネレータと、
   （ｂ）１つ以上の選択されたパラメータを使用して事前に視覚化された「外見」を前記デジタル画像信号に与え、事前に視覚化された「外見」を含む色等級付けされたデジタル画像信号を生成すると共に、特定の表示装置に特有の変換を前記デジタル画像信号に適用して、事前に視覚化された「外見」及び表示装置に特有の変換を含む色等級付けされたデジタル画像信号を生成するデジタル色等級付けプロセッサと、
   （ｃ）前記表示装置に特有の変換により変更されたときに前記色等級付けされたデジタル画像信号を再生可能な表示装置とを有し、
   前記デジタルレンダリングチャネルは、
   （ｄ）事前に視覚化された「外見」について前記パラメータジェネレータにより選択された１つ以上のパラメータを使用して、レンダリングされた「外見」を前記デジタル画像信号に与え、前記レンダリングされた「外見」を含むが前記表示装置に特有の変換がないレンダリングされたデジタル画像信号を生成するデジタルレンダリングプロセッサと、
   （ｅ）前記レンダリングされたデジタル画像信号から前記デジタルマスタを作成するデジタルマスタリング装置とを有する、
   ことを特徴とするデジタルマスタリングシステム。
2. 前記動画像ソースは走査された動画フィルムである、
   請求項１記載のデジタルマスタリングシステム。
3. 特定の表示装置に特有な前記変換は、前記色等級付けされた信号の色再現範囲の外にある色を前記表示装置の色空間の色再現範囲にマッピングし直すアルゴリズムを含む、
   請求項１記載のデジタルマスタリングシステム。
4. 前記デジタル色等級付けプロセッサは、標準の動画像ソースと、創造的な効果を得るために標準的な外観に適用される調節とにより生成される外観の両者に関連した「外見」を使用し、
   該使用により生成された前記色等級付けされた信号は、デジタルプロジェクタを駆動して、前記色等級付けされたデジタル画像信号が表示するために使用される、
   請求項１記載のデジタルマスタリングシステム。
5. 前記デジタルレンダリングプロセッサは、創造的な効果を得るために標準的な外観に適用される調節に関連した「外見」を使用し、
   該使用により生成された前記デジタルマスタは、フィルムレコーダを駆動して、動画フィルムに前記レンダリングされたデジタル画像信号を記録するために使用され、
   前記フィルムは、標準の動画プリントフィルムにより生成された外観を固有に与える、請求項１記載のデジタルマスタリングシステム。

Images