JP4989470B2 - 線形光量値および他の画像処理の改良を使用した画像処理 - Google Patents
線形光量値および他の画像処理の改良を使用した画像処理 Download PDFInfo
- Publication number
- JP4989470B2 JP4989470B2 JP2007523802A JP2007523802A JP4989470B2 JP 4989470 B2 JP4989470 B2 JP 4989470B2 JP 2007523802 A JP2007523802 A JP 2007523802A JP 2007523802 A JP2007523802 A JP 2007523802A JP 4989470 B2 JP4989470 B2 JP 4989470B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- information
- processing
- image
- linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 210
- 230000006872 improvement Effects 0.000 title abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 94
- 230000000750 progressive effect Effects 0.000 claims abstract description 15
- 238000012546 transfer Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000007667 floating Methods 0.000 abstract description 15
- 238000002156 mixing Methods 0.000 abstract description 13
- 238000003708 edge detection Methods 0.000 abstract description 5
- 239000006185 dispersion Substances 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 93
- 238000004422 calculation algorithm Methods 0.000 description 66
- 238000013139 quantization Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 206010064127 Solar lentigo Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/49—Partial evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
- Television Systems (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
今日使用されているビデオ処理技術は、長年にわたるこうした技術の発展を追跡することによって最適に理解される。発展の様々な段階において、その時々で業界に直面する問題に取り組むために、機能が追加されてきた。互換性および整合性を維持するために、解決のために機能が設計された問題がその後消え失せても、後の技術は、こうした機能の一部を維持している場合がある。その結果、現在の技術は、様々なときに業界に直面する一連の以前の問題、標準グループ間の折衷、変化する技術ベースの制約および機会などを反映する、こうした歴史に基づく機能の凝集と見なすことができる。
・色空間およびその関連についての検討
色は、3つの成分を使用して指定することができる。個別の色成分を使用した色コンテンツの伝達に依存する画像ストリームは、コンポーネント映像(component video)と呼ばれる。共通仕様の1つでは、赤、緑、および青(RGB)の成分を使用して色を定義する。より正式には、RGB成分は、所与のスペクトルに知覚的に同等の色を作り出す基準ランプの比例強度を示す。一般に、RGB色空間は、その原色およびその白色点に関連付けられている色度値によって指定することができる。白色点とは、基準白色に関連付けられている色度を指す。
ブラウン管(CRT)は、線形応答伝達関数を有していない。言い換えれば、CRTに適用された電圧と、CRTによって生成された、結果として得られた輝度との関係は、一次関数を定義しない。より詳細には、CRTの予想される理論的な応答は、5/2べき法則に比例する応答を有し、つまり、所与の入力電圧「V」について、結果として得られるCRTの輝度「L」は、L=V2.5として計算することができる。伝達関数は、本明細書では「ガンマ応答関数」とも呼ばれ、電圧信号の指数は、「ガンマ」と呼ばれる。
人の視覚は、光の色度成分より光の強度の変化に対してより反応する。符号化システムは、この事実を利用して、輝度情報(Y’)の量に比べて、符号化される色度(CbCr)情報の量を低減する。この技術は、色度サブサンプリングと呼ばれる。このサンプリング方式を表すために、総称してL:M:Nと表される数字表記を使用することができる。この場合、「L」は、輝度成分(Y’)のサンプリング基準係数を表し、「M」および「N」は、輝度サンプリング(Y’)に対する色度サンプリング(それぞれCbおよびCr)を指す。例えば、表記4:4:4は、輝度サンプルごとに色度サンプルが1つあるY’CbCrデータを指すことができる。表記4:2:2は、(水平方向に)2つの輝度サンプルごとに色度サンプルが1つあるY’CbCrデータを指すことができる。表記4:2:0は、2×2クラスタの輝度サンプルごとに色度サンプルが1つあるY’CbCrデータを指すことができる。例えば、表記4:1:1は、(水平方向に)4つの輝度サンプルごとに色度サンプルが1つあるY’CbCrデータを指すことができる。
量子化は、個別の数値が色成分(または白黒情報)の信号振幅に割り当てられる方法を指す。デジタル領域において、数値は、所定のステップ数で所定の範囲(範囲全体)の色空間値にわたる。例えば、各成分が0から255までの値と想定できるように、255のステップを使用して各成分値を記述するのが一般的である。8ビットを使用して各色値を表すのが一般的である。
もともと、テレビは、トップダウンプログレッシブスイープ式(top−down progressive sweep fashion)で白黒画像のみを表示していた。現在、従来のテレビ信号は、インターレース式でスキャンされている。インターレースでは、ビデオフレームの第1のフィールドが捕捉され、次いでそのすぐ後に、ビデオフレームの第2のフィールドが捕捉される(例えばその後1/50または1/60秒)。第2のフィールドが第1のフィールドの走査線間の隙間空間に情報を捕捉するように、第2のフィールドは、第1のフィールドに対してわずかな量だけ垂直方向にオフセットされる。ビデオ情報は、人間の閲覧者によって概ね情報の連続した単一フローとして感知されるように、第1および第2のフィールドを次々に表示することによって表される。
A.ビデオ処理パイプラインの一般の改良例
A.1.画像情報のRGB(線形)色空間での処理
A.2.パイプライン内での浮動小数点フルチャネル画像情報の使用
A.3.4:2:0画像情報の特別な対策
A.4.画像情報の擬似線形空間での処理
A.5.誤差分散アルゴリズムの改良
A.6.フィルタカーネルの動的計算
B.ビデオ処理パイプラインの実装関連の改良例
B.1.パイプライン処理コードの最適な生成
B.2.画像処理を実行するためのGPUの一般的な使用
B.3.ピクセルシェーダ関連の改良
C.コンピュータ環境例
A.ビデオ処理パイプラインの一般の改良例
A.1.画像情報のRGB(線形)色空間での処理
モジュールの最上行に関して、非ディザリングモジュール(undithering module)102は、第1の精度を有する受信したY’CbCr画像情報を、第2の精度を有する画像情報に変換するものであり、この場合、第2の精度は、第1の精度より高い。モジュール102は、非ディザリング型の処理を行うことによってこのタスクを行う。つまり、ディザリング操作(図示せず)を使用して、パイプライン100に供給される入力画像情報を第1の精度に量子化した可能性がある。モジュール102は、実質的に、これらの量子化操作の逆を適用して、第2のより高い精度をもたらす。
図1に戻ると、パイプライン100は、(c)任意選択で線形のセマンティクスでもよい(b)比較的高い精度を有する(a)フルチャネル画像情報(すなわち4:4:4)を使用するため、既知の方式より優れた結果も提供する。より詳細には、上述したように、パイプライン100は、それが受信する画像情報を、その元の形式より高い精度に変換する。また、パイプライン100は、輝度サンプルに比べて情報の色度サンプルの量を増やすことによって、画像情報をフルチャネル形式(4:4:4)に変換する。次いで、高精度のフルチャネル画像情報に対する様々な処理タスクが実行される。処理が行われた後、パイプライン100は、任意選択で、再度、処理済みの画像情報をより低い精度のサブサンプル済み形式に変換することができる。
再考するために、背景セクションで説明したように、4:4:4画像情報は、Y’の4つのサンプルごとにCbおよびCrの4つのサンプルを含む。4:2:2画像情報は、Y’の4つのサンプルごとにCbの2つのサンプル、およびCrの2つのサンプルを含む。4:2:0画像情報は、各走査線上のCbおよびCrのサンプル、ならびにCbおよびCrの走査線とを、Y’のものの半分だけ含む。言い換えれば、色度情報の解像度は、水平方向および垂直方向の輝度情報のものの半分である。例えば、フル画像解像度が720×480である場合、色度情報は、わずかに360×240で格納される。4:2:0では、各走査線に欠けているサンプルを補間する必要があるだけではなく、色度情報の全走査線を上下の走査線から補間する必要がある。図3は、MPEG2インターレース済みの4:2:0画像情報の例を示している。4:2:0画像情報の処理に関するこれ以上の情報は、Don Munsil and Stacey Spears, "The Chroma Up-sampling Error and the 4:2:0 Interlaced Chroma Problem," DVD Benchmark, April, 2001 (December, 2002, updated January, 2003)で見つけることができる。
上記のセクションは、アーティファクトをほとんど生成しない画像処理パイプラインを設計する目標に取り組んだ。しかし、画像処理パイプラインは、効率的な方法で出力結果を提供するべきである。画像処理パイプラインは、十分な速度、および許容できる数の処理リソースでそれを行うと、効果的な方法で結果を生成する。このために、このサブセクションは、パイプライン100の複雑さを低減するために、図1に示したパイプライン100に適用できる様々な近似を提案する。
1)逆線形近似g_approx(x)=x2=x*xを画像情報に適用する。モジュール402は、このステップを実行することができる。
2)データを擬似線形空間で処理する。モジュール404は、このステップを実行することができる。
3)線形近似g_approx’(x)を適用する。モジュール406は、この操作を実行することができる。
4)伝達関数g_in(x)を適用して、モジュール406の出力を線形化する。モジュール408は、この操作を実行することができる。
5)逆伝達関数g_out’(x)をモジュール408の出力に適用して、情報を所望のg_out空間で生成する。
F(x)=g_out’(g_in(g_approx’(x)))となる。
量子化によって必要な近似は、適切に処理されない場合、アーティファクトを生成する可能性があるため、高精度画像情報の低精度フォーマットへの量子化によって、誤差がもたらされる可能性がある。様々な誤差分散アルゴリズムは、量子化によってもたらされた誤差を分散させ、したがってアーティファクトを最低限に抑えるように働く。こうした誤差分散は、ディザリングの形である。
変倍フィルタは、画像情報がソースサイズから宛先サイズにサイズ変更されるとき、図1に示したパイプライン100における様々な接合部で使用することができる。例えば、モジュール114で行われる処理は、用途に応じて、および/またはユーザによって入力された制御信号に応じて、画像情報を拡大または縮小することを伴い得る。変倍は、サンプリングモジュール104および124など、パイプライン100における他の接合部でも行うこともできる。
ScaleRatio=720/480=1.5
タップ=ceiling(ScaleRatio*4)=6
カーネル=480/gcd(720,480)=480/240=2
したがって、モジュール1004は、それぞれ6タップの2つのカーネルを事前に計算し、事前に割り振る必要がある。サイズ変更操作は、ピクセルの行に沿って移動するにつれて、2つのカーネル間でピンポン方式で交互に行われる。
ScaleRatio=721/480=1.5021
タップ=ceiling(ScaleRatio*4)=7
タップが奇数であるため、1を追加し、8が得られる。
カーネル=480/gcd(721,480)=480/1=480
したがって、モジュール1004は、それぞれ8タップの480のカーネルを事前に計算し、事前に割り振る必要がある。サイズ変更操作は、480個の出力ピクセルの1つずつに一意のカーネルを使用する。しかし、同じ組の480個のカーネルを、ピクセルの垂直方向のすべての列に使用することができるので、さらにかなりの節約が実現される。また、実社会での実用の場合、宛先とソ―スのサイズの間の比率は、かなり簡単な比率になる傾向にあり、結果として得られた必要なカーネル数が管理しやすい数字になる。(例えば所定の閾値を超えるなど)特定の大きい数のフィルタカーネルを要求するサイズ変更要求をユーザが入力するのを防ぐ特別な制限を課すこともできる。
B.1.パイプライン処理コードの最適な生成
以下のセクションでは、セクションAに比べてより技術固有の性質の図1のビデオ処理パイプライン100のいくつかの実装形態を提供する。まず初めに、図12は、このセクションの改良を説明する基礎として働く画像処理パイプライン1200の高レベルの概要を示している。
図15は、図12に示された画像パイプライン(およびより抽象的には、図1に示されたビデオ処理操作100)の態様を実施するために使用できるシステム例1500の概要を示す。システム1500は、1つまたは複数のCPUを含むコンピュータ(パーソナルコンピュータなど)を表し得る。システム1500は、図1に示されているいくつかの画像処理タスク(またはすべての画像処理タスク)をグラフィックスモジュール機能に割り当てる。グラフィックス処理機能は、1つまたは複数のグラフィックス・プロセッシング・ユニット(当分野ではGPUと呼ばれる)を含み得る。一般に、図15は、システム1500のCPUによって実行できる機能を、システム1500のグラフィックスモジュール機能によって実行できる機能と区別するための破線を含む(が、この区別は、単に例にすぎず、他のCPU/GPUの割り当てが可能である)。
背景として、図16は、3D処理パイプラインで一般に使用されるピクセルシェーダ1600の既知のアーキテクチャを示している。一般的なピクセルシェーダアプリケーションの各ピクセルは、RGBA(赤、緑、青、アルファ)など、各値が別々のチャネルに対応する、4つの浮動小数点値のベクトルによって表すことができる。ピクセルシェーダ1600アーキテクチャは、一連の入力/出力レジスタ(1602、1604、1606、1608)、および入力データに対する演算を行う演算論理ユニット(ALU)1610を含む。より詳細には、レジスタは、カラーレジスタ1602を含む。これらのレジスタ1602は、反復された頂点カラーデータを頂点シェーダ(図示せず)からピクセルシェーダ1600に流す。定数レジスタ1604は、ユーザ定義の定数をピクセルシェーダ1600に提供する。出力/一時レジスタ1606は、中間計算のために、一時的な記憶域を提供する。また、レジスタr0は、このレジスタセット内に、ピクセルシェーダ1600の出力を受信する。テクスチャレジスタ1608は、テクスチャデータをピクセルシェーダALU1610に提供する。ピクセルシェーダALU1610は、プログラムに基づいて演算命令およびテクスチャアドレス指定命令(texture addressing instruction)を実行する。プログラムは、1組の許容可能なピクセルシェーダコマンドから選択された命令の集まりを含む。
Out[x]=sum(in[x−taps/2+i]*kernel[i],i=0・・・taps−1)
言い換えれば、あるピクセルの出力(Out[x])は、異なる入力項の加重総和を表す。カーネルは、入力項に適用される加重情報を表す。次に、異なる入力項は、入力画像情報からの同じ引用のシフト済みバージョンを表すことができる。
テクスチャ1:座標0・・・1の「重みテクスチャ」
テクスチャ2:in[−1]、(0・・・1)+(−1)*Δ(すなわち0−Δから1−Δまで)の座標の入力画像
テクスチャ3:in[0]、(0・・・1)+(0)*Δの座標の入力画像
テクスチャ4:in[1]、(0・・・1)+(1)*Δの座標の入力画像
テクスチャ5:in[2]、(0・・・1)+(2)*Δ(すなわち0+2*Δから1+2*Δまで)の座標の入力画像
tnがテクスチャユニット「n」からフェッチされるピクセルを表す場合、ピクセルシェーダALU1804によって実行される計算は、以下のプログラムによって表すことができる。
Out[x]=sum(in[x+i]*w[i],i=0..11)を次のように計算することができる。
1)第1の変倍操作を行うように、上述した方法(図18に示されている)でテクスチャ1〜5を設定する。
2)上述した変倍操作を使用して、輝度情報の2倍のサンプリングレートでCbCr情報を計算する。
3)Y’CbCrからR’G’B’色空間への変換マトリックスを、マトリックスMとして16の定数のアレイにロードする。
4)以下の方法でR’G’B’情報を計算する。
6)変倍された線形RGBデータを、(図18を参照して)上述したアルゴリズムを使用して、しかし6〜12のテクスチャで計算することによって、第2の変倍操作を行う。
7)水平方向の変倍が行われた後、垂直方向の変倍をRGB情報に適用する。
一実装形態例では、コンピューティング機器によって、上記の図に示した処理の様々な態様を実行することができる。この場合、図21は、上記の図に示された処理の態様を実施するために使用できるコンピュータ環境例2100に関する情報を提供する。例えば、コンピュータを使用して、図1に示した画像処理パイプライン100の一部またはすべてを実施することができる。
Claims (9)
- 画像情報を線形形式で処理する方法であって、
前記方法は、
インターレース非線形形式の画像情報を受信するステップと、
伝達関数を前記画像情報に適用することによって、前記画像情報を線形形式に変換するステップと、
前記画像情報をデインターレースすることによって、前記画像情報をプログレッシブ形式に変換するステップと、
前記画像情報に対する処理を前記プログレッシブ線形形式で行うステップと
を含み、
前記処理を行うステップは、前記プログレッシブ線形形式の前記画像情報に対して少なくともスケーリング操作を行うことを含み、
前記スケーリング操作は、
元の画像寸法および所望の最終の画像寸法に基づいてフィルタカーネルの数を事前に計算することであって、該フィルタカーネルは、前記画像情報におけるピクセルに適用される重みを定義する、ことと、
それぞれのカーネルが、前記元の画像寸法の前記所望の最終の画像寸法に対する比に基づいてどれくらいの数のタップを持つべきかを判定することであって、該タップは、カーネルが作用する画像情報サンプルを定義する、ことと、
前記事前に計算されたフィルタカーネルおよび前記判定されたタップを適用して前記画像情報を処理すること
を含むことを特徴とする方法。 - 前記元の画像寸法は、元の画像の幅または元の画像の高さであり、前記所望の最終の画像寸法は、所望の最終の画像幅または所望の最終の画像の高さであることを特徴とする請求項1に記載の方法。
- 前記カーネルの数は、以下の式、
カーネルの数=DestinationDimension/gcd(SourceDimension, DestinationDimension)
にしたがって計算され、ここで、DestinationDimensionは、前記所望の最終の画像幅/高さを表し、SourceDimensionは、前記元の画像の幅/高さを表し、関数gcdは、2つの整数の最も大きい共通分母を計算する、ことを特徴とする請求項2に記載の方法。 - タップ数は、以下の式、
タップ数=ceiling(ScaleRatio * 4)
にしたがって計算され、ここで、ScaleRatioは、前記元の画像の幅/高さの前記所望の最終の画像の幅/高さに対する比であり、かつ該比が1.0よりも小さい時は1.0に設定され、関数ceilingは、実数を次に高い整数に丸める、ことを特徴とする請求項3に記載の方法。 - 前記計算されたタップ数が奇数である時、該計算されたタップ数に1が追加されることを特徴とする請求項4に記載の方法。
- 前記フィルタカーネルを適用することは、前記画像情報の行または列を処理する時、前記事前に計算された一連のフィルタカーネルを周期的に繰り返すことを含むことを特徴とする請求項1乃至5のいずれか1つに記載の方法。
- 前記受信された画像情報は、輝度関連の色空間のものであることを特徴とする請求項1乃至6のいずれか1つに記載の方法。
- 前記画像情報を線形形式に変換するステップの前に、変換マトリックスを前記画像情報に適用することによって、前記画像情報を非線形R’G’B’色空間に変換するステップをさらに含むことを特徴とする請求項7に記載の方法。
- 前記画像情報を線形形式に変換するステップは、前記伝達関数を適用して、前記画像情報をR’G’B’色空間から線形RGB色空間に変換することを含むことを特徴とする請求項8に記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/902,325 US7643675B2 (en) | 2003-08-01 | 2004-07-29 | Strategies for processing image information using a color information data structure |
US10/902,325 | 2004-07-29 | ||
PCT/US2004/024707 WO2005013087A2 (en) | 2003-08-01 | 2004-07-30 | Strategies for processing image information using a color information data structure |
USPCT/US04/24707 | 2004-07-30 | ||
US10/987,378 US7158668B2 (en) | 2003-08-01 | 2004-11-12 | Image processing using linear light values and other image processing improvements |
US10/987,378 | 2004-11-12 | ||
PCT/US2005/026761 WO2006015107A2 (en) | 2004-07-29 | 2005-07-28 | Image processing using linear light values and other image processing improvements |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008508802A JP2008508802A (ja) | 2008-03-21 |
JP2008508802A5 JP2008508802A5 (ja) | 2008-09-11 |
JP4989470B2 true JP4989470B2 (ja) | 2012-08-01 |
Family
ID=37500256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007523802A Active JP4989470B2 (ja) | 2004-07-29 | 2005-07-28 | 線形光量値および他の画像処理の改良を使用した画像処理 |
Country Status (9)
Country | Link |
---|---|
EP (4) | EP1771812B1 (ja) |
JP (1) | JP4989470B2 (ja) |
KR (1) | KR101213824B1 (ja) |
CN (1) | CN1981294B (ja) |
AT (1) | ATE524923T1 (ja) |
AU (2) | AU2005269370B2 (ja) |
BR (1) | BRPI0511474B1 (ja) |
CA (1) | CA2569211C (ja) |
WO (1) | WO2006015107A2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5012493B2 (ja) * | 2007-02-20 | 2012-08-29 | セイコーエプソン株式会社 | 映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラム |
US8843913B2 (en) | 2007-06-05 | 2014-09-23 | Intel Corporation | Dynamic linking and loading of post-processing kernels |
KR101032835B1 (ko) * | 2010-07-21 | 2011-05-06 | 서울대학교산학협력단 | 백터 그래픽스 기술에 있어서 스캔라인 기반의 랜더링 방법 및 그에 따른 장치 |
CN102295061A (zh) * | 2011-05-19 | 2011-12-28 | 上海海事大学 | 基于图像处理的船舶水尺自动检测方法 |
US9258517B2 (en) * | 2012-12-31 | 2016-02-09 | Magnum Semiconductor, Inc. | Methods and apparatuses for adaptively filtering video signals |
US9241128B2 (en) | 2013-02-14 | 2016-01-19 | Warner Bros. Entertainment Inc. | Video conversion technology |
US9223551B1 (en) | 2014-07-22 | 2015-12-29 | Here Global B.V. | Rendergraph compilation method and use thereof for low-latency execution |
JP6381344B2 (ja) * | 2014-07-31 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9852536B2 (en) * | 2014-08-05 | 2017-12-26 | Qualcomm Incorporated | High order filtering in a graphics processing unit |
US9454841B2 (en) * | 2014-08-05 | 2016-09-27 | Qualcomm Incorporated | High order filtering in a graphics processing unit |
US10742986B2 (en) | 2015-11-09 | 2020-08-11 | Netflix, Inc. | High dynamic range color conversion correction |
US10080005B2 (en) | 2015-11-09 | 2018-09-18 | Netflix, Inc. | High dynamic range color conversion correction |
US10715772B2 (en) | 2015-11-09 | 2020-07-14 | Netflix, Inc. | High dynamic range color conversion correction |
CN109074775B (zh) * | 2016-01-29 | 2022-02-08 | 巴科股份有限公司 | 数字图像处理链和处理块以及包括它们的显示器 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4463372A (en) * | 1982-03-24 | 1984-07-31 | Ampex Corporation | Spatial transformation system including key signal generator |
JP3020544B2 (ja) * | 1990-04-06 | 2000-03-15 | 株式会社日立製作所 | 画像信号の走査変換装置 |
US5235432A (en) * | 1991-11-22 | 1993-08-10 | Creedon Brendan G | Video-to-facsimile signal converter |
JPH0659908A (ja) * | 1992-08-11 | 1994-03-04 | Toshiba Corp | プログラム実行装置 |
US5526051A (en) * | 1993-10-27 | 1996-06-11 | Texas Instruments Incorporated | Digital television system |
JP3381755B2 (ja) * | 1994-10-11 | 2003-03-04 | セイコーエプソン株式会社 | 画像の粒状性を減らすための改良された適応性のあるフィルタリングおよび閾値設定の方法及び装置 |
US5715073A (en) * | 1995-02-03 | 1998-02-03 | Eastman Kodak Company | Processing by separate stages monochrome digital images to provide halftone color images |
US6370198B1 (en) * | 1997-04-07 | 2002-04-09 | Kinya Washino | Wide-band multi-format audio/video production system with frame-rate conversion |
US6028677A (en) * | 1997-09-16 | 2000-02-22 | Hewlett-Packard Co. | Method and apparatus for converting a gray level pixel image to a binary level pixel image |
US6034733A (en) * | 1998-07-29 | 2000-03-07 | S3 Incorporated | Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data |
US20020145610A1 (en) * | 1999-07-16 | 2002-10-10 | Steve Barilovits | Video processing engine overlay filter scaler |
GB9918643D0 (en) * | 1999-08-06 | 1999-10-13 | Canon Kk | Geometry pipeline for computer graphics |
US6671068B1 (en) * | 1999-09-30 | 2003-12-30 | Sharp Laboratories Of America, Inc. | Adaptive error diffusion with improved edge and sharpness perception |
AUPQ377899A0 (en) * | 1999-10-29 | 1999-11-25 | Canon Kabushiki Kaisha | Phase three kernel selection |
JP2001204045A (ja) * | 2000-01-24 | 2001-07-27 | Mitsubishi Electric Corp | 動き検出装置 |
US6940557B2 (en) * | 2001-02-08 | 2005-09-06 | Micronas Semiconductors, Inc. | Adaptive interlace-to-progressive scan conversion algorithm |
EP1402508A2 (en) * | 2001-05-23 | 2004-03-31 | Koninklijke Philips Electronics N.V. | Dithering method and dithering device |
US6788312B1 (en) * | 2001-08-06 | 2004-09-07 | Nvidia Corporation | Method for improving quality in graphics pipelines through a frame's top and bottom field processing with conditional thresholding and weighting techniques |
US7039909B2 (en) * | 2001-09-29 | 2006-05-02 | Intel Corporation | Method and apparatus for performing compiler transformation of software code using fastforward regions and value specialization |
JP2003153079A (ja) * | 2001-11-08 | 2003-05-23 | Sony Corp | 画像処理装置と画像処理方法 |
JP2004023328A (ja) * | 2002-06-14 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、プログラム、および媒体 |
-
2005
- 2005-07-28 BR BRPI0511474-8A patent/BRPI0511474B1/pt active IP Right Grant
- 2005-07-28 EP EP05779368A patent/EP1771812B1/en active Active
- 2005-07-28 CA CA2569211A patent/CA2569211C/en active Active
- 2005-07-28 WO PCT/US2005/026761 patent/WO2006015107A2/en active Application Filing
- 2005-07-28 CN CN2005800225413A patent/CN1981294B/zh active Active
- 2005-07-28 AT AT05779368T patent/ATE524923T1/de not_active IP Right Cessation
- 2005-07-28 EP EP11167429.7A patent/EP2365472A3/en not_active Withdrawn
- 2005-07-28 AU AU2005269370A patent/AU2005269370B2/en active Active
- 2005-07-28 EP EP11167427.1A patent/EP2364028B1/en active Active
- 2005-07-28 EP EP11167428A patent/EP2364029A3/en not_active Ceased
- 2005-07-28 JP JP2007523802A patent/JP4989470B2/ja active Active
-
2006
- 2006-12-11 KR KR1020067026069A patent/KR101213824B1/ko active IP Right Grant
-
2010
- 2010-10-29 AU AU2010238551A patent/AU2010238551B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
BRPI0511474B1 (pt) | 2017-11-21 |
EP2364028B1 (en) | 2014-11-26 |
EP2364029A3 (en) | 2011-12-21 |
EP2364028A3 (en) | 2012-03-28 |
AU2005269370B2 (en) | 2010-07-29 |
AU2010238551A1 (en) | 2010-11-18 |
EP1771812A4 (en) | 2007-11-21 |
EP2365472A3 (en) | 2013-09-25 |
AU2010238551B2 (en) | 2011-08-18 |
JP2008508802A (ja) | 2008-03-21 |
CN1981294A (zh) | 2007-06-13 |
KR101213824B1 (ko) | 2012-12-24 |
WO2006015107A3 (en) | 2006-04-27 |
EP2365472A2 (en) | 2011-09-14 |
CN1981294B (zh) | 2010-12-22 |
EP2364029A2 (en) | 2011-09-07 |
BRPI0511474A (pt) | 2007-12-26 |
EP1771812B1 (en) | 2011-09-14 |
WO2006015107A2 (en) | 2006-02-09 |
KR20070049113A (ko) | 2007-05-10 |
CA2569211C (en) | 2014-04-22 |
EP2364028A2 (en) | 2011-09-07 |
ATE524923T1 (de) | 2011-09-15 |
CA2569211A1 (en) | 2006-02-09 |
AU2005269370A1 (en) | 2006-02-09 |
EP1771812A2 (en) | 2007-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4989470B2 (ja) | 線形光量値および他の画像処理の改良を使用した画像処理 | |
US7317827B2 (en) | Strategies for optimally generating pipeline processing code | |
US7929754B2 (en) | Strategies for processing image information using a color information data structure | |
US8570441B2 (en) | One pass video processing and composition for high-definition video | |
RU2402811C2 (ru) | Обработка изображений с помощью линейных параметров светоустановки и других усовершенствований обработки изображений | |
US7483037B2 (en) | Resampling chroma video using a programmable graphics processing unit to provide improved color rendering | |
JP5106483B2 (ja) | ピクセルデータを垂直にスケーリングするための方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120420 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4989470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |