JP5806269B2 - 画像の縮尺を変更して縮尺変更画像を生成する方法および装置 - Google Patents
画像の縮尺を変更して縮尺変更画像を生成する方法および装置 Download PDFInfo
- Publication number
- JP5806269B2 JP5806269B2 JP2013194921A JP2013194921A JP5806269B2 JP 5806269 B2 JP5806269 B2 JP 5806269B2 JP 2013194921 A JP2013194921 A JP 2013194921A JP 2013194921 A JP2013194921 A JP 2013194921A JP 5806269 B2 JP5806269 B2 JP 5806269B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scaled
- pixel
- pixel array
- given
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 96
- 238000012545 processing Methods 0.000 claims description 70
- 238000012937 correction Methods 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 15
- 239000006185 dispersion Substances 0.000 claims 2
- 230000007423 decrease Effects 0.000 claims 1
- 230000008859 change Effects 0.000 description 36
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- JLGLQAWTXXGVEM-UHFFFAOYSA-N triethylene glycol monomethyl ether Chemical compound COCCOCCOCCO JLGLQAWTXXGVEM-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
様々な画像フォーマットは、例えば、1920×1080、720×480、1280×1024など、様々なピクセル解像度を有することができる。
これらの画像では、決まった出力フォーマットをもつ傾向があるデジタル表示装置に画像を表示するために、ほとんどの場合、1つのフォーマットから別のフォーマットに変換する必要がある。
決まったフォーマットを有するデジタル表示装置の例には、デジタル投影型テレビを含むデジタルプロジェクタ、およびデジタル表示モニタ(例えば、液晶ディスプレイ、プラズマディスプレイなど)がある。
デジタル表示装置に届いたデジタル画像は、任意のフォーマットで届けることができ、ディスプレイの出力フォーマットに合わせて画像の縮尺を変更しなければならない。
高い解像度のフォーマットから低い解像度のフォーマットへの縮尺変更はダウンスケーリングとして知られ、低い解像度のフォーマットから高い解像度のフォーマットへの縮尺変更はアップスケーリングとして知られている。
直角でない角度で画像が投射されるか、または不規則な面に投射される場合に、画像の一部に縮尺の変更を適用して、例えば、画像をキーストーン補正することにより、画像の見え方を改良することができる。
これらのタイプの補正は、幾何補正として知られている。
アルゴリズムによっては、曲線を作成するのに近接する入力ピクセルのみを含め、一方、別のアルゴリズムでは、よりすぐれた曲線を作成するために、さらに離れた入力ピクセルを含める。
曲線を作成すると、(出力画像を構成する)出力ピクセルが曲線に対応付けられ、任意の所与の出力ピクセルの値は、曲線上のその位置から求まる。
しかし、この技術は、出力画像に多くの画像の乱れをもたらす。
例えば、入力ピクセルが2つの出力ピクセルの中間にある場合、その入力ピクセルから出力ピクセルへの全エネルギ移動は、入力ピクセルが出力ピクセルの近くに対応した場合とは異なる。
これにより、画像のある領域では、エッジが不必要により明るくなり、別の領域では、エッジが不必要により暗くなる。
さらに、より離れた入力ピクセルを含んでいると、より良好な曲線を作成することができるが、その場合に、所与の出力ピクセルから離れた入力ピクセルは、所与の出力ピクセルに重大な影響を及ぼし、リンギングやオーバーシュートなどの画像の乱れを生む。
多くのエイリアシングアーティファクトは、入力ピクセルレートと出力ピクセルレートの間の差に相応した周波数効果によるものである。
これらの効果は静止画上に見ることができるが、観察者は、彼らが見たものが縮尺変更によるアーティファクトか、または元の画像の単なる一部かを見分けることができないため、この効果が常に気付かれるわけではない。
しかし、エイリアシングアーティファクトは、ビデオ画像において、特に、入力画像内の要素がスクリーンをゆっくり横断する場合に目立つようになる、すなわち、アーティファクトが出力画像の所望する要素とは異なる速度および異なる方向で移動することがあり、利用者の目がアーティファクトに引き付けられる。
例えば、アーティファクトは、画像内のリップルまたは点滅として出現し得る。
これらのアーティファクトの輝度を弱めるのに使用する技術には、同時画像処理用途に実装される際に、かなりの電気資源を必要とする複素フィルタが含まれる。
その方法の第1のステップは、縮尺変更ピクセルアレイと画像ピクセルアレイの間の対応マップを作成するステップを含む。
方法の第2のステップは、画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを求めるステップを含む。
方法の第3のステップは、画像ピクセルアレイ内の各ピクセルに対して、縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求めるステップを含む。
方法の最後のステップは、前記エネルギパラメータが保存されるように、前記一部分に基づいて、所与の画像ピクセルのエネルギパラメータを前記所与の画像ピクセルに重なる縮尺変更ピクセルの間に分散させるステップを含む。
特定の態様では、画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを求めるステップには、前記各所与の画像ピクセルの輝度分布を求め、輝度分布を積算するステップが含まれる。
表示装置の第1の要素は、画像源から画像を受け入れるインターフェイスからなる。
表示装置の第2の要素は、画像が画像ピクセルアレイを含み、縮尺変更画像が縮尺変更ピクセルアレイを含む場合に、縮尺変更ピクセルアレイと画像ピクセルアレイの間の対応マップを作成し、画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを求め、画像ピクセルアレイ内の各画像ピクセルに対して、縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求め、その一部分に基づいて、所与の画像ピクセルのエネルギパラメータを、所与の画像ピクセルに重なる縮尺変更ピクセルの間に分散させて、エネルギパラメータが保存させるステップにより、画像の縮尺を変更して縮尺変更画像を生成するために、インターフェイスと接続された画像処理装置からなる。
表示装置の第3の要素は、画像処理装置と接続されて縮尺変更画像を表示する画像表示ユニットからなる。
実施形態によっては、画像は第1の解像度とされ、一方、縮尺変更画像は第2の解像度とされる。
他の実施形態では、縮尺変更画像は、幾何補正した画像であり得る。
画像の縮尺を変更して、縮尺変更画像を生成する画像処理装置120は、インターフェイス115を介して画像源110に接続されている。
実施形態によっては、縮尺変更画像は、縮尺変更画像を画像表示ユニット130に解放する前に、出力バッファ125に保存される。
他の実施形態では、画像処理装置120はさらに、ユーザからのデータを受け入れるために、ユーザインターフェイス117に接続されている。
これらの実施形態では、画像処理装置120は、ユーザインターフェイス117から受け取ったデータを処理することができる。
この実施形態では、インターフェイス115、画像処理装置120、および画像表示装置130(存在する場合は、さらに出力バッファ125およびユーザインターフェイス117)は、装置140の要素であるが、他の実施形態では、インターフェイス115、画像処理装置120、および画像表示ユニット130(存在する場合は、さらに出力バッファ125およびユーザインターフェイス117)は、他の装置(図示せず)の間に分散され得る。
1つの非限定的な例では、画像処理装置120、インターフェイス115、出力バッファ125およびユーザインターフェイス117は、画像処理および/または計算処理用の計算装置の要素とすることができ、画像表示装置130は独立型装置とすることができる。
装置140を含む実施形態では、装置140はさらに、画像源110を有することができる。
実施形態によっては、画像源110は、例えば、パーソナルコンピュータ、サーバ、または画像サーバなどの計算装置を有することができ、他の実施形態では、画像源110は、限定するものではないが、デジタルカメラ、アナログビデオカメラ、デジタルビデオカメラ、または上記のものの組み合わせを含む、画像を生成するカメラを有することができる。
さらなる実施形態では、ファイルやランダムもしくは順次アクセスメモリに画像を保存することができる。
これらの実施形態の中には、磁気ディスク、光ディスク(例えば、DVDまたはCD)、USBフラッシュメモリなどの持ち運び可能な媒体にファイルを保存できるものもある。
これらの実施形態では、画像源110は、ポータブルメディアプレーヤ(図示せず)を有することができる。
ポータブルメディアプレーヤの非限定的な例には、CDプレーヤ、DVDプレーヤ、USBフラッシュメモリに保存した画像ファイルを再生するソフトウェアと組み合わせたUSBポートなどがある。
画像源110は、画像源110を画像処理装置120に接続するインターフェイス106を有する。
インターフェイス106は、配線したインターフェイスかまたはワイヤレスインターフェイスからなることができる(以下に説明する)。
画像はメモリ、例えば、メモリ105に保存することができ、配列したピクセルとしてメモリから直接アクセスすることができるし、または一連のピクセルとして受け取り、処理することもできる。
画像はまた、アナログ画像か、またはデジタルファイルからなるファイルに画像が保存されるデジタル形態からなることができる。
デジタルファイルは、限定するものではないが、TIFFファイル、JPEGファイル、またはGIFファイルなどを含む任意のフォーマットの静止画デジタルファイルからなることができる。
他の実施形態では、デジタルファイルは、限定するものではないが、MPEG−1、MPEG−2、MPEG−3、およびMPEG−4を含むMPEGフォーマットと、限定するものではないが、H.261、H.263、H.264、オッグセオラ、D1、D2、D3、D5、D9、DV、MiniDV、DVCAM、DVCPROを含む他のフォーマットとを、限定することなく含むビデオ画像デジタルファイルからなることができる。
さらに他の実施形態では、画像は、例えば、装置140に送られるビデオストリームなどの、装置140に送られる適切なフォーマットのデータストリームからなることができる。
これらの実施形態では、画像は、例えば、それぞれアナログビデオストリームまたはデジタルビデオストリームなどのアナログ画像またはデジタル画像からなることができる。
画像がアナログ画像からなる実施形態では、画像の縮尺を変更して縮尺変更画像を生成する前に、最初に、アナログ画像がピクセルアレイにデジタル化される(すなわち変換される)。
各ピクセルにはピクセルデータが付随し、ピクセルデータは、画像表示ユニット130によって受け取られたときに、画像表示ユニット130が画像表示ユニット130の所定の位置に各ピクセルを表示するのを可能にする、従って、画像を表示するのを可能にする。
従って、各ピクセルをどこに表示すべきかを画像表示ユニットが分かるように、ピクセル位置が各ピクセルに関連付けられる。
実施形態によっては、ピクセルデータには、ピクセル位置が含まれ、一方、他の実施形態では、ピクセル位置は画像のフォーマットによって規定される。
例えば、画像がデジタルファイルとして保存される実施形態では、デジタルファイル内にピクセルデータが保存される順番からピクセル位置を知ることができる。
同様に、画像がデータストリームからなる実施形態では、ビデオストリーム内にピクセルデータが受け取られる順番からピクセル位置を知ることができる。
最上行の最後のピクセル(すなわち、右上のピクセル)に対応するピクセルデータが保存されると、実施形態によっては、保存する次のピクセルデータは、最上行にある最後のピクセルの直下のピクセル(すなわち、2番目の行の最も右にあるピクセル)に対応する。
残りのピクセルデータが同様の態様で保存され、ピクセルデータは、画像の底部に達するまで、画像全体にわたって左から右に、次いで右から左に行を交替させながら進んで1行ずつ保存される。
他の実施形態では、残りのピクセルデータは、各行に対して左から右に進んで1行ずつピクセルデータを保存する形で保存される。
実施形態によっては、ピクセルデータは、ピクセルの絶対輝度を画像表示ユニット130に指示するデータを含み、一方、他の実施形態では、ピクセルの相対輝度を画像表示ユニット130に指示するデータを含む。
実施形態によっては、ピクセルデータはさらに、ピクセルの色を画像表示ユニット130に指示するデータを含む。
実施形態によっては、ピクセルデータは色テーブルへのインデックスを有し、色テーブルは、画像処理装置120かまたは画像表示ユニット130のいずれかに保存される。
他の実施形態では、ピクセルデータは、各色に対する絶対輝度値を含むことができる。
各色に対する輝度は、任意のビット深度または解像度を有することができる。
輝度および色データは、RGB(赤、緑、青)フォーマットとするか、または他の任意の方法(YPbPrなど)で組み合わせた色を用いることができる。
実施形態によっては、データはピクセル間で(または4:2:2フォーマットと同様に)共有され、ピクセル対が同じ色を共有する。
1つの非限定的な例では、ピクセルデータは、ガンマ空間で10ビットのRGBフォーマットのデータを有し、線形空間で16ビットのデータを有していて、線形空間において、3つのすべての色(RGB)に対するピクセルデータは、48ビット/ピクセルで構成される。
別の非限定的な例では、ピクセルデータは8ビットの数字を有し、この8ビットの数字は、ピクセルが表示されるときのピクセルの輝度を表す。
インターフェイス115が配線したインターフェイスからなる実施形態では、インターフェイス115には、限定するものではないが、デジタルビジュアルインターフェイス(DVI)、高品位マルチメディアインターフェイス(HDMI(登録商標))、アナログRGBインターフェイス、YPbPrインターフェイス、コンポジットインターフェイス、セパレート−ビデオ(S−Video)インターフェイス、シリアルインターフェイス(例えば、RS−232または他のシリアルインターフェイス)、パラレルインターフェイス(例えば、パラレルSCSIまたは他のパラレルインターフェイス)、イーサネット(登録商標)インターフェイス、または上記のものの組み合わせがあり得る。
インターフェイス115がワイヤレスインターフェイスからなる実施形態では、インターフェイス115には、限定するものではないが、WiFiインターフェイス、WiMaxインターフェイス、無線電話インターフェイス(例えば、CDMA、IX、EVDO、GSM(登録商標)、UTMSなど)、または上記のものの組み合わせがあり得る。
画像処理装置120の他の機能には、オンスクリーンディスプレイ(OSD)と、色空間変換器と、エッジブレンドと、ノイズフィルタ、シャープネスフィルタおよびナイキストフィルタを含む画像フィルタなどがあり得る。
画像がアナログ画像からなる実施形態では、画像処理装置120はさらに、画像の縮尺を変更する前に、アナログ画像をデジタル画像に変換することができる。
実施例によっては、画像処理装置120は、(適用可能ならば)装置140の他の構成要素および/または画像表示ユニット130および/またはシステムの他の構成要素を制御するために、中央処理ユニット(図示せず)と通信することができる。
他の実施形態では、画像処理装置120は、中央処理ユニットの構成要素であり得る。
いずれの場合にも、出力バッファ125は、画像表示ユニット130に対して縮尺変更画像を解放(出力)する前に、縮尺変更画像または縮尺変更画像の一部を保存することができる。
これらの実施形態では、画像処理装置120は、画像の縮尺を部分的に変更して、縮尺変更画像の一部を順次生成することができる。
非限定的な例では、実施形態によっては、画像処理装置120は1行ずつ画像の縮尺を変更することができ、従って、1行ずつ縮尺変更画像を生成する。
縮尺変更画像の各行が生成されると、出力バッファ125に対して縮尺変更画像を解放することができる。
画像がビデオ画像からなる実施形態では、画像処理装置120は、画像の縮尺をフレームごとに変更することができ、従って、縮尺変更画像をフレームごとに生成する。
縮尺変更画像の各フレームが縮尺を変更されると、出力バッファ125に対して各フレームを解放することができる。
これらの実施形態では、出力バッファ125はさらに、画像表示ユニット130に対して縮尺変更画像を解放する前に、縮尺変更画像をまとめることができる。
画像表示ユニット130は、限定するものではないが、デジタルプロジェクタ装置と、例えば、液晶ディスプレイやプラズマディスプレイなどのデジタルディスプレイを含むデジタル表示装置を有することができる。
これらの実施形態では、画像表示ユニット130は通常、特定の解像度の画像だけを表示するように構成されており、従って、画像表示ユニット130で表示するために、画像の縮尺を変更して縮尺変更画像にする必要がある。
デジタル表示装置がデジタルプロジェクタ装置からなる実施形態では、デジタルプロジェクタ装置は、投影型テレビスクリーンを含めた面に画像を投射するプロジェクタ装置からなることができる。
実施形態によっては、画像は、画像表示ユニット130で表示可能な解像度とすることができる。
これらの実施形態では、例えば、画像表示ユニット130がデジタルプロジェクタ装置を有する実施形態では、縮尺変更画像を不規則な面に投射する場合に必要とされる幾何補正を考慮して、画像処理装置120を用いて画像の一部の縮尺を変更することができる(以下に説明する)。
これらの実施形態では、画像表示ユニット130はさらに、表示できるように、通常はデジタルの縮尺変更画像をアナログ画像に変換することができる。
一方、他の実施形態では、画像処理装置120は、画像表示ユニット130に対して縮尺変更画像を解放する前に、通常はデジタルの縮尺変更画像をアナログ画像に変換することができる。
実施形態によっては、装置140は、N2G4Y7オンタリオ州北キッチナー809ウェリントン通りに所在のクリスティ・デジタル・システムズ・カナダ社(Christie Digital Systems Canada Inc.)から販売されているデジタルプロジェクタで構成することができる。
図2の方法は、画像処理装置120によって実施することができる。
図2の方法はまた、図1に示したシステムの別の要素によって分散した態様で実施することもできる。
この方法では、画像内の各ピクセル(すなわち画像ピクセル)は、点ではなくて特定の量の光エネルギを放射する限定した領域として処理される。
通常、この概念は、画像ピクセルの全エネルギを、縮尺変更画像内の最も近接したピクセル(すなわち、縮尺変更ピクセル)の少なくとも1つに対応付けることである。
各画像ピクセルが少なくとも1つの縮尺変更ピクセルに対応付けられると、画像ピクセルのエネルギは細分化され、各部分は異なる縮尺変更ピクセルに割り当てられて、他の画像ピクセルが寄与するエネルギに加えられる。
画像ピクセルのエネルギをどのように割り当てるかは、画像ピクセルと縮尺変更ピクセルの間の相対重なり領域に基づく。
幾つかの実施形態では、相対重なり領域は、縮尺変更ピクセルの境界に対応する画像ピクセルの境界から求まる。
実施形態によっては、画像かまたは縮尺変更画像のいずれかのピクセルの間に何ら空きがないと仮定する。
ステップ215で、各縮尺変更ピクセルと各画像ピクセルの間の対応マップを作成する。
非限定的な実施形態では、対応マップの作成には、画像および縮尺変更画像それぞれの各行または各列内の第1のピクセルの開始境界を求め、画像および縮尺変更画像それぞれの各行または各列内の第1のピクセルの終端境界を求め、開始境界と終端境界が合致すると仮定することが含まれる。
次いで、各縮尺変更ピクセルの境界に対して相対的に各画像ピクセルの境界を求め、各画像ピクセルの境界に対して相対的に各縮尺変更ピクセルの境界を求める。
図3の非限定的な例内で、境界の相対位置が点線として示されている。
実施形態によっては、ステップ215はステップ220の後でもよい。
実施形態によっては、エネルギパラメータは、画像ピクセルの絶対エネルギからなることができ、一方、他の実施形態では、エネルギパラメータは、画像ピクセルの相対エネルギからなることができる。
当業者には公知のように、ピクセルの輝度値は、ピクセルのエネルギにほぼ比例するので、多くの実施形態では、画像ピクセルの相対エネルギを求めれば、図2の方法のさらなるステップで説明する処理をするのに十分である。
さらに、画像ピクセルの絶対輝度(したがってエネルギ)は、画像表示ユニット130によって決めることができる。
さらに、ピクセルのエネルギは輝度に比例する。
各画像ピクセルのエネルギパラメータは、単一のステップで求めることができ、一方、他の実施形態では、各画像ピクセルのエネルギパラメータについては、他の処理ステップと同時に行うことができる。
最も単純な場合では、ピクセルのエネルギは、画像ピクセルの領域にわたって一様に分布していると仮定することができる。
あるいは、ピクセルの領域全体にわたる輝度分布は、様々な形を呈すると仮定でき、画像をより滑らかにするために、隣接するピクセルと重なることができる。
ピクセルの状態は、双直線やガウス曲線のような任意なものとすることもできるし、あるいはエッジもしくはオブジェクト検出法、またはフィルタの場合のように、他の近接したピクセルの輝度に応じたものとすることもできる。
説明したように、ピクセルデータには、画像表示ユニット130に各ピクセルの輝度を指示するデータが含まれる。
実施形態によっては、ピクセルデータはさらに、ピクセルの領域全体にわたってピクセルの輝度分布を記述する情報を含むことができる。
一方、他の実施形態では、一定のピクセル輝度分布を使用することができる。
さらに他の実施形態では、一定でないピクセル輝度分布を使用して、ピクセレーションアーティファクトを補正することができる(以下に説明する)。
一定のピクセル輝度分布を使用する実施形態では、各画像ピクセルに対して輝度対領域曲線の下の面積を積算することは、
各画像ピクセルの領域を求め、各画像ピクセルの輝度を求め、領域に画像ピクセルの輝度を掛けることを含むことができる。
一定でない輝度分布を使用する場合、輝度曲線の下の面積(または輝度面の下の体積)は、縮尺変更ピクセルが画像ピクセルと重なる領域にわたって積分されなければならない。
実施形態によっては、画像ピクセルの領域は絶対領域とすることができ、一方、他の実施形態では、画像ピクセルの領域は、相対領域とすることができる(以下を参照のこと)。
画像および縮尺変更画像は、各ピクセルに対する輝度対領域としてプロットされている。
この例の範囲内で、1×5配列にあるエネルギは分割され、1×4配列の縮尺変更ピクセルに割り当てられなければならない。
従って、比較していえば、1×4配列の各ピクセルは、1×5配列の各ピクセルよりも5/4(125%)広い領域を有すると考えられる。
実施形態によっては、示すように、ピクセル間に存在できる空きは無視される。
例えば、図3では、各画像ピクセルに1領域単位の相対領域を割り当てることができる。
従って、縮尺変更ピクセルの相対領域は、1.25領域単位(すなわち、1の5/4倍)となる。
従って、実施形態によっては、画像ピクセルと縮尺変更ピクセルのそれぞれの境界が、確実に領域単位の境界となるようにする領域単位を選択すると、計算のために便利である。
言い換えると、領域単位は、画像ピクセルと縮尺変更ピクセルがそれぞれ、整数の領域単位となるように選択される。
従って、これらの実施形態では、図3に示した例において、各画像ピクセルの相対領域は4サブピクセルであり、各縮尺変更ピクセルの相対領域は5サブピクセルである。
なお、その場合に、各配列は同じ個数のサブピクセルを有する。
一方、他の実施形態では、画像処理装置120は、画像処理装置120に届いた各画像ピクセルに一定の個数のサブピクセルNを割り当てることができる。
次いで、各縮尺変更ピクセルが、1ピクセルの1/Nであるサブピクセルを整数倍したものとして表して、縮尺変更ピクセルの境界を画像ピクセルのサブピクセル境界上に常に存在させる。
一般的に、Nが大きいほどこの条件をより良好に満たすことになり、画像の各行(または列)および縮尺変更画像の対応する行(または列)はそれぞれ、等しい個数のサブピクセルを含む。
1つの非限定的な実施形態では、各画像ピクセルは、N=256サブピクセルからなる相対領域を割り当てられる。
これらの実施形態では、各縮尺変更ピクセルに割り当てられるサブピクセルの個数は、これらの変動を補正し、各行(または列)が、画像内の対応する行(または列)と等しい個数のサブピクセルを確実に有するようにするために変えることができる。
例えば、縮尺変更ピクセルの幾つかに第1の個数のサブピクセルを割り当て、一方、他の縮尺変更ピクセルに第2の個数のサブピクセルを割り当てることができる。
従って、327,680個のサブピクセルが720個の縮尺変更ピクセル内に分配されるか、縮尺変更ピクセル当たり455.11個のサブピクセルに分配される。
455.11は整数ではないので、縮尺変更ピクセルの中には455個のサブピクセルからなる相対領域を割り当てられるものもあれば、一方で、456個のサブピクセルからなる相対領域を割り当てられるものもある。
簡単な代数を用いて示すと、720個の縮尺変更ピクセルのうち640個が455個のサブピクセルからなる相対領域を割り当てられ、720個の縮尺変更ピクセルのうち80個が456個のサブピクセルからなる相対領域を割り当てられるならば、縮尺変更画像内のサブピクセルの合計数は、要求通り、327,680個になる。
ピクセルデータには、画像表示ユニット130にピクセルの輝度を指示するデータが含まれるので、各画像ピクセルに対応するピクセルデータを処理することによって輝度を求めることができる。
従って、各画像ピクセルの輝度に各画像ピクセルの相対領域を掛けて、各画像ピクセルのエネルギパラメータを算出する。
従って、画像ピクセル#1のエネルギパラメータは、4エネルギ単位である(かっこ内に示している)。
同様に、画像ピクセル#2は4領域単位の領域を有し、画像ピクセル#2の輝度は4輝度単位である。
従って、画像ピクセル#2のエネルギパラメータは、16エネルギ単位である(かっこ内に示している)。
同様に、残りのピクセルを計算すると、画像ピクセル#3は8エネルギ単位と求まり、画像ピクセル#4は12エネルギ単位と求まり、画像ピクセル#5は20エネルギ単位と求まり、全体で60エネルギ単位となる。
1つの非限定的な実施形態では、画像ピクセルと縮尺変更ピクセルの両方の開始境界と終端境界を処理することにより相対重なり領域を求め、どのピクセルが重なるかを求める。
その場合、相対重なり領域を求めるために、境界の相対位置を処理する。
図3に戻ると、画像ピクセル#1の全体が縮尺変更ピクセル#1の境界内に入っているのが分かり、従って、画像ピクセル#1と縮尺変更ピクセル#1の間の相対重なり領域は、(図3に4/4として示した)4領域単位のうちの4つ、すなわち「1」である。
さらに、画像ピクセル#2の4領域単位のうちの1つは、縮尺変更ピクセル#1と重なっているのが分かり、従って、画像ピクセル#1と縮尺変更ピクセル#2の間の相対重なり領域は1/4である。
同様に、画像ピクセル#2の4領域単位のうちの3つが縮尺変更ピクセル#2と重なっているのが分かり、従って、画像ピクセル#2と縮尺変更ピクセル#2の間の相対重なり領域は3/4である。
残りのピクセルに対して同様の計算を行う。
ステップ220がステップ215に進む実施形態では、ステップ250もまた、ステップ215に進むことができる。
図3の非限定的な例に再び戻ると、画像ピクセル#1のエネルギパラメータは4エネルギ単位であり、一方、縮尺変更ピクセル#1との相対重なり領域は「1」である。
従って、画像ピクセル#1のエネルギパラメータが100%縮尺変更ピクセル#1に割り当てられる。
同様に、画像ピクセル#2のエネルギパラメータは、16エネルギ単位であり、一方、縮尺変更ピクセル#1との相対重なり領域は1/4で、縮尺変更ピクセル#2との相対重なり領域は3/4である。
従って、画像ピクセル#2のエネルギパラメータの25%(4エネルギ単位)が縮尺変更ピクセル#1に割り当てられ、画像ピクセル#2のエネルギパラメータの75%(12エネルギ単位)が縮尺変更ピクセル#2に割り当てられる。
他の画像ピクセルは、縮尺変更ピクセル#1に重なっておらず、従って、縮尺変更ピクセル#1に割り当てられる合計エネルギパラメータは(かっこ内に示した)8エネルギ単位である。
残りのピクセルに対して同様に算出して、縮尺変更ピクセル#2には16エネルギ単位が割り当てられ、縮尺変更ピクセル#3には13エネルギ単位が割り当てられ、縮尺変更ピクセル#4には23エネルギ単位が割り当てられて、全体で、画像ピクセル内のエネルギ単位と同数の60エネルギ単位になる。
実施形態によっては、縮尺変更画像は、この画像を画像表示ユニット130に解放する前に、出力バッファ125に解放することができる。
他の実施形態では、画像を画像表示ユニット130に解放する前に、画像の一部を出力バッファ125に解放することができる。
これらの実施形態では、例えば、各縮尺変更ピクセルの処理が完了すると、残りの縮尺変更ピクセルが届くのを待ち受けるバッファ125に縮尺変更ピクセルを解放する。
さらに他の実施形態では、縮尺変更画像を画像表示ユニット130に解放するのではなく、メモリ(図示せず)に保存して、後で画像表示装置130または他の画像表示装置に伝送または移送することができる。
これらの実施形態の幾つかでは、画像は、画像処理装置120で一度に1ライン受け取られ、従って、画像の解像度に関する情報を画像処理装置120に事前に知らせることができる。
従って、図4の方法は、画像処理装置120によって実施することができる。
図4の方法はまた、図1に示したシステムのさまざまな要素を用いて分散させた態様で実施することができる。
この方法の場合、縮尺変更ピクセルの解像度は既知であり、例えば、縮尺変更ピクセルの解像度は、画像表示ユニット130の解像度および/または所望の幾何補正を含むことができると仮定する。
また、画像の解像度に関する事前の情報とは、例えば、各ラインの解像度であると仮定する。
さらに、画像は標準規格に準じて受信されて、画像内の各ピクセルの位置は既知であると仮定する。
例えば、上記のように、ビデオ信号では、画像の最上行は、一斉送信されるまたは送信される最初の行であり、さらに、ピクセルは通常、左から右に送られる。
従って、画像処理装置120は通常、受信した最初の画像ピクセルが、画像などの最上部左隅にある画像ピクセルであると判断する。
上記のように、各画像ピクセルに割り当てられるサブピクセルの個数は、画像処理装置120に届く各画像に対して一定の個数とすることができるし、または縮尺に基づいて決めることもできる。
第1の縮尺変更ピクセルSPjについては、処理されるべき第1の画像ピクセルに関する事前の情報に基づいて、および/または所望の縮尺に基づいて選択することができる。
非限定的な例では、縮小変更されるべき第1の画像ピクセルが、画像内の所与に位置(例えば、上部左隅)にあるならば、このとき、実施形態によっては、第1の縮尺変更ピクセルSPjは、縮尺変更画像の対応する位置(すなわち、上部左隅)にある。
一方、縮尺変更画像が、(以下に説明する)画像の幾何補正に相当する実施形態では、第1の縮尺変更ピクセルSPjは、縮尺変更画像の対応する位置とは異なる位置とすることができる。
ステップ440で、上記のものと同様の態様でIPiのエネルギパラメータを求める。
なお、実施形態によっては、ステップ440はステップ450の後でもよい。
同様に、ステップ460で、SPjとIPiの間の相対重なり領域を求め、ステップ470で、相対重なり領域に基づいて、ステップ440で求めたIPiのエネルギパラメータの少なくとも一部をSPiに割り当てる。
そうでなければ、IPiのエネルギパラメータをすべて割り当て、ステップ485で、縮尺変更するために次の画像ピクセルIPi=i+1を受け取る。
次いで、ステップ440で、画像処理装置120は、次のIPiのエネルギを求め、上記と同様に処理を続ける。
従って、ステップ490で、SPiに重なるすべての画像ピクセルが明らかになった(すなわち、もはやSPjに割り当てられるエネルギパラメータがない)ときに、SPiは(存在するならば)出力バッファ125に送られ、ステップ495で、処理は次のSPj=j+1に進み、ステップ460でSPjとIPiの間の相対重なり領域を求める前に、ステップ498で、SPj=j+1にサブピクセルの個数Mj=j+1を割り当てる。
次いで、上記の通りに処理が続く。
言い換えると、画像の列(または行)を最初に縮尺変更し、次に、行(または列)を縮尺変更する。
この例の中で、画像510は、4つの列560a、560b、560c、560dと3つの行570a、570b、570cとに配列された(すなわち4×3配列)ピクセル555a、555b、などを有する縮尺変更画像550を生成するために縮尺を変更されることになる。
4つの列560a’、560b’、560c’560d’と、5つの行530a’、530b’、530c’、530d’、530e’に配列された(すなわち4×5配列)ピクセル541a、541bなどを有する中間縮尺変更画像540も示されている。
画像510、中間縮尺変更画像540、および縮尺変更画像550はそれぞれ、観察者には、各ピクセルが絶対領域と各ピクセル間の空きを有すると見えるように示されている。
例えば、文字「(b)」の下で、行530aは図3に示した画像ピクセルと同様な態様で示されており、列の間に空きがない。
行530aの各列を縮尺変更するために、行530aの各ピクセルは、図3のものと同様の態様で、行530a’の各ピクセルとの対応マップを作られ、相対重なり領域が求められる。
行530aの各ピクセルのエネルギパラメータは、相対重なり領域に基づいて、行530a’の各ピクセルに割り当てられる。
次いで、このプロセスは、中間縮尺変更画像540を生成するために、画像510の各次の行に対して繰り返される。
例えば、文字「(b)」の下に、行間に空きのない図3に示した画像ピクセルと同様の態様で(しかし、90°回転させて)行560a’が示されている。
列560a’の各行を縮尺変更するために、列560a’の各ピクセルは、図3のものと同様の態様で、列560aの各ピクセルとの対応マップを作られ、相対重なり領域が求められる。
列560a’の各ピクセルのエネルギパラメータは、重なり領域に基づいて、列560aの各ピクセルに割り当てられる。
次いで、このプロセスは、縮尺変更画像550を生成するために、中間縮尺変更画像540の各次の列に対して繰り返される。
さらに他の実施形態では、次のピクセルに進む前に、行および列の両方の次元に縮尺変更を適用することができ、最初に、行または列の一方の構成要素として各ピクセルを処理し、次いで、行または列の他方の構成要素としてピクセルを処理する。
これらの実施形態では、画像処理装置120はさらに、当業者には公知のように、各ピクセルの縮尺変更プロセスの状態を保存するレジスタを有することができる。
レジスタに保存することができるデータには、現在の画像ピクセルの境界と、縮尺変更したピクセルの境界と、相対重なり領域と、これまで縮尺変更ピクセルのそれぞれに割り当てられたエネルギパラメータの累積値とがある。
一方、他の実施形態では、幾何学補正を考慮して、画像を一様でなく縮尺変更して縮尺変更画像を生成するのに、図2の方法を適用することもできる、言い換えると、異なる縮尺変更パラメータを使用して、異なる行および/または異なる列を縮尺変更することができる。
各ピクセルは、周囲のピクセルのいずれとも異なる縮尺変更パラメータを使用して縮尺を変更することができる。
例えば、画像表示ユニット130がプロジェクタ装置からなる実施形態では、一様でない面に縮尺変更画像が投射されたり、または直角でない角度で投射されたりする場合に、投射された縮尺変更画像が観察者に均一に見えるように、画像を一様でなく縮尺変更して縮尺変更画像を生成することができる。
プロジェクタ装置の配置を補正するために、それ自体台形である縮尺変更画像を生成する前に、縮尺変更画像を投射したときに、観察者には縮尺変更画像が直線的に見えるように、画像を一様でなく縮尺変更することができる。この補正は、キーストーン補正として知られている。
実施形態によっては、画像に適用される幾何補正の特性を、ユーザインターフェイス117を介してユーザが制御することができ、一方、他の実施形態では、インターフェイス115またはコンピュータ要素インターフェイス(図示せず)を介して画像処理装置120と通信するコンピュータ要素(図示せず)によって幾何補正の特性を制御することができる。実施形態によっては、画像源110は、コンピュータ要素を含むことができる。
例えば、平面に対して垂直な水平面より上にあるプロジェクタ装置から平面に縮尺変更画像620を投射するときに、縮尺変更画像620が観察者には直線的に見えるように、画像610にキーストーン幾何補正を適用して、縮尺変更画像620を生成することができる。
このために、画像610の各連続する行を構成する列が、上から下にかけて前の各行よりも程度を若干大きくして縮小されるように、画像610の各行を構成する列が、図2の方法を使用して可変的に縮尺を変更される。
画像610の縮尺変更を比較して示すために、画像610の外形を縮尺変更画像620に重ね合わせている。
このために、画像610の各連続する行を構成する列が、画像610の上部から水平中心線まで、前の各行よりも程度を若干小さくして縮小され、水平中心線からは逆に処理するように、画像610の各行を構成する列が、図2の方法を使用して可変的に縮尺を変更される。
さらに、画像610の各連続する列を構成する行が、画像610の左から垂直中心線まで、前の各行よりも程度を若干大きくして縮小され、画像610の各列を構成する行が、図2の方法を使用して可変的に縮尺を変更させて、垂直中心線からは逆に処理させる。
縮尺変更を比較して示すために、画像610の外形を縮尺変更画像620に重ね合わせている。
これらの実施形態では、画像処理装置120はさらに、縮尺変更ピクセルの境界を突きとめる(限定するものではないが、高分解能カウンタを含む)位置カウンタを有することができる。
これらの実施形態では、ライン(行または列)の開始点と境界を、理想的な位置に可能な限り接近させるサイズ(すなわち、整数個のサブピクセル)を各ピクセルに割り当てることができる。
これらの実施形態では、上記のように、サブピクセルの個数を変えて各縮尺変更ピクセルに割り当てることができ、これは、連続するラインの縮尺を所望の量だけ漸進的に変化させる。
1つの非限定的な例では、縮尺変更ピクセルのサイズは2つの値の間を交互に繰り返すことができる。
幾つかの非限定的な実施形態では、サイズディザリング機能はサイズ値テーブルによってもたらされる。
実施形態によっては、画像処理装置120のメモリかまたは図1の他の要素のメモリにサイズ値テーブルを保存することができ、一方、他の実施形態では、画像処理装置120に接続されたデータベース(図示せず)にサイズ値テーブルを保存することができる。
実施形態によっては、サイズ値テーブルには、縮尺変更画像内の各ラインの所望する絶対サイズが含まれ、一方、他の実施形態では、サイズ値テーブルには、縮尺変更画像内の各ラインの相対サイズが含まれる。
非限定的な例において、平らなスクリーンに向けて、画像が上向きに投射される上から下へのキーストーン補正の場合を検討する。
補正されていない画像では上部がより広く見える。
キーストーン補正を適用すると、画像の上部はより少ないピクセルを使用して表示されるので、最終画像が一様に見えるためには、上部にあるこれらのピクセルは、画像の上部に沿った全体の明るさが一定のままとなるように、さらに明るくしなければならない。
これは、画像ピクセルが縮尺変更ピクセルに圧縮される際に自動的に対処される。
各画像ピクセルは、そのエネルギのすべてを同伴し、画像の上部はより少ない縮尺変更ピクセルに圧縮されるので、これらのピクセルは、相応してより明るくなる。
これは、幾何補正した画像が、湾曲面かまたは角度がずれた面に表示されるときに、その元の形状をもつように見えるだけでなく、画像のあらゆる部分がその元の輝度を有するように観察者には見えることから、望ましい効果である。
ただし、画像の上部付近のピクセルが100%に近い輝度の場合、縮尺変更画像の上部付近のピクセルは、輝度が100%を超える恐れがある。
これは、当業者には公知の効果である白つぶれを引き起こすことがある。
この効果を避けるために、実施形態によっては、画像の任意の場所に使用される最大縮小量に比例する大きさに画像の輝度を低めることができる。
非限定的な例において、画像の一部が80%に縮小される場合、画像のピクセルの輝度も80%に低めることができる。
全体画像が拡大される場合、縮尺変更画像が必要とされるより暗くなる逆の効果が発生する。
この場合にも同様の補正を使用することができる。
他の実施形態では、画像ピクセルに対して輝度の大きさを一様でなく変化させることができ、例えば、入力画像も画像源でゆがめられた実施形態では、そのような輝度補償は望ましくない。
他の実施形態では、たとえ輝度が一様でなくても、最終画像に対して輝度を可能な限り最大限にするのが望ましい。
ガンマそのものの値は常に同じわけではないが、ガンマ変換した画像データを使用することは、ほとんどの画像で一般的である。
場合によっては、ガンマ曲線も単純な曲線ではなくて、線形要素や他のゆがみを含むことができる。
CRTはy=x0.45の逆関数に近いガンマ関数を有しているので、γ=0.45が最初に選択されたが、他のディスプレイの本来のガンマ曲線が全く異なっているとしても、今やγ=0.45が他のディスプレイに対しても同様に標準となっている。
これらの実施形態では、ガンマ補正した画像に図2の方法を適用すると、ガンマ変換に起因する輝度の非線形分布により、縮尺変更画像に画像の乱れが発生する。
これらの実施形態の中には、画像の縮尺を変更して、縮尺変更画像を生成する前に、例えば、逆ガンマ関数を使用して画像を変換することにより、画像を「線形」空間に戻すことができるものがある。
同様に、画像表示ユニット130がCRTからなる実施形態では、画像表示ユニット130に縮尺変更画像を表示する前に、ガンマ関数を使用して、縮尺変更画像を変換することができる。
これらの実施形態では、画像に存在する画像の乱れが縮尺変更画像で拡大することがある。
例えば、ピクセルから形成されたデジタル画像の特質には、斜線のエッジがピクセル化される(すなわち、階段状になる)ということがある。
遠目に見ると、ピクセル化は観察者には見えないが、拡大処理により、縮尺変更画像におけるピクセル化が大きくなる。
図3に示した例では、各ピクセルは、ピクセルの領域全体にわたって一様な輝度分布を有すると仮定されている。
しかし、各画像ピクセルに付随する全エネルギが一定のままであれば、各画像ピクセルの輝度分布を補正することができる。
1つの非限定的な実施形態では、隣接するピクセルと重なるようにピクセルを広げることもできる。
これらの実施形態では、画像の縮尺を変更して縮尺変更画像を生成する前に、画像ピクセルのそれぞれのエネルギは、隣接するピクセル間に拡散される。
これは、縮尺変更画像内のピクセル化効果を滑らかにする。
実施形態によっては、縮尺変更画像は、輝度分布補正が適用されなかった場合よりもぼやけて見えることがある。
これらの実施形態では、縮尺変更画像を画像表示ユニット130に表示する前に、縮尺変更画像に鮮鋭化フィルタを適用して、縮尺変更画像を鮮鋭化することができる。
図7の例は、図3の例と同様であるが、画像の縮尺を変更して縮尺変更画像を生成する前に、各ピクセルの輝度分布に対して線形調整が施されている。
最初に、各画像ピクセルは、(外形で示した)図3の各画像ピクセルの輝度分布と同様の輝度分布を有すると仮定する。
この場合、各画像ピクセルの輝度は、各画像ピクセルの中心点で求められる。
次いで、各画像ピクセルのそれぞれの中心点から各隣接するピクセルの中心点にラインを引く。
このラインより上にある輝度を隣接するピクセルに再割り当てすると、そのラインが各ピクセルに対する新たな輝度分布になる。
各画像ピクセルの領域が求まると(例えば、図2の方法のステップ220)、ラインの下の領域を積算する。
さらに他の実施形態では、移行部(例えば、エッジ)が存在する画像の領域だけに輝度分布補正を適用することができる。
実施形態によっては、傾斜をなす移行部/エッジに輝度分布補正を適用することができる。
縮尺変更ピクセルを生成するために曲線の下の領域を積算する前に、改良した曲線を作成するために、各種の1次元、2次元、または3次元フィルタを適用することもできる。
適用できる補正のタイプには、限定するものではないが、鮮鋭化フィルタ、プリシャーペニング(pre−sharpening)フィルタ、ノイズ低減フィルタなどが含まれる。
画像を拡大し、縮小し、ねじり、かつ/またはゆがめることができる。
エネルギを保存することによって、画像のシャープネスを最大限に維持しながら、縮尺変更による画像の乱れが最小限になる。
説明した装置は、これまでの技術よりもハードウェア資源が少なく、従って、方法は、これまでの技術よりも費用をかけずに実施され得る。
この技術によって得られた縮尺変更画像はきわめて高品質とされ、特に、動画に対して画像の乱れを最小限にし、明瞭さを最大限にする。
他の実施形態では、計算装置を動作させるコンピュータ読み取り可能プログラムコードを記憶するコードメモリ(図示せず)にアクセスできるコンピュータ装置を使用して、画像処理装置120の機能を実行することができる。
コンピュータ読み取り可能プログラムコードは、媒体に保存することができ、これらの構成部品(例えば、リムーバブルディスク、CD−ROM、ROM、固定ディスク、USBドライブ)によって直接的に固定され、具体化され、読み取り可能になるか、あるいはコンピュータ読み取り可能プログラムコードは遠隔で保存され得るが、伝送媒体を通じて(限定ではないがインターネットを含む)ネットワークに接続されたモデム、または他のインターフェイス装置を介してこれらの構成部品に伝送することができる。
伝送媒体は、有線媒体(例えば、光またはアナログ通信線)かまたはワイヤレス媒体(例えば、マイクロ波、赤外線、自由空間光、または他の伝送スキーム)か、またはそれらの組み合わせのいずれかとすることができる。
従って、その範囲は、本明細書に添付の特許請求の範囲によってのみ限定される。
Claims (45)
- 画像ピクセルアレイからなる画像の縮尺を変更して、縮尺変更ピクセルアレイからなる縮尺変更画像を生成する方法であって、
前記縮尺変更ピクセルアレイと、前記画像ピクセルアレイとの間の対応マップを作成するステップと、
前記画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを、所与の各画像ピクセルの輝度分布を求めて輝度分布に対応した輝度対領域曲線の下側の面積を積算することによって、求めるステップと、
前記画像ピクセルアレイ内の各画像ピクセルに対して、前記縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求めるステップと、
前記所与の画像ピクセルの前記エネルギパラメータを前記所与の画像ピクセルに重なる縮尺変更ピクセルの間に分散させるステップであって、前記分散は、前記一部分に基づいて、前記エネルギパラメータが保存されるようになっているステップと、
を有する方法。 - 前記縮尺変更ピクセルアレイと前記画像ピクセルアレイとの間の対応マップを作成するステップは、
前記画像と前記縮尺変更画像の間の尺度を表す少なくとも1つの倍率を求めるステップと、
前記少なくとも1つの倍率を使用して、前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルを処理し、各処理済み縮尺変更ピクセルは、前記縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルと1対1の関係で対応付けられ、処理済み縮尺変更ピクセルアレイを生成するステップと、
前記処理済み縮尺変更ピクセルアレイ内の各処理済み縮尺変更ピクセルを前記画像ピクセルアレイ内の位置と対応付けるステップとを含む請求項1に記載の方法。 - 前記画像ピクセルアレイ内の前記画像ピクセルの間の空きを除去し、各画像ピクセルの境界を隣接する各画像ピクセルの境界と合致させるステップと、
前記処理済み縮尺変更ピクセルアレイ内の前記処理済み縮尺変更ピクセルの間の空きを除去し、各処理済み縮尺変更ピクセルの境界を隣接する各処理済み縮尺変更ピクセルの境界と合致させるステップとをさらに含む請求項2に記載の方法。 - 前記画像は第1の解像度を有し、前記縮尺変更画像は第2の解像度を有し、
少なくとも1つの倍率を求めるステップは、前記第1の解像度および前記第2の解像度を処理するステップを含む請求項2に記載の方法。 - 前記画像ピクセルアレイは所与の数量の行と、所与の数量の列を有し、
前記第1の解像度は、前記所与の数量の行と、前記所与の数量の列からなり、
前記縮尺変更ピクセルアレイは、所与の数量の縮尺変更行と、所与の数量の縮尺変更列を有し、
前記第2の解像度は、前記所与の数量の縮尺変更行と、前記所与の数量の縮尺変更列からなり、
前記第1の解像度および前記第2の解像度を処理するステップは、
前記所与の数量の行と前記所与の数量の縮尺変更行の間の比率を求めて行倍率を生成するステップと、
前記所与の数量の列と、前記所与の数量の縮尺変更列の間の比率を求めて、列倍率を生成するステップとの少なくとも一方が含まれる請求項4に記載の方法。 - 前記少なくとも1つの倍率には、前記行倍率および前記列倍率が含まれる請求項5に記載の方法。
- 複数の倍率を求めるステップをさらに含み、
前記複数の倍率は、前記少なくとも1つの倍率を含み、さらに、前記行倍率および複数の列倍率を含み、各列倍率は前記画像ピクセルアレイ内の列に対応する請求項5に記載の方法。 - 複数の倍率を求めるステップをさらに含み、
前記複数の倍率は、前記少なくとも1つの倍率を含み、さらに、前記列倍率および複数の行倍率を含み、各行倍率は前記画像ピクセルアレイ内の行に対応する請求項5に記載の方法。 - 複数の倍率を求めるステップをさらに含み、
前記複数の倍率は、前記少なくとも1つの倍率を含み、さらに、それぞれの行倍率が前記画像ピクセルアレイ内の行と対応する複数の行倍率と、それぞれの列倍率が前記画像ピクセルアレイ内の列と対応する複数の列倍率とを含む請求項5に記載の方法。 - 前記少なくとも1つの倍率を使用して、前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルを処理するステップは、前記少なくとも1つの倍率を使用して前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルの領域パラメータを比例調整し、前記処理済み縮尺変更ピクセルアレイを生成するステップが含まれる請求項2に記載の方法。
- 前記処理済み縮尺変更ピクセルアレイを生成するために、前記少なくとも1つの倍率を使用して、前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルの領域パラメータを比例調整する場合に、前記処理済み縮尺変更ピクセルアレイの少なくとも1つの境界を前記画像ピクセルアレイの少なくとも1つの境界と合致させる請求項10に記載の方法。
- 前記少なくとも1つの倍率を使用して、前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルの領域パラメータを比例調整するステップは、前記縮尺変更ピクセルのそれぞれの前記領域パラメータを大きくするかまたは小さくして、前記処理済み縮尺変更ピクセルアレイを生成するステップが含まれる請求項10に記載の方法。
- 各画像ピクセルを第1の所与の個数のサブピクセルに分割するステップをさらに含み、
前記少なくとも1つの倍率を使用して、前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルの領域パラメータを比例調整するステップは、各縮尺変更ピクセルを第2の所与の個数のサブピクセルに分割し、前記縮尺変更ピクセルのそれぞれに対して、ほぼ等しい個数のサブピクセルを足すかまたは引いて、前記処理済み縮尺変更ピクセルアレイを生成するステップが含まれる請求項11に記載の方法。 - 前記処理済み縮尺変更ピクセルアレイ内の処理済み縮尺変更ピクセルの第1のサブセットが第1の整数個のサブピクセルを含み、
前記処理済み縮尺変更ピクセルアレイ内の処理済み縮尺変更ピクセルの第2のサブセットが第2の整数個のサブピクセルを含む請求項13に記載の方法。 - ディザリング機能を使用して、前記処理済み縮尺変更ピクセルの第1のサブセットと、前記処理済み縮尺変更ピクセルの第2のサブセットを決める請求項14に記載の方法。
- 前記ディザリング機能にはサイズ値テーブルが含まれる請求項15に記載の方法。
- 前記処理済み縮尺変更ピクセルアレイ内の各処理済み縮尺変更ピクセルを前記画像ピクセルアレイ内の位置と対応付けるステップは、前記処理済み縮尺変更ピクセルアレイ内の各処理済み縮尺変更ピクセルの位置を求め、前記処理済み縮尺変更ピクセルアレイ内の各処理済み縮尺変更ピクセルの前記位置を前記画像ピクセルアレイ内の前記位置と対応付けるステップが含まれる請求項2に記載の方法。
- 前記画像ピクセルアレイ内の位置は、開始境界および終端境界に対応し、
各処理済み縮尺変更ピクセルの前記位置には、少なくとも1つの処理済み開始境界と、少なくとも1つの処理済み終端境界とが含まれ、
前記処理済み縮尺変更ピクセルアレイ内の各処理済み縮尺変更ピクセルを前記画像ピクセルアレイ内の位置に対応付けるステップは、
前記開始境界に対する前記処理済み開始境界の相対位置を求めるステップと、
前記終端境界に対する前記処理済み開始境界の相対位置を求めるステップと、
前記開始境界に対する前記処理済み終端境界の相対位置を求めるステップと、
前記終端境界に対する前記処理済み終端境界の相対位置を求めるステップとが含まれる請求項17に記載の方法。 - 前記画像ピクセルアレイ内の各画像ピクセルに対して、前記縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求めるステップは、前記開始境界に対する前記処理済み開始境界の前記相対位置、前記終端境界する前記処理済み開始境界の前記相対位置、前記開始境界に対する前記処理済み終端境界の前記相対位置、および前記終端境界に対する前記処理済み終端境界の前記相対位置のうちの少なくとも1つを処理するステップが含まれる請求項18に記載の方法。
- 前記画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを求めるステップは、前記所与の画像ピクセルの輝度分布を求め、前記輝度分布を積算するステップがさらに含まれる請求項1に記載の方法。
- 前記輝度分布は一定の輝度分布からなる請求項20に記載の方法。
- ピクセルデータが前記所与の画像ピクセルに付随し、輝度分布を求めるステップは、前記ピクセルデータを処理して、前記輝度分布を表す輝度データを生成するステップが含まれる請求項20に記載の方法。
- 輝度分布を求めるステップは、前記輝度データに輝度分布補正を施すステップが含まれる請求項22に記載の方法。
- 前記輝度分布補正は線形輝度分布補正からなる請求項23に記載の方法。
- 前記輝度分布補正はガウス輝度分布補正からなる請求項23に記載の方法。
- 前記輝度分布補正は、S字形曲線輝度分布補正と3次スプライン曲線の少なくとも1つからなる請求項23に記載の方法。
- 前記画像ピクセルアレイ内の各画像ピクセルに対して、前記縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求めるステップは、前記所与の画像ピクセルと前記所与の縮尺変更ピクセルの間の相対重なり領域を求めるステップがさらに含まれる請求項1に記載の方法。
- 前記縮尺変更ピクセルアレイ内の各縮尺変更ピクセルは、処理済み縮尺変更ピクセルと対応付けられ、前記処理済み縮尺変更ピクセルは、倍率を用いて前記縮尺変更ピクセルアレイ内の縮尺変更ピクセルを処理するステップで求められ、
前記倍率は、前記画像と前記縮尺変更画像の間の尺度を表し、
前記所与の画像ピクセルと前記所与の縮尺変更ピクセルの間の前記相対重なり領域を求めるステップは、前記所与の画像ピクセルと、前記所与の縮尺変更ピクセルに対応する処理済み縮尺変更ピクセルとの間の前記重なり領域を求めるステップがさらに含まれる請求項27に記載の方法。 - 前記一部分に基づいて前記所与の画像ピクセルの前記エネルギパラメータを前記所与の画像ピクセルに重なる縮尺変更ピクセルの間に分散させるステップには、前記一部分および前記エネルギパラメータを処理するステップがさらに含まれる請求項1に記載の方法。
- 前記画像ピクセルアレイ内の各画像ピクセルを所定のシーケンスで受け取るステップがさらに含まれる請求項1に記載の方法。
- 前記縮尺変更ピクセルアレイと前記画像ピクセルアレイの間の対応マップを作成するステップは、所与の受け取った画像ピクセルに重なる縮尺変更ピクセルのサブセットを求め、前記所与の受け取った画像ピクセルに重なる前記縮尺変更ピクセルのサブセットのみを前記所与の受け取った画像ピクセルに対応付けるステップが含まれる請求項30に記載の方法。
- 前記画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを求めるステップと、
前記画像ピクセルアレイ内の各画像ピクセルに対して、前記縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求めるステップと、
前記一部分に基づいて前記所与の画像ピクセルの前記エネルギパラメータを前記所与の画像ピクセルに重なる縮尺変更ピクセルの間に分散させるステップとは、
前記シーケンスで画像ピクセルアレイが届いたときに、前記画像ピクセルアレイ内の各ピクセルに対して行われる請求項31に記載の方法。 - 前記画像ピクセルアレイは、所与の数量の行と所与の数量の列からなり、
前記シーケンスは、1行ずつラスタリングするシーケンスからなる請求項30に記載の方法。 - 前記1行ずつラスタリングするシーケンスには、左から右へのラスタリングと、右から左へのラスタリングを交互に行うステップが含まれる請求項33に記載の方法。
- 前記1行ずつラスタリングするシーケンスには、左から右へのラスタリングが含まれる請求項33に記載の方法。
- 前記画像がアナログ画像から作られた請求項1に記載の方法。
- 前記アナログ画像を処理して前記画像を生成するステップをさらに含む請求項36に記載の方法。
- アナログ画像表示装置に表示するために、前記縮尺変更画像を処理して、アナログ画像を生成することを含む請求項1に記載の方法。
- 前記縮尺変更画像は、画像の幾何補正を含み、画像の前記幾何補正は、面上への投射を目的とする請求項1に記載の方法。
- 前記幾何補正には、キーストーン補正が含まれる請求項39に記載の方法。
- 前記幾何補正には、ドーム補正、角部補正、および曲面補正のうちの少なくとも1つが含まれる請求項39に記載の方法。
- 画像源から画像を受け入れるインターフェイスと、
前記インターフェイスに接続された画像処理装置であって、前記画像が画像ピクセルアレイを含み、縮尺変更画像が縮尺変更ピクセルアレイを含む場合に、前記縮尺変更ピクセルアレイと前記画像ピクセルアレイの間の対応マップを作成し、前記画像ピクセルアレイ内の各画像ピクセルのエネルギパラメータを、所与の前記各画像ピクセルの輝度分布を求めて輝度分布に対応した輝度対領域曲線の下側の面積を積算することによって、求める、画像処理装置であって、前記画像ピクセルアレイ内の各画像ピクセルに対して、前記縮尺変更ピクセルアレイ内の所与の縮尺変更ピクセルに重なる、所与の画像ピクセルの一部分を求め、前記所与の画像ピクセルの前記エネルギパラメータを前記所与の画像ピクセルに重なる縮尺変更ピクセルの間に分散させ、前記分散は、前記一部分に基づいて、前記エネルギパラメータが保存されるようになっている、前記画像の縮尺を変更して、縮尺変更画像を生成する画像処理装置と、
前記画像処理装置と接続されて、縮尺変更画像を表示する画像表示ユニットとを有する表示装置。 - 前記縮尺変更画像を表示する前に、前記縮尺変更画像の少なくとも一部を保存する出力バッファをさらに有する請求項42に記載の表示装置。
- 前記画像表示ユニットは、アナログ表示ユニットからなり、
前記画像処理装置は、前記縮尺変更画像をアナログ縮尺変更画像に変換することがさらにできる請求項42に記載の表示装置。 - 前記画像表示ユニットは、デジタル画像投射ユニット、アナログ画像投射ユニット、デジタルフラットパネルディスプレイ、およびCRTのうちの少なくとも1つからなる請求項42に記載の表示装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/819,478 | 2007-06-27 | ||
US11/819,478 US8379066B2 (en) | 2007-06-27 | 2007-06-27 | Method and apparatus for scaling an image to produce a scaled image |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008166103A Division JP5744374B2 (ja) | 2007-06-27 | 2008-06-25 | 画像の縮尺を変更して縮尺変更画像を生成する方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014057314A JP2014057314A (ja) | 2014-03-27 |
JP5806269B2 true JP5806269B2 (ja) | 2015-11-10 |
Family
ID=39831688
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008166103A Expired - Fee Related JP5744374B2 (ja) | 2007-06-27 | 2008-06-25 | 画像の縮尺を変更して縮尺変更画像を生成する方法および装置 |
JP2013194921A Active JP5806269B2 (ja) | 2007-06-27 | 2013-09-20 | 画像の縮尺を変更して縮尺変更画像を生成する方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008166103A Expired - Fee Related JP5744374B2 (ja) | 2007-06-27 | 2008-06-25 | 画像の縮尺を変更して縮尺変更画像を生成する方法および装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8379066B2 (ja) |
EP (1) | EP2009591B1 (ja) |
JP (2) | JP5744374B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100793284B1 (ko) * | 2007-05-11 | 2008-01-10 | 주식회사 코아로직 | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 |
US20090033683A1 (en) * | 2007-06-13 | 2009-02-05 | Jeremy Schiff | Method, system and apparatus for intelligent resizing of images |
US9188850B2 (en) * | 2007-09-10 | 2015-11-17 | L-3 Communications Corporation | Display system for high-definition projectors |
US8013858B2 (en) * | 2007-09-20 | 2011-09-06 | Spx Corporation | Statistical waveform drawing routine |
US20100128181A1 (en) * | 2008-11-25 | 2010-05-27 | Advanced Micro Devices, Inc. | Seam Based Scaling of Video Content |
KR20100066957A (ko) * | 2008-12-10 | 2010-06-18 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
GB2470942B (en) * | 2009-06-11 | 2014-07-16 | Snell Ltd | Detection of non-uniform spatial scaling of an image |
US8897602B2 (en) * | 2009-07-22 | 2014-11-25 | Aptina Imaging Corporation | Imaging system with multiframe scaler |
WO2011064872A1 (ja) * | 2009-11-27 | 2011-06-03 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP5736652B2 (ja) * | 2010-03-09 | 2015-06-17 | セイコーエプソン株式会社 | 画像表示装置および画像表示方法 |
DE102011076112A1 (de) * | 2011-05-19 | 2012-11-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes |
JP5787637B2 (ja) * | 2011-06-21 | 2015-09-30 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6056220B2 (ja) * | 2012-07-02 | 2017-01-11 | セイコーエプソン株式会社 | プロジェクター及びその制御方法 |
US9626748B2 (en) | 2012-07-02 | 2017-04-18 | Seiko Epson Corporation | Projector and method for controlling the same |
JP6160034B2 (ja) * | 2012-07-02 | 2017-07-12 | セイコーエプソン株式会社 | プロジェクター及びその制御方法 |
JP2015127680A (ja) * | 2013-12-27 | 2015-07-09 | スリーエム イノベイティブ プロパティズ カンパニー | 計測装置、システムおよびプログラム |
US9361554B2 (en) | 2014-09-26 | 2016-06-07 | Ricoh Company, Ltd. | Low overhead near unity scaling technique |
KR102223792B1 (ko) * | 2014-11-10 | 2021-03-04 | 엘지디스플레이 주식회사 | 영상왜곡 보정장치 및 보정방법, 이를 포함하는 곡면형 표시장치 |
WO2023111210A1 (en) | 2021-12-17 | 2023-06-22 | F. Hoffmann-La Roche Ag | Combination of oligonucleotides for modulating rtel1 and fubp1 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5331430A (en) * | 1991-10-11 | 1994-07-19 | R.R. Donnelley & Sons Company | Electronic high-fidelity screenless conversion system |
US5426723A (en) * | 1992-03-09 | 1995-06-20 | Spacelabs Medical, Inc. | System and method for scaling graphic images |
US5489952A (en) * | 1993-07-14 | 1996-02-06 | Texas Instruments Incorporated | Method and device for multi-format television |
JPH0773302A (ja) | 1993-07-20 | 1995-03-17 | Olympus Optical Co Ltd | 画像情報処理システム |
US5703621A (en) * | 1994-04-28 | 1997-12-30 | Xerox Corporation | Universal display that presents all image types with high image fidelity |
US5790714A (en) | 1994-11-01 | 1998-08-04 | International Business Machines Corporation | System and method for scaling video |
US5644325A (en) * | 1994-12-12 | 1997-07-01 | Auravision Corporation | Digital to analog converter with improved output level control |
JPH10255033A (ja) | 1997-03-13 | 1998-09-25 | Dainippon Screen Mfg Co Ltd | 画像縮小方法 |
US7106322B2 (en) * | 2000-01-11 | 2006-09-12 | Sun Microsystems, Inc. | Dynamically adjusting a sample-to-pixel filter to compensate for the effects of negative lobes |
JP4827213B2 (ja) | 2001-03-12 | 2011-11-30 | 株式会社メガチップス | 画像補正装置および画像補正方法 |
JP3959740B2 (ja) | 2001-07-30 | 2007-08-15 | ソニー株式会社 | プロジェクタおよび画像補正方法 |
DE10221389A1 (de) * | 2002-05-14 | 2003-12-04 | Siemens Ag | Verfahren zur Ermittlung eines Pixelwertes eines Pixel aufweisenden Bildes, Gewichtungsmatrix und Recheneinrichtung |
JP4059031B2 (ja) | 2002-08-09 | 2008-03-12 | セイコーエプソン株式会社 | プロジェクタ |
US7018050B2 (en) * | 2003-09-08 | 2006-03-28 | Hewlett-Packard Development Company, L.P. | System and method for correcting luminance non-uniformity of obliquely projected images |
DE10345278B4 (de) * | 2003-09-30 | 2007-03-15 | Thoms, Michael, Dr. | Verfahren und Einrichtung zur Bildbearbeitung |
JP4887761B2 (ja) | 2005-11-30 | 2012-02-29 | ブラザー工業株式会社 | 画像処理プログラム及び画像処理装置 |
-
2007
- 2007-06-27 US US11/819,478 patent/US8379066B2/en active Active
-
2008
- 2008-06-25 JP JP2008166103A patent/JP5744374B2/ja not_active Expired - Fee Related
- 2008-06-27 EP EP08011735.1A patent/EP2009591B1/en active Active
-
2013
- 2013-09-20 JP JP2013194921A patent/JP5806269B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2009591A3 (en) | 2009-09-02 |
EP2009591A2 (en) | 2008-12-31 |
JP2014057314A (ja) | 2014-03-27 |
JP5744374B2 (ja) | 2015-07-08 |
US20090002398A1 (en) | 2009-01-01 |
US8379066B2 (en) | 2013-02-19 |
EP2009591B1 (en) | 2019-04-10 |
JP2009065639A (ja) | 2009-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5806269B2 (ja) | 画像の縮尺を変更して縮尺変更画像を生成する方法および装置 | |
US7084923B2 (en) | Display system having improved multiple modes for displaying image data from multiple input source formats | |
US20220164931A1 (en) | Display management for high dynamic range images | |
GB2499635A (en) | Image processing for projection on a projection screen | |
US9013511B2 (en) | Adaptive spatial variant interpolation for image upscaling | |
JP2004507987A (ja) | 光学関数生成器を使用するシームレスなタイル式ディスプレイのための電子較正 | |
US20160329027A1 (en) | Image processing device with image compensation function and image processing method thereof | |
US9349188B2 (en) | Creating details in an image with adaptive frequency strength controlled transform | |
JP2009518682A (ja) | 表示装置及び表示方法 | |
US9305332B2 (en) | Creating details in an image with frequency lifting | |
US9007391B2 (en) | Image color correction for an image by a graphical processing unit looking up color corrections in a lookup table | |
US8440955B2 (en) | Method for spatial smoothing in a shader pipeline for a multi-projector display | |
US8269804B2 (en) | Image display apparatus and method for correcting color signals based on a sub-pixel location and a position of a viewer | |
US9066025B2 (en) | Control of frequency lifting super-resolution with image features | |
US10368048B2 (en) | Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor | |
US8396322B1 (en) | Optical distortion correction in digital video processing applications | |
TW201629928A (zh) | 畫素驅動方法及相關的顯示裝置 | |
CN113658559A (zh) | 显示器驱动装置及驱动方法 | |
US9179163B2 (en) | Device and method for processing image | |
JP2008546033A (ja) | 空間光変調されたディスプレイ・システムにおいて画像を処理するための装置および方法 | |
JP2007324665A (ja) | 画像補正装置及び映像表示装置 | |
JP2006165950A (ja) | 画像処理装置及び画像処理方法 | |
US8786637B2 (en) | Method for processing image and devices using the method | |
JP5665791B2 (ja) | 空間光変調されたディスプレイ・システムにおいて画像を処理するための装置および方法 | |
CN105554487A (zh) | 一种数字图像格式转换的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150903 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5806269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |