JP5805109B2 - 液晶ディスプレイ上で表示するための画像を強調する方法、グラフィック処理装置、及びコンピューター読み取り可能媒体 - Google Patents

液晶ディスプレイ上で表示するための画像を強調する方法、グラフィック処理装置、及びコンピューター読み取り可能媒体 Download PDF

Info

Publication number
JP5805109B2
JP5805109B2 JP2012551988A JP2012551988A JP5805109B2 JP 5805109 B2 JP5805109 B2 JP 5805109B2 JP 2012551988 A JP2012551988 A JP 2012551988A JP 2012551988 A JP2012551988 A JP 2012551988A JP 5805109 B2 JP5805109 B2 JP 5805109B2
Authority
JP
Japan
Prior art keywords
value
image
level
lcd
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012551988A
Other languages
English (en)
Other versions
JP2013519119A (ja
Inventor
スン,シージュン
オンダース,ティモシー・イー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013519119A publication Critical patent/JP2013519119A/ja
Application granted granted Critical
Publication of JP5805109B2 publication Critical patent/JP5805109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0633Adjustment of display parameters for control of overall brightness by amplitude modulation of the brightness of the illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Liquid Crystal (AREA)

Description

本開示は、液晶ディスプレイ(liquid crystal display:LCD)上に表示される画像の強調に関する。
液晶ディスプレイ(LCD)は、コンピューターのモニター、ラップトップコンピューター、スマートフォン、ハンドヘルド型ゲームシステム、及びメディアプレーヤー(ポータブルオーディオプレーヤー、ポータブルビデオプレーヤー等)を含む、現代の広範で様々な電子デバイスやコンピューティングデバイスで用いられている。LCDが幅広く採用されていることは、一つには、ブラウン管(cathode ray tube:CRT)ディスプレイのような他のタイプのディスプレイに比べて小サイズ、軽量、低消費電力であることによるものである。
図1は、簡略化した従来の液晶ディスプレイ100の各種レイヤーを遠近法で描いた分解組立図を示す。LCD100は、バックライト110、水平及び垂直偏光フィルター120、130、電極レイヤー140、150、及び液晶レイヤー160を含む。LCD100は、画像を表示する際に個々に制御可能である多数のピクチャーエレメント、即ちピクセル(表示ピクセル)を含む。LCD100は、各ピクセルを個々に制御して、バックライト110により発生したソース光のうち水平偏光フィルター120と垂直偏光フィルター130の両方を通過する光量を制御する。
バックライト110は、1つ又は複数のLED(light emitting diode:発光ダイオード)、エレクトロルミネセンスパネル、又は他のタイプの光源を含むことが可能であり、そのような光源からの光を拡散させる材料のレイヤーを含むことが可能である。バックライト110は、LCD100全体にわたって、又は、より最近のある設計ではLCD100の異なるエリアに対して、強度レベルを変化させながらソース光を発生する能力を有している。「バックライトレベル」という用語は、バックライト110によって発生したソース光の強度を意味する。
バックライト110によって発生したソース光は、一般には無偏光である。光がある軸に沿って広がる波形として視覚化される場合、その光の偏光は、当該軸に対するその波形の向き(例えば、水平方向、垂直方向、又は他のある角度)である。無偏光な光は、異なる偏光が混ざり合ったものである。水平偏光フィルター120は、水平方向に偏光した光を通過させるが、他の光を遮断する。垂直偏光フィルター130は、垂直方向に偏光した光を通過させるが、他の光を遮断する。液晶レイヤー160がなければ、バックライト110からの全ての光は、連続した2つの偏光フィルター120、130によって遮断されてしまうだろう。しかしながら、液晶レイヤー160の中では、表示ピクセルの位置にある液晶分子が通過する光を「ねじ曲げ」て、水平偏光した光がバックライト110から離れていくにつれて垂直方向の偏光となるようにされる。この垂直偏光の光は、その次に、垂直偏光フィルター130を通過することが可能である。
LCD100のある表示ピクセルにおける水平方向から垂直方向への偏光の変化の度合いは、当該表示ピクセルにおいて電極140、150間を流れる電流の量を変化させることによって制御されることが可能である。各表示ピクセルについてLCD100を通過することのできる光量は、こうして、当該ピクセルにおいて電極140と150を横切って加えられる電流の量によって決定され、ここにおいて、この印加電流の量は、所望されるピクセル値の輝度に依存して制御されることが可能である。概して言えば、ピクセル値の輝度がより高く、即ちより明るければ、対応する表示ピクセルにおいてLCD100を通過することのできるソース光の量は、より多くなる。例えば、従来のLCDの1つのタイプにおいて、ネマティック分子が、電流の印加されない「緩和」状態にある場合に、光を水平から垂直偏光にねじ曲げ、このことにより、光が垂直偏光フィルター130を通過することが可能になる。しかしながら、電極140、150を横切って電流が加えられると、このネマティック分子は電流の方向に沿って再整列する。再整列の度合いは、電流の強さに依存し、異なった量の光が垂直偏光フィルター130を通過することが可能となる。十分な電流が加えられた場合、液晶レイヤー160において水平偏光の光の偏光は変化せず、この光は垂直偏光フィルター130によって遮断される。
LCD100上に表示される画像又はフレームは、多数のピクセル(画像ピクセル)を含み、この画像ピクセルは、1つ又は複数のピクセル値を有し、表示プロセスの間にLCD100上の多数の表示ピクセルのうちの対応する1つに関連付けられている。例えば、1つの画像ピクセルは赤、緑、及び青の輝度にそれぞれ対応する3つのピクセル値を有することが可能であり、この3つのピクセル値は結合されて、当該画像ピクセルに対して幅広い色の範囲の中の任意の色を形作ることが可能である。LCD100上においては、表示ピクセルは、画像ピクセルのこれらのピクセル値に依存して異なる輝度を設定するために電極140、150によって個々に制御される、赤、緑、及び青のサブピクセルを含むことが可能である。
異なる種類のLCDは、異なる電極制御のメカニズム、異なる様々な液晶、及び異なるタイプのバックライト用光源を用いることが可能である。LCDは他のタイプのディスプレイよりも少ない電力しか消費しないが、LCDはコンピューティングデバイスによって消費される電力の大部分を占めることがあり、またバックライトはLCDによって消費される電力のうちの多くを使用する。それ故に、特にポータブル型の電子デバイスにとっては、LCDの電力消費を低減して、バッテリーの寿命を延ばしまたエネルギーも節約することは、望ましいことである。LCDの電力消費は、バックライト110によって発生するソース光の強度を減少させることによって低減されることが可能である。しかしながら、小さいバックライト強度では、表示される画像の明るさが低下し、そのことは、ディテールが失われる原因となることがあり、又は、それ以外にも鑑賞者が感じる画像品質を損なうことがある。鑑賞者が感じる画像品質はまた、周囲のある照明条件においては劣化することもある。周囲の照明のレベルが上がると、表示された画像はユーザーにとって鑑賞するのがより困難になることがあり、即ち、ユーザーがその画像のより大まかなディテールしか感じることができなくなることがある。
このように、バックライト及び周囲照明のレベルの変化に応じて液晶ディスプレイ上に表示される画像を強調する、効率的で効果的な方法が求められている。
バックライトレベル、周囲照明レベル、及び/又は液晶ディスプレイ(LCD)に関連した他の照明レベルを考慮して、鑑賞能力を向上するためにLCD上に表示される画像を強調する画像強調技術が開示される。特に、開示された技術は、LCDのバックライトレベルの低下又はLCD周辺の周囲照明レベルの変化に応じて画像が強調されることを可能にする。
いくつかの実施態様において、画像強調技術は、画像の選択されたピクセル値を初期値から再マッピング値へ再マッピングする。再マッピングは、当該初期値を修正ガンマ値パラメーターの指数へと増大させる方程式に従う。この修正ガンマ値パラメーターは、現在のバックライトレベル及び/又は現在の周囲照明レベルに加えて、初期ピクセル値に基づくものである。
例えば、画像の一部分が強調される。この画像の一部分は、ユーザーによって描かれた境界ボックス、又は、ユーザーによって選択され若しくはLCDに画像を出力するコンピューティングデバイス上で動作しているアプリケーションに対応するウィンドウから、決定されることが可能である。当該画像の一部分に対応しないピクセル値は、LCDに関連した照明レベルの変化にかかわらず、強調されないままとされる。
画像強調の間又は後に、付加的な信号処理演算が実行されることが可能である。例えば、疑似輪郭アーティファクトを低減するために、強調画像に対してディザリング信号が適用されることが可能である。別の例として、再マッピングの結果としての画像中のディテールの消失が検出されることが可能であり、ディテールが失われた領域に対してコントラストをシャープにすることが可能である。
他の実施態様において、本技術は、グラフィック処理装置(graphics processing unit:GPU)、若しくはLCDへ画像を出力するコンピューティングデバイスに設けられた他のハードウェアコンポーネント、又はLCD自体の中において、実現されることが可能である。
本発明に関する前述又は他の対象、特徴、及び優位性は、添付された図面を参照して続けられる、以下の詳細な説明からより明らかなものとなるだろう。
図1は、先行技術による簡略化した従来のLCDのいくつかのレイヤーを遠近法で描いた分解組立図である。 図2は、説明された画像強調技術が実現される、LCDを含む例示のコンピューティングシステムのブロック図である。 図3は、フルバックライトでLCD上に表示された画像のスクリーンショットである。 図4は、25%低下したバックライトでLCD上に表示された図3の画像のスクリーンショットであり、中央のウィンドウにおける画像の左半分が強調されている。 図5は、フルバックライトレベルで表示された画像、低下したバックライトレベルで画像強調のために再マッピングを行って表示された画像、及び低下したバックライトレベルで再マッピングを行わずに表示された画像に対する例示のトーンカーブを示すプロットである。 図6は、LCD上に出力するための画像を強調する一般化された方法のフローチャートである。 図7は、バックライトレベルの減少に対応する、ピクセル値の例示の再マッピングを示すプロットである。 図8は、周囲照明レベルの増加に対応する、ピクセル値の例示の再マッピングを示すプロットである。 図9は、周囲照明レベルが増加したために強調を行って表示された画像、及び強調を行わないで表示された画像に対する、例示のトーンカーブを示すプロットである。
本出願は、LCDのバックライトレベルが、例えば電力消費を低減し、又は周囲照明レベルの変化に対応するために低下した場合に、ピクセル値を調整するための技術及び手段を説明する。バックライトレベルを管理し、またピクセル値を積極的に調整することによって、本技術及び手段は、表示の品質を保持し、又は新たな表示の特徴を可能としながら、電力消費を低下させることが可能である。例えば、本明細書において説明された技術を用いて、コンピューティングデバイスは、バックライトレベルの減少を補償するように、画像コンテンツ、ビデオコンテンツ、又は他のグラフィカルコンテンツの明るさを選択的に強調することが可能である。どのピクセル値を調整するか、及びそのピクセル値がどのくらい調整されるべきかを決定する際に、コンピューティングデバイスは、他の要素の中から、所望されるバックライトレベル、現在の周囲照明レベル、表示されるべきコンテンツ、ユーザーの好み又は指示、アプリケーションの設定、及びシステムの設定を考慮することが可能である。本出願及び特許請求の範囲において用いられるように、単数形の「a」、「an」、及び「the」は、文脈がそうではないことを明らかに述べているのでない限り、複数形を含む。加えて、「含む(include)」という用語は「含む(comprise)」を意味する。
本明細書において説明されたシステム、装置、及び方法は、如何なるやり方でも限定を与えるものと解されてはならない。それどころか、本開示は、開示された様々な実施態様単独で、並びに、互いとの様々な組み合わせ及びサブコンビネーションの形で、それら実施態様に関する全ての新規で非自明な特徴及び側面に向けられている。この開示されたシステム、方法、及び装置は、如何なる特定の側面又は特徴又はその組み合わせに限定されることはなく、また、1つ又は複数の如何なる特定の優位性が存在し又は問題が解決されることを必要とするものでもない。
開示された方法のうちのいくつかに関する動作は便宜的な説明のために特定の連続した順序で記載されているが、以下に規定される具体的な言い回しによって特定の順序が必要とされるのでない限り、この記載のやり方は順序の入れ替えを包含していることは理解されなければならない。例えば、連続的に説明された動作は、いくつかのケースにおいて、順序を入れ替え、又は同時に実行されることが可能である。その上、簡潔性のために、添付された図は、開示されたシステム、方法、及び装置が他のシステム、方法、及び装置と共に使用され得る様々なやり方を示すことが不可能である。加えて、本説明は、時々、開示された方法を説明するために「生成する」や「供給する」のような用語を用いることがある。これらの用語は、実行される実際のコンピューターの動作についての高度な抽象概念である。これらの用語に対応する実際のコンピューターの動作は、特定の実装に依存して異なるであろうし、また当業者によって容易に認識され得る。
この開示の装置又は方法に関して本明細書において提示された動作の方法論、科学的原理、又は他の理論的説明は、よりよい理解の目的のために提供されたのであり、また範囲に限定を与えるものであることを意図されていない。添付された特許請求の範囲における装置及び方法は、そのような動作の方法論によって説明されるやり方で機能する装置及び方法に限定されるものではない。
<LCDを備えたコンピューティングデバイス及び画像強調>
ここで図面に目を向けると、図2は、コンピューティングシステム200の一例のブロック図を示す。コンピューティングシステム200は、ハードウェア要素(長方形のボックスで示される)と、ソフトウェア又はソフトウェアとハードウェアの組み合わせで実現されることが可能である機能要素(丸められた角により示される)とを含む。
ハードウェア要素に関し、システム200は、液晶ディスプレイ(LCD)210、1つ又は複数の処理装置230、メモリ240、周囲照明センサー250、及びユーザー入力デバイス280を含む。一般に、処理装置230とメモリ240は、それぞれの機能要素のためのソフトウェアを実行し、及び/又は、専用ハードウェアロジックで機能要素の特徴を実現する。メモリは、揮発性メモリ(例えば、レジスター、キャッシュRAM)、不揮発性メモリ(例えば、ROM、EEPROM、フラッシュメモリ等)、又はこれら2つの何らかの組み合わせとすることが可能である。ユーザー入力デバイス280は、キーボード、マウス、ペン、トラックボール、タッチスクリーン、音声入力デバイス、スキャニングデバイス、又は、システム200へ入力を供給する別のデバイスを含むことが可能である。
システム200は、当該デバイスの外部に存在するLCD210に通信可能に結合されたコンピューティングデバイスにおいて実現されることが可能である。例えば、システム200は、処理装置230及びメモリ240を含んで、有線又は無線接続を介してLCD210へ画像データを出力する、デスクトップコンピューターを構成することが可能である。あるいはまた、システム200は、スマートフォン、携帯型ゲームシステム、メディアプレーヤー、又は、モバイル、携帯型、若しくはハンドヘルドの他のコンピューティングデバイスといったような、LCD210を内蔵するコンピューティングデバイスにおいて実現されることが可能である。
コンピューティングシステム200は、処理装置230上で走るオペレーティングシステム260及び1つ又は複数のアプリケーション270を有することが可能である。メモリは、オペレーティングシステム260、アプリケーション270、及び本明細書において説明される技術の何れかを実現するソフトウェアを記憶することが可能である。
システム200の機能要素はまた、バックライト及びディスプレイ管理のためのLCDコントローラー220を含む。LCDコントローラー220は、単独で、又はコンテンツ解析及び再マッピングモジュール222と組み合わせられて、LCD210上に表示される画像に関係付けられているピクセル値を処理する。実装例における再マッピング演算の詳細は、以下で提示される。LCDコントローラー220はまた、LCDのバックライトレベルを制御するための信号を生成する。ディスプレイドライバー224は、再マッピングの結果をLCD210への出力のためにバッファリングし、また、他に画像データをLCD210への出力のためにバッファリングする。LCDのバックライトレベルを制御する信号は、コントローラー220から又はバックライト制御ドライバー226を通じてLCD210へ供給されることが可能である。休止状態、スタンバイ状態、又は他の低電力状態に入るシステム200の一部分として、オペレーティングシステム260(システム制御)は、バックライトレベルを低下させるようコントローラー220に命令を出すことが可能である。別の例において、オペレーティングシステム260(システム制御)又はアプリケーション270(アプリケーション制御)は、バックライトレベルの変化に応じて画像の一部分が強調されるべきであるということを知らせることが可能である。
オペレーティングシステム260又はアプリケーション270は、ユーザー入力280(ユーザー制御)に応じて、バックライトレベルを低下させること、又は画像を強調することをコントローラー220に命令することが可能である。例えば、ユーザーは、LCD210の明るさを低下させる(即ちバックライトレベルを低下させる)オペレーティングシステム260及び/又はアプリケーション270のパラメーター又は設定を構成することが可能である。ユーザーはまた、画像のどの部分が強調されるべきであるかを、例えば境界ボックスを描く、LCD210上に表示された1つ又は複数のウィンドウを選択する、又はその出力がLCD210上に表示される1つ又は複数のアプリケーションを選択することによって、指示することが可能である。
LCDコントローラー220は、単独で、又はバックライト制御ドライバー226を通じて、LCDのバックライトレベルを調整することが可能であり、また、単独で、又はコンテンツ解析及び再マッピングモジュール222と組み合わせられて、周囲照明センサー250から受信された信号に応答して画像強調を実行することが可能である。周囲照明センサー250は、LCDの付近における又はLCDに入ってくる周囲照明の明るさを検出し、また、それを表す信号を発生させる。この信号は、コントローラー220へ送信されて、コントローラー220によって受信される。センサー250は、LCD210と同一のデバイス、又はコントローラー220を実現する別個のコンピューティングデバイスに統合されることが可能である。センサー250は、周囲照明レベルを、定期的な時間間隔で、コントローラー220の要求に応じて、又は周囲照明レベルが指定量だけ変化した場合に、コントローラー220へ供給することが可能である。LCDコントローラー220は、センサー250から受信された信号に基づいて周囲照明レベルをモニターし、それに応じて、LCDのバックライトレベルを増加又は減少させることが可能である。例えば、コントローラー220は、周囲照明レベルの増加と共にバックライトレベルを増加させて、LCD上に表示された画像を明るい照明条件でより鑑賞し易くすることが可能である。同様に、コントローラー220は、周囲照明レベルの減少と共にバックライトレベルを減少させて、電力を節約し、又は暗い環境に瞳孔が順応しているユーザーにとってLCDが極端に明るく見えることを回避することが可能である。
異なった具体化において、LCDコントローラー220は、処理装置230、グラフィック処理装置(GPU)(不図示)、又は、コンピューターシステム200の任意の他のハードウェアコンポーネント(例えばASIC等)若しくはそのサブコンポーネントのうちの、1つ又は複数に統合されることが可能である。コントローラー220は、LCD210を収容しているコンピューティングデバイス、LCD210と別個のコンピューティングデバイス、又はLCD210それ自体に配置されることが可能である。例えば、もしシステム200がデスクトップコンピューターシステムであれば、LCDコントローラー220は、パーソナルコンピューター又は外部のLCD210に配置されることが可能である。LCDコントローラー220の異なる機能は、バックライト制御ドライバー226、再マッピングモジュール222、及び/又はディスプレイドライバー224によって、又はこれらと連携して実行されることが可能であり、それらの何れもが、コンピューティングデバイス又は別個のLCD210に配置されることが可能である。いくつかの具体化において、コントローラー220の機能は、システム200の多数のコンポーネントに分散される。例えば、LCDコントローラー220によって実行されるいくつかの演算は、デスクトップコンピューターの計算コンポーネントによって実行されることが可能であり、LCDコントローラー220の残りの機能は、LCD210によって実行されることが可能である。
<画像強調の結果を示す画像の例>
図3及び4は、本明細書において説明される、バックライトを低下させたLCD上に表示された画像の明るさを選択的に増加させる画像強調技術の適用を描いたものである。図3は、フルバックライトの(即ちバックライトレベル100%の)LCD上に表示された画像300を示す。図4は、バックライトレベルを25%低下させた(即ちバックライトレベル75%の)LCD上に表示された同じスクリーンショットの画像400を示す。各画像300,400は、ウィンドウ内に、ヘルメットを被った男性の画像310,410を含む。図4において、バックライトレベルの低下を補償するように、本明細書で説明される方法に従って画像410の左半分420が強調されている。画像410の右半分430は強調されていない。見て分かるように、強調された左半分420は、強調されていない右半分430よりも明るくなっており、また、フルバックライトで表示された画像310の明るさにより近く似たものとなっている。
特に、低下したバックライトの物理的な制限によって、画像410の比較的明るいエリア(例えばヘルメット)は両半分420,430共にぼやけた状態になっているが、この強調技術は、左半分420の他のエリア(例えば影、ジャケット)におけるディテールの明るさを増加させて、元の画像310により近くマッチさせている。画像描画ウィンドウやビデオ描画ウィンドウ等の選択された表示エリアについて、この強調によって比較的により暗いエリアにおけるディテールの明瞭さが保持され、低下したバックライトレベルでぼやけた状態になることが原因でそのようなディテールが失われることはなくなる。
<トーンカーブの例及び理論的な根拠>
図5は、図3及び4の画像310及び410中のピクセル値に対するトーンカーブ510,520,530を示す。各トーンカーブは、輝度(luma)ピクセル値と当該ピクセル値に従って表示される表示ピクセルの輝度(brightness)との関係を示す。図5において、輝度ピクセル値は最大のピクセル値(例えば、8ビット色深度の画像については255、10ビット色深度については1023)で規格化され、輝度(brightness)は、フルバックライト(100%のバックライトレベル)で且つ最大のピクセル値に従って表示された表示ピクセルの輝度で規格化されている。あるいはまた、輝度ピクセル値の全体の輝度を表す代わりに、輝度は、表示ピクセルの赤色、緑色、又は青色サブピクセルの強度を表すことが可能である。
トーンカーブ510,520,530は、LCDの電極を横切って表示ピクセルに加えられる信号(これは関係付けられたピクセル値に対応する)と、当該表示ピクセルの対応する輝度との非線形な関係を表している。表示ピクセルの輝度(brightness)と画像のピクセル値(pixel value)との関係は、次式によって表現されることが可能である。
Figure 0005805109
ここで、γは特定のLCDディスプレイに関係するガンマ値である。γの値は、使用されるディスプレイのタイプに従って変化することが可能である。図5において、トーンカーブ510,520,530は、2.2というガンマ値、即ちガンマ設定値を有するディスプレイに関係付けられており、この値は、従来のブラウン管及びいくつかのLCDに典型的なガンマ値である。LCDは、2.2とは異なるガンマ値を有すること、及び、式1で表現することが不可能なピクセル値−輝度関係を有することが可能である。そのような関係を有するLCDは、水平及び垂直電極に印加される信号電圧を発生する際にピクセル値に補正を適用して、ピクセル値−輝度関係が式1で表現されるようにすることが可能である。
トーンカーブ510は、フルバックライトで表示された画像310に対応し、またトーンカーブ520,530は、バックライトを25%低下させて表示された画像410についての、それぞれ画像の半分420,430に対応する。トーンカーブ530は、強調されていない画像の半分430に対応し、トーンカーブ510を0.75倍(バックライトの25%低下を表す)したものに等しい。トーンカーブ520は、強調された画像の半分420に対応し、この強調された画像の半分420に対するピクセル値が、ピクセル値のほぼ全域にわたって、強調されていない画像の半分430に対する同一のピクセル値よりも大きな輝度を有することを示している。フルバックライトされた画像310に対応するトーンカーブ510と比較すると、トーンカーブ520は、強調された画像の半分420に対するピクセル値が、小さいピクセル値の部分において同じくらいの輝度を有することを示している。このことは、画像のより暗い領域が、フルバックライトで表示される場合、又は低下したバックライトで強調されて表示される場合に、同じくらいの輝度で表示されることを表す。これと対照的に、トーンカーブ530に示されるように、強調されていない画像の半分430に対するピクセル値は、小さいピクセル値の部分においてさえ、比例的に減少している。高いピクセル値の部分において、トーンカーブ520と530は1つに収斂している。このことは、強調された画像と強調されていない画像のより明るい領域が、だいたい同じ輝度レベルで表示されることを表す。
<画像強調技術の例>
図6は、液晶ディスプレイ上に表示される画像を強調するための一般化された方法600のフローチャートを示す。この方法600は、例えば、低い周囲照明の条件であるために外部LCDディスプレイの輝度を低下させるようにユーザーによってシステム設定が構成されたラップトップコンピューターによって、実行されることが可能である。より一般的には、図2を参照して説明されたコンピューターシステム200等のシステムが、方法600を実行する。
610において、システムは、LCDに関する照明レベルを判定する。照明レベルには、バックライトレベル及び/又は周囲照明レベルが含まれる。例えば、照明レベルは、以前のバックライトレベルに比べて減少又は増加した現時点のバックライトレベルである。又は、照明レベルは、以前の周囲照明レベルに比べて減少又は増加した現時点の周囲照明レベルである。ラップトップコンピューターの具体化において、ラップトップコンピューターは、現時点のバックライトレベルを、例えばLCDディスプレイとの通信を通じて、又はシステムの変数若しくはパラメーターにアクセスすることによって、判定することが可能である。ラップトップコンピューターは、現時点の周囲照明レベルを、周囲照明センサーとの通信を通じて、又はシステムの変数若しくはパラメーターにアクセスすることによって、判定することが可能である。これらの現時点の照明レベルは、コンピューターシステムによってアクセス可能なメモリに記憶されている以前の照明レベルと比較されることが可能である。
620において、システムは、LCD上に表示される画像を強調する。画像の全体又は画像の一部分が強調されることが可能である。即ち、画像は、選択的に強調されることが可能である。概して言うと、システムは、画像のピクセル値のうちの少なくともいくつかを、初期値から再マッピングされた値へと再マッピングする。典型的な例では、再マッピングされたピクセル値は、YUV等の輝度−彩度色空間における輝度(luma)値であり、彩度値は再マッピングされない。
例えば、いくつかの具体化において、強調には、再マッピングされるべきピクセル値のそれぞれを次式に従って初期値から再マッピングされた値へ再マッピングすることが含まれる。
Figure 0005805109
ここで、γratioは修正ガンマ値比であり、初期ピクセル値(init_pixel_value)は0から1の範囲になるよう規格化された値である。あるいはまた、初期ピクセル値は、その初期ピクセル値を、上記判定された照明レベルの変化を補償するように輝度を選択的に増加させる別のタイプの修正ガンマ値パラメーターで累乗することによって、再マッピングされる。
式2及び本明細書において提示される他の数式に関して、当該数式を実現する演算の詳細は、実装に依存して異なることが可能であるが、それでも当該数式に「従って」いることになる。例えば、数式は、予め計算された入力値と出力値の関連付けを記憶するルックアップテーブルを用いた演算により実現されることが可能であり、又は、その出力値は、当該数式を使用してオンザフライで入力値から計算されることが可能である。別の例として、数式は、当該数式に示された演算のみを使用して、等価な演算を使用して、又は付加的な演算を使用して、実現されることが可能である。別の例として、数式は、単独で、又は他の数値変形と共に、実現されることが可能である。数式は、当該数式によって示され若しくは意味される順序で演算を用いて実現されることが可能であり、又は、演算は、同じ結果をもたらすように再配列されることが可能である。
式2における修正ガンマ値比γratioは、少なくとも部分的には上記の判定された照明レベルに基づき、また少なくとも部分的には初期値に基づく。例えば、修正ガンマ値比γratioは、次のように表現されることが可能である。
Figure 0005805109
ここで、γLCDは特定のLCDに関する1.8や2.2といったようなガンマ設定値であり、またγadjustmentはガンマ調整値である。
バックライトレベルの変化を補償するために再マッピングが用いられる場合、式3のガンマ調整値γadjustmentは次のように表現されることが可能である。
Figure 0005805109
ここで、γoffset_blはバックライトレベルに依存するガンマオフセット値である。様々なバックライトレベルに対するガンマオフセット値γoffset_blの数値例は、以下において提示される。
式4は、ガンマ調整値γadjustmentが、低いレベルのピクセル値におけるγLCD(初期ピクセル値が0の時γadjustment=γLCD)から高いレベルのピクセル値におけるγoffset_bl(初期ピクセル値が最大値1の時γadjustment=γoffset_bl)へと滑らかに推移するという結果をもたらす。初期ピクセル値の平方根は、(γoffset_bl−γLCD)の項が、初期ピクセル値0に対して0となり、最大の初期ピクセル値1に対して1となり、また初期ピクセル値0と1の間で所望のカーブを有するように、当該項に対するスケーリング係数として用いられる。このように、式4は、規格化されている初期ピクセル値を仮定している。式4は、規格化されていないピクセル値に適応するように修正されることが可能である。
式4のバリエーションにおいて、画像の強調を増大させ、減少させ、又は他の方法で修正するために、(γoffset_bl−γLCD)の項に対するスケーリング係数として√(initial_pixel_value)とは異なる式が用いられることが可能である。例えば、スケーリング係数は、与えられた初期ピクセル値に対してより大きな又はより小さな強調量(即ち、より大きな又はより小さな量で再マッピングされた初期ピクセル値)を生じさせる関数とすることが可能である。
オフセットガンマ値γoffset_blは、上記の判定された照明レベルから必要とされる時に計算されること、コンピューターシステムのメモリに記憶されているルックアップテーブルから検索されること、又は、検索及び計算の何らかの組み合わせとして決定されることが可能である。ラップトップコンピューターの例を続けると、γoffset_blのルックアップテーブルは、ラップトップコンピューターの常駐メモリに記憶されることが可能である。表1は、γLCDが2.2であるLCDについての、γoffset_bl値を格納した例示のルックアップテーブルにおけるいくつかのエントリを示す。
Figure 0005805109
γoffset_blの値は、バックライトレベルの減少と共に増加し、これは、バックライトのより大きなレベル低下に対してより大きな量の画像強調を生じさせることに貢献する。表1はまた、γoffset_bl値が大体においてバックライト値の減少と共に単調に増加することを示している。
周囲照明レベルの変化を補償するためにこの再マッピングが用いられる場合、式2及び4の再マッピングされたピクセル値remapped_pixel_valueとガンマ調整値γadjustmentは、次のように表現されることが可能である。
Figure 0005805109
Figure 0005805109
ここで、γoffset_ambは周囲照明レベルに依存するガンマオフセット値であり、またaは次のように表現されることが可能なスケーリングパラメーターである。
Figure 0005805109
ここで、bは、周囲照明レベル、又は低いレベルのピクセル値に対して用いられる目標輝度である。様々な周囲照明レベルに対するガンマオフセット値γoffset_ambの数値例は、以下に表2において提示される。このガンマ調整値γadjustmentによれば、再マッピングされたピクセル値remapped_pixel_valueは、少なくとも部分的には判定された照明レベルに基づき、また少なくとも部分的には初期ピクセル値に基づく。
式5−7は、再マッピングされたピクセル値(remapped_pixel_value)が、低いレベルのピクセル値における非ゼロの値(初期ピクセル値が0の時、γadjustment=γoffset_amb、及びremapped_pixel_value=a1/γoffset_amb)から高いレベルのピクセル値における1.0へと滑らかに推移するという結果をもたらす。このように、周囲照明の増大に応じて、本方法600は、主として画像のより暗い領域を強調し、中程度の明るさの領域をより暗い領域よりも少ない量だけ増大させ、そして、高いレベルの明るさの領域を強調されない画像と大体同じ明るさに維持するように動作することが可能である。
式5−7のバリエーションにおいて、様々な数式によって、ピクセル値の増大に合わせて非ゼロの値から1.0へと、再マッピングされたピクセル値の滑らかな推移が生じる。オフセットガンマ値γoffset_ambは、上記の判定された照明レベルから必要とされる時に計算されること、コンピューターシステムのメモリに記憶されているルックアップテーブルから検索されること、又は、検索及び計算の何らかの組み合わせとして決定されることが可能である。再びラップトップコンピューターの例を続けると、γoffset_ambのルックアップテーブルは、ラップトップコンピューターの常駐メモリに記憶されることが可能である。
表2は、γLCDが2.2であるLCDについての、γoffset_amb値を格納した例示のルックアップテーブルにおけるいくつかのエントリを示す。再マッピングは非ゼロの周囲照明値bに対してのみ行われるが、このことは、本明細書において説明された方法を利用するシステムが、完全に真っ暗な状態にあるのでない限り画像を必ず強調する、ということを意味しない。周囲照明の下限値は指定されることが可能である。もし周囲照明レベルがこの指定された下限値よりも下であれば、周囲照明値bは0.0であるとみなされ、如何なる再マッピングや画像強調も行われないだろう。
Figure 0005805109
表2に示されたマッピングの例において、周囲照明レベルが0.03から0.05、0.1へと変化すると、γoffset_ambは減少し、その後増加する。このように、γoffset(例えばγoffset_bl又はγoffset_ambの何れか)のルックアップテーブルは、少数のエントリを格納して少量のメモリを必要とすることが可能である。ルックアップテーブルにおいて対応するエントリのないバックライト又は周囲照明値に対応するガンマオフセット値は、線形補間又は別の形式の補間を用いて、存在しているエントリから補間されることが可能である。あるいはまた、γoffset_bl及びγoffset_ambは、コンピューターシステム上で実行されているソフトウェア又はコンピューターシステムに設けられたハードウェア(即ちGPU)によって、再マッピング処理中にリアルタイムで計算されることが可能である。
同様に、ガンマオフセット値が決定された後、処理ブロック620で行われる再マッピングの間に、ガンマ調整値γadjustmentが各ピクセル値に対して計算されることが可能である。あるいはまた、ガンマオフセット値が決定された後に、とり得る各ピクセル値に対してγadjustmentのとり得る値が計算され、その結果のγadjustment値がルックアップテーブル又は初期ピクセル値によってインデックスを付された他のデータ構造に記憶されることが可能である。それ故、再マッピングは、画像中の任意の与えられた初期ピクセル値に対するγadjustment値をデータ構造から検索することを含むことが可能であり、こうして、再マッピング中にγadjustment値を再計算しなくても済むようにしている。再マッピングされたピクセル値(remapped_pixel_value)は、同様に、オンザフライで計算され、又は、予め計算されてルックアップテーブル若しくは他のデータ構造に記憶されることができる。
更に、バックライトレベルと周囲照明レベルの両方に依存するγadjustment及び/又はremapped_pixel_valueの数式は、ピクセル値の再マッピングのために同様に用いられることが可能である。別の代替手段として、単独の初期ピクセル値を考慮してガンマ調整値γadjustment及び/又はremapped_pixel_valueを計算する代わりに、再マッピングは、例えば、暗いピクセル値を強調することによって暗い領域におけるコントラストを増大させるために、けれども当該暗いピクセル値をそれらが明るいピクセル値に囲まれている場合と同じ程度には調整しないようにするために、強調されるべきピクセル値の周りの隣接する他のピクセル値を考慮に入れることが可能である。
図6に戻って、画像が620において強調された後、システムは、630において、当該強調された画像をLCDへ出力する。LCDへの強調された画像の出力は、例えば、コンピューティングデバイスが再マッピングされたピクセル値を外部のLCDへ送信すること、又は、LCDコントローラー若しくはコンピューティングデバイスの他のコンポーネントがそのデバイスに統合されたLCDへ当該強調された画像のデータを送信することを含むことが可能である。
<ピクセル値の再マッピング例>
図7は、現在のバックライトレベルが以前のフルバックライトレベルから25%低下し、またLCDがガンマ値2.2(γLCD=2.2)を有する場合についての、初期ピクセル値と再マッピングされたピクセル値の関係を示す曲線710及び720のプロット700である。ガンマオフセット値は、表1に示された規格化バックライトレベル0.7と0.8(それぞれ低下率30%及び20%)に対するγoffset_bl値2.571と2.832から線形補間された、2.70(γoffset_bl=2.70)である。
曲線720は、初期及び再マッピングされたピクセル値間に修正が加えられていない(即ち、再マッピングされたピクセル値が初期ピクセル値と同じである)基準曲線である。曲線710は、バックライトレベルの低下に応じて初期ピクセル値をより大きな再マッピングされたピクセル値へと再マッピングしたものを示し、中間レベルのピクセル値が低いレベル又は高いレベルの値よりもより大きい分量で再マッピングされている。
図5を再び参照すると、曲線520は、図4の強調された画像の半分420に対するトーンカーブである。再マッピングされたピクセル値の輝度は、式2を式1に代入することによって次のように表現されることが可能である。
Figure 0005805109
上で論じられたように、トーンカーブ520は、低下したバックライトで表示された強調された画像の半分420における暗い領域が、フルバックライトで表示された強調されない画像310のものと同じくらいであると感じられる輝度を有することを示している。それと同時に、低下したバックライトでは、強調された画像の半分420における中間レベル(及びそれより高いレベル)のピクセル値は、強調されない画像の半分430よりも明るい(又は同じ明るさである)が、フルバックライトで表示された強調されない画像310の対応するピクセル値よりもぼやけた状態であるのが目立つ。
図8は、現在の周囲照明レベルが0.1(b=0.1)であり、またLCDがガンマ値2.2(γLCD=2.2)を有する場合についての、初期ピクセル値と再マッピングされたピクセル値の関係を示す曲線810及び820のプロット800である。ガンマオフセット値は1.75(γoffset_amb=1.75)である。曲線810は、初期及び再マッピングされたピクセル値間に修正が加えられていない(即ち、再マッピングされたピクセル値が初期ピクセル値と同じである)基準曲線である。曲線820は、b=0.1の時に周囲照明レベルの増加に応じて初期ピクセル値をより大きな再マッピングされたピクセル値へと再マッピングしたものを示す。低いレベルのピクセル値における輝度は、中間レベル及び高いレベルの値における輝度よりもより大きい分量で増大しており、その輝度の増大量はピクセル値の増加と共に減少し、高いレベルのピクセル値における輝度は増大するとしても少量だけである。
図9は、フルLCDバックライトで表示された画像についてのトーンカーブ910及び920のプロット900であり、周囲照明レベルが増大したために画像強調を行ったもの(曲線920)と行っていないもの(曲線910)を表す。曲線910は、強調されない画像に対する、又は低い周囲照明条件(即ち周囲照明レベルb=0.1)で表示された画像に対するトーンカーブである。トーンカーブ920は、画像の暗い領域が増大した周囲照明条件下で(顕著により明るく)強調され、中間レベル及びより高いレベルのピクセル値も強調されるが、その量は低いレベルのピクセル値よりも少量だけであるということを表している。強調された画像におけるより高いレベルのピクセル値の輝度は、強調されない画像におけるより高いレベルのピクセル値の輝度と1つに収斂している。
<使用シナリオと代替手法>
一般化された画像強調方法600が、画像の輝度を選択的に増大させるために初期ピクセル値がより大きなピクセル値に再マッピングされる事例のコンテキストにおいて説明されてきたが、画像強調はまた、バックライトレベルの増大に応じて初期ピクセル値をより小さなピクセル値に再マッピングすることをも含む。例えば、もしバックライトレベルが、周囲照明レベルの増大、又は低電力モード(即ち休止状態、スタンバイ状態等)から通常モードへ遷移するオペレーティングシステムに応じて増大したら、本方法600は、画像が過度に明るくなることを防止するために初期ピクセル値をより低いピクセル値に再マッピングすることが可能である。
更に、画像の強調は、信号値の再マッピングに加えて、又はその一部分として、デジタル信号処理(digital signal processing:DSP)技術の応用を含むことが可能である。例えば、再マッピング演算若しくはバックライト低下の結果として発生し得る、疑似輪郭又は縞模様のアーティファクトの混入を軽減又は回避するために、強調が行われている画像に対して高周波数のディザリング信号が適用されることが可能である。縞模様のアーティファクト即ち疑似輪郭は、例えば、広いレンジの初期ピクセル値が少数のピクセル値で置き換えられて、当該画像におけるピクセル値の緩やかな変化が目立つ境界線に取って代わられる場合に発生することがある。このディザリング信号は、ピクセル値が再マッピングされた後に、画像全体にわたって追加され又はピクセル値が再マッピングされた強調領域にのみ追加されるパターンを用いて、当該画像に対して添加されることが可能である。このパターンは、予め生成され、又は表示の前にオンザフライで生成されることが可能である。例えば、ディザリング信号は、例えば0の周りのガウス分布に従って−0.5から0.5までのような少量だけ、サンプル値を摂動させる。
画像強調の一部分として他のDSP演算が含まれることも可能である。例えば、画像強調は、再マッピングの結果としての、画像の1つ又は複数の領域におけるディテールの消失を検出して、それらの領域のコントラストをシャープにすることを含むことが可能である。再マッピングを行った後であっても、バックライトレベルの低下によって明るいエリアのディテールが失われることがあり、そのようなコントラスト調整は、そうしたディテールの維持に役立つことが可能である。反対に、暗い領域における再マッピングは、当該暗い領域における歪みを意図せずにより目立たせることがあり、DSP演算はそのような歪みを識別し滑らかにすることが可能である。
いくつかのシナリオにおいて、ユーザーの指示に応じ、ユーザーの好みに従い、アプリケーションの設定に従い、又はシステム設定に従い、現在のバックライトレベルが直接的に低下する。他のシナリオにおいて、実際のバックライトレベル、現在の周囲照明レベル、及び画像のコンテンツを考慮して、システムは、例えば表示コンテンツの大部分が暗い場合に、鑑賞者に変化を気付かせずに、バックライトレベルを低下させながらピクセル値を積極的に調整することが可能である。
電力消費の低減が目標でない場合であっても、本明細書において説明された画像強調技術は、ハイライト効果を達成するために用いられることが可能である。例えば、低下したバックライトレベルで表示された画像において、その画像の選択された一部分に関係付けられているピクセル値が強調されて、当該一部分の輝度が、フルバックライトで表示された場合と同じであると感じられるようにすることが可能である。ハイライトされる画像の一部分は、ユーザー、オペレーティングシステム、又はコンピューティングデバイス上で走っているアプリケーションによって、ディスプレイの他の非アクティブなエリアと区別されるアクティブなエリアとして選択されることが可能である。このようなハイライトの特徴は、バックライトを低下したレベルに保持し、より多くのソース光が当該画像部分に関係付いている表示ピクセルを通過できるようにすることによって、LCDの電力消費を低減することが可能である。
別の使用シナリオにおいて、本明細書において説明された画像強調技術は、単一のコンピューターシステムで使用される複数のモニターに表示されたコンテンツの輝度を揃えるために適用される。
エンドユーザーの比較的単純なコンピューティングデバイスが1つ又は複数のサーバーコンピューターにネットワークを通じて接続される「クラウド」コンピューティングの具体化において、エンドユーザーのデバイスは、そのバックライトレベル、又はその周囲照明条件に関する情報をサーバーコンピューターに伝達することが可能である。サーバーコンピューターは、このクラウドに接続されたエンドユーザーデバイスのバックライトレベル又は周囲照明条件に基づいて、メディアコンテンツを調整することが可能である。次いで、強調されたコンテンツが表示のためにエンドユーザーデバイスへ配信されることが可能である。本明細書において説明された方法は、自動的に、又はユーザーの選択によって、使用可能とされることができる。いくつかの実施態様において、周囲照明センサーが組み込まれたコンピューティングデバイス又はLCDモニターは、バックライトレベルを自動的に低下させ、周囲照明レベルの低下に応じて画像を強調することが可能である。他の実施態様において、ユーザーは、本明細書において説明された画像強調技術が低下したバックライトレベルの条件で利用されるかどうかを制御する、システム設定(例えば、オペレーティングシステム設定、アプリケーション設定)を構成することが可能である。
本明細書において説明された方法は、ソフトウェア若しくはハードウェア、又はソフトウェアとハードウェアの組み合わせの何れかにおいて実現されることが可能である。例えば、本方法は、LCDに接続されたコンピューティングデバイス上で走るオペレーティングシステム、GPUファームウェア、若しくはアプリケーションにおいて、又はLCDに設けられたプロセッサー上で走るファームウェアによって実現されることが可能であり、又は、その機能は、そのようなコンポーネント間に分解されることが可能である。あるいはまた、本方法の一部分又はその全ては、中央処理装置、グラフィック処理装置、若しくは画像データをLCDへ出力するコンピューティングデバイスの任意の他のハードウェアコンポーネント上に設けられ、又はLCDに設けられた、回路において実現されることが可能である。
加えて、本出願の事例は基本的に輝度ピクセル値の再マッピングにフォーカスしてきたが、本明細書において説明された方法は、如何なる色空間のピクセル値でも再マッピングすることが可能である。例えば、YUV(例えばYPbPr、YCbCr)色空間で表現された画像の輝度(Y’)ピクセル値を再マッピングし彩度ピクセル値(U、V)を再マッピングしないことによって、又は、RGB色空間で表現された画像の赤色、緑色、及び青色のサブピクセル値を再マッピングすることによって、画像は強調されることが可能である。
特に、具体化を簡略にするために、ビデオ又は画像のコンテンツに関して、本明細書において説明された方法は、ビデオ又は画像のデコード処理から出力された再構成輝度ピクセル値に対して適用されることが可能である。ビデオのデコード及び表示を担当するビデオカード又はGPUにおいて、ビデオ描画モジュールは、ビデオ又は画像コンテンツのピクセル値が依然として8ビット又は10ビットの整数表現であって輝度/彩度色空間にある限りは、デコード処理の直後に再マッピング演算を実行することが可能である。
本明細書において提示された技術は、プログラムモジュールに含まれているようなコンピューター実行可能命令の一般的なコンテキストで説明されることが可能であり、又は、現実若しくは仮想ターゲットプロセッサー上のコンピューティングシステムにおいて実行されている、システムの「エンジン」を構成しているとして説明されることが可能である。一般的に、プログラムモジュールは、特定のタスクを実行し、又は特定の抽象データ型を実現する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等を含む。プログラムモジュールの機能は、様々な具体化において要求に応じ組み合わせられ、又は複数のプログラムモジュールに分解されることが可能である。プログラムモジュールのコンピューター実行可能命令は、ローカル若しくは分散コンピューティングシステム又は環境において実行されることが可能である。
本明細書において説明された方法の何れもが、1つ又は複数のコンピューター読み取り可能媒体(例えばコンピューター読み取り可能記憶媒体又は他の有形媒体)の中のコンピューター実行可能命令によって実現されることが可能である。そのような命令は、コンピューターシステムに当該説明された方法を実行させることが可能である。本明細書において説明された技術は、様々なプログラム言語で実現されることが可能である。
例示された実施態様の原理を図示及び説明してきたが、これらの実施態様は、上述された概念に忠実であることを維持しながら、様々な構成に修正されることが可能である。開示された発明の原理が適用されることが可能な考え得る多くの実施態様を考慮すると、例示された実施態様は本発明の単なる好ましい事例であり、本発明の範囲を限定するとして捉えられるべきでないことは、認識されなければならない。そうではなく、本発明の範囲は、以下に述べるクレームによって定義される。我々はそれ故、我々の発明として、当該クレームの範囲及び趣旨の中に入る全てのものを請求する。

Claims (8)

  1. プロセッサーとメモリを含むコンピューティングデバイスによって実行される、液晶ディスプレイ上で表示するための画像を強調する方法であって
    液晶ディスプレイに関係する照明レベルを判定するステップであって、前記判定された照明レベルにはバックライトレベルと周囲照明レベルのうちの少なくとも1つが含まれる、ステップと、
    前記液晶ディスプレイ上に表示される画像を強調するステップであって、前記画像はピクセル値を有する複数のピクセルを含み、前記複数のピクセルの少なくともいくつかのうちのそれぞれのピクセルについて、
    修正ガンマ値パラメーターを決定するステップと、
    初期値を前記修正ガンマ値パラメーターの指数で累乗する方程式に従って、前記ピクセルのピクセル値を初期値から再マッピングされた値へ再マッピングするステップと、
    を含む、強調するステップと、
    前記強調された画像を前記液晶ディスプレイ上に表示するために出力するステップと、
    を含み、前記修正ガンマ値パラメーターはγ LCD /γ adjustment に従って設定された比に依存し、γ LCD は前記液晶ディスプレイのガンマ設定値であり、γ adjustment は前記バックライトレベルと前記周囲照明レベルのうちの少なくとも一方の関数として決定されたガンマオフセット値に少なくとも部分的に基づいたガンマ調整値である、方法。
  2. 前記バックライトレベルは以前のバックライトレベルに比べて減少した現時点のバックライトレベルであり、前記再マッピングは前記画像の少なくともいくつかのピクセルの輝度を選択的に増加させ、
    又は、前記周囲照明レベルは以前の周囲照明レベルに比べて減少した現時点の周囲照明レベルであり、前記再マッピングは前記画像の少なくともいくつかのピクセルの輝度を選択的に減少させ、
    又は、前記周囲照明レベルは以前の周囲照明レベルに比べて増加した現時点の周囲照明レベルであり、前記再マッピングは前記画像の少なくともいくつかのピクセルの輝度を選択的に増加させる、
    請求項1に記載の方法。
  3. 前記再マッピングされたピクセル値は表示される画像の一部分と関係付いており、前記一部分と関係付いていないピクセル値は再マッピングされず、前記バックライトレベルは以前のバックライトレベルに比べて減少した現時点のバックライトレベルであり、前記再マッピングは前記画像の前記一部分に関係付いているピクセルの輝度を増加させて、前記現時点のバックライトレベルで表示された画像の前記一部分が、前記画像の前記一部分が前記以前のバックライトレベルで表示された場合の輝度と知覚的に同じ輝度で表示されるようにする、請求項1に記載の方法。
  4. 前記強調するステップは更に、
    それぞれが前記判定された照明レベル及びとり得るピクセル値に少なくとも部分的に基づく複数の修正ガンマ値パラメーターを計算するステップと、
    前記複数の修正ガンマ値パラメーターを前記メモリに記憶するステップであって、前記複数の修正ガンマ値パラメーターは対応するとり得るピクセル値によってインデックスを付される、ステップと、を含み、
    前記修正ガンマ値パラメーターを決定するステップは、再マッピングされる前記ピクセル値の前記初期値に基づいて前記複数の修正ガンマ値パラメーターのうちの1つを前記メモリから検索するステップを含む、
    請求項1又は2に記載の方法。
  5. 前記ガンマ調整値は、
    γadjustment=γLCD+(γoffset−γLCD)×√(init_pixel_value)
    に従って設定され、γoffsetは前記バックライトレベルの関数として決定されるガンマオフセット値であり、init_pixel_valueは再マッピングされる前記ピクセル値の前記初期値である、請求項に記載の方法。
  6. 前記ガンマ調整値は、
    γadjustment=γLCD+(γoffset−γLCD)×√(1−init_pixel_value)
    に従って設定され、γoffset前記周囲照明レベルの関数として決定されるガンマオフセット値であり、init_pixel_valueは再マッピングされる前記ピクセル値の前記初期値である、請求項に記載の方法。
  7. プロセッサーと、
    前記プロセッサーを用いて画像を強調する液晶ディスプレイコントローラーと、
    を備えたグラフィック処理装置であって、前記液晶ディスプレイコントローラーは、
    液晶ディスプレイに関係する照明レベルを受け取るステップであって、前記受け取られた照明レベルには現時点のバックライトレベルが含まれ、前記現時点のバックライトレベルは以前のバックライトレベルに比べて減少している、ステップと、
    前記液晶ディスプレイ上に表示される画像を強調するステップであって、前記画像は複数のピクセル値を含み、前記強調は前記複数のピクセル値少なくともいくつかのうちのそれぞれを、初期値を修正ガンマ値パラメーターの指数で累乗する方程式に従って初期値から再マッピングされた値へ再マッピングすることを含み、
    前記修正ガンマ値パラメーターはγLCD/γadjustmentに従って設定された比であり、
    γLCDは前記液晶ディスプレイガンマ設定値であり、
    γadjustment
    γadjustment=γLCD+(γoffset−γLCD)×√(init_pixel_value)
    に従って設定されたガンマ調整値であり、
    γoffsetは前記現時点のバックライトレベルの関数として決定されるガンマオフセット値であり、
    init_pixel_valueは再マッピングされる前記ピクセル値の前記初期値である、ステップと、
    前記強調された画像を前記液晶ディスプレイ上に表示するために出力するステップと、
    実行するように適合されている、グラフィック処理装置。
  8. ンピューティングデバイスによって実行されると前記コンピューティングデバイスに請求項1から6のいずれか1項に記載の方法を実施させるコンピューター実行可能命令を記憶したコンピューター読み取り可能媒体。
JP2012551988A 2010-02-02 2011-01-16 液晶ディスプレイ上で表示するための画像を強調する方法、グラフィック処理装置、及びコンピューター読み取り可能媒体 Active JP5805109B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/698,989 2010-02-02
US12/698,989 US8866837B2 (en) 2010-02-02 2010-02-02 Enhancement of images for display on liquid crystal displays
PCT/US2011/021440 WO2011097059A2 (en) 2010-02-02 2011-01-16 Enhancement of images for display on liquid crystal displays

Publications (2)

Publication Number Publication Date
JP2013519119A JP2013519119A (ja) 2013-05-23
JP5805109B2 true JP5805109B2 (ja) 2015-11-04

Family

ID=44341230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012551988A Active JP5805109B2 (ja) 2010-02-02 2011-01-16 液晶ディスプレイ上で表示するための画像を強調する方法、グラフィック処理装置、及びコンピューター読み取り可能媒体

Country Status (10)

Country Link
US (1) US8866837B2 (ja)
EP (1) EP2532152B1 (ja)
JP (1) JP5805109B2 (ja)
KR (1) KR101783497B1 (ja)
CN (1) CN102726036B (ja)
AU (1) AU2011213265B2 (ja)
CA (1) CA2786454C (ja)
MX (1) MX2012008782A (ja)
TW (1) TWI534784B (ja)
WO (1) WO2011097059A2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620819B (zh) * 2009-06-25 2013-10-16 北京中星微电子有限公司 显示图像背光亮度的动态调整方法、装置及移动显示设备
US8988552B2 (en) * 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
CA3114448C (en) 2011-12-06 2023-06-27 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
US10242650B2 (en) 2011-12-06 2019-03-26 Dolby Laboratories Licensing Corporation Perceptual luminance nonlinearity-based image data exchange across different display capabilities
WO2013086543A2 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Ambient light alert for an image sensor
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9736443B2 (en) 2013-03-04 2017-08-15 Intel Corporation Adaptive image management of a projector system
TW201440019A (zh) * 2013-04-02 2014-10-16 Novatek Microelectronics Corp 顯示裝置、資料增益調整電路及資料增益調整方法
CN105556587B (zh) * 2013-09-20 2018-04-03 夏普株式会社 控制装置和控制装置的控制方法
WO2015098669A1 (en) * 2013-12-26 2015-07-02 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
KR102262566B1 (ko) * 2014-10-10 2021-06-07 엘지디스플레이 주식회사 투명 디스플레이 장치
KR102364380B1 (ko) * 2015-02-23 2022-02-18 삼성디스플레이 주식회사 표시 장치 및 그것의 구동 방법
AU2016270443B2 (en) * 2015-06-05 2019-01-03 Apple Inc. Rendering and displaying high dynamic range content
CN104902141B (zh) * 2015-06-08 2018-06-26 西安诺瓦电子科技有限公司 图像处理方法及装置
US10345887B2 (en) * 2016-05-06 2019-07-09 Mediatek Inc. Adaptive optimization of low power strategies
JP2018013696A (ja) * 2016-07-22 2018-01-25 キヤノン株式会社 画像処理装置および表示装置
US10930223B2 (en) * 2016-12-22 2021-02-23 Dolby Laboratories Licensing Corporation Ambient light-adaptive display management
US20180204524A1 (en) * 2017-01-19 2018-07-19 Microsoft Technology Licensing, Llc Controlling brightness of an emissive display
CN106846273A (zh) * 2017-01-23 2017-06-13 上海兴芯微电子科技有限公司 一种Gamma校正的方法及装置
CN108989539B (zh) * 2017-06-02 2019-07-05 广东夏野日用电器有限公司 一种信息终端
TWI635752B (zh) 2017-08-31 2018-09-11 Yuan Ze University 具有功率約束的影像增強方法、影像處理裝置及顯示系統
CN110149550B (zh) * 2018-06-19 2022-02-11 腾讯科技(深圳)有限公司 一种图像数据处理方法、装置和存储介质
US11335278B2 (en) * 2019-01-03 2022-05-17 Guangdong Xiaye Household Electrical Appliances Co., Ltd. Self-adaptive adjustment method based on ambient light distribution field
CN113168038B (zh) * 2019-03-28 2023-03-28 华为技术有限公司 一种显示图像的方法、装置
CN111785223A (zh) * 2019-04-04 2020-10-16 海信视像科技股份有限公司 一种双面板显示装置
CN110213554B (zh) * 2019-07-03 2021-07-13 大峡谷照明系统(苏州)股份有限公司 一种图像映射播放器及像素点调试的方法
WO2021081017A1 (en) * 2019-10-21 2021-04-29 Michael Shur Smart visual display
CN110867172B (zh) * 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN112988098A (zh) * 2021-04-06 2021-06-18 恒玄科技(上海)股份有限公司 终端设备、图像处理方法和存储介质
CN113628137B (zh) * 2021-08-03 2024-04-16 武汉三江中电科技有限责任公司 一种光线不足环境下的图像增强算法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5662243A (en) * 1979-10-25 1981-05-28 Fuji Photo Film Co Ltd Color film checking device
US5712474A (en) * 1993-09-29 1998-01-27 Canon Kabushiki Kaisha Image processing apparatus for correcting blurring of an image photographed by a video camera
JP3804254B2 (ja) * 1998-02-16 2006-08-02 セイコーエプソン株式会社 液晶プロジェクション装置
US7664864B2 (en) * 1998-11-13 2010-02-16 Verisign, Inc. Meta content distribution network
JP4131645B2 (ja) * 2002-06-18 2008-08-13 富士通株式会社 アパーチャグリル方式のディスプレイ装置および輝度の制御方法
US20050213120A1 (en) * 2002-08-08 2005-09-29 Satoshi Ohkawa Image data processing device, image data processing method, program, recording medium, and image reading device
US7043090B2 (en) * 2002-10-02 2006-05-09 Eastman Kodak Company Enhancing the tonal characteristics of digital images using expansive and compressive tone scale functions
JP3715616B2 (ja) * 2002-11-20 2005-11-09 Necディスプレイソリューションズ株式会社 液晶表示装置及び該装置のコモン電圧設定方法
EP1640964B1 (en) * 2003-10-16 2011-03-02 Panasonic Corporation Matrix type display apparatus and method of driving the same
KR100533727B1 (ko) * 2003-12-01 2005-12-06 엘지전자 주식회사 플라즈마 디스플레이 패널의 구동 장치
JP2006030318A (ja) * 2004-07-12 2006-02-02 Sanyo Electric Co Ltd 表示装置
EP1810182A4 (en) * 2004-08-31 2010-07-07 Kumar Gopalakrishnan METHOD AND SYSTEM FOR PROVIDING INFORMATION SERVICES RELEVANT TO VISUAL IMAGE
US7545397B2 (en) 2004-10-25 2009-06-09 Bose Corporation Enhancing contrast
KR100564639B1 (ko) 2004-11-06 2006-03-28 삼성전자주식회사 디스플레이 상태 조절용 기능블록 및 조절방법
US7800577B2 (en) * 2004-12-02 2010-09-21 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics
US9083969B2 (en) * 2005-08-12 2015-07-14 Sharp Laboratories Of America, Inc. Methods and systems for independent view adjustment in multiple-view displays
US7768496B2 (en) * 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
US8120570B2 (en) 2004-12-02 2012-02-21 Sharp Laboratories Of America, Inc. Systems and methods for tone curve generation, selection and application
US7782405B2 (en) * 2004-12-02 2010-08-24 Sharp Laboratories Of America, Inc. Systems and methods for selecting a display source light illumination level
KR20060081218A (ko) 2005-01-07 2006-07-12 엘지전자 주식회사 모니터의 색상 조정장치
EP1701331A1 (en) 2005-03-07 2006-09-13 Research In Motion Limited System and method for adjusting a backlight for a display for an electronic device
US20080198117A1 (en) * 2005-03-11 2008-08-21 Takeshi Kumakura Display Device, Liquid Crystal Monitor, Liquid Crystal Television Receiver, and Display Method
US8149250B2 (en) * 2005-07-18 2012-04-03 Dialog Semiconductor Gmbh Gamma curve correction for TN and TFT display modules
JP2007171258A (ja) * 2005-12-19 2007-07-05 Sharp Corp 映像表示装置
US7873229B2 (en) 2006-02-08 2011-01-18 Moxair, Inc. Distributed processing for video enhancement and display power management
JP4405481B2 (ja) * 2006-06-30 2010-01-27 株式会社東芝 液晶表示装置
DE102006036305A1 (de) * 2006-08-03 2008-02-21 Mekra Lang Gmbh & Co. Kg Verfahren zur Berechnung von Gammakorrekturwerten sowie Bildaufnahmevorrichtung mit einer entsprechenden Gammaadaptionseinheit
CN101207709B (zh) 2006-12-22 2010-08-18 深圳创维-Rgb电子有限公司 一种伽玛曲线的调整方法及装置
KR20080068343A (ko) 2007-01-19 2008-07-23 삼성전자주식회사 액정 표시 장치와 그 구동 방법
JP2008286832A (ja) 2007-05-15 2008-11-27 Funai Electric Co Ltd 液晶表示装置及び液晶テレビジョン
US8803922B2 (en) * 2007-05-30 2014-08-12 Apple Inc. Methods and apparatuses for increasing the apparent brightness of a display
BRPI0721634A2 (pt) * 2007-06-20 2013-02-05 Thomson Licensing correÇço gama automÁtica de conteédo de fonte de entrada
TWI393102B (zh) 2007-11-05 2013-04-11 Au Optronics Corp Reduced display method for color separation of liquid crystal display
KR101351884B1 (ko) 2007-11-15 2014-01-22 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
US8194028B2 (en) 2008-02-29 2012-06-05 Research In Motion Limited System and method for adjusting an intensity value and a backlight level for a display of an electronic device
US8139021B2 (en) 2008-05-19 2012-03-20 Samsung Electronics Co., Ltd. Histogram-based dynamic backlight control systems and methods
US8098265B2 (en) * 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
US8390642B2 (en) * 2009-04-30 2013-03-05 Hewlett-Packard Development Company, L.P. System and method for color space setting adjustment

Also Published As

Publication number Publication date
EP2532152A4 (en) 2013-08-14
TW201214403A (en) 2012-04-01
US8866837B2 (en) 2014-10-21
EP2532152A2 (en) 2012-12-12
TWI534784B (zh) 2016-05-21
AU2011213265B2 (en) 2013-11-07
KR101783497B1 (ko) 2017-09-29
US20110187733A1 (en) 2011-08-04
MX2012008782A (es) 2012-08-23
CN102726036A (zh) 2012-10-10
JP2013519119A (ja) 2013-05-23
WO2011097059A2 (en) 2011-08-11
CA2786454C (en) 2017-08-29
WO2011097059A3 (en) 2011-11-17
AU2011213265A1 (en) 2012-08-02
CA2786454A1 (en) 2011-08-11
CN102726036B (zh) 2015-06-24
EP2532152B1 (en) 2019-01-09
KR20120123070A (ko) 2012-11-07

Similar Documents

Publication Publication Date Title
JP5805109B2 (ja) 液晶ディスプレイ上で表示するための画像を強調する方法、グラフィック処理装置、及びコンピューター読み取り可能媒体
US10403214B2 (en) Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
US9390681B2 (en) Temporal filtering for dynamic pixel and backlight control
US11170739B2 (en) Display optimization method and apparatus, display driving method and apparatus, display apparatus, and storage medium
JP5410731B2 (ja) バックライトの輝度抑制の制御方法及びその制御方法を用いたディスプレイシステム
JP6543442B2 (ja) 画像処理装置および画像処理方法
US9741305B2 (en) Devices and methods of adaptive dimming using local tone mapping
KR101958870B1 (ko) 소비 전력을 절감하기 위한 표시 제어 방법 및 장치
US11295703B2 (en) Displays with content-dependent brightness adjustment
US8928682B2 (en) Method and system of processing images for improved display
JP5827968B2 (ja) 表示装置、電子機器、表示装置の駆動方法及び信号処理方法
US9311688B1 (en) Rendering pipeline for color electrophoretic displays
CN113272883A (zh) 用于显示系统的依赖于视角的颜色/亮度校正
JP6226186B2 (ja) 映像表示制御装置
US10096299B2 (en) Adaptive brightness control for dark display content
US10114447B2 (en) Image processing method and apparatus for operating in low-power mode
JP2015022123A (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR102418572B1 (ko) 액정표시장치와 이의 구동방법
KR100809355B1 (ko) 영상 처리 방법
JP2022086867A (ja) 表示制御方法、および表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150901

R150 Certificate of patent or registration of utility model

Ref document number: 5805109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250