JP6616020B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP6616020B2
JP6616020B2 JP2018555328A JP2018555328A JP6616020B2 JP 6616020 B2 JP6616020 B2 JP 6616020B2 JP 2018555328 A JP2018555328 A JP 2018555328A JP 2018555328 A JP2018555328 A JP 2018555328A JP 6616020 B2 JP6616020 B2 JP 6616020B2
Authority
JP
Japan
Prior art keywords
random number
value
number sequence
information processing
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555328A
Other languages
English (en)
Other versions
JPWO2018104993A1 (ja
Inventor
護 大柿
裕樹 松崎
玲央 青木
貴司 中前
正史 東
恵太 橋
卓也 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eizo Corp
Original Assignee
Eizo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo Corp filed Critical Eizo Corp
Publication of JPWO2018104993A1 publication Critical patent/JPWO2018104993A1/ja
Application granted granted Critical
Publication of JP6616020B2 publication Critical patent/JP6616020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58Random or pseudo-random number generators
    • G06F7/588Random number generators, i.e. based on natural stochastic processes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表現可能な階調を擬似的に向上させることが可能な情報処理装置及びプログラムに関する。
画像表示装置の駆動可能な階調深度より深い階調深度の入力画像データに対してフレーム変調を施すことにより、表現可能な階調を擬似的に向上させる技術として、時系列的に切り替えられるフレーム毎に各画素の階調を制御する、いわゆるフレームレートコントロール(以下、FRC)技術が提案されている。
特許文献1には、入力画像データのビット数よりも少ないビット数からなる出力データに基づいて画像表示装置に画像を表示する技術であり、ビット精度の拡張を行う際に、周期性を有する状態遷移を利用して入力画像データの上位ビットを調整することにより、擬似的に入力画像データと同等の階調を有する出力画像データを生成する画像表示方法が開示されている。
特許文献1に開示される画像表示方法を適用し、例えば12ビットの入力画像データのうち、下位の4ビットを精度拡張に用い、上位8ビットを調整する場合のアルゴリズムについて、図1を用いて説明する。
削減する下位の4ビットで表現可能な16個の状態毎に、図1に示される周期性を持った状態遷移を定義する。ここで、A〜Hは状態記号と呼ばれ、「1」のときに上位の8ビットのうちの8ビット目に対して輝度を加算することを表す。
ここで、図1では、説明のため、下位の4ビットが取り得る16個の状態毎に、状態IDとして1〜16を付与している。また、ステート数とは、状態記号の数のことであり、輝度の加算の周期(フレーム数)を表す。
例えば、入力画像データが「101110100100」の12ビットで表現される場合には、上位ビット「10111010」と下位ビット「0100」に分けたうえで、下位ビット「0100」に対応する状態を特定する。図1の例では、状態IDが5にあたり、状態記号がDとHのときに、上位ビット「10111010」に1ビット加算することを表す。
つまり、入力画像データの1フレーム目が状態記号Aに対応する場合、1〜3フレーム目(状態記号A〜Cに対応)においては、上位ビット「10111010」をそのまま出力データとして出力する。一方、4フレーム目では、状態記号Dが1であるので、上位ビット「10111010」に1ビット加算し、「10111011」を出力データとして出力する。
5〜7フレーム目(状態記号E〜Gに対応)についても、1〜3フレームと同様に、上位ビット「10111010」をそのまま出力データとして出力する。そして、8フレーム目(状態記号Hに対応)では、4フレーム目と同様に、上位ビット「10111010」に1ビット加算し、「10111011」を出力データとして出力する。
このように、下位ビットが「0100」である場合には、8フレーム中2フレームにおいて上位ビットに1ビットを加算することにより、中間階調を表現することが可能となる。つまり、全フレームにおいて上位ビットに拡張ビットを加算上位ビットに拡張ビットを加算した場合の階調を1とすると、状態IDが5の場合には、8フレームに2回の頻度で、上位ビットに1ビット加算するので、人間の目に感じる残像により、擬似的に2/8階調、つまり、0.25階調を表現することができる。
なお、図1の例では、状態記号を8つ用いた例であるので、理想階調(状態IDとの間で線形性を有する階調であり、状態IDが1増えるごとに1/16階調ずつ増加する階調)と中間階調(図1の例で実際に表現できる擬似階調)との間には乖離がある。例えば、状態IDが2の場合には、理想階調を表現するためには、16フレームに1回の頻度で上位ビットに拡張ビットを加算する必要があるが、ステート数が最大で8つであるので、理想階調を表現することができない。
ここで、ステート数を8,7,6,5と異ならせているのは、中間階調をなるべく線形にするため、つまり、理想階調に近づけるためである。つまり、ステート数を適宜設定することにより、できるだけ中間階調が1/16ずつ増加するように調整している。例えば、状態IDが3の場合、理想階調は0.125(=2/16)である。このため、ステート数を8とし、8フレームに1回の頻度で上位ビットに1ビット加算することにより、中間階調として0.125(=1/8)を実現している。また、状態IDが14の場合、理想階調は0.8125(=13/16)である。このため、ステート数を5とし、5フレームに4回の頻度で上位ビットに1ビット加算することにより、中間階調として0.8(=4/5)を実現している。
特開2000−231368号公報
特許文献1に開示される画像表示方法では、中間階調を表現するために、周期性を有する状態遷移を用いている。このため、周期的に上位ビットが加算されることになり、人間の目からはちらつきとして視認されてしまう。これは、周期的な輝度の増加は目立つためである。
そこで、かかる周期性に起因する問題を解消するために、例えばホワイトノイズを構成する一様乱数列を用い、乱数列を構成する乱数値が所定の閾値を下回る(又は上回る)場合に上位ビットに拡張ビットを加算することにより、輝度が増加するタイミングをランダムにする技術が提案されている。しかし、かかる技術にも課題が存在する。
かかる課題について、図2を用いて説明する。図2(a)は複数の高周波成分と低周波成分の合成波(乱数列)、図2(b)は分解された低周波成分、図2(c)は分解された高周波成分を表す。また、説明のため、図2の例では高周波成分及び低周波成分がそれぞれ1つの場合を表す。
乱数列を波形とみなすと、フーリエ変換により複数の高周波成分と低周波成分に分解することができる。しかし、図2に示されるように、低周波成分の影響により、閾値を下回る、つまり、上位ビットに拡張ビットを加算するための条件が成立する時間(斜線部)が長くなる。このため、上位ビットに拡張ビットを加算するタイミングがランダムになったとしても、かかる加算を連続して実行したり、かかる加算をしばらく実行しなかったりする事態が生じてしまう。これにより、やはり人間の目からはちらつきとして視認されてしまう。
本発明はこのような事情に鑑みてなされたものであり、ちらつきを低減しつつ、擬似的に解像度を向上させることが可能な情報処理装置及びプログラムを提供するものである。
本発明によれば、乱数列を生成する乱数生成部と、入力画像データを構成する任意の数の上位ビット及び下位ビットのうち、前記下位ビットに対応付けられた閾値と前記乱数列を構成する乱数値を比較する比較器と、前記比較器による比較結果に基づいて、前記入力画像データの前記上位ビットの値を変化させる演算器と、を備え、前記閾値は、前記下位ビットの値に対して非線形的に変化するように設定され、且つ前記閾値が前記下位ビットの値に対して線形的に変化するように設定される場合に比べて前記加算後の階調の線形性が高まるように設定される、情報処理装置が提供される。
本発明によれば、乱数列を生成し、かかる乱数列を構成する乱数値と、入力画像データを構成する下位ビットに対応付けられた閾値と比較する。そして、かかる比較結果に基づいて、入力画像データの上位ビットの値を変化させる。このように、乱数列を用いて所定の処理を実行することにより、上述の図2の例が有する課題を解決することができる。さらに、かかる閾値は、下位ビットの値に対して非線形的に変化するように設定され、且つ閾値が下位ビットの値に対して線形的に変化するように設定される場合に比べて加算後の階調の線形性が高まるように設定されるため、上述した図1の例における理想階調に極めて近い中間階調を実現することが可能となる。
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記演算器は、前記上位ビットに1又は複数ビットを加算又は減算するように構成される。
好ましくは、前記演算器は、前記加算又は減算された前記上位ビットで表されるデータを出力画像データとして出力するように構成される。
好ましくは、前記乱数列は、所定の周波数の低周波成分及び前記低周波成分より高い周波数の高周波成分を含む一様波形から前記低周波成分を低減した波形に対応する乱数列であり、前記一様波形は、一様乱数列で表される波形である。
好ましくは、前記乱数に対応する波形のパワースペクトルは、高周波側に偏った強度分布を有する。
好ましくは、前記閾値は、前記乱数列を構成する乱数値のヒストグラムに基づいて決定される。
好ましくは、前記閾値は、前記乱数列を構成する乱数値の累積確率分布に基づいて決定される。
好ましくは、前記閾値は、前記累積確率分布で表される関数の逆関数に基づいて決定される。
好ましくは、前記演算器による演算は、前記入力画像データを構成する1フレーム毎に実行される。
好ましくは、前記下位ビットと前記閾値は、LUT又は数式により対応付けられる。
好ましくは、前記乱数列は、所定の周波数の低周波成分及び前記低周波成分より高い周波数の高周波成分を含む一様波形からコントラスト感度関数が所定値より大きい周波数成分を低減した波形に対応する乱数列であり、前記一様波形は、一様乱数列で表される波形である。
好ましくは、上記いずれかの情報処理装置を備える画像表示装置が提供される。
好ましくは、コンピュータを、乱数列を生成する乱数生成部、入力画像データを構成する任意の数の上位ビット及び下位ビットのうち、前記下位ビットに対応付けられた閾値と前記乱数列を構成する乱数値を比較する比較器、前記比較器による比較結果に基づいて、前記入力画像データの前記上位ビットの値を変化させる演算器、として機能させ、前記閾値は、前記下位ビットの値に対して非線形的に変化するように設定され、且つ前記閾値が前記下位ビットの値に対して線形的に変化するように設定される場合に比べてフレーム変調後の階調の線形性が高まるように設定される、情報処理プログラムが提供される。
従来のFRCについて説明するための図であり、特許文献1に開示される画像表示方法を適用し、12ビットの入力画像データのうち、下位の4ビットを精度拡張に用い、上位8ビットを調整する場合のアルゴリズムについて説明するための図である。 従来のFRCについて説明するための図であり、例えばホワイトノイズを構成する一様乱数列を用い、乱数列を構成する乱数値が所定の閾値を下回る場合に上位ビットに拡張ビットを加算することにより、輝度が増加するタイミングをランダムにする技術について説明するための図である。ここで、図2(a)は複数の高周波成分と低周波成分の合成波(乱数列)、図2(b)は分解された低周波成分、図2(c)は分解された高周波成分を表す。また、説明のため、図2の例では高周波成分及び低周波成分がそれぞれ1つの場合を表す。 図3(a)は本発明の一実施形態に係る情報処理装置10の機能ブロック図、図3(b)は入力データ、図3(c)及び図3(d)は出力データを表す概念図である。 本発明の一実施形態に係る情報処理装置10における、下位ビットの状態と、下位ビットが表す値である下位ビット値の対応関係について説明するための図である。本実施形態では、下位ビットが取り得る16個の状態毎に、下位ビット値が1/16ずつ線形に増加する。 一様乱数列から非一様乱数列を生成するアルゴリズムの一例について説明するための概念図である。図中の円は、画像表示装置の表示面における各ピクセルを表す。 図5の例において、一様乱数列を構成する乱数値の差分を計算し、かかる差分のヒストグラムを求める過程を説明するための図である。 図7(a)は図6の例における計算結果、図7(b)は図7(a)を可視化したヒストグラム、図7(c)は実際の実験において得られたヒストグラムを表す図である。 図8(a)は一様乱数列のパワースペクトルの例、図8(b)は非一様乱数列のパワースペクトルの例を表す図である。 図9(a)は、図7(c)のヒストグラムから生成される累積確率分布、図9(b)は図9(a)に示される累積確率分布で表される関数の逆関数に基づいて決定された閾値LUT、図9(c)は入力画像データに含まれる下位ビット値と上位ビットへの加算確率の関係を表す図である。図9(c)に示されるように、本発明の一実施形態に係る情報処理装置10を適用することにより、加算後の階調の線形性が高まる。 画像表示装置の表示パネルとASICの両方でFRCを実行する場合における干渉の例を説明するための概念図である。 図11(a)は図9(a)と同様の累積確率分布、図11(b)は従来のFRCにおける閾値LUT、図11(c)は下位ビット値と上位ビットへの加算確率の関係を表す図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
以下、図1〜図9を用いて、本発明の一実施形態に係る情報処理装置10について説明する。
<情報処理装置10>
図3は、本発明の一実施形態に係る情報処理装置10について説明するための図である。図3(a)は本発明の一実施形態に係る情報処理装置10の機能ブロック図、図3(b)は入力画像データ(以下、入力データ)、図3(c)及び図3(d)は出力画像データ(以下、出力データ)を表す概念図である。
情報処理装置10は、乱数生成器1、フィルタ2、閾値LUT3、比較器4、加算器5を備える。また、本実施形態では、乱数生成器1及びフィルタ2により非一様乱数生成器6が構成される。ここで、加算器5は、入力データを構成する上位ビット及び下位ビットのうち、上位ビットの値を変化させる演算器の一例である。ここで、上位ビットの値を変化させるとは、上位ビットに1又は複数ビットを加算又は減算することを意味する。また、本実施形態では、これら各要素によりフレーム変調部7が構成される。そして、フレーム変調部7によりFRCが実行される。
これらは、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、CPUがプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納しているものであってもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納しているものであってもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ASIC、FPGA、又はDRPなどの種々の回路によって実現することができる。
図3(a)に示されるように、情報処理装置10には、入力データが入力される。ここで、本実施形態では、入力データが12ビットの例について説明する。また、図3(b)に示されるように、12ビットのうち、上位8のビットを上位ビット、下位の4ビットを下位ビットとする。つまり、本実施形態に係る情報処理装置10は、12ビットの入力データのうち、下位の4ビットを削減するとともに、下位の4ビットの状態に基づいて上位の8ビットを調整するものである。
ここで、本実施形態では、図4に示されるように、下位ビットの状態毎に、下位ビットが表す値である下位ビット値が設定される。本実施形態では、下位ビットは4ビットであるので、「0000」〜「1111」までの16個の状態を取り得る。そして、下位ビットの状態が1つ変化するごとに、下位ビット値が1/16ずつ変化するように対応付ける。かかる対応関係は、図示しない記憶部に記憶される。なお、下位ビット値の意義については後述する。
乱数生成器1は、例えばホワイトノイズを構成する一様な乱数列を生成するものである。本実施形態では、0〜1までの値を一様乱数列として生成する。そして、一様乱数列を構成する乱数値(図中の一様乱数値)をフィルタ2に出力する。
フィルタ2は、0〜1までの範囲において、分布が一様でない非一様乱数列を生成するためのものである。具体的には、フィルタ2は、乱数生成器1が発生させる一様波形から、低周波成分を低減した波形に対応する乱数列を生成するためのものである。ここで、一様波形とは、所定の周波数の低周波成分及び低周波成分より高い周波数の高周波成分を含む波形を意味する。これにより、分布が一様でない非一様乱数列を生成する。つまり、乱数生成器1及びフィルタ2により非一様乱数生成器6が構成される。以下、非一様乱数列の生成アルゴリズムについて説明する。
<非一様乱数列>
図5は、一様乱数列から非一様乱数列を生成するアルゴリズムの一例について説明するための概念図である。図中の円は、画像表示装置の表示面における各ピクセルを表す。また、(x,y)は各ピクセルの位置を特定する座標を表す。図5の例では、x方向にn個のピクセルが、y方向にm個のピクセルが存在する。また、手前の画像は時刻tにおけるフレームを、奥の画像は時刻t−1におけるフレームを表す。
ここで、乱数生成器1が時刻tにおけるフレームの座標(x,y)で特定されるピクセルに対して出力した乱数値(一様乱数値)をR(x,y,t)(0〜1の範囲)とすると、フィルタ2は、「R(x,y,t)−R(x,y,t−1)」で得られる値に所定の補正を実施することにより得られる値「N(x,y,t)(0〜1の範囲)」を乱数値(非一様乱数値)として出力する。これについて、図6及び図7を用いて説明する。
図6は、R(x,y,t)が取り得る値を最上行にとり、R(x,y,t−1)が取り得る値を最左列にとり、これらの値が交差する箇所の差分「R(x,y,t)−R(x,y,t−1)」を記載した表である。
かかる差分毎に、頻度をまとめたものが図7(a)である。図6及び図7(a)に示されるように、差分(「R(x,y,t)−R(x,y,t−1)」に相当)は、「−1〜+1」までの範囲となっている。そこで、かかる範囲を「0〜1」にするために、所定の補正を実行する。具体的には、各差分に対して、一律に「0.5」を乗じ、その後「0.5」を加算する。
所定の補正がなされた各差分を、補正後差分とすると、補正後差分は、図7(a)に示されるように、「0〜1」の範囲となる。また、補正後差分毎の頻度は、図7(b)に示されるように、0.5をピークとしたヒストグラムとなっている。本実施形態では、かかる補正後差分を非一様乱数値として用いる。なお、実際の実験において得られたヒストグラムを図7(c)に示す。図7(c)の例では、乱数値の発生回数は10万回である。
ここで、かかるヒストグラムは、図8(b)に示すパワースペクトルを有する。図8(b)に示されるように、かかるパワースペクトルは、高周波側に偏った強度分布を有する。これは、いわゆるブルーノイズといわれるものに相当する。一方、乱数生成器1が生成する一様乱数列のパワースペクトルは、図8(a)に示されるような形状となる。一様乱数列では、パワースペクトルは全周波数で一様に分布している。これは、いわゆるホワイトノイズに相当する。
このように、乱数生成器1及びフィルタ2が協働し、乱数生成器1が発生させる一様乱数列で表される波形であって、所定の周波数の低周波成分及び低周波成分より高い周波数の高周波成分を含む波形(ホワイトノイズ)から、低周波成分を除去した波形に対応する乱数列(ブルーノイズ)を生成する。したがって、本実施形態では、乱数生成器1及びフィルタ2が非一様乱数生成器6として機能する。
なお、上述した方法では、少なくとも時刻tにおけるフレームと時刻t−1におけるフレームに関する情報をメモリに記憶しておく必要がある。かかる差分の計算は、入力データが1フレーム入力される度に実行してもよい。また、メモリに十分な余裕がある場合、例えば数万フレーム分の非一様乱数列を予め計算し、メモリに記憶しておいてもよい。この場合、入力データが1フレーム入力される度に、予め記憶した非一様乱数列から1フレーム分の乱数値を出力すればよい。もしくは、再現性のある乱数生成器を2基(a、b)用意し、1ピクセル毎に、乱数生成器(a)では時刻tの乱数R(x,y,t)を発生させ、また乱数生成器(b)には乱数生成器(a)の時刻t−1時点の内部状態を与えておく等の方法で乱数R(x,y,t−1)を同時に再現させることで、メモリの代わりとしてもよい。
さらに、かかる方法に代えて、乱数生成器1が生成した一様乱数列に対し、低周波成分を遮断する任意のハイパスフィルタを適用し、非一様乱数列を生成してもよい。
次に、図3に戻り、閾値LUT3、比較器4及び加算器5について説明する。
閾値LUT3は、入力データの下位ビットが表す下位ビット値(図4参照)に対応する閾値を格納したLUTである。入力データが入力されると、下位ビットを抽出し、対応する下位ビット値を取得する。そして、取得した下位ビット値に対応する閾値を比較器4に出力する。
比較器4は、フィルタ2から出力された非一様乱数値と、閾値LUT3から出力された閾値と、を比較する。そして、所定の条件を満たすか否かを判断する。本実施形態では、非一様乱数値が閾値を下回る場合に、所定の条件が満たされたと判断する。比較器4は、非一様乱数値が閾値を下回る場合に1を、そうでない場合に0を加算器5に出力する。
加算器5は、比較器から出力されたビットを上位ビットに加算する。そして、加算された上位ビットで表されるデータを出力データとして出力する。
具体的には、図3(b)に示される入力データが入力された場合であって、比較器4による比較の結果、非一様乱数値が閾値を下回る場合には、上位ビットに1ビット加算する(図3(c))。そして、かかるデータを出力データとして出力する。一方、非一様乱数値が閾値を上回る場合には、加算器5は加算処理を実行せず、入力データの上位ビットをそのまま出力データとして出力する。
ここで、入力データが図3(b)に表される状態の場合、下位ビット「0100」に対応する下位ビット値は「0.25」となる(図4参照)。したがって、4フレームに1回(1/4=0.25)の確率で加算器5による加算が実行されるのが理想的である。これは、閾値LUT3を適切に生成することにより実現される。
以下、図9を用いて閾値LUT3の生成方法について説明する。
<閾値LUT3の生成>
図9(a)は、フィルタ2から出力された乱数値が、図7(c)に示されるヒストグラムから生成される累積確率分布である。例えば、乱数値が0.3を下回る確率は、図7(c)に示されるヒストグラムの値が0.3を下回る部分の面積(=図7(c)中の破線Dより左側の領域における略三角形の面積)に等しい。本実施形態では、ヒストグラムの値が1を下回る部分の面積、つまり、ヒストグラムで表される略三角形の全面積を1として計算する。
図9(a)に示されるように、本実施形態では、ヒストグラムの値が0.3を下回る部分の面積が0.25であり、ヒストグラムの値が0.55を下回る部分の面積が0.75である。かかる計算を、ヒストグラムの値を0〜1の範囲で変化させながら計算した結果が図9(a)である。換言すると、図9(a)は、横軸が乱数値、縦軸が確率に相当し、例えばフィルタ2が出力する乱数値が0.3を下回る確率が0.25、乱数値が0.5を下回る確率が0.5、乱数値が0.55を下回る確率が0.75であることを表す。
ここで、図9(a)に示される確率分布は非線形であり、かかる確率分布で表される乱数値に基づいて上位ビットに拡張ビットを加算する場合、加算後の上位ビットが表す階調値が線形に変化しない。
これについて、図11を用いて説明する。図11(a)は図9(a)と同様の累積確率分布、図11(b)は従来のFRCにおける閾値LUT、図11(c)は下位ビット値と上位ビットへの加算確率の関係を表す図である。
例えば、下位ビット値が0.3のときには、0.3(=3/10)の確率で付加ビットを加算することが好ましい。しかし、図11(b)に示されるように、下ビット値が0.3のときの閾値をそのまま0.3とした場合、乱数値が0.3を下回る確率は、図11(a)より「0.25」となる。つまり、下位ビット値が0.3の場合には、0.25(=1/4)の確率で付加ビットが加算される結果となる。したがって、図11(c)に示されるように、加算後の上位ビットが表す階調値が線形に変化しない。
そこで、加算後の上位ビットが表す階調値の線形性を高めるために、図9(b)で示される閾値LUT3を利用する。閾値LUT3は、以下の方法で生成される。
例えば、入力データの下位ビットが「0100」、つまり下位ビット値が「0.25」である場合、4フレームに1回の確率で上位ビットに拡張ビットを加算することが求められる。このため、下位ビット値が「0.25」のときに、「乱数値<閾値」となる確率を0.25(=1/4)とするために、図9(a)に示される累積確率分布を参照する。図9(a)における確率が0.25となるのは、乱数値が0.3を下回る場合である。したがって、下位ビット値「0.25」に対応する閾値を「0.3」とすることにより、下位ビット値が「0.25」のときに「乱数値<閾値」となる確率が0.25となる。
また、下位ビットが「1100」、つまり下位ビット値が「0.75」である場合、4フレームに3回の確率で上位ビットに拡張ビットを加算することが求められる。このため、下位ビット値が「0.75」のときに、「乱数値<閾値」となる確率を0.75(=3/4)とするために、図9(a)に示される累積確率分布を参照する。図9(a)における確率が0.75となるのは、乱数値が0.55を下回る場合である。したがって、下位ビット値「0.75」に対応する閾値を「0.55」とすることにより、下位ビット値が「0.75」のときに「乱数値<閾値」となる確率が0.75となる。
このように、図9(a)に示される累積確率分布を参照し、下位ビット値に対応する閾値を決定する。つまり、ある下位ビット値に対応する閾値は、かかる下位ビット値と同じ値の確率に対応する乱数値を決定することにより定められる。これは、図9(a)に示される累積確率分布で表される関数の逆関数を求めることに相当する。
このように、図9(a)に示される累積確率分布で表される関数の逆関数を求め、かかる逆関数を図9(b)に示される閾値LUT3として利用する。
つまり、本実施形態では、閾値は、非一様乱数列を構成する乱数値のヒストグラムに基づいて決定される。また、閾値は、非一様乱数列を構成する乱数値の累積確率分布に基づいて決定される。さらに、閾値は、累積確率分布で表される関数の逆関数に基づいて決定される。
ここで、本実施形態では、閾値を乱数値がヒストグラムに含まれる所定の値を下回るときの累積確率分布に基づいて決定しているが、これに限定されない。例えば、乱数値がヒストグラムに含まれる所定の値以下となる確率、乱数値がヒストグラムに含まれる所定の値を上回る確率、乱数値がヒストグラムに含まれる所定の値以上となる確率に基づいて決定してもよい。乱数値がヒストグラムに含まれる所定の値以上となる確率又は上回る確率を採用する場合、図9(a)及び図9(b)におけるグラフは、それぞれ上下反転したものとなる。
また、閾値LUT3に代えて、下位ビット値と閾値との対応関係を表す数式を用いてもよい。この場合、かかる数式は図示しない記憶部に記憶され、加算処理を実行する度に数式に基づいて閾値が計算される。
図9(c)は、かかる閾値LUT3を用いた場合における、下位ビット値と上位ビットへの加算確率の関係を表す図である。図9(c)に示されるように、本発明の一実施形態に係る情報処理装置10を適用することにより、加算後の階調の線形性が高まる。例えば、下位ビットが「0100」、つまり下位ビット値が「0.25(=4/16)」である場合、上位ビットへの加算確率は0.25(=4/16)となっている。また、下位ビットが「1000」、つまり下位ビット値が「0.5(=8/16)」である場合、上位ビットへの加算確率は0.5(=8/16)となっている。また、下位ビットが「1100」、つまり下位ビット値が「0.75(=12/16)」である場合、上位ビットへの加算確率は0.75(=12/16)となっている。さらに、下位ビットが「1111」、つまり下位ビット値が「0.9375(=15/16)」である場合、上位ビットへの加算確率は0.9375(=15/16)となっている。このように、下位ビットの取り得る16個の状態に応じて、加算後の階調を線形にすることが可能となる。
以上説明したように、本発明の一実施形態に係る情報処理装置10は、非一様乱数列を生成する非一様乱数生成器6と、入力画像データを構成する任意の数の上位ビット及び下位ビットのうち、下位ビットに対応付けられた閾値と非一様乱数列を構成する乱数値を比較する比較器4と、比較器4による比較結果に基づいて、入力画像データの上位ビットの値を変化させる演算器(加算器5)と、を備える。ここで、本実施形態では、演算器として加算器5を利用し、上位ビットに1ビットを加算する構成としている。また、閾値は、下位ビットの値に対して非線形的に変化するように設定され(図9(b)参照)、且つ前記閾値が前記下位ビットの値に対して線形的に変化するように設定される場合に比べて加算後の階調の線形性が高まる(図9(c)参照)ように設定される。さらに、演算器(加算器5)は、加算された上位ビットで表されるデータを出力画像データとして出力するように構成される。
そして、かかる処理を、1フレーム毎に実行する。さらに、1フレームに含まれるピクセル毎に実行する。
このような構成により、上位ビットへの加算タイミングを乱数列によりランダムにしつつ、累積確率分布を用いて設定した閾値を利用することにより、加算後の階調の線形性を高めることが可能となる。これにより、非周期的に上位ビットへの加算が可能となるので、周期的に加算する従来のFRCと比較して、ちらつきを低減しつつ、擬似的に解像度を向上させることが可能となる。
<応用例>
以下、図10を用いて、情報処理装置10の応用例について説明する。
図10は、画像表示装置の表示パネルと、画像表示装置に組み込まれるASICの両方で従来のFRCを実行する場合における干渉の例を説明するための図である。例えば、12ビットの入力データをASICにおけるFRCにより8ビットの擬似階調で表現し、表示パネルにおけるFRCで8ビットの擬似階調を6ビットの擬似階調で表現する場合などが考えられる。
図10において、上段が入力データのフレーム数、中段が表示パネルにおける上位ビットへの加算タイミング、下段がASICにおける上位ビットへの加算タイミングを表す。ここで、図10の例では、2,8,14,20フレーム目において、表示パネルにおける上位ビットへの加算が実行される。つまり、表示パネルにおけるFRCは、6フレームに1回の頻度で周期的に上位ビットに拡張ビットを加算する。
一方、ASICについては、2,5,8,11,14,17,20フレーム目において、上位ビットへの加算が実行される。つまり、ASICにおけるFRCは、3フレームに1回の頻度で周期的に上位ビットに拡張ビットを加算する。
ここで、かかる周期性のため、図中の楕円で示した2,8,14,20フレーム目において、表示パネルとASICが同時に上位ビットに拡張ビットを加算することにより、互いの信号が干渉し、表示パネルに表示される画像のちらつきや縞模様のうねり等の不具合が生じてしまう。
一方、本発明の一実施形態に係る情報処理装置10を利用して、表示パネル及びASICの両方でFRCを実行した場合には、かかる干渉の頻度が低減する。つまり、表示パネル及びASICにおける上位ビットへの加算タイミングは、それぞれ乱数値に基づいてランダムに決定されるため、図10のような周期的な干渉が生じないためである。
次に、本発明の一実施形態に係る情報処理装置10を利用して、コントラスト感度関数(CSF)を低減する例について説明する。
コントラスト感度関数(CSF)は、人間の視覚特性を官能評価した関数である。これは、様々な空間周波数の波を表示した画像を被検者に提示し、その波が見えなくなる点のデータから、人間の視覚の空間周波数による感度をモデル化したものである。
一様乱数列で表される波形であって、所定の周波数の低周波成分及び低周波成分より高い周波数の高周波成分を含む波形から、フィルタ2により低周波成分を除去する構成に代えて、CSFが高い周波数成分を低減するようにフィルタ2を設計すれば、拡張ビットによる模様(又はちらつき)を人間にとって見えづらくすることが可能となる。
<その他>
以上、種々の実施形態について説明したが、本発明に係る情報処理装置10はこれらに限定されない。
例えば、上位ビットに1ビット加算することに代えて、2ビット加算してもよい。この場合、1ビット加算する場合における加算確率の1/2の確率で加算すればよい。また、必要に応じて、さらに多くのビットを加算してもよい。
さらに、上位ビットに1ビット加算するのに代えて、上位ビットを1ビット減算する構成としてもよい。例えば、1/16の確率で1ビット加算するのに代えて、1/16又は15/16の確率で1ビット減算する構成としてもよい。
また、非一様乱数生成器6として単一の乱数生成器を用いることもできる。また、入力データ及び出力データとして、12ビット及び8ビット以外の任意のビット数を採用することもできる。さらに、図3に示されるように、乱数発生器1が発生させた一様乱数を、フィルタ2を介して非一様乱数として出力する構成は、あくまで一例である。具体的な乱数の発生手法は特に限定されず、図7(b)に示されるようなヒストグラムを有するものを利用することにより、情報処理装置10として機能する。
また、情報処理装置10は、PC、サーバ又はコンピュータもしくは画像表示装置に接続するセットトップボックスとして提供することができる。また、情報処理装置10を備える画像表示装置として提供することもできる。さらに、情報処理装置10の機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、情報処理装置10の機能を実現するプログラムを、インターネット等を介して配信することもできる。
さらに、情報処理装置10を構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。
1:乱数生成器
2:フィルタ
3:閾値LUT
4:比較器
5:加算器
6:非一様乱数生成器
7:フレーム変調部
10:情報処理装置

Claims (13)

  1. 乱数列を生成する乱数生成部と、
    入力画像データを構成する任意の数の上位ビット及び下位ビットのうち、前記下位ビットに対応付けられた閾値と前記乱数列を構成する乱数値を比較する比較器と、
    前記比較器による比較結果に基づいて、前記入力画像データの前記上位ビットの値を変化させる演算器と、
    を備え、
    前記乱数列は、非一様乱数列であり、
    前記閾値は、前記下位ビットの値に対して非線形的に変化するように設定され、且つ前記閾値が前記下位ビットの値に対して線形的に変化するように設定される場合に比べて前記演算器による前記上位ビットの値の変化後の階調の線形性が高まるように設定される、
    情報処理装置。
  2. 前記演算器は、前記上位ビットに1又は複数ビットを加算又は減算するように構成される、請求項1に記載の情報処理装置。
  3. 前記演算器は、前記加算又は減算された前記上位ビットで表されるデータを出力画像データとして出力するように構成される、求項2に記載の情報処理装置。
  4. 前記乱数列は、所定の周波数の低周波成分及び前記低周波成分より高い周波数の高周波成分を含む一様波形から前記低周波成分を低減した波形に対応する乱数列であり、
    前記一様波形は、一様乱数列で表される波形である、請求項1〜請求項3のいずれか1項に記載の情報処理装置。
  5. 前記乱数に対応する波形のパワースペクトルは、高周波側に偏った強度分布を有する、請求項1〜請求項4のいずれか1項に記載の情報処理装置。
  6. 前記閾値は、前記乱数列を構成する乱数値のヒストグラムに基づいて決定される、請求項1〜請求項5のいずれか1項に記載の情報処理装置。
  7. 前記閾値は、前記乱数列を構成する乱数値の累積確率分布に基づいて決定される、請求項1〜請求項6のいずれか1項に記載の情報処理装置。
  8. 前記閾値は、前記累積確率分布で表される関数の逆関数に基づいて決定される、請求項7に記載の情報処理装置。
  9. 前記演算器による演算は、前記入力画像データを構成する1フレーム毎に実行される、請求項1〜請求項8のいずれか1項に記載の情報処理装置。
  10. 前記下位ビットと前記閾値は、LUT又は数式により対応付けられる、請求項1〜請求項9のいずれか1項に記載の情報処理装置。
  11. 前記乱数列は、所定の周波数の低周波成分及び前記低周波成分より高い周波数の高周波成分を含む一様波形からコントラスト感度関数が所定値より大きい周波数成分を低減した波形に対応する乱数列であり、
    前記一様波形は、一様乱数列で表される波形である、請求項1〜請求項10のいずれか1項に記載の情報処理装置。
  12. 請求項1〜請求項11のいずれか1項に記載の情報処理装置を備える画像表示装置。
  13. コンピュータを、
    乱数列を生成する乱数生成部、
    入力画像データを構成する任意の数の上位ビット及び下位ビットのうち、前記下位ビットに対応付けられた閾値と前記乱数列を構成する乱数値を比較する比較器、
    前記比較器による比較結果に基づいて、前記入力画像データの前記上位ビットの値を変化させる演算器、
    として機能させ、
    前記乱数列は、非一様乱数列であり、
    前記閾値は、前記下位ビットの値に対して非線形的に変化するように設定され、且つ前記閾値が前記下位ビットの値に対して線形的に変化するように設定される場合に比べて前記演算器による前記上位ビットの値の変化後の階調の線形性が高まるように設定される、
    情報処理プログラム。
JP2018555328A 2016-12-05 2016-12-05 情報処理装置及びプログラム Active JP6616020B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086020 WO2018104993A1 (ja) 2016-12-05 2016-12-05 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018104993A1 JPWO2018104993A1 (ja) 2019-10-24
JP6616020B2 true JP6616020B2 (ja) 2019-12-04

Family

ID=62491817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555328A Active JP6616020B2 (ja) 2016-12-05 2016-12-05 情報処理装置及びプログラム

Country Status (5)

Country Link
US (1) US10733964B2 (ja)
JP (1) JP6616020B2 (ja)
KR (1) KR102137113B1 (ja)
CN (1) CN110036634B (ja)
WO (1) WO2018104993A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069753A1 (ja) * 2017-10-04 2019-04-11 パナソニックIpマネジメント株式会社 映像信号処理装置、映像表示システム、及び映像信号処理方法
JP2022046836A (ja) * 2019-02-04 2022-03-24 京セラ株式会社 表示データ生成装置および表示装置
US11650795B2 (en) * 2019-08-23 2023-05-16 SK Hynix Inc. Raw read based physically unclonable function for flash memory
CN112634817A (zh) * 2020-12-23 2021-04-09 浙江大学 一种pwm调光装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0662280A (ja) * 1992-08-06 1994-03-04 Matsushita Electric Ind Co Ltd 偽輪郭補正回路
JP3094014B2 (ja) 1999-02-09 2000-10-03 株式会社ナナオ 画像表示方法および画像表示装置
JP4086520B2 (ja) * 2001-03-19 2008-05-14 株式会社リコー 多値画像の符号化及び復号化方法並びに装置
KR100859507B1 (ko) 2001-12-05 2008-09-22 삼성전자주식회사 디더링 장치 및 디더링 방법
KR100848093B1 (ko) 2002-03-18 2008-07-24 삼성전자주식회사 액정 표시 장치의 디더링 장치 및 디더링 방법
JP4374473B2 (ja) * 2003-12-24 2009-12-02 学校法人同志社 制御システムおよび照明用制御システム
US20080158033A1 (en) 2006-12-28 2008-07-03 Yasuyuki Doi Driving device for image display system
JP2008181081A (ja) 2006-12-28 2008-08-07 Matsushita Electric Ind Co Ltd 画像表示装置の駆動装置
KR20090013481A (ko) * 2007-08-02 2009-02-05 삼성전자주식회사 소스 드라이버 회로 및 이를 포함하는 액정표시장치
CN101582165B (zh) * 2009-06-29 2011-11-16 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法
US20110231465A1 (en) * 2010-03-09 2011-09-22 Phatak Dhananjay S Residue Number Systems Methods and Apparatuses
JP5382009B2 (ja) * 2011-01-21 2014-01-08 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
CN103841385B (zh) * 2012-11-26 2016-06-01 比亚迪股份有限公司 图像抖动处理方法及装置
JP2015049335A (ja) * 2013-08-30 2015-03-16 三星ディスプレイ株式會社Samsung Display Co.,Ltd. El表示装置及びel表示装置の駆動方法
CN104050928B (zh) * 2014-07-10 2017-06-27 杭州士兰微电子股份有限公司 用于led显示器的灰度显示驱动方法及装置
CN105741222B (zh) * 2015-12-31 2019-01-29 杨春芳 一种基于像素子集嵌入率估计的隐写信息定位方法

Also Published As

Publication number Publication date
CN110036634B (zh) 2021-03-09
JPWO2018104993A1 (ja) 2019-10-24
US10733964B2 (en) 2020-08-04
KR20190078652A (ko) 2019-07-04
CN110036634A (zh) 2019-07-19
KR102137113B1 (ko) 2020-07-23
US20190304410A1 (en) 2019-10-03
WO2018104993A1 (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
JP6616020B2 (ja) 情報処理装置及びプログラム
JP5419352B2 (ja) デュアル変調器ディスプレイ上での高速画像レンダリング
JP2004310671A (ja) 画像処理装置および画像処理方法並びに画像処理プログラム
US10290254B2 (en) Image processing apparatus, display apparatus, and computer-readable storage medium
KR100745979B1 (ko) 다계조 표현을 위한 디더링 장치 및 방법
JP5343458B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2011124893A (ja) 画像処理装置およびその制御方法、プログラム
JP5963942B2 (ja) 表示装置の映像信号制御方法および映像信号制御装置
JP4381240B2 (ja) 画像処理装置及びこれを用いた画像表示装置、並びに画像処理方法及びこれをコンピュータに実行させるためのプログラム
JP2016046751A (ja) 画像処理装置、画像処理方法、画像表示装置
JP7006519B2 (ja) 映像信号処理装置、ディザパターン生成方法、及びディザパターン生成プログラム
JP2011130130A (ja) 画像処理装置およびその制御方法、プログラム
JP2016080950A (ja) 画像処理装置及びその制御方法、画像表示装置、コンピュータプログラム
JP4232831B2 (ja) 画像処理装置および画像処理方法並びに画像処理プログラム
JP2019021993A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20130077044A (ko) 표시장치 및 그 영상처리방법
JP2005250470A (ja) Lcdのオーバードライブに対する動的システムアプローチ
JP2020052097A (ja) 映像信号処理装置、ディザパターン生成方法、及びディザパターン生成プログラム
KR102083403B1 (ko) 이미지 데이터 처리 방법 및 장치
JP5778809B2 (ja) 擬似階調の設定方法
JP2005190239A (ja) 画像処理回路及び画像処理方法
CN111276089B (zh) 一种灰阶补偿计算方法、装置和显示装置
JP3762933B2 (ja) 画像処理装置及びプラズマ・ディスプレイ・パネル
JP2020052098A (ja) 映像信号処理装置、ディザパターン生成方法、及びディザパターン生成プログラム
JP2016126032A (ja) 色調整装置及び色調整プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190603

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190603

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191023

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6616020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250