JP6243030B2 - 画像処理方法及び該画像処理方法を実行する画像処理装置 - Google Patents

画像処理方法及び該画像処理方法を実行する画像処理装置 Download PDF

Info

Publication number
JP6243030B2
JP6243030B2 JP2016534019A JP2016534019A JP6243030B2 JP 6243030 B2 JP6243030 B2 JP 6243030B2 JP 2016534019 A JP2016534019 A JP 2016534019A JP 2016534019 A JP2016534019 A JP 2016534019A JP 6243030 B2 JP6243030 B2 JP 6243030B2
Authority
JP
Japan
Prior art keywords
image
camera
captured
pixels
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016534019A
Other languages
English (en)
Other versions
JPWO2016009493A1 (ja
Inventor
村瀬　浩
浩 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IIX Inc
Original Assignee
IIX Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IIX Inc filed Critical IIX Inc
Publication of JPWO2016009493A1 publication Critical patent/JPWO2016009493A1/ja
Application granted granted Critical
Publication of JP6243030B2 publication Critical patent/JP6243030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0819—Several active elements per pixel in active matrix panels used for counteracting undesired variations, e.g. feedback or autozeroing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Electroluminescent Light Sources (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理方法及び該画像処理方法を実行する画像処理装置、特に、ピクセルが周期的に配列された表示パネルに表示された画像を、画素が周期的に配列されたカメラで撮像し、撮像した画像からモアレを除去又は抑制する画像処理方法及びこの画像処理方法を実行する画像処理装置に関する。
液晶パネルや有機ＥＬパネル等の表示パネルでは、光の三原色であるＲ（赤）、Ｇ（緑）、Ｂ（青）のサブピクセルを有するピクセルの集合によって、画像や映像が表示される。このような表示パネルでは、一般的に、製造工程における加工精度のバラツキによって、表示ムラが発生することがある。この表示ムラは、輝度ムラと色ムラとに大別される。
輝度ムラは、近接するピクセルの間で絶対的な明るさに差がある場合に発生する。一方、色ムラは、個々のピクセルにおけるＲ、Ｇ、Ｂの相対的な明るさの関係が、近接するピクセル間で異なる場合に発生する。
特に、有機ＥＬパネルは、ピクセルごとの有機化合物層の厚さを均一にすることが困難なことから、有機化合物層の層厚が不揃いとなることに起因する表示ムラが生じやすいという特性が存在する。
このような対策として、特許文献１には、表示パネルの各ピクセルを点灯させ、固体撮像素子を備えたカメラで撮像して各ピクセルの輝度を測定することによって表示ムラを検知し、検知した表示ムラを補正して表示パネルの画質を改善することを目的とした輝度測定方法が提案されている。
しかし、ピクセルが周期的に配列された表示パネルの画像を、撮像面上の画素が周期的に配列された固体撮像素子カメラで撮像する場合は、ピクセルが配列される周期と画素が配列される周期との間にズレが生じることに起因して、干渉縞とも称されるモアレが、撮像された画像に発生することとなる。
モアレが発生した撮像画像に基づいてピクセルの輝度を測定すると、表示パネル上でモアレに対応する位置にあるピクセルの輝度が暗く測定されること等によって輝度を正確に測定することができないことから、モアレによる影響を抑制する必要がある。
このような対策として、特許文献２には、モアレが発生している画像の空間軸の信号を周波数軸の信号に変換し、周波数軸の信号からモアレに相当する周波数の成分を除去し、しかる後、モアレに相当する周波数の成分を除去した周波数軸の信号を空間軸の信号に再度変換する方法が開示されている。
このモアレの除去方法によれば、一定の周期を有するモアレが発生している画像の空間軸の信号を、周波数軸の信号に変換することによって、モアレに相当する周波数の成分を除去することができる。
特開２０１０−２０３８８９号公報 特開２００８−０１１３３４号公報
しかし、上記特許文献２のモアレの除去方法によると、モアレに相当する周波数の成分のみを除去することは困難であって、モアレを除去する際に、モアレに相当する周波数の成分以外の周波数の成分をも除去してしまうことから、これに起因して画像の解像度が低下することが懸念される。
本発明は、上記事情に鑑みてなされたものであり、画像の解像度の低下を招くことなく、モアレによる影響を抑制することができる画像処理方法及びこの画像処理方法を実行する画像処理装置を提供することを課題とするものである。
上記課題を解決するための請求項１に記載の発明による画像処理方法は、ピクセルが周期的に配列された表示パネルの表示画像を画素が周期的に配列されたカメラで撮像し、該カメラの撮像画像を処理する画像処理方法において、前記カメラで前記表示画像をフォーカスして撮像するフォーカス画像撮像ステップと、該フォーカス画像撮像ステップの撮像画像にハイパスフィルタを適用し、該撮像画像に生じたモアレに対応する空間周波数成分を除去又は低減させて第１画像を生成する第１画像生成ステップと、前記カメラで前記表示画像をデフォーカスして撮像するデフォーカス画像撮像ステップと、該デフォーカス画像撮像ステップの撮像画像にローパスフィルタを適用して第２画像を生成する第２画像生成ステップと、前記第１画像と第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する第３画像生成ステップと、を備えることを特徴とする。
この構成によれば、フォーカス画像撮像ステップでフォーカスして撮像された撮像画像にハイパスフィルタを適用してモアレに対応する空間周波数成分を除去又は低減して第１画像を生成し、デフォーカス画像撮像ステップでデフォーカスして撮像された撮像画像にローパスフィルタを適用して第２画像を生成する。
このように生成された第１画像と第２画像とが合成されて、第１画像からモアレが除去又は低減されることによって損なわれた空間周波数成分が、ローパスフィルタを適用して生成された第２画像によって補間されて、モアレを消失又は抑制させた第３画像が生成される。
従って、表示パネルの輝度を測定するに際してモアレが適切に除去されたうえで、モアレの除去に伴って失われた空間周波数成分が補われて解像度が良好な第３画像を生成することができる。
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値であることを特徴とする。
この構成によれば、ハイパスフィルタの透過率とローパスフィルタの透過率との和が、任意の空間周波数において一定値となる。従って、空間周波数領域における空間周波数成分の抽出漏れがないことから、空間周波数成分の損失のない解像度の高い第３画像を生成することができる。
請求項３に記載の発明は、請求項１または２に記載の画像処理方法において、前記表示パネルの所定のピクセルが点灯して構成された第１アライメントパターンをフォーカスして撮像し、該第１アライメントパターンが投影される前記カメラの画素を検出して、前記フォーカス画像撮像ステップの撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係の算出に供する第１アライメントステップと、前記表示パネルの所定のピクセルが点灯して構成された第２アライメントパターンをデフォーカスして撮像し、該第２アライメントパターンが投影される前記カメラの画素を検出して、前記デフォーカス画像撮像ステップの撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係の算出に供する第２アライメントステップと、を備えることを特徴とする。
この構成によれば、第１アライメントステップにおいて、フォーカス画像撮像ステップの撮像時の表示パネルのピクセルとカメラの画素とが適切に結びつけられるとともに、第２アライメントステップにおいて、デフォーカス画像撮像ステップの撮像時の表示パネルのピクセルとカメラの画素とが適切に結びつけられる。
これにより、ピクセルと画素との対応関係の適切な結びつけが行われて第１画像及び第２画像が生成されることから、良好な第３画像を生成することができる。
上記課題を解決するための請求項４に記載の発明による画像処理装置は、画素が周期的に配列され、ピクセルが周期的に配列された表示パネルの表示画像を撮像するカメラを備え、該カメラによる撮像画像を処理する画像処理装置において、前記カメラによって前記表示画像がフォーカスされて撮像された撮像画像からモアレに対応する空間周波数成分を除去又は低減して第１画像を生成するハイパスフィルタと、前記カメラによってデフォーカスされて撮像された撮像画像から第２画像を生成するローパスフィルタと、前記第１画像と第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する画像合成部と、を備えることを特徴とする。
この構成によれば、フォーカス画像撮像ステップでフォーカスして撮像された撮像画像にハイパスフィルタを適用してモアレに対応する空間周波数成分を除去又は低減して第１画像を生成し、デフォーカス画像撮像ステップでデフォーカスして撮像された撮像画像にローパスフィルタを適用して第２画像を生成する。
このように生成された第１画像と第２画像とが合成されて、第１画像からモアレが除去又は低減されることによって損なわれた空間周波数成分が、ローパスフィルタを適用して生成された第２画像によって補間されて、モアレを消失又は抑制させた第３画像が生成される。
従って、表示パネルの輝度を測定するに際してモアレが適切に除去されたうえで、モアレの除去に伴って失われた空間周波数成分が補われて解像度が良好な第３画像を生成することができる。
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値であることを特徴とする。
この構成によれば、ハイパスフィルタの透過率とローパスフィルタの透過率との和が、任意の空間周波数において一定値となる。従って、空間周波数領域における空間周波数成分の抽出漏れがないことから、空間周波数成分の損失のない解像度の高い第３画像を生成することができる。
請求項６に記載の発明は、請求項４または５に記載の画像処理装置において、前記表示パネルの所定のピクセルが点灯して構成された第１アライメントパターンをフォーカスして撮像し、該第１アライメントパターンが投影される前記カメラの画素を検出して、前記カメラによって前記表示画像がフォーカスされて撮像された撮像画像の撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係を算出し、前記表示パネルの所定のピクセルが点灯して構成された第２アライメントパターンをデフォーカスして撮像し、該第２アライメントパターンが投影される前記カメラの画素を検出して、前記カメラによって前記表示画像がデフォーカスされて撮像された撮像画像の撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係を算出する制御部、を備えることを特徴とする。
この構成によれば、フォーカスして表示画像を撮像した際の表示パネルのピクセルとカメラの画素とが適切に結びつけられるとともに、デフォーカスして表示画像を撮像した際の表示パネルのピクセルとカメラの画素とが適切に結びつけられる。
これにより、ピクセルと画素との対応関係の適切な結びつけが行われて第１画像及び第２画像が生成されることから、良好な第３画像を生成することができる
この発明によれば、表示パネルの輝度を測定するに際し、モアレが適切に除去される一方で、解像度が良好な画像を合成することができる。
本発明の実施の形態に係る画像処理装置の概略を説明するブロック図である。 同じく、本実施の形態に係る画像処理装置のカメラで撮像された撮像画像の空間周波数の特性を示す概念図である。 同じく、本実施の形態に係る画像処理装置による画像処理を概念的に示す図である。 同じく、本実施の形態に係る画像処理装置による画像処理を概念的に示す図である。 同じく、本実施の形態に係る画像処理装置による画像処理を概念的に示す図である。 同じく、本実施の形態に係る画像処理装置のパターン発生部で発生されるアライメントパターンの概略を説明する図である。 同じく、本実施の形態に係る画像処理装置による画像処理作業のプロセスを示したフローチャートである。 同じく、本実施の形態に係る画像処理装置による画像処理を示す図である。
次に、本発明の実施の形態について、図１〜図８に基づいて説明する。なお、本実施の形態において、表示パネルが、画質調整型の有機ＥＬパネルである場合を例として説明する。
図１は、本実施の形態に係る画像処理装置の概略を説明するブロック図である。この画像処理装置の説明に先立って、本実施の形態の有機ＥＬパネルの概略を説明する。
有機ＥＬパネル２０は、Ｒ（赤）、Ｇ（緑）及びＢ（青）のサブピクセルを有するピクセルが周期的に配置されたディスプレイ２１を備える。このディスプレイ２１は、画像信号が入力されると、ＲＯＭ２２ａを内蔵した画質調整回路２２によって、後述する補正データに従った画像信号が出力されて、その表示ムラの低減が図られる。
画像処理装置１は、このような有機ＥＬパネル２０の製造工程の最終段階において、その画質を調整する装置であり、カメラ２、画像処理部３、パターン発生部４及びＲＯＭライタ５を備える。
カメラ２は、本実施の形態では、固体撮像素子（ＣＣＤ）を搭載したカメラによって構成され、有機ＥＬパネル２０の表示画像を撮像する。
このカメラ２は、有機ＥＬパネル２０と対向して撮像位置Ｘに配置され、この撮像位置Ｘにおいて、カメラ２の撮像面上（固体撮像素子上）に結像したピクセルの像のピッチ（ピクセルピッチ）が固体撮像素子の画素ピッチの整数倍（例えば１倍、２倍、３倍等）及び整数分の１倍（例えば１／２倍、１／３倍等）の近傍となるように、カメラ２の光学系が設定されることによって、有機ＥＬパネル２０の表示画像をフォーカスして撮像した際に発生するモアレが、撮像画像の低空間周波数領域（例えばナイキスト周波数の１／１０以下の領域）に集約されるようになっている。
画像処理部３は、カメラ２で撮像した画像を処理する装置であり、制御部１０、記憶部１１、ハイパスフィルタ１２、ローパスフィルタ１３、画像合成部１４及び補正データ生成部１５を備える。
パターン発生部４は、有機ＥＬパネル２０に所定のパターン画像（例えば、後述のアライメントパターンＰＡや輝度測定用パターン）を表示させ、ＲＯＭライタ５は、補正データ生成部１５において生成される後述の補正データを、画質調整回路２２に内蔵されたＲＯＭ２２ａに書き込む装置である。
次に、画像処理部３の各部の具体的な構成について説明する。
制御部１０は、画像処理部３の各部の制御を行うとともに、カメラ２による撮像、パターン発生部４による有機ＥＬパネル２０の画像表示及びＲＯＭライタ５によるＲＯＭ２２ａへの書込みを制御し、記憶部１１には、カメラ２による撮像画像等が記憶される。
ハイパスフィルタ１２は、カメラ２による撮像画像にモアレが発生した場合に、そのモアレに対応する低空間周波数領域の成分を除去又は低減させるもので、図２（ａ）に破線で示すフィルタ特性ｆ２を有し、例えばカメラ２によりフォーカスして撮像した画像が図３（ａ）に示すようなものであれば、これにハイパスフィルタ１２を適用すると図３（ｂ）に示すようになる。
一方、ローパスフィルタ１３は、ハイパスフィルタ１２で除去又は低減させた低空間周波数領域の成分を抽出するもので、図２（ｂ）に破線で示すフィルタ特性ｆ４を有し、例えばカメラ２によりデフォーカスして撮像した画像が図３（ａ）に対応する図４（ａ）に示すようなものであれば、これにローパスフィルタ１３を適用すると図４（ｂ）に示すようになる。
これらハイパスフィルタ１２及びローパスフィルタ１３は、本実施の形態では、図２（ｃ）で示すように、空間周波数領域が０からナイキスト周波数ｆＮまでの範囲に亘って、任意の空間周波数について「ハイパスフィルタの透過率＋ローパスフィルタの透過率＝１」が成立する相特性補償型の回路構成が採用される。
画像合成部１４は、ハイパスフィルタ１２を適用した画像と、ローパスフィルタ１３を適用した画像とを重ね合わせて、新たな画像を合成するもので、例えば図３（ｂ）に示す画像と図４（ｂ）に示す画像とを重ね合わせると、図５に示すような合成画像が生成される。
補正データ生成部１５は、画像合成部１４で合成された画像に基づいて（図３〜５は、フィルタ特性の説明の便宜のために例示したものであり、実際には、図５に示すような合成画像ではなく、後述する輝度測定用パターンの撮像により得られた合成画像に基づく）、画像信号の出力を調整することによって有機ＥＬパネル２０の輝度ムラを低減させる補正データを生成する。
次に、本実施の形態に係る画像処理装置１による画像処理作業について、画像処理装置１による処理作業のプロセスを示した図７のフローチャートに基づいて説明する。
まず、カメラ２が、撮像位置Ｘにおいて、ピクセルピッチが画素ピッチの整数倍近傍となるように予め設定された状態で、図示のように、制御部１０は、ステップＳ１において、有機ＥＬパネル２０に第１アライメントパターンとなるアライメントパターンＰＡを表示させる。
このアライメントパターンＰＡは、図６に示すように、ディスプレイ２１上で既知の位置にある特定のピクセルが点灯し、ドットＤが縦横に配列されることにより構成される。
ステップＳ２において、制御部１０は、有機ＥＬパネル２０に表示させたアライメントパターンＰＡをカメラ２でフォーカスして撮像する。アライメントパターンＰＡを撮像した後、ステップＳ３において、有機ＥＬパネル２０の全てのピクセルを点灯させ、ディスプレイ２１の全面にわたり輝度測定用パターンを表示させる。
ステップＳ４において、有機ＥＬパネル２０に表示させた輝度測定用パターンをカメラ２でフォーカスして撮像する（フォーカス画像撮像ステップ）。このように撮像した画像には、図８（ａ）に示すように、干渉縞であるモアレが低空間周波数領域に発生している。
一方、ステップＳ５において、アライメントパターンＰＡの撮像画像のドットＤが写るカメラ２の画素を検出する（第１アライメントステップ）。
すなわち、アライメントパターンＰＡを構成するピクセルは既知であるから、そのピクセルの像がカメラ２のどの画素に受光されるかを検出することによって、フォーカス撮像時のピクセルと画素との対応関係が求められる。
この求められた対応関係に基づいて、ステップＳ６において、フォーカスして撮像した画像にアライメント処理を行う。
ステップＳ７において、制御部１０は、ステップＳ６において得られたアライメント処理後の撮像画像にハイパスフィルタ１２を適用する。
ハイパスフィルタ１２を適用することによって、図２（ａ）に示したように、モアレＭが集約された部分の空間周波数成分ａ１がカットされて残余の空間周波数成分ａ２が抽出され、第１画像が生成される（第１画像生成ステップ）。
すなわち、図２（ａ）の実線で示す空間周波数ｆ１に、破線で示すフィルタ特性ｆ２を適用して、空間周波数ｆ１からモアレＭに対応する空間周波数成分ａ１をカットする。
生成された第１画像は、ステップＳ８において、記憶部１１に記憶される。
このように第１画像を生成した後、ステップＳ９において、有機ＥＬパネル２０に第２アライメントパターンとなるアライメントパターンＰＡを表示させる。
なお、本実施の形態では、第１アライメントパターンと第２アライメントパターンとが同じアライメントパターンＰＡである場合を説明しているが、第１アライメントパターンと第２アライメントパターンとで異なるアライメントパターンを用いてもよい。
ステップＳ１０において、有機ＥＬパネル２０に表示させたアライメントパターンＰＡをカメラ２でデフォーカスして撮像する。アライメントパターンＰＡを撮像した後、ステップＳ１１において、ステップＳ３と同様に、有機ＥＬパネル２０の全面に輝度測定用パターンを表示させる。
ステップＳ１２において、有機ＥＬパネル２０に表示させた輝度測定用パターンをカメラ２でデフォーカスして撮像する（デフォーカス画像撮像ステップ）。このように撮像した画像は、図８（ｂ）に示すように、解像度が低下している。
続いて、ステップＳ１３において、アライメントパターンＰＡの撮像画像のドットＤが写るカメラ２の画素を検出する（第２アライメントステップ）。
アライメントパターンＰＡを構成するピクセルの像がカメラ２のどの画素に受光されるかを検出してデフォーカス撮像時のピクセルと画素との対応関係が求められ、この対応関係に基づいて、ステップＳ１４において、デフォーカスして撮像した画像にアライメント処理を行う。
ステップＳ１５において、制御部１０は、ステップＳ１４において得られたアライメント処理後の撮像画像の空間周波数にローパスフィルタ１３を適用する。
ローパスフィルタ１３を適用することによって、図２（ｂ）に示すように、ハイパスフィルタ１２で除去した空間周波数成分ａ１に対応する空間周波数成分ｂ１が抽出されるとともに、残余の空間周波数成分ｂ２がカットされ、第２画像が生成される（第２画像生成ステップ）。
すなわち、図２（ｂ）の実線で示す空間周波数ｆ３に、破線で示すフィルタ特性ｆ４を適用して、空間周波数ｆ３から、空間周波数成分ｂ１が抽出された残余の空間周波数成分ｂ２をカットする。
生成された第２画像は、ステップＳ１６において、記憶部１１に記憶される。
このように、第１画像及び第２画像を生成した後、ステップＳ１７において、画像合成部１４により、第１画像と第２画像とが重ね合わせられる。
これにより、第３画像が合成され（第３画像生成ステップ）、輝度測定用パターンについてモアレを消失又は抑制させた画像が生成される。この第３画像とアライメントデータにより、有機ＥＬパネル２０を構成するピクセルの輝度が求められる。
なお、１ピクセルごとの輝度を測定する場合は、各画素に投影される部分のピクセルの輝度を、ピクセルが投影された部分の画素の出力を測定することによって、１ピクセルの輝度として測定してもよい。
一方、ステップＳ１８において、第３画像に基づいて補正データが生成され、ステップＳ１９において、生成された補正データがＲＯＭライタ５によって画質調整回路２２のＲＯＭ２２ａに書き込まれる。
ＲＯＭ２２ａに補正データが書き込まれることによって、有機ＥＬパネル２０に画質調整回路２２が実装される。
かかる画質調整回路２２を実装した有機ＥＬパネル２０では、画像信号が入力されると、画質調整回路２２によってＲＯＭ２２ａに書き込まれた補正データが参照され、参照された補正データに従った画像信号が出力され、有機ＥＬパネル２０の表示ムラの低減が図られる。
上記構成の画像処理装置１では、フォーカスして撮像した画像からモアレに相当する空間周波数成分ａ１を、ハイパスフィルタ１２を適用してカットして残余の空間周波数成分ａ２を抽出して第１画像を生成する。
一方、デフォーカスして撮像した画像にローパスフィルタ１３を適用して、ハイパスフィルタ１２で除去した空間周波数成分ａ１に対応する空間周波数成分ｂ１のみを抽出して、第２画像を生成する。
かかる第１画像及び第２画像が画像合成部１４によって重ね合わせられて、第１画像からモアレがカットされることによって損なわれた空間周波数成分ａ１が、第２画像から抽出された空間周波数成分ｂ１によって補間されて、モアレを消失又は抑制させた第３画像が生成される。
従って、モアレが適切に除去されたうえで、空間周波数成分ｂ１が補われて解像度が良好な第３画像を生成することができる。
しかも、本実施の形態では、ハイパスフィルタ１２とローパスフィルタ１３の透過率の和は、一定値である１となるように回路構成がなされる。
従って、空間周波数領域における空間周波数成分の抽出漏れがないことから、空間周波数成分の損失がなく、解像度の高い第３画像を生成することができる。
さらに、第３画像を合成するために用いられる第１画像及び第２画像を生成する際には、本実施の形態では、有機ＥＬパネル２０のピクセルとカメラ２の画素とのアライメントが決定されて第１画像及び第２画像が生成される。従って、ピクセルと画素との対応関係の適切な結びつけが行われて、良好な第３画像を生成することができる。
このように、有機ＥＬパネル２０の輝度を測定するに際して、モアレが適切に除去されかつ解像度が良好な第３画像が生成されることから、この第３画像に基づいて、適切な補正データを生成することができる。
その結果、正確に測定した輝度に基づいて生成された補正データによって、有機ＥＬパネル２０の画質が調整され、表示ムラの低減が図られる。これにより、個体ごとの製品のバラツキが抑制された有機ＥＬパネル２０を得ることができる。
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々変更可能である。上記実施の形態では、画像をフォーカスする撮像及び画像をデフォーカスする撮像が、単一のカメラ２によって撮像される場合を説明したが、フォーカスする撮像及びデフォーカスする撮像をそれぞれ別個のカメラによって実行してもよい。
これにより、画像処理装置１による処理作業の工程作業時間（タクトタイム）が短縮化される。
上記実施の形態では、画像処理装置１が、有機ＥＬパネル２０の画質を調整する場合を説明したが、例えば、液晶パネルやプラズマディスプレイ、あるいは投影型のプロジェクタ等であってもよい。
１ 画像処理装置
２ カメラ
３ 画像処理部
４ パターン発生部
１０ 制御部
１２ ハイパスフィルタ
１３ ローパスフィルタ
１４ 画像合成部
１５ 補正データ生成部
２０ 有機ＥＬパネル（表示パネル）
ｆ１〜ｆ４ 空間周波数
Ｍ モアレ
Ｘ 撮像位置

Claims (6)

  1. ピクセルが周期的に配列された表示パネルの表示画像を画素が周期的に配列されたカメラで撮像し、該カメラの撮像画像を処理する画像処理方法において、
    前記カメラで前記表示画像をフォーカスして撮像するフォーカス画像撮像ステップと、
    該フォーカス画像撮像ステップの撮像画像にハイパスフィルタを適用し、該撮像画像に生じたモアレに対応する空間周波数成分を除去又は低減させて第１画像を生成する第１画像生成ステップと、
    前記カメラで前記表示画像をデフォーカスして撮像するデフォーカス画像撮像ステップと、
    該デフォーカス画像撮像ステップの撮像画像にローパスフィルタを適用して第２画像を生成する第２画像生成ステップと、
    前記第１画像と第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する第３画像生成ステップと、
    を備えることを特徴とする画像処理方法。
  2. 前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値であることを特徴とする請求項１に記載の画像処理方法。
  3. 前記表示パネルの所定のピクセルが点灯して構成された第１アライメントパターンをフォーカスして撮像し、該第１アライメントパターンが投影される前記カメラの画素を検出して、前記フォーカス画像撮像ステップの撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係の算出に供する第１アライメントステップと、
    前記表示パネルの所定のピクセルが点灯して構成された第２アライメントパターンをデフォーカスして撮像し、該第２アライメントパターンが投影される前記カメラの画素を検出して、前記デフォーカス画像撮像ステップの撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係の算出に供する第２アライメントステップと、
    を備えることを特徴とする請求項１または２に記載の画像処理方法。
  4. 画素が周期的に配列され、ピクセルが周期的に配列された表示パネルの表示画像を撮像するカメラを備え、該カメラによる撮像画像を処理する画像処理装置において、
    前記カメラによって前記表示画像がフォーカスされて撮像された撮像画像からモアレに対応する空間周波数成分を除去又は低減して第１画像を生成するハイパスフィルタと、
    前記カメラによってデフォーカスされて撮像された撮像画像から第２画像を生成するローパスフィルタと、
    前記第１画像と第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する画像合成部と、
    を備えることを特徴とする画像処理装置。
  5. 前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値であることを特徴とする請求項４に記載の画像処理装置。
  6. 前記表示パネルの所定のピクセルが点灯して構成された第１アライメントパターンをフォーカスして撮像し、該第１アライメントパターンが投影される前記カメラの画素を検出して、前記カメラによって前記表示画像がフォーカスされて撮像された撮像画像の撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係を算出し、
    前記表示パネルの所定のピクセルが点灯して構成された第２アライメントパターンをデフォーカスして撮像し、該第２アライメントパターンが投影される前記カメラの画素を検出して、前記カメラによって前記表示画像がデフォーカスされて撮像された撮像画像の撮像時における前記表示パネルのピクセルと前記カメラの画素との対応関係を算出する制御部、
    を備えることを特徴とする請求項４または５に記載の画像処理装置。
JP2016534019A 2014-07-15 2014-07-15 画像処理方法及び該画像処理方法を実行する画像処理装置 Active JP6243030B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/068782 WO2016009493A1 (ja) 2014-07-15 2014-07-15 画像処理方法及び該画像処理方法を実行する画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2016009493A1 JPWO2016009493A1 (ja) 2017-04-27
JP6243030B2 true JP6243030B2 (ja) 2017-12-06

Family

ID=55078015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016534019A Active JP6243030B2 (ja) 2014-07-15 2014-07-15 画像処理方法及び該画像処理方法を実行する画像処理装置

Country Status (7)

Country Link
US (1) US10015373B2 (ja)
EP (1) EP3171588B1 (ja)
JP (1) JP6243030B2 (ja)
KR (1) KR102171232B1 (ja)
CN (1) CN106664359B (ja)
TW (1) TWI653887B (ja)
WO (1) WO2016009493A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10283044B2 (en) * 2015-11-11 2019-05-07 Joled Inc. Display device, display device correction method, display device manufacturing method, and display device display method
CN110268713B (zh) * 2017-02-09 2020-07-28 株式会社宜科思 图像处理方法及执行图像处理方法的图像处理装置
US10951825B2 (en) 2017-05-23 2021-03-16 Huawei Technologies Co., Ltd. Image photographing method applied to terminal, and terminal device
CN108886561B (zh) * 2017-05-23 2020-10-16 华为技术有限公司 一种应用于终端的拍摄图像的方法及终端设备
CN108418997B (zh) * 2018-01-31 2020-12-22 深圳市商巨视觉技术有限公司 去除图像摩尔纹的方法
JP6852013B2 (ja) * 2018-03-27 2021-03-31 パナソニック液晶ディスプレイ株式会社 画質調整装置、及び、画質調整システム
CN108830795B (zh) * 2018-06-14 2022-05-06 合肥市商巨智能装备有限公司 去除图像检测过程中摩尔纹的方法
CN109377453B (zh) * 2018-09-19 2022-01-18 上海奕瑞光电子科技股份有限公司 X射线图像中摩尔纹的消除方法、系统、存储介质及装置
CN109036277B (zh) * 2018-09-27 2020-06-09 京东方科技集团股份有限公司 补偿方法及补偿装置、显示装置、显示方法及存储介质
US10638125B1 (en) * 2018-10-11 2020-04-28 Roku, Inc. Post-production de-mura of a television using a mobile device
KR102252591B1 (ko) * 2019-05-27 2021-05-17 라온피플 주식회사 디스플레이 패널의 출력을 보상하는 장치 및 방법
CN110310237B (zh) * 2019-06-06 2020-08-18 武汉精立电子技术有限公司 去除图像摩尔纹、显示面板子像素点亮度测量、Mura缺陷修复的方法及系统
CN111024230B (zh) * 2019-11-28 2022-03-29 天津津航技术物理研究所 高低通分布式单谱段集成型光谱成像芯片结构
KR102224260B1 (ko) 2019-12-31 2021-03-05 고려대학교 산학협력단 딥러닝 기반 무아레 패턴 제거 방법, 이를 수행하기 위한 기록 매체 및 장치
CN111369450B (zh) * 2020-02-21 2024-02-02 华为技术有限公司 去除摩尔纹的方法与装置
CN113707082B (zh) * 2020-05-21 2022-12-13 华为技术有限公司 显示屏及其脉冲宽度调制pwm信号调节电路

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764209A (en) * 1992-03-16 1998-06-09 Photon Dynamics, Inc. Flat panel display inspection system
JPH08327496A (ja) * 1995-05-29 1996-12-13 Sony Corp Ｌｃｄ検査装置
JPH10248068A (ja) * 1997-03-05 1998-09-14 Canon Inc 撮像装置及び画像処理装置
US6831995B1 (en) * 1999-03-23 2004-12-14 Hitachi, Ltd. Method for detecting a defect in a pixel of an electrical display unit and a method for manufacturing an electrical display unit
JP3755375B2 (ja) * 1999-03-23 2006-03-15 株式会社日立製作所 電子ディスプレイ装置の画素欠陥検査方法
JP2005072816A (ja) * 2003-08-22 2005-03-17 Nidec Tosok Corp フラットディスプレイ検査装置のモアレ除去方法
JP2008011334A (ja) 2006-06-30 2008-01-17 Toshiba Corp モアレの除去方法及びディスプレイの製造方法
JP4799329B2 (ja) * 2006-09-07 2011-10-26 株式会社東芝 ムラ検査方法、表示パネルの製造方法及びムラ検査装置
JP2009156857A (ja) * 2007-12-05 2009-07-16 Micronics Japan Co Ltd ディスプレイパネルの検査方法および検査装置
JP4681033B2 (ja) * 2008-07-31 2011-05-11 株式会社イクス 画像補正データ生成システム、画像データ生成方法及び画像補正回路
JP2010203889A (ja) 2009-03-03 2010-09-16 Casio Computer Co Ltd 表示パネルの輝度測定方法及び表示パネルの輝度測定装置
KR20120101182A (ko) 2009-04-22 2012-09-12 아이아이엑스 인코포레이티드 광학 필터 및 디스플레이 평가 시스템
US9554044B2 (en) * 2012-09-25 2017-01-24 Iix Inc. Image quality adjustment apparatus, correction data generation method, and image quality adjustment technique using the apparatus and method
CN103645036B (zh) * 2013-12-30 2017-07-18 京东方科技集团股份有限公司 摩尔纹测评方法及测评装置

Also Published As

Publication number Publication date
WO2016009493A1 (ja) 2016-01-21
TW201606748A (zh) 2016-02-16
US20180027149A1 (en) 2018-01-25
CN106664359B (zh) 2019-09-27
CN106664359A (zh) 2017-05-10
EP3171588A1 (en) 2017-05-24
US10015373B2 (en) 2018-07-03
KR20170031096A (ko) 2017-03-20
EP3171588A4 (en) 2018-01-17
JPWO2016009493A1 (ja) 2017-04-27
TWI653887B (zh) 2019-03-11
KR102171232B1 (ko) 2020-10-28
EP3171588B1 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
JP6243030B2 (ja) 画像処理方法及び該画像処理方法を実行する画像処理装置
JP6278706B2 (ja) パターン位置検出方法、パターン位置検出システム及びこれらを用いた画質調整技術
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
JP5701785B2 (ja) カメラモジュール
JP6877052B2 (ja) 画像処理方法及び画像処理方法を実行する画像処理装置
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP5398750B2 (ja) カメラモジュール
JP5948167B2 (ja) 撮像装置
JP5535099B2 (ja) カメラモジュール及び画像記録方法
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
JP2015115726A (ja) 輝度測定方法、輝度測定装置及びこれらを用いた画質調整技術
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
JP6051592B2 (ja) 画像処理装置および撮像装置
JP6225328B2 (ja) 欠陥画素の補正装置および補正方法
JP7379217B2 (ja) 撮像システム
US20240071337A1 (en) Unevenness correction data generation device
JP2017506459A (ja) 合成画像におけるカラーフリンジを低減するための方法および装置
JP2012028848A (ja) 色ずれ補正装置
JP2016163315A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R150 Certificate of patent or registration of utility model

Ref document number: 6243030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250