JP6201358B2 - 画像処理装置、プロジェクター及び画像処理方法 - Google Patents

画像処理装置、プロジェクター及び画像処理方法 Download PDF

Info

Publication number
JP6201358B2
JP6201358B2 JP2013059567A JP2013059567A JP6201358B2 JP 6201358 B2 JP6201358 B2 JP 6201358B2 JP 2013059567 A JP2013059567 A JP 2013059567A JP 2013059567 A JP2013059567 A JP 2013059567A JP 6201358 B2 JP6201358 B2 JP 6201358B2
Authority
JP
Japan
Prior art keywords
transmittance
light
unit
shielding member
expansion rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013059567A
Other languages
English (en)
Other versions
JP2014187460A (ja
Inventor
昇 達彦
達彦 昇
林 大輔
大輔 林
祐孝 望月
祐孝 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013059567A priority Critical patent/JP6201358B2/ja
Priority to US14/218,016 priority patent/US9412310B2/en
Publication of JP2014187460A publication Critical patent/JP2014187460A/ja
Application granted granted Critical
Publication of JP6201358B2 publication Critical patent/JP6201358B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2053Intensity control of illuminating light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、画像処理装置、プロジェクター及び画像処理方法に関する。
画像処理装置において、光源から照射される光量を調整する処理と、画像データの輝度の分布の範囲を伸張する処理とを組み合わせて、画像のコントラストを高める技術が知られている。特許文献1には、遮光板をステッピングモーターで回転させて、光源から照射された光量を調整する技術が記載されている。特許文献1には、また、伸張係数を画像信号に乗じて画像データの輝度の分布の範囲を伸張する技術が記載されている。
特開2004−361703号公報
特許文献1において、遮光板の移動には有限の時間がかかる。したがって、遮光板の移動の途中においては、画像処理で伸張された輝度と、遮光板の移動により変化する光量とが整合しない場合があった。
本発明は、遮光部材の位置に適した伸張率で、画像データの輝度の分布の範囲を伸張することを目的の一つとする。
上述の課題を解決するため、本発明は、光源から照射される光を遮光する遮光部材が、前記光を透過させる割合を示す透過率に関して、画像データに含まれる階調値に基づいて算出された目標値となる第1透過率と、前記遮光部材の位置に基づいて検出された第2透過率との差に基づいて、前記遮光部材を駆動する駆動手段に対する駆動信号を生成する信号生成部と、前記第1透過率と前記第2透過率とに基づいて、伸張率を算出する伸張率算出部と、前記伸張率算出部により算出された伸張率に基づいて、前記階調値を補正し、前記画像データの輝度の分布の範囲を伸張する伸張部と、入射した光を変調する光変調部を駆動する駆動部に対して、前記伸張部により前記階調値が補正された前記画像データを出力する出力部とを有する画像処理装置を提供する。この画像処理装置によれば、第1透過率のみに基づいて伸張率が算出される場合に比べて、遮光部材の位置に適した伸張率で、画像データの輝度の分布の範囲が伸張される。
別の好ましい態様において、前記信号生成部により生成された駆動信号は、前記駆動手段を決められた速度で変位させることを特徴とする。この画像処理装置によれば、駆動信号が駆動手段を決められた速度で変位させない場合に比べて、駆動手段の駆動音が抑制される。
また、別の好ましい態様において、前記伸張率算出部は、前記第1透過率と前記第2透過率とが等しい場合には、前記第1透過率に基づいて前記伸張率を算出し、前記第1透過率と前記第2透過率とが異なる場合には、前記第1透過率と前記第2透過率とに基づいて前記伸張率を算出することを特徴とする。この画像処理装置によれば、第1透過率と第2透過率とが等しい場合と異なる場合とで、異なる伸張率で、画像データの輝度の分布の範囲が伸張される。
また、別の好ましい態様において、前記伸張率算出部は、次式(1)により前記伸張率を算出することを特徴とする。
Figure 0006201358
ここで、kgは伸張率、ka1は第1透過率、ka2は第2透過率、γは予め決められた係数をそれぞれ示す。この画像処理装置によれば、画像データにより示される画像の明るさの変化が抑制させる。
また、別の好ましい態様において、前記階調値から算出された輝度の最大値および平均値に基づいて前記第1透過率を算出する透過率算出部を有する。この画像処理装置によれば、画像データの輝度の最大値および平均値に応じて、遮光部材が駆動される。
また、別の好ましい態様において、前記駆動手段は、ステッピングモーターであることを特徴とする。この画像処理装置によれば、駆動信号に基づいて遮光部材の位置が検出される。
また、本発明は、光源から照射される光を遮光する遮光部材と、前記遮光部材を駆動する駆動手段と、前記光を変調する光変調部と、前記遮光部材が前記光を透過させる割合を示す透過率に関して、画像データに含まれる階調値に基づいて算出された目標値となる第1透過率と、前記遮光部材の位置に基づいて検出された第2透過率との差に基づいて、前記駆動手段に対する駆動信号を生成する信号生成部と、前記第1透過率と前記第2透過率とに基づいて、伸張率を算出する伸張率算出部と、前記伸張率算出部により算出された伸張率に基づいて、前記階調値を補正し、前記画像データの輝度の分布の範囲を伸張する伸張部と、前記伸張部により前記階調値が補正された前記画像データに基づいて前記光変調部を駆動する駆動部とを有するプロジェクターを提供する。このプロジェクターによれば、第1透過率のみに基づいて伸張率が算出される場合に比べて、遮光部材の位置に適した伸張率で、画像データの輝度の分布の範囲が伸張される。
また、本発明は、光源から照射される光を遮光する遮光部材が、前記光を透過させる割合を示す透過率に関して、画像データに含まれる階調値に基づいて算出された目標値となる第1透過率と、前記遮光部材の位置に基づいて検出された第2透過率との差に基づいて、前記遮光部材を駆動する駆動手段に対する駆動信号を生成する工程と、前記第1透過率と前記第2透過率とに基づいて、伸張率を算出する工程と、前記伸張率に基づいて、前記階調値を補正し、前記画像データの輝度の分布の範囲を伸張する工程と、入射した光を変調する光変調部を駆動する駆動部に対して、前記階調値が補正された前記画像データを出力する工程とを有する画像処理方法を提供する。この画像処理方法によれば、第1透過率のみに基づいて伸張率が算出される場合に比べて、遮光部材の位置に適した伸張率で、画像データの輝度の分布の範囲が伸張される。
プロジェクターの内部構成を示すブロック図。 調光部の構成を主として示す図。 遮光板の回転量に対する光量の変化を説明する図。 CPUにより実現される機能を主として示すブロック図。 一実施形態に係るプロジェクターが行う処理を示すフローチャート。 ある画像データに関する輝度のヒストグラムを例示する図。 透過率ルックアップテーブルのモデルを示す図。 駆動信号の例を示す図。 ある画像データに関する輝度のヒストグラムの変化を例示する図。
図1は、本発明の一実施形態に係るプロジェクター1の内部構成を示すブロック図である。プロジェクター1は、画像をスクリーンSCに投射する装置である。コントローラーRCは、赤外線通信等の無線でプロジェクター1を制御するための装置、いわゆるリモートコントローラーである。スクリーンSCは、プロジェクター1から投射される画像を映し出す平面である。
プロジェクター1は、CPU(Central Processing Unit)10、ROM(Read Only Memory)20、RAM(Random Access Memory)30、IF(インターフェース)部40、画像処理回路50、投射ユニット60、受光部70、操作パネル80、および入力処理部90を有する。CPU10は、制御プログラム20Aを実行することによりプロジェクター1の各部を制御する制御装置である。ROM20は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ROM20は、CPU10が実行する制御プログラム20Aを記憶する。RAM30は、データを記憶する揮発性の記憶装置である。RAM30は、フレームメモリー30aおよび30bを有する。フレームメモリー30aは、映像信号により示される映像のうち、1フレーム分の画像データを記憶する領域である。フレームメモリー30bは、スクリーンSCに投射される画像データを記憶する領域である。
IF部40は、DVD(Digital Versatile Disc)プレーヤー又はパーソナルコンピューターなどの外部装置から映像信号を取得する。IF部40は、外部装置と接続するための各種端子(例えば、USB(Universal Serial Bus)端子、LAN(Local Area Network)端子、S端子、RCA端子、D−sub(D-subminiature)端子、HDMI(High-Definition Multimedia Interface:登録商標)端子など)を備える。IF部40は、また、取得した映像信号から、垂直・水平の同期信号を抽出する。画像処理回路50は、映像信号により示される画像に画像処理を施す。画像処理回路50は、画像処理後の画像を示す画像データを1フレームごとにフレームメモリー30aに書き込む。
投射ユニット60は、光源601と、調光部602と、液晶パネル603と、光学系604と、光源駆動回路605と、パネル駆動回路606と、光学系駆動回路607とを有する。光源601は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、又はその他の発光体を有し、液晶パネル603に光を照射する。
図2は、調光部602の構成を主として示す図である。調光部602は、光源601により照射された光を調光する。調光部602は、一対のフライアイレンズ6021と、遮光板6022と、ステッピングモーター6023とを有する。フライアイレンズ6021は、光源601により照射された光を均一にするレンズであり、複数の微小レンズ6021aが平面状に配置されている。遮光板6022(遮光部材の一例)は、光源601から照射された光を遮光する。図2において、遮光板6022は、一対のフライアイレンズ6021の間に配置されている。遮光板6022は、回転軸6022aを有する。ステッピングモーター6023は、CPU10からの駆動信号に従って遮光板6022を回転させ、その回転量に応じて光の透過率を調節する。ステッピングモーター6023(駆動手段の一例)は、回転軸6022aを中心に遮光板6022を矢印Aの方向に回転させる。
再び図1を参照する。液晶パネル603は、調光部602により調光された光を画像データに応じて変調する光変調装置である。この例で液晶パネル603は、マトリクス状に配置された複数の画素を有する。液晶パネル603は、例えば、XGA(eXtended Graphics Array)の解像度を有し、1024×768個の画素により構成される表示領域を有
する。この例で、液晶パネル603は透過型の液晶パネルであり、各画素の透過率が画像データに応じて制御される。プロジェクター1は、RGBの三原色に対応した3枚の液晶パネル603を有する。光源601からの光はRGBの3色の色光に分離され、各色光は対応する液晶パネル603に入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等によって合成され、光学系604に射出される。光学系604は、液晶パネル603により画像光へと変調された光を拡大してスクリーンSCに投射するレンズ、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用のモーター、フォーカスの調整を行うフォーカス調整用のモーター等を有する。光源駆動回路605は、CPU10の制御に従って光源601を駆動する。パネル駆動回路606(駆動部の一例)は、CPU10から出力された画像データに応じて液晶パネル603を駆動する。光学系駆動回路607は、CPU10の制御に従って光学系604が有する各モーターを駆動する。
受光部70は、コントローラーRCから送信される赤外線信号を受光し、受光した赤外線信号をデコードして入力処理部90に出力する。操作パネル80は、プロジェクター1の電源のオン/オフまたは各種操作を行うためのボタンおよびスイッチを有する。入力処理部90は、コントローラーRCまたは操作パネル80による操作内容を示す情報を生成し、CPU10に出力する。
図3は、遮光板6022の回転量に対する光量の変化を説明する図である。図3は、光の伝播方向に対して平行な向きから垂直な向きへと遮光板6022を回転させた場合における光量の変化を示している。横軸は、遮光板6022の回転量を表す。この例で、遮光板6022の回転量は、「0」から「255」までの256の段階で表現されている。回転量が「0」であることは、遮光板6022が光の伝播方向に対して平行な位置にあることを表す。回転量が「255」であることは、遮光板6022が光の伝播方向に対して垂直な位置にあることを表す。縦軸は、調光部602を透過する光量を表す。図3に示す通り、遮光板6022の回転量が大きくなると、調光部602を透過する光量は少なくなる。理想的には、遮光板6022の回転量に対して光量が線形に変化することが望ましい。しかし、実際には、図2で説明したような調光部602の構造(例えば、フライアイレンズ6021が単一の均質な構造体ではなく、微小レンズ6021aを複数組み合わせたものであること)に起因して、光量は遮光板6022の回転量に対して非線形に変化する。そのため、決められた時間(例えば1フレーム内)に目標の光量に合わせるには、回転量−光量の特性に応じてステッピングモーター6023の駆動周波数を変える必要がある。しかし、駆動周波数を変えるとステッピングモーター6023の駆動音が騒音と認識されてしまう場合があるし、そもそも回転量が多い場合には、決められた時間内に目標の回転量まで回転できない場合もある。目標の回転量まで回転できないと、光源601の調光が、画像処理によって調整された画像データの輝度の変化と整合しない状態になってしまう場合がある。光源601の調光と画像データの輝度の変化とが整合していないと、投射された画像の明るさが変化してしまい、それが表示不具合として認識されてしまう場合がある。プロジェクター1は、ステッピングモーター6023による騒音、および表示不具合を抑制する。
図4は、CPU10により実現される機能を主として示すブロック図である。CPU10は、機能要素として、特徴量算出部101と、透過率算出部102と、透過率検出部103と、駆動信号生成部104と、伸張率算出部105と、伸張処理部106と、出力部107とを有する。特徴量算出部101は、画像データの輝度に基づいて特徴量を算出する。特徴量とは、画像データの輝度の分布の特徴を示す値である。この例で、特徴量は、画像データに含まれる輝度の平均値(以下、「APL(Average Picture Level)値」という)、および、画像データに含まれる輝度の最大値(以下、「WP(White Peak)値」という)である。画像データは、複数の色成分(例えば、RGBの三原色)の各々の階調値を含ん
でおり、輝度は、当該階調値から算出される。透過率算出部102は、特徴量算出部101により算出された特徴量に基づいて、第1透過率を算出する。第1透過率は、遮光板6022が光源601から照射される光を透過させる割合を示す値の目標値である。透過率検出部103は、遮光板6022の回転量に基づいて、第2透過率を検出する。第2透過率は、遮光板6022が光源601から照射される光を透過させる割合を示す値の推測値である。駆動信号生成部104は、透過率算出部102により算出された第1透過率と、透過率検出部103により検出された第2透過率との差に基づいて、ステッピングモーター6023に対する駆動信号を生成する。伸張率算出部105は、第1透過率と第2透過率とに基づいて、伸張率を算出する。伸張処理部106は、伸張率算出部105により算出された伸張率に基づいて、画像データに含まれる階調値を補正し、輝度範囲を伸張する。出力部107は、パネル駆動回路606に対して、伸張処理部106により階調値が補正された画像データを出力する。
図5は、プロジェクター1が行う処理を示すフローチャートである。以下の処理は、例えば、プロジェクター1に映像信号が入力されたことを契機として開始される。プロジェクター1に映像信号が入力されると、CPU10は、ROM20から制御プログラム20Aを読み出して以下の処理を実行する。図5に示す処理は、画像データの1フレームごとに行われる。
ステップS1において、CPU10は、画像データのAPL値およびWP値を算出する。具体的には、CPU10は、フレームメモリー30aから画像データを読み出して、以下の処理によりAPL値およびWP値を算出する。まず、CPU10は、画像データに含まれる階調値に基づいて各画素の輝度Y1を算出する。輝度Y1は、例えば、以下の式(2)により算出される。
Figure 0006201358
(Y1:処理対象の画素の輝度、R,G,B:その画素のRGB各成分の階調値)
次に、CPU10は、画像データが示す画像を所定の数(例えば48×64個)の小領域Diに分割する。この例で、小領域Diには、256(16×16)個の画素が含まれている。CPU10は、各小領域Diについて、256個の画素の輝度Y1の平均値(以下、「平均輝度Y2i」という)をそれぞれ算出する。次に、CPU10は、複数の平均輝度Y2iの平均値を、APL値として算出する。CPU10は、また、複数の平均輝度Y2iの最大値を、WP値として算出する。CPU10は、算出されたAPL値およびWP値をRAM30に記憶する。
図6は、ある画像データに関する輝度のヒストグラムを例示する図である。図6は、平均輝度Y2iのヒストグラムを示している。図6において、横軸は、平均輝度Y2iを表す。この例で、平均輝度Y2iは、10ビットで表現されている。縦軸は、小領域Diの度数を表す。図6に示す例では、APL値がYave1であり、WP値がYmax1である。また、小領域Diの度数の最大値は、N1である。定義から明らかなように、APL値は、WP値以下の値となる。
再び図5を参照する。ステップS2において、CPU10は、第1透過率を算出する。CPU10は、RAM30から読み出した画像データのAPL値およびWP値に基づいて、第1透過率を算出する。第1透過率の算出は、透過率ルックアップテーブル(以下、「LUT」という)を参照することにより行われる。LUTは、ROM20に記憶されている。CPU10は、算出された第1透過率をRAM30に記憶する。
図7はLUTのモデルを示す図である。図7に示すモデルにおいて、LUTは、格子状
に示されており、横軸はAPL値を、縦軸はWP値をそれぞれ表す。なお、図7に示すAPL値およびWP値は、あくまで一例であり、図7とは異なる任意の値がLUTに記録されていてもよい。各格子が交わる箇所(以下、格子点という)には、第1透過率ka1(1≧ka1≧0)が記憶されている。第1透過率ka1は、APL値とWP値との組み合わせに基づいて算出される。例えば、APL値が649、WP値が894である場合における第1透過率ka1はka11であり、APL値が551、WP値が649である場合における第1透過率ka1はka12である。APL値とWP値との組み合わせが、格子点上にない場合には、補間法により第1透過率ka1が算出される。具体的には、APL値とWP値との組み合わせが示す位置の周囲にある複数の格子点が示す第1透過率ka1に基づいて、当該組み合わせにおける第1透過率ka1が補間される。なお、上述の通り、APL値はWP値以下であるため、LUTの右下半分については、第1透過率ka1は記録されていない。CPU10は、算出された第1透過率ka1をRAM30に記憶する。
再び図5を参照する。ステップS3において、CPU10は、第2透過率を検出する。CPU10は、遮光板6022の回転量に基づいて、第2透過率を検出する。具体的には、ステッピングモーター6023に出力される駆動信号には、1フレームあたりに決められた数のパルス信号が含まれており、CPU10はステッピングモーター6023に出力されたパルス信号の総数をRAM30に記憶している。CPU10は、RAM30に記憶されたパルス信号の総数に基づいて、遮光板6022の回転量を検出する。また、ROM20には、遮光板6022の回転量と第2透過率ka2(1≧ka2≧0)との対応関係を示す256個のデータが記憶されている。CPU10は、当該データを参照し、遮光板6022の回転量から第2透過率ka2を検出する。CPU10は、検出された第2透過率ka2をRAM30に記憶する。
ステップS4において、CPU10は、第1透過率ka1と第2透過率ka2とが等しいか否かを判断する。具体的には、CPU10は、RAM30から第1透過率ka1および第2透過率ka2を読み出して、これらの値を比較する。第1透過率ka1と第2透過率ka2とが等しいと判断された場合(ステップS4:YES)、CPU10は、処理をステップS8に移行する。第1透過率ka1と第2透過率ka2とが等しくないと判断された場合(ステップS4:NO)、CPU10は、処理をステップS5に移行する。
ステップS5において、CPU10は、第1透過率ka1と第2透過率ka2との差に基づいて駆動信号を生成する。具体的には、CPU10は、第2透過率ka2が第1透過率ka1よりも大きい場合には、調光部602を透過する光量が減少するように、遮光板6022の回転量を大きくする(ここではステッピングモーター6023を正転させる)駆動信号を生成する。CPU10は、また、第2透過率ka2が第1透過率ka1よりも小さい場合には、調光部602を透過する光量が増加するように、遮光板6022の回転量を小さくする(ここではステッピングモーター6023を逆転させる)駆動信号を生成する。ステッピングモーター6023の正転および逆転は、駆動手段の「変位」の一例である。CPU10は、生成した駆動信号をステッピングモーター6023に出力する。
図8は、CPU10が生成する駆動信号の例を示す図である。横軸は時間を表し、縦軸は駆動信号の大きさを表す。期間taは、1フレームに相当する期間を表す。上述の通り、駆動信号には、1フレームあたりに決められた数のパルス信号が含まれている。図8の例では、1フレームあたり2つのパルス信号が、駆動信号に含まれている。このように、一定の駆動周波数によりステッピングモーター6023が駆動されると、ステッピングモーター6023は決められた速度で回転し、ステッピングモーター6023の駆動音が騒音として認識され難い。
再び図5を参照する。ステップS6において、CPU10は、再び第2透過率ka2を検出する。ステップS7において、CPU10は、第1透過率ka1と第2透過率ka2とが等しいか否かを判断する。第1透過率ka1と第2透過率ka2とが等しいと判断された場合(ステップS7:YES)、CPU10は、処理をステップS8に移行する。第1透過率ka1と第2透過率ka2とが等しくないと判断された場合(ステップS7:NO)、CPU10は、処理をステップS9に移行する。
ステップS8において、CPU10は、第1透過率ka1を用いて伸張率を算出する。CPU10は、RAM30から第1透過率ka1を読み出して、以下の式(3)により伸張率kg1(≧1)を算出する。
Figure 0006201358
ここでγは、液晶パネル603のガンマ値であり、例えばγ=2.2である。CPU10は、算出された伸張率kg1をRAM30に記憶する。
ステップS9において、CPU10は、第1透過率ka1と第2透過率ka2とを用いて伸張率を算出する。CPU10は、RAM30から第1透過率ka1と第2透過率ka2とを読み出して、以下の式(4)により伸張率kg2(>0)を算出する。
Figure 0006201358
CPU10は、算出された伸張率kg2をRAM30に記憶する。なお、式(4)は、以下の式(5)に変形される。
Figure 0006201358
式(5)から明らかなように、伸張率kg2は、伸張率kg1に(ka12/γ・ka2-2/γ)を乗じることにより算出される。この(ka12/γ・ka2-2/γ)は、伸張率kg1を修正するための係数である。
ステップS10において、CPU10は、伸張率kg(kg1またはkg2、以下同様)を用いて画像データの輝度範囲を伸張する。CPU10は、フレームメモリー30aから画像データを、RAM30から伸張率kgをそれぞれ読み出して、以下の式(6)により輝度範囲を伸張する。
Figure 0006201358
(Rnew,Gnew,Bnew:輝度範囲が伸張された後の、処理対象の画素のRGB各成分の階調値、Rold,Gold,Bold:輝度範囲が伸張される前のその画素のRGB各成分の階調値)
なお、ここでいう輝度範囲の「伸張」には、伸張率kg2が1よりも小さい場合であって、輝度範囲が収縮されることも含まれる。CPU10は、輝度範囲が伸張された画像データをフレームメモリー30bに書き込む。伸張率kgが1よりも大きい場合に輝度範囲が伸張されると、画像のコントラストは向上する。
図9は、ある画像データについて、輝度範囲が伸張される前と後の輝度のヒストグラムの変化を例示する図である。図9は、図6と同様に、平均輝度Y2iのヒストグラムを示している。図9において、実線は、伸張率kg1を用いて輝度範囲が伸張された場合のヒストグラムを表している。一点鎖線は、伸張率kg2を用いて輝度範囲が伸張された場合のヒストグラムを表している。破線は、輝度範囲が伸張される前の画像データのヒストグラムを表している。図9は、ka1≠ka2(特にka1>ka2)であって、kg2>kg1となる場合の例を示している。この場合、ステップS7の判断の結果、処理はステップS9に進み、伸張率kg2を用いて画像データの輝度範囲が伸張される。したがって、第1透過率に対する第2透過率の変化の遅れ(すなわち、遮光板6022の回転量の不足)に応じた伸張率で輝度範囲が伸張されるので、スクリーンSCに投射される画像の明るさの変化は抑制される。また、ka2>ka1である場合には、kg1>kg2となり、この場合にも伸張率kg2を用いて画像データの輝度範囲が伸張され、スクリーンSCに投射される画像の明るさの変化は抑制される。なお、ka1=ka2である場合には、伸張率kg1を用いて輝度範囲が伸張される。この場合、図5に示した処理の前後でスクリーンSCに投射される画像の明るさ自体は変化せず、且つ、画像のコントラストが向上する。
再び図5を参照する。ステップS11において、CPU10は、フレームメモリー30bから画像データを読み出して、パネル駆動回路606に出力する。画像データがパネル駆動回路606に出力されると、画像データに応じて液晶パネル603が駆動される。
<変形例>
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、2つ以上のものが組み合わされて用いられても良い。
(1)変形例1
画像データの特徴量は、APL値およびWP値に限らない。例えば、APL値およびWP値に加えて、画像データに含まれる輝度の最低値が特徴量として用いられてもよい。別の例で、APL値またはWP値のみが特徴量として用いられてもよい。
(2)変形例2
画像データのAPL値およびWP値が算出される方法は、実施形態に示した方法に限らない。例えば、画像を小領域Diに分割することなく、APL値およびWP値が算出されてもよい。また、上述の実施形態において、WP値は平均輝度Y2iの最大値を求めることにより算出されたが、WP値は輝度Y1の最大値を求めることにより算出されてもよい。別の例で、画像の一部の領域からAPL値およびWP値が算出されてもよい。
(3)変形例3
上述の実施形態では、LUTに第1透過率ka1が記憶されている例を説明したが、LUTには、第1透過率ka1の算出に用いられる係数が記憶されていてもよい。
(4)変形例4
画像データは、階調値に加えて、各画素の透過度を示すアルファ値を含んでいてもよい。この場合、アルファ値に対しては、式(6)に相当する計算は行われない。
(5)変形例5
上述の式(1)乃至(6)はあくまで一例であり、これらの式とは異なる式により、輝度Y1、若しくは伸張率kgが算出され、または輝度範囲が伸張されてもよい。例えば、ステップS8において、伸張率kg1は、式(3)に代えて、式(4)(または式(5)
)により算出されてもよい。
(6)変形例6
図5に示す処理は、1フレームごとに行われる場合に限らない。図5に示す処理は、例えば、数フレームごとに、決められた時間ごと、または画像が示すシーンが変わるごとに開始されてもよい。この場合、ステップS1で画像データのAPL値およびWP値が新たに算出されるまでの間は、ステップS3以降の処理が繰り返し行われる。
(7)変形例7
ステッピングモーター6023が、遮光板6022を駆動する態様は、遮光板6022を回転させる態様に限らない。例えば、ステッピングモーター6023は、駆動信号に従って遮光板6022をスライドさせ、その移動量に応じて光の透過率を調節してもよい。
また、駆動手段は、ステッピングモーター6023に限定されない。例えば、ステッピングモーター6023に代えて、ソレノイドが用いられてもよい。
なお、上述の点以外に関しても、プロジェクター1の内部構成は、図1で説明したものに限定されない。図5に示した各ステップの処理を実行できれば、プロジェクター1はどのような内部構成を有していてもよい。
1…プロジェクター、10…CPU、20…ROM、20A…制御プログラム、30…RAM、40…IF部、50…画像処理回路、60…投射ユニット、70…受光部、80…操作パネル、90…入力処理部、RC…コントローラー、SC…スクリーン、601…光源、602…調光部、603…液晶パネル、604…光学系、605…光源駆動回路、606…パネル駆動回路、607…光学系駆動回路、6021…フライアイレンズ、6021a…微小レンズ、6022…遮光板、6022a…回転軸、6023…ステッピングモーター、101…特徴量算出部、102…透過率算出部、103…透過率検出部、104…駆動信号生成部、105…伸張率算出部、106…伸張処理部、107…出力部。

Claims (8)

  1. 光源から照射される光を遮光する遮光部材が、前記光を透過させる割合を示す透過率に関して、画像データに含まれる階調値に基づいて算出された目標値となる第1透過率と、前記遮光部材の位置に基づいて検出された第2透過率との差に基づいて、前記遮光部材を駆動する駆動手段に対する駆動信号を生成する信号生成部と、
    前記第1透過率と前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された前記第2透過率とに基づいて、伸張率を算出する伸張率算出部と、
    前記伸張率算出部により算出された伸張率に基づいて、前記階調値を補正し、前記画像データの輝度の分布の範囲を伸張する伸張部と、
    入射した光を変調する光変調部を駆動する駆動部に対して、前記伸張部により前記階調値が補正された前記画像データを出力する出力部と
    を有する画像処理装置。
  2. 前記信号生成部により生成された駆動信号は、前記駆動手段を決められた速度で変位させる
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記伸張率算出部は、前記第1透過率と前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された前記第2透過率とが等しい場合には、前記第1透過率に基づいて前記伸張率を算出し、前記第1透過率と前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された前記第2透過率とが異なる場合には、前記第1透過率と前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された前記第2透過率とに基づいて前記伸張率を算出する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記伸張率算出部は、次式(1)により前記伸張率を算出することを特徴とする請求項3に記載の画像処理装置。
    Figure 0006201358
    ここで、kgは伸張率、ka1は第1透過率、ka2は前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された第2透過率、γは予め決められた係数をそれぞれ示す。
  5. 前記階調値から算出された輝度の最大値および平均値に基づいて前記第1透過率を算出する透過率算出部
    を有する請求項1乃至4のいずれか一項に記載の画像処理装置。
  6. 前記駆動手段は、ステッピングモーターである
    ことを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
  7. 光源から照射される光を遮光する遮光部材と、
    前記遮光部材を駆動する駆動手段と、
    前記光を変調する光変調部と、
    前記遮光部材が前記光を透過させる割合を示す透過率に関して、画像データに含まれる階調値に基づいて算出された目標値となる第1透過率と、前記遮光部材の位置に基づいて検出された第2透過率との差に基づいて、前記駆動手段に対する駆動信号を生成する信号生成部と、
    前記第1透過率と前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された前記第2透過率とに基づいて、伸張率を算出する伸張率算出部と、
    前記伸張率算出部により算出された伸張率に基づいて、前記階調値を補正し、前記画像データの輝度の分布の範囲を伸張する伸張部と、
    前記伸張部により前記階調値が補正された前記画像データに基づいて前記光変調部を駆動する駆動部と
    を有するプロジェクター。
  8. 光源から照射される光を遮光する遮光部材が、前記光を透過させる割合を示す透過率に関して、画像データに含まれる階調値に基づいて算出された目標値となる第1透過率と、前記遮光部材の位置に基づいて検出された第2透過率との差に基づいて、前記遮光部材を駆動する駆動手段に対する駆動信号を生成する工程と、
    前記第1透過率と前記駆動信号による駆動後の前記遮光部材の位置に基づいて検出された前記第2透過率とに基づいて、伸張率を算出する工程と、
    前記伸張率に基づいて、前記階調値を補正し、前記画像データの輝度の分布の範囲を伸張する工程と、
    入射した光を変調する光変調部を駆動する駆動部に対して、前記階調値が補正された前記画像データを出力する工程と
    を有する画像処理方法。
JP2013059567A 2013-03-22 2013-03-22 画像処理装置、プロジェクター及び画像処理方法 Expired - Fee Related JP6201358B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013059567A JP6201358B2 (ja) 2013-03-22 2013-03-22 画像処理装置、プロジェクター及び画像処理方法
US14/218,016 US9412310B2 (en) 2013-03-22 2014-03-18 Image processing apparatus, projector, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013059567A JP6201358B2 (ja) 2013-03-22 2013-03-22 画像処理装置、プロジェクター及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2014187460A JP2014187460A (ja) 2014-10-02
JP6201358B2 true JP6201358B2 (ja) 2017-09-27

Family

ID=51568829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013059567A Expired - Fee Related JP6201358B2 (ja) 2013-03-22 2013-03-22 画像処理装置、プロジェクター及び画像処理方法

Country Status (2)

Country Link
US (1) US9412310B2 (ja)
JP (1) JP6201358B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784982B (zh) * 2016-08-25 2020-10-30 立景光电股份有限公司 液晶覆硅显示器与其亮度调整方法
CN106918981B (zh) * 2017-04-25 2018-11-09 苏州佳世达光电有限公司 动态亮度调整方法及投影机
JP2019028130A (ja) 2017-07-26 2019-02-21 キヤノン株式会社 表示装置、及び、表示装置制御プログラム
JP2019047496A (ja) 2017-09-04 2019-03-22 キヤノン株式会社 制御装置、投射型表示装置および制御プログラム
JP7254466B2 (ja) 2017-09-04 2023-04-10 キヤノン株式会社 制御装置、投射型表示装置および記憶媒体
JP7013235B2 (ja) * 2017-12-27 2022-01-31 キヤノン株式会社 画像投射装置、画像投射装置の制御方法、および制御プログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361703A (ja) * 2003-06-05 2004-12-24 Seiko Epson Corp 投射型表示装置および投射型表示装置の制御方法
JP2005257760A (ja) * 2004-03-09 2005-09-22 Seiko Epson Corp 画像表示装置及び画像表示方法
JP4432933B2 (ja) 2005-07-08 2010-03-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
JP4687526B2 (ja) 2005-07-27 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
JP4956932B2 (ja) 2005-08-08 2012-06-20 セイコーエプソン株式会社 画像表示装置、及び画像表示方法
JP4862354B2 (ja) 2005-10-26 2012-01-25 セイコーエプソン株式会社 画像表示装置、及び画像表示方法
JP4687515B2 (ja) 2006-03-13 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US20070288574A1 (en) 2006-06-09 2007-12-13 Daren Koster System and method of email streaming digital video for subscribers
JP4210863B2 (ja) 2006-07-06 2009-01-21 セイコーエプソン株式会社 画像処理システム、表示装置、プログラムおよび情報記憶媒体
JP4957162B2 (ja) * 2006-10-06 2012-06-20 セイコーエプソン株式会社 投写表示装置および投写表示方法
JP4967637B2 (ja) 2006-12-13 2012-07-04 セイコーエプソン株式会社 プロジェクタおよび画像表示装置
JP4962722B2 (ja) 2007-07-18 2012-06-27 セイコーエプソン株式会社 調光システム、表示装置、プログラム、情報記憶媒体および調光方法
JP4591724B2 (ja) * 2008-05-14 2010-12-01 セイコーエプソン株式会社 表示装置および表示方法
JP2009031798A (ja) * 2008-07-28 2009-02-12 Seiko Epson Corp 画像表示方法及び装置並びにプロジェクタ
JP5212161B2 (ja) 2009-02-18 2013-06-19 セイコーエプソン株式会社 プロジェクター
JP5619364B2 (ja) 2009-03-05 2014-11-05 セイコーエプソン株式会社 表示装置、プログラムおよび情報記憶媒体
JP5472576B2 (ja) 2009-03-09 2014-04-16 セイコーエプソン株式会社 表示装置、プログラムおよび情報記憶媒体
JP5382317B2 (ja) 2009-03-12 2014-01-08 セイコーエプソン株式会社 表示装置、プログラムおよび情報記憶媒体
JP5267250B2 (ja) 2009-03-18 2013-08-21 セイコーエプソン株式会社 調光装置及びかかる調光装置を用いたプロジェクター用の照明装置
JPWO2011007453A1 (ja) * 2009-07-17 2012-12-20 Necディスプレイソリューションズ株式会社 絞り制御回路、プロジェクター装置、絞り制御プログラム及び絞り制御方法
JP5440086B2 (ja) 2009-10-13 2014-03-12 セイコーエプソン株式会社 プロジェクター
JP5509845B2 (ja) 2009-10-27 2014-06-04 セイコーエプソン株式会社 プロジェクター
JP5585265B2 (ja) 2010-07-22 2014-09-10 セイコーエプソン株式会社 画像表示装置、画像供給装置、及び、画像処理方法
US9350982B2 (en) 2010-07-22 2016-05-24 Seiko Epson Corporation Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image
JP5585264B2 (ja) 2010-07-22 2014-09-10 セイコーエプソン株式会社 画像表示装置、画像表示方法、及び、画像供給装置
JP5585266B2 (ja) 2010-07-22 2014-09-10 セイコーエプソン株式会社 画像表示装置、画像供給装置、及び、画像処理方法
JP5861324B2 (ja) 2011-08-30 2016-02-16 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2014048527A (ja) 2012-08-31 2014-03-17 Seiko Epson Corp 画像処理装置、画像表示装置、画像処理方法及びプログラム
JP6119155B2 (ja) 2012-09-19 2017-04-26 セイコーエプソン株式会社 調光制御装置、画像表示装置、調光制御方法及びプログラム
JP6175810B2 (ja) 2013-03-06 2017-08-09 セイコーエプソン株式会社 画像処理装置、プロジェクター及び画像処理方法

Also Published As

Publication number Publication date
JP2014187460A (ja) 2014-10-02
US9412310B2 (en) 2016-08-09
US20140285538A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
JP6201358B2 (ja) 画像処理装置、プロジェクター及び画像処理方法
JP4210863B2 (ja) 画像処理システム、表示装置、プログラムおよび情報記憶媒体
JP4777675B2 (ja) 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
US20170214885A1 (en) Image processing method, system for laser tv and the laser tv set thereof
JP6155717B2 (ja) 画像処理装置、プロジェクター及び画像処理方法
JP6794983B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像表示装置
JP2015097350A (ja) 画像処理装置およびマルチプロジェクションシステム
US10187603B2 (en) Display apparatus, and control method thereof
JP6175810B2 (ja) 画像処理装置、プロジェクター及び画像処理方法
JP2020107984A (ja) 画像投射装置およびその制御方法
US11640774B2 (en) Display method for display system, display method for display apparatus, and display system
US10339879B2 (en) Image processing apparatus, display apparatus, and image processing method
JP5207832B2 (ja) 表示装置
JP2004289746A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4379029B2 (ja) 画像処理装置、画像処理方法および画像投射装置
JP2019041189A (ja) 画像投射装置およびその制御方法
JP2020020917A (ja) プロジェクター、及び、プロジェクターの制御方法
JP7013235B2 (ja) 画像投射装置、画像投射装置の制御方法、および制御プログラム
JP2019028130A (ja) 表示装置、及び、表示装置制御プログラム
KR102640015B1 (ko) 표시 장치 및 그 구동 방법
JP2008015502A (ja) マルチプロジェクションシステム
WO2019123632A1 (ja) 映像処理装置、映像表示装置及び映像処理方法
JP6482298B2 (ja) 液晶表示装置およびそれを用いるプログラム
JP2024008045A (ja) 制御装置、投写装置、投写システム、制御方法、及びプログラム
JP2023036183A (ja) プロジェクター、及びプロジェクターの制御方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160616

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170814

R150 Certificate of patent or registration of utility model

Ref document number: 6201358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees