JP6221450B2 - 画像表示装置および制御方法 - Google Patents

画像表示装置および制御方法 Download PDF

Info

Publication number
JP6221450B2
JP6221450B2 JP2013150215A JP2013150215A JP6221450B2 JP 6221450 B2 JP6221450 B2 JP 6221450B2 JP 2013150215 A JP2013150215 A JP 2013150215A JP 2013150215 A JP2013150215 A JP 2013150215A JP 6221450 B2 JP6221450 B2 JP 6221450B2
Authority
JP
Japan
Prior art keywords
light
image
unit
amount
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013150215A
Other languages
English (en)
Other versions
JP2015022154A5 (ja
JP2015022154A (ja
Inventor
達也 井口
達也 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013150215A priority Critical patent/JP6221450B2/ja
Priority to US14/330,454 priority patent/US9361819B2/en
Publication of JP2015022154A publication Critical patent/JP2015022154A/ja
Publication of JP2015022154A5 publication Critical patent/JP2015022154A5/ja
Application granted granted Critical
Publication of JP6221450B2 publication Critical patent/JP6221450B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/041Temperature compensation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • G09G2320/062Adjustment of illumination source parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/08Details of image data interface between the display device controller and the data line driver circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、画像表示装置および制御方法に関する。
コンテンツ等の画像を表示する表示装置の一形態として、光源から射出された光束を光変調装置が画像信号に応じて変調し、この変調光をスクリーン等に拡大投写して画像を表示するプロジェクターが知られている。このような光変調装置は、複数の画素を備えた液晶ライトバルブ等で構成され、画像信号が表す階調情報に応じて、光の透過率を画素毎に制御することにより、画像信号に応じた画像を形成している。
近年では、有効な階調範囲を伸張するために各画素の階調(透過率)を補正する伸張手段と、下記特許文献1に示すように補正に合わせて光変調装置の各画素に入射する光量を略一様に低減することが可能な調光手段を備えたプロジェクターが提案されている。これによれば、例えば、暗い画像を表示する際に、適応調光処理、即ち、画像の特徴量に基づいて、調光手段による光量の低減と、伸張手段による階調範囲の伸張とを行うことにより、有効な階調数を増やし(ダイナミックレンジを拡大し)、コントラスト感を向上させることが可能になる。
ところで、低温環境下のプロジェクターは、内部の液晶ライトバルブ等も低温状態であり、プロジェクターが起動されて光源から射出される光束のエネルギーにより内部が温まるまでに時間を要し、液晶ライトバルブが所定の温度に暖められるまでの間は液晶の応答速度が遅く、表示品質が低下することが知られている。従って、プロジェクターが起動された場合、低温状態の液晶ライトバルブは速やかに暖められることが望ましい。
特開2012−32583号公報
しかしながら、低温環境下のプロジェクターを起動して画像の投射を開始した場合、画像の明るさに応じて適応調光処理が実行され、画像が暗い場合は調光手段により光量が低減するため、液晶ライトバルブが暖められるのに時間を要した。従って、光量が低減されない場合と比較して、起動時に表示品質が低下した状態で投射する時間が長く、観賞者に不快感を与える場合があった。
本発明は、上述の課題に鑑みてなされたものであり、低温状態のような所定の条件下において、画像の特徴量に基づく適応調光処理を制御し、プロジェクターの表示品質の低下を速やかに回復させることを目的とする。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
[適用例1]
本適用例にかかる画像表示装置は、画像信号に基づく画像を表示する画像表示装置であって、光源と、前記光源から射出された光束の光量を、前記画像の明るさに関する特徴量に基づいて調整する調整部と、前記調整部が前記光量を調整した前記光束を、前記画像信号に基づいて変調する変調部と、前記変調部の温度に関わる所定の条件が成立する場合に、前記調整部による前記光量の低減を抑制する制御部と、を備えることを特徴とする。
このような構成によれば、調整部は光源から射出された光束の光量を画像の明るさに関する特徴量に基づいて調整し、制御部は変調部の温度に関わる所定の条件が成立する場合、調整部による光量の低減を抑制し、変調部は調整部により光量が調整された光束を画像信号に基づいて変調する。従って、光源から射出された光束の光量は、制御部からの制御に基づいて調整部で調整され、調整された光束は変調部に到達し、到達した光束により変調部が加熱される。ここで、変調部の温度に関わる所定の条件が成立する場合、変調部に到達する光束の光量は低減が抑制されるため、変調部の温度が上昇し、変調部における表示品質の低下を速やかに改善できる。
[適用例2]
上記適用例にかかる画像表示装置において、前記制御部は、前記所定の条件が成立する場合に、前記調整部による前記光量の低減を停止することが好ましい。
このような構成によれば、所定の条件が成立する場合には、変調部に到達する光束の光量は低減しないため、変調部の温度上昇を加速させることができる。
[適用例3]
上記適用例にかかる画像表示装置において、前記調整部は、前記特徴量、および前記制御部による制御に基づいて前記光量を調整することが好ましい。
このような構成によれば、画像の明るさに関する特徴量に基づいて変調部の温度上昇を制御できる。
[適用例4]
上記適用例にかかる画像表示装置において、前記調整部は、前記特徴量に基づいて前記光量を低減させる低減係数を決定し、前記制御部による制御に基づいて前記低減係数に応じた低減を抑制する抑制係数を決定し、前記低減係数および前記抑制係数に基づいて前記光量を低減させることが好ましい。
このような構成によれば、調整部は、特徴量に基づいて決定した低減係数と、低減係数に応じた低減を抑制する抑制係数と、に基づいて光量を低減させる。従って、2つの係数に基づいて光量を制御するため、変調部の温度上昇を精度良く制御できる。
[適用例5]
上記適用例にかかる画像表示装置において、前記制御部は、成立していた前記所定の条件が不成立になった場合、前記抑制に対する解除を指示し、前記調整部は、前記低減係数に基づいて前記光量を低減させることが好ましい。
このような構成によれば、成立していた所定の条件が不成立になった場合、特徴量に係る低減係数に基づいて光量を低減させることで、変調部で変調される画像のコントラスト向上を図れる。
[適用例6]
上記適用例にかかる画像表示装置において、前記特徴量に基づいて前記画像信号が示す画像の明るさの階調範囲を伸張する伸張部を備え、前記伸張部は、前記変調部で前記画像信号が変調されることで得られる変調画像の明るさが、前記所定の条件が成立するか否かに依らず略等しくなるように、前記階調範囲を伸張することが好ましい。
このような構成によれば、所定の条件に依らず変調画像の明るさは略等しくなるため、画像の明るさが低減抑制により変化することによる不快感を回避できる。
[適用例7]
上記適用例にかかる画像表示装置において、前記変調部の温度に関する情報を取得する温度情報取得部を備え、前記制御部は、前記温度が所定の基準温度以下である場合に、前記調整部による前記光量の低減を抑制することが好ましい。
このような構成によれば、変調部の温度を取得することで、変調部の温度に応じて光量の低減を抑制できる。
[適用例8]
上記適用例にかかる画像表示装置において、前記制御部は、前記光源が点灯してから所定の基準時間が経過していない場合に、前記調整部による前記光量の低減を抑制しても良い。
[適用例9]
上記適用例にかかる画像表示装置において、入力された画像データに基づいて前記特徴量と、前記画像信号と、を生成する画像処理部を備えることが好ましい。
このような構成によれば、入力された画像データに基づいて特徴量と画像信号とを生成できる。
[適用例10]
本適用例にかかる制御方法は、画像信号に基づく画像を表示する画像表示装置の制御方法であって、光源から射出された光束の光量を、前記画像の明るさに関する特徴量に基づいて調整する調整工程と、前記調整工程で光量が調整された前記光束を、前記画像信号に基づいて変調部で変調する変調工程と、前記変調部の温度に関わる所定の条件が成立する場合に、前記調整工程における前記光量の低減を抑制する調整抑制工程と、を備えることを特徴とする。
このような方法によれば、調整工程では光源から射出された光束の光量を画像の明るさに関する特徴量に基づいて調整し、調整抑制工程では変調部の温度に関わる所定の条件が成立する場合、調整工程における光量の低減を抑制し、変調工程では調整工程において光量が調整された光束を画像信号に基づいて変調する。従って、光源から射出された光束の光量は、調整抑制工程における制御に基づいて調整工程で調整され、調整された光束は変調部に到達し、到達した光束により変調部が加熱される。ここで、変調部の温度に関わる所定の条件が成立する場合、変調部に到達する光束の光量は低減が抑制されるため、変調部の温度が上昇し、変調部における表示品質の低下を速やかに改善できる。
本発明の実施形態に係るプロジェクターの概略構成を示す構成図。 本発明の実施形態に係るプロジェクターの機能構成を示すブロック図。 伸張係数の入力格子点の一例を示す説明図。 加熱制御部が絞り制御を指示する処理の流れを示すフローチャート。 伸張制御部が絞り制御に応じた伸張処理を実行する処理の流れを示すフローチャート。
以下、本発明の実施形態について図面を参照して説明する。
(実施形態)
以下、本発明の実施形態に係る画像表示装置として、光源から射出された光を画像信号に応じて変調し、この変調光をスクリーン等に拡大投写して画像を表示するプロジェクターについて説明する。
図1は、プロジェクター1の概略構成を示す構成図であり、光源11から射出された光がスクリーンSCに至るまでの光路を示している。図1に示すように、プロジェクター1は、照明光学系10と、色光分離光学系20と、リレー光学系30と、光変調装置としての3つの液晶ライトバルブ40R,40G,40Bと、合成光学系としてのクロスダイクロイックプリズム50と、投写光学系としての投写レンズ60とを備えている。
照明光学系10は、超高圧水銀ランプやメタルハライドランプ等の放電型光源ランプからなる光源11と、第1のレンズアレイ12と、第2のレンズアレイ13と、偏光変換素子14と、重畳レンズ15と、調光素子16とを備えている。光源11から射出された光線束は、微小なレンズ12aがマトリクス状に配置された第1のレンズアレイ12によって多数の微小な光線束に分割される。第2のレンズアレイ13および重畳レンズ15は、分割された光線束のそれぞれが、照明対象である3つの液晶ライトバルブ40R,40G,40Bの全体を照射するように備えられている。このため、各光線束が液晶ライトバルブ40R,40G,40Bで重畳され、液晶ライトバルブ40R,40G,40Bの全体がほぼ均一に照明される。尚、本実施形態では、液晶ライトバルブ40R,40G,40Bは、変調部に相当する。
ここで、第1及び第2のレンズアレイ12,13間の光路には、調光素子16が備えられている。調光素子16は、ルーバー16aの回動により第1のレンズアレイ12から射出される光を絞ることが可能となっており、第1のレンズアレイ12によって分割された光線束の一部を遮ることができる。このため、調光素子16の絞り量に応じて、液晶ライトバルブ40R,40G,40Bを照明する光の量が略一様に制限される。
尚、調光素子16はルーバー16aの回動による調光には限定されない。例えば、ルーバー16aに替えて、液晶ライトバルブ40R,40G,40Bよりも解像度が粗い第2の液晶パネルをルーバー16aの位置または各液晶ライトバルブ40R,40G,40Bの入射側に設置し、第2の液晶パネルの一部の画素を非透過状態に遷移させることで第2の液晶パネルを透過する光束の光量を抑制する態様も想定できる。
偏光変換素子14は、光源11からの光を液晶ライトバルブ40R,40G,40Bで効率よく利用可能とするため、特定の偏光方向を有する偏光光に揃える機能を有している。照明光学系10を射出した偏光光は、色光分離光学系20に入射する。
色光分離光学系20は、第1のダイクロイックミラー21と、第1の反射ミラー22と、第2のダイクロイックミラー23とを備えており、照明光学系10から射出された光を、波長域の異なる3色の光に分離する。第1のダイクロイックミラー21は、略赤色の光を透過させるとともに、透過する光よりも短波長の光を反射する。第1のダイクロイックミラー21を透過した赤色光Rは、第1の反射ミラー22で反射されて赤色光用の液晶ライトバルブ40Rを照明する。
第1のダイクロイックミラー21で反射された光のうち、緑色光Gは、第2のダイクロイックミラー23によって反射されて緑色光用の液晶ライトバルブ40Gを照明する。また、青色光Bは、第2のダイクロイックミラー23を透過し、リレー光学系30を通過して、青色光用の液晶ライトバルブ40Bを照明する。
尚、青色光Bの経路は、他の色光の経路に比べて長くなってしまうことから、光線束の発散によって液晶ライトバルブ40Bへの照明効率が低下するのを抑制するために、青色光Bの経路には、リレー光学系30が設けられている。リレー光学系30は、入射側レンズ31と、第2の反射ミラー32と、リレーレンズ33と、第3の反射ミラー34と、射出側レンズ35とを備えている。色光分離光学系20から射出した青色光Bは、入射側レンズ31によってリレーレンズ33の近傍で収束し、射出側レンズ35に向けて発散する。
液晶ライトバルブ40R,40G,40Bのそれぞれは、一対の透明基板間に液晶が封入された液晶パネル41を備えている。液晶パネル41の内面には、液晶に対して微小領域(画素)毎に駆動電圧を印加可能な透明電極(画素電極)がマトリクス状に形成されている。液晶パネル41の入射側及び射出側には、それぞれ入射側偏光板42及び射出側偏光板43が設置されている。入射側偏光板42及び射出側偏光板43は、それぞれ特定の偏光方向の偏光光のみを透過可能であり、入射側偏光板42は、偏光変換素子14によって揃えられた偏光方向の偏光光を透過可能となっている。このため、各液晶ライトバルブ40R,40G,40Bに入射する各色光の大部分は入射側偏光板42を透過して、液晶パネル41に入射する。尚、液晶ライトバルブ40R,40G,40Bは、入力される画像信号に基づいて液晶パネル41を駆動する駆動回路(図示せず)を備えている。
また、各液晶ライトバルブ40R,40G,40Bの各液晶パネル41の側端部には温度センサー45がそれぞれ設置されている。この温度センサー45は、例えば半導体センサーを想定し、液晶パネル41の温度情報を電気信号に変換して出力する機能を備える。この温度センサー45は、照明光学系10が起動して液晶パネル41に光束が入射した場合、入射した光束の光エネルギーの一部が熱エネルギーに変換されることによる液晶パネル41の温度上昇を検出する。尚、温度センサー45は温度情報取得部に相当する。
尚、本実施形態では、温度センサー45は、各液晶ライトバルブ40R,40G,40Bの各液晶パネル41に設置された態様を想定するが、液晶ライトバルブ40R,40G,40Bの少なくとも1つの液晶パネル41に設置された態様でも良く、また、1つの温度センサー45が色光分離光学系20の近傍に設置された態様でも良い。また、色光分離光学系20を冷却する冷却装置(図示は略す。)の排気口周辺に温度センサー45が設置された態様も想定できる。
ここで、液晶パネル41の各画素に、画像信号に応じた駆動電圧が印加されると、液晶パネル41に入射した光は、駆動電圧に応じて変調され、画素毎に異なる偏光方向を有した偏光光となる。この偏光光のうち、射出側偏光板43を透過可能な偏光成分のみが液晶ライトバルブ40R,40G,40Bから射出される。つまり、液晶ライトバルブ40R,40G,40Bが、画像信号に応じて、画素毎に異なる透過率で入射光を透過させることによって、階調を有する画像光が色光毎に形成される。液晶ライトバルブ40R,40G,40Bから射出した各色光からなる画像光は、クロスダイクロイックプリズム50に入射する。
クロスダイクロイックプリズム50は、各液晶ライトバルブ40R,40G,40Bから射出された各色の画像光を、画素毎に合成してカラー画像を表す画像光を形成する。クロスダイクロイックプリズム50によって合成された画像光は、投写レンズ60によってスクリーンSCに拡大投写され、画像として表示される。
尚、以降の説明において、3つの液晶ライトバルブ40R,40G,40Bを総称する場合、液晶ライトバルブ40と呼ぶ。
図2は、プロジェクター1の機能構成を示すブロック図である。このプロジェクター1は、I/F部100、画像処理部102および調光部120を備える。
調光部120は、ダイナミックレンジを拡大し、コントラスト感を向上させるべく、画像信号の輝度情報に基づいて、輝度の伸張処理や調光制御を行う機能を有する。この調光部120は、画像特徴量算出部124、伸張率算出部126、開口率算出部130、伸張処理部134、調光調整部136および加熱制御部140を備える。
尚、プロジェクター1は、いずれも図示を略したCPU、ROM、RAMおよびフラッシュメモリー等のハードウェアを有し、上述した各機能部の機能はこれらのハードウェアと、ROM等に記憶されたソフトウェアと、が協働することで実現する。
I/F部100は、DVD再生装置やインターネット等の外部から入力される入力画像として各種形式のコンテンツ画像を受け付け、受け付けたコンテンツ画像の画像データを所定の内部フォーマットに変換し、所定の内部フォーマットに変換した画像データを画像処理部102に出力する。
画像処理部102は、I/F部100から入力したコンテンツ画像の画像データに基づいて、リサイズ処理を行うと共に、R(赤)、G(緑)およびB(青)の各階調を10ビットの輝度値(0〜1023)で表した画像信号および輝度信号Yを生成する。なお、輝度信号Yは、各色を合成した際の輝度を表す10ビットの輝度値からなり、例えば、各画像信号に基づいて、Y=0.299R+0.587G+0.144B(R,G,Bは、各色の輝度値)のように算出しても良く、また、R、G、Bの最大値を輝度信号Yとしても良い。画像信号は、図示を略したバッファーメモリーを経てフレーム単位で調光部120に送られる。また、輝度信号Yは、画像特徴量算出部124に送られる。
次に、調光部120の各機能部について説明する。
画像特徴量算出部124は、画像処理部102で算出した輝度信号Yに基づいて、APL値と白ピーク値WPを算出する。
本実施形態では、画像特徴量算出部124は、画像フレームを所定の大きさ(例えば、16×16画素)の小領域に分割する。続いて、各小領域における各画素の輝度の平均値を算出し、算出した各小領域の輝度の平均値を平均してAPL値とし、各小領域の輝度の最大値を白ピーク値WPとする。ここでは、APL値と白ピーク値WPは10bitで表現する。画像特徴量算出部124が算出したAPL値と白ピーク値WPの情報は、伸張率算出部126および開口率算出部130に送られる。
伸張率算出部126は、画像特徴量算出部124が算出したAPL値と白ピーク値WPを用いて、後述する伸張係数ルックアップテーブル(LUT)を参照し、伸張率を示す伸張係数Gcを算出する。尚、伸張係数Gcの値の範囲は任意に設定可能であり、例えば0〜255の範囲に設定される。
図3は、伸張係数LUTの入力格子点の一例を示す説明図である。図3の横軸はAPL値であり、縦軸は白ピーク値WPである。図3の黒丸で示した入力格子点の箇所に、各々伸張係数Gcが格納されている。APL値が白ピーク値WPを越えることはないので、伸張係数LUTの右下半分の入力格子点には伸張係数Gcが格納されておらず、これによりメモリー量の削減を図っている。
伸張率算出部126は、APL値と白ピーク値WPの組が図3の入力格子点(黒丸)のいずれかに該当する場合には、その入力格子点における伸張係数Gcをそのまま読み出して使用する。APL値と白ピーク値WPの組が、入力格子点に該当しない場合、例えば、座標P1や座標P2の場合は、補間計算により伸張係数Gcを求める。例えば、座標P1のように4つの入力格子点に囲まれている場合、周囲の4つの入力格子点G3〜G6から4点補間計算を適切に行うことで算出できる。また、座標P2のように3つの入力格子点に囲まれている場合、周囲の3つの入力格子点G7〜G9から3点補間計算を適切に行うことで算出できる。伸張率算出部126が算出した伸張係数Gcは、伸張処理部134に送られる。
一方、開口率算出部130は、画像特徴量算出部124が算出した特徴量であるAPL値、および白ピーク値WPを用いて、調光制御用ルックアップテーブルを参照することにより、開口率を示す調光係数Lcを導出する。なお、調光係数Lcの値の範囲は任意に設定可能であり、例えば0〜255の範囲に設定される。
尚、本実施形態では、調光係数LUTは伸張係数LUTと同じ構成を有している。また、調光係数LUTを参照して調光係数Lcを決定する方法は、伸張係数Gcを決定する方法と同じであるので詳細な説明は省略する。
加熱制御部140は、液晶ライトバルブ40の端部に設置された温度センサー45から所定の時間間隔で電気信号を取得し、取得した電気信号から液晶ライトバルブ40の温度情報を算出する。そして、加熱制御部140は、算出した温度情報に関する所定の条件に対して判定し、判定結果に基づいて調光調整部136に対して制御信号を送る。尚、本実施形態では、加熱制御部140は制御部に相当する。
本実施形態では、液晶ライトバルブ40の温度が基準温度以下であることを所定の条件とする。従って、加熱制御部140は、所定の条件が成立する場合、即ち、液晶ライトバルブ40の温度が基準温度以下であると判定した場合、調光素子16のルーバー16aによる絞りを抑制する制御を行う。本実施形態では、加熱制御部140は、液晶ライトバルブ40に到達する光量を、後述する通常絞り制御よりも増加させる制御(絞り量補正制御)を実行させるための制御信号を生成し、生成した制御信号を調光調整部136に送る。
また、所定の条件が不成立である場合、即ち、液晶ライトバルブ40の温度が基準温度を超えたと判定した場合、加熱制御部140は、調光素子16の絞り量補正を行わず、通常のルーバー16aの制御(通常絞り制御)を実行させるための制御信号を生成し、生成した制御信号を調光調整部136に送る。
尚、基準温度は、低温が原因で液晶ライトバルブ40の応答速度が低下する80℃程度を想定するが、これに限定されるものではない。
また、加熱制御部140は、ルーバー16aが絞り量補正制御されているか、または、通常絞り制御されているかを示す制御モード情報を伸張処理部134に通知する。本実施形態では、所定のメモリー領域に制御モード情報に応じたデータフラグがセットされる態様を想定する。
また、加熱制御部140は、ルーバー16aが絞り量補正制御されている場合、絞り量補正制御により補正される絞り量に関する絞り補正情報を調光調整部136から取得し、取得した情報を伸張処理部134に送る。
尚、本実施形態では、加熱制御部140は温度情報に基づいて調光調整部136を制御する態様を想定したが、温度情報には限定されない。即ち、プロジェクター1が起動されて光源11が点灯してからの経過時間に係る条件に基づいて調光調整部136を制御する態様も想定できる。つまり、光源11が点灯してから所定の基準時間が経過するまでは、液晶ライトバルブ40の温度が十分に上昇していないことが想定されるため絞り量補正制御を行い、基準時間が経過した後で通常絞り制御を行うようにしてもよい。また、撮像素子で投射画像の明るさや、液晶ライトバルブ40の変調画像の明るさを検出し、各画像の明るさに係る条件に基づいて調光調整部136を制御する態様も想定できる。また、例えば、動作が激しいアクションモード等のように、予めユーザーにより設定されたコンテンツモードや、投射しているコンテンツの画像においてモーション等を解析して得られるコンテンツモードに応じて調光調整部136を制御する態様も想定できる。
調光調整部136は、最初に、調光係数Lcから以下の(1)式で示す光量率A1を算出する。光量率A1は、最大光量に対する割合を示しており、A1≦1である。
A1=Lc/255 ・・・(1)
ところで、光量率A1と、後述する(3d)式で求める伸張率K1が、以下の(2)式の関係であれば、輝度範囲伸張処理と調光制御後の画像の最大輝度は、輝度範囲伸張処理と調光制御前の画像の最大輝度と同じとなる。ここで、γは液晶ライトバルブ40のγ値であり、例えばγ=2.2である。
A1=K1―γ ・・・(2)
次に、調光調整部136は、算出した光量率A1の値と、加熱制御部140から送られる制御信号と、に基づいて調光素子16の駆動量を調整する。
例えば、通常絞り制御の実行を指示する制御信号が加熱制御部140から送られた場合、調光調整部136は、調光素子16に対して通常絞り制御を行い、調光素子16に対して光量率A1(低減係数)となるようにルーバー16aの絞り量を制御する。
また、絞り量補正制御の実行を指示する制御信号が加熱制御部140から送られた場合、調光調整部136は、制御信号に応じた抑制係数を決定する。ここで、抑制係数>1であると想定する。調光調整部136は、低減係数と抑制係数との積算結果が光量の低減率となるようにルーバー16aの絞りを制御する。但し、光量の低減率の最大値は1とする。この場合、光量の低減率は低減係数よりも大きくなるため、通常絞り制御の場合よりもルーバー16aの絞りが開放される。この結果、液晶ライトバルブ40に到達する光量が増加し、通常絞り制御の場合と比較して液晶ライトバルブ40の温度が速やかに上昇する。
尚、絞り量補正制御を実行する場合、調光調整部136がルーバー16aによる光量の低減を停止する態様、例えば、ルーバー16aの絞りを全開放する態様も想定できる。
また、調光調整部136は、絞り量補正制御を実行した場合、光量率A1の値のみで決定されるルーバー16aの絞り量、および光量率A1の値と制御信号とで決定されたルーバー16aの絞り量に関する絞り補正情報を加熱制御部140に送る。尚、本実施形態では、調光調整部136は調整部に相当する。
伸張処理部134は、伸張率算出部126が算出した伸張係数Gcに基づいて画像信号の明るさの階調範囲、即ち輝度の分布範囲を伸張する。尚、本実施形態では、伸張処理部134は伸張部に相当する。
伸張処理部134による処理は、以下の式(3a)〜(3d)で行なう。ここで、R0,G0,B0は輝度範囲伸張処理前の画像信号の色情報の値であり、R1,G1,B1は輝度範囲伸張処理後の画像信号の色情報の値である。また、伸張率K1は(3d)式で与えられる。尚、伸張係数Gcは0以上なので、伸張率K1は1以上である。
R1=K1*R0 ・・・(3a)
G1=K1*G0 ・・・(3b)
B1=K1*B0 ・・・(3c)
K1=1+Gc/255 ・・・(3d)
更に、伸張処理部134は、加熱制御部140から送られる制御モード情報および絞り補正情報に基づいて、伸張処理後の画像信号に対して明るさの変動補正を施す。
尚、通常絞り制御の場合、液晶ライトバルブ40の透過率をα、ルーバー16aの絞り量(透過率)をt1、および、調光素子16への入射光の強度をIとすると、液晶ライトバルブ40からの出射光の強度V1は(4)式で表示できる。
V1=(α*t1*I) ・・・(4)
また、絞り量補正制御の場合、液晶ライトバルブ40の透過率をβ、ルーバー16aの絞り量(透過率)をt2、および、調光素子16への入射光の強度をIとすると、液晶ライトバルブ40からの出射光の強度V2は(5)式で表示できる。
V2=(β*t2*I) ・・・(5)
従って、2つの出射光の強度が等しくなる(V1=V2)ように制御すれば、通常絞り制御時の投射映像の明るさと、絞り量補正制御時の投射映像の明るさを略等しくすることができる。本実施形態では、(4)式と(5)式から(6)式を算出する。
β=α*t1/t2 ・・・(6)
従って、制御モード情報が絞り量補正制御の実行を示す場合、伸張処理部134は、伸張処理後の画像信号を、液晶ライトバルブ40の透過率が(6)式を満足するように補正し、補正した画像信号を液晶ライトバルブ40に送る。
他方で、制御モード情報が通常絞り制御の実行を示す場合、伸張処理後の画像信号を液晶ライトバルブ40に送る。
この結果、絞り量補正制御の場合、ルーバー16aの絞り量調整による明るさの増加が抑制され、通常絞り制御されている場合と同様の明るさで画像が投射される。
図4は、加熱制御部140が絞り制御を指示する処理の流れを示すフローチャートである。この処理は、例えば、絞り制御プログラムとしてROM等に記憶され、CPUがRAM等に展開し、ポーリングにより所定のタイミングで実行される態様を想定する。
最初に、加熱制御部140は、液晶ライトバルブ40の温度を温度センサー45から取得する(ステップS200)。
続いて、加熱制御部140は、液晶ライトバルブ40の温度が基準温度以下か、否かを判定する(ステップS202)。
ここで、液晶ライトバルブ40の温度が基準温度以下であると判定した場合(ステップS202でYes)、加熱制御部140は、調光調整部136に対して絞り補正制御の実行を指示する(ステップS204)。この結果、調光調整部136は、絞り量補正制御に基づいて調光素子16の制御を調整する。
続いて、加熱制御部140は、絞り量補正制御が実行されていることを示す制御モード情報を伸張処理部134に通知し(ステップS206)、この処理を終了する。
他方で、液晶ライトバルブ40の温度が基準温度を越えていると判定した場合(ステップS202でNo)、加熱制御部140は、調光調整部136に対して通常絞り制御の実行を指示する(ステップS210)。この結果、調光調整部136は、通常絞り制御に基づいて調光素子16の制御を行う。
続いて、加熱制御部140は、通常絞り制御が実行されていることを示す制御モード情報を伸張処理部134に通知し(ステップS212)、この処理を終了する。
図5は、伸張処理部134が絞り制御に応じた伸張処理を実行する処理の流れを示すフローチャートである。この処理は、例えば、絞り制御プログラムとしてROM等に記憶され、CPUがRAM等に展開し、1フレーム画像毎に実行される態様を想定する。
最初に、伸張処理部134は、表示するフレーム画像の画像データを取得する(ステップS220)。
続いて、伸張処理部134は、加熱制御部140が通知した制御モード情報を取得し(ステップS222)、制御モード情報から絞り補正制御が実行されているか、否かを判定する(ステップS224)。
ここで、絞り補正制御が実行されていると判定した場合(ステップS224でYes)、伸張処理部134は加熱制御部140から絞り補正情報を取得する(ステップS226)。
続いて、伸張処理部134は、絞り補正情報に基づいて、液晶ライトバルブ40の透過率を算出し、伸張係数Gcに基づいて伸張処理した画像信号が算出した透過率になるように画像信号を処理し(ステップS228)、ステップS232に進む。
他方で、絞り補正制御が実行されていない、即ち、通常絞り制御が実行されていると判定した場合(ステップS224でNo)、伸張処理部134は、画像信号に対して伸張係数Gcに基づく伸張処理を施し(ステップS230)、ステップS232に進む。
ステップS232では、伸張処理部134は、処理した画像信号に基づくフレーム画像の制御信号を液晶ライトバルブ40に送り、フレーム画像を表示させ、処理を終了する。
以上述べた実施形態によれば、以下のような効果を奏する。
(1)ダイナミックレンジを拡大し、コントラスト感を向上させる適応調光処理機能を備えるプロジェクター1が起動された場合、プロジェクター1は液晶ライトバルブ40の温度を取得し、取得した温度が基準温度以下である場合には、光源11から射出された光束の光量を低減させる調光調整を抑制し、光束の光エネルギーで液晶ライトバルブ40を加熱することにより液晶ライトバルブ40の温度上昇を図る。従って、低温環境下で起動された場合、液晶の応答速度遅延により表示品質が低下することを速やかに回避できる。
(2)液晶ライトバルブ40を加熱することで基準温度を超えた場合、調光調整に対する抑制を解除するため、投射される画像のコントラスト感を向上させることができる。
(3)調光調整に対する抑制の有無に依らず、投射される画像の明るさが変化しないように伸張処理されるため、投射される画像の明るさが変化することによる違和感を排除できる。
本発明の実施形態について、図面を参照して説明したが、具体的な構成は、この実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、画像表示装置は、映像を投射するプロジェクター1への適用に限定されず、モバイルビュアーのように表示面に表示された映像を直視する装置への適用も想定できる。
また、プロジェクター1は、3つの液晶ライトバルブを用いた3板式に限定されない。例えば、1つの液晶ライトバルブ40でR光、G光、B光を変調可能な単板式のプロジェクター1に適用することも可能である。
また、光変調装置として、透過型の液晶ライトバルブ40を用いたが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向をマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を用いることもできる。
また、光源11は、放電型の光源ランプを備えて構成されているが、LED(Light Emitting Diode:発光ダイオード)や半導体レーザー等の固体光源や、その他の光源を用いることもできる。
また、以上のような手法を実施する装置は、単独の装置によって実現される場合もあれば、複数の装置を組み合わせることによって実現される場合もあり、各種の態様を含むものである。
各実施形態における各構成及びそれらの組み合わせは一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換およびその他の変更が可能である。また、本発明は実施形態では限定されるものではなく、クレームの範囲によってのみ限定される。
1…プロジェクター、10…照明光学系、11…光源、12…第1のレンズアレイ、12a…微小なレンズ、13…第2のレンズアレイ、14…偏光変換素子、15…重畳レンズ、16…調光素子、16a…ルーバー、20…色光分離光学系、21…第1のダイクロイックミラー、22…第1の反射ミラー、23…第2のダイクロイックミラー、30…リレー光学系、31…入射側レンズ、32…第2の反射ミラー、33…リレーレンズ、34…第3の反射ミラー、35…射出側レンズ、40…液晶ライトバルブ、40B…青色光用の液晶ライトバルブ、40G…緑色光用の液晶ライトバルブ、40R…赤色光用の液晶ライトバルブ、41…液晶パネル、42…入射側偏光板、43…射出側偏光板、45…温度センサー、50…クロスダイクロイックプリズム、60…投写レンズ、100…I/F部、102…画像処理部、120…調光部、124…画像特徴量算出部、126…伸張率算出部、130…開口率算出部、134…伸張処理部、136…調光調整部。

Claims (7)

  1. 画像信号に基づく画像を表示する画像表示装置であって、
    光源と、
    前記光源から射出された光束の光量を、前記画像の明るさに関する特徴量に基づいて調整する調整部と、
    前記調整部が前記光量を調整した前記光束を、前記画像信号に基づいて変調する変調部と、
    前記変調部の温度に関わる所定の条件が成立する場合に、前記調整部による前記光量の低減を抑制する制御部と、を備え
    前記調整部は、前記特徴量、および前記制御部による制御に基づいて前記光量を調整するものであって、前記特徴量に基づいて前記光量を低減させる低減係数を決定し、前記制御部による制御に基づいて前記低減係数に応じた低減を抑制する抑制係数を決定し、前記低減係数および前記抑制係数に基づいて前記光量を低減させることを特徴とする画像表示装置。
  2. 請求項に記載の画像表示装置において、
    前記制御部は、成立していた前記所定の条件が不成立になった場合、前記抑制に対する解除を指示し、
    前記調整部は、前記低減係数に基づいて前記光量を低減させることを特徴とする画像表示装置。
  3. 請求項1又は2に記載の画像表示装置において、
    前記特徴量に基づいて前記画像信号が示す画像の明るさの階調範囲を伸張する伸張部を備え、
    前記伸張部は、前記変調部で前記画像信号が変調されることで得られる変調画像の明るさが、前記所定の条件が成立するか否かに依らず略等しくなるように、前記階調範囲を伸張することを特徴とする画像表示装置。
  4. 請求項1乃至のいずれか1項に記載の画像表示装置において、
    前記変調部の温度に関する情報を取得する温度情報取得部を備え、
    前記制御部は、前記温度が所定の基準温度以下である場合に、前記調整部による前記光量の低減を抑制することを特徴とする画像表示装置。
  5. 請求項1乃至のいずれか1項に記載の画像表示装置において、
    前記制御部は、前記光源が点灯してから所定の基準時間が経過していない場合に、前記調整部による前記光量の低減を抑制することを特徴とする画像表示装置。
  6. 請求項1乃至のいずれか1項に記載の画像表示装置において、
    入力された画像データに基づいて前記特徴量と、前記画像信号と、を生成する画像処理部を備えることを特徴とする画像表示装置。
  7. 画像信号に基づく画像を表示する画像表示装置の制御方法であって、
    光源から射出された光束の光量を、前記画像の明るさに関する特徴量に基づいて調整する調整工程と、
    前記調整工程で光量が調整された前記光束を、前記画像信号に基づいて変調部で変調する変調工程と、
    前記変調部の温度に関わる所定の条件が成立する場合に、前記調整工程における前記光量の低減を抑制する調整抑制工程と、を備え
    前記調整工程は、前記特徴量、および前記調整抑制工程における制御に基づいて前記光量を調整する工程であって、前記特徴量に基づいて前記光量を低減させる低減係数を決定し、前記調整抑制工程における制御に基づいて前記低減係数に応じた低減を抑制する抑制係数を決定し、前記低減係数および前記抑制係数に基づいて前記光量を低減させることを特徴とする制御方法。
JP2013150215A 2013-07-19 2013-07-19 画像表示装置および制御方法 Expired - Fee Related JP6221450B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013150215A JP6221450B2 (ja) 2013-07-19 2013-07-19 画像表示装置および制御方法
US14/330,454 US9361819B2 (en) 2013-07-19 2014-07-14 Image display device and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013150215A JP6221450B2 (ja) 2013-07-19 2013-07-19 画像表示装置および制御方法

Publications (3)

Publication Number Publication Date
JP2015022154A JP2015022154A (ja) 2015-02-02
JP2015022154A5 JP2015022154A5 (ja) 2016-08-04
JP6221450B2 true JP6221450B2 (ja) 2017-11-01

Family

ID=52343244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013150215A Expired - Fee Related JP6221450B2 (ja) 2013-07-19 2013-07-19 画像表示装置および制御方法

Country Status (2)

Country Link
US (1) US9361819B2 (ja)
JP (1) JP6221450B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129730A (ja) * 2016-01-20 2017-07-27 セイコーエプソン株式会社 プロジェクター
US9706182B1 (en) * 2016-05-31 2017-07-11 Himax Display, Inc Projection apparatus and projection method for optimization of contrast and grayscale accuracy of projected image
CN108345160B (zh) * 2017-01-22 2020-11-17 深圳光峰科技股份有限公司 一种投影显示系统
CN107169937A (zh) * 2017-05-22 2017-09-15 京东方科技集团股份有限公司 一种应用在医疗影像设备中的图像处理方法和医疗影像设备
KR102503152B1 (ko) * 2018-07-03 2023-02-24 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 구동 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4829398B2 (ja) 2000-09-04 2011-12-07 キヤノン株式会社 照明光学系、該照明光学系を有する光学装置、画像処理装置
US8537081B2 (en) * 2003-09-17 2013-09-17 Hitachi Displays, Ltd. Display apparatus and display control method
CN101010629A (zh) 2005-06-21 2007-08-01 索尼株式会社 投影型显示系统
JP2008233311A (ja) * 2007-03-19 2008-10-02 Matsushita Electric Ind Co Ltd 液晶プロジェクタ
JP2009020340A (ja) 2007-07-12 2009-01-29 Renesas Technology Corp 表示装置及び表示装置駆動回路
JP5245619B2 (ja) * 2008-07-31 2013-07-24 パナソニック株式会社 投写型表示装置
JP4799629B2 (ja) * 2009-02-24 2011-10-26 三洋電機株式会社 投写型映像表示装置
JP2012032583A (ja) 2010-07-30 2012-02-16 Seiko Epson Corp プロジェクター
JP2012181466A (ja) 2011-03-03 2012-09-20 Panasonic Corp 液晶パネル装置
JP5803425B2 (ja) * 2011-08-23 2015-11-04 セイコーエプソン株式会社 プロジェクター及びその制御方法

Also Published As

Publication number Publication date
JP2015022154A (ja) 2015-02-02
US20150022569A1 (en) 2015-01-22
US9361819B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
JP4432818B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP4552986B2 (ja) 画像表示装置
US20050195223A1 (en) Light modulating apparatus, optical display apparatus, light modulation control program, optical display apparatus control program, light modulation control method, and optical display apparatus control method
JP6213211B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP6221450B2 (ja) 画像表示装置および制御方法
JP6331340B2 (ja) 表示装置、及び、表示装置の制御方法
JP6398185B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2010197626A (ja) 投写型映像表示装置
JP2006284982A (ja) 調光情報生成装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および画像表示装置
JP6232796B2 (ja) 画像表示装置および画像表示方法
JP2007264192A (ja) 投影表示装置
JP5092207B2 (ja) 画像表示装置及び画像表示方法
JP4552985B2 (ja) 画像表示装置
WO2018159317A1 (ja) 表示装置、ヘッドアップディスプレイ
JP2010010754A (ja) 表示装置
JP2006251445A (ja) プロジェクタ、画像表示方法、および画像表示プログラム
JP4776875B2 (ja) 映像表示装置、投射型表示装置
JP2019029743A (ja) 表示システム、画像表示装置、及び表示システムの制御方法
JP5392345B2 (ja) プロジェクタ及びプロジェクタの制御方法
JP2009175771A (ja) プロジェクタの制御方法
JP2013168836A (ja) 投射型画像表示装置
JP2012220517A (ja) 投写型表示装置
JP2009098627A (ja) 投写型映像表示装置
JP2019041189A (ja) 画像投射装置およびその制御方法
JP7071694B2 (ja) 投影制御装置、投影システム、投影制御装置の投影制御方法、及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160620

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R150 Certificate of patent or registration of utility model

Ref document number: 6221450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees