JP6236759B2 - 画像表示装置および画像表示装置の画像調整方法 - Google Patents

画像表示装置および画像表示装置の画像調整方法 Download PDF

Info

Publication number
JP6236759B2
JP6236759B2 JP2012224849A JP2012224849A JP6236759B2 JP 6236759 B2 JP6236759 B2 JP 6236759B2 JP 2012224849 A JP2012224849 A JP 2012224849A JP 2012224849 A JP2012224849 A JP 2012224849A JP 6236759 B2 JP6236759 B2 JP 6236759B2
Authority
JP
Japan
Prior art keywords
image
corner
displayed
corners
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012224849A
Other languages
English (en)
Other versions
JP2014077862A5 (ja
JP2014077862A (ja
Inventor
順 吉村
順 吉村
小林 誠
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012224849A priority Critical patent/JP6236759B2/ja
Priority to US14/041,405 priority patent/US9478053B2/en
Priority to CN201310470666.9A priority patent/CN103731621B/zh
Publication of JP2014077862A publication Critical patent/JP2014077862A/ja
Publication of JP2014077862A5 publication Critical patent/JP2014077862A5/ja
Priority to US15/215,965 priority patent/US9892536B2/en
Application granted granted Critical
Publication of JP6236759B2 publication Critical patent/JP6236759B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像表示面に画像を表示する画像表示装置および画像表示装置の画像調整方法に関するものである。
従来、投写面に対して画像表示装置(プロジェクター)を傾けた状態で画像を投写したときに生じる台形歪を、ユーザーの操作により補正することが可能なプロジェクターが知られている。例えば、特許文献1には、画像の四隅の角部に対応する4つの識別画像を表示し、この中からユーザーにより選択された識別画像に対応する角部を、ユーザーの操作に基づいて移動させることで投写画像の台形歪補正を行うことが開示されている。
特開2010−250041号公報
ところで、画像表示装置で画像を投写する場合、複数の面で構成された角を有する投写面(例えば、2面で構成された角を有する投写面等)に画像を投写する場合がある。この場合、投写面の角の影響により投写した画像の形状に歪みが生じるためその歪みを補正する必要がある。しかしながら、従来技術のように画像の四隅の角部を移動させるだけでは上記のような角を有する投写面に投写した画像の形状を補正することはできない。このため、複数の面で構成された角を有する投写面に投写した画像の形状を適切に補正できる機能を備えた画像表示装置が求められている。
本発明は、上記の問題に鑑み、複数の面で構成された角を有する画像表示面に表示した画像の形状補正を行うことが可能な画像表示装置および画像表示装置の画像調整方法を提供することを目的とする。
本発明の画像表示装置は、光変調装置により変調された画像を画像表示面に表示する画像表示装置であって、画像の四隅の角部と、画像の四つの辺とのそれぞれに対応する識別画像をOSD表示するOSD表示部と、OSD表示された識別画像の中から、任意の識別画像を選択する操作を受け付ける識別画像選択部と、識別画像選択部で選択された識別画像に対応する角部または辺の所定位置に設定された節点を移動させる操作を受け付ける移動操作部と、移動操作部により受け付けた操作にともなって、複数の面で構成された角を有する画像表示面に対して表示された画像の角部または辺の節点を移動させて画像の形状を補正する画像補正部と、を備えたことを特徴とする。
本発明の画像表示装置の画像調整方法は、光変調装置により変調された画像を画像表示面に表示する画像表示装置の画像調整方法であって、画像の四隅の角部と、画像の四つの辺とのそれぞれに対応する識別画像をOSD表示するステップと、OSD表示された識別画像の中から、任意の識別画像を選択する操作を受け付けるステップと、選択された識別画像に対応する角部または辺の所定位置に設定された節点の移動操作にともなって、複数の面で構成された角を有する画像表示面に対して表示された画像の角部または辺の節点を移動させて画像の形状を補正するステップと、を実行することを特徴とする。
これらの構成によれば、画像表示面に表示される画像の四隅の角部と、画像の四つの辺とのそれぞれに対応する識別画像を表示し、この中から選択された識別画像に対応する角部または辺の節点の移動操作に基づいて画像の形状を補正する。すなわち、画像の角部の形状補正のみならず、画像の辺の節点を基準とした形状補正もできるため、複数の面で構成された角を有する画像表示面に画像を表示した場合であっても、適切に画像の形状を補正することができる。
また、ユーザーは、表示された画像を見ながら角部または辺の節点を移動させて画像の形状を変形(補正)できるため、実際にどのように画像の形状が補正されるのかを視覚的に把握しながら補正を行うことができる。
本発明の画像表示装置において、水平方向にコーナーを形成する画像表示面に対して表示された画像の形状補正を行う水平コーナーモードおよび垂直方向にコーナーを形成する画像表示面に対して表示された画像の形状補正を行う垂直コーナーモードのいずれか一方を選択する操作を受け付けるモード選択部を備え、OSD表示部は、水平コーナーモードが選択された場合、画像の四隅の角部および角部を繋ぐ水平方向の2つの辺のそれぞれに対応する6つの識別画像を表示し、垂直コーナーモードが選択された場合、画像の四隅の角部および角部を繋ぐ垂直方向の2つの辺のそれぞれに対応する6つの識別画像を表示することが好ましい。
この構成によれば、モードの選択により、画像表示面の形状(水平方向にコーナーがあるか、垂直方向にコーナーがあるか)に応じて画像の形状補正が可能な角部や辺(補正する必要性があると考えられる角部や辺)のみの識別画像を表示する。これにより、ユーザーはどの部分(角部や辺の節点)を移動させて画像の形状を補正すればよいのかを容易に認識することができる。
本発明の画像表示装置において、画像表示面に表示された画像における辺の節点を少なくとも教示するためのガイドを表示するガイド表示部を備えたことが好ましい。
この構成によれば、画像の辺の所定位置に設けられた節点の位置を容易に認識することができる。なお、ガイドは、画像を4分割する十字状の線であっても良いし、丸や四角等の図形を辺の節点に表示しても良い。あるいは、画像を4分割する格子状のガイドを表示し、辺の節点のみならず四隅の角も教示するようにしても良い。
本実施形態に係るプロジェクターの構成を示すブロック図である。 2面角の投写面に投写した画像の一例を示す図であり、図(a)は、水平方向にコーナーが形成され、その角がプロジェクター側に凸になった投写面に画像を投写した場合を説明する図であり、図(b)は、水平方向にコーナーが形成され、その角がプロジェクターから離れる方向に凸になった投写面に画像を投写した場合を説明する図であり、図(c)は、垂直方向にコーナーが形成され、その角がプロジェクター側に凸になった投写面に画像を投写した場合を説明する図であり、図(d)は、垂直方向にコーナーが形成され、その角がプロジェクターから離れる方向に凸になった投写面に画像を投写した場合を説明する図である。 角壁形状補正の手順を示すフローチャートである。 コーナー設定画面を説明する図である。 図(a)は、水平コーナー用の角壁形状選択画面を説明する図であり、図(b)は、画像形成領域に表示するガイドを説明する図である。 水平コーナー用の角壁補正調整画面を説明する図であり、図(a)は、左上角部を示す識別画像が選択された場合の画面を説明する図であり、図(b)は、上辺を示す識別画像が選択された場合の画面を説明する図である。 図(a)〜(d)は、水平コーナー選択時における左上角部の移動による画像形成領域の変化を説明する図であり、図(e)〜()は、水平コーナー選択時における上辺の中点の移動による画像形成領域の変化を説明する図である。 図(a)は、垂直コーナー用の角壁形状選択画面を説明する図であり、図(b)は、画像形成領域に表示するガイドを説明する図である。 垂直コーナー用の角壁補正調整画面を説明する図であり、図(a)は、左上角部を示す識別画像が選択された場合の画面を説明する図であり、図(b)は、左辺を示す識別画像が選択された場合の画面を説明する図である。 図(a)〜(d)は、垂直コーナー選択時における左上角部の移動による画像形成領域の変化を説明する図であり、図(e)〜()は、垂直コーナー選択時における左辺の中点の移動による画像形成領域の変化を説明する図である。 図(a)〜(g)は、2面角の投写面に投写した画像の形状補正する際の具体的な手順を説明する図である。
以下、添付の図面を参照し、本発明の一実施形態に係る画像表示装置および画像表示装置の画像調整方法について説明する。本実施形態では、画像表示装置としてプロジェクター1を例に挙げて説明する。図1は、プロジェクター1の構成を示すブロック図である。同図に示すように、プロジェクター1は、画像信号入力部11、画像処理部12(画像補正部)、OSD処理部13、投写光学系14、入力操作部15およびこれらを制御する制御部16を備えている。
画像信号入力部11は、パーソナルコンピューターやDVDプレーヤー等の外部機器2、あるいはUSBメモリーやコンパクトフラッシュ(登録商標)等の外部記憶媒体3から画像情報(画像信号)を入力する。
画像処理部12は、画像信号入力部11により入力した画像情報に対し、予め記憶されている画像処理プログラムに基づいて、所定の画像処理を実行する。所定の画像処理としては、解像度変換、シャープネス調整、輝度調整等の画質調整等や、画像の形状補正等が含まれる。
OSD処理部13は、制御部16の指示に基づいて、メニュー画像やメッセージ画像(OSD画像)等で構成されるOSD(オンスクリーンディスプレイ)画面を、画像処理部12から入力される画像情報に重畳する処理を行なう。OSD処理部13は、図示しないOSDメモリーを備えており、OSD画像を形成する図形やフォント等を表すOSD画像情報を記憶している。制御部16が、OSD画像の重畳を指示すると、OSD処理部13は、必要なOSD画像情報をOSDメモリーから読み出し、入力された画像情報の所定の位置にOSD画像情報を重畳する処理を実行する。OSD画像情報が合成された画像情報は、ライトバルブ駆動部24に出力される。一方、制御部16からOSD画像を重畳する旨の指示がない場合には、OSD処理部13は、画像処理部12から入力される画像情報を、そのままライトバルブ駆動部24に出力する。なお、請求項における「OSD表示部」および「ガイド表示部」は、OSD処理部13を主要な構成要素とする。
投写光学系14は、スクリーン等の投写面S(画像表示面)上に画像を投写するものであり、光源部21、光源駆動部22、液晶ライトバルブ23(光変調装置)、ライトバルブ駆動部24および投写レンズ25を有している。
光源部21は、ハロゲンランプ、メタルハライドランプまたは高圧水銀ランプ等から成る光源ランプ21aと、光源ランプ21aから射出した光を略一定の方向に反射するリフレクター21bとにより構成される。光源部21から射出された光(照明光)は、不図示の光分離光学系によって、赤色(R)、緑色(G)、青色(B)の色成分に分離された後、各色用の液晶ライトバルブ23(23R、23G、23B)に入射する。光源駆動部22は、制御部16から指示に基づいて、光源部21に対する電力の供給と停止を制御し、光源部21の点灯および消灯を切り替える。
液晶ライトバルブ23は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ23は、マトリクス状に配列された複数の画素から成る矩形の画素領域23aが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。ライトバルブ駆動部24は、液晶ライトバルブ23の各画素に、画像情報に応じた駆動電圧を印加することにより、各画素の光透過率を設定する。
上記の構成により、投写光学系14では、光源部21から射出された光が、液晶ライトバルブ23の画素領域23aを透過することによって変調され、画像情報に応じた画像が色光毎に形成される。形成された各色の画像は、不図示の光合成光学系(ダイクロイックプリズムなど)により画素毎に合成され、投写レンズ25によって投写面S上に投写される。
入力操作部15は、ユーザーからの入力操作を受け付けるものであり、ユーザーがプロジェクター1に対して各種指示を行うための複数の操作キーを備えている。操作キーとしては、電源のON/OFFを切り替える電源キーや、各種設定用のOSDメニュー画面の表示や終了を行うメニューキー、OSDメニュー画面等で選択された項目を確定する決定キー、上下左右に対応する4つの方向キー、動作の取消しや1つ前の動作(画面)に戻るための取消キー等がある。なお、請求項における「識別画像選択部」、「移動操作部」および「モード選択部」は、入力操作部15を主要な構成要素とする。
ユーザーが入力操作部15の各種操作キーを操作すると、入力操作部15は、ユーザーの操作内容に応じた操作信号を制御部16に出力する。本実施形態では、主にOSDメニューの一機能として提供される、2面で構成された角を有する壁状の投写面S(2面角の投写面S)に画像を投写した場合における画像形状補正(以下、「角壁形状補正機能」と称す。)を行うための操作手段として用いられる(詳細は後述する)。
なお、入力操作部15として、遠隔操作が可能なリモコン(不図示)を用いた構成としても良い。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部16に伝達する。
制御部16は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)等により構成される。CPUは、各種演算処理を行う中央処理装置であり、各部との信号の入出力を行うことによりプロジェクター1を統括制御する。ROMは、CPUが各種演算処理を行うために用いられる制御プログラムおよび制御データを記憶している。当該制御プログラムには、上述の画像処理部12において用いられる画像処理プログラムが含まれる。RAMは、CPUが各種演算処理を行う際の作業領域として用いられる。
次に、図2を参照して、2面角の投写面Sに画像を投写した場合のプロジェクター1の画像形状補正について、その概略を説明する。図2(a)〜図2(d)は、プロジェクター1を2面角の投写面Sの正面に設置した状態で投写した投写画像Gの一例を示す図である。
図2(a)は、水平方向にコーナーが形成され、その角がプロジェクター1側に凸になった投写面Sに、画像を投写した場合の一例を示している。この場合、平面の投写面Sであれば矩形で表示される投写画像Gは、上辺部分が中心に向かう方向(下側)に窪み(凹状)、下辺部分が中心から離れる方向(下側)に出っ張った形状(凸状)で表示される。このため、画素領域23a内に、投写画像Gとは逆向きに歪んだ形状の画像(すなわち、上辺部分が中心から離れる方向に出っ張り、下辺部分が中心に向かう方向に窪んだ形状の画像)を設定すれば、画像の歪みを相殺して、投写面Sに矩形状の画像を表示できる。
なお、上述で説明した投写画像Gの歪みの形状は、あくまでも一例であり、これに限るものではない。投写面Sを見る角度や投写の角度によって、投写画像Gの歪みの形状は異なる。すなわち、図2(a)で示す投写面Sに画像を投写した場合であっても、投写面Sを見る角度や投写の角度によっては、必ずしも上辺部分が中心に向かう方向に窪み、下辺部分が中心から離れる方向に出っ張った形状になるとは限らない(以下の図2(b)〜図2(d)についても同様である)。
図2(b)は、水平方向にコーナーが形成され、その角がプロジェクター1から離れる方向に凸になった投写面S(凹面)に、画像を投写した場合の一例を示している。この場合、平面の投写面Sであれば矩形で表示される投写画像Gは、上辺部分が中心から離れる方向(上側)に出っ張り(凸状)、下辺部分が中心に向かう方向(上側)に窪んだ形状(凹状)で表示される。このため、画素領域23a内に、投写画像Gとは逆向きに歪んだ形状の画像(すなわち、上辺部分が中心に向かう方向に窪み、下辺部分が中心から離れる方向に出っ張った形状の画像)を設定すれば、画像の歪みを相殺して、投写面Sに矩形状の画像を表示できる。
また、図2(c)は、垂直方向にコーナーが形成され、その角がプロジェクター1側に凸になった投写面Sに、画像を投写した場合の一例を示している。この場合、平面の投写面Sであれば矩形で表示される投写画像Gは、左右の両辺が中心に向かう方向に窪んだ形状(凹状)で表示される。このため、画素領域23a内に、投写画像Gとは逆向きに歪んだ形状の画像(すなわち、左右の両辺が中心から離れる方向に出っ張った形状の画像)を設定すれば、画像の歪みを相殺して、投写面Sに矩形状の画像を表示できる。
また、図2(d)は、垂直方向にコーナーが形成され、その角がプロジェクター1から離れる方向に凸になった投写面S(凹面)に、画像を投写した場合の一例を示している。この場合、平面の投写面Sであれば矩形で表示される投写画像Gは、左右の両辺が中心から離れる方向に出っ張った形状(凸状)で表示される。このため、画素領域23a内に、投写画像Gとは逆向きに歪んだ形状の画像(すなわち、左右の両辺が中心に向かう方向に窪んだ形状の画像)を設定すれば、画像の歪みを相殺して、投写面Sに矩形状の画像を表示できる。
本実施形態では、上記のような2面角の投写面Sに投写された画像の形状補正を、OSDメニューで提供される角壁形状補正機能(画像形状補正機能)を用いることで補正する。
次に、図3ないし図10を参照して、2面角の投写面Sに投写した画像の形状補正(角壁形状補正)を行う際のプロジェクター1の動作を説明する。図3は、角壁形状補正の手順を示すフローチャートである。図4ないし図10は、角壁形状補正を実行する際にユーザーが操作する操作画面およびその操作方法の一例について説明する図である。なお、図4ないし図10は、液晶ライトバルブ23の画素領域23aに表示される画面を示している。
まず、ユーザーによりOSDメニュー画面から「角壁形状補正」の項目が選択されると、プロジェクター1の制御部16は、OSD処理部13に指示をして、コーナー設定画面D01(図4参照)を表示する(図3:S01)。
図4に示すように、コーナー設定画面D01には、水平方向にコーナーを形成する投写面Sに対して投写した画像の形状補正を行う「水平コーナー31(水平コーナーモード)」と、垂直方向にコーナーを形成する投写面Sに対して投写した画像の形状補正を行う「垂直コーナー32(垂直コーナーモード)」の2つのコーナータイプを選択する選択肢と、入力操作部15が有する操作キーの内の操作可能なキーとその動作を案内する操作案内情報33と、が表示される。
ユーザーは、コーナー設定画面D01において、投写面Sの形状に応じた項目を選択する。すなわち、投写面Sが図2(a)や図2(b)に示すような形状の場合は「水平コーナー31」を選択し、投写面Sが図2(c)や図2(d)に示すような形状の場合は「垂直コーナー32」を選択する。
次に、コーナー設定画面D01において、ユーザー操作により「水平コーナー31」が選択されると、制御部16は、OSD処理部13に指示をして、水平コーナー用の角壁形状選択画面D02(図5参照)を表示する(図3:S02)。
図5(a)に示すように、水平コーナー用の角壁形状選択画面D02には、水平方向にコーナーを形成する投写面Sにおいて位置調整が可能な部分、すなわち、入力画像の四隅(画素領域23aにおける画像形成領域23b(図5(b)参照)の四隅)、および水平方向の2辺(画像形成領域23bの上辺および下辺)に対応する6つの識別画像C(C1〜C6)と、操作案内情報41と、ユーザーに対するメッセージ42(「エリアを選択してください。」)が表示される。なお、上辺および下辺の位置調整は、具体的には、上辺および下辺の中点(請求項の節点)の位置を調整(移動)することで行われる。
識別画像Cは、画像形成領域23b(入力画像)の左上角部に対応する識別画像C1と、左下角部に対応する識別画像C2と、右上角部に対応する識別画像C3と、右下角部に対応する識別画像C4と、上辺に対応する識別画像C5と、下辺に対応する識別画像C6とで構成されている。各識別画像C1〜C6には、対応する角部および辺を表したイラストが描かれており、画像形成領域23bの各角部および各辺と、各識別画像C1〜C6との対応をユーザーが直感的に理解できるようになっている。また、識別画像C1〜C6のうちの1つは、その輪郭が他の5つとは異なる配色で表示されており、その識別画像Cが選択されている状態であることを示している(図5(a)では、識別画像C1が選択されている状態を示している)。
なお、図5(b)に示すように、角壁形状選択画面D02を表示する際、画素領域23a(画像形成領域23b)には、その四隅の角部と辺の中点を教示するための格子状のガイド43(画像形成領域23bを4分割する格子状のガイド43:図中の格子状の白線)が表示される。このガイド43は、後述する角壁補正調整画面D03の表示中も継続して表示される。これは、ユーザーが、投写面Sに投写された画像を見ながら後述の各種操作を行う場合に、調整対象(移動対象)となる角や辺の中点がどこなのか(操作に伴ってどの部分が移動するのか)を把握し易くするためのものである。なお、このガイド43は、ユーザーによる所定キーの操作によって、入力画像に重畳して表示したり、ガイド43のみを表示したり、あるいはガイド43を消したりすることができる。
この角壁形状選択画面D02において、ユーザーは投写面Sに投写された画像の形状調整を行いたい位置に対応する識別画像Cを選択する。例えば、ユーザーが投写面Sに投写された画像の右上角部の位置を調整したい場合、ユーザーは識別画像C3を選択する。また、例えば、ユーザーが投写面Sに投写された画像の上辺の位置を調整したい場合、ユーザーは識別画像C5を選択する。
次に、角壁形状選択画面D02において、ユーザーにより所望の識別画像Cが選択(決定)されると、制御部16は、OSD処理部13に指示をして、選択された識別画像Cに対応した水平コーナー用の角壁補正調整画面D03(図6参照)を表示する(図3:S03)。
図6(a)は、ユーザーにより識別画像C1が選択された場合の角壁補正調整画面D03であり、図6(b)は、ユーザーにより識別画像C5が選択された場合の角壁補正調整画面D03である。この角壁補正調整画面D03には、角壁形状選択画面D02で選択された識別画像Cを拡大した拡大画像51と、操作案内情報52と、ユーザーに対するメッセージ53(「調整を実施してください。」)が表示される。
拡大画像51には、上下左右の方向を示す三角状の方向マークDが付加されており、拡大された識別画像Cに対応する角部や辺の中点を上下左右に移動(位置調整)可能であることを示している。すなわち、図6(a)は、画像形成領域23b(入力画像)の左上角部を上下左右に移動可能であることを示し、図6(b)は、画像形成領域23b(入力画像)の上辺の中点を上下左右に移動可能であることを示している(他の識別画像Cに対応する角壁補正調整画面D03も同様である)。
この角壁補正調整画面D03が表示されている状態で、ユーザーが方向キーを操作することにより四隅の角部または上下の辺の中点の位置を調整すると、制御部16は画像処理部12に指示をし、ユーザー操作に応じて画像形成領域23bの形状補正を実行する(図3:S04)。
ここで、図7を参照し、S04の処理の具体例として、水平コーナー用の角壁補正調整画面D03におけるユーザー操作に応じた画像形成領域23bの形状変化の一例について説明する。図7(a)〜図7(d)は、左上角部(識別画像C1)に対応する角壁補正調整画面D03(図6(a)参照)が表示されている状態で、ユーザーによるキー操作が行われた場合の画像形成領域23b(図中の白色部分)の形状変化の様子を示している。
例えば、図7(a)の状態で、右方向キーが操作されると、画像形成領域23bの左上角部は右側に移動され、この角部の移動にともなって、この角部に繋がる2辺(すなわち、左上角部と左下角部を繋ぐ辺、および左上角部と上辺の中点を繋ぐ辺)が所定量だけ移動する。これにより画像形成領域23bは、図7(b)に示す形状に変形される。
また、図7(a)の状態で、下方向キーが操作されると、画像形成領域23bの左上角部は下側に移動され、この角部の移動にともなって、この角部に繋がる2辺が所定量だけ移動する。これにより画像形成領域23bは、図7(c)に示す形状に変形される。
また、図7(b)の状態で下方向キーが操作されると、画像形成領域23bの左上角部は下側に移動され、この角部の移動にともなって、この角部に繋がる2辺が所定量だけ移動する。これにより画像形成領域23bは、図7(d)に示す形状に変形される。同様に、図7(c)の状態で右方向キーが操作された場合も、画像形成領域23bは、図7(d)の形状に変形される。
なお、画像形成領域23bの各角部は、画素領域23aの外側には移動し得ないため、角部が画素領域23aの外縁上(境界上)、すなわち移動可能範囲の限界に位置している場合には、制御部16は、画素領域23aの外側に向かう方向のキー操作を無視するようになっている(各辺の中点についても同様である)。
一方、図7(e)〜図7()は、上辺(識別画像C5)に対応する角壁補正調整画面D03(図6(b)参照)が表示されている状態で、ユーザーによるキー操作が行われた場合の画像形成領域23bの形状変化の様子を示している。
例えば、図7(e)の状態で、下方向キーが操作されると、画像形成領域23bの上辺の中点は下側に移動され、この中点の移動にともなって上辺(すなわち、左上角部と上辺の中点を繋ぐ辺、および右上角部と上辺の中点を繋ぐ辺)が変形し、画像形成領域23bは、図7(f)に示す形状に変形される。
また、図7(f)の状態で左方向キーが操作されると、画像形成領域23bの上辺の中点は左側に移動され、この中点の移動にともなって上辺が変形し、画像形成領域23bは、図7(g)に示す形状に変形される。
また、図7(f)の状態で右方向キーが操作されると、画像形成領域23bの上辺の中点は右側に移動され、この中点の移動にともなって上辺が変形し、画像形成領域23bは、図7(h)に示す形状に変形される。
なお、図7(e)の状態で左右方向キーが操作された場合は、画像形成領域23bの形状は変化しないが、画像形成領域23bの上辺の中点が右側または左側に移動されることに伴って、画像形成領域23bに表示される画像が所定量だけ伸縮する。
また、上述では、左上角部または上辺の中点を操作した場合について説明したが、他の角部や辺(中点)に対して操作する場合も同様の方法(アルゴリズム)で形状変化が行われる。
次に、コーナー設定画面D01(図4参照)において、ユーザー操作により「垂直コーナー32」が選択された場合について説明する。ユーザー操作により「垂直コーナー32」が選択されると、制御部16は、OSD処理部13に指示をして、垂直コーナー用の角壁形状選択画面D04(図8参照)を表示する(図3:S05)。なお、上述の水平コーナー31を選択した場合と同様の部分については、記載を省略する。
図8(a)に示すように、垂直コーナー用の角壁形状選択画面D04には、垂直方向にコーナーを形成する投写面Sにおいて位置調整が可能な部分、すなわち、入力画像の四隅(画像形成領域23bの四隅)、および垂直方向の2辺(画像形成領域23bの左辺および右辺)に対応する6つの識別画像C(C7〜C12)と、操作案内情報41と、ユーザーに対するメッセージ42(「エリアを選択してください。」)が表示される。
識別画像Cは、画像形成領域23b(入力画像)の左上角部に対応する識別画像C7と、左辺に対応する識別画像C8と、左下角部に対応する識別画像C9と、右上角部に対応する識別画像C10と、右辺に対応する識別画像C11と、右下角部に対応する識別画像C12、とで構成されている。また、角壁形状選択画面D04を表示する際、画素領域23a(画像形成領域23b)には、その四隅の角部と辺の中点を教示するための格子状のガイド43が表示される(図7(b))。
次に、角壁形状選択画面D04において、ユーザーにより所望の識別画像Cが選択(決定)されると、制御部16は、OSD処理部13に指示をして、選択された識別画像Cに対応した垂直コーナー用の角壁補正調整画面D05(図9参照)を表示する(図3:S06)。
図9(a)は、ユーザーにより識別画像C7が選択された場合の角壁補正調整画面D05である。画面構成は、図6(a)に示す水平コーナー用の角壁補正調整画面D03と同様であるが、角部の位置調整に伴う画像形成領域23bの形状の変化が異なる(詳細は後述する)。また、図9(b)は、ユーザーにより識別画像C8が選択された場合の角壁補正調整画面D05である。画面中の拡大画像51には、画像形成領域23b(入力画像)の左辺の中点を上下左右に移動可能であることを示す方向マークDが付加されている。
この角壁補正調整画面D05が表示されている状態で、ユーザーが方向キーを操作することにより四隅の角部または左右の辺の中点の位置を調整すると、制御部16は、画像処理部12に指示をし、ユーザー操作に応じて画像形成領域23bの形状補正を実行する(図3:S07)。
ここで、図10を参照し、S07の処理の具体例として、垂直コーナー用の角壁補正調整画面D05におけるユーザー操作に応じた画像形成領域23bの形状変化の一例について説明する。図10(a)〜図10(d)は、左上角部(識別画像C7)に対応する角壁補正調整画面D05(図9(a)参照)が表示されている状態で、ユーザーによるキー操作が行われた場合の画像形成領域23bの形状変化の様子を示している。
例えば、図10(a)の状態で、右方向キーが操作されると、画像形成領域23bの左上角部は右側に移動され、この角部の移動にともなって、この角部に繋がる2辺(すなわち、左上角部と右上角部を繋ぐ辺、および左上角部と左辺の中点を繋ぐ辺)が所定量だけ移動する。これにより画像形成領域23bは、図10(b)に示す形状に変形される。
また、図10(a)の状態で、下方向キーが操作されると、画像形成領域23bの左上角部は下側に移動され、この角部の移動にともなって、この角部に繋がる2辺が所定量だけ移動する。これにより画像形成領域23bは、図10(c)に示す形状に変形される。
また、図10(b)の状態で下方向キーが操作されると、画像形成領域23bの左上角部は下側に移動され、この角部の移動にともなって、この角部に繋がる2辺が所定量だけ移動する。これにより画像形成領域23bは、図10(d)に示す形状に変形される。同様に、図10(c)の状態で右方向キーが操作された場合も、画像形成領域23bは、図10(d)の形状に変形される。
一方、図10(e)〜図10()は、左辺(識別画像C7)に対応する角壁補正調整画面D05(図9(b)参照)が表示されている状態で、ユーザーによるキー操作が行われた場合の画像形成領域23bの形状変化の様子を示している。
例えば、図10(e)の状態で、右方向キーが操作されると、画像形成領域23bの左辺の中点は右側に移動され、この中点の移動にともなって左辺(すなわち、左上角部と左辺の中点を繋ぐ辺、および左下角部と左辺の中点を繋ぐ辺)が変形し、画像形成領域23bは、図10(f)に示す形状に変形される。
また、図10(f)の状態で上方向キーが操作されると、画像形成領域23bの左辺の中点は上側に移動され、この中点の移動にともなって左辺が変形し、画像形成領域23bは、図10(g)に示す形状に変形される。
また、図10(f)の状態で下方向キーが操作されると、画像形成領域23bの左辺の中点は下側に移動され、この中点の移動にともなって左辺が変形し、画像形成領域23bは、図10(h)に示す形状に変形される。

なお、図10(e)の状態で上下方向キーが操作された場合は、画像形成領域23bの形状は変化しないが、画像形成領域23bの左辺の中点が上側または下側に移動されることに伴って、画像形成領域23bに表示される画像が所定量だけ伸縮する。
次に、図11を参照して、2面角の投写面Sに投写した画像の形状補正する際の具体的な手順を説明する。ここでは、水平方向にコーナーが形成され、その角がプロジェクター1側に凸になった投写面Sに画像を投写した場合について説明する。なお、図11の説明においては、便宜上、水平コーナー用の角壁形状選択画面D02および角壁補正調整画面D03を投写画像Gからはみ出した位置(図中の右側)に表示しているが、実際は投写画像Gに重畳して表示される。また、図中の矢印Aは、投写画像Gの角部または辺の中点の移動方向を説明するために示したものであり、実際には表示されない。
まず、ユーザーがコーナー設定画面D01(図4参照)で「水平コーナー31」を選択すると、図11(a)に示すように、水平コーナー用の角壁形状選択画面D02が投写画像Gに重畳表示される。この状態で、ユーザーは、左上角部に対応する識別画像C1を選択する。そして、ユーザーにより決定キーが操作されると、プロジェクター1(制御部16)は、識別画像C1に対応する角壁補正調整画面D03(左上角部の位置調整が可能な角壁補正調整画面D03)を投写画像Gに重畳表示する(図11(b))。
この状態で、ユーザーは方向キーの操作により左上角部を移動させる。この場合、ユーザーは下方向キーを操作して、投写画像Gの左上角部が上辺の中点に平行になる位置に移動させ、投写画像Gの形状を図11(c)に示す形状に調整する。
次に、ユーザーは、角壁形状選択画面D02で右上角部に対応する識別画像C3を選択する。そして、ユーザーにより決定キーが操作されると、プロジェクター1(制御部16)は、識別画像C3に対応する角壁補正調整画面D03(右上角部の位置調整が可能な角壁補正調整画面D03)を投写画像Gに重畳表示する(図11(d))。
この状態で、ユーザーは方向キーの操作により右上角部を移動させる。この場合、ユーザーは下方向キーを操作して、投写画像Gの右上角部が、上辺の中点に平行になる位置まで移動させ、投写画像Gの形状を図10(e)に示す形状に調整する。
次に、ユーザーは、角壁形状選択画面D02で下辺に対応する識別画像C6を選択する。そして、ユーザーにより決定キーが操作されると、プロジェクター1(制御部16)は、識別画像C6に対応する角壁補正調整画面D03(下辺の中点の位置調整が可能な角壁補正調整画面D03)を投写画像Gに重畳表示する(図11(f))。
この状態で、ユーザーは方向キーの操作により下辺の中点を移動させる。この場合、ユーザーは上方向キーを操作して、投写画像Gの下辺の中点が、左下角部および右下角部と平行になる位置まで移動させ、投写画像Gの形状を図11(g)に示す形状に調整する。以上の操作により、2面角の投写面Sに投写した投写画像Gの歪みを解消できる。
以上説明したとおり、本実施形態によれば、投写面Sに表示される画像の四隅の角部と、画像の四つの辺とのそれぞれに対応する識別画像Cを表示し、この中から選択された識別画像Cに対応する角部または辺の中点(節点)の移動操作に基づいて画像の形状を補正する。すなわち、画像の角部の形状補正のみならず、画像の辺の中点を基準とした形状補正もできるため、2面角の投写面Sに画像を表示した場合であっても、適切に画像の形状を補正することができる。
また、ユーザーは、表示された画像を見ながら角部または辺の中点を移動させて画像の形状を変形(補正)できるため、実際にどのように画像の形状が補正されるのかを視覚的に把握しながら補正を行うことができる。
なお、本実施形態では、ガイド43の形状を格子状としているが、これに限るものではない。例えば、画像を4分割する十字状の線であっても良いし、あるいは、丸や四角等の図形を角部や辺の中点に表示しても良い。
また、本実施形態では、水平コーナー用の角壁形状選択画面D02と、垂直コーナー用の角壁形状選択画面D04の2つの画面を設けているが、これらを1つにまとめても良い。この場合、選択したコーナータイプによって、選択可能な識別画像Cと、選択不可能な識別画像Cとを、判別できるように表示すれば良い。例えば、水平コーナー31選択時には、左右の辺に対応する識別画像Cをグレー表示するなどして選択不可能に表示し、垂直コーナー32選択時には、上下の辺に対応する識別画像Cをグレー表示するなどして選択不可能に表示すれば良い。
また、本実施形態では、2面で構成された角を有する投写面S(2面角の投写面S)に画像を投写する場合について説明したが、これに限るものではない。複数の面(3以上の面)で構成された角を有する投写面Sに対して画像を投写する場合にも本発明は適用可能である。
また、本実施形態では、光源部21は放電型の光源ランプ21aにより構成されているが、レーザーやLED等の固体光源を用いても良い。
また、本実施形態では、プロジェクター1の表示方式として、透過型液晶表示方式を採用しているが、反射型液晶表示方式、DLP(Digital Light Processing)(登録商標)方式等、その表示原理は問わない。また、プロジェクター1以外にも、透過型のスクリーンを一体的に備えたリアプロジェクター、液晶ディスプレイ等の画像表示装置に本発明を適用しても良い。
また、上記の実施形態に示したプロジェクター1の各機能(各処理)をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体(CD−ROM、フラッシュメモリ等)に格納して提供することも可能である。すなわち、コンピューターを、プロジェクター1の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。
また、上述した実施例によらず、プロジェクター1の装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。
1…プロジェクター 12…画像処理部 13…OSD処理部 15…入力操作部 23,23R,23G,23B…液晶ライトバルブ 23a…画素領域 23b…画像形成領域 31…水平コーナー 32…垂直コーナー 43…ガイド D02,D04…角壁形状選択画面 D03,D05…角壁補正調整画面 C,C1〜C12…識別画像 S…投写面

Claims (3)

  1. 光変調装置により変調された画像を画像表示面に表示する画像表示装置であって、
    前記画像の四隅の角部と、前記画像の右辺、左辺、上辺および下辺からなる四つの辺とのそれぞれに対応する識別画像を表示する表示部と、
    前記識別画像の中から、任意の識別画像を選択する操作を受け付ける識別画像選択部と、
    前記識別画像選択部で選択された前記識別画像に対応する前記角部または前記辺の所定位置に設定された節点を移動させる操作を受け付ける移動操作部と、
    前記移動操作部により受け付けた操作にともなって、複数の面で構成された角を有する画像表示面に対して表示された前記画像の前記角部または前記辺の節点を移動させて前記画像の形状を補正する画像補正部と、
    水平方向にコーナーを形成する前記画像表示面に対して表示された前記画像の形状補正を行う水平コーナーモードおよび垂直方向にコーナーを形成する前記画像表示面に対して表示された前記画像の形状補正を行う垂直コーナーモードのいずれか一方を選択する操作を受け付けるモード選択部と、
    を備え
    前記表示部は、
    前記水平コーナーモードが選択された場合、前記画像の四隅の角部および前記角部を繋ぐ水平方向の2つの辺である上辺並びに下辺のそれぞれに対応する6つの識別画像を表示して、前記角部を繋ぐ垂直方向の2つの辺である右辺並びに左辺のそれぞれに対応する2つの識別画像は表示せず、
    前記垂直コーナーモードが選択された場合、前記画像の四隅の角部および前記角部を繋ぐ垂直方向の2つの辺である右辺並びに左辺のそれぞれに対応する6つの識別画像を表示して、前記角部を繋ぐ水平方向の2つの辺である上辺並びに下辺のそれぞれに対応する2つの識別画像は表示しないことを特徴とする画像表示装置。
  2. 前記画像表示面に表示された前記画像における前記辺の節点を少なくとも教示するためのガイドを表示するガイド表示部を備えたことを特徴とする請求項1に記載の画像表示装置。
  3. 光変調装置により変調された画像を画像表示面に表示する画像表示装置の画像調整方法であって、
    水平方向にコーナーを形成する前記画像表示面に対して表示された前記画像の形状補正を行う水平コーナーモードおよび垂直方向にコーナーを形成する前記画像表示面に対して表示された前記画像の形状補正を行う垂直コーナーモードのいずれか一方を選択する操作を受け付けるステップと、
    前記水平コーナーモードが選択された場合、前記画像の四隅の角部および前記角部を繋ぐ水平方向の2つの辺である上辺並びに下辺のそれぞれに対応する6つの識別画像を表示して、前記角部を繋ぐ垂直方向の2つの辺である右辺並びに左辺のそれぞれに対応する2つの識別画像は表示せず、前記垂直コーナーモードが選択された場合、前記画像の四隅の角部および前記角部を繋ぐ垂直方向の2つの辺である右辺並びに左辺のそれぞれに対応する6つの識別画像を表示して、前記角部を繋ぐ水平方向の2つの辺である上辺並びに下辺のそれぞれに対応する2つの識別画像は表示しないステップと、
    前記識別画像の中から、任意の識別画像を選択する操作を受け付けるステップと、
    選択された前記識別画像に対応する前記角部または前記辺の所定位置に設定された節点の移動操作にともなって、複数の面で構成された角を有する画像表示面に対して表示された前記画像の前記角部または前記辺の節点を移動させて前記画像の形状を補正するステップと、を実行することを特徴とする画像表示装置の画像調整方法。
JP2012224849A 2012-10-10 2012-10-10 画像表示装置および画像表示装置の画像調整方法 Expired - Fee Related JP6236759B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012224849A JP6236759B2 (ja) 2012-10-10 2012-10-10 画像表示装置および画像表示装置の画像調整方法
US14/041,405 US9478053B2 (en) 2012-10-10 2013-09-30 Image display device and image adjustment method of image display device
CN201310470666.9A CN103731621B (zh) 2012-10-10 2013-10-10 图像显示装置及其的图像调整方法
US15/215,965 US9892536B2 (en) 2012-10-10 2016-07-21 Image display device and image adjustment method of image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012224849A JP6236759B2 (ja) 2012-10-10 2012-10-10 画像表示装置および画像表示装置の画像調整方法

Publications (3)

Publication Number Publication Date
JP2014077862A JP2014077862A (ja) 2014-05-01
JP2014077862A5 JP2014077862A5 (ja) 2015-11-05
JP6236759B2 true JP6236759B2 (ja) 2017-11-29

Family

ID=50432345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012224849A Expired - Fee Related JP6236759B2 (ja) 2012-10-10 2012-10-10 画像表示装置および画像表示装置の画像調整方法

Country Status (3)

Country Link
US (2) US9478053B2 (ja)
JP (1) JP6236759B2 (ja)
CN (1) CN103731621B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6364899B2 (ja) * 2014-04-08 2018-08-01 セイコーエプソン株式会社 プロジェクター、プロジェクターの制御方法、および、プログラム
JP2017055178A (ja) * 2015-09-07 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
JP6946894B2 (ja) * 2017-09-25 2021-10-13 コニカミノルタ株式会社 画像形成装置及び画像形成方法
JP2019125955A (ja) * 2018-01-18 2019-07-25 キヤノン株式会社 パラメータ生成装置及びその制御方法、並びにプログラム
CN110769221B (zh) * 2018-12-21 2021-09-28 成都极米科技股份有限公司 在拍摄图像中检测投影图像的角点的方法和投影仪
CN111918043B (zh) * 2019-05-10 2022-04-15 中强光电股份有限公司 投影系统、投影画面调整方法以及投影机
US10614340B1 (en) 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
JP2022173763A (ja) * 2021-05-10 2022-11-22 セイコーエプソン株式会社 投写方法、及びプロジェクター

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3742027B2 (ja) 2002-04-08 2006-02-01 Necビューテクノロジー株式会社 投射映像の歪補正方法、歪補正プログラム及び投射型映像表示装置
JP3092698U (ja) * 2002-09-10 2003-03-20 船井電機株式会社 画像表示プロジェクタ
JP3914891B2 (ja) 2003-04-18 2007-05-16 Necビューテクノロジー株式会社 投射映像の幾何学補正における近似式補正方式
JP4993070B2 (ja) * 2006-09-29 2012-08-08 セイコーエプソン株式会社 プロジェクタおよび補正方法
JP2008103990A (ja) * 2006-10-19 2008-05-01 Seiko Epson Corp リアプロジェクタおよび歪み補正方法
JP5509663B2 (ja) * 2009-04-15 2014-06-04 セイコーエプソン株式会社 プロジェクター及びその制御方法
DE102009046114B4 (de) * 2009-10-28 2011-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion
US8985782B2 (en) * 2011-09-30 2015-03-24 Seiko Epson Corporation Projector and method for controlling projector

Also Published As

Publication number Publication date
CN103731621A (zh) 2014-04-16
US9892536B2 (en) 2018-02-13
CN103731621B (zh) 2019-01-25
US20140098124A1 (en) 2014-04-10
US9478053B2 (en) 2016-10-25
JP2014077862A (ja) 2014-05-01
US20160330420A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
JP6236759B2 (ja) 画像表示装置および画像表示装置の画像調整方法
JP6003495B2 (ja) 画像表示装置および画像表示装置の輝度ムラ補正方法
JP6083185B2 (ja) プロジェクター、プロジェクターの黒レベル領域設定方法
JP5884380B2 (ja) プロジェクター、およびプロジェクターの制御方法
JP6201290B2 (ja) 画像表示装置および画像表示装置の画像調整方法
JP6365079B2 (ja) プロジェクターおよびプロジェクターの調整方法
JP2006313979A (ja) プロジェクタ、およびプロジェクタの制御方法
JP2012088636A (ja) プロジェクター、およびプロジェクターの制御方法
JP2015132747A (ja) プロジェクター
JP5887804B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2009033364A (ja) 投射型表示装置
JP6179120B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2013077988A (ja) プロジェクター、およびプロジェクターの制御方法
JP2013105170A (ja) プロジェクター、及びプロジェクターの制御方法
JP6551427B2 (ja) プロジェクター、プロジェクターの黒レベル領域設定方法
JP5194976B2 (ja) プロジェクタおよびその制御方法
JP2012199734A (ja) 投写型表示装置および投写型表示装置の制御方法
JP2011248185A (ja) 投写型映像表示装置
JP2016143015A (ja) プロジェクター、及びプロジェクターの制御方法
JP6226003B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2012160930A (ja) プロジェクター及びその制御方法
JP2017083647A (ja) 投影装置、及び投影方法
JP2012151584A (ja) 画像表示装置、および画像調整方法
JP2011221128A (ja) 投写型映像表示装置
JP2016180854A (ja) プロジェクター、及び、プロジェクターの制御方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150917

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171016

R150 Certificate of patent or registration of utility model

Ref document number: 6236759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees