JP6146038B2 - 投射装置および投射方法 - Google Patents

投射装置および投射方法 Download PDF

Info

Publication number
JP6146038B2
JP6146038B2 JP2013026529A JP2013026529A JP6146038B2 JP 6146038 B2 JP6146038 B2 JP 6146038B2 JP 2013026529 A JP2013026529 A JP 2013026529A JP 2013026529 A JP2013026529 A JP 2013026529A JP 6146038 B2 JP6146038 B2 JP 6146038B2
Authority
JP
Japan
Prior art keywords
projection
image
unit
angle
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013026529A
Other languages
English (en)
Other versions
JP2014157174A (ja
Inventor
克己 綿貫
克己 綿貫
弘敦 福冨
弘敦 福冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2013026529A priority Critical patent/JP6146038B2/ja
Priority to CN201480006141.2A priority patent/CN104956665B/zh
Priority to PCT/JP2014/051726 priority patent/WO2014115884A1/ja
Publication of JP2014157174A publication Critical patent/JP2014157174A/ja
Priority to US14/808,907 priority patent/US9726965B2/en
Application granted granted Critical
Publication of JP6146038B2 publication Critical patent/JP6146038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、画像を被投射媒体に投射する投射装置および投射方法に関する。
従来から、入力された画像信号に基づき表示素子を駆動して、その画像信号に係る画像をスクリーンや壁面といった被投射媒体に投射する投射装置が知られている。このような投射装置では、被投射媒体の投射面に対して垂直に投射光を射出することで、最適な投射画像を得ることができる。
一方で、投射装置や被投射媒体の設置状況によっては、投射光を被投射媒体の投射面に垂直に投射することが困難な場合も有り得る。例えば、投射装置が被投射媒体に対して低い位置にある場合、投射装置からの投射光を、被投射媒体に対する垂直な角度からずらした投射角で以って被投射媒体に投射することが行われる。特許文献1には、プロジェクタの投射角を調整するプロジェクタ投射角調整装置が開示されている。
特開2004−226638号公報
しかしながら、投射角を、被投射媒体に対する垂直な角度からずらしてしまうと、被投射媒体に投射される投射画像のサイズが、投射角を被投射媒体に対して垂直とした場合のサイズと異なってしまうことになる。これにより、所期に期待した投射画像が得られなくなるおそれがあるという問題点があった。
本発明は、上記に鑑みてなされたものであって、投射角を変更した場合の投射画像のサイズの変化を抑制することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、画像データを光に変換して投射する投射部の投射方向を変更する投射方向変更部と、投射部が光を投射する被投射媒体までの距離を測定し、距離が最短となる第1投射方向を取得する投射方向取得部と、投射部により画像データによる画像が各第2投射方向に投射された各投射画像の被投射媒体上でのサイズの、第1投射方向に投射された投射画像の被投射媒体上でのサイズに対する比率を取得する比率取得部と、投射部により投射する画像データに対して、比率取得部で取得された比率に従い縮小処理を施す画像処理部とを有することを特徴とする。
本発明によれば、投射角を変更した場合の投射画像のサイズの変化を抑制できるという効果を奏する。
図1は、実施形態に適用可能なプロジェクタ装置の一例の外観を示す略線図である。 図2は、実施形態に係る、ドラム部を回転駆動するための一例の構成を示す略線図である。 図3は、実施形態に係る、ドラム部の各姿勢を説明するための略線図である。 図4は、実施形態に係る、回路部および光学エンジン部の一例の構成を示すブロック図である。 図5は、実施形態に係る、メモリに格納される画像データの切り出し処理を概略的に示す略線図である。 図6は、実施形態に係る、ドラム部が初期位置の場合の切り出し領域指定の例を示す略線図である。 図7は、実施形態に係る、投射角θに対する切り出し領域の設定について説明するための略線図である。 図8は、実施形態に係る、光学ズームを行った場合の切り出し領域の指定について説明するための略線図である。 図9は、実施形態に係る、画像の投射位置に対してオフセットが与えられた場合について説明するための略線図である。 図10は、実施形態に係る、メモリのアクセス制御について説明するための略線図である。 図11は、実施形態に係る、メモリのアクセス制御について説明するための略線図である。 図12は、実施形態に係る、メモリのアクセス制御について説明するための略線図である。 図13は、実施形態に係る、メモリのアクセス制御について説明するための略線図である。 図14は、実施形態に係るキーストン補正について概略的に説明するための図である。 図15は、実施形態に係るキーストン補正について概略的に説明するための図である。 図16は、実施形態に係るキーストン補正について概略的に説明するための図である。 図17は、実施形態に係る、垂直な面に対して投射される画像について説明するための図である。 図18は、実施形態に係る、垂直な面に対して投射される画像について説明するための図である。 図19は、キーストン補正を行わない場合の投射角θの変化に伴う投射画像の変化を説明するための図である。 図20は、台形歪が発生した投射画像に対し、台形歪補正を施した場合の例を示す図である。 図21は、投射画像の垂直方向のサイズの、投射角θに応じた一例の変化を示す図である。 図22は、実施形態に係る、投射画像の短辺の長さの算出方法について説明するための図である。 図23は、実施形態に係る、投射画像の短辺の長さの算出方法について説明するための図である。 図24は、実施形態に適用可能な、プロジェクタ装置における画像投射の処理の流れを示すフローチャートである。 図25は、実施形態によるキーストン補正および縮小処理の流れを示すフローチャートである。 図26は、実施形態によるキーストン補正および縮小処理をより具体的に説明するための図である。 図27は、実施形態の変形例によるキーストン補正および縮小処理の流れを示すフローチャートである。 図28は、実施形態の変形例によるキーストン補正および縮小処理をより具体的に説明するための図である。 図29は、第1の距離測定方法について説明するための図である。 図30は、投射角θに対する距離rの変化を概略的に示す図である。 図31は、第2の距離測定方法について説明するための図である。 図32は、第2の距離測定方法による、壁と天井との境界に対する投射角を算出する方法について説明するための図である。
以下に図面を参照しながら、本発明に係る投射装置の好適な実施形態を説明する。係る実施形態に示す具体的な数値および外観構成などは、本発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本発明に直接関係のない要素は詳細な説明および図示を省略している。
<投射装置の外観>
図1は、本発明の実施形態に適用可能な投射装置(プロジェクタ装置)1の外観の例を示す図である。図1(a)は、プロジェクタ装置1を操作部が設けられる第1面側から見た斜視図、図1(b)は、プロジェクタ装置1を操作部と対向する側の第2面側から見た斜視図である。プロジェクタ装置1は、ドラム部10と基台20とを備える。ドラム部10は基台20に対して回転駆動が可能な回転体である。そして、基台20がそのドラム部10を回転可能に支持する支持部や、ドラム部10の回転駆動制御や画像処理制御などの各種制御を行う回路部を有する。
ドラム部10は、基台20の一部である側板部21aおよび21bの内側に設けられた、ベアリングなどからなる、図示しない回転軸によって回転駆動可能に支持される。ドラム部10の内部には、光源と、光源から射出された光を画像データに従い変調する表示素子と、表示素子を駆動する駆動回路と、表示素子で変調された光を投射レンズ12から外部に投射する光学系を含む光学エンジン部とが設けられている。光学エンジン部は、投射レンズ12から被投射媒体に投射された画像の焦点を調整する焦点調整機構を備える。
ドラム部10には、窓部11および13が設けられる。窓部11は、投射レンズ12から投射された光が外部に照射されるように設けられる。窓部13は、例えば赤外線を利用して被投射媒体までの距離を導出する測距処理を行うための距離センサが設けられる。距離センサは、例えば、所定に変調された赤外線を射出し、射出された赤外線の被投射媒体による反射光を受光して、射出光と反射光との差分を検出した検出信号を出力する。この検出信号に基づき、被投射媒体までの距離を測定することができる。
なお、距離センサは、赤外線に限らず、レーザ光線を用いたものでもよい。また、距離センサは、赤外線やレーザ光を用いた光学式のセンサに限らず、超音波を用いた方式でもよい。
基台20の内部には、回路部の各種基板や電源部、ドラム部10を後述するように回転駆動するためのドラム駆動部などが設けられている。基台20の第1面側には、ユーザがこのプロジェクタ装置1を制御するために各種操作を入力するための操作部14と、ユーザが図示しないリモートコントロールコマンダを使用してこのプロジェクタ装置1を遠隔制御する際の、リモートコントロールコマンダから送信された信号を受信する受信部15とが設けられている。操作部14は、ユーザの操作入力を受け付ける各種操作子や、このプロジェクタ装置1の状態を表示するための表示部などを有している。
ドラム部10には、ファンによる放熱のための吸排気を行う吸排気口16a、16b、17および22aを備えている。吸排気口16aおよび16bは、回転駆動されてドラム部10の吸排気口22aが基台20側を向いた姿勢をとっている場合でも、ドラム部10内の放熱効率を低下させないよう、吸気又は排気に用いられる。
<ドラム部の回転駆動>
図2は、基台20に設けられたドラム駆動部32によるドラム部10の回転駆動について説明するための図である。図2(a)は、ドラム部10のカバーなどを取り去った状態のドラム30と、基台20に設けられたドラム駆動部32の構成を示す図である。ドラム30には、上述の窓部11に対応する窓部34と、窓部13に対応する窓部33とが設けられている。ドラム30は回転軸36を有し、この回転軸36により、支持部31aおよび31bに設けられた、ベアリングを用いた軸受け37に対して回転駆動可能に取り付けられる。
ドラム30の一方の面には、円周上にギア35が設けられている。支持部31bに設けられたドラム駆動部32により、ギア35を介してドラム30が回転駆動される。ギア35の内周部の突起46aおよび46bは、ドラム30の回転動作の始点ならびに終点を検出するために設けられる。
図2(b)は、ドラム30および基台20に設けられたドラム駆動部32の構成をより詳細に示すための拡大図である。ドラム駆動部32は、モータ40を有すると共に、モータ40の回転軸により直接駆動されるウォームギア41、ウォームギア41による回転を伝達するギア42aおよび42b、ならびに、ギア42bから伝達された回転をドラム30のギア35に伝達するギア43を含むギア群を有する。このギア群によりモータ40の回転をギア35に伝達することで、ドラム30をモータ40の回転に応じて回転させることができる。モータ40としては、例えば駆動パルスにより所定角度毎の回転制御を行うステッピングモータを適用することができる。
支持部31bに対して、フォトインタラプタ51aおよび51bが設けられる。フォトインタラプタ51aおよび51bは、それぞれ、ギア35の内周部に設けられる突起46bおよび46aを検出する。フォトインタラプタ51aおよび51bの出力信号は、後述する回転制御部104に供給される。この例では、フォトインタラプタ51aに突起46bが検出されることで、回転制御部104は、ドラム30の姿勢が回転動作の終点に達した姿勢であると判断する。また、フォトインタラプタ51bに突起46aが検出されることで、回転制御部104は、ドラム30の姿勢が回転動作の始点に達した姿勢であると判断する。
以下、フォトインタラプタ51bに突起46aが検出される位置から、フォトインタラプタ51aに突起46bが検出される位置まで、ドラム30の円周における長さが大きい方の弧を介してドラム30が回転する方向を、正方向とする。すなわち、ドラム30の回転角は、正方向に向けて増加する。
この例では、フォトインタラプタ51bが突起46aを検出する検出位置と、フォトインタラプタ51aが突起46bを検出する検出位置との間の回転軸36を挟む角度が270°になるように、フォトインタラプタ51aおよび51b、ならびに、突起46aおよび46bがそれぞれ配される。
例えば、モータ40としてステッピングモータを適用した場合、フォトインタラプタ51bによる突起46aの検出タイミングと、モータ40を駆動するための駆動パルス数とに基づきドラム30の姿勢を特定し、投射レンズ12による投射角を求めることができる。
なお、モータ40は、ステッピングモータに限らず、例えばDCモータを適用することもできる。この場合、例えば、図2(b)に示されるように、ギア43に対して同一軸上にギア43と共に回転するコードホイール44を設けると共に、支持部30bに対してフォトリフレクタ50aおよび50bを設け、ロータリエンコーダを構成する。
コードホイール44は、例えば、半径方向に位相が異ならされる透過部45aおよび反射部45bが設けられる。フォトリフレクタ50aおよび50bにより、コードホイール44からのそれぞれの位相の反射光を受光することで、ギア43の回転速度と回転方向とを検出できる。そして、これら検出されたギア43の回転速度および回転方向に基づいてドラム30の回転速度および回動方向が導出される。導出されたドラム30の回転速度および回動方向と、フォトインタラプタ51aによる突起46bの検出結果とに基づき、ドラム30の姿勢を特定し、投射レンズ12による投射角を求めることができる。
上述のような構成において、ドラム部10の初期姿勢を、投射レンズ12による投射方向が鉛直方向を向いている姿勢とする。したがって、初期状態では、投射レンズ12が完全に基台20に隠れている。図3(a)は、初期姿勢のドラム部10の様子を示す。この例では、この初期姿勢においてフォトインタラプタ51bに突起46aが検出され、後述する回転制御部104により、ドラム30が回転動作の始点に達していると判定される。
なお、図3(a)、ならびに、後述する図3(b)、図3(c)および図3(d)に例示されるように、窓部13に対応して距離センサ60が設けられる。距離センサ60は、投射レンズ12による投射方向と同一方向に向けて赤外線を射出するように構成される。上述したように、この距離センサ60から出力される検出信号に基づき、被投射媒体までの距離を求める。
なお、以下では、特に記載のない限り、「ドラム部10の方向」および「ドラム部10の角度」がそれぞれ「投射レンズ12による投射方向」および「投射レンズ12による投射角」と同義であるものとする。
プロジェクタ装置1が例えば起動されると、投射レンズ12による投射方向が第1面側を向くように、ドラム駆動部32がドラム部10の回転を開始する。その後、ドラム部10は、例えば、ドラム部10の方向すなわち投射レンズ12による投射方向が第1面側において水平になる位置まで回転し、回転を一旦停止したとする。この、投射レンズ12による投射方向が第1面側において水平になった場合の投射レンズ12の投射角を、投射角0°と定義する。図3(b)に、投射角0°のときの、ドラム部10(投射レンズ12)の姿勢の様子を示す。以下、この投射角0°の姿勢のときを基準として、投射角θとなるドラム部10(投射レンズ12)の姿勢を、θ姿勢と呼ぶ。
例えば、0°姿勢において画像データが入力され、光源が点灯されたとする。ドラム部10において、光源から射出された光が、駆動回路により駆動された表示素子により画像データに従い変調されて光学系に入射される。そして、画像データに従い変調された光が、投射レンズ12から水平方向に投射され、スクリーンや壁面などの被投射媒体に照射される。
ユーザは、操作部14などを操作することで、画像データによる投射レンズ12からの投射を行ったまま、回転軸36を中心に、ドラム部10を回転させることができる。例えば、0°姿勢から正方向にドラム部10を回転させて回転角を90°として(90°姿勢)、投射レンズ12からの光を基台20の底面に対して垂直上向きに投射させることができる。図3(c)は、投射角θが90°のときの姿勢、つまり90°姿勢のドラム部10の様子を示す。
ドラム部10は、90°姿勢からさらに正方向に回転させることができる。この場合、投射レンズ12の投射方向は、基台20の底面に対して垂直上向きの方向から、上記第2面側の方向に変化していく。図3(d)は、ドラム部10が図3(c)の90°姿勢からさらに正方向に回転され、投射角θが180°のときの姿勢、つまり180°姿勢となった様子を示す。実施形態に係るプロジェクタ装置1では、この180°姿勢においてフォトインタラプタ51aに突起46bが検出され、後述する回転制御部104により、ドラム30の回転動作の終点に達したと判断される。
ドラム部10が回転され投射方向が変更されている間も、投射レンズ12から射出された光が被投射媒体に投射され、画像データに従った画像が、投射位置が移動されながら被投射媒体に投射される。また、投射方向が変更されている間にも、距離センサ60から出力される検出信号を用いた測距処理、ならびに、測距処理の結果に基づく焦点調整処理が実行される。
なお、この例では、プロジェクタ装置1は、投射を行ったまま、例えば図3(b)〜図3(d)に示されるようにしてドラム部10を回転させることで、投射レンズ12による投射角に応じて、画像データにおける投射領域を変化(移動)させることができる。これにより、投射された画像の内容および当該投射された画像の被投射媒体における投射位置の変化と、入力された画像データに係る全画像領域における投射する画像として切り出された画像領域の内容および位置の変化とを対応させることができる。したがって、ユーザは、入力画像データに係る全画像領域中のどの領域が投射されているかを、投射された画像の被投影媒体における位置に基づき直感的に把握することができると共に、投射された画像の内容を変更する操作を直感的に行うことができる。
ユーザがプロジェクタ装置1による投射画像の投射を終了し、操作部14に対してプロジェクタ装置1の停止を指示する操作を行いプロジェクタ装置1を停止させると、先ず、ドラム部10が初期姿勢に戻るように回転制御される。ドラム部10が鉛直方向を向き、初期姿勢に戻ったことが検出されると、光源が消灯され、光源の冷却に要する所定時間の後、電源がOFFとされる。ドラム部10を鉛直方向に向けてから電源をOFFとすることで、非使用時に投射レンズ12面が汚れるのを防ぐことができる。
<プロジェクタ装置1の内部構成>
次に、上述したような、実施形態に係るプロジェクタ装置1の動作を実現するための構成について説明する。図4は、プロジェクタ装置1において、基台20内に設けられる回路部、ならびに、ドラム部10内に設けられる光学エンジン部110の一例の構成を示す。
光学エンジン部110は、光源111、表示素子114、投射レンズ12および距離センサ60を含む。光源111は、例えばそれぞれ赤色(R)、緑色(G)および青色(B)を発光する3のLED(Light Emitting Diode)を含む。光源111から射出されたRGB各色の光束は、それぞれ図示されない光学系を介して表示素子114に照射される。
以下の説明において、表示素子114は、透過型液晶表示素子であり、例えば水平1280画素×垂直800画素のサイズを有するものとする。勿論、表示素子114のサイズはこの例に限定されるものではない。表示素子114は、図示されない駆動回路によって駆動され、RGB各色の光束を画像データに従いそれぞれ変調して射出する。表示素子114から射出された、画像データに従い変調されたRGB各色の光束は、図示されない光学系を介して投射レンズ12に入射され、プロジェクタ装置1の外部に投射される。
なお、表示素子114は、透過型液晶表示素子を用いた構成に限定されない。例えば、表示素子114として、LCOS(Liquid Crystal on Silicon)を用いた反射型液晶表示素子、あるいは、DMD(Digital Micromirror Device)で構成してもよい。その場合、適用する表示素子に応じた光学系および駆動回路でプロジェクタ装置1を構成するものとする。
投射レンズ12は、組み合わされた複数のレンズと、制御信号に応じてレンズを駆動するレンズ駆動部とを有する。例えば、レンズ駆動部は、窓部13に設けられた距離センサ60からの出力信号に基づき測距された結果に従い投射レンズ12に含まれるレンズを駆動して、フォーカス制御を行う。また、レンズ駆動部は、後述する画角制御部106から供給されるズーム命令に従いレンズを駆動して画角を変化させ、光学ズームの制御を行う。
上述したように、光学エンジン部110は、回転機構部105により360°の回動を可能とされたドラム部10内に設けられる。回転機構部105は、図2を用いて説明したドラム駆動部32と、ドラム部10側の構成であるギア35とを含み、モータ40の回転を利用してドラム部10を所定に回転させる。すなわち、この回転機構部105によって、投射レンズ12の投射方向が変更されることになる。
プロジェクタ装置1の回路部は、画像切り出し部100と、メモリ101と、画像処理部102と、画像制御部103と、回転制御部104と、画角制御部106と、測距部107と、CPU120(Central Processing Unit)とを含む。
CPU120は、それぞれ図示を省略するROM(Read Only Memory)およびRAM(Random Access Memory)が接続され、ROMに予め記憶されたプログラムに従い、RAMをワークメモリとして用いて、投射画像の投射、投射角の変更、画像の切り出しといった、プロジェクタ装置1の各種処理を統括的に制御する。
例えば、CPU120は、ユーザ操作に応じて操作部14から供給された制御信号に基づき、プログラムに従いこのプロジェクタ装置1の各部を制御する。これにより、ユーザ操作に従ったプロジェクタ装置1の動作が可能となる。これに限らず、CPU120は、例えば図示されないデータ入力部から入力されたスクリプトに従いプロジェクタ装置1の各部を制御する。これにより、プロジェクタ装置1の動作の自動制御が可能となる。
静止画像または動画像の画像データがプロジェクタ装置1に入力され、画像切り出し部100に供給される。画像切り出し部100は、供給された画像データをメモリ101に格納する。メモリ101は、画像データを画像単位で格納する。すなわち、画像データが静止画像データの場合は1枚の静止画像毎に、動画像データの場合は当該動画像データを構成するフレーム画像毎に、対応するデータを格納する。メモリ101は、例えば、デジタルハイビジョン放送の規格に対応し、1920画素×1080画素のフレーム画像を1または複数枚格納可能とされている。画像切り出し部100は、メモリ101に格納された画像データに係るフレーム画像の全領域から、画像制御部103が指定した画像領域を切り出して(抽出して)画像データとして出力する。
なお、入力画像データは、メモリ101における画像データの格納単位に対応したサイズに整形されて、プロジェクタ装置1に入力されると好ましい。この例では、入力画像データは、予め1920画素×1080画素に画像サイズを整形されてプロジェクタ装置1に入力される。これに限らず、任意のサイズで入力された画像データを1920画素×1080画素のサイズの画像データに整形する画像整形部を、プロジェクタ装置1の画像切り出し部100の前段に設けてもよい。
測距部107は、距離センサ60から出力された検出信号が入力されると共に、後述する回転制御部104から、ドラム部10の角度すなわち投射レンズ12による投射方向を示す角度情報が入力される。測距部107は、検出信号に基づき測距処理を行い、角度情報に示される投射方向における距離センサ60から被投射媒体までの距離を導出する。
また、測距部107は、導出した距離に基づき、被投射媒体に対して垂直な投射方向を算出する。この、算出された被投射媒体に対して垂直な投射方向の、投射角0°に対する角度を、投射角θref(第1方向)とする。
後述する画像処理部102および画像制御部103などにおける処理は、この投射角θrefに基づき行われる。すなわち、この投射角θrefを用いて投射角θを補正することで、プロジェクタ装置1における水平方向(投射角0°)が被投射媒体の投射面に対して垂直ではない場合でも、画像処理部102や画像制御部103において、投射角θに依存する処理を適切に実行することが可能となる。投射角θrefの算出方法については、後述する。
画像処理部102に対して、画像切り出し部100から出力された画像データと、測距部107で取得された投射角θrefとが供給される。画像処理部102は、画像処理を施した画像データを、図示されないタイミングジェネレータから供給される垂直同期信号VDに示されるタイミングに基づいて出力する。
画像処理部102は、例えばメモリ101を用いて、供給された画像データに対して画像処理を施す。画像処理部102は、画像切り出し部100を介してメモリ101にアクセスする。これに限らず、画像処理部102が画像処理に用いるメモリを別途、設けてもよい。
例えば、画像処理部102は、画像切り出し部100から供給された画像データに対して、サイズが表示素子114のサイズに合致するようにサイズ変換処理を施す。画像処理部102は、それ以外にも様々な画像の処理を施すことができる。例えば、画像データに対するサイズ変換処理を、一般的な線形変換処理を用いて行うことができる。なお、画像切り出し部100から供給された画像データのサイズが表示素子114のサイズと合致している場合は、当該画像データをそのまま出力してもよい。さらに、画像処理部102は、投射される画像データに対し、所謂キーストン補正に関する処理を施すことができる。
画像処理部102は、画像データに対して、画像のアスペクト比を一定にして補間(オーバーサンプリング)することにより所定の特性の補間フィルタ処理を施して、画像の一部または全部を大きくすることができる。また、画像処理部102は、折り返し歪みを取るために、画像データに対して縮小率に応じたローパスフィルタ処理を施して間引き(サブサンプリング)処理を行うことにより、画像の一部または全部を小さくすることもできる。勿論、画像処理部102は、画像データに対してフィルタ処理を施さずにそのままの大きさで出力することもできる。
また、画像処理部102は、画像データに対して、ラプラシアンオペレータなどのオペレータを用いたエッジ強調処理を施すことができる。画像処理部102が施すエッジ強調処理は、2次微分であるラプラシアンオペレータを用いた処理に限らず、例えば水平方向と垂直方向とに1次元フィルタ処理を施す処理であってもよい。画像データに対してエッジ強調処理を施すことにより、例えば画像が斜め方向に投射された場合に周辺部でフォーカスがずれて画像が暈けてしまう事態が防がれる。すなわち、エッジ強調処理により、上述の周辺部の暈けた画像部分のエッジが強調される。
さらに、画像処理部102は、投射画像に対する適応的な輝度調整処理を行うことができる。これにより、上述したキーストン補正などにより投射サイズ(面積)が変更されることで、画面全体の明るさが変化してしまうことが防がれる。さらにまた、画像処理部102は、画像データに対して局所的なハーフトーン混入処理や、局所的なローパスフィルタ処理を施すことができる。例えば、画像処理部102は、投射される画像テクスチャの周辺部が斜め線を含むような場合に、画像データに対してこれら局所的なハーフトーン混入処理やローパスフィルタ処理を施すことで、エッジジャギが暈され、斜め線がギザギザな線として観察されるのが防がれる。
画像処理部102から出力された画像データは、表示素子114に供給される。実際には、この画像データは、表示素子114を駆動する駆動回路に供給される。駆動回路は、供給された画像データおよび垂直同期信号VDに基づいて表示素子114を駆動する。例えば駆動回路は、表示素子114による表示を、図示されないタイミングジェネレータから供給される垂直同期信号VDのタイミングに従い更新する。
回転制御部104は、例えば操作部14に対するユーザ操作に応じたCPU120からの命令に従い、ステッピングモータであるモータ40を駆動するための所定のパルス幅の駆動パルスを生成し、回転機構部105に供給する。回転制御部104は、図示されないタイミングジェネレータから供給される垂直同期信号VDに対して同期的に駆動パルスを生成する。
回転機構部105は、上述したドラム駆動部32と、フォトインタラプタ51aおよび51bとを含む。回転機構部105において、ドラム駆動部32は、回転制御部104から供給される駆動パルスに従いモータ40を駆動して、ドラム部10(ドラム30)の回転動作を制御する。
一方、回転制御部104に対して、回転機構部105から上述したフォトインタラプタ51aおよび51bの出力が供給される。回転制御部104は、例えばカウンタを有し、駆動パルスのパルス数を計数する。回転制御部104は、フォトインタラプタ51bの出力に基づき突起46aの検出タイミングを取得し、カウンタに計数されたパルス数を、この突起46aの検出タイミングでリセットする。回転制御部104は、カウンタに計数されたパルス数に基づき、ドラム部10(ドラム30)の角度を逐次的に求めることができ、ドラム部10の姿勢(角度)を取得できる。ドラム部10の角度を示す角度情報は、測距部107および画像制御部103に供給される。
画角制御部106は、例えば操作部14に対するユーザ操作に応じたCPU120からの命令に従い、投射レンズ12に対してズーム指示、つまり画角の変更指示を出す。投射レンズ12のレンズ駆動部は、このズーム指示に従いレンズを駆動し、ズーム制御を行う。画角制御部106は、ズーム指示、及びそのズーム指示に係るズーム倍率等から導出された画角に関する情報を画像制御部103に供給する。
画像制御部103は、回転制御部104から供給される角度に関する情報と、測距部107から供給される投射角θrefと、画角制御部106から供給される画角に関する情報とに基づき、画像切り出し部100による画像切り出し領域を指定する。
このとき、画像制御部103は、画像データにおける切り出し領域を、投射レンズ12の変更の前後の投射方向間の角度に応じたライン位置に基づき指定する。画像制御部103は、画像切り出し部100に対して画像切り出し領域の指定を行う。さらに、画像制御部103は、画像切り出し部100に対して、指定した画像切り出し領域からの画像データの読み出しを、図示されないタイミングジェネレータから供給された垂直同期信号VDと同期して指示する。
なお、上述では、画像切り出し部100、画像処理部102、画像制御部103、回転制御部104、画角制御部106および測距部107がそれぞれ別個のハードウェアであるかのように説明したが、これはこの例に限定されない。例えば、これら各部は、CPU120上で動作するプログラムのモジュールにより実現されてもよい。
<画像データの切り出し処理>
次に、実施形態に係る、画像切り出し部100による、メモリ101に格納される画像データの切り出し処理について説明する。図5は、メモリ101に格納される画像データの切り出し処理を説明するための概念図である。図5(a)を参照し、メモリ101に格納される画像データ140から指定された切り出し領域の画像データ141を切り出す例について説明する。また、以下の図6〜9を用いた説明では、説明を簡易にするため、画像データに対して幾何学的歪み補正が行われない場合であり、また、画像データの水平方向の画素サイズが表示素子114の水平方向画素サイズに一致している場合を前提に説明する。
メモリ101は、例えば垂直方向にライン単位、水平方向に画素単位でアドレスが設定され、ラインのアドレスは、画像(画面)の下端から上端に向けて増加し、画素のアドレスは、画像の左端から右端に向けて増加するものとする。
補正制御部108は、画像切り出し部100に対して、メモリ101に格納されるQライン×P画素の画像データ140の切り出し領域として、垂直方向にラインq0およびラインq1をアドレス指定し、水平方向に画素p0およびp1をアドレス指定する。画像切り出し部100は、このアドレス指定に従い、メモリ101から、ラインq0〜q1の範囲内の各ラインを、画素p0〜p1にわたって読み出す。このとき、読み出し順は、例えば各ラインは画像の上端から下端に向けて読み出され、各画素は画像の左端から右端に向けて読み出されるものとする。メモリ101に対するアクセス制御の詳細については、後述する。
画像切り出し部100は、メモリ101から読み出した、ラインq0〜q1、ならびに、画素p0〜p1の範囲の画像データ141を画像処理部102に供給する。画像処理部102では、供給された画像データ141による画像のサイズを表示素子114のサイズに合わせる、サイズ変換処理を行う。一例として、表示素子114のサイズがRライン×S画素である場合、下記の式(1)および式(2)を共に満たす、最大の倍率mを求める。そして、画像処理部102は、画像データ141をこの倍率mで拡大し、図5(b)に例示されるように、サイズ変換された画像データ141’を得る。
m×(p1−p0)≦S …(1)
m×(q1−q0)≦R …(2)
次に、実施形態に係る、投射角に応じた切り出し領域の指定(更新)について説明する。図6は、ドラム部10が0°姿勢、すなわち、投射角0°の初期状態の場合の切り出し領域指定の例を示す。
なお、上述した図5では、メモリ101に格納されるQライン×P画素の画像データ140の1ラインの画素の中で一部範囲の画素p0〜p1の範囲の画像データ141を切り出す場合を例にあげて説明した。以下に示す図6から図8の例でも、実際には、メモリ101に格納される画像データ140の1ラインのうち一部の範囲の画素を切り出すことができる。しかしながら、投射角に応じた切り出し領域の指定(更新)の説明を簡単にするため、以下に示す図6から図8の例では、1ラインの全部の画素を切り出すものとして説明する。
プロジェクタ装置(PJ)1において、画角αの投射レンズ12で、スクリーンなどの被投射媒体である投射面130に対して、投射角0°で画像1310を投射した場合の投射位置を、投射レンズ12から投射される光の光束中心に対応する位置Pos0とする。また、投射角0°では、メモリ101に格納される画像データの、投射角0°の姿勢で投射を行うように予め指定された領域の下端のラインSから、ラインLまでの画像データによる画像が投射されるものとする。ラインSからラインLの領域には、ライン数lnのラインが含まれるものとする。
なお、ライン数lnは、表示素子114の最大の有効領域のライン数である。また、画角αは、表示素子114において表示が有効とされている垂直方向の有効領域が最大値を取るときに画像を投射した場合、すなわち、ライン数lnの画像を投射した場合の、投射画像を投射レンズ12から垂直方向に見込む角である。
画角αおよび表示素子114の有効領域について、より具体的な例を用いて説明する。表示素子114は、垂直方向のサイズが720ラインであるとする。例えば、投射画像データの垂直方向のサイズが720ラインであり、表示素子114の全てのラインを用いて投射画像データの投射を行う場合、表示素子114の垂直方向の有効領域が最大値の720ライン(=ライン数ln)となる。画角αは、この場合に投射レンズ12から投射画像の1〜720ラインを見込む角となる。
また、投射画像データの垂直方向のサイズが600ラインであり、表示素子114の720ライン(=ライン数ln)のうち600ラインのみを用いて投射画像データの投射を行う場合も考えられる。このとき、表示素子114の垂直方向の有効領域が600ラインとなる。この場合は、画角αの、有効領域の最大値に対する投射画像データによる有効領域の部分のみが投射される。
補正制御部108は、画像切り出し部100に対して、メモリ101に格納される画像データ140のラインSからラインLまでを切り出して読み出すように指示する。なお、ここでは、水平方向には、画像データ140の左端から右端までを全て読み出すものとする。画像切り出し部100は、補正制御部108の指示に従い、画像データ140のラインS〜Lの領域を切り出し領域に設定し、設定された切り出し領域の画像データ141を読み出して画像処理部102に供給する。図6の例では、投射面130には、画像データ140のラインSからラインLまでの、ライン数lnの画像データ1410による画像1310が投射される。この場合、画像データ140の全領域のうち、ラインLから上端のラインまでに係る領域の画像データ142による画像は、投射されないことになる。
次に、例えば操作部14に対するユーザ操作によりドラム部10が回転され、投射レンズ12の投射角が角度θとなった場合について説明する。実施形態に係るプロジェクタ装置1では、ドラム部10が回転され投射レンズ12による投射角が変化した場合に、投射角θに応じて画像データ140のメモリ101からの切り出し領域が変更される。
投射角θに対する切り出し領域の設定について、図7を用いてより具体的に説明する。例えばドラム部10を、投射レンズ12による投射位置が0°姿勢から正方向に回転させ、投射レンズ12の投射角が角度θ(>0°)になった場合について考える。この場合、投射面130に対する投射位置が、投射角0°の投射位置Pos0に対して上方の投射位置Pos1に移動する。このとき、補正制御部108は、画像切り出し部100に対して、メモリ101に格納される画像データ140に対する切り出し領域を、次の式(3)および式(4)に従い指定する。式(3)は、切り出し領域の下端のラインRSを示し、式(4)は、切り出し領域の上端のラインRLを示す。
S=θ×(ln/α)+S …(3)
L=θ×(ln/α)+S+ln …(4)
なお、式(3)および式(4)において、値lnは、投射領域内に含まれるライン数(例えば表示素子114のライン数)を示す。また、値αは投射レンズ12の画角、値Sは、図6を用いて説明した、0°姿勢における切り出し領域の下端のラインをそれぞれ示す。
式(3)および式(4)において、(ln/α)は、画角αがライン数lnを投射する場合の、単位画角当たりのライン数(投射面の形状によって変化する略平均化されたライン数の概念を含む)を示す。したがって、θ×(ln/α)は、プロジェクタ装置1における、投射レンズ12による投射角θに対応するライン数を表す。これは、投射角が角度Δθだけ変化するとき、投射画像の位置が、投射画像におけるライン数{Δθ×(ln/α)}分の距離だけ移動することを意味する。したがって、式(3)および式(4)は、投射角が角度θの場合の投射画像の、画像データ140における下端および上端のライン位置をそれぞれ示す。これは、投射角θにおけるメモリ101上の画像データ140に対する読み出しアドレスに対応する。
このように、実施形態に係るプロジェクタ装置1においては、メモリ101から画像データ140を読み出す際のアドレスが、投射角θに応じて指定される。これにより、メモリ101から、画像データ140の、投射角θに応じた位置の画像データ1411が読み出され、読み出された画像データ1411に係る画像1311が、投射面130の投射角θに対応する投射位置Pos1に投射される。
そのため、実施形態に係るプロジェクタ装置1によれば、表示素子114のサイズよりも大きいサイズの画像データ140を投射する場合に、投射される画像内の位置と、画像データ内の位置との対応関係が保たれる。また、ドラム30を回転駆動するためのモータ40の駆動パルスに基づき投射角θを求めているため、ドラム部10の回転に対して略遅延の無い状態で投射角θを得ることができると共に、投射画像や周囲の環境に影響されずに投射角θを得ることが可能である。
次に、投射レンズ12による光学ズームを行った場合の切り出し領域の設定について説明する。既に説明したように、プロジェクタ装置1の場合、レンズ駆動部が駆動され投射レンズ12の画角αが増加または減少されることで、光学ズームが行われる。光学ズームによる画角の増加分を角度Δとし、光学ズーム後の投射レンズ12の画角を画角(α+Δ)とする。
この場合、光学ズームにより画角が増加しても、メモリ101に対する切り出し領域は変化しない。換言すれば、光学ズーム前の画角αによる投射画像に含まれるライン数と、光学ズーム後の画角(α+Δ)による投射画像に含まれるライン数は、同一である。したがって、光学ズーム後は、光学ズーム前に対して単位角度当たりに含まれるライン数が変化することになる。
光学ズームを行った場合の切り出し領域の指定について、図8を用いてより具体的に説明する。図8の例では、投射角θの状態で、画角αに対して画角Δ分を増加させる光学ズームを行っている。光学ズームを行うことで、投射面130に投射される投射画像は、例えば投射レンズ12に投射される光の光束中心(投射位置Pos2)を共通として、画像131として示されるように、光学ズームを行わない場合に対して画角Δ分拡大される。
画角Δ分の光学ズームを行った場合、画像データ140に対して切り出し領域として指定されるライン数をlnラインとすると、単位角度当たりに含まれるライン数は、{ln/(α+Δ)}で表される。したがって、画像データ140に対する切り出し領域は、次の式(5)および式(6)により指定される。なお、式(5)および式(6)における各変数の意味は、上述の式(3)および式(4)と共通である。
S=θ×{ln/(α+Δ)}+S …(5)
L=θ×{ln/(α+Δ)}+S+ln …(6)
画像データ140から、この式(5)および式(6)に示される領域の画像データ1412が読み出され、読み出された画像データ1412に係る画像1312が、投射レンズ12により、投射面130の投射位置Pos2に対して投射される。
このように、光学ズームを行った場合には、単位角度当たりに含まれるライン数が光学ズームを行わない場合に対して変化し、投射角θの変化に対するラインの変化量が、光学ズームを行わない場合に比べて異なったものとなる。これは、メモリ101に対する投射角θに応じた読み出しアドレスの指定において、光学ズームにより増加した画角Δ分のゲインが変更された状態である。
実施形態に係るプロジェクタ装置1においては、メモリ101から画像データ140を読み出す際のアドレスは、投射角θと投射レンズ12の画角αに応じて指定される。これにより、光学ズームを行った場合であっても、投射すべき画像データ1412のアドレスを、メモリ101に対して適切に指定することができる。したがって、光学ズームを行った場合であっても、表示素子114のサイズよりも大きいサイズの画像データ140を投射する場合に、投射される画像内の位置と、画像データ内の位置との対応関係が保たれる。
次に、画像の投射位置に対してオフセットが与えられた場合について、図9を用いて説明する。プロジェクタ装置1の使用に際して、必ずしも0°姿勢(投射角0°)が投射位置の最下端になるとは限らない。例えば図9に例示されるように、所定の投射角θofstによる投射位置Pos3を、最下端の投射位置にする場合も考えられる。この場合、画像データ1413による画像1313は、オフセットが与えられない場合に比べて、投射角θofstに対応する高さだけ上にずれた位置に投射されることになる。この、画像データ140の最下端のラインを最下端とする画像を投射する際の投射角θを、オフセットによるオフセット角θofstとする。
この場合、例えば、このオフセット角θofstを投射角0°と見做して、メモリ101に対する切り出し領域を指定することが考えられる。上述した式(3)および式(4)に当て嵌めると、下記の式(7)および式(8)のようになる。なお、式(7)および式(8)における各変数の意味は、上述の式(3)および式(4)と共通である。
S=(θ−θofst)×(ln/α)+S …(7)
L=(θ−θofst)×(ln/α)+S+ln …(8)
<メモリ制御について>
次に、図10〜図13を用いて、メモリ101のアクセス制御について説明する。画像データは、垂直同期信号VD毎に、画面上水平方向に各ライン毎に画像の左端から右端に向けて各画素が順次伝送され、各ラインは、画像の上端から下端に向けて順次伝送される。なお、以下では、画像データは、デジタルハイビジョン規格に対応した、水平1920画素×垂直1080画素(ライン)のサイズをもつ場合を例として説明する。
以下では、メモリ101が、それぞれ独立してアクセス制御が可能な、4つのメモリ領域101Y1、101Y2、101T1および101T2を含む場合のアクセス制御の例について説明する。すなわち、図10に示されるように、メモリ101は、それぞれ水平1920画素×垂直1080画素(ライン)のサイズで画像データの書き込み・読み出しに用いられるメモリ領域101Y1および101Y2と、それぞれ水平1080画素×垂直画素1920(ライン)のサイズで画像データの書き込み・読み出しに用いられるメモリ領域101T1および101T2とがそれぞれ設けられている。以下、各メモリ領域101Y1、101Y2、101T1および101T2を、それぞれメモリ領域Y1、メモリ領域Y2、メモリ領域T1およびメモリ領域T2として説明する。
図11は、画像切り出し部100によるメモリ101に対するアクセス制御を説明するためのタイムチャートの一例である。図11(a)は、投射レンズ12の投射角θ、図11(b)は、垂直同期信号VDを示す。また、図11(c)は、画像切り出し部100に入力される画像データD1、D2、…の入力タイミング、図11(d)〜図11(g)は、それぞれメモリ領域Y1、T1、Y2およびT2に対する画像切り出し部100からのアクセスの例を示す。なお、図11(d)〜図11(g)において、「R」が付されているブロックは、読み出しを示し、「W」が付されているブロックは、書き込みを示す。
画像切り出し部100に対して、垂直同期信号VD毎に、それぞれ1920画素×1080ラインの画像サイズを持つ画像データD1、D2、D3、D4、D5、D6、…が入力される。各画像データD1、D2、…は、垂直同期信号VDに同期して、垂直同期信号VDの後から入力される。また、各垂直同期信号VDに対応する投射レンズ12の投射角を、それぞれ投射角θ1、θ2、θ3、θ4、θ5、θ6、…とする。投射角θは、このように垂直同期信号VD毎に取得される。
先ず、画像切り出し部100に対して、画像データD1が入力される。実施形態に係るプロジェクタ装置1は、上述したように、ドラム部10を回転させることで投射レンズ12による投射角θを変化させて投射画像の投射位置を移動させると共に、投射角θに応じて画像データに対する読み出し位置を指定する。そのため、画像データは、垂直方向により長いと都合がよい。一般的には、画像データは、水平方向のサイズが垂直方向のサイズよりも大きいことが多い。そこで例えば、ユーザがカメラを90°回転させて撮像を行い、この撮像で得られた画像データをプロジェクタ装置1に入力することが考えられる。
すなわち、画像切り出し部100に入力される画像データD1、D2、…による画像は、図12(a)にイメージとして示される画像160のように、画像の内容から判断して正しい向きの画像から90°回転された、横向きの画像とされている。
画像切り出し部100は、入力された画像データD1を、先ず、メモリ領域Y1に対して、画像データD1の入力タイミングに対応したタイミングWD1で書き込む(図11(d)のタイミングWD1)。画像切り出し部100は、画像データD1を、図12(b)の左側に示されるように、水平方向に向けてライン順にメモリ領域Y1に対して書き込む。図12(b)の右側に、こうしてメモリ領域Y1に書き込まれた画像データD1による画像161をイメージとして示す。画像データD1は、入力時の画像160と同じイメージの画像161として、メモリ領域Y1に書き込まれる。
画像切り出し部100は、図12(c)に示されるように、メモリ領域Y1に書き込んだ画像データD1を、当該画像データD1を書き込んだ垂直同期信号VDの次の垂直同期信号VDの開始と同時のタイミングRD1で、メモリ領域Y1から読み出す(図11(d)のタイミングRD1)。
このとき、画像切り出し部100は、画像データD1を、画像の左下隅の画素を読み出し開始画素として、垂直方向に順次ラインを跨いで画素毎に読み出していく。画像の上端の画素を読み出すと、次は、垂直方向の読み出し開始位置の画素の右隣の画素を読み出し開始画素として、垂直方向に各画素を読み出す。この動作を、画像の右上隅の画素の読み出しが終了するまで、繰り返す。
換言すれば、画像切り出し部100は、ライン方向を画像の下端から上端に向けた垂直方向として、メモリ領域Y1からの画像データD1の読み出しを、当該垂直方向のライン毎に、画像の左端から右端に向けて画素毎に順次読み出す。
画像切り出し部100は、このようにしてメモリ領域Y1から読み出した画像データD1の画素を、図13(a)の左側に示されるように、メモリ領域T1に対して、ライン方向に向けて画素毎に順次書き込んでいく(図11(e)のタイミングWD1)。すなわち、画像切り出し部100は、メモリ領域Y1から例えば1画素を読み出す毎に、読み出したこの1画素をメモリ領域T1に書き込む。
図13(a)の右側は、こうしてメモリ領域T1に書き込まれた画像データD1による画像162のイメージを示す。画像データD1は、水平1080画素×垂直1920画素(ライン)のサイズとしてメモリ領域T1に書き込まれ、入力時の画像160が時計回りに90°回転されて水平方向と垂直方向とが入れ替えられた画像162とされる。
画像切り出し部100は、メモリ領域T1に対して画像制御部103に指定された切り出し領域のアドレス指定を行い、当該切り出し領域として指定された領域の画像データをメモリ領域T1から読み出す。この読み出しのタイミングは、図11(e)にタイミングRD1として示されるように、画像データD1が画像切り出し部100に入力されたタイミングに対して、2垂直同期信号VDの分だけ遅延することになる。
実施形態によるプロジェクタ装置1は、上述したように、ドラム部10を回転させることで投射レンズ12による投射角θを変化させて投射画像の投射位置を移動させると共に、投射角θに応じて画像データに対する読み出し位置を指定する。例えば、画像データD1が、投射角θ1のタイミングで画像切り出し部100に入力される。この画像データD1による画像を実際に投射するタイミングにおける投射角θは、投射角θ1から、投射角θ1と異なる投射角θ3に変化していることが有り得る。
そのため、メモリ領域T1から画像データD1を読み出す際の切り出し領域は、この投射角θの変化分を見込んで、投射される画像に対応する画像データの領域よりも大きい範囲で読み出すようにする。
図13(b)を用いてより具体的に説明する。図13(b)の左側は、メモリ領域T1に格納される画像データD1による画像163のイメージを示す。この画像163において、実際に投射される領域を投射領域163aとし、他の領域163bは、非投射領域であるとする。この場合、画像制御部103は、メモリ領域T1に対して、投射領域163aの画像に対応する画像データの領域よりも、少なくとも、2垂直同期信号VDの期間で投射レンズ12による投射角θが最大に変化した場合の変化分に相当するライン数分大きい切り出し領域170を指定する。
画像切り出し部100は、画像データD1をメモリ領域T1に書き込んだ垂直同期信号VDの次の垂直同期信号VDのタイミングで、この切り出し領域170からの画像データの読み出しを行う。こうして、投射角θ3のタイミングで、投射を行う画像データがメモリ領域T1から読み出され、後段の画像処理部102を経て表示素子114に供給され、投射レンズ12から投射される。
画像切り出し部100に対し、画像データD1が入力された垂直同期信号VDの次の垂直同期信号VDのタイミングで、画像データD2が入力される。このタイミングでは、メモリ領域Y1は画像データD1が書き込まれている。そのため、画像切り出し部100は、画像データD2をメモリ領域Y2に書き込む(図11(f)のタイミングWD2)。このときの、画像データD2のメモリ領域Y2への書き込み順は、上述の画像データD1のメモリ領域Y1への書き込み順と同様であり、イメージも同様である(図12(b)参照)。
すなわち、画像切り出し部100は、画像データD2を、画像の左下隅の画素を読み出し開始画素として、垂直方向に順次ラインを跨いで画素毎に画像の上端の画素まで読み出し、次に垂直方向の読み出し開始位置の画素の右隣の画素を読み出し開始画素として、垂直方向に各画素を読み出す(図11(f)のタイミングRD2)。この動作を、画像の右上隅の画素の読み出しが終了するまで、繰り返す。画像切り出し部100は、このようにしてメモリ領域Y2から読み出した画像データD2の画素を、メモリ領域T2に対して、ライン方向に向けて画素毎に順次書き込んで(図11(g)のタイミングWD2)いく(図13(a)左側参照)。
画像切り出し部100は、メモリ領域T2に対して画像制御部103に指定された切り出し領域のアドレス指定を行い、当該切り出し領域として指定された領域の画像データを、図13(g)のタイミングRD2でメモリ領域T2から読み出す。このとき、上述したように、画像制御部103は、メモリ領域T2に対して、投射角θの変化分を見込んだ、投射される画像に対応する画像データの領域よりも大きい領域を切り出し領域170として指定する。
画像切り出し部100は、画像データD2をメモリ領域T2に書き込んだ垂直同期信号VDの次の垂直同期信号VDのタイミングで、この切り出し領域170からの画像データの読み出しを行う。こうして、投射角θ2のタイミングで画像切り出し部100に入力された画像データD2における切り出し領域170の画像データが、投射角θ4のタイミングでメモリ領域T2から読み出され、後段の画像処理部102を経て表示素子114に供給され、投射レンズ12から投射される。
以降、同様にして、画像データD3、D4、D5、…に対して、メモリ領域Y1およびT1の組と、メモリ領域Y2およびT2の組とを交互に用いて順次処理していく。
上述のように、実施形態に係るプロジェクタ装置1では、メモリ101に対して、水平1920画素×垂直1080画素(ライン)のサイズで画像データの書き込み読み出しに用いられるメモリ領域Y1、Y2の領域と、水平1080画素×垂直1920(画素ライン)のサイズで画像データの書き込み読み出しに用いられるメモリ領域T1、T2の領域とをそれぞれ設けている。これは、一般に、画像メモリに用いられるDRAM(Dynamic Random Access Memory)は、水平方向のアクセスに対して、垂直方向のアクセスの方がアクセス速度が遅いためである。他の、水平方向と垂直方向とで同等のアクセス速度を得られる、ランダムアクセス容易なメモリを用いる場合、画像データに応じた容量のメモリを2面用いる構成としてもよい。
<キーストン補正>
図14〜図16を用いて、キーストン補正について概略的に説明する。図14および図15は、プロジェクタ装置1の投射レンズ12のスクリーン1401に対する投射方向と、被投射媒体であるスクリーン1401上に投射される投射画像との関係を示す。図14に示すように、投射角が0°で、投射レンズ12の光軸がスクリーン1401に対して垂直になっている場合には、投射画像1402は、プロジェクタ装置1から投射される画像データの形状と同一の矩形状となり、投射画像1402に歪みは生じない。
一方、図15に示すように、スクリーン1401に対して傾斜させて画像データを投射する場合には、矩形状となるべき投射画像1502が台形状に歪むという、いわゆる台形歪みが発生する。
このため、投射対象の画像データに対して、スクリーンなどの被投射媒体上の投射画像に生じる台形歪みと逆向きの台形状に変換する台形歪補正(キーストン補正)などの幾何学的歪み補正を行う。この台形歪補正により、図16に示すように、被投射媒体上に投射される投射画像1601は、歪みが抑制された矩形状の画像となる。
台形歪補正は、投射画像の水平方向の歪を補正するための水平補正係数と、垂直方向の歪を補正するための垂直補正係数とを用いて行われる。また、台形歪補正においては、投射方向が被投射媒体に垂直である場合の投射画像のアスペクト比を維持するように、ライン毎に水平および垂直方向の補正が行われる。
水平方向の歪み補正について、概略的に説明する。図15に示したように、投射レンズ12の投射方向がスクリーン1401に対して傾斜しており、投射方向が被投射媒体の投射面に対して垂直ではない場合に、矩形画像による投射画像の下辺の長さと上辺の長さとが異なる。すなわちこの場合、投射画像の各ラインの長さが、スクリーン1401上の位置に応じて異なる。水平方向の歪み補正では、この投射画像の各ラインの長さが均一になるように、補正を行う。水平歪の補正を行うための水平補正係数は、画角と投射角θと各ラインの画像データにおける垂直方向の位置との関数になる。
垂直方向の歪み補正について、概略的に説明する。図17および図18を用いて、垂直な面に対して投射される画像について説明する。図17において、位置Bをドラム部10の回転軸36の位置として、位置Bから距離rだけ離れた投射面Wに、投射レンズ12から画像を投射する場合について考える。
上述の円筒モデルでは、位置Bを中心とする半径rの弧Cを投射面として投射画像が投射される。弧Cの各点は、位置Bから等距離であり、投射レンズ12から投射される光の光束中心は、弧Cを含む円の半径となる。したがって、投射角θを0°のθ0からθ1、θ2、…と増加させても、投射画像は常に同じサイズで投射面に対して投射される。
一方、垂直な面である投射面Wに対して投射レンズ12から画像を投射する場合、投射角θをθ0からθ1、θ2、…と増加させると、投射レンズ12から投射された光の光束中心が投射面Wに照射される位置が、正接関数の特性に従い角度θの関数にて変化する。したがって、投射画像は、投射角θが大きくなるに連れ、下記の式(9)に示される比率Mに従い、上方向に伸びる。
M=(180×tanθ)/(θ×π) …(9)
また、投射面W上の投射画像におけるライン間隔も、図18に例示されるように、投射角θが大きくなるに連れ広くなる。この場合、1つの投射画像内における投射面W上の位置に応じて、上述の式(9)に従いライン間隔が広くなることになる。
このように、投射角θが大きくなるに連れ、投射画像が垂直方向へ伸びると共にライン間隔が広がることで、垂直方向の歪が発生する。そこで、画像処理部102は、投射レンズ12の投射角θに従って、上述の式(9)の逆数の比率で、投射を行う画像の画像データに対して縮小処理を行う。より具体的には、画像処理部102は、式(9)の逆数の比率に基づき投射画像の上端側に近付くに連れ間引くラインの数を増やす、ライン間引き処理を行う。
ここで、上述のキーストン補正を行わない場合の、投射角θの変化に伴う投射画像の変化について、図19を用いて説明する。図19は、水平な台座2に設置されたプロジェクタ装置1のドラム部10を図中に矢印Aで示される回転方向で回転させ、投射レンズ12(図示しない)の投射角θを、投射角θ=−90°から増加させる例を示す。このとき、床6および天井4は台座2に対して水平であり、壁3は、台座2に対して垂直であるものとする。すなわち、投射角θ=0°、90°および−90°のときに、投射レンズ12の投射方向が、壁3および天井4に対してそれぞれ垂直になるものとする。
この場合、投射角−90°では、投射レンズ12の投射方向が床6に対して垂直であり、歪の無い投射画像300aが得られる。投射角θを−90°から増加させていくと、投射画像300bおよび300cのように、投射画像に台形歪が発生する。すなわち、投射画像は、投射角θの増加方向に向けて順次手前側の辺が長くなると共に奥側の辺が手前側の辺よりもさらに長くなると共に、投射角θの増加方向に向けて縦のサイズも伸びる。
投射角θをさらに増加させて、投射方向が床6と壁3との境界7を超えると、それまでとは逆に、投射角θの増加に従い歪が小さくなリ、投射画像のサイズも小さくなる(投射画像300dおよび300e)。そして、投射角θ=0°になると、歪の無い投射画像300eが得られる。なお、図19においては、プロジェクタ装置1から投射画像300aまでの距離よりも、プロジェクタ装置1から投射画像300eまでの距離の方が大きい。したがって、投射画像300eは、投射画像300aよりも大きなサイズで投射される。投射角θを0°から増加させると、投射画像300fおよび300gのように、投射角θの増加に従い歪が大きくなリ、投射画像のサイズも大きくなる。
投射角θをさらに増加させて、投射方向が壁3と天井4との境界5を超えると、それまでとは逆に、投射角θの増加に従い歪が小さくなリ、投射画像のサイズも小さくなる(投射画像300hおよび300i)。そして、投射角θ=90°で歪の無い投射画像300jとなり、さらに投射角θを増加させると、投射角θの増加に従い歪みが大きくなり、投射画像のサイズも大きくなる(投射画像300k)。
図20は、図19で示したように台形歪が発生した投射画像に対し、既存技術による台形歪補正(キーストン補正)を施した場合の例を示す。既存技術のキーストン補正では、投射画像が投射角θに応じて歪んだ台形形状の上底および下底のうち短い辺(以下、短辺と呼ぶ)を基準として、元画像のアスペクト比を維持するように補正が行われる。図19に示したように、台形歪が発生した投射画像の短辺は、投射角θに応じて変化する。したがって、キーストン補正を施された投射画像も、投射角θに応じてサイズが変化することになる。
図20の例では、例えば投射方向が投射角θ=−90°から境界7の方向までの間は、キーストン補正を行わない投射画像300a〜300cの短辺の長さの変化に従い、補正された投射画像301a、301bおよび301cのサイズが投射角θの増加に従い大きくなる。境界7の方向から境界5の方向までの間は、補正を行わない投射画像300d〜300gの短辺の長さの変化に従い、補正された投射画像301d〜301gのサイズが変化する。具体的には、投射画像301d〜301gのサイズは、投射角θの増加に従い、境界7の方向から投射角θ=0°の間で小さくなリ、投射角θ=0°から境界5の間で大きくなる。さらに、同様に、境界5以降の方向では、補正を行わない投射画像300h〜300kの短辺の長さの変化に従い、補正された投射画像301h〜301kのサイズが変化する。
図21は、投射画像の垂直方向のサイズの、投射角θに応じた一例の変化を示す。図21において、線200は、投射角θに応じた高さHの変化の例を、被投射媒体に対する投射方向に向けた距離が最短である場合の投射画像の高さH0に対する比率により示す。この例では、投射方向が被投射媒体に対して垂直になる投射角θ=0°および90°のうち、投射角θ=90°すなわち投射方向が天井4に対して垂直の場合において、被投射媒体に対する投射方向に向けた距離が最短になっている。この、被投射媒体に対する投射方向に向けた距離が最短になる投射角θを、投射角θMINとする。
図21に例示されるように、投射角θ=90°の場合に最小である投射画像の高さHは、投射角θが減少し、投射方向が天井4および壁3の境界5に近付くに連れ、高くなる。この例では、投射角θ=30°が境界5の投射方向に対応している。この境界5に対応する投射方向では、被投射媒体の投射方向に対する角度が不連続となるのに伴い、高さHの投射角θに対する変化が不連続となる。
このように、被投射媒体上での投射画像のサイズが投射角θによって変化すると、ドラム部10を回転させた際に、ユーザに対して所期の投射画像とは異なるサイズの投射画像が提示されることになリ、ユーザが不快感を感じるおそれがある。これを解消するため、本発明の実施形態においては、被投射媒体上での投射画像のサイズが各投射角θで一定になるように、投射する画像データに対して垂直および水平方向に対する縮小処理を施す。
本発明の実施形態に係るプロジェクタ装置1は、各投射角θにおける投射画像に対してキーストン補正を行う。そして、実施形態においては、プロジェクタ装置1は、キーストン補正されて被投射媒体に投射される投射画像の高さHおよび短辺の長さWが、投射角θMINにおける投射画像の高さH(高さH0とする)および短辺の長さW(長さW0とする)に一致するように、キーストン補正前の画像データに対して縮小処理を施す。
ここで、被投射媒体に対する投射方向を投射角θMINとした場合、被投射媒体に投射される投射画像のサイズが、各投射角θで投射した場合の投射画像のサイズ中で最小となる。実施形態では、投射方向がこの投射角θMINの場合の投射画像のサイズを下限のサイズとしてサイズ補正処理を行い、投射方向が各投射角θにおける投射画像のサイズを縮小する。
より具体的には、プロジェクタ装置1は、各投射角θにおける投射画像のサイズを投射角θMINにおける投射画像のサイズに一致させるための、投射画像の短辺の長さW(θ)に対する縮小率RW(θ)を求める。すなわち、縮小率RW(θ)は、下記の式(10)に示されるように、キーストン補正を行わない場合の、投射角θMINにおける投射画像の水平方向の幅W0に対する、各投射角θにおける投射画像の短辺の長さW(θ)の各比率である。そして、この縮小率RW(θ)を用いて、キーストン補正前の画像データに対する縮小処理を行う。
W(θ)=W0/W(θ) …(10)
図22および図23を用いて、投射画像の短辺の長さW(θ)の算出方法について説明する。図22は、壁3、すなわち投射角θ=0°の投射方向に対して投射面が垂直な被投射媒体に画像を投射する場合の例を示す。また、図23は、天井4、すなわち投射角θ=90°の投射方向に対して投射面が垂直な被投射媒体に画像を投射する場合の例を示す。なお、図22および図23において、天井4は台座2に対して水平であり、壁3は、台座2に対して垂直であるものとする。すなわち、投射角θ=0°および90°の場合に、投射レンズ12の投射方向が、壁3および天井4に対してそれぞれ垂直になるものとする。
ここで、表示素子112のサイズが垂直方向と水平方向とで異なる場合、画角αとして、垂直方向の画角αVと、水平方向の画角αHとがそれぞれ定義される。これら画角αVおよび画角αHは、投射角θによらず一定である。以下では、画角αVおよび画角αHの1/2の角度をそれぞれ角度βVおよび角度βHとし、画角2βVおよび画角2βHを用いて説明する。
先ず、壁3に投射する場合について説明する。図22において、範囲hwは、画角2βVにて投射角θで壁3に投射した場合の投射画像の上辺から下辺までの範囲を示す。図19を用いて説明したように、壁3に投射する場合、投射角θ>0°において、投射画像すなわち範囲hwの下端が短辺となる。投射角θ=0°の場合の壁3までの距離(投射方向が壁3に対して垂直な場合の距離)を距離r0とし、投射角θにおける、壁3までの投射画像の短辺での距離を距離rwとする。なお、この場合、投射角θは、0°から、範囲hwの下端が壁3に掛かる最大の投射角の範囲内の角度とする。この場合、距離r0と距離rwとの関係は、下記の式(11)で表される。
0=rw・cos(θ−βV) …(11)
一方、画角αHが投射角θについて一定であれば、キーストン補正を行わない投射画像の短辺の長さWは、被投射媒体までの、短辺に向けた距離rwに比例する。したがって、壁3に投射する場合の投射角θに応じた長さW(θ)の変化は、下記の式(12)により表される。
W(θ)=2rw・tanβH …(12)
式(10)を式(11)に適用することで、下記の式(13)に示されるように、長さW(θ)は、距離r0と投射角θとから算出できることが分かる。なお、式(13)および上述の式(11)において、投射角θ>90°の場合(例えば壁3とプロジェクタ装置1を挟んで対向する面に投射する場合)は、角度βVの符号がプラスとなる。
W(θ)=2r0・tanβH/cos(θ−βV) …(13)
次に、天井4に投射する場合について説明する。図23において、範囲hcは、画角2βVにて投射角θで天井に投射した場合の投射画像の上辺から下辺までの範囲を示す。図19を用いて説明したように、天井4に投射する場合、投射画像すなわち範囲hcのプロジェクタ装置1に近い側が短辺となる。投射角θ=90°の場合の天井4までの距離(投射方向が天井4に対して垂直な場合の距離)を距離r90とし、投射角θにおける、天井4までの投射画像の短辺での距離を距離rcとする。なお、この場合、投射角θは、範囲hcの短辺が天井4に掛かる範囲の角度とする。この場合、距離r90と距離rcとの関係は、下記の式(14)で表される。
90=rc・sin(θ+βV) …(14)
一方、画角αHが投射角θについて一定であれば、キーストン補正を行わない投射画像の短辺の長さWは、被投射媒体までの、短辺に向けた距離rwに比例する。したがって、天井4に投射する場合の投射角θに応じた長さW(θ)の変化は、上述の式(12)と同様の下記の式(15)により表される。
W(θ)=2rc・tanβH …(15)
式(14)を式(15)に適用することで、下記の式(16)に示されるように、長さW(θ)は、距離r90と投射角θとから算出できることが分かる。なお、式(16)および上述の式(14)において、投射角θ>90°の場合は、角度βVの符号がマイナスとなる。
W(θ)=2r90・tanβH/sin(θ+βV) …(16)
<実施形態によるサイズ補正処理>
次に、実施形態に適用可能な、プロジェクタ装置1における画像投射の処理の流れについて、図24のフローチャートを用いて説明する。
先ず、ステップS100で、測距部107は、投射方向が被投射媒体に対して垂直になる投射角θを、投射の際の基準角度θrefとして取得する。それと共に、測距部107は、被投射媒体に対する距離が最短になる投射方向に対応する投射角θMINを取得する。これら、基準角度θref、ならびに、投射角θMINの取得方法については、後述する。
次のステップS101で、画像データの入力に伴い、当該画像データによる画像の投射に係る各種設定値がプロジェクタ装置1に入力される。入力された各種設定値は、例えばCPU120に取得される。ここで取得される各種設定値は、例えば、画像データによる画像を回転させるか否か、すなわち、当該画像の水平方向と垂直方向とを入れ替えるか否かを示す値、画像の拡大率、投射の際のオフセット角θofstを含む。各種設定値は、プロジェクタ装置1に対する画像データの入力に伴い、データとしてプロジェクタ装置1に入力してもよいし、操作部14を操作することで入力してもよい。
次のステップS102で、プロジェクタ装置1に対して、1フレーム分の画像データが入力され、画像切り出し部100により、入力された画像データが取得される。取得された画像データは、メモリ101に書き込まれる。
次のステップS103で、画像制御部103は、オフセット角θofstを取得する。次のステップS104で、画像制御部103は、切り出しサイズすなわち入力された画像データにおける切り出し領域のサイズを取得する。画像制御部103は、切り出し領域のサイズを、ステップS101で取得された設定値から取得してもよいし、操作部14に対する操作に応じて取得してもよい。次のステップS105で、画像制御部103は、投射レンズ12の画角αを取得する。例えば、画像制御部103は、投射レンズ12の垂直方向の画角αVと水平方向の画角αHとを、画角制御部106から取得する。画像制御部103は、画角αVおよび画角αHのうち何れか一方のみを画角制御部106から取得し、表示素子112のアスペクト比に従い、取得した一方画角から他方の画角を求めてもよい。
さらに、次のステップS106で、測距部107は、投射レンズ12の投射角θを、例えば回転制御部104から取得する。測距部107は、取得した投射角θを、ステップS100で取得した基準角度θrefを用いて補正し、補正された投射角θ’を得る。この投射角θ’は、画像処理部102および画像制御部103に渡される。
次のステップS107で、画像制御部103は、ステップS103〜ステップS106で取得されたオフセット角θofstと、切り出し領域のサイズと、画角αと、測距部107で補正された投射角θ’とに基づき、上述した式(3)〜式(8)を用いて、入力された画像データに対する切り出し領域を求める。画像制御部103は、画像切り出し部100に対して、求めた切り出し領域からの画像データの読み出しを指示する。画像切り出し部100は、画像制御部103からの指示に従い、メモリ101に記憶される画像データから切り出し領域内の画像データを読み出し、画像データの切り出しを行う。画像切り出し部100は、メモリ101から読み出した切り出し領域の画像データを画像処理部102に供給する。
ステップS108で、画像処理部102は、画像切り出し部100から供給された画像データに対して、例えば上述した式(1)および式(2)に従いサイズ変換処理を施す。さらに、画像処理部102は、当該画像データに対して、後述する処理で求める縮小率RW(θ)を用いた縮小処理と、測距部107で補正された投射角θ’に従ったキーストン補正とを施す。
画像処理部102でサイズ変換処理、縮小処理およびキーストン補正を施された画像データは、表示素子114に供給される。表示素子114は、光源111からの光を画像データに従い変調して射出する。射出されたこの光は、投射レンズ12から投射される。
次のステップS109で、CPU120は、上述のステップS102で入力された画像データの次のフレームの画像データの入力があるか否かを判定する。若し、次のフレームの画像データの入力があると判定された場合、CPU120は、処理をステップS102に戻し、当該次のフレームの画像データに対して上述したステップS102〜ステップS108の処理を行う。すなわち、このステップS102〜ステップS108の処理は、例えば画像データの垂直同期信号VDに従い、画像データのフレーム単位で繰り返される。したがって、プロジェクタ装置1は、投射角θの変化に対して、フレーム単位で各処理を追随させることができる。
一方、ステップS109で、次のフレームの画像データが入力されないと判定した場合、CPU120は、プロジェクタ装置1における画像の投射動作を停止させる。例えば、CPU120は、光源111をオフにするように制御すると共に、回転機構部105に対してドラム部10の姿勢を初期姿勢に戻すように命令を出す。そして、CPU120は、ドラム部10の姿勢が初期姿勢に戻った後、光源111などを冷却するファンを停止させる。
図25は、実施形態によるキーストン補正および縮小処理の流れを示すフローチャートである。この図25のフローチャートによる処理は、上述した図24におけるステップS108の処理に含まれる。
画像処理部102は、ステップS200で、上述した式(10)〜式(16)に従い、ステップS106で取得された投射角θにおける縮小率RW(θ)を取得する。実際には、画像処理部102は、投射角θを基準角度θrefで補正した投射角θ’における縮小率RW(θ’)を取得する。例えば、式(10)〜式(16)に従い取得した縮小率RW(θ)の変数θに対して、投射角θ’を適用する。
次のステップS201で、画像処理部102は、画像切り出し部100から供給された画像データに対して、ステップS200で取得された縮小率RW(θ’)に従い縮小処理を施す。さらに、画像処理部102は、次のステップS202で、ステップS201で縮小処理を施された画像データに対して、投射角θ’に従いキーストン補正を施す。
なお、これらステップS201およびステップS202の処理は、画像処理部102がメモリ101の所定領域を利用して実行されるものとする。勿論、画像処理部102に対して画像処理専用のメモリを設けてもよい。
そして、次のステップS203で、画像処理部102は、縮小処理およびキーストン補正が施された画像データを、表示素子114に対して出力する。表示素子114から出射された当該画像データに基づく光は、投射レンズ12から投射角θ’で被投射媒体に投射される。被投射媒体には、投射角θMINで投射された際の投射画像と同じサイズの投射画像が投射される。
図26を用いて、上述のステップS201およびステップS202の処理について、より具体的に説明する。ここでは、上述の図19を参照し、基準角度θref=0°とし、投射角θ=0°で投射方向が被投射媒体(壁3)に垂直になるものとする。また、投射角θ=90°において被投射媒体までの距離が最短になるものとする。
図26(a)は、投射角θ=90°(=投射角θMIN)で天井4に投射する画像データの例を示す。また、図26(b)は、投射角θ=90°よりも小さい投射角θaで天井4に投射する画像データの例を示す。なお、天井4と壁3との境界5に対する投射方向を投射角θMとすると、投射角θaは、θMIN>θa>θMであるものとする。また、投射角θaは、基準角度θrefにより補正されているものとする。
図26(a)および図26(b)において、左側にキーストン補正および縮小処理を施さない場合の投射画像300jおよび300iの例を示している。また、図26(a)および図26(b)において、中央は、ステップS201で縮小処理を施された画像データの例を示し、右側は、ステップS202でキーストン補正を施された画像データの例を示す。
図26(a)に示される投射角θMINの例では、投射画像300jは、投射方向が被投射媒体に対して垂直であり台形歪が発生しないと共に、縮小処理の基準となるサイズを有する。そのため、画像処理部102は、ステップS201における縮小処理を施さずに、元の画像データとサイズが一致する画像データ310aを得る。また、画像データ310aが台形歪を発生していないため、画像処理部102は、ステップS202におけるキーストン補正を施さない。これにより、表示素子114に対して、画像のサイズおよび形状が画像データ310aと一致する画像データ310a’が供給される。
図26(b)に示される投射角θaの例では、投射方向が被投射媒体に対して垂直ではなく、台形歪が発生していると共に、投射画像による台形の短辺の長さWが投射角θに応じてそれぞれ異なっている。したがって、この投射角θaの例では、表示素子114に供給する画像データに対して、ステップS201による縮小処理と、ステップS202によるキーストン補正とを施す必要がある。
図26(b)の例では、投射画像は、上述した式(16)に従い、台形歪による台形の短辺の長さWが投射角θaに応じて変化する(伸びる)。そこで、画像処理部102は、ステップS201により、式(10)〜式(16)に従い縮小率RWa)を求め、画像切り出し部100から供給される画像データに対して、この縮小率RWa)に従い水平方向および垂直方向の縮小処理を施す。これにより、元の画像データとアスペクト比が等しい縮小画像データ310bが生成される。
画像処理部102は、ステップS202により、この縮小画像データ310bに対して、既知の技術を用いて、投射角θaに応じたキーストン補正を施す。縮小処理およびキーストン補正が施された画像データ310b’は、上底の長さが台形歪および縮小率RWa)に応じて縮小され、下底の長さが投射角θaに応じた縮小率RWa)で縮小された台形形状となる。上述したように、キーストン補正は、台形形状の下底の長さWを基準として、元の画像のアスペクト比を維持するような補正である。したがって、画像データ310b’が投射角θaに従い被投射媒体(天井4)に投射されて得られる投射画像は、投射角θaに従い発生する台形歪が補正されると共に、サイズが投射角θMINによる投射画像と一致することになる。
このように、実施形態によれば、投射角θに関わらず、常に同一のサイズおよび形状の投射画像を得ることができる。
<実施形態の変形例によるサイズ補正処理>
次に、実施形態の変形例によるサイズ補正処理について説明する。成就した実施形態では、縮小処理を実行してからキーストン補正を実行することで、サイズ補正処理を行なっていた。これに対して、本実施形態の変形例では、キーストン補正を実行してから縮小処理を実行することで、サイズ補正処理を行う。なお、実施形態の変形例によるサイズ補正処理の全体の流れは、上述した図24のフローチャートと共通であるので、ここでの説明を省略する。
図27は、実施形態の変形例によるキーストン補正および縮小処理の流れを示すフローチャートである。この図27のフローチャートによる処理は、上述した図24におけるステップS108の処理に含まれる。
画像処理部102は、ステップS210で、上述した式(10)〜式(16)に従い、ステップS106で取得された投射角θにおける縮小率RW(θ)を取得する。実際には、画像処理部102は、投射角θを基準角度θrefで補正した投射角θ’における縮小率RW(θ’)を取得する。例えば、式(10)〜式(16)に従い取得した縮小率RW(θ)の変数θに対して、投射角θ’を適用する。
次のステップS211で、画像処理部102は、画像切り出し部100から供給された画像データに対して投射角θ’に従いキーストン補正を施す。次のステップS212で、画像処理部102は、ステップS211でキーストン補正を施された画像データに対して、縮小率RW(θ’)に従い縮小処理を施す。画像処理部102は、ステップS211のキーストン補正を、このステップS212による縮小処理を見込んで行うようにする。
なお、これらステップS211およびステップS212の処理は、画像処理部102がメモリ101の所定領域を利用して実行されるものとする。勿論、画像処理部102に対して画像処理専用のメモリを設けてもよい。
そして、次のステップS213で、画像処理部102は、縮小処理およびキーストン補正が施された画像データを、表示素子114に対して出力する。表示素子114から出射された当該画像データに基づく光は、投射レンズ12から投射角θ’で被投射媒体に投射される。被投射媒体には、投射角θMINで投射された際の投射画像と同じサイズの投射画像が投射される。
図28を用いて、上述のステップS211およびステップS212の処理について、より具体的に説明する。ここでは、上述の図19を参照し、基準角度θref=0°とし、投射角θ=0°で投射方向が被投射媒体(壁3)に垂直になるものとする。また、投射角θ=90°において被投射媒体までの距離が最短になるものとする。
図28(a)は、投射角θ=90°(=投射角θMIN)で天井4に投射する画像データの例を示す。また、図28(b)は、投射角θ=90°よりも小さい投射角θbで天井4に投射する画像データの例を示す。なお、天井4と壁3との境界5に対する投射方向を投射角θMとすると、投射角θbは、θMIN>θb>θMであるものとする。また、投射角θbは、基準角度θrefにより補正されているものとする。
各図28(a)および図28(b)において、左側にキーストン補正および縮小処理を施さない場合の投射画像300jおよび300iの例を示している。また、各図26(a)および図28(b)において、中央は、ステップS211でキーストン補正を施された画像データの例を示し、右側は、ステップS212で縮小処理を施された画像データの例を示す。
図28(a)に示される投射角θMINの例では、投射画像300jは、投射方向が被投射媒体に対して垂直であり台形歪が発生しないと共に、縮小処理の基準となるサイズを有する。そのため、画像処理部102は、ステップS211におけるキーストン補正を施さずに、元の画像データとサイズおよび形状が一致する画像データ311aを得る。また、画像データ311aは、台形歪を有さないと共に、サイズが元の画像データのサイズと一致しているため、画像処理部102は、ステップS212における縮小処理を施さない。これにより、表示素子114に対して、画像データ311aとサイズおよび形状が一致する画像データ311a’が供給される。
図28(b)に示される投射角θbの例では、投射方向が被投射媒体に対して垂直ではなく、台形歪が発生していると共に、投射画像による台形の短辺の長さWが投射角θに応じて異なっている。したがって、この投射角θbの例では、表示素子114に供給する画像データに対して、ステップS211によるキーストン補正と、ステップS212による縮小処理とを施す必要がある。
画像処理部102は、画像切り出し部100から供給される画像データに対して、ステップS211により、既知の技術を用いて、投射角θbに応じたキーストン補正を施す。キーストン補正が施された画像データ311bは、上底の長さが縮小されると共に、高さが台形歪に応じて縮小され、下底の長さが元の画像データによる画像の底辺の長さと等しく、上底の長さが下底の長さよりも短く、且つ、高さが元の画像データによる画像よりも低い台形形状となる。
画像処理部102は、このキーストン補正が施された画像データ311bに対して、ステップS212により縮小処理を施す。投射画像は、上述した式(16)に従い、台形歪による台形の短辺の長さWが投射角θbに応じて変化する(伸びる)。そこで、画像処理部102は、式(10)〜式(16)に従い縮小率RWb)を求める。そして、画像処理部102は、キーストン補正が施された画像データ311bに対して、この縮小率RWb)に従い水平方向および垂直方向の縮小処理を施す。これにより、実施形態において図26(b)にて示した画像データ310b’と同様の画像データ311b’を得ることができる。
なお、画像処理部102は、上述のステップS211において、このステップS212で施される縮小処理により縮小されるサイズを見込んで、キーストン補正を施す。例えば、図28(b)に適用される式(16)の右辺に、投射角θ=90°で1となり、投射角θに応じて変化する係数を乗じることが考えられる。
このように、実施形態の変形例によっても、投射角θに関わらず、常に同一のサイズおよび形状の投射画像を得ることができる。
<実施形態に共通の距離測定方法>
上述したように、実施形態では、プロジェクタ装置1から被投射媒体までの最短の距離rMINと、当該距離rMINを得る投射角θMINとを取得する必要がある。以下では、実施形態および実施形態の変形例に共通して適用可能な距離測定方法に関し、2通りの方法を説明する。
<第1の距離測定方法>
先ず、第1の距離測定方法について説明する。第1の方法は、距離センサ60による被投射媒体との間の距離の測定を、ドラム部10を回転させながら行い、投射角θに応じた距離の変化を取得する。測距部107は、この距離の変化の変曲点に基づき、被投射媒体に対して垂直な投射方向と、互いに交差する2の被投射媒体の交線に対する投射方向とを求め、これらの投射方向の投射角θを取得する。
図29を用いて説明する。図29は、プロジェクタ装置1が設置される台座2が、水平に対してドラム部10の回転の負方向に傾いている場合を示している。このような状態において、例えばプロジェクタ装置1のドラム部10を、投射角θ=0°から反時計回りに回転させながら、被投射媒体である壁3および天井4までの距離を距離センサ60で測定する。測距部107は、距離センサ60から出力される検出信号と、回転制御部104から供給される角度情報とに基づき、各投射角θにおける距離rを取得する。図29の例では、投射角θ=0°において距離rstが取得されたことが示されている。
図29において、距離r0は、投射方向が壁3に垂直な場合の距離、距離r1は、投射方向が天井4に垂直な場合の距離である。また、距離rMは、境界5における距離である。図29から分かるように、プロジェクタ装置1がドラム部10の回転の負方向に傾いているため、距離rstは、距離r0に対して長い距離となっている。また、投射角θ=0°の場合の投射方向と、壁3に垂直な投射方向とがなす角度を、角度θrefとし、投射角θMにおいて、投射方向が境界5と一致するものとする。
例えば、測距部107は、回転制御部104から供給される角度情報が示す角度(投射角θ)の所定間隔毎に、距離センサ60から出力される検出信号を取り込んで、取り込んだ検出信号から距離rを算出する。そして、算出した距離rの、投射角θに応じた変化の変曲点を求める。図27の例では、壁3に対する距離rは、投射角θに対して、概略的にはcosθの逆数に従い変化する。また、天井に対する距離rは、投射角θに対して、概略的にはsinθの逆数に従い変化する。
図30は、図29の例における投射角θに対する距離rの変化を概略的に示す。距離rは、cosθの逆数に従い投射角θ=0°から徐々に減少し、投射方向が壁3に対して垂直になる点で壁3に対する距離rが最短(距離rMIN)となリ、それ以降では距離rが増加する。したがって、この投射方向が距離rの変化の変曲点となる。この変曲点は、下に凸の変曲点である。測距部107は、この下に凸の変曲点を距離rの変化に基づき検出し、検出した変曲点に対応する投射角θrefを取得する。
当該変曲点から投射角θを増加させると、距離rの壁3に対する測定点が上方向に移動し、壁3と天井4との境界5に到達する。この境界5において距離rの変化の方向が変わり、さらに投射角θを増加させると、距離rがsinθの逆数に従い徐々に減少する。したがって、投射方向が境界5と対応する投射角θMが、距離rの変曲点となる。この変曲点は、上に凸の変曲点である。測距部107は、この上に凸の変曲点を距離rの変化に基づき検出し、検出した変曲点に対応する投射角θMを取得する。
境界5以降、投射角θの増加に伴い距離rが徐々に減少し、投射方向が天井4に対して垂直になる点で天井4に対する距離rが最短(距離r1)になリ、それ以降では距離rが増加する。したがって、この投射方向が距離rの変化の変曲点となる。この変曲点は、上述した投射角θrefにおける変曲点と同様に、下に凸の変曲点である。測距部107は、この下に凸の変曲点を距離rの変化に基づき検出する。壁3と天井4とがなす角度が90°であれば、ここで検出された下に凸の変曲点に対応する投射角θは、90°+θrefとなる。
以上のように、測距部107は、ドラム部10の回転に伴いなされた測距結果に基づき、2の下に凸の変曲点と、1の上に凸の変曲点とを検出し、それぞれに対応する投射角θを取得する。例えば、測距部107は、プロジェクタ装置1の起動時における初期動作として上述の変曲点検出動作を実行し、各変曲点における投射角θを予め取得する。これに限らず、操作部14に対するユーザ操作に従い上述の変曲点検出動作を実行することもできる。
測距部107は、このようにして取得した下に凸の変曲点について、被投射媒体との間の距離を求め、求めた距離のうち、最短の距離rMINを選択する。それと共に、測距部107は、この最短の距離rMINを得た変曲点に対応する投射角θMINを取得する。測距部107は、こうして得られた距離rMINおよび投射角θMINを画像処理部102に渡す。
また、測距部107は、実際の画像データによる画像の投射の際には、例えば、回転制御部104から出力される角度情報に示される角度を、予め取得した投射角θrefを用いて補正して、投射方向を示す投射角θ’として画像処理部102に渡す。
なお、図19を用いて説明したように、投射画像の台形歪の向きは、投射角θ=−90°、0°および90°ならびに、各境界5および7に対応する投射方向の前後で変化する。したがって、画像処理部102は、これらの投射方向の前後で、キーストン補正において基準とする辺を台形形状の上底および下底とで切り替える必要がある。
そこで、測距部107は、投射角θ’と共に、回転制御部104から出力される角度情報に示される角度と、予め取得した各変曲点に対応する投射角θとに基づき、キーストン補正において基準とする辺を示す情報を画像処理部102に渡す。画像処理部102は、投射角θ’と、基準とする辺を示す情報とに基づき、画像データに対してキーストン補正を施す。
また、測距部107は、上述の投射角θ’を、画像制御部103にも渡す。画像制御部103は、この投射角θ’に従い、画像切り出し部100に対して切り出す画像領域を指定する。
<第2の距離測定方法>
次に、第2の距離測定方法について説明する。第2の距離測定方法では、距離センサ60により、被投射媒体上の任意の2点に対する距離をそれぞれ測定する。そして、測定された2点の各距離と、当該2点に対する各投射方向がなす角度とに基づき、投射方向が被投射媒体に対して垂直になる投射角θref0を求める。
図31を用いて、より具体的に説明する。プロジェクタ装置1の設置状態などは、上述した図29と同様とする。先ず、測距部107は、投射方向が壁3に向かう適当な投射角θ1において、距離センサ60の検出信号に基づき距離aを測定する。次に、測距部107は、投射角θ1とは異なる投射角θ2において、距離bを測定する。さらに、測距部107は、投射角θ1と投射角θ2との差分の角度Δθを算出する。
なお、投射角θ1およびθ2とするためのドラム部10の回転は、例えば、ユーザが投射方向を確認しながら操作部14を操作して、指定する。これに限らず、初期動作など所定のタイミングで測距部107が指定してもよい。
測距部107は、取得された距離aおよびbと、角度Δθとを用いて、投射角θ2と投射方向が被投射媒体に対して垂直になる投射角θref0(第1方向)との差分の角度ψを求める。
先ず、投射角θref0における被投射媒体(壁3)までの距離をr0とすると、距離aおよびbについて、下記の式(17)および式(18)が成り立つ。
0=a・cosψ …(17)
0=b・cos(Δθ+ψ) …(18)
a・cosψ=b・cos(Δθ+ψ)とおいて、右辺に対して加法定理を適用し、次式(19)を得て、式(19)を距離aについて解いて式(20)を得る。
a・cosψ=b(cosΔθ・cosψ−sinΔθ・sinψ) …(19)
a=b・cosΔθ−b・sinΔθ・tanψ …(20)
この式(20)から、次式(21)により、角度ψが求められる。そして、式(22)に示すように、距離aを測定した投射角θ2からこの角度ψを減ずることで、投射角θref0が算出される。
ψ=arctan(cotΔθ−(a/b)cscΔθ) …(21)
θref0=θ2−ψ …(22)
測距部107は、さらに、天井4に対しても、同様にして任意の2点で距離cおよびdを測定する。また、距離cおよびdを測定した各投射角θ3およびθ4とから、距離cおよびdを測定した各投射方向の差分の角度Δθ’を取得する。そして、測距部107は、取得された距離cおよびd、ならびに、角度Δθ’を用いて、投射角θ3と、投射方向が被投射媒体に対して垂直になる投射角θref90との差分の角度φを求める。求めた角度φと投射角θ3とを加算することで、投射角θref90(他の第1方向)が算出される。この、投射角θref90の算出方法は、式(17)〜式(22)を用いて説明した方法と同様なので、ここでの説明を省略する。
測距部107は、さらに、壁3と天井4との境界5に対応する投射角ωを求める。図32を用いて、投射角ωを算出する方法について、概略的に説明する。座標系として、プロジェクタ装置1の投射角θ=0°の投射方向をX軸とし、投射角θ=90°の投射方向をY軸とした座標系を用いる場合、投射角ωは、図32における壁3を示す第1の線と、天井4を示す第2の線との交点の座標(α,β)を求めることで、下記の式(23)および(24)に従い算出できる。なお、式(23)および式(24)において、値γは、座標系の原点(ドラム部10の回転中心)から座標(α,β)までの距離を示す。
γ2=α2+β2 …(23)
ω=arccos(α/γ) …(24)
ここでは、第1の線を、投射角θ=0°の投射方向と第1の線の交点の第1の座標と、第1の線に対して垂直な投射角θref0の投射方向と第1の線の交点の第2の座標とに基づき求める。すなわち、第1および第2の座標は、次式(25)および(26)により表される。なお、下記において、投射角θref0を角度σとして表す。
第1の座標=(r0/cosσ,0) …(25)
第2の座標=(r0・cosσ,r0・sinσ) …(26)
第1の線は、一次関数であり、第1の線を通る2点の座標が分かっているので、一次関数の二点標準形に当て嵌めると、第1の線は次式(27)で表される。なお、距離r0は、図31を参照し、例えばr0=a・cosθ1として求められる。
y=−x・cotσ+r0/sinσ …(27)
同様に、第2の線を、投射角θ=90°の投射方向と第2の線の第3の座標と、第2の線に対して垂直な投射角θref90の投射方向と第2の線の交点の第4の座標に基づき求める。すなわち、第3および第4の座標は、次式(28)および(29)により表される。なお、下記において、投射角θref90を角度εとして表す。
第3の座標=(0,r1/cosε) …(28)
第4の座標=(r1・sinε,r1・cosε) …(29)
第2の線は、一次関数であり、第2の線を通る2点の座標が分かっているので、一次関数の二点標準形に当て嵌めると、第2の線は次式(30)で表される。なお、距離r1は、図31を参照し、例えばr1=c・sinθ3として求められる。
y=−x・tanε+r1/cosε …(30)
したがって、上述の式(27)および式(30)から、第1および第2の線の交点の座標(α,β)における値αおよび値βは、次式(31)および(32)として求められる。この式(24)および(25)で求めた値αと値βとを上述の式(23)および(24)に適用して、境界5に対応する投射方向の投射角ωを求める。
α=−(r1・sinσ−r0・cosε)/cos(σ+ε) …(31)
β={cosσ・(r1・sinσ−r0・cosε)}/{sinσ・cos(σ+ε)}+r0/sinσ …(32)
測距部107は、このようにして取得した、被投射媒体に対して垂直な投射方向について被投射媒体までの距離を求め、求めた距離のうち、最短の距離rMINを取得する。それと共に、測距部107は、この最短の距離rMINに対応する投射角θMINを取得する。測距部107は、こうして得られた距離rMINおよび投射角θMINを画像処理部102に渡す。
なお、これら投射角θref0およびθref90と、投射角ωとを用いてキーストン補正において基準とする辺を切り替える方法や、画像切り出し領域の指定方法などは、上述の第1の距離測定方法の場合と同様であるので、ここでの説明を省略する。
1 プロジェクタ装置
2 台座
3 壁
4 天井
6 床
5,7 境界
10 ドラム部
12 投射レンズ
14 操作部
20 基台
30 ドラム
60 距離センサ
100 画像切り出し部
101 メモリ
102 画像処理部
103 画像制御部
104 回転制御部
105 回転機構部
107 測距部
110 光学エンジン部
114 表示素子
120 CPU

Claims (7)

  1. 画像データを光に変換して投射する投射部の投射方向を変更する投射方向変更部と、
    前記投射部が光を投射する被投射媒体までの距離を測定し、該距離が最短となる第1投射方向を取得する投射方向取得部と、
    前記投射部により前記画像データによる画像が各第2投射方向に投射された各投射画像の前記被投射媒体上でのサイズの、前記第1投射方向に投射された投射画像の前記被投射媒体上でのサイズに対する比率を取得する比率取得部と、
    前記投射部により投射する前記画像データに対して、前記比率取得部で取得された前記比率に従い縮小処理を施す画像処理部と
    を有する
    ことを特徴とする投射装置。
  2. 前記比率取得部は、
    前記第2投射方向と、前記第1投射方向での前記被投射媒体までの距離と、前記投射部による画角とに基づき前記比率を取得する
    ことを特徴とする請求項1に記載の投射装置。
  3. 前記画像処理部は、
    前記画像データに対して前記縮小処理を施し、該縮小処理を施した該画像データに対して前記投射方向に従い台形歪補正を施す
    ことを特徴とする請求項1または請求項2に記載の投射装置。
  4. 前記投射方向取得部は、
    前記投射方向変更部により前記投射部の投射方向を変更させながら前記被投射媒体までの距離を測定し、該距離の変化における下に凸の第1変曲点を検出し、検出された該第1変曲点のうち前記距離が最短の第1変曲点に対応する投射方向を前記第1投射方向として取得する
    ことを特徴とする請求項1乃至請求項3の何れか1項に記載の投射装置。
  5. 前記投射方向取得部は、
    前記投射部が投射可能な前記被投射媒体の各面に対し、2の投射方向でそれぞれ距離を測定し、該2の投射方向それぞれの距離と、該2の投射方向がなす角度とに基づき該2の投射方向で距離を測定した前記被投射媒体に垂直な第4投射方向を取得し、前記被投射媒体の該各面それぞれの該第4投射方向のうち最短の第4投射方向を前記第1投射方向として取得する
    ことを特徴とする請求項1乃至請求項3の何れか1項に記載の投射装置。
  6. 前記画像処理部は、
    前記画像データに対して前記投射方向に従い台形歪補正を施し、該台形歪補正を施した該画像データに対して前記縮小処理を施す
    ことを特徴とする請求項1または請求項2に記載の投射装置。
  7. 画像データを光に変換して投射する投射部の投射方向を変更する投射方向変更ステップと、
    前記投射部が光を投射する被投射媒体までの距離を測定し、該距離が最短となる第1投射方向を取得する投射方向取得ステップと、
    前記投射部により前記画像データによる画像が各第2投射方向に投射された各投射画像の前記被投射媒体上でのサイズの、前記第1投射方向に投射された投射画像の前記被投射媒体上でのサイズに対する比率を取得する比率取得ステップと、
    前記投射部により投射する前記画像データに対して、前記比率取得ステップにより取得された前記比率に従い縮小処理を施す画像処理ステップと
    を有する
    ことを特徴とする投射方法。
JP2013026529A 2013-01-28 2013-02-14 投射装置および投射方法 Active JP6146038B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013026529A JP6146038B2 (ja) 2013-02-14 2013-02-14 投射装置および投射方法
CN201480006141.2A CN104956665B (zh) 2013-01-28 2014-01-27 投射装置及图像校正方法
PCT/JP2014/051726 WO2014115884A1 (ja) 2013-01-28 2014-01-27 投射装置、画像補正方法およびプログラム
US14/808,907 US9726965B2 (en) 2013-01-28 2015-07-24 Projection device, image correction method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013026529A JP6146038B2 (ja) 2013-02-14 2013-02-14 投射装置および投射方法

Publications (2)

Publication Number Publication Date
JP2014157174A JP2014157174A (ja) 2014-08-28
JP6146038B2 true JP6146038B2 (ja) 2017-06-14

Family

ID=51578092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013026529A Active JP6146038B2 (ja) 2013-01-28 2013-02-14 投射装置および投射方法

Country Status (1)

Country Link
JP (1) JP6146038B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190045159A1 (en) * 2016-02-19 2019-02-07 Sony Corporation Display device
CN111417899B (zh) * 2017-11-30 2021-10-29 富士胶片株式会社 投影机
CN114449233B (zh) * 2020-10-30 2023-12-01 扬智科技股份有限公司 投影装置与其梯形校正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018501A (ja) * 2001-06-28 2003-01-17 Toshiba Corp 投射型映像表示装置
JP4059031B2 (ja) * 2002-08-09 2008-03-12 セイコーエプソン株式会社 プロジェクタ
JP2005031205A (ja) * 2003-07-08 2005-02-03 Seiko Precision Inc 角度検出装置及びそれを備えたプロジェクタ
WO2010137626A1 (ja) * 2009-05-27 2010-12-02 京セラ株式会社 携帯電子機器

Also Published As

Publication number Publication date
JP2014157174A (ja) 2014-08-28

Similar Documents

Publication Publication Date Title
WO2014115884A1 (ja) 投射装置、画像補正方法およびプログラム
JP5958072B2 (ja) 投射装置および画像補正方法
JP6146025B2 (ja) 投射装置、画像補正方法およびプログラム
US9666109B2 (en) Projector
US8297757B2 (en) Projector and projector control method
US6877864B1 (en) Projector and method of correcting image distortion
US20160191877A1 (en) Projector device and projection method
US9549159B2 (en) Image projection apparatus and image projection method for projecting cut-out image in a predetermined cycle
JP6146038B2 (ja) 投射装置および投射方法
JP5958079B2 (ja) 投射装置、画像補正方法およびプログラム
JP6146028B2 (ja) 投射装置および投射方法
JP6846618B2 (ja) 投影システム及びキャリブレーション装置
JP5849832B2 (ja) 投射装置
WO2022183721A1 (zh) 投影校正方法、装置及投影系统
WO2022062604A1 (zh) 投影画面调节方法、装置、投影仪和存储介质
JP5874529B2 (ja) 画像投射装置および画像投射方法
JP5958069B2 (ja) 画像投射装置および画像投射方法
US20210065656A1 (en) Control method, detection device, and display device
US11457186B2 (en) Method of controlling projector and projector
JP5012590B2 (ja) 画像処理装置、プロジェクタおよび画像処理方法
JP2016191755A (ja) 画像投射装置
JP2006217371A (ja) 投写システムおよび投写調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170501

R150 Certificate of patent or registration of utility model

Ref document number: 6146038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150