JP6624799B2 - 投影システム、プロジェクター装置、および、プログラム - Google Patents

投影システム、プロジェクター装置、および、プログラム Download PDF

Info

Publication number
JP6624799B2
JP6624799B2 JP2015068987A JP2015068987A JP6624799B2 JP 6624799 B2 JP6624799 B2 JP 6624799B2 JP 2015068987 A JP2015068987 A JP 2015068987A JP 2015068987 A JP2015068987 A JP 2015068987A JP 6624799 B2 JP6624799 B2 JP 6624799B2
Authority
JP
Japan
Prior art keywords
image
projection
plane
point
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015068987A
Other languages
English (en)
Other versions
JP2016189560A (ja
Inventor
基康 田中
基康 田中
雄基 原口
雄基 原口
史也 新宮
史也 新宮
川井 英次
英次 川井
一弘 細井
一弘 細井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
MegaChips Corp
Original Assignee
Nintendo Co Ltd
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd, MegaChips Corp filed Critical Nintendo Co Ltd
Priority to JP2015068987A priority Critical patent/JP6624799B2/ja
Priority to EP16772050.7A priority patent/EP3280136B1/en
Priority to PCT/JP2016/056253 priority patent/WO2016158166A1/ja
Publication of JP2016189560A publication Critical patent/JP2016189560A/ja
Priority to US15/719,329 priority patent/US9928580B2/en
Application granted granted Critical
Publication of JP6624799B2 publication Critical patent/JP6624799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、投影型プロジェクター装置で投影される画像(映像)を適切に表示するための技術に関する。
投影型プロジェクター装置で投影される画像(映像)を、ユーザー視点から見たときに生ずる幾何学的な歪みを補正する多様な技術が開発されている。
例えば、特許文献1には、スクリーン自体の歪みによる映像の歪みを補正することが可能な映像投影装置の開示がある。この映像投影装置では、プロジェクターからスクリーンにテスト画像を投影し、投影されたテスト画像をカメラ付き携帯電話によって撮像し、カメラ付き携帯電話によって撮像された画像に基づいて、幾何補正を実行する。これにより、この映像投影装置では、スクリーン自体の歪みによる映像の歪み(幾何学的な歪み)を補正することができる。
特開2006−33357号公報
しかしながら、上記の従来技術では、カメラ付き携帯電話によって撮像された画像に基づいて、幾何補正を実行するため、カメラ付き携帯電話のような撮影機能を有する機器が別途必要になる。このような撮影機能を有する機器を用いずに、投影型プロジェクター装置によりスクリーンに投影された画像の幾何補正を行う場合、例えば、ユーザーに、スクリーンに投影した長方形のパターンの4つの頂点を移動させ、幾何的な歪みのない長方形のパターンが投影されるように、投影型プロジェクター装置の投影状態を調整させることが考えられる。すなわち、ユーザーに4点幾何補正を実行させることが考えられる。このような4点幾何補正は、一般ユーザーには、操作が難しく、完全に幾何的な歪みのない状態の投影が実現されるように、投影型プロジェクター装置を調整することは困難である。
一般に、投影型プロジェクター装置が投影対象とするのは、垂直に設置された平面スクリーンであることが多い。このため、完全に幾何的な歪みのない状態の投影が実現されなくても、ユーザーにとって、投影された画像の幾何的な歪みが気にならない程度の投影状態に、投影型プロジェクター装置を調整することは十分可能である。これは、ユーザーが、垂直に設置されている平面スクリーンに投影されていることを正しく認識でき、上下方向を正しく認識することが容易であるため、垂直面である平面スクリーンに投影されている画像に、多少の幾何的な歪みが存在していても違和感を抱かないためである。
ところが、投影対象(投影面)を、例えば、床と平行に設置されている天井(以下、これを「水平天井」という。)として、水平天井に投影型プロジェクター装置から画像を投影した場合、投影面を垂直平面としたときには許容されるレベルの幾何的な歪みをさらに低減させる必要がある。これは、投影面を水平天井とする場合、ユーザーが、投影される画像の上下方向を感覚的に認識することが容易ではないため、垂直平面に投影された画像において違和感を発生させなかったレベルの幾何的な歪みが、水平平面に投影された画像においては、ユーザーに違和感を抱かせるためである。
そこで、本発明は、撮影機能を有する機器を用いることなく、水平投影面(例えば、水平天井)やユーザーの両眼を結ぶ直線と平行な平面(例えば、前方傾斜平面や後方傾斜平面)に投影された画像の幾何的な歪みを、容易かつ適切に、低減させる投影システム、プロジェクター装置、および、プログラムを実現することを目的とする。
上記課題を解決するために、第1の発明は、左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、投影部と、3次元形状測定部と、コントローラと、投影画像調整部と、を備える。
投影部は、投影面に画像を投影する投影部であって、テスト画像を投影する。
3次元形状測定部は、投影面の3次元形状を測定する。
コントローラは、ユーザーの操作に基づく制御信号を生成する。
(1)投影画像調整部は、3次元形状測定部により計測された3次元形状データに基づいて、投影部の投影軸と投影面との交点である投影中心点を通り、投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、テスト画像に対して画像変換処理である補正処理を実行する。
(2)投影画像調整部は、制御信号に従い回転角度を決定し、第1点から投影面を見たときに、補正処理後のテスト画像の投影部による投影面への投影画像が投影中心点を中心として、制御信号に従い決定された回転角度だけ回転した画像となるように、補正処理後のテスト画像に対して画像変換処理である回転処理を実行する。
この投影システムでは、表示したときの上部が分かるテスト画像を、左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面(例えば、水平天井平面等の水平投影面)に投影し、例えば、ユーザーがコントローラにより、テスト画像の変化する状態を確認しながら、投影面内で投影画像を回転させる処理を実行させることで、投影面に投影されている画像の幾何的な歪みをなくす(低減させる)ことができる。
したがって、この投影システムでは、撮影機能を有する機器を用いることなく、左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面(例えば、水平天井平面等の水平投影面)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
なお、「左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面」とは、例えば、床と水平な平面を投影面や、前方傾斜平面や、後方傾斜平面である。「左眼視点と右眼視点とを結ぶ直線」とは、例えば、ユーザーが床に対して直立しているときの当該床と平行な直線である。
「前方傾斜平面」とは、床と水平な直線(あるいは、ユーザーの左眼視点と右眼視点とを通る直線と平行な直線)となる軸を回転軸として、床と水平な平面を回転させた平面であって、ユーザーから見て、左右のどちらにも傾いておらず、かつ、前方向(ユーザから見たときに手前となる方向)に傾斜している平面のことをいう。
「後方傾斜平面」とは、床と水平な直線(あるいは、ユーザーの左眼視点と右眼視点とを通る直線と平行な直線)となる軸を回転軸として、床と水平な平面を回転させた平面であって、ユーザーから見て、左右のどちらにも傾いておらず、かつ、後ろ方向(ユーザから見たときに奥となる方向)に傾斜している平面のことをいう。
「投影面の3次元形状」の測定とは、例えば、(1)投影面の法線を求め、投影部と投影面との位置関係を明確にする測定、あるいは、(2)投影部の投影軸(投影部の光学系の光軸)と投影面との角度を求め、投影部と投影面との位置関係を明確にする測定を含む概念である。
「幾何学的な画像歪みが低減された状態」とは、例えば、投影部と投影面との位置関係(投影軸と投影面の角度)により生じた投影画像の幾何学的な画像ひずみが低減され、元画像(原画像)の形状が維持された状態のことをいう。
また、「補正処理後のテスト画像の投影部による投影面への投影画像が投影中心点を中心として、制御信号に従い決定された回転角度だけ回転した画像となるように、補正処理後のテスト画像に対して」実行される「画像変換処理」とは、例えば、以下の処理により実現されてもよい。
すなわち、3次元空間をxyz座標で定義される空間とし、投影中心点を原点(x,y,z)=(0,0,0)として、投影面をxy平面上に設定し、補正処理後のテスト画像の画素Pxの座標を(x1,y1,z1)とし、画素Pxの画像変換処理後の座標を(x1’,y1’、z1’)とすると、下記(数式1)に相当する処理を行うことで、上記「画像変換処理」が実行されるものであってもよい。これにより、画素Pxは、座標(x1,y1,z1)から座標(x1’,y1’、z1’)へ移動され、上記の「補正処理後のテスト画像」を、z軸周りに角度θだけ回転させた画像を取得することができる。
Figure 0006624799

第2の発明は、第1の発明であって、テスト画像は、表示画面に表示されている状態において、画像上の縦方向に延びる縦基準線を含む画像である。
投影画像調整部は、制御信号に従い歪み低減量を決定し、投影面に投影された投影画像の縦基準線を含む平面であって、投影面と垂直な平面内に含まれる点から投影面を見たときに、歪み低減量に相当する分だけ、縦基準線上の1つの点である第1直交点を通り、縦基準線と直交する方向の投影画像の長さである第1距離と、縦基準線上の第1直交点以外の点である第2直交点を通り、縦基準線と直交する方向の投影画像の長さである第2距離との差が小さくなるように(縦基準線と直交する方向に発生している幾何的な歪みが低減されるように(例えば、縦基準線と直交する投影画像の一方の辺の長さと、縦基準線と直交する投影画像の他方の辺の長さとの差が小さくなるように))、回転処理後のテスト画像に対して画像変換処理である台形補正処理を実行する。
この投影システムでは、表示したときの上部が分かるテスト画像を左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面(例えば、水平天井平面等の水平投影面)に投影し、例えば、ユーザーがコントローラにより、(1)投影面内で投影画像を回転させる処理を実行させた後、(2)投影面に投影されている画像の台形補正処理を実行させることで、投影面に投影されている画像の幾何的な歪みをなくす(低減させる)ことができる。
したがって、この投影システムでは、撮影機能を有する機器を用いることなく、左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面(例えば、水平天井平面等の水平投影面)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
なお、「縦基準線と直交する方向に発生している幾何的な歪みが低減される」とは、例えば、投影画像の上方(画像を表示させたときの垂直方向の上方)において、縦基準線と直交する方向の投影画像の長さ(投影画像の幅)と、投影画像の下方(画像を表示させたときの垂直方向の下方)において、縦基準線と直交する方向の投影画像の長さ(投影画像の幅)との差が小さくなる、という概念を含む。
第3の発明は、第2の発明であって、投影画像調整部は、回転処理および台形補正処理の少なくとも一方の処理が実行されたテスト画像を投影面に投影したときの画像の投影状態を調整するための微調整部を備える。
この投影システムでは、微調整部により、上記調整処理を実行するので、例えば、3次元形状測定処理の誤差を修正し、さらに精度の高い画像投影処理(画像の幾何的な歪みの低減処理)を実行することができる。
第4の発明は、第2または第3の発明であって、テスト画像は、表示画面に表示されている状態において、画像上の上部を判別することができるパターンを含む画像である。
これにより、上部を容易に判別することができるテスト画像を用いて、投影システムでの処理を実行することができる。
第5の発明は、第2から第4のいずれかの発明であって、テスト画像は、複数の正方形の格子パターンからなる格子状パターンを含む画像である。
この投影システムでは、このテスト画像(正方形の格子からなる格子状画像)を投影し、投影されたテスト画像の幾何学的な歪みがなくなるように、例えば、コントローラにより、調整処理(画像の幾何的な歪みを低減させるための調整処理)を実行させることができる。このため、この投影システムでは、このテスト画像を用いることで、感覚的に分かりやすい処理により、容易に調整処理(画像の幾何的な歪みを低減させるための調整処理)を実行させることができる。
第6の発明は、第5の発明であって、テスト画像は、第1の模様を有する第1格子パターンと、第2の模様を有する第2格子パターンとが、幾何学的な歪みがない状態において、テスト画像上の第1方向、および、テスト画像上において第1方向と直交する第2方向において、交互に配置されることで形成される格子状パターンを含む画像である。
この投影システムでは、このテスト画像を投影し、投影されたテスト画像の幾何学的な歪みがなくなるように、例えば、コントローラにより、調整処理(画像の幾何的な歪みを低減させるための調整処理)を実行させることができる。このため、この投影システムでは、このテスト画像を用いることで、感覚的に分かりやすい処理により、容易に調整処理(画像の幾何的な歪みを低減させるための調整処理)を実行させることができる。
第7の発明は、第1から第5のいずれかの発明である投影システムに用いられるプロジェクター装置であって、投影部と、投影画像調整部とを備える。
これにより、第1から第6のいずれかの発明である投影システムに用いられるプロジェクター装置を実現することができる。
第8の発明は、左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法をコンピュータに実行させるためのプログラムである。
投影方法は、投影ステップと、3次元形状測定ステップと、ユーザーの操作に基づく制御信号を生成するステップと、投影画像調整ステップと、を備える。
投影ステップは、投影面にテスト画像を投影する。
3次元形状測定ステップは、投影面の3次元形状を測定する。
(1)投影画像調整ステップは、3次元形状測定ステップにより計測された3次元形状データに基づいて、投影ステップにおける投影軸と投影面との交点である投影中心点を通り、投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、テスト画像に対して画像変換処理である補正処理を実行する。
(2)投影画像調整ステップは、制御信号に従い回転角度を決定し、第1点から投影面を見たときに、補正処理後のテスト画像の投影ステップによる投影面への投影画像が投影中心点を中心として、制御信号に従い決定した回転角度だけ回転した画像となるように、補正処理後のテスト画像に対して画像変換処理である回転処理を実行する。
これにより、第1の発明と同様の効果を奏する投影方法をコンピュータに実行させるためのプログラムを実現することができる。
第9の発明は、第8の発明であって、テスト画像は、表示画面に表示されている状態において、画像上の縦方向に延びる縦基準線を含む画像である。
投影画像調整ステップは、制御信号に従い歪み低減量を決定し、投影面に投影された投影画像の縦基準線を含む平面であって、投影面と垂直な平面内に含まれる点から投影面を見たときに、制御信号に従い決定した歪み低減量に相当する分だけ、縦基準線と直交する方向に発生している幾何的な歪みが低減されるように、回転処理後の前記テスト画像に対して画像変換処理である台形補正処理を実行する。
これにより、第2の発明と同様の効果を奏する投影方法をコンピュータに実行させるためのプログラムを実現することができる。
本発明によれば、撮影機能を有する機器を用いることなく、水平投影面(例えば、水平天井)やユーザーの両眼を結ぶ直線と平行な平面(例えば、前方傾斜平面や後方傾斜平面)に投影された画像の幾何的な歪みを、容易かつ適切に、低減させる投影システム、プロジェクター装置、および、プログラムを実現することができる。
第1実施形態に係る投影システム1000の概略構成図。 第1実施形態に係る投影システム1000のプロジェクター装置100の投影画像調整部1の概略構成図。 投影対象である天井CL(水平天井CL)を含む3次元空間を模式的に示した図。 テスト画像Img1の一例を示す図。 状態1における水平天井平面CLと、床FLと、ユーザーUsrの視点Vpと、点Pcと、点P1とを、x軸正方向からx軸負方向に向かって見た図(yz平面図)。 状態1における3次元空間を模式的に示した図。 状態2における3次元空間を模式的に示した図。 台形補正処理を説明するための図。 台形補正処理を説明するための図。 台形補正処理を説明するための図。 台形補正処理を説明するための図。 台形補正処理を説明するための図。 台形補正処理を説明するための図。 状態3における3次元空間を模式的に示した図。 第1実施形態の第1変形例に係る投影システム1000Aの概略構成図。 第1実施形態の第1変形例に係る投影画像調整部1Aの概略構成図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:投影システムの構成>
図1は、第1実施形態に係る投影システム1000の概略構成図である。
図2は、第1実施形態に係る投影システム1000のプロジェクター装置100の投影画像調整部1の概略構成図である。
投影システム1000は、図1に示すように、プロジェクター装置100と、コントローラ200とを備える。
プロジェクター装置100は、図1に示すように、投影画像調整部1と、テスト画像記憶部2と、投影部3と、3次元形状測定部4と、3次元形状データ記憶部5と、第1インターフェース6とを備える。
投影画像調整部1は、図2に示すように、第1セレクタ11と、補正部12と、切替器13と、回転処理部14と、第2セレクタ15と、台形補正処理部16と、第3セレクタ17と、第4セレクタ18と、を備える。
第1セレクタ11は、プロジェクター装置100に入力される画像Din(画像信号Din)と、テスト画像記憶部2から出力されるテスト画像Img1と、選択信号sel1と、を入力する。第1セレクタ11は、選択信号sel1に従い、画像Dinおよびテスト画像Img1のいずれか一方を選択し、選択した画像(画像信号)を画像D1(画像信号D1)として補正部12に出力する。なお、選択信号selは、プロジェクター装置100の各機能部を制御する制御部(不図示)により生成される制御信号である。
補正部12は、第1セレクタ11から出力される画像D1と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、を入力する。補正部12は、3次元形状データ3D_dataと、投影点についての情報P_prjとに基づいて、画像D1に対して補正処理を実行する。そして、補正部12は、補正処理後の画像を画像D2(画像信号D2)として、第2セレクタ15と、回転処理部14とに出力する。
切替器13は、第1インターフェース6から出力される信号Sig1と、選択信号sel2とを入力する。切替器13は、選択信号sel2に従い、信号Sig1を、回転処理部14または台形補正処理部16に出力する。なお、選択信号sel2は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
回転処理部14は、補正部12から出力される画像D2と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、切替器13から出力される信号Sig1とを入力する。回転処理部14は、信号Sig1が入力されている場合、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、画像D2に対して回転処理を実行する。そして、回転処理部14は、処理後の画像を、画像D21(画像信号D21)として、第2セレクタ15に出力する。
第2セレクタ15は、補正部12から出力される画像D2と、回転処理部14から出力される画像D21と、選択信号sel3とを入力する。第2セレクタ15は、選択信号sel3に従い、画像D2および画像D21のいずれか一方を選択し、選択した画像を、画像D3(画像信号D3)として、台形補正処理部16と、第3セレクタ17とに出力する。なお、選択信号sel3は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
台形補正処理部16は、第2セレクタ15から出力される画像D3と、3次元形状データ記憶部5から出力される3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjと、切替器13から出力される信号Sig1とを入力する。台形補正処理部16は、信号Sig1が入力されている場合、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、画像D3に対して台形補正処理を実行する。そして、台形補正処理部16は、処理後の画像を、画像D31(画像信号D31)として、第3セレクタ17に出力する。
第3セレクタ17は、第2セレクタ15から出力される画像D3と、台形補正処理部16から出力される画像D31と、選択信号sel4とを入力する。第3セレクタ17は、選択信号sel4に従い、画像D3および画像D31のいずれか一方を選択し、選択した画像を、画像D4(画像信号D4)として、第4セレクタ18に出力する。なお、選択信号sel4は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
第4セレクタ18は、第3セレクタ17から出力される画像D4と、テスト画像記憶部2から出力されるテスト画像Img0と、選択信号sel5とを入力する。第4セレクタ18は、選択信号sel5に従い、画像D4およびテスト画像Img0のいずれか一方を選択し、選択した画像を、画像Dout(画像信号Dout)として、投影部3に出力する。なお、選択信号sel5は、プロジェクター装置100の各機能部を制御する制御部により生成される制御信号である。
テスト画像記憶部2は、テスト画像を記憶しており、投影画像調整部1から要求に従い、所定のタイミングで、テスト画像を、投影画像調整部1に出力する。
投影部3は、画像を投影するための光学系を有している。投影部3は、投影画像調整部1の第4セレクタ18から出力される画像Dout(画像信号Dout)を入力し、入力した画像Dout(画像信号Dout)を、3次元空間の投影対象に投影する。
3次元形状測定部4は、3次元空間の投影対象の3次元計測データを取得し、取得した投影対象の3次元計測データを3次元形状データ記憶部5に出力する。3次元形状測定部4は、例えば、カメラを有しており、投影部3から投影される3次元形状測定用のテスト画像を撮像し、3次元形状測定用のテスト画像の撮像画像に基づいて、投影対象の3次元計測データを取得する。
3次元形状測定部4は、例えば、(1)投影面の法線を求め、投影部3と投影面との位置関係を明確にする、あるいは、(2)投影部3の投影軸(投影部3の光学系の光軸)と投影面との角度を求め、投影部3と投影面との位置関係を明確にすることで、投影対象(投影面)の3次元計測データを取得する。
また、3次元形状測定部4は、TOF(Time Of Flight)方式(例えば、TOF方式の位相差法)により距離画像を取得することで、投影対象の3次元計測データを取得するものであってもよい。この場合、3次元形状測定部4は、例えば、赤外線を照射する光源と、赤外線用のイメージセンサーとを有しており、光源から照射した赤外線の反射光を、イメージセンサーで受光し、照射した赤外線が投影対象から反射されて戻ってくるまでの時間を測定することで、距離画像を取得する。そして、3次元形状測定部4は、取得した距離画像により、投影対象の3次元計測データを取得する。
また、3次元形状測定部4は、レーザー光源とレーザー用のセンサーを有し、レーザー光の飛行時間から、投影対象の距離を測定することで、投影対象の3次元計測データを取得するものであってもよい。この場合、3次元形状測定部4は、レーザー光を投影対象に照射方向を順次変更しながら(投影対象をレーザー光でスキャンしながら)照射し、レーザー光が投影対象に反射し、戻ってくるまでの時間を測定することで、投影対象の距離を測定し、投影対象の3次元計測データを取得する。
3次元形状データ記憶部5は、3次元形状測定部4により取得された投影対象の3次元計測データを入力とし、入力された投影対象の3次元計測データを記憶する。3次元形状データ記憶部5は、補正部12、回転処理部14、台形補正処理部16からの要求に従い、3次元計測データを、補正部12、回転処理部14、台形補正処理部16に出力する。
第1インターフェース6は、プロジェクター装置100と、コントローラ200とのインターフェースである。第1インターフェース6を介して、例えば、コントローラ200から出力される信号を、プロジェクター装置100に入力することができる。
コントローラ200は、図1に示すように、第2インターフェース21と、制御部22と、ユーザーインターフェース23とを備える。
第2インターフェース21は、コントローラ200と、プロジェクター装置100とのインターフェースである。
制御部22は、コントローラ200の各機能部を制御する制御部である。
ユーザーインターフェース23は、ユーザーの操作に応じた信号を発生させる。ユーザーインターフェース23は、例えば、コントローラに設けられた所定のボタンを、ユーザーが押下した場合、当該ボタンが押下されたことを示す信号を発生させる。
<1.2:投影システムの動作>
以上のように構成された投影システム1000の動作について、以下、説明する。
以下では、投影システム1000で実行される処理として、(1)3次元形状測定処理、(2)補正処理、(3)回転処理、および、(4)台形補正処理に分けて説明する。
なお、説明便宜のため、投影対象を図3に示す3次元空間として、投影システム1000の動作について説明する。
図3は、3次元空間を模式的に示した図であり、投影対象である天井CL(水平天井CL)と、プロジェクター装置100と、床FL上のユーザーUsrとを示している。図3に示す3次元空間において、天井CL(水平天井CL)は、平面であり、平面である床FLと平行である。また、図3において、プロジェクター装置100の投影部3の投影点を点P_prjとして示しており、プロジェクター装置100の3次元形状測定部4の測定点を点P_msrとして示している。また、図3において、投影部3の光学系の光軸(投影軸)Ax1と、水平天井(平面)CLとの交点を点Pcとし、ユーザーの視点位置(ユーザーの両眼の中心点)を点Vpとして示している。また、図3において、点Pcを通り、水平天井平面CLの法線Nm1と、床平面FLと平行な平面であって、点Vpを含む平面との交点を点P1として示している。
また、図3において、ユーザーUsrの左眼の位置と点Pcとの距離と、ユーザーUsrの右眼の位置と点Pcとの距離とは、等しいものする。
なお、図3において、図3中に示すように、x軸、y軸、z軸をとるものとする。
(1.2.1:3次元形状測定処理)
まず、3次元形状測定処理について、説明する。
以下では、投影システム1000において、3次元形状測定部4は、カメラを有しており、投影部3から投影される3次元形状測定用のテスト画像を撮像し、3次元形状測定用のテスト画像の撮像画像に基づいて、投影対象の3次元計測データを取得する場合について、説明する。
テスト画像記憶部2から、3次元形状測定用のテスト画像Img0が、投影画像調整部1の第4セレクタ18に出力される。制御部は、第4セレクタ18の、図2に示す端子0を選択する選択信号sel5を生成し、第4セレクタ18に出力する。これにより、第4セレクタ18から、3次元形状測定用のテスト画像Img0が、画像信号Doutとして、投影部3に出力される。
投影部3は、3次元形状測定用のテスト画像Img0を、(A)投影軸(投影部3の光学系の光軸)を、図3に示す軸Ax1とし、(B)画角を図3に示す角度αとし、(C)投影点を、図3に示す点P_prjとして、投影対象である水平天井平面CLに対して、投影する。
3次元形状測定部4は、撮像点が点P_msrである、3次元形状測定用のカメラにより、投影部3により投影されている3次元形状測定用のテスト画像Img0を撮像する。そして、3次元形状測定部4は、撮像した画像を、3次元形状測定用のテスト画像Img0と比較することで、投影対象の3次元計測データを取得する。
投影システム1000において、投影点P_prjの3次元空間の座標が既知であり、3次元形状測定部4の撮像点P_msrの3次元空間の座標が既知であり、投影する3次元形状測定用のテスト画像Img0が既知であるので、撮像点P_msrで撮像した画像から、投影対象の3次元空間の座標を算出することができる。つまり、3次元形状測定用のテスト画像Img0の各画素が、撮像点P_msrで撮像した画像のどの画素に対応するか調べることで、各画素に相当する3次元空間位置(各画素に相当する光が反射した3次元空間位置)を特定することができる。したがって、各画素に対応する3次元空間位置を特定することで、投影対象の3次元空間の座標を算出することができる。
なお、3次元形状測定用のテスト画像Img0を、例えば、所定の周期の正弦波信号により形成される画像としてもよい。この場合、例えば、正弦波信号の周期や位相を所定のタイミングで変更した複数の画像を、投影部3から投影対象に投影し、投影された複数の画像により、3次元形状測定部4が、投影対象の3次元形状データを取得するようにしてもよい。
上記処理により、3次元形状測定部4が取得した投影対象の3次元形状データは、3次元形状測定部4から、3次元形状データ記憶部5に出力され、3次元形状データ記憶部5に記憶される。
(1.2.2:補正処理)
次に、補正処理について、説明する。
テスト画像記憶部2から、テスト画像Img1が、第1セレクタ11に出力される。そして、制御部は、第1セレクタ11の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタ11に出力する。これにより、第1セレクタ11から、テスト画像Img1が、画像信号D1として、補正部12に出力される。
図4に、テスト画像Img1の一例を示す。図4に示すように、テスト画像Img1は、白地の正方形のパターンである第1格子パターンと、黒地の正方形のパターンである第2格子パターンとが、画像上の水平方向、および、画像上の垂直方向において、交互に配置されることで形成される格子状パターンを有している。また、テスト画像Img1は、図4に示すように、画像の中央に中心線L1vを有し、画像Img1の中心点に円C1を有し、画像Img1の上部に水平方向(横方向)に引かれた線L1hを有するパターンの画像である。
図4に示すテスト画像Img1は、線L1vと線L1hとの交点が存在する部分が画像の上部である。投影システム1000では、テスト画像Img1の画像の上側をユーザーに認識させる必要があるため、投影システム1000に用いるテスト画像は、図4に示すテスト画像Img1のように、画像の上部を認識しやすい画像とすることが好ましい。なお、図4に示すテスト画像Img1は、一例であり、画像の上部を認識できる画像であれば、他の画像であってもよい。
例えば、テスト画像は、白地の正方形のパターンである第1格子パターンと、黒地の正方形のパターンである第2格子パターンとが、画像上の水平方向、および、画像上の垂直方向において、交互に配置されることで形成される格子状パターンを、画像領域全面に有しており、画像の上部を示す特定のパターンが、テストパターン画像の所定の場所に重畳された画像であってもよい。
説明便宜のため、以下では、テスト画像として、図4に示すテスト画像Img1を用いる場合について説明する。
補正部12は、3次元形状データ記憶部5から3次元形状データ3D_dataを読み出し、投影対象である水平天井平面CLの3次元座標データを取得する。そして、補正部12は、点P1、すなわち、投影軸Ax1と天井平面CLとの交点Pcの真下の点P1から見た場合に、幾何的な歪みのない状態の画像となるように、画像D1に対して補正処理を行う。そして、補正部12は、補正処理後の画像を画像D2として第2セレクタ15に出力する。
制御部は、第2セレクタ15の、図2に示す端子0を選択する選択信号sel3を生成し、第2セレクタ15に出力する。これにより、第2セレクタ15から、画像D2が、画像D3として、第3セレクタ17に出力される。
制御部は、第3セレクタ17の、図2に示す端子0を選択する選択信号sel4を生成し、第3セレクタ17に出力する。これにより、第3セレクタ17から、画像D3が、画像D4として、第4セレクタ18に出力される。
制御部は、第4セレクタ18の、図2に示す端子1を選択する選択信号sel5を生成し、第4セレクタ18に出力する。これにより、第4セレクタ18から、画像D4が、画像Doutとして、投影部3に出力される。
投影部3は、第4セレクタ18からの画像Doutを、図3に示す投影軸Ax1により、水平天井平面CLに投影する。なお、この状態を「状態1」とする。
図5は、状態1における水平天井平面CLと、床FLと、ユーザーUsrの視点Vpと、投影部3の光学系の光軸(投影軸)Ax1と水平天井(平面)CLとの交点Pcと、点Pcを通り、水平天井平面CLの法線Nm1と、床平面FLと平行な平面であって、点Vpを含む平面との交点P1とを、x軸正方向からx軸負方向に向かって見た図(yz平面図)である。なお、図5において、L1は、床FLと平行な平面であって視点Vpを含む平面を示している。
また、図3において、状態1における視点Vpから見たテスト画像Img1を、画像Img1(Vp)として示している。さらに、図3において、点P1(点Pcの真下の点)から見たテスト画像Img1を、画像Img1(P1)として示している。
図3から分かるように、状態1において、ユーザーUsrの視点Vpから見た画像Img1(Vp)は、幾何的な歪みが発生しているが、点P1(点Pcの真下の点)から見たテスト画像Img1(P1)は、幾何的な歪みが発生していない。
投影システム1000において、上記のようにして補正処理が実行された後、回転処理が実行される。
(1.2.3:回転処理)
次に、回転処理について、説明する。
図6は、状態1における3次元空間を模式的に示した図であり、回転処理を説明するための図である。
図6に示した状態1において、ユーザーは、コントローラ200を操作することで、水平天井平面CLに投影されている画像Img1を、点Pcを中心として、図6に矢印Dir1で示す方向に回転させ、画像Img1の中心線L1vが、ユーザーの視点Vpから見て垂直な直線に見えるようにする。つまり、画像Img1の中心線L1vが、点Pc、点P1、および、視点Vpを含む平面内となるように、ユーザーは、コントローラ200を操作し、水平天井平面CLに投影されている画像Img1を、点Pcを中心として、図6に矢印Dir1で示す方向に回転させる。なお、ユーザーは、画像Img1の画像の上部(画像Img1の線L1vと線L1hとが交差している部分)が、ユーザーから見たときに上部となるように、画像Img1を回転させる。
この回転処理について、具体的に説明する。
状態1と同様に、テスト画像記憶部2から、テスト画像Img1が、第1セレクタ11に出力される。そして、制御部は、第1セレクタ11の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタ11に出力する。これにより、第1セレクタ11から、テスト画像Img1が、画像信号D1として、補正部12に出力される。
補正部12は、画像D1に対して、状態1で実行した処理と同じ補正処理を実行する。そして、補正部12は、補正処理後の画像を画像D2として回転処理部14に出力する。
ユーザーは、コントローラ200を操作し、プロジェクター装置100に回転処理を実行させる。例えば、コントローラ200は、回転処理を行うためのボタンを2つ有しており、第1ボタン(一方のボタン)を1回押下することで、テスト画像Img1を、図6の方向Dir1の左方向に所定の角度だけ回転させる処理を実行し、第2ボタン(他方のボタン)を1回押下することで、テスト画像Img1が、図6の方向Dir1の右方向に所定の角度だけ回転させる処理を実行することができる。
ここでは、第1ボタンが押下された場合について説明する。
コントローラ200の第1ボタンが1回押下されると、ユーザーインターフェース23は、第1ボタンが1回押下されたこと示す信号を発生させる。コントローラ200の制御部22は、ユーザーインターフェース23が発生させた信号に基づいて、第1ボタンが1回押下されたこと示す信号を、第2インターフェース21を介して、プロジェクター装置100の第1インターフェースに送信する。
なお、コントローラ200は、ユーザーが手に持って操作できるものであり、コントローラ200とプロジェクター装置100とは、例えば、無線通信により、信号の送受信を行う。
例えば、ユーザーは、図6に示す状態において、コントローラ200を手に持って、水平天井平面CLに投影されている画像Img1を見ながら、コントローラ200を操作し、水平天井平面CLに投影されている画像Img1を回転させる。
プロジェクター装置100の第1インターフェース6は、コントローラ200の第2インターフェース21から送信された信号を受信し、受信した信号を信号Sig1として切替器13に出力する。
切替器13は、制御部により生成された選択信号sel2に基づいて、図2に示す端子1を選択し、信号Sig1を回転処理部14に出力する。
回転処理部14は、信号Sig1と、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、補正部12から出力される画像D2に対して回転処理を実行する。
具体的には、回転処理部14は、点P1から水平天井平面CLを見たときに、点Pcを中心として、画像Img1が、図6に示す矢印Dir1の左方向に、信号Sig1により決定される所定の角度だけ回転した画像となるように、画像D2に対して変換処理(回転処理)を行う。そして、回転処理部14は、処理後の画像を、画像D21(画像信号D21)として、第2セレクタ15に出力する。
第2セレクタ15は、制御部により生成された選択信号sel3に基づいて、図2に示す端子1を選択し、画像D21を画像D3として、第3セレクタ17に出力する。
第3セレクタ17は、制御部により生成された選択信号sel4に基づいて、図2に示す端子0を選択し、画像D3(=画像D21)を、画像D4として、第4セレクタ18に出力する。
第4セレクタ18は、制御部により生成された選択信号sel5に基づいて、図2に示す端子1を選択し、画像D4(=画像D21)を、画像Doutとして、投影部3に出力する。
投影部3は、第4セレクタ18からの画像Dout(=画像D21)を、図3に示す投影軸Ax1により、水平天井平面CLに投影する。これにより、点P1から水平天井平面CLを見たときに、画像Img1は、点Pcを中心として、所定の角度だけ方向Dir1に回転した画像となる。
上記操作を繰り返すことで、画像Img1の中心線L1vが、ユーザーの視点Vpから見て垂直な直線に見えるようにする。この状態、つまり、画像Img1の中心線L1vが、点Pc、点P1、および、視点Vpを含む平面内となった状態を「状態2」とする。
図7は、状態2における3次元空間を模式的に示した図である。図7では、状態2において、ユーザの視点Vpから見たテスト画像Img1を画像Img1(Vp)として示している。また、図7では、状態2において、点P1から見たテスト画像Img1を画像Img1(P1)として示している。
図7から分かるように、状態2において、ユーザーの視点Vpからテスト画像Img1を見ると台形の画像に見える(画像Img1(Vp1))。
投影システム1000において、上記のようにして回転処理を実行し、投影システム1000の投影状態を状態2の状態にした後、台形補正処理が実行される。
(1.2.4:台形補正処理)
次に、台形補正処理について、説明する。
図8は、台形補正処理を説明するための図である。図8は、状態2における水平天井平面CLと、床FLと、ユーザーUsrの視点Vpと、投影部3の光学系の光軸(投影軸)Ax1と水平天井(平面)CLとの交点Pcと、点Pcを通り、水平天井平面CLの法線Nm1と、床平面FLと平行な平面であって、点Vpを含む平面との交点P1とを、x軸正方向からx軸負方向に向かって見た図(yz平面図)である。なお、図8において、L1は、床FLと平行な平面であって視点Vpを含む平面を示している。
図9〜図13は、台形補正処理を説明するための図である。図9〜図13は、図8と同様に、水平天井平面CLと、床FLと、ユーザーUsrの視点Vpと、点Pcと、交点P1とを、x軸正方向からx軸負方向に向かって見た図(yz平面図)である。
図14は、状態3における3次元空間を模式的に示した図であり、台形補正処理を説明するための図である。
図7、図8に示した状態2において、ユーザーは、コントローラ200を操作することで、プロジェクター装置100に、水平天井平面CLに投影されている画像Img1に対する台形補正処理を実行させる。
台形補正処理は、例えば、以下の(1)、(2)の処理により実行される。
(1)図8に示すように、点Pcを通り、かつ、x軸と平行な軸を回転軸として、水平天井平面CLに投影されている画像Img1(状態2の画像Img1(これを画像Img(state2)と表記する))を、図8に示す方向Dir2(時計回り方向)に所定の角度だけ回転させた平面を仮想投影面(例えば、図8に示した仮想投影面SF1)として設定する。
(2)点Pcを通り、上記で設定した仮想投影面の法線上の点(図8、図9に示す点P2)からみたときに、幾何的な歪みのない画像となるように、回転処理後の画像Img1に対して画像変換処理(台形補正処理)を行う。
この台形補正処理について、具体的に説明する。
状態1、2と同様に、テスト画像記憶部2から、テスト画像Img1が、第1セレクタ11に出力される。そして、制御部は、第1セレクタ11の、図2に示す端子0を選択する選択信号sel1を生成し、第1セレクタ11に出力する。これにより、第1セレクタ11から、テスト画像Img1が、画像信号D1として、補正部12に出力される。
補正部12は、画像D1に対して、状態1、2で実行した処理と同じ補正処理を実行する。そして、補正部12は、補正処理後の画像を画像D2として回転処理部14に出力する。
回転処理部14は、状態2において実行した処理と同じ回転処理を実行する。そして、回転処理部14は、画像D2に対して回転処理が実行された後の画像D21を第2セレクタ15に出力する。
第2セレクタ15は、制御部により生成された選択信号sel3に基づいて、図2に示す端子1を選択し、画像D21を画像D3として、台形補正処理部16に出力する。
ユーザーは、コントローラ200を操作し、プロジェクター装置100に台形補正処理を実行させる。例えば、コントローラ200は、台形補正処理を行うためのボタンを2つ有しており、当該ボタンを押下することで、例えば、以下の(1)、(2)の処理を、プロジェクター装置100に実行させる。
(1)コントローラ200の第1ボタン(一方のボタン)を1回押下することで、水平天井平面CLを、図9に示す方向Dir2(時計回り方向)に所定の角度だけ回転させた位置に仮想平面を設定し、点Pcを通り、当該仮想平面の法線上の点から見たときに幾何的な歪みがない状態となるように、画像変換処理(台形補正処理)を、プロジェクター装置100に実行させる。
(2)コントローラ200の第2ボタン(他方のボタン)を1回押下することで、水平天井平面CLを、図9に示す方向Dir2と反対の方向(反時計回り方向)に所定の角度だけ回転させた位置に仮想平面を設定し、点Pcを通り、当該仮想平面の法線上の点から見たときに幾何的な歪みがない状態となるように、画像変換処理(台形補正処理)を、プロジェクター装置100に実行させる。
ここでは、第1ボタンが押下された場合について説明する。
コントローラ200の第1ボタンが1回押下されると、ユーザーインターフェース23は、第1ボタンが1回押下されたこと示す信号を発生させる。コントローラ200の制御部22は、ユーザーインターフェース23が発生させた信号に基づいて、第1ボタンが1回押下されたこと示す信号を、第2インターフェース21を介して、プロジェクター装置100の第1インターフェース6に送信する。
なお、コントローラ200は、ユーザーが手に持って操作できるものであり、コントローラ200とプロジェクター装置100とは、例えば、無線通信により、信号の送受信を行う。
例えば、ユーザーは、図7に示す状態において、コントローラ200を手に持って、水平天井平面CLに投影されている画像Img1を見ながら、コントローラ200を操作し、水平天井平面CLに投影されている画像Img1の幾何的な歪みを低減させる処理(台形補正処理)を実行させる。
プロジェクター装置100の第1インターフェース6は、コントローラ200の第2インターフェース21から送信された信号を受信し、受信した信号を信号Sig1として切替器13に出力する。
切替器13は、制御部により生成された選択信号sel2に基づいて、図2に示す端子0を選択し、信号Sig1を台形補正処理部16に出力する。
台形補正処理部16は、信号Sig1と、3次元形状データ3D_dataと、投影部3の投影点についての情報P_prjとに基づいて、第2セレクタ15から出力される画像D3に対して台形補正処理を実行する。
具体的には、台形補正処理部16は、信号Sig1から、コントローラ200の第1ボタン(一方のボタン)を1回押下したときの回転角度θ1を決定する。そして、台形補正処理部16は、水平天井平面CLを、図9に示す方向Dir2(時計回り方向)に回転角度θ1だけ回転させた位置に仮想平面SF1を設定し、点Pcを通り、仮想平面SF1の法線上の点P2から水平天井平面CLを見たときに、水平天井平面CLに投影されている画像の幾何的な歪みがない状態となるように、画像D3に対して、画像変換処理(台形補正処理)を実行する。そして、台形補正処理部16は、台形補正処理後の画像を画像D31として、第3セレクタ17に出力する。
第3セレクタ17は、制御部により生成された選択信号sel4に基づいて、図2に示す端子1を選択し、画像D31を、画像D4として、第4セレクタ18に出力する。
第4セレクタ18は、制御部により生成された選択信号sel5に基づいて、図2に示す端子1を選択し、画像D4(=画像D31)を、画像Doutとして、投影部3に出力する。
投影部3は、第4セレクタ18からの画像Dout(=画像D31)を、図3に示す投影軸Ax1により、水平天井平面CLに投影する。これにより、点P2から水平天井平面CLを見たときに、画像Img1は、幾何的な歪みのない画像として投影される。このときの様子を図10に示す。
図10に示す画像Img_R1_CLは、以下のようにして取得される画像である。つまり、画像Img_R1_CLは、状態2の水平天井平面CLの画像Img(state2)を、点Pcを通り、かつ、x軸と平行な軸を回転軸として、yz平面内で時計回り方向(方向Dir2)に角度θ1だけ回転させた画像(図10の画像Img_R1(仮想平面SF1上の画像Img_R1))を、仮想平面SF1の法線上の点(例えば、点P2)から、水平天井平面CLに投影することで取得される画像である。
また、図10の右上側に、状態2において、点Vpから水平天井平面CLを見たときの画像Img1(state2)を示し、図10の右下側に、上記台形補正処理が実行されたときの点Vpから水平天井平面CLを見たときの画像Img1_R1_CLを示している。
また、図10の左側に、上記台形補正処理が実行されたときの点P2から水平天井平面CLを見たときの画像Img1_R1_CLを示している。
図10の右下側に示した画像Img1_R1_CLは、図10の右上側に示した画像Img1(state2)よりも幾何的な歪み(台形歪み)が低減されていることが分かる。これにより、ユーザーは、第1ボタンをさらに押下することで、図10に示す回転角度θ1をさらに大きな角度とする台形補正処理を実行し、水平天井平面CLに投影されている画像の幾何的な歪みをさらに低減させることができる。
なお、ユーザーは、第1ボタンを押下したときに、水平天井平面CLに投影されている画像の幾何的な歪み(台形歪み)が大きくなることを認識した場合、コントローラ200の他方のボタンである第2ボタンを押下することで、プロジェクター装置100に、水平天井平面CLに投影されている画像の幾何的な歪み(台形歪み)を低減させる台形補正処理を実行させることができる。
ここでは、図10に示すように、コントローラ200の第1ボタンを押下することで、水平天井平面CLに投影されている画像の幾何的な歪み(台形歪み)が低減されることが分かるので、ユーザーは、さらに、第1ボタンを押下し、プロジェクター装置100に台形補正処理を実行させる。
ユーザーがさらに第1ボタンを押下した場合、プロジェクター装置100では、上記と同様の処理が実行される。そして、台形補正処理部16により、図10に示す回転角度θ1をさらに大きな角度とする台形補正処理を実行する。
ここでは、ユーザーがさらに第1ボタンを押下した場合、図11に示すように、回転角度がθ2となり、水平天井平面CLを、点Pcを通り、かつ、x軸と平行な軸を回転軸として、yz平面内で時計回り方向(方向Dir2)に角度θ2だけ回転させた仮想平面SF2の点Pcを通る法線が、ユーザーの視点Vpを通る状態となったものとして説明する。
この場合、台形補正処理部16は、信号Sig1から、コントローラ200の第1ボタン(一方のボタン)がさらに押下したときの回転角度θ2を決定する。そして、台形補正処理部16は、水平天井平面CLを、図11に示す方向Dir2(時計回り方向)に回転角度θ2だけ回転させた位置に仮想平面SF2を設定し、点Pcを通り、仮想平面SF2の法線上の点Vpから水平天井平面CLを見たときに、水平天井平面CLに投影されている画像の幾何的な歪みがない状態となるように、画像D3に対して、画像変換処理(台形補正処理)を実行する。そして、台形補正処理部16は、台形補正処理後の画像を画像D31として、第3セレクタ17に出力する。
このようにして台形補正処理部16により生成された画像D31は、投影部3により、水平天井平面CLに投影される。この状態を「状態3」とする。
これにより、ユーザーの視点Vpから水平天井平面CLを見たときに、画像Img1は、幾何的な歪みのない画像(幾何的な歪みの低減された画像)として投影される。このときの様子を図12に示す。
図12に示す画像Img_R2_CLは、以下のようにして取得される画像である。つまり、画像Img_R2_CLは、状態2の水平天井平面CLの画像Img(state2)を、点Pcを通り、かつ、x軸と平行な軸を回転軸として、yz平面内で時計回り方向(方向Dir2)に角度θ2だけ回転させた画像(図12の画像Img_R2(仮想平面SF2上の画像Img_R2))を、仮想平面SF2の法線上の点(例えば、視点Vp)から、水平天井平面CLに投影することで取得される画像である。
また、図12の右上側に、状態2において、点Vpから水平天井平面CLを見たときの画像Img1(state2)を示し、図12の右下側に、上記台形補正処理が実行されたときの点Vpから水平天井平面CLを見たときの画像Img1_R2_CL、すなわち、状態3における、点Vpから水平天井平面CLを見たときの画像Img1(state3)を示している。
図12の右下側に示した画像Img1(state3)(画像Img1_R2_CL)は、図12の右上側に示した画像Img1(state2)よりも幾何的な歪み(台形歪み)がない(大幅に低減されている)ことが分かる。
ユーザーは、水平天井平面CLに投影されている画像の幾何的な歪みが十分低減されている状態(状態3)を確認し、プロジェクター装置100における調整処理(画像の幾何的な歪みを低減させるための調整処理)を終了させる。例えば、ユーザーは、コントローラ200を操作して、プロジェクター装置100における調整処理(画像の幾何的な歪みを低減させるための調整処理)を終了させる。
プロジェクター装置100は、上記プロジェクター装置100における調整処理(画像の幾何的な歪みを低減させるための調整処理)を終了させるための信号を、コントローラ200から受信する。
プロジェクター装置100は、コントローラ200から上記信号を受信した場合、現在の設定により、(1)補正部12により補正処理、(2)回転処理部14による回転処理、および、(3)台形補正処理部16による台形補正処理が実行されるようにして、調整処理(画像の幾何的な歪みを低減させるための調整処理)を完了する。
そして、プロジェクター装置100は、画像信号(あるいは、映像信号)Dinを表示(投影)するモードに切り替えられた場合、第1セレクタ11において、端子1が選択されるようにし、画像信号Dinを、補正部12に出力する。
プロジェクター装置100は、第2セレクタ15において端子1が、第3セレクタ17において端子1が、第4セレクタ18において端子1が、それぞれ、選択されるようにする。
そして、プロジェクター装置100の補正部12、回転処理部14、および、台形補正処理部16は、調整処理(画像の幾何的な歪みを低減させるための調整処理)が完了したときの設定に基づいて、それぞれ、補正処理、回転処理、および、台形補正処理を実行する。
そして、これらの処理が実行された後の画像(映像)が、投影部3から、水平天井平面CLに投影される。これにより、プロジェクター装置100に入力された画像Din(あるいは、映像Din)が、水平天井平面CLに投影された画像(映像)は、ユーザーの視点Vpから見たときに幾何的な歪みのない(低減された)画像(映像)となる。
以上のように、投影システム1000では、表示したときの上部が分かるテスト画像を水平天井平面CLに投影し、ユーザーがコントローラ200により、(1)水平天井平面CL内で投影画像を回転させる処理をプロジェクター装置100に実行させた後、(2)水平天井平面CLに投影されている画像の台形補正処理をプロジェクター装置100に実行させることで、水平天井平面CLに投影されている画像の幾何的な歪みをなくす(低減させる)ことができる。
したがって、投影システム1000では、撮影機能を有する機器を用いることなく、水平投影面(例えば、水平天井)に投影された画像の幾何的な歪みを、容易かつ適切に、なくす(低減させる)ことができる。
≪第1変形例≫
次に、第1実施形態の第1変形例について、説明する。
本変形例において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図15は、第1実施形態の第1変形例に係る投影システム1000Aの概略構成図である。
図16は、第1実施形態の第1変形例に係る投影システム1000Aのプロジェクター装置100Aの投影画像調整部1Aの概略構成図である。
第1変形例の投影システム1000Aでは、第1実施形態の投影システム1000において、プロジェクター装置100をプロジェクター装置100Aに置換した構成を有している。
プロジェクター装置100Aは、図16に示すように、プロジェクター装置100において、第3セレクタ17と、第4セレクタ18との間に、微調整部19を追加した構成を有している。それ以外については、プロジェクター装置100Aは、プロジェクター装置100と同様である。
微調整部19は、第3セレクタ17から出力される画像D4と、制御部から出力される制御信号ctl1とを入力する。微調整部19は、第1実施形態で説明した調整処理(画像の幾何的な歪みを低減させるための調整処理)が完了するまでは、入力された信号をそのまま信号D4A(画像D4A)として、第4セレクタ18に出力する。そして、微調整部19は、調整処理(画像の幾何的な歪みを低減させるための調整処理)が完了すると、制御部からの制御信号ctl1に従い、投影部3により投影面に投影されている投影画像の各頂点を微調整移動させるように、画像D4に対して処理を実行し、当該処理後の画像を、画像D4A(画像信号D4A)として、第4セレクタ18に出力する。
なお、微調整部19は、上記微調整処理の設定を保持し、プロジェクター装置100において、画像信号(あるいは、映像信号)Dinを表示(投影)するモードに切り替えられた場合、当該設定により、入力信号に対して、微調整を実行する。
このように、本変形例の投影システム1000Aでは、微調整部19による微調整処理を実行することで、例えば、投影システム1000Aでの3次元形状測定処理の誤差を修正し、さらに精度の高い画像投影処理(画像の幾何的な歪みの低減処理)を実行することができる。
なお、本変形例の投影システム1000Aにおいても、第1実施形態の投影システムと同様の調整処理(画像の幾何的な歪みを低減させるための調整処理)が実行された後、上記微調整処理が実行されるため、従来技術に比べて、3次元形状測定処理の誤差を修正するために必要とされる処理量(作業量)を劇的に少なくすることができる。
なお、微調整部19に入力される制御信号ctl1は、コントローラ200によりユーザーの操作に基づく信号であってもよい。この場合、コントローラ200によりユーザーが微調整処理の操作を行い、そのユーザーの操作に基づいて、コントローラ200が制御信号を生成し、生成した制御信号をプロジェクター装置100Aに送信する。そして、プロジェクター装置100Aは、第1インターフェース6を介して、コントローラ200から送信される信号を信号Sig1として受信し、受信した信号Sig1を微調整部19に入力する制御信号ctl1とすればよい。
[他の実施形態]
上記実施形態において、第1インターフェース、第2インターフェース、および、第3インターフェースは、無線通信用のインターフェースであってもよいし、有線通信用のインターフェースであってもよい。
また、上記実施形態では、コントローラ200が2つのボタンである第1ボタンと第2ボタンを有しており、ユーザーが第1ボタン、または、第2ボタンを操作することで、回転処理、あるいは、台形補正処理が実行される場合について、説明したが、これに限定されることはない。例えば、コントローラ200は、回転処理用のボタンを2つ有しており、かつ、台形補正処理用のボタンを2つ、別途、有していてもよい。また、コントローラ200は、ボタン以外のインターフェースを有していてもよい。例えば、コントローラ200がジョイスティックを有しており、ユーザーが当該ジョイスティックを操作することで、プロジェクター装置100に、回転処理、あるいは、台形補正処理を実行させるようにしてもよい。あるいは、コントローラ200が、タッチパネル機能付き表示パネルを有しており、表示パネル上にアイコンを表示させ、当該アイコンに、回転処理、あるいは、台形補正処理の実行機能を割り当て、当該アイコンをユーザーが操作することにより回転処理、あるいは、台形補正処理が実行されるようにしてもよい。
また、上記実施形態において、投影システムで用いたテスト画像は、図4に示した画像に限定されることはなく、投影システム1000において回転処理実行時に投影されるとき、あるいは、台形補正処理実行時に投影されるときに、ユーザーが投影画像の回転状態、台形補正状態を直感的に確認できるものであれば、テスト画像として、どのような画像を用いてもよい。
また、投影システムで用いるテスト画像は、矩形状のものに限定されることはなく、例えば、円形状や楕円状等の他の形状(他の外形)を有する画像であってもよい。
また、上記実施形態において、投影システムの投影面は、床に水平な平面の天井であるとして、説明したが、これに限定されることはなく、例えば、投影面は、ユーザーの視点からみたときに、水平な直線となる軸を回転軸として、床に水平な平面を回転させた平面としてもよい。
つまり、ユーザーから見て、左右のどちらにも傾いておらず、かつ、前方向に傾斜している平面(前方傾斜平面)を投影面としてもよい。また、ユーザーから見て、左右のどちらにも傾いておらず、かつ、後ろ方向に傾斜している平面(後方傾斜平面)を投影面としてもよい。
すなわち、本発明の投影システムにおいて、ユーザーの左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面としてもよい。
このような投影面を用いる場合にも、本発明を適用することができる。
また、「水平」、「垂直」、「縦」、「横」等の文言は、厳密な意味での、「水平」、「垂直」、「縦」、「横」等の場合のみを含むのではなく、「略水平」、「略垂直」、「略縦」、「略横」等を含む概念の文言である。また、「水平」、「垂直」、「縦」、「横」等の文言は、設計誤差や測定誤差を許容する概念を含む文言である。
上記実施形態で説明した投影システム、プロジェクター装置、コントローラにおいて、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
また、上記実施形態における調整処理(画像の幾何的な歪みを低減させるための調整処理)において、補正処理、回転処理、台形補正処理の処理内容が決まれば、実際の投影時には、必ずしも、補正処理、回転処理、台形補正処理を分けて実行する必要はなく、全ての変換を一括で実施する画像処理を実行するようにしてもよい。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000 投影システム
100 プロジェクター装置
1、1A 投影画像調整部
2 テスト画像記憶部
3 投影部
4 3次元形状測定部
5 3次元形状データ記憶部
6 第1インターフェース

Claims (9)

  1. 左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、
    前記投影面に画像を投影する投影部であって、テスト画像を投影する前記投影部と、
    前記投影面の3次元形状を測定する3次元形状測定部と、
    ユーザーの操作に基づく制御信号を生成するコントローラと、
    (1)前記3次元形状測定部により計測された3次元形状データに基づいて、前記投影部の投影軸と前記投影面との交点である投影中心点を通る前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、前記テスト画像に対して画像変換処理である補正処理を実行し、
    (2)前記制御信号に従い回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記テスト画像の前記投影部による前記投影面への投影画像が前記投影中心点を中心として、前記回転角度だけ回転した画像となるように、前記補正処理後の前記テスト画像に対して画像変換処理である回転処理を実行し、
    (3)前記回転処理後の後の前記テスト画像の前記投影面への投影画像であって、ユーザーの視点から見たときに、上辺と下辺とが平行である状態の前記投影画像である回転処理後投影画像の上辺および下辺と平行な軸であって、前記投影中心点を通る前記軸を回転軸とし、当該回転軸による回転が可能な仮想平面を設定し、
    前記回転処理後の前記テスト画像に対して、ユーザーの視点から前記投影面を見たときに幾何学的な歪みが低減された状態となるように、前記仮想平面を前記回転軸周りに回転させて、前記仮想平面の法線方向をユーザーの視点の方向に移動させ、前記仮想平面の法線上の点から見たときに幾何学的な歪みが低減された状態となるように、前記回転処理後の前記テスト画像に対して、画像変換処理である台形補正処理を行う投影画像調整部と、
    を備える投影システム。
  2. 左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影システムであって、
    前記投影面に画像を投影する投影部であって、テスト画像を投影する前記投影部と、
    前記投影面の3次元形状を測定する3次元形状測定部と、
    ユーザーの操作に基づく制御信号を生成するコントローラと、
    (1)前記3次元形状測定部により計測された3次元形状データに基づいて、前記投影部の投影軸と前記投影面との交点である投影中心点を通る前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、前記テスト画像に対して画像変換処理である補正処理を実行し、
    (2)前記制御信号に従い回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記テスト画像の前記投影部による前記投影面への投影画像が前記投影中心点を中心として、前記回転角度だけ回転した画像となるように、前記補正処理後の前記テスト画像に対して画像変換処理である回転処理を実行する投影画像調整部と、
    を備え、
    前記テスト画像は、表示画面に表示されている状態において、画像上の縦方向に延びる縦基準線を含む画像であり、
    前記投影画像調整部は、
    前記制御信号に従い歪み低減量を決定し、前記投影面に投影された前記投影画像の前記縦基準線を含む平面であって、前記投影面と垂直な平面内に含まれる点から前記投影面を見たときに、前記歪み低減量に相当する分だけ、前記縦基準線上の1つの点である第1直交点を通り、前記縦基準線と直交する方向の前記投影画像の長さである第1距離と、前記縦基準線上の前記第1直交点以外の点である第2直交点を通り、前記縦基準線と直交する方向の前記投影画像の長さである第2距離との差が小さくなるように、前記回転処理後の前記テスト画像に対して画像変換処理である台形補正処理を実行する、
    投影システム。
  3. 前記投影画像調整部は、
    前記回転処理および前記台形補正処理の少なくとも一方の処理が実行された前記テスト画像を前記投影面に投影したときの画像の各頂点を微調整移動させることで、当該画像の幾何学的な画像歪みを低減させる微調整処理を行う微調整部を備える、
    請求項2に記載の投影システム。
  4. 前記テスト画像は、
    表示画面に表示されている状態において、画像上の上部を判別することができるパターンを含む画像である、
    請求項2または3に記載の投影システム。
  5. 前記テスト画像は、
    複数の正方形の格子パターンからなる格子状パターンを含む画像である、
    請求項2から4のいずれかに記載の投影システム。
  6. 前記テスト画像は、
    第1の模様を有する第1格子パターンと、第2の模様を有する第2格子パターンとが、幾何学的な歪みがない状態において、前記テスト画像上の第1方向、および、前記テスト画像上において前記第1方向と直交する第2方向において、交互に配置されることで形成される格子状パターンを含む画像である、
    請求項5に記載の投影システム。
  7. 請求項1から6のいずれかに記載の投影システムに用いられるプロジェクター装置であって、
    前記投影部と、前記投影画像調整部とを備える、
    プロジェクター装置。
  8. 左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法をコンピュータに実行させるためのプログラムであって、
    前記投影面にテスト画像を投影する投影ステップと、
    前記投影面の3次元形状を測定する3次元形状測定ステップと、
    ユーザーの操作に基づく制御信号を生成するステップと、
    (1)前記3次元形状測定ステップにより計測された3次元形状データに基づいて、前記投影ステップにおける投影軸と前記投影面との交点である投影中心点を通る前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、前記テスト画像に対して画像変換処理である補正処理を実行し、
    (2)前記制御信号に従い回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記テスト画像の前記投影ステップによる前記投影面への投影画像が前記投影中心点を中心として、前記回転角度だけ回転した画像となるように、前記補正処理後の前記テスト画像に対して画像変換処理である回転処理を実行し、
    (3)前記回転処理後の後の前記テスト画像の前記投影面への投影画像であって、ユーザーの視点から見たときに、上辺と下辺とが平行である状態の前記投影画像である回転処理後投影画像の上辺および下辺と平行な軸であって、前記投影中心点を通る前記軸を回転軸とし、当該回転軸による回転が可能な仮想平面を設定し、
    前記回転処理後の前記テスト画像に対して、ユーザーの視点から前記投影面を見たときに幾何学的な歪みが低減された状態となるように、前記仮想平面を前記回転軸周りに回転させて、前記仮想平面の法線方向をユーザーの視点の方向に移動させ、前記仮想平面の法線上の点から見たときに幾何学的な歪みが低減された状態となるように、前記回転処理後の前記テスト画像に対して、画像変換処理である台形補正処理を行う投影画像調整ステップと、
    を備える投影方法をコンピュータに実行させるためのプログラム。
  9. 左眼視点と右眼視点とを結ぶ直線と平行な平面を投影面とし、ユーザーの視点から見たときに幾何学的な画像歪みが低減された状態となるように画像を投影する投影方法をコンピュータに実行させるためのプログラムであって、
    前記投影面にテスト画像を投影する投影ステップと、
    前記投影面の3次元形状を測定する3次元形状測定ステップと、
    ユーザーの操作に基づく制御信号を生成するステップと、
    (1)前記3次元形状測定ステップにより計測された3次元形状データに基づいて、前記投影ステップにおける投影軸と前記投影面との交点である投影中心点を通る前記投影面の法線上の点である第1点から見たときに、幾何学的な画像歪みが低減された状態とするように、前記テスト画像に対して画像変換処理である補正処理を実行し、
    (2)前記制御信号に従い回転角度を決定し、前記第1点から前記投影面を見たときに、前記補正処理後の前記テスト画像の前記投影ステップによる前記投影面への投影画像が前記投影中心点を中心として、前記回転角度だけ回転した画像となるように、前記補正処理後の前記テスト画像に対して画像変換処理である回転処理を実行する投影画像調整ステップと、
    を備え、
    前記テスト画像は、表示画面に表示されている状態において、画像上の縦方向に延びる縦基準線を含む画像であり、
    前記投影画像調整ステップは、
    前記制御信号に従い歪み低減量を決定し、前記投影面に投影された前記投影画像の前記縦基準線を含む平面であって、前記投影面と垂直な平面内に含まれる点から前記投影面を見たときに、前記歪み低減量に相当する分だけ、前記縦基準線と直交する方向に発生している幾何的な歪みが低減されるように、前記回転処理後の前記テスト画像に対して画像変換処理である台形補正処理を実行する、
    影方法をコンピュータに実行させるためのプログラム。

JP2015068987A 2015-03-30 2015-03-30 投影システム、プロジェクター装置、および、プログラム Active JP6624799B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015068987A JP6624799B2 (ja) 2015-03-30 2015-03-30 投影システム、プロジェクター装置、および、プログラム
EP16772050.7A EP3280136B1 (en) 2015-03-30 2016-03-01 Projection systems and projection methods
PCT/JP2016/056253 WO2016158166A1 (ja) 2015-03-30 2016-03-01 投影システム、プロジェクター装置、および、プログラム
US15/719,329 US9928580B2 (en) 2015-03-30 2017-09-28 Projection system, projector apparatus, and projection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015068987A JP6624799B2 (ja) 2015-03-30 2015-03-30 投影システム、プロジェクター装置、および、プログラム

Publications (2)

Publication Number Publication Date
JP2016189560A JP2016189560A (ja) 2016-11-04
JP6624799B2 true JP6624799B2 (ja) 2019-12-25

Family

ID=57239990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015068987A Active JP6624799B2 (ja) 2015-03-30 2015-03-30 投影システム、プロジェクター装置、および、プログラム

Country Status (1)

Country Link
JP (1) JP6624799B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4283632B2 (ja) * 2003-10-16 2009-06-24 日本電信電話株式会社 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム
JP4710780B2 (ja) * 2006-09-28 2011-06-29 日本ビクター株式会社 画像投影表示装置
JP5121673B2 (ja) * 2007-11-06 2013-01-16 パナソニック株式会社 画像投影装置及び画像投影方法
JP5783829B2 (ja) * 2011-07-21 2015-09-24 三菱プレシジョン株式会社 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
JP6172495B2 (ja) * 2012-12-28 2017-08-02 株式会社リコー 校正装置、装置、プロジェクタ、3次元スキャナ、校正方法、方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP2016189560A (ja) 2016-11-04

Similar Documents

Publication Publication Date Title
WO2016158166A1 (ja) 投影システム、プロジェクター装置、および、プログラム
JP6636252B2 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP7291244B2 (ja) プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
CN112804507B (zh) 投影仪校正方法、系统、存储介质以及电子设备
JP6747292B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5035372B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP3509652B2 (ja) プロジェクタ装置
JP2015078935A (ja) 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US20200329227A1 (en) Information processing apparatus, information processing method and storage medium
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
US9473709B2 (en) Image blending system and method for image blending
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
CN114286068B (zh) 对焦方法、装置、存储介质以及投影设备
WO2018167918A1 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
JP6624942B2 (ja) 投影システム、プロジェクター装置、および、プログラム
JP4199641B2 (ja) プロジェクタ装置
JP6624799B2 (ja) 投影システム、プロジェクター装置、および、プログラム
US20160062406A1 (en) Information processing device, image projection apparatus, and information processing method
JP2016189559A (ja) 投影システム、プロジェクター装置、および、プログラム
JP2016072691A (ja) 画像処理装置及びその制御方法、プログラム
WO2014016994A1 (ja) インターフェース装置、プログラム、及び制御方法
KR101886840B1 (ko) 사용자 인터페이스 기반의 기하학 보정 방법 및 장치
JP2017152998A (ja) 投影システム、および、プログラム
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
JP2013101591A (ja) 3次元形状計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191126

R150 Certificate of patent or registration of utility model

Ref document number: 6624799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250