JP6804056B2 - 投写型表示装置、投写型表示装置の制御方法、及びプログラム - Google Patents
投写型表示装置、投写型表示装置の制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6804056B2 JP6804056B2 JP2019501790A JP2019501790A JP6804056B2 JP 6804056 B2 JP6804056 B2 JP 6804056B2 JP 2019501790 A JP2019501790 A JP 2019501790A JP 2019501790 A JP2019501790 A JP 2019501790A JP 6804056 B2 JP6804056 B2 JP 6804056B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- coordinates
- image
- coordinate system
- distortion correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000012937 correction Methods 0.000 claims description 157
- 240000004282 Grewia occidentalis Species 0.000 claims description 83
- 238000004364 calculation method Methods 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 57
- 238000005259 measurement Methods 0.000 claims description 37
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 238000003331 infrared imaging Methods 0.000 claims description 2
- 238000013500 data storage Methods 0.000 description 38
- 238000013461 design Methods 0.000 description 18
- 238000013519 translation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000010365 information processing Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000002366 time-of-flight method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Description
特許文献2には、投写対象物までの距離情報が入力された後、投写対象物の曲線歪みに対応して補正した画像情報を出力する技術が記載されている。
特許文献2では、対象物までの距離情報を取得するためにTOF方式の一例である光パルス飛行法の原理を用いているため、プロジェクタのコストが上昇するという問題に加え、プロジェクタの小型軽量化を図るという問題は解決されない。
(第1実施形態)
初めに、本発明の第1実施形態によるプロジェクタの概略構成を説明する。
図1は、第1実施形態によるプロジェクタの概略構成を示すブロック図の一例である。図1に示すように、本実施形態によるプロジェクタ101は、投写部2と、投写映像入力端子1と、記憶部31と、操作部32と、情報処理部30と、距離センサ106とを含む。
記憶部31は、プロジェクタ101の動作全体を制御するためのプログラムを格納している。また、記憶部31は、投写部2の投写位置や光源の出力、投写映像入力端子1に入力された画像を一時的に記憶する機能などを有する。
操作部32は、スイッチやボタンなどで構成され、プロジェクタ101に所定の動作を行わせるためにユーザが操作するものである。
情報処理部30は、記憶部31に格納されているプログラムをロードし、プロジェクタ101の動作全体を制御する。
距離センサ106は、後述するように、プロジェクタ101から投写対象物104上の一点(距離計測点107(図4))までの距離を計測する。
投写対象物104は画像を投写することができるものであれば、どのような構造のものであってもよい。例えば、投写対象物104として、壁などの構造体を用いることができる。
なお、本実施形態では、プロジェクタ101の投写方式は、例えば、短焦点方式など、どのような方式のものであってもよい。
図2は、第1実施形態のプロジェクタの全体構成を示す機能ブロック図の一例である。
図2を参照すると、プロジェクタ101は、投写映像入力端子1と、投写部2と、3次元形状検出部3と、フォーカス制御部4と、から構成される。
投写映像入力端子1は、プロジェクタ101から投写対象物104の投写面に投写される映像が入力される端子である。
投写部2は、投写映像入力端子1から入力された映像を投写対象物104(図4)に投写するものである。3次元形状検出部3は、投写対象物104の投写面の3次元形状を検出するものである。ここで、投写面の3次元形状とは、後述するように、プロジェクタ座標系の座標に変換された距離計測が行われた投写対象物104の一点の座標と、歪み補正データ格納部6に格納された歪み補正データから検出される投写対象物104の投写面の3次元形状である。
フォーカス制御部4は、3次元形状検出部3で検出された投写対象物104の投写面の3次元形状に基づいて、投写部2のフォーカス位置と焦点ボケ補正とを制御するものである。
なお、投写部2は、図1の投写部2と、情報処理部30と、記憶部31とによって実現される。
投写映像入力端子1は、プロジェクタ101から投写対象物104の投写面に投写される映像が入力される端子である。映像処理部5は、投写映像入力端子1から入力された映像に対して、プロジェクタ101の表示デバイスの解像度への解像度変換、画質調整などを行う。
歪み補正データ格納部6は、歪み補正データを格納するものである。歪み補正部7は、映像処理部5で処理された映像が、プロジェクタ101と正対していない平面の投写対象物104や平面でない投写対象物104に投写されたとき、ユーザの視点の位置で視認される歪みを、歪み補正データ格納部6に格納されている歪み補正データにしたがって補正する。
本実施形態では、プロジェクタ101と、投写対象物104と、視点108(図4)とが、それぞれ所定の位置に載置されていることを想定している。例えば、展示会の会場や美術館などでは、プロジェクタ101、投写対象物104、及び視点108の位置はある程度決まっている。ユーザが視点108から投写対象物104に投写された映像を見る場合、プロジェクタ101から投写対象物104に投写される映像は、予め歪みが補正された状態で投写対象物104に投写されている。そして、このときの歪み補正データは、歪み補正データ格納部6に予め格納されている。
投写レンズユニット部9は、投写対象物104に投写される映像の焦点を調整するフォーカス機能、投写対象物104に投写される映像の大きさを調整するズーム機能、及び、投写対象物104に投写される映像の位置を上下左右に調整できるレンズシフト機能を有し、焦点ボケ補正部8で補正された映像を投写する。
なお、3次元形状検出部3は、図1の情報処理部30と、記憶部31と、距離センサ106とによって実現される。
歪み補正対応領域抽出部10は、歪み補正データ格納部6に格納されている歪み補正データから、ユーザが或る視線方向109から見た歪み補正前の画像と歪み補正後の画像との間の四角形領域の対応と、補正前後の画像における当該四角形領域を形成する四隅点の座標を抽出するものである。
プロジェクタ投写設計データ格納部11は、プロジェクタ101の投写に関わる設計データを格納するものである。投写視点画像物理座標算出部12は、投写レンズユニット部9から得られるズーム位置及びレンズシフト位置と、プロジェクタ投写設計データ格納部11に格納されているプロジェクタ101の投写に関わる設計データと、に基づいて、次の値を算出するものである。
1つ目の値は、歪み補正後画像がプロジェクタ101の投写画像として投写対象物104に投写された場合、歪み補正対応領域抽出部10で抽出された、当該歪み補正後画像を構成する各四角形領域の四隅点の座標を、後述する投写中心102を原点とする座標系(以下、プロジェクタ座標系ともいう。)の物理座標として算出する。
2つ目の値は、歪み補正前画像をユーザが或る視点108から見た場合、歪み補正対応領域抽出部10で抽出された、当該歪み補正前画像を構成する各四角形領域の四隅点の座標を、視点108を原点とする視点座標系(以下、単に視点座標系ともいう。)の仮の物理座標として算出する。
図6Aに打ち上げ有りの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Bに打ち上げ無しの場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Cに画角を拡大した場合の画角、投写光軸及び投写中心の関係を模式的に示す。図6Dに上方へレンズシフトを行った場合の画角、投写光軸及び投写中心の関係を模式的に示す。なお、図6Aは斜視図であり、図6B、図6C、及び図6Dは、図6AのA−A断面図である。ここで、投写光軸は、画像形成面の中心を通り、かつ、画像形成面に垂直に交わる軸である。プロジェクタ座標系の原点を投写中心102とする。以下、プロジェクタ座標系を投写座標系ともいう。
例えば、図6Aに示すように、投写中心102は、投写エリア103の四隅の各点と投写レンズユニット部9からの映像信号に基づく画像を形成する表示デバイス100の画像形成領域の四隅の各点とを、それぞれ対応する点同士で直線的に結んだ線が交わる点である。ここで、投写エリア103は、表示デバイス100の画像形成領域の画像を上下左右で反転させたものである。なお、実際は、レンズでの屈折を伴うため、投写エリア103の四隅の各点と表示デバイス100の画像形成領域の四隅の各点とを結ぶ線は直線とはならない。投写中心102は、投写レンズのレンズ構成を考慮して決定する必要がある。
図6Aに示した打ち上げ有りの例では、投写光軸105は投写エリア103の下端の中心部を通り、投写中心102は、投写光軸105よりも上側に位置している。この場合、投写中心軸は、投写光軸105と一致しない。
図6Cは、図6Bの例と比較して、画角を拡大した例である。図6Bと同様、投写光軸105は投写エリア103の中心部を通り、投写中心102は投写光軸105上に位置しているが、図6Bの例よりも、投写中心点102は表示デバイス100側に配置されている。この場合も、投写中心軸は、投写光軸105と一致する。
図6Aから図6Dの例から分かるように、画角、投写中心軸及び投写中心点、ズーム位置やレンズシフト位置に応じて変化する。換言すると、画角、投写中心軸及び投写中心は、ズーム位置やレンズシフト位置に応じて決定する必要がある。
距離センサ部14は、投写対象物104の表面の一点(距離測定点107(図4))までの距離を計測するものである。
距離センサキャリブレーションデータ格納部15は、次の値を格納するものである。1つ目の値は、距離センサ106(図3)の座標系とプロジェクタ101の座標系との位置関係を計測するキャリブレーションを行った結果、計算された距離センサ106の座標系をプロジェクタの座標系に変換するためのパラメータである回転量と並進量を格納する。2つ目の値は、距離センサ106の座標系とプロジェクタ101の座標系との位置関係を計測するキャリブレーションを行ったときのズーム位置とレンズシフト位置とを、基準ズーム位置と基準レンズシフト位置として格納する。
距離検出位置平面特定部17は、3次元データプロジェクタ座標変換部16でプロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面を特定し、その平面における四隅点の3次元座標を計算するものである。この計算は、投写視点画像物理座標算出部12において算出された各四角形領域の歪み補正後画像の投写画像としてのプロジェクタ座標系における四隅点の物理座標と、領域対応平面の法線ベクトル算出部13で算出された投写対象物104に投写された各四角形の領域に対する平面の法線ベクトルと、に基づいて行われる。
なお、フォーカス制御部4は、図1の情報処理部30と記憶部31とによって実現される。
本実施形態のプロジェクタ101は、投射部2、3次元形状検出部3、フォーカス制御部4で構成されている。
投射部2において、投射映像入力端子1へ入力された映像の解像度を、プロジェクタ101の表示デバイスの解像度へ解像度を変換し、画質調整などを行う。投射対象物104に投射されたときの視点の位置で視認される画像に歪みが生じないように歪み補正を行い、投射対象物104の表面上の投射距離の差により生じる焦点ボケを補正し、投写レンズによりフォーカス、ズーム、レンズシフト調整を行って投写する。
3次元形状検出部3において、歪み補正のためのデータと、投写レンズのズーム位置、レンズシフト位置を参照しながら距離センサ106を使って投射対象物104の3次元形状を検出する。
フォーカス制御部4において、投射部2における投写レンズのズーム位置と3次元形状検出部3で検出した投射対象物104の3次元形状から、フォーカス位置と焦点ボケ補正のためのパラメータを算出し、投写部2に設定することにより、投射対象物104に投写された映像の焦点ボケを低減する構成となっている。
まず、投写部2の動作について説明する。投写部2に対して投写映像入力端子1から映像が入力されると、映像処理部5において、プロジェクタ101の表示デバイスの解像度に変換され、画質調整などが行われる。
歪み補正部7では、予め歪み補正データ格納部6に格納されている歪み補正データにしたがって、プロジェクタ101と正対していない平面の投写対象物104や平面でない投写対象物104に映像が投写されたとき、図4の視点108の位置において視線方向109から視認される映像に歪みが生じないよう歪み補正が行われる。
焦点ボケ補正部8では、投写対象物104の表面上の投写距離の差により生じる焦点ボケが補正される。投写レンズユニット部9では、投写対象物104に投写される映像の焦点を調整するフォーカス調整、投写対象物104に投写される映像の大きさを調整するズーム調整、及び、投写対象物104に投写される映像の位置を上下左右に調整するレンズシフト調整が行われ、投写対象物104に投写される。焦点ボケ補正部8における焦点ボケ補正のためのパラメータと、投写レンズユニット部9における投写映像の焦点調整のためのフォーカス調整の位置は、後述するフォーカス制御部4によって設定される。
図5は、プロジェクタ101から歪み補正を施されて投写された映像が、平面でない投写対象物104に投写され、その映像を、図4の視点108の位置で視線方向109から歪みのない映像を視認している状態、及び、距離センサ106を使用して投写対象物104上の一点(距離測定点107)までの距離を計測している状態を示している。
結果的に、各四角形領域の四隅点の投写対象物104上での3次元座標が分かることになるので、投写対象物104の3次元形状が分かることになる。
具体的には、図7に示すように、視点画像としての歪み補正前画像120において、画像を四角形領域に分割し、分割したそれぞれの四角形領域の四隅点の座標に対する歪み補正後画像118の四隅点の座標を、歪み補正データ格納部6に格納されている歪み補正データを使って計算する。この結果、歪み補正後画像118と視点画像としての歪み補正前画像120との間における各四角形領域と四隅点の座標の対応が抽出される。
また、視点画像としての歪み補正前画像120について、視点位置における画像として歪み補正対応領域抽出部10で抽出した視点画像としての歪み補正前画像120上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標121を算出する。このとき、視点座標系における画像の絶対的な座標値は未知であるため、歪み補正前の仮の物理座標121は仮のスケールを設定して算出する。
そして、この算出の際には、投写レンズユニット部9から得られるズーム位置、レンズシフト位置と、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの画角、ズーム特性、レンズシフト特性などの投写に関わる設計データと、が使用される。
xp=(xp、yp、1)Tの形で求められ、
視点座標系(X´、Y´、Z´)における歪み補正前画像の仮の物理座標121は同次座標
xν=(xν、yν、1)Tの形で求められる。
xν∝Txp (1)
ここで、Tは、プロジェクタ座標系から視点座標系への回転R、並進X0、平面の方程式Z=pX+qY+rのパラメータp、q、rを用いて次の数式(2)で表され、
図8は、視点座標系における視点画像としての歪み補正前画像の仮の物理座標上の四隅点の物理座標と、歪み補正後画像の物理座標の四隅点の物理座標とから、四角形領域に対応する投写対象物上の平面の法線ベクトルを求めることを説明する図である。
なお、距離センサ106を用いて距離を計測する方法としては様々な方式が存在し、本実施形態では距離センサ106を用いて距離を計測する方法を特に限定しない。距離センサ106を用いて距離を計測する方法としては、(A)投写した光が対象物で反射し、戻ってくるまでの時間から距離を計測するTOF方式、(B)投写し対象物で反射した光を検出し、その検出位置から三角測量の原理を用いて距離を計測する三角測量方式、などがある。何れにしろ、一点の距離のみを取得する距離センサで足りるので、簡易な距離センサで構成することが可能であり、プロジェクタの小型化と低コスト化を図ることが可能である。
1つ目は、距離センサ座標系とプロジェクタ座標系の位置関係を計測するキャリブレーションを行って距離センサキャリブレーションデータ格納部15に予め格納されている距離センサ座標系をプロジェクタ座標系に変換するためのパラメータである回転量と並進量である。2つ目は、このキャリブレーションを行ったときの基準ズーム位置と基準レンズシフト位置である。3つ目は、投写レンズユニット部9から得られるズーム位置とレンズシフト位置である。
プロジェクタ101においては、プロジェクタ座標系(X、Y、Z)の原点となる投写中心102の位置がいつも同じではなく、ズームやレンズシフトにより移動する。このため、距離センサキャリブレーションデータ格納部15には、上記回転量と並進量と共に、キャリブレーションを行ったときのズーム位置、レンズシフト位置が、それぞれ基準ズーム位置、基準レンズシフト位置として格納されている。
(a)プロジェクタ投写設計データ格納部11に格納されている投写に関わる設計データと、基準ズーム位置、基準レンズシフト位置に基づいて、キャリブレーションを行ったときの基準投写中心点の座標を求める。
(b)投写レンズユニット9から得られる現在のズーム位置、レンズシフト位置から、同様に現在の投写中心点の座標を求める。
(c)(a)で求めた基準投写中心点の座標から、(b)で求めた現在の投写中心点の座標への変換するための並進量を求める。
(d)距離センサ106で計測した距離測定点107の3次元座標(0、0、Z´´)を、距離センサキャリブレーションデータ格納部15に格納されている回転量と並進量により座標変換する。
(e)現在のズーム位置とレンズシフト位置に合わせて、基準投写中心点の座標から現在の投写中心点の座標への並進量分だけ座標を移動する。
これらの処理を行うことにより、距離センサ106からの距離センサ座標系(X´´、Y´´、Z´´)における3次元座標(0、0、Z´´)を、現在の投写中心102を原点とするプロジェクタ座標系(X、Y、Z)に変換する。
なお、フォーカス制御部4は、図1の情報処理部30と記憶部31とによって実現される。
また、フォーカス位置・焦点ボケパラメータ算出部21では、投射レンズユニット部9から得られるズーム位置と、フォーカス位置テーブル格納部19に格納されているズーム位置と投射距離に対して焦点が合うフォーカスの位置のテーブルから、その投射距離に対するフォーカスの位置を取得し、投射レンズユニット部9のフォーカスをその位置に調整する。
さらに、フォーカス位置・焦点ボケパラメータ算出部21では、その投写距離から、焦点ボケパラメータテーブル格納部20に格納されているフォーカス位置と投写距離に対する焦点ボケパラメータのテーブルとを使って、各四角形の領域に対応する平面における四隅点に対する焦点ボケパラメータを取得する。そして、四隅点内の各点に対する焦点ボケパラメータを補間によって求め、焦点ボケ補正部8へ出力し焦点ボケを補正する。
このとき、投写画像をf(x、y)、ボケ画像をg(x、y)とすると、ボケ画像は、次の数式(4)に示すような投写画像f(x、y)と、点広がり関数h(x、y)との畳み込みで表される。
g(x、y)=f(x、y)*h(x、y) (4)
したがって、焦点ボケ補正部8では、焦点ボケを補正するため、次の数式(5)に示すように、歪み補正部7からの映像に対して、点広がり関数との逆畳み込みを行い、投写対象物上でボケが解消するように逆補正を行う。
図10を参照すると、まず、前提として、投写対象物104に投写される画像が視点108の視点位置における視線方向109から視認されたときに歪みが生じないよう、歪み補正部7において、歪み補正データ格納部6に格納されている歪み補正データに基づいて、視線方向109から視認される歪み補正前画像120を歪み補正後画像118に補正する処理が行われているものとする。また、投写画像の投写対象物104における投写領域は複数の四角形に分割された四角形領域の集合から構成されているものとする。
ステップS902の処理で、投写視点画像物理座標算出部12により、歪み補正後画像118上の各四角形の領域の四隅点の座標から、プロジェクタ座標系における歪み補正後画像118の物理座標119が算出される。また、視点画像としての歪み補正前画像120上の各四角形の領域の四隅点の座標から、視点座標系における歪み補正前の仮の物理座標121が算出される。
ステップS903の処理で、領域対応平面の法線ベクトル算出部13により、投写対象物104に投写された各四角形領域が平面であるとしたときのその法線ベクトル123が算出される。
ステップS905の処理で、3次元プロジェクタ座標変換部16により、距離センサ106の距離測定開始点を原点とする距離センサ座標系で計測した距離測定点107の3次元座標(0、0、Z´´)が、投写中心102を原点としたプロジェクタ座標系に変換される。
ステップS906の処理で、距離検出位置平面特定部17により、プロジェクタ座標系における歪み補正後画像の物理座標119上の四隅点の物理座標と、各四角形の領域に対する平面の法線ベクトル123に基づいて、プロジェクタ座標系に変換された距離測定点107の3次元座標を含む平面が特定される。
次に、本発明の第2実施形態によるプロジェクタの概略構成を説明する。
図11は、第2実施形態によるプロジェクタの概略構成を示すブロック図の一例である。第2実施形態のプロジェクタは、基本的には図1に示した構成を有するものであるが、図11に示すように、図1の構成に加え、カメラ33と電子ペン34とが設けられている点が第1実施形態と異なる。この異なる点について以下説明する。
カメラ33は、電子ペン34の先端部から発せられる赤外線を撮影する。カメラ33が赤外線を撮影することにより、プロジェクタ101は、カメラ33の撮像画面の座標系を投写部2の投写画面の座標系に変換する。
第2実施形態のプロジェクタは、基本的には図2に示した構成を有するものであるが、図12に示すように、フォーカス制御部4に代えて、電子ペン位置検出部22が設けられている点、プロジェクタ投写設計データ格納部11が、3次元形状検出部3から独立している点、及び歪み補正データ格納部6が電子ペンの画像上座標算出部27に接続されている点が第1実施形態と異なる。
電子ペン位置検出部22では、投写対象物104の表面上の電子ペン34のペン先から発光される赤外線を赤外線カメラ部23で撮像し、その投写対象物104の表面上における3次元位置を算出し、投写対象物104に表示されている表示画像上における電子ペン34のペン先の座標を算出する。
この状態で、第1実施形態と同様に、3次元形状検出部3において、投写対象物104の3次元位置が検出される。
そして、赤外線カメラ部23では、投写対象物104の表面上の電子ペンのペン先から発光される赤外線を撮像し、その撮像画像内の撮像位置から、赤外線カメラ座標系における原点を始点として、投写対象物104の表面上の電子ペンのペン先の方向を向いた電子ペンへの方向ベクトルを算出する。
なお、具体的な処理の内容は、第1実施形態における3次元データプロジェクタ座標変換部16において行われる処理と同様であるので、詳細な説明は省略する。
電子ペンの画像上座標算出部27では、プロジェクタ座標系における電子ペンのペン先の投写映像入力端子1から入力された映像における物理座標を算出する(図5における歪み補正後画像の物理座標119に対応する。)。
また、電子ペンの画像上座標算出部27では、歪み補正後画像における座標(図5における歪み補正後画像118に対応する。)を算出し、歪み補正データ格納部6を参照して投写映像入力端子1から入力された映像における座標(図5における歪み補正前画像120に対応する。)を算出し、電子ペン位置出力端子28から出力する。
そして、これらの計算は、投写レンズユニット部9から得られるズーム位置とレンズシフト位置、プロジェクタ投写設計データ格納部11に格納されているプロジェクタの投写に関わる設計データ、及び歪み補正データ格納部6に格納されている歪み補正データを使用して行われる。
次に、第3実施形態によるプロジェクタの概略構成を説明する。
図13は、第3実施形態のプロジェクタの概略構成を示すブロック図の一例である。
図13を参照すると、プロジェクタ101は、投写部2と、記憶部31と、距離検出部53と、座標検出部51と、3次元形状算出部54とから構成される。
投写部2は、投写光を投写対象物104の投写面に投写する。記憶部31は、投写部2による投写光を補正する歪み補正データを格納する。距離検出部53は、投写面上の一点までの距離を検出する。座標検出部51は、投写光の座標系における一点の座標を検出する。3次元形状算出部54は、座標検出部51にて求められた投写光の座標系における一点の座標と、記憶部31に格納された歪み補正データから投写面の3次元形状を算出する。
[付記1]
投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する3次元形状算出手段と、
を備える投写型表示装置。
[付記2]
座標変換手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの距離から求められた座標から、前記投写光の座標系における前記一点の座標を検出する、付記1に記載の投写型表示装置。
[付記3]
前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記3次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える付記1又は2に記載の投射型表示装置。
[付記4]
前記3次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える付記3に記載の投写型表示装置。
[付記5]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える付記4に記載の投写型表示装置。
[付記6]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の3次元座標を計算する距離検出位置平面特定手段、を備える付記5に記載の投写型表示装置、
[付記7]
前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の3次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の3次元座標を算出する平面四隅点3次元位置算出手段をさらに備える、付記6に記載の投射型表示装置。
[付記8]
前記平面四隅点3次元位置座標算出手段で算出された前記投写面の3次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、付記7に記載の投写型表示装置。
[付記9]
前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点3次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の3次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、付記7に記載の投写型表示装置。
[付記10]
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する工程を備える、投射型表示装置の制御方法。
[付記11]
投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する処理を実行させるためのプログラム。
2 投写部
3 3次元形状検出部
4 フォーカス制御部
5 映像処理部
6 歪み補正データ格納部
7 歪み補正部
8 焦点ボケ補正部
9 投写レンズユニット部
10 歪み補正対応領域抽出部
11 プロジェクタ投写設計データ格納部
12 投写視点画像物理座標算出部
13 領域対応平面の法線ベクトル算出部
14 距離センサ部
15 距離センサキャリブレーションデータ格納部
16 3次元データプロジェクタ座標変換部
17 距離検出位置平面特定部
18 平面四隅点3次元位置算出部
19 フォーカス位置テーブル格納部
20 焦点ボケパラメータテーブル格納部
21 フォーカス位置・焦点ボケパラメータ算出部
22 電子ペン位置検出部
23 赤外線カメラ部
24 赤外線カメラキャリブレーションデータ格納部
25 電子ペン方向プロジェクタ座標変換部
26 電子ペン3次元位置算出部
27 電子ペンの画面上座標産出部
28 電子ペン位置出力端子
30 情報処理部
31 記憶部
32 操作部
33 カメラ
34 電子ペン
51 座標検出部
53 距離検出部
54 3次元形状算出部
100 表示デバイス
101 プロジェクタ
102 投写中心
103 投写エリア
104 投写対象物
105 投写光軸
106 距離センサ
107 距離測定点
108 視点
109 視線方向
110 レンズシフト右上/ズーム最小時の投写エリア
111 レンズシフト右上/ズーム最大時の投写エリア
112 レンズシフト左上/ズーム最小時の投写エリア
113 レンズシフト左上/ズーム最大時の投写エリア
114 レンズシフト右下/ズーム最小時の投写エリア
115 レンズシフト右下/ズーム最大時の投写エリア
116 レンズシフト左下/ズーム最小時の投写エリア
117 レンズシフト左下/ズーム最大時の投写エリア
118 歪み補正後画像
119 歪み補正後画像の物理座標
120 視点画像としての歪み補正前画像
121 視点画像としての歪み補正前画像の仮の物理画像
122 平面の集合体
123 法線ベクトル
Claims (11)
- 投写光を投写面に投写する投写手段と、
前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、
前記投写面上の一点までの距離を検出する距離検出手段と、
前記投写光の座標系における前記一点の座標を検出する座標検出手段と、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する3次元形状算出手段と、
を備える投写型表示装置。 - 前記座標検出手段は、前記距離検出手段の距離測定開始点を原点とする座標系における前記投写面上の一点までの座標を、前記投写光の座標系における前記一点の座標に変換する座標変換手段を備える、請求項1に記載の投写型表示装置。
- 前記投写面上の投写領域は複数の四角形に分割されて構成されており、
前記3次元形状算出手段は、
前記投写領域を構成する複数の四角形のうち、前記歪み補正データによる歪み補正前画像と歪み補正後画像との間における前記投写領域における四角形領域の対応と、前記歪み補正前画像と歪み補正後画像との間における前記四角形領域を形成する四隅点の座標を抽出する歪み補正対応領域抽出手段、を備える請求項1又は2に記載の投射型表示装置。 - 前記3次元形状算出手段は、
前記歪み補正後画像が前記投写面に投写されたとき、前記歪み補正対応領域抽出手段で抽出された前記歪み補正後画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記投写手段の投写中心を原点とする座標系の座標として算出し、前記歪み補正前画像が或る視点から視認されたとき、歪み補正対応領域抽出手段で抽出された前記歪み補正前画像が投写される投写領域を構成する四角形領域の四隅点の座標を、前記視点を原点とする座標系の座標として算出する投写視点画像物理座標算出手段、を備える請求項3に記載の投写型表示装置。 - 前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記視点を原点とする座標系の座標に基づいて、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルを算出する領域対応平面の法線ベクトル算出手段、を備える請求項4に記載の投写型表示装置。 - 前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記投写面に投写された四角形領域が平面であると仮定したときの、前記平面に対する法線ベクトルに基づいて、前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標を含む平面を特定し、前記平面における四隅点の3次元座標を計算する距離検出位置平面特定手段、を備える請求項5に記載の投写型表示装置、 - 前記3次元形状算出手段は、
前記投写手段の投写中心を原点とする座標系の座標と、前記法線ベクトルに基づいて、前記一点の座標を含む平面に対応する領域と、前記平面の方程式のパラメータと、前記平面上の四隅点の3次元座標から、前記投写領域に構成された複数の四角形領域のうち、残りの領域に対応する平面の四隅点の3次元座標を算出する平面四隅点3次元位置算出手段をさらに備える、請求項6に記載の投射型表示装置。 - 前記平面四隅点3次元位置算出手段で算出された前記投写面の3次元形状に基づいて、前記投写面に投写される投写光の焦点補正を制御するフォーカス制御手段を備える、請求項7に記載の投写型表示装置。
- 前記投写面に電子ペンのペン先がタッチされることにより発光する赤外線を撮像し、前記撮像された領域における前記電子ペンの位置に基づいて、前記撮像された領域の座標系における原点から前記電子ペンのペン先方向へ向けた方向ベクトルを算出する赤外線撮像手段と、
前記方向ベクトルを、前記投写手段の投写中心を原点とする座標系に変換する電子ペン方向プロジェクタ座標変換手段と、
前記投写手段の投写中心を原点とする座標系に変換された方向ベクトルと、前記平面四隅点3次元位置算出手段により算出された前記残りの領域に対応する平面の四隅点の3次元座標に基づいて、前記電子ペンのペン先の位置を算出する電子ペン位置算出手段と、
前記投写手段の投写中心を原点とする座標系における前記電子ペンのペン先の座標の前記投写面上における座標、前記歪み補正後画像の前記投写手段の投写中心を原点とする座標、前記歪み補正後画像における座標、前記記憶手段に格納された歪み補正データから歪み補正前画像における座標を算出し、電子ペン位置を出力する電子ペンの画像上座標算出手段と、を備える、請求項7に記載の投写型表示装置。 - 投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置の制御方法であって、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する工程を備える、投射型表示装置の制御方法。 - 投写光を投写面に投写する投写手段と、前記投写手段による投写光を補正する歪み補正データを格納する記憶手段と、前記投写面上の一点までの距離を検出する距離検出手段と、前記投写光の座標系における前記一点の座標を検出する座標検出手段と、を備えた投射型表示装置のコンピュータに、
前記座標検出手段にて求められた前記投写光の座標系における前記一点の座標と、前記記憶手段に格納された歪み補正データから前記投写面の3次元形状を算出する処理を実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/006408 WO2018154634A1 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018154634A1 JPWO2018154634A1 (ja) | 2020-01-23 |
JP6804056B2 true JP6804056B2 (ja) | 2020-12-23 |
Family
ID=63253207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019501790A Active JP6804056B2 (ja) | 2017-02-21 | 2017-02-21 | 投写型表示装置、投写型表示装置の制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6804056B2 (ja) |
WO (1) | WO2018154634A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11614835B2 (en) | 2019-02-14 | 2023-03-28 | Sony Group Corporation | Information processing device that projects drawing information according to ratio of distances, information processing method, and recording medium |
JP7352768B2 (ja) * | 2019-06-10 | 2023-09-29 | パナソニックIpマネジメント株式会社 | プロジェクタのオートフォーカス制御システム |
CN113163186B (zh) * | 2020-12-03 | 2022-06-10 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、系统及存储介质 |
CN115150599B (zh) * | 2021-03-31 | 2023-11-28 | 成都极米科技股份有限公司 | 确定目标坐标的方法及装置 |
CN115733963A (zh) * | 2021-08-31 | 2023-03-03 | 成都极米科技股份有限公司 | 一种校正方法、装置、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3509652B2 (ja) * | 1999-08-23 | 2004-03-22 | 日本電気株式会社 | プロジェクタ装置 |
JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
-
2017
- 2017-02-21 WO PCT/JP2017/006408 patent/WO2018154634A1/ja active Application Filing
- 2017-02-21 JP JP2019501790A patent/JP6804056B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018154634A1 (ja) | 2020-01-23 |
WO2018154634A1 (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6804056B2 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
CN111935465B (zh) | 投影系统、投影装置以及其显示影像的校正方法 | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
US10091489B2 (en) | Image capturing device, image processing method, and recording medium | |
JP7145432B2 (ja) | 投影システム、画像処理装置および投影方法 | |
US20100328200A1 (en) | Device and related method for converting display screen into touch panel screen | |
KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
JP2010130225A (ja) | 投写型表示装置および投写用調整方法 | |
JP2008165800A (ja) | カーソル制御方法及び装置 | |
JP2013041166A (ja) | プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
JP2016178448A (ja) | 投影システム、プロジェクター装置、撮像装置、および、プログラム | |
WO2014084181A1 (ja) | 画像計測装置 | |
CN102724398A (zh) | 图像数据提供方法、组合方法及呈现方法 | |
JP2016085380A (ja) | 制御装置、制御方法、及び、プログラム | |
US9924066B2 (en) | Image processing apparatus, information processing method, and program | |
JP6990694B2 (ja) | プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム | |
US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
JP2015139087A (ja) | 投影装置 | |
JP2018009927A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5996233B2 (ja) | 画像撮像装置 | |
KR100917615B1 (ko) | 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치 | |
US10114473B2 (en) | Interactive system and remote device | |
JP5955003B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2017040542A (ja) | 情報処理装置、情報処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6804056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |