JP7671267B2

JP7671267B2 - 投影映像制御システム、方法及びプログラム

Info

Publication number: JP7671267B2
Application number: JP2022112502A
Authority: JP
Inventors: 達也小林; 恭治松島
Original assignee: KDDI Corp; Kansai University
Current assignee: KDDI Corp; Kansai University
Priority date: 2022-07-13
Filing date: 2022-07-13
Publication date: 2025-05-01
Anticipated expiration: 2042-07-13
Also published as: JP2024010912A

Description

本発明は、プロジェクタから投影対象物の所定の領域に映像を高精度で投影する投影映像制御システム、方法及びプログラムに係り、特に、レーザ走査型のプロジェクタに好適な投影映像制御システム、方法及びプログラムに関する。

近年、プロジェクタの小型化や高性能化が進み、利用シーンが拡大している。小型プロジェクタの光源にはレーザやLEDが用いられる。特に、レーザ光源と走査ミラーとを併用したレーザ走査方式のプロジェクタは、常に焦点が合うフォーカスフリー特性や、小型で低消費電力といった特性を持ち合わせており、携帯型の超小型プロジェクタに適している。

図22は、レーザ走査型プロジェクタの典型的な構成を示した図であり、RGB各色のレーザ光を合成して1本のビームに束ね、MEMS（微小電子機械システム）へ入射させてスクリーン上で二次元的に走査させることにより、目の残像を利用して二次元画像を形成する。

プロジェクタが投影対象物（スクリーン）に正対し、共に固定設置された環境下では投影映像を自動制御する必要性は乏しい。しかしながら、プロジェクタ及び投影対象物の少なくとも一方が動くような場合、投影領域内の動体の動きに応じて映像を制御したい場合、更には投影領域内の所定の領域に精度良く映像を投影したいような場合には投影映像制御システムが必要になる。

特許文献1には、プロジェクタの筐体に光の透過穴と光センサを設置し、スクリーンからの反射光を光センサで検知することでスクリーンに対する光軸の角度を推定し、自動的に台形補正を行う技術が開示されている。

特許文献2には、スクリーンの複数個所に光センサを設置することでスクリーンの前のプレゼンタを自動検知し、プレゼンタの目の近傍への投影光を減少させることによりプレゼンタの目を保護する技術が開示されている。

特許文献3には、3次元センサを用いて三次元空間中でスクリーンに適した平面領域を検出し、投影領域を自動で制御する技術が開示されている。

特許文献4には、スクリーンに複数の光センサを設置し、プロジェクタから位置合わせパタンを光センサに投影することにより、投影映像を所定の位置に正確に位置合わせする技術が開示されている。

特許文献5には、スクリーンに複数の反射材を設置し、反射光をカメラで撮像することでスクリーンの動きを検知し、投影映像を追従させる技術が開示されている。

特許文献6には、動体に複数の不可視光マーカを設置し、不可視光マーカをセンサで検出することで動体の位置を検知し、投影映像を追従させる技術が開示されている。

特許文献7には、投影映像の表示輝度などを自動調整するために設置される光センサの位置を精度良く検知し、光センサに評価用の映像を高精度に入光させる技術が開示されている。

特開2005-159426号公報特開2013-25014号公報特開2017-73705号公報特開平03-259188号公報特開2019-102931号公報特開2011-254411号公報特開2009-175355号公報

上記のいずれの従来技術においても、レーザ走査方式などの走査型プロジェクタから投影対象物の所定の投影対象領域に映像を高精度で投影することが困難であるという技術課題があった。

特許文献1ないし3が開示する投影映像制御システムは、共に投影映像を自動制御（台形補正・特定領域の減光・平面領域への投影制御）することが可能であるものの、投影対象領域への高精度な映像投影の用途に応用することが可能な技術では無かった。

特許文献4ないし7が開示する投影映像制御システムは、投影対象領域や評価用の光センサへの高精度な映像投影を目的とするものの、画像表示素子等に表示された画像を投影光学系等によって拡大投射する様な投射型プロジェクタへの適用を前提としている。したがって、走査型プロジェクタへ適用は困難であり、適用できたとしても投影制御の精度が十分では無かった。

図23は、プロジェクタを用いた照度センサの位置検出方法を模式的に示した図であり、投影映像のピクセル座標系でスポット状の明領域を走査し、明領域が照度センサの受光面に重なって照度センサの出力が変化したタイミングでの走査位置が照度センサの位置と見なされる。

明領域は輝度を極力高くする一方、暗領域は輝度を極力低くすることで、照度センサの受光面に明領域が重なった場合には高い照度値が、暗領域が重なった場合には投影光が一切入光しないので低い照度値が、それぞれ検知されるので、照度センサの位置を精度良く特定できるようになる。

投射型プロジェクタであれば、例えば投影画像中の一部の小さな円領域のみを明領域とし、残りを暗領域とした2値画像（パタン光）であって、明領域の位置が経時的（例えば、フレーム単位）に変化するように制御されたパタン光をプロジェクタから投影する。明領域が照度センサの受光面に重なると、図24(a)に示すように照度センサの出力が大きく変化するので、照度値がピーク値を取る明領域の位置を照度センサの位置と見なすことができる。

これに対して、走査型プロジェクタでは明領域を表示するビームスポットが光センサと重なった場合においても、同図(b)に示すようにレーザ等の走査がちょうど光センサと重なる僅かな時間以外は光センサに投影光が入光しないので、パタン光と光センサとの重複度と照度値との間に強い相関がない。そのため、照度値がピークを取る位置を光センサの位置として特定してしまうと位置合わせの誤差が大きくなるという課題があった。

本発明の目的は、上記の技術課題を解決し、特に走査型プロジェクタから投影対象物の所定の領域に映像を高精度で投影できる投影映像制御システム、方法及びプログラムを提供することにある。

上記の目的を達成するために、本発明は、投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、投影対象領域への投影を各照度センサのピクセル座標系における位置に基づいて制御する投影映像制御システムにおいて、ピクセル座標系で明領域及び暗領域を配置した複数のパタン光を所定の時間間隔で切り替えながら照度センサの存在領域へ順次に投影する順次投影手段と、投影したパタン光ごとに各時間間隔における照度センサの出力に基づいてその位置が明領域及び暗領域のいずれであるかを判別する明暗判別手段と、前記判別の結果に基づいて照度センサの位置を特定する位置特定手段とを具備した点に特徴がある。

なお、本発明はこのような特徴的な構成を備える投影映像制御システムとして実現することができるのみならず、かかる特徴的な構成を手順とする投影映像制御方法として実現したり、かかる手順をコンピュータに実行させる投影映像制御プログラムとして実現したりすることができる。

本発明によれば、特に走査型のプロジェクタから投影対象物の所定の領域に高精度に映像の投影を行うことができるようになる。

本発明を適用した投影映像制御システムの主要部の構成を示した機能ブロック図である。光マスクと照度センサとの関係を示した図である。投影対象領域と複数の照度センサとの相対的な位置関係を示した図である。センサ読取部の機能ブロック図である。投影映像を制御するピクセル座標系と投影対象物との関係を示した図である。投影映像制御システムの第1実施例の機能ブロック図である。第1実施形態における位置特定手順を示したフローチャートである。第1実施形態における水平方向の位置特定手順を模式的に示した図である。明領域及び暗領域の判別方法を示した図である。第1実施形態における垂直方向の位置特定手順を模式的に示した図である。投影映像制御システムの第2実施形態における位置特定手順を模式的に示した図である。終了条件の例を示した図である。投影映像制御システムの第3実施形態における位置特定手順を模式的に示した図である。投影映像制御システムの第4実施形態における位置特定手順を模式的に示した図である。投影映像制御システムの第5実施例の機能ブロック図である。第5実施形態における位置特定手順を示したフローチャートである。第5実施形態における光パタンの例を示した図である。第5実施形態における位置特定手順を模式的に示した図である。投影映像制御システムの第6実施例の機能ブロック図である。第6実施形態における位置特定手順を示したフローチャートである。第6実施形態における光パタンの例を示した図である。レーザ走査型プロジェクタの典型的な構成を示した図である。照度センサの位置検出方法を模式的に示した図である。投影型及び走査型の各プロジェクタによる照度センサの位置検出方法を模式的に示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明を適用した投影映像制御システム1の主要部の構成を示した機能ブロック図であり、投影対象物10、映像投影制御部20及び映像投影部30を主要な構成としている。

投影対象物10は、照射光の照度を検知する複数の照度センサ102、各照度センサ102の受光部へ入射する照射光の一部を遮蔽する光マスク101及び各照度センサ102が出力するセンサ信号を読み取って照度値に変換するセンサ読取部103を具備する。各照度センサ102は照射光が生成する投影映像を可視化する映像スクリーン等（図示省略）と一体又は別体に構成される。

図2は、光マスク101と照度センサ102との関係を示した図であり、光マスク101を通過した照射光のみが照度センサ102で受光される。光マスクの光を透過する領域（非マスク領域）の形状は矩形や円形の様な単純な形状でも良いし、複雑なパタン構造であっても良い。

図3は、投影対象物10において視聴用の映像が投影される投影対象領域R1と複数の照度センサ102との相対的な位置関係を示した図である。本実施形態では光マスク101が照度センサ102の受光部に設けられ、映像投影部30から見た各光マスク101の位置が対応する各照度センサ102の位置となるので、便宜上、各光マスク101の位置を各照度センサ102の位置と見做して説明する場合もある。

本実施形態では4つの照度センサ102及びその光マスク101が、映像投影部30による投影が物理的に可能な映像スクリーン上の被映像投影領域と投影対象領域R1との間隙領域内であって、当該投影対象領域R1との相対関係が既知の位置に固定されている。

各照度センサ102は光マスク101を透過した光を検知し、その強度に応じた電流値等のセンサ信号をセンサ読取部103へ出力する。各照度センサ102は一般にフォトダイオードやフォトトランジスタと呼ばれる、光をセンサ信号に変換して出力する任意のデバイスや、光の強度に応じて電気抵抗が低下するフォトレジスタ等のデバイスを用いて実装することが可能である。

センサ読取部103は、各照度センサ102が出力するセンサ信号を読み取って照度値に変換し、映像投影制御部20へ出力する。図4はセンサ読取部103の機能ブロック図であり、ここでは照度センサ102がフォトダイオードである場合を例にして説明する。

センサ読取部103は、各照度センサ102が出力する時刻tにおける電流値等のアナログのセンサ信号をデジタル信号に変換し、対応する照度値への変換やエラー補正などを行った上で、各照度センサ102の照度値L_1,t，L_2,t…L_K,t（Kは照度センサの個数）として映像投影制御部20へ逐次出力する。

なお、本実施形態では1つの光マスク101で1つの照度センサ102の受光部を覆うものとして説明するが、複数の照度センサ102を近接配置し、当該複数の照度センサ102の全ての受光部を1つの大型の光マスク101で覆い、光マスク101を透過した光を複数の照度センサ102の受光部によって漏れなく検出する構成としても良い。この場合、センサ読取部103は1つの光マスク101に対応する複数の照度センサ102の照度値を合算することで、あたかも一つの大きな照度センサ102を使用したように扱うことができる。なお、本実施形態では光マスク101を用いない構成としても良い。

前記映像投影制御部20は、パタン光順次投影部201、明暗判別部202、位置特定部203及び制御部204を具備し、センサ読取部103から取得した時刻tにおける各照度センサ102の照度値L_1,t，L_2,t…L_K,tに基づいて各照度センサ102の位置を特定する。更に、各照度センサ102の位置に基づいて投影対象領域R1を特定し、映像投影部30が投影対象領域R1に投影する映像に台形補正等の幾何変換や特定領域の減光補正等の各種制御を行う。

図5に示すように、投影対象物10の投影対象領域R1を矩形領域として、その外周近傍にK個（本実施形態では4個）の照度センサ102を配置し、その光マスク101を投影対象領域R1と同一平面上に固定配置する場合、各光マスク101の中心座標P_M,1，P_M,2，P_M,3，P_M,4及び投影対象領域R1を定義する四隅の座標P_T,1，P_T,2，P_T,3，P_T,4は、映像投影部30が投影する映像のピクセル座標系（u，v）で定義できる。

そして、各光マスク101の中心座標P_M,1～P_M,4を投影対象領域R1の四隅の各座標P_T,1～P_T,4に座標変換するホモグラフィ行列H_MTを用いることで、各光マスク101の中心座標から投影対象領域R1を特定することが可能になる。なお、光マスク101と投影対象領域R1とは既知の位置関係にあることから、ホモグラフィ行列H_MTは予め算出したものを使用することが可能である。つまり、各光マスク101の中心座標P_M,1，P_M,2，P_M,3，P_M,4を特定すれば投影対象領域R1を特定できる。

そこで、本実施形態では各光マスク101の位置で各照度センサ102の位置を代表するものとし、各光マスク101のピクセル座標系における位置を特定し、当該各光マスク101の位置に基づいて投影対象領域R1のピクセル座標系における位置を特定する。

なお、各照度センサ102に設けるマスクは全て同じ非マスク領域を有していても良いし、全て異なる非マスク領域を有していても良い。非マスク領域のサイズ（面積）も自由に設定することが可能であるが、照度センサ102の受光部よりも小さいサイズとすることが望ましい。そうすることで、照度センサ102は光マスク101を通過した光を漏れなく検出できるようになる。

パタン光順次投影部201は、投影先の被映像投影領域において明領域及び暗領域の配置がそれぞれ異なるように予め設計された複数のパタン光を順次に照射する。明暗判別部202は、明暗配置が異なるパタン光が照射される毎に、各照度センサ102が検知した照度値に基づいて当該照度センサ102が明領域及び暗領域のいずれに位置しているかを判別する。

位置特定部203は、投影したパタン光の明暗配置と各照度センサ102の位置が明領域及び暗領域のいずれであったかの判別結果に基づいて当該照度センサ102の位置を特定する。制御部204は、特定された各照度センサ102の位置に基づいて、映像投影部30が投影対象物10に投影する映像に台形補正等の幾何変換や特定領域の減光補正等の各種制御を行う。

このような映像投影制御部20は、CPU、ROM、RAM、バス、インタフェース等を備えた汎用のコンピュータやサーバに、以下に詳述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

映像投影部30は、補正後の映像データを映像スクリーンに投影して可視化する。本実施形態では、映像投影部30がレーザ走査型プロジェクタ装置である場合を例にして説明するが、投影型プロジェクタ装置にも適用できる。

図6は、投影映像制御システム1の第1実施例の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は映像投影制御部20の位置特定部203が存在領域絞込部203aを具備し、各照度センサ102の存在領域をパタン光の照射ごとに絞り込むことを繰り返して位置を特定するようにした点に特徴がある。

図7は、第1実施形態において各照度センサ102の位置を特定する手順を示したフローチャートであり、位置を特定する照度センサ102ごとに繰り返される。

ステップS1では、位置を特定する照度センサ102の一つが選択される。ステップS2では、選択した照度センサ102の存在領域に探索範囲が設定される。ここでは、探索範囲が被映像投影領域の全域に設定（初期化）される。ステップS3では、パタン光順次投影部201が存在領域を明暗各領域に2等分割する明暗配置のパタン光を照射する。

本実施形態では、初めに照度センサ102のピクセル座標系の水平方向（u方向）の位置を特定するために、最初は図8(a)に示すように、存在領域の左半分が明領域で右半分が暗領域となる明暗配置のパタン光が照射される。

ステップS4では、明暗判別部202が前記選択した照度センサ102の照度値に基づいて、その位置が明領域及び暗領域のいずれであるかを判別する。本実施形態では、図9に示すようにフレームレートの逆数よりも長い所定時間（透過光有無判定期間）T_cだけレーザ光を被映像投影領域内で走査してパタン光を投影する。

そして、同図(a)に示すようにパタン光の切換タイミングt_sから透過光有無判定期間T_c内に照度センサ102の照度値が一度でも所定の閾値τ_L以上となれば明領域に位置していると判別する。これに対して、同図(b)に示すように透過光有無判定期間T_c内に閾値τ_L以上となることが一度も無ければ暗領域に位置していると判別する。図示の例では照度センサ102の位置が明領域と判別される。

なお、明暗判別の方法は上記のように「t_sからt_s+T_cの期間内に照度値が閾値τ_Lを1回以上超える」に限定されるものではなく、「t_sからt_s+T_cの期間内に照度値が閾値τ_Lを所定回以上超える」や「t_sからt_s+T_cの期間内に照度値が閾値τ_L以上となる時間の合計が所定の閾値τ_Tを超える」や「t_sからt_s+T_cの期間内の照度値の合計が所定の閾値τ_{L_total}を超える」であっても良い。

照度値の閾値τ_Lは、照度センサ102にパタン光が入射していない状態の照度値を上回り、入射している状態の照度値を下回る値に設定する必要がある。この値はユーザの入力によって指定させても良いし、自動的に設定しても良い。自動的に設定するのであれば、例えば被映像投影領域全体を明領域として所定の時間T_A（T_A>T_C）だけ投影した際に検知された照度値の最大値（最小値、平均値、中央値などでも良い）をL_max、被映像投影領域全体を暗領域として所定の時間T_Aだけ投影した際に検知された照度値の最大値（最小値、平均値、中央値などでも良い）をL_minとし、L_maxとL_minとの中間の値として自動的に設定できる。

ステップS5では、存在領域絞込部203aが前記明暗判別の結果を光パタンの明暗配置と照らし合わせることで照度センサ102の存在領域を探索範囲の左半分の領域に絞り込む。ステップS6では、探索範囲が前記絞り込まれた存在領域に更新される。

ステップS7では、所定の終了条件が成立したか否かが判定される。本実施形態では存在領域の絞込回数に上限値を設定し、絞込回数が上限値に達したことを終了条件とすることができる。

終了条件が成立していなければステップS3へ戻り、図8(b)に示すように、絞り込まれた存在領域を探索範囲として、その左半分が明領域で右半分を含む他の領域が暗領域となる明暗配置の光パタンが照射される。ステップS4～S6では、照度センサ102の照度値に基づいてその存在領域が明領域及び暗領域のいずれかに絞り込まれて探索範囲が更新される。図示の例では存在領域が暗領域に絞り込まれる。

ステップS7において終了条件が成立していないと判定されるとステップS3へ戻り、図8(c)に示すように、絞り込まれた存在領域を探索範囲として、その左半分が明領域で右半分を含む他の領域が暗領域となる明暗配置の光パタンが投影される。ステップS4～S6では、照度センサ102の照度値に基づいてその存在領域が明領域及び暗領域のいずれかに絞り込まれて探索範囲が更新される。このような存在領域の絞り込みは、ステップS7で終了条件が成立したと判断されるまで繰り返される。

終了条件が成立するとステップS8へ進み、絞り込まれた最新の存在領域の水平方向座標又は当該存在領域の水平方向の中心座標が当該照度センサの102の水平方向位置と見なされる。ステップS9では、全ての照度センサ102について水平方向の位置特定が終了したか否かが判断される。終了していなければステップS1へ戻り、位置を特定する他の照度センサ102を選択して上記の各処理を繰り返す。

以上のようにして、全ての照度センサ102について水平方向の位置特定が終了すると、図10に示すように、次いで照度センサ102のピクセル座標系の垂直方向（v方向）の位置を特定するために、最初は同図(a)に示すように、垂直方向の上半分が明領域で下半分が暗領域となる明暗配置の光パタンを投影することで存在領域が絞り込まれる。

存在領域が暗領域に絞り込まれると、同図(b)に示すように、探索範囲を当該絞り込まれた存在領域に更新して、同様に上半分が明領域で下半分を含む他の領域が暗領域となる明暗配置の光パタンを投影することで存在領域が更に絞り込まれる。

存在領域が暗領域に絞り込まれると、同図(c)に示すように、探索範囲を当該絞り込まれた存在領域に更新して、同様に上半分が明領域で下半分を含む他の領域が暗領域となる明暗配置の光パタンを投影することで存在領域が更に絞り込まれる。このような存在領域の絞り込みも所定の終了条件が成立するまで繰り返される。

所定の終了条件が成立するとステップS8へ進み、絞り込まれた最新の存在領域の垂直方向座標又は当該存在領域の垂直方向の中心座標が当該照度センサの102の垂直方向位置と見なされる。ステップS9では、全ての照度センサ102について垂直方向の位置特定が終了したか否かが判断される。終了していなければステップS1へ戻り、位置を特定する他の照度センサ102を選択して上記の各処理を繰り返す。

本実施形態によれば、走査型プロジェクタを採用した投影映像制御システム1において、プロジェクタが投影対象物（スクリーン）に正対していない場合でも、映像を正確に投影対象領域R1へ高精度で投影できるようになる。

なお、上記の第1実施形態では照度センサ102が探索範囲内に必ず存在するという前提で、選択した照度センサ102が明領域に相当する照度値を出力していなければ暗領域に存在すると見做すものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、図11に示した第2実施形態のように、明領域と暗領域とを入れ替えた明暗配置のパタン光[同図(a')，(b')，(c')]も併せて照射し、明領域に相当する期間で閾値を超える照度値を出力した照度センサ102のみを当該明暗配置における明領域に位置していると判別するようにしても良い。

更に、上記の第2実施形態では照度センサ102が探索範囲内に必ず存在することを前提とするので、明暗配置が相互に逆のいずれのパタン光を照射した場合も明領域に相当する期間で閾値τ_Lを超える照度値が検知された場合は、図12に示すように、当該照度センサ102の位置が各領域の境界線上であると推定できる。

したがって、明暗配置が相互に逆のいずれのパタン光を照射した場合も存在領域が明領域と判別されたことを終了条件に追加し、当該終了上限が成立した場合は照度センサ102の位置を各領域の境界線上であると直ちに特定するようにしても良い。

図13は、本発明の第3実施形態に係る照度センサ102の位置特定手順を模式的に示した図である。上記の第1及び第2実施形態では、水平（又は垂直）方向の位置を特定した後に垂直（又は水平）方向の位置を特定するものとして説明したが、本実施形態は水平及び垂直方向の存在領域を交互に絞り込むようにした点に特徴がある。

本実施形態では、最初は被映像投影領域を探索範囲として、同図(a)に示すように上半分が明領域で下半分が暗領域となる明暗配置のパタン光を照射することで照度センサ102の存在領域を判別する。図示の例では存在領域が探索範囲の下半分と判別される。

次いで、同図(b)に示すように同じく被映像投影領域を探索範囲として、今度は水平方向の左半分が明領域で右半分が暗領域となる明暗配置のパタン光を照射することで照度センサの存在領域を判別する。図示の例では存在領域が探索範囲の右半分と判別される。

本実施形態では、上記2回一組の手順で存在領域を被映像投影領域の左下1/4の領域に絞り込めるので、続いて探索範囲を当該1/4領域に更新して、同図(c)に示すように上半分が明領域で下半分が暗領域となる明暗配置のパタン光を照射することで照度センサの存在領域を判別する。図示の例では存在領域が探索範囲の下半分と判別される。

次いで、同図(d)に示すように前記1/4領域を探索範囲として、左半分が明領域で右半分が暗領域となる明暗配置のパタン光を照射することで照度センサの存在領域を判別する。図示の例では存在領域が探索範囲の右半分と判別される。

本実施形態では、このような存在領域の絞り込みが所定の終了条件が成立するまで交互に繰り返され、終了条件が成立した時点での存在領域の水平方向座標および垂直方向座標に基づいて照度センサ102の位置が特定される。

図14は、本発明の第4実施形態に係る照度センサの位置特定手順を模式的に示した図である。上記の各実施形態では照度センサ102の位置を１個ずつ特定したが、本実施形態では複数の照度センサ102の位置を同時に特定できるようにした点に特徴がある。

本実施形態では、初めに被映像投影領域の全域を探索範囲として、同図(a)に示すように、その左半分を明領域、右半分を暗領域とする明暗配置のパタン光を照射する。更に、同図(a')に示すように明暗配置が逆のパタン光、すなわち左半分を暗領域、右半分を明領域とするパタン光を照度することで2つの照度センサ102の存在領域を判別する。

本実施形態では、同図(a)の明暗配置のパタン光照射により照度センサ102aの存在領域が左半分に絞り込まれ、同図(a')の明暗配置のパタン光照射により照度センサ102bの存在領域が右半分に絞り込まれる。

次いで、各照度センサ102a，102bの絞り込まれた存在領域を新たな探索範囲として、同図(b)に示すように左半分を明領域、右半分を暗領域とする明暗配置のパタン光を照射する。更に、同図(b')に示すように逆の明暗配置のパタン光を照射することで各照度センサ102の存在領域が更に絞り込まれる。

本実施形態では、同図(b)の明暗配置のパタン光照射により照度センサ102aの存在領域が被映像投影領域の左半分内の右半分に絞り込まれ、同図(b')の明暗配置のパタン光照射により、照度センサ102bの存在領域が被映像投影領域の右半分内の右半分に絞り込まれる。

次いで、各照度センサ102a，102bの絞り込まれた存在領域を新たな探索範囲として、同図(c)に示すように左半分を明領域、右半分を含む他の領域を暗領域とする明暗配置のパタン光を照射する。更に、同図(c')に示すように明暗配置が逆のパタン光を照射することで各照度センサの存在領域を絞り込む。

図示の例では、同図(c)の明暗配置のパタン光照射により照度センサ102aの存在領域が被映像投影領域の左半分内の右半分内の左半分に絞り込まれ、照度センサ102bの存在領域が被映像投影領域の右半分内の右半分内の左半分に絞り込まれる。そして、所定の終了条件が満たされた時点での各照度センサ102a，102bの存在領域に基づいて当該各照度センサ102a，102bの位置が特定される。本実施形態によれば1回の探索手順で複数の照度センサの位置を同時に特定できるので、位置特定に要する時間を短縮できるようになる。

図15は、本発明の第5実施形態に係る投影映像制御システム1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は映像投影制御部20の明暗判別部202が明暗時系列記録部202aを具備し、位置特定部203は各照度センサ102の位置を明暗時系列の記録に基づいて特定するようにした点に特徴がある。

上記の各実施形態では、照度センサ102の存在領域を明暗配置の異なるパタン光の照射ごとに判別し、判別結果に基づいて存在領域を順次に絞り込んで最終的に位置を特定するものとして説明した。これに対して、本実施形態では明暗配置の異なる複数のパタン光を照度センサ102の存在領域とは無関係に順次に照射し、全てのパタン光を所定の順序で照射した後、パタン光毎に記録した明暗判別結果の時系列に基づいて各照度センサ102の位置を特定する。

本実施形態では各パタン光の明暗配置が、各パタン光を所定の順序で照射した際に探索範囲内の各位置に出現する明暗の時系列が各位置に固有となるように予め設計されている。明暗時系列記憶部202aは、明暗配置の異なるパタン光が照射される毎に、各照度センサの照度値に基づいて、その位置が明領域及び暗領域のいずれであるかの二値情報を時系列で記録する。位置特定部203は照度センサ102毎に明暗の時系列記録に基づいてその位置を特定する。

図16は、本実施形態における各照度センサ102の位置特定手順を示したフローチャートである。

本実施形態では図17に一例を示すように、被映像投影領域を位置特定に要求される精度に応じてn×m（ここでは、4×4）ブロックに仮想的に分割し、左半分の第1，2列を暗領域、右半分の第3，4列を明領域とする第1パタン光[同図(a)]、第1，3列を暗領域、第2，4列を明領域とする第2パタン光[同図(b)]、上半分の第1，2行を暗領域、下半分の第3，4行を明領域とする第3パタン光[同図(c)]、第1，3行を暗領域、第2，4行を明領域とする第4パタン光[同図(d)]を用意する。

ステップS21では、初めに第1パタン光が選択される。ステップS22では、選択されたパタン光がパタン光順次投影部201により投影される。ステップS23では、各照度センサの照度値に基づく明暗が明暗判別部202により判別され、判別結果が明暗時系列記録部202aに、例えば明領域=1、暗領域=0として記録される。

ステップS24では、第1ないし第4パタン光の全てについて明暗判別結果の記録が完了したか否かが判定される。完了していなければステップS21へ戻り、第2，第3及び第4パタン光の順序で各パタン光が選択されて上記の各処理が繰り返される。

第1ないし第4パタン光の全てについて明暗判別結果の記録が完了するとステップS25へ進み、照度センサごとに明暗の時系列に基づいてその位置が特定される。図18に示すように、第1～第4の各パタン光に対応する明暗の時系列が[0101]の照度センサ102の位置は2行2列の位置に特定される。同様に、明暗の時系列が[1110]の照度センサ102の位置は3行4列の位置に特定される。

図19は、本発明の第6実施形態に係る投影映像制御システム1の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。

本実施形態は映像投影制御部20の明暗判別部202が明暗時系列記録部202aを具備し、位置特定部203が存在領域絞込部203aを具備し、各照度センサ102の存在領域を明暗時系列に基づいて絞り込むことを繰り返すようにした点に特徴がある。

図20は、第6実施形態において各照度センサ102の位置を特定する手順を示したフローチャートであり、照度センサ102ごとに繰り返される。

ステップS31では、位置を特定する照度センサ102の一つが選択される。ステップS32では、選択した照度センサ102の存在領域に探索範囲が設定される。ここでは、探索範囲が被映像投影領域の全域に設定（初期化）される。ステップS33では、図21に示すように、探索範囲を仮想的に4等分割して左側から第1，2列が明領域、第3，4列が暗領域の第5パタン光[同図(a)]、及び左側から第1，3列が明領域、第2，4列が暗領域の第6パタン光[同図(a')]が当該順序で選択される。

ステップS34では、最初に選択された第5パタン光がパタン光順次投影部201により投影される。ステップS35では、照度センサ102の照度値に基づく明暗が明暗判別部202により判別され、判別結果が明暗時系列記録部202aに、例えば明領域=1、暗領域=0として記録される。

ステップS36では、各パタン光について明暗の判別結果の記録が完了したか否かが判定される。完了していなければステップS33へ戻り、未選択の第6パタン光が選択されて上記の各処理が繰り返される。

2種のパタン光について明暗判別結果の記録が完了するとステップS37へ進み、照度センサ102の存在領域が明暗の時系列に基づいて絞り込まれる。図示の例では、第5パタン光の照射時には「明領域」と判別され、第6パタン光の照射時には「暗領域」と判別されているので、判別結果の時系列に基づいて照度センサ102の存在領域が第2列目に絞り込まれる。ステップS38では、次の探索範囲が第2列目の領域に更新される。

ステップS39では、所定の終了条件が成立したか否かが判定される。終了条件が成立していなければステップS33へ戻り、図21(b)，(b')に示すように、絞り込まれた存在領域を対象に上記の各処理が繰り返されて存在領域が更に絞り込まれる。

このような存在領域の絞り込みは所定の終了条件が成立するまで繰り返される。終了条件が成立するとステップS40へ進み、絞り込まれた最新の存在領域の水平方向座標が照度センサ102の水平方向位置に特定される。ステップS41では、全ての照度センサについて位置特定が終了したか否かが判断される。終了していなければステップS31へ戻り、位置特定する他の照度センサを選択して上記の各処理を繰り返す。水平方向の位置特定が終了すると、同様の処理が垂直方向にも行われて各照度センサの位置が特定される。

なお、上記の実施形態では探索範囲以外の領域は全て暗領域となる明暗配置のパタン光が照射されるものとして説明したが、本発明はこれのみに限定されるものでなく、探索範囲以外の領域は全て明領域となる明暗配置のパタン光が照射されるようにしても良い。

そして、上記の実施形態によれば視聴品質の高い映像投影が可能になるので、国連が主導する持続可能な開発目標（SDGs）の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」に貢献することが可能となる。

1…投影映像制御システム，10…投影対象物，20…映像投影制御部，30…映像投影部，101…光マスク，102…照度センサ，103…センサ読取部，201…パタン光順次投影部，202…明暗判別部，202a…明暗時系列記録部，203…位置特定部，203a…存在領域絞込部，204…制御部，

Claims

投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、投影対象領域への投影を各照度センサのピクセル座標系における位置に基づいて制御する投影映像制御システムにおいて、
ピクセル座標系で明領域及び暗領域を配置した複数のパタン光を所定の時間間隔で切り替えながら照度センサの存在領域へ順次に投影する順次投影手段と、
投影したパタン光ごとに各時間間隔における照度センサの出力に基づいて、その位置が明領域及び暗領域のいずれであるかを判別する明暗判別手段と、
前記判別の結果に基づいて照度センサの位置を特定する位置特定手段とを具備し、
前記位置特定手段は、パタン光の投影ごとに前記判別の結果に基づいてその存在領域を明領域及び暗領域のいずれかに絞り込む存在領域絞込手段を具備し、
前記順次投影手段は、前記絞り込んだ存在領域へのパタン光の投影を前記明領域又は暗領域の判別結果に基づいて前記存在領域が絞り込まれるごとに繰り返し、
前記位置特定手段は、所定の終了条件が成立したときの存在領域に基づいて照度センサの位置を特定することを特徴とする投影映像制御システム。
前記順次投影手段は、前記存在領域を明領域及び暗領域に等分割するパタン光の投影を繰り返し、
前記存在領域絞込手段は、パタン光の投影毎に照度センサの存在領域を絞り込むことを特徴とする請求項１に記載の投影映像制御システム。
前記順次投影手段は、前記存在領域を水平方向に明領域及び暗領域に等分割するパタン光の投影を繰り返し、
前記存在領域絞込手段は、パタン光の投影毎に照度センサの水平方向の存在領域を絞り込むことを特徴とする請求項２に記載の投影映像制御システム。
前記順次投影手段は、前記存在領域を垂直方向に明領域及び暗領域に等分割するパタン光の投影を繰り返し、
前記存在領域絞込手段は、パタン光の投影毎に照度センサの垂直方向の存在領域を絞り込むことを特徴とする請求項２に記載の投影映像制御システム。
前記順次投影手段は、前記明領域及び暗領域の配置が相互に逆の一対のパタン光を投影し、
前記存在領域絞込手段は、一対の一方のパタン光を投影した際に明領域と判別され、かつ一対の他方のパタン光を投影した際に暗領域と判別された照度センサの存在領域を、当該一方のパタン光を投影した際の明領域に絞り込むことを特徴とする請求項１に記載の投影映像制御システム。
前記位置特定手段は、前記一対のパタン光の一方及び他方のいずれに対しても明領域と判別された照度センサの位置を当該各領域の境界上に特定することを特徴とする請求項５に記載の投影映像制御システム。
前記順次投影手段は、前記存在領域を水平方向に明領域及び暗領域に2等分割するパタン光及び垂直方向に明領域及び暗領域に2等分割するパタン光を交互に投影し、
前記存在領域絞込手段は、照度センサの存在領域を水平及び垂直の各方向へ交互に絞り込むことを繰り返すことを特徴とする請求項１に記載の投影映像制御システム。
前記順次投影手段は、前記明領域及び暗領域の配置が相互に逆の一対のパタン光を投影し、
前記存在領域絞込手段は、一対の一方のパタン光を投影した際に明領域と判別された照度センサの存在領域を当該パタン光の明領域に絞り込み、一対の他方のパタン光を投影した際に明領域と判別された照度センサの存在領域を当該パタン光の明領域に絞り込むことを特徴とする請求項１に記載の投影映像制御システム。
投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、投影対象領域への投影を各照度センサのピクセル座標系における位置に基づいて制御する投影映像制御システムにおいて、
ピクセル座標系で明領域及び暗領域を配置した複数のパタン光を所定の時間間隔で切り替えながら照度センサの存在領域へ順次に投影する順次投影手段と、
投影したパタン光ごとに各時間間隔における照度センサの出力に基づいて、その位置が明領域及び暗領域のいずれであるかを判別する明暗判別手段と、
前記判別の結果に基づいて照度センサの位置を特定する位置特定手段とを具備し、
前記各パタン光は、順次に投影される投影先での明暗の時系列が位置毎に固有となるように明領域及び暗領域が配置され、
前記明暗判別手段は、順次に投影されるパタン光ごとに照度センサの出力に基づいてその位置が明領域及び暗領域のいずれであるかを時系列で記録する明暗時系列記録手段を具備し、
前記位置特定手段は、前記時系列の記録に基づいて照度センサの存在領域を絞り込む手段を具備し、
前記絞り込んだ存在領域に各パタン光を照射して記録した明暗の時系列に基づいて存在領域を更に絞り込むことを繰り返すことを特徴とする投影映像制御システム。
前記順次投影手段は、投影するパタン光を所定の時間周期で切り替え、
前記明暗判別手段は、各パタン光の投影時間内に所定の閾値を超える照度値を検知した照度センサの存在領域を当該パタン光の明領域と判別することを特徴とする請求項１ないし９のいずれかに記載の投影映像制御システム。
前記明暗判別手段は、前記存在領域全体を明領域とするパタン光を投影した際の照度値と暗領域とするパタン光を投影した際の照度値との中間値を前記所定の閾値に設定することを特徴とする請求項１０に記載の投影映像制御システム。
各照度センサへの入射光を所定のマスクパタンで遮蔽する光マスクを具備したことを特徴とする請求項１ないし９のいずれかに記載の投影映像制御システム。
投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、コンピュータが投影対象領域への投影を各照度センサのピクセル座標系における位置に基づいて制御する投影映像制御方法において、
ピクセル座標系で明領域及び暗領域を配置した複数のパタン光を所定の時間間隔で切り替えながら照度センサの存在領域へ順次に投影するステップと、
投影したパタン光ごとに各時間間隔における照度センサの出力に基づいて、その位置が明領域及び暗領域のいずれであるかを判別するステップと、
前記判別の結果に基づいて照度センサの位置を特定するステップとを含み、
前記位置を特定するステップは、パタン光の投影ごとに前記判別の結果に基づいてその存在領域を明領域及び暗領域のいずれかに絞り込み、
前記順次に投影するステップは、前記絞り込んだ存在領域へのパタン光の投影を前記明領域又は暗領域の判別結果に基づいて前記存在領域が絞り込まれるごとに繰り返し、
前記位置を特定するステップは、所定の終了条件が成立したときの存在領域に基づいて照度センサの位置を特定することを特徴とする投影映像制御方法。
投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、投影対象領域への投影を各照度センサのピクセル座標系における位置に基づいて制御する投影映像制御プログラムにおいて、
ピクセル座標系で明領域及び暗領域を配置した複数のパタン光を所定の時間間隔で切り替えながら照度センサの存在領域へ順次に投影する手順と、
投影したパタン光ごとに各時間間隔における照度センサの出力に基づいて、その位置が明領域及び暗領域のいずれであるかを判別する手順と、
前記判別の結果に基づいて照度センサの位置を特定する手順と、をコンピュータに実行させ、
前記位置を特定する手順は、パタン光の投影ごとに前記判別の結果に基づいてその存在領域を明領域及び暗領域のいずれかに絞り込み、
前記順次に投影する手順は、前記絞り込んだ存在領域へのパタン光の投影を前記明領域又は暗領域の判別結果に基づいて前記存在領域が絞り込まれるごとに繰り返し、
前記位置を特定する手順は、所定の終了条件が成立したときの存在領域に基づいて照度センサの位置を特定することを特徴とする投影映像制御プログラム。