JPWO2019171943A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2019171943A1
JPWO2019171943A1 JP2020504904A JP2020504904A JPWO2019171943A1 JP WO2019171943 A1 JPWO2019171943 A1 JP WO2019171943A1 JP 2020504904 A JP2020504904 A JP 2020504904A JP 2020504904 A JP2020504904 A JP 2020504904A JP WO2019171943 A1 JPWO2019171943 A1 JP WO2019171943A1
Authority
JP
Japan
Prior art keywords
projector
projected
projectors
light
light rays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020504904A
Other languages
English (en)
Inventor
洋祐 加治
洋祐 加治
高橋 巨成
巨成 高橋
哲男 池田
哲男 池田
忠義 村上
忠義 村上
佳恵 永野
佳恵 永野
英佑 藤縄
英佑 藤縄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019171943A1 publication Critical patent/JPWO2019171943A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本技術は、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
本技術の一側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定のプロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する。本技術は、複数のプロジェクタから画像を投影させるコンピュータに適用することができる。

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
複数台のプロジェクタを連動させて物体に画像を投影するPM(Projection Mapping)の技術がある。
複数のプロジェクタからの光線が物体上において重なる状態はオーバーラップと呼ばれる。例えば2台のプロジェクタを用いる場合、一方のプロジェクタの投影領域と他方のプロジェクタの投影領域が重なる領域が、オーバーラップが生じるオーバーラップ領域となる。
特開2011−257609号公報
各プロジェクタの内部パラメータ(焦点距離、主点、レンズ歪み)と、各プロジェクタと物体との相対的な姿勢の関係を正確に推定することができれば、オーバーラップ領域においても、ずれのない状態で画像を投影することができることになる。
実際の環境においてそのような投影を行うことは難しく、微妙な誤差による投影ずれが発生してしまう。その結果、オーバーラップ領域における解像度の低下が発生し、PMの品位も低下してしまう。
本技術はこのような状況に鑑みてなされたものであり、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができるようにするものである。
本技術の一側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部とを備える。
本技術の他の側面の情報処理装置は、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える。
本技術の一側面においては、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報が生成される。
本技術の他の側面においては、複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度が調整され、それぞれの前記プロジェクタから前記投影画像を投影させる処理が行われる。
本技術によれば、複数のプロジェクタから物体上に多重投影を行う場合において、オーバーラップ領域の解像度の低下を軽減することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る投影システムの構成例を示す図である。 投影システムの構成例を示すブロック図である。 投影制御部の構成例を示すブロック図である。 制御装置のハードウェア構成例を示すブロック図である。 投影制御部の投影マスク生成処理について説明するフローチャートである。 図5のステップS7において行われるオーバーラップ光線検出処理について説明するフローチャートである。 オーバーラップ光線検出の例を示す図である。 デプス情報の例を示す図である。 プロジェクタの決定の例を示す図である。 投影画像処理部の投影処理について説明するフローチャートである。 投影マスクを用いた投影の例を示す図である。 平面に画像を投影する場合の例を示す図である。 オーバーラップ領域のマスク値の例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.投影システムの構成
2.制御装置の構成
3.制御装置の動作
4.変形例
<投影システムの構成>
図1は、本技術の一実施形態に係る投影システムの構成例を示す図である。
図1の投影システムは、制御装置1に対してプロジェクタ#0,#1が有線または無線の通信を介して接続されることによって構成される。プロジェクタ#0,#1は、投影方向を物体22に向けるように、投影空間の上方に設置されている。プロジェクタ#0,#1の設置位置については、投影空間の上方の位置でなくてもよい。
制御装置1は、パーソナルコンピュータ、スマートフォン、タブレット端末等の装置から構成される。制御装置1は、プロジェクタ#0,#1による画像の投影を制御する。
プロジェクタ#0,#1は、制御装置1による制御に従って、所定の画像を表す投影光を照射する。
図1の投影システムにおいては、プロジェクタ#0,#1を用いて、床面21に置かれた物体22に画像が投影される。プロジェクタ#0が照射する投影光による画像は、主に、物体22の左側の位置に投影され、プロジェクタ#1が照射する投影光による画像は、主に、物体22の右側の位置に投影される。
物体22に対しては、例えば、金属の質感や木材の質感などの、物体22の表面の質感を表現するためのテクスチャ画像が投影される。質感の表現に限らず、各種の情報の提示や立体感の演出が画像の投影によって行われるようにしてもよい。
2台のプロジェクタを用いて画像を投影する例について主に説明するが、2台に限らず、さらに多くのプロジェクタを設けることも可能である。
このように、図1の投影システムは、あるプロジェクタが画像を投影することができない領域には他のプロジェクタが画像を投影するようにして、物体22の表面全体に画像を投影するPM(Projection Mapping)のシステムである。
図2は、投影システムの構成例を示すブロック図である。
図2の例においては、プロジェクタ#0,#1以外のプロジェクタも示されている。プロジェクタ#0乃至#Nのそれぞれには、表示デバイス、レンズ、光源などよりなる投影部の他に、カメラにより構成される撮像部が設けられる。
例えば、プロジェクタ#0の撮像部#0−1は、物体22を含む投影空間の状況を撮像する。撮像部#0−1により撮像された画像は、制御装置1において、投影画像の補正などに用いられる。
投影部#0−2は、制御装置1による制御に従って、投影部#0−2に割り当てられた投影画像を投影する。
プロジェクタ#1乃至#Nの撮像部#1−1乃至#N−1も、それぞれ、投影空間の状況を撮像する。投影部#1−2乃至#N−2も、それぞれ、自身に割り当てられた投影画像を投影する。
図2の例においては、投影部の数と撮像部の数が同じ数とされているが、それぞれの数が異なっていてもよい。また、撮像部が、プロジェクタに内蔵されているのではなく、離れた位置に設けられるようにしてもよい。制御装置1の構成が、プロジェクタに設けられるようにしてもよい。
図1の投影システムにおいては、オーバーラップ領域の投影ずれを防ぐため、各プロジェクタの投影光(光線)の強度が調整される。
<制御装置の構成>
図2に示すように、制御装置1は、撮像画像処理部31、投影画像処理部32、および投影制御部33から構成される。
撮像画像処理部31は、各プロジェクタの撮像部により撮像された画像に基づいて、プロジェクタと物体22との相対的な姿勢の関係などを推定する。撮像画像処理部31により推定された姿勢の関係を表す情報は投影画像処理部32に供給される。
投影画像処理部32は、物体22を投影対象として各プロジェクタから投影させる投影画像を生成する。投影画像処理部32は、適宜、撮像画像処理部31により推定されたプロジェクタと物体22との姿勢の関係に基づいて、幾何補正や輝度補正などの各種の画像処理を投影画像に対して施す。投影画像処理部32は、各種の画像処理を施すことによって生成した投影画像をそれぞれのプロジェクタに出力し、物体22に対して投影させる。
また、投影画像処理部32は、投影制御部33により生成された投影マスクに基づいて、投影画像を構成する各画素の投影光の強度を調整する。投影マスクは、投影画像の各画素のマスク値を含む情報である。マスク値は、投影光の強度(ゲイン)を表す。投影マスクはプロジェクタ毎に用意される。
投影制御部33は、各プロジェクタ用の投影マスクを生成し、投影画像処理部32に出力する。
投影制御部33に対しては、各プロジェクタの内部パラメータ(焦点距離、主点、レンズ歪み)、各プロジェクタの外部パラメータ、投影対象の物体の外部パラメータ、および、投影対象の物体の3Dモデルデータが入力される。各プロジェクタの外部パラメータと、投影対象の物体の外部パラメータに基づいて、各プロジェクタと投影対象の物体との相対的な姿勢の関係が推定される。
投影制御部33による投影マスクの生成は、これらの情報が例えば制御装置1のユーザにより入力されることに応じてソフトウェア的に行われる。投影マスクの生成のために行われる、後述する光線検出などの処理も、ソフトウェアによる計算によって行われる処理である。
図3は、投影制御部33の構成例を示すブロック図である。
図3に示すように、投影制御部33は、デプス算出部51、オーバーラップ光線検出部52、投影プロジェクタ決定部53、および投影マスク生成部54から構成される。各プロジェクタの内部パラメータ、各プロジェクタと物体の外部パラメータ、および、物体の3Dモデルデータはデプス算出部51に供給される。
デプス算出部51は、外部から供給された情報に基づいて、各プロジェクタを基準とした、投影対象の物体表面上の各位置までのデプス(奥行き)を算出し、算出したデプスを表す情報であるデプス情報を生成する。
デプス算出部51は、デプス情報をデプス情報バッファ51Aに記憶させる。デプス情報バッファ51Aには、プロジェクタ#0のデプス情報、プロジェクタ#1のデプス情報、・・・といったように、各プロジェクタのデプス情報が記憶される。
オーバーラップ光線検出部52は、各プロジェクタのデプス情報をデプス情報バッファ51Aから読み出して取得する。
オーバーラップ光線検出部52は、デプス情報を参照し、あるプロジェクタの投影画像の画素の光線が、物体表面上において、他のプロジェクタの光線とオーバーラップしているか否かの判定を行う。オーバーラップ光線検出部52は、このような判定であるオーバーラップ光線検出を、各プロジェクタの、各画素に注目して行う。
投影プロジェクタ決定部53は、オーバーラップ光線検出部52による判定結果に基づいて、複数の光線がオーバーラップしている物体表面上の位置を特定する。投影プロジェクタ決定部53は、複数の光線がオーバーラップしている物体表面上の位置について、どのプロジェクタからの光線により、何%の強度で照射するのかを決定する。
例えば、投影プロジェクタ決定部53は、あるプロジェクタからの光線を100%の強度で照射し、他のプロジェクタからの光線を0%の強度で照射するといったように、オーバーラップする光線のマスク値を、二値のうちのいずれかの値として決定する。マスク値が0%であることは、そのマスク値が設定された画素から光線を照射しない、すなわち、黒色を投影することを表す。
このように、投影マスクは、複数のプロジェクタからの光線がオーバーラップして物体表面上の所定の位置を照射している場合に、その位置を、どのプロジェクタからの光線によって照射するのかを表す情報である。オーバーラップする光線が照射する物体表面上の位置に対応するマスク値として100%の値が設定されているプロジェクタからは、最大の強度の光線でその位置を照射し、0%の値が設定されているプロジェクタからは、その位置を照射しないことを表す。
あるプロジェクタから30%の強度で光線を照射し、他のプロジェクタから70%の強度で光線を照射するといったように、100%と0%の二値以外の値としてマスク値が適応的に制御されるようにしてもよい。
投影マスク生成部54は、投影プロジェクタ決定部53による決定結果に基づいて各プロジェクタの投影マスクを生成する。投影マスク生成部54により生成された投影マスクは投影画像処理部32に供給され、光線の調整に用いられる。
オーバーラップ光線検出部52によるオーバーラップ光線検出と、投影プロジェクタ決定部53によるプロジェクタの決定については後に詳述する。
図4は、制御装置1のハードウェア構成例を示すブロック図である。
制御装置1は、図4に示すような構成を有するコンピュータにより構成される。
CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107が接続される。また、入出力インタフェース105には、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、リムーバブルメディア111を駆動するドライブ110が接続される。
図2、図3に示す制御装置1の機能部のうちの少なくとも一部が、図4のCPU101により所定のプログラムが実行されることによって実現されることになる。
<制御装置の動作>
ここで、以上のような構成を有する制御装置1の動作について説明する。
はじめに、図5のフローチャートを参照して、投影制御部33の投影マスク生成処理について説明する。
以下においては、説明の便宜上、プロジェクタ#0とプロジェクタ#1の2台のプロジェクタを用いる場合について説明するが、プロジェクタの台数が増えた場合も同様の処理が行われる。
ステップS1において、デプス算出部51は、外部から入力された、各プロジェクタの内部パラメータと外部パラメータを取得する。
ステップS2において、デプス算出部51は、外部から入力された、投影対象の物体の3Dモデルデータと外部パラメータを取得する。
ステップS3において、デプス算出部51は、各プロジェクタの外部パラメータと、投影対象の物体の外部パラメータに基づいて、各プロジェクタと物体との相対的な姿勢の関係を推定する。また、デプス算出部51は、推定した姿勢の関係などに基づいて、各プロジェクタを基準とした、投影対象の物体表面上の各位置までのデプスを算出する。デプス算出部51により算出されたデプスを表すデプス情報はデプス情報バッファ51Aに記憶される。
ステップS4において、オーバーラップ光線検出部52は、各プロジェクタのデプス情報をデプス情報バッファ51Aから読み出すことによって取得する。
ステップS5において、オーバーラップ光線検出部52は、1つのプロジェクタに注目する。
ステップS6において、オーバーラップ光線検出部52は、注目するプロジェクタの投影画像の1つの画素に注目する。例えば左上端の画素から順に注目される。
ステップS7において、オーバーラップ光線検出部52はオーバーラップ光線検出処理を行う。オーバーラップ光線検出処理は、注目する画素の光線が、物体表面上において、他のプロジェクタの光線とオーバーラップしているか否かを判定する処理となる。
ここで、図6のフローチャートを参照して、図5のステップS7において行われるオーバーラップ光線検出処理について説明する。
ステップS31において、オーバーラップ光線検出部52は、注目する画素の光線追跡を行う。
ステップS32において、オーバーラップ光線検出部52は、注目する画素の光線が、投影対象の物体の表面に衝突するか否かを判定する。この判定は、注目するプロジェクタのデプス情報を参照して行われる。
注目する画素の光線が投影対象の物体の表面に衝突するとステップS32において判定した場合、ステップS33において、オーバーラップ光線検出部52は、注目する画素の光線が衝突する物体表面上の点である衝突点P0を、他のプロジェクタの座標系の点P’0に変換する。
プロジェクタ#0が注目されている場合、衝突点P0は、プロジェクタ#0を基準とした座標系の点となり、点P’0は、プロジェクタ#1を基準とした座標系の点となる。
ステップS34において、オーバーラップ光線検出部52は、点P’0の逆光線追跡を行い、プロジェクタ#1を基準とした、衝突点P0に対応する点である点P1を算出する。点P’0の逆光線追跡は、プロジェクタ#1のデプス情報を参照して行われる。
ステップS35において、オーバーラップ光線検出部52は、点P’0と点P1が3次元空間上の同一の点であるか否かを判定する。
点P’0と点P1が同一の点であるとステップS35において判定した場合、ステップS36において、オーバーラップ光線検出部52は、衝突点P0を照射する、注目する画素の光線がオーバーラップ光線であると判定する。
図7は、オーバーラップ光線検出の例を示す図である。
図7の例においては、床面151上の略立方体の物体152が、投影対象の物体として示されている。
物体152の形状が、3Dモデルデータに基づいて特定される。また、プロジェクタ#0と物体152の姿勢の関係が、プロジェクタ#0と物体152の外部パラメータに基づいて推定される。同様に、プロジェクタ#1と物体152の姿勢の関係が、プロジェクタ#1と物体152の外部パラメータに基づいて推定される。
例えば、プロジェクタ#0が注目されており、プロジェクタ#0の投影画像の所定の画素の光線が、物体152の上面隅の点Pに衝突する場合、点Pが、プロジェクタ#1の光線によって照射されるか否かが判定される。
図8は、デプス情報の例を示す図である。
図8のAは、プロジェクタ#0のデプス情報を表し、図8のBは、プロジェクタ#1のデプス情報を表す。
図8のAにおいて、物体152を表す立方体に色が付されていることは、プロジェクタ#0を基準としたときに、物体152が床面151より近い位置にあることを表す。左上の黒丸が図7の点Pに対応する。
点Pは、プロジェクタ#0を基準とした座標系では衝突点P0として表される。衝突点P0は、プロジェクタ#1を基準とした座標系の点P’0として変換される。座標系の変換は、例えば、プロジェクタ#0,#1のそれぞれと物体152との姿勢の関係に基づいて算出されるパラメータを用いて行われる。
点P’0の逆光線追跡を行うことにより、プロジェクタ#1を基準とした、衝突点P0に対応する点である点P1が算出される。図8のBにおいて、物体152を表す立方体に色が付されていることは、プロジェクタ#1を基準としたときに、物体152が床面151より近い位置にあることを表す。上方の黒丸が点P1に対応する。
点P’0と点P1が3次元空間上で同一の点である場合、注目している画素の光線である、図7の点Pを照射するプロジェクタ#0の光線が、オーバーラップ光線であると判定される。
このように、注目する画素の光線がオーバーラップ光線であるとステップS35において判定された後、図5のステップS7に戻り、それ以降の処理が行われる。
注目する画素の光線が投影対象の物体の表面に衝突しないとステップS32において判定された場合、または、点P’0と点P1が同一の点ではないとステップS35において判定された場合も同様に、図5のステップS7に戻り、それ以降の処理が行われる。この場合、注目する画素の光線がオーバーラップ光線ではないと判定されたことになる。
図5の説明に戻り、ステップS8において、投影プロジェクタ決定部53は、オーバーラップ光線検出処理の結果に基づいて、注目する画素の光線が照射する物体表面上の位置を照射するプロジェクタを決定する。
投影プロジェクタ決定部53は、例えば、注目する画素の光線がオーバーラップ光線ではないと判定された場合、注目する画素の光線が照射する物体表面上の位置を照射するプロジェクタとして、注目しているプロジェクタを決定する。
一方、投影プロジェクタ決定部53は、注目する画素の光線がオーバーラップ光線であると判定された場合、オーバーラップ光線が照射する物体表面上の位置を照射するプロジェクタとして、プロジェクタ#0とプロジェクタ#1のうちのいずれかを決定する。
具体的には、投影プロジェクタ決定部53は、プロジェクタ#0の光線の物体に対する入射角と、プロジェクタ#1の光線の物体に対する入射角を計算し、入射角が小さい光線を照射するプロジェクタを決定する。3台以上のプロジェクタの光線がオーバーラップしている場合、入射角が最も小さい光線を照射するプロジェクタが決定される。
図9は、プロジェクタの決定の例を示す図である。
例えば、点Pを照射する直線矢印L0で示すプロジェクタ#0の光線と、直線矢印L1で示すプロジェクタ#1の光線とがオーバーラップする場合、プロジェクタ#0の光線の入射角θp0と、プロジェクタ#1の光線の入射角θp1が求められる。図9の例においては、入射角θp0の方が入射角θp1より小さい。この場合、点Pを照射するプロジェクタとしてプロジェクタ#0が決定される。
このようにして決定されたプロジェクタの情報が、投影プロジェクタ決定部53から投影マスク生成部54に供給される。
図5のステップS9において、投影マスク生成部54は、投影プロジェクタ決定部53による決定を反映させることによって、各プロジェクタの投影マスクを更新する。
例えば、図9に示すようにしてプロジェクタの決定が行われた場合、プロジェクタ#0の投影マスクの、注目する画素のマスク値には100%の値が設定される。また、プロジェクタ#1の投影マスクの、点Pに対応する画素(光線が点Pを照射する画素)のマスク値には0%の値が設定される。
図5のステップS10において、オーバーラップ光線検出部52は、注目するプロジェクタの投影画像を構成する全ての画素に注目したか否かを判定する。全ての画素に注目していないとステップS10において判定された場合、ステップS6に戻り、注目する画素を切り替えて以上の処理が繰り返される。
一方、注目するプロジェクタの投影画像を構成する全ての画素に注目したとステップS10において判定した場合、ステップS11において、オーバーラップ光線検出部52は、全てのプロジェクタに注目したか否かを判定する。
全てのプロジェクタに注目していないとステップS11において判定した場合、ステップS12において、オーバーラップ光線検出部52は、注目するプロジェクタを他のプロジェクタに切り替える。その後、ステップS6に戻り、同様の処理が繰り返される。
全てのプロジェクタに注目したとステップS11において判定された場合、ステップS13において、投影マスク生成部54は、各プロジェクタの投影マスクを出力し、処理を終了させる。投影マスク生成部54から出力された投影マスクは、投影画像処理部32において各プロジェクタから照射させる光線の調整に用いられる。
次に、図10のフローチャートを参照して、投影画像処理部32の投影処理について説明する。
図10の処理は、以上の処理が行われることによって投影マスクが生成された後に行われる。投影画像処理部32に対しては各プロジェクタの投影画像のデータが入力される。
ステップS51において、投影画像処理部32は、各プロジェクタの投影画像の各画素の光線の強度を、各プロジェクタの投影マスクを用いて調整する。
例えば、図9を参照して説明したようにして、点Pに光線を照射するプロジェクタとしてプロジェクタ#0が決定された場合、点Pを照射するプロジェクタ#0の光線は、強度が100%になるように、プロジェクタ#0の投影マスクに基づいて調整される。また、点Pを照射するプロジェクタ#1の光線は、強度が0%になるように、プロジェクタ#1の投影マスクに基づいて調整される。
ステップS52において、投影画像処理部32は、各プロジェクタを制御し、調整後の強度の光線を用いて投影画像を投影させる。
以上の処理が、投影画像の投影が行われている間、繰り返される。投影画像の投影が終了した場合、図10の処理は終了となる。
図11は、投影マスクを用いた投影の例を示す図である。
例えば、物体152の上面152Aの全体が、プロジェクタ#0の投影範囲とプロジェクタ#1の投影範囲が重畳するオーバーラップ領域であるものとする。プロジェクタ#0が上面152Aの各位置を照射するそれぞれの光線と、プロジェクタ#1が上面152Aの各位置を照射するそれぞれの光線はオーバーラップ光線となる。
この場合、プロジェクタ#0の投影マスクのマスク値のうち、破線L11で示す上面152Aの左側に光線を照射する画素のマスク値には100%の値が設定され、上面152Aの右側に光線を照射する画素のマスク値には0%の値が設定される。
このような投影マスクに基づいてプロジェクタ#0の投影画像の各画素の光線の強度が調整されることにより、図11の下段に一点鎖線で示すように、上面152Aの左側にはプロジェクタ#0の光線だけが照射される。プロジェクタ#0が投影する画像によって、上面152Aの左側のテクスチャが表現される。
図11の下段のグラフにおいて、横軸が上面152A上の位置を表し、縦軸がマスク値(光線の強度)を表す。
一方、プロジェクタ#1の投影マスクのマスク値のうち、破線L11で示す上面152Aの右側に光線を照射する画素のマスク値には100%の値が設定され、上面152Aの左側に光線を照射する画素のマスク値には0%の値が設定される。
このような投影マスクに基づいてプロジェクタ#1の投影画像の各画素の光線の強度が調整されることにより、図11の下段に実線で示すように、上面152Aの右側には、プロジェクタ#1の光線だけが照射される。プロジェクタ#1が投影する画像によって、上面152Aの右側のテクスチャが表現される。
以上のように、オーバーラップ領域を検出し、オーバーラップ領域の画像については例えば1台のプロジェクタから投影が行われるようにすることにより、物体表面上におけるテクスチャ画像の解像度の低下を軽減することが可能になる。また、明るさの均一化を図ることが可能になる。
仮に、図12に示すように平面に画像を投影する場合、プロジェクタ#0の投影領域とプロジェクタ#1の投影領域とを特定できれば、破線L21で表される中間位置に境界を設定し、上述したような二値からなるマスク値を容易に設定することが可能となる。画像の投影対象が立体的な物体であることから、光線追跡を行い、各画素の光線が物体表面に衝突するか否かなどを判定する必要があることになる。
図12において、台形状で表される領域A0がプロジェクタ#0の投影領域であり、領域A1がプロジェクタ#1の投影領域である。
<変形例>
画像を投影しているプロジェクタの切り替わりを目立ちにくくするため、オーバーラップ領域の投影が、2台のプロジェクタを用いて行われるようにしてもよい。
この場合、2台のプロジェクタによって重畳して投影を行うオーバーラップ領域のマスク値は、例えば0〜100%の範囲の連続値として変化するように設定される。
図13は、オーバーラップ領域のマスク値の例を示す図である。
図13の例においては、図11の破線L11の位置を挟む、位置p21から位置p22までの領域がオーバーラップ領域として設定されている。
オーバーラップ領域に対応するプロジェクタ#0のマスク値は、位置p21から位置p22に向かうにつれて100%から0%に徐々に下がるように設定される。また、オーバーラップ領域に対応するプロジェクタ#1のマスク値は、位置p22から位置p21に向かうにつれて100%から0%に徐々に下がるように設定される。
ソフトウェアの処理によってオーバーラップ領域が検出されるものとしたが、実空間において各プロジェクタから投影した画像をカメラによって撮像し、撮像して得られた画像に基づいてオーバーラップ領域が検出されるようにしてもよい。
プロジェクタとは別の筐体の装置として制御装置1が用意されるものとしたが、複数のプロジェクタのうちのいずれかに、制御装置1の上述した機能が搭載されるようにしてもよい。
複数のプロジェクタのそれぞれと制御装置1が有線または無線を介して接続されるものとしたが、インターネットを介して接続されるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図4に示されるリムーバブルメディア111に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
(1)
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部を備える
情報処理装置。
(2)
前記生成部は、前記所定の位置を1つの前記プロジェクタから照射することを表す情報を含む前記マスク情報を生成する
前記(1)に記載の情報処理装置。
(3)
前記所定の位置を照射する1つの前記プロジェクタを、それぞれの前記プロジェクタが前記所定の位置を照射する光線の角度に基づいて決定する決定部をさらに備える
前記(2)に記載の情報処理装置。
(4)
前記決定部は、前記所定の位置に光線を照射する複数の前記プロジェクタのうち、前記所定の位置に対する入射角が最も小さい光線を照射する前記プロジェクタを、前記所定の位置を照射する1つの前記プロジェクタとして決定する
前記(3)に記載の情報処理装置。
(5)
前記生成部は、前記所定の位置を照射する前記プロジェクタ用の前記マスク情報として、前記所定の位置を最大の強度で照射することを表す情報を含む前記マスク情報を生成し、前記所定の位置を照射しない前記プロジェクタ用の前記マスク情報として、前記所定の位置を照射しないことを表す情報を含む前記マスク情報を生成する
前記(3)または(4)に記載の情報処理装置。
(6)
複数の前記プロジェクタの投影光の光線追跡を行うことによって前記重畳光線を検出する検出部をさらに備える
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記検出部は、複数の前記プロジェクタの内部パラメータ、前記プロジェクタと前記物体との姿勢に関する情報、および、前記物体のモデルデータに基づいて、前記重畳光線を検出する
前記(6)に記載の情報処理装置。
(8)
情報処理装置が、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
情報処理方法。
(9)
コンピュータに、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
処理を実行させるためのプログラム。
(10)
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える
情報処理装置。
(11)
情報処理装置が、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
それぞれの前記プロジェクタから前記投影画像を投影させる
情報処理方法。
(12)
コンピュータに、
複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
それぞれの前記プロジェクタから前記投影画像を投影させる
処理を実行させるためのプログラム。
1 制御装置, 31 撮像画像処理部, 32 投影画像処理部, 33 投影制御部, 51 デプス算出部, 52 オーバーラップ光線検出部, 53 投影プロジェクタ決定部, 54 投影マスク生成部

Claims (12)

  1. 複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する生成部を備える
    情報処理装置。
  2. 前記生成部は、前記所定の位置を1つの前記プロジェクタから照射することを表す情報を含む前記マスク情報を生成する
    請求項1に記載の情報処理装置。
  3. 前記所定の位置を照射する1つの前記プロジェクタを、それぞれの前記プロジェクタが前記所定の位置を照射する光線の角度に基づいて決定する決定部をさらに備える
    請求項2に記載の情報処理装置。
  4. 前記決定部は、前記所定の位置に光線を照射する複数の前記プロジェクタのうち、前記所定の位置に対する入射角が最も小さい光線を照射する前記プロジェクタを、前記所定の位置を照射する1つの前記プロジェクタとして決定する
    請求項3に記載の情報処理装置。
  5. 前記生成部は、前記所定の位置を照射する前記プロジェクタ用の前記マスク情報として、前記所定の位置を最大の強度で照射することを表す情報を含む前記マスク情報を生成し、前記所定の位置を照射しない前記プロジェクタ用の前記マスク情報として、前記所定の位置を照射しないことを表す情報を含む前記マスク情報を生成する
    請求項3に記載の情報処理装置。
  6. 複数の前記プロジェクタの投影光の光線追跡を行うことによって前記重畳光線を検出する検出部をさらに備える
    請求項1に記載の情報処理装置。
  7. 前記検出部は、複数の前記プロジェクタの内部パラメータ、前記プロジェクタと前記物体との姿勢に関する情報、および、前記物体のモデルデータに基づいて、前記重畳光線を検出する
    請求項6に記載の情報処理装置。
  8. 情報処理装置が、
    複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
    情報処理方法。
  9. コンピュータに、
    複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含む、投影画像の各画素の光線の強度の調整に用いられるマスク情報を生成する
    処理を実行させるためのプログラム。
  10. 複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、それぞれの前記プロジェクタから前記投影画像を投影させる投影処理部を備える
    情報処理装置。
  11. 情報処理装置が、
    複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
    それぞれの前記プロジェクタから前記投影画像を投影させる
    情報処理方法。
  12. コンピュータに、
    複数のプロジェクタの投影光の光線が重畳光線として照射する、投影対象となる物体表面上の所定の位置を所定の前記プロジェクタから照射することを表す情報を含むように生成されたマスク情報に基づいて、それぞれの前記プロジェクタの投影画像の各画素の光線の強度を調整し、
    それぞれの前記プロジェクタから前記投影画像を投影させる
    処理を実行させるためのプログラム。
JP2020504904A 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム Pending JPWO2019171943A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018039312 2018-03-06
JP2018039312 2018-03-06
PCT/JP2019/006201 WO2019171943A1 (ja) 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2019171943A1 true JPWO2019171943A1 (ja) 2021-03-04

Family

ID=67846752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504904A Pending JPWO2019171943A1 (ja) 2018-03-06 2019-02-20 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11134232B2 (ja)
EP (1) EP3764638A4 (ja)
JP (1) JPWO2019171943A1 (ja)
CN (1) CN111788826B (ja)
WO (1) WO2019171943A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2017050689A (ja) * 2015-09-01 2017-03-09 富士通株式会社 画像投影装置および画像投影方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004507954A (ja) * 2000-06-13 2004-03-11 パノラム テクノロジーズ,インコーポレイテッド. 複数ビデオプロジェクタの継目なし統合の方法及び装置
JP2002298395A (ja) * 2001-03-30 2002-10-11 Nihon University トラッキングエラー検出方法及び装置
JP4570839B2 (ja) * 2002-09-17 2010-10-27 株式会社リコー 光学式座標入力装置及び光学式座標入力方法
CN101116049A (zh) * 2005-02-10 2008-01-30 有限会社策划设计工程 指示器光跟踪方法、程序及其记录媒体
JP2008004250A (ja) * 2006-05-24 2008-01-10 Sony Corp 光ディスク装置及び光ピックアップ
US7936361B2 (en) * 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
JP5278890B2 (ja) * 2007-11-15 2013-09-04 独立行政法人情報通信研究機構 光捕捉追尾装置
CN101718529B (zh) * 2009-11-30 2011-06-08 重庆大学 多光束形变检测装置及其使用方法
JP5596427B2 (ja) 2010-06-09 2014-09-24 日本電信電話株式会社 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
FR2969319A1 (fr) * 2010-12-20 2012-06-22 Optinnova Dispositif de video-projection interactif autocalibre
JP2015125705A (ja) * 2013-12-27 2015-07-06 船井電機株式会社 画像表示装置
CN106200217B (zh) * 2015-05-04 2019-02-05 深圳光峰科技股份有限公司 拼接投影显示系统一致性校正方法及装置
US9693049B2 (en) * 2015-08-28 2017-06-27 Christie Digital Systems Usa, Inc. Projection mapping video pipeline

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP2017050689A (ja) * 2015-09-01 2017-03-09 富士通株式会社 画像投影装置および画像投影方法

Also Published As

Publication number Publication date
US20210051303A1 (en) 2021-02-18
CN111788826A (zh) 2020-10-16
US11134232B2 (en) 2021-09-28
EP3764638A4 (en) 2021-04-28
EP3764638A1 (en) 2021-01-13
CN111788826B (zh) 2023-07-04
WO2019171943A1 (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
KR102618542B1 (ko) ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US10262230B1 (en) Object detection and identification
JP6784295B2 (ja) 距離測定システム、距離測定方法およびプログラム
KR101766603B1 (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법, 및 컴퓨터 프로그램
US9769461B2 (en) Adaptive structured light patterns
JP6798491B2 (ja) 情報処理装置および方法、並びにプログラム
EP2869263A1 (en) Method and apparatus for generating depth map of a scene
US20210042910A1 (en) Method for inspecting mounting state of component, printed circuit board inspection apparatus, and computer readable recording medium
JP2015128242A (ja) 画像投影装置及びそのキャリブレーション方法
JP6444233B2 (ja) 距離計測装置、距離計測方法、およびプログラム
JP6674643B2 (ja) 画像処理装置及び画像処理方法
JP2016075658A (ja) 情報処理システムおよび情報処理方法
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017032280A (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
WO2020255766A1 (ja) 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム
JPWO2019171943A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6548076B2 (ja) パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム
JP2015207090A (ja) 画像処理装置、及びその制御方法
KR20150101343A (ko) 영상 투사 시스템
JP2018044942A (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
CN114543697A (zh) 测量设备、控制设备和控制方法
JP2016224590A (ja) 自己位置算出装置及び自己位置算出方法
JP2015207841A5 (ja)
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230418