WO2021085499A1

WO2021085499A1 - 制御装置、投影装置、制御方法、制御プログラム

Info

Publication number: WO2021085499A1
Application number: PCT/JP2020/040506
Authority: WO
Inventors: 和紀井上; 晶啓石塚; 智紀増田; 一樹石田
Original assignee: 富士フイルム株式会社
Priority date: 2019-10-31
Filing date: 2020-10-28
Publication date: 2021-05-06
Also published as: US11800071B2; JP7356512B2; US20220264063A1; JPWO2021085499A1

Abstract

既定制御の実行を指示するユーザの操作を高精度に検出することのできる投影システムの制御装置、投影装置、制御方法、及び制御プログラムを提供する。　投影システム（１００）は、第一投影装置Ｐ１及び第一撮像部Ｃ１のセットと、第二投影装置Ｐ２及び第二撮像部Ｃ２のセットを有し、第一投影装置Ｐ１の第一投影範囲（１０）と第二投影装置Ｐ２の第二投影範囲（２０）は重なり部分（１０Ａ）（（２０Ａ））を有する。投影システム（１００）の制御装置（１）は、第一投影範囲（１０）の撮像画像ＣＰ１と、第二投影範囲（２０）の撮像画像ＣＰ２に基づいて、重なり部分（１０Ａ）（（２０Ａ））に投影されている操作部ＣＴＲに対する操作の有無を判定し、操作が有りと判定した場合には、既定制御を実行する。

Description

制御装置、投影装置、制御方法、制御プログラム

　本発明は、投影システムの制御装置、投影装置、制御方法、及び制御プログラムに関する。

　投影部と撮像部のセットを複数有し、各セットの投影部から画像を一部重複させて大画面投影を実現するシステムが知られている（例えば、特許文献１及び特許文献２参照）。

日本国特開２０１７－１９１９７３号公報日本国特開２０１５－１０９５２７号公報

　複数の投影部を用いて大画面表示を行うシステムにおいては、各投影部の投影範囲を重複させることが行われる。この投影範囲の重複する部分において、大画面表示している画像の切り替え等を指示するための操作部を表示させる構成が考えられる。この構成においては、各投影範囲を撮像している各撮像部によって操作部が撮像されることになる。このため、この操作部がユーザによって操作されているか否かを高精度に検出するためには工夫が必要となる。特許文献１と特許文献２は、投影範囲の重複している部分に操作部を表示させることは考慮していない。

　本発明は、上記事情に鑑みてなされたものであり、既定制御の実行を指示するユーザの操作を高精度に検出することのできる投影システムの制御装置、投影装置、制御方法、及び制御プログラムを提供することを目的とする。

　本発明の制御装置は、複数の投影部と上記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御装置であって、上記複数の投影部の各々の投影範囲は、他の上記投影部の投影範囲と一部重なる重なり部分を含み、上記撮像部で撮像された共通の上記重なり部分を持つ複数の上記投影範囲の各々の撮像画像における少なくとも上記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出部と、上記操作検出部によって上記操作がなされたと判定された場合に上記既定制御を実行する制御部と、を備えるものである。

　本発明の制御方法は、複数の投影部と上記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御方法であって、上記複数の投影部の各々の投影範囲は、他の上記投影部の投影範囲と一部重なる重なり部分を含み、上記撮像部で撮像された共通の上記重なり部分を持つ複数の上記投影範囲の各々の撮像画像における少なくとも上記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出ステップと、上記操作検出ステップによって上記操作がなされたと判定された場合に上記既定制御を実行する制御ステップと、を含むものである。

　本発明の制御プログラムは、複数の投影部と上記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御プログラムであって、上記複数の投影部の各々の投影範囲は、他の上記投影部の投影範囲と一部重なる重なり部分を含み、上記撮像部で撮像された共通の上記重なり部分を持つ複数の上記投影範囲の各々の撮像画像における少なくとも上記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出ステップと、上記操作検出ステップによって上記操作がなされたと判定された場合に上記既定制御を実行する制御ステップと、をコンピュータに実行させるためのものである。

　本発明によれば、既定制御の実行を指示するユーザの操作を高精度に検出することのできる投影システムの制御装置、投影装置、制御方法、及び制御プログラムを提供することができる。

実施形態の投影システム１００の概略構成を示す模式図である。投影対象画像の表示時において第一投影装置Ｐ１から第一投影範囲１０に投影される画像を模式的に示す図である。投影対象画像の表示時において第二投影装置Ｐ２から第二投影範囲２０に投影される画像を模式的に示す図である。分割画像を投影するための表示用データの生成過程を説明するための模式図である。制御装置１による実行操作の検出処理を説明するための模式図である。制御装置１の動作の一例を説明するためのフローチャートである。投影システム１００の変形例である投影システム１００Ａの概略構成を示す模式図である。図７の投影システム１００Ａの各撮像部から取得される撮像画像の例を示す模式図である。投影システム１００の変形例である投影システム１００Ｂの概略構成を示す模式図である。図９に示す投影システム１００Ｂの各投影部の投影範囲を示す模式図である。

　以下、本発明の制御装置の一実施形態を含む投影システムについて図面を参照して説明する。

　図１は、実施形態の投影システム１００の概略構成を示す模式図である。投影システム１００は、投影部を構成する第一投影装置Ｐ１及び撮像部を構成する第一撮像部Ｃ１のセットと、投影部を構成する第二投影装置Ｐ２及び撮像部を構成する第二撮像部Ｃ２のセットと、システム全体を統括制御する制御装置１と、スクリーンＳＣと、を備える。第一投影装置Ｐ１と第二投影装置Ｐ２は、それぞれ、例えば、液晶パネル、ＬＣＯＳ（Ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｏｎ　ｓｉｌｉｃｏｎ）、又はＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）等を用いたプロジェクタによって構成されている。

　投影システム１００は、スクリーンＳＣの第一投影範囲１０に第一投影装置Ｐ１から分割画像を投影させ、第一投影範囲１０の一部と重なるスクリーンＳＣの第二投影範囲２０に第二投影装置Ｐ２から分割画像を投影させて、この２つの分割画像の継ぎ合わせによって横長の投影対象画像を表示するものである。

　制御装置１は、各種のプロセッサにより構成される制御部と、各部と通信するための通信インタフェース（図示省略）と、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶媒体１ａと、を含む装置であり、第一投影装置Ｐ１、第二投影装置Ｐ２、第一撮像部Ｃ１、及び第二撮像部Ｃ２を統括制御する。

　上述の各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。制御装置１の制御部は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。制御装置１の制御部は、記憶媒体１ａに格納された制御プログラムを実行することにより、機能ブロックとして操作検出部及び制御部を備える制御装置として機能する。

　第一撮像部Ｃ１は、撮像光学系を通して被写体を撮像するＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型イメージセンサ又はＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の撮像素子を備え、スクリーンＳＣにおける第一投影範囲１０を少なくとも撮像する。第一撮像部Ｃ１によって撮像された第一投影範囲１０の撮像画像ＣＰ１は制御装置１に送信される。

　第二撮像部Ｃ２は、撮像光学系を通して被写体を撮像するＣＣＤ型イメージセンサ又はＭＯＳ型イメージセンサ等の撮像素子を備え、スクリーンＳＣにおける第二投影範囲２０を少なくとも撮像する。第二撮像部Ｃ２によって撮像された第二投影範囲２０の撮像画像ＣＰ２は制御装置１に送信される。

　投影システム１００では、第一撮像部Ｃ１と第二撮像部Ｃ２の各々の撮像フレームレートが同じに設定され、且つ、第一撮像部Ｃ１の撮像タイミングと第二撮像部Ｃ２の撮像タイミングとに僅かな差（閾値以下の差）が生じるよう設定されている。この差は、例えば、第一撮像部Ｃ１が連続撮像を行う場合の撮像間隔よりも小さな値とされる。

　図２は、投影対象画像の表示時において第一投影装置Ｐ１から第一投影範囲１０に投影される画像を模式的に示す図である。投影対象画像の表示時においては、図３に示すように、第一投影範囲１０に第一分割画像１０Ｇが投影される。

　図３は、投影対象画像の表示時において第二投影装置Ｐ２から第二投影範囲２０に投影される画像を模式的に示す図である。投影対象画像の表示時においては、図４に示すように、第二投影範囲２０に第二分割画像２０Ｇが投影される。

　制御装置１は、図４に示す１つの表示用データＤから、第一分割画像１０Ｇを投影するための第一表示用データＤ１と、第二分割画像２０Ｇを投影するための第二表示用データＤ２を生成し、第一表示用データＤ１を第一投影装置Ｐ１に入力し、第二表示用データＤ２を第二投影装置Ｐ２に入力することで、第一分割画像１０Ｇと第二分割画像２０Ｇが一部重なって構成される投影対象画像をスクリーンＳＣに投影させる。

　図２に示す第一分割画像１０Ｇは、第一非重畳領域１０ｂと第一重畳領域１０ａとによって構成されている。第一重畳領域１０ａは、第一投影範囲１０における第二投影範囲２０との重なり部分１０Ａに投影された領域である。第一非重畳領域１０ｂは、第一投影範囲１０における第二投影範囲２０との非重なり部分１０Ｂに投影された領域である。

　図３に示す第二分割画像２０Ｇは、第二重畳領域２０ａと第二非重畳領域２０ｂとによって構成されている。第二重畳領域２０ａは、第二投影範囲２０における第一投影範囲１０との重なり部分２０Ａに投影された領域である。第二非重畳領域２０ｂは、第二投影範囲２０における第一投影範囲１０との非重なり部分２０Ｂに投影された領域である。

　図２に示す第一重畳領域１０ａと図３に示す第二重畳領域２０ａは、同じ画像であり、図２から図４の例では、第一重畳領域１０ａと第二重畳領域２０ａの各々に操作部ＣＴＲが含まれている。操作部ＣＴＲは、ユーザからの指示を受け付けるためのボタン等のアイコンである。なお、操作部ＣＴＲは、第一重畳領域１０ａ及び第二重畳領域２０ａの各々に含まれない場合や、第一非重畳領域１０ｂ又は第二非重畳領域２０ｂに含まれることも有り得る。

　制御装置１は、第一分割画像１０Ｇ及び第二分割画像２０Ｇからなる投影対象画像を表示させている状態にて、投影対象画像における操作部ＣＴＲが指又はポインタ等で指示されたことを検出すると、既定制御の実行を指示する操作（以下、実行操作と記載）がなされたと判定して既定制御を実行する。

　既定制御とは、例えば、表示中の投影対象画像を別の投影対象画像に変更する制御、表示中の投影対象画像の明るさ又はコントラスト等を変更する制御、或いは、表示中の投影対象画像に含まれる動画コンテンツの再生又は停止を行う制御等であるが、これらに限定されるものではない。

　図５は、制御装置１による実行操作の検出処理を説明するための模式図である。制御装置１は、投影対象画像を表示させている状態にて、第一撮像部Ｃ１から取得した第一投影範囲１０の撮像画像ＣＰ１と、第二撮像部Ｃ２から取得した第二投影範囲２０の撮像画像ＣＰ２と、を結合して結合画像Ｊ１を生成し、この結合画像Ｊ１に基づいて実行操作を検出する。

　結合画像Ｊ１の生成に用いる撮像画像ＣＰ１と撮像画像ＣＰ２は、撮像タイミングが上述した閾値以下の差となるもの（換言すると、最も近接するタイミングにて第一撮像部Ｃ１及び第二撮像部Ｃ２により連続して撮像された２つの撮像画像）である。

　制御装置１は、例えば、撮像画像ＣＰ１における重なり部分１０Ａの画像と撮像画像ＣＰ２における重なり部分２０Ａの画像とを重ね合わせて結合画像Ｊ１を生成する。この処理により、図５に示したように、撮像画像ＣＰ１における非重なり部分１０Ｂの画像と、撮像画像ＣＰ１における重なり部分１０Ａの各画素値と撮像画像ＣＰ２における重なり部分２０Ａの画像の各画素値とが加算又は平均されて構成された画像ＪＰと、撮像画像ＣＰ２における非重なり部分２０Ｂの画像と、からなる結合画像Ｊ１が生成される。

　制御装置１は、このようにして生成した結合画像Ｊ１に含まれる操作部ＣＴＲに、人の手等の物体に相当する指示画像が重なっている場合には、実行操作がなされたと判定する。制御装置１は、結合画像Ｊ１に含まれる操作部ＣＴＲに指示画像が重なっていない場合には、実行操作がなされていないと判定する。

　図６は、制御装置１の動作の一例を説明するためのフローチャートである。図４に例示した表示用データＤに基づく投影対象画像がスクリーンＳＣに投影されると、図６に示す処理が開始される。図６に示す処理は、制御装置１の記憶媒体１ａに格納された制御プログラムを、制御装置１の制御部が実行することで行われる。

　まず、制御装置１は、第一撮像部Ｃ１から撮像画像ＣＰ１を取得し、第二撮像部Ｃ２から撮像画像ＣＰ２を取得する（ステップＳ１）。

　次に、制御装置１は、ステップＳ１にて取得した撮像画像ＣＰ１と撮像画像ＣＰ２の結合画像の生成が必要か否かを判定する（ステップＳ２）。結合画像の生成の要否判定方法としては、例えば以下の２つが挙げられる。

　（第一要否判定方法）
　制御装置１は、撮像画像ＣＰ１における重なり部分１０Ａの画像と撮像画像ＣＰ２における重なり部分２０Ａの画像の各々に操作部ＣＴＲが含まれていない場合には、結合画像の生成が不要と判定し、この各々に操作部ＣＴＲが含まれている場合には、結合画像の生成が必要と判定する。

　（第二要否判定方法）
　制御装置１は、撮像画像ＣＰ１における重なり部分１０Ａの画像と撮像画像ＣＰ２における重なり部分２０Ａの画像の各々に指示画像が含まれていない場合には、結合画像の生成が不要と判定し、この各々に指示画像が含まれている場合には、結合画像の生成が必要と判定する。

　制御装置１は、結合画像の生成が必要と判定した場合（ステップＳ２：ＹＥＳ）には、ステップＳ１にて取得した撮像画像ＣＰ１と撮像画像ＣＰ２を結合した結合画像を生成して（ステップＳ３）、ステップＳ４に処理を以降する。

　制御装置１は、結合画像の生成が不要と判定した場合（ステップＳ２：ＮＯ）には、ステップＳ１にて取得した撮像画像ＣＰ１と撮像画像ＣＰ２を非結合としてステップＳ４に処理を以降する。

　ステップＳ４において、制御装置１は、実行操作の検出処理を行う。制御装置１は、ステップＳ３の処理が行われていた場合には、結合画像に、指示画像と重なる操作部ＣＴＲが含まれているか否かを判定することで、実行操作の検出を行う。具体的には、制御装置１は、指示画像と重なる操作部ＣＴＲが結合画像に含まれている場合には、実行操作がなされたと判定し、指示画像と重なる操作部ＣＴＲが結合画像に含まれていない場合には、実行操作がなされていないと判定する。

　また、ステップＳ４において、制御装置１は、ステップＳ３の処理が行われていない場合には、ステップＳ１にて取得した撮像画像ＣＰ１における非重なり部分１０Ｂの画像とステップＳ１にて取得した撮像画像ＣＰ２における非重なり部分２０Ｂの画像のいずれかに、指示画像と重なる操作部ＣＴＲが含まれているか否かを判定することで、実行操作の検出を行う。具体的には、制御装置１は、上記いずれかの画像に、指示画像と重なる操作部ＣＴＲが含まれている場合には、実行操作がなされたと判定し、指示画像と重なる操作部ＣＴＲが含まれていない場合には、実行操作がなされていないと判定する。

　制御装置１は、ステップＳ４の処理の結果、実行操作がなされていると判定した場合（ステップＳ５：ＹＥＳ）には、既定制御を実行する（ステップＳ６）。

　具体的には、制御装置１は、投影対象画像の元となる表示用データに対し、実行を指示された既定制御に基づく効果を反映させる処理（例えば、明るさの変更、コントラストの変更、又は動画の再生等）を行って表示用データを更新する。そして、制御装置１は、更新後の表示用データから、第一投影装置Ｐ１用の第一表示用データと第二投影装置Ｐ２用の第二表示用データを新たに生成し（ステップＳ７）、これらを各投影装置に入力して、投影中の分割画像（投影対象画像）を更新する（ステップＳ８）。

　制御装置１は、ステップＳ４の処理の結果、実行操作がなされていないと判定した場合（ステップＳ５：ＮＯ）と、ステップＳ８の後には、ステップＳ１に処理を戻す。

　以上のように、制御装置１は、第一撮像部Ｃ１から取得した撮像画像ＣＰ１と第二撮像部Ｃ２から取得した撮像画像ＣＰ２とに基づいて、第一投影範囲１０と第二投影範囲２０との重なり部分１０Ａ（２０Ａ）に投影されている操作部ＣＴＲの操作がユーザによりなされたか否かを判定している。操作部ＣＴＲは、重なり部分１０Ａ（２０Ａ）に投影されているため、撮像画像ＣＰ１と撮像画像ＣＰ２のいずれにも含まれる。そのため、例えば、撮像画像ＣＰ１における重なり部分１０Ａの画像だけをモニタすることでも、重なり部分１０Ａ（２０Ａ）に投影されている操作部ＣＴＲの操作がユーザによりなされたか否かを判定することは可能である。

　ただし、この判定を高精度に行うためには、撮像画像ＣＰ１を高頻度に取得することが求められる。つまり、第一撮像部Ｃ１の撮像フレームレートの高速化が求められる。本実施形態では、撮像画像ＣＰ１と撮像画像ＣＰ２の撮像タイミングに差が設けられており、この差が、第一撮像部Ｃ１及び第二撮像部Ｃ２の各々の撮像間隔よりも短くなっている。

　このため、例えば、この撮像タイミングの差を第一撮像部Ｃ１における撮像間隔の半分にすれば、第一撮像部Ｃ１及び第二撮像部Ｃ２の撮像フレームレートをそれぞれ例えば３０ｆｐｓ（ｆｌａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）としても、撮像画像ＣＰ１と撮像画像ＣＰ２を６０ｆｐｓの間隔にて取得することができる。これにより、高頻度にて重なり部分１０Ａ（２０Ａ）を撮像しながら、投影システム１００における撮像部のコストを下げたり、処理負荷を軽減したりすることができる。したがって、重なり部分１０Ａ（２０Ａ）に投影された操作部ＣＴＲの操作の検出を、低コスト及び軽負荷にて、高精度に行うことができる。

　また、制御装置１は、撮像画像ＣＰ１における重なり部分１０Ａの画像と、撮像画像ＣＰ２における重なり部分２０Ａの画像との結合画像（図５の画像ＪＰ）に基づいて、操作部ＣＴＲの指示の有無を判定している。この構成によれば、例えば各画像に基づいて個別に操作部ＣＴＲの操作の有無を判定する場合と比較すると、操作部ＣＴＲの操作の２重検出を防ぐことができる。

　また、制御装置１は、図６のステップＳ２において、結合画像の生成の要否を判定し、生成が必要と判定した場合にのみ、結合画像を生成している。この構成によれば、結合画像を常に生成する必要がないため、制御装置１の処理負荷を軽減することができる。なお、図６のステップＳ２の処理を省略して、結合画像を常時生成する構成とすることも可能である。

　以下、投影システム１００の変形例について説明する。

（第一変形例）
　制御装置１は、撮像画像ＣＰ１から重なり部分１０Ａの画像をトリミングし、撮像画像ＣＰ２から重なり部分２０Ａの画像をトリミングし、各トリミング画像を重ね合わせることで、結合画像Ｊ１を生成してもよい。この方法では、撮像画像ＣＰ１における重なり部分１０Ａの画像の各画素値と、撮像画像ＣＰ２における重なり部分２０Ａの画像の各画素値とが加算又は平均されて構成された上述の画像ＪＰのみが結合画像Ｊ１として生成される。操作部ＣＴＲが、重なり部分１０Ａ（２０Ａ）にのみ投影されることを前提とすれば、この方法を採用することができる。この方法によれば、制御装置１の処理負荷を軽減することができる。

（第二変形例）
　制御装置１は、図６の動作において、ステップＳ２からステップＳ５の処理（すなわち実行操作の検出の処理）を行っている間に、ステップＳ１の処理（すなわち新たな撮像画像ＣＰ１，ＣＰ２の取得の処理）を並行して行ってもよい。この構成によれば、実行操作の検出処理を高速に行うことができる。

（第三変形例）
　投影システム１００において、制御装置１は、第一投影装置Ｐ１と第二投影装置Ｐ２のいずれかに内蔵される構成であってもよい。また、投影システム１００では、投影部と撮像部の各セットにおいて、投影部に撮像部が内蔵される構成であってもよい。これらの構成によれば、各部を繋ぐ配線を簡略化することができ、システム構築コストを下げることができる。例えば、第一投影装置Ｐ１と、第一撮像部Ｃ１と、制御装置１とを同一の装置で構成してメインの投影装置とし、このメインの投影装置によって、他のセットを制御する構成としてもよい。

（第四変形例）
　投影システム１００は、投影部と撮像部のセットを更に１個以上増設することができてもよい。
　図７は、投影システム１００の変形例である投影システム１００Ａの概略構成を示す模式図である。投影システム１００Ａは、投影部としての第三投影装置Ｐ３と、撮像部としての第三撮像部Ｃ３とのセットが追加された点を除いては、投影システム１００と同じ構成である。

　第三投影装置Ｐ３の第三投影範囲３０は、第二投影範囲２０と一部が重なっている。第三撮像部Ｃ３は、第三投影範囲３０を少なくとも撮像して、撮像画像ＣＰ３を制御装置１に送信する。

　第一撮像部Ｃ１と第二撮像部Ｃ２と第三撮像部Ｃ３の各々の撮像フレームレートは同じに設定され、且つ、第一撮像部Ｃ１、第二撮像部Ｃ２、第三撮像部Ｃ３の順に撮像が行われるようになっている。また、第二撮像部Ｃ２の撮像タイミングと第三撮像部Ｃ３の撮像タイミングとには僅かな差（閾値以下の差）が生じるよう設定されている。この差は、第一撮像部Ｃ１の撮像タイミングと第二撮像部Ｃ２の撮像タイミングの差と同じになっている。

　投影システム１００Ａにおいて、例えば、第一投影範囲１０と第二投影範囲２０の重なり部分に第一操作部ＣＴＲ１が投影され、第二投影範囲２０と第三投影範囲３０の重なり部分に第二操作部ＣＴＲ２が投影される状態を想定する。

　この状態では、制御装置１は、第一投影範囲１０の撮像画像ＣＰ１と第二投影範囲２０の撮像画像ＣＰ２を取得し、これらを結合した結合画像に基づいて、第一操作部ＣＴＲ１に指示画像が重なるか否かを判定して、第一操作部ＣＴＲ１に対する操作を検出する。

　また、制御装置１は、第二投影範囲２０の撮像画像ＣＰ２と第三投影範囲３０の撮像画像ＣＰ３を取得し、これらを結合した結合画像に基づいて、第二操作部ＣＴＲ２に指示画像が重なるか否かを判定して、第二操作部ＣＴＲ２に対する操作を検出する。そして、第一操作部ＣＴＲ１に対する操作、又は、第二操作部ＣＴＲ２に対する操作がなされていると判定した場合には、制御装置１は、既定制御を実行する。

　このように、３つ以上のセットによって更なる大画面表示を行う場合でも、投影範囲同士の重なり部分に投影される操作部に対する操作を、低コスト及び軽負荷にて、高精度に検出することができる。

　なお、投影システム１００Ａにおいて、例えば、第一投影範囲１０と第二投影範囲２０の重なり部分にのみ操作部ＣＴＲが投影され、第二投影範囲２０と第三投影範囲３０の重なり部分には操作部ＣＴＲが投影されていない状態も有り得る。この状態において、第一撮像部Ｃ１、第二撮像部Ｃ２、及び第三撮像部Ｃ３から順に取得された撮像画像の例を図８に示す。

　図８には、撮像画像ＣＰ１と、撮像画像ＣＰ２と、撮像画像ＣＰ３とが示されている。なお、撮像画像ＣＰ３は、第二投影範囲２０と第三投影範囲３０の重なり部分３０Ａの画像と、第三投影範囲３０における第二投影範囲２０と重なっていない非重なり部分３０Ｂの画像とにより構成されている。図８の例では、撮像画像ＣＰ１における重なり部分１０Ａの画像と、撮像画像ＣＰ２における重なり部分２０Ａの画像とのそれぞれに操作部ＣＴＲが含まれている。

　図８に示す例では、撮像画像ＣＰ２における重なり部分３０Ａの画像と、撮像画像ＣＰ３における重なり部分３０Ａの画像とには、それぞれ操作部ＣＴＲが含まれていない。そのため、撮像画像ＣＰ２と撮像画像ＣＰ３の結合は必須ではない。一方、撮像画像ＣＰ１における重なり部分１０Ａの画像と、撮像画像ＣＰ２における重なり部分２０Ａの画像とには、それぞれ操作部ＣＴＲが含まれている。そのため、撮像画像ＣＰ１と撮像画像ＣＰ２の結合は必要である。

　したがって、制御装置１は、３つ以上のセットの各々の撮像部から撮像画像を取得した場合には、これら３つ以上の撮像画像のいずれか１つにおける重なり部分の画像に、操作部ＣＴＲが含まれていれば、結合画像の生成は必要と判定し、これら３つ以上の撮像画像の各々の重なり部分の画像に操作部ＣＴＲが含まれていなければ、結合画像の生成は不要と判定する。

　または、制御装置１は、３つ以上のセットの各々の撮像部から撮像画像を取得した場合には、これら３つ以上の撮像画像のいずれか１つにおける重なり部分の画像に、指示画像が含まれていれば、結合画像の生成は必要と判定し、これら３つ以上の撮像画像の各々の重なり部分の画像に指示画像が含まれていなければ、結合画像の生成は不要と判定してもよい。

　なお、図８の例では、結合画像の生成が必要と判定されるが、結合画像の生成にあたっては、撮像画像ＣＰ１と撮像画像ＣＰ２と撮像画像ＣＰ３をそれぞれ重なり部分同士で重ね合わせて結合する方法の他、撮像画像ＣＰ１と撮像画像ＣＰ２の結合処理のみを行い、撮像画像ＣＰ３については他の画像との結合を省略する方法を採用してもよい。

　また、投影システム１００Ａのように、投影部と撮像部のセットの数が増えると、結合画像の生成の要否の判定処理にかかる時間と演算量が増えることになる。そこで、投影システム１００Ａの制御装置１は、システム全体のセットの総数が閾値を超えている場合には、この判定処理を省略して、この判定処理によらずに、無条件にて、結合画像を生成するようにしてもよい。このようにすることで、制御装置１の処理負荷を軽減することができる。

（第五変形例）
　図９は、投影システム１００の変形例である投影システム１００Ｂの概略構成を示す模式図である。投影システム１００Ｂは、投影部としての第三投影装置Ｐ３及び撮像部としての第三撮像部Ｃ３のセットと、投影部としての第四投影装置Ｐ４及び撮像部としての第四撮像部Ｃ４のセットと、が追加された点を除いては、投影システム１００と同じ構成である。

　第一撮像部Ｃ１と第二撮像部Ｃ２と第三撮像部Ｃ３と第四撮像部Ｃ４の各々の撮像フレームレートは同じに設定され、且つ、第一撮像部Ｃ１、第二撮像部Ｃ２、第三撮像部Ｃ３、第四撮像部Ｃ４の順に撮像が行われるようになっている。また、第二撮像部Ｃ２の撮像タイミングと第三撮像部Ｃ３の撮像タイミングとには僅かな差（閾値以下の差）が生じるよう設定され、第三撮像部Ｃ３の撮像タイミングと第四撮像部Ｃ４の撮像タイミングとには僅かな差（閾値以下の差）が生じるよう設定されている。

　図１０は、図９に示す投影システム１００Ｂの各投影部の投影範囲を示す模式図である。図１０に示すように、第一投影範囲１０の右端と第二投影範囲２０の左端が重なっている。また、第二投影範囲２０の下端と第三投影装置Ｐ３の第三投影範囲３０の上端が重なっている。また、第三投影範囲３０の左端と第四投影装置Ｐ４の第四投影範囲４０の右端が重なっている。また、第四投影範囲４０の上端と第一投影範囲１０の下端が重なっている。このように、投影システム１００Ｂでは、第一投影範囲１０、第二投影範囲２０、第三投影範囲３０、及び第四投影範囲４０は、互いに重なる共通領域５０を有する構成となっている。

　投影システム１００Ｂにおいて、例えば、共通領域５０に操作部ＣＴＲが投影される状態を想定する。この状態では、制御装置１は、第一投影範囲１０の撮像画像ＣＰ１と、第二投影範囲２０の撮像画像ＣＰ２と、第三投影範囲３０の撮像画像ＣＰ３と、第四投影範囲４０の撮像画像ＣＰ４を順次取得する。そして、制御装置１は、撮像画像ＣＰ１からＣＰ４における少なくとも共通領域５０の画像を結合した結合画像を生成し、この結合画像に基づいて、操作部ＣＴＲに指示画像が重なるか否かを判定して、操作部ＣＴＲに対する操作を検出する。

　このように、投影範囲を縦横に二次元状に配置して大画面表示を行う場合でも、投影範囲同士の重なり部分に投影される操作部に対する操作を、低コスト及び軽負荷にて、高精度に検出することができる。

（第六変形例）
　投影システム１００の第一撮像部Ｃ１と第二撮像部Ｃ２を共通化して１つの撮像部（共通撮像部と記載）としてもよい。この場合、共通撮像部は、第一投影範囲１０と第二投影範囲２０の各々を少なくとも撮像可能に構成される。例えば、共通撮像部は、第一投影範囲１０及び第二投影範囲２０の各々とほぼ同等の範囲を撮像できるだけの画角を持ち、更に、撮像範囲を移動させることのできる機構（装置全体を移動させる首振り機構又は光学系に含まれるミラーによって光路変更させる機構等）を持つ。

　具体的には、共通撮像部は、第一投影範囲１０を撮像した後、撮像範囲を移動させて第二投影範囲２０を撮像し、その後、撮像範囲を元の位置に戻し、第一投影範囲１０を撮像する、といった動作を繰り返すことで、前述の撮像画像ＣＰ１に相当する撮像画像ｃｐ１と、前述の撮像画像ＣＰ２に相当する撮像画像ｃｐ２と、を順次取得可能に構成される。制御装置１の機能は、実行操作の検出に用いる撮像画像が、撮像画像ＣＰ１から撮像画像ｃｐ１に変更され、撮像画像ＣＰ２から撮像画像ｃｐ２に変更される点を除いては、上述したのと同様である。

　以上説明してきたように、本明細書には少なくとも以下の事項が開示されている。

（１）
　複数の投影部と上記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御装置であって、
　上記複数の投影部の各々の投影範囲は、他の上記投影部の投影範囲と一部重なる重なり部分を含み、
　上記撮像部で撮像された共通の上記重なり部分を持つ複数の上記投影範囲の各々の撮像画像における少なくとも上記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出部と、
　上記操作検出部によって上記操作がなされたと判定された場合に上記既定制御を実行する制御部と、を備える制御装置。

（２）
　（１）記載の制御装置であって、
　上記投影システムは、上記投影部とその投影部の投影範囲を少なくとも撮像する上記撮像部の複数のセットを有する制御装置。

（３）
　（２）記載の制御装置であって、
　上記操作検出部は、共通の上記重なり部分を持つ複数の上記セットの組の各々の上記撮像部の撮像画像における少なくとも上記重なり部分の画像に基づいて上記操作を検出する制御装置。

（４）
　（３）記載の制御装置であって、
　上記組の各々の上記撮像部の撮像画像は、異なるタイミングにて撮像して得られたものである制御装置。

（５）
　（４）記載の制御装置であって、
　上記組の各々の上記撮像部の撮像画像は、上記タイミングの差が閾値以下となるものである制御装置。

（６）
　（３）から（５）のいずれか１つに記載の制御装置であって、
　上記組は、全ての上記セットを含む制御装置。

（７）
　（３）から（６）のいずれか１つに記載の制御装置であって、
　上記操作検出部は、上記組の各々の上記撮像部の撮像画像における少なくとも上記重なり部分の画像を結合した結合画像を生成し、上記結合画像に基づいて上記操作を検出する制御装置。

（８）
　（７）記載の制御装置であって、
　上記操作検出部は、上記組の各々の上記撮像部の撮像画像における少なくとも上記重なり部分の画像を加算して上記結合画像を生成する制御装置。

（９）
　（７）又は（８）記載の制御装置であって、
　上記操作検出部は、上記結合画像の生成要否を判定し、生成が必要と判定した場合に上記結合画像の生成を行う制御装置。

（１０）
　（９）記載の制御装置であって、
　上記操作検出部は、上記組の各々の上記撮像部の撮像画像における上記重なり部分に特定の画像が含まれている場合に、上記結合画像の生成が必要と判定する制御装置。

（１１）
　（９）記載の制御装置であって、
　上記操作検出部は、全ての上記セットのうちのいずれか１つの上記撮像部の撮像画像における上記重なり部分に特定の画像が含まれている場合に、上記結合画像の生成が必要と判定する制御装置。

（１２）
　（１０）又は（１１）記載の制御装置であって、
　上記特定の画像は、上記投影部から投影される画像に含まれるアイコンである制御装置。

（１３）
　（１０）又は（１１）記載の制御装置であって、
　上記特定の画像は、上記投影部と上記投影範囲の間に存在する物体である制御装置。

（１４）
　（９）から（１３）のいずれか１つに記載の制御装置であって、
　上記操作検出部は、上記セットの総数が閾値を超えている場合には、上記結合画像の生成要否の判定処理を省略して、上記判定処理によらずに上記結合画像の生成を行う制御装置。

（１５）
　（３）から（１４）のいずれか１つに記載の制御装置であって、
　上記操作検出部は、上記組の上記撮像部からの上記撮像画像の取得と、上記操作の検出とを並行して行う制御装置。

（１６）
　（１）から（１５）のいずれか１つに記載の制御装置と、
　上記投影部と、
　上記撮像部と、を備える投影装置。

（１７）
　複数の投影部と上記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御方法であって、
　上記複数の投影部の各々の投影範囲は、他の上記投影部の投影範囲と一部重なる重なり部分を含み、
　上記撮像部で撮像された共通の上記重なり部分を持つ複数の上記投影範囲の各々の撮像画像における少なくとも上記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出ステップと、
　上記操作検出ステップによって上記操作がなされたと判定された場合に上記既定制御を実行する制御ステップと、を含む制御方法。

（１８）
　（１７）記載の制御方法であって、
　上記投影システムは、上記投影部とその投影部の投影範囲を少なくとも撮像する上記撮像部の複数のセットを有する制御方法。

（１９）
　（１８）記載の制御方法であって、
　上記操作検出ステップにおいて、共通の上記重なり部分を持つ複数の上記セットの組の各々の上記撮像部の撮像画像における少なくとも上記重なり部分の画像に基づいて上記操作を検出する制御方法。

（２０）
　（１９）記載の制御方法であって、
　上記組の各々の上記撮像部の撮像画像は、異なるタイミングにて撮像して得られたものである制御方法。

（２１）
　（２０）記載の制御方法であって、
　上記組の各々の上記撮像部の撮像画像は、上記タイミングの差が閾値以下となるものである制御方法。

（２２）
　（１９）から（２１）のいずれか１つに記載の制御方法であって、
　上記組は、全ての上記セットを含む制御方法。

（２３）
　（１９）から（２２）のいずれか１つに記載の制御方法であって、
　上記操作検出ステップにおいて、上記組の各々の上記撮像部の撮像画像における少なくとも上記重なり部分の画像を結合した結合画像を生成し、上記結合画像に基づいて上記操作を検出する制御方法。

（２４）
　（２３）記載の制御方法であって、
　上記操作検出ステップにおいて、上記組の各々の上記撮像部の撮像画像における少なくとも上記重なり部分の画像を加算して上記結合画像を生成する制御方法。

（２５）
　（２３）又は（２４）記載の制御方法であって、
　上記操作検出ステップにおいて、上記結合画像の生成要否を判定し、生成が必要と判定した場合に上記結合画像の生成を行う制御方法。

（２６）
　（２５）記載の制御方法であって、
　上記操作検出ステップにおいて、上記組の各々の上記撮像部の撮像画像における上記重なり部分に特定の画像が含まれている場合に、上記結合画像の生成が必要と判定する制御方法。

（２７）
　（２５）記載の制御方法であって、
　上記操作検出ステップにおいて、全ての上記セットのうちのいずれか１つの上記撮像部の撮像画像における上記重なり部分に特定の画像が含まれている場合に、上記結合画像の生成が必要と判定する制御方法。

（２８）
　（２６）又は（２７）記載の制御方法であって、
　上記特定の画像は、上記投影部から投影される画像に含まれるアイコンである制御方法。

（２９）
　（２６）又は（２７）記載の制御方法であって、
　上記特定の画像は、上記投影部と上記投影範囲の間に存在する物体である制御方法。

（３０）
　（２５）から（２９）のいずれか１つに記載の制御方法であって、
　上記操作検出ステップにおいて、上記セットの総数が閾値を超えている場合には、上記結合画像の生成要否の判定処理を省略して、上記判定処理によらずに上記結合画像の生成を行う制御方法。

（３１）
　（１９）から（３０）のいずれか１つに記載の制御方法であって、
　上記操作検出ステップにおいて、上記組の上記撮像部からの上記撮像画像の取得と、上記操作の検出とを並行して行う制御方法。

（３２）
　複数の投影部と上記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御プログラムであって、
　上記複数の投影部の各々の投影範囲は、他の上記投影部の投影範囲と一部重なる重なり部分を含み、
　上記撮像部で撮像された共通の上記重なり部分を持つ複数の上記投影範囲の各々の撮像画像における少なくとも上記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出ステップと、
　上記操作検出ステップによって上記操作がなされたと判定された場合に上記既定制御を実行する制御ステップと、をコンピュータに実行させるための制御プログラム。

　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

　なお、本出願は、２０１９年１０月３１日出願の日本特許出願（特願２０１９－１９８６４６）に基づくものであり、その内容は本出願の中に参照として援用される。

１　制御装置
１ａ　記憶媒体
Ｐ１　第一投影装置
Ｃ１　第一撮像部
Ｐ２　第二投影装置
Ｃ２　第二撮像部
１０　第一投影範囲
２０　第二投影範囲
１０Ａ，２０Ａ，３０Ａ　重なり部分
１０Ｂ，２０Ｂ，３０Ｂ　非重なり部分
１０Ｇ　第一分割画像
１０ａ　第一重畳領域
１０ｂ　第一非重畳領域
２０Ｇ　第二分割画像
２０ａ　第二重畳領域
２０ｂ　第二非重畳領域
ＣＰ１，ＣＰ２，ＣＰ３，ＣＰ４　撮像画像
Ｄ　表示用データ
Ｄ１　第一表示用データ
Ｄ２　第二表示用データ
Ｊ１　結合画像
ＪＰ　画像
ＣＴＲ　操作部
ＣＴＲ１　第一操作部
ＣＴＲ２　第二操作部
Ｐ３　第三投影装置
Ｃ３　第三撮像部
Ｐ４　第四投影装置
Ｃ４　第四撮像部
３０　第三投影範囲
４０　第四投影範囲
５０　共通領域
１００Ａ，１００Ｂ，１００　投影システム
ＳＣ　スクリーン

Claims

　複数の投影部と前記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御装置であって、
　前記複数の投影部の各々の投影範囲は、他の前記投影部の投影範囲と一部重なる重なり部分を含み、
　前記撮像部で撮像された共通の前記重なり部分を持つ複数の前記投影範囲の各々の撮像画像における少なくとも前記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出部と、
　前記操作検出部によって前記操作がなされたと判定された場合に前記既定制御を実行する制御部と、を備える制御装置。
　請求項１記載の制御装置であって、
　前記投影システムは、前記投影部と当該投影部の投影範囲を少なくとも撮像する前記撮像部の複数のセットを有する制御装置。
　請求項２記載の制御装置であって、
　前記操作検出部は、共通の前記重なり部分を持つ複数の前記セットの組の各々の前記撮像部の撮像画像における少なくとも前記重なり部分の画像に基づいて前記操作を検出する制御装置。
　請求項３記載の制御装置であって、
　前記組の各々の前記撮像部の撮像画像は、異なるタイミングにて撮像して得られたものである制御装置。
　請求項４記載の制御装置であって、
　前記組の各々の前記撮像部の撮像画像は、前記タイミングの差が閾値以下となるものである制御装置。
　請求項３から５のいずれか１項記載の制御装置であって、
　前記組は、全ての前記セットを含む制御装置。
　請求項３から６のいずれか１項記載の制御装置であって、
　前記操作検出部は、前記組の各々の前記撮像部の撮像画像における少なくとも前記重なり部分の画像を結合した結合画像を生成し、前記結合画像に基づいて前記操作を検出する制御装置。
　請求項７記載の制御装置であって、
　前記操作検出部は、前記組の各々の前記撮像部の撮像画像における少なくとも前記重なり部分の画像を加算して前記結合画像を生成する制御装置。
　請求項７又は８記載の制御装置であって、
　前記操作検出部は、前記結合画像の生成要否を判定し、生成が必要と判定した場合に前記結合画像の生成を行う制御装置。
　請求項９記載の制御装置であって、
　前記操作検出部は、前記組の各々の前記撮像部の撮像画像における前記重なり部分に特定の画像が含まれている場合に、前記結合画像の生成が必要と判定する制御装置。
　請求項９記載の制御装置であって、
　前記操作検出部は、全ての前記セットのうちのいずれか１つの前記撮像部の撮像画像における前記重なり部分に特定の画像が含まれている場合に、前記結合画像の生成が必要と判定する制御装置。
　請求項１０又は１１記載の制御装置であって、
　前記特定の画像は、前記投影部から投影される画像に含まれるアイコンである制御装置。
　請求項１０又は１１記載の制御装置であって、
　前記特定の画像は、前記投影部と前記投影範囲の間に存在する物体である制御装置。
　請求項９から１３のいずれか１項記載の制御装置であって、
　前記操作検出部は、前記セットの総数が閾値を超えている場合には、前記結合画像の生成要否の判定処理を省略して、前記判定処理によらずに前記結合画像の生成を行う制御装置。
　請求項３から１４のいずれか１項記載の制御装置であって、
　前記操作検出部は、前記組の前記撮像部からの前記撮像画像の取得と、前記操作の検出とを並行して行う制御装置。
　請求項１から１５のいずれか１項記載の制御装置と、
　前記投影部と、
　前記撮像部と、を備える投影装置。
　複数の投影部と前記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御方法であって、
　前記複数の投影部の各々の投影範囲は、他の前記投影部の投影範囲と一部重なる重なり部分を含み、
　前記撮像部で撮像された共通の前記重なり部分を持つ複数の前記投影範囲の各々の撮像画像における少なくとも前記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出ステップと、
　前記操作検出ステップによって前記操作がなされたと判定された場合に前記既定制御を実行する制御ステップと、を含む制御方法。
　請求項１７記載の制御方法であって、
　前記投影システムは、前記投影部と当該投影部の投影範囲を少なくとも撮像する前記撮像部の複数のセットを有する制御方法。
　請求項１８記載の制御方法であって、
　前記操作検出ステップにおいて、共通の前記重なり部分を持つ複数の前記セットの組の各々の前記撮像部の撮像画像における少なくとも前記重なり部分の画像に基づいて前記操作を検出する制御方法。
　請求項１９記載の制御方法であって、
　前記組の各々の前記撮像部の撮像画像は、異なるタイミングにて撮像して得られたものである制御方法。
　請求項２０記載の制御方法であって、
　前記組の各々の前記撮像部の撮像画像は、前記タイミングの差が閾値以下となるものである制御方法。
　請求項１９から２１のいずれか１項記載の制御方法であって、
　前記組は、全ての前記セットを含む制御方法。
　請求項１９から２２のいずれか１項記載の制御方法であって、
　前記操作検出ステップにおいて、前記組の各々の前記撮像部の撮像画像における少なくとも前記重なり部分の画像を結合した結合画像を生成し、前記結合画像に基づいて前記操作を検出する制御方法。
　請求項２３記載の制御方法であって、
　前記操作検出ステップにおいて、前記組の各々の前記撮像部の撮像画像における少なくとも前記重なり部分の画像を加算して前記結合画像を生成する制御方法。
　請求項２３又は２４記載の制御方法であって、
　前記操作検出ステップにおいて、前記結合画像の生成要否を判定し、生成が必要と判定した場合に前記結合画像の生成を行う制御方法。
　請求項２５記載の制御方法であって、
　前記操作検出ステップにおいて、前記組の各々の前記撮像部の撮像画像における前記重なり部分に特定の画像が含まれている場合に、前記結合画像の生成が必要と判定する制御方法。
　請求項２５記載の制御方法であって、
　前記操作検出ステップにおいて、全ての前記セットのうちのいずれか１つの前記撮像部の撮像画像における前記重なり部分に特定の画像が含まれている場合に、前記結合画像の生成が必要と判定する制御方法。
　請求項２６又は２７記載の制御方法であって、
　前記特定の画像は、前記投影部から投影される画像に含まれるアイコンである制御方法。
　請求項２６又は２７記載の制御方法であって、
　前記特定の画像は、前記投影部と前記投影範囲の間に存在する物体である制御方法。
　請求項２５から２９のいずれか１項記載の制御方法であって、
　前記操作検出ステップにおいて、前記セットの総数が閾値を超えている場合には、前記結合画像の生成要否の判定処理を省略して、前記判定処理によらずに前記結合画像の生成を行う制御方法。
　請求項１９から３０のいずれか１項記載の制御方法であって、
　前記操作検出ステップにおいて、前記組の前記撮像部からの前記撮像画像の取得と、前記操作の検出とを並行して行う制御方法。
　複数の投影部と前記複数の投影部の各々の投影範囲を少なくとも撮像する撮像部と、を有する投影システムの制御プログラムであって、
　前記複数の投影部の各々の投影範囲は、他の前記投影部の投影範囲と一部重なる重なり部分を含み、
　前記撮像部で撮像された共通の前記重なり部分を持つ複数の前記投影範囲の各々の撮像画像における少なくとも前記重なり部分の画像に基づいて、既定制御の実行を指示する操作を検出する操作検出ステップと、
　前記操作検出ステップによって前記操作がなされたと判定された場合に前記既定制御を実行する制御ステップと、をコンピュータに実行させるための制御プログラム。