JP7347205B2 - 投写システムの制御方法、投写システム及び制御プログラム - Google Patents

Description

本発明は、投写システムの制御方法、投写システム及び制御プログラムに関する。

特許文献１は、ポイント指示した位置の照度を読み取って座標検出を行うインタラクティブ・ポインタを用いて、２台の投影装置の投影領域が重複する領域を示す４点の位置情報を検出する投影システムを開示する。

特開２０１４－１８６１０４号公報

しかしながら、特許文献１に記載の技術は、四角形である領域を検出する技術であるため、四角形以外の領域を決定することが困難となる場合がある。

一態様は、プロジェクターと、カメラを有する可搬装置とを備える投写システムの制御方法であって、前記プロジェクターによってパターン画像を表す光を投写し、前記光を撮影する前記カメラから画像データを取得し、前記カメラの変位に応じる前記画像データの変化から、前記パターン画像における経路を決定し、前記経路によって定義される範囲において前記プロジェクターにより投写される画像を変更するフィルターを生成することを含む投写システムの制御方法である。

他の一態様は、パターン画像を表す光を投写するプロジェクターと、前記光を撮影することにより画像データを生成するカメラと、を備える投写システムであって、前記カメラの変位に応じる前記画像データの変化から、前記パターン画像における経路を決定し、前記経路によって定義される範囲において前記プロジェクターにより投写される画像を変更するフィルターを生成する投写システムである。

他の一態様は、プロジェクターによってパターン画像を表す光を投写し、前記光を撮影するカメラから画像データを取得し、前記カメラの変位に応じる前記画像データの変化から、前記パターン画像における経路を決定し、前記経路によって定義される範囲において前記プロジェクターにより投写される画像を変更するフィルターを生成することを含む処理をコンピューターに実行させる制御プログラムである。

実施形態に係る投写システムを説明する斜視図。 実施形態に係る投写システムの基本構成を説明するブロック図。 パターン画像の一例を説明する図。 位置決定用画像の一例を説明する図。 第１画像の一例を説明する図。 第２画像の一例を説明する図。 経路を決定する一例を説明する図。 実施形態に係る投写システムの制御方法を説明するフローチャート。

図１に示すように、実施形態に係る投写システム１は、プロジェクター１０と、カメラ２２を有する可搬装置２０とを備える。プロジェクター１０は、投写範囲Ｒに画像を表す光Ｌを投写する。図１に示す例において、プロジェクター１０は、投写範囲Ｒに光Ｌを投写することにより、投写範囲Ｒに存在する投写対象８０に画像を表示する。投写対象８０は、ロールスクリーンやホワイトボード等の白色の平面であってもよく、曲面等を有する立体物であってもよい。また、投写対象８０の数は、投写範囲Ｒにおいて２以上であってもよい。

図２に示すように、プロジェクター１０は、投写機器１２、インターフェイス（Ｉ／Ｆ）１３、画像処理回路１４及び処理回路１５を備える。投写機器１２は、例えば、放電灯、固体光源等の光源と、複数の画素を有する液晶ライトバルブ等の表示素子と、ミラー、レンズ等を含む光学系とを備える。表示素子は、処理回路１５による制御に応じて、光源から発せられた光を変調する。投写機器１２は、表示素子を経由した光を、光学系を用いて投写範囲Ｒに画像を表す光Ｌとして投写する。その他、投写機器１２の方式として、変調された光により投写範囲Ｒを走査するミラーデバイスを用いる方式や、画素毎の光の反射を制御するデジタルマイクロミラーデバイスを用いる方式が採用され得る。

Ｉ／Ｆ１３は、例えば、可搬装置２０との間の通信リンクを介して、可搬装置２０と通信する。Ｉ／Ｆ１３と可搬装置２０との間の通信リンクは、有線、無線を問わず、有線及び無線の組み合わせであってもよい。Ｉ／Ｆ１３は、例えば、無線信号を送受信するアンテナ、通信用ケーブルのプラグを差し込まれるレセプタクル、通信リンクを確立し、通信リンクにおいて伝送される信号を処理する回路等を含み得る。Ｉ／Ｆ１３は、図示を省略した外部装置から映像信号を入力されるようにしてもよい。

画像処理回路１４は、処理回路１５の制御により、投写範囲Ｒに投写する画像を示す画像信号を生成し、投写機器１２に出力する。画像処理回路１４は、処理回路１５の制御プログラムにより生成されるコンピューターグラフィックスを示す画像信号を生成してもよく、Ｉ／Ｆ１３を介して外部装置から入力される映像信号から画像信号を生成してもよい。画像処理回路１４は、逐次生成する画像信号を投写機器１２に出力する。画像処理回路１４は、レンダリングエンジン、グラフィックスメモリー等を有する。画像処理回路１４は、処理回路１５の一部を構成する回路として機能してもよい。

処理回路１５は、例えば、プロジェクター１０の動作に必要な演算を処理する処理装置を備える。処理回路１５は、例えば、予めインストールされるプログラムを実行することにより、実施形態に記載された各機能を実現する。処理回路１５の少なくとも一部を構成する処理装置として、例えば中央演算処理装置（ＣＰＵ）、デジタルシグナルプロセッサー（ＤＳＰ）、プログラマブルロジックデバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）等の論理演算回路を採用可能である。処理回路１５は、一体のハードウェアから構成されてもよく、別個の複数のハードウェアから構成されてもよい。

可搬装置２０は、カメラ２２に加えて、例えば、制御回路３０、表示機器２３及び通信回路２４を備え得る。この場合、可搬装置２０として、スマートフォン、タブレット端末、ラップトップコンピューター等、種々の電子装置が採用可能である。以下、可搬装置２０がスマートフォンであるとして例示的に説明する。カメラ２２は、固体撮像素子と、視野に対応する光を固体撮像素子に結像させる光学系とを備える。カメラ２２は、固体撮像素子によって視野に対応する画像を示す画像データを逐次生成し、制御回路３０に出力する。

表示機器２３は、制御回路３０による制御に応じて様々な画像を画面に表示する。表示機器２３として、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等の各種ディスプレイが採用可能である。表示機器２３は、タッチパネルディスプレイとして入力機器と一体に構成されてもよい。図１に示す例において、カメラ２２は、可搬装置２０の筐体２１のうち、表示機器２３の画面と同じ面に配置される。表示機器２３は、制御回路３０の制御に応じて、カメラ２２により撮影される画像を画面に表示し得る。

通信回路２４は、例えば、プロジェクター１０のＩ／Ｆ１３との間の通信リンクを介して、プロジェクター１０と通信する。通信回路２４は、無線信号を送受信するアンテナ、通信用ケーブルのプラグを差し込まれるレセプタクル、通信リンクを確立し、通信リンクにおいて伝送される信号を処理する通信回路等を含み得る。

制御回路３０は、投写処理部３１、データ取得部３２、経路決定部３３、フィルター生成部３４及び記憶媒体３５を有する。制御回路３０は、投写システム１の動作に必要な演算を処理する処理装置を備える。制御回路３０の少なくとも一部を構成する処理装置として、ＣＰＵ、ＤＳＰ、ＰＬＤ、ＡＳＩＣ等の様々な論理演算回路を採用可能である。記憶媒体３５は、投写システム１の動作に必要な制御プログラムや各種データ等を記憶する、コンピューターにより読み取り可能な記憶装置である。制御プログラムは、ネットワーク上のサーバーから通信回路２４を介して提供され得る。記憶媒体３５として、例えば半導体メモリーを採用可能である。記憶媒体３５は、不揮発性の補助記憶装置に限るものでなく、ＣＰＵに内蔵されるレジスターやキャッシュメモリー等の揮発性の主記憶装置を含み得る。

制御回路３０は、記憶媒体３５に記憶される制御プログラムを実行するコンピューターとして機能することにより、投写処理部３１、データ取得部３２、経路決定部３３及びフィルター生成部３４を実現する。即ち、投写処理部３１、データ取得部３２、経路決定部３３、フィルター生成部３４及び記憶媒体３５は、図２においてそれぞれ論理構造として表現される。制御回路３０は、一体のハードウェアから構成されてもよく、別個の２以上のハードウェアから構成されてもよい。

投写処理部３１は、図１に示すように、パターン画像６０を示すデータを記憶媒体３５から読み出し、プロジェクター１０に送信する。これにより、投写処理部３１は、プロジェクター１０によってパターン画像６０を表す光Ｌを投写する。具体的には、投写処理部３１は、パターン画像６０を示すデータを、通信回路２４及びＩ／Ｆ１３を介して処理回路１５に送信する。画像処理回路１４は、処理回路１５の制御に応じてパターン画像６０を示す信号を生成し、投写機器１２に出力する。このように、投写処理部３１は、投写する画像を示すデータをプロジェクター１０に送信することにより、プロジェクター１０により投写される画像を制御する。

データ取得部３２は、パターン画像６０を表す光Ｌを撮影するカメラ２２から画像データを逐次取得する。カメラ２２は、プロジェクター１０から投写される光Ｌを直接的に撮影してもよい。この場合、投写機器１２の投写レンズがカメラ２２の視野に含まれ、且つ、カメラ２２が投写範囲Ｒ内に配置される。図１に示す例では、カメラ２２は、投写範囲Ｒにおいてプロジェクター１０に向けられることにより、光Ｌを直接的に撮影できる。光Ｌは概ね可視光領域の光であるため、スマートフォンが備える一般的なカメラをカメラ２２として利用することができる。

経路決定部３３は、カメラ２２の変位に応じる画像データの変化から、パターン画像６０における経路Ｐを決定する。可搬装置２０は、カメラ２２が投写範囲Ｒ内でプロジェクター１０に向いたまま、カメラ２２の軌跡が閉じた経路Ｐを描くように、例えばユーザーによって移動される。このとき、データ取得部３２が取得する画像データは、パターン画像６０に対するカメラ２２の変位に応じて逐次変化する。経路決定部３３は、カメラ２２により生成される画像データの変化から、パターン画像６０における経路Ｐを決定する。このため、パターン画像６０は、画像データの変化から経路Ｐが決定されるようなパターンを有する。ユーザーは、投写対象８０に近い位置でカメラ２２を視認しながら、カメラ２２をプロジェクター１０に向けた状態で移動させることにより、意図する経路Ｐに対するカメラ２２の軌跡の類似度を向上することができる。

フィルター生成部３４は、経路Ｐによって定義される範囲においてプロジェクター１０により投写される画像を変更するフィルターを生成する。経路Ｐ及び経路Ｐによって定義される範囲は、投写範囲Ｒを基準として決定される。経路Ｐにより定義される範囲、即ち画像が変更される範囲は、経路Ｐに囲まれる範囲であっても、投写範囲Ｒから経路Ｐに囲まれる範囲を除外する範囲であってもよい。フィルターは、例えば、経路Ｐにより定義される範囲における投写の有無に関する情報を有する。フィルター生成部３４は、通信回路２４を介して、生成したフィルターをプロジェクター１０に送信する。プロジェクター１０は、処理回路１５の制御に応じて、フィルター生成部３４により生成されたフィルターが適用された画像を投写範囲Ｒに投写する。

例えば図３に示すように、パターン画像６０は、互いに隣接する領域６１に互いに異なる色を有する二次元マトリックス状に定義される。ここで、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉの９種の文字は、互いに異なる９種の色を意味する。パターン画像６０の各領域６１は、文字に対応する色により塗りつぶされる。各領域６１の色は、ａ～ｉの順で各行内に循環的に配列される。１つの行を基準として、隣接する上の行は左に３列シフトされ、隣接する下の行は右に３列シフトされる。このように各色が配列されることにより、パターン画像６０は、全ての領域６１について隣接する領域６１が同じ色を有しないように定義される。

例えば、カメラ２２の軌跡をなす位置Ｔがｂ色の領域６１にある場合、経路決定部３３は、画像データからｂ色を検出する。カメラ２２の視野は、光Ｌを発する投写機器１２を含む。このため、経路決定部３３は、例えば、画像データが示す画像のうち、閾値を超える輝度を有する領域の色をパターン画像６０のａ～ｉから選択することにより位置Ｔの色を検出する。ｂ色の領域６１の周りの８つの領域６１の色は、それぞれｇ，ｈ，ｉ，ａ，ｃ，ｄ，ｅ，ｆであるため、位置Ｔが周りの８方向の何れに移動しても画像データの色の変化からカメラ２２の軌跡が一意に決定される。

例えば、経路決定部３３がｂ色の次にｃ色、ｄ色と順に検出する場合、位置Ｔが図３に示す状態から右方向に移動することを意味する。経路決定部３３は、検出する色の順序を、位置Ｔの色の変化として記憶媒体３５に逐次記憶させる。経路決定部３３は、パターン画像６０の色の配列と、画像データにおける位置Ｔの色の変化とを比較することにより、パターン画像６０における経路Ｐを決定する。このため、経路Ｐが一意に決定される。

図４に示すように、経路決定部３３は、位置決定用画像５０を用いて経路Ｐの始点となる初期位置Ｑを決定するようにしてもよい。投写処理部３１は、位置決定用画像５０を示すデータをプロジェクター１０に送信することにより、位置決定用画像５０をプロジェクター１０に投写させる。経路決定部３３は、位置決定用画像５０における位置Ｔである初期位置Ｑを決定する。

図５及び図６に示すように、位置決定用画像５０として、例えば、第１画像５１及び第２画像５２から構成される映像が採用可能である。第１画像５１は、パターン画像６０に対応する行により定義される横縞様であり、各行が互いに異なる色を有する。第２画像５２はパターン画像６０に対応する列により定義される縦縞様であり、各列が互いに異なる色を有する。

投写処理部３１は、第１画像５１を示すデータをプロジェクター１０に送信し、第１画像５１を投写範囲Ｒに投写させる。図５に示すように、カメラ２２の軌跡をなす位置Ｔがｃ色の行にある場合、経路決定部３３は、画像データからｃ色を検出する。第１画像５１の投写開始から、例えば０．５秒等の所定時間経過に応じて、投写処理部３１は、第２画像５２を示すデータをプロジェクター１０に送信し、第２画像５２を投写範囲Ｒに投写させる。図６に示すように位置Ｔがｂ色の列にある場合、経路決定部３３は、画像データからｂ色を検出する。

経路決定部３３は、画像データにおいて検出される色がｃからｂに変化することにより、位置Ｔがある第１画像５１の行及び第２画像５２の列をそれぞれ決定し、投写範囲Ｒにおける位置Ｔを一意に決定することができる。但し、この間においてカメラ２２の位置及び姿勢は概ね固定される。このように、経路決定部３３は、第１画像５１及び第２画像５２のそれぞれの色の配列と、画像データの色の変化とを比較することにより、投写範囲Ｒにおける初期位置Ｑを決定する。位置決定用画像５０を構成する画像の数は、３以上であってもよい。初期位置Ｑが決定されることに応じて投写処理部３１は、パターン画像６０をプロジェクター１０に投写させ、経路決定部３３による経路Ｐの決定が開始される。

図７に示すように、可搬装置２０は、筐体２１のうち、表示機器２３の画面と対向する面に配置されるカメラ２２Ａを有してもよい。表示機器２３は、カメラ２２Ａにより撮影される画像を画面に表示する。可搬装置２０は、カメラ２２及びカメラ２２Ａの少なくとも何れかを備えていればよい。図７に示す例において、カメラ２２Ａは、パターン画像６０が投写される投写対象８０の表面において反射される光Ｌを撮影する。

表示機器２３は、制御回路３０の制御に応じて、カメラ２２Ａに撮影される撮影画像７１と、撮影画像７１における点を指し示す指標７２とを画面に表示する。この場合、経路決定部３３は、撮影画像７１として画面に表示されるパターン画像６０における指標７２の軌跡から、経路Ｐを決定できる。図７に示す例では、撮影画像７１であるパターン画像６０における指標７２の中心が、実際に投写対象８０に投写されるパターン画像６０における位置Ｔに相当する。位置Ｔは、カメラ２２Ａの位置及び配向の組み合わせにより決定される。即ち、データ取得部３２がカメラ２２Ａから取得する画像データは、カメラ２２Ａの変位に応じて変化する。ユーザーは、表示機器２３に指標７２が表示されることにより、撮影画像７１において位置Ｔに相当する点を認識し、意図する経路Ｐを実現することが可能となる。なお、指標７２が指し示す点について、厳密に点である必要はなく面積を有し得ることは勿論である。

経路決定部３３は、カメラ２２Ａの変位に応じる画像データの変化から、パターン画像６０における経路Ｐを決定する。具体的には、経路決定部３３は、例えば図３に示すようなパターン画像６０の色の配列と、画像データにおける位置Ｔの色の変化とを比較することにより経路Ｐを決定し得る。経路決定部３３は、投写対象８０の色が白であれば、指標７２の中心に相当する撮影画像７１の色から、位置Ｔの色を検出できる。但し、例えば予め色の補正量を領域６１毎に定義するなどして投写対象８０に投写されたパターン画像６０の各色を検出できるのであれば、投写対象８０の色は白に限らない。上述のように、経路決定部３３は、位置決定用画像５０を用いて投写範囲Ｒにおける初期位置Ｑを決定してもよい。

以下、図８のフローチャートを参照して、投写システム１の制御方法として、投写システム１の動作の一例を説明する。

ステップＳ１において、投写処理部３１は、位置決定用画像５０を示すデータをプロジェクター１０に送信することにより、プロジェクター１０によって位置決定用画像５０を表す光Ｌを投写する。ステップＳ２において、データ取得部３２は、光Ｌを撮影するカメラ２２から画像データを取得する。ステップＳ３において、経路決定部３３は、位置決定用画像５０と画像データの変化から、投写範囲Ｒにおける初期位置Ｑを決定する。

ステップＳ４において、投写処理部３１は、パターン画像６０を示すデータをプロジェクター１０に送信することにより、プロジェクター１０によってパターン画像６０を表す光Ｌを投写する。ステップＳ５において、データ取得部３２は、光Ｌを撮影するカメラ２２から画像データを取得する。ステップＳ６において、経路決定部３３は、カメラ２２の変位に応じる画像データの変化から、パターン画像６０における経路Ｐを決定する。

ステップＳ７において、フィルター生成部３４は、経路Ｐによって定義される範囲においてプロジェクター１０により投写される画像を変更するフィルターを生成する。フィルター生成部３４は、通信回路２４を介して、生成したフィルターをプロジェクター１０に送信する。ステップＳ８において、プロジェクター１０は、処理回路１５の制御に応じて、フィルター生成部３４により生成されたフィルターが適用された画像を投写範囲Ｒに投写する。

投写システム１は、カメラ２２の変位に応じる画像データの変化から、パターン画像６０における経路Ｐを決定し、経路Ｐによって定義される範囲において投写される画像を変更するフィルターを生成する。このため、投写システム１によれば、投写範囲Ｒにおける四角形以外を含む任意の形状を決定できる。また、プロジェクター１０にフィルターを適用することにより、経路Ｐによって定義される範囲において投写される画像を変更することができる。

カメラ２２がプロジェクター１０から投写される光Ｌを直接的に撮影する場合、投写対象８０とカメラ２２との間の距離を短くすることができるため、ユーザーが経路Ｐを決定するカメラ２２の軌跡を高精度に実現することが可能となる。一方、カメラ２２Ａが投写対象８０において反射する光Ｌを間接的に撮影する場合、投写対象８０とカメラ２２Ａとの間の距離を長くすることができる。このため、例えばユーザーと投写対象８０との間にプロジェクター１０が位置する状態で、カメラ２２Ａの軌跡を実現することが可能となる。

以上のように実施形態を説明したが、本発明はこれらの開示に限定されるものではない。各部の構成は、同様の機能を有する任意の構成に置換されてよく、また、本発明の技術的範囲内において、各実施形態における任意の構成が省略されたり追加されたりしてもよい。このように、これらの開示から当業者には様々な代替の実施形態が明らかになる。

例えば、既に述べた実施形態において、制御回路３０の各機能は、必ずしも可搬装置２０において実現されなくてよい。即ち、制御回路３０の各機能は、処理回路１５において実現されてもよく、可搬装置２０及びプロジェクター１０と異なるコンピューターにより実現されてもよい。上述の実施の形態に記載される各機能は、１または複数の論理演算回路により実装され得る。また、可搬装置２０は、スマートフォン等の汎用のデバイスに限るものでなく、画像データを生成するカメラ２２を有し、画像データを制御回路３０に送信する装置であればよい。

また、投写処理部３１は、経路決定部３３が初期位置Ｑを認識可能な方法により経路Ｐを決定するのであれば、位置決定用画像５０を投写する必要はない。例えば、図７に示す撮影画像７１及び指標７２を用いる例において、経路決定部３３は、カメラ２２Ａの変位に応じる、画像データにおけるオプティカルフローを用いて経路Ｐを決定するようにしてもよい。経路Ｐを決定する位置Ｔの軌跡は、完全に閉じる必要はない。例えば画像データの取得の終了と同時に軌跡が開いている場合、経路決定部３３は、始点と終点とを自動的に接続することにより、閉じた経路Ｐを決定してもよい。パターン画像６０は、矩形以外の複数の領域を有してもよい。例えば、パターン画像６０は、それぞれ正多角形である複数の領域により定義され得る。その他、フィルター生成部３４により生成されるフィルターは、経路Ｐにより定義される範囲における投写の有無を変更するものに限らない。フィルターは、例えば、経路Ｐにより定義される範囲における明るさ、色調、画像の信号源等を変更するものであってもよい。

その他、上述の各構成を相互に応用した構成等、本発明は以上に記載しない様々な実施形態を含むことは勿論である。本発明の技術的範囲は、上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１…投写システム、１０…プロジェクター、１２…投写機器、１３…Ｉ／Ｆ、１４…画像処理回路、１５…処理回路、２０…可搬装置、２１…筐体、２２，２２Ａ…カメラ、２３…表示機器、２４…通信回路、３０…制御回路、３１…投写処理部、３２…データ取得部、３３…経路決定部、３４…フィルター生成部、３５…記憶媒体、５０…位置決定用画像、５１…第１画像、５２…第２画像、６０…パターン画像、６１…領域、７１…撮影画像、７２…指標、８０…投写対象。

Claims (5)

1. プロジェクターと、カメラを有する可搬装置と、を備える投写システムの制御方法であって、
   前記プロジェクターによってパターン画像を表す光を投写し、
   前記光を撮影する前記カメラから画像データを取得し、
   前記カメラの変位に応じる前記画像データの変化から、前記パターン画像における経路を決定し、
   前記経路によって定義される範囲において前記プロジェクターにより投写される画像を変更するフィルターを生成し、
   前記カメラは、前記パターン画像が投写される投写対象において反射される前記光を撮影し、
   前記可搬装置は、前記カメラに撮影される撮影画像と、前記撮影画像における点を指し示す指標とを画面に表示する表示機器を有し、
   前記画面に表示される前記パターン画像における前記指標の軌跡から、前記経路を決定する
   ことを含む投写システムの制御方法。
2. 前記パターン画像は、互いに隣接する領域に互いに異なる色を有する二次元マトリックス状に定義される請求項１に記載の投写システムの制御方法。
3. 前記パターン画像の色の配列と、前記画像データにおける色の変化とを比較することにより、前記パターン画像における前記経路を決定する請求項２に記載の投写システムの制御方法。
4. パターン画像を表す光を投写するプロジェクターと、
   前記光を撮影することにより画像データを生成するカメラと、を備える投写システムであって、
   前記カメラの変位に応じる前記画像データの変化から、前記パターン画像における経路を決定し、
   前記経路によって定義される範囲において前記プロジェクターにより投写される画像を変更するフィルターを生成し、
   前記カメラに撮影される撮影画像と、前記撮影画像における点を指し示す指標とを、前記カメラを有する可搬装置が備える表示機器の画面に表示し、
   前記画面に表示される前記パターン画像における前記指標の軌跡から、前記経路を決定する投写システム。
5. プロジェクターによって投写されるパターン画像を表す光を撮影するカメラから画像データを取得し、
   前記カメラの変位に応じる前記画像データの変化から、前記パターン画像における経路を決定し、
   前記経路によって定義される範囲において前記プロジェクターにより投写される画像を変更するフィルターを生成し、
   前記カメラに撮影される撮影画像と、前記撮影画像における点を指し示す指標とを、前記カメラを有する可搬装置が備える表示機器の画面に表示し、
   前記画面に表示される前記パターン画像における前記指標の軌跡から、前記経路を決定する
   ことを含む処理をコンピューターに実行させる制御プログラム。

Images