JP5817953B1 - プロジェクタシステム及びキャリブレーションボード - Google Patents

Abstract

映像処理技術の専門家以外のユーザが扱える簡便なプロジェクタシステムを提供する。プロジェクタシステムは、プロジェクタ１と、パソコン２と、マウス３と、キャリブレーションボード４を備える。キャリブレーションボード４には、チェッカーフラッグ模様が付されており、交点がマーカとなる。直観的な入力インターフェイスとして、プロジェクタ１からキャリブレーションボード４に投影されるカーソルを用いる。操作者は、カーソルを見ながらマウス３を操作し、カーソルをキャリブレーションマーカ上に合わせる。この状態で、マウス３をクリックし、キャリブレーションマーカを選択する。選択指令に基づいて、対応する投影画像座標を取得する。

Description

本発明は、プロジェクタシステムのキャリブレーションおよびレジストレーションに関する。

近年、プロジェクトマッピングに係る技術が注目されている。東京駅駅舎や大阪城などの壁面に、非現実的な映像を投影することにより、幻想的な空間を演出できる。また、ビル壁面に芸術的な映像を投影することにより、都市景観に変化を付けることができる。プロジェクトマッピングを利用したイベントは、観客の目を楽しませ、大きな集客力を見込める。これにより、大きな経済効果を期待できる。

また、非現実的な映像を投影し、観客の目を楽しませることができる為、娯楽の分野にも適用されている（特許文献１）。

特開２０１４−０１０３６２号公報

一方で、他の工学など実用的な分野への適用実績は少ない。

その理由として、各工学分野や他の学問分野では、分野ごとに体系化され完成されており、全く違った分野の技術を新たに受け入れにくい、すなわち、分野の縦割りによる弊害が一因として挙げられる。他方、プロジェクトマッピング参入の敷居が高いことも要因であると思われる。

現在のプロジェクトマッピング技術の実務では、専門知識を持った映像技術者が特殊な機械を用いている。また、映像鑑賞を目的とするため、要求される精度も高い。つまり、映像処理技術の専門家は芸術家気質の人が多く、「実用に耐え得れば充分である」という発想が起きにくい。

したがって、映像処理技術の専門家以外の者が、プロジェクトマッピング技術を応用しようとしても、手軽に始めることができず、専門家の助けを必要とする。その結果、既存技術にプロジェクトマッピング技術を組み合わせて、あらたな技術を開発する契機になりにくい。

例えば、プロジェクタを用いる前にプロジェクタのキャリブレーションが必要である。プロジェクタのキャリブレーションは、カメラのキャリブレーションに係る従来技術を応用したものである。すなわち、予め位置が既知の空間とその画像上の投影点の関係がわかれば、計算によりカメラパラメータを導出することができる。同様に、プロジェクタのキャリブレーションも、投影画像と投影先の空間点の対応がわかれば、計算可能である。

プロジェクタとカメラの対応関係取得には、空間コード化法を適用する。プロジェクタからの構造光を投影して空間を２進コードで符号化し、カメラで取得した画像を基に復号化し、プロジェクタとカメラとの画素の対応を調べる。これにより、カメラ画像をプロジェクタ画像に変換することができる。

上記手法では、プロジェクタとカメラと投影対象とを適切に配置し、適切な位置に光源を設定さえすれば、演算装置がキャリブレーションを行うため、高精度である。

しかしながら、プロジェクタとカメラと投影対象とを適切に配置し、光源を適切に設定することは、経験が必要であり、映像処理技術の専門家以外では困難である。さらに、何回か配置を変更する必要がある。未経験者では、迅速に再配置することが困難である。

また、カメラを用いる手法は、システムの肥大化、複雑化を招く問題があった。

本発明は上記課題を解決するものであり、映像処理技術の専門家以外、とくに他分野の専門家が扱える簡便なプロジェクタシステムを提供することを目的とする。

上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備え、前記キャリブレーションボードは、２以上の平面からなり、各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたキャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得するプロジェクタ特性取得機能部と、平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得するレンズ特性取得機能部と、を有する。

上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、を備え、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、前記プロジェクタのレンズ特性を入力するレンズ特性取得機能部と、被投影対象の表面に設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、を有する。

上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、を備え、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソル操作により任意の位置が選択されたとき、前記外部入力手段からの選択指令に基づいて、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、を有する。

上記構成により、キャリブレーションマーカまたはレジストレーションマーカの投影画像の座標点群を、カーソル操作機能部およびカーソル座標取得機能部を介して取得できる。すなわち、プロジェクタから投影されるカーソルを直観的な座標入力インターフェイスとして、利用できる。その結果、カメラなしでも、簡単に、キャリブレーションやレジストレーションができる。

上記発明において、更に好ましくは、前記空間座標入力機能部は、被投影対象内部のターゲットの空間座標点群を更に入力し、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記ターゲットの空間座標点群と、に基づいてターゲットの投影画像座標点群を取得するターゲット投影画像座標点群取得機能と、を更に有する。

これにより、簡単に、ターゲット画像を被投影対象に投影できる。

上記発明において、更に好ましくは、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記レジストレーションマーカの空間座標点群と、に基づいて、レジストレーションマーカ確認用投影画像座標点群を再取得するレジストレーションマーカ確認用投影画像座標群再取得機能と、を更に有する。

上記発明において、更に好ましくは、前記空間座標入力機能部は、被投影対象の表面に設けられた確認マーカの空間座標を入力し、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記確認マーカの空間座標と、に基づいて確認マーカの投影画像座標を取得する確認マーカ投影画像座標取得機能と、を更に有する。

これにより、簡単に、レジストレーションが良好であることを確認できる。

本発明のプロジェクタシステムは簡便であり、映像処理技術の専門家以外、特に他分野の専門家でも扱える。その結果、各分野の既存技術にプロジェクトマッピング技術を組み合わせることにより、既存技術を改良できる。

画像処理装置の機能ブロック図（キャリブレーション） 画像処理装置の処理フロー図（キャリブレーション） 動作概念図（キャリブレーション） 精度検証（キャリブレーション） 画像処理装置の機能ブロック図（レジストレーション） 画像処理装置の処理フロー図（レジストレーション） 動作概念図（レジストレーション） 画像処理装置の機能ブロック図（レジストレーション確認） 画像処理装置の機能ブロック図（レジストレーション確認） 適用例１ 適用例２ 適用例３

＜キャリブレーション＞
〜構成〜

本実施形態のキャリブレーションに係る構成について説明する。プロジェクタシステムは、プロジェクタ１と、画像処理装置２と、外部入力手段３と、キャリブレーションボード４を備える。

プロジェクタ１は、量販店で市販されている一般的なプロジェクタであることを、想定している。すなわち、プロジェクトマッピングを利用したイベント等で用いられる特殊なプロジェクタではない。

画像処理装置２は、量販店で市販されている一般的なパーソナルコンピュータ（パソコン）であることを、想定している。画像処理装置２は、プロジェクタ１に有線または無線にて接続されている。

画像処理装置２として、量販店で市販されている一般的なタブレット型コンピュータ（タブレット）を用いてもよい。

画像処理装置２がパソコンである場合、外部入力手段３はマウス、トラックボール、タッチパッド等であることを、想定している。

画像処理装置２がタブレットである場合、外部入力手段３はタッチパネルであることを、想定している。

キャリブレーションボード４は、２以上の平面からなる。たとえば、第１平面と第２平面と第３平面とからなる自立可能な３面式である（図３参照）。

第１平面と第２平面とは、正面視凸状を形成し、第２平面と第３平面とは、正面視凹状を形成している。これにより、凹凸両方の形状に対応できる。

各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置されている。

たとえば、チェッカーフラッグ模様が付されており、チェッカーフラッグの各交点がキャリブレーションマーカを構成する。

チェッカーフラッグの交点は８〜２０点であることが好ましい（検討後述）。

図１は、画像処理装置２の機能ブロック図である。画像処理装置２は、投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、プロジェクタ特性取得機能部１４と、レンズ特性取得機能部１５と、を有する。

投影画像座標系設定機能部１１は、プロジェクタ１の画素情報を入力し、プロジェクタ１による投影画像の座標系を設定する。たとえば、1280x800の座標系を設定する。

本実施形態では、座標入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。

カーソル操作機能部１２は、マウス３等の動作と連動し、マウス３の位置情報に基づいて、カーソルを操作する。カーソル操作により、カーソルをキャリブレーションマーカ上に合わせることができる。

カーソル座標取得機能部１３は、カーソルが任意の位置にあるとき、選択指令（例えばマウス３のクリック）に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標（x,y）を取得する。カーソルを各キャリブレーションマーカ上に合わせて選択すると、各キャリブレーションマーカの投影画像座標を取得できる。

すなわち、カーソル操作機能部１２および前記カーソル座標取得機能部１３を介して、平面ごとに、キャリブレーションマーカの投影画像の座標点群ｍ_１，ｍ_２を取得できる。説明の簡略化の為、２平面とする。座標点群とは、点群の座標もしくはマーカ集合の座標を意味する。

一般に、投影画像座標と空間座標の関係は、以下のように規定される。
ｍ＝Ｐ・Ｍ
ただし、ｍは投影画像座標、Ｐはプロジェクタ特性を示す行列、Ｍは空間座標である。

ここで、キャリブレーションボード４上の各平面には、複数のキャリブレーションマーカが規則正しい配列を形成するように配置されている。規則的な配列の位置関係は既知である。したがって、キャリブレーションマーカの空間座標点群Ｍは既知である。

プロジェクタ特性取得機能部１４は、キャリブレーションマーカの空間座標点群Ｍおよび平面ごとのキャリブレーションマーカの投影画像の座標点群ｍ_１，ｍ_２に基づいて、プロジェクタ特性Ｐを取得する。

プロジェクタ特性Ｐには、レンズ特性Ｐ_Ｌと位置特性Ｐ_Ｒとが含まれている。レンズ特性Ｐ_Ｌは内部パラメータ、位置特性Ｐ_Ｒは外部パラメータとも呼ばれる。

レンズ特性取得機能部１５は、平面ごとのプロジェクタ特性Ｐ_１，Ｐ_２に基づいて、平面ごとのキャリブレーションボード位置特性Ｐ_Ｒ１，Ｐ_Ｒ２を除去し、プロジェクタ１のレンズ特性Ｐ_Ｌを取得する。具体的には、レンズ特性（内部パラメータ）の未知数５個、位置特性（外部パラメータ）の未知数６個であるので、１１個の未知数を求める連立方程式を解く。

〜動作〜
本実施形態のキャリブレーションに係る動作について説明する。図２は、画像処理装置２の処理フローである。図３は、キャリブレーションに係る動作概念図である。

プロジェクタ１の画素情報（たとえば、1280x800）を入力し、プロジェクタ１による投影画像の座標系を設定する（ステップＳ１１）。

プロジェクタ１の投影範囲に、キャリブレーションボード４を配置する。

プロジェクタ１よりキャリブレーションボード４にカーソルを投影する。

マウス３を操作し、マウス３の位置に連動させて、カーソルを移動する（ステップＳ１２−１）。

操作者は、カーソルを見ながらマウス３を操作し、カーソルをキャリブレーションマーカ上に移動させる。この状態で、マウス３をクリックし、キャリブレーションマーカを選択する（ステップＳ１２−２）。

マウス３の選択指令に基づいて、キャリブレーションマーカに対応する投影画像座標を取得する（ステップＳ１２−３）。

図３において、点線の四角は投影画像座標系を示唆する。

また、図３において、キャリブレーションボード４は、３面式であり、各平面には、チェッカーフラッグ模様が付されており、チェッカーフラッグの交点は、４×５（＝２０）である。格子点間隔は３０×３０ｍｍである。

第１面〜第３面毎に２０個のキャリブレーションマーカに対応する投影画像座標を取得して（ステップＳ１２−１〜３繰り返し）、各平面ごとにキャリブレーションマーカの投影画像の座標点群ｍ_１，ｍ_２・・・を取得する（ステップＳ１２）。

一方、キャリブレーションマーカの空間座標点群Ｍは既知である。キャリブレーションマーカは３次元座標として与えられている。

キャリブレーションマーカの投影画像の座標点群ｍ_１，ｍ_２と、キャリブレーションマーカの空間座標点群Ｍと、に基づいて、平面ごとに、プロジェクタ特性Ｐ_１，Ｐ_２を取得する（ステップＳ１２）。

平面ごとのプロジェクタ特性Ｐ_１，Ｐ_２に基づいて、平面ごとのキャリブレーションボード位置特性Ｐ_Ｒ１，Ｐ_Ｒ２を除去し、共通するプロジェクタのレンズ特性Ｐ_Ｌを取得する（ステップＳ１３）。

これにより、キャリブレーションを完了する。

〜精度の検証〜
本実施形態のキャリブレーションと従来方法（カメラを用いる）とを比較し、精度の検証を検証した。再投影誤差により精度を評価した。再投影誤差は、計算で得られたパラメータの正確さを示す指標であり、この値が小さい程、得られたパラメータが正確であると評価できる。従来方法では１０回おこなった。本実施形態では各６回おこなった。本実験は誤差やバラツキを評価するものであり、毎回、プロジェクタとキャリブレーションボード（チェッカーボード）との位置関係を変化させた。

図４に評価結果を示す。

従来方法は、再投影誤差０．１２〜０．１５（ｍｍ）であった。１０回のバラツキが大きいため、幅を持たせた表現とした。

本実施形態のキャリブレーションの検証では、ボード平面を１面〜３面と変化させた。さらに、各面毎に、チェッカー交点８点（＝４×２）、１２点（＝４×３）、１６点（＝４×４）、２０点（＝４×５）と変化させた。

本実施形態では、実験６回において明確なバラツキはなかったため、平均値で表現した。

１面〜３面のいずれの場合も、チェッカー交点８〜２０点の変化に対する明確な差異は見られなかった。この結果は、当所想定していたより、操作者による判断が充分正確であることを示唆するものである。

一方、ボード１面の場合、従来方法と比較して精度が劣っている。ランク落ちと言われる計算誤差が発生して、実用的でない。２面の場合、従来方法と同程度の精度が得られる。３面の場合、従来方法と比較して、精度が向上している。

したがって、キャリブレーションボードは、２面以上から構成される必要がある。３面以上であるとなお好ましい。各面あたりの交点数は８〜２０であれば、精度を確保できる。

〜効果〜
上記構成及び動作による効果についてまとめる。

本実施形態におけるキャリブレーションは、マウス３によりキャリブレーションマーカを選択するものである。直観的なインターフェイスにより、映像処理技術の専門家以外でも扱える。

一度、キャリブレーションボードを配置すれば、何度も配置換えをする必要がない。これによりキャリブレーションにおける作業手間を軽減できる。

カメラ不要であり、構成が簡素である。その結果、演算負荷が軽減される。
また、カメラ不要であることにより、事前の配置設定の負担が軽減される。すなわち、プロジェクタの投影範囲にキャリブレーションボードを配置するのみである。

従来技術と同等以上の精度が得られる。また、誤差のバラツキが少ない。

また、キャリブレーションボード４以外は、量販店で市販されているプロジェクタ１と、パソコン２と、マウス３を用いる。キャリブレーションボード４も簡単に作成できる。これにより、簡単にシステムを構築できる。

＜レジストレーション＞
〜構成〜
本実施形態のレジストレーションに係る構成について説明する。プロジェクタシステムは、プロジェクタ１と、画像処理装置２と、外部入力手段３を備える。キャリブレーションに係る構成に、レジストレーションに係る構成を付加することが合理的であるが、説明の便宜に為、独立した構成として説明する。共通する構成については同じ符号を付し適宜説明を省略する。

図５は、画像処理装置２の機能ブロック図である。画像処理装置２は、投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、レンズ特性取得機能部１５と、空間座標入力機能部２１と、被投影対象位置特性取得機能部２２を有する。

以上が、レジストレーションに係る構成であるが、図５には、ターゲット画像投影に係る構成であるターゲット投影画像座標点群取得機能２３も追記されている。

投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、については、キャリブレーションに係る構成と共通である。レンズ特性取得機能部１５は、キャリブレーションで得られたレンズ特性Ｐ_Ｌを入力する。

一般に、投影画像座標と空間座標の関係は、以下のように規定される。
ｍ＝（Ｐ_Ｌ・Ｐ_Ｒ）・Ｍ
ただし、ｍは投影画像座標、Ｐ_Ｌはレンズ特性（内部パラメータ）を示す行列、Ｐ_Ｒは位置特性（外部パラメータ）を示す行列、Ｍは空間座標である。

被投影対象表面には、予めレジストレーションマーカが複数設けられている。したがって、カーソル操作機能部１２およびカーソル座標取得機能部１３を介してレジストレーションマーカの投影画像座標点群ｍ_ｍを取得できる。

つまり、レジストレーションでも、座標入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。

空間座標入力機能部２１は、被投影対象の表面に複数設けられたレジストレーションマーカの空間座標点群Ｍ_ｍと、被投影対象内部のターゲットの空間座標点群Ｍ_ｔと、を外部より入力する。なお、レジストレーションのためだけなら、レジストレーションマーカの空間座標点群Ｍ_ｍを取得するのみでよい。

被投影対象位置特性取得機能部２２は、レジストレーションマーカの投影画像座標点群ｍ_ｍと、レジストレーションマーカの空間座標点群Ｍ_ｍと、レンズ特性Ｐ_Ｌと、に基づいて、被投影対象位置特性Ｐ_Ｒを取得する。

ターゲット投影画像座標点群取得機能２３は、レンズ特性Ｐ_Ｌと、被投影対象位置特性Ｐ_Ｒと、ターゲットの空間座標点群Ｍ_ｔと、に基づいてターゲットの投影画像座標点群ｍ_ｔを取得する。

〜動作〜
本実施形態の、レジストレーションに係る動作について説明する。図６は、画像処理装置２の処理フローである。図７は、レジストレーションに係る動作概念図である。

プロジェクタ１の画素情報（たとえば、1280x800）を入力し、プロジェクタ１による投影画像の座標系を設定する（ステップＳ２１）。

プロジェクタ１の投影範囲に被投影対象（特に全てのレジストレーションマーカ）が入るように、プロジェクタ１を配置する。

プロジェクタ１より被投影対象にカーソルを投影する。

マウス３を操作し、マウス３の位置に連動させて、カーソルを移動する（ステップＳ２２−１）。

操作者は、カーソルを見ながらマウス３を操作し、カーソルをレジストレーションマーカ上に合わせる。この状態で、マウス３をクリックし、レジストレーションマーカを選択する（ステップＳ１２−２）。

マウス３の選択指令に基づいて、レジストレーションマーカに対応する投影画像座標を取得する（ステップＳ２２−３）。

図７において、点線の四角は投影画像座標系を示唆する。また、レジストレーションマーカｍ_１に対応する投影画像座標ｍ_ｍ１を取得した例である。

図７の場合、レジストレーションマーカｍ_１〜ｍ_５は均等に５つ設けられている。レジストレーション精度と作業手間のバランスを考慮すると、５〜８点程度が好ましい。

５点のレジストレーションマーカｍ_１〜ｍ_５に対応する投影画像座標を取得して（ステップＳ２２−１〜３繰り返し）、レジストレーションマーカの投影画像の座標点群ｍ_ｍを取得する（ステップＳ２２）。

一方、キャリブレーションで得られたレンズ特性Ｐ_Ｌを取得する（ステップＳ２３）。また、レジストレーションマーカの空間座標点群Ｍ_ｍを外部より入力する（ステップＳ２４）。レジストレーションマーカは予め３次元座標として与えられている。

レジストレーションマーカの投影画像の座標点群ｍ_ｍと、レジストレーションマーカの空間座標点群Ｍ_ｍと、レンズ特性Ｐ_Ｌと、に基づいて、被投影対象位置特性Ｐ_Ｒを取得する（ステップＳ２５）。

これにより、レジストレーションを完了する。

ついで、本実施形態の、ターゲット画像投影に係る動作について説明する。

被投影対象内部のターゲットの空間座標点群Ｍ_ｔを外部より入力する（ステップＳ２６）。ターゲットの空間座標は予め３次元座標として与えられている。なお、ステップＳ２４にて併せて取得しても良い。

レンズ特性Ｐ_Ｌと、被投影対象位置特性Ｐ_Ｒと、ターゲットの空間座標点群Ｍ_ｔと、に基づいてターゲットの投影画像座標点群ｍ_ｔを取得する（ステップＳ２７）。

ターゲットの投影画像座標点群ｍ_ｔをプロジェクタ１に出力する。プロジェクタ１は、ターゲットの投影画像座標点群ｍ_ｔに係る画像を被投影対象に投影する（ステップＳ２８）（図１０参照）。

〜効果〜
レジストレーションでも、直感的な入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。すなわち、キャリブレーションで述べた効果と同等の効果が得られる。

ところで、キャリブレーションおよび空間座標外部入力は、事前に行われている。

操作者が実際に作業直前に行う動作は、プロジェクタ１を適切な位置に配置し、マウス３を介して数点（上記では５点）のレジストレーションマーカを選択するだけである。投影に係る作業負担を軽減することで、投影画像による補助情報を参考にしながら、本来の作業に集中できる（適用例参照）。

＜レジストレーション確認＞
本実施形態のレジストレーション確認に係る構成について説明する。レジストレーションに係る構成に付加するものであり、共通する構成については同じ符号を付し適宜説明を省略する。

レジストレーション確認に係る構成として、レジストレーションマーカを用いるもの（確認動作１）と、新たに確認マーカを用いるもの（確認動作２）の２種類ある。いずれか一方でも良いし、併用しても良い。ただし、説明の便宜に為、確認動作１および確認動作２を併用した実施形態は図示を省略する。

〜確認動作１〜
図８は、画像処理装置２の機能ブロック図である。図５に係る機能ブロックにレジストレーションマーカ確認用投影画像座標群再取得機能２４を付加したものである。

レジストレーションマーカ確認用投影画像座標群再取得機能２４は、レンズ特性Ｐ_Ｌと、被投影対象位置特性Ｐ_Ｒと、レジストレーションマーカの空間座標点群Ｍ_ｍと、に基づいて、レジストレーションマーカ確認用投影画像座標点群ｍ_ｍｃを再取得する。

なお、レジストレーションマーカ投影画像座標点群ｍ_ｍとレジストレーションマーカ確認用投影画像座標点群ｍ_ｍｃとは、似て非なるものである。レジストレーションマーカ投影画像座標点群ｍ_ｍがマウス３によるマーカ選択から得られるのに対し、レジストレーションマーカ確認用投影画像座標点群ｍ_ｍｃは、既得のＰ_Ｌ、Ｐ_Ｒ、Ｍ_ｍとに基づいて画像処理装置２が演算するものである。言い換えると、レジストレーションマーカ投影画像座標点群ｍ_ｍにはレジストレーション結果が反映されていないのに対し、レジストレーションマーカ確認用投影画像座標点群ｍ_ｍｃには、レジストレーション結果が反映されている。

画像処理装置２は、レジストレーションマーカ確認用投影画像座標点群ｍ_ｍｃをプロジェクタ１に出力する。プロジェクタ１は、レジストレーションマーカ確認用投影画像座標点群ｍ_ｍｃに係る画像を被投影対象に投影する。このとき、カーソルによるレジストレーションマーカ選択時（ステップＳ２２）と投影画像の色を変える。

異なった色の確認画像が、レジストレーションマーカｍ_１〜ｍ_５上に投影されていれば、目視により操作者はレジストレーションが良好であると確信する。

〜確認動作２〜
図９は、画像処理装置２の機能ブロック図である。図５に係る機能ブロックに確認マーカ投影画像座標取得機能２５を付加したものである。
被投影対象の表面には、レジストレーションマーカｍ_１〜ｍ_５とは別に、確認マーカｍ_ｃが設けられている（図７参照）。確認マーカｍ_ｃの空間座標Ｍ_ｃは３次元座標として予め与えられている。

空間座標入力機能部２１は、レジストレーションマーカの空間座標点群Ｍ_ｍ、被ターゲットの空間座標点群Ｍ_ｔに加えて、確認マーカｍ_ｃの空間座標Ｍ_ｃを外部より入力する。

確認マーカ投影画像座標取得機能２５は、レンズ特性Ｐ_Ｌと、被投影対象位置特性Ｐ_Ｒと、確認マーカの空間座標Ｍ_ｃと、に基づいて確認マーカの投影画像座標ｍ_ｃを取得する。

画像処理装置２は、確認マーカの投影画像座標ｍ_ｃをプロジェクタ１に出力する。プロジェクタ１は、確認マーカの投影画像座標ｍ_ｃに係る画像を被投影対象に投影する。確認画像が、確認マーカｍ_ｃ上に投影されていれば、目視により操作者はレジストレーションが良好であると確信する。

ところで、本願の対象ユーザは、映像処理技術の専門家以外である。ユーザが画像処理の詳細を理解できていない場合、確認動作１では、操作者自らがマウス３を介して選択したレジストレーションマーカ投影画像座標点群ｍ_ｍを再投影しているだけであると誤解する可能性もある。これでは、操作者に安心感を与えることができない。

確認動作２では、操作者自らが選択していない、確認マーカｍ_ｃ上に、確認画像が投影されるため、確認マーカｍ_ｃ上の確認画像は画像処理による結果であることを理解でき、操作者に安心感を与えることができる。

＜適用例＞
〜概要〜
本発明は、対象物の内部構造が既知であるが、対象物を非破壊状態のまま内部構造を可視化したいときに有用である。以下に、コンクリート内部の鉄筋の超音波探査、美術品の一般公開、交差点での道路工事、センチネルリンパ節生検への適用例について説明する。

いずれの場合も、操作者は各分野の専門家であるが、映像処理技術に関する専門知識は乏しいものとする。

また、キャリブレーションボード４以外は、量販店で市販されているプロジェクタ１と、パソコン２と、マウス３を用いる。すなわち、簡単にシステムを構築できる。他分野の既存技術に本願投影技術を容易に適用できる。

〜適用例１〜
図１０は、適用例１の概要である。

地震後、目視ではコンクリート構造物に被害がない場合でも、内部の鉄筋が損傷している場合がある。これに対し、コンクリート表面から、鉄筋の超音波探査を行い、鉄筋が健全であることを確かめる。

キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。コンクリート構造物および配筋の空間座標は、設計図面に基づいて事前に作成しておく。

コンクリート構造物表面の所定の位置にレジストレーションマーカを設けておく。当該位置情報は事前に空間座標として作成しておく。

以上の準備が終わり次第、配筋画像をコンクリート構造物に投影する。

投影画像を参照しながら、対象鉄筋位置を推定し、超音波探査をおこなう。可視化することで、調査対象を特定でき、探査精度が向上する。

調査現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、調査員は調査に集中できる。

〜適用例２〜
図１１は、適用例２の概要である。

古文書調査により、大きな宗教彫刻の中に小さな宗教彫刻が埋設されていることがわかった。ＣＴ調査によっても埋設が裏付けされた。博物館の学芸員は、より効果的な方法で、宗教彫刻を一般公開することを考えている。

キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。大きな宗教彫刻および小さな宗教彫刻の空間座標は、ＣＴ画像情報に基づいて事前に作成しておく。

大きな宗教彫刻表面の所定の位置にレジストレーションマーカを設けておく。このレジストレーションマーカを含めてＣＴ画像情報を作成しておく。

以上の準備が終わり次第、小さな宗教彫刻に係る画像を大きな宗教彫刻表面に投影する。

投影画像により可視化することで、観者の想像力を補完し、宗教美術に知識のない一般閲覧者にも、芸術に対する理解を深めてもらうことができる。

博物館の閲覧室では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、学芸員は一般閲覧者への説明に集中できる。

〜適用例３〜
図１２は、適用例３の概要である。

都市の交差点には、複数のライフラインが複雑に埋設されている。ライフラインが切断されると、都市機能が麻痺する可能性もある。したがって、道路工事を行う場合は、事前に関連部門と綿密な打ち合わせを行い、慎重に道路掘削を行う。

キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。道路およびライフラインの空間座標は、設計図面に基づいて事前に作成しておく。

道路表面の所定の位置にレジストレーションマーカを設けておく。当該位置情報は事前に空間座標として作成しておく。プロジェクタは高所作業車により高所に設置しておく。

以上の準備が終わり次第、ライフライン画像を道路表面に投影する。

投影画像を参照しながら、ライフライン位置を推定し、ライフラインを避けながら慎重に道路掘削を行う。可視化することで、油圧ショベルオペレータの負担を軽減できる。

工事現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、工事関係者は本来の工事に集中できる。

〜適用例４〜
乳癌の進行を確かめるため、センチネルリンパ節生検が行われている。センチネルリンパ節とは、リンパ管にはいった癌細胞が最初に辿りつくリンパ節であり、リンパ管転移の有無を調べるために利用される。センチネルリンパ節を同定し、生検針を挿入し、体組織を採取する。

キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。体表およびリンパ管の空間座標は、ＣＴ画像情報に基づいて事前に作成しておく。

体表の所定の位置にレジストレーションマーカを設けておく。このレジストレーションマーカを含めてＣＴ画像情報を作成しておく。

以上の準備が終わり次第、リンパ管画像を体表に投影する。

投影画像を参照しながら、リンパ管画像を推定し、生検針を挿入し、体組織を採取する。可視化することで、術者の負担を軽減できる。

体組織採取の現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、術者は手術に集中できる。

＜補足＞
従来技術と本発明の相違点を噛み砕いて再度説明する。更に、相違点について検討し、明細書本文では説明しきれなかった点について補足する。

従来技術のキャリブレーションでは、カメラを用い、カメラ、プロジェクタ、被投影対象物、光源の配置を適切に行えば、演算装置がキャリブレーションを行っていた。いわば全自動であった。したがって、ブラックボックス化されていると言える。

本発明では、カメラを用いず、直感的な入力インターフェイスとして、プロジェクタから投影されるカーソルを用い、キャリブレーションマーカの投影画像座標を取得している。いわば、半自動（半手動）である。操作者の判断が一部入り、直感的であるといえる。

ところで、本願が扱っている投影対象および被投影対象（適用例参照）は、個別具体的であり、画一的に対応できない。その結果、ブラックボックス化された従来技術は、映像処理技術の専門家以外のユーザには扱いづらいものであった。

つまり、ブラックボックス化された技術は、最も一般的な使用環境を想定して、素人にも使いやすい様に設計されている。これにより、一般的使用環境と言う前提であれば、素人には扱いやすい。逆に言うと、本願のように使用環境が個別具体的に変化すると、ブラックボックス化されているため、素人では対応できない。

一方、本願は、直感的であるため、個別具体的に使用環境が異なっても、素人でも対応できる。映像処理技術の専門家以外のユーザにも扱いやすい。

以上のように、発明者は、全自動が万能でないことに着目した。

しかしながら、着想段階では、扱いやすさと精度はトレードオフの関係にあるものと思われた。

すなわち、従来技術が全自動であるのに対し、本願発明は半自動であり、操作者の判断が混じる。その結果、本願発明では、バラツキや誤差が大きくなるものと予想されていた。

発明者は、操作者の判断から生じるバラツキや誤差を実験により定量的に評価した。実験結果に基づき、予想に反し、本願発明は従来技術と同等以上の精度を有し、かつバラツキが少ないことを見出した（詳細上記）。更に、実験結果を考察した。

従来技術の高精度は、映像処理技術の専門家がカメラ、プロジェクタ、被投影対象物、光源を適切に配置することを前提とするものである。配置設定の時点で、既に、専門家の経験やノウハウが反映されている。

従って、本願のように、映像処理技術の専門家以外のユーザを対象とする場合、上記のような（予想とは逆の）結果になる。

このように、本願発明は、扱いやすさと精度を兼ね備えている。トレードオフの関係ではない。

以上のように、発明者は、従来技術の問題点の根本原因に着目した。

そして、本願発明者は、上記のような試行錯誤を経て、本願発明を完成させた。

１ プロジェクタ
２ 画像処理装置
３ 外部入力手段
４ キャリブレーションボード
１１ 投影画像座標系設定機能部
１２ カーソル操作機能部
１３ カーソル座標取得機能部
１４ プロジェクタ特性取得機能部
１５ レンズ特性取得機能部
２１ 空間座標入力機能部
２２ 被投影対象位置特性取得機能部
２３ ターゲット投影画像座標点群取得機能
２４ レジストレーションマーカ確認用投影画像座標群再取得機能
２５ 確認マーカ投影画像座標取得機能

Claims (9)

1. プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備え、
   前記キャリブレーションボードは、２以上の平面からなり、
   各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、
   前記画像処理装置は、
   前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、
   前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、
   前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、
   前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたキャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得するプロジェクタ特性取得機能部と、
   平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得するレンズ特性取得機能部と、
   を有する
   ことを特徴とするプロジェクタシステム。
2. 前記画像処理装置は、
   被投影対象の表面に複数設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、
   前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標点群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、
   を更に有する
   ことを特徴とする請求項１記載のプロジェクタシステム。
3. 前記空間座標入力機能部は、被投影対象内部のターゲットの空間座標点群を更に入力し、
   前記画像処理装置は、
   前記レンズ特性と、前記被投影対象位置特性と、前記ターゲットの空間座標点群と、に基づいてターゲットの投影画像座標点群を取得するターゲット投影画像座標点群取得機能と、
   を更に有する
   ことを特徴とする請求項２記載のプロジェクタシステム。
4. 前記画像処理装置は、
   前記レンズ特性と、前記被投影対象位置特性と、前記レジストレーションマーカの空間座標点群と、に基づいて、レジストレーションマーカ確認用投影画像座標点群を再取得するレジストレーションマーカ確認用投影画像座標群再取得機能と、
   を更に有する
   ことを特徴とする請求項２記載のプロジェクタシステム。
5. 前記空間座標入力機能部は、被投影対象の表面に設けられた確認マーカの空間座標を入力し、
   前記画像処理装置は、
   前記レンズ特性と、前記被投影対象位置特性と、前記確認マーカの空間座標と、に基づいて確認マーカの投影画像座標を取得する確認マーカ投影画像座標取得機能と、
   を更に有する
   ことを特徴とする請求項２記載のプロジェクタシステム。
6. 前記キャリブレーションボードには、チェッカーフラッグ模様が付されており、
   前記キャリブレーションマーカは、チェッカーフラッグの交点である
   ことを特徴とする請求項１に記載のプロジェクタシステム。
7. 前記チェッカーフラッグの交点は８〜２０点である
   ことを特徴とする請求項６に記載のプロジェクタシステム。
8. 第１平面と第２平面と第３平面とからなり、
   第１平面と第２平面とは、正面視凸状を形成し、
   第２平面と第３平面とは、正面視凹状を形成し、
   各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置されており、
   前記規則的な配列の位置関係は既知である
   ことを特徴とするキャリブレーションボード。
9. プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備えるプロジェクタシステムのキャリブレーション方法であって、
   前記キャリブレーションボードは、２以上の平面からなり、各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、
   前記画像処理装置は、
   前記プロジェクタの投影画像の座標系を設定し、
   前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作し、
   前記カーソルが一のキャリブレーションマーカに移動したとき、前記外部入力手段からの選択指令に基づいて、該キャリブレーションマーカが選択されたと判断し、選択されたキャリブレーションマーカに対応する投影画像座標を取得し、
   前記複数のキャリブレーションマーカに対応する投影画像座標を取得して、キャリブレーションマーカの投影画像の座標点群を取得し、
   前記キャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得し、
   平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得する
   ことを特徴とするプロジェクタシステムのキャリブレーション方法。

Images