JP6394005B2

JP6394005B2 - 投影画像補正装置、投影する原画像を補正する方法およびプログラム

Info

Publication number: JP6394005B2
Application number: JP2014046340A
Authority: JP
Inventors: 崇之原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-03-10
Filing date: 2014-03-10
Publication date: 2018-09-26
Anticipated expiration: 2034-03-10
Also published as: US20150254819A1; JP2015171077A; US9672602B2

Description

本発明は、投影画像補正装置に関する。

プロジェクタから画像を投影する際、投影面が傾いていたり、非平面であったりすると、投影された映像に歪みが生じる。この問題に対して、投影映像の歪みをキャンセルする逆の歪みを投影する原画像に与えることで、映像の歪みを低減する方法が提案されている（例えば、特許文献１、２）。

上述した方法では、事前に投影面の三次元形状を計測しておき、計測した三次元形状から任意のユーザ視点における歪み量を計算し、求めた歪み量に基づいて原画像を補正する。それゆえ、この方法では、歪み補正の精度が第一義的に三次元計測の精度に依存する。

本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、投影映像の歪みを最小化する新規な投影画像補正装置、投影する原画像を補正する方法およびプログラムを提供することを目的とする。

本発明者は、投影映像の歪みを最小化することができる投影画像補正装置につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、投影面の三次元形状に応じて投影する原画像を補正する投影画像補正装置であって、投影装置を制御して投影面に所定のパターン画像を投影する投影手段と、撮影装置を制御して前記パターン画像が投影された前記投影面の撮影画像を取得する撮影手段と、前記パターン画像の特徴点に対応する前記撮影画像の特徴点を抽出する特徴点抽出手段と、前記特徴点に対応する前記投影面上の複数の計測点の三次元座標を三角測量の原理に基づいて計測する三次元座標計測手段と、各前記計測点の信頼度を算出する信頼度算出手段と、前記信頼度が所定の閾値を超える複数の前記計測点の三次元座標を任意視点の二次元座標に変換し、変換した複数の前記計測点を包含する領域を信頼領域として定義する信頼領域定義手段と、前記任意視点から見た投影映像の歪みを前記信頼領域の二次元座標と投影座標系の二次元座標の対応関係で表した参照テーブルを生成する参照テーブル生成手段と、前記参照テーブルが表す歪みを相殺する歪みを前記原画像に与えるように補正する画像補正手段と、を含み、前記信頼度は、レンズ収差または前記特徴点の検出誤差の少なくとも一方の観点から定義される、投影画像補正装置が提供される。

上述したように、本発明によれば、投影映像の歪みを最小化する新規な投影画像補正装置、投影する原画像を補正する方法およびプログラムが提供される。

本実施形態の投影画像補正装置の機能ブロック図。投影画像補正装置が実行する処理を表すフローチャート本実施形態における計測用パターンを示す図。三次元計測の原理を説明するための概念図。中点法を説明するための概念図。再投影誤差の最小化に基づく方法を説明するための概念図。レンズ収差の観点から定義される信頼度を説明するための概念図。補正用の参照テーブルを生成する手順を説明するための概念図。補正用の参照テーブルを生成する手順を説明するための概念図。補正用の参照テーブルを生成する手順を説明するための概念図。補正用の参照テーブルを生成する手順を説明するための概念図。本実施形態における参照テーブルを示す図。入力画像を補正する手順を説明するための概念図。本実施形態における入力画像とユーザ視点画像を示す図。入力画像を縮小する手順を説明するための概念図。本実施形態における入力画像とユーザ視点画像を示す図。本実施形態における計測用パターンを示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態である投影画像補正装置１００の機能ブロック図を示す。本実施形態の投影画像補正装置１００は、投影装置２００および撮影装置３００の双方に通信可能に接続される情報処理装置として参照することができる。なお、使用において、投影装置２００および撮影装置３００は、相対位置・姿勢を固定した状態で設置される。

本実施形態において、投影装置２００は、例えば、液晶素子やDMD半導体素子を具備したプロジェクタやレーザプロジェクタとして参照することができる。また、撮影装置３００は、例えば、CCDやCMOSなどの撮像素子を備えたデジタルカメラとして参照することができる。

本実施形態の投影画像補正装置１００は、投影部１０２、撮影部１０４、特徴点抽出部１０８、三次元座標計測部１１０、信頼度算出部１１２、信頼領域定義部１１４、参照テーブル生成部１１６、画像補正部１１８および半導体記憶装置(RAM/ROM)、ハードディスク、光ディスクなどで構成される記憶部１０６を含んで構成されている。

投影部１０２は、投影装置２００を制御して投影面５００に画像を投影するための機能部であり、撮影部１０４は、撮影装置３００を制御して投影面５００を撮影するための機能部である。

特徴点抽出部１０８は、投影装置２００が投影する所定の計測用パターンと、投影面５００に投影された所定の計測用パターンの撮影画像の間で対応する特徴点を抽出するための機能部である。

三次元座標計測部１１０は、抽出された特徴点に対応する投影面５００上の結像点の三次元座標を計測するための機能部であり、信頼度算出部１１２は、計測された三次元座標の信頼度（後述する）を算出するための機能部である。

信頼領域定義部１１４は、算出された信頼度に基づいて信頼領域を定義するための機能部であり、参照テーブル生成部１１６は、定義された信頼領域に基づいて補正用の参照テーブルを生成するための機能部である。

画像補正部１１８は、生成された参照テーブルを使用して任意の視点から見た投影映像の歪みが最小化されるように原画像（画像データ）を補正するための機能部である。

以上、本実施形態の投影画像補正装置１００を構成する各機能部について概説したが、続いて、投影画像補正装置１００が実行する処理の内容を図２に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図１を参照するものとする。

ステップ１０１では、投影部１０２が記憶部１０６から所定の計測用パターンを読み出し、投影装置２００を制御して当該計測用パターンを投影面５００に投影する。図３は、本実施形態において用いることができる計測用パターンを例示する。なお、計測用パターンは、図３に示したパターンに限らず、特徴点を抽出し得るものであればどのようなパターンであってもよい。

続くステップ１０２では、撮影部１０４が撮影装置３００を制御して投影面５００を撮影する。このとき、撮影部１０４は、計測用パターンの映像が投影された投影面５００の撮影画像を取得し、当該撮影画像を記憶部１０６に保存する。

続くステップ１０３では、特徴点抽出部１０８が記憶部１０６に保存された投影面５００の撮影画像を読み込んで画像解析を行い、当該撮影画像から特徴点を抽出する。具体的には、撮影画像における特徴点を所定の規則に基づいて抽出し、当該特徴点の撮影画像平面上の二次元座標を取得する。例えば、図３（ａ）に示すチェッカーパターン５０ａを計測用パターンとして使用した場合には、ハリスのコーナー検出法などを用いて、チェッカーパターン５０ａの投影像の正方形部分（白または黒）のコーナーを特徴点として抽出し、その二次元座標を取得する。また、図３（ｂ）に示すドットパターン５０ｂを計測用パターンとして使用した場合には、各ドット（円）の中心点を特徴点として抽出し、その二次元座標を取得する。

続く処理ステップ１０４では、三次元座標計測部１１０が、抽出した特徴点に対応する投影面５００上の結像点の三次元座標を三角測量の原理に基づいて導出する。以下、図４に基づいて、特徴点に対応する投影面５００上の結像点の三次元座標を導出する原理について説明する。

図４に示すように、投影装置２００および撮影装置３００の光学系がピンホールカメラモデルで近似される場合においては、投影装置の光学系の焦点距離をｆ_ｐとし、撮影装置の光学系の焦点距離をｆ_ｃとした場合、投影視点Ｏ_ｐおよび撮影視点Ｏ_ｃの位置座標は、それぞれ、（０,０,-ｆ_ｐ）および（０,０,-ｆ_ｃ）となる。ここで、計測用パターンを投影する光線は、投影視点Ｏ_ｐから出射して投影画像平面上の画素ｐ（ｘ_ｐ,ｙ_ｐ）を通過した後、投影面５００上の結像点ｓで結像する。一方、結像点ｓから出射する光は、撮影画像平面上の画素ｃ（ｘ_ｃ,ｙ_ｃ）を通過した後、撮影視点Ｏ_ｃに収束する。

ここで、撮影画像平面上の画素ｃ（ｘ_ｃ,ｙ_ｃ）が抽出された特徴点であるとすると、当該特徴点に対応する投影画像平面上の特徴点ｐ（ｘ_ｐ,ｙ_ｐ,０）と、投影視点Ｏ_ｐ（０,０,-ｆ_ｐ）と、撮影視点Ｏ_ｃ（０,０,-ｆ_ｃ）と、事前に与えられる２つのカメラ座標系（投影座標系・撮影座標系）の内部パラメータ（焦点距離、光軸位置、レンズ歪み等）および外部パラメータ（投影装置および撮影装置の相対位置・姿勢）を三角測量の原理に当てはめることによって、当該特徴点に対応する投影面５００上の結像点ｓの三次元座標（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）が導出される。以下、結像点ｓを計測点ｓとして参照する。

三次元座標計測部１１０は、上述した手順に則って、特徴点抽出部１０８が抽出したｎ個の特徴点に対応する投影面５００上のｎ個の計測点（ｓ_１、ｓ_２、ｓ_３、…ｓ_ｎ）の三次元座標を導出する。

ただし、実際には、投影視点Ｏ_ｐおよび特徴点ｐを通る直線（投影視線）と撮影視点Ｏ_２および撮像点ｃを通る直線（撮影視線）が交点を持たない場合がある。このような場合、三次元座標計測部１１０は、“中点法”または“再投影誤差の最小化に基づく方法”によって投影面５００上の計測点ｓの三次元座標を推定する。

中点法では、図５に示すように、投影視線と撮影視線を最短距離で結ぶ線分の中点の三次元座標を投影面５００上の計測点ｓの三次元座標として推定する。一方、再投影誤差の最小化に基づく方法では、図６に示すように、投影画像平面上の特徴点（ｘ_ｘ,ｙ_ｐ）を点（ｘ’_ｐ,ｙ’_ｐ）に最小移動量で移動させ、撮影画像平面上の特徴点（ｘ_ｃ,ｙ_ｃ）を点（ｘ’_ｃ,ｙ’_ｃ）に最小移動量で移動させて、各光学系の視線を再定義する。以降、再定義された投影視線と撮影視線の距離（再投影誤差）を最小化するように、非線形計画法などの手法を用いて、投影・撮影画素位置を移動→投影・撮影視線の再定義の手順を繰り返し、投影視線と撮影視線が交差した時点で、その交点の三次元座標を投影面５００上の計測点ｓの三次元座標として推定する。

再び図２に戻って説明を続ける。続く処理ステップ１０５では、信頼度算出部１１２が、三次元座標計測部１１０が導出した三次元座標の信頼度を算出する。ここでいう信頼度とは、導出された三次元座標の確からしさを表す指標を意味する。本実施形態では、この信頼度を、レンズ収差または特徴点の検出誤差の少なくとも一方の観点から定義する。

まず、レンズ収差の観点から定義される信頼度について、図７に基づいて説明する。三次元座標計測の精度を低下させる原因の一つにレンズ収差がある。一般に、レンズ収差は光線の通過位置がレンズ光軸から離れるほど大きくなることが知られており、本実施形態ではこの点に着目して、下記式（１）で信頼度を定義する。

上記式（１）において、“ｄ_ｃ”は、投影面５００上の計測点ｓに対応する特徴点ｃと撮影画像平面の光軸中心の離間距離を意味し、“ｄ_ｐ”は、計測点ｓに対応する特徴点ｐと投影画像平面の光軸中心の離間距離を表す。

この場合、信頼度算出部１１２は、先のステップ１０４で三次元座標を導出した計測点ｓに対応する、“ｄ_ｃ”および“ｄ_ｐ”を求め、それを上記式（１）に投入して、当該計測点ｓの三次元座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の信頼度を算出する。なお、上記式（１）は、定式化の一例であって、本実施形態においては、特徴点ｃを通る撮影光線のレンズ収差および特徴点ｐを通る投影光線のレンズ収差の少なくとも一方が大きくなるほど小さい値を導出する適切な信頼度関数を定義すればよい。

次に、特徴点の検出誤差の観点から定義される信頼度について説明する。三次元座標計測の精度を低下させるもうひとつの原因として、特徴点（画素）を検出する際に、ハードウェアまたはソフトウェアに起因して発生する検出誤差がある。検出誤差によって投影視線と撮影視線の交点を求められない場合に、中点法や再投影誤差の最小化に基づく方法を用いて三次元座標を推定することは既に述べた。本実施形態ではこの点に着目し、以下に述べる信頼度関数を定義する。

中点法を用いて三次元座標を推定する場合、投影視線と撮影視線を結ぶ最短距離Ｌ（図５参照）が大きくなるほど小さい値を導出する信頼度関数を予め定義しておき、三次元座標を推定する際に使用した最短距離Ｌを当該信頼度関数に投入して、当該三次元座標の信頼度を算出する。

再投影誤差の最小化に基づく方法を用いて三次元座標を推定する場合、再投影誤差が大きくなるほど小さい値を導出する信頼度関数を予め定義しておき、三次元座標を推定する際の再投影誤差（合計）を当該信頼度関数に投入して、当該三次元座標の信頼度を算出する。

なお、本実施形態においては、１つの計測点ｓについて、レンズ収差の観点から定義される信頼度（以下、第１の信頼度という）と検出誤差の観点から定義される信頼度（以下、第２の信頼度という）のいずれか一方を算出するようにしてもよいし、第１の信頼度および第２の信頼度を変数とし、変数が大きくなるほど大きい値を導出する信頼度関数を予め定義しておき、１つの計測点ｓについて、第１の信頼度と第２の信頼度の両方を算出し、算出した２つの値を当該信頼度関数に投入して第３の信頼度を算出するようにしてもよい。

再び図２に戻って説明を続ける。ステップ１０５で信頼度が算出されると、信頼領域定義部１１４が、算出された信頼度に基づいて、以下の手順で信頼領域を定義する。

信頼領域定義部１１４は、図８に示すように、投影面５００上のｎ個の計測点ｓの中から、三次元座標の信頼度が所定の閾値を超えているｍ個の計測点ｓを選出する（ステップ１０６）。

続いて、信頼領域定義部１１４は、図９に示すように、選出したｍ個の計測点ｓの三次元座標を、任意のユーザ視点Ｏ_ｕを撮影視点とする撮影座標系（以下、ユーザ座標系という）上の二次元座標に変換する（ステップ１０７）。具体的には、ｍ個の計測点ｓ（ｓ_１、ｓ_２、ｓ_３、…ｓ_ｍ）の三次元座標を透視投影変換してユーザ座標系におけるｍ個の特徴点ｕ（ｕ_１、ｕ_２、ｕ_３、…ｕ_ｍ）の二次元座標を得る。

続いて、信頼領域定義部１１４は、図１０（ａ）に示すように、ｍ個の特徴点ｕのうち、特徴点ｕを頂点とし、且つ、ｍ個の特徴点の全てを包含する多角形領域を信頼領域Ｔとして定義する（ステップ１０８）。なお、信頼領域定義部１１４は、定義した信頼領域Ｔ（領域を定義するための座標情報）を記憶部１０６に保存する。

続いて、参照テーブル生成部１１６は、定義された信頼領域Ｔに基づいて、以下の手順で補正用の参照テーブルを生成する。参照テーブル生成部１１６は、まず、ユーザ座標系上の信頼領域Ｔを構成する画素に対応する投影座標系上の画素の二次元座標を求める（ステップ１０９）。

具体的には、まず、図１０（ｂ）に示すように、信頼領域Ｔを、特徴点ｕを頂点とする複数の四角形領域に分割する。ここで、各四角形領域の頂点の画素ｕに対応する投影座標系上の画素ｐの二次元座標は、この時点で既知であるので、この既知の４点の二次元座標からその余の画素の二次元座標を以下の手順で補間する。

例えば、図１１に示すように、ユーザ座標系上の４つの画素ｕ（ｕ_６、ｕ_７、ｕ_１０、ｕ_１１）がそれぞれ投影座標系上の４つの画素ｐ（ｐ_６、ｐ_７、ｐ_１０、ｐ_１１）に対応している場合、４つの画素ｕ（ｕ_６、ｕ_７、ｕ_１０、ｕ_１１）を頂点とする四角形領域内の画素の位置座標（ｘ_ｕ，ｙ_ｕ）に対応する投影画像平面上の画素の位置座標（ｘ_ｐ，ｙ_ｐ）は、下記式（２）に示す射影変換式によって求めることができる（なお、式中のパラメータｈは、四組の既知の位置座標から求まる）。

続いて、参照テーブル生成部１１６は、先のステップ１０９で取得した投影座標系の二次元座標と信頼領域Ｔの二次元座標を対応付けて補正用の参照テーブルを生成する（ステップ１１０）。

図１２は、上述した手順を経て生成された参照テーブル６００を示す。図１２に示すように、参照テーブル６００においては、フィールド６０２にユーザ座標系上の信頼領域Ｔを構成する画素の二次元座標が格納され、フィールド６０４には、対応する画素の投影座標系の二次元座標が格納されて、両者が対応付けられており、信頼領域Ｔの二次元座標と投影座標系の二次元座標の対応関係で任意視点から見た投影映像の歪みを表したものとなっている。なお、参照テーブル生成部１１６は、生成した参照テーブル６００を記憶部１０６に保存する

以上、補正用の参照テーブル６００が生成されるまでの一連の処理を説明してきたが、投影映像の歪みを最小化するためには、参照テーブル６００が表す歪みを相殺する歪みを原画像（画像データ）に与える必要がある。この点につき、続いて、画像補正部１１８が参照テーブル６００を使用して原画像（画像データ）を補正する手順を図１３に基づいて説明する。

画像補正部１１８は、投影対象となる原画像が入力されたことに応答して、記憶部１０６から参照テーブル６００を読み出す。画像補正部１１８は、原画像の座標値を検索キーとして、参照テーブル６００のフィールド６０２を検索する。フィールド６０２を照合した結果、フィールド６０２に該当する座標値が存在しない場合は、検索キー（原画像の座標値）に対応する画素値（例えば、ＲＧＢ値）を黒の値(0,0,0)に補正する。例えば、原画像の座標値(102,78)を検索キーとして、フィールド６０２を検索した結果、該当する座標値が存在しない場合は、原画像の座標値(102,78)に対応する元の画素値(129,230,248)を(0,0,0)に補正する(符号１、２参照)。

一方、該当する座標値がフィールド６０２に存在した場合は、該当する座標値に対応付けてフィールド６０４に格納される座標値を取得する。そして、フィールド６０４から取得した座標値に対応する原画像の画素値を読み出し、検索キー（原画像の座標値）に対応する画素値を当該読み出した画素値に補正する。例えば、原画像の座標値(567,358)を検索キーとして、フィールド６０２を検索した結果、該当する座標値が存在した場合は、座標値(567,358)に対応付けてフィールド６０４に格納される座標値(578,345)を取得する。そして、取得した座標値(578,345)に対応する原画像の画素値(117,205,204)を読み出し、原画像の座標値(567,358)に対応する元の画素値(11,54,113)を(117,205,204)に補正する(符号３、４、５参照)。

画像補正部１１８は、原画像を構成する全画素について上述した処理を実行して補正画像を得る。このようにして得られた補正画像は、原画像に対して、計測用パターンの三次元計測で検出した投影歪みの逆変換を施した画像に相当し、投影部１０２が制御する投影装置２００から投影面５００に投影される。

図１４（ａ）は、原画像を示し、図１４（ｂ）は、当該原画像の補正画像を投影面５００に投影した際の投影映像をユーザの視点から見た画像（以下、ユーザ視点画像という）を示す。本実施形態では、投影歪みの逆変換に使用する参照テーブル６００が信頼度の高い三次元計測値を根拠として生成されているため、投影歪みが精度よく補正され、その結果、歪みが最小化されたユーザ視点画像が得られる。

ただし、本実施形態では、参照テーブル６００が信頼領域Ｔしか網羅していないため、原画像のスケールを維持したままでは、図１４（ｂ）に示すように、原画像のうち信頼領域Ｔに合致する画素領域のみが投影され、その余の画素領域が欠損してしまう。この点につき、好ましい実施形態では、画像補正部１１８は、原画像を信頼領域Ｔに見合った大きさに縮小した後に参照テーブル６００を使用して補正する。以下、この点について図１５に基づいて説明する。

好ましい実施形態では、画像補正部１１８は、参照テーブル６００を使用する補正に先だって、記憶部１０６から信頼領域Ｔを読み出し、図１５（ａ）に示すように、入力座標系に信頼領域Ｔを設定する。その後、画像補正部１１８は、信頼領域Ｔに包含される（好ましくは最大面積の）矩形領域であって、原画像と同じアスペクト比を持つ矩形領域を探索し、図１５（ｂ）に示すように、探索された矩形領域を「投影領域Ｐ」として入力座標系に設定する。

その後、画像補正部１１８は、原画像が入力されたことに応答して、当該原画像を入力座標系上に展開した後、当該原画像を投影領域Ｐ内に収まるサイズに縮小して投影領域Ｐに再配置する画像処理を行う。画像補正部１１８は、画像処理後の原画像に対して参照テーブル６００を使用した補正を施して補正画像を生成する。

画像補正部１１８は、例えば、図１６（ａ）に示す原画像が入力されたことに応答して、図１６（ｂ）に示すように、当該原画像を投影領域Ｐ内に再配置する画像処理を行う。画像補正部１１８は、図１６（ｂ）に示す縮小した原画像に対して参照テーブル６００を使用した補正を施して補正画像を生成する。投影部１０２が、投影装置２００を制御して生成された補正画像を投影面５００に投影すると、図１６（ｃ）に示すように、歪みが最小化された欠損のないユーザ視点画像が得られる。

なお、本実施形態においては、信頼領域Ｔを定義した時点で（上述したステップ１０８）、直ちにユーザ座標系上に投影領域Ｐを探索し、探索した投影領域Ｐの二次元座標と投影座標系の二次元座標を対応付けた参照テーブルを生成するようにしてもよい。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。例えば、上述した三次元計測に用いる計測用パターンとして、図１７に示すような正弦波状のパターンを複数個組み合わせて用い、正弦波の位相により特徴点の位置を識別することもできる（位相シフト法）。また、計測用パターンとして赤外線パターンを投影面に照射し、赤外線に対応する撮影装置で投影面を撮影してもよい。

また、これまで、プロジェクタとカメラを使用して三次元計測を行った後に当該プロジェクタから補正画像を投影する実施形態について説明してきたが、本発明においては、他の光学系を使用して三次元計測を行った後に当該他の三次元計測系との相対位置・姿勢が既知のプロジェクタから補正画像を投影することもできる。ここでいう他の三次元計測系としては、赤外線センサ、ステレオカメラ、ＴＯＦ(Time of Flight)方式の測距センサなどを挙げることができ、この場合も、上述したのと同様の方法によりレンズ収差または特徴点の検出誤差の少なくとも一方の観点から定義された信頼度を使用して補正画像を生成することができることはいうまでもない。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

５０…計測用パターン
１００…投影画像補正装置
１０２…投影部
１０４…撮影部
１０６…記憶部
１０８…特徴点抽出部
１１０…三次元座標計測部
１１２…信頼度算出部
１１４…信頼領域定義部
１１６…参照テーブル生成部
１１８…画像補正部
２００…投影装置
３００…撮影装置
５００…投影面
６００…参照テーブル
６０２…フィールド
６０４…フィールド

特開２０１０−１０９６５９号公報特許第５１２１６７３号公報

Claims

投影面の三次元形状に応じて投影する原画像を補正する投影画像補正装置であって、
投影装置を制御して投影面に所定のパターン画像を投影する投影手段と、
撮影装置を制御して前記パターン画像が投影された前記投影面の撮影画像を取得する撮影手段と、
前記パターン画像の特徴点に対応する前記撮影画像の特徴点を抽出する特徴点抽出手段と、
前記特徴点に対応する前記投影面上の複数の計測点の三次元座標を三角測量の原理に基づいて計測する三次元座標計測手段と、
各前記計測点の信頼度を算出する信頼度算出手段と、
前記信頼度が所定の閾値を超える複数の前記計測点の三次元座標を任意視点の二次元座標に変換し、変換した複数の前記計測点を包含する多角形領域を信頼領域として定義する信頼領域定義手段と、
前記任意視点から見た投影映像の歪みを前記信頼領域の二次元座標と投影座標系の二次元座標の対応関係で表した参照テーブルを生成する参照テーブル生成手段と、
前記参照テーブルが表す歪みを相殺する歪みを前記原画像に与えるように補正する画像補正手段と、
を含み、
前記信頼度は、レンズ収差または前記特徴点の検出誤差の少なくとも一方の観点から定義される、
投影画像補正装置。
前記画像補正手段は、前記原画像の座標値を前記参照テーブルに照合した結果、該座標値に該当する前記信頼領域の二次元座標が存在しない場合には、該座標値に対応する画素値を黒の値に補正し、該座標値に該当する前記信頼領域の二次元座標が存在する場合には、該信頼領域の二次元座標に対応付けられた前記投影座標系の二次元座標に対応する該原画像の画素値を読み出し、該座標値に対応する画素値を読み出した該画素値に補正する、
請求項１に記載の投影画像補正装置。
前記画像補正手段は、前記信頼領域に包含され前記原画像と同じアスペクト比を持つ矩形領域を投影領域として定義し、前記参照テーブルを使用した補正に先立って、前記原画像を該投影領域に収まるように再配置する、
請求項２に記載の投影画像補正装置。
前記信頼度算出手段は、レンズ収差の観点から定義される前記信頼度を下記式（１）に基づいて算出する、
請求項１〜３のいずれか一項に記載の投影画像補正装置。
（上記式（１）において、ｄ_ｃは、前記撮影画像における前記特徴点と光軸中心の離間距離を意味し、ｄ_ｐは、前記パターン画像における前記特徴点と光軸中心の離間距離を表す。）
前記信頼度算出手段は、前記計測点の三次元座標を中点法を用いて推定した場合には、投影視線と撮影視線の距離に基づいて前記信頼度を算出し、前記計測点の三次元座標を再投影誤差の最小化に基づく方法を用いて推定した場合には、再投影誤差に基づいて前記信頼度を算出する、
請求項１〜３のいずれか一項に記載の投影画像補正装置。
投影面の三次元形状に応じて投影する原画像を補正する方法であって、
投影装置を制御して投影面に所定のパターン画像を投影するステップと、
撮影装置を制御して前記パターン画像が投影された前記投影面の撮影画像を取得するステップと、
前記パターン画像の特徴点に対応する前記撮影画像の特徴点を抽出するステップと、
前記特徴点に対応する前記投影面上の複数の計測点の三次元座標を三角測量の原理に基づいて計測するステップと、
各前記計測点の信頼度を算出するステップと、
前記信頼度が所定の閾値を超える複数の前記計測点の三次元座標を任意視点の二次元座標に変換し、変換した複数の前記計測点を包含する多角形領域を信頼領域として定義するステップと、
前記任意視点から見た投影映像の歪みを前記信頼領域の二次元座標と投影座標系の二次元座標の対応関係で表した参照テーブルを生成するステップと、
前記参照テーブルが表す歪みを相殺する歪みを前記原画像に与えるように補正するステップと、
を含み、
前記信頼度は、レンズ収差または前記特徴点の検出誤差の少なくとも一方の観点から定義される、
方法。
前記補正するステップは、
前記原画像の座標値を前記参照テーブルに照合した結果、該座標値に該当する前記信頼領域の二次元座標が存在しない場合には、該座標値に対応する画素値を黒の値に補正するステップと、
該座標値に該当する前記信頼領域の二次元座標が存在する場合には、該信頼領域の二次元座標に対応付けられた前記投影座標系の二次元座標に対応する該原画像の画素値を読み出し、該座標値に対応する画素値を読み出した該画素値に補正するステップと、
を含む、請求項６に記載の方法。
補正するステップは、
前記信頼領域に包含され前記原画像と同じアスペクト比を持つ矩形領域を投影領域として定義するステップと、
前記参照テーブルを使用した補正に先立って、前記原画像を該投影領域に収まるように再配置するステップと、
を含む、請求項７に記載の方法。
前記信頼度を算出するステップは、レンズ収差の観点から定義される前記信頼度を下記式（１）に基づいて算出するステップを含む、
請求項６〜８のいずれか一項に記載の方法。
（上記式（１）において、ｄ_ｃは、前記撮影画像における前記特徴点と光軸中心の離間距離を意味し、ｄ_ｐは、前記パターン画像における前記特徴点と光軸中心の離間距離を表す。）
前記信頼度を算出するステップは、
前記計測点の三次元座標を中点法を用いて推定した場合には、投影視線と撮影視線の距離に基づいて前記信頼度を算出するステップと
前記計測点の三次元座標を再投影誤差の最小化に基づく方法を用いて推定した場合には、再投影誤差に基づいて前記信頼度を算出するステップと、
を含む、請求項６〜９のいずれか一項に記載の方法。
コンピュータに、請求項６〜１０のいずれか一項に記載の方法の各ステップを実行させるためのプログラム。