JP6487671B2

JP6487671B2 - 画像処理装置、画像処理方法。およびプログラム

Info

Publication number: JP6487671B2
Application number: JP2014226408A
Authority: JP
Inventors: 直樹小嶋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-11-06
Filing date: 2014-11-06
Publication date: 2019-03-20
Anticipated expiration: 2034-11-06
Also published as: EP3175613A1; EP3175613B1; EP3175613A4; JP2016092651A; WO2016072044A1; CN107079129B; CN107079129A; US20170289493A1; US10397514B2

Description

本発明は、映像投射装置における画像処理に関する。

近年、映像の投射は平面にとどまらず、円柱やドームなどの曲面に対して投射を行うケースが増えている。このような多様な投射面へ映像を投射する際、観察者に映像の歪みを感じさせないように、画像変形機能を搭載した映像投射装置が提案されている。映像投射装置が投射面に合わせて変形した画像を投射することにより、観察者は歪みを感じない映像を観察することができる。

しかし、円柱形状やドーム形状など様々な投射面の形状ごとに、観察者に歪みを感じさせない画像を投影するための画像変形用の演算回路を映像投射装置に搭載すると、映像投射装置の回路規模が増大するという課題がある。

このような課題を解決する方法として、変形前の画像に対して配置した格子点の座標値をメモリに記憶しておき、変形後の画像において、各格子点がどこに位置するかを対応付ける方法が知られている。また、変形後の画像に対して配置した格子点の座標値をメモリに記憶しておき、変形前の画像において、各格子点がどこに位置するかを対応付ける方法が知られている。

このような対応付けと、変形前の画像における着目画素の画素値を用いて、変形後の画像における着目画素の画素値を求めることができる。このような方法によれば、投射面の形状に因らず画像変形機能を共通化することができる。

ところで、映像投射装置向けの画像変形機能における画素値の算出は、画素抜けを防ぐために、一般に、逆変換型の再配列によって行われる。つまり、変形後画像の各画素を着目画素とし、着目画素の座標値に対応する変形前の座標値（以下、変形前座標値）を座標変換によって求める。そして、変形前座標値に対応する画素（以下、変形前着目画素）の値と、変形前着目画素の周囲画素の値を用いて着目画素の値を算出する。

変形前座標値を求める手法として、変形前の格子点の座標値と、当該格子点の変形後の座標値を用いる方法（以降、変形後格子点法）がある。また、変形後の格子点の座標値と、当該格子点の変形前の逆変形座標値を用いる方法（以後、変形前格子点法）の二通りが知られている（特許文献1、2参照）。

特許文献1は、変形前格子点法を開示し、格子点の座標値として、変形後から変形前への変換座標値（変形前座標値）をメモリに記憶する。ただし、変形前格子点法では、内側に縮小するような変形の場合、変形後画像の外側に位置する格子点は、変形形状の外側に位置するため不要になる。その結果、すべての格子点が座標変換に用いられず、座標変換の精度が低下する。座標変換の精度が低下すれば、例えば、複数台の映像投射装置による合成投射時など、各変形画像の一部を重畳して全体画像を投射する際に変形画像の間にずれが生じて鮮鋭感が低下するなど、画質劣化の要因となる。

特許文献2は、変形後格子点法を開示する。変形後格子点法には、着目画素の変形前座標値の算出に用いる格子点を決定する機能が必要である。特許文献2は、格子点の座標値として変形後座標値を用いるが、当該格子点の決定方法について何ら言及しない。

国際公開第08/139577号特開2001-069434号公報

本発明は、映像の任意の変形に対応する高精度な画像変形処理を提供することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

すなわち、入力画像が変形された変形画像を含む出力画像を出力する画像処理装置であって、前記出力画像に関する座標系における座標値を特定する特定手段であって、前記入力画像上の複数の所定位置に対応する前記変形画像上の複数の対応位置の座標値を特定する特定手段と、前記座標系における前記変形画像外の複数の拡張位置の座標値を、前記特定手段により特定される対応位置の座標値に応じて決定する第１決定手段と、前記出力画像における対象画素が前記変形画像を構成する画素であるか否かを、前記座標系における前記対象画素の座標値と、前記特定手段により特定される対応位置の座標値と、前記第１決定手段により決定される拡張位置の座標値とに基づいて判定する判定手段と、前記判定手段による判定の結果に基づいて前記対象画素の画素値を決定する第２決定手段と、前記第２決定手段により決定される画素値に応じた前記出力画像を出力する出力手段とを有する。

本発明によれば、映像の任意の変形に対応する高精度な画像変形処理が可能になる。

実施例1の映像投射装置の構成例を示すブロック図。映像変形部の画像変形処理を説明する図。実施例1の映像変形部が実行する画像変形処理を説明するフローチャート。座標処理部による変形前座標値の算出を説明する図。実施例2の映像投射装置の構成例を示すブロック図。拡張格子点を追加した様子を示す図。実施例2の映像変形部が実行する画像変形処理を説明するフローチャート。拡張格子点の別の追加例を示す図。

以下、本発明にかかる実施例の映像投射装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。

［装置の構成］
図1のブロック図により実施例1の映像投射装置100の構成例を示す。映像投射装置100は、映像を入力する入力部101、入力映像に画像処理を施して映像を変形する映像変形部103、変形された映像を投射する出力部102を有する。

映像変形部103は、着目画素の変形前座標値を算出する座標変換部104と、着目画素の変形前座標値と、変形前画像から着目画素の画素値を算出する画素処理部105を有し、映像投射装置100における画像処理である画像変形処理を実行する。

座標変換部104は、変形後格子点を記憶する記憶部106、着目画素の座標変換に用いる変形後格子点の組を決定する格子点決定部107、決定された変形後格子点の組を用いて着目画素の変形前座標値を求める座標処理部108を有する。

［画像変形処理］
図2により映像変形部103の画像変形処理を説明する。入力部101は、第一の画像である図2(a)に示す変形前画像201を入力する。変形前画像201を変形した第二の画像が変形後画像202である。つまり、映像変形部103は、変形前画像201から変形後画像202を含む、第三の画像である図2(b)に示す出力画像203を生成し、出力画像203を出力部102に出力する。出力画像203を生成するために、映像変形部103は、出力画像203の各画素の画素値を算出する。

次に、格子点の定義を説明する。格子点は、変形前画像201と変形後画像202に配置した代表点に対応し、座標値(x, y)によって表される。変形前画像201の代表点に対応する格子点を「変形前格子点q」、変形後画像202の代表点に対応する格子点を「変形後格子点p」と呼ぶことにする。図2において、変形前格子点qと変形後格子点pの関係は次のようになる。
p0=f(q0)、p1=f(q1)、p2=f(q2)、p3=f(q3)、p4=f(q4)、p5=f(q5)
ここで、f()は変形における座標変換作用素。

つまり、変形前画像201に配置した変形前格子点qの座標値に、投射面の形状に対応させるための画像変形に基づく座標変換f()を施すと、変形後格子点pの座標値が得られる。記憶部106が記憶する変形後格子点pの座標値は、映像投射装置100内で演算して記憶部106に格納してもよいし、映像投射装置100外で演算して記憶部106に格納しても構わない。

格子点決定部107は、記憶部106が記憶する複数の変形後格子点pから、変形前座標値の算出に使う変形後格子点pの組を選択する。以下では、その内部に変形後格子点を包含しない最小の四辺形を構成する四つの格子点の組を「ブロック」と呼ぶ。図2(b)において、ブロックB0は変形後格子点p0、p1、p2、p3の組であり、ブロックB1は変形後格子点p2、p3、p4、p5の組である。なお、ブロックの形状は四辺形に限らず多角形でも構わない。例えば、変形後格子点p0、p1、p2を頂点とする三角形をブロックとする構成でも構わない。

変形後格子点pの組の選択は、ブロックを構成する四つの変形後格子点pによって形成される四辺形（以降、ブロック四辺形）が着目画素を包含するか否かの包含判定によって行う。なお、四辺形をもう一段細分化した二つの三角形、例えばp0p1p2やp1p2p3を包含判定の対象にしてもよい。

包含判定には、例えば交差数判定(crossing number algorithm)を用いればよい。交差数判定によれば、着目画素を起点とする水平線がブロック四辺形の辺と何回交差するかによって包含判定が行われる。交差回数が奇数のブロック四辺形は着目画素を包含すると判定され、交差回数が偶数のブロック四辺形は着目画素を包含しないと判定される。

例えば、図2(b)に示す着目画素s0を起点とする水平線は、ブロックB0四辺形の辺と一度だけ交差し、ブロックB1四辺形の辺と二度交差する。従って、着目画素s0は、ブロックB0四辺形に包含され、ブロックB1四辺形に包含されていないと判定される。なお、包含判定は、交差数判定に限定されるものでなく、回転数判定(winding number algorithm)など他のアルゴリズムを用いてもよい。

図3のフローチャートにより実施例1の映像変形部103が実行する画像変形処理を説明する。なお、図3は一画素分の画像変形処理を示し、出力画像203の全画素について図3に示す処理が繰り返される。

格子点決定部107は、注目ブロックを選択して(S11)、着目画素の包含判定を行い(S12)、着目画素を包含するブロック（以下、包含ブロック）を探索する。注目ブロックが着目画素を包含しないと判定した場合、全ブロックについて包含判定を行ったか否かを判定し(S13)、未判定のブロックがあれば処理をステップS11に戻す。

図2(b)に示す画素s2のように、変形後画像202の外側に位置する画素の場合、全ブロックについて包含判定を行っても包含ブロックは検出されない。そのような着目画素について、格子点決定部107は、着目画素が変形後画像202の画像内にはなく、画像外にあることを示す情報（以下、画像外情報）を座標処理部108に出力する(S14)。また、格子点決定部107は、包含ブロックを検出すると、包含ブロックの各変形後格子点pの座標値を座標処理部108に出力する(S15)。

座標処理部108は、格子点決定部107から入力された各変形後格子点pの座標値と、着目画素の座標値から変形前座標値を算出する(S16)。図2において、着目画素がs0、包含ブロックがB0の場合、着目画素s0、変形後格子点p0、p1、p2、p3、および、それら変形後格子点の対になる変形前格子点q0、q1、q2、q3の各座標値から変形前画素t0の座標値が算出される。

図4により座標処理部108による変形前座標値の算出を説明する。図4(a)は図2(a)に示す変形前格子点q0、q1、q2、q3部分の拡大図であり、図4(b)は図2(b)に示す変形後格子点p0、p1、p2、p3部分の拡大図である。座標処理部108は、四辺形p0p2p3p1内における着目画素s0の相対位置を求め、その相対位置を四辺形q0q2q3q1内における変形前画素t0に当て嵌めることで、変形前画素t0の座標値を求める。

まず、四辺形p0p2p3p1が長方形ではないため、着目画素s0を包含する三角形p0p2p3または三角形p0p3p1を用いて相対位置を求める。そのため、座標処理部108は、三角形p0p2p3および三角形p0p3p1について上述した包含判定を行い、着目画素s0を包含する三角形（以下、包含三角形）を判定する(S161)。なお、包含三角形の判定方法は限定されない。例えば、四角形p0p2p3p1が着目画素s0を包含するのは明らかなので、対角線p0p3と着目画素s0の比較により着目画素s0を包含する三角形（p0p2p3またはp0p3p1）を判定する方法でもよい。なお、格子点決定部107がブロックとして三角形を対象とする場合、三角形を判定する処理(S161)を省略することができる。

次に、座標処理部108は、包含三角形内における着目画素の相対位置α、βを求める(S162)。図3(b)において、p0s0を通る直線と線分p2p3の交点Mを求め、線分p2p3における交点Mの相対位置αを内挿計算により求める。そして、線分p0Mにおける着目画素s0の相対位置βを内挿計算により求める。なお、本実施例においてα、βの値域はともに0以上1未満である。

次に、座標処理部108は、相対位置α、βを変形前格子点の四辺形q0q2q3q1内における変形前画素t0の相対位置に適用して、変形前画素t0の座標値を求める(S163)。まず、ステップS161において判定された包含三角形に対応する三角形を選択する。例えば、包含三角形がp0p2p3の場合は三角形q0q2q3が選択され、包含三角形がp0p3p1の場合は三角形q0q3q1が選択される。そして、線分q2q3に対する内挿演算によってq0t0を通る直線と線分q2q3の交点Nの座標値を求め、線分q0Nに対する内挿演算によって変形前画素t0の座標値を求める。

また、座標処理部108は、着目画素について格子点決定部107から画像外情報を受け取った場合、当該情報を画素処理部105に出力する。

画素処理部105は、座標処理部108が算出した変形前座標値に対応する変形前画像201の画素とその周囲画素の画素値から、変形後画像202の着目画素の画素値を算出する(S17)。例えば、図2(a)において、変形前座標205に対応する変形前画素t0とその周囲画素206の画素値から、着目画素s0の画素値が算出される。画素値の算出には、一般的なバイリニア方式、バイキュービック方式などを用いればよい。

また、画素処理部105は、着目画素について座標処理部108を介して画像外情報を受け取った場合、当該着目画素の画素値として変形後画像202の外側を示す値を割り当てる(S18)。なお、変形後画像202の外側を示す値としては、出力画像203を投射する際に光が投射されない値、例えばRGB値であれば(0, 0, 0)などを用いればよい。そして、算出または割り当てた着目画素の画素値を出力部102に出力する(S19)。

変形後画像202に対して一画素未満でも外側にあると判定された着目画素は、変形後画像202の外側にあると判定される。また、画素処理部105は、変形前座標値に対応する画素とその周囲画素の画素値から着目画素の画素値を算出する。変形前画像201と出力画像203が同サイズとすると、変形後画像202の境界部分の画素値を算出する際、変形後画像202の境界外に対応する変形前画像201の画素がなく、変形後画像202の境界部分について滑らかな画像を生成することができない。変形後画像202の境界部分について滑らかな画像を生成するには、変形前画像201のサイズを出力画像203のサイズよりもやや大きく設定するか、出力画像203のサイズを変形前画像201のサイズよりもやや小さく設定することが望ましい。

以上の映像変形部103の画像変形処理により、変形前画像201から、様々な投射面の形状に合わせて任意の変形を施した変形後画像202を含む出力画像203を生成し、観察者に映像の歪みを感じさせない映像を投射することができる。

このように、出力画像203における着目画素の変形前座標値の算出に用いる格子点を決定して、出力画像203の全画素の画素値を算出または割り当てる画像変形処理が可能になる。この画像変形処理によれば、任意の変形に対応可能かつ高精度な変形演算が提供される。また、変形前画像201の画像サイズを相対的に大きく設定することで、変形後画像202の境界部分について滑らかな画像を生成することができる。

以下、本発明にかかる実施例2の映像投射装置および画像処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一の符号を付して、その詳細な説明を省略する場合がある。

実施例1では、着目画素の座標変換に用いる変形後格子点pの組を決定するために、包含ブロックを検出するまで無条件にブロックを包含判定の対象にする構成例を説明した。このような包含判定の対象ブロックの決定方法によれば、少ない判定回数で包含ブロックを検出する場合もあるが、全ブロックの包含判定を行って最後のブロックを包含ブロックとして検出する場合もあり得る。さらに、着目画素が変形後画像202の外側にある場合は全ブロックの包含判定が必要になる。このような手順の包含判定によれば、格子点決定部107の処理負荷は決して小さいとは言えない。

例えば、主走査方向の順方向に着目画素を移動し、出力画像203の右端に達したら主走査方向の逆方向に着目画素を移動する走査を行った場合、着目画素の包含ブロックは一つ前の着目画素の包含ブロックまたはその近傍にあると推定される。従って、一つ前の着目画素の包含ブロックと、その隣接ブロックを包含判定の対象にするだけで、変形後格子点pの組を決定する方法が考えられる。実施例2では、包含判定を行うブロックの数を削減して格子点決定部107の処理負荷を軽減する構成例を説明する。

図5のブロック図により実施例2の映像投射装置100の構成例を示す。図5に示すように、実施例2の座標変換部104は出力画像203の外側に配置した格子点を生成する生成部111を備えるが、その他の構成は実施例1の構成（図1）と同様である。

生成部111は、出力画像203の外側に格子点（以下、拡張格子点）を追加する。つまり、生成部111は、記憶部106が記憶する既存の変形後格子点pに加えて、追加した拡張格子点を記憶部106に格納する。拡張格子点は、対になる変形前格子点qが存在せず、格子点決定部107が無条件にブロックを包含判定の対象にせずに変形後格子点pの組を決定するためのものである。つまり、一つ前の着目画素を包含するブロックと、当該包含ブロックに隣接する八つのブロックの合計九つのブロックを包含判定の対象として、格子点決定部107が変形後格子点pの組を決定できるようにする。

図6により拡張格子点を追加した様子を示す。なお、図6は、図2(b)に示す変形後格子点pの一部（p11からp44の16点）を示す。生成部111は、これら変形後格子点pに対して拡張格子点を追加する。図6に記号□で示す点e00からe40、e01からe04が、出力画像203の外側に追加された拡張格子点である。なお、出力画像203の左上が原点(x, y)=(0, 0)とすると、例えば、拡張格子点e01の座標値は(p11x, -1)、拡張格子点e10の座標値は(-1, p11y)である。ここで、p11xは格子点p11のx座標、p11yは格子点p11のy座標である。また、拡張格子点e00の座標値は(-1, -1)とする。

図6に示すように拡張格子点eを追加すれば、出力画像203内のすべての画素はブロック四辺形の何れかに包含されることになる。なお、拡張格子点eは出力画像203の外側ではなく、出力画像203の境界上に設定しても構わない。その場合の拡張格子点e00の座標値は、原点と同様に(0, 0)になる。

図7のフローチャートにより実施例2の映像変形部103が実行する画像変形処理を説明する。なお、図7は一画素分の画像変形処理を示し、出力画像203の全画素について図7に示す処理が繰り返される。

格子点決定部107は、一つ前の着目画素を包含するブロック（以下、前包含ブロック）を中心とするブロックを包含判定の対象ブロックに決定する(S21)。例えば、着目画素がd3、一つ前の着目画素がd2であり、前包含ブロックが四辺形p11p12p22p21である場合、次のブロックが包含判定の対象ブロックになる（図6の領域602が包含判定の対象ブロックを示す）。
前包含ブロックの四辺形p11p12p22p21
前包含ブロックに隣接する四辺形e00e01p11e10、e01e02p12p11、e02e03p13p12、e10p11p21e20、p11p12p22p21、p12p13p23p22、e20p21p31e30、p21p22p32p31、p22p23p33p32

また、着目画素がd1、一つ前の着目画素がd0であり、前包含ブロックが四辺形e00e01p11e10である場合、次のブロックが包含判定の対象ブロックになる（図6の領域601が包含判定の対象ブロックを示す）。
前包含ブロックの四辺形e00e01p11e10
前包含ブロックに隣接する四辺形e01e02p12p11、p11p12p22p21、e10p11p21e20

次に、格子点決定部107は、包含判定の対象ブロックから注目ブロックを選択して(S22)、着目画素の包含判定を行い(S23)、包含ブロックを探索する。注目ブロックが着目画素を包含しないと判定した場合は処理をステップS22に戻し、次の注目ブロックを選択する。包含判定は、最大九個の対象ブロックについて順次行えばよい。

格子点決定部107は、包含ブロックを検出すると、包含ブロックが拡張格子点eを含むか否かを判定する(S24)。包含ブロックが拡張格子点eを含まない場合は、着目画素が変形後画像202に含まれると判定して、包含ブロックの各変形後格子点pの座標値を座標処理部108に出力する(S25)。また、包含ブロックが拡張格子点eを含む場合は、着目画素が変形後画像202の外側に位置すると判定して、画像外情報を座標処理部108に出力する(S26)。以降の処理(S16-S19)は実施例1と同様であり、各ステップに同一符号を付して、その説明を省略する。

このように、拡張格子点eを設けることにより包含判定の対象ブロックを最大九ブロックに限定して、包含ブロックを検出するまで無条件にブロックを包含判定の対象にすることを避けることができる。さらに、検出した包含ブロックが拡張格子点eを含む場合は着目画素が変形後画像202の外側にあると判定することができる。従って、包含判定を行うブロックの数を削減し、かつ、着目画素が変形後画像202の外側か否かの判定を簡易化して、格子点決定部107の処理負荷を軽減することができる。

なお、格子点に制約を与えることで、六つのブロックのみを包含判定の対象とすることもできる。すなわちブロックの四辺が互いに交差しないという制約を与えれば、包含ブロックが後退することはなくなる。ここで後退とは、前の着目画素が四辺形e01e02p12p11を包含ブロックとしていた場合、次の着目画素が、四辺形e00e01p11e10を包含ブロックとする左方向への遷移のことである。また、六つのブロックとは、3×3のブロックのうち、左端の一列を除いた2×3のブロックのことである。具体的には、図6のd3が着目画素であった場合、包含判定対象の六つのブロックは次の四辺形である。
e01e02p12p11、e02e03p13p12、p11p12p22p21、
p12p13p23p22、p21p22p32p31、p22p23p33p32

［変形例］
実施例2では、一つ前の着目画素を基準として包含判定の対象ブロックを決定する例を説明した。しかし、着目画素の上下左右の何れかに隣接する、または、斜め方向に隣接する、包含判定済みの画素を基準として包含判定の対象ブロックを決定すればよい。例えば、格子点決定部107は、横方向1ライン分の画素の包含ブロックの情報を保持し、着目画素に対して上方向または上斜め方向に隣接する画素の包含ブロック（前包含ブロック）を包含判定の対象ブロックの中心とする。

また、実施例2では、出力画像203の端部において、包含判定の対象ブロックの数が変化する例を説明したが、包含判定の対象ブロックの数が変化しない方法も考えられる。図8により拡張格子点eの別の追加例を示す。図8によれば、図6に示す拡張格子点e00からe40、e01からe04の外側に拡張格子点eaaからe4a、ea0からea4が追加されている。つまり、出力画像203の外側に二重に拡張格子点eを追加されている。なお、拡張格子点ea1の座標値は(p11x, -2)であり、拡張格子点e1aの座標値は(-2, p11y)である。

図8において、例えば、着目画素がd1、一つ前の着目画素がd0である場合、領域701で示すように包含判定の対象ブロックは九つになり、出力画像203内のすべての着目画素について、3×3のブロックを包含判定の対象ブロックにすることができる。

また、実施例1では、予め準備された変形後格子点に基づき包含判定を行う例を説明し、実施例2では、拡張格子点eの導入と、包含判定済みの画素を基準として包含判定の対象ブロックを決定する例を説明した。しかし、拡張格子点eを実施例1の構成に導入することもできる。そうすれば、検出した包含ブロックが拡張格子点eを含む場合、直ちに、着目画素が変形後画像202の外側に位置すると判定することができる。言い替えれば、着目画素が変形後画像202の外側に位置する場合、全ブロックの包含判定を行わずに済む可能性が高まる。

また、包含判定済みの画素を基準とする包含判定の対象ブロックの決定を実施例1の構成に導入することもできる。そうすれば、包含ブロックの検出を短時間に済ますことができる。ただし、着目画素が変形後画像202の外側に位置する場合は、全ブロックの包含判定が必要になる。

また、上記では、映像変形部103が映像投射装置100内にある例を説明したが、映像変形部103をコンピュータ装置を用いた画像処理装置として実現することもできる。つまり、映像変形部103の機能を実現するプログラムと変形後格子点のデータを記録媒体やネットワークを介してコンピュータ装置に供給する。そして、当該コンピュータ装置が変形前画像201を入力し、変形後画像202を含む出力画像203を映像投射装置100に供給すればよい。

［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。

103 … 映像変形部、106 … 記憶部、107 … 格子点決定部

Claims

入力画像が変形された変形画像を含む出力画像を出力する画像処理装置であって、
前記出力画像に関する座標系における座標値を特定する特定手段であって、前記入力画像上の複数の所定位置に対応する前記変形画像上の複数の対応位置の座標値を特定する特定手段と、
前記座標系における前記変形画像外の複数の拡張位置の座標値を、前記特定手段により特定される対応位置の座標値に応じて決定する第１決定手段と、
前記出力画像における対象画素が前記変形画像を構成する画素であるか否かを、前記座標系における前記対象画素の座標値と、前記特定手段により特定される対応位置の座標値と、前記第１決定手段により決定される拡張位置の座標値とに基づいて判定する判定手段と、
前記判定手段による判定の結果に基づいて前記対象画素の画素値を決定する第２決定手段と、
前記第２決定手段により決定される画素値に応じた前記出力画像を出力する出力手段とを有する画像処理装置。
前記第２決定手段は、前記対象画素が前記変形画像を構成する画素であると前記判定手段により判定された場合には、前記入力画像の画素値を用いて前記対象画素の画素値を決定し、前記対象画素が前記変形画像を構成する画素でないと前記判定手段により判定された場合には、前記対象画素の画素値を所定の値に決定することを特徴とする請求項１に記載の画像処理装置。
前記第２決定手段は、前記対象画素が前記変形画像を構成する画素であると前記判定手段により判定された場合に、前記特定手段により特定される対応位置の座標値と前記対象画素の座標値とに基づいて前記対象画素に対応する前記入力画像の画素を特定し、当該特定された画素の画素値を用いて前記対象画素の画素値を決定することを特徴とする請求項１又は２に記載の画像処理装置。
前記第２決定手段は、前記対象画素が前記変形画像を構成する画素でないと前記判定手段により判定された場合に、前記対象画素の値を黒色を表す値に決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記判定手段は、前記特定手段により特定される複数の対応位置と前記第１決定手段により決定される複数の拡張位置との中から、内部に前記対象画素を含み且つ対応位置及び拡張位置を含まない多角形の頂点となる特定位置の組を特定し、当該特定位置の組の何れかが拡張位置である場合には前記対象画素が前記変形画像を構成する画素でないと判定し、当該特定位置の組の何れも拡張位置でない場合には前記対象画素が前記変形画像を構成する画素であると判定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記判定手段は、前記特定手段により特定される複数の対応位置と前記第１決定手段により決定される複数の拡張位置との中から、内部に対応位置及び拡張位置を含まない多角形の頂点となる候補位置の組を選択し、当該候補位置の組を頂点とする多角形の内部に前記対象画素が含まれるか否かを判定することで前記特定位置の組を特定することを特徴とする請求項５に記載の画像処理装置。
前記判定手段は、前記対象画素に隣接する画素について特定された特定位置の組に基づいて前記候補位置の組を選択することを特徴とする請求項６に記載の画像処理装置。
前記判定手段は、前記対象画素に隣接する画素について特定された特定位置の組と、当該特定位置の組を頂点とする多角形に隣接する別の多角形の頂点となる位置の組との中から、前記候補位置の組を選択することを特徴とする請求項６又は７に記載の画像処理装置。
前記複数の所定位置は、前記入力画像に対して設定される格子点であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
前記出力手段により出力される前記出力画像を投影する投影手段を有することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
入力画像が変形された変形画像を含む出力画像を出力する画像処理方法であって、
前記出力画像に関する座標系における座標値を特定する特定工程であって、前記入力画像上の複数の所定位置に対応する前記変形画像上の複数の対応位置の座標値を特定する特定工程と、
前記座標系における前記変形画像外の複数の拡張位置の座標値を、前記特定工程において特定される対応位置の座標値に応じて決定する第１決定工程と、
前記出力画像における対象画素が前記変形画像を構成する画素であるか否かを、前記座標系における前記対象画素の座標値と、前記特定工程において特定される対応位置の座標値と、前記第１決定工程において決定される拡張位置の座標値とに基づいて判定する判定工程と、
前記判定工程における判定の結果に基づいて前記対象画素の画素値を決定する第２決定工程と、
前記第２決定工程において決定される画素値に応じた前記出力画像を出力する出力工程とを有する画像処理方法。
前記第２決定工程においては、前記対象画素が前記変形画像を構成する画素であると前記判定工程において判定された場合には、前記入力画像の画素値を用いて前記対象画素の画素値が決定され、前記対象画素が前記変形画像を構成する画素でないと前記判定工程において判定された場合には、前記対象画素の画素値が所定の値に決定されることを特徴とする請求項１１に記載の画像処理方法。
前記判定工程においては、前記特定工程において特定される複数の対応位置と前記第１決定工程において決定される複数の拡張位置との中から、内部に前記対象画素を含み且つ対応位置及び拡張位置を含まない多角形の頂点となる特定位置の組が特定され、当該特定位置の組の何れかが拡張位置である場合には前記対象画素が前記変形画像を構成する画素でないと判定され、当該特定位置の組の何れも拡張位置でない場合には前記対象画素が前記変形画像を構成する画素であると判定されることを特徴とする請求項１１又は１２に記載の画像処理方法。
コンピュータを請求項１から請求項１０の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。