JP5845151B2 - あおり補正装置、あおり補正方法及びあおり補正用コンピュータプログラム - Google Patents

Description

本発明は、あおり補正装置、あおり補正方法及びあおり補正用コンピュータプログラムに関する。

平面の対象物を斜めから撮影すると、矩形形状の対象物であっても遠近の位置関係によって、その見かけの形状が台形形状となって撮影される。これを正面から撮影したかのようにデータ補正することを「あおり補正」と呼ぶ。

カメラ自体でのあおり補正として、シフトレンズ等を用いたカメラの場合には、フィルムや撮像素子に対してレンズの光軸を傾けて、撮影することによってあおり補正を行うことができる。

また、従来の画像処理ソフト等では、通常、あおり補正後の形状は長方形を仮定していた。それ以外の形状に変形する場合は、あおり補正後の頂点の座標を正確に取得し、その座標に基づいてあおり補正処理を実行していた。

昌達 慶仁、「Ｃ言語で実装する画像処理アルゴリズムのすべて ［詳解］ 画像処理プログラミング」出版 SoftBank Creative

しかし、従来の画像処理ソフト上でのあおり補正では、補正後の形状は長方形であるという限定条件があった。また長方形以外の形状については、補正後の各頂点の正確な座標を必要としていた。しかし、各頂点の座標を正確に取得するのはなかなか困難であり、このため、補正後の形状が長方形以外の場合は、あまりあおり補正しなかったのが現状である。

そこで、本発明は、補正後の形状が長方形以外にも適用でき、簡易に変形できるあおり補正装置を提供する。

本発明に係るあおり補正装置は、
（ａ）対象物の上に四角形状に指定された４つの頂点について、前記４つの頂点間の長さとして、前記四角形の周囲４辺と対角２辺のうち、少なくとも５辺の長さを得る計測部と、
（ｂ）前記４つの頂点が写るようにカメラで前記対象物を撮影して撮影画像を得る撮影部と、
（ｃ）得られた前記撮影画像から前記４つの頂点のあおり補正前の画像座標を求める補正前画像座標取得部と、
（ｄ）前記各頂点間の長さを元にして、前記４つの頂点のあおり補正後の画像座標を求める補正後画像座標算出部と、
（ｅ）前記４つの頂点のあおり補正前の画像座標と、前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求める射影変換係数算出部と、
（ｇ）得られた前記射影変換の係数を用いて、前記撮影画像を射影変換することで、前記対象物のあおり補正後の画像を求めるあおり補正画像算出部と、
を含む。

本発明に係るあおり補正装置によれば、任意の四角形のあおり補正を実現できる。

（ａ）は、実施の形態１に係るあおり補正装置の構成を示すブロック図であり、（ｂ）は、（ａ）の制御部の物理的な構成を示すブロック図である。 対象物に４つの頂点を四角形状に指定した状態を示す平面図である。 （ａ）−（ｊ）は、使用されるマーカの例示である。 ４つの頂点を撮影した画像の一例を示す図である。 実施の形態１に係るあおり補正方法のフローチャートである。 実施の形態１に係るあおり補正用コンピュータプログラムのフローチャートである。

本発明の第１の態様に係るあおり補正装置は、
（ａ）対象物の上に四角形状に指定された４つの頂点について、前記４つの頂点間の長さとして、四角形の周囲４辺と対角２辺のうち、少なくとも５辺の長さを得る計測部と、
（ｂ）前記４つの頂点が写るようにカメラで対象物を撮影して撮影画像を得る撮影部と、
（ｃ）得られた撮影画像から前記４つの頂点のあおり補正前の画像座標を求める補正前画像座標取得部と、
（ｄ）各頂点間の長さを元にして、４つの頂点のあおり補正後の画像座標を求める補正後画像座標算出部と、
（ｅ）４つの頂点のあおり補正前の画像座標と、前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求める射影変換係数算出部と、
（ｇ）得られた射影変換の係数を用いて、撮影画像を射影変換することで、対象物のあおり補正後の画像を求めるあおり補正画像算出部と、
を含む。

本発明の第２の態様に係るあおり補正方法は、
（ａ）対象物の上に４つの頂点を四角形状に指定し、４つの頂点間の長さとして、四角形の周囲４辺と対角２辺のうち、少なくとも５辺を計測するステップと、
（ｂ）４つの頂点が写るようにカメラで対象物を撮影して撮影画像を得るステップと、
（ｃ）得られた撮影画像から４つの頂点のあおり補正前の画像座標を求めるステップと、
（ｄ）各頂点間の計測された長さを元にして、前記４つの頂点のあおり補正後の画像座標を求めるステップと、
（ｅ）（ｃ）のステップで求められた前記４つの頂点のあおり補正前の画像座標と、（ｄ）のステップで求められた前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求めるステップと、
（ｇ）得られた射影変換の係数を用いて、撮影画像を射影変換することで、対象物のあおり補正後の画像を求めるステップと、
を含む。

第３の態様に係るあおり補正方法は、第２の態様において、前記（ａ）のステップで、前記頂点間の長さとして、四角形の周囲４辺と対角１辺、又は、四角形の周囲３辺と対角２辺、の少なくとも一方を計測する。

本発明の第４の態様に係るあおり補正用コンピュータプログラムは、
（ａ）対象物の上に四角形状に指定された４つの頂点が写るように、対象物を撮影して得られた撮影画像から４つの頂点のあおり補正前の画像座標を求めるステップと、
（ｂ）４つの頂点間の長さとして、四角形の周囲４辺と対角２辺のうち、少なくとも５辺について計測された長さを元にして、４つの頂点のあおり補正後の画像座標を求めるステップと、
（ｃ）（ａ）のステップで求められた前記４つの頂点のあおり補正前の画像座標と、（ｂ）のステップで求められた前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求めるステップと、
（ｄ）得られた射影変換の係数を用いて、撮影画像を射影変換することで、対象物のあおり補正後の画像を求めるステップと、
の各ステップをコンピュータに実行させて、対象物の撮影画像のあおり補正を行う。

第５の態様に係るコンピュータ読み取り可能な記録媒体は、第４の態様の前記あおり補正用コンピュータプログラムを格納している。

＜従来のあおり補正における課題＞
発明者は、あおり補正について検討した過程において、従来の画像処理ソフトにおけるあおり補正では、補正後の形状は長方形であるという限定条件があった。また長方形以外の形状については、補正後の各頂点の正確な座標を必要としていた。しかし、各頂点の座標を正確に取得するのはなかなか困難であり、このため、補正後の形状が長方形以外の場合は、あまりあおり補正しなかったのが現状である。

そこで、本発明では、補正後の形状が長方形以外にも適用でき、簡易に変形できるあおり補正方法を提供する。

（実施の形態１）
＜あおり補正装置＞
図１（ａ）は、実施の形態１に係るあおり補正装置１０の構成を示すブロック図である。図１（ｂ）は、制御部１３の物理的な構成の一例を示すブロック図である。このあおり補正装置１０は、対象物１に指定された４つの頂点間の長さを計測する計測部１１と、対象物を撮影して撮影画像を得る撮影部１２と、４つの頂点のあおり補正前の画像座標を求める補正前画像座標取得部１４と、４つの頂点のあおり補正後の画像座標を求める補正後画像座標算出部１５と、あおり補正の射影変換の係数を求める射影変換係数算出部１６と、対象物のあおり補正後の画像を求めるあおり補正画像算出部１７と、を備える。なお、補正前画像座標取得部１４と、補正後画像座標算出部１５と、射影変換係数算出部１６と、あおり補正画像算出部１７と、は、制御部１３の機能として実現してもよい。図１（ｂ）に示すように、制御部１３は、物理的な構成として、ＣＰＵ２１、メモリ２２、記憶手段２３、入出力手段２４、表示手段２５、通信手段２６を備えている。

計測部１１は、対象物１の上に四角形状に指定された４つの頂点について、４つの頂点間の長さ、四角形の周囲４辺と対角２辺のうち、少なくとも５辺の長さを得る。撮像部１２は、４つの頂点が写るようにカメラで対象物１を撮影して撮影画像を得る。補正前画像座標取得部１４は、得られた撮影画像から４つの頂点のあおり補正前の画像座標を求める。補正後画像座標算出部１５は、４つの頂点間の長さを元にして、４つの頂点のあおり補正後の画像座標を求める。射影変換係数算出部１６は、４つの頂点のあおり補正前の画像座標と、４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求める。あおり補正画像算出部１７は、得られた射影変換の係数を用いて、撮影画像を射影変換することで、対象物のあおり補正後の画像を求める。

このあおり補正装置１０では、ユーザ自身による補正の必要がないあおり補正を実現できる。

＜あおり補正方法＞
図５は、実施の形態１に係るあおり補正方法のフローチャートである。このあおり補正方法について以下に説明する。
（ａ）対象物の上に４つの頂点を四角形状に指定し、頂点間の長さ、四角形の周囲４辺と対角２辺のうち、少なくとも５辺（例えば、四角形の周囲３辺と対角２辺又は四角形の周囲４辺と対角１辺）を計測する（Ｓ０１）。図２は、対象物に４つの頂点を四角形状に指定した状態を示す平面図である。頂点として対象物上にマーカを利用することでより正確に長さを計測することができる。そのため、図３（ａ）〜（ｊ）は、頂点として使用されるマーカの一例を示すものである。また、頂点は、同一平面内の四角形状を構成するように指定することが好ましい。なお、頂点間の長さの計測は、通常使用される方法、例えば、メジャーによる計測、レーザ計測、あるいは２台のカメラによるステレオ撮影等によって行うことができる。
（ｂ）４つの頂点が写るようにカメラにより対象物を撮影して撮影画像を得る（Ｓ０２）。図４は、４つの頂点を撮影した画像の一例を示す図である。なお、この場合、１台のカメラで撮影を行うことができる。撮像画像内において、４つの頂点に対応する各点は、それぞれα、β、γ、δとする。
（ｃ）得られた撮影画像から４つの頂点のあおり補正前の画像座標を求める（Ｓ０３）。４つの頂点の画像座標は、後述するようにピクセル単位で得ることができる。
（ｄ）頂点間の計測された長さを元に、４つの頂点のあおり補正後の画像座標を求める（Ｓ０４）。この場合、４つの頂点の画像座標は、計測された長さ（ｍ）に基づくので、例えば、ｍ単位となる。
（ｅ）上記（ｃ）のステップで求められた４つの頂点のあおり補正前の画像座標と、上記（ｄ）のステップで求められた４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求める（Ｓ０５）。
（ｆ）得られた射影変換の係数を用いて、画像を射影変換することで、対象物のあおり補正後の画像を求める（Ｓ０６）。
以上によって、対象物１のあおり補正後の画像を得ることができる。

以下に、このあおり補正方法の各ステップの詳細について説明する。
＜ステップ（ｃ）について＞
実空間上の４つの頂点（Ａ、Ｂ、Ｃ、Ｄ）の各点に対応する撮影された画像上の点α、β、γ、δは、画像から得られる画像座標であって、以下の通りとする。
α＝（ｘ_１，ｙ_１）
β＝（ｘ_２，ｙ_２）
γ＝（ｘ_３，ｙ_３）
δ＝（ｘ_４，ｙ_４）
上記４つの点α、β、γ、δは、４つの頂点を撮影して得られた画像座標であって、あおり補正前の画像座標である。

＜ステップ（ｄ）について＞
・四角形の周辺３辺と対角２辺の場合
４つの頂点間の長さとして、周辺３辺と対角２辺の長さを計測した場合に、４つの頂点の各点の座標を以下のようにして求めることができる。
４つの頂点の各点（Ａ、Ｂ、Ｃ、Ｄ）で形成される四角形ＡＢＣＤのうち、周辺２辺（ＡＢ、ＢＣ）と、対角１辺（ＡＣ）とで構成される三角形ＡＢＣについて各点（Ａ、Ｂ、Ｃ）のうち、点Ｃの座標（ＡＥ、ＣＥ）を求める。この時、頂点Ａから頂点Ｂの方向をＸ軸、頂点Ａを原点とする。
まず、三角形ＡＢＣについて、三辺の和を２ｓとし、三角形ＡＢＣの面積Ｓについて、ヘロンの公式により、下記式が得られる。

以上によって、点Ｃの座標（ＡＥ、ＣＥ）が得られる。

次に、周辺２辺（ＡＢ、ＤＡ）と、対角１辺（ＢＤ）とで構成される三角形ＡＢＤについて各点（Ａ、Ｂ、Ｄ）のうち、点Ｄの座標（ＡＦ、ＤＦ）を求める。前述と同様に座標系は頂点Ａから頂点Ｂの方向をＸ軸、頂点Ａを原点とする。
三角形ＡＢＤについて、三辺の和を２ｓとし、三角形ＡＢＤの面積Ｓについて、ヘロンの公式より、下記式が得られる。

よってＡＢＣＤの各点の座標は、点Ａの座標を原点とした場合、下記のようになる。
Ａ ＝（０，０） ⇒（Ｘ_１，Ｙ_１）
Ｂ ＝（ＡＢ，０） ⇒（Ｘ_２，Ｙ_２）
Ｃ ＝（ＡＥ，ＣＥ） ⇒（Ｘ_３，Ｙ_３）
Ｄ ＝（ＡＦ，ＤＦ） ⇒（Ｘ_４，Ｙ_４）

・四角形の周辺４辺と対角１辺の場合
一方、４つの頂点間の長さとして、四角形の周囲４辺と対角２辺のうち、四角形の周辺４辺と対角１辺の場合を計測した場合について説明する。例えば、周囲４辺と対角ＡＣとを計測した場合、原点を点Ａとすると共に、対角ＡＣをＸ軸とすることによって、上記と同様の取り扱いをすることができる。例えば、三角形ＡＢＣについては、点Ｂから対角ＡＣに垂線を下ろして、垂線の足を点Ｅとする。その後、上記と同様にヘロンの公式を用いてＢＥ及びＡＥを算出して、点Ｂの画像座標を求める。また、三角形ＡＣＤについては、点Ｄから対角ＡＣに垂線を下ろして、垂線の足を点Ｆとする。その後、上記と同様にヘロンの公式を用いてＤＦ、ＡＦを算出して、点Ｄの画像座標を求めることができる。

＜ステップ（ｅ）について＞
あおり補正前の画像上の画像座標（ｘ_ｎ，ｙ_ｎ）から、あおり補正後の画像座標（Ｘ_ｎ，Ｙ_ｎ）への座標変換（射影変換）は、以下のように示される。なお、下記式中、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、Ａ、Ｂは、あおり補正の射影変換におけるパラメータである。

なお、上述のように、あおり補正前の画像上の画像座標（ｘ_ｎ，ｙ_ｎ）はピクセル単位で得られる。一方、あおり補正後の画像座標（Ｘ_ｎ，Ｙ_ｎ）は、例えばｍ単位で得られる。それぞれの単位が相違するので、それぞれの単位系を対応させる任意の定数としてｋを設けた。ｋは、任意の定数であるが、決定の方法の一つとしては、例えば、以下の方法が挙げられる。
ｋ＝αβ間の距離（ｐｉｘｅｌ（画素））／ＡＢ間の距離（ｍ）

上記あおり補正の射影変換の式に、４つの頂点のあおり補正前後の画像座標をそれぞれ代入することによって、８組の方程式を得ることができ、これを解くことによって、あおり補正の射影変換におけるパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆ、Ａ、Ｂを算出することができる。

＜ステップ（ｆ）＞
得られたあおり補正の射影変換におけるパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆ、Ａ、Ｂを用いて、撮影画像を射影変換することで、対象物１のあおり補正後の画像を求めることができる。

＜あおり補正用コンピュータプログラム＞
図６は、実施の形態１に係るあおり補正用コンピュータプログラムのフローチャートである。
（ａ）対象物１の上に四角形状に指定された４つの頂点が写るように、対象物１を撮影して得られた撮影画像から４つの頂点のあおり補正前の画像座標を求める（Ｓ１１）。
（ｂ）４つの頂点間の長さ、四角形の周囲４辺と対角２辺のうち、少なくとも５辺について計測された長さを元にして、４つの頂点のあおり補正後の画像座標を求める（Ｓ１２）。
（ｃ）（ａ）のステップで求められた４つの頂点のあおり補正前の画像座標と、（ｂ）のステップで求められた４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求める（Ｓ１３）。
（ｄ）得られた射影変換の係数を用いて、撮影画像を射影変換することで、対象物１のあおり補正後の画像を求める（Ｓ１４）。
以上の各ステップをコンピュータに実行させることによって、対象物１の撮影画像のあおり補正を行うことができる。

さらに、上記あおり補正用コンピュータプログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。

本発明に係るあおり補正装置、あおり補正方法及びあおり補正用コンピュータプログラムでは、４つの頂点を四角形状に指定すればよく、長方形の頂点に限定されないので、自由度の高いあおり補正を行うことができる。

１ 対象物
２ 頂点
１０ あおり補正装置
１１ 計測部
１２ 撮影部
１３ 制御部
１４ 補正前画像座標取得部
１５ 補正後画像座標算出部
１６ 射影変換係数算出部
１７ 補正画像算出部
２１ ＣＰＵ
２２ メモリ
２３ 記憶手段
２４ 入出力手段
２５ 表示手段
２６ 通信手段

Claims (5)

1. （ａ）対象物の上に四角形状に指定された４つの頂点について、前記４つの頂点間の長さとして、前記四角形の周囲４辺と対角２辺のうち、少なくとも５辺の長さを得る計測部と、
   （ｂ）前記４つの頂点が写るようにカメラで前記対象物を撮影して撮影画像を得る撮影部と、
   （ｃ）得られた前記撮影画像から前記４つの頂点のあおり補正前の画像座標を求める補正前画像座標取得部と、
   （ｄ）前記各頂点間の長さを元にして、前記４つの頂点のあおり補正後の画像座標を求める補正後画像座標算出部と、
   （ｅ）前記４つの頂点のあおり補正前の画像座標と、前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求める射影変換係数算出部と、
   （ｇ）得られた前記射影変換の係数を用いて、前記撮影画像を射影変換することで、前記対象物のあおり補正後の画像を求めるあおり補正画像算出部と、
   を含む、あおり補正装置。
2. （ａ）対象物の上に４つの頂点を四角形状に指定し、前記４つの頂点間の長さとして、前記四角形の周囲４辺と対角２辺のうち、少なくとも５辺を計測するステップと、
   （ｂ）前記４つの頂点が写るようにカメラで前記対象物を撮影して撮影画像を得るステップと、
   （ｃ）得られた前記撮影画像から前記４つの頂点のあおり補正前の画像座標を求めるステップと、
   （ｄ）前記各頂点間の計測された長さを元にして、前記４つの頂点のあおり補正後の画像座標を求めるステップと、
   （ｅ）前記（ｃ）のステップで求められた前記４つの頂点のあおり補正前の画像座標と、前記（ｄ）のステップで求められた前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求めるステップと、
   （ｆ）得られた前記射影変換の係数を用いて、前記撮影画像を射影変換することで、前記対象物のあおり補正後の画像を求めるステップと、
   を含む、あおり補正方法。
3. 前記（ａ）のステップで、前記頂点間の長さとして、四角形の周囲４辺と対角１辺、又は、四角形の周囲３辺と対角２辺、の少なくとも一方を計測する、請求項２に記載のあおり補正方法。
4. （ａ）対象物の上に四角形状に指定された４つの頂点が写るように、前記対象物を撮影して得られた撮影画像から前記４つの頂点のあおり補正前の画像座標を求めるステップと、
   （ｂ）前記４つの頂点間の長さ、前記四角形の周囲４辺と対角２辺のうち、少なくとも５辺について計測された長さを元にして、前記４つの頂点のあおり補正後の画像座標を求めるステップと、
   （ｃ）前記（ａ）のステップで求められた前記４つの頂点のあおり補正前の画像座標と、前記（ｂ）のステップで求められた前記４つの頂点のあおり補正後の画像座標との間の関係式に基づいて、あおり補正の射影変換の係数を求めるステップと、
   （ｄ）得られた前記射影変換の係数を用いて、前記撮影画像を射影変換することで、前記対象物のあおり補正後の画像を求めるステップと、
   の各ステップをコンピュータに実行させて、対象物の撮影画像のあおり補正を行うための、あおり補正用コンピュータプログラム。
5. 請求項４に記載の前記あおり補正用コンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images