JP7041420B2

JP7041420B2 - 画像補正処理システム

Info

Publication number: JP7041420B2
Application number: JP2020160365A
Authority: JP
Inventors: 利文村田; 東主辛; 成吉谷井
Original assignee: Marketvision Co Ltd
Current assignee: Marketvision Co Ltd
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2022-03-24
Anticipated expiration: 2039-06-12
Also published as: JP2020201998A

Description

本発明は，画像補正処理システムに関する。

カメラなどの撮影装置で撮影した画像情報に写っている対象物を自動認識する場合，その対象物を正対した位置から撮影することで，撮影装置のレンズの光軸と対象物の面とが垂直となるので，撮影した画像情報に歪みが生じず，自動認識の精度が向上する。そのため，自動認識を行う場合，理想的には対象物を正対した位置から撮影することが好ましい。

しかし，撮影装置で対象物を撮影する際の撮影角度は，撮影場所のスペースや光源位置などさまざまな撮影条件によって制約されることが一般的である。そして，対象物を俯角，仰角で撮影したり，左右にずれた方向から撮影することで，撮影した画像情報に歪みが生じる。一般に，自動認識は，標本とする画像情報と，撮影した画像情報との間の画像情報同士の特徴量を比較することで行う。そのため，正対していない位置から撮影された画像情報に対して自動認識を行う場合，正対した位置から撮影されている標本とする画像情報と，互いに異なる撮影角度から撮影されているので，撮影した画像情報での歪みが大きければ大きいほど，対象物の自動認識の認識精度が低下する。

すなわち，本来，三次元空間における水平線，垂直線は，正対した位置から撮影すれば，二次元である撮影した画像情報においても水平線，垂直線となるはずである。しかし，撮影条件などによっては，正対した位置から撮影できないことが多く，その場合，撮影した画像情報においては，水平線，垂直線とはならない。これを二次元の画像情報においても，水平線，垂直線となるように補正を行うことが求められる。

そこで，三次元空間における水平線，垂直線が，二次元の画像情報においても水平線，垂直線となるように補正することで，認識精度の低下を改善することができ，それを実現するため，手動による画像情報の補正を行うことが行われている。このような画像情報の補正処理は，たとえば以下のように行われる。

補正対象となる画像情報が図５であったとする。まず，この画像情報に四角形の枠２００などを重畳表示する（図２０）。そして，オペレータが手動で，実際には長方形であるにもかかわらず画像情報上では歪んだ四角形として表示されている４頂点の位置に，重畳表示した四角形２００の各頂点を移動する。この状態を模式的に示すのが図２１である。その後，利用者がコンピュータで所定の操作を行うことで，コンピュータが当該重畳表示した四角形２００が長方形となるように，画像情報全体をアフィン変換するという処理を行う。それによって，図２２に示すように，補正処理が実行できる。

このような補正処理の一例として台形補正処理が知られており，たとえば下記特許文献１に開示されている。

特開２０１８－１９４７９２号公報

従来の補正処理を行う場合，オペレータが手動で台形補正処理などの頂点を手動で指定する操作を行うことから，オペレータの作業負担が発生する。また，手動での作業なので，処理時間も要することとなる。そこでこのような補正処理について自動化することが求められている。

補正処理を自動化するにあたり，カメラなどの撮影装置に内蔵されている重力センサなどの物理的なセンサを用いることが考えられる。しかし，その場合，撮影に手間がかかったり，センサを内蔵した撮影装置でなければ利用することができない，といった制約が発生する。

そこで本発明者は上記課題に鑑み，画像情報に対する画像処理によって補正処理を行う画像補正処理システムを発明した。

第１の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて回帰直線の算出を行うことで，消失点を共通とした線分を特定し，前記画像情報の補正処理を行う補正処理部と，を有する画像補正処理システムである。

処理対象とする画像情報において輪郭線の線分を検出し，検出した線分から縦成分，横成分の線分について，回帰直線などを算出することで，線分の全体の傾きの傾向を特定することができる。この傾向を用いて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。すなわち，３次元空間における水平線および／または垂直線について，画像情報では水平線，垂直線となっていなくても，本発明を用いることで，画像情報において水平線および／または垂直線に補正することができる。

第２の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記画像情報に対する補正処理を実行する補正処理部と，を有しており，前記補正処理部は，前記横成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，画像補正処理システムである。

３次元空間における水平線，垂直線について，画像情報では水平線，垂直線となっていなくても，本発明のように構成することで，画像情報において水平線，垂直線に補正することができる。

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて回帰直線の算出を行うことで，消失点を共通とした線分を特定し，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムである。

第２の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記画像情報に対する補正処理を実行する補正処理部，として機能させる画像補正処理プログラムであって，前記補正処理部は，前記横成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，画像補正処理プログラムである。

本発明の画像補正処理システムを用いることによって，画像情報について自動的に補正処理を行うことができるので，オペレータの作業負担を軽減し，また処理時間も減らすことができる。また，センサなどを用いることもないので，撮影装置に依存することもない。

本発明の画像補正処理システムの全体の処理機能の一例を模式的に示すブロック図である。本発明の画像補正処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。本発明の画像補正処理システムにおける全体処理の処理プロセスの一例を示すフローチャートである。本発明の画像補正処理システムにおける補正処理の処理プロセスの一例を示すフローチャートである。補正対象とする画像情報の一例を示す図である。横成分の線分と縦成分の線分の関係を模式的に示す図である。３次元空間における垂直線，水平線が，画像情報では垂直線，水平線が消失点に向かうことを模式的に示す図である。３次元空間における垂直線，水平線が，画像情報では垂直線，水平線が消失点に向かうことを画像情報との関係で模式的に示す図である。画像情報における水平線が直線ＡＢ上に位置することを模式的に示す図である。ｙ_Ｉｎｔとｔａｎ（θ）とについてプロットをしたグラフを模式的に示す図である。補正処理部における透視変換処理の一例を模式的に示す図である。変形前の台形と，それを変形した画像情報と，さらにそれを縦方向にｒ倍した画像情報の関係を模式的に示す図である。図５の画像情報に対して，本発明の画像補正処理システムにおける補正処理を実行した後の画像情報の一例を示す図である。実施例１において，補正処理の対象として入力をした画像情報の一例を示す図である。実施例１において，図１４の画像情報に対して，本発明の画像補正処理システムにおける補正処理を実行した後の画像情報の一例を示す図である。実施例３の画像補正処理システムにおける全体処理の処理プロセスを示すフローチャートの一例である。実施例３の画像補正処理システムにおける３次元空間における２本の水平線を求める処理の処理プロセスを示すフローチャートの一例である。透視変換処理を行うための四角形の頂点を求める処理を模式的に示す図である。四角形を長方形に透視変換する処理を模式的に示す図である。補正対象とする画像情報に，手動で補正処理を行うための四角形の枠を表示した状態の一例を示す図である。補正対象とする画像情報において，実際には長方形であるにもかかわらず画像情報上では歪んだ四角形として表示されている４頂点の位置に，重畳表示した四角形の各頂点を移動した状態の一例を示す図である。図２１で移動した４頂点の位置が長方形となるように，画像情報全体をアフィン変換して補正処理をした状態の一例を示す図である。

本発明の画像補正処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像補正処理システム１は，管理端末２と入力端末３とを用いる。

管理端末２は，画像補正処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，画像情報を管理端末２に入力する端末である。

画像補正処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

入力端末３は，上述の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報を撮影してもよい。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合，視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。

画像補正処理システム１は，画像情報入力受付処理部２０と画像情報記憶部２１と線分検出処理部２２と線分選択処理部２３と補正処理部２４とを有する。

画像情報入力受付処理部２０は，入力端末３などから撮影した画像情報の入力を受け付け，後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。図５に，入力端末３から入力を受け付けた画像情報の一例を示す。図５では，店舗の陳列棚の撮影した画像情報であり，これが補正対象となる画像情報となる。図５のように，店舗の陳列棚を撮影する場合，撮影者の背後にほかの陳列棚が位置し，通路が狭いなどの事情から，撮影対象となる陳列棚と撮影装置との間の距離を確保できないことがある。また陳列棚は撮影者の視線の下方に位置するため，俯角での撮影となることも多い。そのため，正対した位置から撮影できていない。これを正対した位置から撮影したように，本発明によって撮影した画像情報を補正をする。なお，本発明は，俯角で撮影した画像情報のみならず，仰角で撮影した画像情報，左右方向から撮影した画像情報などでも同様に適用することができる。

画像情報記憶部２１は，入力端末３から受け付けた画像情報を記憶する。

線分検出処理部２２は，画像情報入力受付処理部２０で入力を受け付けた画像情報や画像情報記憶部２１に記憶した画像情報など，補正処理の対象とする画像情報において，エッジ検出処理などを行うことで輪郭線を抽出し，抽出した輪郭線を短い線分（直線）（線分群）に変換して検出する。線分検出処理部２２は，たとえばＬＳＤ（線分検出器：ＬｉｎｅＳｅｇｍｅｎｔＤｅｔｅｃｔｏｒ）を用い，画像情報から輪郭線を構成する線分（ｌｉｎｅｓｅｇｍｅｎｔ）を検出する。この線分は，好ましくはベクトルデータであって，２つの端点を持つ直線である。

たとえば店舗の陳列棚を撮影した画像情報について，線分検出処理部２２で輪郭線を線分に変換すると，平均して数万本の線分が検出できる。

線分選択処理部２３は，線分検出処理部２２で検出した線分のうち，縦成分または横成分の線分を選択する。縦成分の線分とは，上下方向を向いている線分であり，横成分の線分とは水平方向を向いている線分である。たとえば上下方向を±９０度とした場合，±４５度以上±１３５度未満を向いている線分が縦成分の線分であり，０度から±４５度未満，±１３５度から±１８０度を向いている線分が横成分の線分とすることができる。これを模式的に示すのが図６である。なお，上下方向，左右方向を区別するための角度は，上記に限らず，任意に設定できる。

補正処理部２４は，線分選択処理部２３で選択した縦成分または横成分の線分に対して，正対した位置となる補正処理を実行する。すなわち３次元空間における水平線，垂直線が，画像情報では水平線，垂直線とはなっていないので，それを画像情報においても水平線，垂直線となるように，その線分のベクトルデータなどの線分に関する情報（線分情報）を用いて補正をする処理を実行する。

まず補正処理部２４における補正処理の前提となる概念を説明する。

３次元空間における対象物を撮影する場合，それが正対した位置から撮影できていない場合，対象物を俯角や仰角（上下方向）あるいは左右方向から撮影していることとなる。そのため，３次元空間における水平線群，垂直線群は，それぞれ，画像情報上では，上下方向の一つの共通の点（消失点），水平方向の一つの共通の点（消失点）に向かうこととなる。したがって，画像情報における水平線群，垂直線群をそれぞれ仮想的に延長すれば，その延長線上では共通の点（消失点）を通ることとなる。これを模式的に示すのが図７である。なお，図７では，対象物を俯角で撮影した場合であり，垂直線群のみについて示しているが，水平線群についても同様である。

そして水平線群，垂直線群を構成する各線分についての消失点の位置を求め，画像情報において，水平方向の消失点を通る少なくとも２本の３次元空間における水平線，垂直方向の消失点を通る少なくとも２本の３次元空間における垂直線を求めれば，画像情報の変形を特定できるので，画像情報について正対した位置から撮影したように透視変換処理を行える。透視変換処理とは，任意の四角形を長方形に変換する処理であって，その一例として台形補正処理がある。

画像情報における水平線群の横成分に着目した場合，図８におけるＡおよびＢが３次元空間における水平線，すなわち画像情報上では，共通の消失点を有していると仮定することができる。なお，図８におけるｘ_ｍａｘは画像情報の横幅，ｙ_ｍａｘは画像情報の高さである。そうすると，線分Ａについて，
ｙ＝ｔａｎ（θ）ｘ＋ｂ
としたとき，
ｙ_０＝ｔａｎ（θ）ｘ_０＋ｂ
となるので，
ｙ＝ｔａｎ（θ）（ｘ－ｘ_０）＋ｙ_０
となる。

この直線と，ｘ＝ｘ_ｍａｘ／２との交点のｙ座標（これをｙ_Ｉｎｔとする）について，
ｙ_Ｉｎｔ＝ｔａｎ（θ）（ｘ_ｍａｘ／２－ｘ_０）＋ｙ_０
となるので，
ｙ_Ｉｎｔ－ｙ_０＝ｔａｎ（θ）（ｘ_ｍａｘ／２－ｘ_０）
となる。

すなわち，線分Ａのｘ＝ｘ_ｍａｘ／２の切片のｙ座標（ｙ_Ｉｎｔ）とｔａｎ（θ）とは線形である。なお，３次元空間における水平線が画像情報でも水平線として写るのは，θ＝０のときなので，
ｙ＝ｙ_０
である。

以上から，線分Ａのｘ＝ｘ_ｍａｘ／２の切片のｙ座標（ｙ_Ｉｎｔ）とｔａｎ（θ）とのグラフは図９のようになる。つまり，全ての水平線は，直線ＡＢ上に分布する。

なお，ｙ_Ｉｎｔについて，ｘ＝ｘ_ｍａｘ／２の切片とするのは，画像情報において偏った位置での切片を求めると，消失点は左右いずれの方向のいずれにあるかはこの時点ではわからないので，左右いずれかの方向にある消失点に近くなり，誤差が生じる可能性が高くなるからである。そのため，ｙ_Ｉｎｔについて，ｘ＝ｘ_ｍａｘ／２の切片とすることが好ましいが，それに限定するものではなく，画像情報の横幅方向の中心付近，あるいは中心から１／３～２／３程度の幅の間の位置の切片とすることが好ましい。また，画像情報をどのように撮影したのかがわかる場合，左右のどちらに消失点があるかはわかるので，それに基づいて，切片の位置を任意に変更してもよい。

以上を前提として，補正処理部２４は，線分選択処理部２３で選択した横成分の各線分について，ｙ_Ｉｎｔとｔａｎ（θ）とについてプロットをして，図１０に示すようなグラフを求める。なお，グラフを求めるとは，実際に２次元のグラフにプロットするほか，ｙ_Ｉｎｔとｔａｎ（θ）とについて後述する回帰直線が算出可能なように数値データとして整理されている状態であれば足りる。図１０では画像情報から選択した横成分の線分のうち，短い線分（ベクトル）を除外して１／１０程度に線分を減らした上でプロットをしているが，選択した線分の一部の線分のみを処理対象とするのではなく，選択したすべての線分を処理対象としてもよい。

そして補正処理部２４は，図１０に示すようなｙ_Ｉｎｔとｔａｎ（θ）とについての回帰直線を，たとえばロバスト推定のアルゴリズムであるＲＡＮＳＡＣなどを用いて求める。

具体的には，点群の回帰直線を求め，もっとも大きな外れ値となる点から順に，全体の所定量，たとえば５％～１０％の点を除外し，残った点群について，分散が所定の閾値以下となるまで，上記を繰り返すことで，回帰直線を求める。なお，回帰直線を求めるためには，上記に限定するものではなく，ほかの方法を用いてもよい。

補正処理部２４は，回帰直線を求める前に，ノイズを除去するため，所定の閾値よりも短い線分を除外してもよい。

また，所定の長さよりも長い線分についてはより大きな重み付けをして回帰直線を求めることもできる。長い線分は，ノイズではない可能性が高く，回帰直線を求める上での重要度が高いため，処理精度の向上に資するからである。

つぎに，補正処理部２４は，透視変換処理で用いる頂点を特定する処理を実行する。これを模式的に示すのが図１１である。

そして，上述のように算出したｙ_Ｉｎｔとｔａｎ（θ）とについての回帰直線と，ｙ_Ｉｎｔ＝０，ｙ_Ｉｎｔ＝ｙ_ｍａｘの交点におけるｔａｎ（θ）の値であるｔｕ（ｙ_Ｉｎｔ＝０のときのｔａｎ（θ）の値），ｔｄ（ｙ_Ｉｎｔ＝ｙ_ｍａｘのときのｔａｎ（θ）の値）から，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出する。

そして，補正処理部２４は，変形前の台形を指定し，その台形を画像情報と同じ外形に変形させることで，３次元空間における水平線が，画像情報においても水平になる変形の処理を行う。この場合，台形の各頂点をＰ１，Ｐ２，Ｐ３，Ｐ４とした場合，たとえば台形の頂点Ｐ１のｙ座標ｄ２は，図１１におけるｄ０，ｄ１の値を，以下の数１で求めることができる。
（数１）

また，台形の頂点Ｐ２のｙ座標ｈ２は，図１２におけるｈ０，ｈ１の値を，以下の数２で求めることができる。
（数２）

そして，台形の頂点Ｐ３のｙ座標は，上述で求めたＰ２（ｘ＝０，ｙ＝ｄ０＋ｈ２）と，（ｘ＝ｘ_ｍａｘ／２，ｙ＝ｙ_ｍａｘ）の点を通る直線において，ｘ＝ｘ_ｍａｘのときのｙ座標を算出することで求めることができる。

また，台形の頂点Ｐ４のｙ座標は，上述で求めたＰ１（ｘ＝０，ｙ＝ｄ０－ｄ２）と，（ｘ＝ｘ_ｍａｘ／２，ｙ＝０）の点を通る直線において，ｘ＝ｘ_ｍａｘのときのｙ座標を算出することで求めることができる。

補正処理部２４は，上述のように台形の頂点Ｐ１乃至Ｐ４のｙ座標を算出し，またｘ座標は，それぞれ０またはｘ_ｍａｘであるので，台形の頂点Ｐ１乃至Ｐ４の各座標を算出することができる。

このように台形の頂点Ｐ１乃至Ｐ４の座標を算出すると，この各頂点Ｐ１乃至Ｐ４の座標を用いて，アフィン変換などの公知の透視変換処理を実行する。透視変換処理としてはさまざまな公知技術を適用することができる。

撮影対象とした対象物に３次元空間における水平線が多く含まれている場合，それを撮影した画像情報にも，３次元空間における水平線が，画像情報上では水平線とはならずに写っている。一方，３次元空間における水平線の延長線は，画像情報では共通の消失点に向かっている。その消失点を通る少なくとも２本の水平線（３次元空間における水平線であって，画像情報では水平線ではない線分）を画像情報から特定できれば，その画像情報における左右方向の変形量を特定できる。なお，共通の消失点とは，２本の線が必ずしも同一の点を通らなくてもよく，ある点から所定範囲内を通る場合も含まれる。共通の消失点を通る線は，消失点を共有する線と表記する場合もある。

垂直線についても同様であって，３次元空間における垂直線の延長線は，画像情報では共通の消失点に向かっており，その消失点を通る少なくとも２本の垂直線（３次元空間における垂直線であって，画像情報では垂直線ではない線分）を画像情報から特定できれば，その画像情報における上下方向の変形量を特定できる。このように特定した，左右方向の消失点を通る少なくとも２本の水平線と，上下方向の消失点を通る少なくとも２本の垂直線により構成される四角形の変形量を用いて，アフィン変換などの透視変形処理を実行することで，３次元空間の水平線，垂直線を，画像情報においても水平線，垂直線に補正することができる。

水平線または垂直線の消失点は，それぞれ二次元平面全体に広がっている。そしてその消失点を求めるため，上述のように，消失点に向かう画像情報の線分群が同一の性質を持つような空間，たとえばｔａｎ（θ）とｙ切片とからなる空間にマッピングする。そして，発明者らは，その空間において消失点を共通とする線分は，上述のように，一直線に並ぶ性質があることを初めて導出したので，たとえば回帰直線を求めることによって，消失点を共通とする線分が特定できる。そしてこの線分を用いて，画像情報の変形量，たとえば回帰直線とｙ＝０，ｙ＝ｙ_ｍａｘの交点，すなわち，回帰直線と画像情報の両端の位置との交点を求めれば，画像情報の上端と下端における変形量を特定することができる。この上端と下端における変形量を用いてそれを水平にするアフィン変換などの透視変換処理を実行することで，台形を長方形に変形することができる。なお，回帰直線と画像情報の両端の位置との交点を求めることとしたが，それに限定するものではなく，回帰直線と離隔した２点の交点を求め，その２点を結ぶ直線から，透視変換処理を実行する範囲である，たとえばｙ＝０，ｙ＝ｙ_ｍａｘの位置を求めてもよい。

画像情報における線分をｔａｎ（θ）とｙ切片とからなる空間における回帰直線を求める以外の方法によって求めてもよい。

補正処理部２４は透視変換処理を実行したあと，縦横比の調整処理を実行する。すなわち，本来，正方形の対象物が画像情報に写っているとしても，正方形には近づかず，横に潰れた（または縦に引き延ばされた）画像情報となることがある。

そこで，縦横比を調整する処理を実行する。この場合，レンズの焦点距離（画角），撮影時の撮影装置と対象物との相対距離（撮影装置と対象物間の距離と，対象物のサイズの比率）に依存し，それらを仮定として設定し，縦横比を調整する。この仮定の設定は，撮影装置の機種，撮影距離，あるいは実験によって得られた値から縦横比を調整する係数を設定することが好ましい。

たとえば水平方向の画角が６３度の撮影装置で撮影装置を縦にして，１台の縦長の陳列棚をおおよそ画角いっぱいになるような構図で角度をつけて撮影した場合には，図１１における長辺をａ，短辺をｂとし，
ｒ＝（ａ－ｂ）／ａ
とすると，縦方向の調整係数はおおよそ，
１－ｒ×０．７
となることが実験結果より明らかとなった（±７％程度の誤差）。

そこで，上述の透視変換処理で得られた画像情報を縦に１／（１－０．７ｒ）倍拡大するか，横に，（１－０．７ｒ）倍縮小すれば，縦横比の調整ができる。

なお，撮影装置を横にして，陳列棚数段分をおおよそ画角いっぱいになるような構図で撮影した場合も同様であった。

これらを模式的に示すのが図１２である。なお，上述の調整係数については，上述に限定するものではなく，対象物の種類や大きさなどによって任意に設定することができる。

以上のような各処理を補正処理部２４で実行することで，水平方向の補正処理が実行できる。

補正処理部２４は，縦成分の線分に関する処理を行う場合には，線分選択処理部２３で選択された縦成分の線分について，その線分の縦横の座標軸を９０度変換することで，横成分の線分に変換し，上述と同様の処理を実行できる。なお，変換後は，さらに縦横の座標軸を９０度変換することで，縦成分の線分に戻す。

入力端末３から入力を受け付けた画像情報（図５）に対して，本発明の画像補正処理システム１における補正処理を実行した画像情報の一例が図１３である。

なお，補正処理部２４における上述の処理として横成分の線分に関する処理の場合を説明したが，縦成分の線分で処理を実行してもその座標軸が９０度異なるだけで，同様に処理が実行できることは当然である。また，画像情報が上下方向または左右方向のいずれかでは角度をつけることなく撮影されている場合には，角度がつけられている方向に対応する成分（縦成分または横成分）の線分のいずれかに対してのみ処理を実行してもよい。

補正処理部２４は，横成分の線分に対する補正処理，縦成分の線分に対する補正処理を実行した後，補正処理後の画像情報，たとえば図１３の画像情報を，補正処理前の画像情報に対応づけて画像情報記憶部２１に記憶させるとよい。また補正処理後の画像情報は，オペレータが所定の操作をすることで，表示装置７２に表示する，印刷するなど所定の操作で出力される。

つぎに本発明の画像補正処理システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。本実施例では，店舗の陳列棚を撮影した画像情報に対して，本発明の画像補正処理システム１によって自動的に補正する処理を行う場合を説明する。

まず撮影担当者は，店舗の陳列棚を撮影する。画像情報入力受付処理部２０は，撮影した画像情報は入力端末３から入力を受け付け（Ｓ１００），画像情報記憶部２１に記憶させる。この画像情報の一例が図１４である。

線分検出処理部２２は，画像情報記憶部２１に記憶させた画像情報のうち，処理対象とする画像情報に対してＬＳＤを用い，画像情報から輪郭線を構成する線分の集まりである線分群を検出する（Ｓ１１０）。

Ｓ１１０で線分群を検出後，線分選択処理部２３は，検出した線分群のうち，横成分の線分を選択する（Ｓ１２０）。そして，選択した横成分の線分に対して，補正処理部２４が，３次元空間における水平線が，画像情報で水平線となるように補正処理を実行する（Ｓ１３０）。

具体的には，Ｓ１２０で選択した横成分の各線分のすべてまたは一部について，線分のベクトルデータに基づいて，ｙ_Ｉｎｔとｔａｎ（θ）に変換をする（Ｓ２００）。そして，ＲＡＮＳＡＣを用いて，各線分のｙ_Ｉｎｔとｔａｎ（θ）とについての回帰直線を算出する（Ｓ２１０）。そして，算出したｙ_Ｉｎｔとｔａｎ（θ）とについての回帰直線と，ｙ_Ｉｎｔ＝０，ｙ_Ｉｎｔ＝ｙ_ｍａｘの交点におけるｔａｎ（θ）の値であるｔｕ（ｙ_Ｉｎｔ＝０のときのｔａｎ（θ）の値），ｔｄ（ｙ_Ｉｎｔ＝ｙ_ｍａｘのときのｔａｎ（θ）の値）から，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出する（Ｓ２２０）。

補正処理部２４は以上のように算出した値を用いて，台形の頂点Ｐ１乃至Ｐ４の座標を算出する（Ｓ２３０）。また，縦横比を算出するため，一つのおおよそ長方形の撮影対象物を画角いっぱいにあるような構図で角度をつけて撮影した場合の，対象物のおおよその長辺ａ，短辺ｂの入力を受け付けることで，
ｒ＝（ａ－ｂ）／ａ
を算出し，縦横の補正値ｒを算出する（Ｓ２４０）。

以上のように算出した補正値ｒを用いて，Ｓ２３０で算出した変形後の台形の各頂点Ｐ１乃至Ｐ４の領域を，縦方向または横方向に所定倍，たとえば画角が６３度の場合には，縦方向に１／（１－０．７ｒ）倍拡大する，若しくは横方向に，（１－０．７ｒ）倍縮小する（Ｓ２５０）。

以上のような処理を実行することで，Ｓ１２０で選択した横成分の線分に対する補正処理を実行できる。

つぎに線分選択処理部２３は，Ｓ１１０で検出した線分群のうち，縦成分の線分を選択する（Ｓ１４０）。そして，選択した縦成分の線分について座標軸の縦横を変換し（Ｓ１５０），上述のＳ１３０と同様に，補正処理部２４が，３次元空間における水平線（座標軸の縦横変換前の垂直線）が，画像情報で水平線（座標軸の縦横変換前の垂直線）となるように補正処理を実行する（Ｓ１６０）。

以上のような処理を実行することで，Ｓ１００において画像情報入力受付処理部２０で入力を受け付けて画像情報記憶部２１に記憶した画像情報について，３次元空間における水平線および垂直線を，画像情報においても水平線および垂直線となるように補正処理を実行することができる。このような処理を実行した画像情報の一例が図１５である。

上述の実施例では，画像情報から検出した横成分の線分，縦成分の線分に対してそれぞれ補正処理を行う場合を説明したが，実際に２度の変形を行うのではなく，２階変形を行った場合の座標変換マトリクスを実施例１の処理で算出してから，まとめて画像情報の変形処理を行ってもよい。これによって，画像情報の変形処理の回数を減らすことができるので，処理の高速化を実現することができる。

すなわち，補正処理部２４は，選択された横成分の線分に対する補正処理を実行することで，横成分の線分に対する座標変換マトリクスを算出し，つぎに，縦成分の線分に対する補正処理を実行することで，縦成分の線分に対する座標変換マトリクスを算出し，これらに基づいて，縦方向および横方向に変形を行った場合の座標変換マトリクスを算出する。そして，算出した縦方向および横方向に変形を行った場合の座標変換マトリクスに基づいて，Ｓ１００で入力を受け付けた画像情報に対する補正処理を実行するように構成してもよい。

補正処理部２４における横成分の線分，縦成分の線分に対する補正処理の異なる方法として，本実施例のように行うこともできる。この場合の全体の処理プロセスの一例を図１６のフローチャートに，補正処理部２４における処理プロセスの一例を図１７に示す。なお，本実施例においても，実施例１および実施例２と同様に，店舗の陳列棚を撮影した画像情報に対する補正処理を実行する場合を説明するが，それに限定するものではなく，ほかの画像情報であっても同様に処理が実行できる。

実施例１および実施例２と同様に，撮影担当者は，店舗の陳列棚を撮影する。画像情報入力受付処理部２０は，撮影した画像情報は入力端末３から入力を受け付け（Ｓ３００），画像情報記憶部２１に記憶させる。

線分検出処理部２２は，画像情報記憶部２１に記憶させた画像情報のうち，処理対象とする画像情報に対してＬＳＤを用い，画像情報から輪郭線を構成する線分の集まりである線分群を検出する（Ｓ３１０）。

Ｓ３１０で線分群を検出後，線分選択処理部２３は，検出した線分群のうち，横成分の線分を選択する（Ｓ３２０）。そして，選択した横成分の線分に対して，補正処理部２４が，少なくとも３次元空間における２本の水平線を求める（Ｓ３３０）。この処理を模式的に図１８に示す。

具体的には，Ｓ３２０で選択した横成分の各線分のすべてまたは一部について，線分のベクトルデータに基づいて，ｙ_Ｉｎｔとｔａｎ（θ）に変換をする（Ｓ４００）。そして，ＲＡＮＳＡＣを用いて，各線分のｙ_Ｉｎｔとｔａｎ（θ）とについての回帰直線を算出する（Ｓ４１０）。そして，算出したｙ_Ｉｎｔとｔａｎ（θ）とについての回帰直線と，ｙ_Ｉｎｔ＝０，ｙ_Ｉｎｔ＝ｙ_ｍａｘの交点におけるｔａｎ（θ）の値であるｔｕ（ｙ_Ｉｎｔ＝０のときのｔａｎ（θ）の値），ｔｄ（ｙ_Ｉｎｔ＝ｙ_ｍａｘのときのｔａｎ（θ）の値）から，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出する（Ｓ４２０）。これによって，画像情報の下端（ｙ＝０）の中央部（ｘ＝ｘ_ｍａｘ／２）を通る直線Ｐ１Ｐ４，画像情報の下端（ｙ＝ｙ_ｍａｘ）の中央部（ｘ＝ｘ_ｍａｘ／２）を通る直線Ｐ２Ｐ３を求める（Ｓ４３０）。なお，Ｐ１乃至Ｐ４は，後述するように各直線同士の交点である。これによって，３次元空間における２本の水平線が求められる。なお，実施例１と同様に，ｙ_Ｉｎｔについてｘ＝ｘ_ｍａｘ／２の切片に限定するのではなく，画像情報の横幅方向の中心付近，あるいは中心から１／３～２／３程度の幅の間の位置の切片とすることが好ましい。また，画像情報をどのように撮影したのかがわかる場合，左右のどちらに消失点があるかはわかるので，それに基づいて，切片の位置を任意に変更してもよい。

また，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出するほか，任意の２点における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出してもよい。すなわち，３次元空間における２本の水平線を求められれば，どこであってもよい。

つぎに，線分選択処理部２３は，検出した線分群のうち，縦成分の線分を選択する（３４０）。そして，選択した縦成分の線分について座標軸の縦横を変換し（Ｓ３５０），上述のＳ３３０と同様に，補正処理部２４が，少なくとも３次元空間における２本の水平線（座標軸の縦横変換前の垂直線）を求める（Ｓ３６０）。そして，Ｓ３６０で求めた２本の水平線について，さらに座標軸の縦横を変換して縦成分に戻す。これによって，画像情報の左端（ｘ＝０）の中央部（ｙ＝ｙ_ｍａｘ／２）を通る直線Ｐ１Ｐ２，画像情報の右端（ｘ＝ｘ_ｍａｘ）の中央部（ｙ＝ｙ_ｍａｘ／２）を通る直線Ｐ３Ｐ４を求めることができる。

補正処理部２４は，Ｓ３３０およびＳ３６０で求めた４本の直線Ｐ１Ｐ２，直線Ｐ３Ｐ４，直線Ｐ２Ｐ３，直線Ｐ１Ｐ４から交点Ｐ１乃至Ｐ４を求める。交点Ｐ１乃至Ｐ４による四角形は，正対した位置から撮影したとすれば長方形になるはずの図形である。そこで，補正処理部２４は，交点Ｐ１乃至Ｐ４を各頂点とする四角形を長方形に透視変換処理をすることで，補正処理を実行する（Ｓ３７０）。なお，この透視変換処理は，たとえばＯｐｅｎＣＶのライブラリとして提供されているｗａｒｐＰｅｒｓｐｅｃｔｉｖｅ（）によって実現できるが，それに限定するものではない。これを模式的に示すのが図１９である。なお，縦横比の調整処理については，ｗａｒｐＰｅｒｓｐｅｃｔｉｖｅ（）によって実行することができる。

以上のような処理を実行することで，Ｓ１００において画像情報入力受付処理部２０で入力を受け付けて画像情報記憶部２１に記憶した画像情報について，３次元空間における水平線および垂直線を，画像情報においても水平線および垂直線となるように補正処理を実行することができる。

実施例１乃至実施例３では店舗の陳列棚を撮影した画像情報に対して補正処理を行う場合を説明したが，それに限定するものではなく，さまざまな画像情報に対して適用することができる。とくに，主として垂直線と水平線で構成されている対象物を撮影した画像情報であれば，その効果は高くなる。

たとえば土木分野や建築分野などにおけるコンクリート構造物を撮影する場合，その外形，梁，目地などは，主として垂直線と水平線で構成されていることが多い。そのため，コンクリート構造物などを対象物として撮影する場合，撮影スペースや光源などのさまざまな撮影条件から正対した位置で撮影できないときに，撮影した画像情報を正対した位置から撮影したように補正する場合に適用することができる。

また，画像情報としては，静止画像のみならず，動画像であっても同様に本発明を用いることができる。動画像の場合にはフレームの最初の画像とそこからの画素の変化によって，動画像を実現している。そのためフレームの最初の画像に対して本発明の処理を実行してその補正処理を行い，以後のフレームについては，同様の処理を適用すればよい。

上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

本発明の画像補正処理システム１を用いることによって，画像情報について自動的に補正処理を行うことができるので，オペレータの作業負担を軽減し，また処理時間も減らすことができる。また，センサなどを用いることもないので，撮影装置に依存することもない。

１：画像補正処理システム
２：管理端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：線分検出処理部
２３：線分選択処理部
２４：補正処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２００：オペレータが手動で補正処理を行う場合に画像情報に重畳して表示する四角形の枠

Claims

画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて回帰直線の算出を行うことで，消失点を共通とした線分を特定し，前記画像情報の補正処理を行う補正処理部と，
を有することを特徴とする画像補正処理システム。
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記画像情報に対する補正処理を実行する補正処理部と，を有しており，
前記補正処理部は，
前記横成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，
ことを特徴とする画像補正処理システム。
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて回帰直線の算出を行うことで，消失点を共通とした線分を特定し，前記画像情報の補正処理を行う補正処理部，
として機能させることを特徴とする画像補正処理プログラム。
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記画像情報に対する補正処理を実行する補正処理部，として機能させる画像補正処理プログラムであって，
前記補正処理部は，
前記横成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線の算出を行うことで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，
ことを特徴とする画像補正処理プログラム。