JP4673140B2

JP4673140B2 - 画像処理装置および方法

Info

Publication number: JP4673140B2
Application number: JP2005181077A
Authority: JP
Inventors: 孝幸高橋
Original assignee: 株式会社昭文社デジタルソリューション
Priority date: 2005-06-21
Filing date: 2005-06-21
Publication date: 2011-04-20
Anticipated expiration: 2025-06-21
Also published as: JP2007004293A

Description

本発明は、入力画像に変換処理を施し、正面方向から見た正面画像を生成する画像処理装置および方法に関する。

従来から、被写体などの対象物に対して斜め方向から見た画像を、正面方向から見た正面画像に補正する技術が知られている。例えば、特許文献１には、斜めに撮影された黒板の輪郭から、画像の歪みを示す補正歪みパラメータを導出し、当該パラメータに基づき、もとのオリジナル画像を正面から見た画像に近づけるようにする技術が開示されている。
特開２００５−１１５７１１号公報

しかしながら、特許文献１では、導出された補正歪みパラメータに基づいて斜めに傾いた画像を正面から見た画像に変換する場合、もとのオリジナル画像上の任意の座標に対し、複雑な計算式からなる射影変換などの座標変換を施すことが必要となり、正面画像への変換処理を簡便化する点について改善の余地がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、正面画像への変換処理を簡便化する画像処理装置および方法の提供にある。

上記課題を解決するために、本発明のある態様の画像処理装置は、対象物の画像を正面向きの正面画像に変換する画像処理装置であって、対象物の画像を含む入力画像を取得する画像取得部と、取得された入力画像において、対象物の矩形画像を含む矩形領域を構成する４つの座標を設定する座標設定部と、矩形領域の二つの対角線の交点である割当基準点の座標を導出する導出部と、正面画像の画像領域を設定する領域設定部と、設定された画像領域の中心に割当基準点の座標の画素値を割り当て、正面画像の中間画像を生成する正面画像生成部と、を備える。なお、中間画像とは、最終画像の生成過程において得られる画像である。

この態様によれば、矩形領域の二つの対角線の交点を当該矩形領域の中心とし、当該矩形領域の中心に位置する画素の画素値を画像領域の中心に単に割り当てることで、複雑な計算式からなる射影変換などの座標変換を必要とせず、正面画像の最終画像のもととなる正面画像の中間画像への変換処理を簡便化できる。

正面画像生成部は、画像領域の四隅に矩形領域の４つの座標の画素値をそれぞれ割り当ててもよい。矩形領域における対辺をそれぞれ延長して交わる第１分割基準点を生成する第１分割基準点生成部と、第１分割基準点から割当基準点への第１分割線を設定する第１分割線設定部と、対辺とは異なる対辺をそれぞれ延長して交わる第２分割基準点を生成する第２分割基準点生成部と、第２分割基準点から割当基準点への第２分割線を設定する第２分割線設定部と、第１分割線と第２分割線とで分割された４つの矩形領域を、画像領域中の４つに分割した画像領域に割り当てる領域割当部と、分割されたそれぞれの矩形領域を構成する４つの座標を取得する座標取得部と、を備えてもよい。

この場合、導出部は、分割されたそれぞれの矩形領域に対しそれぞれの割当基準点の座標を導出し、正面画像生成部は、領域割当部により分割されたそれぞれの画像領域の中心に、当該導出されたそれぞれの割当基準点の座標の画素値を割り当て、さらに、当該分割されたそれぞれの画像領域の四隅に、分割されたそれぞれの矩形領域の４つの座標の画素値をそれぞれ割り当てる。

正面画像生成部は、分割した画像領域の大きさが１ドットとなるまで画素値の割り当てを行ってもよい。正面画像生成部は、画像領域内のすべての画素に画素値を割り当て、正面画像の最終画像を生成してもよい。座標設定部は対象物における矩形画像を抽出し、当該抽出した矩形画像に基づいて、対象物を含む矩形領域を設定してもよい。

対象物の画像が矩形画像およびそれ以外の画像の組み合わせで形成されている場合、座標設定部は抽出した矩形画像についての第１分割基準点または第２分割基準点が、設定対象となる矩形領域についての第１分割基準点または第２分割基準点に一致するよう、対象物の矩形画像およびそれ以外の画像を包含する矩形領域を設定してもよい。

座標設定部は、抽出した矩形画像における対辺をそれぞれ延長して生成された直線に対し、第１分割基準点または第２分割基準点を回転の中心点とした回転処理を施し、当該回転処理により生成された二つの直線と当該対辺とは異なる対辺をそれぞれ延長させた二つの直線との交点を４つの座標としてもよい。

ユーザからの範囲設定指示に従って、画像領域の範囲を設定する範囲設定部と、ユーザからの画素列指定指示に従って、取得された入力画像において実際の距離が既知である部分に相当する画素列を指定する指定部と、画像領域内での指定された画素列に相当する画素列の長さと、設定された画像領域の範囲とに基づいて、対象物の実際の高さまたは横幅をそれぞれ推定する推定部と、を備えてもよい。

本発明の別の態様は、画像処理方法である。この方法は、対象物の画像を含む入力画像を取得するステップと、取得された入力画像において、対象物を含む矩形領域を構成する４つの座標を設定するステップと、矩形領域の二つの対角線の交点である割当基準点の座標を導出するステップと、正面画像の画像領域を設定するステップと、設定された画像領域の中心に割当基準点の座標の画素値を割り当て、正面画像の中間画像を生成するステップと、を有する。

本発明によれば、正面画像への変換処理を簡便化できる。

実施の形態１
図１は、実施の形態１に係る画像処理装置の構成を示す。この画像処理装置１００は、入力画像に写し込まれた建物などの対象物の画像を正面向きの正面画像に変換する。例えば、画像処理装置１００は、市販のデジタルカメラなどで斜め前方向から撮影された対象物の画像を、正面前方向から撮影されたときの正面画像に変換する。なお、ここでいう正面向きの正面画像とは、対象物の前面が正面を向いている画像だけでなく、対象物の両側面、後面あるいは上面が正面を向いている画像をも指す。

この対象物の正面画像は、カーナビゲーション装置やゲーム機器等で実現される仮想三次元空間内の三次元建物データの各表面にテクスチャ素材として貼り付けられる。他の例として、この対象物の正面画像は、機械製品や電気製品などの設計を行うＣＡＤ（computer-aided design）装置への入力画像として利用される。また、この画像処理装置１００は、生成された正面画像に基づいて対象物の実際の高さや横幅を導出する。導出された対象物の高さや横幅は、モデリングや製品設計などを行うためのデータとして利用される。

画像処理装置１００は、受付部１０２と、表示部１０４と、画像処理部１１０と、を備える。受付部１０２は、ユーザからのマウス操作およびキーボード操作を検出し、ユーザからの入力指示を受け付ける。表示部１０４は、ディスプレイ（図示せず）を介して、画像処理装置１００に入力された入力画像、および後述の画像処理部により生成される正面画像の中間画像や最終画像をユーザに表示する。なお、正面画像の中間画像とは、正面画像の最終画像の生成過程において得られる画像であり、詳細は後述するが、画像領域内のすべての画素に未だ画素値が割り当てられていないものをいう。以下、説明の際に、正面画像の中間画像と正面画像の最終画像との区別を要しない場合、これらを「正面画像」と総称するものとする。

画像処理部１１０は、画像取得部１１２と、測定部１２０と、割当処理部１３０と、を備える。画像取得部１１２は、受付部１０２で受け付けたユーザからの指示に基づいて、対象物の画像を含む入力画像を取得する。測定部１２０は、詳細は後述するが、入力画像および正面画像に基づいて、対象物の実際の高さや横幅を測定する。

割当処理部１３０は、座標設定部１３２と、導出部１３４と、領域設定部１３６と、第１分割基準点生成部１３８と、第２分割基準点生成部１４０と、第１分割線設定部１４２と、第２分割線設定部１４４と、領域割当部１４６と、座標取得部１４８と、正面画像生成部１５０と、保持部１５２と、を備える。保持部１５２には、詳細は後述するが、画像生成処理時に得られる各種データが格納される。

座標設定部１３２は、画像取得部１１２により取得された入力画像において、対象物の矩形画像を含む矩形領域を構成する４つの座標を設定する。矩形領域を構成する４つの座標とは、例えば、当該矩形領域の４つの頂点の座標である。なお、座標設定部１３２により設定された４つの頂点の座標値は保持部１５２に格納される。

導出部１３４は、矩形領域の二つの対角線の交点である割当基準点の座標を導出する。割当基準点とは、詳細は後述するが、割当処理部１３０による画素値の割当処理の基準となる点である。領域設定部１３６は、正面画像の画像領域を設定する。この画像領域は、正面画像の中間画像や最終画像を格納するための領域である。導出部１３４により導出された割当基準点の座標値、および当該割当基準点にあたる画素の画素値は保持部１５２に格納される。

第１分割基準点生成部１３８は、座標設定部１３２により設定された矩形領域における対辺をそれぞれ延長して交わる第１分割基準点を生成する。当該矩形領域における対辺の延長は、割当処理部１３０内部の延長処理部（図示せず）が行ってもよい。この分割基準点は、詳細は後述するが、割当処理部１３０による領域の分割処理の基準となる点である。第１分割線設定部１４２は、第１分割基準点生成部１３８により生成された第１分割基準点から、導出部１３４により導出された割当基準点への第１分割線を設定する。

第２分割基準点生成部１４０は、座標設定部１３２により設定された矩形領域における、前述の対辺とは異なる対辺をそれぞれ延長して交わる第２分割基準点を生成する。第２分割線設定部１４４は、第２分割基準点生成部により生成された第２分割基準点から、導出部１３４により導出された割当基準点への第２分割線を設定する。

領域割当部１４６は、第１分割線設定部１４２により設定された第１分割線と第２分割線設定部１４４により設定された第２分割線とで分割された４つの矩形領域を、画像領域中の４つに分割した画像領域に割り当てる。この場合、座標取得部１４８は、領域割当部１４６により分割されたそれぞれの矩形領域を構成する４つの頂点の座標を取得する。座標取得部１４８により取得された４つの頂点の座標値は保持部１５２に格納される。

領域割当部１４６は、矩形領域および画像領域に対して順次４分割処理を施す。具体的には、領域割当部１４６は、４分割された矩形領域それぞれに対しさらに４分割処理を施し、矩形領域の数を、例えば、４個、１６個、６４個と分割処理毎に増加させる。画像領域についても同様に、領域割当部１４６は、４分割された画像領域それぞれに対しさらに４分割処理を施し、画像領域の数を、例えば、４個、１６個、６４個と分割処理毎に増加させる。ここで、例えば、１６個の矩形領域が分割により生成されれば、それに対応して、１６個の画像領域が分割により生成される。領域割当部１４６は、こうして分割生成したそれぞれの矩形領域を、分割した画像領域それぞれに割り当てる。

正面画像生成部１５０は、領域設定部１３６により最初の画像領域が設定されたとき、領域設定部１３６により設定された画像領域の中心部分に、導出部１３４により導出された割当基準点の座標の画素値を割り当て、正面画像の中間画像を生成する。この場合、さらに、正面画像生成部１５０は、当該画像領域の四隅に、座標設定部１３２により設定された矩形領域の４つの座標の画素値をそれぞれ割り当てる。例えば、正面画像生成部１５０は、領域設定部１３６により設定された画像領域の右上隅部分、左上隅部分、左下隅部分、右下隅部分それぞれに、座標設定部１３２により設定された矩形領域の４つの右上隅点、左上隅点、左下隅点、右下隅点の座標の画素値をそれぞれ割り当てる。

正面画像生成部１５０は、領域割当部１４６により画像領域が４つに分割された以降であれば、領域割当部１４６により分割されたそれぞれの画像領域の中心に、当該導出されたそれぞれの割当基準点の座標の画素値を割り当てる。この場合、さらに、正面画像生成部１５０は、当該分割されたそれぞれの画像領域の四隅に、分割されたそれぞれの矩形領域の４つの座標の画素値をそれぞれ割り当てる。例えば、正面画像生成部１５０は、当該分割されたそれぞれの画像領域の右上隅部分、左上隅部分、左下隅部分、右下隅部分それぞれに、当該分割されたそれぞれの矩形領域の４つの右上隅点、左上隅点、左下隅点、右下隅点の座標の画素値をそれぞれ割り当てる。

正面画像生成部１５０は、領域割当部１４６による分割処理が行われるたびに生成されるそれぞれの画像領域の大きさが１ドットとなるまで画素値の割り当てを行う。１ドットの大きさとなった画像領域に対しては、さらなる分割処理が施されることはない。こうして、正面画像生成部１５０は、画像領域内のすべての画素に画素値を割り当て、正面画像の最終画像を生成する。

測定部１２０は、範囲設定部１２２と、画素列指定部１２４と、推定部１２６と、を備える。範囲設定部１２２は、受付部１０２により受け付けたユーザからの範囲設定指示に従って、画像領域の範囲を設定する。例えば、範囲設定部１２２は、ユーザの指示に従って、画像領域の縦長および横長を設定する。なお、ユーザからの具体的な範囲設定指示として、例えば、センチメートル単位や画素数単位などが挙げられる。

画素列指定部１２４は、受付部１０２により受け付けたユーザからの画素列指定指示に従って、画像取得部１１２により取得された入力画像において実際の距離が既知である部分に相当する画素列を指定する。具体的には、ユーザにより当該既知である部分の両端部分の画素に対しマウスなどの外部機器を介してポイントされたとき、画素列指定部１２４は当該ポイントされた画素を両端とする画素列を指定する。指定された画素列に関する情報、例えば、画素列の長さや当該画素列を構成する画素のそれぞれの位置は保持部１５２に格納される。なお、ある部分の実際の距離は、簡易測量により、あるいは書籍やインターネットに掲載された情報に基づいて取得されてもよい。

推定部１２６は、画像領域内において指定された画素列に相当する画素列の長さと、設定された画像領域の範囲とに基づいて、対象物の実際の高さまたは横幅をそれぞれ推定する。具体的には、推定部１２６は、入力画像上で画素列指定部１２４により指定された画素列に対し、当該画素列に相当する画像領域上での画素列の長さを求める。次に、推定部１２６は、当該求められた画素列の長さと、範囲設定部１２２により設定された画像領域の縦長あるいは横長とにより、対象物の実際の高さまたは横幅をそれぞれ推定する。対象物の実際の高さおよび横幅を求めることで、対象物の各表面の実際の面積を求めることができる。さらに、対象物の各表面の実際の縦横比を求めることも可能となる。

以下、図２〜図６を用いて、実施の形態１に係る画像処理装置１００による正面画像の生成動作、および対象物の実際の高さまたは横幅の推定動作を示す。図２は、正面画像を生成する際にユーザにより操作される操作画面を示す。操作画面２０は、画像表示画面２２と、画像領域縦長欄１０と、画像領域横長欄１２と、実距離入力欄１４と、画像生成ボタン１６と、キャンセルボタン１８と、を含む。図２には、画像取得部１１２により取得された入力画像が表示部１０４により画像表示画面２２に表示されている。

受付部１０２により受け付けたユーザからの指示により、マウスなどの外部機器を介して、対象物の矩形画像を含む矩形領域２６の４つの頂点がポイントされる。なお、図２においては、対象物の矩形画像の範囲と矩形領域２６の範囲は一致している。例えば、矩形領域２６の４つの頂点の右上隅点２４ａ、左上隅点２４ｂ、左下隅点２４ｃ、右下隅点２４ｄがポイントされる。ユーザにより４つの頂点がマウスなどでポイントされたとき、座標設定部１３２は当該ポイントされた４つの頂点の座標を設定する。なお、設定された４つの頂点の座標値は保持部１５２に格納される。

画像領域縦長欄１０には正面画像を格納するための画像領域の縦長が、画像領域横長欄１２には画像領域の横長が、ユーザの入力指示に従ってそれぞれ入力される。図２に示す画像領域縦長欄１０には１０センチメートル、および画像領域横長欄１２には２０センチメートルが、一例としてそれぞれ入力されている。実施の形態１では、センチメートル単位での縦長および横長の入力を可能としているが、他の例としてミリメートル単位、あるいは画素数単位での入力を可能としてもよい。なお、画像領域縦長欄１０および画像領域横長欄１２に入力された値は保持部１５２に格納される。

さらに、受付部１０２により受け付けたユーザからの指示により、画像表示画面２２に表示された入力画像上に、実際の距離が既知である部分が指定される。このとき、実距離入力欄１４には当該部分の実際の距離がメートル単位で入力される。図２に示す両端矢印１９が配置された部分が実際の距離が既知である部分である。なお、この両端矢印１９は、マウスなどの外部機器を介して指示され、自由に伸縮可能である。両端矢印１９が画像表示画面２２上に配置されたとき、当該配置された両端矢印１９の位置に相当する画素列が画素列指定部１２４により指定される。画素列指定部１２４により指定された画素列、および実距離入力欄１４に入力された値は保持部１５２に格納される。

画像生成ボタン３８がユーザにより押下された場合、画像処理装置１００は対象物の正面画像の生成処理を開始する。また、キャンセルボタン１８がユーザにより押下された場合、画像処理装置１００は画像生成ボタン３８の押下により開始された正面画像の生成処理を停止する。

図３（ａ）は、画像処理装置による第１処理ステップに係る正面画像生成処理を示し、一方、図３（ｂ）は、第１処理ステップにより生成された正面画像の中間画像を示す。以降、説明の便宜のため、割当処理部１３０による割当処理が行われるたびに、第２処理ステップ、第３処理ステップ、第４処理ステップ、と順に呼ぶものとする。

図２に示す画像生成ボタン３８の押下により正面画像の生成処理が開始されたとき、図３（ａ）に示すごとく、導出部１３４により、矩形領域２６の２本の対角線、すなわち当該領域の四隅の点である、右上隅点２４ａ及び左下隅点２４ｃを結ぶ第１対角線２５と、左上隅点２４ｂ及び右下隅点２４ｄとを結ぶ第２対角線２７との交点として、割当基準点２８の座標が導出される。なお、矩形領域２６の四隅の点の画素の画素値、および割当基準点２８の画素の画素値は保持部１５２に格納される。

一方、図３（ｂ）に示すごとく、対象物の正面画像の生成処理が開始された場合、領域設定部１３６により、画像処理装置１００内部において正面画像を格納するための画像領域５０が設定される。なお、この画像領域５０は、ユーザが正面画像の生成過程を視認できるよう、表示部１０４により操作画面２０上に表示されてもよい。この画像領域５０の縦長および横長は、図２に示す画像領域縦長欄１０および画像領域横長欄１２に入力された値に設定される。

導出部１３４により導出された図３（ａ）に示す割当基準点２８の座標の画素値は、領域設定部１３６により設定された図３（ｂ）に示す画像領域５０の中心部分３０ｅに割り当てられる。なお、当該画像領域５０の中心とは、画像領域５０の対角にある点どうしを結ぶ２つの対角線の交点に相当する位置である。

本実施の形態によれば、矩形領域２６の二つの対角線の交点を当該矩形領域２６の中心とし、当該矩形領域２６の中心に位置する画素の画素値を画像領域５０の中心に単に割り当てることで、複雑な計算式からなる射影変換などの座標変換を必要とせず、正面画像の最終画像のもととなる正面画像の中間画像への変換処理を簡便化できる。

さらに、図３（ａ）に示す矩形領域２６の４つの座標の画素値は、領域設定部１３６により設定された図３（ｂ）に示す画像領域５０の四隅に割り当てられる。すなわち、図３（ａ）に示す右上隅点２４ａ、左上隅点２４ｂ、左下隅点２４ｃ、および右下隅点２４ｄの画素の画素値は、図３（ｂ）に示す画像領域５０上の右上隅部分３０ａ、左上隅部分３０ｂ、左下隅部分３０ｃ、および右下隅部分３０ｄにそれぞれ割り当てられる。この場合、当該矩形領域２６の４つの座標の画素値を画像領域５０のそれぞれの四隅に単に割り当てることで、複雑な計算式からなる射影変換などの座標変換を必要とせず、正面画像への変換処理を簡便化できる。その結果、簡便に正面画像の最終画像のもととなる中間画像を生成できる。

図４（ａ）は、画像処理装置による第２処理ステップに係る正面画像生成処理を示し、一方、図４（ｂ）は、第２処理ステップにより生成された正面画像の中間画像を示す。図４（ａ）に示すごとく、第２処理ステップにおいて、最初に、矩形領域２６における対辺である、右上隅点２４ａおよび左上隅点２４ｂを結ぶ辺を延長した第１直線Ｌ１と、左下隅点２４ｃおよび右下隅点２４ｄを結ぶ辺を延長した第２直線Ｌ２との交点として、第１分割基準点３２が求められる。次に、当該求められた第１分割基準点３２から、導出部１３４により導出された割当基準点２８への第１分割線３４が設定される。

同様に、第１分割基準点３２の導出時に処理対象となった対辺と異なる対辺である、左上隅点２４ｂおよび左下隅点２４ｃを結ぶ辺を延長した第３直線Ｌ３と、右上隅点２４ａおよび右下隅点２４ｄを結ぶ辺を延長した第４直線Ｌ４との交点として、第２分割基準点３３が求められる。なお、図４（ａ）では、第３直線Ｌ３と第４直線Ｌ４とはほぼ平行であり、そのため第３直線Ｌ３と第４直線Ｌ４とは遠方で交わるため、中間を省略し、第２分割基準点３３だけを示す。

次に、当該求められた第２分割基準点３３から、導出部１３４により導出された割当基準点２８への第２分割線３６が設定される。図４（ａ）に示すごとく、設定された第１分割線３４および第２分割線３６により、座標設定部１３２により設定された矩形領域は、４つの矩形領域、すなわち右上矩形領域４０ａ、左上矩形領域４０ｂ、左下矩形領域４０ｃ、および右下矩形領域４０ｄに分割される。

同様に、図４（ｂ）に示す画像領域５０は、領域割当部１４６により４つの画像領域に分割され、当該分割された４つの画像領域のそれぞれは、４つの矩形領域のそれぞれに割り当てられる。すなわち、矩形領域２６中の右上矩形領域４０ａ、左上矩形領域４０ｂ、左下矩形領域４０ｃ、および右下矩形領域４０ｄは、それぞれ画像領域５０中の右上画像領域５２ａ、左上画像領域５２ｂ、左下画像領域５２ｃおよび右下画像領域５２ｄに割り当てられる。

最後に、分割されたそれぞれの矩形領域の４つの頂点の座標の画素の画素値は、当該分割されたそれぞれの矩形領域に対応するそれぞれの画像領域の四隅に割り当てられる。これにより、すでに第１処理ステップにおいて画素値が割り当てられた右上隅部分３０ａ、左上隅部分３０ｂ、左下隅部分３０ｃ、右下隅部分３０ｄ、および中心部分３０ｅを除いて、さらに右辺中央部分３８ａ、上辺中央部分３８ｂ、左辺中央部分３８ｃ、および下辺中央部分３８ｄに画素値が割り当てられる。

図５は、画像処理装置による第２処理ステップ以降の正面画像生成処理の様子を処理ステップ毎に示す。図５（ａ）は、第２処理ステップ時に生成された図４（ｂ）に示す正面画像、図５（ｂ）は次の第３処理ステップ時に生成された正面画像、図５（ｃ）はさらに次の第４処理ステップ時に生成された正面画像を示す。図５（ｂ）に示す正面画像は、図５（ａ）に示す画像領域５０中の左上画像領域５２ｂが領域割当部１４６によりさらに４分割されたものである。

この場合でも同様に、正面画像生成部１５０により、左上画像領域５２ｂの中心部分および当該領域中の４つの分割領域それぞれの四隅部分に、図４（ａ）に示す左上矩形領域４０ｂの割当基準点および当該領域中の４つの分割領域それぞれの４つの頂点の画素の画素値がそれぞれ割り当てられる。なお、図５（ｂ）に示す黒塗り画素４２が第３処理ステップ時に新たに画素値が割り当てられた画素である。

図５（ｃ）に示す正面画像は、図５（ｂ）に示す左上画像領域５２ｂ中の左上領域がさらに４分割されたものであり、この場合でも同様に、正面画像生成部１５０により画素値の割り当てが行われる。なお、図５（ｃ）に示すドット画素４４が第４処理ステップ時に新たに画素値が割り当てられた画素である。以降、領域割当部１４６により分割生成されたそれぞれの画像領域が１ドットになるまでこうした画素値の割り当てが行われる。

なお、見やすさのため、図５では、画像領域５０中の左上画像領域５２ｂ、あるいは当該領域中の所定の画像領域に対して分割処理および割当処理が順次施されている様子が示されているが、実際には、例えば、左上画像領域５２ｂ以外の右上画像領域５２ａについても分割処理および割当処理が順次施される。

図６は、実施の形態１に係る画像処理装置により生成された正面画像の最終画像を示す。図６に示す正面画像の最終画像は、割当処理部１３０による領域の分割処理および画素値の割当処理の繰り返しにより、画像領域５０内のすべての画素に画素値が割り当てられたものである。

実施の形態１によれば、例えば、市販のデジタルカメラで斜め前方向から撮影された対象物の画像を、正面前方向から撮影されたときの正面画像に変換できる。高い建物については正面から撮影することが困難である場合が多いため、画像処理装置１００による正面画像への変換処理は特に有効である。また、画像処理装置１００による正面画像の生成の際、ユーザは、入力画像上の矩形領域を構成する４つの座標を単にマウスなどで指示するだけでよい。これにより、画像処理技術についての特別な知識を必要とせず、簡便に対象物の正面画像を生成できる。なお、入力画像は、例えばインターネットから取得したデジタル画像でもよく、この場合、直接現地に赴く手間やコストを削減できる。

次に、画像処理装置１００により生成された正面画像に基づいて、対象物の実際の高さまたは横幅を推定する方法を説明する。前述のごとく、画素列指定部１２４により指定された部分に相当する画像領域５０上の画素列の長さと、画像領域５０の縦長あるいは横長と、が比較され、実際の対象物の高さあるいは横幅がそれぞれ求められる。

具体的には、実際の高さが３メートルである部分に相当する画像領域５０上の画素列の縦長が３センチメートルであり、かつ、図２の画像領域縦長欄１０に設定された画像領域５０の縦長が１０センチメートルであれば、画像領域５０の縦長に相当する対象物の実際の高さとして１０メートルが求められる。また、画像領域５０上の画素列の横長が指定された場合は、実際の対象物の高さを求める方法と同様の方法で、対象物の実際の横幅が求められる。

一般に、建物などの対象物の実際の高さや横幅を測定するためには、高価な測量機器が必要とされる。さらに、対象物の実際の高さが高ければ、高価な測量機器をもってしても高さの測定は困難になる。実施の形態１によれば、ユーザは既知の部分の距離の入力と既知の部分の指定を行うだけで、実際の対象物の高さや横幅を簡便に低コストで取得できる。

入力画像に含まれる対象物の画像が斜め前方向から撮影されたものである場合、当該対象物の画像をもとに、対象物の実際の高さや横幅を取得することはできない。もちろん、対象物の実際の縦横比についても取得することはできない。実施の形態１によれば、入力画像に含まれる対象物の画像を正面向きの正面画像に変換した後、当該変換された正面画像に基づいて、対象物の実際の縦長と横長を求めることができる。その結果、さらに、対象物の実際の対象物の各表面の面積や縦横比をも求めることができる。対象物の形状に関する様々なデータを得ることができれば、当該データをモデリングや製品設計などの様々な用途に利用できる。

図７は、実施の形態１に係る正面画像の生成処理および対象物の実際の高さまたは横幅の推定処理の流れを示す。画像取得部１１２は、受付部１０２で受け付けたユーザからの指示に基づいて、対象物の画像を含む入力画像を取得する（Ｓ１０）。表示部１０４は画像取得部１１２により取得された入力画像を画像表示画面２２に表示する（Ｓ１２）。座標設定部１３２は、受付部１０２により受け付けたユーザからの指示により、マウスなどの外部機器を介してポイントされた矩形領域２６の４つの頂点に座標を設定する（Ｓ１４）。画素列指定部１２４は、受付部１０２により受け付けたユーザからの指示により、入力画像において実際の距離が既知である部分の画素列を指定する（Ｓ１６）。

正面画像の生成処理が開始されたとき、領域設定部１３６は、正面画像を格納するための画像領域５０を設定する（Ｓ１８）。導出部１３４は、座標設定部１３２により設定された矩形領域２６の対角線の交点である割当基準点２８の座標を導出する（Ｓ２０）。正面画像生成部１５０は、領域設定部１３６により設定された画像領域５０の中心に、導出部１３４により導出された割当基準点２８の座標についての画素値を割り当てる。さらに、正面画像生成部１５０は、領域設定部１３６により設定された画像領域５０の四隅に座標設定部１３２により設定された矩形領域の４つの座標についての画素値をそれぞれ割り当てる（Ｓ２２）。

次に、第１分割基準点生成部１３８は、矩形領域２６の対辺をそれぞれ延長した直線との交点として第１分割基準点３２を生成する（Ｓ２４）。第１分割線設定部１４２は、第１分割基準点生成部１３８により求められた第１分割基準点３２から、導出部１３４により導出された割当基準点２８への第１分割線３４を設定する（Ｓ２６）。第２分割基準点生成部１４０は、当該対辺とは異なる矩形領域２６の対辺をそれぞれ延長した直線との交点として第２分割基準点３３を生成する（Ｓ２８）。第２分割線設定部１４４は、第２分割基準点生成部１４０により求められた第２分割基準点３３から、導出部１３４により導出された割当基準点２８への第２分割線３６を設定する（Ｓ３０）。

領域割当部１４６は、第１分割線設定部１４２により設定された第１分割線３４、および第２分割線設定部１４４により設定された第２分割線３６により、座標設定部１３２により設定された矩形領域を４つの矩形領域に分割する（Ｓ３２）。領域割当部１４６により分割された画像領域５０の大きさが１ドットとなっていない場合（Ｓ３４のＮ）、領域割当部１４６は、画像領域５０を４つの画像領域に分割し、当該分割された４つの画像領域のそれぞれを領域割当部１４６により分割された４つの矩形領域のそれぞれに割り当て（Ｓ３６）、ステップ２０以降の処理を繰り返す。

再度、ステップ２０以降の処理が行われる場合、導出部１３４は、領域割当部１４６により分割されたそれぞれの矩形領域に対しそれぞれの割当基準点２８の座標を導出する（Ｓ２０）。正面画像生成部１５０は、領域割当部１４６により分割されたそれぞれの画像領域の中心に、導出部１３４により導出されたそれぞれの割当基準点の座標の画素値を割り当てる。さらに、正面画像生成部１５０は、領域割当部１４６により分割されたそれぞれの画像領域の四隅に、分割されたそれぞれの矩形領域の４つの座標の画素値をそれぞれ割り当てる（Ｓ２２）。

次に、第１分割基準点生成部１３８は、分割されたそれぞれの矩形領域の第１分割基準点を生成する（Ｓ２４）。第１分割線設定部１４２は、分割されたそれぞれの矩形領域の第１分割線を設定する（Ｓ２６）。第２分割基準点生成部１４０は、分割されたそれぞれの矩形領域の第２分割基準点を生成する（Ｓ２８）。第２分割線設定部１４４は、分割されたそれぞれの矩形領域の第２分割線を設定する（Ｓ３０）。領域割当部１４６は、第１分割線設定部１４２により設定された第１分割線３４、および第２分割線設定部１４４により設定された第２分割線３６により、分割された矩形領域をさらに４つの矩形領域に分割する（Ｓ３２）。

分割されたそれぞれの画像領域の大きさが１ドットとなっていれば（Ｓ３４のＹ）、正面画像生成部１５０は、画像領域５０内のすべての画素に画素値を割り当て、正面画像の最終画像を生成する（Ｓ３８）。推定部１２６は、画像領域５０内での指定された画素列に相当する画素列の長さと、設定された画像領域５０の範囲とに基づいて、対象物の実際の高さまたは横幅をそれぞれ推定し（Ｓ４０）、正面画像生成処理および対象物の実際の高さまたは横幅の推定処理を完了する。

実施の形態２
実施の形態１に係る画像処理装置１００は、対象物に含まれる矩形画像を矩形領域として設定したが、実施の形態２に係る画像処理装置１００は、対象物に含まれる矩形画像を抽出し、当該抽出した矩形画像に基づいて、対象物を含む矩形領域５４を設定する。実施の形態２では特に、入力画像に含まれる対象物の画像が矩形画像およびそれ以外の画像、例えば半円画像の組み合わせで形成されている場合に効果的である。実施の形態２に係る画像処理装置１００の構成は、実施の形態１に係る画像処理装置１００の構成と同様であるが、座標設定部１３２はさらに後述する以下の機能を有する。なお、実施の形態１と同様の構成については同一の符号を付し適宜説明を略す。

座標設定部１３２は、対象物に含まれる矩形画像を抽出し、当該抽出した矩形画像に基づいて、対象物を含む矩形領域５４を設定する。具体的には、座標設定部１３２は、抽出した矩形画像についての第１分割基準点または第２分割基準点が、設定対象となる矩形領域５４についての第１分割基準点または第２分割基準点に一致するよう、当該対象物の矩形画像およびそれ以外の画像を包含する矩形領域５４を設定する。

この場合、座標設定部１３２は、抽出した矩形画像における対辺をそれぞれ延長して生成された直線に対し、第１分割基準点または第２分割基準点を回転の中心点とした回転処理を施し、当該回転処理により生成された二つの直線と当該対辺とは異なる対辺をそれぞれ延長させた二つの直線との交点を４つの座標としてもよい。以下、具体的な矩形領域５４の設定動作を示す。

図８は、実施の形態２に係る画像処理装置による矩形領域の設定動作の様子を示す。なお、図４と同様の構成については同一の符号を付し適宜説明を略す。図８に示すごとく、画像表示画面２２に表示される対象物の画像は、矩形画像５３および半円画像の組み合わせで形成されている。最初に、正面画像の生成処理が開始されたとき、右上隅点２４ａ、左上隅点２４ｂ、左下隅点２４ｃ、右下隅点２４ｄで形成される矩形画像５３が座標設定部１３２により抽出される。さらに、実施の形態１に示した同様の方法で、当該抽出された矩形画像に対する第１分割基準点３２および第２分割基準点３３が生成される。

次に、座標設定部１３２は、抽出した矩形画像５３の上辺および下辺をそれぞれ延長して生成された第１直線Ｌ１および第２直線Ｌ２に対し、第１分割基準点を回転の中心点とした回転処理を施し、それぞれ第１生成直線ＬＬ１および第２生成直線ＬＬ２を生成する。実施の形態２では、第１生成直線ＬＬ１および第２生成直線ＬＬ２が対象部の画像の外側になるように回転処理が施される。さらに、第１直線Ｌ１と第１生成直線ＬＬ１とで形成される回転角度と、第２直線Ｌ２と第２生成直線ＬＬ２とで形成される回転角度とが同一になるように回転処理が施される。

次に、座標設定部１３２は、矩形画像５３における左辺および右辺をそれぞれ延長し、第３直線Ｌ３および第４直線Ｌ４を生成する。最後に、当該生成された第３直線Ｌ３および第４直線Ｌ４と前述の第１生成直線ＬＬ１および第２生成直線ＬＬ２との交点として、拡張右上点２５ａ、拡張左上点２５ｂ、拡張左下点２５ｃおよび拡張右下点２５ｄが生成される。この拡張右上点２５ａ、拡張左上点２５ｂ、拡張左下点２５ｃおよび拡張右下点２５ｄで形成される領域が、実施の形態２に係る画像処理装置１００による設定対象の矩形領域５４である。

前述のごとく、第１直線Ｌ１および第１生成直線ＬＬ１で形成される回転角度と、第２直線Ｌ２および第２生成直線ＬＬ２とで形成される回転角度は同一である。これにより、設定対象の矩形領域５４の割当基準点は、抽出された矩形画像５３の割当基準点に一致する。さらに、前述のごとく、設定対象の矩形領域５４の第１分割基準点は、抽出された矩形画像５３の第１分割基準点と一致する。これらにより、実施の形態１で示す割当処理を当該設定された矩形領域５４に対して施すことができる。その結果、対象物の画像が矩形画像およびそれ以外の画像の組み合わせで形成されていても、対象物の正面画像を生成でき、画像処理装置１００の汎用性が高まる。

図９は、実施の形態２に係る画像処理装置により生成された正面画像の最終画像を示す。図９に示す正面画像の最終画像６２は、割当処理部１３０による領域の分割処理および画素値の割当処理が矩形領域５４に対して行われた結果、生成されたものである。なお、図９に示す正面画像の最終画像６２内には、対象物以外の画像、例えば空などの背景画像が含まれているが、テクスチャ素材などとして利用する場合、背景画像を除去して対象物の画像だけを取得する。

図１０は、実施の形態２に係る正面画像の生成処理および対象物の実際の高さまたは横幅の推定処理の流れを示す。画像取得部１１２は、受付部１０２で受け付けたユーザからの指示に基づいて、対象物の画像を含む入力画像を取得する（Ｓ５０）。表示部１０４は、画像取得部１１２により取得された入力画像を画像表示画面２２に表示する（Ｓ５２）。座標設定部１３２は、対象物の画像が矩形画像５３およびそれ以外の画像の組み合わせで形成されている場合、対象物の画像内の矩形画像５３を抽出する（Ｓ５４）。座標設定部１３２は、受付部１０２により受け付けたユーザからの指示により、マウスなどの外部機器を介してポイントされた矩形画像５３の４つの頂点に座標を設定する（Ｓ５６）。画素列指定部１２４は、受付部１０２により受け付けたユーザからの指示により、入力画像において実際の距離が既知である部分の画素列を指定する（Ｓ５８）。

正面画像の生成処理が開始されたとき、領域設定部１３６は、正面画像を格納するための画像領域５０を設定する（Ｓ６０）。導出部１３４は、座標設定部１３２により設定された矩形画像５３の対角線の交点である割当基準点２８の座標を導出する（Ｓ６２）。

次に、第１分割基準点生成部１３８は、矩形画像５３の対辺をそれぞれ延長した直線との交点として第１分割基準点３２を生成する（Ｓ６４）。第１分割線設定部１４２は、第１分割基準点生成部１３８により求められた第１分割基準点３２から、導出部１３４により導出された割当基準点２８への第１分割線３４を設定する（Ｓ６６）。第２分割基準点生成部１４０は、当該対辺とは異なる矩形画像５３の対辺をそれぞれ延長した直線との交点として第２分割基準点３３を生成する（Ｓ６８）。第２分割線設定部１４４は、第２分割基準点生成部１４０により求められた第２分割基準点３３から、導出部１３４により導出された割当基準点２８への第２分割線３６を設定する（Ｓ７０）。

座標設定部１３２は抽出した矩形画像５３における対辺をそれぞれ延長して生成された直線に対し、第１分割基準点を回転の中心点とした回転処理を施す（Ｓ７２）。座標設定部１３２は当該回転処理により生成された二つの直線と当該対辺とは異なる対辺をそれぞれ延長させた二つの直線との交点を４つの座標とする（Ｓ７４）。

正面画像生成部１５０は、領域設定部１３６により設定された画像領域５０の中心に、導出部１３４により導出された割当基準点２８の座標についての画素値を割り当てる。さらに、正面画像生成部１５０は、領域設定部１３６により設定された画像領域の四隅に座標設定部１３２により設定された矩形領域５４の４つの座標についての画素値をそれぞれ割り当てる（Ｓ７６）。

領域割当部１４６は、第１分割線設定部１４２により設定された第１分割線３４、および第２分割線設定部１４４により設定された第２分割線３６により、座標設定部１３２により設定された矩形領域５４を４つの矩形領域に分割する（Ｓ７８）。領域割当部１４６により分割された画像領域５０の大きさが１ドットとなっていない場合（Ｓ８０のＮ）、領域割当部１４６は、画像領域５０を４つの画像領域に分割し、当該分割された４つの画像領域のそれぞれを領域割当部１４６により分割された４つの矩形領域のそれぞれに割り当て（Ｓ８２）、ステップ６２以降の処理を繰り返す。再度、ステップ６２以降の処理が行われる場合、分割処理および割当処理の対象は、実施の形態１と同様に、分割されたそれぞれの矩形領域および分割されたそれぞれの画像領域が対象である。なお、再度、ステップ６２以降の処理が行われる場合、ステップ７２とステップ７４に係る処理はスキップされる。

分割されたそれぞれの画像領域５０の大きさが１ドットとなっていれば（Ｓ８０のＹ）、正面画像生成部１５０は、画像領域５０内のすべての画素に画素値を割り当て、正面画像の最終画像を生成する（Ｓ８４）。推定部１２６は、画像領域５０内での指定された画素列に相当する画素列の長さと、設定された画像領域５０の範囲とに基づいて、対象物の実際の高さまたは横幅をそれぞれ推定し（Ｓ８６）、正面画像生成処理および対象物の実際の高さまたは横幅の推定処理を完了する。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そうした変形例を以下に挙げる。

実施の形態２では、第１直線Ｌ１および第２直線Ｌ２に対して、第１分割基準点３２を回転の中心点とした回転処理を施したが、変形例として、第３直線Ｌ３および第４直線Ｌ４に対して、第２分割基準点３３を回転の中心点とした回転処理を施してもよい。この場合、当該回転処理により生成された直線それぞれと、第１直線Ｌ１および第２直線Ｌ２を延長した直線との交点を設定対象の矩形領域５４の４つの座標としてもよい。これにより、対象物の画像が左右に矩形画像５３以外の画像を含む場合であっても、実施の形態１と同様の割当処理を矩形領域５４に対して施すことで、当該対象物の画像の正面画像を生成できる。

実施の形態では、市販のデジタルカメラなどで斜め前方向から撮影された対象物の画像を変換対象としたが、変形例として、対象物が斜め前方向を向いていない、例えば、正面前方向向きの対象物の画像を変換対象としてもよい。これにより、正面前方向向きの対象物の画像であっても、斜め前方向向きの対象物の画像を変換した際に生成される正面画像と同じ正面画像を生成できる。

実施の形態に係る正面画像生成部１５０は、画像領域５０内のすべての画素に画素値を割り当て一つの最終画像を生成したが、変形例として、画像領域５０内の一部の画素に画素値が割り当てられた中間画像を複数生成し、当該生成された中間画像を組み合わせて最終画像を生成してもよい。なお、この中間画像は、領域割当部１４６により分割生成されるそれぞれの画像領域のうち、ある画像領域の大きさが１ドットとなるまで画素値の割り当てが行われることで生成されるものである。

具体的には、正面画像生成部１５０は、画像領域５０内の一部の画素、例えば、画像領域５０中の右上画像領域５２ａ内の画素に画素値を割り当て、一つの中間画像を生成する。同様に、画像領域５０中の他の領域である、それぞれ左上画像領域５２ｂ、左下画像領域５２ｃ、右下画像領域５２ｄ内の画素に画素値を割り当て、それぞれ別個の中間画像を生成する。正面画像生成部１５０は、こうして生成された４つの中間画像を組み合わせることで、割り当てられた画素の画素値をお互いに補完し、一つの最終画像を生成する。

実施の形態１に係る画像処理装置の構成を示す図である。実施の形態１に係る正面画像を生成する際にユーザにより操作される操作画面を示す図である。（ａ）は、画像処理装置による第１処理ステップに係る正面画像生成処理を示し、一方、（ｂ）は、第１処理ステップにより生成された正面画像の中間画像を示す図である。（ａ）は、画像処理装置による第２処理ステップに係る正面画像生成処理を示し、一方、（ｂ）は、第２処理ステップにより生成された正面画像の中間画像を示す図である。実施の形態１に係る画像処理装置による第２処理ステップ以降の正面画像生成処理の様子を処理ステップ毎に示す図である。実施の形態１に係る画像処理装置により生成された正面画像の最終画像を示す図である。実施の形態１に係る正面画像の生成処理および対象物の実際の高さまたは横幅の推定処理の流れを示す図である。実施の形態２に係る画像処理装置による矩形領域の設定動作の様子を示す図である。実施の形態２に係る画像処理装置により生成された正面画像の最終画像を示す図である。実施の形態２に係る正面画像の生成処理および対象物の実際の高さまたは横幅の推定処理の流れを示す図である。

符号の説明

２５第１対角線、２６,５４矩形領域、２７第２対角線、５０画像領域、５３矩形画像、１００画像処理装置、１１２画像取得部、１２２範囲設定部、１２４画素列指定部、１２６推定部、１３２座標設定部、１３４導出部、１３６領域設定部、１３８第１分割基準点生成部、１４０第２分割基準点生成部、１４２第１分割線設定部、１４４第２分割線設定部、１４６領域割当部、１４８座標取得部、１５０正面画像生成部。

Claims

対象物の画像を正面向きの正面画像に変換する画像処理装置であって、
対象物の画像を含む入力画像を取得する画像取得部と、
前記取得された入力画像において、対象物の矩形画像を含む矩形領域を構成する４つの座標を設定する座標設定部と、
前記矩形領域の二つの対角線の交点である割当基準点の座標を導出する導出部と、
正面画像の画像領域を設定する領域設定部と、
前記設定された正面画像の画像領域の中心に前記割当基準点の座標の画素値を割り当て、その画像領域の四隅に前記矩形領域の４つの座標の画素値をそれぞれ割り当て、正面画像の中間画像を生成する正面画像生成部と、
前記矩形領域を４つの矩形領域に分割して、それら４つの矩形領域を、前記正面画像の中間画像を分割した４つの画像領域に割り当てる領域割当部と、
前記４つの矩形領域のそれぞれを構成する４つの座標を取得する座標取得部と、
を備え、
前記導出部は、前記４つの矩形領域に対しそれぞれの割当基準点の座標を導出し、前記正面画像生成部は、前記４つの画像領域それぞれの中心に、前記４つの矩形領域それぞれの割当基準点の座標の画素値を割り当て、さらに、前記４つの画像領域それぞれの四隅に、前記４つの矩形領域それぞれの４つの座標の画素値を割り当て、
前記正面画像の中間画像を分割した画像領域の大きさが１ドットとなるまで、前記領域割当部は、矩形領域および中間画像を分割し、分割結果の矩形領域を、分割結果の画像領域に割り当てる処理を繰り返し、前記正面画像生成部は、前記分割結果の画像領域に対して前記分割結果の矩形領域における画素値を割り当てる処理を繰り返すことにより、正面画像のすべての画素に画素値を割り当て、正面画像の最終画像を生成することを特徴とする画像処理装置。
前記矩形領域における対辺をそれぞれ延長して交わる第１分割基準点を生成する第１分割基準点生成部と、
前記第１分割基準点から前記割当基準点への第１分割線を設定する第１分割線設定部と、
前記対辺とは異なる対辺をそれぞれ延長して交わる第２分割基準点を生成する第２分割基準点生成部と、
前記第２分割基準点から前記割当基準点への第２分割線を設定する第２分割線設定部と、
をさらに備え、
前記領域割当部は、前記矩形領域を前記第１分割線と前記第２分割線とで分割した４つの矩形領域を、前記正面画像の中間画像を分割した４つの画像領域に割り当てることを特徴とする請求項１に記載の画像処理装置。
前記座標設定部は、前記対象物における矩形画像を抽出し、当該抽出した矩形画像に基づいて、前記対象物を含む矩形領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
前記対象物の画像が矩形画像およびそれ以外の画像の組み合わせで形成されている場合、前記座標設定部は前記抽出した矩形画像についての第１分割基準点または第２分割基準点が、設定対象となる矩形領域についての第１分割基準点または第２分割基準点に一致するよう、前記対象物の矩形画像およびそれ以外の画像を包含する矩形領域を設定することを特徴とする請求項３に記載の画像処理装置。
前記座標設定部は、前記抽出した矩形画像における対辺をそれぞれ延長して生成された直線に対し、前記第１分割基準点または第２分割基準点を回転の中心点とした回転処理を施し、当該回転処理により生成された二つの直線と当該対辺とは異なる対辺をそれぞれ延長させた二つの直線との交点を前記４つの座標とすることを特徴とする請求項４に記載の画像処理装置。
ユーザからの範囲設定指示に従って、前記画像領域の範囲を設定する範囲設定部と、
ユーザからの画素列指定指示に従って、前記取得された入力画像において実際の距離が既知である部分に相当する画素列を指定する画素列指定部と、
前記画像領域内での前記指定された画素列に相当する画素列の長さと、前記設定された画像領域の範囲とに基づいて、前記対象物の実際の高さまたは横幅をそれぞれ推定する推定部と、
を備えることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
対象物の画像を含む入力画像を取得するステップと、
前記取得された入力画像において、対象物を含む矩形領域を構成する４つの座標を設定するステップと、
前記矩形領域の二つの対角線の交点である割当基準点の座標を導出するステップと、
正面画像の画像領域を設定するステップと、
前記設定された正面画像の画像領域の中心に前記割当基準点の座標の画素値を割り当て、その画像領域の四隅に前記矩形領域の４つの座標の画素値をそれぞれ割り当て、正面画像の中間画像を生成するステップと、
前記矩形領域を４つの矩形領域に分割して、それら４つの矩形領域を、前記正面画像の中間画像を分割した４つの画像領域に割り当てるステップと、
前記４つの矩形領域に対しそれぞれの割当基準点の座標を導出するとともに、前記４つの矩形領域のそれぞれを構成する４つの座標を取得するステップと、
前記４つの画像領域それぞれの中心に、前記４つの矩形領域それぞれの割当基準点の座標の画素値を割り当て、さらに、前記４つの画像領域それぞれの四隅に、前記４つの矩形領域それぞれの４つの座標の画素値を割り当てるステップと、
前記正面画像の中間画像を分割した画像領域の大きさが１ドットとなるまで、矩形領域および中間画像を分割し、分割結果の矩形領域を、分割結果の画像領域に割り当て、前記分割結果の画像領域に対して前記分割結果の矩形領域における画素値を割り当てる処理を繰り返すことにより、正面画像のすべての画素に画素値を割り当て、正面画像の最終画像を生成するステップと、
を有することを特徴とする画像処理方法。
前記矩形領域における対辺をそれぞれ延長して交わる第１分割基準点を生成するステップと、
前記第１分割基準点から前記割当基準点への第１分割線を設定するステップと、
前記対辺とは異なる対辺をそれぞれ延長して交わる第２分割基準点を生成するステップと、
前記第２分割基準点から前記割当基準点への第２分割線を設定するステップと、
をさらに有し、
前記矩形領域を４つの矩形領域に分割するステップは、前記矩形領域を前記第１分割線と前記第２分割線とで分割した４つの矩形領域を、前記正面画像の中間画像を分割した４つの画像領域に割り当てることを特徴とする請求項７に記載の画像処理方法。