JP5160547B2 - 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置 - Google Patents

Description

本発明は、所定の対象物の像が写り込んだ画像データを処理する画像処理装置、画像処理方法、及び画像処理プログラム、並びに所定の対象物を撮像して当該対象物の像が写り込んだ画像データを生成する撮像装置に関する。

現在、ディジタルカメラは、その高い普及にともない、単に景色等を撮像するのみならず、パンフレットや書籍等の紙媒体に掲載された情報を撮像し、電子的に記録する用途にも用いることが多い。このように、用紙等の撮像対象物を撮像して読み込んだような場合や、屋内で撮像したような場合には、撮像対象物に対する照明の当たり具合等に応じて、得られた画像データに色や輝度のムラが生じることが多い。例えば、撮像対象物に対して照明が右方向にある場合には、右側が明るく左側が暗い画像データが得られることが多い。また、白色光のもとで一部の方向から電球で撮像対象物を照射しているような場合には、電球によって照射されている側は、オレンジ色を呈するが、反対側は、白色光によって照射された色が強く現れ、画像データの場所によって色ムラが生じることがある。

そのため、一般的には、得られた画像データについて、全体的な明暗を変える処理を施したり、色毎に（例えばＲＧＢ画像データの場合には色要素毎に）色補正の処理を施したりすることが行われている。また、一般的には、画像データ内の任意の位置を例えば白色にするような補正を画像データ全体に行うことにより、画像データ全体の色を補正することも行われている。

しかしながら、上述した一般的な手法は、画像データ内の特定の位置を基準として当該画像データ全体の色を変化させた場合には、その特定の位置については良質な画像データが得られるが、他の場所については良質な画像データを保証するものではなく、逆に、他の位置を基準として当該画像データ全体の色を変化させた場合には、その位置については良質な画像データが得られるが、さらに他の場所については良質な画像データを保証するものではない。すなわち、このような手法には、画像データ全体について良質な画像データを得ることができないという問題がある。

このような問題を解決するために、局所的に画像データの背景色を取得し、その背景色にしたがって処理を行うこと等により、画像データの位置に応じて処理のパラメータを変える手法もある。例えば特許文献１及び特許文献２に記載された技術によれば、輝度ムラをなくすために、画像データをＫ×Ｌ個のサブブロックに分割し、各サブブロック毎に輝度ヒストグラムを作成している。そして、これらの技術においては、各サブブロックのヒストグラムにおいて、予め設定された所定数以上の計数値を有する輝度値のうち最大輝度を示す値を、そのサブブロックの最大輝度とし、これに基づいて、各画素に対して補正量を変えてシェーディング補正を行い、輝度ムラを解消している。

特開２００５−２６０６５７号公報 特開２００５−２６９４５１号公報

しかしながら、上述した特許文献１及び特許文献２をはじめとする従来の手法においては、処理の単位とする局所的領域の範囲内に背景が含まれていない場合には、背景色を取得することができず、その局所的領域については計算処理を行うことができない。そのため、背景色を取得することができた周囲の局所的領域との比等、他の局所的領域の背景色に基づいて、当該局所的領域の背景色を擬似的に算出することになる。しかしながら、このように背景色を擬似的に求めると、背景となる領域が全体的に少なくなるのにともない、誤差が大きくなり、背景色を正確に求めることが不可能となる。ましてや、全く背景が存在しない画像データについては、計算すらできないという事態を招来する。

また、局所的領域に背景が存在せず、前景部分の色に薄い淡色が含まれる場合には、その部分が背景部分と誤判断されることがあり、この場合には、正確に背景色を求めることは不可能となる。

以上を踏まえると、画像データに色や輝度のムラがある場合には、従来の技術においては、処理可能対象が線画等、全体的に背景が存在する場合に限られ、背景である領域が少ないか、又は、全く背景が存在しないか、さらには、前景部分が背景部分と区別できずに誤判断された場合においては、背景色を精度よく確実に取得することができず、良質な画像データを得ることができないという問題があった。

本発明は、このような実情に鑑みてなされたものであり、どのような画像データであっても、シェーディング補正、ホワイトバランス、色補正等の画像補正処理を行うことによって常に良質な画像データに補正することができるように、任意の画像データの各画素における背景色を高精度に且つ確実に求めることができる画像処理装置、画像処理方法、及び画像処理プログラム、並びにこの画像処理装置を適用した撮像装置を提供することを目的とする。

上述した目的を達成する本発明にかかる画像処理装置は、上記対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の手段と、上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の手段とを備えることを特徴としている。

また、上述した目的を達成する本発明にかかる画像処理方法は、所定の対象物の像が写り込んだ画像データを画像処理装置によって処理する画像処理方法であって、上記画像処理装置が、上記対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の工程と、上記画像処理装置が、上記第１の工程にて取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の工程とを備えることを特徴としている。

さらに、上述した目的を達成する本発明にかかる画像処理プログラムは、所定の対象物の像が写り込んだ画像データを処理するコンピュータ実行可能な画像処理プログラムであって、上記コンピュータを、上記対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の手段、及び、上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の手段として機能させることを特徴としている。

さらにまた、上述した目的を達成する本発明にかかる撮像装置は、所定の対象物を撮像して当該対象物の像が写り込んだ画像データを生成する撮像装置であって、上記対象物を撮像する撮像手段と、上記対象物内の前景の周囲に均一色の背景が存在する状態で上記撮像手段によって撮像することによって当該均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の手段と、上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の手段とを備えることを特徴としている。

このような本発明にかかる画像処理装置、画像処理方法、及び画像処理プログラムが実装された装置、並びに撮像装置は、対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データを処理対象とする。したがって、本発明にかかる画像処理装置、画像処理方法、及び画像処理プログラムが実装された装置、並びに撮像装置は、そのような画像データにおける背景領域像の色を取得又は算出することができるため、取得又は算出した背景領域像の色に基づいて、当該背景領域像の内側の領域における各画素についての背景色を算出することができる。すなわち、本発明にかかる画像処理装置、画像処理方法、及び画像処理プログラムが実装された装置、並びに撮像装置は、画像データを構成する各画素について、その画素が前景であったとしても、背景であったとした場合にいかなる色になるのかを高精度且つ確実に求めることができる。

本発明においては、背景領域像の内側の領域における各画素についての背景色を高精度且つ確実に算出することができることから、算出した各画素についての背景色に基づいて算出される前景色の精度も大幅に向上し、極めて良質な画像データに補正することが可能となる。

本発明の実施の形態として示す画像処理装置の構成を説明するブロック図である。 撮像対象物を撮像する様子を説明する図である。 図２(Ａ)に示す撮像によって得られた画像データの具体例を説明する平面図である。 画像データの具体例を説明する平面図であり、本発明の実施の形態として示す画像処理装置による背景色の算出処理について説明するための図である。 画像データの具体例を説明する平面図であり、本発明の実施の形態として示す画像処理装置による背景色の簡便な算出処理について説明するための図である。 画像データの具体例を説明する平面図であり、本発明の実施の形態として示す画像処理装置による背景色の詳細な算出処理について説明するための図である。 画像データの具体例を説明する平面図であり、本発明の実施の形態として示す画像処理装置による任意の１点の画素における背景色の詳細な算出処理について説明するための図である。 撮像対象物を撮像する際に用いる補助部材の構成を説明する平面図であり、周囲領域を黒塗りにした補助部材の構成を説明する図である。 撮像対象物を撮像する際に用いる補助部材の構成を説明する平面図であり、フレームが描画された補助部材の構成を説明する図である。 図６(Ａ)に示す補助部材の上に撮像対象物を載置した様子を説明する平面図である。 図６(Ｂ)に示す補助部材の上に撮像対象物を載置した様子を説明する平面図である。 図７(Ａ)に示す補助部材及び撮像対象物を撮像して得られた画像データの具体例を説明する平面図である。 図７(Ｂ)に示す補助部材及び撮像対象物を撮像して得られた画像データの具体例を説明する平面図である。 図８(Ａ)に示す画像データに対して歪曲補正処理と正面化処理との両方を施して得られた画像データの具体例を説明する平面図である。 図８(Ｂ)に示す画像データに対して歪曲補正処理と正面化処理との両方を施して得られた画像データの具体例を説明する平面図である。 撮像対象物を撮像する際に用いる補助部材の構成を説明する図であり、図６(Ａ)又は図６(Ｂ)に示す補助部材とは異なる補助部材の構成を説明する図である。 画像データの背景領域像内に指定する１周分の画素群の形状を任意の四角形とした場合の具体例を説明する図である。 図１１(Ａ)に示す四角形を矩形に変換した場合の具体例を説明する図である。 変換元の四角形と変換先の矩形との関係を説明する図である。 任意の四角形と矩形との相互変換について説明するための図である。 画像データの具体例を説明する平面図であり、背景領域像の位置に当該背景領域像の色でない色が写り込んでいる領域が存在する場合の処理について説明するための図である。 画像データの具体例を説明する平面図であり、背景領域像内の領域若しくは当該背景領域像の外側の領域又はこれら両方の領域における各画素についても背景色を求める処理について説明するための図である。 図６(Ｂ)に示す補助部材の上に撮像対象物としての書籍を載置した様子を説明する斜視図である。 図１５に示す補助部材及び撮像対象物を撮像して得られた画像データの具体例を説明する平面図である。 大きい撮像対象物を撮像する際に用いる補助部材の構成を説明する平面図であり、周囲領域を黒塗りにした補助部材の構成を説明する図である。 大きい撮像対象物を撮像する際に用いる補助部材の構成を説明する平面図であり、フレームが描画された補助部材の構成を説明する図である。 大きい撮像対象物を撮像する際に用いる補助部材の構成を説明する平面図であり、図１７(Ａ)又は図１７(Ｂ)に示す補助部材とは異なる補助部材の構成を説明する図である。 撮像対象物の上に図１７(Ｂ)に示す補助部材を載置した様子を説明する斜視図である。 撮像対象物としての書籍の上に図１７(Ｂ)に示す補助部材を載置した様子を説明する斜視図である。 撮像対象物としての書籍を撮像する際に用いる補助部材の構成を説明する斜視図である。

以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。

この実施の形態は、所定の対象物を撮像等することによって得られた当該対象物の像が写り込んだ画像データに対して画像処理を施す画像処理装置である。特に、この画像処理装置は、撮像等によって得られた画像データの質を良好にするために行う補正を高精度化するために、画像データの背景色を高精度に且つ確実に求めるための斬新な手法を具現化したものである。

なお、以下の説明において、対象物とは、描画像が描画されたパンフレットや書籍等の紙媒体やその他の用紙、さらには任意の物体等を意味する。また、対象物に描画された描画像とは、ユーザが画像データとして記録することやディスプレイに描画したり印刷したりすること等を所望する実体的内容であり、パンフレットや書籍等の紙媒体に掲載された写真画像や図面等の一般的な像を含む概念である。また、描画像の背景に着色等が施されている場合に、その背景をも画像データとして記録等することを所望する場合には、その背景も含めた領域を描画像の領域とする。さらに、背景領域像とは、背景として画像データに写り込んだ領域の像を意味する。さらにまた、前景領域像とは、原則的には、対象物の像が写り込んでいる領域を意味するが、対象物に描画された描画像が例えば線画である場合にはその線のみを意味する場合もある。また、例えば描画像に写真画像が含まれる場合には、その写真画像に写りこんでいるオブジェクト等が前景領域像となるが、その写真画像に背景領域像がある場合には、その背景領域像を除いた部分を前景領域像としてもよい。すなわち、前景領域像とは、背景領域像と認められる部分を除いた領域の像である。以下では、所定の対象物を撮像して得られた画像データに対して画像処理を施すものとして説明する。したがって、以下では、説明の明確化のため、対象物を撮像対象物と称するものとする。

画像処理装置は、例えばパーソナルコンピュータ等から構成され、画像処理を行うユーザによって操作されるものである。具体的には、画像処理装置は、図１に示すように、各部を統括的に制御するＣＰＵ（Central Processing Unit）１１と、各種プログラムを含む各種情報を格納する読み取り専用のＲＯＭ（Read Only Memory）１２と、ワークエリアとして機能するＲＡＭ（Random Access Memory）１３と、各種情報を読み出し及び／又は書き込み可能に記憶する記憶部１４と、ユーザインターフェースとしての図示しない所定の操作デバイスを介した入力操作の処理及び制御を行う入力操作制御部１５と、各種情報を表示する表示部１６とを備える。

ＣＰＵ１１は、記憶部１４等に格納されている各種アプリケーションプログラムをはじめとする各種プログラムを実行し、各部を統括的に制御する。

ＲＯＭ１２は、各種プログラムをはじめとする各種情報を格納している。このＲＯＭ１２に格納されている情報は、ＣＰＵ１１の制御のもとに読み出される。

ＲＡＭ１３は、ＣＰＵ１１が各種プログラムを実行する際のワークエリアとして機能し、ＣＰＵ１１の制御のもとに、各種情報を一時記憶するとともに、記憶している各種情報を読み出す。

記憶部１４は、本発明にかかる画像処理プログラム等のアプリケーションプログラムの他、画像処理の対象となる画像データをはじめとする各種情報を記憶する。この記憶部１４としては、例えば、ハードディスクや不揮発性メモリ等を用いることができる。また、記憶部１４には、本体に対して着脱可能とされるフレキシブルディスクやメモリカード等の記憶媒体に対して、各種情報の読み出し及び／又は書き込みを行うドライブ装置も含まれる。この記憶部１４に記憶されている各種情報は、ＣＰＵ１１の制御のもとに読み出される。

入力操作制御部１５は、例えば、キーボード、マウス、キーパッド、赤外線リモートコントローラ、スティックキー、又はプッシュボタンといった、ユーザインターフェースとしての図示しない所定の操作デバイスを介した入力操作を受け付け、操作内容を示す制御信号をＣＰＵ１１に対して供給する。

表示部１６は、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）、プラズマ・ディスプレイ・パネル（Plasma Display Panel；ＰＤＰ）、有機エレクトロルミネッセンス（Organic ElectroLuminescent）ディスプレイ、又はＣＲＴ（Cathode Ray Tube）といった、各種表示デバイスであり、ＣＰＵ１１の制御のもとに、各種画像データや、その他の各種情報を表示する。例えば、表示部１６は、ＣＰＵ１１によって画像処理プログラムが起動されると、その画面を表示する。

このような各部を備える画像処理装置は、ＣＰＵ１１の制御のもとに、画像処理プログラムを実行すると、指定された画像データの背景色を求め、求めた背景色に基づいて当該画像データ全体の色を変化させる画像処理を行う。

以下、このような画像処理装置における画像処理について詳述する。

画像データの取得
画像処理装置における画像処理は、画像データを構成する各画素についての背景色を求め、求めた背景色に基づいて前景色を求めるものである。すなわち、この画像処理は、従来の問題を解決するために、画像データを構成する各画素について、その画素が前景であったとしても、背景であったとした場合にいかなる色になるのか（背景色はいかなる色になるのか）を求めることを基本とするものである。

そのために、本発明においては、画像処理を施す画像データを撮像によって取得する場合に工夫を施す。具体的には、図２(Ａ)に示すように、ディジタルカメラ等の撮像装置Ｃを用いて、用紙や物体等の撮像対象物Ｔ内の前景の周囲に背景が存在するように撮像し、図２(Ｂ)に示すように、当該背景が背景領域像ＢＫとして、撮像対象物Ｔの像が写り込んだ領域、すなわち、前景領域像ＦＷの周囲に写り込んだ画像データＩＭを取得する。そして、画像処理装置は、背景領域像ＢＫの色に基づいて、当該背景領域像ＢＫの内側の領域における各画素についての背景色を求める。画像処理装置においては、このようにして撮像された画像データＩＭを処理することにより、撮像対象物Ｔがどのようなものであったとしても、画像データＩＭの背景色を求めることができる。

例えば、撮像対象物Ｔとして、ある用紙を撮像する場合には、用紙の周囲領域が白色等の下地領域であることが多いため、この領域を背景領域として利用すればよい。仮に、用紙の周囲領域が白色等の下地領域になっていない場合には、撮像対象物Ｔとしたい用紙を、白色からなる他の用紙等、所定の背景部材上に載置する。このとき、載置した撮像対象物Ｔたる用紙の外周に、背景部材たる他の用紙等の部分が見えるように、当該撮像対象物Ｔたる用紙を載置する。そして、周囲の白色の背景部材の領域とともに撮像対象物Ｔたる用紙を撮像し、画像データＩＭを取得すればよい。なお、用紙の周囲領域が白色等の下地領域になっているかいないかにかかわらず、用紙内の撮像したい前景においてその前景を囲む周囲が白色等の下地領域になっている場合には、その領域を背景領域として利用してもよいことはいうまでもない。また、物体を撮像対象物Ｔとする場合には、白色の布や壁等を背景部材として設置した場所で撮像すればよい。なお、背景とする色は、白色である必要はなく、例えば灰色や薄いピンク色等であってもよい。ただし、背景とする色は、濃い場合には、画像処理における誤差が大きくなることから、可能な限り薄い淡色が望ましい。また、背景とする色は、均一色である必要があることはいうまでもない。なお、均一色とは、色の輝度を含めて均一の色をいう。例えば、色をＲＧＢ形式で表現する場合においては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分がともに均一である色をいう。また、色を色差及び輝度で表現する場合においては、色差及び輝度がともに均一である色をいう。

画像処理装置においては、このようにして撮像された画像データＩＭを記憶部１４等に取り込み、以下に示す各種処理を行う。

背景色の算出
画像処理装置においては、このようにして画像データＩＭを撮像して取得すると、ＣＰＵ１１によって所定の画像処理プログラムを実行し、画像データＩＭについての背景色を求める。具体的には、画像処理装置は、第１の手段として機能するＣＰＵ１１の制御のもとに、画像データＩＭに撮像対象物Ｔの前景領域像ＦＷとともに写り込んだ背景領域像ＢＫの色を取得又は算出し、第２の手段として機能するＣＰＵ１１の制御のもとに、取得又は算出された背景領域像ＢＫの色に基づいて、画像データＩＭ内での当該背景領域像ＢＫの内側の領域における各画素についての背景色を算出する。

ここで、画像処理装置においては、背景色を算出するために、背景領域像ＢＫの全ての領域についての色を取得又は算出してもよいが、例えば前景領域像ＦＷの周囲を囲む背景領域像ＢＫ内の任意の１周分のラインについての色等、背景領域像ＢＫの一部の領域についての色を取得又は算出するのみでもよい。これを具体的に説明するために、例えば図３中破線で示すように、画像データＩＭにおいて前景領域像ＦＷの周囲に写り込んだ背景領域像ＢＫ内の矩形状の１周分の画素群ＰＧ（１画素幅）の色に基づいて、その画素群ＰＧよりも内側の領域における各画素についての背景色を算出することを考える。

この場合、画像処理装置は、各画素についての背景色を簡便に求めるのであれば、以下のようにすればよい。すなわち、例えば図４に示すように、画素Ｐ（ｘ，ｙ）における画像データＩＭの背景色は、画像データＩＭ内において当該画素Ｐ（ｘ，ｙ）から縦横方向に延ばした直線と画素群ＰＧとが交差する画素の画素群上の色を、当該画素Ｐ（ｘ，ｙ）から画素群ＰＧ上の画素までの距離の比に比例（内分）するように補間することにより、算出することができる。なお、色とは、色成分や色差・輝度等の色情報を意味する。具体的には、画素Ｐ（ｘ，ｙ）から縦横方向に延ばした直線と画素群ＰＧとが交差する画素Ｇ（ｘ，ｙ１），Ｇ（ｘ，ｙ２），Ｇ（ｘ１，ｙ），Ｇ（ｘ２，ｙ）の画素群上の色を、それぞれ、ｇ１，ｇ２，ｇ３，ｇ４とし、画素Ｐ（ｘ，ｙ）から画素Ｇ（ｘ，ｙ１），Ｇ（ｘ，ｙ２），Ｇ（ｘ１，ｙ），Ｇ（ｘ２，ｙ）までの距離を、それぞれ、Ｌ１，Ｌ２，Ｌ３，Ｌ４とすると、画素Ｐ（ｘ，ｙ）について、画像データＩＭの垂直方向及び水平方向に対しての背景色ｇｃｖ，ｇｃｈは、それぞれ、次式（１）となる。したがって、画素Ｐ（ｘ，ｙ）における画像データＩＭの背景色ｇｃは、垂直方向及び水平方向に対しての背景色ｇｃｖ，ｇｃｈの平均値、すなわち、次式（２）によって求めることができる。

このような背景色を簡便に求める方法は、画像データＩＭの背景の色が一方向に均一に変化する場合（変化率が一定である場合）に対応可能である。そうでない場合には、以下のように背景色を詳細に求めればよい。なお、画像データＩＭの背景の色が一方向に均一に変化する場合においても、以下の詳細な方法によって背景色を求めてもよいことはいうまでもない。

すなわち、画像処理装置は、各画素についての背景色を詳細に求めるのであれば、以下のようにする。例えば図５(Ａ)に示すように、矩形状の画素群ＰＧを構成する各辺Ｔ，Ｂ，Ｌ，Ｒの画素群ＰＧ上の色を、それぞれ、ｇｔ（ｘ），ｇｂ（ｘ），ｇｌ（ｙ），ｇｒ（ｙ）とし、矩形状の画素群ＰＧの左下の座標及び右上の座標を、それぞれ、（ｘｌ，ｙｌ），（ｘｈ，ｙｈ）とする。ここで、ｘｌ，ｘｈの大小関係、及び、ｙｌ，ｙｈの大小関係は、それぞれ、ｘｌ＜ｘｈ、ｙｌ＜ｙｈである。まず、上下の辺Ｔ，Ｂの色ｇｔ（ｘ），ｇｂ（ｘ）に基づいて、任意のｙの位置における画素Ｐ（ｘ，ｙ）についての水平方向に対する背景色ｇｈ（ｘ，ｙ）を求める。画素Ｐ（ｘ，ｙ）から辺Ｔ，Ｂまでの距離を、それぞれ、ｅｙａ，ｅｙｂとすると、次式（３）となるが、水平方向に対する背景色ｇｈ（ｘ，ｙ）は、辺Ｔ，Ｂの色ｇｔ（ｘ），ｇｂ（ｘ）を、次式（４）に示すように、画素Ｐ（ｘ，ｙ）から画素群ＰＧ上の画素までの距離の比に比例（内分）するように補間することにより、算出することができる。

しかしながら、水平方向に対する背景色ｇｈ（ｘ，ｙ）において、ｘ＝ｘｌにおける左端の色と、ｘ＝ｘｈにおける右端の色は、辺Ｌ，Ｒの色ｇｌ（ｙ），ｇｒ（ｙ）と必ずしも一致するとは限らない。ここで、求められた水平方向に対する背景色ｇｈ（ｘ，ｙ）と辺Ｌ，Ｒの色ｇｌ（ｙ），ｇｒ（ｙ）とのそれぞれの差分をｄ１，ｄ２とすると、次式（５）となる。したがって、画素Ｐ（ｘ，ｙ）における水平方向に対する背景色ｇｈ（ｘ，ｙ）と正確な背景色ｇ（ｘ，ｙ）との差異をｓ（ｘ，ｙ）とすると、左端と右端の位置においては次式（６）となる。そのため、差異ｓ（ｘ，ｙ）は、次式（７）に示すように、左端までの距離及び右端までの距離の比に比例（内分）するように差分ｄ１，ｄ２を補間して求められる。なお、次式（７）において、ｅｘａ，ｅｘｂは、次式（８）である。

したがって、画素Ｐ（ｘ，ｙ）における正確な背景色ｇ（ｘ，ｙ）は、次式（９）に示すように、水平方向に対する背景色ｇｈ（ｘ，ｙ）から差異ｓ（ｘ，ｙ）を減算して求めることができる。

このように、画像処理装置は、画素群ＰＧを構成する１辺とその対辺との間にあるラインであってこれら２辺に平行なラインの色分布を、これら２辺の画素群の色分布を補間することによって求めて、さらに、そのラインの始点側及び終点側のそれぞれの色の差異に基づいて当該ラインの色分布の差異ｓ（ｘ，ｙ）を補間によって求め、求めたラインの色分布と当該ラインの色分布の差異ｓ（ｘ，ｙ）とに基づいて、背景領域像ＢＫの内側の領域における各画素についての背景色ｇ（ｘ，ｙ）を算出することができる。具体例として、画像処理装置は、画素群ＰＧを構成する１辺とその対辺との間にあるラインであってこれら２辺に平行なラインの色分布を求めるに際して、このラインからこれら２辺までの距離の比に比例するように、これら２辺の画素群の色分布を補間する。また、画像処理装置は、ラインの色分布の差異を求めるに際して、当該ラインの始点側及び終点側のそれぞれの色の差異を、当該ライン上の各画素から当該ラインの始点までの距離及び終点までの距離の比に比例するように補間する。これにより、画像処理装置は、背景領域像ＢＫの内側の領域における各画素についての背景色ｇ（ｘ，ｙ）を算出することができる。このような背景色を詳細に求める方法は、画像データＩＭの背景の色が一方向に均一に変化していない場合においても対応可能である。

なお、ここでは、上式（４）に示したように、画素群ＰＧを構成する１辺とその対辺との間にあるラインであってこれら２辺に平行なラインの色分布を求めるに際して、このラインからこれら２辺までの距離の比に比例するように、これら２辺の画素群の色分布を補間しているが、画像処理装置は、任意の補間式を用いて補間するようにしてもよい。また、画像処理装置は、ラインの色分布の差異についても同様に、当該ラインの始点側及び終点側のそれぞれの色の差異を、当該ライン上の各画素から当該ラインの始点までの距離及び終点までの距離の比に比例するように補間する以外に、任意の補間式を用いて補間するようにしてもよい。また、ここでは、画素群ＰＧを構成する１辺とその対辺との間のラインであってこれら２辺に平行なラインに関して、具体的には画素群ＰＧの上下の２辺の間にあるラインであってこれら２辺に平行なラインに関して、水平方向に対する背景色ｇｈ（ｘ，ｙ）及び差異ｓ（ｘ，ｙ）に基づいて、正確な背景色ｇ（ｘ，ｙ）を算出している。このとき、任意の１点の画素Ｐ（ｘ，ｙ）のみの背景色を算出する場合においては、画素群ＰＧを構成する１辺とその対辺との間のラインであってこれら２辺に平行なラインの全ての画素について、水平方向に対する背景色ｇｈ（ｘ，ｙ）及び差異ｓ（ｘ，ｙ）を算出する必要はない。すなわち、この場合、上式（３）乃至上式（９）を用いて、当該画素Ｐ（ｘ，ｙ）が含まれるラインの始点側及び終点側並びに当該画素Ｐ（ｘ，ｙ）の３点における水平方向に対する背景色ｇｈ（ｘ，ｙ）と、そのラインの始点側及び終点側のそれぞれの色の差異とに基づいて、当該画素Ｐ（ｘ，ｙ）のみの背景色の差異ｓ（ｘ，ｙ）を求めればよい。このように、色分布を用いたかかる処理内容は、任意の１点の画素Ｐ（ｘ，ｙ）のみの計算についても含まれるものとする。換言すれば、画素群ＰＧを構成する１辺とその対辺との間にあるラインであってこれら２辺に平行なラインの色分布とは、そのラインの始点側及び終点側の２画素の色とその間の任意の画素の色からなる少なくとも３画素以上の色によって表現可能な分布も含まれる概念である。

また、このようにして背景色を詳細に求める場合であって任意の１点の画素Ｐ（ｘ，ｙ）における背景色を求める場合には、図５(Ｂ)に示すように、当該画素Ｐ（ｘ，ｙ）にかかわる画素群ＰＧ上の４点Ｂ，Ｄ，Ｆ，Ｈ及び画素群ＰＧの４つの頂点Ａ，Ｃ，Ｅ，Ｇ、すなわち、画素群ＰＧ上の８点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈのみを用いて、当該画素Ｐ（ｘ，ｙ）における背景色を求めることができる。なお、図５(Ｂ)においては、画素群ＰＧを実線で示している。さらに、水平方向のラインにおいて、そのライン上の指定された１点から当該ライン上の他の指定された１点までの画素に対して背景色を求める場合においては、上述した１ライン分の背景色を求める方法を用いて、これら２点間の水平方向に対する背景色ｇｈ（ｘ，ｙ）と差異ｓ（ｘ，ｙ）とを求めるのみで、正確な背景色ｇ（ｘ，ｙ）を求めることができる。なお、このとき、そのラインの始点側（画素群ＰＧの左辺との交点）と終点側（画素群ＰＧの右辺との交点）とにおける水平方向に対する背景色ｇｈ（ｘ，ｙ）と、辺Ｌ，Ｒの色ｇｌ（ｙ），ｇｒ（ｙ）との差分ｄ１，ｄ２の計算は、通常、当該ラインに対して再度計算を行う場合にはその都度行う必要がある。しかしながら、画像処理装置においては、左端差分計算終了フラグｆｌ（ｙ）及び右端差分計算終了フラグｆｒ（ｙ）を設け、各ラインの１回目の計算の際に、求めた始点側及び終点側の差分をＲＡＭ１３や記憶部１４等の所定のメモリに記憶しておき、当該ラインの２回目以降の計算の際には、メモリに記憶しておいた差分値をそのまま用いればよく、これにより、計算の効率化を図ることができる。したがって、画像処理装置は、これらの処理を組み合わせることにより、任意の領域の背景色を効率よく求めることが可能となる。また、矩形である画素群ＰＧの内側の領域全体に対して背景色を求める場合等、水平方向のラインに対して２回目以降の計算を行う必要がない場合には、当然ながら、差分計算終了フラグｆｌ（ｙ），ｆｒ（ｙ）を設ける必要がないことはいうまでもない。

なお、上述した背景色を簡便に求める場合であって任意の１点の画素Ｐ（ｘ，ｙ）における背景色を求める場合には、当該画素Ｐ（ｘ，ｙ）にかかわる画素群ＰＧ上の４点Ｂ，Ｄ，Ｆ，Ｈのみを用いれば当該画素Ｐ（ｘ，ｙ）における背景色を求めることができるのはいうまでもない。

画像処理装置は、このようにして、画像データＩＭにおいて前景領域像ＦＷの周囲に写り込んだ背景領域像ＢＫの色に基づいて、内側の領域における各画素についての背景色を算出することができる。そのため、画像処理装置は、撮像対象物Ｔの下地等の背景がないような撮像対象物Ｔを撮像して画像データＩＭを取得した場合等、どのような撮像対象物Ｔであっても、確実に、撮像対象物Ｔの像が写り込んだ領域の各画素の背景色を求めることができる。また、画像処理装置においては、背景色を求めるために用いる１周分の画素群ＰＧとして１画素幅しか必要としないことから、撮影対象物Ｔとともに撮像すべき周囲の背景領域像ＢＫは１画素幅の色が得られる程度であれば、十分に狭くてもよい。ここで、背景領域像ＢＫを狭くできることは、十分な解像度での画像データＩＭの撮像を実現することにつながる。

なお、画像データは、ディジタルカメラを用いて撮像したものである場合には、いわゆる樽型歪みが生じたものとなる。そのため、画像処理装置においては、背景色の算出前に、必要に応じて、第３の手段として機能するＣＰＵ１１の制御のもとに、撮像された画像データに対して歪曲補正処理を行うようにしてもよい。また、画像データは、撮像対象物Ｔを斜め方向から撮像したものである場合もある。そのため、画像処理装置においては、必要に応じて、第３の手段として機能するＣＰＵ１１の制御のもとに、射影変換処理等を行い、撮像対象物Ｔを正面から見たときの画像データになるように変換（以下、正面化処理という。）するようにしてもよい。そして、画像処理装置は、このような歪曲補正処理や正面化処理を行って得られた画像データＩＭに対して、ユーザによるマウス等のドラッグ操作や頂角とする箇所のポインティング操作等に応じて１周分の画素群ＰＧの位置が指定されると、上述したように、その部分の色に基づいて、内側の領域における各画素についての背景色を求めることができる。

前景色の算出
画像処理装置は、各画素についての背景色を求めると、第４の手段として機能するＣＰＵ１１の制御のもとに、各画素についての前景色を求める。具体例として、画像処理装置は、位置（ｘ，ｙ）における画像データＩＭの色（すなわち、ディジタルカメラ等によって撮像された画像データＩＭの位置（ｘ，ｙ）における色。以下、原画像色という。）をｏｒｇ（ｘ，ｙ）とすると、画像データＩＭから読み取った原画像色ｏｒｇ（ｘ，ｙ）と、先に求めた背景色ｇ（ｘ，ｙ）とに基づいて、位置（ｘ，ｙ）における新たな前景色ｆａ（ｘ，ｙ）を、次式（１０）に示すようにして求める。なお、次式（１０）におけるｂｒは、撮像対象物Ｔの下地色等、実際の背景の色である。したがって、ｂｒは、例えば、実際の背景の色が白色であり、画像データＩＭが８ビットのＲＧＢ形式である場合には、２５５という値になる。

また、画像処理装置は、実際の背景の色ｂｒがわからない場合であっても、前景領域像ＦＷ上の任意の１点（ｘｐ，ｙｐ）の実際の色がわかっている場合には、次式（１１）を用いて新たな前景色ｆｂ（ｘ，ｙ）を求めることもできる。なお、次式（１１）におけるｄｐは、位置（ｘｐ，ｙｐ）における実際の色である。

このとき、画像処理装置においては、計算精度の観点から、位置（ｘｐ，ｙｐ）としては、前景領域像ＦＷのうち、可能な限り薄い色の部分を指定するのが望ましい。また、画像処理装置においては、画像データＩＭに写り込んでいる撮像対象物Ｔの像内に背景領域像があるものの、当該撮像対象物Ｔの像の周囲全てが背景領域像になっていない等の場合には、上述したように、白色の用紙等の上に撮像対象物Ｔを載置する等して撮像することになるが、この場合、敷設した用紙等の色と、撮像対象物Ｔ上の下地色といった背景の色とが若干異なることがある。このような場合、画像処理装置においては、上式（１１）における位置（ｘｐ，ｙｐ）として、撮像対象物Ｔの像内の背景領域像の位置を指定して前景色ｆｂ（ｘ，ｙ）を求めると便利である。

なお、色には、ＲＧＢ形式等、複数の表現方法が存在する。画像処理装置は、背景色を詳細に求める場合には、表現されている色の形式の各成分に対して、上式（４）、上式（５）、上式（７）、上式（９）、上式（１０）、上式（１１）の算出を行えばよい。例えば、画像処理装置は、ＲＧＢ形式の画像データＩＭの場合には、Ｒ，Ｇ，Ｂの各色成分に対して、上式（４）、上式（５）、上式（７）、上式（９）、上式（１０）、上式（１１）を適用すればよい。ただし、上式（１０）又は上式（１１）は、ＲＧＢ形式等、色の各成分が輝度によって表現されており、黒の輝度が０であることを想定した式である。そのため、画像処理装置においては、このようになっていない画像データＩＭや特殊な形式で表現された画像データＩＭについては、上式（１０）又は上式（１１）をそのまま適用することができない場合がある。このような場合、画像処理装置は、その表現形式に合った上式（１０）又は上式（１１）を用いるか、又は、ＲＧＢ形式等、上式（１０）又は上式（１１）を適用することができる表現形式に画像データＩＭの表現形式を変換して新たな前景色ｆａ（ｘ，ｙ），ｆｂ（ｘ，ｙ）のいずれかを算出した後、元の表現形式に戻す処理を行えばよい。

このように、画像処理装置は、前景色ｆａ（ｘ，ｙ），ｆｂ（ｘ，ｙ）のいずれかを用いることにより、実際の色を求めることができる。そして、画像処理装置は、画像データＩＭ内の背景領域像ＢＫの内側の領域における各画素の色を、求めた実際の色に置換して、新たな補正後画像データを作成することができる。

背景領域像の領域内の１周分の画素群の指定の自動化
ところで、画像処理装置においては、上述したように、画像データＩＭにおいて前景領域像ＦＷの周囲に写り込んだ背景領域像ＢＫの色に基づいて、内側の領域における各画素についての背景色を求めることができるが、撮像された画像データＩＭに対して、撮像対象物Ｔの周囲に写り込んでいる背景領域像ＢＫの領域内で、１周分の画素群ＰＧとする矩形の位置を、手動で指定する必要がある。

また、ディジタルカメラを用いて画像データを撮像する場合には、上述したように、樽型歪みが生じ、画像処理装置においては、必要に応じて、撮像された画像データＩＭに対して歪曲補正処理を行う場合があり、さらに、必要に応じて、射影変換処理等を行い、正面化処理を行うこともある。これら歪曲補正処理や正面化処理を行うにあたっては、通常、歪曲補正処理の場合には歪みの度合い、正面化処理の場合には正面となる領域（例えば矩形となる領域）を、手動で指定する必要がある。

そのため、撮像対象物Ｔを撮像するにあたっては、図６(Ａ)又は図６(Ｂ)に示すような用紙や板等の平坦部材からなる補助部材５０を用意すると便利である。図６(Ａ)には、周囲領域を黒塗りにした平坦部材からなる補助部材５０を示し、図６(Ｂ)には、外縁から任意距離だけ内側にフレーム（枠線）ＦＲが描画された平坦部材からなる補助部材５０を示している。撮像対象物Ｔを撮像するにあたっては、このような補助部材５０の黒塗り領域の内側又はフレームＦＲの内側に撮像対象物Ｔを載置する。このとき、撮像対象物Ｔは、例えば図７(Ａ)又は図７(Ｂ)に示すように、補助部材５０の黒塗り領域との間や、フレームＦＲとの間に、適当な間隙ＧＰを設けるように載置される。この間隙ＧＰの領域は、上述した背景領域像ＢＫとして利用されることになる。

そして、図６(Ａ)に示した補助部材５０を用いた場合には黒塗り領域の内縁が写り込むように、また、図６(Ｂ)に示した補助部材５０を用いた場合にはフレームＦＲが写り込むように、撮像対象物Ｔを撮像する。なお、正面化処理は、撮像された画像データＩＭに黒塗り領域の内縁又はフレームＦＲが写り込んでさえすれば実行することができるため、撮像は、撮像装置の向きが撮像対象物Ｔに対して正対されている必要がなく、斜め方向から行われてもよい。画像データＩＭが、例えば図８(Ａ)又は図８(Ｂ)に示すように撮像された場合を想定する。画像処理装置は、画像データＩＭに写り込んだ黒塗り領域の境界の位置（背景領域像ＢＫとなる画像データＩＭに写り込んだ間隙ＧＰの像Ｉ_ＧＰと黒塗り領域の像Ｉ_ＢＬとの境界の位置）や、画像データＩＭに写り込んだフレームＦＲの像Ｉ_ＦＲの位置を、所定の画像認識技術を用いて自動的に認識することができるため、認識した黒塗り領域の境界の位置又はフレームＦＲの像Ｉ_ＦＲの位置に基づいて、歪曲補正処理若しくは正面化処理又はこれら両方を自動的に行うことができる。なお、画像処理装置においては、異物が写り込んでいたこと等によって誤認識した場合やフレームＦＲの色が薄い等によって認識が困難な場合には、黒塗り領域の境界の位置やフレームＦＲの像Ｉ_ＦＲの位置を手動で設定して取得するようにしてもよいことはいうまでもない。

その結果を図９(Ａ)又は図９(Ｂ)に示す。これら図９(Ａ)又は図９(Ｂ)は、歪曲補正処理と正面化処理との両方を行った場合の結果を具体的に示した図である。画像処理装置においては、図９(Ａ)中破線又は図９(Ｂ)中破線で示すように、自動的に認識した黒塗り領域の境界やフレームＦＲの像Ｉ_ＦＲの位置から所定ドットだけ内側の位置や、黒塗り領域の境界のサイズ又はフレームＦＲの像Ｉ_ＦＲのサイズに対して所定割合のサイズを画定する位置等を、撮像対象物Ｔに対応する前景領域像ＦＷの周囲の背景の位置とすればよい。なお、画像処理装置においては、歪曲補正処理若しくは正面化処理又はこれら両方を行った場合には、処理後における黒塗り領域の境界やフレームＦＲの像Ｉ_ＦＲの位置が、処理前における位置からずれることから、黒塗り領域の境界やフレームＦＲの像Ｉ_ＦＲの位置に対しても同様に処理を行い、ずれが発生しないようにする必要がある。

また、図６(Ａ)に示した補助部材５０は、周囲領域を黒塗りにした平坦部材からなり、黒塗り領域との間に間隙ＧＰを設けて撮像対象物Ｔを載置するように用いられるが、撮像対象物Ｔ自体の外縁部分を含む周囲領域が、白色等の背景に対応する均一色になっている場合には、図１０に示すように、全体が黒色等、背景と識別可能な色の用紙や板等の平坦部材を補助部材５０とし、この補助部材５０の上に、直接、撮像対象物Ｔを載置するようにしてもよい。図１０左側は、補助部材５０の上に、外縁部分を含む周囲領域が白色等の背景に対応する均一色になっている撮像対象物Ｔを載置する様子を示す図であり、図１０右側は、補助部材５０の上に撮像対象物Ｔを載置した様子を真上から見た図である。このようにしても、図７(Ａ)に示した場合と同様の状況を作り出すことができるため、画像処理装置は、全く同じ理論にしたがって、画像データＩＭの背景色を算出することが可能となる。

したがって、画像処理装置は、背景とする位置を手動で指定しなくても、図６(Ａ)若しくは図６(Ｂ)又は図１０に示したような補助部材５０を用いて撮像された画像データＩＭに対して、必要に応じて、自動的に歪曲補正処理若しくは正面化処理又はこれら両方を行うことができ、また、処理後の画像データについての背景色を自動的に算出することができる。

なお、図６(Ａ)に示した補助部材５０の周囲領域や図１０に示した補助部材５０の色は、背景領域像ＢＫと識別可能に着色したものであれば、黒色以外の色であってもよい。また、ここでは、背景領域像ＢＫの位置を認識するために、図６(Ａ)に示したような周囲領域を黒塗りにした補助部材５０や、図６(Ｂ)に示したようなフレームＦＲを描画した補助部材５０や、図１０に示したような全体が黒色の補助部材５０を用いるものとして説明したが、背景領域像ＢＫの位置を認識できるのであれば、例えば、背景領域像ＢＫの外周の位置を画定するためのマーク若しくは図形等を描画した補助部材を用いる等、いかなる方法であってもよい。また、背景領域像ＢＫは、フレームＦＲを用いた場合には、その内側の領域の像であるものとしたが、その外側に背景があってそれが写り込んでいる場合には、それを背景領域像ＢＫとしてもよい。さらに、背景領域像ＢＫの外周の位置を画定するためのマーク若しくは図形を用いるのではなく、単に、背景領域像ＢＫの位置を画定するためのマーク若しくは図形を用いてもよく、この場合において、マーク若しくは図形によって画定される背景の位置の外側に背景があってそれが写り込んでいる場合には、それを背景領域像ＢＫとしてもよい。

矩形でない１周分の画素群の場合における処理
以上では、背景領域像ＢＫ内に指定する１周分の画素群ＰＧを矩形として説明したが、画像処理装置は、任意の多角形等、任意の閉じた形状からなる図形であっても、その図形を矩形に変換（変形）することができれば、当該図形の周縁が矩形の辺になるため、処理を行うことができる。ここでは、具体例として、全ての頂角の内角が１８０°未満である任意の四角形、すなわち、凸である任意の四角形について処理を行う場合について説明する。

図１１(Ａ)に示すように、四角形ＡＢＣＤの各辺が背景領域像内にあるものとし、各辺上の各画素の色に基づいて、内側の領域における各画素についての背景色を算出することを考える。この四角形ＡＢＣＤは、凸である任意の四角形であることから、画像処理装置は、図１１(Ｂ)に示すように、この四角形ＡＢＣＤを矩形Ａ'Ｂ'Ｃ'Ｄ'に変換（変形）することにより、上述した理論をそのまま適用して処理を行うことができる。そして、画像処理装置は、矩形Ａ'Ｂ'Ｃ'Ｄ'に変換した状態で、背景色を算出する等の上述した各種処理を行った後、元の四角形ＡＢＣＤに逆変換する処理を行えばよい。ここで、変換先の矩形Ａ'Ｂ'Ｃ'Ｄ'は、任意の矩形であってもよいが、図１１(Ｃ)に示すように、元の四角形ＡＢＣＤを囲む矩形又はその相似の矩形であることが望ましい。

任意の四角形と矩形との相互変換は、媒介変数を用いればよい。その関係を、図１２に示す。ここでは、２つの媒介変数ｐ，ｑを用いた例を示している。これら２つの媒介変数ｐ，ｑを、０以上１以下の実数とすることにより、任意の四角形の辺及びその内部、さらには矩形の辺及びその内部を表すことができる。すなわち、図１２左側に示す任意の四角形においては、媒介変数ｐ，ｑが与えられると、上辺及び下辺の線分をそれぞれｐ：（１−ｐ）に分ける点同士を結んだ線分と、左辺及び右辺の線分をそれぞれｑ：（１−ｑ）に分ける点同士を結んだ線分との交点（ｘ，ｙ）が求められる。一方、図１２右側に示す矩形においては、横方向の辺をそれぞれｐ：（１−ｐ）に分ける点同士を結んだ線分と、縦方向の辺をそれぞれｑ：（１−ｑ）に分ける点同士を結んだ線分との交点（ｘ'，ｙ'）が求められる。これは、図１２左側に示す任意の四角形における点（ｘ，ｙ）と図１２右側に示す矩形における点（ｘ'，ｙ'）とが対応していることを示している。したがって、図１２左側に示す任意の四角形における点（ｘ，ｙ）から、図１２右側に示す矩形における点（ｘ'，ｙ'）を求めるには、点（ｘ，ｙ）に対応する媒介変数ｐ，ｑを求め、これら媒介変数ｐ，ｑに対応する点（ｘ'，ｙ'）を求めればよい。逆に、図１２右側に示す矩形における点（ｘ'，ｙ'）から、図１２左側に示す任意の四角形における点（ｘ，ｙ）を求めるには、点（ｘ'，ｙ'）に対応する媒介変数ｐ，ｑを求め、これら媒介変数ｐ，ｑに対応する点（ｘ，ｙ）を求めればよい。

また、正面化処理が施されていない画像データＩＭに対して背景色を求める場合等、任意の四角形が遠近に起因している場合には、媒介変数を用いる方法ではなく、射影変換等の方法に基づいて、矩形に変換するようにしてもよい。この場合、画像処理装置は、元の四角形に逆変換する際には、矩形への変換に用いた射影変換等の方法に応じた逆変換処理を行えばよい。さらに、歪曲補正処理が施されていない画像データＩＭに対して、その画像データＩＭの背景領域像ＢＫにおいて任意の四角形を指定することができない等の場合には、歪曲補正処理を行うことによって任意の四角形に変換することのできる背景領域像ＢＫ内の１周分の図形を設定し、その図形に対して歪曲補正処理を施して任意の四角形に変換することにより、上述した方法を用いて処理を行えばよい。この場合、画像処理装置は、元の画像データに戻す処理を行う際には、矩形から任意の四角形に逆変換した後に、歪曲補正処理として行った補正の方法に応じた逆変換処理を行えばよい。

画像処理装置は、このようにして任意の閉じた形状からなる図形と矩形との間で相互変換を行うことにより、変換後の矩形の辺上の各画素の色に基づいて、図形の内側領域における各画素についての背景色を算出することができる。なお、画像処理装置は、上式（１０）又は上式（１１）を用いて実際の色を求めてから元の図形への逆変換を行うと精度の低下を招来するため、背景色ｇ（ｘ，ｙ）を求めるためだけに変換処理を行うのが望ましい。

応用
背景領域像の位置に当該背景領域像の色でない色が写り込んでいる領域が存在する場合
用紙等を撮像対象物Ｔとし、当該用紙の外縁部分を含む周囲領域を背景として利用しようとする場合には、例えば図１３に示すように、撮像された画像データＩＭ内の背景領域像ＢＫの位置に、例えばページ番号等の文字や付加的な図形等、当該背景領域像ＢＫの色でない色が写り込んでいる領域Ｎ１，Ｎ２が存在する場合がある。また、物体を撮像対象物Ｔとする場合においても、背景領域像ＢＫの位置に、模様等、部分的に当該背景領域像ＢＫの色でない色の領域が写り込むことがある。このような場合、その文字や図形、模様等、当該背景領域像ＢＫの色でない色が写り込んでいる領域では、急激な色の変化が見られたり、背景よりも大幅に暗く写ったりすることが多い。

この場合、画像処理装置は、このような色の変化に基づいて、背景として指定された画素群ＰＧにおいて背景領域像ＢＫの色でない色が写り込んでいる領域を自動的に検出することが可能である。したがって、画像処理装置は、検出した領域を除いた画素群ＰＧの色に基づいて、当該検出した領域が背景であったとした場合における当該領域の色を算出することができ、その算出された色を、その領域における画素群ＰＧの色とすればよい。具体的には、画像処理装置は、背景領域像ＢＫの色でない色が写り込んでいる領域の前後の画素の色に基づいて補間することにより、背景領域像ＢＫの色でない色が写り込んでいる領域が背景であったとした場合における当該領域の色を求めることができ、この領域においては、その求めた色を画素群ＰＧの色とする。これにより、画像処理装置は、このような画像データＩＭが得られた場合であっても、上述した理論をそのまま適用し、処理を行うことができる。なお、画像処理装置は、背景として指定された画素群ＰＧのうち、背景領域像ＢＫの色でない色が薄い等、自動での検出が困難な場合には、背景領域像ＢＫの色でない色が写り込んでいる領域を手動で指定させるようにしてもよい。

また、撮像された画像データＩＭ内の背景領域像ＢＫの位置に写り込んでいる当該背景領域像ＢＫの色でない色の領域やその外側の領域についても、その背景色を算出し、実際の色を算出したい場合がある。換言すれば、背景領域像ＢＫの位置に、背景とは認められない文字や図形等が存在したり、背景領域像ＢＫの外側の領域にも、背景とは認められない文字や図形等が存在したりする場合には、背景領域像ＢＫの内側の領域における各画素についての背景色を算出するのみならず、背景領域像ＢＫ内の領域若しくは当該背景領域像ＢＫの外側の領域又はこれら両方の領域における各画素についての背景色をも算出したい場合がある。

この場合、画像処理装置は、以下のようにして処理を行えばよい。この処理を説明するために、例えば図１４に示すように、画像データＩＭ内の背景領域像ＢＫの位置に、当該背景領域像ＢＫの色でない色の領域Ｎが写り込んでいる場合を考える。ここで、画素群ＰＧよりも内側にある背景領域像ＢＫ内の領域については、背景領域像ＢＫの内側の背景色を算出したのと同様の処理を行うことにより、背景色を算出することができる。そのため、背景として指定された画素群ＰＧによって形成される矩形の辺に沿った外側の領域Ｓ１，Ｓ２，Ｓ３，Ｓ４と、当該矩形の頂角に対応する外側の領域Ｔ１，Ｔ２，Ｔ３，Ｔ４とに処理対象を区分けして考えればよい。

まず、領域Ｓ１に対する処理について考える。矩形状の領域Ｓ１の上辺の色は、矩形状の画素群ＰＧを構成する下辺の色ｇｂ（ｘ）であることから、画像処理装置は、領域Ｓ１の上辺の色を、ｇｂ（ｘ）として把握することができる。また、画像処理装置は、矩形状の画素群ＰＧを構成する左辺の色ｇｌ（ｙ）に基づいて、頂角Ａの近傍における色の変化率をそのまま維持するように延長することにより、領域Ｓ１の左辺の色ｇｓ１ｌ（ｙ）を算出することができる。同様に、画像処理装置は、矩形状の画素群ＰＧを構成する右辺の色ｇｒ（ｙ）に基づいて、頂角Ｂの近傍における色の変化率をそのまま維持するように延長することにより、領域Ｓ１の右辺の色ｇｓ１ｒ（ｙ）を算出することができる。したがって、画像処理装置は、色ｇｓ１ｌ（ｙ），ｇｓ１ｒ（ｙ）に基づいて、点Ｅ，Ｆにおける色も算出することができる。さらに、画像処理装置は、線分ＥＦ間の色ｇｓ１ｂ（ｘ）については、線分ＥＦ間で色ｇｂ（ｘ）と同様の傾向で変化するものと取り扱うことにより、算出することができる。なお、画像処理装置は、矩形状の画素群ＰＧを構成する上辺の色ｇｔ（ｘ）及び下辺の色ｇｂ（ｘ）に基づいて、これら上辺から下辺までの距離、すなわち、点Ｄから点Ａまでの距離と、領域Ｓ１の上辺から下辺までの距離、すなわち、点Ａから点Ｅまでの距離とに比例するように、領域Ｓ１の水平方向に対しての色を算出し、この色と同様の傾向で線分ＥＦ間の色が変化するものと取り扱うことにより、色ｇｓ１ｂ（ｘ）を算出するようにしてもよい。これにより、画像処理装置は、領域Ｓ１の上下左右の辺の色を求めることができるため、上述した理論を適用し、領域Ｓ１の背景色を算出することができる。

画像処理装置は、このような領域Ｓ１の背景色を求める処理と同様の処理を、他の領域Ｓ２，Ｓ３，Ｓ４についても行うことにより、４つの領域Ｓ１，Ｓ２，Ｓ３，Ｓ４の背景色を算出することができる。

つぎに、領域Ｔ１に対する処理について考える。領域Ｔ１の右辺の色と上辺の色は、それぞれ、領域Ｓ１，Ｓ４についての辺の色を求める際にｇｓ１ｌ（ｙ），ｇｓ４ｂ（ｘ）として求められている。また、画像処理装置は、領域Ｓ１の背景色を求める際に点Ｅにおける色を把握していることから、領域Ｓ１の下辺の色ｇｓ１ｂ（ｘ）について、点Ｅの近傍における色の変化率をそのまま維持するように延長することにより、点Ｈにおける色を算出することができる。同様に、画像処理装置は、領域Ｓ４の背景色を求める際に点Ｇにおける色を把握していることから、領域Ｓ４の左辺の色ｇｓ４ｌ（ｙ）について、点Ｇの近傍における色の変化率をそのまま維持するように延長することにより、点Ｈにおける色を算出することができる。画像処理装置は、このようにして、点Ｈについての２つの色を求めることができるため、これら２つの色の平均を、点Ｈの色とする。したがって、画像処理装置は、領域Ｔ１の下辺の色ｇｔ１ｂ（ｘ）として、線分ＨＥ間を滑らかに色が変化するように定めればよい。同様に、画像処理装置は、領域Ｔ１の左辺の色ｇｔ１ｌ（ｙ）についても、線分ＨＧ間を滑らかに色が変化するように定めればよい。これにより、画像処理装置は、領域Ｔ１の上下左右の辺の色を求めることができるため、上述した理論を適用し、領域Ｔ１の背景色を算出することができる。

画像処理装置は、このような領域Ｔ１の背景色を求める処理と同様の処理を、他の領域Ｔ２，Ｔ３，Ｔ４についても行うことにより、４つの領域Ｔ１，Ｔ２，Ｔ３，Ｔ４の背景色を算出することができる。

画像処理装置は、このような処理を行うことにより、撮像された画像データＩＭ内での背景領域像ＢＫ内の領域若しくは当該背景領域像ＢＫの外側の領域又はこれら両方の領域についても、その背景色を算出し、実際の色を算出することができる。

書籍を撮像対象物とする場合
雑誌や文庫本等の書籍を撮像対象物Ｔとし、この書籍を先に図６(Ｂ)に示したようなフレームＦＲを描画した補助部材５０の上に載置して撮像する場合に、その書籍の片面のみを撮像することが多い。この場合、例えば図１５に示すように、撮像対象物Ｔである書籍を見開いて撮像したい一方の面を露呈させるため、撮像しない他方の面によってフレームＦＲの一部が覆われ、その部分のフレームＦＲの像Ｉ_ＦＲが得られないことになる。

画像処理装置は、このような場合に歪曲補正処理を行う場合には、画像データＩＭに写り込んでいないフレームＦＲの部分の像Ｉ_ＦＲは、その対辺部分のフレームＦＲの像Ｉ_ＦＲと同様の傾向で歪むものとして取り扱ったり、他の３辺のフレームＦＲの像Ｉ_ＦＲに基づいて歪みを算出したりする等して歪曲補正処理を行えばよい。具体的には、画像処理装置は、図１５に示す例の場合には、フレームＦＲの右辺側の像が得られないことから、その部分の像はフレームＦＲの左辺側の像と同様の傾向で歪むものとして取り扱ったり、フレームＦＲの上下の辺と左辺の３つの辺の像Ｉ_ＦＲに基づいて歪みを算出したりすればよい。なお、正面化処理については、フレームＦＲの４つの頂角の位置しか必要としないため、このような場合における影響はない。

また、このような場合、画像処理装置は、例えば図１６に示すように、撮像対象物Ｔによって覆われたフレームＦＲの一部に対応する領域の背景領域像ＢＫの色を取得することができないため、図１６中破線で示すように、撮像対象物Ｔに対応する前景領域像ＦＷの周囲の１周分の背景の色を取得することができない。そこで、画像処理装置は、前景領域像ＦＷの周囲の背景の位置とした破線で示す領域のうち、画像データＩＭに写り込んでいない領域の色を、当該画像データＩＭに写り込んでいる頂角Ａ，Ｂの色に基づいて補間して求めたり、又は、画像データＩＭに写り込んでいる対辺部分の色の変化と同様の傾向で色の変化が生じているものと取り扱ったりすればよい。

これにより、画像処理装置は、一部のフレームＦＲの像Ｉ_ＦＲが得られないような画像データＩＭが得られた場合であっても、上述した理論をそのまま適用し、処理を行うことができる。なお、このような処理は、先に図６(Ａ)に示したような周囲領域を黒塗りにした補助部材５０を用いた場合にも、同様に適用することができる。また、このような処理は、補助部材５０を用いずに、白色等の全体が背景色として用いることができる用紙や板等の平坦部材上に撮像対象物Ｔを載置して、撮像対象物Ｔに対応する前景領域像ＦＷの周囲の背景とする位置を手動で指定する場合にも、同様に適用することができる。

撮像対象物が大きい場合における処理
以上では、撮像対象物Ｔの大きさが撮像範囲内にある場合等を想定してきた。そのため、撮像対象物Ｔに対応する前景領域像ＦＷの周囲に背景領域像ＢＫが写り込むような画像データＩＭを取得することができた。しかしながら、新聞等、サイズが大きいものを撮像対象物Ｔとし、その一部のみを撮像したい場合がある。

このような場合、撮像対象物Ｔを撮像するにあたっては、図１７(Ａ)又は図１７(Ｂ)に示すような用紙や板等の平坦部材からなる補助部材６０を用意すると便利である。図１７(Ａ)に示す補助部材６０は、図６(Ａ)に示した補助部材５０と略同様に、周囲領域を黒塗りにした平坦部材を加工したものであり、黒塗り領域の内縁から任意幅だけ内側の領域６１を残した状態で、その内側に開口を設けることによって窓部６２を形成したものである。一方、図１７(Ｂ)に示す補助部材６０は、図６(Ｂ)に示した補助部材５０と略同様に、外縁から任意距離だけ内側にフレームＦＲが描画された平坦部材を加工したものであり、フレームＦＲから任意幅だけ内側の領域６１を残した状態で、その内側に開口を設けることによって窓部６２を形成したものである。なお、これら補助部材６０は、光学的に透明な板等に、黒塗り領域やフレームＦＲ、さらには領域６１を形成するように印刷を施したり、光学的に透明な板等に、黒塗り領域やフレームＦＲ、さらには領域６１に相当する印刷を施して加工した用紙等を貼付したりすることにより、作製してもよい。

このような補助部材６０を用いて撮像対象物Ｔを撮像するにあたっては、補助部材６０の窓部６２を当該撮像対象物Ｔのうち撮像したい箇所の上に位置させるように、撮像対象物Ｔの上に補助部材６０を載置する。そして、図１７(Ａ)に示した補助部材６０を用いた場合には、黒塗り領域の内縁が写り込むように、また、図１７(Ｂ)に示した補助部材６０を用いた場合には、フレームＦＲが写り込むように、撮像対象物Ｔを撮像する。具体的には、図１７(Ｂ)に示した補助部材６０を用いた場合には、例えば図１８に示すように、大きな撮像対象物Ｔの上に補助部材６０を載置し、当該撮像対象物Ｔを撮像する。

このような補助部材６０を用いて撮像対象物Ｔを撮像して得られた画像データＩＭは、歪曲補正処理と正面化処理との両方を行った場合には、先に図９(Ａ)又は図９(Ｂ)に示したものと略同様となる。すなわち、領域６１の像は、上述した背景領域像ＢＫとして利用されることになる。このように、撮像したい箇所の周囲に背景が写り込んだ画像データＩＭを取得することができるため、画像処理装置は、大きな撮像対象物Ｔであっても、全く同じ理論にしたがって、画像データＩＭの背景色を算出することが可能となる。

また、歪曲補正処理における歪みの度合いや正面化処理における領域の指定を手動で行う場合には、図１７(Ｃ)に示すように、黒塗り領域やフレームＦＲを設けずに単に白色等の背景に対応する均一色を呈した領域６１のみからなる平坦部材の内側に開口を設けることによって窓部６２を形成したものを補助部材６０として用いてもよい。なお、この補助部材６０は、光学的に透明な板等に領域６１を形成するように印刷を施したり、光学的に透明な板等に領域６１に相当する印刷を施して加工した用紙等を貼付したりすることにより、作製してもよい。そして、このような補助部材６０を用いて撮像対象物Ｔを撮像するにあたっては、上述したように、補助部材６０の窓部６２を当該撮像対象物Ｔのうち撮像したい箇所の上に位置させるように、撮像対象物Ｔの上に補助部材６０を載置し、窓部６２の周囲が写り込むように撮像対象物Ｔを撮像すればよい。

この場合、画像処理装置においては、歪曲補正処理における歪みの度合いや、正面化処理において正面となる領域を指定する際には、ユーザが手動で行うことになる。また、画像処理装置においては、撮像対象物Ｔの周囲に写り込んでいる背景領域像ＢＫの領域内で、１周分の画素群ＰＧとする矩形の位置についても、ユーザが手動で指定することになる。

書籍を撮像対象物とする場合における応用
雑誌や文庫本等の書籍を撮像対象物Ｔとし、この書籍を先に図６(Ａ)又は図６(Ｂ)に示したような補助部材５０を用いて撮像する場合には、上述したように、書籍を見開くことによって補助部材５０の一部が覆われてしまう。この対策として、補間等を行うことにより、擬似的に背景領域像ＢＫの色を設定することを提案した。

ところが、書籍が厚くなると、当該書籍を見開いたときに撮像したい面が平坦にならず、丸みを帯びてしまうことから、その面をユーザが上から押さえる等して平坦にしなければならないことが容易に起こり得る。また、この場合、上述したように、擬似的に背景領域像ＢＫの色を設定することにより、誤差が生じることもある。

そこで、このような問題を解決するために、図１７(Ａ)又は図１７(Ｂ)に示した補助部材６０を利用する。ここで、補助部材６０は、開口した窓部６２を設けるものではなく、光学的に透明な板等に領域６１を形成するように印刷を施したり、光学的に透明な板等に領域６１に相当する印刷を施して加工した用紙等を貼付したりすることによって形成したものとする。そして、このような補助部材６０を用いて書籍の片面又は両面を撮像するにあたっては、補助部材６０の窓部６２を当該書籍のうち撮像したい箇所の上に位置させるように、書籍上に補助部材６０を載置し、ユーザが補助部材６０を上から押さえた状態で撮像すればよい。具体的には、図１７(Ｂ)に示した補助部材６０を用いた場合には、例えば図１９に示すように、書籍である撮像対象物Ｔの上に補助部材６０を載置し、当該撮像対象物Ｔを撮像する。

このように、補助部材６０を用いることにより、書籍が厚い場合であっても、当該書籍を見開いたときに撮像したい面が丸みを帯びるのを抑制することができ、また、片面のみを撮像する場合であっても、補助部材６０の一部が覆われてしまうのを防止することができる。なお、歪曲補正処理における歪みの度合いや正面化処理における領域の指定を手動で行う場合には、図１７(Ｃ)に示した補助部材６０の形態で、開口した窓部６２を設けるものではなく、光学的に透明な板等に領域６１を形成するように印刷を施したり、光学的に透明な板等に領域６１に相当する印刷を施して加工した用紙等を貼付したりすることによって形成したものを用いることはいうまでもない。

また、書籍が非常に厚い場合には、当該書籍を見開いて撮像したい面を上から押さえる等しても完全に平坦にすることができない場合もあり得る。

このような場合には、例えば図２０に示すように、補助部材６０をＬ字型に改良した補助部材７０を用いればよい。なお、図２０には、図１７(Ｂ)に示した補助部材６０を改良した補助部材７０を示している。すなわち、この補助部材７０は、２枚の平坦部材をＬ字型に組み合わせて形成され、Ｌ字型の一方の平坦部材が、図１７(Ｂ)に示したような平坦部材からなる補助部材６０と同様に、外縁から任意距離だけ内側にフレームＦＲが描画された平坦部材を加工したものであり、フレームＦＲから任意幅だけ内側の領域７１を残した状態で、その内側に窓部７２を形成したものとされる。また、Ｌ字型の他方の平坦部材は、特に加工等を施していない通常の板等の平坦部材である。Ｌ字型の一方の平坦部材は、開口した窓部７２を設けるものではなく、光学的に透明な板等に領域７１を形成するように印刷を施したり、光学的に透明な板等に領域７１に相当する印刷を施して加工した用紙等を貼付したりすることによって形成したものとされる。

このような補助部材７０を用いて書籍の片面を撮像するにあたっては、図２０に示すように、補助部材７０の窓部７２を当該書籍のうち撮像したい箇所の上に位置させるように、書籍の片面上に補助部材７０におけるＬ字型の一方の部材を載置するとともに、書籍の他方の面をＬ字型の他方の部材に沿わせ、ユーザが補助部材７０を上から押さえた状態で撮像すればよい。

このように、補助部材７０を用いることにより、書籍が非常に厚い場合であっても、当該書籍を見開いたときに撮像したい面が丸みを帯びるのを抑制することができ、また、片面のみを撮像する場合であっても、補助部材７０の一部が覆われてしまうのを防止することができる。なお、歪曲補正処理における歪みの度合いや正面化処理における領域の指定を手動で行う場合には、図１７(Ｃ)に示した補助部材６０の形態で、開口した窓部６２を設けるものではなく、光学的に透明な板等に領域６１を形成するように印刷を施したり、光学的に透明な板等に領域６１に相当する印刷を施して加工した用紙等を貼付したりすることによって形成したものを、Ｌ字型の一方の部材とした補助部材７０を用いることはいうまでもない。

以上説明したように、本発明の実施の形態として示す画像処理装置においては、画像データＩＭを構成する各画素についての背景色を高精度に且つ確実に求めることができるため、それによって算出された背景色に基づいて前景色を算出することにより、極めて良質な画像データに補正することができる。

なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した実施の形態では、背景色を詳細に求める具体例として、水平方向のラインに対して処理を行うものとして説明したが、本発明は、垂直方向のラインに対して同様の処理を行い、正確な背景色ｇ（ｘ，ｙ）を求めるようにしてもよい。この場合、上述した差異ｓ（ｘ，ｙ）は、水平方向のラインに対しての差異であるため、垂直方向のラインに対して処理を行う場合における差異は、垂直方向のラインに対しての差異を求めることになるのはいうまでもない。

また、上述した実施の形態では、撮像された画像データを処理対象とするものとして説明したが、本発明は、例えばスキャナ等によって光学的に読み取って得られた画像データ等であっても、周囲に背景領域像ＢＫが写り込んだ画像データであれば適用することができる。

さらに、上述した実施の形態では、画像処理装置がパーソナルコンピュータ等から構成されるものとして説明したが、本発明は、ディジタルカメラ等、所定の対象物を撮像して当該対象物の像が写り込んだ画像データを生成する撮像装置の機能として実装するのも好適である。このような撮像装置は、本発明にて提案する画像処理を行うために、パーソナルコンピュータ等に接続する必要がなく、また、画像データを撮像した際に、その場で補正することが可能となり、極めて有意義である。

このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (16)

1. 所定の対象物の像が写り込んだ画像データを処理する画像処理装置であって、
   上記対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の手段と、
   上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の手段と、
   上記画像データに対して歪曲補正処理若しくは正面化処理又はその両方を行う第３の手段とを備え、
   上記画像データは、周囲領域を上記背景と識別可能に着色した平坦部材における着色領域の内縁から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、若しくは、フレームが描画された平坦部材における上記フレームから任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、又は、マーク若しくは図形が描画された平坦部材における当該マーク若しくは当該図形から画定される上記背景の外周の位置から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材を用いて、当該補助部材の窓部を上記対象物のうち撮像したい箇所の上に位置させるように、当該対象物上に当該補助部材を載置して撮像して得られたものであり、上記前景領域像の周囲に上記背景領域像が写り込むとともに、上記背景領域像の外側に当該背景領域像と識別可能な着色領域の像若しくはフレームの像が写り込んだもの、又は、上記背景領域像の位置を画定するためのマーク若しくは図形の像が写り込んだものであり、
   上記背景領域像は、上記着色領域の内縁から任意幅だけ残した上記内側の領域の像、若しくは、上記フレームから任意幅だけ残した上記内側の領域の像、又は、上記マーク若しくは上記図形から画定される上記背景の外周の位置から任意幅だけ残した上記内側の領域の像であり、
   上記第３の手段は、上記画像データに写り込んだ上記背景領域像と上記着色領域の像との境界の位置若しくは上記画像データに写り込んだ上記フレームの像の位置、又は、上記画像データに写り込んだ上記マーク若しくは上記図形の像の位置を取得し、取得した上記位置に基づいて、歪曲補正処理若しくは正面化処理又はその両方を行い、
   上記第１の手段は、上記第３の手段によって歪曲補正処理若しくは正面化処理又はその両方を行って得られた処理後の画像データについて、上記背景領域像の色を取得又は算出すること
   を特徴とする画像処理装置。
2. 上記第１の手段は、上記前景領域像の周囲を囲む上記背景領域像内の任意の１周分の画素群の色を取得又は算出すること
   を特徴とする請求項１記載の画像処理装置。
3. 上記画素群は、矩形の辺を構成する１画素幅の画素群であること
   を特徴とする請求項２記載の画像処理装置。
4. 上記第２の手段は、上記背景領域像の内側の領域における画素Ｐ（ｘ，ｙ）から縦横方向に延ばした直線と上記画素群とが交差する画素の画素群上の色を、上記画素Ｐ（ｘ，ｙ）から上記画素群上の画素までの距離の比に比例するように補間して、上記画素Ｐ（ｘ，ｙ）についての背景色を算出すること
   を特徴とする請求項３記載の画像処理装置。
5. 上記第２の手段は、上記画素群を構成する１辺とその対辺との間にあるラインであってこれら２辺に平行なラインの色分布を、これら２辺の画素群の色分布を補間することによって求めて、さらに、そのラインの始点側及び終点側のそれぞれの色の差異に基づいて当該ラインの色分布の差異を補間によって求め、求めた上記ラインの色分布と当該ラインの色分布の差異とに基づいて、上記背景領域像の内側の領域における各画素についての背景色を算出すること
   を特徴とする請求項３記載の画像処理装置。
6. 上記第２の手段は、上記画素群を構成する１辺とその対辺との間にあるラインであってこれら２辺に平行なラインの色分布を求めるに際して、上記ラインからこれら２辺までの距離の比に比例するように、これら２辺の画素群の色分布を補間すること
   を特徴とする請求項５記載の画像処理装置。
7. 上記第２の手段は、上記ラインの色分布の差異を求めるに際して、当該ラインの始点側及び終点側のそれぞれの色の差異を、当該ライン上の各画素から当該ラインの始点までの距離及び終点までの距離の比に比例するように補間すること
   を特徴とする請求項５記載の画像処理装置。
8. 上記画像データは、上記補助部材と任意の平坦部材とをＬ字型に組み合わせて形成された部材を用いて、Ｌ字型の当該部材のうち一方の部材である上記補助部材の窓部を上記対象物のうち撮像したい箇所の上に位置させるように、当該対象物上に当該補助部材を載置するとともに、当該対象物の残りの領域をＬ字型のうち他方の部材である上記任意の平坦部材に沿わせた状態で撮像して得られたものであり、
   上記背景領域像は、上記着色領域の内縁から任意幅だけ残した上記内側の領域の像、若しくは、上記フレームから任意幅だけ残した上記内側の領域の像、又は、上記マーク若しくは上記図形から画定される上記背景の外周の位置から任意幅だけ残した上記内側の領域の像であること
   を特徴とする請求項１記載の画像処理装置。
9. 上記画素群は、任意の閉じた形状からなる図形の周縁を構成する１画素幅の画素群であり、
   上記第１の手段は、上記図形を矩形に変換し、得られた当該矩形の辺を構成する画素群の色を取得又は算出し、
   上記第２の手段は、上記第１の手段によって取得又は算出された上記矩形の辺を構成する画素群の色に基づいて、上記画像データ内での上記背景領域像の内側の領域における各画素についての背景色を算出した後、元の上記図形に逆変換すること
   を特徴とする請求項２記載の画像処理装置。
10. 上記画像データは、上記背景領域像の位置に当該背景領域像の色でない色が写り込んでいる領域が存在するものであり、
    上記第１の手段は、上記背景領域像において当該背景領域像の色でない色が写り込んでいる領域を検出し、当該背景領域像の色でない色が写り込んでいる領域の前後の画素の色に基づいて補間して、当該背景領域像の色でない色が写り込んでいる領域が背景であったとした場合における当該領域の色を定めること
    を特徴とする請求項１記載の画像処理装置。
11. 上記第２の手段は、上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像内の領域若しくは当該背景領域像の外側の領域又はこれら両方の領域における各画素についての背景色をも算出すること
    を特徴とする請求項１記載の画像処理装置。
12. 上記画像データは、上記対象物の像が写り込んだ領域の周囲の一部に上記背景領域像が写り込んでいない領域があるものであり、
    上記第１の手段は、上記画像データに写り込んでいない領域の色を、当該画像データに写り込んでいる上記背景領域像の色に基づいて擬似的に算出すること
    を特徴とする請求項１記載の画像処理装置。
13. 上記第２の手段によって算出された上記背景領域像の内側の領域における各画素についての背景色に基づいて前景色を算出する第４の手段を備えること
    を特徴とする請求項１乃至請求項１２のうちいずれか１項記載の画像処理装置。
14. 所定の対象物の像が写り込んだ画像データを画像処理装置によって処理する画像処理方法であって、
    上記画像処理装置が、上記対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データに対して歪曲補正処理若しくは正面化処理又はその両方を行う第１の工程と、
    上記画像処理装置が、上記第１の工程にて歪曲補正処理若しくは正面化処理又はその両方を行って得られた処理後の画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第２の工程と、
    上記画像処理装置が、上記第２の工程にて取得又は算出された上記背景領域像の色に基づいて、上記処理後の画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第３の工程とを備え、
    上記画像データは、周囲領域を上記背景と識別可能に着色した平坦部材における着色領域の内縁から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、若しくは、フレームが描画された平坦部材における上記フレームから任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、又は、マーク若しくは図形が描画された平坦部材における当該マーク若しくは当該図形から画定される上記背景の外周の位置から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材を用いて、当該補助部材の窓部を上記対象物のうち撮像したい箇所の上に位置させるように、当該対象物上に当該補助部材を載置して撮像して得られたものであり、上記前景領域像の周囲に上記背景領域像が写り込むとともに、上記背景領域像の外側に当該背景領域像と識別可能な着色領域の像若しくはフレームの像が写り込んだもの、又は、上記背景領域像の位置を画定するためのマーク若しくは図形の像が写り込んだものであり、
    上記背景領域像は、上記着色領域の内縁から任意幅だけ残した上記内側の領域の像、若しくは、上記フレームから任意幅だけ残した上記内側の領域の像、又は、上記マーク若しくは上記図形から画定される上記背景の外周の位置から任意幅だけ残した上記内側の領域の像であり、
    上記第１の工程では、上記画像処理装置が、上記画像データに写り込んだ上記背景領域像と上記着色領域の像との境界の位置若しくは上記画像データに写り込んだ上記フレームの像の位置、又は、上記画像データに写り込んだ上記マーク若しくは上記図形の像の位置を取得し、取得した上記位置に基づいて、歪曲補正処理若しくは正面化処理又はその両方を行うこと
    を特徴とする画像処理方法。
15. 所定の対象物の像が写り込んだ画像データを処理するコンピュータ実行可能な画像処理プログラムであって、
    上記コンピュータを、
    上記対象物内の前景の周囲に存在する均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の手段、
    上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の手段、及び、
    上記画像データに対して歪曲補正処理若しくは正面化処理又はその両方を行う第３の手段として機能させ、
    上記画像データは、周囲領域を上記背景と識別可能に着色した平坦部材における着色領域の内縁から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、若しくは、フレームが描画された平坦部材における上記フレームから任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、又は、マーク若しくは図形が描画された平坦部材における当該マーク若しくは当該図形から画定される上記背景の外周の位置から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材を用いて、当該補助部材の窓部を上記対象物のうち撮像したい箇所の上に位置させるように、当該対象物上に当該補助部材を載置して撮像して得られたものであり、上記前景領域像の周囲に上記背景領域像が写り込むとともに、上記背景領域像の外側に当該背景領域像と識別可能な着色領域の像若しくはフレームの像が写り込んだもの、又は、上記背景領域像の位置を画定するためのマーク若しくは図形の像が写り込んだものであり、
    上記背景領域像は、上記着色領域の内縁から任意幅だけ残した上記内側の領域の像、若しくは、上記フレームから任意幅だけ残した上記内側の領域の像、又は、上記マーク若しくは上記図形から画定される上記背景の外周の位置から任意幅だけ残した上記内側の領域の像であり、
    上記第３の手段は、上記画像データに写り込んだ上記背景領域像と上記着色領域の像との境界の位置若しくは上記画像データに写り込んだ上記フレームの像の位置、又は、上記画像データに写り込んだ上記マーク若しくは上記図形の像の位置を取得し、取得した上記位置に基づいて、歪曲補正処理若しくは正面化処理又はその両方を行い、
    上記第１の手段は、上記第３の手段によって歪曲補正処理若しくは正面化処理又はその両方を行って得られた処理後の画像データについて、上記背景領域像の色を取得又は算出すること
    を特徴とする画像処理プログラム。
16. 所定の対象物を撮像して当該対象物の像が写り込んだ画像データを生成する撮像装置であって、
    上記対象物を撮像する撮像手段と、
    上記対象物内の前景の周囲に均一色の背景が存在する状態で上記撮像手段によって撮像することによって当該均一色の背景が背景領域像として前景領域像の周囲に写り込んだ画像データについて、上記背景領域像の一部又は全ての領域の色を取得又は算出する第１の手段と、
    上記第１の手段によって取得又は算出された上記背景領域像の色に基づいて、上記画像データ内での当該背景領域像の内側の領域における各画素についての背景色を算出する第２の手段と、
    上記画像データに対して歪曲補正処理若しくは正面化処理又はその両方を行う第３の手段とを備え、
    上記画像データは、周囲領域を上記背景と識別可能に着色した平坦部材における着色領域の内縁から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、若しくは、フレームが描画された平坦部材における上記フレームから任意幅だけ内側の領域を残した状態で窓部を形成した補助部材、又は、マーク若しくは図形が描画された平坦部材における当該マーク若しくは当該図形から画定される上記背景の外周の位置から任意幅だけ内側の領域を残した状態で窓部を形成した補助部材を用いて、当該補助部材の窓部を上記対象物のうち撮像したい箇所の上に位置させるように、当該対象物上に当該補助部材を載置して撮像して得られたものであり、上記前景領域像の周囲に上記背景領域像が写り込むとともに、上記背景領域像の外側に当該背景領域像と識別可能な着色領域の像若しくはフレームの像が写り込んだもの、又は、上記背景領域像の位置を画定するためのマーク若しくは図形の像が写り込んだものであり、
    上記背景領域像は、上記着色領域の内縁から任意幅だけ残した上記内側の領域の像、若しくは、上記フレームから任意幅だけ残した上記内側の領域の像、又は、上記マーク若しくは上記図形から画定される上記背景の外周の位置から任意幅だけ残した上記内側の領域の像であり、
    上記第３の手段は、上記画像データに写り込んだ上記背景領域像と上記着色領域の像との境界の位置若しくは上記画像データに写り込んだ上記フレームの像の位置、又は、上記画像データに写り込んだ上記マーク若しくは上記図形の像の位置を取得し、取得した上記位置に基づいて、歪曲補正処理若しくは正面化処理又はその両方を行い、
    上記第１の手段は、上記第３の手段によって歪曲補正処理若しくは正面化処理又はその両方を行って得られた処理後の画像データについて、上記背景領域像の色を取得又は算出すること
    を特徴とする撮像装置。

Images