JP6282498B2 - 画像処理装置、その方法、及び、そのプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、その方法、及び、そのプログラムに関するものである。

従来、セキュリティ、ファシリティの分野においては、多数のカメラを現地に設置し、これらカメラで撮影した画像を処理し、人間の目視に寄ることなく、現地におけるカメラ視野内の異常を自動的に検知するシステムが知られている。

この画像の処理では演算量を減らすため、又は、目的の領域内のみを処理するために、マーカなどに基づいて領域をユーザが設定する方法がある。

特許第４６６３７６７号公報 特許第４１４０１５９号公報 特許第３３４２３７３号公報

しかし、ユーザが前記領域を設定する場合には、キーボード、マウス、デジタイザペン、タッチパッドなどの入力装置を用いている。そのため、この設定作業が、繁雑であるという問題点があった。

そこで本発明の実施形態は、上記問題点に鑑み、入力装置を用いることなく領域設定を行える画像処理装置、その方法、及び、そのプログラムを提供することを目的とする。

本発明の実施形態は、２種類以上のマーカに関するマーカ情報を保持するマーカ保持部と、画像を取得する画像取得部と、前記マーカ情報を参照して、前記画像から２種類以上のマーカの位置を検出する検出部と、検出された前記２種類以上のマーカの位置に基づいて、少なくとも１種類のマーカを内包する複数の領域に前記画像を分割する分割部と、を有する画像処理装置である。

（ａ）は実施形態１の画像処理装置のブロック図、（ｂ）は画像処理装置の動作状態のフローチャート。 適用例１における塀の敷地内から塀を撮影したイメージ図。 検知領域に対応するマーカをカメラ１６画像の検知領域に映るように掲げるイメージ図。 非検知領域に対応するマーカをカメラ１６画像の非検知領域に映るように掲げるイメージ図。 各マーカの組み合わせと領域分割処理の例を示すイメージ図。 侵入者検出の場合における領域分割結果の例を示すイメージ図。 領域分割に基づく侵入者検出の例を示すイメージ図。 実施形態２の適用例２における駐車場を監視したイメージ図。 各駐車スペースに対応するマーカを画像の駐車スペース毎に映るように掲げるイメージ図。 通行エリアに対応するマーカをカメラ１６画像の通行エリアに映るように掲げるイメージ図。 駐車場監視における領域分割処理の例を示すイメージ図。 駐車場監視における領域分割結果の例を示すイメージ図。 実施形態３の適用例３におけるオフィスで空調制御に用いる場合のイメージ図。 作業者がオフィスでマーカを提示したイメージ図。 マーカで３つの領域に分割したイメージ図。 ３つの領域に分割したイメージ図。 実施形態４の適用例４における現地の作業者が、その手元に携帯型表示装置を持ったイメージ図。 作業者が丸印のマーカを必要な位置で持って、カメラ１６がその画像を撮影したイメージ図。 作業者が丸印を入力すべき位置にバツ印を入力したイメージ図。 作業者が四角印のマーカを、削除したい既存のバツ印のマーカの近くに持ったイメージ図。 四角印のマーカが写っている画像上の位置から一定範囲の内側にあるバツ印のマーカを削除したイメージ図。 分割部がバツ印のマーカが存在しない状態の画像の領域分割を行ったイメージ図。 削除したいバツ印のマーカの近くに、作業者が削除処理法の付加された丸印のマーカを持ったイメージ図。 分割部が丸印のマーカを基準にして新たな境界を設定したイメージ図。

以下、本発明の一実施形態の画像処理装置１０について図面に基づいて説明する。

実施形態１

実施形態１の画像処理装置１０について図１〜図７に基づいて説明する。

本実施形態の画像処理装置１０の構成について図１（ａ）のブロック図に基づいて説明する。図１（ａ）に示すように、画像処理装置１０は、画像取得部１１、マーカ保持部１２、検出部１３、分割部１４、処理部１５を有し、カメラ１６や録画装置が無線、又は、有線で接続されている。

画像取得部１１は、カメラ１６や録画装置から画像を取得する。カメラ１６は、現地にいる作業者が持つボードに提示されたマーカを撮影する。録画装置は、そのカメラ１６が撮影した画像を記憶している。

マーカ保持部１２は、ネットワークやＵＳＢ接続機器などを用いて外部から検出に用いるマーカと、そのマーカに対応した処理方法（処理プログラム）を取得する。また、マーカ保持部１２は、マーカと、そのマーカに対応した処理方法を予め記憶しておいてもよい。

検出部１３は、画像取得部１１が取得した画像中に、マーカ保持部１２が取得したマーカが存在するか否かを検出する。

分割部１４は、検出部１３で検出したマーカの種類と位置とを基準として、予め選択された類似度に基づいて画像を複数の領域に分割する。すなわち、分割部１４は、検出された１種類以上のマーカの画像上の位置に基づいて、少なくとも１種類のマーカを内包する互いに共通領域を持たない複数の領域に画像を分割する。

処理部１５は、分割部１４で分割された各分割領域について、分割に使われたマーカに対応づけられた処理方法を、当該分割領域毎にそれぞれ実行する。この処理方法は、上記したようにマーカ保持部１２から取得する。

次に、画像処理装置１０の動作状態について図１（ｂ）のフローチャートに基づいて説明する。

ステップＳ１において、カメラ１６が、現地において特定の場所にあるマーカを撮影する。

ステップＳ２において、画像取得部１１が、カメラ１６が撮影した画像を取得する。

ステップＳ３において、マーカ保持部１２は、検出に用いるマーカと、そのマーカに対応した処理方法を外部から取得する。

ステップＳ４において、検出部１３は、マーカ保持部１２が取得したマーカを参照して、画像中からそのマーカの種類と位置を検出する。

ステップＳ５において、分割部１４は、検出されたマーカの種類と位置に基づいて、画像を複数の領域に分割する。このとき分割部１４は、１つの領域に１種類のマーカしか内包せず、かつ、互いに共通領域を持たないように、類似度を基準として複数の領域に分割する。なお、１つの領域には１種類のマーカしか含まれないが、同じ種類のマーカであれば複数含まれてもよい。また、類似度は、予め定めておく。

ステップＳ６において、処理部１５は、マーカ毎に対応した処理方法をマーカ保持部１２から呼び出し、分割領域毎に実行する。

これにより、作業者が、現地において必要な処理方法に合わせたマーカを、特定の場所で掲示し、カメラ１６がそのマーカを撮影し、画像処理装置１０は、その画像中の領域をマーカに基づいて分割し、その分割領域毎に予め決められた処理方法を実行できる。

本実施形態の画像処理装置１０によれば、領域分割や分割領域毎の処理方法の設定を、作業者が入力装置を用いることなく現地で直感的に行える。

「画像」とは、静止画像、又は、動画像の各フレームを意味する。

「マーカ」とは、２次元又は３次元の形状、模様、又は、色によって種類の識別が可能な印のことであって、本実施形態では、ボードに記載された２次元の印であり、丸印、バツ印、三角印、四角印などである。同じ種類のマーカとは、形状、模様、形状と模様、形状と色、形状と色、又は、模様と色、又は、形状と模様と色が同じマーカを意味し、マーカのサイズは、種類の識別に用いても、用いなくてもよい。

「類似度」とは、画像上の任意の２点（画素位置）について、２点の物理量（画像座標値、輝度値、ＲＧＢ値、周辺画素との輝度差、エッジ重みなど）から一意に求まる尺度を用いて、２点がどの程度似ているかを示す度合いである。２点の物理量が似るほど類似度は高くなり、２点の物理量が似ないほど類似度は低くなる。

物理量が画像座標値の場合には、類似度の尺度は２点間の距離（例えば、ユークリッド距離、マンハッタン距離、チェビシェフ距離などである）であり、類似度はそのユークリッド距離のｎ乗した値の逆数（但し、ｎは自然数である）である。例えば、異なるマーカＡ、マーカＢが置かれた２つのマーカ点Ａ、マーカ点Ｂがある場合、マーカ点Ａ、マーカ点Ｂとは異なる位置にある任意の点Ｃについて、ＡＣ間の類似度Ｒ１（例えば、Ｒ１はＡＣ間の距離の逆数）とＢＣ間の類似度Ｒ２（例えば、Ｒ２はＢＣ間の距離の逆数）をそれぞれ求めて比較することで、任意の点Ｃがマーカ点Ａ、マーカ点Ｂのいずれの領域に含まれるかを判別する。このとき、ＡＣ間の類似度Ｒ１＞ＢＣ間の類似度Ｒ２であれば、任意の点Ｃはマーカ点Ａの領域に含まれる。そのため、分割部１４は、任意の点ＣはマーカＡに含まれるように分割する。なお、マーカ点は、マーカが写っている領域の中心点の画像座標値、又は、重心点の画像座標値である。この方法を用いると分割領域の境界線を算出でき、２点のマーカ周辺間に輝度値やＲＧＢ値の差異がない場合に特に有効である。具体的には、マーカ点Ａとマーカ点Ｂ間の距離を求め、マーカ点Ａ、マーカ点Ｂから等しい距離となる線（２つのマーカ点Ａ，Ｂの類似度が等しい線）を境界線として領域分割する。

また、２点のマーカ周辺間に輝度値やＲＧＢ値の差があって、類似度を求める物理量として輝度値やＲＧＢ値を用いる場合には、類似度の尺度としては輝度値やＲＧＢ値の変化量を用い、類似度としては、その変化量の逆数などを用いる。

類似度の尺度としてエッジ重みの値を用いる場合には、類似度としてはエッジ切断によるコストの緩和（エネルギー）の逆数を用い、分割部１４は、graph-cutによって領域分割する。

類似度の尺度として輝度勾配の値を用いる場合には、類似度としてはWatershed法により求めた値を用いてもよく、分割部１４は、その求めた値により領域分割する。

また、画像中に写ったマーカの種類や位置が、別の処理や事前情報などにより判明している場合は、測地線距離を用いてマーカ間の距離を求め、ユークリッド距離などの場合と同様に各マーカから等しい距離となる線を境界線として、分割部１４が領域分割できる。

なお、上記類似度の種類は、予め定めておくのではなく、マーカ周辺の輝度値やＲＧＢ値やその勾配量を求めて、分割部１４は画像上のマーカの位置に応じて類似度の種類を適宜変更してもよい。

次に、画像処理装置１０の適用例１について図２〜図７に基づいて説明する。適用例１は、画像処理装置１０をセキュリティ分野に用いた場合であり、塀を乗り越えてくる侵入者を検出するのに用いる。

カメラ１６は、図２に示すように塀の敷地内から塀を撮影し、画像取得部１１は、カメラ１６が撮影したその画像を取得する。塀の上を越えてくる侵入者は、必ず塀の周辺に姿を現す。一方、塀の内側では、立ち入りを許可された者が、塀に近づき画像に映り込むことがあるが、塀の上に登ることは通常ない。そのため、塀を乗り越える侵入者だけを検出するために、画像処理装置１０は、図２に示すように塀の上部領域を検知領域２１として設定し、その下方を非検知領域として設定する。

まず、図３に示すように、作業者が検知領域２１に含まれるように丸印のマーカ３１，３２が記載されたボードを提示し、カメラ１６がそのマーカ３１，３２を含む画像を撮影する。カメラ１６は、複数のマーカを静止画像で同時に撮影してもよいが、カメラ１６が動画像を撮影できる場合には１枚のマーカを位置３１から位置３２まで作業者が順次動かして撮影する。

次に、画像取得部１１が、その画像を取得する。

次に、マーカ保持部１２は、丸印のマーカと侵入者検出処理方法を含むマーカ情報を外部から取得する。なお、侵入者検出処理方法とは、丸印のマーカに対応し、かつ、検知領域において侵入者を検出する侵入者検出処理プログラムを意味する。

次に、検出部１３は、画像取得部１１が取得した画像中から、マーカ保持部１２が取得した丸印のマーカを検出する。処理部１５は、検出されたマーカの種類と画像上の位置を記録保存する。以下の説明の簡単化のため、丸印は図３の位置３１と位置３２の２カ所で撮影されたとする。

次に、図４に示すように、作業者が非検知領域に含まれるようにバツ印のマーカ４１，４２が記載されたボードを提示し、カメラ１６がそのマーカ４１，４２を含む画像を撮影し、画像取得部１１がその画像を取得する。カメラ１６は、複数個のマーカを静止画像で同時に撮影してもよいが、カメラ１６が動画像を撮影できる場合には１枚のマーカを位置４１から位置４２まで順次動かして撮影する。

次に、マーカ保持部１２は、バツ印のマーカと、バツ印のマーカに対応した非検知領域において検出処理は行わないとの処理方法（非検出処理プログラム）のマーカ情報を取得する。

次に、検出部１３は、画像取得部１１が取得した画像中から、マーカ保持部１２が取得したバツ印のマーカを検出する。処理部１５は、検出されたマーカの種類と画像上の位置を記録保存する。以下の説明の簡単化のため、バツ印は図４の位置４１と位置４２の２カ所で撮影されたとする。

次に、分割部１４は、画像から検出した各マーカについて、自己のマークとは異なる種類のマーカであって、自己のマークに最も近い位置のマーカを選択して１つの組とする。図５に示すように、分割部１４が、位置３１の丸印と異なる種類で最も近い位置のマーカとして選択するのは位置４１のバツ印であり、位置３２の丸印で選択するのは位置４２のバツ印、位置４１のバツ印で選択するのは位置３１の丸印、位置４２のバツ印で選択するのは位置３２の丸印となる。そのため、図５に示すように、分割部１４は、位置３１の丸印のマーカと位置４１のバツ印のマーカ、位置３２の丸印のマーカと位置４２のバツ印のマーカとの２つの組を組み合わせる。

次に、分割部１４は、この全ての組み合わせについて、マーカ間にある領域が、いずれのマーカに近いかを求め、領域分割を行う。例えば、類似度がユークリッド距離の逆数であると予め選択されている場合、図５に示すように、分割部１４は、位置３１と位置４１の最短距離の垂直二等分線５１と、位置３２と位置４２の最短距離の垂直二等分線５２を結合した直線５３を領域分割の境界線と設定する。これにより図６に示すように、分割部１４は、画像中において検知領域６１と非検知領域６２を求めることができる。

処理部１５は、図６に示すように侵入者の検出処理を丸印のマーカに対応する検知領域６１に対して行い、バツ印のマーカに対応する非検知領域６２に対しては検知処理を行わない。この結果、図７に示すように、画像処理装置１０は、塀を乗り越えた人物７１を侵入者として検出し、塀の内側を歩く人物７２を検出しない。

実施形態２

次に実施形態２では、実施形態１で説明した画像処理装置１０の適用例２について、図８〜図１２に基づいて説明する。適用例２は、画像処理装置１０をファシリティ分野に用いた場合であり、画像処理装置１０を駐車場の監視及び車両の誘導に用いる場合である。なお、画像処理装置１０は、マーカ保持部１４が取得するマーカと処理方法を適用例１から適用例２に対応したマーカ情報に置き換えると、適用例１に用いた画像処理装置１０をそのまま適用例２に適用できる。

ファシリティ分野で駐車場を監視する第１の目的は、駐車スペースの空きがどこにあるかを検出することである。

第２の目的は、例えば障害者用駐車スペースに車両が停まったら係員が介助に向かうという用途である。第１の目的、第２の目的共に、画像処理装置１０は、駐車スペースのどこに車両が停まり、どこが空いているかを検出する必要があるため、駐車スペース毎に領域を分割する必要がある。

第３の目的は、通行エリアに車両が一定時間以上停車してはならないというルールを設けて、図８に示すように、通行エリアに停まっている車両８１について係員が対応するという用途である。

駐車スペースに関しては、図９に示すように、領域の結合が発生しないように、作業者は、隣接する駐車スペースを丸印のマーカ９１と三角印のマーカ９２とで交互に囲むように配置する。

通行エリアに関しては、図１０に示すように、その通行エリアを一周するように、作業者がバツ印のマーカ１０１を配置する。

まず、カメラ１６は、図９と図１０に示す駐車場の画像を撮影する。カメラ１６がマーカを撮影するときは、適用例１と同様に、複数のマーカを１枚の静止画像で同時に撮影してもよいし、１枚のマーカを作業者が順次動かして動画像として撮影してもよい。

次に、画像取得部１１は、その画像を取得する。

次に、マーカ保持部１２は、丸印のマーカと三角印のマーカと通知処理方法、バツ印のマーカと警報処理方法を含むマーカ情報を外部から取得する。通知処理方法は、丸印と三角印のマーカに対応し、かつ、各駐車スペースにおける停止車両の有無を通知する通知処理プログラムを意味する。警報処理方法は、バツ印のマーカに対応し、かつ、通行エリアに停止車両を検出したときに警報を発する警報処理プログラムを意味する。

次に、検出部１３が、画像取得部１１で取得した画像中から、マーカ保持部１２で取得したマーカを検出する。

次に、分割部１４は、適用例１と同様に検出部１３が検出した各マーカについて、自己のマーカとは異なる種類のマーカで自己のマーカに最も近い位置のマーカを選択して１つの組として組み合わせ、組み合わせとなったマーカ間にある領域がいずれのマーカの位置に近いかを求め、領域分割を行う。分割部１４は、図１２に示すように、これらの領域分割により駐車スペース領域１２１，１２２と通行エリア領域１２３を求める。

次に、処理部１５は、図１２に示すように、丸印のマーカと三角印のマーカに対応する駐車スペース領域１２１，１２２において通知処理方法を用いて、車両の有無を検出し、空いている駐車スペースを管理者や駐車スペースを探している運転者に通知したり、障害者用駐車スペースに停車した車両がある場合には管理者に介助に行くよう通知する。

また、処理部１５は、バツ印のマーカに対応する通行エリア領域１２３において警報処理方法を用いて、通行エリア領域１２３に所定時間以上停止している車両を検出すると、他の車両の通行を阻害する恐れがあり、また該車両自身の事故などの可能性もあるので管理者に警報を発する。

分割部１４の領域分割の方法の変更例について図１１に基づいて説明する。図１１に示すように、組み合わせとなったマーカ間の輝度値や色の変化の有無に着目して領域を分割する。例えば、丸印のマーカと三角印のマーカの間には白線があり、強い画素のエッジ１１３が存在するとする。分割部１４は、領域分割に用いる類似度を予め設定せず、マーカが撮影された後で、画像中からマーカ間に存在する該エッジ特徴を検出し、類似度として画素のエッジ重みを選択し、graph-cutで領域の境界線１１３を求める。このとき隣接する領域の境界はエッジ１１３となる。しかし、図１１に示す境界線１１１，１１２のように、丸印のマーカとバツ印のマーカ、又は、三角印のマーカとバツ印のマーカ間に、輝度や色の変化がなく一様な路面がある。分割部１４は、類似度として輝度情報、色情報、エッジ強度、輝度勾配を利用できないことを画像から検出したときは、類似度の尺度として上記で説明したユークリッド距離や測地線距離に変更して、境界線１１１，１１２を求める。

実施形態３

次に実施形態３では、実施形態１で説明した画像処理装置１０の適用例３について、図１３〜図１６に基づいて説明する。適用例３は、画像処理装置１０をファシリティ分野に用いた場合であり、オフィスにおける空調制御に用いる場合である。なお、画像処理装置１０は、マーカ保持部１４が取得するマーカと処理方法を適用例１から適用例３に対応したマーカ情報に置き換えると、適用例１に用いた画像処理装置１０をそのまま適用例３に適用できる。

空調制御は人物が多数存在している領域のエアコンの空調を強めたり、その領域に向けてエアコンの風を送って快適性を向上させる。一方、人物が存在しなかったり、存在しても一時的な場合はエアコンの空調を弱めたり停止させることでエネルギー消費の無駄を抑えることが目的である。そのため、図１３に示すように、人物が長時間とどまって作業を行うデスク周辺の領域１３１では人物を検知するが、それ以外の領域の人物は検知しない。また、窓から日照があると室内の気温が上昇するので、窓付近の領域１３２の輝度の変化も検知し、日照があって輝度が上がるとエアコンの暖房設定温度や冷房設定温度を下げる。

まず、カメラ１６は、図１４に示すように空調制御を行うためのオフィスにおいて作業者が持ったマーカ１４１，１４２，１４３を撮影し、画像取得部１１は、その画像を取得する。

次に、マーカ保持部１２は、図１４に示すように、丸印のマーカ１４１、三角印のマーカ１４２、バツ印のマーカ１４３をマーカ情報として取得する。また、マーカ保持部１２が取得するマーカ情報には、次のような処理方法も含まれている。第１に、丸印のマーカ１４１に対応し、かつ、人物が人物検知領域に入ってきたときにエアコンの空調を強くし、人物がいないときはエアコンの空調を弱くするように空調制御信号を空調制御装置に出力する処理方法（第１空調制御プログラム）である。第２は、三角印のマーカ１４２に対応し、かつ、輝度変化検知領域において日照による輝度が上昇したときにエアコンの空調を強くし、輝度が下がるとエアコンの空調を弱くするように空調制御信号を空調制御装置に出力する処理方法（第２空調制御プログラム）である。第３は、バツ印のマーカ１４３に対応し、かつ、非検知領域にあるコピー機の前に人物１６３が立っている場合は、エアコンの空調を弱めたり停止したりする空調制御信号を空調制御装置に出力する。

分割部１４は、図１５に示すように、画像取得部１１が取得した画像を、マーカ保持部１２が取得したマーカに基づいて人物検知領域１５１、輝度変化検知領域１５２、非検知領域１５３の３つの領域に分割する。

処理部１５は、図１６に示すように、３つの領域に分割されたオフィスにおいて、人物１６１が人物検知領域に入ってきたり、輝度変化検知領域において日照による輝度が上昇変化１６２を検知してエアコンの空調を強めるように空調制御信号を空調制御装置に出力する。一方、処理部１５は、非検知領域にあるコピー機の前に人物１６３が立っている場合は、エアコンの空調を弱めたり停止させるように空調制御信号を空調制御装置に出力する。

この適用例３に示すように、マーカに対応づけられる処理方法は、人物や車両などの特定の物体の有無を検出処理方法だけではなく、輝度変化などの状態変化を検出する処理方法でもよい。

実施形態４

次に実施形態４では、実施形態１で説明した画像処理装置１０の適用例４について、図１７〜図２４に基づいて説明する。適用例４は、適用例３において、マーカ入力による領域分割をフィードバックして、作業者がその領域分割の結果を確認したときに、マーカの入力漏れがあったり、マーカを誤った位置に置いて入力したりすることに気づく場合である。

すなわち、画像処理装置１０は、領域分割をマーカによって行うため、マーカの入力ミスにより意図した結果と異なる領域分割がなされる場合がある。このとき画像が意図した通りに領域分割されているかが現地の作業者には不明なため、作業者の手元にポータブル型パソコン、タブレット端末、スマートフォンなどの携帯型表示装置を配置し、画像処理装置１０は、その携帯型表示装置に領域分割の結果をフィードバックすることにより、作業者がマーカの位置修正や追加の判断を行えるようにしたものである。そのため、図１７に示すように現地の作業者が、その手元に携帯型表示装置１７１を持ち、携帯型表示装置１７１が、現在までのマーカ入力に基づく領域分割の結果を表示する。

入力ミスの第１の例としては、図１８に示すように、作業者が丸印のマーカを１カ所入力し忘れて、図１７に示すように誤った位置に境界線１７２が設定される場合である。

このときは、領域分割の結果を作業者にフィードバックすることで、図１８に示すように、作業者が丸印のマーカ１８１を必要な位置で持って、カメラ１６がその画像を撮影して、分割部１４が正しく領域分割するように作業者に促すことができる。

入力ミスの第２の例としては、図１９に示すように、作業者が丸印を入力すべき位置にバツ印１９１を入力した場合である。

このときは、既存のバツ印１９１のマーカを削除する必要があるので、マーカ保持部１２は、「画像上で四角印のマーカが写っている位置から一定範囲内にある既存のマーカを削除する」という処理方法と対応づけられた削除処理専用の四角印のマーカを取得する。

次に、図２０に示すように作業者は、四角印のマーカ２０１を削除したい既存のバツ印のマーカ１９１の近くの位置で持ち、その場面をカメラ１６が撮影する。

次に、図２１に示すように処理部１５は、四角印のマーカ２０１が写っている画像上の位置から一定範囲２１１の内側にあるバツ印のマーカ１９１を削除する。

次に、図２２に示すように分割部１４がバツ印のマーカ１９１が存在しない状態の画像の領域分割を行う。

次に、図１８に示すように、カメラ１６がその後に改めて丸印のマーカ１８１を撮影して、画像取得部１１がその画像を取得し、分割部１４がその画像の領域分割を行う。

入力ミスの第３の例は、第２の例の変更例であって、削除処理専用の四角印のマーカに代えて、全ての種類のマーカに「画像上でマーカが撮影された位置から一定範囲内にある既存のマーカを削除する」という処理方法も付加されている場合である。

図２３に示すように削除したいバツ印のマーカ１９１の近くに、作業者が削除処理方法の付加された丸印のマーカ２３１を持って、カメラ１６がその場面を撮影する。

次に、処理部１５は、丸印のマーカ２３１が撮影された画像上の位置から一定範囲２３２の内側にあるバツ印のマーカ１９１を削除する。

次に、図２４に示すように分割部１４は丸印のマーカ２３１を基準にして新たな境界２４１を設定する。

変更例

上記各実施形態では、マーカはボードに記載した２次元の丸印、バツ印などの形状のみで識別できたが、これに限らず、マーカの模様、色を変えて、種類の異なるマーカを形成してもよい。

上記各実施形態では、マーカはボードに記載した２次元の形状であったが、これに限らず、ノートパソコンなどの情報端末機のディスプレイにマーカを表示して、作業者が提示してもよい。

上記各実施形態では、マーカはボードに記載した２次元の形状であったが、これに限らず、３次元の形状のマーカでもよい。例えば、駐車場に停車した車両をマーカに用いてもよい。

上記画像処理装置１０では、ＣＰＵがＲＯＭから画像処理プログラムをＲＡＭ上に読み出して実行することにより、上記各部（画像取得部１１、マーカ保持部１２、検出部１３、分割部１４、処理部１５）がコンピュータ上で実現され、ＨＤＤに記憶されているマーカなどのデータを用いて、Ｉ／Ｆからの上記処理を行ってもよい。また、画像処理プログラムはＨＤＤに記憶されていてもよい。また、画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）、ＵＳＢメモリ等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。また、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、画像処理プログラムを、インターネット等のネットワーク経由で提供又は配布するようにしてもよい。

上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・画像処理装置、１１・・・画像取得部、１２・・・マーカ保持部、１３・・・検出部、１４・・・分割部、１５・・・処理部、１６・・・カメラ

Claims (15)

1. ２種類以上のマーカに関するマーカ情報を保持するマーカ保持部と、
   画像を取得する画像取得部と、
   前記マーカ情報を参照して、前記画像から２種類以上のマーカの位置を検出する検出部と、
   検出された前記２種類以上のマーカの位置に基づいて、少なくとも１種類のマーカを内包する複数の領域に前記画像を分割する分割部と、
   を有する画像処理装置。
2. 前記マーカ情報は、前記マーカに対応した処理方法を含み、
   前記画像の前記分割領域に関して、前記分割領域の前記マーカに対応した前記処理方法を実行する処理部を有する、
   請求項１に記載の画像処理装置。
3. 前記処理部が実行する前記マーカに対応した処理方法は、前記分割領域から特定の物体を検出するか、又は、前記分割領域における輝度変化を検出するかである、
   請求項２に記載の画像処理装置。
4. 前記分割部は、複数の前記マーカが存在するそれぞれの前記画像上のマーカ点と、前記画像上の任意の点との類似度をそれぞれ求め、前記類似度の最も高い前記マーカの領域に前記任意の点が属するように決定する、
   請求項２に記載の画像処理装置。
5. 前記分割部は、前記類似度の尺度として、前記マーカ点の位置と前記任意の点の位置との距離、又は、測地線距離を用いる、
   請求項４に記載の画像処理装置。
6. 前記分割部は、前記類似度の尺度として、前記マーカ点と前記任意の点との輝度値、又は、ＲＧＢ値の変化量を用いる、
   請求項４に記載の画像処理装置。
7. 前記分割部は、前記類似度の尺度として、前記任意の点のエッジ重みを用い、graph-cutにより領域分割する、
   請求項４に記載の画像処理装置。
8. 前記分割部は、前記類似度の尺度として、前記マーカ点の位置と前記任意の点の輝度勾配を用い、Watershed法により領域分割する、
   請求項４に記載の画像処理装置。
9. 前記分割部は、前記画像中の前記マーカ点毎に前記類似度の尺度を変更する、
   請求項４に記載の画像処理装置。
10. 前記処理部は、前記分割領域の境界線を表示部に表示する、
    請求項２に記載の画像処理装置。
11. 前記処理部が実行する前記マーカに対応した前記処理方法は、前記画像中における自己の前記マーカの一定範囲内にある他の前記マーカを削除して、削除した前記マーカを前記分割部による前記領域の分割に用いないように処理する、
    請求項２に記載の画像処理装置。
12. 前記処理方法を有する前記マーカは、削除処理専用の前記マーカである、
    請求項１１に記載の画像処理装置。
13. ２種類以上のマーカに関するマーカ情報を保持し、
    画像を取得し、
    前記マーカ情報を参照して、前記画像から２種類以上のマーカの位置を検出し、
    検出された前記２種類以上のマーカの位置に基づいて、少なくとも１種類のマーカを内包する複数の領域に前記画像を分割する、
    画像処理方法。
14. ２種類以上のマーカに関するマーカ情報を保持するマーカ保持機能と、
    画像を取得する画像取得機能と、
    前記マーカ情報を参照して、前記画像から２種類以上のマーカの位置を検出する検出機能と、
    検出された前記２種類以上のマーカの位置に基づいて、少なくとも１種類のマーカを内包する複数の領域に前記画像を分割する分割機能と、
    をコンピュータによって実現させるための画像処理プログラム。
15. 前記マーカは、形状、模様、又は、色によって種類が識別可能である、
    請求項１乃至１１のいずれか一項に記載の画像処理装置。