JP6282498B2 - 画像処理装置、その方法、及び、そのプログラム - Google Patents

画像処理装置、その方法、及び、そのプログラム Download PDF

Info

Publication number
JP6282498B2
JP6282498B2 JP2014056764A JP2014056764A JP6282498B2 JP 6282498 B2 JP6282498 B2 JP 6282498B2 JP 2014056764 A JP2014056764 A JP 2014056764A JP 2014056764 A JP2014056764 A JP 2014056764A JP 6282498 B2 JP6282498 B2 JP 6282498B2
Authority
JP
Japan
Prior art keywords
marker
image
processing apparatus
image processing
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014056764A
Other languages
English (en)
Other versions
JP2015179984A (ja
Inventor
昌之 丸山
昌之 丸山
山口 修
修 山口
湯浅 真由美
真由美 湯浅
小坂谷 達夫
達夫 小坂谷
智一 河原
智一 河原
ヴェトクォク ファン
ヴェトクォク ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014056764A priority Critical patent/JP6282498B2/ja
Priority to US14/661,360 priority patent/US9704040B2/en
Publication of JP2015179984A publication Critical patent/JP2015179984A/ja
Application granted granted Critical
Publication of JP6282498B2 publication Critical patent/JP6282498B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明の実施形態は、画像処理装置、その方法、及び、そのプログラムに関するものである。
従来、セキュリティ、ファシリティの分野においては、多数のカメラを現地に設置し、これらカメラで撮影した画像を処理し、人間の目視に寄ることなく、現地におけるカメラ視野内の異常を自動的に検知するシステムが知られている。
この画像の処理では演算量を減らすため、又は、目的の領域内のみを処理するために、マーカなどに基づいて領域をユーザが設定する方法がある。
特許第4663767号公報 特許第4140159号公報 特許第3342373号公報
しかし、ユーザが前記領域を設定する場合には、キーボード、マウス、デジタイザペン、タッチパッドなどの入力装置を用いている。そのため、この設定作業が、繁雑であるという問題点があった。
そこで本発明の実施形態は、上記問題点に鑑み、入力装置を用いることなく領域設定を行える画像処理装置、その方法、及び、そのプログラムを提供することを目的とする。
本発明の実施形態は、2種類以上のマーカに関するマーカ情報を保持するマーカ保持部と、像を取得する画像取得部と、記マーカ情報を参照して、前記画像から2種類以上のマーカ位置を検出する検出部と、検出された前記2種類以上のマーカの位置に基づいて、少なくとも1種類のマーカを内包する数の領域に前記画像を分割する分割部と、を有する画像処理装置である。
(a)は実施形態1の画像処理装置のブロック図、(b)は画像処理装置の動作状態のフローチャート。 適用例1における塀の敷地内から塀を撮影したイメージ図。 検知領域に対応するマーカをカメラ16画像の検知領域に映るように掲げるイメージ図。 非検知領域に対応するマーカをカメラ16画像の非検知領域に映るように掲げるイメージ図。 各マーカの組み合わせと領域分割処理の例を示すイメージ図。 侵入者検出の場合における領域分割結果の例を示すイメージ図。 領域分割に基づく侵入者検出の例を示すイメージ図。 実施形態2の適用例2における駐車場を監視したイメージ図。 各駐車スペースに対応するマーカを画像の駐車スペース毎に映るように掲げるイメージ図。 通行エリアに対応するマーカをカメラ16画像の通行エリアに映るように掲げるイメージ図。 駐車場監視における領域分割処理の例を示すイメージ図。 駐車場監視における領域分割結果の例を示すイメージ図。 実施形態3の適用例3におけるオフィスで空調制御に用いる場合のイメージ図。 作業者がオフィスでマーカを提示したイメージ図。 マーカで3つの領域に分割したイメージ図。 3つの領域に分割したイメージ図。 実施形態4の適用例4における現地の作業者が、その手元に携帯型表示装置を持ったイメージ図。 作業者が丸印のマーカを必要な位置で持って、カメラ16がその画像を撮影したイメージ図。 作業者が丸印を入力すべき位置にバツ印を入力したイメージ図。 作業者が四角印のマーカを、削除したい既存のバツ印のマーカの近くに持ったイメージ図。 四角印のマーカが写っている画像上の位置から一定範囲の内側にあるバツ印のマーカを削除したイメージ図。 分割部がバツ印のマーカが存在しない状態の画像の領域分割を行ったイメージ図。 削除したいバツ印のマーカの近くに、作業者が削除処理法の付加された丸印のマーカを持ったイメージ図。 分割部が丸印のマーカを基準にして新たな境界を設定したイメージ図。
以下、本発明の一実施形態の画像処理装置10について図面に基づいて説明する。
実施形態1
実施形態1の画像処理装置10について図1〜図7に基づいて説明する。
本実施形態の画像処理装置10の構成について図1(a)のブロック図に基づいて説明する。図1(a)に示すように、画像処理装置10は、画像取得部11、マーカ保持部12、検出部13、分割部14、処理部15を有し、カメラ16や録画装置が無線、又は、有線で接続されている。
画像取得部11は、カメラ16や録画装置から画像を取得する。カメラ16は、現地にいる作業者が持つボードに提示されたマーカを撮影する。録画装置は、そのカメラ16が撮影した画像を記憶している。
マーカ保持部12は、ネットワークやUSB接続機器などを用いて外部から検出に用いるマーカと、そのマーカに対応した処理方法(処理プログラム)を取得する。また、マーカ保持部12は、マーカと、そのマーカに対応した処理方法を予め記憶しておいてもよい。
検出部13は、画像取得部11が取得した画像中に、マーカ保持部12が取得したマーカが存在するか否かを検出する。
分割部14は、検出部13で検出したマーカの種類と位置とを基準として、予め選択された類似度に基づいて画像を複数の領域に分割する。すなわち、分割部14は、検出された1種類以上のマーカの画像上の位置に基づいて、少なくとも1種類のマーカを内包する互いに共通領域を持たない複数の領域に画像を分割する。
処理部15は、分割部14で分割された各分割領域について、分割に使われたマーカに対応づけられた処理方法を、当該分割領域毎にそれぞれ実行する。この処理方法は、上記したようにマーカ保持部12から取得する。
次に、画像処理装置10の動作状態について図1(b)のフローチャートに基づいて説明する。
ステップS1において、カメラ16が、現地において特定の場所にあるマーカを撮影する。
ステップS2において、画像取得部11が、カメラ16が撮影した画像を取得する。
ステップS3において、マーカ保持部12は、検出に用いるマーカと、そのマーカに対応した処理方法を外部から取得する。
ステップS4において、検出部13は、マーカ保持部12が取得したマーカを参照して、画像中からそのマーカの種類と位置を検出する。
ステップS5において、分割部14は、検出されたマーカの種類と位置に基づいて、画像を複数の領域に分割する。このとき分割部14は、1つの領域に1種類のマーカしか内包せず、かつ、互いに共通領域を持たないように、類似度を基準として複数の領域に分割する。なお、1つの領域には1種類のマーカしか含まれないが、同じ種類のマーカであれば複数含まれてもよい。また、類似度は、予め定めておく。
ステップS6において、処理部15は、マーカ毎に対応した処理方法をマーカ保持部12から呼び出し、分割領域毎に実行する。
これにより、作業者が、現地において必要な処理方法に合わせたマーカを、特定の場所で掲示し、カメラ16がそのマーカを撮影し、画像処理装置10は、その画像中の領域をマーカに基づいて分割し、その分割領域毎に予め決められた処理方法を実行できる。
本実施形態の画像処理装置10によれば、領域分割や分割領域毎の処理方法の設定を、作業者が入力装置を用いることなく現地で直感的に行える。
「画像」とは、静止画像、又は、動画像の各フレームを意味する。
「マーカ」とは、2次元又は3次元の形状、模様、又は、色によって種類の識別が可能な印のことであって、本実施形態では、ボードに記載された2次元の印であり、丸印、バツ印、三角印、四角印などである。同じ種類のマーカとは、形状、模様、形状と模様、形状と色、形状と色、又は、模様と色、又は、形状と模様と色が同じマーカを意味し、マーカのサイズは、種類の識別に用いても、用いなくてもよい。
「類似度」とは、画像上の任意の2点(画素位置)について、2点の物理量(画像座標値、輝度値、RGB値、周辺画素との輝度差、エッジ重みなど)から一意に求まる尺度を用いて、2点がどの程度似ているかを示す度合いである。2点の物理量が似るほど類似度は高くなり、2点の物理量が似ないほど類似度は低くなる。
物理量が画像座標値の場合には、類似度の尺度は2点間の距離(例えば、ユークリッド距離、マンハッタン距離、チェビシェフ距離などである)であり、類似度はそのユークリッド距離のn乗した値の逆数(但し、nは自然数である)である。例えば、異なるマーカA、マーカBが置かれた2つのマーカ点A、マーカ点Bがある場合、マーカ点A、マーカ点Bとは異なる位置にある任意の点Cについて、AC間の類似度R1(例えば、R1はAC間の距離の逆数)とBC間の類似度R2(例えば、R2はBC間の距離の逆数)をそれぞれ求めて比較することで、任意の点Cがマーカ点A、マーカ点Bのいずれの領域に含まれるかを判別する。このとき、AC間の類似度R1>BC間の類似度R2であれば、任意の点Cはマーカ点Aの領域に含まれる。そのため、分割部14は、任意の点CはマーカAに含まれるように分割する。なお、マーカ点は、マーカが写っている領域の中心点の画像座標値、又は、重心点の画像座標値である。この方法を用いると分割領域の境界線を算出でき、2点のマーカ周辺間に輝度値やRGB値の差異がない場合に特に有効である。具体的には、マーカ点Aとマーカ点B間の距離を求め、マーカ点A、マーカ点Bから等しい距離となる線(2つのマーカ点A,Bの類似度が等しい線)を境界線として領域分割する。
また、2点のマーカ周辺間に輝度値やRGB値の差があって、類似度を求める物理量として輝度値やRGB値を用いる場合には、類似度の尺度としては輝度値やRGB値の変化量を用い、類似度としては、その変化量の逆数などを用いる。
類似度の尺度としてエッジ重みの値を用いる場合には、類似度としてはエッジ切断によるコストの緩和(エネルギー)の逆数を用い、分割部14は、graph-cutによって領域分割する。
類似度の尺度として輝度勾配の値を用いる場合には、類似度としてはWatershed法により求めた値を用いてもよく、分割部14は、その求めた値により領域分割する。
また、画像中に写ったマーカの種類や位置が、別の処理や事前情報などにより判明している場合は、測地線距離を用いてマーカ間の距離を求め、ユークリッド距離などの場合と同様に各マーカから等しい距離となる線を境界線として、分割部14が領域分割できる。
なお、上記類似度の種類は、予め定めておくのではなく、マーカ周辺の輝度値やRGB値やその勾配量を求めて、分割部14は画像上のマーカの位置に応じて類似度の種類を適宜変更してもよい。
次に、画像処理装置10の適用例1について図2〜図7に基づいて説明する。適用例1は、画像処理装置10をセキュリティ分野に用いた場合であり、塀を乗り越えてくる侵入者を検出するのに用いる。
カメラ16は、図2に示すように塀の敷地内から塀を撮影し、画像取得部11は、カメラ16が撮影したその画像を取得する。塀の上を越えてくる侵入者は、必ず塀の周辺に姿を現す。一方、塀の内側では、立ち入りを許可された者が、塀に近づき画像に映り込むことがあるが、塀の上に登ることは通常ない。そのため、塀を乗り越える侵入者だけを検出するために、画像処理装置10は、図2に示すように塀の上部領域を検知領域21として設定し、その下方を非検知領域として設定する。
まず、図3に示すように、作業者が検知領域21に含まれるように丸印のマーカ31,32が記載されたボードを提示し、カメラ16がそのマーカ31,32を含む画像を撮影する。カメラ16は、複数のマーカを静止画像で同時に撮影してもよいが、カメラ16が動画像を撮影できる場合には1枚のマーカを位置31から位置32まで作業者が順次動かして撮影する。
次に、画像取得部11が、その画像を取得する。
次に、マーカ保持部12は、丸印のマーカと侵入者検出処理方法を含むマーカ情報を外部から取得する。なお、侵入者検出処理方法とは、丸印のマーカに対応し、かつ、検知領域において侵入者を検出する侵入者検出処理プログラムを意味する。
次に、検出部13は、画像取得部11が取得した画像中から、マーカ保持部12が取得した丸印のマーカを検出する。処理部15は、検出されたマーカの種類と画像上の位置を記録保存する。以下の説明の簡単化のため、丸印は図3の位置31と位置32の2カ所で撮影されたとする。
次に、図4に示すように、作業者が非検知領域に含まれるようにバツ印のマーカ41,42が記載されたボードを提示し、カメラ16がそのマーカ41,42を含む画像を撮影し、画像取得部11がその画像を取得する。カメラ16は、複数個のマーカを静止画像で同時に撮影してもよいが、カメラ16が動画像を撮影できる場合には1枚のマーカを位置41から位置42まで順次動かして撮影する。
次に、マーカ保持部12は、バツ印のマーカと、バツ印のマーカに対応した非検知領域において検出処理は行わないとの処理方法(非検出処理プログラム)のマーカ情報を取得する。
次に、検出部13は、画像取得部11が取得した画像中から、マーカ保持部12が取得したバツ印のマーカを検出する。処理部15は、検出されたマーカの種類と画像上の位置を記録保存する。以下の説明の簡単化のため、バツ印は図4の位置41と位置42の2カ所で撮影されたとする。
次に、分割部14は、画像から検出した各マーカについて、自己のマークとは異なる種類のマーカであって、自己のマークに最も近い位置のマーカを選択して1つの組とする。図5に示すように、分割部14が、位置31の丸印と異なる種類で最も近い位置のマーカとして選択するのは位置41のバツ印であり、位置32の丸印で選択するのは位置42のバツ印、位置41のバツ印で選択するのは位置31の丸印、位置42のバツ印で選択するのは位置32の丸印となる。そのため、図5に示すように、分割部14は、位置31の丸印のマーカと位置41のバツ印のマーカ、位置32の丸印のマーカと位置42のバツ印のマーカとの2つの組を組み合わせる。
次に、分割部14は、この全ての組み合わせについて、マーカ間にある領域が、いずれのマーカに近いかを求め、領域分割を行う。例えば、類似度がユークリッド距離の逆数であると予め選択されている場合、図5に示すように、分割部14は、位置31と位置41の最短距離の垂直二等分線51と、位置32と位置42の最短距離の垂直二等分線52を結合した直線53を領域分割の境界線と設定する。これにより図6に示すように、分割部14は、画像中において検知領域61と非検知領域62を求めることができる。
処理部15は、図6に示すように侵入者の検出処理を丸印のマーカに対応する検知領域61に対して行い、バツ印のマーカに対応する非検知領域62に対しては検知処理を行わない。この結果、図7に示すように、画像処理装置10は、塀を乗り越えた人物71を侵入者として検出し、塀の内側を歩く人物72を検出しない。
実施形態2
次に実施形態2では、実施形態1で説明した画像処理装置10の適用例2について、図8〜図12に基づいて説明する。適用例2は、画像処理装置10をファシリティ分野に用いた場合であり、画像処理装置10を駐車場の監視及び車両の誘導に用いる場合である。なお、画像処理装置10は、マーカ保持部14が取得するマーカと処理方法を適用例1から適用例2に対応したマーカ情報に置き換えると、適用例1に用いた画像処理装置10をそのまま適用例2に適用できる。
ファシリティ分野で駐車場を監視する第1の目的は、駐車スペースの空きがどこにあるかを検出することである。
第2の目的は、例えば障害者用駐車スペースに車両が停まったら係員が介助に向かうという用途である。第1の目的、第2の目的共に、画像処理装置10は、駐車スペースのどこに車両が停まり、どこが空いているかを検出する必要があるため、駐車スペース毎に領域を分割する必要がある。
第3の目的は、通行エリアに車両が一定時間以上停車してはならないというルールを設けて、図8に示すように、通行エリアに停まっている車両81について係員が対応するという用途である。
駐車スペースに関しては、図9に示すように、領域の結合が発生しないように、作業者は、隣接する駐車スペースを丸印のマーカ91と三角印のマーカ92とで交互に囲むように配置する。
通行エリアに関しては、図10に示すように、その通行エリアを一周するように、作業者がバツ印のマーカ101を配置する。
まず、カメラ16は、図9と図10に示す駐車場の画像を撮影する。カメラ16がマーカを撮影するときは、適用例1と同様に、複数のマーカを1枚の静止画像で同時に撮影してもよいし、1枚のマーカを作業者が順次動かして動画像として撮影してもよい。
次に、画像取得部11は、その画像を取得する。
次に、マーカ保持部12は、丸印のマーカと三角印のマーカと通知処理方法、バツ印のマーカと警報処理方法を含むマーカ情報を外部から取得する。通知処理方法は、丸印と三角印のマーカに対応し、かつ、各駐車スペースにおける停止車両の有無を通知する通知処理プログラムを意味する。警報処理方法は、バツ印のマーカに対応し、かつ、通行エリアに停止車両を検出したときに警報を発する警報処理プログラムを意味する。
次に、検出部13が、画像取得部11で取得した画像中から、マーカ保持部12で取得したマーカを検出する。
次に、分割部14は、適用例1と同様に検出部13が検出した各マーカについて、自己のマーカとは異なる種類のマーカで自己のマーカに最も近い位置のマーカを選択して1つの組として組み合わせ、組み合わせとなったマーカ間にある領域がいずれのマーカの位置に近いかを求め、領域分割を行う。分割部14は、図12に示すように、これらの領域分割により駐車スペース領域121,122と通行エリア領域123を求める。
次に、処理部15は、図12に示すように、丸印のマーカと三角印のマーカに対応する駐車スペース領域121,122において通知処理方法を用いて、車両の有無を検出し、空いている駐車スペースを管理者や駐車スペースを探している運転者に通知したり、障害者用駐車スペースに停車した車両がある場合には管理者に介助に行くよう通知する。
また、処理部15は、バツ印のマーカに対応する通行エリア領域123において警報処理方法を用いて、通行エリア領域123に所定時間以上停止している車両を検出すると、他の車両の通行を阻害する恐れがあり、また該車両自身の事故などの可能性もあるので管理者に警報を発する。
分割部14の領域分割の方法の変更例について図11に基づいて説明する。図11に示すように、組み合わせとなったマーカ間の輝度値や色の変化の有無に着目して領域を分割する。例えば、丸印のマーカと三角印のマーカの間には白線があり、強い画素のエッジ113が存在するとする。分割部14は、領域分割に用いる類似度を予め設定せず、マーカが撮影された後で、画像中からマーカ間に存在する該エッジ特徴を検出し、類似度として画素のエッジ重みを選択し、graph-cutで領域の境界線113を求める。このとき隣接する領域の境界はエッジ113となる。しかし、図11に示す境界線111,112のように、丸印のマーカとバツ印のマーカ、又は、三角印のマーカとバツ印のマーカ間に、輝度や色の変化がなく一様な路面がある。分割部14は、類似度として輝度情報、色情報、エッジ強度、輝度勾配を利用できないことを画像から検出したときは、類似度の尺度として上記で説明したユークリッド距離や測地線距離に変更して、境界線111,112を求める。
実施形態3
次に実施形態3では、実施形態1で説明した画像処理装置10の適用例3について、図13〜図16に基づいて説明する。適用例3は、画像処理装置10をファシリティ分野に用いた場合であり、オフィスにおける空調制御に用いる場合である。なお、画像処理装置10は、マーカ保持部14が取得するマーカと処理方法を適用例1から適用例3に対応したマーカ情報に置き換えると、適用例1に用いた画像処理装置10をそのまま適用例3に適用できる。
空調制御は人物が多数存在している領域のエアコンの空調を強めたり、その領域に向けてエアコンの風を送って快適性を向上させる。一方、人物が存在しなかったり、存在しても一時的な場合はエアコンの空調を弱めたり停止させることでエネルギー消費の無駄を抑えることが目的である。そのため、図13に示すように、人物が長時間とどまって作業を行うデスク周辺の領域131では人物を検知するが、それ以外の領域の人物は検知しない。また、窓から日照があると室内の気温が上昇するので、窓付近の領域132の輝度の変化も検知し、日照があって輝度が上がるとエアコンの暖房設定温度や冷房設定温度を下げる。
まず、カメラ16は、図14に示すように空調制御を行うためのオフィスにおいて作業者が持ったマーカ141,142,143を撮影し、画像取得部11は、その画像を取得する。
次に、マーカ保持部12は、図14に示すように、丸印のマーカ141、三角印のマーカ142、バツ印のマーカ143をマーカ情報として取得する。また、マーカ保持部12が取得するマーカ情報には、次のような処理方法も含まれている。第1に、丸印のマーカ141に対応し、かつ、人物が人物検知領域に入ってきたときにエアコンの空調を強くし、人物がいないときはエアコンの空調を弱くするように空調制御信号を空調制御装置に出力する処理方法(第1空調制御プログラム)である。第2は、三角印のマーカ142に対応し、かつ、輝度変化検知領域において日照による輝度が上昇したときにエアコンの空調を強くし、輝度が下がるとエアコンの空調を弱くするように空調制御信号を空調制御装置に出力する処理方法(第2空調制御プログラム)である。第3は、バツ印のマーカ143に対応し、かつ、非検知領域にあるコピー機の前に人物163が立っている場合は、エアコンの空調を弱めたり停止したりする空調制御信号を空調制御装置に出力する。
分割部14は、図15に示すように、画像取得部11が取得した画像を、マーカ保持部12が取得したマーカに基づいて人物検知領域151、輝度変化検知領域152、非検知領域153の3つの領域に分割する。
処理部15は、図16に示すように、3つの領域に分割されたオフィスにおいて、人物161が人物検知領域に入ってきたり、輝度変化検知領域において日照による輝度が上昇変化162を検知してエアコンの空調を強めるように空調制御信号を空調制御装置に出力する。一方、処理部15は、非検知領域にあるコピー機の前に人物163が立っている場合は、エアコンの空調を弱めたり停止させるように空調制御信号を空調制御装置に出力する。
この適用例3に示すように、マーカに対応づけられる処理方法は、人物や車両などの特定の物体の有無を検出処理方法だけではなく、輝度変化などの状態変化を検出する処理方法でもよい。
実施形態4
次に実施形態4では、実施形態1で説明した画像処理装置10の適用例4について、図17〜図24に基づいて説明する。適用例4は、適用例3において、マーカ入力による領域分割をフィードバックして、作業者がその領域分割の結果を確認したときに、マーカの入力漏れがあったり、マーカを誤った位置に置いて入力したりすることに気づく場合である。
すなわち、画像処理装置10は、領域分割をマーカによって行うため、マーカの入力ミスにより意図した結果と異なる領域分割がなされる場合がある。このとき画像が意図した通りに領域分割されているかが現地の作業者には不明なため、作業者の手元にポータブル型パソコン、タブレット端末、スマートフォンなどの携帯型表示装置を配置し、画像処理装置10は、その携帯型表示装置に領域分割の結果をフィードバックすることにより、作業者がマーカの位置修正や追加の判断を行えるようにしたものである。そのため、図17に示すように現地の作業者が、その手元に携帯型表示装置171を持ち、携帯型表示装置171が、現在までのマーカ入力に基づく領域分割の結果を表示する。
入力ミスの第1の例としては、図18に示すように、作業者が丸印のマーカを1カ所入力し忘れて、図17に示すように誤った位置に境界線172が設定される場合である。
このときは、領域分割の結果を作業者にフィードバックすることで、図18に示すように、作業者が丸印のマーカ181を必要な位置で持って、カメラ16がその画像を撮影して、分割部14が正しく領域分割するように作業者に促すことができる。
入力ミスの第2の例としては、図19に示すように、作業者が丸印を入力すべき位置にバツ印191を入力した場合である。
このときは、既存のバツ印191のマーカを削除する必要があるので、マーカ保持部12は、「画像上で四角印のマーカが写っている位置から一定範囲内にある既存のマーカを削除する」という処理方法と対応づけられた削除処理専用の四角印のマーカを取得する。
次に、図20に示すように作業者は、四角印のマーカ201を削除したい既存のバツ印のマーカ191の近くの位置で持ち、その場面をカメラ16が撮影する。
次に、図21に示すように処理部15は、四角印のマーカ201が写っている画像上の位置から一定範囲211の内側にあるバツ印のマーカ191を削除する。
次に、図22に示すように分割部14がバツ印のマーカ191が存在しない状態の画像の領域分割を行う。
次に、図18に示すように、カメラ16がその後に改めて丸印のマーカ181を撮影して、画像取得部11がその画像を取得し、分割部14がその画像の領域分割を行う。
入力ミスの第3の例は、第2の例の変更例であって、削除処理専用の四角印のマーカに代えて、全ての種類のマーカに「画像上でマーカが撮影された位置から一定範囲内にある既存のマーカを削除する」という処理方法も付加されている場合である。
図23に示すように削除したいバツ印のマーカ191の近くに、作業者が削除処理方法の付加された丸印のマーカ231を持って、カメラ16がその場面を撮影する。
次に、処理部15は、丸印のマーカ231が撮影された画像上の位置から一定範囲232の内側にあるバツ印のマーカ191を削除する。
次に、図24に示すように分割部14は丸印のマーカ231を基準にして新たな境界241を設定する。
変更例
上記各実施形態では、マーカはボードに記載した2次元の丸印、バツ印などの形状のみで識別できたが、これに限らず、マーカの模様、色を変えて、種類の異なるマーカを形成してもよい。
上記各実施形態では、マーカはボードに記載した2次元の形状であったが、これに限らず、ノートパソコンなどの情報端末機のディスプレイにマーカを表示して、作業者が提示してもよい。
上記各実施形態では、マーカはボードに記載した2次元の形状であったが、これに限らず、3次元の形状のマーカでもよい。例えば、駐車場に停車した車両をマーカに用いてもよい。
上記画像処理装置10では、CPUがROMから画像処理プログラムをRAM上に読み出して実行することにより、上記各部(画像取得部11、マーカ保持部12、検出部13、分割部14、処理部15)がコンピュータ上で実現され、HDDに記憶されているマーカなどのデータを用いて、I/Fからの上記処理を行ってもよい。また、画像処理プログラムはHDDに記憶されていてもよい。また、画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD、フレキシブルディスク(FD)、USBメモリ等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。また、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、画像処理プログラムを、インターネット等のネットワーク経由で提供又は配布するようにしてもよい。
上記では本発明の一実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10・・・画像処理装置、11・・・画像取得部、12・・・マーカ保持部、13・・・検出部、14・・・分割部、15・・・処理部、16・・・カメラ

Claims (15)

  1. 2種類以上のマーカに関するマーカ情報を保持するマーカ保持部と、
    像を取得する画像取得部と、
    記マーカ情報を参照して、前記画像から2種類以上のマーカ位置を検出する検出部と、
    検出された前記2種類以上のマーカの位置に基づいて、少なくとも1種類のマーカを内包する数の領域に前記画像を分割する分割部と、
    を有する画像処理装置。
  2. 前記マーカ情報は、前記マーカに対応した処理方法を含み、
    前記画像の前記分割領域に関して、前記分割領域の前記マーカに対応した前記処理方法を実行する処理部を有する
    請求項1に記載の画像処理装置。
  3. 前記処理部が実行する前記マーカに対応した処理方法は、前記分割領域から特定の物体を検出するか、又は、前記分割領域における輝度変化を検出するかである、
    請求項2に記載の画像処理装置。
  4. 前記分割部は、複数の前記マーカが存在するそれぞれの前記画像上のマーカ点と、前記画像上の任意の点との類似度をそれぞれ求め、前記類似度の最も高い前記マーカの領域に前記任意の点が属するように決定する、
    請求項2に記載の画像処理装置。
  5. 前記分割部は、前記類似度の尺度として、前記マーカ点の位置と前記任意の点の位置との距離、又は、測地線距離を用いる、
    請求項4に記載の画像処理装置。
  6. 前記分割部は、前記類似度の尺度として、前記マーカ点と前記任意の点との輝度値、又は、RGB値の変化量を用いる、
    請求項4に記載の画像処理装置。
  7. 前記分割部は、前記類似度の尺度として、前記任意の点のエッジ重みを用い、graph-cutにより領域分割する、
    請求項4に記載の画像処理装置。
  8. 前記分割部は、前記類似度の尺度として、前記マーカ点の位置と前記任意の点の輝度勾配を用い、Watershed法により領域分割する、
    請求項4に記載の画像処理装置。
  9. 前記分割部は、前記画像中の前記マーカ毎に前記類似度の尺度を変更する、
    請求項4に記載の画像処理装置。
  10. 前記処理部は、前記分割領域の境界線表示部に表示する、
    請求項2に記載の画像処理装置。
  11. 前記処理部が実行する前記マーカに対応した前記処理方法は、前記画像中における自己の前記マーカの一定範囲内にある他の前記マーカを削除して、削除した前記マーカを前記分割部による前記領域の分割に用いないように処理する、
    請求項2に記載の画像処理装置。
  12. 前記処理方法を有する前記マーカは、削除処理専用の前記マーカである、
    請求項11に記載の画像処理装置。
  13. 2種類以上のマーカに関するマーカ情報を保持し、
    像を取得し、
    記マーカ情報を参照して、前記画像から2種類以上のマーカ位置を検出し、
    検出された前記2種類以上のマーカの位置に基づいて、少なくとも1種類のマーカを内包する数の領域に前記画像を分割する、
    画像処理方法。
  14. 2種類以上のマーカに関するマーカ情報を保持するマーカ保持機能と、
    画像を取得する画像取得機能と、
    前記マーカ情報を参照して、前記画像から2種類以上のマーカの位置を検出する検出機能と、
    検出された前記2種類以上のマーカの位置に基づいて、少なくとも1種類のマーカを内包する複数の領域に前記画像を分割する分割機能と、
    をコンピュータによって実現させるための画像処理プログラム。
  15. 前記マーカは、形状、模様、又は、色によって種類が識別可能である、
    請求項1乃至11のいずれか一項に記載の画像処理装置。
JP2014056764A 2014-03-19 2014-03-19 画像処理装置、その方法、及び、そのプログラム Active JP6282498B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014056764A JP6282498B2 (ja) 2014-03-19 2014-03-19 画像処理装置、その方法、及び、そのプログラム
US14/661,360 US9704040B2 (en) 2014-03-19 2015-03-18 Image processing apparatus for dividing an image based on markers, method thereof and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014056764A JP6282498B2 (ja) 2014-03-19 2014-03-19 画像処理装置、その方法、及び、そのプログラム

Publications (2)

Publication Number Publication Date
JP2015179984A JP2015179984A (ja) 2015-10-08
JP6282498B2 true JP6282498B2 (ja) 2018-02-21

Family

ID=54142430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014056764A Active JP6282498B2 (ja) 2014-03-19 2014-03-19 画像処理装置、その方法、及び、そのプログラム

Country Status (2)

Country Link
US (1) US9704040B2 (ja)
JP (1) JP6282498B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607235B2 (en) * 2013-03-14 2017-03-28 Facebook, Inc. Image cropping according to points of interest
CN108475431B (zh) 2015-12-18 2022-02-18 株式会社理光 图像处理装置、图像处理系统、图像处理方法和记录介质
US12096156B2 (en) 2016-10-26 2024-09-17 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US11545013B2 (en) * 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
JP7112279B2 (ja) * 2018-08-07 2022-08-03 綜合警備保障株式会社 物体検出装置および物体検出システム
CN109800658B (zh) * 2018-12-26 2023-05-26 中汽研(天津)汽车工程研究院有限公司 基于神经网络的泊车位类型在线识别与定位系统及方法
JP7277187B2 (ja) 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN110012268A (zh) * 2019-04-02 2019-07-12 浙江璟恩物联网科技有限公司 管网ai智能监控方法、系统、可读存储介质和设备
JP7152370B2 (ja) * 2019-08-26 2022-10-12 日立建機株式会社 現場監視装置および現場監視システム
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
JP7354461B2 (ja) * 2020-09-15 2023-10-02 株式会社日立国際電気 監視システム及び監視方法
CN112381858B (zh) * 2020-11-13 2024-06-11 成都商汤科技有限公司 目标检测方法、装置、存储介质及设备
CN112818844A (zh) * 2021-01-29 2021-05-18 成都商汤科技有限公司 安检异常事件检测方法及装置、电子设备和存储介质
BR112023017645A2 (pt) 2021-03-05 2023-12-05 Mentor Worldwide Llc Sistemas, dispositivos e métodos para produzir implantes protéticos que têm membranas autovedantes para fechamento de furos e prevenção de vazamentos
CN116778344B (zh) * 2023-08-17 2023-12-05 牧马人(山东)勘察测绘集团有限公司 基于视觉技术的土地整理边界线划分方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100350539B1 (ko) 1994-12-26 2002-12-26 삼성에스디아이 주식회사 위치좌표인식장치및위치좌표인식방법
JP3577231B2 (ja) * 1998-12-28 2004-10-13 セコム株式会社 画像監視システム
JP4378785B2 (ja) * 1999-03-19 2009-12-09 コニカミノルタホールディングス株式会社 画像処理機能を備えた画像入力装置
JP3785880B2 (ja) * 1999-11-18 2006-06-14 株式会社明電舎 映像監視システムおよび映像監視方法
JP4140159B2 (ja) 2000-01-19 2008-08-27 株式会社明電舎 監視カメラの監視エリア設定装置及びその方法
JP4858846B2 (ja) 2007-03-23 2012-01-18 サクサ株式会社 検知エリア設定装置及び同設定システム
JP4966177B2 (ja) 2007-12-14 2012-07-04 パナソニック株式会社 人体検出システム
JP2009278300A (ja) * 2008-05-14 2009-11-26 Meidensha Corp 映像監視システムの監視エリア設定装置
JP4663767B2 (ja) * 2008-09-01 2011-04-06 株式会社日立製作所 画像監視システム
JP2011035663A (ja) * 2009-07-31 2011-02-17 Panasonic Corp 監視装置および監視方法

Also Published As

Publication number Publication date
JP2015179984A (ja) 2015-10-08
US20150269437A1 (en) 2015-09-24
US9704040B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
JP6282498B2 (ja) 画像処理装置、その方法、及び、そのプログラム
US11783685B2 (en) Intrusion detection system, intrusion detection method, and computer-readable medium
US11157747B2 (en) Information-processing system, information-processing apparatus, method of processing information, and storage medium storing program for causing computer to execute method of processing information
US9659350B2 (en) Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
EP3113112A1 (en) Apparatus for and method of processing image based on object region
JP6726052B2 (ja) 画像処理方法およびプログラム
JP6584123B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022059013A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
JP2016136683A5 (ja)
US20150373283A1 (en) Photographing system, photographing method, and computer-readable storage medium for computer program
JP2019029935A (ja) 画像処理装置およびその制御方法
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
US10521653B2 (en) Image processing device, image processing method, and storage medium
US9805245B2 (en) Image resolution recognition device, method for recognizing image resolution and image resolution recognition program
JP6175583B1 (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
JP2020071717A (ja) 情報処理装置、情報処理方法及びプログラム
US10922864B2 (en) Image processing device, image processing method and program, for object detection in an image
JP2017207972A (ja) 画像処理装置、画像処理方法及びプログラム
JP6723822B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10606242B2 (en) Print data division apparatus and program
JP6028634B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2018074384A (ja) 情報処理方法および情報処理装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180124

R151 Written notification of patent or utility model registration

Ref document number: 6282498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350