JP6364837B2 - 画像処理装置および領域分割方法 - Google Patents

画像処理装置および領域分割方法 Download PDF

Info

Publication number
JP6364837B2
JP6364837B2 JP2014051625A JP2014051625A JP6364837B2 JP 6364837 B2 JP6364837 B2 JP 6364837B2 JP 2014051625 A JP2014051625 A JP 2014051625A JP 2014051625 A JP2014051625 A JP 2014051625A JP 6364837 B2 JP6364837 B2 JP 6364837B2
Authority
JP
Japan
Prior art keywords
image
region
resolution
division
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014051625A
Other languages
English (en)
Other versions
JP2015176281A (ja
Inventor
淳 入江
淳 入江
青木 博松
博松 青木
貴浩 佐藤
貴浩 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2014051625A priority Critical patent/JP6364837B2/ja
Priority to EP15150956.9A priority patent/EP2919164B1/en
Priority to KR1020150007274A priority patent/KR101682787B1/ko
Priority to CN201510039847.5A priority patent/CN104915630B/zh
Priority to US14/613,967 priority patent/US9280830B2/en
Publication of JP2015176281A publication Critical patent/JP2015176281A/ja
Application granted granted Critical
Publication of JP6364837B2 publication Critical patent/JP6364837B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像から所望の領域を抽出するための技術に関する。
コンピュータによるデジタル画像処理によって、与えられた画像を前景(抽出したい部分)と背景(それ以外の部分)に分離する領域分割(セグメンテーション)と呼ばれる技術が知られている。
領域分割処理では、高速かつ正確な分割が望まれる。特許文献1では、画像の解像度を最初は粗く設定し、輪郭線の更新回数の増加とともに解像度を増すようにしている。ここで、輪郭線の更新の際には、領域内の基準点と輪郭点とを結ぶ線分を中心とする所定幅の矩形領域を対象として、新たな輪郭点を決定している。
非特許文献1では、複数の解像度の画像を用意し、低解像度画像から順番にセグメンテーションを実施している。非特許文献1ではレベルセットアルゴリズムを用いている。低解像度画像に対する処理結果を、次の解像度画像における初期輪郭線として処理することでレベルセット処理の収束を早くできる。非特許文献1では、セグメンテーションの対象画像としてウェーブレット変換後の画像を用いることで、処理速度を向上させている。
特開2000−48212号公報
Al-Qunaieer, Fares S., Hamid R. Tizhoosh, and Shahryar Rahnamayan. "Multi-resolution level set image segmentation using wavelets." Image Processing (ICIP), 2011 18th IEEE International Conference on. IEEE, 2011.
上記の従来技術はいずれも画像全体を処理対象としてセグメンテーション処理を行っているので、処理コストが高い上に、間違った領域を抽出してしまうおそれもある。
本発明は上記実情に鑑みなされたものであって、その目的とするところは、従来よりも高速かつ高精度な領域分割技術を提供することにある。
上記目的を達成するために、本発明では、解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域を処理対象領域として解像度の高い画像に対する領域分割を行うことを要旨とする。
具体的には、本発明は、画像から検出対象物の領域を抽出する画像処理装置であって、画像を取得する画像入力部と、前記画像から解像度の異なる複数の画像を生成する画像生成部と、前記解像度の異なる複数の画像を用いて領域分割を行う領域分割処理部であって、解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域に対応する解像度の高い画像における領域を処理対象領域として解像度の高い画像に対する領域分割を行う領域分割処理部と、を備える。
また、より具体的には本発明において、前記解像度の異なる複数の画像を、解像度の低い順に第1〜第Nの画像(Nは2以上の自然数)とした場合に、前記領域分割部は、第iの画像(iは1〜N−1の自然数)に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域に対応する第i+1の画像における領域を処理対象領域として第i+1の画像に対する領域分割を行うものであり、第1の画像から領域分割を開始し、第Nの画像に対する領域分割の処理結果を最終的な領域分割の処理結果として出力する、ことが好ましい。
この構成によれば、まず低解像度の画像に対して領域分割を実施し、続いて、低解像度の画像に対する処理結果を用いて高解像度の画像に対して領域分割処理を行う際に、その処理対象領域を限定することで処理速度の向上が実現できる。また、まず低解像度の画像に対して領域分割を実施することで効率的に候補領域(すなわち、前景とすべき領域が含まれると考えられる領域)を絞ることができ、高解像度の画像に領域分割を行う際に領域分割を実施する領域を限定できるので、誤抽出を減らし精度の良い領域分割が実現できる。
また、本発明において、前記画像入力部が取得した画像から前記検出対象物を検出する検出部を更に有し、前記領域分割部は、前記検出部によって検出された前記検出対象物の位置に基づいて、前記第1の画像に対する領域分割の処理対象領域を決定する、ことも好ましい。これにより、処理速度と精度の更なる向上が図れる。なお、対象物の検出を行わず、第1の画像に対しては全領域を対象として領域分割を実施しても構わない。
また、本発明において、前記領域分割部は、画像を前景と背景に分割するものであり、第iの画像に対する領域分割処理では、前記処理対象領域において前景と判定された領域と、前記処理対象領域の内側の領域とを足し合わせた領域を、第iの画像における前景領域として決定する、ことも好ましい。これにより、領域分割により前景と背景に分割することができる。
また、本発明において、前記領域分割における境界付近の領域に対応する解像度の高い画像における領域とは、解像度の低い画像に対する領域分割における境界に対応する解像度の高い画像における箇所から所定ピクセル数以内の領域とすることができる。あるいは、解像度の低い画像に対する領域分割の処理結果における境界から所定ピクセル以内の領域に対応する解像度の高い画像における領域とすることもできる。所定のピクセル数は、各画像の解像度に応じて異なっていてもよいし、全ての解像度の画像で同じであってもよい。
また、本発明において、前記画像生成部が生成する解像度が異なる複数の画像は、前記画像入力部が取得した画像よりも解像度の低い画像とすることができる。どの程度の解像度の画像を生成するかは特に限定されない。また、入力画像自体(入力画像と同解像度の画像)も、領域分割処理部による処理対象の画像に含めてもよい。
なお、本発明は、上記手段の少なくともいずれかを含む画像処理装置として捉えることもできるし、上記手段(処理)の少なくともいずれかを有する領域分割方法として捉えることもできる。さらに本発明は、上記領域分割方法の各ステップをコンピュータに実行させるためのプラグラムやこのプログラムを記録した記憶媒体として捉えることもできる。上記処理及び機能は、技術的な矛盾のない限り、任意に組み合わせて本発明を構成することができる。
本発明によれば、領域分割処理を従来よりも高速かつ高精度に行うことができる。
画像処理装置の機能ブロックを示す図。 画像処理装置のハードウェア構成を示す図。 領域分割処理の流れを示すフローチャート。 入力画像と人体画像(オリジナル画像)を示す図。 領域分割処理の概要を説明する図。 領域分割処理を説明する図。 領域分割処理を説明する図。
本実施形態にかかる画像処理装置100は、ネットワーク経由や記憶媒体経由で画像を取得し、取得した画像に対して領域分割処理を含む種々の画像処理を施す。本実施形態では、特に、画像中から人体の領域を抽出する領域分割処理に特化した画像処理装置100を説明する。
(構成)
図2は、本発明の実施の形態に係る画像処理装置100の概略構成図である。図2を参照して、画像処理装置100は、演算処理部であるCPU(Central Processing Unit)
101と、メモリ部であるメインメモリ102およびハードディスク103と、入力インターフェイス105と、表示コントローラ106と、通信インターフェイス108と、データリーダ/ライタ109とを含む。これらの各部は、バスBを介して、互いにデータ通信可能に接続される。
CPU101は、ハードディスク103に格納されたコンピュータプログラム(コード)をメインメモリ102に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ102は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク103から読み出されたプログラムに加えて、通信インターフェイス108やデータリーダ/ライタ109から読み込まれた画像データなどを保持する。さらに、ハードディスク103には、各種設定値などが格納されてもよい。なお、ハードディスク103に加えて、あるいは、ハードディスク103に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
入力インターフェイス105は、CPU101とマウス4、キーボード、タッチパネルなどの入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス105は、ユーザが入力部を操作することで与えられる操作指令を受付ける。
表示コントローラ106は、表示装置の典型例であるディスプレイ2と接続され、CPU101における画像処理の結果などをユーザに通知する。すなわち、表示コントローラ106は、ディスプレイ2に接続され、当該ディスプレイ2での表示を制御する。
通信インターフェイス108は、CPU101と他のコンピュータとの間のデータ伝送を仲介する。通信インターフェイス108は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード6に格納されたプログラムを画像処理装置100にインストールする形態に代えて、通信インターフェイス108を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置100にインストールしてもよい。
データリーダ/ライタ109は、CPU101と記録媒体であるメモリカード6との間
のデータ伝送を仲介する。すなわち、メモリカード6には、画像処理装置100で実行されるプログラムなどが格納された状態で流通し、データリーダ/ライタ109は、このメモリカード6からプログラムを読出す。また、データリーダ/ライタ109は、CPU101の内部指令に応答して、メモリカード6内に格納された画像データを読み出したり、画像処理装置100が生成した画像データをメモリカード6内に格納したりする。なお、メモリカード6は、CF(Compact Flash)、SD(Secure Digital)などの汎用的な半
導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記憶媒体や、
CD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体等からなる。
また、画像処理装置100には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
(領域分割処理)
本実施形態にかかる画像処理装置100の機能ブロックとその処理フローを図1および図3に示す。上述のように、画像処理装置100のCPU101が、予めインストールされたコンピュータプログラム(OSやアプリケーションプログラム等)を実行することによって、図1に示す機能が実現される。なお、図1に示す機能の一部または全部は専用のハードウェアとして実現されても良い。以下、図1および図3を参照しながら、本実施形態にかかる画像処理装置100について説明する。
ステップS1において、画像入力部11が、領域分割処理の対象となる画像データ(入力画像)を通信インターフェイスやメモリカードなどから取得する。領域分割処理対象の画像データは、画像処理装置100が生成した画像データであっても構わない。
ステップS2において、顔検出部12がステップS1において取得した画像データから顔検出を行う。顔検出処理自体は、任意の既知の手法を用いればよい。顔検出の結果から画像中のどの領域に顔が存在するかが分かり、さらにこの結果に基づいて画像中における人体の領域を推定できる。ステップS3では、入力された画像データのうち、人体の領域を含む領域を切り抜く。以降の処理では、切り抜き後の画像データを処理対象として領域分割処理を実施するので、切り抜き後の画像のことをオリジナル画像と称する。図4(a)は入力画像の例を示す。入力画像31から顔検出処理により顔領域32が検出され、顔領域32に基づいて人体領域33が推定される。ステップS2の切り抜き処理では、人体領域33が切り抜かれて、図4(b)に示すオリジナル画像34が得られる。このオリジナル画像34が領域分割処理の対象となる。このように、人体が存在する領域を切り抜いて画像サイズを小さくすることで、処理時間を短縮できる。
ステップS4において、マルチ解像度画像生成部13は、オリジナル画像から複数の異なる解像度(画像サイズ)の画像を生成する。本明細書では、生成された複数の画像を総称してマルチ解像度画像と称する。マルチ解像度画像は、オリジナル画像よりも解像度の低い画像とすることが典型的であるが、超解像処理などを用いてオリジナル画像よりも解像度の高い画像を生成しても構わない。生成する画像の数およびその解像度は適宜決定すればよい。例えば、オリジナル画像の一辺のサイズを1/2、1/4・・・と半分にした画像を所定個数生成してもよい。あるいは、生成する画像数をあらかじめ固定とせず、画像サイズが所定サイズ以下になるまで一辺のサイズを1/2ずつして画像を生成してもよい。なお、各画像のサイズは1/2ずつ小さくする必要はなく、1/2以外の固定値を倍率としてもよいし、オリジナル画像のサイズに応じて倍率を可変としてもよい。たとえば、最も低い解像度画像のサイズと生成する画像数があらかじめ定められており、これらに基づいて、低解像処理の倍率を適宜決定してもよい。マルチ解像度画像生成部13が生成したマルチ解像度画像は、マルチ解像度画像記憶部14に記憶される。なお、オリジナル画像自体もマルチ解像度画像に含まれるものとする。
ステップS5〜S12の処理は、マルチ解像度画像のうち低い解像度の画像から順番に実施される。図5を参照してステップS5〜S12の繰り返し処理について簡単に説明する。最も解像度の低い画像41に対して領域分割処理を施し、得られた領域分割処理結果44に基づいて、次に解像度の高い画像42に対する領域分割処理の処理対象領域(マスク領域と称する)45を決定する。画像42に対して、マスク領域45内を対象に領域分割処理を施し、得られた領域分割処理結果46に基づいて、次に解像度の高い画像43に対するマスク領域47を決定する。最も解像度の高い画像43(典型的にはオリジナル画像)に対して、マスク領域47内を対象に領域分割処理を施して、得られた領域分割処理結果48を最終的な領域分割処理の結果とする。
ステップS5〜S12の繰り返し処理についてより詳細に説明する。以下の説明では、マルチ解像度画像の数をN(Nは2以上の自然数)とし、解像度の低い画像から順番に第iの画像(iは1〜Nの自然数)と称する。まず、最も解像度の低い画像(第1の画像)を対象として領域分割処理が開始される。
ステップS5で、初回処理、すなわち最も解像度の低い画像に対する処理であるか否かが判定される。最も低い解像度を対象とした処理の場合(S5−YES)は、ステップS6へ進む。ステップS6では、マスク領域設定部15が、第1の画像に対するマスク領域を、ステップS2における顔検出結果から推定された人体領域に設定する。図6(a)および図6(b)は、第1の画像および第1の画像に対するマスク領域51を示す。
ステップS7では、セグメンテーション処理部(領域分割部)16が、第1の画像のマスク領域51を対象として領域分割処理(セグメンテーション処理)を実施する。領域分割についてはいかなるアルゴリズムを利用することもできるが、前景と背景の最適な境界を探索する輪郭ベースのアルゴリズムを用いることが好ましい。例えば、グラフカットやレベルセットなどのアルゴリズムを好適に利用できる。これらのアルゴリズムでは、前景領域の候補解(候補領域)について、候補領域の内側のピクセルの色の前景らしさ(前景尤度)と候補領域の外側のピクセルの色の背景らしさ(背景尤度)を評価することで、複数の候補領域のなかから前景領域の最適解を探索する。これらのアルゴリズムは公知の手法であるため、ここでは詳しい説明は割愛する。
第1の画像に対する領域分割処理結果を図6(c)に示す。図中、白抜きで表示された領域(領域分割結果52)が人体領域(前景)であり、黒塗りで表示された領域が背景領域である。以上により、第1の画像に対する処理が終了する。
次に、第2の画像に対する処理が行われる。第2の画像以降に対する処理では、ステップS5では否定判定され、ステップS8〜S12の処理が行われる。ステップS8において、マスク領域設定部15は、前回の領域分割結果(第1の画像に対する領域分割結果52)の境界52aを取得する。第1の画像と第2の画像は解像度が異なるので、ステップS9において、マスク領域設定部15は、境界52aを第1の画像と第2の画像の解像度の比に応じて拡大処理をして、第2の画像における境界52bを得る。境界52bは、第1の画像における境界に対応する第2の画像における箇所といえる。図7(a)は第2の画像、図7(b)は第1の画像の領域分割結果の境界52a、図7(c)は境界52aを拡大して得られる境界52bを示す。次にステップS10において、マスク領域設定部15は、境界52bから内側と外側にそれぞれ所定ピクセル以内の領域をマスク領域53として決定する。図7(d)は、第2の画像に対するマスク領域53(白抜き部分)を示す。
マスク領域の幅(所定ピクセルの数値)は、固定値であってもよいし、処理対象の画像
(この例では第2の画像)の解像度に応じた値であってもよい。この際、高解像度の画像ほど、マスク領域の幅を徐々に小さくしてもよい。処理を繰り返すごとに領域分割の精度が上がり、より狭い範囲を対象として領域分化を行うことができるためである。ここで、幅が小さいというのは、所定ピクセルの数値(絶対数)が小さいという意味だけでなく、解像度に対する所定ピクセルの数値の割合(相対数)が小さいという意味も含む。また、上記では所定ピクセルの数値として、境界52bの内側と外側に同じ値を設定しているが、内側と外側とで所定ピクセル数を異なる値としても構わない。
第2の画像におけるマスク領域は、第1の画像における領域分割結果の境界付近の領域に対応する第2の画像における領域として決定されれば、上記方法以外の方法で決定されてもよい。例えば、ステップS9における拡大処理とステップS10における境界に基づく領域設定処理の順番を入れ替え、第1の画像における境界52aから所定ピクセル以内の領域を設定し、当該領域を第1の画像と第2の画像の解像度の比に応じて拡大した領域をマスク領域53としても構わない。
ステップS11では、セグメンテーション処理部16が、第2の画像のマスク領域53を対象にして領域分割処理を実施する。図7(d)にステップS11の領域分割結果を示す。ここでは、マスク領域53のうち、領域53aが人体領域(前景領域)と判定され、領域53bが背景領域と判定されたものとする。なお、ステップS11の領域分割処理では、マスク領域53以外は処理対象ではないが、第1の画像に対する処理の結果を用いると、マスク領域53の内側の領域53cは人体領域(前景)であり、外側の領域53dは背景領域であるとすることができる。したがって、セグメンテーション処理部16は、ステップS11において人体領域(前景領域)と判定された領域53aと、マスク領域の内側の領域53cとを足し合わせた領域を、第2の画像における人体領域(前景)とする(ステップS12)。このようにして得られた第2の画像に対する領域分割結果54を図7(e)に示す。以上により、第2の画像に対する処理が終了する。なお、ステップS12の処理は最も解像度が高い画像以外には行わなくてもよい。計算途中においては前景と背景の境界のみが分かれば処理を行うこともできるためである。
上記の処理をマルチ解像度画像の数だけ繰り返す。すなわち、第iの画像(iは1〜N−1の自然数)に対する領域分割処理の結果に基づいて、領域分割の境界付近を処理対象領域として第i+1の画像に領域分割処理を実施する。これを、第Nの画像に対する領域分割処理結果が得られるまで実施する。
結果出力部17は、第Nの画像に対する領域分割処理結果を最終的な領域分割処理の結果として出力する(ステップS13)。出力の形式は任意である。例えば、人体領域が区別可能なように入力画像に重ね合わせてディスプレイ等に表示することができる。あるいは、画像処理装置100のその他の処理に対する入力とすることもできる。例えば、人体領域を切り抜く切り抜き処理の入力とすることができる。あるいは、背景領域にぼかし処理を施す背景ぼかし処理の入力とすることができる。
(本実施形態の利点)
以上のように、本実施形態では、複数の解像度の画像を用意し、低解像度画像から順番にセグメンテーション処理を施していき、1つ上の解像度画像にセグメンテーション処理を施す際に、1つ下の解像度画像の領域分割結果に基づいてセグメンテーション対象領域を限定するようにしている。このように、1つ上の解像度画像にセグメンテーション処理を施す際に、全体を対象とするのではなく、領域を限定してセグメンテーション処理を施すので、処理速度が向上する。さらに、低解像度画像から順番にセグメンテーション処理を施すことで、誤抽出を抑制し精度の高い領域分割が実現できる。
(変形例)
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。
例えば、最も解像度の低い画像(第1の画像)に対してマスク領域を設定して領域分割処理を行っているが、第1の画像に対しては全領域を対象として領域分割を実施しても構わない。また、入力画像に対する切り抜き処理も必ずしも行わなくてもよい。
また、上記では人体を前景として背景と区別する領域分割処理を例に説明したが、検出対象の物体は任意の物体であって構わない。特徴量等に基づいて、あるいはテンプレートマッチング等を用いて、検出対象物の位置やおおよその領域が判別できる場合には、上記の実施形態と同様に検出結果に基づいて、入力画像の切り抜き処理や第1の画像に対するマスク領域の設定などを行えばよい。検出対象物の位置や領域が判別できない場合には、切り抜き処理や第1の画像に対するマスク領域の設定処理を省略してもよい。
上記の実施形態では、汎用コンピュータに画像処理用のソフトウェアをインストールした画像処理装置を説明したが、ASICやFPGAを用いて構成された画像処理エンジンを撮像装置(カメラ)内に組み込んで、撮像装置が撮影した画像を対象に領域分割処理を実施するようにしてもよい。本発明の領域分割方法は、要素技術として汎用的に利用可能であり、適用分野として、例えば、各種のデジタル画像処理、外観検査装置、コンピュータビジョン、マシンビジョンなどが挙げられる。
100:画像処理装置
11:画像入力部、12:顔検出部、13:マルチ解像度画像生成部
14:マルチ解像度画像記憶部、10:マスク領域設定部
16:セグメンテーション処理部、17:結果出力部

Claims (8)

  1. 画像から検出対象物の領域を抽出する画像処理装置であって、
    画像を取得する画像入力部と、
    前記画像から解像度の異なる複数の画像を生成する画像生成部と、
    前記解像度の異なる複数の画像を用いて領域分割を行う領域分割部であって、解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域に対応する解像度の高い画像における領域を処理対象領域として解像度の高い画像に対する領域分割を行う領域分割部と、
    を備え
    前記領域分割における境界付近の領域に対応する解像度の高い画像における領域とは、解像度の低い画像に対する領域分割の処理結果における境界に対応する解像度の高い画像における箇所から所定ピクセル以内の領域、または、解像度の低い画像に対する領域分割の処理結果における境界から所定ピクセル以内の領域に対応する解像度の高い画像における領域であり、
    前記所定ピクセルは処理対象の画像の解像度に応じた値である、
    画像処理装置。
  2. 前記解像度の異なる複数の画像を、解像度の低い順に第1〜第Nの画像(Nは2以上の自然数)とした場合に、
    前記領域分割部は、
    第iの画像(iは1〜N−1の自然数)に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域に対応する第i+1の画像における領域を処理対象領域として第i+1の画像に対する領域分割を行うものであり、
    第1の画像から領域分割を開始し、第Nの画像に対する領域分割の処理結果を最終的な領域分割の処理結果として出力する、
    請求項1に記載の画像処理装置。
  3. 前記画像入力部が取得した画像から前記検出対象物を検出する検出部を更に有し、
    前記領域分割部は、前記検出部によって検出された前記検出対象物の位置に基づいて、前記第1の画像に対する領域分割の処理対象領域を決定する、
    請求項2に記載の画像処理装置。
  4. 前記領域分割部は、画像を前景と背景に分割するものであり、
    第iの画像に対する領域分割処理では、前記処理対象領域において前景と判定された領域と、前記処理対象領域の内側の領域とを足し合わせた領域を、第iの画像における前景領域として決定する、
    請求項2または3に記載の画像処理装置。
  5. 前記画像生成部が生成する画像は、前記画像入力部が取得した画像よりも解像度の低い画像である、
    請求項1かのいずれか1項に記載の画像処理装置。
  6. 前記検出対象物は、人の顔または人体である、
    請求項1からのいずれか1項に記載の画像処理装置。
  7. コンピュータが行う、画像から検出対象物の領域を抽出する領域分割方法であって、
    画像を取得する画像入力ステップと、
    前記画像から解像度の異なる複数の画像を生成する画像生成ステップと、
    前記解像度の異なる複数の画像を用いて領域分割を行う領域分割ステップであって、解像度の低い画像に対して領域分割を行い、当該領域分割の処理結果における境界付近の領域に対応する解像度の高い画像における領域を処理対象領域として解像度の高い画像に対する領域分割を行う領域分割ステップと、
    を含み、
    前記領域分割における境界付近の領域に対応する解像度の高い画像における領域とは、解像度の低い画像に対する領域分割の処理結果における境界に対応する解像度の高い画像における箇所から所定ピクセル以内の領域、または、解像度の低い画像に対する領域分割の処理結果における境界から所定ピクセル以内の領域に対応する解像度の高い画像における領域であり、
    前記所定ピクセルは処理対象の画像の解像度に応じた値である、
    領域分割方法。
  8. 請求項に記載の領域分割方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
JP2014051625A 2014-03-14 2014-03-14 画像処理装置および領域分割方法 Active JP6364837B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014051625A JP6364837B2 (ja) 2014-03-14 2014-03-14 画像処理装置および領域分割方法
EP15150956.9A EP2919164B1 (en) 2014-03-14 2015-01-13 Image processing apparatus and segmentation method
KR1020150007274A KR101682787B1 (ko) 2014-03-14 2015-01-15 화상 처리 장치 및 영역 분할 방법
CN201510039847.5A CN104915630B (zh) 2014-03-14 2015-01-27 图像处理装置以及区域分割方法
US14/613,967 US9280830B2 (en) 2014-03-14 2015-02-04 Image processing apparatus and segmentation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014051625A JP6364837B2 (ja) 2014-03-14 2014-03-14 画像処理装置および領域分割方法

Publications (2)

Publication Number Publication Date
JP2015176281A JP2015176281A (ja) 2015-10-05
JP6364837B2 true JP6364837B2 (ja) 2018-08-01

Family

ID=52282658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014051625A Active JP6364837B2 (ja) 2014-03-14 2014-03-14 画像処理装置および領域分割方法

Country Status (5)

Country Link
US (1) US9280830B2 (ja)
EP (1) EP2919164B1 (ja)
JP (1) JP6364837B2 (ja)
KR (1) KR101682787B1 (ja)
CN (1) CN104915630B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
US10869421B2 (en) * 2016-01-19 2020-12-15 Fuji Corporation Mounting device and imaging processing method
US20170323416A1 (en) * 2016-05-09 2017-11-09 Intel Corporation Processing image fragments from one frame in separate image processing pipes based on image analysis
DE102017213262B4 (de) * 2017-08-01 2022-09-22 Heidelberger Druckmaschinen Ag Bilderfassung mit bereichsweiser Bildauflösung
US11176427B2 (en) 2018-09-26 2021-11-16 International Business Machines Corporation Overlapping CNN cache reuse in high resolution and streaming-based deep learning inference engines
US10733742B2 (en) 2018-09-26 2020-08-04 International Business Machines Corporation Image labeling
CN111954052B (zh) * 2019-05-17 2022-04-05 上海哔哩哔哩科技有限公司 显示弹幕信息的方法、计算机设备及可读存储介质
JP7380625B2 (ja) * 2021-03-29 2023-11-15 セイコーエプソン株式会社 画像生成装置、端末装置、及び画像生成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048212A (ja) 1998-07-31 2000-02-18 Canon Inc 画像処理方法及び装置、記録媒体
JP3706755B2 (ja) * 1998-11-09 2005-10-19 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US8913830B2 (en) * 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
JP5357572B2 (ja) * 2009-02-24 2013-12-04 パナソニック株式会社 外観検査方法および外観検査装置
CN101826204B (zh) * 2009-03-04 2012-09-26 中国人民解放军63976部队 基于改进的水线算法的快速颗粒图像分割方法
KR100967379B1 (ko) * 2009-11-04 2010-07-05 (주)올라웍스 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
CN101996410B (zh) * 2010-12-07 2012-12-12 北京交通大学 动态背景下的运动目标检测方法及系统
JP5907593B2 (ja) * 2011-09-13 2016-04-26 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US8781189B2 (en) * 2011-10-12 2014-07-15 Siemens Aktiengesellschaft Reproducible segmentation of elliptical boundaries in medical imaging
KR101340594B1 (ko) * 2012-04-19 2013-12-11 한국외국어대학교 연구산학협력단 다중 해상도 기반의 영역화 장치 및 방법
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces

Also Published As

Publication number Publication date
US20150262368A1 (en) 2015-09-17
KR20150107594A (ko) 2015-09-23
EP2919164B1 (en) 2022-08-03
US9280830B2 (en) 2016-03-08
CN104915630A (zh) 2015-09-16
JP2015176281A (ja) 2015-10-05
CN104915630B (zh) 2018-06-29
KR101682787B1 (ko) 2016-12-05
EP2919164A1 (en) 2015-09-16

Similar Documents

Publication Publication Date Title
JP6364837B2 (ja) 画像処理装置および領域分割方法
EP3239929A1 (en) Image processing apparatus, image processing method and program
US10123024B2 (en) Image processing methods and image processing apparatuses
JP5700968B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP2808828A2 (en) Image matching method, image matching device, model template generation method, model template generation device, and program
JP2015232869A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10460461B2 (en) Image processing apparatus and method of controlling the same
US10586099B2 (en) Information processing apparatus for tracking processing
EP2782065A1 (en) Image-processing device removing encircling lines for identifying sub-regions of image
US20150345936A1 (en) Image Processing Apparatus, Image Processing Method And Image Processing Program
JP7258632B2 (ja) 物体検出装置
JP2016012767A (ja) 画像処理装置
JP2006050070A (ja) 画像処理方法および装置並びにプログラム
WO2019065784A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
US20170213103A1 (en) Image retrieving device, image retrieving method, and recording medium
JP5821994B2 (ja) 画像処理装置、画像形成装置およびプログラム
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6116271B2 (ja) 特徴量算出装置、方法及びプログラム
JP6922690B2 (ja) 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
EP3496390A1 (en) Information processing device, information processing method, and storage medium
JP6639120B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018147471A (ja) 画像処理装置及び方法
KR20020011320A (ko) 이진 영상 회전 시스템 및 그 방법
JP4394692B2 (ja) 図形読み取り装置及び方法並びにそのプログラム
JP6751663B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R150 Certificate of patent or registration of utility model

Ref document number: 6364837

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250