JP4639754B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4639754B2
JP4639754B2 JP2004321017A JP2004321017A JP4639754B2 JP 4639754 B2 JP4639754 B2 JP 4639754B2 JP 2004321017 A JP2004321017 A JP 2004321017A JP 2004321017 A JP2004321017 A JP 2004321017A JP 4639754 B2 JP4639754 B2 JP 4639754B2
Authority
JP
Japan
Prior art keywords
partial
target
feature amount
saliency
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004321017A
Other languages
English (en)
Other versions
JP2006133990A (ja
Inventor
基文 福井
典司 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2004321017A priority Critical patent/JP4639754B2/ja
Priority to US11/144,601 priority patent/US7634135B2/en
Publication of JP2006133990A publication Critical patent/JP2006133990A/ja
Application granted granted Critical
Publication of JP4639754B2 publication Critical patent/JP4639754B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像データのうちから注目部分を定めて、当該注目部分に対する所定処理を実行する画像処理装置に係り、特に注目部分を定める処理の改良に関する。
動画・静止画を問わず、2次元の画像データから所望のオブジェクトを認識する技術は、多くの応用が期待されており、重要視されている。それゆえ、従来から多くの手法が提案されている。その一つがテンプレートマッチング法と呼ばれているものである。テンプレートマッチング法については、現実の応用例にも広く用いられている手法であるが、所望のオブジェクトが、画像データのどのあたりに存在しているかという情報を別途与えないと、画像データの全体に亘る走査が必要となり、処理が遅くなるという問題点がある。
そこで従来から、所望のオブジェクトについて、特徴的な画像パターンを規定して、当該規定した画像パターンを用いて処理の対象となる画像データから走査するべき領域を限定させる技術が提案されている。具体的に、所望のオブジェクトが人物の顔である場合、色の特徴として「肌色」を用いたり、近似的形状として「楕円形状」を用いて走査の領域を制限する例がある。
例えば、特許文献1に開示の技術では肌色を抽出した後に、その領域の射影分布を作成し、そこから放物線を抽出することで顔領域を特定しようとしている。
特開2000−48184号公報
しかしながら、特許文献1に開示された方法によっても次のような問題点がある。すなわち、まず第一に「肌色」は色空間上で広範囲に分布していて、光の反射具合などによりその分布範囲が変動することが知られている。また形状の特徴を利用するについても、完全な円ではない曲線図形の場合、エッジ画像から放物線の形状を抽出することが困難である。これは髪の毛などにより顔の輪郭がさえぎられて、図形が分断されたり、輪郭が背景に溶け込んでしまい、エッジが正しく検出できない場合があるからである。
すなわち、上記従来の方法では、顔検出などの処理のための注目部分を効率よく特定できないという問題点がある。
本発明は上記実情に鑑みて為されたもので、色や形状の特徴に代えて、顕著性に係る特徴量に基づいて処理の対象とする注目部分を定め、注目部分の特定の効率を向上できる画像処理装置を提供することを、その目的の一つとする。
上記従来例の問題点を解決するための本発明は、画像データのうち、処理の対象となる対象領域を定めて所定処理を行う画像処理装置であって、前記画像データを所定の分割ルールに基づいて複数の部分領域に分割する分割手段と、前記複数の部分領域の各々を注目部分領域として、注目部分領域に含める画素の値又は数の少なくとも一方に関連する特徴量と、各部分領域に隣接する少なくとも一つの他の部分領域に含まれる特徴量とに基づいて、注目部分領域に係る顕著性特徴量を演算し、各部分領域ごとの顕著性特徴量を生成する顕著性演算手段と、前記部分領域ごとの顕著性特徴量に基づいて、所定処理の対象となる対象領域を決定する手段と、を含むことを特徴としている。
このように、色や形状の特徴に代えて、隣接部分との関連において定められる、顕著性に係る特徴量に基づいて処理の対象とする注目部分を定めることで、注目部分の特定の効率を向上できる。
ここで前記顕著性演算手段は、複数の部分領域の各々について、各部分領域に含まれる画素の値に係る統計量に基づいて前記顕著性特徴量を演算することとしてもよいし、複数の部分領域の各々について、各部分領域に含まれる画素の数に係る量に基づいて前記顕著性特徴量を演算することとしてもよい。
さらに前記顕著性特徴量は、注目部分領域と他の部分領域との境界にある画素の数に関係する量であることとしてもよい。また、前記顕著性特徴量は、注目部分領域に接する複数の他の部分領域間の顕著性特徴量の差に関連して定められてもよい。ここで前記顕著性特徴量は、所定の方法によって規格化されることとしてもよい。
また、本発明の一態様は、画像データのうち、処理の対象となる対象領域を定めて所定処理を行う画像処理方法であって、前記画像データを所定の分割ルールに基づいて複数の部分領域に分割する工程と、前記複数の部分領域の各々を注目部分領域として、注目部分領域に含める画素の値又は数の少なくとも一方に関連する特徴量と、各部分領域に隣接する少なくとも一つの他の部分領域に含まれる特徴量とに基づいて、注目部分領域に係る顕著性特徴量を演算し、各部分領域ごとの顕著性特徴量を生成する工程と、前記部分領域ごとの顕著性特徴量に基づいて、所定処理の対象となる対象領域を決定する工程と、を含むことを特徴としている。
さらに本発明の別の態様は、画像データのうち、処理の対象となる対象領域を定めて所定処理を行う画像処理プログラムであって、コンピュータに、前記画像データを所定の分割ルールに基づいて複数の部分領域に分割する手順と、前記複数の部分領域の各々を注目部分領域として、注目部分領域に含める画素の値又は数の少なくとも一方に関連する特徴量と、各部分領域に隣接する少なくとも一つの他の部分領域に含まれる特徴量とに基づいて、注目部分領域に係る顕著性特徴量を演算し、各部分領域ごとの顕著性特徴量を生成する手順と、前記部分領域ごとの顕著性特徴量に基づいて、所定処理の対象となる対象領域を決定する手順と、を実行させることを特徴としている。
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図1に示すように、制御部11と、記憶部12と、入出力インタフェース13と、表示部14と、を含んで構成されている。
制御部11は、CPU等で実現でき、記憶部12に格納されているプログラムに従って動作している。この制御部11は、入出力インタフェース13を介して入力される画像データから、所望のオブジェクト(例えば人物の顔の部分)の画像を検出する処理を基本的に実行する。また、本実施の形態においては、この制御部11は、当該所望のオブジェクトの画像を検出する処理に先立って、当該所望のオブジェクトの画像を検出する処理における探索領域(処理対象の領域)を特定する前処理を実行している。この制御部11の処理の内容については、後に述べる。
記憶部12は、制御部11によって実行されるプログラムを格納する、コンピュータ可読な記録媒体である。またこの記憶部12は、制御部11の処理の過程で必要となる種々のデータを記憶するワークメモリとしても動作する。具体的にこの記憶部12は、ハードディスク等のディスクデバイスや、RAM,ROM等の記憶素子を含んで構成される。
入出力インタフェース13は、例えばカメラ装置などの外部装置に接続され、当該外部装置から画像データを取得して制御部11に出力する。またこの入出力インタフェース13は、制御部11から入力される指示に従って、種々のデータを外部装置に出力する。
表示部14は、例えばディスプレイ等であり、制御部11から入力される指示に従って情報の表示を行う。
次に、制御部11の処理の内容について説明する。本実施の形態の説明においては、簡単のため、入出力インタフェース13を介して入力される画像データは静止画であるとするが、動画であっても、当該動画に含まれる各静止画フレームについて同様の処理を行うことができる。また、検出の対象となる所望のオブジェクトは、ここでは人物の顔であるとするが、本実施の形態における所望のオブジェクトは、これに限られるものではない。
本実施の形態の制御部11は、人間が人物の顔が撮影された写真を見る場合に、写真の中から顔の位置、大きさ、向きなどを容易に特定できることに着目し、人間の視覚特性としての、顔を画像全体中で特に目立って知覚されることを模した処理を行うこととしたものである。具体的に本実施の形態では、領域分割の処理を用いて、この人間の視覚特性を模した処理を実現する。
この制御部11が実行する処理の具体的な内容は、図2に示すように、画像分割部21と、顕著性演算部22と、領域決定部23と、画像処理部24とを含んで構成される。この処理の各部について、以下具体的に説明する。
[画像分割部]
画像分割部21は、入出力インタフェース13を介して入力される画像データを所定の分割ルールに基づいて複数の部分領域に分割する。具体的には、入出力インタフェース13を介して入力される画像データは、制御部11によって、記憶部12に格納される。この画像データの各画素は、例えばRGBの各色256階調で表現されるものとする。
画像分割部21は、まず特徴ベクトルを生成する。この特徴ベクトルは、例えば各画素の座標(x,y)及び、L*a*b色空間における画素値(l,a,b)を組み合せた5次元のベクトル(x,y,l,a,b)である。なお、ここではRGB色空間の値をL*a*bに変換して5次元のベクトルとしているが、これは輝度を特徴量に取り入れるためである。例えば所望のオブジェクトが顔以外のものであり、空色の部分を検出するのであれば、青色を特徴量に取り込むため、RGB色空間の値をそのまま用いてもよいし、所望のオブジェクトの性状に応じて、他にもYUVなど、他の色空間の値に変換してもよい。
なお、いずれの色空間の値を用いるにしても、画素値の各要素は、例えば最小値が0,最大値が255となるように規格化しておく。
次に、画像分割部21は、この特徴ベクトルを用い、k−means法により領域分割を実施する。k−means法では、画像データを予め所定の態様に初期分割しておく。そして予め定めた評価基準を参照しながら、より高い評価となる分割結果が得られるように対象を分類し直す処理を繰返して、最終的な分割結果を得るものである。このk−means法の実装例等については、既に多くのものがあるので、ここでは詳細な説明を省略する。
なお、ここで評価基準は、次の評価式によって定める。ここでの評価式によって演算される評価値Disは、画素の特徴ベクトルと、分割に係る領域(以下サブ領域と呼ぶ)の重心ベクトルの重み付きユークリッド距離(の2乗)として定義しておく。すなわち、
Figure 0004639754
とする。
ここで、(xi,yi,li,ai,bi)は、画素iの特徴ベクトルであり、(xm(t),ym(t),lm(t),am(t),bm(t))は、t回目の試行的分割のサブ領域M(t)の重心ベクトルである。なお、サブ領域の重心は、サブ領域に含まれる画素に対する特徴ベクトルの和を、サブ領域に含まれる画素数で除したものとして定義できる。また、pは、色空間に対する距離空間にかかる重みであり、例えばp=0.015等と実数値で設定すればよい。
画像分割部21は画素iについて、各サブ領域M(t)に対応する評価値Dis(i,M(t)))を演算する。そして、この評価値Dis(i,M(t))が最も小さくなるサブ領域(最適サブ領域)に、画素iが属するとして、画素iと、それについての最適サブ領域を特定する情報とを関連付けて記憶部12に格納する。この処理を各画素iについて行うことで、次の試行におけるサブ領域M(t+1)が定められる。
本実施の形態では、特徴ベクトルに位置情報が含まれているため、略同一の色でも離れた位置にある画素同士は、互いに異なるサブ領域に属するよう設定される。
この試行は、予め定めた回数(例えば20回)だけ実施してもよいし、試行間での領域の変動率(いくつの画素について、属するサブ領域を変更したかの割合)を終了条件として、繰返し実行してもよい。
例えば、本実施の形態の場合、大小様々な顔の画像を認識させるため、初期分割として、1つの画像データをそれぞれ2×2の4分割したもの、3×3の9分割したもの、4×4の16分割したもの、7×7の49分割したもの、10×10の100分割したもの、13×13の169分割したもの、16×16の256分割したもの、の7通り、合計603個の分割領域に分けておく。すなわち、初期分割状態では、各画素iは、7つのサブ領域に属していることとなるが、一度でもサブ領域の更新を行えば、画素iは、原則としていずれか1つのサブ領域に属しているように更新される。
なお、領域の分割の処理負荷を低減するため、画像をn×n個のサブ領域に分割する場合、画像の短辺の長さが8×nピクセルになるように画像データのサイズを縮小してもよい。また、k−means法によって評価値を演算する際、注目画素iを中心に所定画素数(例えば25個)の正方形内に重心の座標が存在するサブ領域についてのみ、評価値を演算することとしてもよい。この場合、画素iについてそのようなサブ領域が1つもない場合、当該画素iについてのサブ領域は更新しない。
なお、ここでは画像分割部21は、k−means法などのクラスタリング手法を用いて、画像を複数の領域に分割しているが、この分割を行う場合であって、後に顕著性演算部22の顕著性特徴量の元となる特徴ベクトルとして画素値を含める場合は、当該画素値を表現する色空間と同じ色空間での値を用いてクラスタリングを実行することとしてもよい。
さらに、この画像分割部21は、画像データを単に任意の個数(n×m個)の矩形のサブ領域に分割するものであってもよい。
[顕著性演算部]
顕著性演算部22は、画像分割部21にて生成された複数のサブ領域(部分領域)の各々について、各サブ領域に含まれる画素の値又は数の少なくとも一方に関連する顕著性特徴量を演算する。具体的にこの顕著性演算部22は、サブ領域の各々を順次、注目サブ領域として選択し、それぞれ選択した注目サブ領域について、図3に示す処理を実行する。すなわち、顕著性演算部22は、この注目サブ領域Tに接する、他の(注目サブ領域以外の)サブ領域の集合D(T)を選択する(S11)。
具体的には、注目サブ領域Tに含まれる各画素について、その近傍8領域(左上、上、右上、左、右、左下、下、右下の8個)の隣接画素の属するサブ領域を調べ、そのサブ領域が注目サブ領域Tでない場合は、当該隣接画素の属するサブ領域を、隣接する他のサブ領域の集合D(T)に含める。この場合において、D(T)に含まれるサブ領域ごとに、注目サブ領域内のいくつの画素と隣接するか(すなわち注目サブ領域と他のサブ領域との境界にある画素に係る数(図4を参照))をカウントしておき、この数が予め定めたしきい値未満となるサブ領域については、D(T)から取除くこととしてもよい。また、このカウント値をD(T)に含まれる各サブ領域に関連付けて記憶部12に格納しておいてもよい。
次に、顕著性演算部22は、注目サブ領域Tに係る特徴ベクトルFT=(lT,aT,bT,sT)を作成する(S12)。ここで、lT,aT,bTは、注目サブ領域Tに含まれる画素のL*a*b値の統計量としての平均(重心)を意味し、sTは、注目サブ領域Tに含まれる画素の数を表す。
そして集合D(T)に含まれるサブ領域についての平均特徴ベクトルFD(T)=(lD(T),aD(T),bD(T),sD(T))を生成する(S13)。ここでlD(T)等は、集合D(T)に含まれる各サブ領域における特徴ベクトルの要素値の平均、つまり、
Figure 0004639754
を意味する。なお、||D(T)||は、集合D(T)に含まれるサブ領域の数(隣接サブ領域の数)である。顕著性演算部22は、注目サブ領域Tに係る特徴要素f(l,a,b,sのいずれか)についての顕著性特徴量要素S(T,f)を、
Figure 0004639754
で演算する(S14)。すなわち、顕著性特徴量要素は、基本的には、注目サブ領域の特徴量の要素の一つについて、その要素と、各隣接サブ領域における対応する要素との差の二乗値の和を、隣接サブ領域の数(||D(T)||)で除したものである。ここで、要素間の差を演算する際に注目サブ領域と他のサブ領域との境界にある画素の数に基づく重みを、この要素間の差の値に乗じて、総和することとしてもよい。さらに、この顕著性特徴量要素は、最小値が0、最大値が100となるように規格化しておく((2)式中、Normと記載しているのはこの規格化を行うことを示したものである)。すなわち、
Figure 0004639754
とする。ここで、minはxの最小値、maxはxの最大値である。
さらに顕著性演算部22は、注目サブ領域Tの周辺領域に対する顕著性特徴量S(T,D)を、
Figure 0004639754
で演算する(S15)。ここでΣは、要素ごとの和を演算することを表す。ここでも顕著性特徴量は、最小値が0、最大値が100となるように規格化しておく。
この顕著性特徴量S(T,D)は、注目サブ領域が、その周辺のサブ領域に比べて視覚的に顕著であるほど大きくなる値である。ここでは特徴ベクトルとして色やサイズを用いているが、後で行う処理の内容によっては、形や曲率などを表す量を特徴ベクトルに含めてもよい。
顕著性演算部22は、各サブ領域について演算した顕著性特徴量S(T,D)を、各サブ領域を特定する情報に関連付けて、記憶部12に格納する。
[領域決定部]
領域決定部23は、サブ領域ごとに演算された顕著性特徴量に基づいて、所定処理の対象となる対象領域を決定する。具体的に記憶部12に格納されている各サブ領域についての顕著性特徴量のうち、予め定めたしきい値Th以上となっているものを選択し、当該選択した顕著性特徴量に関連づけられている情報で特定されるサブ領域を、処理の対象領域として選抜する。
また固定のしきい値Thに代えて、例えば各サブ領域のうち、顕著性特徴量の上位所定割合(例えば40%)の数のサブ領域を選抜してもよい。
また、この選抜したサブ領域からさらに、当該選抜した各サブ領域の特徴ベクトルFTを用い、例えば画素値L*a*bの分散値(それぞれ、σl、σa、σbとする)に対して、例えば実験的に、
52≦σl≦2186
3≦σa≦700
1≦σb≦437
となる値となっているサブ領域を絞り込んで選抜してもよい。さらにこの画素値の絶対値に係るしきい値を設けてもよい。
さらに、サイズsTが縮小後の画像データの短辺に対して、1/20の2乗に満たないものを選抜したサブ領域から除外してもよい。
領域決定部23は、さらに選抜したサブ領域の情報に基づいて、後の処理の対象となる窓(ウインドウ)を画定する情報を生成する。
具体的に、領域決定部23は、選抜したサブ領域に含まれる各画素の重心(位置の平均)(xT,yT)を中心として、面積がsTに最も近くなる正方形領域をウインドウとして定め、当該定めたウインドウを特定する情報を出力する。
さらにこの領域決定部23は、このウインドウについて、その中心を上下左右にそれぞれ0.2ずつずらした4つのウインドウを生成し、合計5つのウインドウを特定する情報を出力してもよい。
[画像処理部]
画像処理部24は、本実施の形態では、領域決定部23が出力する情報で特定される、画像データ上のウインドウを処理の対象として、顔画像部分を検出する処理を行う。この処理は、広く知られたテンプレートマッチング法でも構わない。そして、この画像処理部24は、当該検出処理の結果を表示部14等に出力する。
[動作]
本実施の形態によると、入力された画像データを複数の部分領域に分割した上で、各部分領域について、部分領域自身の特徴量と、周辺で隣接する部分領域の特徴量とに基づく顕著性特徴量を演算し、この顕著性特徴量を利用して、例えば顕著性特徴量の高い部分領域を、処理の対象となる領域と定める。また、当該顕著性特徴量の高い部分領域の重心を中心とした所定形状の領域を処理の対象となる領域として定める。このように、色や形状の特徴に代えて、周辺からの顕著性に係る特徴量に基づいて処理の対象とする注目部分を定めることで、顔検出などの処理のための注目部分の特定の効率を向上できる。
[顕著性特徴量演算の別の例]
また、ここまでの例では、顕著性特徴量は、注目サブ領域が、その周辺のサブ領域に比べて視覚的に顕著であるほど大きくなる値として定めたが、さらに周辺のサブ領域(注目領域に接する複数の他のサブ領域)の間での顕著性特徴量の差に関連してもよい。これは、周辺の画像の顕著性の差が小さいほど、注目サブ領域の顕著性特徴量は大きくなるべきであるとの考えに基づく。
具体的に、注目サブ領域Tに対する隣接サブ領域の集合D(T)の特徴ベクトルの要素fにおける顕著度S(D,f)を、
Figure 0004639754
で定義しておく。ここでfDi,fDjは、特徴ベクトルの要素fであり、Di,Djは集合D(T)に属する、互いに異なる隣接サブ領域を表す。またp(Di,Dj)=1とあるのは、これらの互いに異なるサブ領域Di及びDjもまた、互いに隣接している状態にあることを意味する。そして||Dp||は、互いに隣接している状態にあるDi,Djの組の総数を表す。すなわち、この(4)式における和は、注目サブ領域に隣接する、隣接サブ領域のうち、互いに隣接するサブ領域の組に亘って演算されるものである。
模式的に、図4に示すようにサブ領域が設定されているとき、注目サブ領域Tに隣接するサブ領域は、D1(T)からD4(T)までの4つある。この場合、互いに隣接している状態にあるDi,Djの組は、D1とD2の組、D1とD3の組、D1とD4の組、D2とD3の組、D3とD4の組の5つの組である。つまりD2とD4とは隣接していないので、ここでの演算には加えられない。
この(4)式で演算される顕著度D(D,f)は、これが大きいほど、当該特徴ベクトルの要素の表す量での周囲のばらつきが大きいことを意味し、小さいほど一様であることを意味する。そしてこれが一様であるほど、注目サブ領域の顕著性特徴量は高くなるよう設定される。
そこで、集合D(T)の総顕著度S(D,D)を、
Figure 0004639754
で定義し、注目サブ領域Tの顕著性特徴量S(T)を、
Figure 0004639754
と定める。ここで、wは、総顕著度に係る重みである。このS(T)の値が100に近くなるほど、当該注目サブ領域Tは、周辺に対して視覚的に顕著であるとされ、0に近くなるほど、周辺に対して顕著でないとされる。
この変形例によって演算された顕著性特徴量S(T)を用いると、周囲が平坦で、中心部が顕著になるときに、当該中心部に係る領域が処理の対象として選抜されることになる。
本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の機能構成例を表すブロック図である。 顕著性特徴量の演算処理例を表すフローチャート図である。 サブ領域に対する処理の例を表す説明図である。
符号の説明
11 制御部、12 記憶部、13 入出力インタフェース、14 表示部、21 画像分割部、22 顕著性演算部、23 領域決定部、24 画像処理部。

Claims (7)

  1. 画像データのうち、処理の対象となる対象領域を定めて所定処理を行う画像処理装置であって、
    前記画像データを所定の分割ルールに基づいて複数の部分領域に分割する分割手段と、
    前記複数の部分領域を順次注目部分領域として選択し当該注目部分領域に接する、注目部分領域以外の部分領域の集合を選択し、当該集合に含まれる部分領域ごとに、注目部分領域内のいくつの画素と隣接するかをカウントし、当該カウントの結果が予め定めたしきい値未満となる部分領域については、前記集合から取除き、前記注目部分領域に含める画素の値又は数の少なくとも一方に関連する特徴量と、前記集合に含まれる部分領域に関連する特徴量とに基づいて、注目部分領域に係る顕著性特徴量を演算し、各部分領域ごとの顕著性特徴量を生成する顕著性演算手段と、
    前記部分領域ごとの顕著性特徴量に基づいて、所定処理の対象となる対象領域を決定する手段と、
    を含むことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記顕著性演算手段は、前記集合に含まれる部分領域の各々について、当該部分領域の各々に含まれる画素の値に係る統計量に基づいて前記顕著性特徴量を演算することを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    前記顕著性演算手段は、前記集合に含まれる部分領域の各々について、当該部分領域の各々に含まれる画素の数に係る量に基づいて前記顕著性特徴量を演算することを特徴とする画像処理装置。
  4. 請求項1に記載の画像処理装置において、
    前記顕著性特徴量は、注目部分領域と前記集合に含まれる部分領域との境界にある画素の数に関係する量であることを特徴とする画像処理装置。
  5. 請求項1から4のいずれか一項に記載の画像処理装置において、前記顕著性特徴量は、前記集合に含まれる、複数の部分領域間の顕著性特徴量の差に関連して定められることを特徴とする画像処理装置。
  6. 請求項1から5のいずれか一項に記載の画像処理装置において、
    前記顕著性特徴量は、所定の方法によって規格化されることを特徴とする画像処理装置。
  7. 画像データのうち、処理の対象となる対象領域を定めて所定処理を行う画像処理プログラムであって、
    コンピュータに、
    前記画像データを所定の分割ルールに基づいて複数の部分領域に分割する手順と、
    前記複数の部分領域を順次注目部分領域として選択し当該注目部分領域に接する、注目部分領域以外の部分領域の集合を選択し、当該集合に含まれる部分領域ごとに、注目部分領域内のいくつの画素と隣接するかをカウントし、当該カウントの結果が予め定めたしきい値未満となる部分領域については、集合から取除き、前記注目部分領域に含める画素の値又は数の少なくとも一方に関連する特徴量と、集合に含まれる部分領域に関連する特徴量とに基づいて、注目部分領域に係る顕著性特徴量を演算し、各部分領域ごとの顕著性特徴量を生成する手順と、
    前記部分領域ごとの顕著性特徴量に基づいて、所定処理の対象となる対象領域を決定する手順と、
    を実行させることを特徴とする画像処理プログラム。
JP2004321017A 2004-11-04 2004-11-04 画像処理装置 Expired - Fee Related JP4639754B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004321017A JP4639754B2 (ja) 2004-11-04 2004-11-04 画像処理装置
US11/144,601 US7634135B2 (en) 2004-11-04 2005-06-06 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004321017A JP4639754B2 (ja) 2004-11-04 2004-11-04 画像処理装置

Publications (2)

Publication Number Publication Date
JP2006133990A JP2006133990A (ja) 2006-05-25
JP4639754B2 true JP4639754B2 (ja) 2011-02-23

Family

ID=36261934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004321017A Expired - Fee Related JP4639754B2 (ja) 2004-11-04 2004-11-04 画像処理装置

Country Status (2)

Country Link
US (1) US7634135B2 (ja)
JP (1) JP4639754B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5120238B2 (ja) * 2008-08-15 2013-01-16 富士ゼロックス株式会社 オブジェクト領域抽出装置及びオブジェクト領域抽出プログラム
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8271871B2 (en) * 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
JP4877374B2 (ja) * 2009-09-02 2012-02-15 株式会社豊田中央研究所 画像処理装置及びプログラム
KR101230567B1 (ko) 2011-04-27 2013-02-07 경북대학교 산학협력단 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템
CN102779338B (zh) * 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
JP5558431B2 (ja) * 2011-08-15 2014-07-23 株式会社東芝 画像処理装置、方法及びプログラム
JP5649601B2 (ja) * 2012-03-14 2015-01-07 株式会社東芝 照合装置、方法及びプログラム
US9715735B2 (en) * 2014-01-30 2017-07-25 Flipboard, Inc. Identifying regions of free space within an image
JP6330385B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
JP6525537B2 (ja) 2014-09-30 2019-06-05 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
DE102016124123A1 (de) * 2016-12-13 2018-06-14 Connaught Electronics Ltd. Verfahren zum Erzeugen eines Clusters von Bildbereichen zum Erfassen eines Zielobjekts in einem Bild, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
JP7392368B2 (ja) 2019-10-03 2023-12-06 富士フイルムビジネスイノベーション株式会社 画像処理装置,システム,プログラム
CN115119052B (zh) * 2022-04-29 2023-10-24 河海大学 基于注意力机制与空间冗余的图像数据压缩方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207564A (ja) * 1998-12-31 2000-07-28 Eastman Kodak Co 画像の被写体の検出方法
JP2001126070A (ja) * 1999-10-28 2001-05-11 Atr Media Integration & Communications Res Lab 注目領域抽出装置およびそれを用いた自動構図決定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
JP2000048184A (ja) 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
US6553131B1 (en) * 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
US6545743B1 (en) * 2000-05-22 2003-04-08 Eastman Kodak Company Producing an image of a portion of a photographic image onto a receiver using a digital image of the photographic image
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207564A (ja) * 1998-12-31 2000-07-28 Eastman Kodak Co 画像の被写体の検出方法
JP2001126070A (ja) * 1999-10-28 2001-05-11 Atr Media Integration & Communications Res Lab 注目領域抽出装置およびそれを用いた自動構図決定装置

Also Published As

Publication number Publication date
JP2006133990A (ja) 2006-05-25
US20060093184A1 (en) 2006-05-04
US7634135B2 (en) 2009-12-15

Similar Documents

Publication Publication Date Title
US7634135B2 (en) Image processing apparatus
EP2315158B1 (en) Information processing apparatus, information processing method, and program
JP5505409B2 (ja) 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
EP2339533B1 (en) Saliency based video contrast enhancement method
JP5517504B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4699298B2 (ja) 人体領域抽出方法および装置並びにプログラム
US8718401B2 (en) Image processing device, method and program
JP2008117391A (ja) デジタル画像における顔を検出する方法、およびデジタル画像における顔を検出する装置
US7747079B2 (en) Method and system for learning spatio-spectral features in an image
US8620076B2 (en) Region extraction apparatus and region extraction method
US20050139782A1 (en) Face image detecting method, face image detecting system and face image detecting program
US10503997B2 (en) Method and subsystem for identifying document subimages within digital images
EP4070240A1 (en) User-guided image segmentation methods and products
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
JP6791593B2 (ja) 認識装置、認識プログラム、及び認識方法
JP5201184B2 (ja) 画像処理装置及びプログラム
CN112989958A (zh) 基于YOLOv4与显著性检测的安全帽佩戴识别方法
US6785415B1 (en) Image processing method, an image processing apparatus, and a recording media on which an image processing program is recorded
CN109242750B (zh) 图片签名方法、图片匹配方法、装置、设备及存储介质
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
JP4742068B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
JP2006343989A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2007257470A (ja) 類似判別装置および方法並びにプログラム
CN115393695A (zh) 人脸图像质量评估方法、装置、电子设备及存储介质
JP4773240B2 (ja) 類似判別装置および方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071016

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

R150 Certificate of patent or registration of utility model

Ref document number: 4639754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees