JPWO2012036306A1 - 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム - Google Patents

携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム Download PDF

Info

Publication number
JPWO2012036306A1
JPWO2012036306A1 JP2012534082A JP2012534082A JPWO2012036306A1 JP WO2012036306 A1 JPWO2012036306 A1 JP WO2012036306A1 JP 2012534082 A JP2012534082 A JP 2012534082A JP 2012534082 A JP2012534082 A JP 2012534082A JP WO2012036306 A1 JPWO2012036306 A1 JP WO2012036306A1
Authority
JP
Japan
Prior art keywords
portable object
string
region
area
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012534082A
Other languages
English (en)
Inventor
康史 平川
康史 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2012036306A1 publication Critical patent/JPWO2012036306A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

画像から精度良く携帯物領域を抽出する携帯物領域抽出装置を提供する。本発明の携帯物領域抽出装置は、画像情報から携帯物の紐を含む紐領域を抽出する紐領域処理部と、紐領域に基づいて画像情報から携帯物を含む携帯物領域を抽出する携帯物領域処置部とを含む。

Description

本発明は、画像情報から人が携帯する携帯物の領域を抽出する、特に、携帯物の特徴を基に画像情報から携帯物の領域を抽出する携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラムに関する。
建物又は所定の領域の管理会社又は保安会社は、安全確保のため、コンピュータのような情報処理装置が、出入口(ゲート:gate)に設置したカメラで撮影した画像情報から、入退出する人又は物の画像を抽出するシステムを使用している。
図20は、このような抽出システムの一つである人物抽出システムの一例である。
図20に示す人物抽出システムは、人物抽出装置90が、撮影装置91が取り込んだ人物を含む画像(画像情報)から、人物画像を抽出し、表示装置92に表示する。
このような人物抽出装置90が用いる画像情報から人又は物を抽出する手法は、画像の特徴量の学習と識別器とを用いた検出手法、又は、テンプレートマッチングを用いた検出手法がある。
Haar−likeは、画像内の輝度変化パターンを表現する特徴量を使用し、アダブースト(AdaBoost)識別器と組み合わせて顔を検出する(例えば、非特許文献1を参照)。Haar−likeは、目、鼻、口を含む人間の顔のように、特徴的な輝度変化がある対象物の抽出に適する。
SIFT(Scale−Invariant Feature Transform)は、画像の特徴的な点であるキーポイントの位置と方向とに基づき、そのキーポイント周辺にある領域の端部方向を特徴量(SIFT特徴)とする手法である(例えば、非特許文献2を参照)。SIFTは、回転やサイズ変動に強く、同一形状の物体の抽出に適する。なお、SIFTは、比較のためのデータが必要である。
Bag−of−Keypointsは、入力画像をSIFT特徴で表現し、そのSIFT特徴をベクトル量子化した特徴量(Visual word)の頻度(度数分布:ヒストグラム)を用いて物体を表現する(例えば、非特許文献3を参照)。さらに、Bag−of−Keypointsは、予め、学習を基に人又は物の種類(クラス:Class)のVisual wordのヒストグラムを求めておく。そして、Bag−of−Keypointsは、入力画像のVisual wordのヒストグラムと求めておいたVisual wordのヒストグラムとを比較し、入力画像の人又は物をクラスに分類する。Bag−of−Keypointsは、特徴量を抽出する人又は物の画像位置が固定の抽出に適する。
SIFTがキーポイントに基づいて端部特徴を抽出するのに対し、HOG(Histograms of Oriented Gradients)は、領域に対して端部特徴を抽出する手法である(例えば、非特許文献4を参照)。HOGは、SIFTに比べ大まかな物体形状の抽出に適する。ただし、HOGも、比較のためのデータが必要である。
テンプレートマッチングは、予め抽出したい形状の「型(テンプレート:template)」となる画像情報を用意し、そのテンプレートに類似する人又は物を検出する手法である(例えば、非特許文献5を参照)。テンプレートを使用した手法は、検出したい人又は物の画像情報とテンプレートとが一致する必要がある。そのため、比較する人又は物の見え方が複数ある場合、テンプレートを使用した手法は、全ての見え方についてのテンプレートが必要である。
また、人物の画像認識の手法は、人の一部の部位の特徴(例えば胸部)を基にした部位の認識手法がある。(例えば、特許文献1を参照。)
さらに、人物の画像認識は、検出対象の部位を直接認識せず、他の部位を基に、所望の部位を推定する手法がある(例えば、特許文献2参照)。特許文献2に記載の発明は、背景差分を用いて抽出した手のひらに相当する部位を楕円領域で近似し、その楕円領域の長軸と短軸と傾き具合とを基に、左右どちらの手のひらであるかの判定し、手のひらに接続する肘に相当する部分を推定する。
特許文献1及び特許文献2に記載の発明は、胸に相当する部分又は手のひらと肘とのように形状及び配置が固定されている部位の抽出に適する。
特開2006−006359 特開2006−011965 P.Viola,M.Jones、″Rapid Object Detection using a Boosted Cascade of Simple Features″,In Proc.IEEE Conf.on Computer Vision and Pattern Recognition,pp−1−9,2001. D.Lowe,″Distinctive Image Features from Scale−Invariant Keypoints″,Proc.Of International Journal of Computer Vision(IJCV),60(2),pp.91−110,Jan.5,2004. G.Csurka,C.R.Dance,L.Fan,J.Willamowski,and C.Bray,″Visual Categorization with Bbags of Keypoints″,Proc.of European Conference on Computer Vision(ECCV),pp.1−22,2004. N.Dalal,B.Triggs,″Histograms of Oriented Gradients for Human Detection″,Proc.of IEEE Conference on Computer Vision and Pattern Recognition (CVPR),pp.886−893,2005. 高木幹男、下田陽介、"新編 画像解析ハンドブック"、pp.1669、ISBN−10:4130611194.
人が携帯する携帯物は、このような画像情報から抽出する抽出部位の1つとなる。
しかし、人が携帯する携帯物は、例えば、バックパック、ショルダーバッグ、ポーチ、首掛けのカードホルダと多種多様である。そして、同じ種類の携帯物でも、その素材の表面の質感(テクスチャ:texture)又は色が異なる。例えば、バックパックは、ナイロン、革、又は、ビニールといった、生地(テクスチャ)の違いに加え、色及び模様が異なるものがある。さらに、同じの種類の携帯物でも、容積やデザイン性、機能性のために、形状又はシルエット(silhouette:輪郭)が異なるものがある。また、携帯物は、飾りのようなアタッチメント(attachment:付属品)の付随がある。そのうえ、布製のようなやわらかい素材の携帯物は、内容物に従った形状の変化がある。また、携帯物は、人物の向きの変化(姿勢の変化)に基づいても見え方(形状)が変化する。
このような、形状変化が大きい携帯物を画像情報から抽出する場合、次のような問題点が、あった。
上述の非特許文献1に記載の手法(Haar−like)において、携帯物は必ずしも輝度変化があるとは限らないため、精度の良い抽出が難しいという問題点があった。
上述の非特許文献2に記載の手法(SIFT)において、携帯物は形状の種類が多く、いろいろな姿勢を取るため、精度の良い抽出が難しいという問題点があった。
上述の非特許文献3に記載の手法(Bag−of−Keypoints)において、携帯物は位置を特定できないため、精度の良い抽出が難しいという問題点があった。
また、上述の非特許文献2に記載の手法(SIFT)、非特許文献4に記載の手法(HOG)、及び、非特許文献5に記載の手法(テンプレート)において、携帯物は姿勢の変化及び種類が多いため、対象物の想定される姿勢及び種類変化に対応したデータは膨大なものとなる。そのため、上述の非特許文献2、非特許文献4、及び、非特許文献5に記載の手法において、必要なデータの用意が難しいという問題点が、あった。
上述の特許文献1及び特許文献2に記載の発明において、携帯物は形状の変化が大きく位置関係も不定となるため、精度の良い抽出が難しいという問題点があった。
本発明の目的は、上記課題を解決し、画像情報から、人が携帯している携帯物の画像領域を、精度良く抽出する携帯物抽出装置を提供することである。
本発明の携帯物領域抽出装置は、画像情報から携帯物の紐を含む紐領域を抽出する紐領域処理部と、前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する携帯物領域処置部とを含む。
本発明の携帯物領域抽出方法は、画像情報から携帯物の紐を含む紐領域を抽出し、前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する。
本発明の携帯物領域抽出プログラムは、画像情報から携帯物の紐を含む紐領域を抽出する処理と、前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する処理をコンピュータに実行させる。
本発明に基づけば、画像情報から人が携帯する携帯物の領域を、精度良く抽出する効果を得ることができる。
本発明のおける第1の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第1の実施の形態に係る紐領域処理部の一例を示すブロック図である。 第1の実施の形態に係る紐領域処理部の動作の一例を示すフローチャートである。 第1の実施の形態に係る紐領域処理部の別の一例を示すブロック図である。 第1の実施の形態に係る紐領域処理部の別の動作の一例を示すフローチャートである。 第1の実施の形態に係る携帯物領域処理部の一例を示すブロック図である。 第1の実施の形態に係る携帯物領域処理部の動作の一例を示すフローチャートである。 第1の実施形態に係る紐領域処理部の別の構成の一例を示すブロック図である。 第2の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第2の実施の形態に係る人領域処理部の一例を示すブロック図である。 第2の実施の形態に係る人領域処理部の動作の一例を示すフローチャートである。 第2の実施の携帯に係る人領域処理部の別の一例を示すブロック図である。 第2の実施の携帯に係る人領域処理部の別の一例を示すブロック図である。 第3の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第4の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第5の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第6の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第7の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 第8の実施の形態に係る携帯物領域抽出装置の一例を示すブロック図である。 一般的な人物抽出システムの一例を示す図である。
本発明における実施の形態について、図面を参照して説明する。
まず、本実施の形態で使用する用語について、整理する。
「携帯物」とは、人が物品を入れて運ぶ携帯用具(バッグ、パック、ポーチなど)、いわゆる鞄類又は袋類である。本実施の形態に係る携帯物領域抽出装置は、画像情報から「携帯物」を含む領域を抽出する装置である。ただし、本実施の形態に係る携帯物は、物品を入れない本体と紐とで構成された携帯物、例えば、ネックストラップ(neck−strap)を用いて首から提げた携帯電話又は身分証明書を含む。
「紐(紐部)」とは、携帯物を保持するための紐状(紐、帯、鎖など)の部位である。紐は、ショルダーバッグ(shoulder bag)の肩掛け、ウェストポーチ(waist pouch)のベルト(belt)、手提げ鞄の手提げ紐などである。
「本体(本体部)」とは、「携帯物」における物品を入れる主要な部分、つまり、「紐」を除いた部分である。「本体」は、「携帯物」の付属物(アタッチメント:attachment)を含んでも良い。ただし、「本体」は、物品を入れない携帯物の主要な部分を含む。
「領域」とは、所定の対象物の画像を含む画像の区域である。領域は、対象物と同一の形状であることが望ましい。しかし、処理の効率を考慮し、本実施の形態に係る領域は、対象物と異なる形状でも、対象物の含む区域を領域と称す。例えば、携帯物が凹凸のある形状でも、携帯物の領域は、携帯物を包含した凸多角形(例えば、四角形)の形状の区域の場合もある。この場合、携帯物の領域は、携帯物の背景を一部含む区域となる。また、携帯物の付属品を領域に含めると背景部分が多くなる場合(例えば、付属物が長い紐状の飾り)、抽出の精度を向上するため、携帯物の領域は、対象物の一部(上記の場合、付属物の紐状の飾り)を含まない区域の場合もある。
「端部(エッジ:edge)」とは、画像における背景と対象物(携帯物、紐、本体、又は、人)とを区切る部分(境界部分)の一部であり、不連続的に抽出(識別)される微小部分に相当する。特に、「紐」と「本体」との接続部分に位置する端部は、「紐」と「本体」との相互の領域の端部となる。端部の画像情報は、「端部成分」と称す。
「端部線」とは、端部を連続的に接続して生成した線(線分)であり、直線及び曲線を含む。端部線の画像情報は、「端部線成分」と称す。
「端部線対」とは、直線又は曲線状の対象物の領域を区切る端部線の対(ペア:pair、組)である。例えば、対象物が「紐」の場合、紐領域は、紐領域の端部線対に挟まれた領域となる。端部線対の画像情報を「端部線対成分」と称す。なお、紐領域の場合、端部線対を紐領域線対と称すこともある。
「端部対」とは、対象物の領域を区切る上述の端部の対である。端部対の画像情報を「端部対成分」と称す。
「マップ(map)情報」とは、各成分が含む、画像情報内での位置に関する属性(位置、方向、又は、配置など)を示す情報である。
(第1の実施の形態)
本発明における第1の実施の形態に係る携帯物領域抽出装置1について、図面を参照して説明する。
紐は、本体のように物を入れることもなく、本体を保持するため伸びることも少ない。また、紐は、見る方向を変えてもその見え方があまり変化せず、一般的に細長い形状である。このように紐は、本体に比べ変形が少なく、形状が安定している。そこで、本実施の形態に係る携帯物領域抽出装置1は、画像情報から形状が安定している紐を含む紐領域を抽出し、抽出した紐領域に基づいて携帯物を含む携帯物領域を抽出する。
図1は、携帯物領域抽出装置1の一例を示すブロック図である。
携帯物領域抽出装置1は、紐領域処理部10と携帯物領域処理部20とを含む。
紐領域処理部10は、図示しない撮影装置が撮影した画像情報(画像データ)を受け取り、受け取った画像情報から携帯物の紐を含む紐領域を抽出し、抽出した紐領域に対応する紐領域情報を携帯物領域処理部20に出力する。なお、本実施の形態に係る画像情報は、静止画でも動画でも良い。
携帯物領域処理部20は、紐領域処理部10から受け取った紐領域情報に基づき、画像情報から携帯物を含む携帯物領域を抽出する。携帯物領域処理部20は、抽出した携帯物領域に対応する携帯物領域情報を、図示しない携帯物判定装置または表示装置に送付してもよい。
さらに、各処理部について、図面を参照して説明する。
まず、第1の実施の形態に係る紐領域処理部10の構成について、図面を参照して説明する。
図2は、紐領域処理部10の構成の一例を示すブロック図である。
紐領域処理部10は、端部成分抽出部101と、端部線成分生成部102と、端部線対成分抽出部103と、紐領域抽出部104とを含む。
端部成分抽出部101は、画像情報を受け取り、画像情報の中から、物体の端部の一部と想定される端部を含む端部成分を抽出し、端部線成分生成部102に出力する。
端部線成分生成部102は、受け取った端部成分を基に、端部を接続した端部線を含む端部線成分を生成し、端部線対成分抽出部103に出力する。なお、端部線成分生成部102は、生成処理に画像情報を使用しても良い。
端部線対成分抽出部103は、受け取った端部線成分を基に、所定の幅を備えた紐の境界を示すと想定する端部線成分の対である端部線対成分を抽出し、紐領域抽出部104に出力する。なお、端部線対成分抽出部103は、抽出処理に画像情報を使用してもよい。
紐領域抽出部104は、受け取った端部線対成分を基に、画像情報から、携帯物の紐を含む紐領域を抽出する。
続いて、紐領域処理部10の動作について図面を参照して説明する。
図3は、紐領域処理部10の動作の一例を示すフローチャートである。
端部成分抽出部101は、受け取った画像情報に含まれる端部成分を抽出する(ステップ1001)。本実施の形態の端部成分抽出部101は、端部成分の抽出に、各種の手法を使用できる。例えば、端部成分抽出部101は、ソーベル(Sobel)フィルタ、キャニーエッジ検出器(Canny Edge Detection)、ラプラシアン(Laplacian)フィルタ、微分フィルタといった端部抽出の手法又はフィルタを用いて端部成分を抽出しても良い。また、端部成分抽出部101は、画像情報の隣接画素間での輝度又は明度の差分を算出し、この差分の値が極大となる画素を端部成分として抽出してもよい。端部成分抽出部101は、抽出した端部成分を、端部線成分生成部102に出力する。端部成分には、マップ情報が含まれる。
なお、本実施の形態に係る端部成分のマップ情報は、端部の開始位置と終了位置との情報、又は、端部の開始位置と方向と長さとを含む。また、端部成分のマップ情報は、端部の強度情報、又は、端部のこう配情報を含んでもよい。
ここで、方向とは、端部成分の画像情報内での方向である。方向は、ベクトルで表すことができる。このベクトルは、方向ベクトルと呼ばれる。また、方向ベクトルに直行するベクトルが、法線ベクトルとなる。方向は、端部成分の開始位置の決め方に基づいて2種類となるが、開始位置と組み合わせて使用すれば問題ないため、どちらの方向を使用しても良い。
強度情報とは、端部を挟んだ画像情報の明度の差である。明度は、端部の方向ベクトルに対する検出方向に従い、絶対値が同じで符号が逆の2種類の決め方を採用できる。ただし、常に同じ決め方を採用すれば、本実施の形態の動作で問題が起きないため、詳細な説明は省略する。
こう配情報とは、端部を挟んだ画像情報の明度変化の度合い(傾き)である。傾きも、端部の方向ベクトルに対する検出方向に従い、絶対値が同じで符号が逆の2種類の決め方を採用できる。こう配情報も常に同じ決め方を採用すれば、本実施の形態の動作で問題が起きないため、詳細な説明を省略する。ただし、方向ベクトルに対する角度が異なると、傾きも異なる。一般的に、法線ベクトルの方向の明度変化の傾きが最大となるため、本実施の形態のこう配情報は、法線ベクトルの方向とする。
端部線成分生成部102は、受け取った端部成分を基に、互いに接続していると推定する端部成分を抽出し、次の端部線対成分抽出部103が使用する端部線対成分の候補となる、端部線成分を生成する(ステップ1002)。
さらに詳細に説明すると、端部線成分生成部102は、次のように動作する。まず、端部線成分生成部102は、端部成分に線分抽出処理(例えばハフ(Hough)変換)を適用し、端部成分から線分情報を抽出する。さらに、端部線成分生成部102は、線分情報を抽出した端部成分の特性(例えば、端部成分の強度又はこう配)と、端部成分の相対的な関係(例えば、位置の関係又は方向の関係)とに基づき、連結可能な端部成分を連結し端部線成分を生成する。なお、既に説明したとおり、ここでの端部線成分は、直線又は曲線のいずれか又は両方を含む。
端部線成分もマップ情報を含む。端部線成分のマップ情報は、端部線成分の所定の位置(例えば、始点、中間点、終点の位置)と、長さと、端部線成分の方向とを含む。さらに、端部線成分のマップ情報は、端部線成分が含む端部成分の情報及び端部成分の間の情報(例えば、最も離れている端部成分の距離)を含んでも良い。
なお、本実施の形態に係る端部線成分生成部102における端部線成分の生成手法は、既に説明した手法に限られるわけではない。
例えば、端部線成分生成部102は、直線又は所定の曲線を、参照データとして予め保持又は図示しない記憶部から取り出す。次に、端部線成分生成部102は、その直線又は曲線に対して所定の幅の範囲に入っている端部成分を抽出し、それらを連結して端部線成分を生成してもよい。
また、端部線成分生成部102は、ある端部成分を選択し、その選択した端部成分の延長上の所定の範囲に入る端部成分を連結する。連結後、端部線成分生成部102は、連結した端部成分の延長上の所定の範囲に入る端部成分をさらに連結する。端部線成分生成部102は、このような連結動作を繰り返し、端部線成分を生成してもよい。
あるいは、端部線成分生成部102は、既に説明した手法を組み合わせて端部線成分を生成してもよい。
端部線対成分抽出部103は、端部線成分生成部102から端部線成分の情報を受け取ると、紐領域の両端(紐と背景との境界部分)である可能性の高い端部線成分の組(前述の端部線対成分)を抽出する(ステップ1003)。
端部線対成分抽出部103の動作をさらに詳細に説明すると次のようになる。
端部線対成分抽出部103は、受け取った端部線成分の位置又は間隔、端部線成分の方向の一致具合、端部線成分の強度又はこう配の極性、こう配の絶対値の一致の程度を基に、紐の端部として想定できる端部線対成分を抽出する。
なお、本実施の形態に係る端部線対成分抽出部103の手法は、既に説明した手法に限られるわけではない。
例えば、端部線対成分抽出部103は、端部線成分の直線近似(直線ならその直線そのものでもよい)での平行性、つまり相互に並行に近いか否かに基づいて、端部線対成分を抽出してもよい。この平行性として、端部線対成分抽出部103は、近似直線の方向ベクトル又は法線ベクトルの内積(つまり角の余弦値)を用いて抽出すれば良い。
また、端部線対成分抽出部103は、紐領域として想定される幅に関する情報を予め保持又は図示しない記憶部から受け取り、その幅に関する情報を基に、所定の幅の範囲となる端部線成分を端部線対成分として抽出してもよい。
また、端部線対成分抽出部103は、画像情報の視覚的な特徴(例えば、色)の均一性を基に、端部線対成分を抽出しても良い。例えば、端部線対成分抽出部103は、ある端部線成分の片側の画像の色が一定の場合、片側がその色となっている端部線成分を、対応する端部線成分として、端部線対成分を抽出してもよい。
紐領域抽出部104は、端部線対成分抽出部103が抽出した端部線対成分の情報を基に、画像情報から紐を含む紐領域を抽出する(ステップ1004)。
本実施の形態に係る紐領域抽出部104も、紐領域を抽出する手法として、いろいろな手法を使用できる。
例えば、紐領域抽出部104は、端部線対成分に挟まれた領域を紐領域として抽出してもよい。この場合、抽出される紐領域には、対象物の特性(色、形、模様)に関する情報としての属性情報が含まれてもよい。
さらに、紐領域抽出部104は、端部線対成分に挟まれた領域の色や模様などの視覚的な特徴に基づいて、視覚的な特徴が同様で幅がほぼ同じ範囲の領域を紐領域として抽出してもよい。
また、紐領域抽出部104は、紐の形状の候補を、予め保存又は図示しない記憶部から取り出して、その形状に基づいた領域を紐領域として抽出しても良い。
このように動作し、紐領域処理部10は、画像情報から紐領域を抽出し、携帯物領域処理部20に出力する。
なお、本実施の形態に係る紐領域処理部10は、ここまで説明した構成に限られるわけではない。
図4は、第1の実施の形態に係る別の構成の紐領域処理部11の一例を示すブロック図である。図4において、図2と同様の構成には同じ番号を付している。
紐領域処理部11は、端部成分抽出部101と、端部対成分抽出部105と、端部線対成分生成部106と、紐領域抽出部104とを含む。
端部成分抽出部101及び紐領域抽出部104は、紐領域処理部10の端部成分抽出部101及び紐領域抽出部104と同様である。
端部対成分抽出部105は、端部成分抽出部101から端部成分を受け取り、端部対成分を抽出し、端部線対成分生成部106に出力する。なお、端部対成分抽出部105は、抽出処理に画像情報を使用しても良い。
端部線対成分生成部106は、受け取った端部対成分を基に、端部線対成分を生成し、紐領域抽出部104に出力する。なお、端部線対成分生成部106は、生成処理に画像情報を使用しても良い。
次に、本実施形態に係る紐領域処理部11の動作について図面を参照して説明する。
図5は、紐領域処理部11の動作の一例を示すフローチャートである。図5において、図3と同様の動作には、同じ番号を付してある。
端部成分抽出部101は、紐領域処理部10の端部成分抽出部101と同様に、画像情報から端部成分を抽出し、端部対成分抽出部105に出力する(ステップ1001)。
端部対成分抽出部105は、所定の距離が離れた、対となる端部成分を端部対成分として抽出する(ステップ1005)。
この端部対成分抽出部105の動作を具体的に説明すると次のようになる。
端部対成分抽出部105は、受け取った端部成分の中で、相互の距離が所定の範囲に入り、端部成分の方向がほぼ等しく、こう配又は強度が反対の端部成分を選ぶ。そして、端部対成分抽出部105は、その端部成分を基に端部対成分を抽出する。ただし、既に説明したとおり、端部成分の設定方向は、2種類ある。そこで、端部対成分抽出部105は、相互の距離が所定の範囲に入り、端部成分の方向がほぼ反対の向きで、こう配又は強度がほぼ同じ端部成分も端部対成分として抽出する。
なお、ここでこう配又は強度がほぼ同じとは、絶対値がほぼ同じで符号が同じことを意味し、反対とは、絶対値がほぼ同じで符号が反対であることを意味する。
次に、端部線対成分生成部106は、端部対成分抽出部105が抽出した端部対成分を基に紐領域を抽出するための端部線対成分を生成する(ステップ1006)。
この動作を具体的に説明すると次のとおりである。
端部線対成分生成部106は、ある端部対成分を、その端部対成分から所定の距離以内にあり、ほぼ同じ又は逆方向の方向ベクトルを備える端部対成分と接続し、端部線対成分を生成する。
なお、端部線対成分生成部106は、端部対成分の距離として、いろいろな距離を使用できる。例えば、端部線対成分生成部106は、端部対成分の距離として、それぞれの端部対成分が含む端部成分のいずれかの端部成分の中点を選択し、中点間の距離を端部対成分の距離としても良い。また、端部線対成分生成部106は、端部対成分が含む各端部成分の中点の平均位置を求め、端部対成分の中点の平均位置の間の距離を端部対成分の距離として使用しても良い。
また、端部線対成分生成部106は、端部対成分の方向ベクトルとして、端部対成分が含むいずれかの端部成分の方向ベクトルを使用しても良い。
さらに、端部線対成分生成部106は、端部対成分が含む端部成分に挟まれる領域の画素が持つ視覚的な特徴(色、模様など)を参照してもよい。例えば、端部線対成分生成部106は、端部対成分が含む端部成分に挟まれる領域が同一又は類似色である端部対成分を接続して、端部線対成分としても良い。
紐領域抽出部104は、紐領域処理部10の紐領域抽出部104と同様に、端部線対成分を基に紐領域を抽出する(ステップ1004)。
次に、本発明の実施の形態に係る携帯物領域処理部20について説明する。
なお、本実施の形態に係る携帯物領域処理部20が抽出する携帯物領域は、携帯物の本体が含まれる領域として説明する。ただし、携帯物は、本体と紐とを含んでいる。そのため、本実施の形態に係る携帯物領域処理部20は、携帯物の本体の領域を抽出後、受け取った紐領域を合わせて、携帯物領域としてもよい。
本実施の形態に係る携帯物領域処理部20は、紐領域に基づき、画像情報における携帯物の本体の一部の位置(紐に接続する部分)を特定できる。そして、携帯物領域処理部20は、特定した携帯物の本体の一部の位置を基に、画像情報から精度良く、携帯物の本体の領域を抽出できる。
しかし、既に説明しているとおり、携帯物は、画像情報の内部で、いろいろな位置及び向きとなっている。そこで、本実施の形態に係る携帯物領域処理部20は、まず、紐領域を基に、画像情報から携帯物領域が含まれる可能性が高い携帯物候補領域を抽出し、この携帯物候補領域から、携帯物領域を抽出する。このように、紐領域を基に抽出した携帯物候補領域に含まれる携帯物領域の位置は、画像情報に対する携帯物領域の位置と比較し、位置及び向きが安定していると想定できる。そのため、携帯物候補領域を用いる本実施の形態に係る携帯物領域処理部20は、画像情報全体からの抽出に比べ、さらに精度を向上した携帯物領域を抽出できる。
続いて、本発明の実施の形態に係る携帯物領域処理部20に構成ついて、図面を参照して説明する。
図6は、第1の実施の形態に係る携帯物領域処理部20の構成の一例を示したブロック図である。携帯物領域処理部20は、携帯物候補領域抽出部201と携帯物領域抽出部202とを含む。
携帯物候補領域抽出部201は、紐領域処理部10から受け取った紐領域を基に、画像情報から携帯物領域を含むと予想される携帯物候補領域を抽出し、携帯物領域抽出部202に出力する。
携帯物領域抽出部202は、紐領域と携帯物候補領域を基に、携帯物候補領域から携帯物の画像を含む携帯物領域を抽出する。なお、携帯物領域抽出部202は、画像情報を参照しても良い。
次に、携帯物領域処理部20の動作について図面を参照して説明する。
図7は、携帯物領域処理部20の動作の一例を示すフローチャートである。
携帯物候補領域抽出部201は、紐領域を基に、画像情報から紐に接続している携帯物領域を含む携帯物候補領域を抽出し、抽出した携帯物候補領域を、携帯物領域抽出部202に出力する(ステップ1101)。
携帯物候補領域抽出部201は、この携帯物候補領域の抽出にいろいろな手法を使用できる。
例えば、ショルダーバッグのような携帯物の本体は、紐とつながって重力の方向(垂直方向)に下がっている。さらに、紐に接続しているショルダーバッグ本体の垂直方向に下がる端部線は、画像情報で紐の延長線上、つまり、紐と同じ方向(傾き)となっている可能性が高い。そこで、携帯物候補領域抽出部201は、受け取った紐領域の画像情報での傾きを求め、紐領域の傾きと同じ傾きで、携帯物候補領域を設定する。
この動作を具体的に説明すると次のようになる。携帯物候補領域抽出部201は、画像情報のX−Y軸に対する紐領域の傾きを求める。そして、携帯物候補領域抽出部201は、求めた紐領域の傾きに合わせて携帯物候補領域に設定する抽出形状を回転させ、携帯物候補領域を抽出する。このような動作に基づき、携帯物候補領域抽出部201は、紐領域と整合性の高い携帯物候補領域を抽出できる。
また、携帯物候補領域抽出部201は、紐領域又は紐領域から求めた属性情報(例えば紐の長さ又は幅)を基に、抽出する携帯物候補領域の大きさを決めてもよい。例えば、携帯物候補領域抽出部201は、紐領域の幅に対して所定の比率の大きさで携帯物候補領域を抽出しても良い。ここで所定の比率とは、例えば、一般的な携帯物(鞄、ザックなど)の紐の幅と本体の大きさの比率を基に、画像の誤差や紐領域の誤差を考慮したマージンを加えた比率である。この比率は、予め携帯物候補領域抽出部201が記憶していてもよく、携帯物候補領域抽出部201が、図示しない記憶部から取り出してもよい。
さらに、携帯物候補領域抽出部201は、携帯物候補領域の形状に、いろいろな形状を使用できる。例えば、携帯物候補領域の形状は、紐の端部に接続する長方形、釣鐘型の形状、台形、扇形などが想定できる。
携帯物候補領域を受け取った携帯物領域抽出部202は、携帯物候補領域と紐領域とに基づいて、携帯物を含む携帯物領域を抽出する(ステップ1102)。
携帯物領域抽出部202も、いろいろな手法を使用できる。
例えば、携帯物領域抽出部202は、受け取った紐領域が含む紐の属性情報(紐の色又は模様の情報)を基に、同じような属性(色又は模様)を携帯物の属性とし、携帯物領域を抽出しても良い。
また、携帯物領域抽出部202は、受け取った紐領域の属性情報(紐領域の形状、色又は模様の情報)を基に、図示しない予め保持している紐と携帯物の対応表から携帯物の属性を取り出して、携帯物領域を抽出しても良い。
さらに、携帯物候補領域に対する携帯物領域の位置は、ある程度絞り込むことができる。そのため、本実施の形態に係る携帯物領域抽出部202は、既に説明した、Bag−of−Keypointsといった手法を使用して、携帯物領域を抽出しても良い。
なお、携帯物領域処理部20は、携帯物候補領域抽出部201と携帯物領域抽出部202とに処理部を分けて動作せず、両方の処理部を一続きで動作する1つの処理部としてもよい。
また、携帯物領域は、携帯物領域に関するマップ情報、又は、携帯物の属性情報(例えば、色又は模様)を含んでもよい。
なお、第1の実施の形態に係る携帯物領域抽出装置1は、1つの装置に含まれる構成に限られない。例えば、紐領域処理部10(又は紐領域処理部11)及び携帯物領域処理部20は、図示しないネットワークで接続した別装置としてもよい。
また、携帯物領域抽出装置1は、各処理部の構成の一部又はすべてを1つの構成としても良い。
図8は、第1の実施の形態に係る紐領域処理部10又は紐領域処理部11の別の構成の一例を示すブロック図である。
紐領域処理部12は、端部成分抽出部101と、紐領域線対成分抽出部107と、紐領域抽出部104とを含む。
端部成分抽出部101及び紐領域抽出部104は、図2又は図4に示す端部成分抽出部101及び紐領域抽出部104と同様である。
紐領域線対成分抽出部107は、第1の実施の形態に係る端部線成分生成部102及び端部線対成分抽出部103、又は、第2の実施の形態に係る端部対成分抽出部105及び端部線対成分生成部106を合わせた構成と同様に動作する。つまり、紐領域線対成分抽出部107は、端部対成分から端部線対成分を抽出する。
このような構成の紐領域処理部12も、紐領域処理部10又は紐領域処理部11と同様に動作できる。
さらに、第1の実施の形態に係る携帯物領域抽出装置1は、サーバ又はPC(personal computer)のようなコンピュータを含み、各処理部の構成の一部又はすべてをコンピュータで実行するプログラムとして実現してもよい。
また、本実施の形態に係る携帯物領域抽出装置1の各構成は、コンピュータで実行するプログラムを記憶する図示しない記録媒体を含んでも良い。
このように動作に基づき、第1の実施の形態に係る携帯物領域抽出装置1は、受け取った画像情報から携帯物の紐領域を抽出し、抽出した紐領域を基に携帯物領域を抽出する。
このように第1の実施の形態に係る携帯物領域抽出装置1は、画像情報における姿勢や向きの変化が大きい携帯物を含む携帯物領域を精度良く抽出する効果を得ることができる。
その理由は、携帯物領域抽出装置1が、携帯物と比較して、形状が安定している紐領域を抽出し、その抽出した紐領域を基に携帯物領域を抽出するためである。
また、第1の実施の形態に係る携帯物領域抽出装置1は、テンプレートなどを必要としないで、携帯物領域を精度良く抽出する効果を得ることもできる。
その理由は、携帯物領域抽出装置1が、テンプレートを使用しなくても、精度良く抽出できる紐領域を抽出し、抽出した紐領域を基に携帯物領域を抽出するためである。
(第2の実施の形態)
第1の実施の形態に係る携帯物領域抽出装置1は、画像情報から紐領域を抽出し、その紐領域を基に携帯物領域を抽出した。しかし、携帯物は、人の画像部分に接続する部分又は重なる部分に存在する可能性が高い。そのため、携帯物領域抽出装置1は、画像情報から人の画像領域、あるいは人に関連する画像領域(以下、まとめて人領域と称す)を抽出し、抽出した人領域に基づいて、さらに精度良く紐領域を抽出できる。特に、携帯物領域抽出装置1は、携帯物と接していることが多い上半身、肩紐が掛かっている肩部又は胸部など、人の特定の部位の画像領域を人領域とし、その人領域から紐領域を抽出すると、さらに精度良く抽出できる。
第2の実施の形態に係る携帯物領域抽出装置2は、画像情報から人領域を抽出し、その人領域を基に紐領域を抽出する。
まず、第2の実施の形態に係る携帯物領域抽出装置2の構成について、図面を参照して説明する。
図9は、第2の実施の形態に係る携帯物領域抽出装置2の一例を示すブロック図である。図9において、図1と同様の構成には同じ番号を付している。
第2の実施の形態に係る携帯物領域抽出装置2は、人領域処理部30と、紐領域処理部13と、携帯物領域処理部20とを含む。
携帯物領域処理部20は、第1の実施の形態に係る携帯物領域処理部20と同様の構成を備え、同様の動作、つまり、画像情報と紐領域とを基に、携帯物領域を抽出する。そのため、携帯物領域処理部20の構成及び動作の詳細な説明は省略する。ただし、携帯物領域処理部20は、後ほど説明する人領域処理部30が抽出する人領域を使用しても良い。
紐領域処理部13は、次に説明する人領域処理部30から人領域を受け取り、人領域を基に紐領域を抽出する。紐領域処理部13は、第1の実施に形態に係る紐領域処理部10において、紐領域の抽出に用いる情報を画像情報全体から人領域に変更すれば、同様の構成及び動作のため、構成及び動作の詳細な説明は省略する。
人領域処理部30は、画像情報を受け取り、人又は人に関連する画像が含まれる人領域を抽出する。
次に、第2の実施に形態に係る人領域処理部30の構成について、図面を参照して説明する。
なお、第2の実施の形態に係る携帯物領域抽出装置2の説明では、人領域として、人の上半身、特に、胸の画像領域(以下、胸部領域と称す)を使用する。しかし、これは説明の便宜のためであり、本実施の形態は、これに限られるわけではない。例えば、本実施の形態に係る紐領域処理部13が受け取る人領域は、人全体の画像でもよく、ほかの部位、例えば肩、腕の画像でも良い。また、人領域は、複数の部位を含む画像でも良く、複数の部位の画像の組み合わせでも良い。
図10は、本実施の形態に係る人領域処理部30の一例を示すブロック図である。
本実施の形態に係る人領域処理部30は、画像情報から直接、胸部領域を抽出してもよい。しかし、本実施の形態の説明では、人領域処理部30は、人の画像の中でも特徴が多いため、精度よく抽出ができる頭又は顔を含む領域の画像(以下、頭部領域と称す)を抽出し、その頭部領域を基に胸部領域を抽出する。このように、本実施の形態に係る人領域処理部30は、胸部領域の抽出の精度を向上する。
人領域処理部30は、頭部領域抽出部301と胸部領域抽出部302とを含む。
頭部領域抽出部301は、画像情報から頭部領域を抽出する。
胸部領域抽出部302は、頭部領域を基に、画像情報から胸部領域を抽出し、紐領域処理部13に出力する。
なお、本実施の形態に係る人領域処理部30は、胸部領域に頭部領域を含めて紐領域処理部13に出力してもよい。
次に第2の実施の形態に係る人領域処理部30の動作について、図面を参照して説明する。
図11は、人領域処理部30の動作の一例を示すフローチャートである。
人領域処理部30の頭部領域抽出部301は、画像情報から頭部領域を抽出し、胸部領域抽出部302に出力する(ステップ1201)。
なお、頭部領域抽出部301における頭部検出又は顔検出は、一般的な検出方式(例えば、Haar−like)を使用すればよく、詳細な説明は省略する。
次に、胸部領域抽出部302は、受け取った頭部領域を基に、胸部領域を抽出し、紐領域処理部13に出力する(ステップ1202)。胸部領域抽出部302は、胸部領域の抽出に、いろいろな方式を使用できる。例えば、胸部領域抽出部302は、頭部領域と画像情報の上下方向の情報とを基に、頭部領域に接続し、頭部に対して所定の比率の範囲となっている領域を胸部領域として抽出しても良い。また、胸部領域抽出部302は、頭部領域のシルエットを延長し胸部領域を抽出しても良い。
なお、本実施の形態に係る人領域処理部30は、これに限られるわけではない。
図12は、本実施の形態に係る別の人領域処理部31の一例を示すブロック図である。
人領域処理部31は、人部領域抽出部303と、胸部領域抽出部304とを含む。
人部領域抽出部303は、画像情報から人を含む人領域を抽出する。人部領域抽出部303は、画像情報から人領域を抽出するために、いろいろな手法を使用できる。
例えば、カメラの設置場所が会社の建物の従業員の入出口で、画像情報が動画の場合、動画(画像情報)が含む動く物体(以下、動物体と称す)は、人である。そこで、人部領域抽出部303は、背景差分又はフレーム間差分を用いて画像情報の動物体の領域を抽出し、動物体の領域を人領域として抽出する。
このように、人領域を抽出した人部領域抽出部303は、抽出した人領域を胸部領域抽出部304に出力する。
胸部領域抽出部304は、人部領域抽出部303から人領域を受け取り、画像情報から胸部領域を抽出する。胸部領域抽出部304は、いろいろな手法を使用できる。
例えば、胸部領域抽出部304は、人を所定頭身(例えば、8頭身)と仮定を基に、人領域を高さ方向に所定に数に等分(例えば、8等分)し、上から所定の頭身目(例えば、2頭身目の領域又は3頭身目)の領域を胸部領域として抽出してもよい。
また、胸部領域抽出部304は、人物領域の幅を上から確認し、幅が広くなっている部分を肩として判定し、その下の領域を胸部領域として抽出しても良い。
胸部領域を抽出した人領域処理部31は、胸部領域を紐領域処理部13に出力する。
図13は、本実施の形態に係る別の人領域処理部32の一例を示すブロック図である。
人領域処理部32は、人部領域抽出部303と、頭部領域抽出部305と、胸部領域抽出部302とを含む。
図13に示す人部領域抽出部303は、図12に示す人部領域処理部303と同様に人領域を抽出する。
頭部領域抽出部305は、人領域を基に、頭部領域を抽出する。頭部領域抽出部305は、人領域を基に頭部領域を抽出するため、画像情報全体から抽出する図10に示す頭部領域抽出部301と比べ、頭部領域の抽出精度を向上できる。
図13に示す胸部領域抽出部302は、図10に示す胸部領域抽出部302と同様に、頭部領域から胸部領域を抽出する。ただし、既に説明したとおり頭部領域の精度が向上しているため、図13に示す胸部領域抽出部302は、図10に示す胸部領域抽出部302と比べ、精度を向上した胸部領域を抽出できる。
このような動作に基づいて、人領域処理部32は、人領域(本実施の形態の説明では胸部領域)を抽出し、紐領域処理部13に出力する。
人領域処理部30が抽出した人領域を受け取った紐領域処理部13は、画像情報の人領域として指定された領域に基づいて紐領域を抽出し、携帯物領域処理部20に出力する。
紐領域処理部13は、第1の実施に携帯に係る紐領域処理部10と比較し、抽出処理に使用する範囲が、画像情報全体から、紐領域が含まれる可能性が高く範囲も狭い人領域となっている。このため、第2の実施の形態に係る紐領域処理部13は、第1の実施に形態に係る紐領域処理部10と比較し、抽出の精度が向上し、抽出に必要な時間も短くなる。
なお、紐は人の画像範囲から外に出ている場合もあるため、紐領域処理部13は、携帯物領域処理部20に出力する紐領域を、人領域の範囲に限る必要はない。紐領域処理部13は、人領域を基に人領域の外部まで紐領域を延長し、延長した紐領域を携帯物領域処理部20に渡しても良い。
なお、紐領域の抽出の精度も向上しているため、第2の実施の形態に係る携帯物領域処理部20は、第1の実施の形態に係る携帯物領域処理部20と比べ、携帯物領域の抽出の精度が向上する。
このように第2の実施の形態に係る携帯物領域抽出装置2は、第1の実施の形態の効果に加え、精度の良い携帯物領域を抽出する効果を得ることができる。
その理由は、携帯物領域抽出装置2は、紐の存在する可能性が高い人領域を基に紐領域を抽出するため、紐領域の抽出の精度を向上できる。そして、精度の良い紐領域を用いて携帯物領域を抽出するため、携帯物領域抽出装置2は、携帯物領域も精度よく抽出できるためである。
(第3の実施の形態)
第1の実施の形態の携帯物領域抽出装置1は、画像情報の携帯物領域を抽出したが、抽出した携帯物領域を基に、携帯物を判定できる。
第3の実施の形態に係る携帯物領域抽出装置3は、携帯物を判定する。
図14は、第3の実施の形態に係る携帯物領域抽出装置3の構成の一例を示すブロック図である。図14において図1と同様の構成には同じ番号を付してある。
携帯物領域抽出装置3は、紐領域処理部10と、携帯物領域処理部20と、携帯物判定部40を含む。
紐領域処理部10と携帯物領域処理部20とは、第1の実施の形態と同様のため、構成及び動作の詳細な説明は、省略する。
携帯物判定部40は、携帯物領域処理部20から、携帯物領域を受け取り、携帯物領域に含まれる携帯物を判定する。なお、この判定結果を、携帯物情報と称す。
携帯物判定部40は、携帯物の判定として、いろいろな手法を使用できる。
例えば、携帯物判定部40は、予め、携帯物の特徴情報(色、模様、大きさ、形など)と携帯物の示す情報(名称、型番など)とを含むデータを図示しない記憶部に保持しておく。そして、携帯物判定部40は、保持した携帯物の特徴情報と携帯物領域のデータとの類似の程度(例えば相関係数)を算出し、最も類似の程度が高い特徴情報を、携帯物を示す情報として判定する。
なお、携帯物の特徴情報は、携帯物を判定するための情報であれば特に制限はない。ただし、携帯物判定部40は画像情報を基に携帯物を判定するため、携帯物の特徴は、視覚的な特徴を示す画像特徴量(例えば、色、模様、形状、輪郭、大きさ)を想定できる。
また、本実施の形態の携帯物判定部40は、類似の程度の判定として、いろいろな手法を使用できる。例えば、携帯物判定部40は、画像情報の2次元相関を求めても良く、模様の繰り返しパターン又はグラデーション(gradation)の変化率を使用しても良い。
なお、携帯物判定部40は、類似の程度が同程度の携帯物が複数ある場合、図示しない表示装置に複数の携帯物の候補を出力し、選択できるようにしても良い。
また、携帯物判定部40は、携帯物領域に加え、紐領域を使用して携帯物を判定しても良い。例えば、携帯物判定部40は、紐領域の幅や長さを基に携帯物の候補を絞り込んでも良く、紐領域の模様を基に携帯物の候補を絞り込んでも良い。
なお、第3の実施の形態に係る携帯物領域抽出装置3は、人領域処理部30をさらに含んでも良い。
このように第3の実施の形態に係る携帯物領域抽出装置3は、第1の実施の形態の効果に加え、携帯物を判別する効果を得ることができる。
その理由は、携帯物領域抽出装置3が、携帯物領域と携帯物の特徴情報とを基に携帯物を判別する携帯物判定部40を含み、携帯物領域から携帯物(携帯物情報)を判定するためである。
(第4の実施の形態)
第3の実施の形態に係る携帯物領域抽出装置3は、携帯物情報を抽出した。この携帯物情報は、その携帯物を所持している人物を判定するための参照情報になる。
第4の実施形態に係る携帯物領域抽出装置4は、判定した携帯物の情報(携帯物情報)を基に、携帯物の所有者を判定する。
図15は、第4の実施の形態に係る携帯物領域抽出装置4の構成の一例を示すブロック図である。図15において、図14と同様の構成は、同じ番号を付し、詳細な説明は省略する。
携帯物領域抽出装置4は、第3の実施の形態に係る携帯物領域抽出装置3と同様の紐領域処理部10と携帯物領域処理部20と携帯物判定部40とを含み、さらに、人物判定部50を含む。
紐領域処理部10と携帯物領域処理部20と携帯物判定部40とは、第3の実施の形態物領域抽出装置3と同様のため、構成及び動作の詳細な説明は省略する。
人物判定部50は、携帯物判定部40から携帯物情報を受け取り、図示しない記憶部が保存している人物と携帯物との対応の情報を基に、人物を判定する。
例えば、人物判定部50は、携帯物判定部40から受け取った携帯物情報が特定の人物しか所持しない携帯物(特定業務用の作業鞄又は会社名の入った鞄など)の場合、記憶部が保存している情報を基にその携帯物を持つ人物を判定する。このように、人物判定部50は、携帯物情報から人物を判定できる。なお、この結果を人物情報と称する。
このように第4の実施の形態に係る携帯物領域抽出装置4は、第3の実施の形態の係る携帯物領域抽出装置3の効果に加え、さらに携帯物を所持する人物を判定する効果を得ることができる。
その理由は、携帯物領域抽出装置4が、判定した携帯物情報を基に、携帯物を所持している人物(人物情報)を判定するためである。
(第5の実施の形態)
第4の実施の形態では、携帯物から所持する人物を判定した。しかし、携帯物を所持する人物は、携帯物を判定するための情報ともなる。また、身分証明書又は建物の通過許可証として、所持者の識別(Identification)のための情報(識別情報、ID情報)を記憶したICカードが、利用される。さらに、RFID(Radio Frequency Identification)など物品にも、識別する情報が付属している(以下、これらをまとめてID情報と称す)。このID情報を用い、携帯物領域抽出装置1は、抽出の精度を向上できる。
第5の実施の形態に係る携帯物領域抽出装置5は、抽出処理にID情報を利用する。
図16は、第5の実施の形態に係る携帯物領域抽出装置5の構成の一例を示すブロック図である。
図16において、図1と同様の構成には同じ番号を付してある。
第5の実施の形態に係る携帯物領域抽出装置5は、紐領域処理部14と、携帯物領域処理部20とを含む。
携帯物領域処理部20は、第1の実施の形態に係る携帯物領域処理部20と構成及び動作が同様のため、詳細な説明は省略する。
紐領域処理部14は、画像情報を受け取り、さらに、図示しないID情報検出器からID情報を受け取る。
そして、紐領域処理部14は、図示しない人物のデータベース又は携帯物のデータベースにID情報を送信し、人物の属性に関する情報、又は、携帯物の属性に関する情報を受け取る。ここで、人物の属性に関する情報とは、例えば、性別、年齢、身体的特徴(身長、胸部の幅や厚さ)である。また、携帯物の属性に関する情報とは、例えば、鞄の型番、メーカー名、素材である。
なお、紐領域処理部14は、ID情報検出器からID情報を受けるのではなく、人物又は携帯物の属性に関する情報を受け取るようにしてもよい。
そして、紐領域処理部14は、既に説明した紐領域の抽出に、受け取った人物の属性又は携帯物の属性を利用して、画像情報から紐領域を抽出する。
例えば、子供は、鞄を斜めに掛けることが多い。そのため、紐領域処理部14は、人物の属性が子供の場合、紐領域を傾いた領域として抽出する。一方、成人男性は、鞄を片側の肩に掛けることが多い。そこで、紐領域処理部14は、人物の属性が成人男性の場合、紐領域を垂直に近い方向の領域として抽出する。
また、紐領域処理部14は、携帯物の属性として、例えば、紐の形状の情報を入手し、その形状に沿った紐領域を抽出してもよい。さらに、紐領域処理部14は、紐の形状の情報を基に、紐領域の抽出の手法を変更しても良い。
このように第5の実施に形態に係る紐領域処理部14は、精度を向上した紐領域を抽出できる。
その結果、第5の実施の形態に係る携帯物領域処理部20は、精度が向上した紐領域に基づいて携帯物領域を抽出するため、抽出の精度を向上できる。
なお、ID情報を使用するのは、紐領域処理部14に限られわけではない。携帯物領域処理部20、人領域処理部30、携帯物判定部40及びそれらが含む内部の構成も、ID情報を基に得た各種の情報を参照して、動作しても良い。
例えば、人領域処理部30は、人物の性別を入手し、男性なら胸部を広く、女性なら胸部を狭く抽出してもよい。
また、携帯物領域処理部20は、性別を基に、男性ならアタッシュケースのような四角形の形状、女性ならハンドバックのような台形又は円形に近い形状を携帯物領域として抽出してもよい。
同様に、携帯物判定部40は、性別を基に、男性ならアタッシュケース又はブリーフケース、女性ならハンドバック又は手提げバックを携帯物の候補の上位として判定してもよい。
このように第5の実施の形態に係る携帯物領域抽出装置5は、第1の実施の形態の係る携帯物領域抽出装置1に比べ、さらに精度良く携帯物領域を抽出する効果を得ることができる。
その理由は、携帯物領域抽出装置5が、ID情報を基に携帯物を所持している者又は携帯物の情報を入手し、入手した情報を参照し、携帯物領域の抽出の精度を向上できるためである。
(第6の実施の形態)
第1の実施形態に係る携帯物領域抽出装置1は、紐領域を抽出した。携帯物領域抽出装置1は、この紐領域を基に、紐の種類を判定し、紐の種類を利用して、携帯物領域を抽出できる。
第6の実施の形態に係る携帯物領域抽出装置6は、抽出した紐領域を基に携帯物の紐の種類を判別し、紐の種類も用いて携帯物領域を抽出する。
図17は、第6の実施の形態に係る携帯物領域抽出装置6の構成の一例を示すブロック図である。図17において、図1と同様の構成には同じ番号を付してある。
携帯物領域抽出装置6は、紐領域処理部10と携帯物領域処理部21とを含み、さらに紐判定部60を含む。
紐領域処理部10は、第1の実施の形態に係る紐領域処理部10と同様のため、構成及び動作の詳細な説明は、省略する。
紐判定部60は、紐領域処理部10から紐領域を受け、この紐領域に含まれる紐を判定する。この判定結果を、紐情報と称す。
紐判定部60は、判定として、紐そのもの(例えば、A社のBバッグの紐)を判定しても良く、紐の種類(平たい帯紐、円形の紐、鎖など)を判定しても良い。
また、紐判定部60は、判定方法としていろいろな手法を使用できる。例えば、紐判定部60は、紐領域が含む画像の模様が均等ならば平たい紐と判定する。また、中央での模様の図形(例えば円)の変形が少なく、中央を対称に端部に近づくほど模様の図形が変形(円形から楕円形)している場合、紐判定部60は、断面が曲面(例えば円形または半円)の紐と判定する。さらに、紐領域で円形又はだ円形の図形が繰り返されている場合、紐判定部60は、鎖状の紐と判定する。紐判定部60は、判定した紐の情報(紐情報)を携帯物領域処理部21に出力する。
携帯物領域処理部21は、紐領域と紐情報とを基に、携帯物領域を抽出する。例えば、平らで幅が広い紐は厚さある携帯物を支える紐と想定できるため、携帯物領域処理部21は、携帯物として厚さのある四角形の鞄を想定して携帯物領域を抽出してもよい。また、紐が細い又は鎖の場合、携帯物領域処理部21は、女性用の鞄を想定して携帯物領域を抽出してもよい。
このように、第6の実施の形態に係る携帯物領域処理部21は、紐領域と紐の情報とに基づいて、第1の実施の形態に係る携帯物領域処理部20と比べ、携帯物領域の抽出の精度を向上できる。
なお、携帯物領域抽出装置6は、人抽出部30、携帯物判定部40、又は、人物判定部50のいずれか、又は、2つ以上を含んでいても良い。
このように第6の実施の形態に係る携帯物領域抽出装置6は、第1の実施の形態の係る携帯物領域抽出装置1の効果に加え、さらに精度良く携帯物領域を抽出できる。
その理由は、携帯物領域抽出装置6が、紐領域を基に携帯物の紐を判定する紐判定部60を備えているためである。そして、携帯物領域処理部21は、紐領域に加え、紐判定部60が判定した紐情報を用いて、携帯物領域を抽出するため、抽出の精度を向上できるためである。
(第7の実施の形態)
学校のように出入りする人が余り変化しない場合、携帯物の変化も少ないことが、想定できる。そのような場所の携帯物領域抽出装置1は、各処理部が抽出又は生成した情報を保存し、次の判定又は抽出で参照する学習機能を備え、携帯物領域の抽出の精度及び時間を向上できる。
第7の実施の形態に係る携帯物領域抽出装置7は、抽出した情報を保存して使用する機能(学習機能)を備えている。
なお、説明の便宜のため、第7の実施の形態における学習機能は、紐領域処理部15に含まれる機能として説明するが、本実施に形態は、これに限られるわけではない。携帯物領域処理部20、人領域処理部30、携帯物判定部40、人物判定部50、又は、紐判定部60のいずれか又は2つ以上が、学習機能を備えてもよい。
図18は、第7の実施の形態に係る携帯物領域抽出装置7の一例を示すブロック図である。なお、図18において図1と同様の構成には、同じ番号を付し、詳細な説明は省略する。
第7の実施の形態に係る携帯物領域抽出装置7は、紐領域処理部15と、携帯物領域処理部20とを含み、さらに、紐領域情報保持部70を含む。
携帯物領域処理部20は、第1の実施の形態に係る携帯物領域処理部20と同様の構成及び動作のため、詳細な説明は、省略する。
紐領域処理部15は、紐領域の抽出の動作で生成した情報を紐領域情報保持部70に渡し、保持する。そして、紐領域処理部15は、紐領域の抽出の動作において、紐領域情報保持部70に保持した情報を利用する。
このように、紐領域情報保持部70が保持する情報は、紐領域処理部15が、紐領域を抽出するために使用する情報である。そのため、紐領域処理部15は、携帯物領域処理部20に送付する紐領域を紐領域情報保持部70に保持する必要はなく、抽出処理の途中の情報、例えば、端部成分、又は、端部対成分を保持しても良い。また、紐領域処理部15は、ほかの情報を含めて紐領域を紐領域情報保持部70に保持しても良く、紐領域の一部の情報を保持しても良い。なお、紐領域処理部15は、複数の携帯物の紐領域に関する情報を紐領域情報保持部70に保持してもよい。
紐領域情報保持部70は、紐領域処理部15から受けた情報を保持又は更新し、必要に応じて、紐領域処理部15に保持した情報を出力する。
次に、このように構成された携帯物領域抽出装置7の動作について説明する。
なお、紐領域処理部15が、紐領域を抽出するときに、紐領域情報保持部70の情報を使用する以外の動作は、第1の実施の形態と同様のため、同様の動作の説明は、省略する。
紐領域処理部15は、紐領域を抽出するときに、紐領域情報保持部70が保持している紐領域に関する情報を参照する。
この動作の一例として、図3のステップ1003に示す端部線対成分の抽出に適用した場合ついて説明する。
紐領域処理部15は、端部線対成分を抽出するとき、対として組み合わせる端部線成分の幅として、紐領域情報保持部70が保持している端部線対成分の幅を参照し、その幅に基づいて端部線対成分が抽出できるかどうかを判定する。抽出できた場合、紐領域処理部15は、抽出した端部線対成分を基に紐領域を抽出する。このように、紐領域処理部15は、紐領域情報保持部70の情報を使用して、紐領域を抽出する。保存している情報は、抽出する携帯物の情報と近い可能性が高い。つまり、保存している情報と抽出する情報との差が、小さい可能性が高い。そのため、紐領域処理部15は、保存している情報に基づくと、画像情報全体からの抽出に比べ、短い時間で端部線対成分を抽出できる可能性が高い。
その結果、携帯物領域抽出装置7は、第1の実施の形態に係る携帯物領域抽出装置1に比べ、短い時間で携帯物領域を抽出できる。
さらに、紐領域情報保持部70が保持している情報は、抽出する携帯物と近い可能性が高いため、紐領域処理部15は、近い情報を参照して抽出するため、抽出の精度を向上できる。
このように、第7の実施の形態に係る携帯物領域抽出装置7は、前に抽出した携帯物に近い携帯物が続く場合、抽出の時間を短くし、精度を向上させることができる。
この結果、携帯物領域処理部20は、精度が向上した紐領域に基づいて抽出するため、携帯物領域の抽出の精度が向上する。また、紐領域処理部15の処理時間が短くなるため、携帯物領域抽出装置7は、画像情報から携帯物領域を抽出するまでの時間を短くできる。
なお、紐領域情報保持部70が保持する情報を使用して抽出ができなかった場合、紐領域処理部15は、参照する情報を紐領域情報保持部70が保持する別の携帯物の紐領域に関する情報に変更して紐領域を抽出する。
そして、紐領域情報保持部70が保持する全ての情報を使用して抽出ができなかった場合、紐領域処理部15は、第1の実施の形態の紐領域処理部10と同様に動作し、紐領域を抽出する。
このように第7の実施の形態に係る携帯物領域抽出装置7は、第1の実施の形態の係る携帯物領域抽出装置1の効果に加え、さらに抽出の時間を短く、精度の向上する効果を得ることができる。
その理由は、携帯物領域抽出装置7が、抽出処理で生成した情報を保持し、以降の抽出処理で使用するため、形状が近い携帯物が続く場合、抽出の時間を短くし、抽出の精度も向上できるためである。
(第8の実施の形態)
第7の実施の形態に係る携帯物領域抽出装置7は、抽出又は生成した情報を保持して使用した。しかし、一時的に異なる種類の携帯物が入ってきた場合、保持している情報が変化してしまい、携帯物領域抽出装置7の抽出の動作が、不安定となる。
このため第8の実施の形態に係る携帯物領域抽出装置8は、保持している情報を時系列的に参照するようにしている。
なお、説明の便宜のため、第8の実施の形態における時系列的な参照は、紐領域処理部16の備える機能として説明するが、本実施の形態は、これに限られるわけではない。携帯物領域処理部20、人領域処理部30、携帯物判定部40、人物判定部50、又は、紐判定部60のいずれか又は2つ以上が、時系列情報に基づく動作を含んでいてもよい。
図19は、第8の実施の形態に係る携帯物領域抽出装置8の一例を示すブロック図である。なお、図19において図1と同様の構成には、同じ番号を付し、詳細な説明は、省略する。
第8の実施の形態に係る携帯物領域抽出装置8は、紐領域処理部16と、携帯物領域処理部20とを含み、さらに、紐領域事前情報保持部80を含む。
携帯物領域処理部20は、第1の実施の形態に係る携帯物領域処理部20と同様に構成され、同様に動作する。
紐領域処理部16は、紐領域を抽出するときに生成した情報を紐領域事前情報保持部80に送り、保持する。そして、紐領域処理部16は、紐領域を抽出するときに、画像情報に加え、紐領域事前情報保持部80が保持する情報を利用する。
なお、紐領域事前情報保持部80が保持する情報は、紐領域処理部16が、紐領域を抽出するために使用する情報である。そのため、紐領域処理部16は、携帯物領域処理部20に送付する紐領域を保持する必要はなく、抽出処理の途中の情報、例えば、端部成分、又は、端部対成分を携帯物領域処理部20に保持しても良い。また、紐領域処理部16は、紐領域にほかの情報を含めて携帯物領域処理部20に保持していても良く、紐領域の一部を保持しても良い。
紐領域事前情報保持部80は、紐領域処理部16から情報を受け取り保持する。ただし、紐領域事前情報保持部80は、保持する情報に保持した時間の情報(時間情報)を追加して保持する。なお、時間情報は、紐領域事前情報保持部80が追加するのではなく、紐領域処理部16が、時間情報を追加して、紐領域事前情報保持部80に保持しても良い。
このように構成された携帯物領域抽出装置8の動作について説明する。
なお、紐領域処理部16が紐領域を抽出するときに紐領域事前情報保持部80の情報を使用する以外の動作は、第1の実施の形態の同様のため、同様の動作の説明は省略する。
紐領域処理部16は、紐領域を抽出するときに、紐領域事前情報保持部80の保持されている紐領域を参照する。
この動作の一例として、図3のステップ1003に示す端部線対成分の抽出の場合ついて説明する。
紐領域処理部16は、端部線対成分を抽出するとき、紐領域事前情報保持部80が保持する端部線対成分の幅を参照し、その幅に基づいて端部線対成分が抽出できるかどうかを判定する。
抽出できた場合、紐領域処理部16は、抽出した端部線対成分を基に紐領域を抽出する。このように、紐領域処理部16は、紐領域事前情報保持部80の情報を使用し、紐領域を抽出するため、画像全体から抽出に比べ、抽出時間を短くできる。
さらに、紐領域事前情報保持部80が保持する情報は抽出する携帯物と近い可能性が高いため、紐領域処理部16は、抽出の精度も向上できる。
この結果、携帯物領域処理部20は、精度が向上した紐領域に基づいて携帯物領域を抽出するため、携帯物領域の抽出の精度を向上できる。また、紐領域処理部16の処理時間が短くなるため、携帯物領域抽出装置8は、画像情報から携帯物領域を抽出するまでの時間を短くできる。
ここで、紐領域処理部16は、紐領域事前情報保持部80が保持する情報を使用するとき、保持している情報を時系列処理して使用する。
例えば、紐領域処理部16は、紐領域事前情報保持部80が保持する端部線対成分の時間を確認し、最新から10個の端部線対成分の幅の平均値を端部線対成分の抽出で参照する幅とする。ここで、参照する幅は、10個のデータの平均のため、突発的に入ってきた携帯物の影響は、10分の1となる。その後、通常の携帯物の情報を保存すれば、突発的な携帯物の影響は、10分の1のままである。さらに、新しい携帯物の情報が10個を越えると、紐領域処理部16は、突発的な携帯物の影響を受けなくなる。
このような動作に基づき、第8の実施の形態に係る携帯物領域抽出装置8は、異なる携帯物が入ってきても、時系列的な平均を使用しているため、その影響を小さいものとできる。このように、第8の実施の形態に係る携帯物領域抽出装置8は、携帯物の変化に対しても耐性を備えている。
なお、携帯物領域抽出装置8が使用する時系列処理は、単純な平均に限られるわけではない。例えば、携帯物領域抽出装置8は、時系列的に加重を設定した加重平均を使用しても良く、カルマンフィルタ(Kalman Filter)のような統計的手法を使用してもよい。
なお、時系列情報を使用して抽出ができなかった場合、紐領域処理部16は、第1の実施の形態の紐領域処理部10と同様の動作に基づき紐領域を抽出する。
このように第8の実施の形態に係る携帯物領域抽出装置8は、第1の実施の形態の係る携帯物領域抽出装置1の効果に加え、さらに携帯物領域を精度良く抽出する効果を得ることができる。
その理由は、携帯物領域抽出装置8が、携帯物領域の抽出に、過去に抽出した情報を時系列的に使用するため、過去の生成又は抽出した情報に基に抽出処理の精度を向上できるためである。
さらに、第8の実施の形態に係る携帯物領域抽出装置8は、第7の実施の形態に係る携帯物領域抽出装置7の効果に加え、安定した動作を実現する効果を得ることができる。
その理由は、携帯物領域抽出装置8が、保持している情報を時系列処理して使用するため、携帯物の一時的な変化に耐性を備えるためである。
以上説明した本発明の各実施の形態は、すべてCPUを用いて実行されるプログラムの制御に基づいて各処理を実行しても良い。その場合、携帯物領域抽出装置は、少なくとも、CPUと、プログラムを記録した記録媒体と、プログラムを実行するための作業領域を確保するRAMと、データ、情報の格納場所としてのディスク記憶部とを含んでも良い。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記)
(付記1)
画像情報から携帯物の紐を含む紐領域を抽出する紐領域処理部と、
前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する携帯物領域処置部と
を含む携帯物領域抽出装置。
(付記2)
前記紐領域処理部が、
前記画像情報の端部成分を抽出する端部成分抽出部と、
前記端部成分に基づいて端部線対成分を抽出する紐領域線対成分抽出部と、
前記端部線対成分に基づいて紐領域を抽出する紐領域抽出部と
を含むことを特徴とする付記1に記載の携帯物領域抽出装置。
(付記3)
前記紐領域線対成分抽出部が、
前記端部成分に基づいて端部線成分を生成する端部線成分生成部と、
前記端部線成分に基づいて端部線対成分を抽出する端部線対成分抽出部と
を含むことを特徴とする付記2に記載の携帯物領域抽出装置。
(付記4)
前記紐領域線対成分抽出部が、
前記端部成分に基づいて端部対成分を抽出する端部対成分抽出部と、
前記端部対成分に基づいて端部線対成分を生成する端部線対成分生成部と
を含むことを特徴とする付記2に記載の携帯物領域抽出装置。
(付記5)
前記携帯物領域処理部が、
前記紐領域に基づいて携帯物領域を含む携帯物候補領域を抽出する携帯物候補領域抽出部と、
前記携帯物候補領域に基づいて携帯物領域を抽出する携帯物領域抽出部と
を含むことを特徴とする付記1乃至付記4のいずれかに記載の携帯物領域抽出装置。
(付記6)
前記画像情報における人の一部又は全体を含む人領域を抽出する人領域抽出部をさらに含み、
前記紐領域処理部が、前記人領域に基づいて前記紐領域を抽出すること
を特徴とする付記1乃至付記5のいずれかに記載の携帯物領域抽出装置。
(付記7)
前記携帯物領域に基づいて携帯物を判定する携帯物判定部をさらに含むことを特徴とする付記1乃至付記6のいずれかに記載の携帯物領域抽出装置。
(付記8)
前記携帯物判定部から携帯物の情報を受け取り、前記携帯物を保持する人物を判定する人物判定部をさらに含むことを特徴とする付記7に記載の携帯物領域抽出装置。
(付記9)
前記紐領域処理部が、前記携帯物を所持する人物の属性、又は、前記携帯物の属性に基づいて、前記紐領域の抽出することを特徴とする付記1乃至付記8のいずれかに記載の携帯物領域抽出装置。
(付記10)
前記紐領域に基づいて紐を判定する紐判定部をさらに含むことを特徴とする付記1乃至付記9のいずれかに記載の携帯物領域抽出装置。
(付記11)
前記紐領域処理部が紐領域の抽出で生成した情報を保持する情報保持部をさらに含み、
前記紐領域処理部が、紐領域の抽出に、前記情報保持部が保持した情報を利用することを特徴とする付記1乃至付記10のいずれかに記載の携帯物領域抽出装置。
(付記12)
前記紐領域処理部が紐領域の抽出で生成した情報を時間情報と共に保持する事前情報保持部をさらに含み、
前記紐領域処理部が、紐領域の抽出に、前記事前情報保持部が保持した情報を時系列処理して利用することを特徴とする付記1乃至付記10のいずれかに記載の携帯物領域抽出装置。
(付記13)
画像情報から携帯物の紐を含む紐領域を抽出し、
前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する
携帯物領域抽出方法。
(付記14)
前記紐領の抽出が、
前記画像情報の端部成分を抽出し、
前記端部成分に基づいて端部線対成分を抽出し、
前記端部線対成分に基づいて紐領域を抽出することを特徴とする付記13に記載の携帯物領域抽出方法。
(付記15)
前記紐領域線対成分の抽出が、
前記端部成分に基づいて端部線成分を抽出し、
前記端部線成分に基づいて端部線対成分を抽出することを特徴とする付記14に記載の携帯物領域抽出方法。
(付記16)
前記紐領域線対成分の抽出が、
前記端部成分に基づいて端部対成分を抽出し、
前記端部対成分に基づいて端部線対成分を抽出することを特徴とする付記14に記載の携帯物領域抽出方法。
(付記17)
前記携帯物領域の抽出が、
前記紐領域に基づいて携帯物領域を含む携帯物候補領域を抽出し、
前記携帯物候補領域に基づいて携帯物領域を抽出することを特徴とする付記13乃至付記16のいずれかに記載の携帯物領域抽出方法。
(付記18)
前記画像情報における人の一部又は全体を含む人領域を抽出し、
前記人領域に基づいて前記紐領域を抽出すること
を特徴とする付記13乃至付記17のいずれかに記載の携帯物領域抽出方法。
(付記19)
前記携帯物領域に基づいて携帯物を判定することを特徴とする付記13乃至付記18のいずれかに記載の携帯物領域抽出方法。
(付記20)
前記携帯物の判定に基づいて、前記携帯物を保持する人物を判定することを特徴とする付記19に記載の携帯物領域抽出方法。
(付記21)
前記携帯物を所持する人物の属性、又は、前記携帯物の属性に基づいて、前記紐領域の抽出することを特徴とする付記13乃至付記20のいずれかに記載の携帯物領域抽出方法。
(付記22)
前記紐領域に基づいて紐を判定することを特徴とする付記13乃至付記21のいずれかに記載の携帯物領域抽出方法。
(付記23)
前記紐領域の抽出で生成した情報を保持し、
前記紐領域の抽出に、前記保持した情報を利用することを特徴とする付記13乃至付記22のいずれかに記載の携帯物領域抽出方法。
(付記24)
前記紐領域の抽出で生成した情報を時間情報と共に保持し、
前記紐領域の抽出に、前記保持した情報を時系列処理して利用することを特徴とする付記13乃至付記22のいずれかに記載の携帯物領域抽出方法。
(付記25)
画像情報から携帯物の紐を含む紐領域を抽出する処理と、
前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する処理
をコンピュータに実行させる携帯物領域抽出プログラム。
(付記26)
前記紐領の抽出する処理が、
前記画像情報の端部成分を抽出する処理と、
前記端部成分に基づいて端部線対成分を抽出する処理と、
前記端部線対成分に基づいて紐領域を抽出する処理と
を含むことを特徴とする付記25に記載の携帯物領域抽出プログラム。
(付記27)
前記紐領域線対成分の抽出する処理が、
前記端部成分に基づいて端部線成分を抽出する処理と、
前記端部線成分に基づいて端部線対成分を抽出する処理と
を含むことを特徴とする付記26に記載の携帯物領域抽出プログラム。
(付記28)
前記紐領域線対成分の抽出する処理が、
前記端部成分に基づいて端部対成分を抽出する処理と、
前記端部対成分に基づいて端部線対成分を抽出する処理と
を含むことを特徴とする付記26に記載の携帯物領域抽出プログラム。
(付記29)
前記携帯物領域の抽出する処理が、
前記紐領域に基づいて携帯物領域を含む携帯物候補領域を抽出する処理と、
前記携帯物候補領域に基づいて携帯物領域を抽出する処理と
を含むことを特徴とする付記25乃至付記28のいずれかに記載の携帯物領域抽出プログラム。
(付記30)
前記画像情報における人の一部又は全体を含む人領域を抽出する処理をさらに含み、
前記紐領域を抽出する処理が前記人領域に基づくこと
を特徴とする付記25乃至付記29のいずれかに記載の携帯物領域抽出プログラム。
(付記31)
前記携帯物領域に基づいて携帯物を判定する処理をさらに含むことを特徴とする付記25乃至付記30のいずれかに記載の携帯物領域抽出プログラム。
(付記32)
前記携帯物の判定に基づいて、前記携帯物を保持する人物を判定する処理をさらに含むことを特徴とする付記31に記載の携帯物領域抽出プログラム。
(付記33)
前記紐領域の抽出する処理で前記携帯物を所持する人物の属性、又は、前記携帯物の属性を利用することを特徴とする付記25乃至付記32のいずれかに記載の携帯物領域抽出プログラム。
(付記34)
前記紐領域に基づいて紐を判定する処理をさらに含むことを特徴とする付記25乃至付記33のいずれかに記載の携帯物領域抽出プログラム。
(付記35)
前記紐領域の抽出の処理で生成した情報を保持する処理を含み、
前記紐領域の抽出する処理で、前記保持した情報を利用することを特徴とする付記25乃至付記34のいずれかに記載の携帯物領域抽出プログラム。
(付記36)
前記紐領域の抽出の処理で生成した情報を時間情報と共に保持する処理と含み、
前記紐領域の抽出する処理で、前記保持した情報を時系列処理して利用することを特徴とする付記25乃至付記34のいずれかに記載の携帯物領域抽出プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2010年9月17日に出願された日本出願特願2010−209434を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1、2、3、4、5、6、7、8 携帯物領域抽出装置
10、11、12、13、14、15、16 紐領域処理部
20、21 携帯物領域処理部
30、31、32 人領域処理部
40 携帯物判定部
50 人物判定部
60 紐判定部
70 紐領域情報保持部
80 紐領域事前情報保持部
90 人物抽出装置
91 撮影装置
92 表示装置
101 端部成分抽出部
102 端部線成分生成部
103 端部線対成分抽出部
104 紐領域抽出部
105 端部対成分抽出部
106 端部線対成分生成部
107 紐領域線対成分抽出部
201 携帯物候補領域抽出部
202 携帯物領域抽出部
301、305 頭部領域抽出部
302、304 胸部領域抽出部
303 人部領域抽出部

Claims (10)

  1. 画像情報から携帯物の紐を含む紐領域を抽出する紐領域処理手段と、
    前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する携帯物領域処置手段と
    を含む携帯物領域抽出装置。
  2. 前記紐領域処理手段が、
    前記画像情報の端部成分を抽出する端部成分抽出手段と、
    前記端部成分に基づいて端部線対成分を抽出する紐領域線対成分抽出手段と、
    前記端部線対成分に基づいて紐領域を抽出する紐領域抽出手段と
    を含むことを特徴とする請求項1に記載の携帯物領域抽出装置。
  3. 前記紐領域線対成分抽出手段が、
    前記端部成分に基づいて端部線成分を生成する端部線成分生成手段と、
    前記端部線成分に基づいて端部線対成分を抽出する端部線対成分抽出手段と
    を含むことを特徴とする請求項2に記載の携帯物領域抽出装置。
  4. 前記紐領域線対成分抽出手段が、
    前記端部成分に基づいて端部対成分を抽出する端部対成分抽出手段と、
    前記端部対成分に基づいて端部線対成分を生成する端部線対成分生成手段と
    を含むことを特徴とする請求項2に記載の携帯物領域抽出装置。
  5. 前記携帯物領域処理手段が、
    前記紐領域に基づいて携帯物領域を含む携帯物候補領域を抽出する携帯物候補領域抽出手段と、
    前記携帯物候補領域に基づいて携帯物領域を抽出する携帯物領域抽出手段と
    を含むことを特徴とする請求項1乃至請求項4のいずれかに記載の携帯物領域抽出装置。
  6. 前記画像情報における人の一部又は全体を含む人領域を抽出する人領域抽出手段をさらに含み、
    前記紐領域処理手段が、前記人領域に基づいて前記紐領域を抽出することを特徴とする請求項1乃至請求項5のいずれかに記載の携帯物領域抽出装置。
  7. 前記携帯物領域に基づいて携帯物を判定する携帯物判定手段をさらに含むことを特徴とする請求項1乃至請求項6のいずれかに記載の携帯物領域抽出装置。
  8. 前記携帯物判定手段から携帯物の情報を受け取り、前記携帯物を保持する人物を判定する人物判定手段をさらに含むことを特徴とする請求項7に記載の携帯物領域抽出装置。
  9. 画像情報から携帯物の紐を含む紐領域を抽出し、
    前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する
    携帯物領域抽出方法。
  10. 画像情報から携帯物の紐を含む紐領域を抽出する処理と、
    前記紐領域に基づいて前記画像情報から携帯物を含む携帯物領域を抽出する処理
    をコンピュータに実行させる携帯物領域抽出プログラム。
JP2012534082A 2010-09-17 2011-09-15 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム Pending JPWO2012036306A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010209434 2010-09-17
JP2010209434 2010-09-17
PCT/JP2011/071751 WO2012036306A1 (ja) 2010-09-17 2011-09-15 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム

Publications (1)

Publication Number Publication Date
JPWO2012036306A1 true JPWO2012036306A1 (ja) 2014-02-03

Family

ID=45831758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012534082A Pending JPWO2012036306A1 (ja) 2010-09-17 2011-09-15 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム

Country Status (3)

Country Link
US (1) US8977005B2 (ja)
JP (1) JPWO2012036306A1 (ja)
WO (1) WO2012036306A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3007174B1 (fr) * 2013-06-13 2016-09-09 Michelin & Cie Methode de traitement de l'image numerique de la surface d'un pneumatique en vue de la detection d'une anomalie
US10152780B2 (en) 2015-11-02 2018-12-11 Cognex Corporation System and method for finding lines in an image with a vision system
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
WO2017165191A2 (en) * 2016-03-23 2017-09-28 The Procter & Gamble Company Imaging method for determining stray fibers
JP7006009B2 (ja) * 2017-08-15 2022-01-24 富士フイルムビジネスイノベーション株式会社 画像識別装置及び画像形成プログラム
JP7259921B2 (ja) * 2018-07-18 2023-04-18 日本電気株式会社 情報処理装置、及び制御方法
JP6992900B2 (ja) * 2018-07-18 2022-01-13 日本電気株式会社 情報処理装置、制御方法、及びプログラム
CN111325141B (zh) * 2020-02-18 2024-03-26 上海商汤临港智能科技有限公司 交互关系识别方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117532A (ja) * 1997-06-16 1999-01-12 Kobe Steel Ltd 平行線分検出装置及びその方法並びに平行線分検出制御プログラムを記録した記録媒体
JP2003308534A (ja) * 2002-04-18 2003-10-31 Denso Corp 白線認識装置
JP2010086482A (ja) * 2008-10-02 2010-04-15 Canon Inc 画像認識装置および画像認識方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7231087B2 (en) * 2002-10-30 2007-06-12 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
JP4494837B2 (ja) * 2003-12-26 2010-06-30 Sriスポーツ株式会社 ゴルフスウィング診断システム
JP2006006359A (ja) 2004-06-22 2006-01-12 Fuji Photo Film Co Ltd 画像生成装置、画像生成装置方法、およびそのプログラム
JP2006011965A (ja) 2004-06-28 2006-01-12 Denso Corp 画像解析装置,プログラム
JP4002919B2 (ja) * 2004-09-02 2007-11-07 技研トラステム株式会社 移動体高さ判別装置
DE102005006989A1 (de) * 2005-02-15 2006-08-24 Robert Bosch Gmbh Verfahren für die Überwachung eines Überwachungsbereichs
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
KR101260847B1 (ko) * 2007-02-08 2013-05-06 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 행동 인식 시스템
JP2009007532A (ja) 2007-06-29 2009-01-15 Nitto Shinko Kk ホットメルト接着シートならびにホットメルト接着シート製造方法
AU2008200966B2 (en) * 2008-02-28 2012-03-15 Canon Kabushiki Kaisha Stationary object detection using multi-mode background modelling
AU2008264228B2 (en) * 2008-11-24 2010-11-25 Canon Kabushiki Kaisha Detection of abandoned and vanished objects
US8611590B2 (en) * 2008-12-23 2013-12-17 Canon Kabushiki Kaisha Video object fragmentation detection and management
AU2010257454B2 (en) * 2010-12-24 2014-03-06 Canon Kabushiki Kaisha Summary view of video objects sharing common attributes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117532A (ja) * 1997-06-16 1999-01-12 Kobe Steel Ltd 平行線分検出装置及びその方法並びに平行線分検出制御プログラムを記録した記録媒体
JP2003308534A (ja) * 2002-04-18 2003-10-31 Denso Corp 白線認識装置
JP2010086482A (ja) * 2008-10-02 2010-04-15 Canon Inc 画像認識装置および画像認識方法

Also Published As

Publication number Publication date
US8977005B2 (en) 2015-03-10
WO2012036306A1 (ja) 2012-03-22
US20130182962A1 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
WO2012036306A1 (ja) 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム
US10546417B2 (en) Method and apparatus for estimating body shape
Pala et al. Multimodal person reidentification using RGB-D cameras
Ha et al. Convolutional neural networks for human activity recognition using multiple accelerometer and gyroscope sensors
Micilotta et al. Detection and Tracking of Humans by Probabilistic Body Part Assembly.
Schuldt et al. Recognizing human actions: a local SVM approach
Ghiasi et al. Parsing occluded people
US20190188456A1 (en) Image processing device, image processing method, and computer program product
Guo et al. Facial expression recognition influenced by human aging
Hu et al. Exploring structural information and fusing multiple features for person re-identification
JP2015197708A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
Wang Analysis and evaluation of Kinect-based action recognition algorithms
Das Activity recognition using histogram of oriented gradient pattern history
Ismail et al. Review of existing algorithms for face detection and recognition
Liu et al. Gender recognition technology of whole body image
Han et al. Multilinear supervised neighborhood embedding with local descriptor tensor for face recognition
Aulia et al. HOG of region of interest for improving clothing retrieval performance
Nurzynska et al. PCA application in classification of smiling and neutral facial displays
Salih et al. Topographical Features for Senior Adult Age Estimation
Chou et al. Fast deformable model for pedestrian detection with Haar-like features
SIVANI et al. Face Detection and Recognition
Iglesias-Ham et al. Convex deficiencies for human action recognition
Staniucha et al. Mouth Features Extraction for Emotion Analysis
Alzughaibi et al. A precise human detection model using combination of feature extraction techniques in a dynamic environment
MITRA Efficient Covariance-based Algorithms for Appearance Modeling in Computer Vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160816