JP5401695B2 - 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体 - Google Patents

画像識別装置、画像識別方法、画像識別プログラム及び記録媒体 Download PDF

Info

Publication number
JP5401695B2
JP5401695B2 JP2011114660A JP2011114660A JP5401695B2 JP 5401695 B2 JP5401695 B2 JP 5401695B2 JP 2011114660 A JP2011114660 A JP 2011114660A JP 2011114660 A JP2011114660 A JP 2011114660A JP 5401695 B2 JP5401695 B2 JP 5401695B2
Authority
JP
Japan
Prior art keywords
image
feature amount
block
block image
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011114660A
Other languages
English (en)
Other versions
JP2012243196A (ja
Inventor
寧 棚瀬
健 三浦
康弘 等々力
寿樹 椎野
兼介 羽深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Priority to JP2011114660A priority Critical patent/JP5401695B2/ja
Priority to CN2012101210633A priority patent/CN102800080A/zh
Priority to EP12168859.2A priority patent/EP2528020A3/en
Priority to US13/477,612 priority patent/US8855368B2/en
Publication of JP2012243196A publication Critical patent/JP2012243196A/ja
Application granted granted Critical
Publication of JP5401695B2 publication Critical patent/JP5401695B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Description

本発明は、画像識別装置、画像識別方法、画像識別プログラム及び記録媒体に関するものである。
従来、画像識別装置として、識別の対象となる対象画像をブロック状に分割してブロック画像を作成し、ブロック画像を予め設定された複数のカテゴリに分類する装置が知られている(例えば、特許文献1参照。)。特許文献1記載の装置は、教師画像を用いて画像の特徴を座標軸とする特徴量空間においてカテゴリごとに分離平面を学習し、分離平面とブロック画像の特徴量の大きさに対応する座標位置とに基づいて、ブロック画像をカテゴリに分類する。ブロック画像の特徴量は、当該ブロック画像の画像情報(色空間情報及び周波数成分)である。
特開2010−45613号公報
しかしながら、特許文献1記載の画像識別装置にあっては、ブロック画像を適切なカテゴリへ分類することが困難な場合がある。例えば、ブロック画像が青色一色である場合には、当該ブロックのカテゴリが「空」であるのか、あるいは「池」であるのか判断することが困難である。
そこで、本発明は、このような技術課題を解決するためになされたものであって、対象画像を分割して得られるブロック画像の分類精度を向上させることができる画像識別装置、画像識別方法、画像識別プログラム及び記録媒体を提供することを目的とする。
すなわち本発明に係る画像識別装置は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別装置であって、前記対象画像を入力する入力部と、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部と、前記ブロック画像の特徴量を演算する特徴量演算部と、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部と、を備え、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いることを特徴として構成される。
本発明に係る画像識別装置によれば、ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量だけでなく、対象画像全体の画像情報から算出される全体特徴量を用いるため、ブロック画像そのものの情報だけでなくブロック画像と対象画像との関係を考慮してブロック画像を分類することができる。このため、ブロック画像だけではカテゴリを判断することができない場合であっても対象画像全体をみればブロック画像のカテゴリを判断することが可能となる場合がある。したがって、ブロック画像の分類精度を向上させることができる。また、円形物が被写体となる場合に出現する特徴をブロック画像の特徴量として含ませることができる。
また、本発明に係る画像識別装置は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別装置であって、前記対象画像を入力する入力部と、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部と、前記ブロック画像の特徴量を演算する特徴量演算部と、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部と、を備え、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いることを特徴として構成される。このように構成することで、ブロック画像とその周囲に存在するブロック画像との関係を考慮して当該ブロック画像を分類することができる。
また、前記特徴量演算部は、前記近傍特徴量として、前記周辺ブロック画像から選択された前記ブロック画像の画像情報から算出される特徴量を用いてもよい。このように構成することで、周辺ブロック画像の対称性をブロック画像の特徴量に含めることができるため、ブロック画像とその周囲のブロック画像との関係を一層考慮して分類することが可能となる。
また、前記特徴量演算部は、前記ブロック画像の前記周辺ブロック画像のうち、当該ブロック画像を中心として対称に位置する前記周辺ブロック画像を選択してもよい。このように構成することで、周辺ブロックの特徴量を各々独自に算出したものを用いるのみではなく、対称性があるブロックの組についての特徴量を算出することができるため、左右・上下方向などに形状の対称性がある被写体と、背景とを分類することができる。
また、本発明に係る画像識別装置は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別装置であって、前記対象画像を入力する入力部と、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部と、前記ブロック画像の特徴量を演算する特徴量演算部と、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部と、を備え、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いることを特徴として構成される。このように構成することで、ブロック画像とその周囲に存在するブロック画像との関係を考慮して当該ブロック画像を分類することができる。
さらに、前記特徴量演算部は、前記準大域特徴量として、当該ブロック画像が含まれる横長の領域の前記ブロック画像からなる前記部分領域の画像情報から算出される特徴量、及び当該ブロック画像が含まれる縦長の領域の前記ブロック画像からなる前記部分領域の画像情報から算出される特徴量を用いてもよい。このように構成することで、水平方向・垂直方向に特徴のある被写体・背景等を適切に識別してブロック画像を分類することができる。
また、本発明に係る画像識別方法は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別方法であって、前記対象画像を入力する入力ステップと、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成ステップと、前記ブロック画像の特徴量を演算する特徴量演算ステップと、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別ステップと、を備え、前記特徴量演算ステップでは、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いることを特徴として構成される。
また、本発明に係る画像識別方法は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別方法であって、前記対象画像を入力する入力ステップと、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成ステップと、前記ブロック画像の特徴量を演算する特徴量演算ステップと、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別ステップと、を備え、前記特徴量演算ステップでは、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、を特徴として構成される。
また、本発明に係る画像識別方法は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別方法であって、前記対象画像を入力する入力ステップと、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成ステップと、前記ブロック画像の特徴量を演算する特徴量演算ステップと、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別ステップと、を備え、前記特徴量演算ステップでは、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、を特徴として構成される。
また、本発明に係る画像識別プログラムは、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムであって、前記対象画像を入力する入力部、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いること、を特徴とする画像識別プログラムとして構成される。
また、本発明に係る画像識別プログラムは、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムであって、前記対象画像を入力する入力部、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、を特徴とする画像識別プログラムとして構成される。
また、本発明に係る画像識別プログラムは、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムであって、前記対象画像を入力する入力部、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、を特徴とする画像識別プログラムとして構成される。
また、本発明に係る記録媒体は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記対象画像を入力する入力部、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いること、を特徴とする画像識別プログラムが記録された記録媒体として構成される。
また、本発明に係る記録媒体は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記対象画像を入力する入力部、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、を特徴とする画像識別プログラムが記録された記録媒体として構成される。
また、本発明に係る記録媒体は、予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記対象画像を入力する入力部、前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、前記特徴量演算部は、前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、を特徴とする画像識別プログラムが記録された記録媒体として構成される。
本発明に係る画像識別方法、画像識別プログラム及び画像識別ブログラムが記録された記録媒体によれば、上述した本発明に係る画像識別装置と同様の効果を奏する。
本発明によれば、対象画像を分割して得られるブロック画像の分類精度を向上させることができる。
実施形態に係る画像識別装置を搭載した携帯端末の機能ブロック図である。 図1中の画像識別装置が搭載される携帯端末のハードウェア構成図である。 対象画像のブロック単位の画像認識を説明する概要図である。(A)は対象画像、(B)はブロック分割された対象画像、(C)はブロック単位で分類された対象画像である。 ブロック単位の画像特徴量の一例である。 局所的特徴量を説明する概要図である。 輝度値及び色差値のヒストグラムの一例である。(A)はY成分のヒストグラム、(B)はU成分のヒストグラム、(C)はV成分のヒストグラムである。 近傍特徴量を説明する概要図である。 準大域特徴量を説明する概要図である。(A)は縦方向及び横方向に広がる領域、(B)は縦方向に延びる領域と横方向に延びる領域を示す概要図である。 全体特徴量を説明する概要図である。(A)は全領域、(B)は四隅領域を示す概要図である。 エッジの大きさの特徴量を説明する概要図である。 分離超平面を学習する装置の機能ブロック図である。 (A)は教師データの一例である。(B)はブロック単位の学習を説明する概要図である。 分離超平面を説明するための概要図である。 図1中の画像識別装置の動作を示すフローチャートである。
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
本実施形態に係る画像識別装置は、対象画像を一定サイズのブロック画像に分割し、ブロック単位で被写体を認識する装置であって、例えば、携帯電話、デジタルカメラ、PDA(Personal Digital Assistant)又は通常のコンピュータシステム等に搭載されるものである。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像識別装置の一例として、携帯端末に搭載される画像識別装置を説明する。
図1は、本実施形態に係る画像識別装置1を備える携帯端末3の機能ブロック図である。図1に示す携帯端末3は、例えばユーザにより携帯される移動端末であり、図2に示すハードウェア構成を有する。図2は、携帯端末3のハードウェア構成図である。図2に示すように、携帯端末3は、物理的には、CPU(Central Processing Unit)100、ROM(Read Only Memory)101及びRAM(Random Access Memory)102等の主記憶装置、カメラ又はキーボード等の入力デバイス103、ディスプレイ等の出力デバイス104、ハードディスク等の補助記憶装置105などを含む通常のコンピュータシステムとして構成される。後述する携帯端末3及び画像識別装置1の各機能は、CPU100、ROM101、RAM102等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU100の制御の元で入力デバイス103及び出力デバイス104を動作させるとともに、主記憶装置や補助記憶装置105におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末3のハードウェア構成として説明したが、画像識別装置1がCPU100、ROM101及びRAM102等の主記憶装置、入力デバイス103、出力デバイス104、補助記憶装置105などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末3は、通信モジュール等を備えてもよい。
図1に示すように、携帯端末3は、画像識別装置1、分離超平面データ(分離平面データ)31及びカテゴリデータ32を備えている。
画像識別装置1は、対象画像入力部10、ブロック画像生成部11、特徴量演算部12及びカテゴリ判別部13を備えている。対象画像入力部10は、識別対象の画像データとして、対象画像30を入力する機能を有している。対象画像入力部10は、例えば、携帯端末3に搭載されたカメラにより撮像された対象画像30を入力してもよいし、通信を介して対象画像30を入力してもよい。対象画像入力部10は、例えば携帯端末3の主記憶装置又は補助記憶装置105に対象画像30を記録する。
ブロック画像生成部11は、入力された対象画像30を一定領域のブロックに分割して、ブロック画像を生成する機能を有している。例えば、ブロック画像生成部11は、図3の(A)に示す対象画像G1を図3の(B)に示すように複数のブロック画像BLに分割する。ブロック画像生成部11は、例えば図中のように対象画像G1を縦4ブロック×横6ブロックに分割する。なお、ブロック画像生成部11は、対象画像G1を縦16ブロック×横16ブロックに分割してもよいし、他の割合で分割してもよい。ブロック画像生成部11は、対象画像G1の長辺が所定値以下となるようにリサイズした後に分割してもよい。ブロック画像生成部11は、ブロック画像を特徴量演算部12へ出力する機能を有している。
特徴量演算部12は、ブロック画像BLそれぞれの特徴量を算出する機能を有している。特徴量演算部12は、ブロック画像BLの輝度値又はエッジ情報等の画像情報から特徴量を算出する。すなわち、特徴量は被写体の特徴が反映されたものとなる。なお、特徴量の大きさは、特徴を座標軸とする特徴量空間において位置座標として表現することができる。例えば、p次元の特徴量であれば、特徴量の大きさは(β1,β2,…,βp)の座標位置となる。特徴量の詳細については後述する。特徴量演算部12は、ブロック画像BLそれぞれの特徴量をカテゴリ判別部13へ出力する機能を有している。
カテゴリ判別部13は、ブロック画像BLの特徴量に基づいて、ブロック画像BLを予め定められたカテゴリに分類する機能を有している。予め定められたカテゴリは、例えば、「海」、「山」、「空」、「夕焼け」、「紅葉」、「桜」、「雪」、「文字・メモ」、「人」、「料理」、「砂浜」、「花」、「緑」、「犬」又は「建物」等が挙げられる。また、予め定められたカテゴリとして「空集合」を含めてもよい。「空集合」を設定しておくことにより、正解のカテゴリが存在しない場合において強制的に既存のカテゴリに属すると判断するのではなく、「空集合」に属する(すなわち、どこにも属さない)と判断することができる。このため、誤判定を少なくすることができる。分離超平面データ31は、教師データに基づいて上記カテゴリごとに予め学習された分離超平面が含まれている。分離超平面は、p次元の特徴量データをJ=(α1,α2,…,αp)とし、ベクトル=(w1,w2,…,wp)、定数zとして以下の式1で表わされる。
Figure 0005401695

なお、分離超平面データ31の学習処理については後述する。カテゴリ判別部13は、分離超平面データ31を参照し、ブロック画像Bを上記カテゴリに分類する。カテゴリ判別部13は、ブロック画像Bが上記カテゴリに分類されるか否かを判別する。カテゴリ判別部13は、ブロック画像BLの特徴量と、あるカテゴリの分離超平面とを比較し、特徴量が分離超平面より大きい場合には、当該カテゴリに属すると判定する。他方、カテゴリ判別部13は、特徴量が分離超平面より大きくない場合には、当該カテゴリに属さないと判定する。例えば4つのカテゴリA〜Dが予め設定されており、それぞれの分離超平面が学習済みであるとする。カテゴリ判別部13は、図3の(C)に示すように、ブロック画像BLそれぞれについて、特徴量とカテゴリA〜Dごとの分離超平面とを比較してカテゴリA〜Dに分類する。より詳細には、カテゴリ判別部13は、上述した式1で表されるカテゴリごとの分離超平面と、特徴量演算部12によって得られたp次元の特徴量データO=(β1,β2,…,βp)とを特徴量空間において比較する。例えば、カテゴリ判別部13は、カテゴリごとの上記1式の左辺に画像特徴量演算処理によって求めた特徴量データを代入して、分離超平面と特徴量空間における座標(β1,β2,…,βp)との間の符号付き距離を計算し、距離の符号を判定する。なお、カテゴリ判別部13は、ブロック画像BLの特徴量が全ての分離超平面より大きくないと判定した場合には「該当なし」とする。また、ブロック画像BLが2つ以上のカテゴリに属する場合には、カテゴリ判別部13は、予め設定された優先順位によるカテゴリに属すると判定する。カテゴリ判別部13は、出力結果をカテゴリデータ32へ出力する。
次に、特徴量の詳細について説明する。特徴量演算部12は、図4に示すように、ブロック画像の特徴量として以下の4つの特徴量を採用する。図4は、対象画像(画像ID:○○○○)におけるブロックNo.1〜No.256のブロックごとの特徴量を示すものである。
第1の特徴量は、局所的特徴量(local特徴量)である。局所的特徴量は、対象とするブロック画像自体の画像情報から算出される。例えば、図5に示す対象画像G1の所定の対象ブロック画像B0の画像情報を用いて算出される。局所的特徴量は、例えば、対象ブロック画像B0の輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)のそれぞれの平均値及び分散値、対象ブロック画像B0における横方向のエッジの大きさ及び縦方向のエッジの大きさ、対象ブロック画像B0における横方向のエッジの大きさと縦方向のエッジの大きさとの比、対象ブロック画像B0におけるY成分のヒストグラム、又は、対象ブロック画像B0の画素値と肌色との類似度を含む。
なお、対象ブロック画像B0の画素値と肌色との類似度は、カテゴリ「人」を識別するために含む特徴量であり、予め設定されたカテゴリに「人」を含まない場合には採用しなくてもよい。
輝度値及び色差値のヒストグラムを特徴量として含む場合を説明する。図6の(A)〜(C)は、輝度値及び色差値の各成分のヒストグラムであり、横軸が輝度値成分又は色差値成分、縦軸が頻度である。図6に示すように、輝度値成分及び色差値成分は所定範囲間隔で階級に分類されている。例えば、図6の(A)に示すように、Y成分は0〜255がX1〜Xn(nは2以上の整数)の階級に分類されている。また、図6の(B)に示すように、U成分は0〜255がX1〜Xm(mは2以上の整数)の階級に分類されている。また、図6の(C)に示すように、V成分は0〜255がX1〜Xs(sは2以上の整数)の階級に分類されている。例えば、ブロック画像内において、Y成分の階級X1に属する輝度値の画素が2つあれば、「2」が特徴量となる。第1の特徴量は、Y成分のヒストグラムに示す階級X1〜Xmそれぞれの度数を特徴量として含む。
第2の特徴量は、近傍的特徴量(neighbor特徴量)である。近傍的特徴量は、対象ブロック画像の周囲を取り囲むブロック画像である周辺ブロック画像の画像情報から算出される。例えば、図7に示す対象画像G1の所定の対象ブロック画像B0の周囲を取り囲む周辺ブロック画像B1〜B8の画像情報から算出される。近傍的特徴量は、例えば、周辺ブロック画像B1〜B8の局所的特徴量、周辺ブロック画像B4,B5を合わせた輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値、又は、周辺ブロック画像B6,B8を合わせた輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値を含む。
周辺ブロック画像B4,B5に関する特徴量、及び、周辺ブロック画像B6,B8に関する特徴量は、周辺ブロック画像の対称性を判定するために用いられる。例えば、カテゴリ「空」であれば平均的に均一となる傾向があり、カテゴリ「人」であればその周囲は背景で平均的に均一となる傾向となる。このように、8つの周辺ブロック画像から選択された周辺ブロック画像を用いて特徴量を算出してもよい。選択方法としては、例えば、周辺ブロック画像のうち、対象ブロック画像を中心として対称に位置する周辺ブロック画像を選択する方法が考えられる。
第3の特徴量は、準大域特徴量(sub-global特徴量)である。準大域特徴量は、複数のブロック画像からなる部分領域であって対象ブロック画像が含まれる部分領域の画像情報から算出される。例えば、図8の(A)に示すように、対象画像G1の所定の対象ブロック画像B0が含まれる部分領域R2の画像情報から算出される。なお、対象ブロック画像を中心とした一定の大きさの円内の領域の画像情報から算出されてもよい。また、図8の(B)に示すように、対象画像G1の所定の対象ブロック画像B0が含まれる部分領域であって、縦一列のブロック画像からなる部分領域R3、又は、横一列のブロック画像からなる部分領域R4の画像情報から算出される。なお、部分領域R3,R4は、一列のみに限定されず、その上下左右の数列を含んだ縦長又は横長の領域であってもよい。また、部分領域R3,R4を二等分したうちの対象ブロック画像B0が属する部分領域の画像情報から算出してもよい。すなわち、準大域特徴量は、例えば、部分領域内の横方向及び縦方向の全画素の輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値、部分領域内の横方向及び縦方向の全画素を二等分した領域のうち対象ブロック画像が属する領域の輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値、又は、対象ブロック画像を含む一定の大きさの領域における画素の輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値を含む。
縦一列のブロック画像からなる部分領域R3の画像情報や、部分領域内の縦方向の画像情報を用いることで、カテゴリごとに異なる縦方向の変化を反映させた特徴量とすることができる。また、横一列のブロック画像からなる部分領域R4の画像情報や、部分領域内の横方向の画像情報を用いることで、カテゴリ「空」等、横方向に同様の画素が配置される傾向にあるカテゴリの判別をしやすい特徴量とすることができる。
第4の特徴量は、全体特徴量(global特徴量)である。全体特徴量は、対象画像全体の画像情報から算出される。例えば、図9の(A)に示す対象画像G1全体(全体領域R5)の画像情報から算出される。また、全体特徴量として、図9の(B)に示す四角形状の対象画像G1における四隅領域R6〜R9の画像情報から算出される。すなわち、全体特徴量は、例えば、対象画像G1の輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値、対象画像G1の横方向のエッジの大きさ及び縦方向のエッジの大きさ、対象画像G1のU成分のヒストグラムにおける階級X1〜Xmのそれぞれの度数、対象画像G1のV成分のヒストグラムにおける階級X1〜Xsのそれぞれの度数、対象画像G1の四隅領域R6〜R9における輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)の平均値及び分散値、対象画像G1の四隅領域R6〜R9における横方向のエッジの大きさ及び縦方向のエッジの大きさ、又は、対象画像に含まれるブロック画像の45度刻みの各方向でのエッジの大きさのヒストグラムにおける階級X1〜Xk(kは2以上の整数)のそれぞれの度数を含む。
対象画像G1の四隅領域R6〜R9における輝度値(Y成分)、色差値(U成分,V成分)及び彩度値(S成分)、対象画像G1の四隅領域R6〜R9における横方向のエッジの大きさ及び縦方向のエッジの大きさを含むことで、対象画像G1の隅の領域に表れる特徴を用いて分類することができる。人間が食器等の円形物を撮像する際には、撮像の際の美学的思想から、四隅に食器の縁部分が割り当てられるように撮像することが多い。このため、四隅領域R6〜R9における画像情報を用いることで円形物を適切に分類することができる。対象画像に含まれるブロック画像の45度刻み(0°,45°,90°,135°)の各方向において、図6の(A)と同様に、それぞれエッジの大きさを階級X1〜Xkとし、階級X1〜Xkに属する画素数を特徴量とすることで、食器が複数配置された定食を上から撮像した場合等、複数の円形物の縁部分を適切に分類することができる。なお、全体画像G1を16分割又は9分割して、分割領域の四隅のエッジのカウント値を組み合わせて特徴量としてもよい。この場合、同様に複数の円形物の縁部分を適切に分類することができる。
対象画像G1のU成分のヒストグラムにおける階級X1〜Xmのそれぞれの度数、及び対象画像G1のV成分のヒストグラムにおける階級X1〜Xsのそれぞれの度数については、図6の(B),(C)に示す内容と同様である。また、エッジの大きさについては、所定値以上となる場合には逆に低評価としてもよい。例えば、図10に示すように、エッジの大きさと特徴量との関係は、エッジの大きさが所定の閾値Hdとなるまでは特徴量が単調増加し、エッジの大きさが所定の閾値Hd以上となると単調減少するようにしてもよい。この場合、エッジの大きさが中程度のものとエッジの小さいもの及び大きいものとを区別することができる。例えば、エッジの大きさが大きい「文字」とエッジの大きさが中程度の「海」とを区別することができる。
次に、画像識別装置1の動作前に行われる分離超平面データ31の学習処理について説明する。図11は、学習装置2を有する携帯端末3の機能ブロック図である。図11に示すように、携帯端末3は、学習装置2及び分離超平面データ31を備えている。なお、学習装置2は、必要に応じて携帯端末3とは別のコンピュータにより実現されてもよい。
画像識別装置1は、教師データ入力部15、ブロック画像生成部11、特徴量演算部12及び分離超平面演算部16を備えている。教師データ入力部15は、学習対象の画像データとして、教師画像33を入力する機能を有している。図12の(A)は、カテゴリ「花」の正解を学習するための教師画像G2の一例である。また、図12の(B)に示すように、教師データには、ブロックBtの位置に「花」が描画されているという情報も含める。すなわち、図12の教師データは、正解のカテゴリをラベル付けした画像ブロックである。教師データとして、不正解のカテゴリをラベル付けした画像ブロックを含んでもよい。教師データは、予め定められたカテゴリごとに用意される。教師データ入力部15は、例えば、携帯端末3に搭載されたカメラにより撮像された教師画像33を入力してもよいし、通信を介して教師画像33を入力してもよい。教師データ入力部15は、例えば携帯端末3の主記憶装置又は補助記憶装置105に対象画像30を記録する。
ブロック画像生成部11は、上述の通り、入力された教師画像33を一定領域のブロックに分割して、ブロック画像を生成する機能を有している。特徴量演算部12は、上述の通り、ブロック画像それぞれの特徴量を算出する機能を有している。特徴量演算部12は、ブロック画像それぞれの特徴量を分離超平面演算部16へ出力する機能を有している。
分離超平面演算部16は、カテゴリごとの画像特徴量を入力して、カテゴリごとに分離超平面を算出する機能を有している。分離超平面演算部16は、例えば、学習アルゴリズムとして広く使われている線形SVM(support vector machine)の専用ライブラリを利用して分離超平面を算出する。以下では説明理解の容易性を考慮して、二次元の画像特徴量α1,α2における特徴量平面における分離超直線を説明する。図13に示すように、画像特徴量αを縦軸,画像特徴量α2を横軸として、正解の教師データC1と不正解の教師データC2がプロットされている。この場合、分離超平面演算部16は、線形SVMにより、正解の教師データC1及び不正解の教師データC2を分離する直線である分離超直線L1を学習する。学習結果は、分離超平面データ31として記録される。なお、d次元(d>2:dは整数)の場合には、特徴量平面は特徴量空間となり、分離超直線は分離超平面となる。従って、分離超平面は、分離超直線を包含する概念であり、特徴量空間は、特徴量平面を包含する概念である。
次に、本実施形態に係る画像識別装置1の動作を説明する。図14は、本実施形態に係る画像識別装置1の識別動作を示すフローチャートである。図14に示す制御処理は、上述した学習処理を実行後であって、例えば携帯端末3に備わる処理開始ボタンがONされたタイミングで実行される。
図14に示すように、対象画像入力部10が対象画像を入力する(S10:入力ステップ)。S10の処理が終了すると、ブロック画像生成処理へ移行する(S12:ブロック画像生成ステップ)。S12の処理では、ブロック画像生成部11がS10の処理で入力された対象画像を分割してブロック画像を生成する。S12の処理が終了すると、特徴量算出処理へ移行する(S14:特徴量演算ステップ)。S14の処理では、特徴量演算部12が、S12の処理で生成されたブロック画像それぞれについて特徴量を算出する。例えば、図4に示す特徴量を各ブロック画像について算出する。S14の処理が終了すると、分類処理へ移行する(S16:カテゴリ判別ステップ)。S16の処理では、カテゴリ判別部13が、S16の処理で演算されたブロック画像ごとの特徴量と、学習済みの分離超平面データ31とを比較して、所定のカテゴリの分離超平面よりも大きな特徴量を有するブロック画像については当該カテゴリに属すると判定する。全てのブロック画像についてカテゴリを判定すると、図14に示す制御処理を終了する。
次に、携帯端末3(コンピュータ)を画像識別装置1として機能させるための画像識別プログラムを説明する。
画像識別プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末3を動作させる。演算処理モジュールは、ブロック画像分割モジュール、特徴量演算モジュール及びカテゴリ判別モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像識別装置1の対象画像入力部10、ブロック画像生成部11、特徴量演算部12及びカテゴリ判別部13の機能とそれぞれ同様である。
画像識別プログラムは、例えば、ROM等の記憶媒体または半導体メモリによって提供される。また、画像識別プログラムは、データ信号としてネットワークを介して提供されてもよい。
以上、本実施形態に係る画像識別装置1によれば、ブロック画像B0の特徴量として、当該ブロック画像B0の画像情報から算出される局所的特徴量だけでなく、対象画像G1全体の画像情報から算出される全体特徴量を用いるため、ブロック画像B0そのものの情報だけでなくブロック画像B0と対象画像G1との関係を考慮してブロック画像B0を分類することができる。このため、ブロック画像B0だけではカテゴリを判断することができない場合であっても対象画像G1全体をみればブロック画像B0のカテゴリを判断することが可能となる場合がある。例えば、ブロック画像B0が青色の場合、ブロック画像B0の画像情報からではカテゴリが「空」なのか「海」なのか判断することが困難である。しかし、全体特徴量において「空」なのか「海」なのかを判断する特徴量を取得することができれば、ブロック画像B0のカテゴリを判断することも可能となる。したがって、ブロック画像B0の分類精度を向上させることができる。
また、本実施形態に係る画像識別装置1によれば、特徴量演算部12が、全体特徴量として、四角形状の対象画像G1における四隅領域R6〜R9の画像情報から算出される特徴量を用いるため、円形物が被写体となる場合に出現する特徴をブロック画像B0の特徴量として含ませることができる。
また、本実施形態に係る画像識別装置1によれば、特徴量演算部12が、ブロック画像B0の特徴量として、当該ブロック画像B0の周囲を取り囲む周辺ブロック画像B1〜B8の画像情報から算出される近傍特徴量を用いるため、ブロック画像B0とその周囲に存在する周辺ブロック画像B1〜B8との関係を考慮して当該ブロック画像B0を分類することができる。
また、本実施形態に係る画像識別装置1によれば、特徴量演算部12が、近傍特徴量として、周辺ブロック画像B1〜B8から選択されたブロック画像B0の画像情報から算出される特徴量を用いるため、周辺ブロック画像B1〜B8の対称性をブロック画像B0の特徴量に含めることができる。よって、ブロック画像B0と周辺ブロック画像B1〜B8との関係を一層考慮して分類することが可能となる。
また、本実施形態に係る画像識別装置1によれば、特徴量演算部12が、周辺ブロック画像B1〜B8から当該ブロック画像B0を中心として対称に位置する前記周辺ブロック画像を選択するため、周辺ブロック画像B1〜B8の特徴量を各々独自に算出したものを用いるのみではなく、対称性があるブロック画像の組についての特徴量を算出することができるため、左右・上下方向などに形状の対称性がある被写体と、背景とを分類することができる。例えば、人物や人の顔等を分類することが可能となる。
また、本実施形態に係る画像識別装置1によれば、特徴量演算部12が、ブロック画像B0の特徴量として、複数のブロック画像からなる部分領域であって当該ブロック画像B0が含まれる部分領域R2〜R4の画像情報から算出される準大域特徴量を用いるため、ブロック画像B0とその周囲に存在するブロック画像との関係を考慮して当該ブロック画像を分類することができる。
また、本実施形態に係る画像識別装置1によれば、特徴量演算部12が、準大域特徴量として、当該ブロック画像B0が含まれる縦一列のブロック画像からなる部分領域R3の画像情報から算出される特徴量、及び当該ブロック画像B0が含まれる横一列のブロック画像からなる部分領域R4の画像情報から算出される特徴量を用いるため、水平方向・垂直方向に特徴のある被写体・背景等を適切に識別してブロック画像を分類することができる。
なお、上述した実施形態は本発明に係る画像識別装置、画像識別方法、画像識別プログラム及び記録媒体の一例を示すものであり、実施形態に係る装置、方法、プログラム及び記録媒体に限られるものではなく、変形し、又は他のものに適用したものであってもよい。
例えば、上述した実施形態では、画像の特徴量として、局所的特徴量の他に、全体特徴量、近傍特徴量及び準大域特徴量を用いる場合を説明したが、局所的特徴量以外に全体特徴量、近傍特徴量及び準大域特徴量から選択される少なくとも1つの特徴量を用いる場合であっても、対象画像を分割して得られるブロック画像の分類精度を向上させることができる。
1…画像識別装置、2…学習装置、10…対象画像入力部(入力部)、11…ブロック画像生成部、12…特徴量演算部、13…カテゴリ判別部。

Claims (15)

  1. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別装置であって、
    前記対象画像を入力する入力部と、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部と、
    前記ブロック画像の特徴量を演算する特徴量演算部と、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部と、を備え、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い
    前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いること、
    を特徴とする画像識別装置。
  2. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別装置であって、
    前記対象画像を入力する入力部と、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部と、
    前記ブロック画像の特徴量を演算する特徴量演算部と、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部と、を備え、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、
    を特徴とする画像識別装置。
  3. 前記特徴量演算部は、前記近傍特徴量として、前記周辺ブロック画像から選択された前記ブロック画像の画像情報から算出される特徴量を用いる請求項2に記載の画像識別装置。
  4. 前記特徴量演算部は、前記ブロック画像の前記周辺ブロック画像のうち、当該ブロック画像を中心として対称に位置する前記周辺ブロック画像を選択する請求項3に記載の画像識別装置。
  5. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別装置であって、
    前記対象画像を入力する入力部と、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部と、
    前記ブロック画像の特徴量を演算する特徴量演算部と、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部と、を備え、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、
    を特徴とする画像識別装置。
  6. 前記特徴量演算部は、前記準大域特徴量として、当該ブロック画像が含まれる横長の領域の前記ブロック画像からなる前記部分領域の画像情報から算出される特徴量、及び当該ブロック画像が含まれる縦長の領域の前記ブロック画像からなる前記部分領域の画像情報から算出される特徴量を用いる請求項5に記載の画像識別装置。
  7. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別方法であって、
    前記対象画像を入力する入力ステップと、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成ステップと、
    前記ブロック画像の特徴量を演算する特徴量演算ステップと、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別ステップと、を備え、
    前記特徴量演算ステップでは、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い
    前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いること、
    を特徴とする画像識別方法。
  8. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別方法であって、
    前記対象画像を入力する入力ステップと、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成ステップと、
    前記ブロック画像の特徴量を演算する特徴量演算ステップと、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別ステップと、を備え、
    前記特徴量演算ステップでは、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、
    を特徴とする画像識別方法。
  9. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類する画像識別方法であって、
    前記対象画像を入力する入力ステップと、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成ステップと、
    前記ブロック画像の特徴量を演算する特徴量演算ステップと、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別ステップと、を備え、
    前記特徴量演算ステップでは、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、
    を特徴とする画像識別方法。
  10. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムであって、
    前記対象画像を入力する入力部、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、
    前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いること、
    を特徴とする画像識別プログラム。
  11. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムであって、
    前記対象画像を入力する入力部、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、
    前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、
    を特徴とする画像識別プログラム。
  12. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムであって、
    前記対象画像を入力する入力部、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、
    前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、
    を特徴とする画像識別プログラム。
  13. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    前記対象画像を入力する入力部、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、
    前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記全体特徴量として、四角形状の前記対象画像における四隅領域の画像情報から算出される特徴量を用いること、
    を特徴とする画像識別プログラムが記録された記録媒体。
  14. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    前記対象画像を入力する入力部、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、
    前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、当該ブロック画像の周囲を取り囲む前記ブロック画像である周辺ブロック画像の画像情報から算出される近傍特徴量を用いること、
    を特徴とする画像識別プログラムが記録された記録媒体。
  15. 予め設定されたカテゴリに画像を分類するために用いられる分離平面を、前記画像の特徴量を座標軸とする特徴量空間で予め学習し、前記分離平面を用いて、対象画像を分割して得られるブロック画像を前記カテゴリに分類するようにコンピュータを動作させる画像識別プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    前記対象画像を入力する入力部、
    前記対象画像を複数のブロックに分割して複数の前記ブロック画像を生成するブロック画像生成部、
    前記ブロック画像の特徴量を、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用いて演算する特徴量演算部、及び、
    前記特徴量空間における前記ブロック画像の特徴量の大きさに対応する座標位置及び前記分離平面を用いて、前記ブロック画像が前記カテゴリに分類されるか否かを判別するカテゴリ判別部として前記コンピュータを動作させ、
    前記特徴量演算部は、
    前記ブロック画像の特徴量として、当該ブロック画像の画像情報から算出される局所的特徴量及び前記対象画像全体の画像情報から算出される全体特徴量を用い、
    前記ブロック画像の特徴量として、複数の前記ブロック画像からなる部分領域であって当該ブロック画像が含まれる前記部分領域の画像情報から算出される準大域特徴量を用いること、
    を特徴とする画像識別プログラムが記録された記録媒体。
JP2011114660A 2011-05-23 2011-05-23 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体 Expired - Fee Related JP5401695B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011114660A JP5401695B2 (ja) 2011-05-23 2011-05-23 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
CN2012101210633A CN102800080A (zh) 2011-05-23 2012-04-23 图像识别装置以及图像识别方法
EP12168859.2A EP2528020A3 (en) 2011-05-23 2012-05-22 Image identification device, image identification method, image identification program, and recording medium
US13/477,612 US8855368B2 (en) 2011-05-23 2012-05-22 Image identification device, image identification method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011114660A JP5401695B2 (ja) 2011-05-23 2011-05-23 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2012243196A JP2012243196A (ja) 2012-12-10
JP5401695B2 true JP5401695B2 (ja) 2014-01-29

Family

ID=46545225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011114660A Expired - Fee Related JP5401695B2 (ja) 2011-05-23 2011-05-23 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US8855368B2 (ja)
EP (1) EP2528020A3 (ja)
JP (1) JP5401695B2 (ja)
CN (1) CN102800080A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5668932B2 (ja) * 2011-05-23 2015-02-12 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5401695B2 (ja) * 2011-05-23 2014-01-29 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5656082B2 (ja) * 2011-05-25 2015-01-21 株式会社日立ソリューションズ 画像処理装置、画像生成装置、画像処理方法、および、画像生成方法
US9053359B2 (en) * 2012-06-07 2015-06-09 Konica Minolta Laboratory U.S.A., Inc. Method and system for document authentication using Krawtchouk decomposition of image patches for image comparison
CN104239906B (zh) * 2013-06-24 2017-07-07 富士通株式会社 构建装置和方法、图像分类装置和方法以及电子设备
US20160170387A1 (en) * 2013-07-29 2016-06-16 Nec Solution Innovators, Ltd. 3d printer device, 3d printing method and method for manufacturing stereolithography product
CN103400391B (zh) * 2013-08-09 2016-08-10 北京博思廷科技有限公司 一种基于改进的随机森林的多目标跟踪方法及装置
US9798959B2 (en) 2013-11-30 2017-10-24 Beijing Sensetime Technology Development Co., Ltd Method and system for recognizing faces
US9934577B2 (en) * 2014-01-17 2018-04-03 Microsoft Technology Licensing, Llc Digital image edge detection
KR101598873B1 (ko) * 2014-01-20 2016-03-02 한국과학기술원 영상의 다변수화를 이용한 영상 구별 특징 자동 선별 장치 및 방법
US20180107660A1 (en) * 2014-06-27 2018-04-19 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102257226B1 (ko) * 2017-02-16 2021-05-28 현대자동차주식회사 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
JP6905850B2 (ja) * 2017-03-31 2021-07-21 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
CN109284749A (zh) 2017-07-19 2019-01-29 微软技术许可有限责任公司 精细化图像识别
JP2021511607A (ja) * 2018-04-25 2021-05-06 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 顔の特徴点に基づく首振り動作認識のためのシステムおよび方法
JP2020003837A (ja) * 2018-06-25 2020-01-09 日本電気株式会社 識別装置および識別方法
JP6984020B2 (ja) * 2018-07-31 2021-12-17 オリンパス株式会社 画像解析装置および画像解析方法
CN109711432A (zh) * 2018-11-29 2019-05-03 昆明理工大学 一种基于颜色方差的图像相似判定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000022942A (ja) * 1998-06-30 2000-01-21 Minolta Co Ltd 画像領域判別装置および方法ならびに画像領域判別プログラムを記録した記録媒体
US6707465B2 (en) * 2000-02-09 2004-03-16 Canon Kabushiki Kaisha Data processing apparatus and method, and storage medium
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
JP2009123234A (ja) * 2002-07-30 2009-06-04 Fujifilm Corp オブジェクト識別方法および装置ならびにプログラム
GB2409028A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP4768451B2 (ja) * 2006-01-18 2011-09-07 株式会社リコー 画像処理装置、画像形成装置、プログラムおよび画像処理方法
US7860320B2 (en) * 2006-06-26 2010-12-28 Eastman Kodak Company Classifying image regions based on picture location
JP4826531B2 (ja) * 2007-04-16 2011-11-30 セイコーエプソン株式会社 シーン識別装置、及び、シーン識別方法
JP2008282267A (ja) * 2007-05-11 2008-11-20 Seiko Epson Corp シーン識別装置、及び、シーン識別方法
JP4772839B2 (ja) 2008-08-13 2011-09-14 株式会社エヌ・ティ・ティ・ドコモ 画像識別方法および撮像装置
CN101630405B (zh) * 2009-08-14 2011-10-12 重庆市勘测院 一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法
JP5668932B2 (ja) * 2011-05-23 2015-02-12 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5401695B2 (ja) * 2011-05-23 2014-01-29 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5656082B2 (ja) * 2011-05-25 2015-01-21 株式会社日立ソリューションズ 画像処理装置、画像生成装置、画像処理方法、および、画像生成方法

Also Published As

Publication number Publication date
JP2012243196A (ja) 2012-12-10
US8855368B2 (en) 2014-10-07
US20120300982A1 (en) 2012-11-29
EP2528020A2 (en) 2012-11-28
CN102800080A (zh) 2012-11-28
EP2528020A3 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5401695B2 (ja) 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5668932B2 (ja) 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
CN102667810B (zh) 数字图像中的面部识别
US9239946B2 (en) Method and apparatus for detecting and processing specific pattern from image
Mai et al. Rule of thirds detection from photograph
US8805077B2 (en) Subject region detecting apparatus
WO2017190646A1 (zh) 一种人脸图像处理方法和装置、存储介质
JP6216871B2 (ja) 文書バウンダリ検知方法
US7457432B2 (en) Specified object detection apparatus
US8811725B2 (en) Learning device, learning method, identification device, identification method, and program
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
JP4772819B2 (ja) 画像検索装置および画像検索方法
JP2017004350A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5201184B2 (ja) 画像処理装置及びプログラム
JP5027201B2 (ja) テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
TWI660310B (zh) 比對追蹤物件的方法及電子裝置
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム
EP2541469A2 (en) Image recognition device, image recognition method and image recognition program
JP6717769B2 (ja) 情報処理装置及びプログラム
JP3768738B2 (ja) 電子ファイリングシステム,表紙識別処理装置およびそれらのプログラム記録媒体
JP2011003022A (ja) 画像処理装置及びプログラム
JP2020144465A (ja) 情報処理装置、情報処理方法及びプログラム
KR101308656B1 (ko) 컬러 증명용 사진의 얼굴후보영역 또는 피부영역 검색 방법
JP2013054529A (ja) 画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131007

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees