JP4840066B2 - 回転角度検出装置、および回転角度検出装置の制御方法 - Google Patents

回転角度検出装置、および回転角度検出装置の制御方法 Download PDF

Info

Publication number
JP4840066B2
JP4840066B2 JP2006277185A JP2006277185A JP4840066B2 JP 4840066 B2 JP4840066 B2 JP 4840066B2 JP 2006277185 A JP2006277185 A JP 2006277185A JP 2006277185 A JP2006277185 A JP 2006277185A JP 4840066 B2 JP4840066 B2 JP 4840066B2
Authority
JP
Japan
Prior art keywords
rotation angle
likelihood
pixel extraction
extraction pattern
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006277185A
Other languages
English (en)
Other versions
JP2008097245A (ja
Inventor
敏則 長橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006277185A priority Critical patent/JP4840066B2/ja
Priority to US11/869,141 priority patent/US7995866B2/en
Publication of JP2008097245A publication Critical patent/JP2008097245A/ja
Application granted granted Critical
Publication of JP4840066B2 publication Critical patent/JP4840066B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Description

本発明は、回転角度検出装置、回転角度検出装置の制御方法および制御プログラムに係り、特に検出対象画像において人の顔画像のようなオブジェクトの回転角度(二次元画像平面内における回転角度)を検出するための回転角度検出装置、および回転角度検出装置の制御方法に関する。
従来より人の顔の検出は、証明写真や顔認識による入退室管理などの様々なアプリケーションを想定して行われている。
例えば、証明写真では、写真中の位置、サイズ、顔の方向などが厳密に定められている。
また、顔検出、顔認識技術は、様々なものが知られているが、顔が直立状態にあることを前提に行われている。
このように顔の方向を検出し、直立に補正することは、アプリケーションの広がりと、顔検出、顔認識精度に大きく影響することが容易に理解できる。
このような技術として、特許文献1には、肌色領域の重心と顔の特徴点とから、参照パラメータを算出して顔の画像平面上における回転角度(傾き)を検出する技術が開示されている。
特許3454726号
しかしながら、人種の違いによる肌の色の違いや照明状況によっては、見かけ上の色の範囲が大きく変化してしまう。また、顔の向きによっても見かけ上の色の範囲が大きく変化していた。
この結果、上記従来の技術では、必ずしも正確なオブジェクトの回転角度を検出することはできないという問題点があった。
そこで、本発明の目的は、肌の色や照明の影響を低減し、簡易かつ高速にオブジェクトの回転角度を検出することが可能な回転角度検出装置、および回転角度検出装置の制御方法を提供することにある。
上記課題を解決するため、検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出する回転角度検出装置において、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンと、各前記画素抽出パターンについて抽出した複数の画素の画像特徴量を検出する特徴量検出部と、前記回転角度の尤度を、予め前記画像特徴量に対応づけて前記画素抽出パターン毎に記憶する尤度記憶部と、各前記画素抽出パターンに対応する画像特徴量および前記尤度に基づいて最大尤度を有する回転角度を前記オブジェクトの回転角度として判別する回転角度判別部と、を備えたことを特徴としている。
上記構成によれば、特徴量検出部は、各前記画素抽出パターンについて抽出した複数の画素の画像特徴量を検出する。
これにより回転角度判別部は、各前記画素抽出パターンに対応する画像特徴量および尤度記憶部に記憶されている尤度に基づいて最大尤度を有する回転角度をオブジェクトの回転角度として判別する。
したがって、画像特徴量(例えば、輝度差)および最大尤度に基づいてオブジェクトの回転角度を簡易かつ高速に判別して検出することができる。
この場合において、前記尤度記憶部は、前記画像特徴量を複数段階に量子化し、前記段階毎、かつ、所定回転角度毎に前記尤度を記憶しているようにしてもよい。
上記構成によれば、記憶容量の増大を抑制し、処理の高速化が図れる。
また、前記回転角度判別部は、全ての前記画素抽出パターンに対応する尤度を前記所定回転角度毎に積算して積算尤度を生成し、前記積算尤度が最も高い前記所定回転角度を前記オブジェクトの回転角度として判別するようにしてもよい。
上記構成によれば、容易な処理で判別結果の信頼性の向上が図れる。
さらに、前記画像特徴量は、前記画像特徴量を検出する複数画素で構成される画素領域を二つの画素領域としたときの各画素領域を代表する輝度の輝度差であるようにしてもよい。
上記構成によれば、オブジェクトが人の顔画像であるような場合であっても、人種による肌の色の違いあるいは照明状況の影響を低減して、より確実にオブジェクトの回転角度を検出することができる。
さらにまた、所定の基準位置画素および対象画素を対角線上の頂点とする矩形内のすべての画素の輝度値を積分して当該対象画素に対応する積分画素値とし、前記検出対象画像を構成するすべての画素に対応する積分画素値を求めて積分画像を生成する積分画像生成部を備え、前記特徴量検出部は、前記積分画像に基づいて前記画像特徴量を検出するようにしてもよい。
上記構成によれば、単純な演算で高速に画像特徴量を検出することが可能となる。
また、前回の前記検出対象画像のリサイズあるいは前回の画素抽出パターンのリサイズを行って今回の検出対象画像あるいは今回の画素抽出パターンを生成することにより、検出対象画像と画素抽出パターンとの相対的な大きさの変更を行うリサイズ処理部を備えるようにしてもよい。
上記構成によれば、検出対象画像と画素抽出パターンとの相対的な大きさの変更を毎回行うことにより、リサイズ処理に要するメモリ容量を必要以上に大きくすることなく、オブジェクトの回転角度を検出させることができる。
また、複数種類の原画素抽出パターンを生成する抽出パターン生成部と、前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、を備えたことを特徴としている。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
これにより尤度算出部は、原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出し、抽出パターン選択部は、算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する。
したがって、抽出パターン選択部は、尤度のばらつきに基づいて、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
また、複数種類の原画素抽出パターンを生成する抽出パターン生成部と、前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、算出した尤度の大きさに基づいてより前記尤度の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、を備えたことを特徴としている。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
これにより、尤度算出部は、原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出し、抽出パターン選択部は、算出した尤度の大きさに基づいてより尤度の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する。
したがって、抽出パターン選択部は、尤度の大きさに基づいて、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
また、複数種類の原画素抽出パターンを生成する抽出パターン生成部と、前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、同一の前記回転角度について算出した尤度の大きさに基づいて、より前記尤度の大きな前記原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択する抽出パターン選択部と、を備えたことを特徴としている。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
これにより、尤度算出部は、原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出し、抽出パターン選択部は、同一の回転角度について算出した尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択する。
したがって、抽出パターン選択部は、同一の回転角度について算出した尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択することとなるので、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
また、複数種類の原画素抽出パターンを生成する抽出パターン生成部と、前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、同一の前記回転角度に対し、最大尤度を有する複数の前記原画素抽出パターンのうち、前記最大尤度と、前記同一の回転角度以外の他の回転角度に対応する尤度の大きさと、の差の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、を備えたことを特徴としている。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
これにより、尤度算出部は、原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出し、抽出パターン選択部は、同一の前記回転角度に対し、最大尤度を有する複数の原画素抽出パターンのうち、最大尤度と、同一の回転角度以外の他の回転角度に対応する尤度の大きさと、の差の大きな原画素抽出パターンを画素抽出パターンとして選択する。
したがって、抽出パターン選択部は、いずれかの回転角度について得られる最大尤度と、他の回転角度における尤度の大きさとの差に基づいて、より差の大きな原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択することとなるので、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
また、検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出するために前記回転角度の尤度を、予め前記画像特徴量に対応づけて前記画素抽出パターン毎に記憶する尤度記憶部を備えた回転角度検出装置の制御方法において、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンについて抽出した複数の画素の画像特徴量を検出する特徴量検出過程と、各前記画素抽出パターンに対応する画像特徴量および前記尤度に基づいて最大尤度を有する回転角度を前記オブジェクトの回転角度として判別する回転角度判別過程と、を備えたことを特徴としている。
上記構成によれば、画像特徴量(例えば、輝度差)および最大尤度に基づいてオブジェクトの回転角度を簡易かつ高速に判別して検出することができる。
この場合において、複数種類の原画素抽出パターンを生成する抽出パターン生成過程と、前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出過程と、算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択過程と、を備えるようにしてもよい。
上記構成によれば、オブジェクトの回転角度検出に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
この場合において、抽出パターン選択工程は、算出した尤度の大きさに基づいてより尤度の大きな原画素抽出パターンを前記画素抽出パターンとして選択したり、同一の回転角度について算出した尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する画素抽出パターンとして選択したり、あるいは、同一の回転角度に対し、最大尤度を有する複数の原画素抽出パターンのうち、最大尤度と、同一の回転角度以外の他の回転角度に対応する尤度の大きさと、の差の大きな原画素抽出パターンを画素抽出パターンとして選択するようにしてもよい。
また、検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出するために前記回転角度の尤度を、予め前記画像特徴量に対応づけて前記画素抽出パターン毎に記憶する尤度記憶部を備えた回転角度検出装置をコンピュータにより制御するための制御プログラムにおいて、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンについて抽出した複数の画素の画像特徴量を検出させ、各前記画素抽出パターンに対応する画像特徴量および前記尤度に基づいて最大尤度を有する回転角度を前記オブジェクトの回転角度として判別させる、ことを特徴としている。
上記構成によれば、画像特徴量(例えば、輝度差)および最大尤度に基づいてオブジェクトの回転角度を簡易かつ高速に判別して検出することができる。
この場合において、複数種類の原画素抽出パターンを生成させ、前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出させ、算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択させる、ことを特徴としている。
上記構成によれば、オブジェクトの回転角度検出に有効な画素抽出パターンとして選択することができ、より確実に回転角度を検出することができる。
この場合において、画素抽出パターンの選択に際し、算出させた尤度の大きさに基づいてより尤度の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択させたり、同一の回転角度について算出させた尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する画素抽出パターンとして選択させたり、あるいは、同一の回転角度に対し、最大尤度を有する複数の原画素抽出パターンのうち、最大尤度と、同一の回転角度以外の他の回転角度に対応する尤度の大きさと、の差の大きな原画素抽出パターンを画素抽出パターンとして選択させるようにしてもよい。
次に本発明の好適な実施の形態について図面を参照して説明する。
以下の説明においては、オブジェクト画像の回転角度を検出するための検出窓の大きさを一定とし、検出対象画像をリサイズ(リサイズ画像)して、オブジェクト画像としての人の顔画像の回転角度を検出する場合について説明する。
図1は、実施形態の回転角度検出装置の概要構成ブロック図である。
回転角度検出装置10は、パーソナルコンピュータとして構成されており、オブジェクト画像の回転角度の検出処理を行う検出装置本体11と、画像入力装置としての撮像カメラ12と、各種操作を行うためのキーボード、マウスなどの入力装置13と、各種表示を行う液晶ディスプレイなどの表示装置14と、印刷を行うプリンタなどの出力装置15と、各種データを記憶するハードディスク装置などの外部記憶装置16と、を備えている。
検出装置本体11は、当該検出装置本体11全体の制御を行うマイクロプロセッサユニット(MPU)21と、各種データを記憶するROM22と、LAN、インターネットなどの外部の通信ネットワーク23との間のインタフェース動作を行う通信インタフェース部24と、を備えている。
[1]第1実施形態
図2は、第1実施形態実施形態の回転角度検出装置の機能ブロック図である。
回転角度検出装置10は、回転角度検出対象のオブジェクト画像を含む検出対象画像から回転角度検出用の複数の画素(画素領域)を抽出するための画素抽出パターンを記憶する画素抽出パターン記憶部31と、各画素抽出パターン毎に画像特徴量に対応させて所定の角度毎の回転角度の尤度を記憶する尤度記憶部32と、検出対象画像から画像特徴量を生成する画像特徴量生成部33と、上記検出対象画像のリサイズを行い新たな検出対象画像を生成するリサイズ部(リサイズ処理部)34と、前記画像特徴量生成部が画像特徴量の生成を高速に行うために画像特徴量の積分画像を生成する積分画像処理部35と、画像特徴量および尤度に基づいてオブジェクトの回転角度を判別する回転角度判別部36と、を備えている。
図3は、画素抽出パターンの一例の説明図である。
図3(a)は、第1の例の画素抽出パターン40Aであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される長方形状(矩形形状)の画素領域を抽出し、対応する画素領域を代表する輝度値(代表輝度値)が正の値を持つように定義された第1画素抽出領域40A1と、対応する画素領域の輝度値(代表輝度値)が負の値を持つように定義された第2画素抽出領域40A2とに分けた二つの画素抽出領域を有している。
ここで、第2画素抽出領域は、さらに二つの画素抽出領域40A21、40A22に分けられている。
そして、図3(a)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40A1に対応する検出対象画像の画素を代表する輝度の値を輝度値V1とし、第2画素抽出領域40A2の二つに分けられた画素抽出領域40A21、40A22のうち、一方の画素抽出領域に対応する検出対象画像の画素を代表する輝度の値を輝度値をV21とし、他方の画素抽出領域に対応する検出対象画像の画素を代表する輝度の値を輝度値をV22とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V1+V21+V22
となる。
図3(b)は、第2の例の画素抽出パターン40Bであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される正方形状の画素領域を抽出し、当該正方形状の画素領域を対角線上で4つの正方形状に区分し、一方の対角線上の2つの正方形状の画素領域で構成され、当該画素領域を代表する輝度値(代表輝度値)が正の値を持つように定義された第1画素抽出領域40B1と、他方の対角線上の2つの正方形状の画素領域輝度値(代表輝度値)が負の値を持つように定義された第2画素抽出領域40B2とに分けた二つの画素抽出領域を有している。
ここで、第1画素抽出領域40B1は、さらに二つの正方形状の画素抽出領域40B11、40B12に分けられ、第2画素抽出領域40B2は、さらに二つの正方形状の画素抽出領域40B21、40B22に分けられている。
そして、図3(b)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40B1を構成する画素抽出領域40B11に対応する検出対象画像の画素を代表する輝度の値を輝度値V11とし、画素抽出領域40B12に対応する検出対象画像の画素を代表する輝度の値を輝度値V12とし、 第2画素抽出領域40B2を構成する画素抽出領域40B21に対応する検出対象画像の画素を代表する輝度の値を輝度値V21とし、画素抽出領域40B22に対応する検出対象画像の画素を代表する輝度の値を輝度値V22とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V11+V12+V21+V22
となる。
図3(c)は、第3の例の画素抽出パターン40Cであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される正方形状の画素領域を抽出し、当該正方形状の画素領域を2つの隣接する長方形状(矩形形状)に区分し、長方形状の画素領域を代表する輝度値(代表輝度値)が正の値を持つように定義された第1画素抽出領域40C1と、長方形状の画素領域輝度値(代表輝度値)が負の値を持つように定義された第2画素抽出領域40C2とに分けた二つの画素抽出領域を有している。
そして、図3(c)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40C1に対応する検出対象画像の画素を代表する輝度の値を輝度値V1とし、第2画素抽出領域40C2に対応する検出対象画像の画素を代表する輝度の値を輝度値V2とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V1+V2
となる。
図3(d)は、第4の例の画素抽出パターン40Dであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成されるそれぞれ長方形状の二つの画素領域を抽出し、長方形状の画素領域を代表する輝度値(代表輝度値)が正の値を持つように定義された第1画素抽出領域40D1と、長方形状の画素領域輝度値(代表輝度値)が負の値を持つように定義された第2画素抽出領域40D2とに分けた二つの画素抽出領域を有している。
そして、図3(d)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40D1に対応する検出対象画像の画素を代表する輝度の値を輝度値V1とし、第2画素抽出領域40D2に対応する検出対象画像の画素を代表する輝度の値を輝度値V2とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V1+V2
となる。
以上の説明では、輝度値を検出値そのままとしていたが、補正値を用いるようにしてもよい。例えば、補正輝度値は次式により表される。
補正輝度値=(オブジェクト画像の輝度値−オブジェクト画像の輝度平均値)
/(オブジェクト画像の輝度の標準偏差)/補正値
ここで、補正値は、定数であり、例えば、2.0が用いられる。
実際に輝度差を用いる場合には、最大輝度差および最小輝度差をサンプル画像から推定し、輝度差の量子化(例えば、32段階あるいは64段階)を行う。
ここで、積分画像処理部35の動作について説明する。
図4は、検出対象画像に対応する輝度値積分画像生成の概要説明図である。
図4は、検出対象画像が640×480画素の場合である。
積分画像処理部35は、検出対象画像を構成する基準位置画素PX0,0および対象画素PXm,nを対角線上の頂点とする矩形RA内のすべての画素PX0,0〜PXm,nの画像特徴量である輝度値を積分して当該対象画素PXm,nに対応する輝度積分値としている。
図5は、積分画像生成の具体的説明のための説明図である。
具体的には、図5に示すように、対象画素PXm,n=PX3,3である場合には、基準位置画素PX0,0および対象画素PX3,3を対角線上の頂点とする矩形RA1内のすべての画素PX0,0〜PX3,3の値を積分(実際には、単純加算)して当該対象画素PX3,3に対応する輝度積分値ΣPX3,3が算出される。
図6は、生成した積分画像の説明図である。
図6においては、理解の容易のため、輝度が0〜3の値を採る場合について説明しているが、実際には、より多段階(例えば、256段階)の輝度値が用いられる。
具体的には、図6の場合、輝度積分値は次式により算出される。
ΣPX3,3=0+0+0+0+0+0+1+1+0+1+2+3+0+1+3+1
=13
同様にして、基準位置画素PX0,0および対象画素PX3,3を対角線上の頂点とする矩形RA1内の輝度積分値に対応する積分画像は、図6に示すようなものとなる。
図7は、画像抽出パターンを構成する画素抽出領域の設定状態の説明図である。
例えば、図3(a)に示した画素抽出領域40A1、40A21、40A22のサイズをそれぞれ20×20画素とした場合、初期状態(第1回目)において、画素抽出領域40A21は、開始画素PX0,0および終了画素PX19,19を対角線上の頂点とする矩形の領域に相当するものとなっている。
そして、検出対象画像の画素数を640×480画素とし、終了画素をPXP,Q(0≦P≦639、0≦Q≦479)とした場合には、P=580(=639−59)となるまでは、Qの値は同じにして、画素抽出領域40A1、40A21、40A22を設定する。その後、P=620となった時点で、Qの値に1を加算し、Pの値を再び0として次の画素抽出領域40A1、40A21、40A22を設定する。
同様にして、P=580(=639−59)、Q=460(=479−19)となるまで、画素抽出領域40A1、40A21、40A22の設定を繰り返すこととなる。
ここで輝度積分値の算出の原理について説明する。
画素PXx,yにおける輝度(画像特徴量)をCとした場合の、積分画像II(PXx,y)は、次式により算出される。
Figure 0004840066
積分画像処理部により生成された積分画像を用いれば、各画素抽出領域40A1、40A21、40A22毎の輝度積分値(各画素の輝度の和)を迅速に求めることができる。
いずれかの画素抽出領域の範囲を(x0≦x≦x1、y0≦y≦y1)とすれば、輝度積分値は、次式により表される。
Figure 0004840066
この場合において、積分画像を生成する処理は、元の検出対象画像またはリサイズ後の検出対象画像に対して高々一回行えばよいので、領域内の画素数によらず高速な演算が可能になるのである。
次により具体的な積分輝度値の算出について説明する。
図8は、積分輝度値の算出の説明図である。
積分輝度値の算出において、検出装置本体11は、画素抽出領域40A21に対応する画素の積分輝度値を算出する場合には、矩形RA11〜RA14の各矩形毎の積分値を用いて行う。
具体的には、上述したように画素抽出領域40A21の大きさを20×20画素とすると、画素抽出領域40A21の開始画素がPXS,Tである場合には、終了画素がPXS+19,T+19となる。
このとき、矩形RA11は、開始画素PX0,0および終了画素PXS-1,T-1を対角線上の頂点とする矩形となる。したがって、矩形RA11の積分値ΣRA11は、ΣPXS-1,T-1となる。
同様に矩形RA12は、開始画素PX0,0および終了画素PXS+19,T-1を対角線上の頂点とする矩形となる。したがって、矩形RA12の積分値ΣRA12は、ΣPXS+19,T-1となる。
また、矩形RA13は、開始画素PX0,0および終了画素PXS-1,T+19を対角線上の頂点とする矩形となる。したがって、矩形RA13の積分値ΣRA13は、ΣPXS-1,T+19となる。
また、矩形RA14は、開始画素PX0,0および終了画素PXS+19,T+19を対角線上の頂点とする矩形となる。したがって、矩形RA13の積分値ΣRA14は、ΣPX+19,T+19となる。
これらの結果、画素抽出領域40A21に対応する画素の積分輝度値ΣDWは、次式により表される。
ΣDW=ΣRA14+ΣRA11−ΣRA12−ΣRA13
次に第1実施形態の動作を説明する。
図9は、第1実施形態の処理フローチャートである。
図2に示したように、回転角度検出装置10に検出対象画像50が入力されると、検出装置本体11のMPU21は、画素抽出パターン記憶部31として機能する外部記憶装置16から画素抽出パターン(具体的には、上述した画素抽出パターン40A〜40Dのいずれか一つ)を読み出す(ステップS11)。
次に検出対象画像50から読み出した画素抽出パターンを用いて各画素抽出領域に対応する画素を抽出する(ステップS12)。
つづいて抽出した画素の画像特徴量(積分輝度値)を上述した積分輝度値の算出方法に基づいて算出する(ステップS12)。
そして算出した画像特徴量を量子化し、尤度記憶部32として機能する外部記憶装置16に記憶した角度尤度テーブルを参照して、当該画像特徴量(積分輝度値)に対応する尤度を判別用尤度メモリに回転角度別に積算して積算尤度を算出する(ステップS13)。
ここで、積算尤度の算出についてより具体的に説明する。
図10は、いずれかの画素抽出パターンに対応する角度尤度テーブルの一例であり、図11は、他の画素抽出パターンに対応する角度尤度テーブルの一例である。各値は、出現頻度を表しており、図9および図10は、サンプル画像数=1000の場合の出現頻度を表している。すなわち、190/1000という表記は、1000サンプル数中、190サンプルが該当した旨を表している。
これらの角度尤度テーブルの作成については、第2実施形態で詳述するので、ここでは、説明を省略する。
積算尤度は、各回転角度(例えば、0〜355°の範囲で5°単位)毎に全ての画素抽出パターンに対応する尤度を積算した値を有し、初期状態においては、積算尤度はすべて0とされている。
画像特徴量として、輝度差を用いる場合、輝度値が0〜255の256段階で検出可能な場合に、輝度差は−255〜255の511段階となる。しかしながら、このように細かく区分すると、処理量が膨大となるため、本実施形態では、図10および図11に示すように、輝度差を量子化し、−10〜10の21段階として処理を行っている。
そして、この量子化された輝度値に対応させてオブジェクトの回転角度毎の尤度を角度尤度テーブルとして外部記憶装置に画素抽出パターン数だけ予め記憶している。
図12は、検出対象画像(あるいはリサイズ検出対象画像)に画像抽出パターンを適用した場合の説明図である。
図12(a)は、画素抽出パターン40Aを適用した場合、図12(b)、(c)は、画素抽出パターン40Cを適用した場合のものである。
図12に示した場合は、検出対象画像(あるいはリサイズ検出対象画像)50内でオブジェクトである顔画像が回転角度=0°(基準配置位置)の場合であるが、実際には、検出対象画像50内でオブジェクトが所定の回転角度となっているのが一般的である。
この状態で、画像特徴量生成部33として機能する検出装置本体11は、各画素抽出パターンについて画像特徴量である積分輝度値を量子化し、角度尤度テーブルを参照する毎に、読み出した尤度の対数値(対数尤度)を角度毎に加算して積算尤度テーブルを生成することとなる。この場合に積算尤度テーブルは、0〜355°に対応するの72個のメモリ領域を有している。また、対数尤度を加算しているのは、計算の容易化のためである。
より具体的には、いずれかの画素抽出パターンに対応する角度尤度テーブルが図9に示すような場合に、量子化された輝度差が0である場合には、輝度差0の尤度テーブル32A1が参照される。
そして、回転角度毎に尤度テーブルの値の対数値を積算尤度テーブルに加算する。
すなわち輝度差0の尤度テーブル32A1を参照した時点で積算尤度テーブルが初期状態であった場合には、積算尤度テーブルの値は、0°側から順次、log(190/1000+c)、log(45/1000+c)、…、log(500/1000+c)、…、log(10/1000+c)、log(2/1000+c)となる。ここで、cは、非常に小さな値を有する定数であり、理論上あるいは演算処理上において対数値が定まらなくなるのを防止するためのものである。
同様に、他の画素抽出パターンに対応する角度尤度テーブルが図10に示すような場合に、量子化された輝度差が−5である場合には、輝度差−5の尤度テーブル32B1が参照される。
この結果、積算尤度テーブルの値は、0°側から順次、log(190/1000+c)+log(16/1000+c)、log(45/1000+c)+log(31/1000+c)、…、log(500/1000+c)+log(471/1000+c)、…、log(10/1000+c)+log(10/1000+c)、log(2/1000+c)+log(2/1000+c)となる。
そして、全ての画素抽出パターンについて、積算尤度の算出が終了したか否かを判別する(ステップS14)。
ステップS14の判別において、未だ全ての画素抽出パターンについて積算尤度の算出が終了していない場合には(ステップS14;No)、処理を再びステップS11に移行して、以下、同様に処理を行う。
ステップS14の判別において、全ての画素抽出パターンについて積算尤度の算出が終了した場合には(ステップS14;Yes)、最も積算尤度が大きな値を有する回転角度を当該オブジェクトの回転角度であると判別する(ステップS15)。
以上の説明のように、本実施形態によれば、回転角度の検出に輝度値を用いているため、照明の性質(明るさおよび色温度等)の影響を受ける人の肌の色などの色情報を使用しないので、正確な回転角度検出が行える。
また輝度差を画像特徴量として回転角度の検出を行っているので、照明の変化の影響をあまり受けずに回転角度を検出することができる。
さらに回転角度検出に際し、予め記憶した(算出した)尤度に基づいているので、簡易かつ高速な回転角度検出が行える。
[2]第2実施形態
以上の第1実施形態においては、角度尤度テーブルは予め記憶していたが、本第2実施形態は、角度尤度テーブルの生成から行う場合の実施形態である。
図13は、第2実施形態の回転角度検出装置の機能ブロック図である。
図13において、図2の第1実施形態と同様の部分には、同一の符号を付すものとする。
第2実施形態の回転角度検出装置10Aは、サンプル画像51-1〜51-nから回転角度検出用の複数の画素(画素領域)を抽出する複数の画素抽出パターンを予め記憶する第1画素抽出パターン記憶部41と、回転角度検出対象のオブジェクト画像を含む検出対象画像から回転角度検出用の複数の画素(画素領域)を抽出するための画素抽出パターンを記憶する第2画素抽出パターン記憶部42と、第2画素抽出パターン記憶部42に記憶された各画素抽出パターン毎に画像特徴量に対応させて所定の角度毎の回転角度の尤度を記憶する尤度記憶部32と、検出対象画像から画像特徴量を生成する画像特徴量生成部33と、上記検出対象画像のリサイズを行い新たな検出対象画像を生成するリサイズ部(リサイズ処理部)34と、前記画像特徴量生成部が画像特徴量の生成を高速に行うために画像特徴量の積分画像を生成する積分画像処理部35と、画像特徴量および尤度に基づいてオブジェクトの回転角度を判別する回転角度判別部36と、を備えている。
図14は、第2実施形態の画素抽出パターン選択処理の処理フローチャートである。
この場合において、サンプル画像記憶部37には、予めサンプル画像51-1〜51-nが記憶されているものとする。
まず、回転角度検出装置10Aは、オペレータの指示あるいは設定にしたがって、多数の画素抽出パターン(原画素抽出パターン)を生成し、第1画素抽出パターン記憶部41に記憶する(ステップS21)。
次に第1画素抽出パターン記憶部41から未だ未選択状態にある画素抽出パターンを選択する(ステップS22)。
サンプル画像記憶部37に記憶したいずれかのサンプル画像51-x(x:1〜n)を選び、ステップS22で選択された画素抽出パターンに対応する画像特徴量(本実施形態では輝度差)を所定の回転角度毎(本実施形態では、0〜355゜の範囲で5゜単位)算出する(ステップS23)。
続いて検出装置本体11は、算出した画像特徴量を量子化する(ステップS24)。
そして、量子化された画像特徴量である輝度差の量子化値と、対応する回転角度と、に基づいて尤度記憶部32の角度尤度テーブルを更新する(ステップS25)。
次に選択した画素抽出パターンについて全サンプル画像について処理が終了したか否かを判別する(ステップS26)。
ステップS26の処理において、未だ全サンプル画像について角度尤度テーブルを更新する処理が終了していない場合には(ステップS26;No)、再び処理をステップS23に移行し、同様の処理を繰り返す。
ステップS26の処理において、全サンプル画像について角度尤度テーブルを更新する処理が終了した場合には、全ての画素抽出パターンについて処理を終了したか否かを判別する(ステップS27)。
ステップS27の判別において、未だすべての画素抽出パターンについて角度尤度テーブルを更新する処理を終了していない場合には(ステップS27;No)、再び処理をステップS22に移行し、以下、同様の処理を繰り返す。
ステップS27の判別において、全ての画素抽出パターンについて角度尤度テーブルを更新する処理を終了した場合には(ステップS27;Yes)、処理を終了する。
図15は、ある画像特徴量(輝度差)に対応するサンプル画像の出現頻度とサンプル画像の回転角度との関係を説明する図である。
図15において、出現頻度が高いとは、選択した画素抽出パターンを用いた場合に、当該画像特徴量(輝度差)となったサンプル画像が多数存在するということである。
図16は、実際の処理に用いる画素抽出パターンを選択する選択処理の処理フローチャートである。
まず、検出装置本体11は、第1画素抽出パターン記憶部41の画素抽出パターン(原画素抽出パターン)に対応するそれぞれの尤度の分散値(尤度のばらつき)を算出する(ステップS31)。
より具体的には、各画素抽出パターンに対応する角度尤度テーブルを参照して回転角度が変化したときの尤度のばらつき(出現頻度のばらつき)を算出する。ここで、尤度のばらつきとは、図15におけるグラフ波形の振幅に相当する。
続いて、第1画素抽出パターン記憶部41に記憶している画素抽出パターン(原画素抽出パターン)のそれぞれの尤度のばらつきについて、尤度のばらつきが大きい順に実際の回転角度検出に用いる画素抽出パターンの数だけ、画素抽出パターンを選択する(ステップS32)。すなわち、各回転角度について尤度のばらつきの最も大きな画素抽出パターンを当該回転角度における画素抽出パターンとして選択する。
次に検出装置本体11は、選択した画素抽出パターンを第2画素抽出パターン記憶部42に記憶する(ステップS33)。これにより第2画素抽出パターン記憶部42は、第1実施形態における画素抽出パターン記憶部31と同様に機能することとなるので、第1実施形態と同様の手法により回転角度を検出することとなる。
本第2実施形態によれば、生成した多数の画素抽出パターン(原画素抽出パターン)から、サンプル画像を用いて尤度のばらつきが大きな画素抽出パターンを回転角度検出用の画素抽出パターンとして選択するので、有効な画素抽出パターンを容易に選択することができ、確実に検出対象画像に含まれるオブジェクトの回転角度を判別することが可能となる。
[3]第3実施形態
上記第2実施形態においては、ステップS31〜S33の判別において、尤度のばらつきに基づき画素抽出パターンとして選択していたが、最大の尤度を示す順に、画素抽出パターンを選択するように構成することも可能である。
本第3実施形態によれば、より簡易な構成で、第2実施形態と同等の効果を得ることができる。
[4]第4実施形態
上記第2実施形態においては、ステップS31〜33の判別において、尤度のばらつきに基づき画素抽出パターンとして選択していたが、検出対象である所定の角度(0°、5°など各角度ごと)に対して、最大の尤度を示す順に、画素抽出パターンを選択するように構成することも可能である。
本第4実施形態によれば、回転角度毎に尤度の大きな原画素抽出パターンを画素抽出パターンとして選択することととなるので、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
[5]第5実施形態
上記第2実施形態においては、ステップS31〜33の判別において、尤度のばらつきに基づき画素抽出パターンとして選択していたが、検出対象である所定の角度(0°、5°など各角度ごと)に対して、最大の尤度を示し、かつ所定の角度以外に示す尤度の差が大きい順に、画素抽出パターンを選択するように構成することも可能である。
すなわち、特定の回転角度の尤度(最大尤度)の大きさが他の回転角度に対して突出して大きくなっている場合に、当該原画素抽出パターンを画素抽出パターンとして選択することができ、より確実に回転角度を検出することができる。
[6]実施形態の変形例
以上の説明においては、画像特徴量である積分輝度値を生成する際に、画素抽出パターンの大きさを一定にし、検出対象画像のサイズをリサイズする構成を採っていたが、検出対象画像のリサイズは行わず、画素抽出パターンの大きさを検出対象画像の大きさを超えない範囲でリサイズ(拡大または縮小)する構成を採ることも可能である。
実施形態のオブジェクト検出装置の概要構成ブロック図である。 第1実施形態実施形態の回転角度検出装置の機能ブロック図である。 画素抽出パターンの一例の説明図である。 検出対象画像に対応する輝度値積分画像生成の概要説明図である。 積分画像生成の具体的説明のための説明図である。 生成した積分画像の説明図である。 画像抽出パターンを構成する画素抽出領域の設定状態の説明図である。 積分輝度値の算出の説明図である。 第1実施形態の処理フローチャートである。 いずれかの画素抽出パターンに対応する角度尤度テーブルの一例の説明図である。 他の画素抽出パターンに対応する角度尤度テーブルの一例である。 検出対象画像(あるいはリサイズ検出対象画像)に画像抽出パターンを適用した場合の説明図である。 第2実施形態の回転角度検出装置の機能ブロック図である。 第2実施形態の画素抽出パターン選択処理の処理フローチャートである。 ある画像特徴量(輝度差)に対応するサンプル画像の出現頻度とサンプル画像の回転角度との関係を説明する図である。 実際の処理に用いる画素抽出パターンを選択する選択処理の処理フローチャートである。
符号の説明
10…回転角度検出装置、10A…回転角度検出装置、11…検出装置本体、12…撮像カメラ、13…入力装置、14…表示装置、15…出力装置、16…外部記憶装置、21…MPU、22…ROM、23…通信ネットワーク、24…通信インタフェース部、31…画素抽出パターン記憶部、32…尤度記憶部、33…画像特徴量生成部、34…リサイズ部、35…積分画像処理部、36…回転角度判別部、37…サンプル画像記憶部、40A…画素抽出パターン、40B…画素抽出パターン、40C…画素抽出パターン、40D…画素抽出パターン、41…第1画素抽出パターン記憶部、42…第2画素抽出パターン記憶部、50…検出対象画像、51…サンプル画像、32A1…尤度テーブル、32B1…尤度テーブル、40A1…第1画素抽出領域、40A2…第2画素抽出領域、40B1…第1画素抽出領域、40B2…第2画素抽出領域、40C1…第1画素抽出領域、40C2…第2画素抽出領域、40D1…第1画素抽出領域、40D2…第2画素抽出領域、40A21…画素抽出領域、40B11…画素抽出領域、40B12…画素抽出領域、40B21…画素抽出領域、40B22…画素抽出領域。

Claims (10)

  1. 検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出する回転角度検出装置において、
    前記検出対象画像から複数の画素を抽出することに用いる画素抽出パターンを複数種類記憶する画素抽出パターン記憶部と、
    前記オブジェクトの所定回転角度毎の尤度を画像特徴量に対応付ける角度尤度テーブルを、前記画素抽出パターン毎に記憶する尤度記憶部と、
    前記画素抽出パターンを用いて前記検出対象画像から複数の画素を抽出し、抽出された複数の画素の画像特徴量を検出する処理を、前記画素抽出パターン記憶部に記憶された前記複数種類の前記画素抽出パターンのそれぞれに対して行う特徴量検出部と、
    前記特徴量検出部によって検出された画像特徴量に対応する前記画素抽出パターンの前記角度尤度テーブルを参照して、前記検出された画像特徴量に対応付けられた尤度を前記所定回転角度毎に読み出す処理を前記複数種類の画素抽出パターンのそれぞれに対して行い、前記複数種類の画素抽出パターンに対して読み出された前記尤度を各前記所定回転角度別に積算して各前記回転角度の積算尤度を算出し、最も大きい積算尤度を有する回転角度が前記オブジェクトの回転角度であると判別する回転角度判別部と、
    を有する、回転角度検出装置。
  2. 請求項1記載の回転角度検出装置において、
    前記尤度記憶部が記憶する前記角度尤度テーブルは、複数段階に量子化した前記画像特徴量を、前記オブジェクトの所定回転角度毎の前記尤度に対応させたものであることを特徴とする回転角度検出装置。
  3. 請求項1または請求項2記載の回転角度検出装置において、
    前記特徴量検出部は、前記画素抽出パターンを用いて前記検出対象画像からそれぞれ複数画素で構成される複数の画素領域を抽出し、各画素領域を代表する輝度の輝度差を画像特徴量として検出することを特徴とする回転角度検出装置。
  4. 請求項1ないし請求項3のいずれかに記載の回転角度検出装置において、
    複数画素を含む矩形について、所定の基準位置画素および対象画素を対角線上の頂点とする前記矩形内のすべての画素の輝度値を積分して当該対象画素に対応する積分画素値とし、前記検出対象画像を構成するすべての画素に対応する積分画素値を求めて積分画像を生成する積分画像生成部を備え、
    前記特徴量検出部は、前記積分画像に基づいて前記画像特徴量を検出することを特徴とする回転角度検出装置。
  5. 請求項1ないし請求項4のいずれかに記載の回転角度検出装置において、
    複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
    前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
    算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、
    を備えたことを特徴とする回転角度検出装置。
  6. 請求項1ないし請求項4のいずれかに記載の回転角度検出装置において、
    複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
    前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
    算出した尤度の大きさに基づいてより前記尤度の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、
    を備えたことを特徴とする回転角度検出装置。
  7. 請求項1ないし請求項4のいずれかに記載の回転角度検出装置において、
    複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
    前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
    同一の前記回転角度について算出した尤度の大きさに基づいて、より前記尤度の大きな前記原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択する抽出パターン選択部と、
    を備えたことを特徴とする回転角度検出装置。
  8. 請求項1ないし請求項4のいずれかに記載の回転角度検出装置において、
    複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
    前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
    同一の前記回転角度に対し、最大尤度を有する複数の前記原画素抽出パターンのうち、前記最大尤度と、前記同一の回転角度以外の他の回転角度に対応する尤度の大きさの差の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、
    を備えたことを特徴とする回転角度検出装置。
  9. 検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出することに用いる、前記検出対象画像を構成する画素から複数の画素を抽出することに用いる画素抽出パターンを複数種類記憶した画素抽出パターン記憶部と、前記画素抽出パターン毎に、前記特徴量検出部が算出する画像特徴量、及び、前記検出対象画像の回転角度の組み合わせに対し、尤度が対応づけられた角度尤度テーブルを記憶した尤度記憶部とを備えた回転角度検出装置の制御方法において、
    前記画素抽出パターンを用いて前記検出対象画像から複数の画素を抽出し、抽出された複数の画素の画像特徴量を検出する処理を、記憶している複数種類の前記画素抽出パターンのそれぞれに対して行う特徴量検出過程と、
    前記特徴量検出過程で検出された画像特徴量に対応する前記画素抽出パターンの前記角度尤度テーブルを参照して、前記検出された画像特徴量に対応付けられた尤度を前記所定回転角度毎に読み出す処理を前記複数種類の画素抽出パターンのそれぞれに対して行い、前記複数種類の画素抽出パターンに対して読み出された前記尤度を各前記所定回転角度別に積算して各前記回転角度の積算尤度を算出し、最も大きい積算尤度を有する回転角度が前記オブジェクトの回転角度であると判別する回転角度判別過程と、
    を備えたことを特徴とする回転角度検出装置の制御方法。
  10. 請求項9記載の回転角度検出装置の制御方法において、
    複数種類の原画素抽出パターンを生成する抽出パターン生成過程と、
    前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出過程と、
    算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択過程と、
    を備えたことを特徴とする回転角度検出装置の制御方法。
JP2006277185A 2006-10-11 2006-10-11 回転角度検出装置、および回転角度検出装置の制御方法 Expired - Fee Related JP4840066B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006277185A JP4840066B2 (ja) 2006-10-11 2006-10-11 回転角度検出装置、および回転角度検出装置の制御方法
US11/869,141 US7995866B2 (en) 2006-10-11 2007-10-09 Rotation angle detection apparatus, and control method and control program of rotation angle detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006277185A JP4840066B2 (ja) 2006-10-11 2006-10-11 回転角度検出装置、および回転角度検出装置の制御方法

Publications (2)

Publication Number Publication Date
JP2008097245A JP2008097245A (ja) 2008-04-24
JP4840066B2 true JP4840066B2 (ja) 2011-12-21

Family

ID=39303163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006277185A Expired - Fee Related JP4840066B2 (ja) 2006-10-11 2006-10-11 回転角度検出装置、および回転角度検出装置の制御方法

Country Status (2)

Country Link
US (1) US7995866B2 (ja)
JP (1) JP4840066B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5091591B2 (ja) * 2007-08-30 2012-12-05 株式会社東芝 情報処理装置、プログラム及び情報処理方法
CN101470802B (zh) * 2007-12-28 2012-05-09 清华大学 物体检测装置和方法
JP5106366B2 (ja) * 2008-12-10 2012-12-26 キヤノン株式会社 画像読取システム及び画像読取装置および画像読取システムの制御方法
JP2010224987A (ja) * 2009-03-24 2010-10-07 Sharp Corp 画像処理装置、画像処理方法、プログラム、および記録媒体
US8463074B2 (en) * 2009-11-11 2013-06-11 General Dynamics Advanced Information Systems System and method for rotating images
JP5414879B1 (ja) * 2012-12-14 2014-02-12 チームラボ株式会社 薬剤認識装置、薬剤認識方法及び薬剤認識プログラム
CN105205490B (zh) * 2015-09-23 2019-09-24 联想(北京)有限公司 一种信息处理方法及电子设备
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN110248082B (zh) * 2018-11-20 2020-12-08 浙江大华技术股份有限公司 一种规划摄像机运动控制曲线的方法及装置
DE102019211929A1 (de) * 2019-08-08 2021-02-11 Prüftechnik Dieter Busch GmbH Verfahren und System zur Drehzahlbestimmung mittels Videokamera
CN114834851B (zh) * 2022-04-12 2023-04-18 三一重工股份有限公司 确定回转角度的方法、装置、可读存储介质和抓料机
CN116740704B (zh) * 2023-06-16 2024-02-27 安徽农业大学 基于深度学习的小麦叶片表型参数变化率监测方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237156A (en) * 1990-05-17 1993-08-17 Canon Kabushiki Kaisha Image storing method and apparatus including detecting index information included in image information read out from a recording medium
JPH05312549A (ja) * 1992-02-06 1993-11-22 Hitachi Ltd パターン検出方法及びその装置
AU2970495A (en) * 1994-07-19 1996-02-16 Hologram Technology International, Inc. Image recording medium and method of making same
US5793901A (en) * 1994-09-30 1998-08-11 Omron Corporation Device and method to detect dislocation of object image data
US6201880B1 (en) * 1996-12-31 2001-03-13 Electro-Optical Sciences Method and apparatus for electronically imaging a tooth through transillumination by light
US6456727B1 (en) * 1999-09-02 2002-09-24 Hitachi, Ltd. Method of extracting digital watermark information and method of judging but value of digital watermark information
US6964009B2 (en) * 1999-10-21 2005-11-08 Automated Media Processing Solutions, Inc. Automated media delivery system
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
JP3729154B2 (ja) * 2002-05-10 2005-12-21 株式会社日立製作所 パターン欠陥検査方法及びその装置
JP4266798B2 (ja) * 2003-12-15 2009-05-20 キヤノン株式会社 パターン検出装置及びパターン検出方法
US7197186B2 (en) 2003-06-17 2007-03-27 Mitsubishi Electric Research Laboratories, Inc. Detecting arbitrarily oriented objects in images
JP2006059215A (ja) 2004-08-23 2006-03-02 Seiko Epson Corp オブジェクトの回転角度検出装置、顔の回転角度検出プログラムおよび顔の回転角度検出方法

Also Published As

Publication number Publication date
US20080089588A1 (en) 2008-04-17
JP2008097245A (ja) 2008-04-24
US7995866B2 (en) 2011-08-09

Similar Documents

Publication Publication Date Title
JP4840066B2 (ja) 回転角度検出装置、および回転角度検出装置の制御方法
KR101333871B1 (ko) 멀티-카메라 교정을 위한 방법 및 장치
JP4619927B2 (ja) 顔検出方法および装置並びにプログラム
US8754963B2 (en) Processing images having different focus
US20100201688A1 (en) Image processing apparatus and method thereof
US9805445B2 (en) Image zooming
US10452953B2 (en) Image processing device, image processing method, program, and information recording medium
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
US8363909B2 (en) Image processing apparatus, image processing method, and computer program product
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
EP3093822B1 (en) Displaying a target object imaged in a moving picture
JP2007065844A (ja) 顔検出方法および装置並びにプログラム
WO2014074959A1 (en) Real-time face detection using pixel pairs
US8873839B2 (en) Apparatus of learning recognition dictionary, and method of learning recognition dictionary
US10210619B2 (en) Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program
JP2014099087A (ja) 特徴点検出装置およびプログラム
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7020240B2 (ja) 認識装置、認識システム、プログラムおよび位置座標検出方法
JP5617841B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
US10360471B2 (en) Image retrieving device, image retrieving method, and recording medium
US20210397881A1 (en) Image processing apparatus and image processing method
JP2007065784A (ja) 画像処理装置及び画像処理方法及びプログラム及びコンピュータ読み取り可能な記憶媒体
JP2008102593A (ja) オブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラム
JP5786838B2 (ja) 画像領域分割装置、方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090901

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110919

R150 Certificate of patent or registration of utility model

Ref document number: 4840066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees