TW201403547A - 對象檢出裝置、對象檢出方法及對象檢出用電腦程式 - Google Patents

對象檢出裝置、對象檢出方法及對象檢出用電腦程式 Download PDF

Info

Publication number
TW201403547A
TW201403547A TW102117823A TW102117823A TW201403547A TW 201403547 A TW201403547 A TW 201403547A TW 102117823 A TW102117823 A TW 102117823A TW 102117823 A TW102117823 A TW 102117823A TW 201403547 A TW201403547 A TW 201403547A
Authority
TW
Taiwan
Prior art keywords
evaluation value
unit
level
degree
data
Prior art date
Application number
TW102117823A
Other languages
English (en)
Other versions
TWI556194B (zh
Inventor
Takaharu Kurokawa
Takumi Munekata
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Publication of TW201403547A publication Critical patent/TW201403547A/zh
Application granted granted Critical
Publication of TWI556194B publication Critical patent/TWI556194B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種可提高從所輸入的資料檢出檢出對象的精度之對象檢出裝置、對象檢出方法及對象檢出用電腦程式。對象檢出裝置10具有:多位準資料生成部152,其從自資料輸入部150取得的輸入資料生成作為表現檢出對象的程度之資訊位準互相不同的複數個資料;評估值計算部153,其對於複數個資料之各資料,計算表示檢出對象可能性程度的評估值;及對象判定部154,其在對於資訊位準互相不同的複數個資料之各資料算出的評估值,隨著資訊位準的上升而上升的上升程度係輸入資料中含有檢出對象時的上升程度的下限值以上時,判定為輸入資料中含有檢出對象。

Description

對象檢出裝置、對象檢出方法及對象檢出用電腦程式
本發明係關於一種從所輸入的資料檢出檢出對象之對象檢出裝置及對象檢出用電腦程式。
以往為了防止犯罪、照片或視訊影像的檢索或整理等各種目的,一直在研究從圖像、聲音或感測信號之類的資料檢出臉、人物等檢出對象的技術。特別是在近幾年,一直在廣泛研究使用利用機器學習生成的鑑別器從圖像檢出檢出對象的技術。例如,判定人物是否映在圖像上的鑑別器,係使用分別從映有人物的多數個學習用圖像與未映有人物的多數個學習用圖像抽取的特徵量,藉由機器學習在特徵量空間劃分人物特徵量分布的空間與其以外的空間之鑑別境界而生成。一被輸入從圖像抽取的特徵量,此鑑別器就藉由其特徵量在特徵量空間位於鑑別境界的哪一側來判定人物是否映在其圖像上。
然而,映有人物的圖像及未映有人物的圖像為各式各樣,一般難以找到可完全分離此等圖像的鑑別境界。特別是從映有例如掛在衣架上的上衣等之類和 人物類似的物體之圖像抽取的特徵量,對於鑑別境界位於人物特徵量分布的空間側的可能性高,有錯誤判定為人物映在其圖像上之虞。
於是,在例如專利文獻1中提出了一種對照裝置設置環境的特性而使鑑別器學習的物體檢出裝置。此物體檢出裝置係在設置監視攝影機時,使用來自監視攝影機的圖像而使鑑別器學習。
先前技術文獻 專利文獻
專利文獻1 特開2009-230284號公報
專利文獻1中所記載的物體檢出裝置,係設置監視攝影機後,藉由使用來自監視攝影機的圖像而使鑑別器學習,可減低掛在存在於設置場所的衣架上的上衣之類將類似於檢出對象一例即類似人物的物體錯誤判定為人物的情形。然而,專利文獻1中所記載的物體檢出裝置在使鑑別器學習後,重新配置了類似於檢出對象的物體時,由於未使用映有其物體的圖像而使鑑別器學習,所以有將其物體錯誤判定為檢出對象的可能性。
物體檢出裝置藉由使用許多圖像而進行機器學習,可使檢出對象的檢出精度提高。然而,映有檢出對象以外的物體的圖像為各式各樣,對於映有具有特徵量類似於從映有檢出對象的圖像抽取的特徵量的物體 的全部圖像,要使鑑別器學習以完全防止錯誤判定是很困難的。產生此種錯誤判定的問題不僅在使用鑑別器檢出檢出對象的情況,而且在利用圖案匹配法等其他的方法檢出檢出對象的情況也是共通的問題,並且不僅在從圖像檢出檢出對象的情況,而且在從聲音或感測信號等各種資料檢出檢出對象的情況也是共通的問題。
本發明之目的在於提供一種可提高從所輸入的資料檢出檢出對象的精度之對象檢出裝置及對象檢出用電腦程式。
用於解決此種課題之本發明提供一種判定從資料輸入部取得的輸入資料中是否含有檢出對象之對象檢出裝置。此種對象檢出裝置具有:多位準資料生成部,其從輸入資料生成作為表現檢出對象的程度之資訊位準互相不同的複數個資料;評估值計算部,其對於複數個資料之各資料,計算表示檢出對象可能性程度的評估值;及對象判定部,其在對於資訊位準互相不同的複數個資料之各資料算出的評估值,隨著資訊位準的上升而上升的上升程度係輸入資料中含有檢出對象時的上升程度的下限值以上時,判定為輸入資料中含有檢出對象。
此外,資訊位準最好為複數個資料之各資料表現檢出對象的細節的程度。
或者,資訊位準最好為複數個資料之各資料適合檢出對象特徵表現的程度。
此外,對象判定部最好對各資訊位準求出從關於其資訊位準的評估值扣除關於比其資訊位準低預定階段之資訊位準的評估值之差,求出求得之差的合計值及最大值之中的任一值作為上升程度。
或者,對象判定部最好自資訊位準低者依序求出從關於其資訊位準的評估值扣除關於比其資訊位準低預定階段之資訊位準的評估值之差,每次求出其差時,就求出求得之差的累積值作為上升程度,判定求得的上升程度是否係下限值以上,若求得的上升程度係下限值以上時,判定為輸入資料中含有檢出對象。
或者,對象判定部最好求出從關於全部資訊位準的評估值之最大值扣除最小值之差、及關於全部資訊位準的評估值之最大值對於最小值之比之中的任一者作為上升程度。
或者,對象判定部最好在上升程度係下限值以上,並且關於對於資訊位準互相不同的複數個資料之各資料算出的評估值之統計代表值即代表評估值係預定值以上時,判定為輸入資料中含有檢出對象,在上升程度不到下限值時,或者在代表評估值不到預定值時,判定為輸入資料中不含檢出對象。
此外,最好輸入資料為圖像資料,多位準資料生成部生成資訊位準越高則銳度越高、資訊位準越低則銳度越低之銳度互相不同的複數個資料作為資訊位準互相不同的複數個資料。
再者,多位準資料生成部最好生成使輸入資料分別適用資訊位準越高則濾波器尺寸越小、資訊位準越低則濾波器尺寸越大的平均化濾波器的複數個資料作為銳度互相不同的複數個資料。
或者,多位準資料生成部最好生成在輸入資料上分別疊加資訊位準越高則越少量之雜訊、資訊位準越低則越多量之雜訊的複數個資料作為資訊位準互相不同的複數個資料。
或者,最好輸入資料為圖像資料,多位準資料生成部生成資訊位準越高則圖像的可懂度越高、資訊位準越低則圖像的可懂度越低之圖像的可懂度互相不同的複數個資料作為資訊位準互相不同的複數個資料。
再者,多位準資料生成部最好生成資訊位準越高則越增多輸入資料的像素值之階度數量、資訊位準越低則越減少輸入資料的像素值之階度數量的複數個資料作為圖像的可懂度互相不同的複數個資料。
或者,多位準資料生成部最好生成資訊位準越高則越降低掩蔽在輸入資料上表示檢出對象的部分之程度、資訊位準越低越則提高掩蔽在輸入資料上表示檢出對象的部分之程度的複數個資料作為資訊位準互相不同的複數個資料。
或者,多位準資料生成部最好生成關於檢出對象的特徵量,生成關於特徵量使資訊量互相不同使得資訊位準越高則特徵量表示的資訊量變得越多、資訊位準越低則資訊量變得越少的複數個資料作為資訊位準互相不同的複數個資料。
再者,多位準資料生成部最好生成對特徵量分別乘以資訊位準越高則越大、資訊位準越低則越小之1以下的正係數的複數個資料作為使資訊量互相不同的複數個資料。
或者,最好輸入資料為圖像資料,多位準資料生成部係資訊位準越高則越將輸入資料以小的程度進行幾何變換、資訊位準越低則越將輸入資料以大的程度進行幾何變換而生成複數個資料作為資訊位準互相不同的複數個資料。
再者,最好幾何變換為使圖像旋轉的變換,多位準資料生成部生成資訊位準越高則圖像的旋轉角度越小、資訊位準越低則圖像的旋轉角度越大的複數個資料作為經幾何變換的複數個資料。
或者,最好幾何變換為將圖像變換為梯形的變換,多位準資料生成部生成資訊位準越高則梯形的底邊與上邊之比越接近1、資訊位準越低則梯形的底邊與上邊之比越離開1的複數個資料作為經幾何變換的複數個資料。
或者,最好輸入資料為時間序列信號,多位準資料生成部生成使輸入資料分別適用資訊位準越高則通帶越寬、資訊位準越低則通帶越窄的帶通濾波器的複數個資料作為資訊位準互相不同的複數個資料。
或者,最好輸入資料為時間序列信號,多位準資料生成部生成將輸入資料以資訊位準越高則越高的取樣頻率、以資訊位準越低則越低的取樣頻率分別進 行取樣的複數個資料作為資訊位準互相不同的複數個資料。
或者,最好輸入資料為時間序列信號,多位準資料生成部生成使輸入資料的振幅分別衰減成資訊位準越高則輸入資料的振幅越大、資訊位準越低則輸入資料的振幅越小的複數個資料作為資訊位準互相不同的複數個資料。
或者,最好輸入資料為音響信號,多位準資料生成部生成使輸入資料的振幅分別放大而使限幅產生成資訊位準越高則輸入資料的振幅越小、資訊位準越低則輸入資料的振幅越大的複數個資料作為資訊位準互相不同的複數個資料。
或者,輸入資料為時間序列信號,多位準資料生成部生成資訊位準越高則越增多分割輸入資料之值可取得的範圍的階段數量、資訊位準越低則越減少階段數量而使輸入資料分別量子化的複數個資料作為資訊位準互相不同的複數個資料。
此外,評估值計算部最好具有使用至少含有檢出對象的資料並被預先學習的鑑別器,以使一被輸入多位準資料生成部生成的資料就輸出評估值。
或者,最好進一步具有記憶部,該記憶部係預先記憶從含有檢出對象的資料所生成的參考資料,評估值計算部計算多位準資料生成部生成的資料和參考資料類似的程度作為評估值。
藉由用於解決此種課題之本發明的其他形態,提供一種使對象檢出裝置判定從資料輸入部取得的輸入資料中是否含有檢出對象的對象檢出用電腦程式。此種對象檢出用電腦程式包含使電腦執行下述動作的命令:從輸入資料生成作為表現檢出對象的程度之資訊位準互相不同的複數個資料;對於複數個資料之各資料,計算表示檢出對象可能性程度的評估值;在對於資訊位準互相不同的複數個資料之各資料算出的評估值,隨著資訊位準的上升而上升的上升程度係輸入資料中含有檢出對象時的上升程度的下限值以上時,判定為輸入資料中含有檢出對象。
關於本發明之對象檢出裝置及對象檢出用電腦程式取得可提高從所輸入的資料檢出檢出對象的精度之效果。
10‧‧‧對講機
11、21、41‧‧‧攝影部
12‧‧‧輸出部
13、22、42、53、62、72‧‧‧介面部
14、24、44、54、64、74‧‧‧記憶部
15、25、45、55、65、75‧‧‧控制部
150、250、550、650、750‧‧‧資料輸入部
151、251、551、651、751‧‧‧切出部
152、252、552、652、752‧‧‧多位準資料生成部
153、253、553、653、753‧‧‧評估值計算部
154、254、554、654、754‧‧‧對象判定部
155‧‧‧鳴叫控制部
20、40‧‧‧監視裝置
23、43、51、63、73‧‧‧通信部
255、655、755‧‧‧通知控制部
555‧‧‧顯示控制部
30、50‧‧‧中央裝置
52‧‧‧顯示部
60‧‧‧鳴叫感測器
61‧‧‧集音部
70‧‧‧人體感測器
71‧‧‧信號取得部
第1A圖為表示資訊位準與評估值之關係一例的圖形。
第1B圖為表示資訊位準與評估值之關係一例的圖形。
第2圖為第1實施形態之對講機的概略構造圖。
第3圖為第1實施形態之對講機控制部的概略構造圖。
第4A圖為映著人物之臉的圖像例。
第4B圖為未映著人物之臉的圖像例。
第5圖為表示濾波器尺寸與評估值之關係一例的圖形。
第6A圖為映著人物之臉的圖像例。
第6B圖為未映著人物之臉的圖像例。
第7圖為表示濾波器尺寸與評估值之關係一例的圖形。
第8圖為表示濾波器尺寸與評估值的差分累積值之關係一例的圖形。
第9圖為表示濾波器尺寸與評估值的差分累積值之關係一例的圖形。
第10圖為顯示第1實施形態之對講機對象檢出處理動作的流程圖。
第11圖為用於就掩蔽區域進行說明的示意圖。
第12圖為顯示第2實施形態之對講機對象檢出處理動作的流程圖。
第13圖為第3實施形態之監視系統的概略構造圖。
第14圖為第3實施形態之監視裝置控制部的概略構造圖。
第15圖為顯示第3實施形態之監視裝置對象檢出處理動作的流程圖。
第16圖為第4實施形態之監視系統的概略構造圖。
第17圖為第4實施形態之中央裝置控制部的概略構造圖。
第18圖為顯示第4實施形態之中央裝置對象檢出處理動作的流程圖。
第19圖為第5實施形態之鳴叫感測器的概略構造圖。
第20圖為第5實施形態之鳴叫感測器控制部的概略構造圖。
第21圖為顯示第5實施形態之鳴叫感測器對象檢出處理動作的流程圖。
第22圖為第6實施形態之人體感測器的概略構造圖。
第23圖為第6實施形態之人體感測器控制部的概略構造圖。
第24圖為顯示第6實施形態之人體感測器對象檢出處理動作的流程圖。
以下,就本發明一實施形態的對象檢出裝置,一面參照圖一面進行說明。
對象檢出裝置從作為檢出處理對象的輸入資料求出檢出對象中特有的特徵量,將求得的特徵量輸入到利用機器學習生成的鑑別器,計算表示檢出對象可能性程度的評估值,從算出的評估值判定輸入資料中是否含有檢出對象。發明者反覆銳意研討,得到了以下見解:若從輸入資料生成資訊位準互相不同的複數個資料,從複數個資料之各資料計算評估值,則評估值依其資訊位準變化而變化的方式會因含有檢出對象的輸入資料與不含檢 出對象的輸入資料而大不相同。資料的資訊位準為該資料表現檢出對象特徵的程度,為該資料表現檢出對象特徵的細節的程度(可表現的程度),或者為該資料適合檢出對象特徵表現的程度。
第1A圖及第1B圖中顯示表示資料的資訊位準與資料的檢出對象可能性程度的評估值之關係一例。第1A圖的圖形100表示輸入資料中含有檢出對象時的資訊位準與評估值之關係一例,第1B圖的圖形101表示輸入資料中不含檢出對象時的資訊位準與評估值之關係一例。在第1A圖及第1B圖中,橫軸為資訊位準,縱軸為評估值。如第1A圖所示,輸入資料中含有檢出對象時,在資訊位準上升時評估值有顯示急劇上升的傾向。另一方面,如第1B圖所示,輸入資料中不含檢出對象時,即使資訊位準上升,評估值也不像輸入資料中含有檢出對象時那樣顯示急劇的上升。此外,此種傾向不管評估值本身的高度多高都看得到。即,儘管輸入資料中含有檢出對象,即使在關於從輸入資料求得的檢出對象的特徵量在特徵量空間對於鑑別境界位於不是檢出對象側的情況,評估值在資訊位準上升時也有顯示急劇上升的傾向。另一方面,儘管輸入資料中不含檢出對象,即使在關於從輸入資料求得的檢出對象的特徵量在特徵量空間對於鑑別境界係位於檢出對象側的情況,即使資訊位準上升其評估值也有不顯示急劇上升的傾向。
於是,本發明一實施形態的對象檢出裝置從輸入資料生成資訊位準互相不同的複數個資料,對各 生成的資料求出關於檢出對象的特徵量,將求得的特徵量輸入到利用機器學習生成的鑑別器,分別計算評估值。而且,對象檢出裝置求出所算出的評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係輸入資料中含有檢出對象時的上升程度的下限值以上時,判定為輸入資料中含有檢出對象。即,對象檢出裝置不是依據關於檢出對象的特徵量在特徵量空間對於鑑別境界位於哪一側,而是依據變更了資訊位準時的特徵量對於鑑別境界的位置變化,來判定輸入資料中是否含有檢出對象。藉此,對象檢出裝置謀求提高從輸入資料檢出檢出對象的精度。
以下,就安裝有本發明第1實施形態的對象檢出裝置之對講機,一面參照圖一面進行說明。此對講機設置於大門等上,於被按下呼叫按鈕時會拍攝大門等,以判定人臉是否映在拍攝的圖像上。然後,此對講機於人臉映在拍攝的圖像上時,使設置於室內的蜂鳴器鳴叫而將來訪者的到訪通知家人,另一方面,於人臉未映在拍攝的圖像上時,判定為因惡作劇而被按下呼叫按鈕,不使蜂鳴器鳴叫。即,本實施形態的對講機將輸入資料作為圖像資料,將檢出對象作為人物之臉。
第2圖為顯示本實施形態之對講機概略構造的圖。如第2圖所示,對講機10具有攝影部11、輸出部12、介面部13、記憶部14及控制部15。以下,就對講機10之各部詳細地進行說明。
攝影部11為拍攝設置有對講機10的大門等的攝影機,具有例如二維排列並輸出與受光的光量相應之電氣信號的光電變換元件(例如CCD感測器、C-MOS等)、及用於將監視區域之像成像於其光電變換元件上的成像光學系統。攝影部11和介面部13連接,將拍攝的攝影圖像交給介面部13。
攝影圖像可設定為灰階或色彩多階度的圖像。在本實施形態中,將攝影圖像設定為具有橫320像素×縱240像素、具有8位元亮解析度的灰階圖像。然而,也可以使用具有本實施形態以外的解析度及階度者作為攝影圖像。
輸出部12為通知部的一例,具有例如蜂鳴器。輸出部12配置於房屋內,和介面部13連接,一從介面部13輸入蜂鳴器鳴叫信號,就使蜂鳴器鳴叫,將來訪者的到訪通知家人。
介面部13具有和攝影部11及輸出部12連接的介面電路,例如以視頻介面及聲頻介面或者通用串列匯流排(universal serial bus)之類的串列匯流排為標準的介面電路。介面部13和控制部15經由例如匯流排而連接,將從攝影部11接收到的攝影圖像傳送到控制部15。此外,介面部13將從控制部15接收到的蜂鳴器鳴叫信號輸出到輸出部12。
記憶部14具有ROM(Read Only Memory;唯讀記憶體)、RAM(Random Access Memory;隨機存取記憶體)等的半導體記憶體。記憶部14記憶用於控制對 講機10的電腦程式及各種資料,在與控制部15之間輸入輸出此等資訊。各種資料中含有臉的參考資料。
控制部15為對象檢出裝置之例,具有CPU(Central Processing Unit;中央處理單元)、DSP(Digital Signal Processor;數位信號處理器)、MCU(Micro Control Unit;微控制單元)等至少一個處理器及其周邊電路。控制部15將從介面部13接收到的攝影圖像記憶於記憶部14。而且,控制部15讀出記憶於記憶部14的攝影圖像來判定臉是否映在其攝影圖像上,並且控制輸出部12之蜂鳴器的鳴叫。
第3圖為顯示控制部15概略構造的圖。如第3圖所示,控制部15具有資料輸入部150、切出部151、多位準資料生成部152、評估值計算部153、對象判定部154及鳴叫控制部155作為由在處理器上動作的軟體所執行的功能模組。
再者,控制部15具有的此等各部也可以用獨立的積體電路、韌體、微處理器等構成。
以下,就控制部15之各部詳細地進行說明。
資料輸入部150從記憶部14讀出攝影圖像,傳送到切出部151。
切出部151從自資料輸入部150取得的攝影圖像,依次切出作為檢出處理對象的預定尺寸的圖像,將切出的圖像傳送到多位準資料生成部152。切出部151在攝影圖像內設定複數個切出位置,並且設定複數個在從攝影部11的設置狀態和在來訪者的個人差異所 設想的攝影圖像上的來訪者之臉尺寸的範圍內所切出的圖像尺寸,依次切出設定的位置和尺寸之組合數量的部分圖像。例如,切出位置可設定為從攝影圖像左上端各錯開在水平方向切出的圖像水平方向長度一半的位置、及從此等位置再各錯開在垂直方向切出的圖像垂直方向長度一半的位置。以下,將切出部151切出的圖像稱為部分圖像。在本實施形態中,部分圖像為輸入資料之例。
多位準資料生成部152從輸入資料生成資訊位準互相不同的複數個資料,將生成的資料和資訊位準形成對應關係而傳送到評估值計算部153。以下,將資訊位準互相不同的複數個資料稱為多位準資料。本實施形態的多位準資料生成部152從自輸入資料即攝影圖像切出的部分圖像,生成複數個資訊位準互相不同的圖像(以下稱為個別位準圖像),生成原來的部分圖像及生成的個別位準圖像作為多位準資料。
本實施形態的多位準資料生成部152生成資訊位準越高則銳度越高、資訊位準越低則銳度越低之銳度互相不同的複數個圖像作為多位準資料。多位準資料生成部152藉由對部分圖像實施平均化處理而生成降低銳度的個別位準圖像。例如,多位準資料生成部152藉由對部分圖像分別適用資訊位準越高則濾波器尺寸越小、資訊位準越低則濾波器尺寸越大的平均化濾波器,生成銳度互相不同的複數個個別位準圖像。若以平均化濾波器的濾波器尺寸為n(例如n為2~30的整數),則對個別位準 圖像的各像素,在部分圖像中設定在以對應的像素為中心的n像素×n像素範圍內的像素之像素值的平均值。即,越增大濾波器尺寸則其平均化濾波器的通帶越窄,其個別位準圖像成為模糊的圖像而銳度變低,所以其個別位準圖像可表現臉特徵的程度變低而資訊位準變低。例如,資訊位準被設定為從1到30的30個階段。而且,資訊位準為1時的濾波器尺寸被設定為30,資訊位準每增大1,濾波器尺寸就被設定為小1之值。此外,資訊位準為最高之值即30時,則利用未適用平均化濾波器的原來的部分圖像。
評估值計算部153對多位準資料中所含的各資料,計算表示檢出對象可能性程度的評估值,將各評估值和資訊位準形成對應關係而傳送到對象判定部154。本實施形態的評估值計算部153具有Real-Adaboost鑑別器,該Real-Adaboost鑑別器係使用哈爾(Haar-Like)特徵量作為對識別人物之臉有用的一個以上的特徵量即臉特徵量者鑑別器。哈爾(Haar-Like)特徵量為在圖像區域中所任意設定的複數個鄰接矩形區域間的亮度差。關於哈爾(Haar-Like)特徵量的詳情,揭示於例如Paul Viola and Michael Jones,"Rapid Object Detection using a Boosted Cascade of Simple Features",IEEE CVPR,vol.1,pp.511-518,2001。
Real-Adaboost鑑別器係由複數個弱鑑別器及統合各弱鑑別器的判定結果而進行判定的強鑑別器所構成。關於各弱鑑別器,係對各弱鑑別器使用所預先決定的哈 爾(Haar-Like)特徵量,從圖像計算特徵量。各弱鑑別器係臉映在對應的部分圖像上的可能性越高則輸出越高、可能性越低則輸出越低之值。另一方面,強鑑別器輸出各弱鑑別器的輸出值總和作為評估值。再者,此評估值取至少三值以上的值,為例如連續值。
再者,利用關於哪個鄰接矩形區域的哈爾(Haar-Like)特徵量作為各弱鑑別器,係從映著臉的複數個學習用臉圖像及未映著臉的複數個學習用非臉圖像(以下匯總學習用臉圖像及學習用非臉圖像稱為學習用圖像),由事前學習所決定。學習步驟的概略如下:
(1)進行事前學習的電腦對於各學習用圖像,在圖像區域中設定複數個鄰接矩形區域,分別計算關於設定的各鄰接矩形區域的哈爾(Haar-Like)特徵量。
(2)電腦決定對於各學習用圖像的權重。權重的初始值對於各學習用圖像設定為相同值。
(3)對於設定的鄰接矩形區域之各區域,電腦對關於其鄰接矩形區域的各哈爾(Haar-Like)特徵量,從對於學習用臉圖像所設定的權重計算學習用臉圖像的概率密度分布W+ j。再者,j為對應於哈爾(Haar-Like)特徵量之值的號碼。同樣地,對於設定的鄰接矩形區域之各區域,電腦對關於其鄰接矩形區域的各哈爾(Haar-Like)特徵量之值,從對於學習用非臉圖像所設定的權重計算學習用非臉圖像的概率密度分布W- j。再者,電腦也可以藉由將其值可取得的範圍分割為複數個使各哈爾(Haar-Like)特徵量量子化,計算概率密度分布W+ j及概率密度分布W- j
(4)對於各哈爾(Haar-Like)特徵量,電腦從學習用臉圖像的概率密度分布W+ j與學習用非臉圖像的概率密度分布W- j,利用下式計算評估值Z:
再者,此結合度Z越小則越意味著學習用臉圖像的分布和學習用非臉圖像的分布分離。因此,電腦選擇關於評估值Z成為最小的鄰接矩形區域的哈爾(Haar-Like)特徵量作為一個弱鑑別器。弱鑑別器的輸出h(x)以下式表示:
此處,x為輸入到弱鑑別器的哈爾(Haar-Like)特徵量之值,ε為用於防止分母成為0的常數(例如10-10)。如式(2)所表示,弱鑑別器輸出對應於輸入值(哈爾(Haar-Like)特徵量)之學習用臉圖像的概率密度分布W+ j越大則越大之值,輸出對應於輸入值之學習用非臉圖像的概率密度分布W- j越大則越小之值。而且,弱鑑別器於學習用臉圖像的概率密度分布W+ j比學習用非臉圖像的概率密度分布W- j大時輸出正值,小時輸出負值,相同時輸出0。
(5)電腦將所選擇的哈爾(Haar-Like)特徵量的弱鑑別器識別失敗之學習用圖像的權重增大,將識別成功之學習用圖像的權重縮小。而且,使學習用圖像的權重正規化成全部學習用圖像的權重之和成為1。
(6)電腦反覆(3)~(5)的步驟預定次數。
作為經這樣的方式所決定的各弱鑑別器所使用的哈爾(Haar-Like)特徵量的資訊、表示鄰接矩形區域的資訊及表示各弱鑑別器之輸出函數的資訊被記憶於記憶部14作為臉的參考資料。
評估值計算部153將以(4)選擇的各弱鑑別器之輸出值的總和作為評估值。此評估值於哈爾(Haar-Like)特徵量在特徵量空間對於鑑別境界位於臉側的區域時成為正值,於位於非臉側的區域時成為負值,其位置越遠離鑑別境界則其絕對值越大,越接近則絕對值越小。
第4A圖及第4B圖中顯示部分圖像之例。第4A圖所示的部分圖像400為映著人物之臉清晰的圖像。第4B圖所示的部分圖像410為未映著人物之臉清晰的圖像。
第5圖中顯示對於部分圖像400及部分圖像410,多位準資料生成部152適用的平均化濾波器之濾波器尺寸與評估值計算部153從適用其濾波器尺寸之平均化濾波器而生成的圖像算出的評估值之關係的一例。在第5圖中,橫軸為濾波器尺寸,縱軸為評估值。再者,濾波器尺寸為2以上時,若以濾波器尺寸為n(n為2至30的 整數),則對於將n像素×n像素的尺寸的平均化濾波器適用於部分圖像的個別位準圖像計算評估值,濾波器尺寸為1時,則對於未適用平均化濾波器的原來的部分圖像計算評估值。此濾波器尺寸為1時的評估值,即對於原來的部分圖像的評估值顯示正確的符號。因此,對於部分圖像400及部分圖像410,即使使用對於原來的部分圖像的評估值,也可以正確地區別是否映著臉。
另一方面,第6A圖及第6B圖中顯示部分圖像之其他例。雖然人物之臉601映在第6A圖所示的部分圖像600上,但此人物卻低著頭,部分圖像600為不易了解是否映著人物之臉的圖像。此外,雖然人物之臉未映在第6B圖所示的部分圖像610上,但映著容易弄錯為人物之臉的物體611。
第7圖中顯示對於部分圖像600及部分圖像610,多位準資料生成部152適用的平均化濾波器之濾波器尺寸與評估值計算部153從適用其濾波器尺寸之平均化濾波器而生成的圖像算出的評估值之關係的一例。在第7圖中,橫軸為濾波器尺寸,縱軸為評估值。此濾波器尺寸為1時的評估值,即對於原來的部分圖像的評估值係正負反轉成為不正確之值。因此,對於部分圖像600及部分圖像610,難以從對於原來的部分圖像的評估值正確地區別是否映著臉。
另一方面,在第5圖之圖形500中,濾波器尺寸從9到1,評估值急劇地上升。在第7圖之圖形700中,濾波器尺寸從7到2,評估值急劇地上升。相對於此,圖 形501的評估值及圖形701的評估值並不像圖形500的評估值及圖形700的評估值那樣上升。
第8圖及第9圖中顯示表示變更適用於部分圖像的平均化濾波器之濾波器尺寸時的評估值之上升程度的圖形。再者,平均化濾波器於濾波器尺寸為奇數時,被適用成在濾波器中心位置的要素對應於適用部分圖像內的濾波器之區域的中心像素,但於濾波器尺寸為偶數時,由於要素不存在於濾波器的中心位置,所以在水平方向及垂直方向分別各錯開0.5像素份的狀態被適用。於是,在第8圖及第9圖中,為了去掉濾波器尺寸為奇數時與為偶數時的不整合性,將差分累積值作為縱軸,將濾波器尺寸作為橫軸,該差分累積值係指將與各濾波器尺寸對應的評估值,從與相較於該濾波器僅小2之濾波器尺寸對應的評估值減去後所得之差,自濾波器尺寸大之側依次累積的累積值(以下皆稱為差分累積值)。第8圖的圖形800表示對於第5圖的圖形500之評估值的差分累積值,圖形801表示對於圖形501之評估值的差分累積值。此外,第9圖的圖形900表示對於從第7圖的圖形700求得之評估值的差分累積值,圖形901表示對於從圖形701求得之評估值的差分累積值。
在第5圖的圖形500中,由於濾波器尺寸從9到1,評估值逐漸上升,所以從對應於7至1的濾波器尺寸之各評估值分別扣除對應於9至3的濾波器尺寸之各評估值之差成為正值。因此,在第8圖的圖形800中,差分累積值係濾波器尺寸從9到3逐漸上升,特別 是在濾波器尺寸為6以下的範圍內成為夠大的值。另一方面,第5圖的圖形501之評估值並不像圖形500之評估值那樣上升,因此,第8圖的圖形801之差分累積值遍及全部濾波器尺寸並不會成為像圖形800之差分累積值那樣大的值。
此外,在第7圖的圖形700中,由於濾波器尺寸從7到2,評估值逐漸上升,所以從對應於5至2的濾波器尺寸之各評估值分別扣除對應於7至4的濾波器尺寸之各評估值之差成為正值。因此,在第9圖的圖形900中,差分累積值係濾波器尺寸從7到4逐漸上升,特別是在濾波器尺寸為4時成為夠大的值。另一方面,第7圖的圖形701之評估值並不像圖形500之評估值那樣上升,因此,第9圖的圖形901之差分累積值遍及全部濾波器尺寸並不會成為像圖形900之差分累積值那樣大的值。因此,控制部15基於差分累積值,藉由例如差分累積值是否成為10以上,來判定臉是否映在部分圖像上,則可對於各部分圖像600、601、700及701全部正確地判定是否映著臉。
對象判定部154求出對多位準資料中所含的各資料算出的評估值隨著資訊位準的上升而上升的上升程度,藉由求得的上升程度是否表示關於檢出對象的上升程度,來判定輸入資料中是否含有檢出對象,輸出判定結果。本實施形態的對象判定部154係對於評估值計算部153從原來的部分圖像及各個別位準圖像算出的評估值計算上升程度,和預先設定其上升程度的判定臨 界值比較。而且,對象判定部154若上升程度係判定臨界值以上,則判定為臉映在部分圖像上,若上升程度不到判定臨界值,則判定為臉未映在部分圖像上。再者,設定輸入資料中含有檢出對象時的上升程度的下限值作為判定臨界值。例如,可利用事前的實驗,而將可識別以對於映著臉的複數個測試用臉圖像算出的評估值之上升程度、與對於未映著臉的複數個測試用非臉圖像算出的評估值之上升程度為根據的此等評估值之上升程度的值作為判定臨界值。此情況,例如將對於測試用臉圖像所算出的評估值之上升程度的平均值與對於測試用非臉圖像所算出的評估值之上升程度的平均值之平均值作為判定臨界值。或者,也可以將對於測試用非臉圖像所算出的評估值之上升程度的最大值、或對於測試用臉圖像所算出的評估值之上升程度的最小值作為判定臨界值。
例如,對象判定部154對各資訊位準,求出從關於其資訊位準的評估值扣除關於比其資訊位準低預定階段之資訊位準的評估值之差,將求得之差的合計值作為上升程度。此情況,對象判定部154對各濾波器尺寸,求出從自使用比其濾波器尺寸小2的濾波器尺寸之平均化濾波器而生成的各圖像所算出的評估值,扣除從使用其濾波器尺寸之平均化濾波器而生成的各圖像所算出的評估值之差,將其合計值作為上升程度。藉此,對象判定部154可將各評估值分成奇數系列與偶數系列而計算上升程度,該奇數系列係指使其適用於算出其評估值的圖像的平均化濾波器之濾波器尺寸為奇數的系列,該偶數
系列係指其濾波器尺寸為偶數的系列。因此,可去掉如在第8圖及第9圖之說明所述的在適用濾波器尺寸為奇數的平均化濾波器時、與適用濾波器尺寸為偶數的平均化濾波器時所產生的不整合性。以下,顯示將各評估值分成偶數系列與奇數系列而計算上升程度之式:△n1=Sn1-2-Sn1 其中n1=N、N-2、…、6、4 (3)
n2=Sn2-2-Sn2 其中n2=N-1、N-3、…、5、3 (4)
D=Σ△n1+Σ△n2 其中n1=N、N-2、…、6、4、n2=N-1、N-3、…、5、3 (5)
此處,Sn係濾波器尺寸為n時的評估值,n1為偶數系列,n2為奇數系列,N為最大濾波器尺寸,△n為從濾波器尺寸為n-2時的評估值扣除濾波器尺寸為n時的評估值之差,D為評估值的上升程度。再者,也可以僅以偶數系列或僅以奇數系列計算上升程度,但是藉由使用兩方的系列,可增多資訊位準的數量,可更細地分析各評估值。
或者,對象判定部154也可以不將各評估值分成偶數系列與奇數系列,而是將從自使用比其濾波器尺寸小1的濾波器尺寸之平均化濾波器而生成的各圖像所算出的評估值,扣除從使用各濾波器尺寸之平均化濾波器而生成的各圖像所算出的評估值之差的合計值作為上升程度。
或者,對象判定部154從資訊位準小至大依次,即從濾波器尺寸大至小依次求出從關於比其濾波器尺寸小預定尺寸之濾波器尺寸的評估值扣除關於各濾 波器尺寸的評估值之差。而且,對象判定部154也可以每次求出差時,都求出求得之差的累積值作為上升程度,判定其上升程度是否係判定臨界值以上,上升程度若為判定臨界值以上,就判定為臉映在部分圖像上。此情況,多位準資料生成部152、評估值計算部153及對象判定部154在對於全部資訊位準實施各處理之前,可判定為部分圖像中含有臉,可縮短檢出處理所需的時間。再者,對象判定部154於逐漸提高資訊位準時檢出評估值變高,所以最好從資訊位準小至大依次實施處理。
於被對象判定部154判定為哪個部分圖像為臉圖像時,鳴叫控制部155對輸出部12輸入蜂鳴器鳴叫信號而使蜂鳴器鳴叫。
以下,一面參照第10圖所示的流程圖,一面說明本實施形態的對講機10之對象檢出處理的動作。再者,以下說明的動作流程被記憶於記憶部14,按照被讀入到控制部15的程式,由控制部15所控制。
首先,來訪者一按下未圖示的呼叫按鈕,控制部15就使攝影部11拍攝大門等,經由介面部13取得攝影圖像,記憶於記憶部14。然後,資料輸入部150從記憶部14讀出攝影圖像,傳送到切出部151(步驟S1001)。其次,切出部151從取得的攝影圖像切出部分圖像,將切出的部分圖像傳送到多位準資料生成部152(步驟S1002)。再者,控制部15僅切出部151切出的部分圖像數量執行步驟S1002~S1011的處理。
其次,控制部15設定資訊位準(步驟S1003)。再者,控制部15從較低的資訊位準依次設定預定的資訊位準,僅設定的資訊位準數量執行步驟S1003~S1007的處理。
多位準資料生成部152生成對應於在步驟S1003設定的資訊位準之個別位準圖像,將生成的個別位準圖像和資訊位準形成對應關係而傳送到評估值計算部153(步驟S1004)。再者,資訊位準不是最大值時,多位準資料生成部152從部分圖像生成對應於其資訊位準的個別位準圖像而傳送到評估值計算部153。另一方面,資訊位準是最大值時,多位準資料生成部152將部分圖像原封不動地傳送到評估值計算部153。
其次,評估值計算部153從自多位準資料生成部152接收到的個別位準圖像抽取臉特徵量(步驟S1005)。其次,評估值計算部153從抽取的臉特徵量計算評估值,將算出的評估值和資訊位準形成對應關係而傳送到對象判定部154(步驟S1006)。
其次,控制部15判定對於全部的資訊位準是否執行過步驟S1003~S1006的處理(步驟S1007)。若對於全部的資訊位準未執行步驟S1003~S1006的處理(步驟S1007的否),則控制部15使處理回到步驟S1003而反覆步驟S1003~S1006的處理。另一方面,若對於全部的資訊位準執行過步驟S1003~S1006的處理(步驟S1007的是),則對象判定部154對於到那時為止從評估值計算部153接收到的評估值,計算隨著資訊位準的上升而上升的上升程度(步驟S1008)。
其次,對象判定部154將算出的上升程度和判定臨界值比較(步驟S1009)。若上升程度係判定臨界值以上(步驟S1009的是),則鳴叫控制部155將蜂鳴器鳴叫信號經由介面部13輸出到輸出部12而使輸出部12鳴叫蜂鳴器(步驟S1010)。蜂鳴器一鳴叫,控制部15就結束一連串的步驟。
另一方面,若上升程度不到判定臨界值(步驟S1009的否),則控制部15判定是否已全部切出預定的全部位置及大小的部分圖像(步驟S1011)。若未全部切出部分圖像(步驟S1011的否),則控制部15使處理回到步驟S1002而反覆步驟S1002~S1011的處理。另一方面,若已全部切出部分圖像(步驟S1011的是),則控制部1則視來訪者的臉未檢出而結束一連串的步驟。
再者,對象判定部154也可以在步驟S1006每次評估值計算部153傳送評估值時都計算上升程度,將算出的上升程度和判定臨界值比較。此情況,對象判定部154在步驟S1006每次評估值計算部153傳送評估值時都使接收到的評估值記憶於記憶部14。而且,對象判定部154計算其評估值和已記憶的評估值之差,將算出之差加在累積值上而作為評估值的上升程度。再者,資訊位準是最低值時,對象判定部154將累積值初始化為0。此情況,對象判定部154不計算差,不變更累積值。另一方面,資訊位準不是最低值時,對象判定部154計算從評估值計算部153接收到的評估值和剛剛接收到的評估值之差而加在累積值上。而且,對象判定部154 每次計算累積值時都將算出的累積值和判定臨界值比較,若累積值係判定臨界值以上,則鳴叫控制部155將蜂鳴器鳴叫信號經由介面部13輸出到輸出部12而使輸出部12鳴叫蜂鳴器。
此外,例如將對講機10設置成來訪者的臉正好納入攝影部11拍攝的攝影圖像之類的情況,控制部15無需從攝影圖像切出部分圖像,所以也可以從攝影圖像直接生成個別位準圖像。此情況,從控制部15省略切出部151,在第10圖的流程圖中省略步驟S1002及S1011的處理。
如以上說明,本實施形態的對講機係從自攝影部拍攝的攝影圖像切出的部分圖像或攝影圖像生成資訊位準互相不同的複數個個別位準圖像,從生成的各個別位準圖像計算評估值。而且,對講機係求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係臉映在部分圖像或攝影圖像上時的上升程度的下限值以上時,判定為臉映在攝影圖像上。藉此,對講機可提高從攝影圖像檢出臉的精度。
此外,本實施形態的對講機不是基於評估值本身來判定臉是否映在部分圖像上,而是基於評估值的上升程度來判定臉是否映在部分圖像上。即,對講機不是依據從部分圖像抽取的特徵量在特徵量空間對於鑑別境界位於臉側或位於非臉側來判定人物是否映在部分圖像上,而是基於與資訊位準變化相應的對於鑑別境界的特徵量位置變化來檢出臉。因此,無需高精度地學習 鑑別境界本身,所以無需收集大量的學習用圖像,可提高裝置的開發效率。
在第1實施形態的第1變形例,評估值計算部使用HOG(Histograms of Oriented Gradients;梯度方向直方圖)特徵量取代哈爾(Haar-Like)特徵量作為臉特徵量。評估值計算部將所輸入的圖像分割為複數個區塊,再將各區塊分割為複數個單元。例如,各單元為5像素×5像素的矩形區域,各區塊為3單元×3單元的矩形區域。而且,評估值計算部計算所輸入的圖像內的各像素之像素值的梯度方向及梯度強度。再者,梯度方向無需考慮方向,所以在0°~180°的範圍內被算出,被設定在例如以每22.5°分割的8個方向。評估值計算部對各單元就各梯度方向求出以各梯度方向的梯度強度總和為度數的直方圖,將使求得的直方圖正規化成各區塊者作為HOG特徵量。
使用HOG特徵量作為臉特徵量時,對於預定的區塊求得的HOG特徵量被分別輸入到評估值計算部之各弱鑑別器,各弱鑑別器基於所輸入的HOG特徵量,臉映在對應的部分圖像上的可能性越高則輸出越高、可能性越低則輸出越低之值。再者,將哪個區塊的HOG特徵量輸入到各弱鑑別器係從映著臉的複數個學習用臉圖像與未映著臉的複數個學習用非臉圖像,由事前學習所決定。由於學習步驟和使用哈爾(Haar-Like)特徵量作為臉特徵量時同樣,所以省略說明。表示用作由事前學習所決定的各弱鑑別器之HOG特徵量的資訊與表示各弱鑑別器 之輸出函數的資訊,被記憶於記憶部作為臉的參考資料。
在第1實施形態的第2變形例,多位準資料生成部藉由變更平均化濾波器的濾波器處理次數取代變更適用於圖像的平均化濾波器之濾波器尺寸,而生成銳度互相不同的複數個圖像。此情況,多位準資料生成部使用固定尺寸(例如3×3)的平均化濾波器分別生成將濾波器處理實施1次的圖像、實施2次的圖像、…、實施n次的圖像。由於所生成的圖像越反覆濾波器處理則越成為更模糊的圖像,所以濾波器處理的次數越多則銳度越低,濾波器處理的次數越少則銳度越高。
或者,多位準資料生成部也可以藉由變更適用於圖像的濾波器之濾波器係數,而生成銳度互相不同的複數個圖像。此情況,多位準資料生成部對於固定尺寸(例如5×5)的濾波器進行加權成越接近濾波器的中央部則權重越大,使用其加權互相不同的濾波器生成銳度互相不同的複數個圖像。從適用的濾波器緣部往中央的權重變化程度越緩和,則所生成之圖像的銳度越低,從緣部往中央的權重變化程度越陡峭,則其銳度越高。
或者,多位準資料生成部也可以將圖像內的各像素分割為像素值互相類似的鄰接像素的匯集(區段),藉由對各區段將構成其區段的像素之像素值置換成同一值,而生成銳度互相不同的複數個圖像。此情況,多位準資料生成部將像素值之差的絕對值不到臨界值的鄰接像素的匯集作為區段,以其區段的平均像素值置換構成各區 段的像素之像素值。多位準資料生成部藉由將此臨界值變更為複數種,而生成銳度互相不同的複數個圖像。用於匯集鄰接像素的臨界值越高則所生成之圖像的銳度越低,用於匯集鄰接像素的臨界值越低則其銳度越高。
在第1實施形態的第3變形例方面,多位準資料生成部生成在所輸入的圖像上分別疊加資訊位準越高則越少量的雜訊、資訊位準越低則越多量的雜訊的複數個圖像作為資訊位準互相不同的複數個圖像。此情況,多位準資料生成部隨機選擇所輸入的圖像內的預定數量的像素,藉由將選擇的像素之值變更為隨機值來疊加雜訊。多位準資料生成部藉由將改變值的像素數量變更為複數種,而生成分別疊加有互相不同量之雜訊的複數個圖像。疊加的雜訊量越多則所生成的圖像之SN(signal to noise;信號雜訊)比越低而資訊位準變低,疊加的雜訊量越少則SN比越高而資訊位準變高。
或者,多位準資料生成部也可以生成資訊位準越高則圖像的可懂度越高、資訊位準越低則圖像的可懂度越低之圖像的可懂度互相不同的複數個圖像作為資訊位準互相不同的複數個圖像。此情況,例如多位準資料生成部生成資訊位準越高則越增多圖像內的像素值之階度數量、資訊位準越低則越減少圖像內的像素值之階度數量的複數個圖像作為圖像的可懂度互相不同的複數個圖像。由於階度數量越少則所生成之圖像的可懂度越低,所以資訊位準變低,由於階度數量越多則可懂度越高,所以資訊位準變高。
或者,多位準資料生成部也可以生成資訊位準越高則越提高對比度、資訊位準越低則越降低對比度的複數個圖像作為圖像的可懂度互相不同的複數個圖像。此情況,多位準資料生成部對於所輸入的圖像,生成將各像素之亮度值轉換成使圖像內的全部像素之亮度值的標準偏差變小的圖像。由於圖像內的各像素之亮度值的標準偏差越小則所生成之圖像的可懂度越低,所以資訊位準變低,由於標準偏差越大則可懂度越高,所以資訊位準變高。
在第1實施形態的第4變形例,多位準資料生成部生成資訊位準越高則越降低掩蔽程度、資訊位準越低則越提高掩蔽程度的掩蔽程度互相不同的複數個資料作為資訊位準互相不同的複數個資料,該掩蔽程度係指掩蔽在輸入資料中表示檢出對象之部分的程度(以下皆稱為掩蔽程度)。輸入資料為圖像資料時,多位準資料生成部生成關於在所輸入的圖像中表示檢出對象即人物之臉的部分的掩蔽程度互相不同的複數個圖像。此情況,多位準資料生成部於其圖像內設定掩蔽圖像一部分的預定尺寸的掩蔽區域,將其圖像之掩蔽區域內的像素值置換成固定值。而且,多位準資料生成部生成掩蔽區域的尺寸互相不同的複數個圖像作為掩蔽程度互相不同的複數個圖像。
第11圖顯示用於說明掩蔽區域的示意圖。在第11圖所示之例中,尺寸互相不同的掩蔽區域1100、1101、1102被設定成各掩蔽區域的中央位置分別與圖像1103的中央位置1104一致。
由於掩蔽區域的尺寸越大則所生成之圖像的掩蔽程度越高而顯示於其圖像上之臉特徵的正確性變低,所以資訊位準變低,掩蔽區域的尺寸越小則其掩蔽程度越低而其資訊位準變高。再者,可利用掩蔽區域的尺寸為0的圖像,即原來的圖像作為掩蔽程度最低的圖像。
或者,多位準資料生成部也可以生成掩蔽區域的位置互相不同的複數個圖像作為掩蔽程度互相不同的複數個圖像。如上述,例如將對講機設置成來訪者的臉正好納入攝影部拍攝的攝影圖像之類的情況,控制部無需從攝影圖像切出部分圖像,所以也可以從攝影圖像直接生成個別位準圖像。此情況,在攝影圖像,眼、鼻、口等臉的特徵部位比攝影圖像的緣部更多存在於中央部附近的可能性高。因此,此情況,藉由將掩蔽區域的位置從緣部逐漸變更到中央部,可逐步降低其圖像適合臉之特徵表現的程度。此情況,掩蔽區域的位置越接近中央部則所生成之圖像的掩蔽程度越高,掩蔽區域的位置越接近緣部則其掩蔽程度越低。
如此,生成掩蔽程度互相不同的複數個圖像,從各圖像計算評估值,基於隨著掩蔽程度的降低而評估值上升的上升程度來判定臉是否映在部分圖像上,也可以提高檢出對象的檢出精度。
在第1實施形態的第5變形例方面,多位準資料生成部生成關於檢出對象的特徵量,對於其特徵量生成使分析位準互相不同的複數個資料,該分析位準係指其特徵量表示的資訊量之位準(以下稱皆為分析位 準)。在分析位準互相不同的複數個資料中,各資料可表現檢出對象特徵的程度互相不同。於是,在本變形例方面,多位準資料生成部使用資訊位準越高則分析位準越高、資訊位準越低則分析位準越低的使分析位準互相不同的複數個資料作為資訊位準互相不同的複數個資料。此情況,由事前學習所決定的輸入到評估值計算部之各弱鑑別器的特徵量不是評估值計算部求出,而是多位準資料生成部求出,多位準資料生成部將求得的特徵量之分析位準變更為複數種。
例如,多位準資料生成部生成對關於所輸入的圖像求得的各哈爾(Haar-Like)特徵量分別乘以分析位準越高則越大、分析位準越低則越小之1以下的正係數α(0<α≦1.0)的複數個資料,作為使分析位準互相不同的複數個資料。多位準資料生成部將係數α在例如0.1、0.2、0.3、…、1.0等所預先設定的範圍內變更為複數種。由於α越小則越逐漸喪失臉的特徵,所以所求出的特徵量之資訊位準變低,相反地,α越大則其資訊位準越高。
此情況,在第10圖的流程圖之步驟S1004,多位準資料生成部從部分圖像求出輸入到評估值計算部之各弱鑑別器的哈爾(Haar-Like)特徵量,對於各哈爾(Haar-Like)特徵量乘以對應於在步驟S1003所設定之資訊位準的係數α,傳送到評估值計算部。而且,步驟S1005被省略,在步驟S1006,評估值計算部從自多位準資料生成部接收到的哈爾(Haar-Like)特徵量計算評估值。
此外,例如使用HOG特徵量作為臉特徵量時,多位準資料生成部也可以生成分析位準越高則越增多表現特徵量的量子化數量、分析位準越低則越減少表現特徵量的量子化數量的複數個資料,作為使分析位準互相不同的複數個資料。如同在第1變形例所說明,使用HOG特徵量作為臉特徵量時,求出圖像內的各單元之各梯度方向的梯度強度總和的直方圖作為HOG特徵量。多位準資料生成部藉由將直方圖的量子化數量,即梯度方向的數量在如2、3、4、…、9等預先設定的範圍內變更為複數種,變更分析位準。由於量子化數量越少則越逐漸喪失臉的特徵,所以所抽取的特徵量之資訊位準變低,相反地,量子化數量越多則其資訊位準越高。
或者,多位準資料生成部也可以藉由對於各特徵量進行加權,變更分析位準。例如,使用HOG特徵量作為特徵資料時,多位準資料生成部在接近部分圖像中心位置的單元與離開部分圖像中心位置之緣部的單元設定不同的權重係數,藉由對各單元的直方圖乘以此權重係數,變更分析位準。此情況,由於在部分圖像中心位置的單元與緣部的單元,權重係數之差越大則越逐漸喪失臉的特徵,所以所抽取的特徵量之資訊位準變低,相反地,權重係數之差越小則其資訊位準越高。
如此,求出分析位準互相不同的特徵量而從各特徵量計算評估值,基於評估值隨著分析位準的上升而上升的上升程度來判定臉是否映在圖像上,也可以提高檢出對象的檢出精度。
在第1實施形態的第6變形例,評估值計算部具有Adaboost鑑別器以取代Real-Adaboost鑑別器。此鑑別器係由複數個弱鑑別器及統合各弱鑑別器的判定結果而進行判定的強鑑別器所構成。對各弱鑑別器分別輸入預先決定的特徵量,各弱鑑別器基於所輸入的特徵量而判定為臉映在對應的部分圖像上時,輸出1,判定為臉未映著時,輸出-1。另一方面,強鑑別器將各弱鑑別器的輸出值分別進行加權,求出其加權和而輸出作為評估值。再者,將哪個特徵量輸入到各弱鑑別器及對於各弱鑑別器的權重,係由使用從映著臉的複數個學習用臉圖像及未映著臉的複數個學習用非臉圖像所算出的特徵量之事前學習所決定。
或者,評估值計算部也可以使用支援向量器(support vector machine)、具有3層以上之層的人工神經元(perceptron)或隨機森林(random forest)等計算評估值。此情況,評估值計算部預先從複數個學習用臉圖像與複數個學習用非臉圖像分別抽取一個以上的特徵量,使用抽取的特徵量進行事前學習。於輸入從特定的圖像抽取的特徵量時,此事前學習係以區別臉是否映在特定的圖像上的方式所進行。使用支援向量器時,評估值計算部係在特徵量空間,特徵量對於由事前學習求得的鑑別境界位於臉側的區域時成為正值,位於非臉側的區域時成為負值,計算相當於其特徵量位置與鑑別境界的距離之值作為評估值。此外,使用具有3層以上之層的人工神經元時,評估值計算部將輸入到輸出層之神經元 (neuron)的總和作為評估值。此外,使用隨機森林時,評估值計算部將由事前學習生成的各決策樹的輸出結合成臉映在圖像上的可能性越高則越高而作為評估值。
或者,評估值計算部也可以使用線性區別分析法輸出評估值。此情況,評估值計算部預先從複數個學習用臉圖像與複數個學習用非臉圖像分別抽取一個以上的特徵量,使用抽取的特徵量製作線性區別函數。於被輸入從特定的圖像抽取的特徵量時,評估值計算部將線性區別函數製作成臉映在其圖像上的可能性越高則越輸出高的值,將其輸出值作為評估值。
或者,評估值計算部也可以使用混合正規分布輸出評估值。此情況,評估值計算部預先從複數個學習用臉圖像分別抽取一個以上的特徵量,使用抽取的特徵量製作混合正規分布。評估值計算部將對製作的混合正規分布輸入從特定的圖像抽取的特徵量時所得到的概率作為評估值。使用混合正規分布時,由於只使用檢出對象的學習用資料進行事前學習,所以無需收集檢出對象以外的學習用資料,即未映著臉的學習用非臉圖像。
此外,例如評估值計算部也可以使用複數個鑑別器計算評估值,該複數個鑑別器係使用不同的學習資料進行過機器學習。此情況,評估值計算部係串聯連接各鑑別器,從第1級的鑑別器依序執行識別處理,反覆識別處理到任一鑑別器都判定為人物之臉未映在圖像上為止。再者,於來自各鑑別器的輸出值不到臨界值 時,評估值計算部判斷為其鑑別器判定為人物之臉未映在圖像上。此臨界值可利用事前的實驗,基於對於映著臉的複數個測試用臉圖像所算出的輸出值、與對於未映著臉的複數個測試用非臉圖像所算出的輸出值,預先設定為可識別此等輸出值的值。而且,評估值計算部將判定為人物之臉映在圖像上的鑑別器的數量作為評估值。
在第1實施形態的第7變形例方面,評估值計算部利用圖案匹配(pattern matching)計算評估值以取代利用進行過機器學習的鑑別器計算評估值。此情況,控制部預先生成對已知為表示檢出對象的資料之複數個學習用資料實施過平均化處理等的資料之圖案,預先記憶於記憶部作為參考資料。評估值計算部計算從多位準資料生成部接收到的各圖像與已預先記憶作為參考資料的資料圖案類似的程度作為評估值。類似的程度例如可設定為各圖像與參考資料的內積。
在第1實施形態的第8變形例,評估值計算部將從輸入資料抽取檢出對象中特有的資料之抽取程度作為評估值,以取代利用進行過機器學習的鑑別器計算評估值,或者以取代利用圖案匹配計算評估值。例如,檢出對象為臉時,抽取的資料可設定為表示膚色的像素(以下稱為膚色像素)。此情況,控制部設定抽取的膚色像素之像素值的範圍與可看作臉的膚色像素之標準比例而預先記憶於記憶部。評估值計算部從自多位準資料生成部接收到的圖像分別抽取膚色像素。評估值計算部求出膚色像素的像素數量對於各圖像內的全部像素數量 之比例與已預先記憶於記憶部的標準比例之差的絕對值,將求得的絕對值之倒數作為評估值。
在第1實施形態的第9變形例,評估值計算部輸出表示非檢出對象可能性的程度作為評估值,以取代輸出表示檢出對象可能性的程度作為評估值。此情況,對象判定部藉由於增大資訊位準時評估值是否大幅減少,來判定輸入資料中是否含有檢出對象。即,若隨著資訊位準的上升而下降之評估值的下降程度係預先設定的判定臨界值以上,則對象判定部判定為輸入資料中含有檢出對象,若下降程度不到判定臨界值,則判定為輸入資料中不含檢出對象。
在第1實施形態的第10變形例,對象判定部對各資訊位準求出從關於其資訊位準的評估值扣除關於比其資訊位準低預定階段之資訊位準的評估值之差,將求得之差的最大值作為其評估值的上升程度。藉由將評估值之差的最大值作為其評估值的上升程度,即使是資訊位準的數量少的情況,對象判定部也可以適當地檢出評估值的變化。
或者,對象判定部也可以將從對於各資訊位準求得的全部評估值的最大值扣除最小值之差、及最大值對於最小值之比之中的任一方作為其評估值的上升程度。藉此,也可以在資訊位準的數量少的情況,適當地檢出評估值的變化。
或者,評估值在表示輸入資料中含有檢出對象時成為正值、在表示輸入資料中不含檢出對象時成為負值的 情況,輸入資料中不含檢出對象時,對於各資訊位準求得的評估值之正負號有頻繁變化的傾向。於是,此情況,對象判定部也可以將對於各資訊位準求得的評估值之正負號變化次數的倒數作為其評估值的上升程度。此情況,對象判定部依資訊位準低的順序計算評估值之正負號變化的次數,將其次數的倒數作為評估值的上升程度。或者,對象判定部也可以將正負號從負變成正之次數的倒數及從正變成負之次數的倒數之中的任一方作為評估值的上升程度。藉由將評估值之正負號變化次數的倒數作為其評估值的上升程度,特別是在資訊位準的數量多的情況,可更加精度佳地檢出評估值的上升程度。
或者,對象判定部也可以將對於各資訊位準求得的評估值之分散值作為其評估值的上升程度。此情況,對象判定部於求得的分散值係判定臨界值以上時,判定為輸入資料中含有檢出對象,於不到判定臨界值時,判定為輸入資料中不含檢出對象。
或者,對象判定部也可以對各資訊位準求出從關於其資訊位準的評估值扣除關於比其資訊位準低預定階段之資訊位準的評估值之差,將從求得之差的最大值扣除平均值之差作為評估值的上升程度。
或者,對象判定部也可以藉由將對於各資訊位準求得的評估值依資訊位準順序排列之評估值列進行線性近似而求出包絡線,對各資訊位準求出從對應於其資訊位準的包絡線之值扣除對應於比其資訊位準低預定階段之資訊位準的包絡線之值之差,將求得之差的合 計值或最大值作為評估值的上升程度。或者,也可以將從各資訊位準的包絡線之最大值扣除最小值之差、及最大值對於最小值之比之中的任一方作為評估值的上升程度。藉此,即使是在對於各資訊位準求得的評估值之中含有值極小的異常值的情況,也可以減低因其異常值而造成判定的錯誤。
或者,對象判定部使用已知為表示檢出對象的資料之學習用資料,就對於各資訊位準求得的評估值預先求出包絡線而預先記憶於記憶部。由於此包絡線係從表示檢出對象的資料求得,所以資訊位準越高則值越急劇地升高。因此,對於輸入資料求得的包絡線和已預先記憶於記憶部的包絡線類似時,被推斷為對於輸入資料求得的包絡線也是資訊位準越高則值越急劇地升高。於是,對象判定部也可以就對於輸入資料求得的包絡線與已預先記憶於記憶部的包絡線、計算相互相關而求出相關值,將求得的相關值作為評估值的上升程度。
在第1實施形態的第11變形例,對象判定部不是藉由於提高資訊位準時評估值是否變大,而是藉由於降低資訊位準時評估值是否變小來判定輸入資料是否是檢出對象的資料。即,對象判定部計算降低資訊位準時之評估值的下降程度,若算出的下降程度係判定臨界值以上,則判定為輸入資料中含有檢出對象,若下降程度不到判定臨界值,則判定為輸入資料中不含檢出對象。再者,評估值表示非檢出對象的可能性時,對象判定部藉由於降低資訊位準時評估值是否變大來判定輸入資料中是否含有檢出對象。
在第1實施形態的第12變形例,對象判定部不是只基於評估值的上升程度來判定輸入資料中是否含有檢出對象,而是基於評估值的上升程度與評估值本身來判定輸入資料中是否含有檢出對象。此情況,對象判定部計算對各資訊位準求得的複數個評估值之統計代表值,亦即計算代表評估值,於評估值的上升程度係判定臨界值以上且代表評估值係第2判定臨界值以上時,判定為輸入資料中含有檢出對象。另一方面,對象判定部於評估值的上升程度不到判定臨界值時或者代表評估值不到第2判定臨界值時,判定為輸入資料中不含檢出對象。代表評估值可設定為例如複數個評估值之最大值。或者,代表評估值也可以設定為複數個評估值之平均值、中央值或最小值。第2判定臨界值可利用預先的實驗,設定為對於含有檢出對象之輸入資料的代表評估值分布之範圍的下限值。即,第2判定臨界值以上之值成為表示至少代表評估值是檢出對象之值,不到第2判定臨界值之值成為表示至少代表評估值不是檢出對象之值。如此一來,可使對於上升程度的判定臨界值具有餘度,所以檢出對象的檢出精度提高。
其次,就安裝有本發明第2實施形態的對象檢出裝置之對講機,一面參照圖一面進行說明。
本實施形態的對講機係藉由對於所輸入的圖像生成進行過複數種幾何變換的複數個圖像,以取代從所輸入的圖像生成圖像的銳度互相不同的複數個圖像,生成資訊位準互相不同的複數個圖像。
如在第1實施形態中所說明,對講機係使用鑑別器來判定檢出對象是否映在部分圖像上,該鑑別器係使用至少映著檢出對象的學習用圖像進行過事前學習。或者,利用映著檢出對象的學習用圖像與部分圖像的圖案匹配來判定檢出對象是否映在部分圖像上。一般為了提高檢出精度,作為學習用圖像,大多使用以和對於映在對講機拍攝的攝影圖像上的檢出對象所設想的傾斜度相同程度的傾斜度映著檢出對象的圖像。因此,例如若使圖像旋轉而變更檢出對象的傾斜度,則旋轉後的圖像上的檢出對象的傾斜度就會和許多學習用圖像上的檢出對象的傾斜度不同,其圖像適合檢出對象特徵表現的程度降低。於是,本實施形態的對講機生成使部分圖像以複數種的角度旋轉的複數個圖像作為資訊位準互相不同的複數個圖像。藉此,對講機和第1實施形態同樣,謀求從部分圖像檢出臉的精度的提高。
和第2圖所示之第1實施形態的對講機10同樣,第2實施形態的對講機10具有攝影部11、輸出部12、介面部13、記憶部14及控制部15。關於攝影部11、輸出部12、介面部13及記憶部14,由於和第1實施形態的對講機10相同,所以省略說明。此外,第2實施形態的對講機10具有的控制部15為對象檢出裝置之例,和第3圖所示之第1實施形態的對講機10具有的控制部15同樣,具有資料輸入部150、切出部151、多位準資料生成部152、評估值計算部153、對象判定部154及鳴叫控制部155作為由在處理器上動作的軟體所執行的功能模組。
再者,控制部15具有的此等各部也可以用獨立的積體電路、韌體、微處理器等構成。
關於資料輸入部150、切出部151、評估值計算部153、對象判定部154及鳴叫控制部155,由於和第1實施形態的對講機10之資料輸入部150、切出部151、評估值計算部153、對象判定部154及鳴叫控制部155相同,所以省略說明,以下就多位準資料生成部152詳細地進行說明。
多位準資料生成部152將從攝影圖像所切出的各部分圖像以資訊位準越高則越小的程度進行幾何變換、以資訊位準越低則越大的程度進行幾何變換而生成複數個個別位準圖像作為多位準資料。而且,多位準資料生成部152將生成的個別位準圖像和資訊位準形成對應關係而傳送到評估值計算部153。本實施形態的多位準資料生成部152生成以資訊位準越高則越小的旋轉角度、以資訊位準越低則越大的旋轉角度使部分圖像分別旋轉的複數個個別位準圖像,作為經幾何變換的複數個資料。藉此,映在旋轉後的圖像上的檢出對象的傾斜度會和映在許多學習用圖像上的檢出對象的傾斜度不同,部分圖像適合檢出對象特徵表現的程度降低。使部分圖像旋轉的旋轉角度越大則上述程度越低,所生成之圖像的資訊位準變低。例如,資訊位準被設定在從1到19的19個階段。資訊位準為1時的旋轉角度被設定為180°,資訊位準每增大1,旋轉角度就被設定為小10°之值。此外,資訊位準為最高之值即19時,利用未使其旋轉的原來的部分圖像。
以下,一面參照第12圖所示的流程圖,一面說明第2實施形態的對講機之對象檢出處理的動作。在第2實施形態的對講機,此流程圖可取代前述第10圖所示的流程圖而執行。再者,以下說明的動作流程被記憶於記憶部14,按照被讀入到控制部15的程式,由控制部15所控制。由於第12圖所示的流程圖之步驟S1201~S1202、S1205~S1211的處理和第10圖所示的流程圖之步驟S1001~S1002、S1005~S1011的處理相同,所以省略說明,以下只就步驟S1203~S1204的處理進行說明。
在步驟S1203,控制部15設定資訊位準。再者,控制部15從低側依次設定預定的資訊位準,僅設定的資訊位準數量執行步驟S1204~S1207的處理。
多位準資料生成部152生成使部分圖像旋轉到對應於在步驟S1203所設定的資訊位準之旋轉角度的個別位準圖像,將生成的個別位準圖像和資訊位準形成對應關係而傳送到評估值計算部153(步驟S1204)。再者,資訊位準不是最大值時,多位準資料生成部152生成使部分圖像旋轉到對應於其資訊位準之旋轉角度的個別位準圖像而傳送到評估值計算部153。另一方面,資訊位準是最大值時,多位準資料生成部152將部分圖像原封不動地傳送到評估值計算部153。
如以上說明,本實施形態的對講機係生成使從攝影部拍攝的攝影圖像切出的部分圖像或攝影圖像旋轉到複數種旋轉角度的複數個圖像作為資訊位準互相 不同的複數個圖像,從生成的各圖像計算評估值。而且,對講機係求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係臉映在部分圖像或攝影圖像上時的上升程度的下限值以上時,判定為臉映在攝影圖像上。藉此,對講機可提高從攝影圖像檢出臉的精度。
在第2實施形態的第1變形例,多位準資料生成部藉由將所輸入的圖像變換為梯形以取代使所輸入的圖像旋轉,而進行幾何變換。例如,多位準資料生成部藉由縮短所輸入的圖像四邊之中任一邊,進行梯形變換。多位準資料生成部生成資訊位準越高則變換後的梯形底邊與上邊之比越接近1、資訊位準越低則變換後的梯形底邊與上邊之比越離開1的複數個資料。藉此,映在變形後的圖像上的檢出對象的形狀會和本來的形狀不同,變形後的圖像適合檢出對象特微表現的程度降低。變換後的梯形之底邊與上邊之比越離開1則上述程度越低,所生成的圖像之資訊位準變低。
或者,多位準資料生成部也可以藉由將所輸入的圖像變換為平行四邊形而進行幾何變換。例如,多位準資料生成部藉由使所輸入的圖像四邊之中任一邊平行於其對邊地移動而變換為平行四邊形。此情況,多位準資料生成部生成資訊位準越高則變換後的平行四邊形之各角度越接近90°、資訊位準越低則變換後的平行四邊形之各角度越離開90°的複數個資料。此情況也是,映在變形後的圖像上的檢出對象的形狀會和本來的形狀不同,變形 後的圖像適合檢出對象特微表現的程度降低。平行四邊形之各角度越離開90°則上述程度越低,所生成的圖像之資訊位準變低。
在第2實施形態的第2變形例,多位準資料生成部生成進行過相當於幾何變換的互相不同之處理的複數個特徵量作為資訊位準互相不同的複數個資料。此情況,已由事前學習所決定且輸入到評估值計算部之各弱鑑別器的特徵量不是評估值計算部求出,而是多位準資料生成部求出。例如,特徵量為哈爾(Haar-Like)特徵量時,多位準資料生成部對與由事前學習所決定的輸入到各弱鑑別器的哈爾(Haar-Like)特徵量對應的各鄰接矩形區域,使其鄰接矩形區域旋轉,求出使其旋轉的鄰接矩形區域間的亮度差作為輸入到其弱鑑別器的哈爾(Haar-Like)特徵量。此情況,多位準資料生成部對與由事前學習所決定的輸入到各弱鑑別器的哈爾(Haar-Like)特徵量對應的各鄰接矩形區域,一面使旋轉其鄰接矩形區域的旋轉角度在0°~180°之間階段地旋轉,一面求出複數個哈爾(Haar-Like)特徵量,用作資訊位準互相不同的複數個資料。藉此,可得到和使所輸入的圖像旋轉而求出哈爾(Haar-Like)特徵量的情況同樣的效果,與使所輸入的圖像旋轉相比,可更低負荷地求出哈爾(Haar-Like)特徵量。
此外,特徵量為HOG特徵量時,多位準資料生成部將所輸入的圖像分割為複數個單元,對各單元計算單元內的各像素之像素值的梯度方向及梯度強度,對於各梯 度方向求出將各梯度方向之梯度強度總和作為度數的直方圖。而且,多位準資料生成部對於求得的直方圖之各梯度方向,求出使度數,即各梯度方向之梯度強度總和僅循環預定的階段者作為HOG特徵量。多位準資料生成部求出使循環的階段數量互相不同的複數個HOG特徵量,用作資訊位準互相不同的複數個資料。藉此,相較於使部分圖像旋轉,可更低負荷地求出在使部分圖像旋轉時所得到的HOG特徵量。
再者,此等情況,在第12圖的流程圖之步驟S1204,多位準資料生成部對於部分圖像,求出對應於在步驟S1203所設定之資訊位準的特徵量,傳送到評估值計算部。而且,步驟S1205被省略,在步驟S1206,評估值計算部從自多位準資料生成部接收到的特徵量計算評估值。
此外,多位準資料生成部除了對於各部分圖像進行幾何變換之外,也可以利用在第1實施形態中說明的方法變更各部分圖像的資訊位準。藉此,可增多資訊位準互相不同的複數個資料的數量,並可更細地分析各評估值。
此外,可以在第2實施形態中也適用第1實施形態的第1~12的各變形例。
其次,就安裝有本發明第3實施形態的對象檢出裝置之監視系統,一面參照圖一面進行說明。
本實施形態的監視系統檢測到侵入監視區域的人物就會發出警報。此監視系統具有監視裝置與中央裝置。 此監視裝置係從自拍攝監視區域的圖像切出的部分圖像,生成資訊位準互相不同的複數個個別位準圖像,從生成的各個別位準圖像計算評估值。而且,監視裝置求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係人體映在部分圖像上時的上升程度的下限值以上時,判定為人體映在攝影圖像上。監視裝置一判定為人體映在攝影圖像上,就判定為人物侵入了監視區域而對中央裝置發出警報。藉此,監視系統謀求人體檢出精度的提高。
第13圖為顯示本實施形態之監視系統概略構造的圖。如第13圖所示,監視系統具有一個以上的監視裝置20、及通過公共通信線路而和監視裝置20連接的中央裝置30。監視裝置20於監視區域檢測到侵入者,就將表示檢測到侵入者的異常信號傳送到經由公共通信線路而連接的中央裝置30。監視裝置20具有攝影部21、介面部22、通信部23、記憶部24及控制部25。以下,就監視裝置20之各部詳細地進行說明。
攝影部21為以預定的周期(例如200ms)拍攝監視區域的攝影機,具有光電變換元件(例如CCD感測器、C-MOS等)、及成像光學系統,該光電變換元件係例如二維排列並輸出與受光的光量相應之電氣信號光電變換元件係用於將監視區域之像成像於其光電變換元件上。攝影部21和介面部22連接,將拍攝的攝影圖像依次交給介面部22。攝影圖像和在第1實施形態中說明的攝影圖像同樣,所以省略說明。在本實施形態中,從攝影圖像切出的部分圖像為輸入資料之例。
介面部22具有和攝影部21連接的介面電路,例如以視頻介面或者通用串列匯流排(universal serial bus)之類的串列匯流排為標準的介面電路。介面部22和控制部25經由例如匯流排而連接,將從攝影部21接收到的攝影圖像傳送到控制部25。
通信部23具有將監視裝置20連接於公共通信線路的通信介面及其控制電路,經由例如匯流排而和控制部25連接。通信部23於通知在監視區域檢測到侵入者時,按照控制部25的控制,進行監視裝置20與中央裝置30之間的連接處理。而且,通信部23於在監視裝置20與中央裝置30之間確立了連接之後,將從控制部25接收到的異常信號傳送到中央裝置30。異常信號的傳送一結束,通信部23就進行斷開監視裝置20與中央裝置30之間的連接之處理。
記憶部24具有ROM、RAM等的半導體記憶體、或者磁性記錄媒體及其存取裝置或光記錄媒體及其存取裝置等。記憶部24記憶用於控制監視裝置20的電腦程式及各種資料,在和控制部24之間輸入輸出此等資訊。再者,電腦程式也可以從CD-ROM(Compact Disk Read Only Memory;唯讀型光碟)、DVD-ROM(Digital Versatile Disk Read Only Memory;唯讀式DVD光碟)等的電腦可讀取的記憶媒體安裝於記憶部24。各種資料中含有臉的參考資料。
控制部25為對象檢出裝置之例,具有CPU、DSP、MCU等的至少一個處理器及其周邊電路。控制 部25將從介面部22接收到的攝影圖像記憶於記憶部24。而且,控制部25讀出記憶於記憶部24的攝影圖像來判定其攝影圖像中是否含有人體。
第14圖為顯示控制部25概略構造的圖。如第14圖所示,控制部25具有資料輸入部250、切出部251、多位準資料生成部252、評估值計算部253、對象判定部254及通知控制部255作為由在處理器上動作的軟體所執行的功能模組。
再者,控制部25具有的此等各部也可以用獨立的積體電路、韌體、微處理器等構成。
以下,就控制部25之各部詳細地進行說明。
每次於記憶部24記憶攝影圖像時,資料輸入部250就從記憶部24讀出攝影圖像,傳送到切出部251。
每次從資料輸入部250接收到攝影圖像時,切出部251就在攝影圖像上的人體尺寸的範圍內實施部分圖像的切出處理。關於其以外的動作,由於和第1實施形態的切出部151相同,所以省略說明。此外,關於多位準資料生成部252,由於和第1實施形態的多位準資料生成部152及第2實施形態的多位準資料生成部152之中的任一方相同,所以省略說明。此外,關於評估值計算部253及對象判定部254,係在第1實施形態的評估值計算部153及對象判定部154處理人體的資訊以取代臉的資訊。關於其以外的動作,由於和第1實施形態的評估值計算部153及對象判定部154相同,所以省略說明。
一利用對象判定部254判定為人體映在任一部分圖像上,通知控制部255就經由通信部23而將異常信號傳送到中央裝置30。
以下,一面參照第15圖所示的流程圖,一面說明本實施形態的監視裝置20之對象檢出處理的動作。再者,以下說明的動作流程被記憶於記憶部24,按照被讀入到控制部25的程式,由控制部25所控制。由於第15圖所示的流程圖之步驟S1502~S1509、S1511的處理和第10圖所示的流程圖之步驟S1002~S1009、S1011的處理相同,所以省略說明,以下只就步驟S1501、S1510的處理進行說明。
在步驟S1501,控制部25使攝影部21拍攝監視區域,經由介面部22而取得攝影圖像,記憶於記憶部24。而且,資料輸入部250從記憶部24讀出攝影圖像,傳送到切出部251。
此外,若在步驟S1509對象判定部254算出的上升程度係判定臨界值以上,則通知控制部255經由通信部23而將異常信號傳送到中央裝置30(步驟S1510)。一傳送異常信號,控制部25就使處理回到步驟S1501,反覆步驟S1501~S1511的處理。
此外,控制部25亦於全部切出了部分圖像時,使處理回到步驟S1501,重覆步驟S1501~S1511的處理。
如以上說明,本實施形態的監視裝置係從自拍攝監視區域的圖像切出的部分圖像,生成資訊位準互相不同的複數個個別位準圖像,從生成的各個別位準 圖像計算評估值。而且,監視裝置求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係人體映在部分圖像上時的上升程度的下限值以上時,判定為人體映在攝影圖像上。藉此,監視系統可提高人體的檢出精度。
其次,就安裝有本發明第4實施形態的對象檢出裝置之監視系統,一面參照圖一面進行說明。
本實施形態的監視系統和第3實施形態的監視系統同樣,檢測到侵入監視區域的人物就會發出警報。然而,在本實施形態的監視系統,監視裝置係將拍攝監視區域的圖像傳送到中央裝置,中央裝置判定人物是否侵入了監視區域。
第16圖為顯示本實施形態之監視系統概略構造的圖。如第16圖所示,監視系統具有一個以上的監視裝置40、及通過公共通信線路而和監視裝置40連接的中央裝置50。
監視裝置40一檢測到侵入了監視區域的人物,就將拍攝監視區域的圖像傳送到經由公共通信線路而連接的中央裝置50。監視裝置40具有攝影部41、介面部42、通信部43、記憶部44及控制部45。關於攝影部41及介面部42,由於和第3實施形態的監視裝置20之攝影部21及介面部22相同,所以省略說明。
和第3實施形態的監視裝置20之通信部23同樣,通信部43具有將監視裝置40連接於公共通信線路的通信介面及其控制電路,經由例如匯流排而和控 制部45連接。於監視裝置40監視監視區域時,通信部43按照控制部45的控制,進行監視裝置40與中央裝置50之間的連接處理。而且,通信部43於在監視裝置40與中央裝置50之間確立了連接之後,攝影部41進行攝影,將記憶於記憶部44的攝影圖像傳送到中央裝置50。
和第3實施形態的監視裝置20之記憶部24同樣,記憶部44具有ROM、RAM等的半導體記憶體、或者磁性記錄媒體及其存取裝置或光記錄媒體及其存取裝置等。記憶部44記憶用於控制監視裝置40的電腦程式及各種資料,在和控制部45之間輸入輸出此等資訊。再者,電腦程式也可以從CD-ROM、DVD-ROM等的電腦可讀取的記憶媒體安裝於記憶部44。
控制部45具有CPU、DSP、MCU等的至少一個處理器及其周邊電路。而且,控制部45將被攝影部41拍攝、記憶於記憶部44的攝影圖像經由通信部43而傳送到中央裝置50。再者,控制部45也可以將攝影圖像使用依據MPEG(Moving Picture Expert Group;動態影像專家群)規格等的壓縮編碼方式進行壓縮編碼,將壓縮編碼過的資料傳送到中央裝置50。
中央裝置50一從監視裝置40接收到攝影圖像,就藉由判定人體是否映在接收到的圖像上來判定人物是否侵入了監視區域。中央裝置50具有通信部51、顯示部52、介面部53、記憶部54及控制部55。
通信部51具有將中央裝置50連接於公共通信線路的通信介面及其控制電路,經由例如匯流排而和控制部55連接。通信部51按照控制部55的控制,進行監視裝置40與中央裝置50之間的連接處理。而且,通信部51於在監視裝置40與中央裝置50之間確立了連接之後,一從監視裝置40接收到攝影圖像,就將接收到的攝影圖像記憶於記憶部54。
顯示部52係以液晶顯示器、觸控面板顯示器等的顯示裝置構成,顯示經由介面部53而從控制部55接收到的各種資訊等,通知利用者。
介面部53具有和顯示部52連接的介面電路,例如以視頻介面或者通用串列匯流排(universal serial bus)之類的串列匯流排為標準的介面電路。介面部53和控制部55經由例如匯流排而連接,將從控制部55接收到的各種資訊輸出到顯示部52。
記憶部54具有ROM、RAM等的半導體記憶體、或者磁性記錄媒體及其存取裝置或光記錄媒體及其存取裝置等。記憶部54記憶用於控制中央裝置50的電腦程式及各種資料,在和控制部55之間輸入輸出此等資訊。再者,電腦程式也可以從CD-ROM、DVD-ROM等的電腦可讀取的記憶媒體安裝於記憶部54。各種資料中含有人體的參考資料。
控制部55為對象檢出裝置之例,具有CPU、DSP、MCU等的至少一個處理器及其周邊電路。而且,控制部55判定通信部51從監視裝置40接收到的攝影 圖像中是否含有人體。再者,監視裝置40正在傳送將攝影圖像壓縮編碼過的資料時,控制部55將接收到的資料解碼成攝影圖像,判定解碼的攝影圖像中是否含有人體。
第17圖為顯示控制部55概略構造的圖。如第17圖所示,控制部55具有資料輸入部550、切出部551、多位準資料生成部552、評估值計算部553、對象判定部554及顯示控制部555作為由在處理器上動作的軟體所執行的功能模組。再者,控制部55具有的此等各部也可以用獨立的積體電路、韌體、微處理器等構成。
每次通信部51從監視裝置40接收到攝影圖像而記錄於記憶部54,資料輸入部550就從記憶部54讀出攝影圖像,傳送到切出部551。由於切出部551、多位準資料生成部552、評估值計算部553及對象判定部554和第3實施形態的監視裝置20之切出部251、多位準資料生成部252、評估值計算部253及對象判定部254相同,所以省略說明。
利用對象判定部554判定為人體映在部分圖像上時,顯示控制部555使人物侵入了監視裝置40之監視區域的要旨經由介面部53而顯示於顯示部52上。
以下,一面參照第18圖所示的流程圖,一面說明本實施形態的中央裝置50之對象檢出處理的動作。再者,以下說明的動作流程被記憶於記憶部54,按照被讀入到控制部55的程式,由控制部55所控制。由 於第18圖所示的流程圖之步驟S1802~S1809、S1811的處理和第10圖所示的流程圖之步驟S1002~S1009、S1011的處理相同,所以省略說明,以下只就步驟S1801、S1810的處理進行說明。
在步驟S1801,資料輸入部550讀出通信部51從監視裝置40接收到而記憶於記憶部54的攝影圖像,傳送到切出部551。
此外,若在步驟S1809對象判定部554算出的上升程度係判定臨界值以上,則顯示控制部555使人物侵入了監視裝置40之監視區域的要旨經由介面部53而顯示於顯示部52上,通知管理者(步驟S1810)。一使人物侵入的要旨顯示於顯示部52上,控制部55就使處理回到步驟S1801而反覆步驟S1801~S1811的處理。
此外,在步驟S1811,控制部55亦於全部切出了部分圖像時,使處理回到步驟S1801而反覆步驟S1801~S1811的處理。
如以上說明,本實施形態的中央裝置係從自從監視裝置接收到的攝影圖像切出的部分圖像生成資訊位準互相不同的複數個個別位準圖像,從生成的各個別位準圖像計算評估值。而且,中央裝置求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係人體映在部分圖像上時的上升程度的下限值以上時,判定為人體映在攝影圖像上。藉此,監視系統可提高人體的檢出精度。
再者,監視裝置與中央裝置的功能分擔不限於第3實施形態或第4實施形態的監視系統之例。要將切出部、多位準資料生成部、評估值計算部及對象判定部的各部配置於監視裝置或是中央裝置可適當變更。
其次,就安裝有本發明第5實施形態的對象檢出裝置之鳴叫感測器,一面參照圖一面進行說明。
本實施形態的鳴叫感測器係從音響信號切出有音區間的信號,該音響信號係自監視有無產生鳴叫之監視空間的聲音所生成者,從切出的信號生成資訊位準互相不同的複數個信號,從生成的各信號計算表示鳴叫可能性程度的評估值。而且,鳴叫感測器求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係音響信號中含有鳴叫時的上升程度的下限值以上時,判定為音響信號中含有鳴叫。即,本實施形態的鳴叫感測器係將輸入資料作為時間序列信號即音響信號,將檢出對象作為鳴叫。藉此,鳴叫感測器謀求提高從在監視空間產生的聲音檢出鳴叫的精度。
第19圖為本實施形態的鳴叫感測器概略構造的圖。如第19圖所示,鳴叫感測器60具有集音部61、介面部62、通信部63、記憶部64及控制部65。以下,就鳴叫感測器60之各部詳細地進行說明。
集音部61設置於可收集在監視空間產生的聲音之位置上。集音部61具有擴音器、放大器及A/D轉換器等,係將監視空間的聲音轉換為數位信號即音響信號的電路。集音部61和介面部62連接,將音響信號 輸出到介面部62。再者,放大器的放大率被設定成在監視空間發出鳴叫時所輸出之音響信號的音量係以基準音壓即20μ Pa為基準而成為70~100dB的範圍內。
介面部62具有和集音部61連接的介面電路,例如以聲頻介面或者通用串列匯流排(universal serial bus)之類的串列匯流排為標準的介面電路。介面部62和控制部65經由例如匯流排而連接,將從集音部61接收到的音響信號傳送到控制部65。
通信部63具有連接於外部機器等的通信介面及其控制電路,經由例如匯流排而和控制部65連接。通信部63於通知在監視空間檢測到鳴叫時,按照控制部65的控制,進行鳴叫感測器60與外部機器之間的連接處理。而且,通信部63於在鳴叫感測器60與外部機器之間確立了連接之後,將從控制部65接收到的異常信號傳送到外部機器。異常信號的傳送一結束,通信部63就進行斷開鳴叫感測器60與外部機器之間的連接之處理。
記憶部64具有ROM、RAM等的半導體記憶體。記憶部64記憶用於控制鳴叫感測器60的電腦程式及各種資料,在和控制部65之間輸入輸出此等資訊。各種資料中含有鳴叫的參考資料。
控制部65為對象檢出裝置之例,具有CPU、DSP、MCU等的至少一個處理器及其周邊電路。控制部65將從介面部62接收到的音響信號記憶於記憶部64。而且,控制部65讀出記憶於記憶部64的音響信號來判定其音響信號中是否含有鳴叫。
第20圖為顯示控制部65概略構造的圖。如第20圖所示,控制部65具有資料輸入部650、切出部651、多位準資料生成部652、評估值計算部653、對象判定部654及通知控制部655作為由在處理器上動作的軟體所執行的功能模組。
再者,控制部65具有的此等各部也可以用獨立的積體電路、韌體、微處理器等構成。
以下,就控制部65之各部詳細地進行說明。
資料輸入部650從記憶部64讀出音響信號,傳送到切出部651。
切出部651從自資料輸入部650取得的音響信號依次切出作為鳴叫檢出處理對象之有音區間的信號,將切出之有音區間的信號傳送到多位準資料生成部652。以下,將切出部651切出之有音區間的信號稱為部分音響信號。在本實施形態中,部分音響信號為輸入資料之例。再者,切出部651將集音部61收集的音響信號對預定的各框(frame)周期,依次以具有預定框長度的框單位計算功率,依次切出具有超過功率臨界值的功率之框連續檢出繼續長度臨界值以上的區間的信號作為部分音響信號。例如,可設定為框長度為20msec、框周期為10msec、功率臨界值為70dB、繼續長度臨界值為20框。再者,此情況,也可以使連續的部分音響信號彼此疊加而切出。
多位準資料生成部652生成多位準資料,將多位準資料和資訊位準形成對應關係而傳送到評估值 計算部653。本實施形態的多位準資料生成部652從自輸入資料即音響信號所切出的部分音響信號,生成複數個資訊位準互相不同的信號(以下稱為個別位準音響信號),生成原來的部分音響信號及生成的個別位準音響信號作為多位準資料。多位準資料生成部652藉由在部分音響信號上疊加白色雜訊以降低信號上的聲音可懂度而生成個別位準音響信號。
本實施形態的多位準資料生成部652生成資訊位準越高則聲音的可懂度越高、資訊位準越低則聲音的可懂度越低之聲音的可懂度互相不同的複數個信號作為多位準資料。例如,多位準資料生成部652藉由在部分音響信號上分別疊加資訊位準越高則越少量的白色雜訊、資訊位準越低則越多量的白色雜訊,而生成複數個個別位準音響信號。例如,多位準資料生成部652以基準音壓為基準,將將疊加的白色雜訊依次變更為5dB、10dB、15dB、…、70dB,而生成複數個個別位準音響信號。由於疊加的白色雜訊之量越多則SN比越低而聲音的可懂度變低,所以其個別位準音響信號適合鳴叫特徵表現的程度變低而資訊位準變低。例如,資訊位準被設定為從1到15共15個階段。而且,資訊位準為1時疊加的白色雜訊被設定為70dB,資訊位準每增大1,就被設定為小5dB之值。資訊位準為最高之值即15時,利用未疊加白色雜訊的原來的部分音響信號。
評估值計算部653對多位準資料中所含的各資料,計算表示檢出對象可能性程度的評估值,將各 評估值和資訊位準形成對應關係而傳送到對象判定部654。本實施形態的評估值計算部653分別框分析從多位準資料生成部652接收到的各信號而抽取對識別鳴叫有用的特徵量(以下稱為鳴叫特徵量)。再者,評估值計算部653抽取表示鳴叫語尾的頻率特徵量之頻譜包絡的參數作為鳴叫特徵量。在本實施形態中,使用8次LPC(Linear Predictive Coding;線性預測編碼)倒頻譜作為頻譜包絡的參數。LPC倒頻譜為利用線性預測法進行模式化的倒頻譜。評估值計算部653將從多位準資料生成部652接收到的信號利用離散傅立葉(Fourier)轉換進行頻率轉換,利用線性預測法求出LPC係數,將求得的LPC係數利用預定的遞迴公式進行轉換而計算LPC倒頻譜係數。含有0次成分的8次LPC倒頻譜係由9個係數所構成,由於各信號中每20框含有聲音框,所以各鳴叫特徵量成為9×20次元的特徵向量。
評估值計算部653具有使用9×20次元的鳴叫特徵量作為鳴叫的參考資料之Real-Adaboost鑑別器。再者,評估值計算部653具有輸出表示語尾的母音為/a/的鳴叫可能性程度的評估值之鑑別器、輸出表示語尾的母音為/e/的鳴叫可能性程度的評估值之鑑別器、及輸出表示語尾的母音為/o/的鳴叫可能性程度的評估值之鑑別器。各鑑別器係由複數個弱鑑別器及統合各弱鑑別器的判定結果而進行判定的強鑑別器所構成。鳴叫特徵量內的特定要素被分別輸入到各弱鑑別器,各弱鑑別器基於所輸入的要素,將含有對應於其鑑別器之鳴叫語尾的母音的可能 性越高則越高、可能性越低則越低之值輸出到對應的部分音響信號。另一方面,強鑑別器輸出各弱鑑別器的輸出值總和作為評估值。
再者,將9×20次元的鳴叫特徵量內的哪個要素輸入到各弱鑑別器,係取決於使用從含有其鳴叫語尾的母音的複數個學習用鳴叫音響信號與不含其鳴叫語尾的母音的複數個學習用非鳴叫音響信號所算出之鳴叫特徵量的事前學習。由於學習步驟和第1實施形態同樣,所以省略說明。表示由事前學習所決定的輸入到各弱鑑別器之鳴叫特徵量內的要素的資訊與表示各弱鑑別器的輸出的資訊係被記憶於記憶部64作為鳴叫的參考資料。
由各鑑別器所輸出的評估值於所輸入的鳴叫特徵量在特徵量空間對於鑑別境界位於其鳴叫語尾側的區域時成為正值,位於其鳴叫語尾以外之語尾側的區域時成為負值,其位置越遠離鑑別境界則其絕對值越大,越接近則絕對值越小。
對象判定部654求出對多位準資料中所含的各資料算出的評估值隨著資訊位準的上升而上升的上升程度,藉由求得的上升程度是否是表示關於檢出對象的上升程度來判定輸入資料中是否含有檢出對象,並輸出判定結果。本實施形態的對象判定部654係對於評估值計算部653從原來的部分音響信號及各個別位準音響信號算出的評估值計算上升程度,將其上升程度和預先設定的判定臨界值進行比較。而且,對象判定部654若 關於任一母音的上升程度係判定臨界值以上,則判定為部分音響信號中含有鳴叫,若全部的上升程度不到判定臨界值,則判定為部分音響信號中不含鳴叫。再者,設定輸入資料中含有檢出對象時的上升程度的下限值作為判定臨界值。例如,可利用事前的實驗,而將可識別以對於含有鳴叫的複數個測試用鳴叫音響信號所算出之評估值的上升程度、與對於不含鳴叫的複數個測試用非鳴叫音響信號所算出之評估值的上升程度為根據之值作為判定臨界值。此情況,例如將對於測試用鳴叫音響信號所算出之評估值的上升程度之平均值與對於測試用非鳴叫音響信號所算出之評估值的上升程度之平均值的平均值作為判定臨界值。或者,也可以將對於測試用非鳴叫音響信號所算出之評估值的上升程度之最大值或對於測試用鳴叫音響信號所算出之評估值的上升程度之最小值作為判定臨界值。由於評估值的上升程度之計算方法和在第1實施形態中說明之計算方法同樣,所以省略說明。
再者,為了使判定精度提高,對象判定部654也可以將評估值的上升程度係判定臨界值以上的部分音響信號連續複數個作為條件,或者也可以將評估值的上升程度係判定臨界值以上的部分音響信號就同一母音連續複數個作為條件。
一利用對象判定部654判定為部分音響信號中含有鳴叫,通知控制部655就經由通信部63將異常信號傳送到外部機器。
以下,一面參照第21圖所示的流程圖,一面說明本實施形態的鳴叫感測器60之對象檢出處理的動作。再者,以下說明的動作流程被記憶於記憶部64,按照被讀入到控制部65的程式,由控制部65所控制。
控制部65使集音部61收集在監視空間的聲音,經由介面部62而取得音響信號,記憶於記憶部64。然後,資料輸入部650從記憶部64讀出音響信號,傳送到切出部651(步驟S2101)。其次,切出部651判定有音區間是否存在於取得的音響信號中(步驟S2102),反覆步驟S2101~S2102的處理直到有音區間存在為止(步驟S2102的否)。另一方面,有音區間存在於取得的音響信號中時(步驟S2102的是),切出部651切出其有音區間的信號而生成部分音響信號,傳送到多位準資料生成部652(步驟S2103)。
其次,控制部65設定資訊位準(步驟S2104)。再者,控制部65從低的資訊位準起依次設定預定的資訊位準,僅設定的資訊位準數量執行步驟S2104~S2108的處理。
多位準資料生成部652生成對應於在步驟S2104所設定的資訊位準之個別位準音響信號,將生成的個別位準音響信號和資訊位準形成對應關係而傳送到評估值計算部653(步驟S2105)。再者,資訊位準不是最大值時,多位準資料生成部652將在部分音響信號上疊加有對應於其資訊位準之量的白色雜訊之個別位準音響信號傳送到評估值計算部653。另一方面,資訊位準是 最大值時,多位準資料生成部652將部分音響信號原封不動地傳送到評估值計算部653。
其次,評估值計算部653從自多位準資料生成部652接收到的個別位準音響信號抽取鳴叫特徵量(步驟S2106)。其次,評估值計算部653從抽取的鳴叫特徵量計算評估值,將算出的評估值和資訊位準形成對應關係而傳送到對象判定部654(步驟S2107)。
其次,控制部65判定對於全部的資訊位準是否執行過步驟S2104~S2107的處理(步驟S2108)。若對於全部的資訊位準未執行過步驟S2104~S2107的處理(步驟S2108的否),則控制部65使處理回到步驟S2104而反覆步驟S2104~S2107的處理。另一方面,若對於全部的資訊位準執行過步驟S2104~S2107的處理(步驟S2108的是),則對象判定部654對鳴叫語尾的各母音,針對到那時之前從評估值計算部653接收到的評估值,計算隨著資訊位準的上升而上升的上升程度(步驟S2109)。
其次,對象判定部654將算出的上升程度和判定臨界值比較(步驟S2110)。若關於全部母音的上升程度不到判定臨界值(步驟S2110的否),則控制部65使處理回到步驟S2101而反覆步驟S2101~S2111的處理。另一方面,若關於任一母音的上升程度係判定臨界值以上(步驟S2110的是),則通知控制部655經由通信部63而將異常信號傳送到外部機器(步驟S2111)。一傳送異常信號,控制部65就使處理回到步驟S2101而反覆步驟S2101~S2111的處理。
如以上說明,本實施形態的鳴叫感測器係從自從監視空間的聲音生成的音響信號切出的部分音響信號生成資訊位準互相不同的複數個信號,從生成的各信號計算評估值。而且,求出算出的各評估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係音響信號中含有鳴叫時的上升程度的下限值以上時,判定為音響信號中含有鳴叫。藉此,鳴叫感測器可提高從在監視空間的聲音檢出鳴叫的精度。
在第5實施形態的第1變形例方面,評估值計算部使用LPC取代LPC倒頻譜作為鳴叫特徵量。或者,評估值計算部也可以使用MFCC(Mel-frequency cepstral coefficients;梅爾頻率倒頻譜係數)作為鳴叫特徵輛,MFCC係對於倒頻譜,進行過考慮到人類的頻率知覺特性的加權之特徵量。
在第5實施形態的第2變形例方面,多位準資料生成部係生成使所輸入的信號分別適用資訊位準越高則通帶越寬、資訊位準越低則通帶越窄之帶通濾波器的複數個信號作為聲音的可懂度互相不同的複數個信號。此情況,例如鳴叫感測器具有可設定通帶的帶通濾波器。多位準資料生成部將帶通濾波器之通帶的寬度變更為複數種,藉由使通帶寬度分別不同的帶通濾波器通過部分音響信號,生成聲音的可懂度互相不同的複數個信號。帶通濾波器的通帶越窄則所生成的信號之聲音的可懂度越低,通帶越寬則其聲音的可懂度越高。
或者,多位準資料生成部也可以生成使所輸入的信號之振幅分別衰減成資訊位準越高則所輸入的信號之振幅越大、資訊位準越低則所輸入的信號之振幅越小的複數個信號作為聲音的可懂度互相不同的複數個信號。此情況,多位準資料生成部藉由例如使所輸入的信號之振幅如0.5倍、0.25倍、0.125倍、…衰減,生成聲音的可懂度互相不同的複數個信號。越使其衰減成振幅變小則所生成的信號之聲音的可懂度越低。
或者,多位準資料生成部也可以生成使所輸入的信號之振幅分別放大而使限幅(clipping)產生使得資訊位準越高則所輸入的信號之振幅越小、資訊位準越低則所輸入的信號之振幅越大的複數個信號,作為聲音的可懂度互相不同的複數個信號。此情況,多位準資料生成部藉由例如使所輸入的信號之振幅放大至1.2倍、1.4倍、1.6倍、…、5倍而意圖地使限幅產生,生成聲音的可懂度互相不同的複數個信號。越使振幅大幅放大則限幅的產生程度越大而所生成的信號之聲音的可懂度變低。
或者,多位準資料生成部也可以生成資訊位準越高則越增多分割信號值可取得的範圍之階段數量、資訊位準越低則越減少其階段數量而使所輸入的信號分別量子化的複數個資料,作為資訊位準互相不同的複數個信號。此情況,多位準資料生成部藉由例如使以65536階段(16位元)表現的信號之振幅量子化的階段數量變化成2000階段、4000階段、6000階段、…、64000階段,生成資訊位準互相不同的複數個信號。由於階段 數量越少則其信號可表現鳴叫特徵的程度越低,所以其資訊位準變低,階段數量越多則資訊位準越高。
或者,多位準資料生成部也可以生成以資訊位準越高則越高的取樣頻率、以資訊位準越低則越低的取樣頻率將所輸入的信號分別進行取樣的複數個資料作為資訊位準互相不同的複數個信號。此情況,多位準資料生成部將部分音響信號進行重取樣(resampling)而變更取樣頻率。例如,將集音部從擴音器取得的聲音以16kHz進行取樣而生成音響信號時,多位準資料生成部藉由將部分音響信號以8kHz、4kHz、2kHz、1kHz的取樣頻率進行重取樣,生成資訊位準互相不同的複數個信號。由於重取樣時的取樣頻率越低則其信號可表現鳴叫特徵的程度越低,所以其資訊位準變低,取樣頻率越高則其資訊位準越高。
在第5實施形態的第3變形例,和第1實施形態的第4變形例同樣,多位準資料生成部生成資訊位準越高則越降低掩蔽(masking)程度、資訊位準越低則越提高掩蔽程度的複數個資料作為資訊位準互相不同的複數個資料。此情況,多位準資料生成部以所輸入的信號之時間軸方向的特定位置為中心而設定預定時間寬度的範圍,將設定的範圍內的信號值置換為固定值。多位準資料生成部藉由將設定的範圍的時間寬度變更為複數種,生成資訊位準互相不同的複數個信號。由於設定的範圍的時間寬度越大則其信號適合鳴叫特徵表現的程度越低,所以其資訊位準變低,設定的範圍的時間寬度越 小則其資訊位準越高。再者,可利用設定的範圍的時間寬度為0的信號,即原來的信號作為資訊位準最高的信號。
在第5實施形態的第4變形例,多位準資料生成部生成關於檢出對象的特徵量,生成使其特徵量的分析位準互相不同的複數個資料,用作資訊位準互相不同的複數個資料。此情況,已由事前學習所決定且輸入到評估值計算部之各弱鑑別器的特徵量不是由評估值計算部求出,而是由多位準資料生成部求出,多位準資料生成部將求得的特徵量之分析位準變更為複數種。
例如,多位準資料生成部就對於部分音響信號求出的LPC倒頻譜,生成資訊位準越高則越提高分析次數、資訊位準越低則越降低分析次數的複數個資料作為使分析位準互相不同的複數個資料。此情況,多位準資料生成部對於部分音響信號分別求出1次、2次、3次、…、8次的LPC倒頻譜。評估值計算部從各次數的LPC倒頻譜分別計算評估值。再者,不論求得任一次數的LPC倒頻譜時,輸入到評估值計算部之鑑別器的特徵向量之要素數量皆設定為不變更,對於未求出LPC倒頻譜係數的要素設定小的隨機值。LPC倒頻譜的次數越小則所求出的特徵量之資訊位準越低,次數越大則其資訊位準越高。
或者,多位準資料生成部也可以生成對8次LPC倒頻譜係數的各係數分別乘以資訊位準越高則越大、資訊位準越低則越小之1以下的正係數α(0<α≦1.0)的複 數個資料作為使分析位準互相不同的複數個資料。多位準資料生成部將係數α在所預先設定的例如0.1、0.2、0.3、…、1.0的範圍內變更為複數種。由於α越小則越逐漸喪失鳴叫的特徵,所以所求出的特徵量之資訊位準變低,相反地,α越大則其資訊位準越高。
此等情況,在第21圖的流程圖之步驟S2105,多位準資料生成部係從部分音響信號求出8次LPC倒頻譜係數,對照在步驟S2104所設定的資訊位準而變更8次LPC倒頻譜係數的分析位準,傳送到評估值計算部。而且,步驟S2106被省略,在步驟S2107,評估值計算部從自多位準資料生成部接收到的8次LPC倒頻譜係數計算評估值。
如此,求出分析位準互相不同的特徵量而從各特徵量計算評估值,基於評估值隨著分析位準的上升而上升的上升程度來判定音響信號中是否含有鳴叫,藉此也可以提高鳴叫的檢出精度。
在第5實施形態的第5變形例,評估值計算部使用HMM(Hidden Markov Model;隱藏式馬可夫模型)來計算評估值以取代使用Real-Adaboost鑑別器來計算評估值。此情況,鳴叫感測器係對各鳴叫語尾,就含有其鳴叫語尾之母音的複數個學習用鳴叫音響信號預先抽取鳴叫特徵量,預先學習HMM。而且,評估值計算部將從部分音響信號生成的鳴叫特徵量輸入到關於各鳴叫語尾的HMM,將其輸出作為關於各鳴叫語尾的評估值。
在第5實施形態的第6變形例,評估值計算部利用圖案匹配來計算評估值,以取代利用進行過機器學習的鑑別器來計算評估值。此情況,控制部對各鳴叫語尾,從含有其鳴叫語尾之母音的複數個學習用鳴叫音響信號抽取鳴叫特徵量,預先生成對此等鳴叫特徵量實施過平均化處理等的代表鳴叫特徵量而預先記憶於記憶部作為參考資料。評估值計算部求出從部分音響信號生成的鳴叫特徵量與已預先記憶作為參考資料的代表鳴叫特徵量之距離值,輸出求得的距離值之倒數作為評估值。
此外,亦可以在第5實施形態中適用第1實施形態的第6、9~12的各變形例。
此外,也可以如第4實施形態的監視系統般地設置和鳴叫感測器連接的中央裝置,鳴叫感測器將音響信號傳送到中央裝置,中央裝置判定接收到的音響信號中是否含有鳴叫。或者,也可以構成為將切出部、多位準資料生成部、評估值計算部及對象判定部的各部任意配置於鳴叫感測器或是中央裝置上。
其次,就安裝有本發明第6實施形態的對象檢出裝置之人體感測器,一面參照圖一面進行說明。
本實施形態的人體感測器係僅抽取傳送電磁波到監視區域所得到的反射波中所含的都卜勒(Doppler)成分,作為都卜勒信號。人體感測器係從自都卜勒信號切出的信號生成資訊位準互相不同的複數個信號,從生成的各信號計算評估值。而且,人體感測器係求出算出的各評 估值隨著資訊位準的上升而上升的上升程度,求得的上升程度係都卜勒信號是人體的移動所致時的上升程度的下限值以上時,判定為都卜勒信號就是人體的移動所致。即,本實施形態的人體感測器係將輸入資料作為時間序列信號即都卜勒信號,將檢出對象作為人體。藉此,人體感測器謀求提高人體檢出精度。
第22圖為顯示本實施形態之人體感測器概略構造的圖。如第22圖所示,人體感測器70具有信號取得部71、介面部72、通信部73、記憶部74及控制部75。以下,就人體感測器70之各部詳細地進行說明。
信號取得部71具備傳送器、接收器、混合器、放大器及A/D轉換器,係取得因監視區域內的物體移動而產生之都卜勒信號的電路。信號取得部71利用傳送器將微波波段或毫米波段的傳送波傳送到監視區域,利用接收器接收其反射波。而且,信號取得部71利用混合器混合傳送波與反射波而僅抽取反射波中所含的都卜勒成分,利用放大器放大抽取的都卜勒成分之信號,利用A/D轉換器進行取樣後進行數位化,作為都卜勒信號。信號取得部71和介面部72連接,將都卜勒信號輸出到介面部72。
介面部72具有和信號取得部71連接的介面電路,例如以通用串列匯流排(universal serial bus)等的串列匯流排為標準的介面電路。介面部72和控制部75經由例如匯流排而連接,將從信號取得部71接收到的都卜勒信號傳送到控制部75。
通信部73具有連接於外部機器等的通信介面及其控制電路,經由例如匯流排而和控制部75連接。通信部73於通知在監視區域檢測到人體時,按照控制部75的控制,進行人體感測器70與外部機器之間的連接處理。而且,通信部73於在人體感測器70與外部機器之間確立了連接之後,將從控制部75接收到的異常信號傳送到外部機器。異常信號的傳送一結束,通信部73就進行斷開人體感測器70與外部機器之間的連接之處理。
記憶部74具有ROM、RAM等的半導體記憶體。記憶部74記憶用於控制人體感測器70的電腦程式及各種資料,在和控制部75之間輸入輸出此等資訊。各種資料中含有人體的參考資料。
控制部75為對象檢出裝置之例,具有CPU、DSP、MCU等的至少一個處理器及其周邊電路。控制部75將從介面部72接收到的都卜勒信號記憶於記憶部74。而且,控制部75讀出記憶於記憶部74的都卜勒信號來判定其都卜勒信號是否是人體的移動所致。
第23圖為顯示控制部75概略構造的圖。如第23圖所示,控制部75具有資料輸入部750、切出部751、多位準資料生成部752、評估值計算部753、對象判定部754及通知控制部755作為由在處理器上動作的軟體所執行的功能模組。
再者,控制部75具有的此等各部也可以用獨立的積體電路、韌體、微處理器等構成。
以下,就控制部75之各部詳細地進行說明。
資料輸入部750從記憶部74讀出都卜勒信號,傳送到切出部751。
切出部751從自資料輸入部750取得的都卜勒信號依次切出作為檢出處理對象之區間的信號,將切出之區間的信號傳送到多位準資料生成部752。以下,將切出部751切出之區間的信號稱為部分都卜勒信號。在本實施形態中,部分都卜勒信號為輸入資料之例。再者,切出部751依次切出預先設定的長度之區間的信號作為部分都卜勒信號。例如,切出部751每1秒從都卜勒信號切出8秒份的資料作為部分都卜勒信號。即,利用A/D轉換器所進行的取樣頻率為11.025kHz時,每11,025資料切出88,200資料作為部分都卜勒信號。再者,此情況,在所連續切出的部分都卜勒信號上疊加7秒份的資料。
多位準資料生成部752生成多位準資料,將多位準資料和資訊位準形成對應關係而傳送到評估值計算部753。本實施形態的多位準資料生成部752從輸入資料即部分都卜勒信號,生成資訊位準互相不同的複數個信號(以下稱為個別位準都卜勒信號),生成原來的部分都卜勒信號及生成的個別位準音響信號作為多位準資料。多位準資料生成部752藉由在部分都卜勒信號上分別疊加資訊位準越高則越少量的白色雜訊、資訊位準越低則越多量的白色雜訊,生成複數個個別位準都卜勒信號。例如,多位準資料生成部752將疊加的白色雜訊以傳送波的輸出為基準依次變更為3dB、6dB、9dB、… 、90dB,生成複數個個別位準都卜勒信號。由於疊加的白色雜訊之量越多則SN比越低,所以其信號適合人體特徵表現的程度變低而資訊位準變低。例如,資訊位準從1到31被設定為31個階段。而且,資訊位準為1時疊加的白色雜訊被設定為90dB,資訊位準每增大1,就被設定為小3dB之值。資訊位準為最高之值即31時,利用未疊加白色雜訊的原來的部分都卜勒信號。
評估值計算部753對多位準資料中所含的各資料計算表示檢出對象可能性程度的評估值,將各評估值和資訊位準形成對應關係而傳送到對象判定部754。本實施形態的評估值計算部753分別框分析從多位準資料生成部752接收到的各信號而抽取對識別人體有用的特徵量(以下稱為人體特徵量)。例如,評估值計算部753對每框周期250msec以具有框長度1000msec的框單位分割部分都卜勒信號。再者,此情況,在鄰接的框上疊加750msec份的資料。而且,評估值計算部753將各框利用高速傅立葉轉換進行頻率轉換,計算各框在頻譜上的尖峰頻率、尖峰功率及半高寬值(full width at half maximium)。而且,評估值計算部753將在時間序列上排列有尖峰頻率、尖峰功率及的向量作為人體特徵量。由於部分都卜勒信號係由29個框所構成,所以從各部分都卜勒信號抽取的人體特徵量成為3×29次元的特徵向量。即,人體特徵量表示尖峰頻率的時間變動量、尖峰功率的時間變動量、的時間變動量。
評估值計算部753具有使用人體特徵量的Real-Adaboost鑑別器。此Real-Adaboost鑑別器輸出表示人體可能性程度的評估值。各鑑別器係由複數個弱鑑別器及統合各弱鑑別器的判定結果而進行判定的強鑑別器所構成。人體特徵量內的特定要素被分別輸入到各弱鑑別器,各弱鑑別器基於所輸入的要素,輸出對應的部分都卜勒信號是人體移動所致的可能性越高則越高、可能性越低則越低之值。另一方面,強鑑別器輸出各弱鑑別器的輸出值總和作為評估值。
再者,要將人體特徵量內的哪個要素輸入到各弱鑑別器,係取決於使用由人體移動所致的複數個學習用人體都卜勒信號與非人體移動所致的複數個學習用非人體都卜勒信號所算出之人體特徵量的事前學習。由於學習步驟和第1實施形態同樣,所以省略說明。表示由事前學習所決定且輸入到各弱鑑別器之人體特徵量內的要素的資訊、與表示各弱鑑別器輸出的資訊被記憶於記憶部74作為用於檢測人體的參考資料。
由鑑別器所輸出的評估值於求得的人體特徵量在特徵量空間對於鑑別境界位於人體側的區域時成為正值,位於不是人體側的區域時成為負值,其位置越遠離鑑別境界則其絕對值越大,越接近則絕對值越小。
對象判定部754求出對多位準資料中所含的各資料算出的評估值隨著資訊位準的上升而上升的上升程度,藉由求得的上升程度是否表示關於檢出對象的上升程度來判定輸入資料中是否含有檢出對象,並輸出 判定結果。本實施形態的對象判定部754係對於評估值計算部753從原來的部分都卜勒信號及各個別位準都卜勒信號算出的評估值計算上升程度,將其上升程度和預先設定的判定臨界值進行比較。而且,對象判定部754若上升程度係判定臨界值以上,則判定為部分都卜勒信號是基於人體的移動,若上升程度不到判定臨界值,則判定為部分都卜勒信號不是基於人體的移動。再者,設定輸入資料中含有檢出對象時的上升程度的下限值作為判定臨界值。例如,可利用事前的實驗而將可識別以對於基於人體移動的複數個測試用人體都卜勒信號所算出之評估值的上升程度、與對於不基於人體移動的複數個測試用非人體都卜勒信號所算出之評估值的上升程度為根據之值作為判定臨界值。此情況,例如將對於測試用人體都卜勒信號所算出之評估值的上升程度之平均值、與對於測試用非人體都卜勒信號所算出之評估值的上升程度之平均值的平均值作為判定臨界值。或者,也可以將下述設定為判定臨界值:將對於測試用非人體都卜勒信號所算出之評估值的上升程度之最大值或對於測試用人體都卜勒信號所算出之評估值的上升程度之最小值作為判定臨界值。由於評估值的上升程度之計算方法和在第1實施形態中說明之計算方法同樣,所以省略說明。
再者,為了使判定精度提高,對象判定部754也可以將評估值的上升程度係判定臨界值以上的部分都卜勒信號連續複數個作為條件。
一利用對象判定部754判定為部分都卜勒信號是基於人體的移動,通知控制部755就經由通信部73將異常信號傳送到外部機器。
以下,一面參照第24圖所示的流程圖,一面說明本實施形態的人體感測器70之對象檢出處理的動作。再者,以下說明的動作流程被記憶於記憶部74,按照被讀入到控制部75的程式,由控制部75所控制。
控制部75之資料輸入部750使信號取得部71生成都卜勒信號,經由介面部72而取得其都卜勒信號,記憶於記憶部74。此動作係獨立於第24圖的流程圖,係經常進行。切出部751從記憶部74的都卜勒信號切出部分都卜勒信號,傳送到多位準資料生成部752(步驟S2401)。再者,控制部75對切出部751切出的各部分都卜勒信號執行步驟S2401~S2409的處理。
其次,控制部75設定資訊位準(步驟S2402)。再者,控制部75從低資訊位準起依次設定預定的資訊位準,僅設定的資訊位準數量執行步驟S2402~S2406的處理。
多位準資料生成部752生成對應於在步驟S2402所設定的資訊位準之個別位準都卜勒信號,將生成的個別位準都卜勒信號和資訊位準形成對應關係而傳送到評估值計算部753(步驟S2403)。再者,資訊位準不是最大值時,多位準資料生成部752將在部分都卜勒信號上疊加有對應於其資訊位準之量的白色雜訊之個別位準都卜勒信號傳送到評估值計算部753。另一方面,資 訊位準是最大值時,多位準資料生成部752將部分都卜勒信號原封不動地傳送到評估值計算部753。
其次,評估值計算部753從自多位準資料生成部752接收到的個別位準都卜勒信號抽取人體特徵量(步驟S2404)。其次,評估值計算部753從抽取的人體特徵量計算評估值,將算出的評估值和資訊位準形成對應關係而傳送到對象判定部754(步驟S2405)。
其次,控制部75判定對於全部的資訊位準是否執行過步驟S2402~S2405的處理(步驟S2406)。若對於全部的資訊位準未執行過步驟S2402~S2405的處理(步驟S2406的否),則控制部75使處理回到步驟S2402而反覆步驟S2402~S2405的處理。另一方面,若對於全部的資訊位準執行過步驟S2402~S2405的處理(步驟S2406的是),則對象判定部754對於到那時之前從評估值計算部753接收到的評估值計算隨著資訊位準的上升而上升的上升程度(步驟S2407)。
其次,對象判定部754將算出的上升程度和判定臨界值比較(步驟S2408)。若上升程度係判定臨界值以上(步驟S2408的是),則通知控制部755經由通信部73將異常信號傳送到外部機器(步驟S2409)。一傳送異常信號,控制部75就使處理回到步驟S2401而反覆步驟S2401~S2409的處理。
另一方面,若上升程度不到判定臨界值(步驟S2408的否),則控制部75使處理回到步驟S2401而反覆步驟S2401~S2409的處理。
如以上說明,本實施形態的人體感測器係從傳送到監視區域的傳送波與其反射波生成都卜勒信號,從自都卜勒信號切出的部分都卜勒信號生成資訊位準互相不同的複數個信號,從生成的各信號計算評估值。而且,人體感測器求出隨著資訊位準的上升而上升的上升程度,求得的上升程度係部分都卜勒信號是人體移動所致時的上升程度的下限值以上時,判定為部分都卜勒信號是人體的移動所致。藉此,人體感測器可提高檢出人體的精度。
在第6實施形態的第1變形例,多位準資料生成部生成使所輸入的信號分別適用資訊位準越高則通帶越寬、資訊位準越低則通帶越窄之帶通濾波器的複數個資料作為資訊位準互相不同的複數個信號。此情況,例如人體感測器具有可變更通帶的帶通濾波器。多位準資料生成部將帶通濾波器之通帶的寬度變更為複數種,藉由使通帶寬度分別不同的帶通濾波器通過部分都卜勒信號,生成資訊位準互相不同的複數個信號。帶通濾波器的通帶越窄則所生成的信號之資訊位準越低,通帶越寬則資訊位準越高。
或者,多位準資料生成部也可以生成使所輸入的信號之振幅分別衰減成使資訊位準越高則所輸入的信號之振幅變越大、資訊位準越低則所輸入的信號之振幅越小的複數個信號作為資訊位準互相不同的複數個信號。此情況,多位準資料生成部藉由例如使所輸入的信號之振幅衰減0.5倍、0.25倍、0.125倍、…,生成資訊位準互 相不同的複數個信號。越使其衰減成使振幅變小則所生成的信號之資訊位準越低。
或者,多位準資料生成部也可以生成以資訊位準越高則越高的取樣頻率、以資訊位準越低則越低的取樣頻率將所輸入的信號分別進行取樣的複數個資料作為資訊位準互相不同的複數個信號。此情況,多位準資料生成部將部分都卜勒信號進行重取樣而變更取樣頻率。例如,利用信號取得部之A/D轉換器所進行的取樣頻率為11.025kHz時,多位準資料生成部藉由將部分都卜勒信號以8kHz、4kHz、2kHz、1kHz的取樣頻率進行重取樣,生成資訊位準互相不同的複數個信號。重取樣時的取樣頻率越低則所生成的信號之資訊位準越低,取樣頻率越高則資訊位準越高。
在第6實施形態的第2變形例,多位準資料生成部生成關於檢出對象的特徵量,生成使其特徵量的分析位準互相不同的複數個資料,用作資訊位準互相不同的複數個資料。此情況,由事前學習所決定且輸入到評估值計算部之各弱鑑別器的特徵量不是由評估值計算部求出,而是由多位準資料生成部求出,多位準資料生成部將求得的特徵量之分析位準變更為複數種。
例如,多位準資料生成部生成資訊位準越高則越增長用於框分析所輸入的信號之框長度、資訊位準越低則越縮短其框長度的複數個資料作為使分析位準互相不同的複數個資料。此情況,多位準資料生成部對於所輸入的信號,以框周期為250msec固定,將框長度設定為 15.625msec、31.25msec、62.5msec、125msec、250msec、500msec、1000msec複數個階段。多位準資料生成部對於設定的各框長度之框利用高速傅立葉轉換進行頻率轉換,計算各框在頻譜上的尖峰頻率、尖峰功率及半高寬值,作為人體特徵量。評估值計算部從自各框長度之框求得的人體特徵量分別計算評估值。框長度越短則所求出的特徵量之資訊位準越低,框長度越長則其資訊位準越高。
或者,多位準資料生成部也可以生成對人體特徵量之特徵向量的各要素分別乘以資訊位準越高則越大、資訊位準越低則越小之1以下的正係數α(0<α≦1.0)的複數個資料作為使分析位準互相不同的複數個資料。多位準資料生成部將係數α在所預先設定的範圍內例如0.1、0.2、0.3、…、1.0變更為複數種。α越小則所求出的特徵量之資訊位準越低,相反地,α越大則其資訊位準越高。
此等情況,在第24圖的流程圖之步驟S2404,多位準資料生成部對照在步驟S2403所設定的資訊位準,從部分都卜勒信號求出人體特徵量,傳送到評估值計算部。而且,步驟S2405被省略,在步驟S2406,評估值計算部從自多位準資料生成部接收到的人體特徵量計算評估值。
如此,求出分析位準互相不同的特徵量而從各特徵量計算評估值,基於評估值隨著分析位準的上升而上升的上升程度來判定都卜勒信號是否是人體的移動所致,藉此也可以提高人體的檢出精度。
此外,可以在第6實施形態中也適用第1實施形態的第6、7、9~12的各變形例。
此外,也可以如第4實施形態的監視系統般地設置和人體感測器連接的中央裝置,人體感測器將都卜勒信號傳送到中央裝置,中央裝置判定接收到的都卜勒信號是否是人體的移動所致。或者,也可以構成為將切出部、多位準資料生成部、評估值計算部及對象判定部的各部任意配置於人體感測器或是中央裝置上。
如以上,當業者可在本發明之範圍內,對照所實施的形態而進行各種變更。
15‧‧‧控制部
150‧‧‧資料輸入部
151‧‧‧切出部
152‧‧‧多位準資料生成部
153‧‧‧評估值計算部
154‧‧‧對象判定部
155‧‧‧鳴叫控制部

Claims (6)

  1. 一種對象檢出裝置,係判定從資料輸入部取得的輸入資料中是否含有檢出對象之對象檢出裝置,其特徵在於具有:多位準資料生成部,其從前述輸入資料生成作為表現前述檢出對象的程度之資訊位準互相不同的複數個資料;評估值計算部,其對於前述複數個資料之各資料,計算表示前述檢出對象可能性程度的評估值;及對象判定部,其在對於前述資訊位準互相不同的複數個資料之各資料算出的前述評估值,隨著前述資訊位準的上升而上升的上升程度係前述輸入資料中含有前述檢出對象時的前述上升程度的下限值以上時,判定為前述輸入資料中含有前述檢出對象。
  2. 如申請專利範圍第1項之對象檢出裝置,其中前述資訊位準為前述複數個資料之各資料表現前述檢出對象的細節的程度。
  3. 如申請專利範圍第1項之對象檢出裝置,其中前述資訊位準為前述複數個資料之各資料適合前述檢出對象特徵表現的程度。
  4. 如申請專利範圍第1至3項中任一項之對象檢出裝置,其中前述對象判定部係在前述上升程度係前述下限值以上,並且代表評估值係預定值以上時,判定為前述輸入資料中含有前述檢出對象,在前述上升程度不到前述下限值時,或者在前述代表評估值不到預定 值時,判定為前述輸入資料中不含前述檢出對象,前述代表評估值係指關於對於前述資訊位準互相不同的複數個資料之各資料算出的前述評估值之統計代表值。
  5. 一種對象檢出方法,係判定從資料輸入部取得的輸入資料中是否含有檢出對象之對象檢出方法,其特徵在於包含:多位準資料生成步驟,其從前述輸入資料生成作為表現前述檢出對象的程度之資訊位準互相不同的複數個資料;評估值計算步驟,其對於前述複數個資料之各資料,計算表示前述檢出對象可能性程度的評估值;及對象判定步驟,其在對於前述資訊位準互相不同的複數個資料之各資料算出的前述評估值,隨著前述資訊位準的上升而上升的上升程度係前述輸入資料中含有前述檢出對象時的前述上升程度的下限值以上時,判定為前述輸入資料中含有前述檢出對象。
  6. 一種對象檢出用電腦程式,係使對象檢出裝置判定從資料輸入部取得的輸入資料中是否含有檢出對象之對象檢出用電腦程式,其特徵在於包含使電腦執行下述動作的命令:從前述輸入資料生成資訊位準互相不同的複數個資料,前述資訊位準係表現前述檢出對象的程度;對於前述複數個資料之各資料,計算表示前述檢出對象可能性程度的評估值; 在對於前述資訊位準互相不同的複數個資料之各資料算出的前述評估值,隨著前述資訊位準的上升而上升的上升程度係前述輸入資料中含有前述檢出對象時的前述上升程度的下限值以上時,判定為前述輸入資料中含有前述檢出對象。
TW102117823A 2012-06-29 2013-05-21 對象檢出裝置、對象檢出方法及對象檢出用電腦程式 TWI556194B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012147690 2012-06-29

Publications (2)

Publication Number Publication Date
TW201403547A true TW201403547A (zh) 2014-01-16
TWI556194B TWI556194B (zh) 2016-11-01

Family

ID=49783316

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102117823A TWI556194B (zh) 2012-06-29 2013-05-21 對象檢出裝置、對象檢出方法及對象檢出用電腦程式

Country Status (6)

Country Link
US (1) US9177203B2 (zh)
JP (1) JP5697803B2 (zh)
KR (1) KR101588995B1 (zh)
CN (1) CN104412302B (zh)
TW (1) TWI556194B (zh)
WO (1) WO2014003182A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI681275B (zh) * 2017-08-31 2020-01-01 日商三菱重工機械系統股份有限公司 監視裝置、監視方法、程式
US10671870B2 (en) 2017-06-07 2020-06-02 Alibaba Group Holding Limited Determining user authenticity with face liveness detection
TWI712909B (zh) * 2018-04-17 2020-12-11 和碩聯合科技股份有限公司 輔助臉部辨識的防僞方法及系統

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6326622B2 (ja) * 2014-03-25 2018-05-23 株式会社明電舎 人物検出装置
JP6627750B2 (ja) 2014-03-31 2020-01-08 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法および記録媒体
JP6444283B2 (ja) * 2015-08-31 2018-12-26 セコム株式会社 姿勢判定装置
WO2017061106A1 (ja) * 2015-10-07 2017-04-13 日本電気株式会社 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
TWI737659B (zh) * 2015-12-22 2021-09-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
KR20180092495A (ko) * 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
JP6399122B2 (ja) * 2017-03-01 2018-10-03 オムロン株式会社 顔検出装置およびその制御方法
JP6785181B2 (ja) * 2017-04-12 2020-11-18 株式会社日立製作所 物体認識装置、物体認識システム、及び物体認識方法
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
CN112578351B (zh) * 2020-02-28 2024-09-13 加特兰微电子科技(上海)有限公司 目标匹配方法、集成电路、无线电器件及设备
WO2021186755A1 (ja) * 2020-03-17 2021-09-23 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7527129B2 (ja) * 2020-04-28 2024-08-02 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節方法、及びプログラム
JP7278501B2 (ja) * 2020-12-08 2023-05-19 三菱電機株式会社 学習装置、不良検知装置、及び不良検知方法
CN112990132B (zh) * 2021-04-27 2023-01-03 成都中轨轨道设备有限公司 一种轨道标号牌定位识别方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4757598B2 (ja) * 2005-10-13 2011-08-24 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US7889892B2 (en) * 2005-10-13 2011-02-15 Fujifilm Corporation Face detecting method, and system and program for the methods
CN101021944B (zh) * 2007-03-14 2010-05-26 哈尔滨工业大学 基于小波函数的多尺度显微图像分割处理方法
JP4975666B2 (ja) * 2008-03-19 2012-07-11 セコム株式会社 監視装置
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置
JP5173858B2 (ja) * 2009-01-14 2013-04-03 キヤノン株式会社 動画像処理装置、動画像処理方法、プログラム及び記憶媒体
US8840889B2 (en) * 2009-08-13 2014-09-23 The Johns Hopkins University Methods of modulating immune function
US8351661B2 (en) * 2009-12-02 2013-01-08 At&T Intellectual Property I, L.P. System and method to assign a digital image to a face cluster
US10424342B2 (en) * 2010-07-28 2019-09-24 International Business Machines Corporation Facilitating people search in video surveillance
US8942434B1 (en) * 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671870B2 (en) 2017-06-07 2020-06-02 Alibaba Group Holding Limited Determining user authenticity with face liveness detection
TWI714834B (zh) * 2017-06-07 2021-01-01 開曼群島商創新先進技術有限公司 人臉活體檢測方法、裝置以及電子設備
TWI681275B (zh) * 2017-08-31 2020-01-01 日商三菱重工機械系統股份有限公司 監視裝置、監視方法、程式
TWI712909B (zh) * 2018-04-17 2020-12-11 和碩聯合科技股份有限公司 輔助臉部辨識的防僞方法及系統
US10990839B2 (en) 2018-04-17 2021-04-27 Pegatron Corporation Anti-counterfeit method and system for assisting in face recognition

Also Published As

Publication number Publication date
US20150146922A1 (en) 2015-05-28
WO2014003182A1 (ja) 2014-01-03
US9177203B2 (en) 2015-11-03
KR101588995B1 (ko) 2016-01-26
TWI556194B (zh) 2016-11-01
CN104412302B (zh) 2016-09-07
KR20150028967A (ko) 2015-03-17
CN104412302A (zh) 2015-03-11
JP5697803B2 (ja) 2015-04-08
JPWO2014003182A1 (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
TWI556194B (zh) 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
JP5998603B2 (ja) 音検出装置、音検出方法、音特徴量検出装置、音特徴量検出方法、音区間検出装置、音区間検出方法およびプログラム
US9070041B2 (en) Image processing apparatus and image processing method with calculation of variance for composited partial features
US11543547B2 (en) Early earthquake detection apparatus and method
US20090002490A1 (en) Acoustic recognition apparatus, acoustic recognition method, and acoustic recognition program
US12029579B2 (en) Apparatus for estimating mental/neurological disease
KR102314824B1 (ko) 딥러닝 기반 감지상황에서의 음향 사건 탐지 방법
CN113035241B (zh) 多特征融合识别婴儿哭声类别的方法、装置及设备
US7672834B2 (en) Method and system for detecting and temporally relating components in non-stationary signals
US20120328197A1 (en) Identifying matching images
JP6367691B2 (ja) 報知音感知・識別装置、報知音感知・識別方法、報知音感知・識別プログラム
EP3193317A1 (en) Activity classification from audio
AU2013204156A1 (en) Classification apparatus and program
CN112967733A (zh) 智能识别婴儿哭声类别的方法及装置
CN113012716B (zh) 婴儿哭声类别识别方法、装置及设备
JP5897950B2 (ja) 画像監視装置
CN113496136B (zh) 无人机及其影像识别方法
JP2011033879A (ja) サンプルを用いずあらゆる言語を識別可能な識別方法
US20210027796A1 (en) Non-transitory computer-readable storage medium for storing detection program, detection method, and detection apparatus
JP2018109739A (ja) 音声フレーム処理用の装置及び方法
CN112614492A (zh) 基于时空信息融合的声纹识别方法、系统及存储介质
CN114647829A (zh) 一种身份验证的方法、装置、存储介质和电子设备
Guediri Development of the Multisense System
CN115662447B (zh) 一种基于多特征融合的测谎分析方法及装置
Hori et al. Initial evaluation of personal identification system using walking footstep sound of one step