TWI384879B - 影像處理裝置,影像處理方法及影像處理程式 - Google Patents

影像處理裝置,影像處理方法及影像處理程式 Download PDF

Info

Publication number
TWI384879B
TWI384879B TW096131883A TW96131883A TWI384879B TW I384879 B TWI384879 B TW I384879B TW 096131883 A TW096131883 A TW 096131883A TW 96131883 A TW96131883 A TW 96131883A TW I384879 B TWI384879 B TW I384879B
Authority
TW
Taiwan
Prior art keywords
image
horizontal
portions
generated
small
Prior art date
Application number
TW096131883A
Other languages
English (en)
Other versions
TW200829023A (en
Inventor
Takanobu Ujisato
Nobuhiro Tsunashima
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006236145A external-priority patent/JP4229154B2/ja
Priority claimed from JP2006254817A external-priority patent/JP4270254B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200829023A publication Critical patent/TW200829023A/zh
Application granted granted Critical
Publication of TWI384879B publication Critical patent/TWI384879B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

影像處理裝置,影像處理方法及影像處理程式
本發明係關於影像處理設備、影像處理方法及影像處理程式。詳細地說,本發明係關於可適合地應用於來自利用監視相機獲得作為預定的監視地方之攝影結果的影像之不明物體及/或可疑人物的檢測之技術。
習知監視系統利用監視相機來監視預定的物體。於監視系統中,藉由目視地辨識利用監視相機獲得自攝影操作的影像作為監視物體的影像來監視之監視物體。
以此種監視相機,然而,當受監視的位置數量增加時,變得難以讓監視者24小時連續地實施監視操作。再者,監視系統亦被強制將限量影像儲存於連接至監視相機的錄影機以縮短操作時間。
因此,需要提供具有用於檢測來自輸入影像的不明物體及/或可疑人物的技術之監視系統。
例如,於銀行金融卡ATM或卡,如果能夠檢測人體的感測器是可利用的,將相對地容易滿足上述的必備條件。
然而,此種感測器可能無法使用來檢測來自諸如海岸的遠方景色之不明物體及/或可疑人物的檢測之技術。
於許多例子中,過去,採用揭示於日本專利先行公開案第2006-14215號的監視技術作為於上述情況中比較現在影像與上一影像的技術。
當物體進入受監視的地方時,視訊資料中由物體構成之影像部的亮度改變成不同於該地方的亮度位準。因此,藉由自作為不同區的影像的剩餘部分而檢測具有亮度差異的區,物體可被檢測。於諸如海、沙漠、草原或天空的景色的例子中,然而,除了作為檢測物體的物體外之東西亦會移動。除了物體外之東西的實例係海裡的水、沙漠的沙、草原的草及天空中的雲。因此,習知技術具有現在影像與上一影像的比較結果致使其它東西被錯誤地檢測為移動物體或類似物體之問題。
如作為解決該問題之方法,諸如日本專利先行公開案第Hei-10-328226號的文獻揭示另一習知技術。
依據揭示於日本專利先行公開案第Hei-10-328226號之技術,藉由實施臨界比較過程而產生照相操作所取得之現在影像及上一影像間的差異且將其轉換成二進位資料。同時,以過去差異的累積結果作為參考改變之背景影像被產生以減少誤為存在於背景影像之樹及/或水表面的起伏的檢測之檢測次數。
依據此技術,然而,臨界值變成典型地由於樹的起伏所造成的較大亮度改變之過大值的例子係很可能想像得到。於此種例子,要担心的是,由侵入者或類似物所造成作為重要侵入之侵入不合意地未被檢測到。
依據本發明的實施例,較佳地提供能夠利用監視相機自照相操作所取的影像穩定地檢測可疑人物或不明物體造成之指令之影像處理設備,該監視相機用於監視作為影像起伏之主要自然現象所造成之起伏發生的地方,該影像為取得於照相操作中作為海裡的水、沙漠的沙、草原的草及天空中的雲的圖像。
依據本發明的實施例,影像處理設備一旦儲存輸入影像則將該影像分成具有相同尺寸及相同形狀之影像部。接著,影像處理設備計算每一影像部的特徵量。然後,每一所計算的特徵量及預定值間之差被計算且使用來產生關於與所計算的量關聯的影像部是否為背景的決定結果。然後,利用決定結果,輸出不明物體或類似物的存在或不存在之資訊。
本發明的發明人已決定使用於在跟隨如具有諸如海的天然景色之例子的預定規則時移動之照相物體中相互區別背景及不明物體或類似物之方法是不適當。該方法是基於習知技術,且使用來藉由比較現在影像與上一影像相互區別背景及不明物體或類似物。然後,本發明的發明人尋求僅利用輸入影像相互區別背景及不明物體或類似物之技術。結果,依據本發明的實施例之影像處理設備將該影像分成具有相同尺寸及相同形狀之影像部。接著,影像處理設備計算每一影像部的特徵量。然後,計算每一所計算的量及預定值間之差。
例如,假使整個影像係背景。於此例中,為由於分割 該影像而獲得之每一影像部所計算之特徵量在各區間幾乎不能改變。依據基於此技術改念之影像處理方法,即使該影像由於如具有海、天空或類似物的影像之例子的天然現象而起伏,可使不明物體或類似物與具有恆定特徵量的背景與諸如海及天空的起伏背景有所區別。
依據本發明的實施例,提供作為用於監視呈現如具有特別是海、沙漠、草原或天空物的例子的恆定起伏的背景的監視設備之影像處理設備。該影像處理設備能夠辨識背景,而不會將諸如海浪及天空的雲的每一天然現象誤認為不明物體或類似物。
每一實施例證明自天然景色或類似物的輸入影像而檢測不明物體的高度能力,而不需將輸入影像分成數個水平影像部。
於自遠方位置取得作為前述的影像之影像的例子,然而,一輸入影像未必確定可說是不明物體的滿意檢測結果之結果。因此,為了解決該問題,於自遠方位置所取的影像而檢測不明物體的過程中,在實施各種下述決定處理之前,於預定處理中將輸入影像分成數個水平影像部。然後,於決定處理執行中將每一水平影像部處理為影像。該預處理有助於自遠方位置所取的影像而檢測不明物體之改善。
現將參照圖1至21解說本發明的第一至第五實施例 。
1:實施例的概要
圖1為顯示基於本發明的實施例的共同概念之影像處理設備的整個方塊圖。更明確地說,圖1A為主要地顯示影像處理設備的實際硬體之方塊圖,而圖1B為主要地顯示設備的功能部位之方塊圖。
圖1A所示的影像處理設備101檢測來自攝影相機102所輸出的影像之不明物體的存在或不存在,且產生供作為用於報告不明物體的存在之警示輸出的二進位信號或產生獲得作為預先決定處理的結果的影像信號。攝影相機102係典型地使用用於產生影像信號的CCD攝影裝置之眾知相機。將攝影相機102所產生之影像信號存於諸如HDD的大容量記憶體,或經由通信線路或類似線路而輸出至主機設備。
影像處理設備101基本上是使用CPU103、RAM105及ROM104的微電腦,藉由匯流排106相互連接。CPU103、RAM105及ROM104將預先決定的處理實施在攝影相機102所輸出之影像上以產生預先決定的信號或類似信號。則,影像處理設備101經由輸出I/F107而輸出該信號。
注意到,圖1A所示的架構係而後詳述的所有實施例之共同架構。
圖1B所示除了影像保持部位112及預定值保持部位 115以外的所有功能部位係存於由上述的微電腦所執行的ROM104中之軟體程式。影像保持部位112被實施作為RAM105,而預定值保持部位115包括RAM105及ROM104。
將接收自攝影相機102的影像存於影像保持部位112作為靜止影像。
影像分割部位113係用於將存於影像保持部位112的影像分割成具有相同尺寸及相同形狀的影像部之模組。
特徵量計算部位114係用於計算由於影像分割部位113所實施處理的結果所獲得之每一影像部的特徵量以分割存於影像保持部位112的影像之模組。預定值保持部位115係用於提供特徵量計算部位114所計算的每一特徵量的比較值或基於特徵量提供預定資料之單元。差異計算部位116係用於計算特徵量計算部位114所計算的每一特徵量與預定值保持部位115所提供的比較值或預定值保持部位115所提供作為基於特徵量的資料的預定資料間的差異之模組。差異計算部位116所實施之處理的結果係輸出至儲存單元或網路之二進位警示或影像。
注意到,圖1B所示的架構係而後詳述的所有實施例之共同架構。
特徵量計算部位114為影像計算之特徵量代表影像的圖案或紋理。也就是說,特徵量大致代表何者稱為平常繪圖軟體的紋理。
如果影像係草域的圖像,影像包括許多具有深及淺綠 色的傾斜拋物線。
如果影像係海的平靜表面的圖像,許多反射具有作為基礎趨勢的深藍色的陽光之細水平圖案或許多諸如波浪的白部存在於表面上。
天然景色不會機械地產生諸如人工創造的瓷磚式圖案之固定圖案。代替地,每一天然景色被認定為具有任意變化且產生相似固定圖案的特徵之影像。波浪不存在於草域,而具有深及淺綠色之傾斜拋物線不存在於海的平靜表面上。
這些天然景色隨時間逝去由於天然現象而改變。因此,藉由依據現有技術僅比較數個在不同時間取得的靜止影像,由於背景正在移動之事實,應自然地被視為背景之背景被誤視為不明物體。
藉由抓取移動背景的例子中之背景紋理,實施例能夠提供用於辨識具有高度一致性的背景而不會隨時間軸發生的改變而致錯之技術。
藉由抓取背景紋理或背景圖案,亦可同樣地拾取外來物體的特徵。因此,拾取背景紋理或背景圖案之過程係計算特徵量之過程。
如上述,將輸入影像分成具有相同尺寸及相同形狀之均勻且細的影像部,且然後計算每一影像部的特徵量。如果影像部所計算的特徵量的特定一者顯示偏離影像背景的特徵量之值,該特定特徵量被決定為存在影像上之不明物體的特徵量。因此,計算每一影像部的特徵量且比較為影 像部設定的目標特徵量,以決定所計算特徵量及目標特徵量間之相似度或所計算特徵量及目標特徵量間之不相似度。於以下說明中,目標特徵量被視為樣本的特徵量,該樣本被選自影像背景。此視為差異計算過程。最後,典型地比較所計算的差與預先決定的臨界值,以產生關於其特徵量已被計算的影像部是否或不為使用作為樣本之背景的一部份之決定結果。上述之此系列處理係計算各別像素間的亮度差的技術概念的延伸。
上述係所有實施例的共同概念。
以下說明將解說如何獲得特徵量以及如何計算特徵量間之差。
2:第一實施例
第一實施例解說如下。首先,說明此實施例的概要。於此實施例,預先提供影像,手動指定該影像的背景作為上述之樣本,且保持背景的特徵量。然後,當而後將影像處理設備置於實際操作狀態時,比較各為輸入影像的一部分找到之特徵量與背景所保持的特徵量。
圖2為顯示依據本發明的第一實施例之影像處理設備201之方塊圖。該示意圖係基於圖1B。
影像保持部位112係用於一旦儲存攝影相機102所產生之輸入靜止影像。
影像分割部位113係用於將輸入靜止影像分成細影像部之部位。
特徵量計算部位114係用於計算每一影像部的特徵量之部位。
另一方面,背景特徵量保持部位202係使用於預先保持特徵量作為由操作者實施的操作所指定作為樣本之背景的特徵量之部位。
差異計算部位116係用於計算特徵量計算部位114為每一影像部所計算的特徵量與保持於背景特徵量保持部位202的背景特徵量之間的差之部位,以產生關於該影像部是否為背景部之決定結果。
如果基於差異計算部位116所計算的差之決定結果不是背景部,警示被輸出以通告操作者不明物體存在於所輸入靜止影像。
背景特徵量保持部位202連接於顯示部位203及輸入部位204。
顯示部位203係諸如LCD單元之眾所周知的顯示單元。
輸入部位204係諸如滑鼠之一般所知的指向裝置。
如上述,背景特徵量保持部位202係使用於預先保持特徵量作為背景的特徵量之部位,自操作者所實施之操作中保持於影像保持部位112的輸入靜止影像而指定該背景作為樣本。詳細地說,在將影像處理設備置於實際操作狀態之前,將包括背景樣本之輸入影像顯示在顯示部位203上,且然後,操作者操作輸入部位204以指定所輸入影像中的範圍作為背景樣本。特徵量計算部位114計算使用作 為該樣本的背景的特徵量且將該特徵量儲存於背景特徵量保持部位202。
圖3A、3B及3C為顯示依據第一實施例的影像處理設備所實施的操作的概要說明中所指的典型影像之示意圖。
圖3A顯示海302、天空303及作為不明物體的船304的典型影像301。該影像被儲存於影像保持部位112。
圖3B顯示自影像301於操作者實施在輸入部位204上之操作中指定作為樣本之背景,影像301係依據操作者所實施的操作而顯示在顯示部位203上。特徵量計算部位114計算每一背景的特徵量,且將背景的特徵量儲存於背景特徵量保持部位202作為樣本的特徵量。於圖3A所示之影像的例子,操作者指定兩個背景樣本B(1)及B(2),其為分別選自天空303及海302之樣本。
圖3C顯示影像分割部位113所產生之影像部作為分割影像301的結果。
特徵量計算部位114計算每一影像部的特徵量。如圖3C的典型例子所示,影像分割部位113將影像301分割成25個影像部S(1)至S(25)。
差異計算部位116計算每一背景樣本B(1)及B(2)的特徵量及影像部S(1)至S(25)的特徵量間之差。 更明確地說,藉由差異計算部位116連續計算作為背景樣本B(1)及B(2)間的差之特徵量差以及影像部S(1)至S(25)列表如下: 背景樣本B(1)及影像部S(1)的特徵量間之差;背景樣本B(2)及影像部S(1)的特徵量間之差;背景樣本B(1)及影像部S(2)的特徵量間之差;背景樣本B(2)及影像部S(2)的特徵量間之差;等等以及,最後,背景樣本B(1)及影像部S(25)的特徵量間之差;及背景樣本B(2)及影像部S(25)的特徵量間之差。
圖4、5及6顯示表示上述之操作的細節之流程圖。
圖4顯示表示藉由依據第一實施例的影像處理設備201所實施的實際操作之前的預處理之流程圖。如圖所示,流程圖以啟動預處理的執行之步驟S401作為開始。然後,在下一步驟S402,將包括操作者所指定的樣本之輸入靜止影像儲存於影像保持部位112的RAM。將如以下所述,操作者所指定之輸入靜止影像的背景作為樣本。
然後,下一步驟S403,輸入靜止影像顯示在顯示部位203上。
在目視確定顯示在顯示部位203上之輸入靜止影像時,在下一步驟S404,操作者操作輸入部位204以進入使用作為樣本之每一背景的位址範圍。
在操作者確認指定位址範圍之時,在下一步驟S405,將位址範圍儲存於RAM。然後,在下一步驟S406,自輸入靜止影像擷取作為樣本之每一位址範圍的像素,且計算每一位址範圍之像素的特徵量。然後,將特徵量保持於 背景特徵量保持部位202中。最後,在最後步驟S407,結束此流程所表示之預處理的執行。
圖5及6顯示表示藉由依據第一實施例的影像處理設備201實施於操作狀態的實際操作之流程圖。
如圖5所示,流程圖以啟動實際操作的執行之步驟S501作為開始。然後,在下一步驟S502,將輸入靜止影像儲存於影像保持部位112的RAM。
則,在下一步驟S503,特徵量計算部位114計算影像分割部位113所產生之每一影像部的特徵量作為分割輸入靜止影像的結果。
接著,在接在步驟S503之後的步驟,計算每一影像部的特徵量及每一背景樣本的特徵量之間的差。
在步驟S504,增量i以1開始。增量i使用於計算特徵量間的差之處理中辨識作為物體的影像部之變數。
同樣地,在步驟S505,增量j以1開始。增量j使用於計算特徵量間的差之處理中辨識作為物體的背景樣本之變數。
然後,在下一步驟S506,計算背景樣本B(j)的特徵量及影像部S(i)的特徵量之間的差。
接著,在下一步驟S507,比較在步驟S506實施的過程中所計算之差與預先決定之儲存臨界值。如果決定結果顯示差異至少等於臨界值,流程前進至旗標變數f(i)設定在1之步驟S508。提供有許多旗標變數f(i)作為影像部(i)。可將旗標變數f(i)設定在1或重設在0。注意 到,如果決定結果顯示差小於臨界值,另一方面,流程前進至旗標變數f(i)重設至0的步驟S509。
然後,在接在步驟S508之後的步驟S610,檢查增量j是否或不是至少等於樣本計數最大值。於圖3A至3C所示的典型輸入靜止影像的例子,背景樣本(j)的數量係2。因此,檢查增量j是否或不是至少等於2。如果決定結果顯示增量j至少等於樣本計數最大值,流程前進至增量i遞增1的步驟S611。如果決定結果顯示增量j小於樣本計數最大值,另一方面,流程前進至增量j遞增1的步驟S612。此因為仍有留下作為在步驟S506及後續步驟所實施之處理的物體之背景樣本(j)。
在步驟S613,檢查增量i是否或不是至少等於樣本計數最大值。如果決定結果顯示增量i小於樣本計數最大值,流程前進至增量i遞增1的步驟S614。然後,此流程圖代表操作流程回到步驟S505無需實施用於使用於第二背景樣本的海之處理,因為目前影像部(i)已知為天空的影像部。
如果決定結果顯示增量i至少等於影像部計數最大值,另一方面,決定結果被詮釋為顯示所有影像部(i)已被使用作為在步驟S505及後續步驟所實施的處理中的物體之決定結果。於此例中,此流程圖代表操作流程前進至檢查所有旗標變數f(i)是否或不是有設定在1的旗標變數f(i)之步驟S615。
如果決定結果顯示沒有設定在1的旗標變數f(i), 決定結果被詮釋為顯示所有影像部(i)係背景的影像部或顯示沒有不明物體之決定結果。
如果決定結果顯示有設在1的旗標變數f(i),決定結果被詮釋為顯示具有設在1的旗標變數f(i)之影像部(i)不是背景的影像部而是不明物體的影像部之決定結果,或顯示不明物體的決定結果存在於影像部(i)。
也就是說,如果不明物體的存在被辨識,此流程圖代表操作流程前進至輸出警示之步驟S616。最後,在最後步驟S617,此流程圖代表之操作執行結束。
依據此實施例,藉由實施手動操作預先指定背景樣本。因此,該實施例具有該實施例不能夠跟上背景特徵的改變之缺點。具體而言,假設例如使用海作為背景。於此例中,如果海由於天氣轉為不平靜或海及作為另一背景的天空間的關係因為攝影相機102的照相角度的變化而改變,可能不合意地實施不明物體的不正確辨識。
如果背景的特徵量被足夠認知及實施利用特徵量的監視的適當物體之適當設定,然而,該實施例能夠適當地顯示其功能。然而,可將依據此實施例之方法應用於監視物體的特徵量幾乎不能改變之例子,實施照相操作而不改變攝影相機102的照相角度,且如果特徵量改變,可能重新指定背景樣本。
附帶地,決定影像部的尺寸之方式變化極小,取決於監視的物體。至於形成複雜圖案的背景,例如,如果影像部的過小尺寸被設定,每一影像部的特徵量不可能說是可 計算的。如果將檢測之不明物體的尺寸是小且影像部的過小尺寸被設定,然而,計算為影像部之特徵量的改變不合意地難以觀察。因此需要依據監視的物體適當地改變影像部的尺寸。為此理由,以下的情況可能是好的,基於反覆試驗的原則藉由適當地改變該尺寸預先決定影像部的最理想尺寸,同時在影像處理設備201的實際操作之前來實施試驗操作。
以上所述摘要如下。依據該實施例之影像處理設備201的核心組件係藉由軟體的執行所操作之微電腦。當輸入靜止影像供應至影像處理設備201時,該影像被儲存於影像保持部位112,其實際為RAM105。影像分割部位113將所輸入靜止影像分割成具有均勻形狀之影像部。特徵量計算部位114計算每一影像部之特徵量。藉由實施手動操作所指定之背景樣本的特徵量已被預先儲存作為預先決定之值115於背景特徵量保持部位202。為每一影像部所計算之特徵量及背景樣本的特徵量之間的差被發現且與預先決定的臨界值比較。將具有被發現小於臨界值的差之影像部決定為背景的影像部。於此例中,將提供給決定為背景的影像部的影像部之旗標重設在0。
因此,由實施上述之處理,這係可能產生關於影像部是否為背景的影像部或不明物體的影像部之決定。清楚地如以上所述,上述的處理包括計算獲得作為分割所輸入靜止影像的結果之每一影像部的特徵量之過程,且計算為每一影像部所計算的特徵量及背景樣本的影像部之間的差之 過程。
2.1:特徵量計算方法
以下解說用於計算特徵量之方法。
特徵量係表示預定範圍中之影像的特徵之數字。
有各種可想到的影像特徵。影像特徵包括影像的顏色、影像的色度及影像的圖案。因此,通常,影像的特徵量不是單一數量。反而,影像的特徵量係具有一些元件的矩陣。
圖7A、7B及7C各為彩色直方圖技術的說明中所參照之概要示意圖,其為計算特徵量及本說明書中所述之本發明的共用所有實施例之一種方法。
為更明確,圖7A顯示包括將指定且選自影像的背景樣本之輸入靜止影像701。海702遍及輸入靜止影像701的區域。在海702上,船703存在為不明物體。船703由黑色像素所構成。
圖7B顯示取自圖7A所示的輸入靜止影像701之背景樣本。圖7B所示之背景樣本係海702的放大部。如圖7B所示,波浪704存在於背景樣本的海水705。海水705由黑色像素所構成,而每一波浪704由白色像素所構成。
圖7C顯示所有色成份的矩陣706。存在於圖7A所示的輸入影像之像素值一個接一個地累積地加至包括於矩陣706之元件作為對應於像素之元件。結果,像素值集中於表示波浪之白色區707、表示海水之藍色區708、及表示 船之黑色區709,船是不明物體。也就是說,這可能是較佳地使讀取者認為如同熟知的高斯(Gauss)彎曲表面形成於白色區707、藍色區708及黑色區709的每一者之彎曲表面。
如上述,彩色影像的彩色直方圖技術係表示各自當作彩色影像中的像素之顏色出現頻率的資料。彩色直方圖技術亦可被視為獲得作為分開地散佈包含彩色影像的色點且然後收集每一色成份的同色成份的色點的結果之資料。因此,自所產生的資料失去圖案概念。
圖8A、8B、8C及8D各為頻率分析的說明中所參照之大略示意圖,頻率分析係計算特徵量的一種方法。可使用頻率分析方法計算特徵量作為此說明書中所述的本發明的所有實施例之共同方法。
更特別地,圖8A顯示輸入影像的一部份801。輸入影像部801係如同圖7B所示的輸入影像部。也就是說,部801係海的一部分。圖8B所示作為擷取自輸入影像部801的背景樣本之背景樣本係輸入影像部801的放大部。圖8B所示的背景樣本係波浪。波浪的像素802是亮的,而海水的像素是暗的。
圖8C顯示獲得作為於自左而右的方向連續地繪製包含輸入影像的像素的亮度的結果之典型曲線。清楚地如圖所示,包含海水之像素的亮度位準是低,而包含波浪之像素的亮度位準是高。然後,以此方式獲得之圖形就好像該圖形是信號的波形而被處理。用於尋求特徵量之頻率分析 方法係分析信號的頻率分量的方法。
圖8D顯示頻率分析方法的典型結果。依據頻率分析方法,圖8C中繪製的波形受到傅立葉(Fourier)分析,且圖8D所示作為表示水平軸代表的頻率及垂直軸代表的亮度位準間的關係的曲線之曲線代表傅立葉分析的結果。結果,曲線表示的資料件置於矩陣。矩陣的元件各為具有代表輸入影像的亮度的波形之信號的頻率分量。
如上述,依據用於尋求特徵量之頻率分析方法,代表像素間的亮度位準變化之波形被產生且受到用於分析波形的頻率分量之傅立葉轉換。作為傅立葉轉換的結果,頻率分量表示而出現作為預先決定的圖案之亮度/暗度圖案。
圖9係同時發生概率矩陣的說明中所參照之解說圖。
更特別地,圖9A顯示影像的兩個任意像素P1及P2。距離r及角度θ代表之兩個像素P1及P2的相互分開。相對位置函數δ係依照距離r及角度θ之函數。δ=(r、θ)表示相對位置函數δ。
圖9B顯示在δ=(1、0度)表示之相對位置函數δ的例子中作為鄰接至像素P1的下一像素之像素P2。
另一方面,圖9C顯示在δ=(1、90度)表示之相對位置函數δ的例子中作為像素P1正上方的像素之像素P2。
同時發生概率矩陣係方矩陣。同時發生概率矩陣的元件各為獲得作為將藉由固定相對位置函數δ相互遠離的兩個像素的亮度位準的結合累積地加至亮度值的結果之亮度 值。
圖10為顯示簡化以使解說容易瞭解的影像資料及亦簡化以使解說容易瞭解的同時發生概率矩陣之解說圖。
更特別地,圖10A顯示具有16(=4×4)像素之影像的資料,該影像具有四個亮度位準,亦即,亮度位準0至3。
圖10B顯示同時發生概率矩陣,其為具有16(=4×4)像素之方形矩陣,該方形矩陣具有四個亮度位準。以下說明自圖10A所示的影像資料產生圖10B所示的同時發生概率矩陣之過程,用於相對位置函數δ=(r、θ)=(1、0度)。
假設圖10A所示的座標(0、0)係像素P1的座標(x、y)。於此例中,像素P2的座標(x、y)係(1、0)。如圖所示,像素P1的亮度位準i及像素P2的亮度位準j皆為0。因此,將1加至在具有座標(i、j)=(0、0)的位置之亮度位準。再者,因為實施往復計數操作,將1進一步加至在具有座標(i、j)=(0、0)的位置之亮度位準。
然後,假設圖10A所示的座標(1、0)係像素P1的座標(x、y)。於此例中,像素P2的座標(x、y)係(2、0)。如圖所示,像素P1的亮度位準i係0,而像素P2的亮度位準j為1。因此,將1加至在具有座標(i、j)=(0、1)的位置之亮度位準。再者,因為實施往復計數操作,將1進一步加至在具有座標(i、j)=(1、0)的位置 之亮度位準。
對於所有像素實施藉由如上述的相對位置函數δ算出代表相互遠離的像素的亮度位準的結合之矩陣元素的值之操作。也就是說,同時發生概率矩陣(其為方形矩陣)係反矩陣,其每一元件代表兩個像素的亮度位準的結合出現之次數。
要注意的是,這是由監視系統設計者決定是否實施倒數計數操作。
自同時發生概率矩陣的特性,較佳地使用數個相對位置函數以產生數個同時發生概率矩陣。
藉由採用於計算特徵量的這些方法,獲得作為分割影像的結果之每一影像部可以找到以具有大量資料件的矩陣所表示之特徵量。
這些所計算的特徵量的每一者及預先尋求及保持作為典型背景樣本的特徵量的特徵量間之差被找到且與預先決定的臨界值比較。於以下說明中,計算此種差之處理稱為特徵量差異計算過程(將後述)。
要注意的是,這是由監視系統設計者藉由考慮所計算的特徵量的精確及計算處理的量間之取捨而適當地選擇使用作為上述實例之特徵量計算方法的一者。
2.2:特徵量差異計算方法
依據使用作為上述的實例之特徵量差異計算方法,尋找獲得作為分割影像的結果之每一影像部之特徵量。以具 有大量資料件之矩陣分別表示所有特徵量。
因此,藉由比較兩個矩陣的資料所尋找的此種差異。如何可尋求此種差異?差異代表兩個矩陣的資料間之相似性程度。該兩個矩陣係代表所尋求影像部的特徵量之矩陣及代表背景樣本的特徵量之矩陣。
有各種用於尋找兩個矩陣的資料間之相似性程度。有些方法如以下所列:
(1):SAD(絕對差異的總和)
尋找兩個矩陣中之兩個對應元件的值之間的絕對差用於每對矩陣元素,且計算此種絕對差的總和。
(2):SSD(平方差的總和)
尋找兩個矩陣中之兩個對應元件的值之間的差的暗次方用於每對此種矩陣元素,且計算此種平方差的總和。
(3):歸一化(Normalization)
處理每一矩陣元素作為向量的元件,且尋找兩個矩陣的內乘積。也就是說,尋找兩個矩陣中之兩個對應元件的乘積,且計算此種乘積的總和。
實施特徵量比較處理以最終尋求一差異,該差異為單一數量。
然後將所計算差相比較於預先保持的預定臨界值,以產生關於影像部是否為背景樣本的一部分之決定結果。
要注意的是,其係由監視系統設計者藉由考慮所計算差異的精確及計算處理的量間之取捨而適當地選擇使用作為上述實例之特徵量差異計算方法的一者。
可分別選擇上述之特徵量計算方法及特徵量差異計算方法,且採用作為依據第一實施例以及依據第二、第三、第四及第五實施例(將後述)的影像處理設備之共同方法。也就是說,用於任一實施例,可採用彩色直方圖技術方法、頻率分析方法或同時發生概率方法作為特徵量計算方法,而可採用SAD、SSD或歸一化方法作為特徵量差異計算方法。
3:第二實施例
圖11為顯示依據本發明的第二實施例的影像處理設備之方塊圖。依據第二實施例之影像處理設備係基於圖1B所示的架構。注意到,以下說明中不再解說參照圖2的前述第一實施例之共同部位以避免解說的重複。
第二實施例不同於第一實施例,其在於,於第二實施例的例子中,以平均值保留部位1102取代使用於第一實施例的背景特徵量保持部位202。平均值保留部位1102係用於計算特徵量計算部位114各別計算之影像部位的特徵值的平均值及保持所計算平均值。
差異計算部位116計算平均值保留部位1102所保持的平均值及特徵量計算部位114各別計算的特徵值間之差作為影像部的特徵量。如果差異計算部位116所計算之影像部差異顯示該影像部為不明物體的一部份,警告被輸出。
圖12A、12B及12C係大略顯示獲得作為依據第二實 施例的影像處理設備所實施之操作結果的輸入影像之示意圖。
更特別地,圖12A顯示包括海1202及作為不明物體之船1204的影像1201。
圖12B顯示用於保留藉此計算的值作為特徵量計算部位114各別尋找作為圖12C所示的影像部的一者的特徵量之特徵量S(1)至S(25)的平均值之平均值保留部位1102。也就是說,圖12B顯示將特徵量S(1)至S(25)的總和除以上述特徵量S(1)至S(25)的數量所獲得之平均值。於此例中,上述特徵量S(1)至S(25)的數量係25。
如上述,差異計算部位116計算平均值保留部位1102所保持的平均值B及特徵量計算部位114各別計算的特徵值間之差異作為影像部的特徵量。差異計算部位116一個接一個地計算該等差異,具體而言,差異計算部位116連續地計算: 平均值B及特徵量S(1)間的差;然後
平均值B及特徵量S(2)等等之間的差。
最後,差異計算部位116計算:平均值B及特徵量S(25)間的差。
圖13及14顯示代表依據第二實施例的影像處理設備所實施的操作之流程圖。
流程圖以啟動實際操作的執行之步驟S1301而開始。然後,在下一步驟S1302,將輸入靜止影像儲存於影像保 持部位112的RAM。
接著,於下一步驟S1303,特徵量計算部位114計算影像分割部位113所產生之每一影像部的特徵量作為分割輸入靜止影像的結果。
然後,在步驟S1304,計算平均值B。
接著,在接在步驟S1304之後之步驟,計算每一影像部的特徵量及平均值B間之差如下:首先,在步驟S1305,將增量i初始化在1。增量i係於計算特徵量及平均值間之差的處理中使用於辨識作為物體的影像部之變數。
然後,在下一步驟S1306,計算平均值B及影像部(i)的特徵量之間的差。
接著,在下一步驟S1307,將在步驟S1304實施的過程中所計算之差相比較於預先決定的儲存臨界值,以產生關於差異是否至少等於臨界值之決定結果。如果決定結果顯示該差至少等於臨界值,流程前進到旗標變數f(i)設定在1之步驟S1308。提供有如影像部(i)之許多旗標變數f(i)。也就是說,旗標變數f(i)提供給每一影像部(i)。注意到,如果在步驟S1307實施的過程中所產生之決定結果顯示該差小於臨界值,另一方面,旗標變數f(i)重設至0以顯示影像部(i)係背景的影像部。
在下一步驟S1409,檢查增量i是否至少等於影像部計數最大值。如果決定結果顯示增量i小於影像部計數最大值,流程前進至增量i遞增1的步驟S1410。然後,流 程回到步驟S1306。如果決定結果顯示增量i至少等於影像部計數最大值,另一方面,將該決定結果詮釋為顯示所有影像部(i)已被使用作為在步驟S1306及後續步驟實施之處理中的物體之決定結果。於此例中,流程前進至檢查所有旗標變數f(i)的步驟S1411以產生關於是否有設定在1的旗標變數f(i)之決定結果。
如果決定結果顯示沒有設定在1的旗標變數f(i),將該決定結果詮釋為顯示所有影像部(i)係背景的影像部之決定結果或顯示沒有不明物體之決定結果。於此例中,流程前進至結束此流程圖所代表之操作的執行之最後步驟S1413。
如果決定結果顯示有設定在1的旗標變數f(i),將該決定結果詮釋為顯示設定在1的影像部(i)不是背景的影像部而是不明物體的影像部之決定結果或顯示不明物體存在於影像部(i)之決定結果。也就是說,如果辨識出不明物體的存在,流程前進至輸出警告之步驟S1412。最後,在最後步驟S1413,結束此流程圖所代表之操作的執行。
以上所述之摘要如下。
依據此實施例之影像處理設備1101的核心組件係藉由軟體的執行所操作之微電腦。
當輸入靜止影像供應至影像處理設備1101時,該影像被儲存於影像保持部位112,其實際為RAM105。影像分割部位113將所輸入靜止影像分割成具有相同形狀及相 同尺寸之影像部。特徵量計算部位114計算每一影像部之特徵量。然後,計算所有影像部的特徵量的平均值保持於平均值保留部位1102,平均值保留部位1102包括RAM105。然後尋找為每一影像部所計算之特徵量及平均值之間的差,且相比較於預先決定的臨界值。具有所找到的差小於臨界值之影像部被決定為背景的影像部。於此例中,將提供給決定為背景的影像部之影像部之旗標重設至0。
因此,藉由實施上述之處理,這係可能產生關於影像部是否為背景的影像部或不明物體的影像部之決定結果。如上所述,上述的處理包括計算獲得作為分割所輸入靜止影像的結果之每一影像部的特徵量之過程及計算為每一影像部所計算的特徵量及平均值之間的差之過程。
4:第三實施例
圖15A及圖15B為顯示依據本發明的第三實施例之影像處理設備1501的方塊圖。
依據第三實施例之影像處理設備係基於圖1B所示的架構。注意到,以下說明中不再解說參照圖11先前解說的第二實施例之共同部位以避免解說的重複。
第三實施例不同於第二實施例,其在於,於第三實施例的例子中,第三實施例使用ROM1502、影像部計數比較部位1504及設在特徵量計算部位114及比較部位1504間之聚類處理部位1503。
聚類處理部位1503係一單元,用於計算特徵量計算部位114所產生之任何兩個特徵量之間的差作為整個輸入影像中的影像部各別找到之特徵量,以及用於將特徵量相互分開小差的影像部置於相似影像組中。此因為特徵量相互分開小差之任何兩個影像部被視為具有相似影像的影像部。將特徵量中相互分開小差之影像部置於相似影像組中的過程被稱為聚類過程。因此,聚類過程係將影像部分類成相似影像組中的過程。
比較部位1504將置入收自聚類處理部位1503的各別相似影像組中之影像部的數量相比較於預先儲存於ROM1502之影像部計數臨界值。如果比較結果顯示各別相似影像組中不是背景的一部分,將各別相似影像組決定為存在於不明物體之組。於此例中,警告被輸出。
圖15B係顯示使用於圖15A所示的影像處理設備501之聚類處理部位1503的內部架構之方塊圖。
差異計算物體設定部位1513係用於決定收自特徵量計算部位114的哪一特徵量1512受到差異計算部位1514的差異計算過程之單元。
差異計算部位1514係用於計算差異計算物體設定部位1513所選及決定的任何兩個特徵量之間的差之單元。
比較部位1516係用於比較差異計算部位1514所計算的差與臨界值1515之單元。比較結果顯示具有兩個特徵量的兩個影像部是否相互結合於相似影像組中。
編組過程部位1517係用於基於比較部位1516所產生 的比較結果而相互結合兩個影像部於相似影像組或使兩個影像部保持原樣而未相互結合它們於相似影像組之部位。
藉由實施上述的系列過程,將影像部分類成一些相似影像組。然後,為該等相似影像組的每一各別組,比較部位1504比較置入各別相似影像組之影像部的數量與預先儲存於ROM1502之預定影像部計數臨界值。比較結果顯示各別相似影像組是否為背景的一部分。
圖16A、16B、16C及16D係粗略地顯示獲得作為依據第三實施例的影像處理設備所實施之操作結果之輸入影像的示意圖。有包括海及作為不明物體的船之影像1601。
聚類處理部位1503相互比較特徵量計算部位114輸出作為所有影像部的特徵量之特徵量S(1)至S(25)以使影像部分類成相似影像組如下。
首先,差異計算部位1514計算圖16A所示的影像1601上之左上影像部的特徵量S(1)及鄰接至該左上影像部之影像部的特徵量S(2)之間的差。然後,比較部位1516比較差異計算部位1514所計算作為兩個特徵量間的差之差與預先儲存於臨界值1515之差異臨界值,以產生關於具有該兩個特徵量的兩個影像部是否相似之決定結果。於圖16A所示的影像1601的例子,兩個具有特徵量S(1)及S(2)之影像部係海的一部份。因此,兩個具有特徵量S(1)及S(2)之影像部係相似使得兩個特徵量間之差係小。因此,兩個具有特徵量S(1)及S(2)之影像部被認為具有相同圖案使得它們相互結合於相似影 像組。具體而言,兩個具有特徵量S(1)及S(2)之影像部被置於顯示在圖16B所示的影像的左上角之相似影像組。也就是說,將具有特徵量S(1)及S(2)之兩個影像部置於相似影像組之過程係基於去除相互鄰接的影像部之間的界線之概念。
自圖16B所示的狀態延續計算相互鄰接的兩個影像部的特徵量間之差以及比較所計算的差與存於臨界值1515的差異臨界值之過程。也就是說,去除相似且相互鄰接的影像部之間的其它界線以產生如同圖16C所示的影像之影像。
最後,留下具有特徵量S(12)、S(13)及S(14)之影像部如圖16D所示。此因為特徵量S(12)、S(13)及S(14)各別具有與相鄰影像部的特徵量之大差。具有特徵量S(12)、S(13)及S(14)之影像部被辨識為不明物體存在之影像部。
圖17顯示表示由依據第三實施例的影像處理設備1501所實施的操作之流程圖。如圖所示,流程圖以步驟S1701開始。然後,在下一步驟S1702,輸入靜止影像存於RAM。
接著,在下一步驟S1703,特徵量計算部位114計算獲得作為影像分割部位113所實施的過程結果之每一影像部的特徵量以分割輸入靜止影像。
然後,在下一步驟S1704,基於所有影像物的特徵量而實施之聚類過程。由於聚類過程,特徵量中具有小差之 影像部置於相似影像組中。
然後,在下一步驟S1705,為每一相似影像組,包括於相似影像組之影像部的數量相比較於保持於ROM1502之影像部計數臨界值,以產生關於相似影像組是否存在於背景或於不明物體的區域之決定結果。如果比較結果顯示包括於每一相似影像組之影像部的數量至少等於保持於ROM1502之影像部計數臨界值,整個輸入靜止影像被決定為背景。
如果比較結果顯示包括於任何特定相似影像組之影像部的數量小於保持於ROM1502之影像部計數臨界值,另一方面,該特定相似影像組被決定為存在於輸入靜止影像之不明物體中的一組。
如果特定相似影像組被決定為存在於輸入靜止影像之不明物體中的一組,警告被輸出在步驟S1706。最後,在最後步驟S1707,結束此流程圖所表示之操作的執行。
以下說明摘要如下。依據該實施例之影像處理設備1501的核心組件係藉由軟體的執行所操作之微電腦。
當輸入靜止影像供應至影像處理設備1501時,該影像被儲存於影像保持部位112,其實際為RAM105。影像分割部位113將所輸入靜止影像分割成具有相同尺寸及相同形狀之影像部。特徵量計算部位114計算整個輸入影像中之每一影像部的特徵量。聚類處理部位1503計算特徵量計算部位114所產生作為影像部各別尋找的特徵量之任何兩個特徵量間的差,且將特徵量中相互分開小差之影像 部置於相似影像組。此因為特徵量中相互分開小差之影像部被視為具有相似影像之影像部。特徵量中相互分開小差之影像部置於相似影像組的過程被稱為聚類過程。因此,聚類過程係將影像部分類成相似影像組。
然後,為相似影像組的每一各別組,包括於相似影像組之影像部的數量相比較保持於ROM1502之影像部計數臨界值,以產生決定結果關於各別相似影像組中是否存在於背景或於不明物體的區域。如果比較結果顯示包括於各別相似影像組中之影像部的數量係至少等於保持於ROM1502之影像部計數臨界值,各別相似影像組被決定為存在於背景之一組。於此例中,設定各別提供給包括於各別相似影像組中的影像部之旗標。
因此,由實施上述之處理,這係可能產生關於影像部是否為背景的影像部或不明物體的影像部之決定結果。清楚地如以上所述,上述的處理包括計算獲得作為分割所輸入靜止影像的結果之每一影像部的特徵量之過程,且計算為每一影像部所計算的特徵量及背景樣本的影像部之間的差之過程。
5:第四實施例
圖18A、18B及18C係影像示意圖及整體方塊圖,其大略顯示獲得作為依據本發明的第四實施例之影像處理設備1811及影像處理設備1811所實施之操作結果之輸入影像。
為更明確,圖18A顯示包括海1802、天空1803及作為浮在海1802上的不明物體的船1804的輸入影像1801。海1802係風景,其圖像已被實施在遠方位置的攝影操作攝取。輸入影像1801中之海1802的下部及海平線的附近間之實際距離係長。因此,海1802的表面上之波浪在觀察者的前方看起來像大水花,而海1802的表面上之波浪在接近海平線的位置看起來像小水花。也就是說,獲得作為攝影操作的結果之輸入影像1801中的海1802不是均勻圖案。
如果整個輸入影像1801被取為評估的物體,將難以獲得精細結果。
為解決此問題,將輸入影像1801分割成數個水平影像部,每一水平影像部定向於平行於海平線的方向。具體而言,將輸入影像1801分成如圖18B所示之水平影像部1805、1806、1807、1808、1809及1810。
然後,為每一水平影像部,實施上述先前解說之特徵量計算過程及比較過程。
圖18C係顯示用於實施上述的技術概念之影像處理設備1811的方塊圖。影像處理設備1811與圖1B所示的影像處理設備101幾乎相同。然而,圖18C所示的影像處理設備1811不同於圖1B所示的影像處理設備101,其在於,於影像處理設備1811的例子,影像分割部位1813分割成水平影像分割部位1813a及小影像分割部位1813b。
藉由實施第一、第二或第三實施例的處理而將第四實 施例的主要處理實施在水平影像部1805、1806、1807、1808、1809及1810上。
注意到,藉由考慮將處理的輸入影像1801的狀態及將實施於該處理之計算量間的取捨,在設計時機或在影像處理設備1811的實際操作之前的時機所決定之水平影像分割部位1813a產生的水平影像部的寬度。
如果依據第一、第二及第三實施例實施處理結果不佳,這係可能提供嘗試第四實施例之架構。
以上說明摘要如下。
依據該實施例之影像處理設備1811的核心組件係藉由軟體的執行所操作之微電腦。
當輸入靜止影像供應至影像處理設備1811時,該影像被儲存於影像保持部位112,其實際為RAM105。然後,在使用於影像分割部位1813之水平影像分割部位1813a將輸入靜止影像分成數個定向於平行至海水平的方向之水平影像部之後,亦使用於影像分割部位1813之小影像分割部位1813b將每一水平影像部分割成具有相同尺寸及相同形狀之小影像部。接著,在每一水平輸入部上,特徵量計算部位114實施特徵量計算處理,而差異計算部位116實施特徵量差異計算處理。
然後,檢查水平輸入部的每一各別一者以產生關於作為評估物體之包括於各別水平輸入部的小影像部的任何特定一者是否為背景的影像部之決定結果。如果決定結果顯示作為評估物體之包括於各別水平輸入部的特定小影像部 係背景的影像部,提供於特定小影像部之旗標重設成0。
藉由實施上述之處理,這係可能相互區別背景的區域及除了背景的區域外之不明物體的區域。自上述說明觀察,該處理包括計算每一影像部的特徵量之過程及計算任何2個特徵量間的差之過程。
6:第五實施例
圖19為顯示依據本發明的第五實施例之影像處理設備1901的方塊圖。
使用於影像處理設備1901之影像部決定處理部位1902與圖1B所示的影像處理設備101相同。也就是說,影像部決定處理部位1902具有如第一、第二、第三或第四實施例之相同功能。
作為影像部決定處理部位1902的輸出,差異計算部位116產生一集旗標,每一旗標提供於影像部的每一各別一者,影像分割部位113產生之該等影像部作為分割輸入影像的結果,旗標顯示各別影像部中之不明物體的存在/不存在。
計時器1903係用於在預先決定的時間間隔產生觸發器之單元,每一觸發器使用於將影像部決定處理部位1902置於操作狀態。
影像部旗標保持部位1904係使用於儲存數個影像部決定處理部位1902輸出的旗標集之RAM。
不明物體移動距離/方向計算部位1905係相互比較存 於影像部旗標保持部位1904的旗標設定以產生關於被認為是不明物體的區域是否正在移動的決定結果之單元,以及如果此種區域正在移動,移動方向被檢測且警告被輸出。
圖20A及圖20B分別為依據第五實施例實施影像處理設備1901之大略操作的說明中所參照之影像示意圖。更特別地,圖20A及圖20B分別顯示整個旗標集的影像。
如上述,作為影像部決定處理部位1902的輸出,差異計算部位116產生一組旗標,該旗標提供於影像部的各別一者,影像分割部位113產生該影像部作為分割輸入影像的結果,旗標顯示各別影像部中之不明物體的存在/不存在。圖20A中設定於旗標集的旗標之0的值顯示與該旗標關聯的影像部不是被決定為不明物體的一部分之影像部。也就是說,圖20A中設定於旗標集的旗標之0的值顯示與該旗標關聯的影像部是被決定為背景的一部分之影像部。
通常,不明物體正在移動。也就是說,不動的不明物體可能不存在。為此理由,影像部決定處理部位1902在預先決定的時間間隔置於操作狀態,且相互比較影像部決定處理部位1902在該等間隔輸出之旗標設定,以產生關於被認為是不明物體的區域是否正在移動之決定結果。清楚地如圖20所示,被認為是不明物體之區域隨時間的過去正在移動。
也就是說,取代依據現有技術將特定原始不動影像相 較於與該特定原始不動影像分開一時間間隔的另一原始不動影像,基於該等實施例所提供的技術相互比較或重設之旗標設定。
由產生關於利用先前所述實施例所提供的技術之影像部是否係背景的一部分之決定結果,這係可能避免移動背景所造成的不正確辨識。因此,相較於現有技術,可以非常高度的精確度檢測不明物體的移動。
圖21顯示表示依據第五實施例的影像處理設備1901所實施的處理之流程圖。
如圖式所示,流程圖以步驟S2101開始。然後,在下一步驟S2102,輸入靜止影像儲存於RAM。接著,流程前進至步驟S2103以如第一、第二、第三及第四實施例的相同方式產生如每一影像部是否係背景的一部分或不明物體的一部分之決定結果。詳細地說,首先,影像分割部位113將輸入靜止影像分割成數個影像部。然後,特徵量計算部位114計算每一影像部之特徵量。接著,差異計算部位116以存於預定值保持部位115的預定值計算每一特徵量間的差。最後,為影像部計算之每一差異相較於預先決定之臨界值,以產生關於影像部是否係背景的一部分或不明物體的一部分之決定結果。然後,在下一步驟S2104,一組各別代表影像的決定結果之旗標被儲存於影像部旗標保持部位1904,影像部旗標保持部位1904係RAM105。
接著,在下一步驟S2105,檢查存於RAM105之資料以產生關於上一旗標集是否已被存於影像部旗標保持部位 1904之決定結果。如果決定結果顯示無上一旗標集已被存於影像部旗標保持部位1904,決定結果被詮釋為顯示前述在步驟S2102、S2103、S2104及S2105實施之處理係此流程圖所表示之處理的第一重複環路的過程之決定結果。於此例中,在計時器1903所產生之觸發信號所決定之時間間隔過去之後,自步驟S2102重複在步驟S2102、S2103、S2104及S2105實施之處理,在步驟S2102自攝影相機102獲得另一輸入靜止影像。
如果決定結果顯示上一旗標集已被存於影像部旗標保持部位1904,另一方面,此流程圖表示之處理的流程前進至步驟S2106,在步驟S2106,將於在步驟S2104實施的過程中存於影像部旗標保持部位1904之旗標設定相較於上一旗標集,以尋求在步驟S2104實施的過程存於影像部旗標保持部位1904的旗標設定及上一旗標集之間的差。然後,此流程圖表示之處理的流程前進至步驟S2107,藉由決定實施在步驟S2106的過程中找到之差是否至少等於預先決定之值,產生關於不明物體是否存在之決定結果。如果實施在步驟S2107之過程所產生之決定結果顯示不明物體存在,此流程圖表示之處理的流程前進至步驟S2108,在步驟S2108輸出警告。
以上所述摘要如下。依據該實施例之影像處理設備1901的核心組件係藉由軟體的執行所操作之微電腦。以計時器1903產生的觸發信號所決定之時序,影像部決定處理部位1902將供應至影像處理設備1901之輸入靜止影像 儲存於影像保持部位112,影像保持部位112實際為RAM105。然後,在影像分割部位1813將輸入靜止影像分成數個具有相同尺寸及相同形狀之影像部之後,特徵量計算部位114計算每一水平影像部之特徵量。接著,差異計算部位116計算每一特徵量與存於預定值保持部位115之間的差。最後,為影像部所計算之每一差異相比較於預先決定之臨界值。具體而言,具有小於臨界值的特徵量差之影像部被決定為背景的一部份。於此例中,重設提供於此種影像部之旗標。
每當計時器1903在預先決定的間隔連續地產生觸發脈衝信號時,一組如上述的各別影像部之設定或重設旗標儲存於影像部旗標保持部位1904。然後,不明物體移動距離/方向計算部位1905相互比較在間隔儲存於影像部旗標保持部位1904之旗標集,以產生關於移動不明物體是否存在於輸入靜止影像之決定結果。
藉由實施上述處理,這係可能相互區別輸入靜止影像的背景的區域及除了背景的區域外之不明物體的區域,且產生關於移動不明物體是否存在於輸入靜止影像上之決定結果。自上述說明明顯知道,該處理包括計算每一影像部的特徵量之過程及比較過程。
可分別將下述的典型實施表現作為上述的任一實施例之替代例。
(1)以PLD(可程式邏輯裝置)取代微電腦。
(2)於第一、第二、第三及第四實施例中,這係可 能加入以自計算特徵量的處理排除包括於影像作為容易錯誤地辨識為不明物體的部分之背景部的排除過程。
(3)可將第一、第二、第三、第四及第五實施例所提供之所有特徵實施於單一影像處理設備。於此例中,將依據第一至第四實施例的特徵計算作為分別提供給輸入影像的影像部的旗標值之旗標值邏輯地相乘,或受到加法過程來產生相較於臨界值之合成值,以產生關於不明物體是否存在於輸入靜止影像之決定結果。因此,依據第五實施例的特徵相互比較之旗標集各為分別具有此種結果值之旗標集。
於上述實施例中,這係可能將來自輸入靜止影像的背景之不明物體區別為不同於背景之物體。基於作為用於比較現在影像與現在影像的前一影像的技術之現有技術,依據此實施例所採用之技術不同於一般熟知技術。也就是說,於依據此實施例之處理中,僅處理現在輸入靜止影像以產生關於不明物體是否存在於輸入靜止影像之決定結果。因此,本發明特別適於監視系統的架構,其中攝影相機係於使相機旋轉於水平面上的順時鐘及逆時鐘方向的狀態而安裝在旋轉齒輪基座上。
再者,上述的實施例,為了產生關於不明物體是否存在於輸入靜止影像之決定結果,將影像分成數個具有預定尺寸及預定形狀之影像部,且為每一影像部計算的特徵量。然後,計算每一特徵量及預先決定的值之間的差。因此,即使諸如海及天空的背景依據自然現象而改變,可預先 辨識具有固定特徵量之背景,使具有不同於固定特徵量的特徵量之不明物體被檢測到。
結果,藉由結合本發明所提供之影像處理設備與攝影相機,相較於基於現有技術之影像處理設備,即使海的波浪移動如浪花及/或天空的雲移動如自然現象,這係可能提供能夠適當辨識作為背景的海及/或天空之極佳影像處理設備。
7:其它實施例的共同概念
圖22A及圖22B為依據後述的其它實施例的影像處理設備所實施之操作的概要說明中參照之典型影像圖。更特別地,圖22A顯示包括:海5102、天空5103及供作浮在海5102上的不明物體之船5104之輸入影像5101。海5102係風景,該風景的圖像已被攝取於實施在遠方位置的照相操作。輸入影像5101中之海5102的下部及海平線的附近間之實際距離係長。因此,海5102的表面上之波浪於觀察者的前方被看起來像大水花,而海5102的表面上之波浪在接近海平線的位置看起來像小水花。也就是說,獲得作為照相操作的結果之輸入影像5101中的海5102不是均勻圖案。
如果取整個輸入影像5101作為評估的物體,將難以獲得精細結果。
為解決此問題,將輸入影像5101分割成數個各別定向平行於海平線的方向之水平影像部。具體而言,將輸入 影像5101分成如圖22B所示之水平影像部5105、5106、5107、5108、5109及5110。然後,實施水平影像部5105、5106、5107、5108、5109及5110的每一者之前述之特徵量計算過程及比較過程。
圖23A及圖23B分別為顯示用於實施上述的技術概念的影像處理設備5201之方塊圖。也就是說,圖23分別顯示作為基於此實施例的共同技術概念的架構之影像處理設備5201的整個架構之方塊圖。更特別地,圖23A係顯示使用於影像處理設備5201之硬體的核心組件之方塊圖,而圖23B為注重在影像處理設備5201的功能之方塊圖。
如圖23A所示,影像處理設備5201係用於產生關於不明物體是否存在於接收自攝影相機5202的影像之決定結果以及輸出顯示不明物體是否存在於接收自攝影相機5202的影像之二進位信號之設備。也就是說,當信號顯示不明物體存在於接收自攝影相機5202的影像時,二進位信號供作為警告輸出。攝影相機5202係用於輸出影像信號之一般熟知相機。攝影相機5202典型地為使用CCD攝影裝置之相機。攝影相機5202藉著影像處理設備5201經由電信線路或類似線路將影像信號輸出至諸如HDD或主機設備的大容量儲存設備。
影像處理設備5201使用作為核心組件的微電腦。微電腦包括:CUP5203、ROM5204及RAM5205,藉由匯流排5206相互連接該等組件。微電腦在接收自攝影相機5202的影像上實施預先決定之過程,且經由輸出I/F5207 將該過程的結果輸出至諸如HDD或主機設備的大容量儲存設備。
注意到,圖23A所示的架構係而後詳述之所有實施例的共同架構。
圖23B所示的所有功能部位,除了實施例作為RAM5205之影像保持部位5212外,係儲存於ROM5204由上述的微電腦所執行之軟體程式。
接收自攝影相機5202之影像存於影像保持部位5212作為不動影像。
水平影像分割部位5213係用於將存於影像保持部位5212的影像分割成各別定向於水平方向的水平影像部5502之模組。
影像部決定處理部位5214係用於處理獲得作為水平影像分割部位5213所實施以分割存於影像保持部位5212的影像之過程結果之每一水平影像部5502的模組。更特別地,影像部決定處理部位5214產生關於不明物體是否存在於每一水平影像部5502之決定結果。如果決定結果顯示不明物體存在於水平影像部5502,影像部決定處理部位5214辨識不明物體的屬性。不明物體的屬性包括物體的位置、物體的形狀及物體的面積。影像部決定處理部位5214所實施之處理結果係經由網路輸出至上述引用的儲存設備之二進位警告信號或影像。
注意到,圖23B所示的架構係而後詳述的所有實施例之共同架構。
圖23C顯示表示圖23B所示的影像處理設備5201所實施的過程之流程圖。
該流程圖以步驟S5221開始。然後,在下一步驟S5222,水平影像分割部位5213將輸入影像5101分割成n個水平影像部5502,其中n係至少等於2的整數。實際上,於將輸入影像5101分割成n個水平影像部5502之過程中,實施水平影像分割部位5213之程式僅僅指定相對位址範圍於使用於儲存輸入影像5101之RAM5205中。
然後,在下一步驟S5223,使用於控制環路處理之計數器增量i初始化在1。接著,在下一步驟S5224,影像部決定處理部位5214處理輸入影像5101的第i個水平影像部5502。如先前所述,影像部決定處理部位5214所實施之處理包括產生關於不明物體是否存在於第i個水平影像部5502的每一者的決定結果之過程。
在該處理完成之後,在下一步驟S5225,以1遞增之計數器增量i。然後,在下一步驟S5226,計數器增量i相較於表示構成輸入影像5101之水平影像部5502的數量之整數n,以產生關於計數器增量i是否大於整數n之決定結果。如果決定結果顯示計數器增量i未大於整數n,流程回到步驟S5224以重複步驟S5224至S5226的處理。事實上,重複實施步驟S5224至S5226的處理一直到實施在步驟S5226的過程所產生之決定結果顯示計數器增量i大於整數n。
當已處理構成輸入影像5101之所有n個水平影像部 5502時,流程前進至步驟S5227,在步驟S5227結束該流程圖所表示之處理。
圖24為顯示呈現在顯示部位5303上的螢幕之示意圖。所顯示的螢幕明確地顯示先前引用之水平影像部5502。於操作者所實施以指定背景區之操作,操作者藉由意識到水平影像部5502而設定背景面積設定範圍5503,使得想要水平影像部5502不會自背景面積設定範圍5503排除。
8:第六實施例
圖25為顯示依據本發明的第六實施例之整個影像處理設備52001的方塊圖。
圖25B所示的所有功能部位,除了實施作為RAM5205的影像保持部位5212外,係儲存於由上述的微電腦所執行的ROM5204中之軟體程式。
接收自攝影相機5202之影像一旦存於影像保持部位5212使成為不動影像。
水平影像分割部位5213將存於影像保持部位5212的影像分割成各別定向於水平方向的水平影像部。
特徵量計算部位52013係用於獲得儲存於影像保持部位5212的影像及由水平影像分割部位5213所產生的水平影像部以及計算每一水平影像部的特徵量之模組。因此,每一水平影像部的特徵量係影像的相對位址陣列。在後述的同時發生概率矩陣上產生該等陣列。
像素決定部位52014係用於產生使用來利用特徵量計 算部位52013所產生的陣列來辨識存在於不動影像的不明物體之位元圖的模組。
像素集決定部位52015係用於計算決定為存在於不動影像的不明物體之影像部份的總面積以及利用像素決定部位52014所產生的位元圖來計算影像部件的中心的座標之模組。
注意到,依據此實施例之影像處理設備52001被預期供作為安裝在岸邊與攝影相機5202結合之設備。諸如馬達的驅動機構驅動攝影相機5202以置於往復移動中,以仔細檢查接近至岸邊的海中之寬廣區。圖25未顯示驅動機構。
為檢測遠離海灘之不明物體,攝影相機5202應具有大的放大倍率。然而,增加攝影相機5202的放大倍率意指減小攝影相機5202的照相角度。為此理由,應驅動攝影相機5202以置於往復移動中來仔細檢查寬廣區。
驅動攝影相機5202至往復移動需要比較現在不動影像與在現在不動影像之前的影像以及自現在不動影像及前一不動影像間的差異檢測不明物體之技術,且此種技術難以實施。依據下述的實施例之發明被創造來解決此問題。
圖26為顯示存於RAM5205之資料的設計模型之示意圖。如圖式所示,該設計包括三區,亦即,亦可說是影像保持部位5212之輸入影像位元圖資料區52102、用於儲存同時發生概率矩陣的陣列之同時發生概率矩陣陣列資料區52103、及影像旗標位元圖資料區52104。
圖27係顯示內部儲存於RAM5205之資料的示意圖。
更特別地,圖27A顯示存於輸入影像位元圖資料區52102之輸入影像位元圖。存於輸入影像位元圖資料區52102之輸入影像位元圖係照相操作中由攝影相機5202所產生之輸入影像的位元圖。該影像中的每一像素具有0至255的典型範圍之亮度位準。圖27A所示的影像包括:海52202、天空52203、及供作浮在海52202的表面上的不明物體之船52204。
圖27B顯示存於RAM5205的影像旗標位元圖資料區52104之影像旗標位元圖。於後述的過程,自輸入影像位元圖檢測不明物體的面積。船52204的面積相當於如圖27C所示的影像旗標位元圖中設定在1的位元。
圖27C顯示影像旗標位元圖的放大部。於圖27B所示作為影像旗標位元圖的放大部之位元圖,設定在1的位元相當於看起來像不明物體的像素之像素。另一方面,重設在0的位元相當於看起來像背景的像素之像素。
圖28A及28B為顯示存於RAM5205的同時發生概率矩陣陣列資料區52103之陣列的模組之示意圖。實際上,儲存於同時發生概率矩陣陣列資料區52103之陣列在RAM5205的中心不具圖式所示的形狀。然而,讀取者被要求認為軟體程式理想地構思此種形狀。
更特別地,圖28A顯示陣列資料52301,其為基於作為具有可變長度的陣列之同時發生概率矩陣之陣列的集域。同時發生概率矩陣係具有256元件(k、l)之方形陣列 。標記元件(k、l)表示同時發生概率矩陣中在第k列與第1行的交點之矩陣元素。行號k及列號l各為代表亮度位準的範圍0至255中之整數。堆疊立方體表示在每一元件位置之陣列。堆疊立方體包括在堆疊立方體的位置之影像像素的相對位址。
圖28A所示的標記(k、l)〔1〕表示同時發生概率矩陣中在第k列與第1行的交點之矩陣元素之陣列的第一陣列元素。
同樣地,標記(k、l)〔2〕表示同時發生概率矩陣中在第k列與第1行的交點之矩陣元素之陣列的第二陣列元素。
陣列可具有多至五個陣列元素。因此,標記(k、l)〔5〕表示第五陣列元素。
同樣地,圖28A所示的標記(k、l-1)〔1〕表示同時發生概率矩陣中在第k列與第1行的交點之矩陣元素之陣列的第一陣列元素。
同樣地,標記(k、l-5)〔1〕表示同時發生概率矩陣中在第k列與第(1-5)行的交點之矩陣元素之陣列的第一陣列元素。
相似地,標記(k-3、l)〔1〕表示同時發生概率矩陣中在第(k-3)列與第1行的交點之矩陣元素之陣列的第一陣列元素。
陣列中的堆疊立方體包括位在作為存於輸入影像位元圖資料區52102之影像的像素之堆疊立方體的位置之影像 像素的相對位址。
由於頁空間限制,圖28A可顯示各由一堆的堆疊立方體組成之幾個陣列。然而,自一堆堆疊立方體每一組成之幾個陣列,這係可能推斷接近至如同圖28B所示的彎曲表面之一般熟知高斯彎曲表面。
注意到,以下說明將解說用於產生具有作為基準的同時發生概率矩陣的陣列之詳細方法。
圖29為顯示RAM5205及存於RAM5205的資料件之間的關係之示意圖。
儲存於作為具有大尺寸的區域的輸入影像位元圖資料區52102之背景包括集中於構成同時發生概率矩陣的同時發生概率矩陣陣列資料區52103中具有許多陣列元素的區之一部份。儲存作為集中部分的陣列元素之影像資料的相對位址係影像旗標位元圖資料區52104的整個背景的相對位址的一部分。在除了儲存作為集中部分的陣列元素之影像資料的相對位址外的背景相對位址之旗標被重設。
於圖29所示的實例中,儲存於輸入影像位元圖資料區52102的影像中虛線所包圍之區係天空的一部分,亦即存於輸入影像位元圖資料區52102之影像的一部分。天空的一部分相當於同時發生概率矩陣陣列資料區52103中各由堆疊立方體所組成之陣列。也就是說,代表堆疊立方體的陣列之陣列變數包括作為虛線所包圍之區中的元件之像素的相對位址。將包括於影像旗標位元圖資料區52104中作為在此種相對位址的旗標之旗標自1重設至0。
前述稱為圖9及10作為產生同時發生概率矩陣的過程之過程係自存於亦於圖29所示的同時發生概率矩陣陣列資料區52103中輸入影像位元圖而產生圖29所示的同時發生概率矩陣陣列資料區52103的陣列之過程。
然而,此實施例採取不同於習知技術中處理同時發生概率矩陣之方式。
依據習知技術的技術,同時發生概率矩陣被使用作為製造過程中相互比較良好產品及不良產品之技術,如諸如日本專利先行公開案第Hei8-297020號的文獻中所述。良好產品的影像被攝取於照相操作,且同時發生概率矩陣被預先產生。然後,最近沿著生產線流動之產品的影像被攝取,且自該影像產生同時發生概率矩陣。接著,新產品的同時發生概率矩陣相較於良好產品的同時發生概率矩陣以及該等產品間之同時發生概率矩陣差被使用作為用於產生關於諸如毀損或漬痕的異常是否存在於新產品的決定結果之基礎。以此方式,習知技術的同時發生概率矩陣被使用於產生關於異常是否存在產品上之決定結果的過程。
於此實施例中,同時發生概率矩陣的每一陣列元素相較於預先決定的臨界值。大於臨界值的同時發生概率矩陣被決定為對應至具有大面積的影像部份之矩陣元素,亦即,對應至影像的背景之矩陣元素。然後,排除影像的背景所佔有之面積。
因此,每一矩陣元素被處理作為陣列以及需要將影像的每一像素的相對位址儲存於陣列的陣列元素中。
在完成所有處理之後,包括於旗標資料中作為顯示不同於影像背景所示的亮度位準的窄部分之旗標集部分被決定為顯示不明物體之部分。
至於存在於影像之不明物體的決定,可能是較佳地使讀取者藉由圖28B所示的高斯彎曲表面在位於平行於作為代表臨界值的平面之xy平面的方位之平面上的相對切割來作決定。位於平行於作為代表臨界值的平面之xy平面的方位之平面稱為臨界平面。對應於由於高斯彎曲表面在臨界平面上的切割的每一矩陣元素(亦即,與臨界平面接觸之每一矩陣元素)之影像資料的相對位址係背景上之位置的相對位址。
圖30及31顯示表示藉由此實施例的影像處理設備52001所實施的處理的流程之流程圖。
如圖30所示,流程圖以步驟S52501開始。然後,在下一步驟S52502,首先,相對位置函數δ被設定為用於產生同時發生概率矩陣之規則。接著,下一步驟S52503,輸入影像位元圖上之所觀察物體的位址a被設定來指向輸入影像的頭部。位址a係輸入影像位元圖中的相對位址,且於實施在此步驟之過程,設定該處理中之相對位址的初始值。
然後,此流程圖所代表之處理流程前進至步驟S52504以藉由相對位置函數δ產生關於像素是否存在於與相對位址遠離的位置之決定結果。至於相對位置函數δ=(1、0度),例如,如果相對位址a係在輸入影像位元 圖的右端之位址,相對位址b=δ(a)不存在。
如果產生於實施在步驟S52504的過程之決定結果顯示相對位址b=δ(a)存在,此流程圖代表之處理流程前進至步驟S52505,在步驟S52505,在相對位址a的亮度位準被設定為列號k。則,將相對位址a加至在陣列資料區51203中的矩陣元素(k、l)之陣列。也就是說,多一個立方體堆疊在圖28A所示的陣列上,且相對位址a被儲存於該立方體。注意到,如果產生於實施在步驟S52504的過程之決定結果顯示相對位址b=δ(a)不存在,另一方面,此流程圖代表之處理流程直接前進至步驟S52506,跳過實施在步驟S52505之過程。此係因為可能不實施將相對位址加至在同時發生概率矩陣的矩陣元素的陣列之過程。
在步驟S52506,相對位址a以1遞增。然後,流程圖代表之處理流程前進至步驟S52507以產生關於相對位址a是否存在之決定結果。如果產生於實施在步驟S52507的過程之決定結果顯示相對位址a存在,流程圖代表之處理流程回到步驟S52504以重複以此步驟的過程開始之處理。如果產生於實施在步驟S52507的過程之決定結果顯示相對位址a不存在,另一方面,該決定結果被詮釋為顯示輸入影像位元圖的結束之決定結果已達到。於此例中,此流程圖代表之處理流程前進至以步驟S52508的過程開始之處理的下一階段。
當完成所有輸入影像位元圖之同時發生概率矩陣的處 理時,在步驟S52508,自矩陣元素計算臨界值。有各種用於計算臨界值之可能方法。例如,預先決定的恆定值或各具有至少等於1的陣列元素計數之所有矩陣元素的平均被使用作為臨界值。
在計算臨界值之後,在步驟S52609,位於陣列資料區51203作為將評估的矩陣元素之矩陣元素的初始值被設定。也就是說,列號k及行號l皆設定在1。
則,在下一步驟S52610,矩陣元素(k、l)的陣列元素計數相較於臨界值以產生關於在矩陣元素(k、l)的陣列元素計數是否至少等於臨界值之決定結果。如果產生於實施在步驟S52610的過程之決定結果顯示在矩陣元素(k、l)的陣列元素計數至少等於臨界值,此流程圖所代表之處理流程前進至步驟S52611,在步驟S52611,重設包括於影像旗標位元圖資料區52104中作為對應於儲存關於在矩陣元素(k、l)的陣列的陣列元素之相對位址的旗標之旗標。也就是說,矩陣元素(k、l)被決定為對應至背景中的位置之矩陣元素。如果產生於實施在步驟S52610的過程之決定結果顯示在矩陣元素(k、l)的陣列元素計數小於臨界值,另一方面,此流程圖所代表之處理流程藉由跳過步驟S52611的過程而直接前進至步驟S52612。也就是說,矩陣元素(k、l)被決定為對應至背景中的位置之矩陣元素。
在步驟S52612,更新列號k及行號l以取得下一矩陣元素(k、l)。則,此流程圖所代表之處理流程前進至步 驟S52613以產生關於下一矩陣元素(k、l)是否存在之決定結果。如果產生於實施在步驟S52613的過程之決定結果顯示下一矩陣元素(k、l)存在,此流程圖代表之處理流程前進至步驟S52610以重複此步驟及後續步驟的處理。如果產生於實施在步驟S52613的過程之決定結果顯示下一矩陣元素(k、l)不存在,另一方面,此流程圖代表之處理流程前進至步驟S52614,因為目前所述的處理已被實施在所有矩陣元素。
在步驟S52614,計算留在影像旗標位元圖資料區52104中作為具有集旗標的區之區的中心的座標。留在影像旗標位元圖資料區52104中的區作為具有集旗標的區係不明物體的區。最後,最後步驟S52615,流程圖代表之處理的執行結束。
實施在圖30所示的流程圖之步驟S52502、S52503、S25204、S52505、S52506及S25207之處理係使用於圖25所示的影像處理設備52001之特徵量計算部位52013所實施之處理。也就是說,這些處理係尋求同時發生概率矩陣之處理。
實施在圖30所示的流程圖之步驟S52508之過程以及實施在圖31所示的流程圖之步驟S52609、S52610、S52611、S52612及S52613之處理係使用於圖25所示的影像處理設備52001的像素決定部位52014所實施之處理。也就是說,這些處理係決定不明物體的位址之處理。
實施在圖31所示的流程圖之步驟S52614之過程係使 用於圖25所示的影像處理設備52001的像素集決定部位52015所實施之處理。也就是說,這些處理係尋求不明物體存在之區的中心的座標之處理。
9:第七實施例
接著,解說本發明的第七實施例。
圖32為粗略地顯示使用於依據第七實施例的影像處理設備的相對位置函數δ之示意圖。
依據第七實施例之影像處理設備的內部架構有些不同於圖25所示依據第六實施例的影像處理設備的內部架構。於第七實施例的例子,然而,使用數個相對位置函數δ。則,基於相對位置函數δ,產生數個同時發生概率矩陣。
依據第六實施例之影像處理設備已藉由採取相對位置函數δ=(1、0度)作為實例而解說。藉此,亦依據習知技術的技術,利用數個相對位置函數δ產生數個同時發生概率矩陣。此技術僅僅是定量化由具有高度準確性的固定圖案所構成之影像的特徵量之技術。
如圖32所示,有八個存在某一像素的周圍位置之像素。此些像素的相對位置函數δ如下。
具有1的距離及0度的角度之相對位置函數δ是δ 1=(1、0度)。具有的距離及45度的角度之相對位置函數δ 2是δ 2=(、45度)。同樣地,相對位置函數δ 3是δ 3=(1、90度),相對位置函數δ 4是δ 4=(、135 度),相對位置函數δ 5是δ 5=(1、180度),相對位置函數δ 6是δ 6=(、225度),相對位置函數δ 7是δ 7=(1、270度),以及相對位置函數δ 8是δ 8=(、315度)。
也就是說,可產生八個相對位置函數δ 1至δ 8。利用八個相對位置函數δ 1至δ 8,可產生八個同時發生概率矩陣。
圖33顯示表示依據此實施例的影像處理設備所實施的處理之流程圖。如圖式所示,流程圖以步驟S52801開始。則,在下一步驟S52802,計數增量i初始在0。接著,流程圖代表之處理流程前進到步驟S52803以產生關於作為用於產生同時發生概率矩陣的規則之相對位置函數δ(i)是否存在之決定結果。
如果產生於實施在步驟S52803的過程之決定結果顯示相對位置函數δ(i)存在,此流程圖代表之處理流程前進至步驟S52804,在步驟S52804,設定相對位置函數δ(i)。則,在下一步驟S52805,基於依據相對位置函數δ(i)的同時發生概率矩陣而計算特徵量。接著,在下一步驟S52806,利用同時發生概率矩陣中獲得作為陣列資料的資料而實施像素決定過程。
實施在步驟S52805之過程等效於實施在圖30所示的流程圖之步驟S52503、S25204、S52505、S52506及S25207之處理。
另一方面,實施在步驟S52806之過程等效於實施在 步驟S52508之過程以及實施在圖31所示的流程圖之步驟S52609、S52610、S52611、S52612及S52613之處理。
接著,在下一步驟S52503,輸入影像位元圖上觀測物體的位址a被設定以指向輸入影像的頭部。位址a係輸入影像位元圖中的相對位址,且於實施在此步驟之過程,設定該處理中之相對位址的初始值。
也就是說,實施在步驟S52805及S52806之處理等效於圖30所示的流程圖中單虛線所包圍之次常式R52522。於實施在步驟S52805及S52806之處理,產生同時發生概率矩陣上之陣列資料,且利用自所產生的資料產生的影像旗標位元圖資料區52104辨識不明物體的像素。
當完成實施在步驟S52806之過程時,此流程圖所代表之處理流程前進至步驟S52807,在步驟S52807,計數增量i以1而遞增。則,此流程圖所代表之處理流程回到步驟S52803以產生關於相對位置函數δ(i)是否存在之決定結果。如果產生於實施在步驟S52803的過程之決定結果顯示相對位置函數δ(i)存在,此流程圖所代表之處理流程前進至步驟S52804,在步驟S52804,設定相對位置函數δ(i)。其後,實施步驟S52805至S52807的處理。如果產生於實施在步驟S52803的過程之決定結果顯示相對位置函數δ(i)不存在,另一方面,決定結果被詮釋為顯示已完成所有相對位置函數δ(i)的處理之決定結果。於此例中,此流程圖所代表之處理流程前進至步驟S52808。
在步驟S52808,整合為相對位置函數δ(i)所獲得的所有i個影像旗標位元圖。典型地藉由採取所有影像旗標位元圖中的每一位元的邏輯乘積或採取影像旗標位元圖中的每一位元的總和以及比較每一總和與適當臨界值來實施步驟S52808的過程以給予合成旗標。藉由實施此處理,可以高度精確度決定不明物體的存在性。
然後,在下一步驟S52809,計算不明物體存在之區的中心的座標。最後,在最後步驟S52810,結束此流程圖所代表之處理的執行。
以上所述摘要如下。
依據該實施例之影像處理設備52001的核心組件係藉由軟體的執行所操作之微電腦。
當輸入靜止影像供應至影像處理設備52001,該影像儲存於RAM5205的輸入影像位元圖資料區52102。而後,基於同時發生概率矩陣利用演算將陣列資料產生於同時發生概率矩陣陣列資料區52103。然後,自所產生的陣列資料計算臨界值。對應至具有滿足所計算臨界值的陣列元素計數的矩陣元素之影像像素被決定為輸入靜止影像的背景的像素。接著,自矩陣元素的陣列資料讀出對應至具有滿足所計算臨界值的陣列元素計數的矩陣元素之影像像素的相對位址,而設定包括於影像旗標位元圖資料區52104作為在相對位址的旗標之旗標。
由實施上述的處理,利用產自輸入靜止影像之同時發生概率矩陣,這係可能相互區別影像的背景及除了背景外 的部件。
10:第八實施例
接著,解說本發明的第八實施例。圖34為顯示攝影相機5202所攝取之典型不動影像之示意圖。
讀取者被要求比較此典型不動影像與圖27A所示的影像。圖27A所示的影像包括作為不明物體5304的部分,而圖34所示的典型不動影像包括岸邊52902及建立在岸邊52902上之燈塔52903。即使岸邊52902及燈塔52903的每一者清楚地不是不明物體,事實上在可能性的界限內,亦即,利用依據第六實施例之技術,將岸邊52902及燈塔52903分別錯誤地辨識為不明物體。此是因為,相較於整個影像,岸邊52902及燈塔52903每一者所佔有的區的尺寸係小,使得岸邊52902及燈塔52903的每一者不會辨識為背景。為解決此問題,這是需要實施自預先產生同時發生概率矩陣之處理的物體移除各自錯誤地辨識為不明物體的物體之過程。
圖35A為顯示依據第八實施例的整個影像處理設備53001之方塊圖。圖35A所示之影像處理設備53001與依據圖25所示的第六實施例之影像處理設備52001幾乎相同。圖35A所示的某些組件作為具有如其使用於圖25所示的影像處理設備52001的相對物的相同功能之影像處理設備53001的組件。如相對物標示相同參照號碼之具有如相對物的相同功能之組件,且以下說明不再詳述具有如相 對物的相同功能之組件。
習知主要處理的執行之前,利用照相操作中所攝取之不動影像的資料,依據此實施例之影像處理設備53001實施自受到辨識不明物體的處理之物體預先排除不動影像中的特別區之過程。為了自受到辨識不明物體的處理的物體預先排除不動影像中之特別區,藉由將處理區設定部位53002、顯示部位53003及輸入部位53004加至依據圖25所示的第六實施例之影像處理設備52001來設計影像處理設備53001。
顯示部位53003係習知技術的LCD單元,而輸入部位53004係習知技術的滑鼠。
利用像素決定部位53014所輸出之處理結果,處理區設定部位53002放置看起來像不明物體的區之區在保持於影像保持部位5212中之影像,其將看起來像不明物體的區之區及該影像顯示於顯示部位53003。則,為了於重疊出現在顯示部位53003上的不動影像的狀態指定顯示在顯示部位53003上的區作為將排除的區,使用者操作輸入部位53004。
處理區設定部位53002設定將被排除於特徵量計算部位53013之區,使得自特徵量計算部位53013實施之過程排除該區來計算同時發生概率矩陣。
於圖34所示的典型不動影像的例子中,處理區設定部位53002將特徵量計算部位53013中之岸邊52902及燈塔52903的區設定作為自特徵量計算部位53013實施的過 程排除之區以計算同時發生概率矩陣。特徵量計算部位53013不會在對應至排除區的影像像素上實施計算同時發生概率矩陣之過程。也就是說,特徵量計算部位53013強制處理自特徵量計算部位53013實施來計算同時發生概率矩陣的過程排除之區作為背景的區。
11:第九實施例
接著,解說本發明的第九實施例。
圖35B為顯示依據第九實施例的整個影像處理設備53011之方塊圖。圖35B所示之影像處理設備53011與依據圖35A所示的第八實施例的影像處理設備53001幾乎相同。圖35B所示的某些組件作為具有如其使用於圖35A所示的影像處理設備53001的相對物的相同功能之影像處理設備53011的組件。如相對物標示相同參照號碼之具有如相對物的相同功能之組件,且以下說明不再詳述具有如相對物的相同功能之組件。
極像圖35A所示的影像處理設備53001,在主要處理的執行之前,利用照相操作中所攝取之不動影像的資料,依據此實施例之影像處理設備53011實施自受到辨識不明物體的處理之物體預先排除不動影像中的特別區之過程。依據第九實施例的影像處理設備53011不同於依據第八實施例之影像處理設備53001,其在於,影像處理設備53011自動地設定自不動影像排除之區使得操作者不需指定此種區。為此理由,影像處理設備53011不具有使用於 依據圖35A所示的第八實施例的影像處理設備53001中之顯示部位53003及輸入部位53004。再者,處理區設定部位53002亦連接至像素集決定部位53015。
處理區設定部位53002將接收自像素集決定部位53015之處理結果視為自特徵量計算部位53013實施以計算同時發生概率矩陣的過程而排除之區,且設定特徵量計算部位53013中之該區。
特徵量計算部位53013排除自特徵量計算部位53013實施以計算同時發生概率矩陣的過程之該區。
依據至今所述之第一、第二、第三、第四、第五、第六、第七、第八及第九實施例之影像處理設備特別適用於監視具有諸如參照圖27A及34先前所述的海的單背景之環境。因此,於許多例子,使攝影相機旋轉以能夠監視寬廣範圍。
圖36A為顯示使用於該等實施例之攝影相機5202的外觀圖之示意圖。圖36B為顯示圖36A所示的攝影相機5202及影像處理設備5201的組合之方塊圖。
如圖36A所示,攝影相機5202安裝在旋轉齒輪設備53102以使攝影相機5202能夠監視寬廣範圍。
如圖36B所示,馬達530103通過角度檢測部位53105藉由軸53104而連結於攝影相機5202的內部,角度檢測部位53105被驅動與攝影相機5202一起旋轉。角度檢測部位53105典型地是採用光學檢測技術、磁性檢測技術或類似技術之轉速產生器。
角度檢測部位53105所產生作為代表攝影相機5202的旋轉角度的信號之檢測信號被供應至使用於作為影像處理設備5201的微電腦之匯流排5106。於此方式,可將攝影相機5202產生之不動影像儲存於使用於影像處理設備5201之RAM5105,且可在預先決定作為攝影相機5202的一轉的每一旋轉角度實施前述之處理。
於第八及第九實施例的例子中,自特徵量計算部位53013實施以計算同時發生概率矩陣的過程排除之區在上述的每一旋轉角度被作為攝影相機5202的旋轉角度。
下述的典型實施例各別可被想像為用於上述的任一實施例的替代例。
(1):以PLD(可程式邏輯裝置)取代微電腦。
(2):於第一、第二及第三實施例,這係可能加入排除過程以自計算特徵量的處理排除包括於影像作為易於錯誤地視為不明物體的部分之背景部分。
(3):第一、第二、第三、第四、第五、第六、第七、第八及第九實施例所提供之特徵皆可被實施於一影像處理設備。於此例中,依據第一至第九實施例所計算作為各別提供給輸入影像的影像部的旗標值之旗標值相互邏輯相乘或受到加法過程以產生相較於臨界值的合成值,以產生關於不明物體是否存在於輸入靜止影像之決定結果。
(4):於第八實施例的例子由處理區設定部位53002、顯示部位53003及輸入部位53004所選擇或由處理區設定部位53002於第九實施例的例子作為自馬達530103實 施以計算同時發生概率矩陣的過程排除的區之區被設定於特徵量計算部位53013。然而,被排除的區亦可於第八實施例的例子設定於像素集決定部位53015或於第九實施例的例子設定於特徵量計算部位53013以產生相同功效。也就是說,將被排除之區被處理作為背景,且儲存於影像旗標位元圖資料區52104作為區旗標之旗標因此被重設。
(5):於圖26所示作為RAM5205的配置之配置中,輸入影像位元圖資料區52102及52104相互分開。然而,亦可結合輸入影像位元圖資料區52102及影像旗標位元圖資料區52104以形成單區。
例如,影像的每一像素之資料結構可被產生作為包括像素的亮度位準及旗標之結構。以此種結構,可將像素的絕對位址儲存於直接陣列資料52301。因此,不需要相對位址計算過程。
(6):有各種用於架構將儲存於同時發生概率矩陣陣列資料區52103的同時發生概率矩陣之可能技術。例如,利用以用於產生關係資料庫的技術或使用perl或類似物的技術所達成作為譯者語言處理系統之相關陣列來實施該等技術的一者。
(7):基本上,可依據影像任意地選擇用於決定不動影像的水平影像部之過程。然而,較佳地將用於決定不動影像的水平影像部之過程自動化。因此,這係可能於前述第五實施例的例子採用將聚類技術應用至整個輸入靜止影像之可能技術。則,當數個類似水平區被辨識時,覆蓋 類似區之水平影像部被決定。
於此實施例中,藉由減小利用聚類技術獲得作為覆蓋類似區的部之水平影像部的尺寸,可預期這係可能使水平分割線與海平線重合。此意指各別被辨識為水平影像部中的背景之物體的數量可被減小。因此,可預期增加的背景辨識率。
於上述實施例中,可自水平方向均勻而垂直方向變化的影像而檢測不同於不動影像的背景之不明物體。此種影像的實例係自遠方位置攝取作為自然景色的圖像之圖像。由該等實施例提供作為檢測不同於不動影像的背景之不明物體的技術之技術係不同於基於習知技術作為比現在影像與在現在影像之前的影像的技術之技術。依據該等實施例所提供之技術,可利用現在不動影像自該影像檢測不同於不動影像的背景之不明物體。因此,該等實施例特別適於監視架構,其中攝影相機於容許相機旋轉於水平面的順時鐘及逆時鐘方向的狀態而安裝在旋轉齒輪基座上。
該等實施例採用各種辨識存在於水平影像部的不明物體的方法。以此種實施例,即使海、天空或類似物由於自然現象移動海、天空或類似物各別可辨識作為具有恆定特性之背景。背景的範圍包括由於自然現象而移動之背景。
因此,利用依據該等實施例結合攝影相機之影像處理設備,這係可能提供一監視系統,其中,相較於習知技術,諸如海、天空或類似物之背景可被適當辨識,而不會將諸如海的波浪及天空中的雲之自然現象錯誤地辨識為作為 不明物體。
本發明的實施例已被說明。然而,本發明的範圍絕不會被限制於該等實施例。換言之,不用說地,該等實施例的其它修改版本及其知實施例可被包括於該等實施例的範圍,只要其它修改版本及其它實施例不會偏離本發明的申請專利範圍及說明書中的說明。
再者,熟習此項技藝者而言應瞭解到,各種修改、結合、次結合及變更可能依照申請專利範圍或其等效物的範圍內之設計及其它因素而發生。
〔2〕‧‧‧第二陣列元素
a‧‧‧相對位址
B‧‧‧平均值
b‧‧‧相對位址
f(i)‧‧‧旗標變數
i‧‧‧變數
j‧‧‧變數
k‧‧‧行號
k、l‧‧‧標記
l‧‧‧列號
n‧‧‧整數
P1‧‧‧像素
P2‧‧‧像素
PLD‧‧‧可程式邏輯裝置
r‧‧‧距離
SAD‧‧‧絕對差異的總和
SSD‧‧‧平方差的總和
δ‧‧‧相對位置函數
θ‧‧‧角度
101‧‧‧影像處理設備
102‧‧‧攝影相機
103‧‧‧CPU
104‧‧‧ROM
105‧‧‧RAM
106‧‧‧匯流排
107‧‧‧輸出I/F
112‧‧‧影像保持部位
113‧‧‧影像分割部位
114‧‧‧特徵量計算部位
115‧‧‧預定值保持部位
116‧‧‧差異計算部位
201‧‧‧影像處理設備
202‧‧‧背景特徵量保持部位
203‧‧‧顯示部位
204‧‧‧輸入部位
301‧‧‧典型影像
302‧‧‧海
303‧‧‧天空
304‧‧‧船
501‧‧‧影像處理設備
701‧‧‧輸入靜止影像
702‧‧‧海
703‧‧‧船
704‧‧‧波浪
705‧‧‧海水
706‧‧‧矩陣
707‧‧‧白色區
708‧‧‧藍色區
709‧‧‧黑色區
801‧‧‧輸入影像部
802‧‧‧像素
1101‧‧‧影像處理設備
1102‧‧‧平均值保留部位
1201‧‧‧影像
1202‧‧‧海
1204‧‧‧船
1501‧‧‧影像處理設備
1502‧‧‧ROM
1503‧‧‧聚類處理部位
1504‧‧‧影像部計數比較部位
1512‧‧‧特徵量
1513‧‧‧差異計算物體設定部位
1514‧‧‧差異計算部位
1515‧‧‧臨界值
1516‧‧‧比較部位
1517‧‧‧編組過程部位
1601‧‧‧影像
1801‧‧‧輸入影像
1802‧‧‧海
1803‧‧‧天空
1804‧‧‧船
1805‧‧‧水平影像部
1806‧‧‧水平影像部
1807‧‧‧水平影像部
1808‧‧‧水平影像部
1809‧‧‧水平影像部
1810‧‧‧水平影像部
1811‧‧‧影像處理設備
1813‧‧‧影像分割部位
1813a‧‧‧水平影像分割部位
1813b‧‧‧小影像分割部位
1901‧‧‧影像處理設備
1902‧‧‧影像部決定處理部位
1903‧‧‧計時器
1904‧‧‧影像部旗標保持部位
1905‧‧‧不明物體移動距離/方向計算部位
5101‧‧‧輸入影像
5102‧‧‧海
5103‧‧‧天空
5104‧‧‧船
5105‧‧‧水平影像部
5106‧‧‧水平影像部
5107‧‧‧水平影像部
5108‧‧‧水平影像部
5109‧‧‧水平影像部
5110‧‧‧水平影像部
5201‧‧‧影像處理設備
5202‧‧‧攝影相機
5203‧‧‧中央處理單元
5204‧‧‧唯讀記憶體
5205‧‧‧隨機存取記憶體
5206‧‧‧匯流排
5207‧‧‧輸出I/F
5212‧‧‧影像保持部位
5213‧‧‧水平影像分割部位
5214‧‧‧影像部決定處理部位
5303‧‧‧顯示部位
5304‧‧‧不明物體
5502‧‧‧水平影像部
5503‧‧‧背景面積設定範圍
51203‧‧‧陣列資料區
52001‧‧‧整個影像處理設備
52013‧‧‧特徵量計算部位
52014‧‧‧像素決定部位
52015‧‧‧像素集決定部位
52102‧‧‧輸入影像位元圖資料區
52103‧‧‧同時發生概率矩陣陣列資料區
52202‧‧‧海
52203‧‧‧天空
52204‧‧‧船
52301‧‧‧陣列資料
52902‧‧‧岸邊
52903‧‧‧燈塔
53001‧‧‧影像處理設備
53002‧‧‧處理區設定部位
53003‧‧‧顯示部位
53004‧‧‧輸入部位
53011‧‧‧影個影像處理設備
53013‧‧‧特徵量計算部位
53014‧‧‧像素決定部位
53015‧‧‧像素集決定部位
53102‧‧‧旋轉齒輪設備
53103‧‧‧馬達
53104‧‧‧軸
53105‧‧‧角度檢測部位
圖1A為主要地顯示依據本發明的第一至第五實施例之整個影像處理設備的每一者的實際硬體之方塊圖;圖1B為主要地顯示圖1A所示的整個影像處理設備的功能部位之方塊圖;圖2為顯示依據本發明的第一實施例之整個影像處理設備之方塊圖;圖3A為顯示利用依據第一實施例的影像處理設備所取的典型影像作為海、天空及供作不明物體的船的影像之示意圖;圖3B為顯示圖3A所示的影像的背景之示意圖;圖3C為顯示由於分割圖3A所示的影像所獲得的細影像部之示意圖;圖4顯示表示藉由依據第一實施例的影像處理設備所 實施的預處理前部實際操作之流程圖;圖5顯示表示藉由依據第一實施例的影像處理設備所實施的實際操作之流程圖的第一部分;圖6顯示表示藉由依據第一實施例的影像處理設備所實施的實際操作之流程圖的第二部分;圖7A為顯示包括自採用作為計算特徵量的一方法之彩色直方圖技術的執行中的影像所指定及選擇的背景樣本的輸入靜止影像之示意圖;圖7B為顯示選自圖7A所示的輸入靜止影像的背景樣本之示意圖;圖7C為顯示獲得作為彩色直方圖技術的結果之所有彩色組件的矩陣之示意圖;圖8A為顯示應用作為計算特徵量的另一方法之頻率分析技術之輸入靜止影像的一部分之示意圖;圖8B為顯示採用作為圖8A所示之影像部的背景的放大波浪之示意圖;圖8C為顯示採用頻率分析技術所產生的典型曲線作為顯示繪製構成輸入靜止影像之像素的亮度位準的結果的曲線之示意圖;圖8D為顯示採用頻率分析技術所產生的典型曲線作為表示亮度位準及頻率間的關係的曲線之示意圖;圖9A為顯示應用作為計算特徵量的另一方法之同時發生概率矩陣技術之輸入靜止影像的兩個任意像素P1及P2之示意圖; 圖9B為顯示作為鄰接至像素P1的下一像素的像素P2之示意圖,用於以δ(1、0°)表示之相對位置函數δ的例子;圖9C為顯示作為鄰接至像素P1的下一像素的像素P2之示意圖,用於以δ(1、90°)表示之相對位置函數δ的例子;圖10A為顯示具有16(=4×4)像素以及4亮度位準(亮度位準0至3)之影像的資料之示意圖;圖10B顯示同時發生概率矩陣,其為具有16(=4×4)像素以及4亮度位準之方形矩陣;圖11為顯示依據本發明的第二實施例的整個影像處理設備之方塊圖;圖12A為顯示利用依據第二實施例的影像處理設備所取的典型影像作為不明物體的海及船的影像之示意圖;圖12B顯示平均值保留部位,用於保留藉由平均值保留部位所計算的值作為計算特徵量S(1)至S(25)的平均值,藉由特徵量計算部位所發現每一特徵量S(1)至S(25)作為圖12C所示的影像部的一者的特徵量;圖12C為顯示獲得作為圖12A所示的影像分割的結果的影像部分之示意圖;圖13顯示表示藉由依據第二實施例的影像處理設備所實施的實際操作之流程圖的第一部分;圖14顯示表示藉由依據第二實施例的影像處理設備所實施的實際操作之流程圖的第二部分; 圖15A為顯示依據本發明的第三實施例之整個影像處理設備的方塊圖;圖15B為顯示使用於圖15A所示的影像處理設備之聚類過程部位的內部架構之方塊圖;圖16A為顯示利用依據第三實施例的影像處理設備所取的典型影像作為不明物體的海及船的影像之示意圖;圖16B為依據第三實施例將兩個影像部放在一組的過程中所指的示意圖;圖16C為依據第四實施例將四個影像部放在一組的過程中所指的示意圖;圖16D為顯示在依據第三實施例將影像部放在一組之過程後所留下的影像部之示意圖;圖17顯示表示由依據第三實施例的影像處理設備所實施的實際操作之流程圖;圖18A為顯示利用依據本發明的第四實施例的影像處理設備所取的典型影像作為包括海、天空及供作浮在海上的不明物體之船的影像之示意圖;圖18B為顯示獲得作為圖18A所示影像分割的結果之水平影像部的示意圖;圖18C為顯示依據本發明的第四實施例之整個影像處理設備的方塊圖;圖19為顯示依據本發明的第五實施例之整個影像處理設備的方塊圖;圖20A為顯示包括存在於影像中的指定位置的船之影 像的示意圖;圖20B為顯示包括存在不同於影像中的指定位置的位置的船之影像的示意圖;圖21顯示表示藉由依據第五實施例的影像處理設備所實施的處理之流程圖;圖22A為顯示利用依據第六至第九實施例的影像處理設備所取的典型影像作為包括海、天空及供作浮在海上的不明物體之船的影像之示意圖;圖22B為顯示獲得作為圖22A所示的影像分割的結果之水平影像部的示意圖;圖23A為主要地顯示依據本發明的第六至第九實施例之整個影像處理設備的實際硬體之方塊圖;圖23B為主要地顯示圖23A所示的整個影像處理設備的功能部位之方塊圖;圖23C顯示表示圖23B所示的影像處理設備所實施的過程之流程圖;圖24為依據本發明的第六實施例指定背景區的方法說明中所指之示意圖;圖25為顯示依據第六實施例之整個影像處理設備的方塊圖;圖26為粗略地顯示存於使用在第六實施例的RAM之資料的配置模型之示意圖;圖27A為粗略地顯示存於使用在第六實施例的RAM之輸入影像位元圖之示意圖; 圖27B為粗略地顯示存於使用在第六實施例的RAM之影像旗標位元圖之示意圖;圖27C為粗略地顯示圖27B所示的影像旗標位元圖的放大部之示意圖;圖28A為粗略地顯示依據第六實施例作為具有可變長度的陣列之基於同時發生概率矩陣之陣列的集域之示意圖;圖28B為粗略地顯示等於圖28A所示的陣列集域的高斯(Ganss)彎曲表面之示意圖;圖29為粗略地顯示存於使用在第六實施例的RAM的資料件之示意圖;圖30顯示表示藉由依據第六實施例的影像處理設備所實施的過程之流程圖的第一部分;圖31顯示表示藉由依據第六實施例的影像處理設備所實施的處理之流程圖的第二部分;圖32為粗略地顯示影像像素間的關係及使用於依據本發明的第七實施例的影像處理設備的相對位置函數δ(i)之示意圖;圖33顯示表示藉由依據第七實施例的影像處理設備所實施的處理之流程圖;圖34為顯示藉由依據本發明的第八實施例的影像處理設備所取的典型靜止影像之示意圖;圖35A為顯示依據第八實施例的整個影像處理設備之方塊圖; 圖35B為顯示依據本發明的第九實施例整個影像處理設備之方塊圖;圖36A為顯示使用於此實施例之典型攝影相機的外觀圖之示意圖;及圖36B為顯示圖36A所示的攝影相機及依據此實施例的任一者的影像處理設備的組合之方塊圖。
102‧‧‧攝影相機
112‧‧‧影像保持部位
113‧‧‧影像分割部位
114‧‧‧特徵量計算部位
116‧‧‧差異計算部位
201‧‧‧影像處理設備
202‧‧‧背景特徵量保持部位
203‧‧‧顯示部位
204‧‧‧輸入部位

Claims (17)

  1. 一種影像處理設備,包含:影像保持部位,其配置來儲存輸入影像;影像分割部位,其配置來將存於該影像保持部位之該輸入影像分割成數個具有相同尺寸及相同形狀的影像部;特徵量計算部位,其配置來計算該影像分割部位所產生之該等影像部的每一者的特徵量;及差異計算部位,其配置來實施計算作為該影像分割部位所產生之該等影像部的每各別一者的特徵量之該特徵量計算部位所計算的該特徵量及預定值之間的差的差異計算過程,以及基於該差異來產生關於該各別影像部是否為該輸入影像的背景的一部分之決定結果的決定過程。
  2. 如申請專利範圍第1項之影像處理設備,其中該預定值係選自該背景之樣本的特徵量。
  3. 如申請專利範圍第1項之影像處理設備,其中該預定值係構成該輸入影像之所有該等影像部的該等特徵量的平均值。
  4. 如申請專利範圍第1項之影像處理設備,其中計算該等影像部的任二者間之該特徵量差異以產生關於該二影像部是否彼此相似之決定結果,在該影像分割部位所產生的該等影像部上實施基於該等決定結果之分組過程以產生各由相似影像部所組成的組,及檢查各由相似影像部組成之該等組的每各別一者以產 生關於各別組是否為包含該背景之相似影像部的組。
  5. 如申請專利範圍第1項之影像處理設備,其中該影像分割部位包括:水平影像分割部位,其配置來將該輸入影像分割成數個水平影像部;及小影像分割部位,其配置來將該水平影像分割部位所產生之該等水平影像部的每一者分割成數個具有相同尺寸及相同形狀之小影像部,其中該差異計算部位利用作為包括該各別小影像部的水平影像部之該水平影像分割部位所產生的水平影像部的一者之該預定值,在該小影像分割部位所產生之該等小影像部的每各別一者上實施該差異計算過程及該決定過程。
  6. 如申請專利範圍第1項之影像處理設備,該影像處理設備另包含:影像部旗標保持部位,其配置來儲存重複實施之該決定處理的結果;及不明物體移動距離/方向計算部位,其配置成藉由比較數個存於該影像部旗標保持部位中作為在不同時間實施之該等決定處理的該等結果之結果而計算不明物體所造成之移動距離及方向。
  7. 一種影像處理方法,包含以下步驟:將輸入影像分割成數個具有相同尺寸及相同形狀之影像部;計算在影像分割步驟產生之該等影像部的每一者的特 徵量;計算作為在該影像分割步驟產生之該等影像部的每各別一者的特徵量之在該特徵量計算步驟所計算的該特徵量及預定值之間的差;及利用在該差異計算步驟所計算的該差而決定該各別影像部是否為該輸入影像的背景的一部分,其中該方法係使用電腦或處理器來執行。
  8. 一種影像處理程式,包含:影像分割功能,其配置來將輸入影像分割成數個具有相同尺寸及相同形狀之影像部;特徵量計算功能,其配置來計算該影像分割功能所產生之該等影像部的每一者的特徵量;差異計算功能,其配置來計算作為該影像分割功能所產生之該等影像部的每各別一者的特徵量之該特徵量計算功能所計算的該特徵量及預定值之間的差;及決定功能,其配置成基於該差異計算功能所計算的該差異來產生關於該各別影像部是否為該輸入影像的背景的一部分。
  9. 一種影像處理設備,包含:影像保持部位,其配置來儲存輸入影像;水平影像分割部位,其配置來將存於該影像保持部位之該輸入影像分割成數個水平影像部;及影像部決定部位,其配置來為該水平影像分割部位所產生之該等水平影像部的每一者產生關於不明物體是否存 在或不存在之決定結果,其中該影像部決定部位包括:小影像分割部位,其配置來將該水平影像分割部位所產生之該等水平影像部的每一者分割成數個具有相同尺寸及相同形狀之小影像部;特徵量計算部位,其配置來計算該小影像分割部位所產生之該等小影像部的每一者的特徵量;及差異計算部位,其配置來實施計算作為該小影像分割部位所產生之該等小影像部的每各別一者的特徵量之該特徵量計算部位所計算的該特徵量及選自該輸入影像的背景之樣本的特徵量之間的差的差異計算過程,以及基於該差異來產生關於該各別小影像部是否為該輸入影像的該背景的一部分之決定結果的決定過程。
  10. 一種影像處理設備,包含:影像保持部位,其配置來儲存輸入影像;水平影像分割部位,其配置來將存於該影像保持部位之該輸入影像分割成數個水平影像部;及影像部決定部位,其配置來為該水平影像分割部位所產生之該等水平影像部的每一者產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定部位包括:小影像分割部位,其配置來將該水平影像分割部位所產生之該等水平影像部的每一者分割成數個具有相同尺寸及相同形狀之小影像部; 特徵量計算部位,其配置來計算該小影像分割部位所產生之該等小影像部的每一者的特徵量;及差異計算部位,其配置成為該水平影像分割部位所產生之該等水平影像部的每各別一者來實施計算作為該小影像分割部位所產生之該等小影像部的每各別一者的特徵量之該特徵量計算部位所計算的該特徵量及該各別水平影像部中之該等小影像部的特徵量的平均值之間的差的差異計算過程,以及基於該差異來產生關於該各別小影像部是否為該輸入影像的背景的一部分之決定結果的決定過程。
  11. 一種影像處理設備,包含:影像保持部位,其配置來儲存輸入影像;水平影像分割部位,其配置來將存於該影像保持部位之該輸入影像分割成數個水平影像部;及影像部決定部位,其配置來為該水平影像分割部位所產生之該等水平影像部的每一者產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定部位包括:小影像分割部位,其配置來將該水平影像分割部位所產生之該等水平影像部的每一者分割成數個具有相同尺寸及相同形狀之小影像部;特徵量計算部位,其配置來計算該小影像分割部位所產生之該等小影像部的每一者的特徵量;及聚類處理部位,其配置成藉由以下過程來實施分組過程: 實施差異計算過程,其計算作為該小影像分割部位所產生之該等小影像部的每各別一小影像部的特徵量及該等小影像部的一小影像部的特徵量之該特徵量計算部位所計算之該等特徵量的任二者間之差異,該小影像部鄰接於該各別小影像部;實施決定處理,其基於該差異計算過程中所計算之該差而產生關於該各別小影像部及鄰接至該各別小影像部之該小影像部是否彼此相似之決定結果;及如果該決定過程中所產生之該決定結果顯示該各別小影像部及鄰接至該各別小影像部之該小影像部彼此相似,將該各別小影像部及鄰接至該各別小影像部的該小影像部置於一組。
  12. 一種影像處理設備,包含:影像保持部位,其配置來儲存輸入影像;水平影像分割部位,其配置來將存於該影像保持部位之該輸入影像分割成數個水平影像部;及影像部決定部位,其配置來為該水平影像分割部位所產生之該等水平影像部的每一者產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定部位包括:特徵量計算部位,其配置來計算該水平影像分割部位所產生之該等水平影像部的每一者的同時發生概率矩陣;像素決定部位,其配置來比較構成該特徵量計算部位所產生的該同時發生概率矩陣之矩陣元素的每一各別矩陣 元素的值與預定臨界值,以產生關於對應於該各別矩陣元素的像素是否為背景的像素之決定結果;及像素集決定部位,其配置成基於該像素決定部位所產生之該決定結果來產生關於不明物體是否存在之決定結果。
  13. 如申請專利範圍第12項之影像處理設備,其中為該水平影像分割部位所產生之該等水平影像部的每各別一者之該特徵量計算部位所計算之該同時發生概率矩陣的每一矩陣元素係該等水平影像部中包括構成影像資料之像素的一者的位址之陣列。
  14. 一種影像處理方法,包含以下步驟:將輸入影像分割成數個水平影像部;及為該水平影像分割步驟所產生之該等水平影像部的每一者產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定步驟包括以下步驟:在該水平影像分割步驟所產生之該等水平影像部的每一者分割成數個具有相同尺寸及相同形狀之小影像部;計算在該小影像分割步驟所產生之該等小影像部的每一者的特徵量;計算作為在該小影像分割步驟所產生之該等小影像部的每各別一者的特徵量之在該特徵量計算步驟所計算之該特徵量及預定值之間的差;及利用在該差異計算步驟所計算之該差而決定該各別小影像部是否為該輸入影像的背景的一部分,及 其中該方法係使用電腦或處理器來執行。
  15. 一種影像處理方法,包含以下步驟:將輸入影像分割成數個水平影像部;及為該水平影像分割步驟所產生之該等水平影像部的每一者產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定步驟包括以下步驟:利用預定的相對位置功能來評估在該水平影像分割步驟所產生之該等水平影像部的每各別一者中的每一像素以產生該各別水平影像部的同時發生概率矩陣;為作為對應於該各別像素的矩陣元素之該各別水平影像部,將構成在該水平影像分割步驟所產生之該等水平影像部的每各別一者之像素的每各別一者的位址儲存於包括於在該像素評估步驟所產生的該同時發生概率矩陣之矩陣元素中;比較包含在該像素評估步驟所產生的該同時發生概率矩陣之矩陣元素的每各別一者的值與預定的臨界值;及利用在該矩陣元素比較步驟所產生的比較結果來產生關於對應於該各別矩陣元素的像素是否為背景的像素之決定結果,及其中該方法係使用電腦或處理器來執行。
  16. 一種影像處理程式,包含:水平影像分割功能,其配置來將輸入影像分割成數個水平影像部;及影像部決定功能,其配置成為該水平影像分割功能所 產生之該等水平影像部的每一者來產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定功能包括:小影像分割功能,其配置來將該水平影像分割功能所產生之該等水平影像部的每一者分割成數個具有相同尺寸及相同形狀之小影像部;特徵量計算功能,其配置來計算該小影像分割功能所產生之該等小影像部的每一者的特徵量;差異計算功能,其配置來計算作為該小影像分割功能所產生之該等小影像部的每各別一者的特徵量之該特徵量計算功能所計算的該特徵量及預定值之間的差;及決定功能,其配置成基於該差異計算功能所計算的該差異來產生關於該各別小影像部是否為該輸入影像的背景的一部分之決定結果。
  17. 一種影像處理程式,包含:水平影像分割功能,其配置來將輸入影像分割成數個水平影像部;及影像部決定功能,其配置成為該水平影像分割功能所產生之該等水平影像部的每一者來產生關於不明物體是否存在或不存在之決定結果,其中該影像部決定功能包括:功能準備功能,其配置來準備一或更多相對位置功能;像素評估功能,其配置成利用該功能準備功能所準備 之該等相對位置功能的至少一者來評估在該水平影像分割功能所產生之該等水平影像部的每各別一者中的每一像素以產生該各別水平影像部的同時發生概率矩陣;位址儲存步驟,為作為對應於該各別像素的矩陣元素之該各別水平影像部將構成在該水平影像分割功能所產生之該等水平影像部的每各別一者之像素的每各別一者的位址儲存於包括於在該像素評估功能所產生的該同時發生概率矩陣之矩陣元素中;矩陣元素比較功能,其配置來比較包含在該像素評估功能所產生的該同時發生概率矩陣之矩陣元素的每各別一者的值與預定的臨界值;及像素集決定功能,其配置成如果該各別矩陣元素的該值達到預定的該臨界值,則產生對應於該各別矩陣元素的像素為背景的像素之決定結果。
TW096131883A 2006-08-31 2007-08-28 影像處理裝置,影像處理方法及影像處理程式 TWI384879B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006236145A JP4229154B2 (ja) 2006-08-31 2006-08-31 画像処理方法
JP2006254817A JP4270254B2 (ja) 2006-09-20 2006-09-20 画像信号処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
TW200829023A TW200829023A (en) 2008-07-01
TWI384879B true TWI384879B (zh) 2013-02-01

Family

ID=39151626

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096131883A TWI384879B (zh) 2006-08-31 2007-08-28 影像處理裝置,影像處理方法及影像處理程式

Country Status (4)

Country Link
US (1) US8068701B2 (zh)
KR (1) KR20080020581A (zh)
SG (2) SG140573A1 (zh)
TW (1) TWI384879B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275170B2 (en) * 2006-12-08 2012-09-25 Electronics And Telecommunications Research Institute Apparatus and method for detecting horizon in sea image
JP4849106B2 (ja) * 2008-08-28 2012-01-11 ソニー株式会社 画像認識方法、画像認識装置、および画像入出力装置
US8584000B2 (en) * 2008-10-09 2013-11-12 Nec Corporation Abnormality detection system, abnormality detection method, and abnormality detection program storage medium
JP5500812B2 (ja) * 2008-10-20 2014-05-21 株式会社ソニー・コンピュータエンタテインメント 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体
JP5272890B2 (ja) * 2009-05-21 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5644097B2 (ja) * 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8792728B2 (en) * 2010-09-27 2014-07-29 Hewlett-Packard Development Company, L.P. Near-duplicate image detection
KR101395094B1 (ko) * 2010-09-29 2014-05-16 안동대학교 산학협력단 개체 검출 방법 및 시스템
JP2013012836A (ja) * 2011-06-28 2013-01-17 Nifco Inc データ記録制御装置およびデータ記録装置
US9513377B2 (en) * 2011-10-24 2016-12-06 Helmholtz Zentrum Muenchen Deutsches Forschungszentrum Fuer Gesundheit Und Umwelt (Gmbh) Method for measuring radiation by means of an electronic terminal having a digital camera
US9305214B1 (en) * 2013-10-29 2016-04-05 The United States Of America, As Represented By The Secretary Of The Navy Systems and methods for real-time horizon detection in images
KR101600820B1 (ko) * 2015-01-14 2016-03-08 주식회사 네오카텍 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법 및 해상객체의 거리 측정시스템.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5268968A (en) * 1991-01-24 1993-12-07 Hajime Industries Defect judgement method
US5993534A (en) * 1996-07-03 1999-11-30 Weyerhaeuser Company Stain blocking treatment for wood based panels
US20030169937A1 (en) * 2002-02-28 2003-09-11 Mega Chips Corporation Wavelet processing apparatus and wavelet processing method
US6704433B2 (en) * 1999-12-27 2004-03-09 Matsushita Electric Industrial Co., Ltd. Human tracking device, human tracking method and recording medium recording program thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488429A (en) 1992-01-13 1996-01-30 Mitsubishi Denki Kabushiki Kaisha Video signal processor for detecting flesh tones in am image
JPH08331567A (ja) * 1995-06-02 1996-12-13 Sony Corp 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム
JP4117073B2 (ja) 1998-11-18 2008-07-09 株式会社日立製作所 監視装置
JP2000175178A (ja) 1998-12-08 2000-06-23 Active:Kk 侵入物体監視装置及び侵入物体監視方法
JP4107812B2 (ja) 2001-06-11 2008-06-25 株式会社リコー 画像処理装置および画像処理方法および記録媒体
JP4455980B2 (ja) 2003-11-20 2010-04-21 日本電信電話株式会社 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体
JP4477439B2 (ja) 2004-07-12 2010-06-09 日立ソフトウエアエンジニアリング株式会社 画像分割処理システム
JP4229154B2 (ja) 2006-08-31 2009-02-25 ソニー株式会社 画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5268968A (en) * 1991-01-24 1993-12-07 Hajime Industries Defect judgement method
US5993534A (en) * 1996-07-03 1999-11-30 Weyerhaeuser Company Stain blocking treatment for wood based panels
US6704433B2 (en) * 1999-12-27 2004-03-09 Matsushita Electric Industrial Co., Ltd. Human tracking device, human tracking method and recording medium recording program thereof
US20030169937A1 (en) * 2002-02-28 2003-09-11 Mega Chips Corporation Wavelet processing apparatus and wavelet processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Onsen Toygar and Adnan Acan, Boosting Face Recognition Speed with a Novel Divide-and-Conquer Approach, Lecture Notes in Computer Science (LNCS), Vol. 3280, pp.430-439, 2004. *

Also Published As

Publication number Publication date
US20080056619A1 (en) 2008-03-06
KR20080020581A (ko) 2008-03-05
TW200829023A (en) 2008-07-01
US8068701B2 (en) 2011-11-29
SG140573A1 (en) 2008-03-28
SG159501A1 (en) 2010-03-30

Similar Documents

Publication Publication Date Title
TWI384879B (zh) 影像處理裝置,影像處理方法及影像處理程式
CN101137046B (zh) 图像处理装置、图像处理方法和图像处理程序
Wu et al. Image copy-move forgery detection via an end-to-end deep neural network
Chen et al. Ship detection from coastal surveillance videos via an ensemble Canny-Gaussian-morphology framework
Tang et al. Automatic plankton image recognition
CN110414411A (zh) 基于视觉显著性的海面船只候选区域检测方法
CN108876723B (zh) 一种灰度目标图像的彩色背景的构建方法
Spampinato et al. Covariance based Fish Tracking in Real-life Underwater Environment.
CN104091324A (zh) 一种基于连通域分割的棋盘格图像快速特征匹配算法
US9196053B1 (en) Motion-seeded object based attention for dynamic visual imagery
CN110335245A (zh) 基于单目时空连续图像的网箱网衣破损监测方法及系统
Wang et al. Specular reflection removal of ocean surface remote sensing images from UAVs
JP4270254B2 (ja) 画像信号処理装置及び画像処理方法
Zhang et al. A novel image detection method for internal cracks in corn seeds in an industrial inspection line
Albrecht et al. Visual maritime attention using multiple low-level features and Naive Bayes classification
Wang et al. Multi-scale target detection in SAR image based on visual attention model
Grm et al. Face hallucination revisited: An exploratory study on dataset bias
Kallasi et al. Computer vision in underwater environments: A multiscale graph segmentation approach
WO2007004868A1 (en) Method and apparatus for image characterization
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN115424249B (zh) 一种复杂背景下空中弱小目标自适应检测方法
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统
Zhou et al. LEDet: localization estimation detector with data augmentation for ship detection based on unmanned surface vehicle
Auccahuasi et al. Edge detection technique on objects present in high resolution optical satellite images
Huang et al. Invasion detection on transmission lines using saliency computation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees