TWI509569B - 物體檢測裝置 - Google Patents

物體檢測裝置 Download PDF

Info

Publication number
TWI509569B
TWI509569B TW102120918A TW102120918A TWI509569B TW I509569 B TWI509569 B TW I509569B TW 102120918 A TW102120918 A TW 102120918A TW 102120918 A TW102120918 A TW 102120918A TW I509569 B TWI509569 B TW I509569B
Authority
TW
Taiwan
Prior art keywords
detection target
image
unit
value
area
Prior art date
Application number
TW102120918A
Other languages
English (en)
Other versions
TW201415417A (zh
Inventor
Mutsuhiro Yamanaka
Atsuyuki Hirono
Toshiharu Takenouchi
Hiroshi Matsuda
Yuichi Yoshimura
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012134146A external-priority patent/JP2013258609A/ja
Priority claimed from JP2012214612A external-priority patent/JP2014071482A/ja
Priority claimed from JP2013100524A external-priority patent/JP2014220762A/ja
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201415417A publication Critical patent/TW201415417A/zh
Application granted granted Critical
Publication of TWI509569B publication Critical patent/TWI509569B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

物體檢測裝置
本發明係關於一種物體檢測裝置。
習知文獻揭示了一種移動物體檢測裝置,其取得在時間上連續的兩張影像,將兩張影像微分之後,比較微分所得到的兩張影像,求出差分影像,根據該差分影像檢測出移動物體(參照例如文獻1〔日本公開專利公報第平6-201715號〕)。
在上述的文獻1的物體檢測裝置中,當作為檢測對象的人物穿著與背景部分近似顏色的衣服時,作為檢測對象的人物與背景部分在亮度上的差異會變得比較小。因此,在將濃淡影像微分並求出輪廓線的情況下,人物的輪廓線不易形成連續的線條,可能會以分割成複數條線段的形態被檢測到。因此,將複數分割區域連接起來的處理有其必要,故會有影像處理的負荷增大,將分割的複數個區域正確無誤地統整起來的處理比較困難這樣的問題存在。
另外,關於從濃淡影像檢測出人物等檢測對象的方法,係求出濃淡影像與背景影像的差分影像,藉此從背景影像抽出發生變化的部分的背景差分法。由於背景差分法係在兩張濃淡影像對每個畫素求出差分,當例如作為檢測對象的人物穿著與背景部分近似顏色的衣服時,作為比較對象的濃淡影像與背景影像的差分值變小。結果,人物的全身不易被檢測為一個區 域,與上述的例子相同,人體可能會以分割成複數個區域的形態被檢測出,故將複數分割區域連接起來的處理有其必要,因此會有影像處理的負荷增大,將分割的複數個區域正確無誤地統整起來的處理比較困難這樣的問題存在。
因此,有文獻揭示一種變動檢測裝置,其將兩張影像圖框分別在水平方向上分割成m個,在垂直方向上分割成n個,產生複數個區塊,比較位於相同位置的區塊,藉此檢測每個區塊有無變動(參照例如文獻2〔日本公開專利公報第2008-257626號〕)。
該變動檢測裝置,在依序輸入的影像圖框之中,將所期望的背景圖框,與背景圖框之後的變動檢測對象圖框,分別在水平方向上分割成m個,在垂直方向上分割成n個,產生複數個區塊,並求出各個區塊的畫素的亮度平均值。然後,求出變動檢測對象圖框的各區塊與對應的背景圖框的區塊的亮度平均值的差分,若該差分值在既定的閾值以上,便判斷在該區塊有所變動。
上述的變動檢測裝置,在背景圖框與變動檢測對象圖框,比較位於相同位置之區塊的亮度平均值,若亮度平均值的變化在閾值以上,便判斷在該區塊有所變動。
在此,思考在將4×4畫素的區域當作一個區塊時,如圖39以及圖40所示的背景圖框的區塊C1與變動檢測對象圖框的區塊C2在畫素值上不同的情況。區塊C1、C2的方格表示畫素,方格內的數字表示各畫素的畫素值。在圖39以及圖40的例子中,在背景圖框與變動檢測對象圖框,即使各畫素的畫素值發生變化,亮度平均值仍相同,故會被判定為在兩個圖框之間沒有變動。
另外,思考如圖41以及圖42所示的,在背景圖框的區塊C3與變動檢測對象圖框的區塊C4,因為雜訊等的影響,只有一個畫素的畫素值不同的情 況。此時,即使除了一個畫素之外其他畫素的亮度值均為相同的數值,由於在區塊C3、C4之間的亮度平均值不同,故會被判定為在兩個圖框之間產生變動。
有鑑於上述問題,本發明之目的在於提供一種可增加影像處理的處理量,並確實地辨別移動區域與停止區域的物體檢測裝置。
本發明之第1態樣的物體檢測裝置具備:影像取得部、差分影像製作部、判定部。該影像取得部,從拍攝既定的攝影區域的相機,以既定的時間間隔依序取得該攝影區域的影像。該差分影像製作部,求出該影像取得部所連續取得的影像之間的差分影像。該判定部,針對將該差分影像在横方向以及縱方向上分別複數分割而成的區塊的各個區塊,判定其係移動中的檢測對象存在的移動區域,或是處於停止狀態的物體存在的停止區域。該判定部,針對複數個該區塊的各個區塊,根據構成該區塊的複數個畫素的畫素值,判定該區塊為該移動區域或是該停止區域。
本發明之第2態樣的物體檢測裝置,如第1態樣,其中,該判定部針對複數個該區塊的各個區塊,比較構成該區塊的複數個畫素的差分值與既定閾值的高低,根據差分值超過該閾值的畫素數,判定該區塊為該移動區域或是該停止區域。
本發明之第3態樣的物體檢測裝置,如第1或第2態樣,其中,該物體檢測裝置具備從被判定為該移動區域的區域檢測出檢測對象的物體檢測部。該物體檢測部,將被判定為該移動區域的一個乃至複數個該區塊當中的連續的該區塊分別當作檢測對象區域。該物體檢測部,若有本次所求出的檢測對象區域包含於前次所求出的檢測對象區域內的情況,或是,本次檢測對象區域與前次檢測對象區域重疊、且相對於前次檢測對象區域之面積的本次檢測對象區域之面積的比率比既定的閾值更小的情況,或是,本次檢 測對象區域與前次檢測對象區域互相重疊的部分完全不存在的情況的其中任一種情況,便判斷該檢測對象處於靜止狀態,且將前次檢測對象區域當作該檢測對象存在的區域。
本發明之第4態樣的物體檢測裝置,如第3態樣,其中,該物體檢測部,在前次所求出的檢測對象區域與本次所求出的檢測對象區域重疊時,便判斷同一檢測對象存在。該物體檢測部,根據是否判斷在前次所求出的檢測對象區域內所存在的該檢測對象係處於靜止狀態,或是當判斷為非靜止狀態時,因應表示該檢測對象之動態的參數,變更從前次以及本次檢測對象區域求出該檢測對象的現在位置用的判定條件。
本發明之第5態樣的物體檢測裝置,如第3或第4態樣,其中,該物體檢測部,在前次的第1檢測對象區域與本次檢測對象區域重疊,且本次檢測對象區域與前次的第2檢測對象區域並未重疊時,便判斷在該第1檢測對象區域內所存在的檢測對象移動到了本次檢測對象區域內。
本發明之第6態樣的物體檢測裝置,如第3~第5態樣中任一態樣,其中,該物體檢測部,當判定本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的檢測對象處於靜止狀態時,便判斷在該第1檢測對象區域內所存在的檢測對象停留在該第1檢測對象區域內。
本發明之第7態樣的物體檢測裝置,如第3~第6態樣中任一態樣,其中,該物體檢測部,當判斷本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的第1檢測對象與在該第2檢測對象區域所存在的第2檢測對象雙方均正在移動時,若該第1檢測對象的速度比該第2檢測對象的速度更快,便判斷該第1檢測對象移動到了本次檢測對象區域內。該物體檢測部,當判斷本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的第1檢測對象與在該第2檢測對象區域內所存在的第2 檢測對象雙方均正在移動時,若該第1檢測對象的速度與該第2檢測對象的速度相等或在其以下,便判斷該第1檢測對象停留在第1檢測對象區域內。
本發明之第8態樣的物體檢測裝置,如第3~第7態樣中任一態樣,其中,該物體檢測部,在判斷本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的第1檢測對象正在移動,且判斷在該第2檢測對象區域內所存在的第2檢測對象處於靜止狀態時,便判斷該第1檢測對象移動到了本次檢測對象區域內。
本發明之第9態樣的物體檢測裝置,如第3~第8態樣中任一態樣,其中,該物體檢測部,當判斷在某個時點所求出的第1檢測對象區域內所存在的檢測對象處於靜止狀態,且該第1檢測對象區域與在其以後所求出的第2檢測對象區域的至少一部分重疊時,將該第2檢測對象區域重疊之前的該第1檢測對象區域的影像當作樣板影像保持。該物體檢測部,在該第1檢測對象區域與該第2檢測對象區域不再重疊的時點,進行該時點的該第1檢測對象區域的影像與該樣板影像的匹配處理,求出兩者的相關值。該物體檢測部,在該相關值比既定的判定值更高時,便判斷該檢測對象停留在該第1檢測對象區域內。該物體檢測部,在該相關值比該判定值更低時,便判斷該檢測對象移動到了該第1檢測對象區域的外側。
本發明之第10態樣的物體檢測裝置,如第1~第9態樣中任一態樣,其中,該物體檢測裝置具備攝影裝置作為該相機。該攝影裝置具備:攝影元件、光控制機構、影像生成機構、調整機構。該攝影元件,具有各自累積電荷的複數個畫素,並將該各個畫素所累積的電荷量轉換成畫素值輸出。該光控制機構控制在該攝影元件中供光電轉換的光之大小。該影像生成機構,以既定的圖框率(frame rate)從該攝影元件讀取該畫素值,且從讀取的該畫素值以該圖框率產生影像。該調整機構,用將在該一個圖框的影像中的該畫素值的一部分或是全部,以數值定義的評估值進行評估,以該評估值收斂在既定的適當範圍內的方式控制該光控制機構或是該影像生成機構的至少其中一者並調整該畫素值。該調整機構,當以該圖框率生成的該影像 的該評估值從該適當範圍偏離既定位準以上時,將該影像生成機構變動為以比該圖框率更高的調整用圖框率產生該影像的調整模式,在該影像生成機構以該調整用圖框率產生該影像之後,使其回歸到以該圖框率產生該影像的通常模式。
本發明之第11態樣的物體檢測裝置,如第1~第9態樣中任一態樣,其中,該物體檢測裝置具備攝影裝置作為該相機。該攝影裝置具備:攝影部、曝光調整部、放大部、控制部。該攝影部以既定的圖框率拍攝攝影範圍的影像。該曝光調整部調整該攝影部的曝光條件。該放大部,將該攝影部所輸出的影像資料的亮度值在每個畫素放大並輸出到外部去。該控制部,以對該影像資料的複數個畫素的亮度值進行統計處理所求出的亮度評估值與既定的目標值一致的方式,調整該曝光調整部的曝光條件以及該放大部的放大率其中至少一者。該控制部,在該亮度評估值收斂於可對該放大部所輸出的影像資料進行影像處理的亮度範圍內時,以調整該曝光條件以及該放大率其中至少一者所產生的該亮度評估值的變化率在既定的基準值以下的方式限制調整量,且當該亮度評估值在該亮度範圍外時不限制調整量。
1‧‧‧物體檢測裝置
2‧‧‧相機
3‧‧‧影像取得部
4‧‧‧計算處理部
4a‧‧‧差分影像製作部
4b‧‧‧判定部
4c‧‧‧物體檢測部
5‧‧‧影像記憶體
6‧‧‧輸出部
9‧‧‧天花板
10‧‧‧攝影裝置
11‧‧‧攝影元件
12‧‧‧光學區塊
13‧‧‧影像生成部
14‧‧‧調整部
21‧‧‧攝影裝置
22‧‧‧物體檢測裝置
23‧‧‧照明控制裝置
24‧‧‧照明器具
31‧‧‧人體感測器
32‧‧‧控制裝置
33‧‧‧照明負載
100‧‧‧檢測區域
101~112‧‧‧分割區域
113‧‧‧通路
120‧‧‧透鏡
121‧‧‧光圈
122‧‧‧光衰減濾光器
123‧‧‧框體
211‧‧‧攝影部
212‧‧‧放大部
213‧‧‧曝光調整部
214‧‧‧控制部
221‧‧‧輸入部
222‧‧‧影像處理部
223‧‧‧影像記憶體
224‧‧‧輸出部
310‧‧‧攝影部
311‧‧‧影像處理部
312‧‧‧通信部
313‧‧‧設定部
314‧‧‧記憶部
A1~A5‧‧‧濃淡影像
B1~B4‧‧‧差分影像
C1~C4‧‧‧區塊
D1‧‧‧檢測對象區域(移動區域)
D2‧‧‧檢測對象區域(停止區域)
D11‧‧‧時間
D12‧‧‧時間
F1、F1a、F1b、F2、E1、E2、H1、G1‧‧‧檢測對象區域
g1‧‧‧檢測對象
L1‧‧‧亮度評估值
LM0~LM5‧‧‧閾值
t1~t3、t10~t15、t20~t23、t30~t33、t40~t45‧‧‧時刻
T1~T3‧‧‧目標值
T11、T12‧‧‧圖框周期
V1、V2‧‧‧速度
P1~P8‧‧‧影像
P41~P44‧‧‧影像
X1、X2‧‧‧人物(檢測對象)
S1~S14‧‧‧步驟
S21~S34‧‧‧步驟
圖1係實施態樣1的物體檢測裝置的方塊圖。
圖2係說明實施態樣1的物體檢測裝置的動作的流程圖。
圖3(a)(b)(c)係實施態樣1的物體檢測裝置的動作的說明圖。
圖4(a)(b)係實施態樣1的物體檢測裝置的動作的說明圖。
圖5(a)(b)係說明實施態樣1的物體檢測裝置的動作的說明圖。
圖6係實施態樣1的物體檢測裝置的追蹤動作的說明圖。
圖7係實施態樣1的物體檢測裝置的追蹤動作的說明圖。
圖8係實施態樣1的物體檢測裝置的追蹤動作的說明圖。
圖9係實施態樣1的物體檢測裝置的追蹤動作的說明圖。
圖10係實施態樣1的物體檢測裝置的追蹤動作的說明圖。
圖11係實施態樣1的物體檢測裝置的追蹤動作的說明圖。
圖12係表示實施態樣1的物體檢測裝置的相機的設置例的說明圖。
圖13係在實施態樣1的物體檢測裝置中使用窄角透鏡時的影像例。
圖14係在實施態樣1的物體檢測裝置中使用廣角透鏡時的影像例。
圖15係在實施態樣1的物體檢測裝置中以設置於牆壁的相機拍攝的影像的說明圖。
圖16係說明區塊的大小的說明圖。
圖17係說明區塊的大小的說明圖。
圖18係實施態樣2的攝影裝置的方塊圖。
圖19係用來說明圖框率的變更的說明圖。
圖20係實施態樣2的攝影裝置的動作說明圖。
圖21係實施態樣2的攝影裝置的動作說明圖。
圖22係實施態樣2的攝影裝置的動作說明圖。
圖23係實施態樣2的攝影裝置的動作說明圖。
圖24係實施態樣2的攝影裝置的動作說明圖。
圖25係實施態樣2的攝影裝置的動作說明圖。
圖26係實施態樣2的攝影裝置的動作說明圖。
圖27係實施態樣3的照明控制系統的方塊圖。
圖28係實施態樣3的照明控制系統的流程圖。
圖29係實施態樣3的照明控制系統的調整動作的說明圖。
圖30係實施態樣3的照明控制系統的調整動作的說明圖。
圖31係實施態樣3的照明控制系統的調整動作的說明圖。
圖32係實施態樣3的照明控制系統的調整動作的說明圖。
圖33係實施態樣3的照明控制系統的調整動作的說明圖。
圖34係實施態樣3的照明控制系統的調整動作的說明圖。
圖35係實施態樣3的照明控制系統的調整動作的說明圖。
圖36係表示實施態樣4的人體感測器的方塊圖。
圖37係表示實施態樣4的負載控制系統的系統構造圖。
圖38係實施態樣4的檢測區域的說明圖。
圖39係背景圖框的區塊的畫素值的表示圖。
圖40係動態檢測對象圖框的區塊的畫素值的表示圖。
圖41係背景圖框的區塊的畫素值的表示圖。
圖42係動態檢測對象圖框的區塊的畫素值的表示圖。
(實施態樣1)
圖1係表示物體檢測裝置1的方塊圖。物體檢測裝置1具備:相機2、影像取得部3、計算處理部4、影像記憶體5、輸出部6,當檢測出作為檢測對象(探索物體)的人物時,從輸出部6輸出檢測信號。又,物體檢測裝置1的檢測對象並不限於人物,亦可為車輛等的移動物體。另外,在本實施態樣中,物體檢測裝置1並不一定要具備相機2。影像取得部3、計算處理部4、影像記憶體5、輸出部6構成對來自相機2的影像進行處理的影像處理裝置。
相機2,係由CCD相機或CMOS影像感測器所構成,拍攝既定的監視區域。
影像取得部3,從相機2以既定的取樣間隔取得影像資料,並將所取得的影像資料輸出到計算處理部4。亦即,影像取得部3,從拍攝既定之攝影區域的相機2,以既定的時間間隔(取樣間隔)依序取得攝影區域的影像。
計算處理部4由微電腦所構成,藉由執行所安裝的程式,實現差分影像製作部4a、判定部4b、物體檢測部4c等的功能。
差分影像製作部4a,製作(求出)利用影像取得部3連續取得的影像之間的差分影像。
判定部4b,針對將差分影像在横方向以及縱方向上分別複數分割所生成的各區塊,判定其係移動中的檢測對象存在的移動區域,或是處於停止狀態的物體存在的停止區域。
物體檢測部4c,從被判定為移動區域的區域中檢測出檢測對象。
影像記憶體5,由計算處理部4控制資料的寫入、讀取,而儲存例如影像取得部3從相機2取得的影像資料,或在影像處理的過程中所製作的差分影像等的影像資料。
輸出部6,將計算處理部4所輸入的檢測信號輸出到負載裝置(圖中未顯示),使負載裝置運作,並輸出到上位的監視裝置(圖中未顯示)。
該物體檢測裝置1,根據以相機2拍攝既定監視區域所得到的濃淡影像檢測出作為檢測對象的物體,茲根據圖2的流程圖說明該檢測動作。
影像取得部3,以既定的時間間隔從相機2取得影像資料,並將從相機2所取得的影像資料輸出到計算處理部4(步驟S1)。
計算處理部4,將影像取得部3所輸入的濃淡影像的影像資料逐次儲存於影像記憶體5。差分影像製作部4a,在影像取得部3取得濃淡影像時,從影像記憶體5讀取前次的濃淡影像,製作前次的濃淡影像與影像取得部3在本次所取得的濃淡影像的差分影像(步驟S2)。
又,在本實施態樣中係以既定的時間間隔製作圖框間的差分影像,惟圖框間差分的時間間隔並非一定要為固定,差分影像製作部4a,亦可製作在時間系列所拍攝的兩個濃淡影像的圖框間差分。
之後,判定部4b,將步驟S2所得到的差分影像在横方向以及縱方向上分別複數分割而生成既定大小的區塊,並對每個區塊判定其為移動區域或是停止區域(步驟S3)。
又,移動區域,係指移動中的檢測對象(移動物體)(在本實施態樣中為人)存在的區域,停止區域,係指處於停止狀態的物體(靜止物體)存 在的區域。
像這樣,步驟S1、S2、S3,係從N張的濃淡影像製作(N-1)張的圖框間差分影像,並用(N-1)張的圖框間差分影像判定各區塊為移動區域或是停止區域的步驟。
然後,根據判定部4b的判定結果,物體檢測部4c進行檢測出作為檢測對象之物體的處理(步驟S4~步驟S14)。又,步驟S4,係將移動物體存在的檢測對象區域抽出的步驟,在被判定為移動區域的一個乃至複數個區塊當中,將連續的區塊當作單一個檢測對象區域抽出。步驟S5,係進行靜止物體的抽出與追蹤的步驟。另外,步驟S6~S14,係進行追蹤移動物體的處理的步驟。
在此,參照圖式說明,判定部4b針對將步驟S2所製作的差分影像縱横複數分割所生成區塊的各個區塊,判定各個區塊為移動區域或是停止區域的步驟S3的處理。
影像取得部3以既定的時間間隔(圖框率)從相機2取得影像資料。在圖3中,(a)係從相機取得的濃淡影像,(b)係根據濃淡影像製作的差分影像,(c)係表示判定為移動區域與停止區域的判定結果,的說明圖。如圖3(a)所示的,當在時刻(t-2)取得濃淡影像A1,並在之後的時刻(t-1)取得濃淡影像A2時,差分影像製作部4a製作連續拍攝的兩張濃淡影像A1、A2的差分影像B1。又,在兩張濃淡影像A1、A2中映照出移動中的人物X1。
判定部4b,在差分影像製作部4a製作差分影像B1之後,將該差分影像B1在横方向以及縱方向上分別複數分割,製作既定大小(m×n)畫素的區塊C1、C2、C3...(參照圖3(b))。又,在以下的說明中當針對各個區塊說明時表述為區塊C1、C2、C3...,當說明不指定區塊時表述為區塊C。
例如差分影像B1的大小為横320畫素、縱240畫素,當將其在横方向上 分割成40個,在縱方向上分割成30個時,便製作8×8畫素的區塊C合計共1200個,判定部4b針對各個區塊C判定其為移動區域或停止區域。
在此,由於區塊C以8×8=64(個)畫素構成,故判定部4b將各區塊C的差分值當作64維空間的點處理。判定部4b,根據預先準備好的學習用資料(移動區域以及停止區域的資料),用判別分析或SVM(support vector machines,支持向量機)等以往習知的方法進行學習。然後,判定部4b預先求出將64維空間分成移動中的檢測對象存在的空間(移動空間)與處於停止狀態的物體存在的空間(停止空間)的分界面。
之後,當各區塊C的資料實際輸入判定部4b時,判定部4b判斷該資料在64維空間相對於上述的分界面係位於移動區域側或是位於停止區域側,進行該區塊C為移動區域或是停止區域的判定。
圖3(c)係表示進行過每個區塊為移動區域或是停止區域的判定之後的結果,對應檢測對象X1的區域判定為移動區域D1,除此以外的區域判定為停止區域D2。
又,判定部4b,亦可根據從連續拍攝的N張(N為2以上的整數)的濃淡影像所製作的(N-1)張的差分影像,判定位於相同位置的(m×n)畫素的區塊C為移動區域或是停止區域。
此時,判定部4b,將在(N-1)張的差分影像位於相同位置的區塊C的差分值,當作〔(N-1)×m×n〕維空間的點處理。例如若在4張的差分影像且區塊C的大小為8×8畫素的話,則會當作4×8×8=256維空間的點處理。然後,與上述同樣地,判定部4b,根據預先準備好的學習用資料,用判別分析或SVM等的方法進行學習,預先求出將〔(N-1)×m×n〕維空間分成移動空間與停止空間的分界面。
然後,在根據連續拍攝的N張濃淡影像製作(N-1)張的差分影像之 後,判定部4b將(N-1)張的差分影像分別分割成複數個區塊C。然後,判定部4b,將在(N-1)張差分影像位於相同位置的區塊C的差分值當作〔(N-1)×m×n〕維空間的點處理,並判定該點相對於上述的分界面係位於移動空間側或是停止空間側。
另外上述的說明,係針對使用判別分析或SVM等方法的判定方法進行說明,惟判定部4b亦可使用主成分分析判定係移動區域或是停止區域。判定部4b,將(m×n)畫素的區塊C的差分值當作(m×n)維空間的點處理。然後,判定部4b,根據預先準備好的學習用資料(判定為移動區域以及停止區域的區塊C的資料),預先求出分離各區塊C為移動區域或是停止區域的主成分係數,與主成分得點Z的閾值。例如當區塊C的大小為8×8畫素時,各區塊C的差分值被當作64維空間的點處理。然後,在差分影像的資料輸入判定部4b之後,判定部4b,用Z=a1×b1+a2×b2+a3×b3+...+a64×b64的算式算出每個區塊的主成分得點Z。在此,係將利用主成分分析所求出的主成分係數當作a1、a2、a3...a64,並將構成區塊C的64畫素的畫素值當作b1、b2、b3...b64。然後,判定部4b,將根據實際的差分影像所求出的主成分得點Z,與預先設定好的閾值作比較,藉此判定作為判定對象的區塊係移動區域或是停止區域。
又,在使用主成分分析的判定中,亦可根據從連續拍攝的N張濃淡影像所製作的(N-1)張差分影像,判定位於相同位置的(m×n)畫素的區塊C為移動區域或是停止區域。由於只有維數不同,處理本身則與上述的處理相同,故詳細說明省略。
如以上所說明的,本實施態樣的物體檢測裝置1具備:影像取得部3、差分影像製作部4a、判定部4b。影像取得部3依序取得既定攝影區域的影像。差分影像製作部4a求出影像取得部3所連續取得的兩張影像A1、A2的差分影像B1。判定部4b針對將差分影像B1在横方向以及縱方向上分別複數分割而成的複數個區塊C的各區塊,判定其係移動中的檢測對象存在的移動區域,或是處於停止狀態的物體存在的停止區域。然後,判定部4b,針對複 數個區塊C的各區塊,根據構成該區塊C的複數個畫素的畫素值,判定該區塊C為移動區域或是停止區域。
像這樣,判定部4b,針對將差分影像複數分割所生成的各區塊C,根據構成該區塊C的複數個畫素的畫素值,判定該區塊C為移動區域或是停止區域。
當從以圖框間差分或背景差分所得到的差分影像抽出移動物體(例如人物)時,若作為檢測對象的人物穿著與背景近似顏色的服裝,人物會以分割成複數個區域的形態被檢測出,而需要將複數分割區域連接的處理。相對於此,本實施態樣係針對每個區塊判定其為移動區域或停止區域,故不需要將複數分割區域連接的處理,進而能夠減輕影像處理的負荷。
另外,當根據構成各區塊的複數個畫素的畫素值的代表值(例如平均值),判定各區塊為移動區域或是停止區域時,若受到雜訊等的影響而一部分的畫素值變動,進而使代表值發生變化的話,則判定結果可能會錯誤。相對於此,在本實施態樣中,判定部4b係根據複數個畫素的畫素值以區塊為單位判定其為移動區域或是停止區域。因此,即使因為雜訊等的影響而使一部分的畫素值變動,由於判定部4b係根據未受到雜訊等影響的大部分畫素值進行判定,故可降低判定錯誤的可能性。
另外,即使構成各區塊的複數個畫素的畫素值的代表值相同,構成區塊的複數個畫素的畫素值也可能會不同,故當僅根據代表值判定該區塊為移動區域或是停止區域時,仍會有判定錯誤的可能性。相對於此,在本實施態樣中,由於判定部4b係根據構成區塊的複數個畫素的畫素值,判定該區塊為移動區域或是停止區域,故可降低判定錯誤的可能性。
另外在本實施態樣中,差分影像製作部4a,根據影像取得部3連續取得的N張影像製作(N-1)張差分影像。判定部4b,將(N-1)張差分影像的各張影像在横方向以及縱方向上分別複數分割,產生複數個横方向為m畫 素,縱方向為n畫素的區塊。判定部4b,針對在(N-1)張差分影像位於相同位置的區塊,將構成區塊的〔(N-1)×m×n〕個畫素的差分值,當作〔(N-1)×m×n〕維空間上的點處理。判定部4b,根據預先收集的學習用影像進行多重變量分析,求出將〔(N-1)×m×n〕維的空間分成移動中的檢測對象存在的空間與處於停止狀態的物體存在的空間的分界面。然後,判定部4b,判定表示構成各區塊的〔(N-1)×m×n〕個畫素值的點相對於上述的分界面係位於移動區域側或是停止區域側,藉此判定該區塊係移動區域或是停止區域。
又,在上述的說明中,判定部4b係進行多重變量分析(multivariate statistics)以判定各區塊為移動區域或是停止區域,惟本發明並無將判定部4b的判定方法限定於上述方法的意旨,亦可用以下方法判定係移動區域或是停止區域。
例如判定部4b,針對複數個區塊的各區塊,在構成各區塊的複數個畫素當中,若差分值超過既定閾值的畫素數在既定判定基準以上便判定為移動區域,若差分值超過閾值的畫素數未達判定基準便判定為停止區域。
吾人認為,若為移動中的檢測對象存在的移動區域,則在連續拍攝的兩張濃淡影像A1、A2其畫素值的變化會變大,且構成區塊的畫素的差分值也會變大。因此,藉由比較差分值超過閾值的畫素數與既定判定基準的高低,不但可判定出係移動區域或是停止區域,更可用簡單的處理就判定出係移動區域或是停止區域。
另外,當從連續拍攝的3張以上的濃淡影像製作複數張差分影像,並根據複數張差分影像判定各區塊係移動區域或是停止區域時,亦可用以下的方法判定其係移動區域或是停止區域。
圖4,係從連續拍攝的5張濃淡影像A1~A5製作4張差分影像B1~B4,並根據該4張差分影像判定各區塊係移動區域或是停止區域時的說明圖。在 圖4中,(a)係從相機取得的濃淡影像,(b)係從濃淡影像製作的差分影像的說明圖。又,圖4(a)的例子係在5張濃淡影像A1~A5中映照出移動中的人物X1。
影像取得部3,從相機2分別在時刻(t-2)取得濃淡影像A1,在時刻(t-1)取得濃淡影像A2,在時刻t取得濃淡影像A3,在時刻(t+1)取得濃淡影像A4,在時刻(t+2)取得濃淡影像A5。影像取得部3,在從相機2取得濃淡影像的影像資料之後,將所取得的影像資料輸出到計算處理部4。計算處理部4,在影像資料從影像取得部3輸入之後,將該影像資料儲存於影像記憶體5。
差分影像製作部4a,在影像取得部3每次取得濃淡影像時,便製作與前1時序所取得之濃淡影像的差分影像,從連續拍攝的5張濃淡影像A1~A5,製作4張差分影像B1~B4。
在利用差分影像製作部4a製作差分影像之後,判定部4b將差分影像分別在横方向以及縱方向上分割,製作既定大小(例如8×8=64畫素)的區塊。
然後,判定部4b,分別比較構成在4張差分影像B1~B4位於相同位置的區塊的256(=64×4)個畫素的差分值與閾值的高低,根據差分值超過閾值的畫素數的合計值,判定該區塊係移動區域或是停止區域。
吾人認為,若為移動區域,則連續兩張濃淡影像的畫素值變化較大,差分值超過閾值的畫素較多。因此,判定部4b,構成在4張差分影像B1~B4位於相同位置的區塊的256個畫素當中,若差分值超過閾值的畫素數在既定判定值以上便判定為移動區域,若差分值超過閾值的畫素數未達判定值則判定為停止區域。
像這樣,在影像取得部3從相機2取得連續拍攝的N張濃淡影像之後,差分影像製作部4a,從連續拍攝的N張濃淡影像製作(N-1)張差分影像(N 為2以上的整數)。判定部4b,針對(N-1)張差分影像的各張影像,將差分影像在横方向以及縱方向上分別複數分割,產生横方向為m畫素,縱方向為n畫素的區塊(m、n為2以上的整數)。然後,判定部4b,分別比較構成在(N-1)張差分影像位於相同位置的區塊的〔(N-1)×m×n〕個畫素的差分值與既定閾值的高低,根據差分值超過閾值的畫素數,判定該區塊係移動區域或是停止區域。
另外,當判定在複數張差分影像位於相同位置的區塊係移動區域或是停止區域時,亦可判定在各張差分影像中對象區塊係移動區域或是停止區域,並使用該判定結果,就對象區塊係移動區域或是停止區域為最終判斷。
例如圖4所示的,當影像取得部3從相機2連續取得5張濃淡影像A1~A5,且差分影像製作部4a製作4張差分影像B1~B4時,判定部4b,在差分影像每次製作時,便將差分影像在横方向以及縱方向上分別複數分割以製作既定大小的區塊。
判定部4b,在差分影像B1~B4的各張影像,將構成位於相同位置的區塊的畫素的差分值與既定閾值分別作比較。在此,判定部4b,若差分值超過閾值的畫素數在既定的判定基準以上,便判定該區塊為移動區域,若差分值超過閾值的畫素數未達判定基準,便判定該區塊為停止區域。
下述的表1,係表示針對差分影像B1~B4的各張影像判定位於相同位置的區塊係移動區域或是停止區域的結果的一例。
例1,係在一半的差分影像B1、B2位於相同位置的區塊被判定為移動區域,在剩下一半的差分影像B3、B4位於相同位置的區塊被判定為停止區域。
例2,係在3張差分影像B1~B3位於相同位置的區塊被判斷為移動區域,僅在差分影像B4位於相同位置的區塊被判斷為停止區域。
例3,係僅在差分影像B4位於相同位置的區塊被判斷為移動區域,在剩下的差分影像B1~B3位於相同位置的區塊被判斷為停止區域。
在此,判定部4b,根據在差分影像B1~B4的判定結果,對位於相同位置的區塊係移動區域或是停止區域為最終判定的方式有多數決判定方式與移動優先的OR判定方式,這兩種方式的判定結果顯示於表1。
當以多數決判定方式判定時,在例1、例2中由於差分影像B1~B4的半數以上被判定為移動區域,故判定部4b最終判定為移動區域,然而在例3中由於移動區域的判定未達半數,故判定部4b判定為停止區域。另一方面,當以移動優先的OR判定方式判定時,在例1~例3中由於差分影像B1~B4之中至少有一張差分影像被判定為移動區域,故判定部4b無論哪個例子最終都判定為移動區域。
亦即,判定部4b,在判定區塊係移動區域或是停止區域的處理中,實行第一處理與第二處理。在第一處理中,判定部4b,針對(N-1)張差分影像的各張影像,分別比較構成區塊的(m×n)個畫素的差分值與既定閾值的高低,根據差分值超過閾值的畫素數,判定區塊係移動區域或是停止區域。在第二處理中,判定部4b針對在(N-1)張差分影像位於相同位置的區塊,根據第一處理的結果,判定在(N-1)張差分影像中的對象區塊係移動區域或是停止區域。
像這樣,判定部4b,針對複數張差分影像的各張影像分別判定各區塊係移動區域或是停止區域。然後,判定部4b,由於係根據在各張差分影像的判定結果,判定在複數張差分影像位於相同位置的區塊係移動區域或是停止區域,故可更確實地判定出係移動區域或是停止區域。
另外,判定部4b,係針對將差分影像複數分割所得到的區塊C的各區塊判定其為移動區域或是停止區域,而區塊C的大小,係根據以下的條件預先決定。
關於決定區塊C的大小的條件,例如有:檢測對象的大小、從相機2到檢測對象的距離、檢測對象的移動速度、影像取得部3取得相機2的影像的時間間隔(圖框率)等。在該等條件當中圖框率係以如下方式決定。
物體檢測部4c,由於將在連續攝影的兩張濃淡影像中部分重疊的區域判斷為移動中的檢測對象並加以追蹤,故以在連續拍攝的兩張濃淡影像中於人存在的區域產生重疊的方式,決定圖框率。
又,根據檢測對象的標準大小(例如成人的標準身高)、從相機2到檢測對象的距離、相機2的視角或透鏡的倍率,在設計階段便將影像中所出現之檢測對象的大小限定於某一程度。
然後,設計者,根據影像中所出現之檢測對象的大小以及檢測對象的標準移動速度(例如人的步行速度),以在連續拍攝的兩張濃淡影像中於人存在的區域產生重疊的方式,決定圖框率,並設定於物體檢測裝置1。
又,從相機2到檢測對象的距離,或影像中所出現的檢測對象的大小,以如下方式推定。
如圖12所示的,當設置於天花板9的相機2拍攝下方的攝影區域時,若相機2的透鏡為窄角透鏡,則在影像的中心附近與周邊部位從相機2到檢測對象的距離沒有什麼變化。
圖13,係使用窄角透鏡時相機2所拍攝的影像的一例。在此,由於相機2的設置高度、作為檢測對象的人(例如成人)的標準身高、就座時檢測對象的高度為已知,故設計者,可根據該等資訊將從相機2到檢測對象的距離決定在某種程度的範圍內。
然後,若從相機2到檢測對象的距離可知,則根據作為檢測對象的人(例如成人)的標準大小,以及相機2的畫素數、視角或透鏡倍率等的已知資料,設計者便可推定出影像中所出現之檢測對象的大小。
在圖12的例子中,相機2係設置於天花板9,惟亦可將相機2安裝於牆壁上,此時相機2對檢測對象係從横方向拍攝。
圖15,係以設置於牆壁上的相機2所拍攝之影像的一例。此時由於從相機2到檢測對象X1、X2的距離無法指定,故設計者將檢測出檢測對象的位置設定在某一範圍內,並將從相機2到該位置的距離,當作到檢測對象的距離設定。
當以上述方式推定影像中所出現之檢測對象的大小時,設計者將在檢測對象的移動方向上的區塊C的寬度尺寸,設定成在移動方向上的檢測對象 的寬度尺寸的(1/z)倍以上且1倍以下的尺寸。
又,當如圖15那樣相機2設置於牆壁上,且在影像內作為檢測對象的人物朝左右方向移動時,與在拍攝位於離開既定距離之位置的人物時於影像內所出現的人物影像的横向寬度相當的尺寸,被設定當作在移動方向上的檢測對象的寬度尺寸。
另外,當如圖12那樣相機2設置於天花板,且在影像內人物朝任意方向移動時,包圍影像內所出現之人物影像的矩形區域的一邊長度,被設定當作在移動方向上檢測對象的寬度尺寸。
另外,變數z,係在判定移動區域或停止區域時所使用的差分影像的張數。例如當判定所使用的差分影像的張數為4張時,在移動方向上的區塊C的寬度尺寸,設定為在移動方向上的檢測對象的寬度尺寸的(1/4)倍以上且1倍以下。
在此,根據以下的理由,區塊C的大小,宜設定為在移動方向上的檢測對象的寬度尺寸的(1/4)倍以上且1倍以下。
當比起影像的取樣率而言,檢測對象的移動速度較快時(亦即在連續拍攝的影像之間檢測對象的重疊部分變少時),為了製作用於判定的z張差分影像,在影像取得部3所取得的(z+1)張濃淡影像中,檢測對象的影像存在的區塊的數目變少。因此,只有背景區塊的數目增加,連續拍攝的影像的差分值變小,會有檢測遺漏發生的可能性。
另一方面,當比起影像的取樣率而言,檢測對象的移動速度較慢時(亦即在連續拍攝的影像之間檢測對象的重疊部分變多時),在連續拍攝的影像之間檢測對象變成幾乎停滯在相同位置。因此,為了製作用於判定的z張差分影像,影像取得部3所取得的(z+1)張濃淡影像變成彼此相似的影像,差分值變小,還是會有檢測遺漏發生的可能性。
另外,當在移動方向上的區塊C的寬度尺寸比上述的設定範圍更大時,在區塊C內背景所佔比例增加,差分值變小,故會有檢測遺漏發生的可能性。
另外,當在移動方向上的區塊C的寬度尺寸比上述的設定範圍更小時,各個區塊C變成較狹窄區域的影像,為了製作用於判定的z張差分影像,在影像取得部3所取得的(z+1)張濃淡影像中,各區塊C變成彼此相似的圖案。因此差分值變小,會有檢測遺漏發生的可能性。
根據以上所述的,在移動中的檢測對象存在的區塊當中欲將其判定為移動區域的區塊C,宜以用來判定係移動區域或是停止區域的畫素數的幾乎全部變成檢測對象的時序為一至數個圖框(2或3個圖框)左右的方式,設定區塊C的大小。
由於實際上檢測對象的速度並非一定,且如上所述的根據從相機到檢測對象的距離、透鏡的視角以及影像中的檢測對象的位置等因素,影像中的檢測對象的大小也會有所變化,故無法唯一地決定區塊C的大小,然而若將在檢測對象的移動方向上的區塊C的寬度尺寸,設定為在移動方向上的檢測對象的寬度尺寸的(1/z)倍以上且1倍以下,則檢測對象存在的區塊的其中任一區塊會被判定為移動區域,此由實驗結果可知。
藉由將區塊的大小設定成該等大小,則無論檢測對象的移動速度為低速或是高速,均可防止檢測遺漏,並確實地檢測出檢測對象。
在此,圖16係表示濃淡影像的一例,圖17係表示判定每個區塊為移動區域或是停止區域的判定結果。圖16、圖17係在牆壁上設置相機2時的影像,由於檢測對象X2站立於比檢測對象X1更靠近相機2的位置,故在影像內檢測對象X2的大小比檢測對象X1更大。由於區塊C的大小係配合檢測對象X1而設定,故檢測對象X1整體被檢測當作一個移動區域D1。相對於此,由於檢測對象X2的大小比檢測對象X1更大,故與檢測對象X2相比區塊的大 小相對較小,因此與檢測對象X2對應的移動區域D2以分割的形狀被檢測出。
又,當相機2的透鏡為廣角透鏡時,如圖14所示的在影像的中心附近與周邊部位,影像所出現之檢測對象的大小不同,故亦宜使區塊的大小在影像的中心附近與周邊部位不同。
另外,在上述的說明中,係將差分影像在横方向以及縱方向上分別複數分割以產生區塊之後,再判定各區塊係移動區域或是停止區域,惟亦可先將濃淡影像A1、A2分別在横方向以及縱方向上複數分割以產生區塊。然後,對位於相同位置的每個區塊,求出對應的畫素的差分值,並根據差分值在閾值以上的畫素數判定係移動區域或是停止區域,這樣也是可以。
如上所述的,當利用判定部4b進行係移動區域或是停止區域的判定時,物體檢測部4c,在被判定為移動區域的一個乃至複數個區塊之中,將連續的區塊統整為一個區塊並當作檢測對象區域,並抽出一個乃至複數個檢測對象區域。然後,物體檢測部4c,將各個檢測對象區域,當作作為檢測對象的移動物體存在的區域抽出(圖2的步驟S4)。
另外,被判定部4b判定為停止區域的區域,分為檢測對象不存在的背景區域,以及檢測對象雖存在但該檢測對象為靜止的靜止區域。因此,為了正確地檢測出檢測對象,必須從停止區域抽出靜止區域,並檢測出靜止的檢測對象(例如人或車)。
一般而言從停止區域檢測出靜止的人或車是很困難的,故本實施態樣的物體檢測裝置1,著眼於在移動的檢測對象變得不再移動的過程中移動區域在時間上的變化,從該變化檢測出靜止區域。
亦即,物體檢測裝置1,檢測出在過去的某個時點為移動區域的部分於現時點變得不再是移動區域這樣的變化,藉此進行靜止區域(靜止物體) 的抽出與追蹤,以下說明該具體方法。
物體檢測部4c,在被判定部4b判定為移動區域的一個乃至複數個區塊之中,將連續的區塊分別當作一個檢測對象區域。
每次影像取得部3從相機2取得影像,判定部4b便進行移動區域與停止區域的判定處理,同時物體檢測部4c進行檢測出檢測對象的處理。亦即,在步驟S5中,從前次所求出的檢測對象區域與本次所求出的檢測對象區域的關係,選擇將前次檢測對象區域就這樣沿用並將本次檢測對象區域刪除,或是採用本次檢測對象區域,作為靜止物體存在的區域。
在此,若以下所述的條件1、條件2、條件3的其中任一項成立,則物體檢測部4c便判斷前次檢測對象區域中所存在的檢測對象為靜止。然後,物體檢測部4c,將本次所求出的檢測對象區域刪除,將前次所求出的檢測對象區域判定為檢測對象存在的靜止區域,藉此追蹤靜止物體。
在此,條件1係指,本次所求出的檢測對象區域包含於前次所求出的檢測對象區域內。條件2係指,本次所求出的檢測對象區域與前次所求出的檢測對象區域重疊,且相對於前次所求出的檢測對象區域之面積的本次所求出的檢測對象區域之面積的比率比既定的閾值更小。條件3係指,在本次所求出的檢測對象區域與前次所求出的檢測對象區域重疊部分完全不存在。
亦即,物體檢測部4c,若存在本次所求出的檢測對象區域包含於前次所求出的檢測對象區域內的情況(條件1),或是,本次檢測對象區域與前次檢測對象區域重疊、且相對於前次檢測對象區域之面積的本次檢測對象區域之面積的比率比既定的閾值更小的情況(條件2),或是,在本次檢測對象區域與前次檢測對象區域重疊部分完全不存在的情況(條件3)的其中任一項,便判斷檢測對象為靜止,並將前次檢測對象區域當作探索物體(檢測對象)存在的區域。
思考例如圖5(a)、(b)所示的在前次與本次檢測對象區域發生變化的情況。圖5(a)係表示前次所檢測到的檢測對象區域D1、E1,圖5(b)係表示本次所檢測到的檢測對象區域D2、E2。
該檢測例係本次檢測對象區域D2、E2與前次檢測對象區域D1、E1分別重疊,且相對於前次檢測對象區域D1、E1的面積的本次檢測對象區域D2、E2的面積的比率比既定的閾值更小。
吾人認為這是因為在前次檢測對象區域D1、E1中所存在的檢測對象剎車,該檢測對象的變動部位變少的關係,故物體檢測部4c,將前次檢測對象區域D1、E1,判定為檢測對象存在的靜止區域,並將該區域沿用,同時將本次的檢測所得到的檢測對象區域D2、E2刪除。
接著,以下說明追蹤移動物體的步驟S6~S14的處理。
物體檢測部4c,在前次所求出的檢測對象區域與本次所求出的檢測對象區域重疊時,判斷同一檢測對象存在。
然後,物體檢測部4c,根據是否判斷在前次所求出的檢測對象區域中所存在的檢測對象為靜止,變更從前次以及本次檢測對象區域求出檢測對象的現在位置用的判定條件。另外物體檢測部4c,當判斷在前次所求出的檢測對象區域中所存在的檢測對象並非靜止時,因應表示檢測對象之動態的參數,變更從前次以及本次檢測對象區域求出檢測對象的現在位置用的判定條件。
至於具體以何種方式使該判定條件變化,以下參考具體例進行說明。
又,表示檢測對象之動態的參數係指例如檢測對象的速度。物體檢測部4c,求出檢測對象存在的檢測對象區域的重心位置,並從該重心位置在時間上的變化求出檢測對象的速度。
首先,物體檢測部4c,判定與本次所求出的檢測對象區域F2重疊的前次檢測對象區域係一個,或是複數個(圖2的步驟S6)。
如圖6所示的,若本次所求出的檢測對象區域F2僅與前次所求出的檢測對象區域(第1檢測對象區域)F1重疊,而未與前次所求出的其他檢測對象區域(第2檢測對象區域)(圖中未顯示)重疊的話,則物體檢測部4c便判斷在檢測對象區域F1中所存在的檢測對象移動到了檢測對象區域F2中並加以追蹤(圖2的步驟S7)。
此時,物體檢測部4c,不管前次檢測到的檢測對象區域F1是移動區域還是靜止區域,判定檢測對象移動到了本次檢測到的檢測對象區域F2中。
另外在步驟S6中當判定前次所求出的檢測對象區域(第1檢測對象區域)F1a以及檢測對象區域(第2檢測對象區域)F1b分別重疊於本次所求出的檢測對象區域F2時(參照圖7~圖10),物體檢測部4c便判定在第1檢測對象區域F1a中所存在的第1檢測對象是否靜止(步驟S8)。
在此,若在第1檢測對象區域F1a中的第1檢測對象為靜止(步驟S8的Yes),則物體檢測部4c便判斷如圖7所示的第1檢測對象區域F1a中所存在的檢測對象留在第1檢測對象區域F1a中(步驟S9)。
另外,物體檢測部4c,當判斷在第1檢測對象區域F1a中所存在的第1檢測對象正在移動時(步驟S8的No),則判定在第2檢測對象區域F1b中所存在的第2檢測對象是否靜止(步驟S10)。
在此,若第2檢測對象正在移動(步驟S10的No),物體檢測部4c便比較第1檢測對象的速度V1與第2檢測對象的速度V2(步驟S11),並根據該結果判定移動到本次檢測對象區域F2中的檢測對象。
若第1檢測對象的速度V1比第2檢測對象的速度V2更快,物體檢測部4c,如圖8所示的,便判斷在前次檢測時於第1檢測對象區域F1a中所存在的第1檢測對象,移動到了本次檢測對象區域F2中(步驟S12)。
若第1檢測對象的速度(移動速度)V1在第2檢測對象的速度(移動速度)V2以下,則物體檢測部4c,如圖9所示的,便判斷在前次檢測時於第1檢測對象區域F1a中所存在的第1檢測對象留在第1檢測對象區域F1a中(步驟S13)。
另外物體檢測部4c,當在步驟S10判斷於第2檢測對象區域F1b中所存在的第2檢測對象為靜止之後,便判斷如圖10所示的在第1檢測對象區域F1a中所存在的第1檢測對象移動到了本次檢測對象區域F2中(步驟S14)。
總結以上的判定處理,若前次檢測對象區域(第1檢測對象區域)F1與本次檢測對象區域F2重疊,且本次檢測對象區域F2與前次的其它檢測對象區域(第2檢測對象區域)不重疊,則物體檢測部4c便判斷在檢測對象區域F1中所存在的檢測對象移動到了本次檢測對象區域F2。
另外,當判定本次檢測對象區域F2與前次的第1檢測對象區域F1a以及第2檢測對象區域F1b分別重疊,且在第1檢測對象區域F1a中所存在的檢測對象為靜止時,物體檢測部4c便判斷在第1檢測對象區域F1a中所存在的檢測對象留在第1檢測對象區域F1a。
另外,當判斷本次檢測對象區域F2與前次檢測對象區域(第1檢測對象區域)F1a以及檢測對象區域(第2檢測對象區域)F1b分別重疊,且在第1檢測對象區域F1a中所存在的第1檢測對象,與在第2檢測對象區域F1b中所存在的第2檢測對象,雙方均正在移動時,物體檢測部4c便進行以下的判定處理。
若第1檢測對象的速度V1比第2檢測對象的速度V2更快,則物體檢測部 4c便判斷第1檢測對象移動到了本次檢測對象區域F2中。若第1檢測對象的速度V1與第2檢測對象的速度V2相等或在其以下,則物體檢測部4c便判斷第1檢測對象留在第1檢測對象區域F1a中。
另外,當判斷本次檢測對象區域F2與前次檢測對象區域(第1檢測對象區域)F1a以及檢測對象區域(第2檢測對象區域)F1b分別重疊,而在第1檢測對象區域F1a中所存在的第1檢測對象正在移動,且判斷在第2檢測對象區域F2中所存在的第2檢測對象靜止時,物體檢測部4c便判斷第1檢測對象移動到了本次檢測對象區域F2中。
像這樣,物體檢測部4c,判斷在前次所求出的檢測對象區域中所存在的檢測對象是否靜止,並在非靜止時因應表示檢測對象之動態的參數(例如速度),變更從前次以及本次檢測對象區域求出檢測對象的現在位置用的判定條件,故可更詳細地判定檢測對象的位置。
另外,如圖11所示的,當在某個時點所抽出的檢測對象區域(第1檢測對象區域)G1中所存在的檢測對象g1為靜止,且該第1檢測對象區域G1與在其以後所抽出的檢測對象區域(第2檢測對象區域)H1的至少一部分在時刻T重疊時,物體檢測部4c進行以下的處理。
又,在圖11中於第2檢測對象區域H1的區域中所記載的文字,係表示第2檢測對象區域H1位於該位置時的時刻。圖11圖示出在時刻(T-2)、(T-1)、T、(T+1)、(T+2)第2檢測對象區域H1的位置,第2檢測對象區域H1隨著時間的經過從圖11的左上向右下移動。
在時刻T,移動過來的第2檢測對象區域H1的一部分與第1檢測對象區域G1重疊,物體檢測部4c,在第2檢測對象區域H1重疊之前的時刻(T-1)將第1檢測對象區域G1的影像當作樣板影像保持。
亦即,物體檢測部4c,當判斷在某個時點所求出的第1檢測對象區域G1 中所存在的檢測對象g1為靜止,且第1檢測對象區域G1與在其以後所求出的第2檢測對象區域H1的至少一部分重疊時,將在第2檢測對象區域H1重疊之前的第1檢測對象區域G1的影像當作樣板影像保持。
之後,物體檢測部4c,在第1檢測對象區域G1與第2檢測對象區域H1不再重疊的時點(時刻(T+2)),進行該時點的第1檢測對象區域G1的影像與樣板影像的匹配處理,求出兩者的相關值。
若該相關值比既定的判定值更高,則物體檢測部4c便判斷檢測對象g1係留在第1檢測對象區域G1內,若相關值比判定值更低,則物體檢測部4c便判斷檢測對象g1已經移動到第1檢測對象區域G1的外側。
藉此,物體檢測裝置1便可更正確地檢測出檢測對象的位置。
在以上述方式檢測出靜止物體(例如人體的靜止部位)與移動物體(例如人體的移動部位)之後,藉由比對靜止物體與移動物體雙方,便可更正確地檢測出檢測對象(例如人體)。
如以上所述的,本實施態樣的物體檢測裝置1具有以下的第1特徴。在第1特徴中,物體檢測裝置1具備:影像取得部3、差分影像製作部4a、判定部4b。影像取得部3依序取得既定的攝影區域的影像。差分影像製作部4a,求出由影像取得部3連續取得的影像的差分影像(例如兩張影像A1、A2的差分影像B1)。判定部4b,針對將差分影像B1在横方向以及縱方向上分別複數分割所形成的複數個區塊C的各區塊,判定其係移動中的檢測對象存在的移動區域,或是處於停止狀態的物體存在的停止區域。判定部4b,針對複數個區塊C的各區塊,根據構成該區塊C的複數個畫素的畫素值,判定該區塊C係移動區域或是停止區域。
另外,本實施態樣的物體檢測裝置1,除了第1特徴之外,更具有以下的第2~第5特徴的其中之一。另外,第2~第5特徴為任意特徴。
在第2特徴中,差分影像製作部4a,從影像取得部3連續取得的N張影像製作(N-1)張差分影像。判定部4b,將(N-1)張差分影像的各張影像在横方向以及縱方向上分別複數分割,產生横方向為m畫素,縱方向為n畫素的複數個區塊。判定部4b,針對在(N-1)張差分影像位於相同位置的區塊,將構成區塊的〔(N-1)×m×n〕個畫素的差分值,當作〔(N-1)×m×n〕維空間上的點處理。判定部4b,根據預先收集的學習用影像進行多重變量分析,求出將〔(N-1)×m×n〕維空間區分為移動檢測對象存在的空間與停止物體存在的空間的分界面。判定部4b,判定在〔(N-1)×m×n〕維空間中,表示構成區塊的〔(N-1)×m×n〕個畫素的差分值的點,相對於分界面位於哪一側,藉此判定區塊係位於移動區域或是停止區域。
在第3特徴中,判定部4b,針對複數個該區塊的各區塊,比較構成區塊的複數個畫素的差分值與既定閾值的高低,根據差分值超過閾值的畫素數,判定區塊係移動區域或是停止區域。
在第4特徴中,差分影像製作部4a,從影像取得部3連續取得的N張濃淡影像製作(N-1)張差分影像(N為2以上的整數)。判定部4b,將(N-1)張差分影像的各張影像在横方向以及縱方向上分別複數分割,產生横方向為m畫素,縱方向為n畫素的複數個區塊(m、n為2以上的整數)。判定部4b,分別比較構成在(N-1)張差分影像位於相同位置的區塊的〔(N-1)×m×n〕個畫素的差分值與既定閾值的高低,根據差分值超過閾值的畫素數的合計值,判定區塊係移動區域或是停止區域。
在第5特徴中,差分影像製作部4a,從影像取得部3連續取得的N張影像製作(N-1)張差分影像。判定部4b,將(N-1)張差分影像的各張影像在横方向以及縱方向上分別複數分割,產生横方向為m畫素,縱方向為n畫素的複數個區塊。判定部4b,針對(N-1)張差分影像的各張影像,分別比較構成區塊的(m×n)個畫素的差分值與既定閾值的高低,根據差分值超過閾值的畫素數,判定區塊係移動區域或是停止區域。判定部4b,根據針 對在(N-1)張差分影像位於相同位置的區塊判定在各個差分影像的對象區塊為移動區域或是停止區域的結果,對在(N-1)張差分影像中的對象區塊為移動區域或是停止區域作最終的判定。
另外,本實施態樣的物體檢測裝置1,具有以下的第6特徴。在第6特徴中,物體檢測裝置1,具備從被判定為移動區域的區域檢測出檢測對象的物體檢測部4c。物體檢測部4c,將在被判定為移動區域的一個乃至複數個區塊之中連續的區塊分別當作檢測對象區域。物體檢測部4c,若有本次所求出的檢測對象區域包含於前次所求出的檢測對象區域內的情況,或是,本次檢測對象區域與前次檢測對象區域重疊、且相對於前次檢測對象區域之面積的本次檢測對象區域之面積的比率比既定閾值更小的情況,或者,本次檢測對象區域與前次檢測對象區域重疊的部分完全不存在的情況的其中任一種情況,便判斷檢測對象為靜止,並將前次檢測對象區域當作檢測對象存在的區域。另外,第6特徴為任意特徴。
另外,本實施態樣的物體檢測裝置1,除了第6特徴之外,更具有以下的第7特徴。在第7特徴中,物體檢測部4c,若前次所求出的檢測對象區域與本次所求出的檢測對象區域重疊時,便判斷同一檢測對象存在。物體檢測部4c,因應是否判斷在前次所求出的檢測對象區域中所存在的檢測對象為靜止,或是當判斷並非靜止時因應表示檢測對象之動態的參數,變更從前次以及本次檢測對象區域求出檢測對象的現在位置用的判定條件。另外,第7特徴為任意特徴。
另外,本實施態樣的物體檢測裝置1,除了第7特徴之外,更具有以下的第8特徴。在第8特徴中,參數係檢測對象移動的速度。物體檢測部4c,根據檢測對象區域的重心位置在時間上的變化,算出檢測對象移動的速度。另外,第8特徴為任意特徴。
另外,本實施態樣的物體檢測裝置1,除了第6特徴之外,更具備下述的第9~第13特徴。另外,第9~第13特徴為任意特徴。
在第9特徴中,物體檢測部4c,若前次的第1檢測對象區域F1與本次檢測對象區域F2重疊,且本次檢測對象區域F2與前次的第2檢測對象區域不重疊,則判斷在第1檢測對象區域F1中所存在的檢測對象,移動到了本次檢測對象區域F2。
在第10特徴中,物體檢測部4c,在判定本次檢測對象區域F2與前次的第1檢測對象區域F1a以及第2檢測對象區域F1b分別重疊,且在第1檢測對象區域F1a中所存在的檢測對象為靜止時,便判斷在第1檢測對象區域F1a中所存在的檢測對象留在第1檢測對象區域F1a中。
在第11特徴中,物體檢測部4c,在判斷本次檢測對象區域F2與前次的第1檢測對象區域F1a以及第2檢測對象區域F1b分別重疊,且在第1檢測對象區域F1a中所存在的第1檢測對象與在第2檢測對象區域F1b中所存在的第2檢測對象雙方均移動的情況下,若第1檢測對象的速度比第2檢測對象的速度更快,便判斷第1檢測對象移動到了本次檢測對象區域F2中。物體檢測部4c,在判斷本次檢測對象區域F2與前次的第1檢測對象區域F1a以及第2檢測對象區域F1b分別重疊,且在第1檢測對象區域F1a中所存在的第1檢測對象與在第2檢測對象區域F1b中所存在的第2檢測對象雙方均移動的情況下,若第1檢測對象的速度與第2檢測對象的速度相等或在其以下,便判斷第1檢測對象留在第1檢測對象區域F1a中。
在第12特徴中,物體檢測部4c,在判斷本次檢測對象區域F2與前次的第1檢測對象區域F1a以及第2檢測對象區域F1b分別重疊,且在第1檢測對象區域F1a中所存在的第1檢測對象正在移動,並判斷在第2檢測對象區域F1b中所存在的第2檢測對象處於靜止狀態的情況下,便判斷第1檢測對象移動到了本次檢測對象區域F2中。
在第13特徴中,物體檢測部4c,當判斷在某個時點所求出的第1檢測對象區域G1中所存在的檢測對象g1靜止,且第1檢測對象區域G1與在其以後 所求出的第2檢測對象區域H1的至少一部分重疊時,將在第2檢測對象區域H1重疊之前的第1檢測對象區域G1的影像當作樣板影像保持。物體檢測部4c,在第1檢測對象區域G1與第2檢測對象區域H1不再重疊的時點,進行該時點的第1檢測對象區域G1的影像與樣板影像的匹配處理,求出兩者的相關值。物體檢測部4c,在相關值比既定判定值更高時,便判斷檢測對象留在第1檢測對象區域G1中。物體檢測部4c,在相關值比判定值更低時,便判斷檢測對象移動到第1檢測對象區域G1的外側。
若根據以上所述的本實施態樣的物體檢測裝置1,判定部4b,針對將差分影像複數分割所生成的各區塊,根據構成該區塊的複數個畫素的畫素值,判定該區塊為移動區域或是停止區域。
當從圖框間差分或背景差分所得到的差分影像抽出移動物體(例如人物)時,若檢測對象的人物穿著與背景近似顏色的衣服,則人物會以分割成複數個區域的形態被檢測出,而需要將複數個分割區域連接的處理。相對於此,在本實施態樣中,係對每個區塊判定其為移動區域或是停止區域,故不需要將複數個分割區域連接的處理,而能夠減輕影像處理的負荷。
另外,當從構成各區塊的複數個畫素的畫素值的代表值(例如平均值),判定各區塊為移動區域或是停止區域時,若受到雜訊等的影響一部分的畫素值有所變動,而因此代表值有所變化,則會有判定錯誤的可能性。相對於此,在本實施態樣中,判定部4b,根據複數個畫素的畫素值,以區塊為單位判定其為移動區域或是停止區域。因此,判定部4b,即使受到雜訊等的影響而一部分的畫素值有所變動,由於係根據未受到雜訊等的影響的大部分的畫素值進行判定,故可降低錯誤判定的可能性。
另外,即使構成各區塊的複數個畫素的畫素值的代表值相同,構成區塊的複數個畫素的畫素值也可能會不同,當僅從代表值來判定該區塊為移動區域或是停止區域時,會有判定錯誤的可能性。相對於此,在本實施態樣中,判定部4b,由於係根據構成區塊的複數個畫素的畫素值,來判定該 區塊為移動區域或是停止區域,故可降低錯誤判定的可能性。
(實施態樣2)
本實施態樣的物體檢測裝置1,具備圖18所示的攝影裝置10作為相機2。另外,本實施態樣的物體檢測裝置1,與實施態樣1同樣,具備影像取得部3、計算處理部4、影像記憶體5、輸出部6。亦即,本實施態樣主要係關於攝影裝置10。另外,關於影像取得部3、計算處理部4、影像記憶體5、輸出部6,其說明省略。
自以往,在為了影像記錄或各種影像處理而拍攝影像(動態影像或靜止影像)的攝影裝置中,通常,會進行曝光量的調整,使影像的曝光量(明亮度)收斂在適當的範圍內(例如,參照文獻3〔日本公開專利公報第2009-182461號〕)。
另外,當被拍攝體的明亮度較大且劇烈地變化時,攝影裝置的曝光量無法隨之調整,影像的一部分或全部就會變成全白或全黑。尤其,在以配合時移記錄或影像處理此等使用目的之圖框率進行拍攝的攝影裝置中,需要調整急遽變化之曝光量的圖框數較多,故會有無法適應使用目的之狀況發生。
另一方面,在圖框率較高的攝影裝置中,即使需要調整曝光量的圖框數相同,不適當的曝光狀態的影像所拍攝的時間仍可大幅地縮短。然而,由於圖框率越高,攝影元件的電荷累積時間越短,故在低照度下曝光量容易不足。另外,由於讀取攝影元件的累積電荷的周期變短,故會有電荷讀取用的電路的動作頻率變高,導致消耗電力或發熱量增大這樣的問題存在。
有鑑於上述問題,本實施態樣之目的在於抑制消耗電力或發熱量的增大,同時提高曝光量調整的響應性能。
以下,參照圖式詳細說明本實施態樣的攝影裝置10。本實施態樣的攝 影裝置10如圖18所示的具備:攝影元件11、相當於光控制機構的光學區塊12、影像生成部13、調整部14等。
攝影元件11,係具有各自累積電荷的複數個畫素,並將各畫素所累積的電荷量轉換成畫素值輸出的構件,例如,由CCD影像感測器或CMOS影像感測器等的固體攝影元件所構成。另外,該攝影元件11搭載了使電荷累積時間可變的所謂電子快門的功能。
光學區塊12,係將透鏡120、光圈121或光衰減濾光器122等的光學構件收納於框體123內所構成,以透鏡120集中的光通過光圈121的開口,再以光衰減濾光器122使光衰減並射入攝影元件11。光圈121,例如,由複數張光圈葉片所構成,使各光圈葉片的重疊情況變化以增減開口徑,藉此控制通過的光之大小。光衰減濾光器122,由透光型的液晶面板所構成,使液晶面板的透光率變化,藉此控制通過的光之大小(在攝影元件11中供光電轉換的光之大小)。
影像生成部13,以既定的圖框率從攝影元件11讀取畫素值,且對所讀取的畫素值進行放大等的信號處理並於每一圖框率(=1/T11)產生一個圖框的影像P1、P2...(參照圖19)。其中,攝影元件11,根據來自影像生成部13的指示,將各畫素所累積的電荷量轉換成畫素值輸出。
調整部14,以數值評估在一個圖框的影像Pn(n=1、2...)中的畫素值的一部分或是全部,控制光學區塊12的光圈121或光衰減濾光器122、攝影元件11的電荷累積時間、影像生成部13的放大程度等並調整畫素值,使該評估值收斂在既定的適當範圍內。另外,評估值以數值定義。評估值,例如,可為將攝影元件11的全部畫素的畫素值平均的平均值,或是,在攝影元件11的全部畫素的畫素值之中最高(最大)的畫素值。另外,評估值的適當範圍,可設定在因應評估值的種類(平均值或最大畫素值)的範圍內。
更詳細地說明調整部14的動作。另外,圖20~圖22的横軸表示時間, 縱軸表示評估值,影線的範圍表示評估值的適當範圍。
例如,如圖21所示的當影像P4的評估值增大到前一個圖框的影像P3的評估值的2倍並超過適當範圍的上限時,調整部14,控制光圈121或是光衰減濾光器122的至少其中一方,或是攝影元件11的電荷累積時間,使入射到攝影元件11的光之大小減半。結果,便可使下一圖框的影像P5的評估值收斂在適當範圍內。
然而,如圖22所示的當影像P4的評估值到達畫素值的上限值並已經飽和時,調整部14,例如,控制光圈121以及光衰減濾光器122,使入射到攝影元件11的光量減小,同時縮短攝影元件11的電荷累積時間,使畫素值減小。結果,下一圖框的影像P5的評估值有可能會低於適當範圍的下限。
然後,當影像P5的評估值低於適當範圍的下限時,調整部14,控制光圈121以及光衰減濾光器122,使入射到攝影元件11的光量增加,同時延長攝影元件11的電荷累積時間,使畫素值增大。結果,下一圖框的影像P6的評估值有可能會稍微高於適當範圍的上限。
當影像P6的評估值稍微高於適當範圍的上限時,調整部14,控制光圈121或是光衰減濾光器122的至少其中一方,使入射到攝影元件11的光量減小。結果,便可使下一圖框的影像P7的評估值收斂在適當範圍內。另外,亦可與光圈121或光衰減濾光器122或是攝影元件11的電荷累積時間一起,或是取而代之,藉由調整影像生成部13的畫素值的放大程度,使畫素值增減。
當像這樣評估值大幅且急遽地變化時,為了使評估值收斂在適當範圍內,需要數個圖框份量的調整期間(例如,在圖22的例子中為T11×3的時間)。然後,在該調整期間中,影像生成部13所生成的影像P5、P6,可能會變成畫面太亮,或相反的畫面太暗,這樣的不適當的影像。
於是,當影像P4的評估值從適當範圍偏離到既定位準以上時,調整部14,控制影像生成部13,將其變動為以比圖框率(通常圖框率)(=1/T11)更高的調整用圖框率(=1/T12,T12≪T11)產生影像P41、P42...的調整模式(參照圖19)。
另外,既定位準,例如,設定為適當範圍的上限值的4倍以及適當範圍的下限值的4分之1。其中,既定位準的值並不限於此,例如,當畫素值以8位元(256位階)的數位值表示時,亦可將畫素值在128以上或在8以下當作既定位準。
然後,即使如上所述的影像P4的評估值到達畫素值的上限值並飽和,且直到調整部14將評估值收斂到適當範圍內為止需要3個圖框份量的調整期間,調整期間也會變成T12×3(≪T11×3)而大幅地縮短(參照圖20)。
然後,若在調整模式中所生成的影像P43的評估值收斂到適當範圍內,調整部14便使影像生成部13從調整模式回歸到通常模式(圖框率為1/T11的模式)。因此,比起如習知技術所說明的將通常模式中的圖框率提高的情況而言,更可使電力消耗增加的調整模式的期間(調整期間)在極短時間內結束,故可抑制消耗電力或發熱量的增大,同時提高曝光量調整的響應性能。
像這樣,調整部14,使影像生成部13,以圖框率設定為通常圖框率(=1/T11)的通常模式,以及圖框率設定為比通常圖框率更高的調整用圖框率(=1/T12)的調整模式的其中一種模式運作。然後,調整部14,當以該圖框率生成的影像的評估值從適當範圍偏離到既定位準以上時,便將影像生成部13變動為以比圖框率(通常圖框率)更高的調整用圖框率產生影像的調整模式,在影像生成部13以調整用圖框率產生影像之後,使其回歸到以圖框率(通常圖框率)產生影像的通常模式。調整部14,若在調整模式中所生成的影像的評估值收斂到適當範圍內,便使影像生成部13從調整模式回歸到通常模式。
另外,當在影像生成部13中的圖框率暫時變高時,其與顯示攝影裝置所拍攝的影像的顯示裝置或對所拍攝之影像進行影像處理的影像處理裝置等的接收側的裝置之間可能會發生整合不良的情況。因此,若接收側的裝置可容許圖框的欠缺遺落(掉框),則影像生成部13不將在調整模式中所生成的影像輸出到外部去會比較好。
另一方面,當接收側的裝置不容許圖框的欠缺遺落時,在調整模式中,影像生成部13仍必須以與在通常模式時相同的圖框率輸出影像。因此,吾人期望:調整部14,若在調整模式中所生成的影像到達既定的圖框數(在與通常模式的圖框周期T11相同的時間內可生成的圖框數),便使影像生成部13從調整模式回歸到通常模式。
例如,假設通常模式的圖框率為30fps(圖框/每秒),調整模式的調整用圖框率為120fps,若在調整模式中產生3個圖框的影像之後回歸到通常模式,便可用30fps的圖框率輸出影像。
或者,亦可取代計算在調整模式所生成的影像的圖框數,當從變動為調整模式的時點開始的經過時間到達既定時間(與通常模式的圖框周期T11相同的時間)時,調整部14使影像生成部13從調整模式回歸到通常模式。亦即,調整部14,亦可在從變動為調整模式的時點開始的經過時間到達既定時間之後,使影像生成部13從調整模式回歸到通常模式。
在此,於調整模式中,影像生成部13從攝影元件11讀取畫素值的時間比在通常模式時更短。因此,當在調整模式中影像生成部13對外部不輸出影像時,調整部14,在調整模式中,宜控制影像生成部13僅讀取攝影元件11的一部分的畫素的畫素值。
例如,調整部14,只要使影像生成部13僅讀取如圖23所示的在攝影元件11的複數個畫素之中除了周邊部分以外的中央矩形範圍內的畫素的畫素 值即可。或者,使影像生成部13隔著間隔讀取如圖24所示的縱横並排的畫素的畫素值。若像這樣在調整模式中,調整部14控制影像生成部13使其僅讀取攝影元件11的一部分畫素的畫素值,便可在不提高影像生成部13的動作頻率的情況下,輕易地從通常模式的圖框率提高到調整用圖框率。
另外,當從通常模式變動為調整模式時,由於攝影元件11的電荷累積時間的最大值會縮小(變短),故在變動之前於通常模式所設定的電荷累積時間,有時在變動後的調整模式並無法實現。
例如,在變動後的調整模式中,減少為在通常模式所設定的電荷累積時間除以調整模式的電荷累積時間的最大值所得到的值(商)(參照圖25)。
因此,為了在通常模式與調整模式將低照度時的評估值維持在相同程度,必須調整電荷累積時間以外的參數,補償伴隨著電荷累積時間的減小之畫素值的減少部分。此時,由於比起調整光圈121以及光衰減濾光器122時的響應性能而言,調整影像生成部13的放大程度時的響應性能更優異,故宜調整影像生成部13的放大程度以補償畫素值。
然後,調整部14,當在通常模式中所調整的電荷累積時間超過在調整模式中的電荷累積時間的上限值時,宜將在調整模式中的電荷累積時間設定成上限值,控制光學區塊12或影像生成部13,變更電荷累積時間以外的參數,調整畫素值。例如,只要以成為在通常模式所設定的電荷累積時間除以調整模式的電荷累積時間的最大值所得到的值的倒數的比率的方式,在變動為調整模式時使放大程度增大即可。
另外,當在調整模式中電荷累積時間的最大值降低部分以影像生成部13的放大程度補償時,應將放大程度的上限,設定成比在通常模式中的放大程度的上限更高的數值。例如,當假設在通常模式中的電荷累積時間的最大值為在調整模式中的電荷累積時間的最大值的4倍時,只要將在調整模式中的放大程度的上限設定成在通常模式中的放大程度的4倍即可(參照圖 26)。若像這樣,便可在通常模式與調整模式將低照度時的評估值維持在相同程度。
另外,當從調整模式回歸到通常模式時,有時在調整模式的電荷累積時間的上限以及放大程度的上限中所設定的電荷累積時間以及放大程度在通常模式會不適當。因此,當回歸到通常模式時,調整部14,應在通常模式的電荷累積時間的上限以及放大程度的上限中決定適當的電荷累積時間與放大程度,並配合所決定的電荷累積時間與放大程度調整其他參數(光圈121以及光衰減快門122)。例如,調整部14,在回歸到通常模式之後控制光學區塊12以再度調整電荷累積時間。調整部14,當再度調整的電荷累積時間與在調整模式中的最後電荷累積時間不同時,控制光學區塊12或是影像生成部13並變更電荷累積時間以外的參數以調整畫素值。
如以上所述的,在本實施態樣中的攝影裝置10具備:攝影元件11、光控制機構(光學區塊12)、影像生成機構(影像生成部13)、調整機構(調整部14)。攝影元件11,具有各自累積電荷的複數個畫素,並將各畫素所累積的電荷量轉換成畫素值輸出。光控制機構(光學區塊12),控制在攝影元件11中供光電轉換的光之大小。影像生成機構(影像生成部13),以既定的圖框率從攝影元件11讀取畫素值,且從讀取的畫素值以該圖框率產生影像。調整機構(調整部14),以用數值定義在一個圖框的影像中的畫素值的一部分或是全部的評估值進行評估,控制光控制機構(光學區塊12)或是影像生成機構(影像生成部13)的至少其中一方以調整畫素值,使該評估值收斂在既定的適當範圍內。調整機構(調整部14),當以該圖框率生成的影像的評估值從適當範圍偏離到既定位準以上時,使影像生成機構(影像生成部13)變動為以比圖框率(通常圖框率)更高的調整用圖框率產生影像的調整模式,在影像生成機構(影像生成部13)以調整用圖框率產生影像之後,使其回歸到以圖框率(通常圖框率)產生影像的通常模式。
亦即,本實施態樣的物體檢測裝置1,除了上述的第1特徴之外,更具有以下的第14特徴。另外,本實施態樣的物體檢測裝置1,亦可選擇性地具 有上述的第2~第13特徴。
在第14特徴中,物體檢測裝置1具備攝影裝置10作為相機2(參照圖1)。攝影裝置10具備:攝影元件11、光控制機構(光學區塊12)、影像生成機構(影像生成部13)、調整機構(調整部14)。攝影元件11,具有各自累積電荷的複數個畫素且將各畫素所累積的電荷量轉換成畫素值輸出。光控制機構(光學區塊12),控制在攝影元件11中供光電轉換的光之大小。影像生成機構(影像生成部13),以既定的圖框率從攝影元件11讀取畫素值,且從讀取的畫素值以該圖框率產生影像。調整機構(調整部14),以用數值定義在一個圖框的影像中的畫素值的一部分或是全部的評估值進行評估,控制光控制機構(光學區塊12)或是影像生成機構(影像生成部13)的至少其中一方以調整畫素值,使該評估值收斂在既定的適當範圍內。調整機構(調整部14),當以該圖框率生成的影像的評估值從適當範圍偏離到既定位準以上時,使影像生成機構(影像生成部13)變動為以比圖框率(通常圖框率)更高的調整用圖框率產生影像的調整模式,在影像生成機構(影像生成部13)以調整用圖框率產生影像之後,使其回歸到以圖框率(通常圖框率)產生影像的通常模式。
另外,本實施態樣的物體檢測裝置1,除了第14特徴之外,亦可具有以下的第15~第17特徴的其中任一特徴。
在第15特徴中,調整機構(調整部14),當在調整模式中所生成的影像的評估值收斂到適當範圍內時,便使影像生成機構(影像生成部13)從調整模式回歸到通常模式。
在第16特徴中,調整機構(調整部14),當在調整模式中所生成的影像到達既定的圖框數時,便使影像生成機構(影像生成部13)從調整模式回歸到通常模式。
在第17特徴中,調整機構(調整部14),當從變動為調整模式的時點開 始的經過時間到達既定時間時,便使影像生成機構(影像生成部13)從調整模式回歸到通常模式。
另外,本實施態樣的物體檢測裝置1,更可選擇性地具有以下的第18~第22特徴。
在第18特徴中,調整機構(調整部14),當在通常模式中控制光控制機構(光學區塊12)而調整的電荷累積時間超過在調整模式中的電荷累積時間的上限值時,將在調整模式中的電荷累積時間設定成上限值,控制光控制機構(光學區塊12)或是影像生成機構(影像生成部13),變更電荷累積時間以外的參數,以調整畫素值。
在第19特徴中,調整機構(調整部14),在回歸到通常模式之後,控制光控制機構(光學區塊12),再度調整電荷累積時間。調整機構(調整部14),當再度調整的電荷累積時間與在調整模式中的最後電荷累積時間不同時,控制光控制機構(光學區塊12)或是影像生成機構(影像生成部13),變更電荷累積時間以外的參數,以調整畫素值。
在第20特徴中,調整機構(調整部14),在調整模式中,當控制影像生成機構(影像生成部13)增減使畫素值放大時的放大程度時,使放大程度的上限比在通常模式中的放大程度的上限更高。
在第21特徴中,影像生成機構(影像生成部13),不將在調整模式中所生成的影像輸出到外部去。
在第22特徴中,調整機構(調整部14),在調整模式中,控制影像生成機構(影像生成部13)僅讀取攝影元件11的一部分畫素的畫素值。
如以上所述的,在本實施態樣的攝影裝置10以及物體檢測裝置1中,比起提高在通常模式中的圖框率的情況而言,電力消耗增加的調整模式的期 間(調整期間)可在極短時間內結束,故具有可抑制消耗電力或發熱量增大同時提高曝光量調整的響應性能這樣的功效。
(實施態樣3)
本實施態樣的物體檢測裝置1,具備圖27所示的攝影裝置21作為相機2。另外,本實施態樣的物體檢測裝置1具備與實施態樣1的影像處理裝置同樣的物體檢測裝置22。亦即,本實施態樣主要係關於攝影裝置21。
以往,有文獻揭示一種照明系統,其具備:拍攝控制區域的影像的影像感測器;從影像感測器所拍攝的影像資訊指定在控制區域中所存在的人物的位置的計算部;以及根據計算部的計算結果控制光源的點亮的控制部(參照例如文獻4〔日本公開專利公報第2011-108417號〕)。計算部,求出影像感測器所拍攝的影像的圖框之間的差分,藉此求出在圖框之間亮度值發生變化的畫素,進而求出欲處理對象亦即人物所在的位置。
一般所使用的影像感測器,由於係為了使該影像為吾人所觀察而使用,故當因為某種原因而被拍攝體的亮度發生變化時,會迅速地進行自動調整曝光量的曝光調整,使被拍攝體的亮度與既定的亮度範圍一致。
在上述的照明系統中,由於係藉由求出影像感測器所拍攝的影像的圖框之間的差分以指定人物的位置,故當曝光調整使圖框之間的曝光量發生變化時,在圖框之間各畫素的亮度值會發生變化,人物的檢測可能會無法正確地進行。
有鑑於上述問題,本實施態樣之目的在於降低當攝影區域的明亮度發生變化時調整影像的亮度值的處理對影像處理所造成的影響。
攝影裝置21,係拍攝預先設定之攝影區域的影像的構件。該攝影裝置21,如圖27所示的,具備:攝影部211、放大部212、曝光調整部213、控制部214。
攝影部211具備:例如CCD影像感測器或CMOS影像感測器的固體攝影元件;使來自攝影區域的光集中到固體攝影元件的透鏡;以及將固體攝影元件的類比輸出信號轉換成數位影像信號(影像資料)的A/D轉換器等。攝影部211,以既定的圖框率拍攝後述的照明器具24的照明範圍,將該照明範圍的影像資料隨時輸出到放大部212。另外,從攝影部211所輸出的影像資料,係由各畫素的明亮度以黑白的濃淡(例如256階色調)表現的黑白濃淡影像的影像資料所構成。
放大部212,將攝影部211所輸出的影像資料的亮度值在每個畫素放大並輸出到外部(在本實施態樣中為物體檢測裝置22)去。
曝光調整部213,使攝影部211的曝光時間變化,藉此調整曝光條件。另外,當攝影部211具備可調整F值(光圈)的光圈機構時,曝光調整部213可控制光圈機構,使F值變化,藉此控制曝光條件,亦可使曝光時間與F值雙方均變化,藉此控制曝光條件。
控制部214,將攝影部211的複數個畫素的亮度值平均,並將該平均值當作亮度評估值求出,以使該亮度評估值與既定的目標值一致的方式,調整曝光調整部213的曝光條件(在本實施態樣中為曝光時間)以及放大部212的放大率。
控制部214,為了使亮度評估值與既定的目標值一致,可使曝光條件與放大率雙方均變化,惟亦可僅使曝光條件變化,藉此調整亮度評估值,或是僅使放大率變化,藉此調整亮度評估值。
另外控制部214,將在評估對象區域中所包含的複數個畫素的亮度值的平均值當作亮度評估值求出,惟亦可將評估對象區域複數分割並各別求出平均值,然後對其進行統計處理以求出亮度評估值。另外控制部214,亦可實施平均處理以外的統計處理,藉此求出代表複數個畫素的亮度值的亮度 評估值。
另外,控制部214,亦具備切換攝影部211拍攝影像之周期(圖框率)的功能。在本實施態樣中,控制部214可將圖框率切換成5fps(frame per second)或是13.3fps其中之一,通常係將圖框率設定成5fps。
該攝影裝置21,使用於如圖27所示的負載控制系統(照明控制系統)。該負載控制系統具備:上述的攝影裝置21、物體檢測裝置22、照明控制裝置23、照明器具24。
在該負載控制系統中,攝影裝置21,設置在照明器具24的照明空間的上方(例如天花板),拍攝俯瞰下方的照明空間的影像。
物體檢測裝置22,根據攝影裝置21所拍攝的影像檢測出在檢測區域(亦即照明器具24的照明空間)中檢測對象(例如人)是否存在,並將該檢測結果輸出到照明控制裝置23。照明控制裝置23,在人存在的檢測結果從物體檢測裝置22輸入時將照明器具24點亮,在人不存在的檢測結果從物體檢測裝置22輸入時將照明器具24熄滅。
物體檢測裝置22具備:輸入部221、影像處理部222、影像記憶體223、輸出部224。
輸入部221,將以既定的圖框率從攝影裝置21輸入的影像資料輸出到影像處理部222。輸入部221與實施態樣1的影像取得部3對應。
影像記憶體223,係由像DRAM(Dynamic Random Access Memory)這樣的大容量揮發性記憶體所構成,由影像處理部222控制資料的寫入、讀取。影像記憶體223,例如,儲存了從攝影裝置21輸入的一個乃至數個圖框份量的影像資料,或在影像處理的過程中所製作的差分影像等的資料。影像記憶體223與實施態樣1的影像記憶體5對應。
影像處理部222,係由例如影像處理專用的微電腦所構成,藉由執行所安裝的程式,實現判定在影像資料中是否拍攝到人物的功能。
影像處理部222,在影像信號以既定的圖框率從輸入部221輸入之後,便從影像記憶體223讀取一個圖框之前的影像資料,求出圖框之間的差分,藉此抽出在圖框之間亮度值的變化在既定閾值以上的畫素區域。影像處理部222,例如,將所抽出之畫素區域的面積,與根據影像所映之人物的大小而設定的規定範圍作比較,藉此判斷在攝影區域中是否有人,並將判斷結果輸出到輸出部224。另外,影像處理部222,將輸入部221所輸入的影像資料儲存於影像記憶體223,在影像記憶體223中儲存了一個乃至數個圖框份量的影像資料。
影像處理部222與實施態樣1的計算處理部4對應。影像處理部222,進行與計算處理部4同樣的處理,藉此判斷在攝影區域中是否有人。
輸出部224,具有在與透過信號線連接的照明控制裝置23之間進行通信的功能,當從影像處理部222輸入判斷人物是否存在的結果時,將該判斷結果發送到照明控制裝置23。輸出部224與實施態樣1的輸出部6對應。
照明控制裝置23,根據從物體檢測裝置22的輸出部224所輸入的判斷結果,控制複數台照明器具24的點亮、熄滅。
照明控制裝置23,在從物體檢測裝置22未輸入人物存在這樣的判斷結果時,將作為控制對象的照明器具24熄滅。照明控制裝置23,在從物體檢測裝置22輸入人物存在這樣的判斷結果時,將作為控制對象的照明器具24點亮。之後,當人物存在這樣的判斷結果不再從物體檢測裝置22輸入時,照明控制裝置23,在經過既定的點亮保持時間的時點將照明器具24熄滅。藉此,由於在照明空間中有人的期間照明器具24會點亮,故可確保必要的明亮度,當人物自照明空間離開時,在經過既定的點亮保持時間的時點照 明器具24會熄滅,故可減少無謂的電力消耗。
另外,當因為某種原因攝影區域的明亮度發生變化時,若為吾人觀察用的影像,則必須將畫面的亮度迅速地調整到人眼適應的亮度範圍內。相對於此,在本實施態樣中,由於攝影裝置21的影像並非吾人觀察用的影像,而係使用於動態物體檢測用的影像處理的影像,故無須迅速地調整畫面的亮度。事實上,當變更曝光條件等而使畫面亮度迅速地變化時,反而可能會因為該影響而無法正確地檢測出動態物體。
因此,在本實施態樣中,當畫面亮度一會變暗一會變亮已經到了無法進行動態物體檢測用的影像處理的程度時,控制部214,使曝光調整部213的曝光條件以及放大部212的放大率變化,以使亮度評估值與既定的目標值即刻一致。另一方面,即使在畫面亮度發生變化的情況下,若為不會阻礙影像處理的畫面亮度,則控制部214會令曝光條件以及放大率緩和地變化,以不會對動態物體檢測用的影像處理造成不良影響的方式,使亮度評估值在既定的目標值附近。
在此,參照圖28的流程圖說明控制部214因應畫面的明亮度(亮度評估值)調整畫面的亮度值的動作。
攝影部211,以既定的圖框率(在通常情況時為5fps)對攝影區域進行拍攝,每次拍攝攝影區域便將影像資料輸出到放大部212。在攝影部211將在各圖框所拍攝的影像資料輸出到放大部212之後,放大部212,將影像資料的各畫素的亮度值以既定的放大率放大,並輸出到物體檢測裝置22。
控制部214,當在每個圖框取得從放大部212所輸出的影像資料(圖28的步驟S21)之後,便求出複數個畫素的亮度值的平均值,並將該平均值當作亮度評估值L1。
控制部214,在求出亮度評估值L1之後,求出該亮度評估值L1與既定的 目標值T1的差分,並調整放大部212的放大率以及曝光調整部213的曝光條件,使該差分變小。在本實施態樣中各畫素的亮度值為256階色調(0~255),亮度評估值L1的目標值T1通常設為64。
另外,本實施態樣的攝影裝置21,並非拍攝吾人觀察用的影像,而是用來拍攝後段的物體檢測裝置22進行動態物體檢測的影像處理的影像。因此,即使是對人眼而言太亮或太暗的影像,只要在進行影像處理不會有問題的亮度範圍內,控制部214便限制曝光條件以及放大率的調整量,以免因為調整曝光條件以及放大率而使亮度評估值L1大幅變化。以下,將進行影像處理不會有問題的亮度範圍的下限值設為LM1(例如32),將上限值設為LM4(例如128),說明控制部214的動作。
控制部214,在以步驟S21求出亮度評估值L1之後,便比較上述的亮度範圍的上限值LM4與亮度評估值L1的高低(步驟S22)。
若亮度評估值L1超過上限值LM4(步驟S22的Yes),控制部214便進一步比較亮度評估值L1與既定閾值(第2閾值)LM5(例如160)的高低(步驟S23)。
若亮度評估值L1在閾值LM5以下,亦即LM4<L1≦LM5(步驟S23的No),控制部214便變更曝光時間以及放大率,使亮度評估值L1變成目標值T1(步驟S26)。
另一方面,若亮度評估值L1超過閾值LM5(步驟S23的Yes),控制部214便將圖框率提高到13.3fps(步驟S24),將亮度評估值L1的目標值T1切換到比通常情況時更低的值T2(例如56)(步驟S25)。
控制部214,在提高圖框率,並將目標值切換到比通常情況時更低的值T2之後,變更曝光時間以及放大率,使亮度評估值L1變成目標值T2(步驟S26),亮度評估值L1便可在短時間(下一圖框)內調整到目標值T2。
另外,當亮度評估值L1超過上限值LM4時,控制部214,不進行為了將亮度評估值L1的變化率限制在後述的基準值以下而限制曝光時間以及放大率的調整量的處理,而係調整曝光時間以及放大率使亮度評估值L1與目標值即刻一致。因此,控制部214,可使亮度評估值L1與目標值在短時間內一致,並能夠將直到變得可進行所期望的影像處理的時間縮短。
另外在步驟S22中在亮度評估值L1未達上限值LM4的情況下(步驟S22的No),控制部214比較上述的亮度範圍的下限值LM1與亮度評估值L1的高低(步驟S27)。
若亮度評估值L1低於下限值LM1(步驟S27的Yes),則控制部214便更進一步比較亮度評估值L1與既定閾值(第1閾值)LM0(例如28)的高低(步驟S28)。
若亮度評估值L1在閾值LM0以上,亦即LM0≦L1<LM1(步驟S28的No),則控制部214變更曝光時間以及放大率,使亮度評估值L1變成目標值T1(步驟S26)。
另一方面,若亮度評估值L1未達閾值LM0(步驟S28的Yes),則控制部214將圖框率提高到13.3fps(步驟S29),並將亮度評估值L1的目標值T1切換到比通常情況時更高的值T3(例如104)(步驟S30)。
控制部214,在提高圖框率,並將目標值切換到比通常情況時更高的值T3之後,變更曝光時間以及放大率,使亮度評估值L1變成目標值T3(步驟S26),亮度評估值L1便可在短時間(下一圖框)內調整到目標值T3。
另外,當亮度評估值L1低於下限值LM1時,控制部214不進行為了將亮度評估值L1的變化率限制在後述的基準值以下而限制曝光時間以及放大率的調整量的處理,而係調整曝光時間以及放大率,使亮度評估值L1與目標 值即刻一致。因此,控制部214可使亮度評估值L1與目標值在短時間內一致,並可將直到變得可進行所期望的影像處理的時間縮短。
另外在步驟S27中若亮度評估值L1在下限值LM1以上(步驟S27的No),控制部214便比較亮度評估值L1與既定閾值LM3(例如66)的高低(步驟S31)。
若亮度評估值L1比閾值LM3更大,亦即LM3<L1≦LM4(步驟S31的Yes),控制部214便變更曝光時間以及放大率,使亮度值變小128分之1,對亮度評估值L1作微調整(步驟S32)。
另外在步驟S31中若亮度評估值L1在閾值LM3以下(步驟S31的No),控制部214便比較亮度評估值L1與閾值LM2(例如62)的高低(步驟S33)。
若亮度評估值L1未達閾值LM2,亦即LM1≦L1<LM2(步驟S33的Yes),控制部214便變更曝光時間以及放大率,使亮度值變大128分之1,對亮度評估值L1作微調整(步驟S34)。
另外,在步驟S33中當亮度評估值L1在閾值LM2以上,亦即LM2≦L1≦LM3時,控制部214便判斷亮度評估值L1與目標值T1幾乎一致,故不改變曝光時間以及放大率,並結束處理。
另外,控制部214,係在亮度評估值L1高於閾值LM5時使圖框率高速化,惟亦可在亮度評估值L1高於上限值LM4時使圖框率高速化。
另外,控制部214,係在亮度評估值L1高於閾值LM5時將目標值切換到比通常情況時更小的值T2,惟亦可在亮度評估值L1高於上限值LM4時將目標值切換到比通常情況時更小的值T2。
另外,控制部214,係在亮度評估值L1低於閾值LM0時使圖框率高速 化,惟亦可在亮度評估值L1低於下限值LM1時使圖框率高速化。
另外,控制部214,係在亮度評估值L1低於閾值LM0時將目標值切換到比通常情況時更高的值T3,惟亦可在亮度評估值L1低於下限值LM1時將目標值切換到比通常情況時更高的值T3。
控制部214的畫面亮度的調整處理如以上所述,茲參照圖29~圖35更詳細地說明控制部214根據亮度評估值L1調整畫面亮度的態樣。
圖29,係表示在亮度評估值L1收斂到進行影像處理沒有問題的亮度範圍內的情況下,亦即亮度評估值L1在下限值LM1以上且上限值LM4以下時的調整動作。
當亮度評估值L1在下限值LM1以上且未達閾值LM2時,控制部214變更曝光時間以及放大率,在每個圖框均使亮度值變大128分之1,藉此使亮度評估值L1逐漸地接近目標值T1。另外當亮度評估值L1比閾值LM3更大且在上限值LM4以下時,控制部214變更曝光時間以及放大率,在每個圖框均使亮度值縮小128分之1,藉此使亮度評估值L1逐漸地接近目標值T1。
在圖29的例子中,在從時刻t1到時刻t2的期間,照明器具24以淡出方式熄滅,因此畫面亮度逐漸變暗。此時,控制部214雖然以在每個圖框均使亮度值變大128分之1的方式調整曝光時間以及放大率,然而由於淡出式熄滅使畫面亮度變暗的步調較快,曝光時間以及放大率的調整無法追上,因此畫面亮度逐漸變暗。
在時刻t2照明器具24完全熄滅,之後,控制部214以在每個圖框均使亮度值變大128分之1的方式調整曝光時間以及放大率,藉此亮度評估值L1逐漸變大,而在時刻t3與目標值T1一致。
像這樣,在亮度評估值L1收斂於進行影像處理沒有問題的亮度範圍內 的情況下,控制部214以亮度評估值L1的變化率不超過既定基準值(例如每1圖框128分之1)的方式使曝光時間以及放大率變化。因此,即使在使曝光時間以及放大率變化而亮度評估值L1發生變化的情況下,由於該變化率收斂在既定基準值以下,故可使用亮度值調整後的影像資料進行影像處理而不會發生問題。
另外由於在本實施態樣中亮度值為256階色調,故當控制部214以亮度值的變化率在每1圖框不超過128分之1的方式使曝光條件以及放大率變化時,因為曝光條件以及放大率的調整而在圖框之間所發生的亮度值的變化在2以下。像這樣,由於因為曝光條件以及放大率的調整所產生的亮度值的變化較為緩和,故可降低調整亮度值的處理對使用影像資料的影像處理所造成的影響,進行影像處理便不會發生問題。
另外,圖30係表示拍攝吾人所欲觀察之影像時修正畫面亮度的動作,在該運作例中,因為使曝光時間以及放大率變化而發生的亮度值的變化率並未受到限制。在該運作例中,在從時刻t10到時刻t15的期間,例如使照明器具24以淡出方式熄滅,因此畫面亮度逐漸地降低。
在時刻t11以及時刻t13,當亮度評估值L1變得比吾人觀察用的影像所適合的亮度範圍更暗時,控制部214會調整曝光條件以及放大率,藉此在下一圖框使亮度評估值L1與目標值T1一致。此時,在時刻t11到時刻t12的期間與時刻t13到時刻t14的期間,畫面亮度急遽地變化,欲將其與因為動態物體的存在而發生的亮度變化作出區別會很困難,因此會變得無法進行動態物體檢測用的影像處理。
相對於此,在本實施態樣中,當亮度評估值L1收斂在進行影像處理沒有問題的亮度範圍內時,控制部214將使曝光時間以及放大率變化所導致的亮度值的變化率限制在128分之1,進而使亮度值的變化較為緩和。藉此,便可將使曝光條件以及放大率變化所產生的亮度值的變化降低到不會對影像處理造成妨礙的大小,進行影像處理便不會發生問題。
圖31係表示亮度評估值L1降低到低於進行影像處理沒有問題的亮度範圍的下限值LM1時的動作。在時刻t20到時刻t23的期間,例如使照明器具24以淡出方式熄滅,因此攝影區域的明亮度逐漸地變暗。
在時刻t20到時刻t21的期間,控制部214以在每個圖框均使亮度值變大128分之1的方式調整曝光時間以及放大率。然而,由於因為淡出式熄滅而畫面亮度變暗的步調較快,曝光時間以及放大率的調整無法追上,因此畫面亮度逐漸地變暗。
另外,控制部214,由於以亮度值的變化率在既定基準值以下的方式,調整曝光條件以及放大率,使亮度評估值L1接近目標值T1,故因為調整處理而發生的亮度值的變化變小,而能夠順利地進行影像處理。
另一方面,當在時刻t21亮度評估值L1低於下限值LM1時,控制部214,以在下一圖框亮度評估值L1與目標值T1一致的方式,使曝光時間以及放大率變化。在此,由於在亮度評估值L1降低到低於下限值LM1的圖框(時刻t21)與下一圖框(時刻t22)之間亮度值大幅變化,故無法進行動態物體檢測用的影像處理。然而,由於在時刻t22以後亮度評估值L1在下限值LM1以上且在上限值LM4以下,故將曝光時間以及放大率變化所導致的亮度值的變化率限制在128分之1,以使影像處理能夠順利地進行。
之後也是同樣,控制部214雖以在每個圖框均使亮度值變大128分之1的方式調整曝光時間以及放大率,惟從時刻t22到時刻t23因為淡出式熄滅而畫面亮度變暗的步調較快,故畫面亮度逐漸地變暗。然後,當在時刻t23照明器具24完全熄滅之後,控制部214以在每個圖框均使亮度值變大128分之1的方式調整曝光時間以及放大率,藉此亮度評估值L1轉為上升,而與目標值T1一致。
另外圖32係表示亮度評估值L1降低到低於比可順利地進行影像處理的 亮度範圍更小的既定閾值LM0時的動作。在從時刻t30到時刻t33的期間,例如照明器具24以淡出方式熄滅,因此攝影區域的明亮度逐漸地變暗。
在從時刻t30到時刻t31的期間,控制部214雖以在每個圖框均使亮度值變大128分之1的方式調整曝光時間以及放大率,惟因為淡出式熄滅而畫面亮度變暗的步調較快,故畫面亮度逐漸地變暗。
在時刻t31,若亮度評估值L1降低到比下限值LM1更低的閾值LM0,控制部214便將圖框率從5fps提高到13.3fps,並且,將目標值T1切換到更大的值T3(=104)。然後,控制部214,在下一圖框,以亮度評估值L1變成目標值T3的方式,使曝光時間以及放大率變化。
在此,由於在亮度評估值L1降低到低於閾值LM0的圖框(時刻t31)與下一圖框(時刻t32)之間亮度值大幅變化,故無法進行動態物體檢測用的影像處理。然而,由於在時刻t32以後亮度評估值L1在下限值LM1以上且上限值LM4以下,且曝光時間以及放大率的調整所導致的亮度值的變化率被限制在128分之1以下,故可順利地進行影像處理。另外,當亮度評估值L1收斂在進行影像處理沒有問題的亮度範圍(在下限值LM1以上且在上限值LM4以下)內時,控制部214便使圖框率以及目標值回復到原來的值。
之後,控制部214,雖以在每個圖框均使亮度值變大128分之1的方式,調整曝光時間以及放大率,惟從時刻t32到時刻t33因為淡出式熄滅而畫面亮度變暗的步調較快,故畫面亮度逐漸地變暗。然後,當在時刻t33照明器具24完全熄滅時,控制部214,以在每個圖框均使亮度值變大128分之1的方式,調整曝光時間以及放大率,藉此亮度評估值L1轉為上升,而與目標值T1一致。
在此,圖33係表示在不使目標值T1變化的情況下的調整動作,從時刻t40到時刻t45照明器具24以淡出方式熄滅,因應於此攝影區域的明亮度逐漸地降低。
從時刻t40到時刻t41的期間,控制部214,雖以在每個圖框均使亮度值變大128分之1的方式,調整曝光時間以及放大率,惟因為淡出式熄滅而畫面亮度變暗的步調較快,故畫面亮度逐漸地變暗。當在時刻t41亮度評估值L1降低到低於下限值LM1時,控制部214使曝光時間以及放大率變化,藉此調整亮度值,使亮度評估值L1變成目標值T1。
然而,由於在圖式例中伴隨著淡出式熄滅而亮度評估值L1降低的步調較大,故在時刻t43亮度評估值L1再度降低到低於下限值LM1。因此,控制部214,在時刻t43,使曝光時間以及放大率變化,以令亮度評估值L1成為目標值T1,在時刻t41~t42的期間以及時刻t43~t44的期間均無法進行動態物體檢測用的影像處理。
相對於此,在本實施態樣中當亮度評估值L1低於比下限值LM1更小的閾值LM0時,控制部214便將亮度評估值L1的目標值切換到更大的值T3。因此,由於亮度評估值L1被調整到目標值T3,故伴隨著淡出式熄滅而亮度評估值L1逐漸減少到低於下限值LM1所需要的時間,比起未使目標值變化時更長。
在圖32的動作例中,在時刻t31調整曝光時間以及放大率使亮度評估值L1變化到目標值T3之後,到淡出式熄滅結束的時刻t33的期間,亮度評估值L1不會降低到低於下限值LM1。因此,為了使亮度值與目標值一致而控制部214調整曝光時間以及放大率的次數變少,故可縮短為了調整畫面亮度而無法進行影像處理的期間。
另外,圖34係表示當亮度評估值L1從進行影像處理沒有問題的亮度範圍偏離時將圖框率提高的調整動作,圖35係表示不使圖框率變化的調整動作。如圖35所示的當圖框率一定時,若亮度評估值L1從進行影像處理沒有問題的亮度範圍偏離,亮度評估值L1收斂到上述亮度範圍需要比較長的時間D12,由於該期間亮度值大幅變化,故會變得無法進行影像處理。
相對於此,在本實施態樣中,當亮度評估值L1從進行影像處理沒有問題的亮度範圍偏離時,控制部214使圖框率高速化,比起圖框率為一定的情況,可縮短亮度評估值L1收斂到上述亮度範圍內的時間D11。因此,可使亮度評估值L1不適合進行影像處理的期間變短,令影像處理及早再度開始。
另外,上述的閾值LM0~LM5的值,可因應影像處理的內容等適當變更。
如以上所說明的,本實施態樣的攝影裝置21具備:攝影部211,其以既定的圖框率對攝影範圍的影像進行拍攝;曝光調整部213,其調整攝影部211的曝光條件;放大部212,其將攝影部211所輸出的影像資料的亮度值在每個畫素放大並輸出到外部去;以及控制部214,其以對影像資料的複數個畫素的亮度值進行統計處理所求出的亮度評估值與既定的目標值一致的方式,調整曝光調整部213的曝光條件以及放大部212的放大率其中至少一者。當亮度評估值收斂在可將放大部212所輸出的影像資料使用於影像處理的亮度範圍內時,以調整曝光條件以及放大率其中至少一者所造成的亮度評估值的變化率在既定的基準值以下的方式,限制調整量,而且,當亮度評估值在上述的亮度範圍外時不進行調整量的限制,以此方式構成控制部214。
亦即,本實施態樣的物體檢測裝置1,除了上述的第1特徴之外,更具有以下的第23特徴。另外,本實施態樣的物體檢測裝置1,亦可選擇性地具有上述的第2~第13特徴。
在第23特徴中,物體檢測裝置1具備攝影裝置21作為相機2。攝影裝置21具備:攝影部211、曝光調整部213、放大部212、控制部214。攝影部211以既定的圖框率對攝影範圍的影像進行拍攝。曝光調整部213調整攝影部211的曝光條件。放大部212將攝影部211所輸出的影像資料的亮度值在每個畫素放大並輸出到外部去。控制部214,以對影像資料的複數個畫素的亮度 值進行統計處理所求出的亮度評估值與既定的目標值一致的方式,調整曝光調整部213的曝光條件以及放大部212的放大率其中至少一者。控制部214,在亮度評估值收斂於可將放大部212所輸出的影像資料使用於影像處理的亮度範圍內時,以調整曝光條件以及放大率其中至少一者所造成的亮度評估值的變化率在既定的基準值以下的方式限制調整量,而且,當亮度評估值在上述的亮度範圍外時不進行調整量的限制。
藉此,當亮度評估值收斂在可對影像資料進行影像處理的亮度範圍內時,控制部214以調整曝光條件以及放大率其中至少一者所造成的亮度評估值的變化率在既定的基準值以下的方式限制調整量。藉此,便可降低調整影像的明亮度的處理對影像處理所造成的影響。
另外,由於當亮度評估值在上述的亮度範圍外時控制部214不進行調整量的限制,故可使亮度評估值在短時間內與目標值一致,並可縮短直到變得可進行所期望的影像處理的時間。另外,所謂可對影像資料進行影像處理的亮度範圍,係指除了亮度值太暗而無法進行影像處理的亮度範圍或是亮度值太亮而無法進行影像處理的亮度範圍以外的亮度範圍。
另外,本實施態樣的物體檢測裝置1,除了第23特徴之外,亦可具有以下的第24~第32特徴其中任一項。
在第24特徴中,控制部214,在亮度評估值L1降低到低於上述的亮度範圍(下限值LM1以上且上限值LM4以下)時,將目標值設定成比起亮度評估值L1收斂在上述的亮度範圍內時更大。
藉此,當亮度評估值L1減少並低於上述的亮度範圍時,將亮度評估值L1調整到比起亮度評估值L1收斂在上述的亮度範圍內的情況而言設定成更大值的目標值。因此,當之後亮度評估值L1仍持續減少時,直到亮度評估值L1再次低於上述的亮度範圍的時間會變長。
在第25特徴中,控制部214,在亮度評估值L1降低到低於比上述的亮度範圍更低的既定閾值LM0時,將目標值設定成比起亮度評估值L1在閾值LM0以上時更大。
藉此,當亮度評估值L1減少並低於閾值LM0時,將亮度評估值L1調整到比起亮度評估值L1在閾值LM0以上的情況而言設定成更大值的目標值。因此,當之後亮度評估值L1仍持續減少時,便可將直到亮度評估值L1再次低於上述的亮度範圍的時間拉長。
在第26特徴中,控制部214,在亮度評估值L1降低到低於上述的亮度範圍時,將圖框率設定成比起亮度評估值L1收斂在上述的亮度範圍內時更高。
藉此,便可將亮度評估值L1收斂到上述的亮度範圍內所花費的時間縮短,並將亮度評估值L1因應控制部214的調整動作而發生變化的期間縮短,故可將無法進行影像處理的時間縮短。
在第27特徴中,控制部214,在亮度評估值L1下降到低於比上述亮度範圍更低的既定閾值LM0時,將圖框率設定成比亮度評估值L1在閾值LM0以上時更高。
藉此,便可將亮度評估值L1收斂到上述亮度範圍內所花費的時間縮短,並使對應控制部214的調整動作而亮度評估值L1發生變化的期間縮短,故可將無法進行影像處理的時間縮短。
在第28特徴中,控制部214,在亮度評估值L1上升到高於上述的亮度範圍時,將目標值設定成比亮度評估值L1收斂在上述的亮度範圍內時更小。
藉此,當亮度評估值L1增加並高於上述亮度範圍時,將亮度評估值L1調整到比起亮度評估值L1收斂在上述亮度範圍內的情況而言設定成更小值的目標值。因此,當之後亮度評估值L1仍持續增加時,便可將直到亮度評 估值L1再次高於上述亮度範圍的時間拉長。
在第29特徴中,控制部214,在亮度評估值上升到高於比上述亮度範圍更高的既定閾值LM5時,將目標值設定成比亮度評估值在閾值LM5以下時更小。
藉此,當亮度評估值L1增加並高於閾值LM5時,便可將亮度評估值L1調整到比起亮度評估值L1在閾值LM5以下時設定成更小值的目標值。因此,當之後亮度評估值L1仍持續增加時,便可將直到亮度評估值L1再次高於上述亮度範圍的時間拉長。
在第30特徴中,控制部214,在亮度評估值L1上升到高於上述亮度範圍時,將圖框率設定成比亮度評估值L1收斂在上述亮度範圍內時更高。
藉此,便可將亮度評估值L1收斂到上述亮度範圍內所花費的時間縮短,並使對應控制部214的調整動作而亮度評估值L1發生變化的期間縮短,故可將無法進行影像處理的時間縮短。
在第31特徴中,控制部214,在亮度評估值L1上升到高於比上述亮度範圍更高的既定閾值LM5時,將圖框率設定成比亮度評估值L1在閾值LM5以下時更高。
藉此,便可將亮度評估值L1收斂到上述亮度範圍內所花費的時間縮短,並使對應控制部214的調整動作而亮度評估值L1發生變化的期間縮短,故可將無法進行影像處理的時間縮短。
另外在第32特徴中,控制部214,在亮度評估值L1下降到低於比上述亮度範圍更低的既定第1閾值LM0時,比起亮度評估值L1在第1閾值LM0以上的情況而言,使目標值更大且圖框率更高。控制部214,在亮度評估值L1上升到高於比上述亮度範圍更高的既定第2閾值LM5時,比起亮度評估值L1在 第2閾值LM5以下的情況而言,使目標值更小且圖框率更高。
藉此,當亮度評估值L1減少並低於第1閾值LM0時,將亮度評估值L1調整到比亮度評估值L1在第1閾值LM0以上時設定成更大值的目標值。因此,當之後亮度評估值L1仍持續減少時,便可將直到亮度評估值L1再度低於上述亮度範圍的時間拉長。
另外,當亮度評估值L1增加並高於第2閾值LM5時,將亮度評估值L1調整到比亮度評估值L1在第2閾值LM5以下時設定成更小值的目標值。因此,當之後亮度評估值L1仍持續增加時,便可將直到亮度評估值L1再度高於上述亮度範圍的時間拉長。
再者,當亮度評估值L1低於第1閾值LM0,或是高於第2閾值LM5時,由於控制部214將圖框率提高,故可將亮度評估值L1收斂到上述亮度範圍內所需要的時間縮短。因此,可將對應控制部214調整亮度值的動作而亮度評估值L1發生變化的期間縮短,故可將無法進行影像處理的時間縮短。
(實施態樣4)
本實施態樣係關於一種檢測在檢測區域內的人物的存在的人體感測器,以及因應人體感測器的檢測結果控制負載的負載控制系統。
關於以往的人體感測器以及負載控制系統,例如,文獻5〔日本公開專利公報第2008-270103號〕所記載的附熱線感測器的自動開關。文獻5所記載者,係以焦電元件檢測人體所放射之熱線,根據焦電元件所檢測到的熱線的變化檢測出人物的存在,以對照明負載進行調光控制。
然而,在文獻5所記載的習知例中,當人物處於靜止狀態時焦電元件所檢測到的熱線沒有變化,因此無法檢測到該人物。另外,當分割檢測區域並因應各個檢測區域是否有人物存在而控制負載時,在文獻5所記載的習知例中,必須在所分割的各個檢測區域中設置人體感測器(附熱線感測器的 自動開關)。
有鑑於上述問題,本實施態樣之目的為:即使是處於靜止狀態的人物亦可檢測到,且可在複數個區域的毎個區域檢測出人物的存在。
以下,參照圖式詳細說明本實施態樣之人體感測器(物體檢測裝置)31以及負載控制系統的實施態樣。另外,本實施態樣雖係關於將負載當作照明負載的負載控制系統,惟作為控制對象的負載並不限於照明負載,例如,亦可為空調負載(調整室內溫濕度的空調設備)等。
本實施態樣的負載控制系統,如圖37所示的係由:人體感測器31、控制裝置32、複數個照明負載33所構成。
控制裝置32,因應從人體感測器31透過傳輸線所傳送過來的人體檢測資訊(容後敘述)產生對各照明負載33的控制指令,並將所生成的控制指令經由信號線傳送到各照明負載33。
照明負載33,具有白熾燈、螢光燈或是LED燈等的光源(圖中未顯示),以及因應控制指令而將光源點亮、熄滅以及調光的點亮裝置(圖中未顯示),且配置於照明空間(例如辦公室大樓的1樓)的天花板。
人體感測器31,如圖36所示的具備:攝影部310、影像處理部311、通信部312、設定部313、記憶部314等。
攝影部310具備:CMOS影像感測器或CCD影像感測器等的攝影元件、透鏡、將攝影元件的類比輸出信號轉換成數位影像信號(影像資料)的A/D轉換器等。關於攝影部310,可使用實施態樣1的相機2、實施態樣2的攝影裝置10或是實施態樣3的攝影裝置21。
記憶部314,係由快閃記憶體等的可覆寫的非揮發性半導體記憶體所構 成,如後所述的儲存了在影像處理部311中的影像處理以及判斷處理所必要的各種資訊。
通信部312透過傳輸線在其與控制裝置32之間進行資料傳送。
設定部313,係由用來設定儲存於記憶部314的各種資訊的開關,或是用來取得從圖中未顯示的設定器所賦與的該資訊的介面所構成。
另外,人體感測器31係設置於可拍攝照明負載33的照明空間整體的位置,例如,照明空間的天花板或牆壁等位置。
影像處理部311,係由微電腦或DSP等構件所構成,對從攝影部310取得的影像資料進行各種影像處理,且實行利用影像處理的結果判斷人物是否存在等的判斷處理。
例如,在檢測區域(照明空間)中不存在人物的狀況下所拍攝的檢測區域的影像資料被當作背景影像資料儲存於記憶部314。影像處理部311,求出從攝影部310所取得的檢測區域的影像資料與背景影像資料的差分,嘗試從該差分影像抽出人物的輪廓或是與人物的區域對應的畫素區域(以下稱為人體畫素區域),若抽出人體畫素區域便判斷人物存在。其中,亦可取代背景差分而從圖框間差分抽出人體畫素區域。
另外影像處理部311,求出在人體畫素區域中的代表位置,將該代表位置在既定時間(既定的圖框數)內位移的距離與閾值作比較,藉此判斷人物的行動(停滯、靜止、移動等)。亦即,當該距離未達閾值時便判斷該人物在同一場所停滯或是靜止,當該距離在閾值以上時便判斷其正在移動。其中,所謂代表位置,係指人體畫素區域的重心位置或人體的特定部位(例如頭部)的位置。另外,當人物靜止時,利用圖框間差分的抽出方法有可能會無法抽出人體畫素區域,惟利用背景差分的抽出方法便可抽出人體畫素區域。
再者,影像處理部311會判斷所抽出的人體畫素區域的位置(座標)以及數量(人數)。另外,該等判斷結果,亦即,在檢測區域內人物是否存在以及存在的人數、位置、人物的行動(停滯、靜止或是移動)被當作該資訊(人體檢測資訊)從通信部312經由傳輸線傳送到控制裝置32。
例如,影像處理部311,與實施態樣1同樣,具備:影像取得部3、計算處理部4、影像記憶體5、輸出部6。另外,在本實施態樣中,關於影像取得部3、計算處理部4、影像記憶體5、輸出部6的說明省略。
控制裝置32,因應從人體感測器31所接收的人體檢測資訊控制照明負載33。例如,控制裝置32,對於在複數個照明負載33之中照明範圍與人物存在位置重疊的照明負載33賦與控制指令使其完全點亮,並對於照明範圍與人物存在位置並未重疊的照明負載33賦與控制指令使其熄滅或是以比完全點亮(100%)更低的調光率調光點亮。另外,控制裝置32,在人移動的期間賦與控制指令使照明負載33以相對較低的調光率調光點亮,並在人停滯的期間對於停滯場所(人物存在位置)的照明負載33賦與控制指令使其完全點亮。
在此,從攝影部310所取得的影像資料的各畫素值與檢測區域的明亮度對應,在影像處理部311中可從影像資料的畫素值判斷檢測區域內的明亮度(照度)。然後,影像處理部311所求出的明亮度的判斷結果(明亮度的位準)與人體檢測資訊一起從通信部312經由傳輸線傳送到控制裝置32。
控制裝置32,以從人體感測器31所接收的明亮度的位準與所期望的數值一致的方式賦與控制指令,使照明負載33的調光率變化。藉此,便可使人物存在時的照明空間經常保持適當的明亮度。另外,當由於從窗外入射的外部光線(例如日光)的影響,即使令照明負載33的調光率下降到下限值仍然太亮時,控制裝置32有時也會令照明負載33熄滅。
另外,在影像處理部311中,宜將檢測區域的影像分割成複數個區域並判斷在各個區域中人物是否存在以及存在的人數、位置、人物的行動、明亮度等。
圖38係表示照明空間亦即辦公室大樓的1樓的布局的一例,樓層整體為檢測區域100,在其中央設置通路113,通路113的兩側設置以隔間方式分隔的複數(在圖式的例子中為各6個)個分割區域101~112。該等複數個(在圖式的例子中為12個)分割區域101~112分別與不同的照明負載33的照明範圍重疊。然後,在人體感測器31中,利用設定部313設定複數個分割區域101~113的位置資訊,例如,各分割區域101~113的4個頂點的座標,並將所設定的位置資訊儲存於記憶部314。
影像處理部311,根據記憶部314所儲存的位置資訊,判斷在各個分割區域101~113中人物是否存在以及存在的人數、位置、人物的行動、明亮度等,並將各個分割區域101~113的人體檢測資訊以及明亮度位準從通信部312傳送到控制裝置32。
亦即,在本實施態樣的人體感測器31中,影像處理部311與設定部313相當於判斷機構。其中,無須對全部的分割區域101~113檢測人物是否存在等,例如,對於書櫃等物件所佔據的分割區域而言,亦可將其排除在人物是否存在等的檢測對象之外。
控制裝置32,因應從人體感測器31傳送過來的各個分割區域101~113的人體檢測資訊以及明亮度位準,控制與各個分割區域101~112對應的照明負載33。例如,當僅分割區域101有人存在時,控制裝置32,只對與該分割區域101對應的照明負載33賦與控制指令,使其完全點亮。或者,僅當相當於通路的分割區域113有人存在時,控制裝置32,對與其他分割區域101~112對應的照明負載33賦與控制指令,使其以相對較低的調光率調光點亮。其中,在通路(分割區域113)設置照明負載33,控制裝置32因應在分割區域113人物是否存在控制該照明負載33,這樣也是可以。
如以上所述的,本實施態樣的人體感測器31具備:拍攝機構(攝影部310)、判斷機構(影像處理部311以及設定部313)以及傳送機構(通信部312)。拍攝機構(攝影部310)拍攝檢測區域的影像。判斷機構(影像處理部311以及設定部313)從拍攝機構(攝影部310)所拍攝的影像判斷在檢測區域內人物是否存在以及存在的人數、位置、人物的行動。傳送機構(通信部312),將判斷機構(影像處理部311以及設定部313)的判斷結果傳送到進行負載控制的控制裝置32。判斷機構(影像處理部311以及設定部313),將檢測區域的影像分割成複數個區域並判斷在各個區域中人物是否存在以及存在的人數、位置、人物的行動,且從區域抽出人體畫素區域,同時根據在人體畫素區域中的代表位置在既定時間內位移的距離判斷人物的行動。
另外,在人體感測器31中,判斷機構(影像處理部311以及設定部313)亦可選擇相對於檢測區域影像的區域數以及配置,以及是否需要對區域檢測人物。
本實施態樣的負載控制系統具有:人體感測器31,以及因應人體感測器31所傳送過來的判斷結果控制一個乃至複數個負載的控制裝置32。
另外,在該負載控制系統中,負載亦可為設置於照明空間的照明負載33。判斷機構(影像處理部311以及設定部313)亦可從檢測區域的影像的畫素值判斷檢測區域的明亮度。傳送機構(通信部312)亦可與人物是否存在以及存在人數、位置、人物的行動的判斷結果一起將明亮度的判斷結果傳送到控制裝置32。控制裝置32,亦可控制照明負載33,使從人體感測器31所接收的明亮度與所期望的明亮度一致。
如上所述的若根據本實施態樣的人體感測器31以及負載控制系統,由於從攝影部310所拍攝的檢測區域影像檢測出人物是否存在等,故與利用焦電元件的習知例不同,處於靜止狀態的人物的存在亦可被檢測出。而且, 亦可針對檢測區域100所分割出來的複數個區域101~113的毎個區域檢測人物的存在。亦即,本實施態樣的人體感測器31以及負載控制系統具有可檢測出處於靜止狀態的人物且可針對複數個區域的毎個區域檢測人物的存在這樣的效果。
在本實施態樣中,人體感測器31亦可具有與實施態樣1的物體檢測裝置1同樣的構造。亦即,本實施態樣的人體感測器(物體檢測裝置)31具有上述的第1特徴。再者,本實施態樣的人體感測器31,除了上述的第1特徴之外,更可選擇性地具有上述的第2~第13特徴。
另外,在本實施態樣中的攝影部310亦可具有與實施態樣2的攝影裝置10同樣的構造。亦即,本實施態樣的人體感測器31亦可選擇性地具有上述的第14~第22特徴。
或者,在本實施態樣中的攝影部310亦可具有與實施態樣3的攝影裝置21同樣的構造。亦即,本實施態樣的人體感測器31亦可選擇性地具有上述的第23~第32特徴。
1‧‧‧物體檢測裝置
2‧‧‧相機
3‧‧‧影像取得部
4‧‧‧計算處理部
4a‧‧‧差分影像製作部
4b‧‧‧判定部
4c‧‧‧物體檢測部
5‧‧‧影像記憶體
6‧‧‧輸出部

Claims (11)

  1. 一種物體檢測裝置,包含:影像取得部,其從拍攝既定攝影區域的相機,以既定的時間間隔依序取得該攝影區域的影像;差分影像製作部,其求出該影像取得部所連續取得的影像之間的差分影像;以及判定部,其將該差分影像在橫方向以及縱方向上分別複數分割而作成的同樣大小的區塊,並針對各個該區塊,判定係正在移動的檢測對象存在的移動區域,或是處於停止狀態的物體存在的停止區域;該判定部,針對複數個該區塊的各個區塊,根據構成該區塊的複數個畫素的畫素值,判定該區塊為該移動區域或是該停止區域。
  2. 如申請專利範圍第1項之物體檢測裝置,其中,該判定部,針對複數個該區塊的各個區塊,比較構成該區塊的複數個畫素的差分值與既定閾值的高低,根據差分值超過該閾值的畫素數,判定該區塊為該移動區域或是該停止區域。
  3. 如申請專利範圍第1項之物體檢測裝置,其中,更包含:物體檢測部,其從被判定為該移動區域的區域檢測出檢測對象;該物體檢測部,將被判定為該移動區域的一個乃至複數個該區塊之中連續的該區塊分別當作檢測對象區域;該物體檢測部,在本次所求出的檢測對象區域包含於前次所求出的檢測對象區域內的情況,或是,本次檢測對象區域與前次檢測對象區域重疊、且相對於前次檢測對象區域之面積的本次檢測對象區域之面積的比率比既定閾值更小的情況,或是,本次檢測對象區域與前次檢測對象區域互相重疊的部分完全不存在的情況其中任一種情況時,便判斷該檢測對象處於靜止狀態,並將前次檢測對象區域當作該檢測對象存在的區域。
  4. 如申請專利範圍第3項之物體檢測裝置,其中, 該物體檢測部,在前次所求出的檢測對象區域與本次所求出的檢測對象區域重疊時,便判斷同一檢測對象存在;該物體檢測部,根據是否判斷在前次所求出的檢測對象區域內所存在的該檢測對象處於靜止狀態,或是在判斷並非處於靜止狀態時,根據表示該檢測對象之動態的參數,變更用來從前次以及本次檢測對象區域求出該檢測對象的現在位置的判定條件。
  5. 如申請專利範圍第3項之物體檢測裝置,其中,該物體檢測部,在前次的第1檢測對象區域與本次檢測對象區域重疊,且本次檢測對象區域與前次的第2檢測對象區域並未重疊時,便判斷在該第1檢測對象區域內所存在的檢測對象移動到了本次檢測對象區域內。
  6. 如申請專利範圍第3項之物體檢測裝置,其中,該物體檢測部,在判定本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的檢測對象處於靜止狀態時,便判斷在該第1檢測對象區域內所存在的檢測對象停留在該第1檢測對象區域內。
  7. 如申請專利範圍第3項之物體檢測裝置,其中,該物體檢測部,在判斷本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的第1檢測對象與在該第2檢測對象區域內所存在的第2檢測對象雙方均正在移動時,若該第1檢測對象的速度比該第2檢測對象的速度更快,便判斷該第1檢測對象移動到了本次檢測對象區域內;該物體檢測部,在判斷本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的第1檢測對象與在該第2檢測對象區域內所存在的第2檢測對象雙方均正在移動時,若該第1檢測對象的速度與該第2檢測對象的速度相等或在其以下,便判斷該第1檢測對象停留在第1檢測對象區域內。
  8. 如申請專利範圍第3項之物體檢測裝置,其中,該物體檢測部,在判斷本次檢測對象區域與前次的第1檢測對象區域以及第2檢測對象區域分別重疊,且在該第1檢測對象區域內所存在的第1檢測對象正在移動,且判斷在該第2檢測對象區域內所存在的第2檢測對象處於靜止狀態時,便判斷該第1檢測對象移動到了本次檢測對象區域內。
  9. 如申請專利範圍第3項之物體檢測裝置,其中,該物體檢測部,在判斷某個時點所求出的第1檢測對象區域內所存在的檢測對象處於靜止狀態,且該第1檢測對象區域與在其以後所求出的第2檢測對象區域的至少一部分重疊時,將該第2檢測對象區域重疊之前的該第1檢測對象區域的影像當作樣板影像保持;該物體檢測部,在該第1檢測對象區域與該第2檢測對象區域不再重疊的時點,進行該時點的該第1檢測對象區域的影像與該樣板影像的匹配處理以求出兩者的相關值;該物體檢測部,在該相關值比既定的判定值更高時,便判斷該檢測對象停留在該第1檢測對象區域內;該物體檢測部,在該相關值比該判定值更低時,便判斷該檢測對象移動到了該第1檢測對象區域的外側。
  10. 如申請專利範圍第1項之物體檢測裝置,其中,更包含攝影裝置作為該相機,該攝影裝置包含:攝影元件,其具有各自累積電荷的複數個畫素,並將該各畫素所累積的電荷量轉換成畫素值輸出;光控制機構,其控制在該攝影元件中供光電轉換的光之大小;影像生成機構,其以既定的圖框率從該攝影元件讀取該畫素值,且從讀取的該畫素值以該圖框率產生影像;以及調整機構,其用將該一個圖框的影像中的該畫素值的一部分或是全部,以數值定義的評估值進行評估,並以該評估值收斂在既定的適當範圍內的方式控制該光控制機構或是該影像生成機構的至少其中一者,以調整 該畫素值;該調整機構,當以該圖框率生成的該影像的該評估值從該適當範圍偏離既定位準以上時,使該影像生成機構變動為以比該圖框率更高的調整用圖框率產生該影像的調整模式,並在該影像生成機構以該調整用圖框率產生該影像之後,使其回歸到以該圖框率產生該影像的通常模式。
  11. 如申請專利範圍第1項之物體檢測裝置,其中,更包含攝影裝置作為該相機,該攝影裝置包含:攝影部,其以既定的圖框率拍攝攝影範圍的影像;曝光調整部,其調整該攝影部的曝光條件;放大部,其將該攝影部所輸出的影像資料的亮度值在每個畫素放大並輸出到外部去;以及控制部,其以對該影像資料的複數個畫素的亮度值進行統計處理所求出的亮度評估值與既定目標值一致的方式,調整該曝光調整部的曝光條件以及該放大部的放大率其中至少一者;該控制部,當該亮度評估值收斂在可對該放大部所輸出的影像資料進行影像處理的亮度範圍內時,以調整該曝光條件以及該放大率其中至少一者所產生的該亮度評估值的變化率在既定基準值以下的方式,限制調整量,且當該亮度評估值在該亮度範圍外時不限制調整量。
TW102120918A 2012-06-13 2013-06-13 物體檢測裝置 TWI509569B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012134146A JP2013258609A (ja) 2012-06-13 2012-06-13 撮像装置
JP2012214612A JP2014071482A (ja) 2012-09-27 2012-09-27 物体検出装置
JP2013100524A JP2014220762A (ja) 2013-05-10 2013-05-10 撮像装置

Publications (2)

Publication Number Publication Date
TW201415417A TW201415417A (zh) 2014-04-16
TWI509569B true TWI509569B (zh) 2015-11-21

Family

ID=49757892

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102120918A TWI509569B (zh) 2012-06-13 2013-06-13 物體檢測裝置

Country Status (5)

Country Link
US (1) US20150125032A1 (zh)
KR (1) KR101640875B1 (zh)
CN (1) CN104364824A (zh)
TW (1) TWI509569B (zh)
WO (1) WO2013187047A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5762802B2 (ja) 2011-04-08 2015-08-12 ユニ・チャーム株式会社 マスク
US9576214B1 (en) * 2012-01-23 2017-02-21 Hrl Laboratories, Llc Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
JP6295442B2 (ja) * 2013-03-26 2018-03-20 パナソニックIpマネジメント株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
WO2014155962A1 (ja) * 2013-03-26 2014-10-02 パナソニック株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
JP6266088B2 (ja) * 2014-03-11 2018-01-24 三菱電機株式会社 人物検出装置および人物検出方法
KR20180127556A (ko) * 2014-08-18 2018-11-28 파나소닉 아이피 매니지먼트 가부시키가이샤 제어 시스템 및 센서 유닛
JP6337377B2 (ja) * 2014-08-21 2018-06-06 パナソニックIpマネジメント株式会社 検知装置、検知システム、およびプログラム
WO2016035282A1 (ja) * 2014-09-03 2016-03-10 パナソニックIpマネジメント株式会社 検知装置および検知システム
JP6447915B2 (ja) * 2015-03-13 2019-01-09 パナソニックIpマネジメント株式会社 負荷制御装置
JP2016180625A (ja) * 2015-03-23 2016-10-13 株式会社東芝 放射線検出装置、入出力較正方法、及び入出力較正プログラム
JP6515999B2 (ja) * 2015-03-30 2019-05-22 株式会社ニコン 撮像素子および撮像装置
CN104780362A (zh) * 2015-04-24 2015-07-15 宏祐图像科技(上海)有限公司 基于局部特征描述的视频静止logo检测方法
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技(深圳)有限公司 图像处理方法及装置
US10373991B2 (en) 2015-08-19 2019-08-06 Semiconductor Energy Laboratory Co., Ltd. Imaging device, operating method thereof, and electronic device
WO2017110413A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6766071B2 (ja) 2015-12-21 2020-10-07 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
CN108431630A (zh) 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
WO2017110418A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
CN105607534A (zh) * 2015-12-25 2016-05-25 厦门思力科电子科技有限公司 一种基于cis的智能开关
CN105809136A (zh) 2016-03-14 2016-07-27 中磊电子(苏州)有限公司 影像数据处理方法及影像数据处理系统
US10674172B2 (en) * 2016-04-19 2020-06-02 Mitsubishi Electric Corporation Image processing apparatus, image processing method, and computer-readable recording medium
CN107846533A (zh) * 2016-09-19 2018-03-27 加尔发半导体股份有限公司 智能传感器设备
TWI580929B (zh) * 2016-10-07 2017-05-01 H P B Optoelectronic Co Ltd Height detection system and its method
US11049260B2 (en) * 2016-10-19 2021-06-29 Nec Corporation Image processing device, stationary object tracking system, image processing method, and recording medium
JP2018085575A (ja) * 2016-11-21 2018-05-31 カシオ計算機株式会社 画像処理装置、解析システム、画像処理方法及びプログラム
KR101735365B1 (ko) 2017-01-19 2017-05-16 (주)나인정보시스템 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
CN107103865B (zh) * 2017-04-10 2020-12-15 海信视像科技股份有限公司 检测显示屏中显示区域的方法和装置
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
CN110678116B (zh) * 2017-06-05 2022-11-04 索尼公司 医疗系统和控制单元
JP7067023B2 (ja) * 2017-11-10 2022-05-16 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
CN110044292A (zh) * 2018-01-16 2019-07-23 郑州宇通客车股份有限公司 一种基于线结构光的三维测量方法和系统
CN108131608A (zh) * 2018-01-17 2018-06-08 福建成达兴智能科技股份有限公司 一种基于图像处理及调光膜的智能调光灯
CN110717369B (zh) * 2018-07-11 2024-05-17 张烂熳 一种对图像进行分层推理识别物体的方法
JP7233873B2 (ja) * 2018-09-19 2023-03-07 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
JP7004852B2 (ja) * 2018-12-26 2022-01-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7151479B2 (ja) * 2018-12-28 2022-10-12 株式会社デンソーテン 付着物検出装置、および付着物検出方法
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
CN113518587B (zh) * 2019-02-26 2024-03-01 国立大学法人静冈大学 X线摄像装置
US11593581B2 (en) * 2019-02-28 2023-02-28 Stats Llc System and method for calibrating moving camera capturing broadcast video
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
CN109894296B (zh) * 2019-03-07 2021-02-26 百度在线网络技术(北京)有限公司 喷水状态的调整方法、装置、计算机设备及存储介质
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US11049264B2 (en) * 2019-10-03 2021-06-29 Pixart Imaging Inc. Marker detecting device and optical tracking device
JP7400480B2 (ja) * 2020-01-14 2023-12-19 株式会社リコー 画像読取装置および画像読取方法
JP7272296B2 (ja) * 2020-02-07 2023-05-12 トヨタ自動車株式会社 判定方法、判定装置及び判定プログラム
JP7497203B2 (ja) * 2020-05-01 2024-06-10 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统
CN111901517B (zh) * 2020-06-13 2022-02-25 无锡利水管业有限公司 基于时区检测的帧率调节系统以及相应终端
US11412133B1 (en) * 2020-06-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with computer vision
CN112017345B (zh) * 2020-08-21 2022-05-17 中建二局第一建筑工程有限公司 一种智能门禁安防方法、装置、系统及存储介质
CN112200135A (zh) * 2020-10-28 2021-01-08 Tcl通讯(宁波)有限公司 摄像元素的检测方法、装置、存储介质及移动终端
CN112543261A (zh) * 2020-12-08 2021-03-23 浙江大华技术股份有限公司 一种图像质量提升方法、装置以及计算机可读存储介质
CN113554008B (zh) * 2021-09-18 2021-12-31 深圳市安软慧视科技有限公司 静态物体区域内检测方法、装置、电子设备及存储介质
KR102391853B1 (ko) * 2021-11-19 2022-05-09 주식회사 케이비전 영상 정보 처리 시스템 및 방법
US20230196795A1 (en) * 2021-12-20 2023-06-22 Veoneer Us, Inc. Pattern detection with shadow boundary using slope of brightness
CN114387248B (zh) * 2022-01-12 2022-11-25 苏州天准科技股份有限公司 一种硅料熔化度监测方法、存储介质、终端和拉晶设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157879A (ja) * 2002-11-07 2004-06-03 Matsushita Electric Works Ltd 物体検出方法
JP2007135868A (ja) * 2005-11-18 2007-06-07 Canon Inc 眼科撮影装置
TW201204024A (en) * 2010-03-30 2012-01-16 Sony Corp Image processing apparatus, method, and computer program storage device
TW201207778A (en) * 2010-08-03 2012-02-16 Wistron Corp Monitoring system and related recording methods for recording motioned image, and machine readable medium thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0353390A (ja) * 1989-07-21 1991-03-07 Nippon Telegr & Teleph Corp <Ntt> 運動体の輪郭識別装置
JPH06201715A (ja) 1992-12-29 1994-07-22 Nabco Ltd 移動物体検出装置
US6452634B1 (en) * 1996-12-26 2002-09-17 Sony Corporation Charge transfer device and method of driving the same, and solid state imaging device and method of driving the same
JPH10271394A (ja) * 1997-03-24 1998-10-09 Sony Corp 電荷転送装置およびこれを用いた固体撮像装置
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム
JP2005086499A (ja) * 2003-09-09 2005-03-31 Minolta Co Ltd 撮像装置
JP4961800B2 (ja) * 2006-03-31 2012-06-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008257626A (ja) 2007-04-09 2008-10-23 Victor Co Of Japan Ltd 動き検出装置
JP5122861B2 (ja) 2007-04-24 2013-01-16 パナソニック株式会社 熱線センサ付自動スイッチ
JP4996491B2 (ja) 2008-01-29 2012-08-08 パナソニック株式会社 撮像装置
JP5281839B2 (ja) * 2008-07-23 2013-09-04 パナソニック株式会社 画像合成符号化方法、画像合成符号化装置、撮像システム
JP5480600B2 (ja) 2009-11-13 2014-04-23 パナソニック株式会社 照明制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157879A (ja) * 2002-11-07 2004-06-03 Matsushita Electric Works Ltd 物体検出方法
JP2007135868A (ja) * 2005-11-18 2007-06-07 Canon Inc 眼科撮影装置
TW201204024A (en) * 2010-03-30 2012-01-16 Sony Corp Image processing apparatus, method, and computer program storage device
TW201207778A (en) * 2010-08-03 2012-02-16 Wistron Corp Monitoring system and related recording methods for recording motioned image, and machine readable medium thereof

Also Published As

Publication number Publication date
WO2013187047A1 (ja) 2013-12-19
CN104364824A (zh) 2015-02-18
KR20150013756A (ko) 2015-02-05
US20150125032A1 (en) 2015-05-07
KR101640875B1 (ko) 2016-07-19
TW201415417A (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
TWI509569B (zh) 物體檢測裝置
CN110225248B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
US9794493B2 (en) Image capturing apparatus, image capturing method, and control method
KR101097017B1 (ko) 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
CN103250418B (zh) 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
JP2009177472A (ja) 画像処理方法、画像処理装置及び撮像装置
JP2015108778A (ja) 撮像装置及びその制御方法
US8634019B2 (en) Image processing apparatus and image processing method
JP2014017114A (ja) 照明システム
JP2009017474A (ja) 画像処理装置および画像処理方法
CN107431764A (zh) 摄影装置、摄影装置主体及摄影装置的控制方法
CN103369252A (zh) 图像处理装置、图像处理装置的控制方法及图像拍摄装置
JP2012120132A (ja) 撮像装置およびプログラム
JP2017063245A (ja) 撮像装置
JP6525503B2 (ja) 画像処理装置および撮像装置
KR20140000821A (ko) 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법
JP6593753B2 (ja) 照度取得装置、照明制御システムおよびプログラム
JP2021097346A (ja) 撮像装置およびその制御方法、プログラム
US20110249140A1 (en) Electronic camera
JP6780543B2 (ja) 画像撮像システム及び画像撮像装置
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
CN111131667B (zh) 进行闪烁检测的摄像设备及其控制方法和存储介质
JP2008113237A (ja) 撮像装置におけるフリッカ検出方法と装置
JP5222779B2 (ja) ナンバープレート認識装置
JP3699830B2 (ja) 炎検出装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees