TW202238172A - 感測系統 - Google Patents

感測系統 Download PDF

Info

Publication number
TW202238172A
TW202238172A TW110146653A TW110146653A TW202238172A TW 202238172 A TW202238172 A TW 202238172A TW 110146653 A TW110146653 A TW 110146653A TW 110146653 A TW110146653 A TW 110146653A TW 202238172 A TW202238172 A TW 202238172A
Authority
TW
Taiwan
Prior art keywords
unit
scanning
information
scan
image
Prior art date
Application number
TW110146653A
Other languages
English (en)
Inventor
北野和俊
川村祐介
高橋恒介
久保田剛史
北野勝己
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202238172A publication Critical patent/TW202238172A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本揭示之感測系統(1)具備：使用調頻連續波之光檢測測距裝置(11)，其輸出以速度點群資訊為基礎的速度圖像作為前述對象物之資訊，該速度點群資訊乃基於由對象物反射而接收到之接收信號而得；及固體攝像裝置(12)，其輸出拍攝到前述對象物之攝像圖像作為前述對象物之資訊；且前述光檢測測距裝置及前述固體攝像裝置以取得來自前述對象物之同一側之資訊的方式配置。

Description

感測系統
本揭示係關於一種感測系統。
自先前以來，出於計測或監視位於對象空間中之人或其他移動體之行動或動作之目的，廣泛利用相機(例如專利文獻1)。相機可取得拍攝到該視野(視野角)中所含之物體之攝像圖像。藉由對由相機取得之攝像圖像施以計算處理，而可檢測、辨識攝像圖像中所含之物體。
相機於其光學特性上，與對象物體之間之距離越變大、攝像圖像中之與該對象物體對應之部分圖像之像素數越變少，基於相機之攝像圖像之該對象物體之檢測及辨識之精度越降低。藉由利用使用高解析度之影像感測器之相機，而可減小與該對象物體之間之距離相應之精度之降低。
另一方面，業已知悉基於接收到朝對象物體照射之雷射光之反射光之受光信號而計測與該對象物體相隔之距離之被稱為LiDAR(Laser Imaging Detection and Ranging，雷射成像偵測與測距)之光學測距裝置。於LiDAR中，同時使用掃描器及焦平面陣列型檢測器等，就視野範圍內之每一角度執行測距，基於角度與距離之資訊以例如一定之訊框率輸出被稱為點群之資料。藉由對該點群資料施以計算處理，而可檢測、辨識對象物體之正確位置、姿勢等(例如專利文獻2、專利文獻3)。 [先前技術文獻] [專利文獻]
專利文獻1：日本特開2019-114280號公報 專利文獻2：日本特開2019-101000號公報 專利文獻3：日本特開2003-272061號公報
[發明所欲解決之問題]
於利用相機之檢測、辨識處理中，在利用高解析度之影像感測器之情形下，對於攝像圖像之計算處理之負載增大。尤其是，於出於對於視野全域之計測、監視之目的，對攝像圖像整體重複進行處理之高度之檢測處理及辨識處理中，招致處理時間、計算成本、耗電之增大。
又，對象物體表面之亮度由於相應於太陽光或照明光等外部光條件而變化，故利用相機之對象物體之檢測、辨識處理之精度依存於外部光。例如，於低照度之環境下之使用相機之對象物體之檢測、辨識處理中，攝像圖像之亮度降低，有對於攝像圖像中所含之對象物體之檢測、辨識之精度降低之虞。
進而，相機於其光學特性上，當進行對象物體之攝像時，位於與對象物體之間之雨滴或塵埃等微小遮蔽物亦與對象物體一起拍攝到。因此，由相機拍攝到之攝像圖像中之與對象物體對應之圖像區域對於原本之對象物體之圖像成為局部性者，有對於攝像圖像中所含之對象物體之檢測、辨識之精度降低之虞。
另一方面，於LiDAR中，於該動作原理上，由於計測結果不易受到外部光之影響，故於例如低照度之環境下，亦可穩定地檢測、辨識對象物體。然而，LiDAR於其動作原理上，由於各規格處於相互折衷之關係，故為了例如確保一定以上之訊框率，而產生將解析度抑制為較低之需要。因此，於LiDAR中，有與對象物體相隔之距離越大，與該對象物體對應之部分點群中之點之數量越變少，對於對象物體之檢測、辨識之精度越降低之虞。
本揭示之目的在於提供一種可於多種環境下穩定地執行對象物體之檢測及辨識之感測系統。 [解決問題之技術手段]
本揭示之感測系統具備：使用調頻連續波之光檢測測距裝置，其輸出以速度點群資訊為基礎的速度圖像作為前述對象物之資訊，該速度點群資訊乃基於由對象物反射而接收到之接收信號而得；及固體攝像裝置，其輸出拍攝到前述對象物之攝像圖像作為前述對象物之資訊；且前述光檢測測距裝置及前述固體攝像裝置以取得來自前述對象物之同一側之資訊的方式配置。
以下，針對本發明之實施形態，基於圖式詳細地說明。此外，於以下之實施形態中，藉由對於同一部位賦予同一符號，而省略重複之說明。
以下，針對本發明之實施形態，依照下述之順序進行說明。 1.關於既有技術 1-1.使用相機之方法 1-2.使用LiDAR之方法 1-3.關於FMCW-LiDAR 2.本揭示之概略 3.第1實施形態 3-1.第1實施形態之變化例 4.第2實施形態 4-1.第2實施形態之變化例 5.第3實施形態 6.第4實施形態
[1.關於既有技術] 本揭示係關於一種用於物體之檢測、尤其是移動物體之檢測及追蹤且較佳之技術。於說明本揭示之各實施形態前，為了將理解容易化，而針對與本揭示之技術相關之既有技術，概略地說明。
(1-1.使用相機之方法) 作為進行移動物體之檢測及追蹤之方法之一，自先前以來業已知悉使用相機之方法(例如專利文獻1)。相機可取得拍攝到其視野角中所含之物體之攝像圖像。藉由對由相機取得之攝像圖像進行計算處理，而可自該攝像物檢測及辨識對象物體。將該處理對例如於不同之時刻拍攝到之複數個攝像圖像進行，追蹤於各攝像圖像中被共通地辨識出之對象物體。
以後，經由相機之透鏡而取得之圖像視作與由人之眼睛取得之圖像對應，將相機之視野角適宜稱為視野。
相機於其光學特性上，與對象物體之間之距離越變大、攝像圖像中之與該對象物體對應之部分圖像之像素數越變少，基於相機之攝像圖像之該對象物體之檢測及辨識之精度越降低。藉由利用使用高解析度之影像感測器之相機，而可減小與該對象物體之間之距離相應之精度之降低。
另一方面，於使用相機之檢測、辨識處理中，在使用高解析度之影像感測器之情形下，對於攝像圖像之計算處理之負載增大。尤其是，於出於對於視野角全域之計測、監視之目的，而對於攝像圖像整體重複進行處理之高度之檢測處理及辨識處理中，招致處理時間、計算成本、耗電之增大。
又，對象物體之亮度由於相應於太陽光或照明光等外部光條件而變化，故使用相機之對象物體之檢測、辨識處理之精度依存於外部光。例如，於低照度之環境下之使用相機之對象物體之檢測、辨識處理中，攝像圖像之亮度降低，有對於攝像圖像中所含之對象物體之檢測、辨識之精度降低之虞。
進而，相機於其光學特性上，當拍攝對象物體時，位於其與對象物體之間之雨滴或塵埃等微小遮蔽物亦與對象物體同時拍攝到。因此，由相機拍攝到之攝像圖像中之與對象物體對應之圖像區域對於原本之對象物體之圖像成為局部性者，有對於攝像圖像中所含之對象物體之檢測、辨識之精度降低之虞。
(1-2.使用LiDAR之方法) 作為進行移動物體之檢測及追蹤之另一方法，業已知悉使用LiDAR(Laser Imaging Detection and Ranging，雷射成像偵測與測距)之方法。LiDAR係基於接收到照射至對象物體之雷射光之反射光之受光信號而計測與該對象物體相隔之距離之光檢測測距裝置。於LiDAR中，同時使用進行雷射光之掃描之掃描器、及作為受光部之焦平面陣列型檢測器等。於LiDAR中，在雷射光之掃描範圍內，就每一定之角度執行測距，基於角度與距離之資訊，輸出被稱為點群之資料。
點群係對雷射光之掃描範圍中所含之物體之位置或空間構造進行取樣者，一般而言就每一定週期之訊框時間輸出。藉由對該點群資料施以計算處理，而可檢測、辨識對象物體之正確的位置、姿勢等(例如專利文獻2、專利文獻3)。
以後，可將自LiDAR之受光部觀察到之掃描範圍視為對應於可由人之眼睛辨識之範圍，將該掃描範圍適宜稱為視野或視野範圍。
LiDAR於其動作原理上，由於計測結果不易受到外部光之影響，故於例如低照度之環境下，亦可穩定地檢測、辨識對象物體。自先前以來提案各種使用LiDAR之光檢測測距方法。面向長距離計測用途，將脈衝調變與直接檢測組合之脈衝ToF(Time-of-Flight，飛行時間)方式已經普及。以下，將藉由使用LiDAR之脈衝ToF進行之光檢測測距方法適宜稱為dToF(direct ToF，直接飛行時間)-LiDAR。
LiDAR於其動作原理上，由於各規格處於相互折衷之關係，故例如為了確保一定以上之訊框率，而產生將解析度抑制為較低之需要。因此，於LiDAR中，有與對象物體相隔之距離越大，與該對象物體對應之部分點群中之點之數量越變少，對於對象物體之檢測、辨識之精度越降低之虞。又，LiDAR一般而言可進行物體之表面反射率之計測，另一方面，不進行物體色之計測。因此，LiDAR可謂不適於如使用相機而進行之高度之物體之識別、分類等辨識用途。
又，dToF-LiDAR由於係接收光之能量而進行測距之方式，故難以區別接收光為由LiDAR射出之雷射光之反射光、或其他光源之光。因此，有於dToF-LiDAR中，於太陽等高照度光源位處之環境中，環境光對接收光造成影響，招致雜訊之增大或串音之產生之虞。
進而，dToF-LiDAR於在掃描範圍之空間中存在微小物體之情形下，與來自對象物體之反射光同時接收來自該微小物體之反射光。因此，於該微小物體具有一定以上之數量與大小之情形下，於接收信號檢測到包含由來自該微小物體之反射光形成之脈衝之複數個脈衝，難以區別由來自對象物體之反射光形成之脈衝、與由來自微小物體之反射光形成之脈衝。因此，自dToF-LiDAR輸出之點群之與對象物體對應之點之數量減少或消失，另一方面，因該微小物體引起之檢測點分散出現於掃描範圍之空間中。
進而，又，於dToF-LiDAR中，如上述般，一般而言就每一定週期(訊框)輸出點群。藉由將各訊框之點群進行比較，而可推定於點群中檢測到之物體之移動(移動速度、方向等)。
然而，於對象物體之形狀變化而非剛體之情形(人類等)下，難以建立在訊框間之點群之對應關係。尤其是，於在掃描範圍之空間同時存在複數個對象物體，其等進行不同之移動之情形下，極其難以建立在訊框間之點群之對應關係。又，於對象物體位於遠方之形狀複雜、或複數個對象物體同時進行複雜移動等之情形下，亦難以正確地檢測對象物體之移動。
(1-3.關於FMCW-LiDAR) 此處，針對作為使用LiDAR之光檢測測距方法之一之FMCW(Frequency Modulated Continuous Wave，連續調頻波)-LiDAR，進行說明。FMCW-LiDAR使用使脈衝之頻率相應於時間之經過而例如直線地變化之啁啾光，作為射出之雷射光。於FMCW-LiDAR中，對於將作為啁啾光而射出之雷射光、與射出之雷射光之反射光合成之接收信號，藉由同調檢測而進行測距。
於FMCW-LiDAR中，藉由利用都蔔勒效應，而可與測距同時地計測速度。因此，藉由利用FMCW-LiDAR，而容易迅速掌握人及其他移動物體等具有速度之物體之位置。又，同調檢測由於不易受來自其他光源之干涉，故可避免串音，進而由太陽光等高照度之光源造成之雜訊之影響小。因此，由FMCW-LiDAR實現之計測耐環境變化性強，即便於低照度環境下亦可穩定地進行對象物體之計測。
於本揭示中，使相機與FMCW-LiDAR協作而進行對象物體之檢測及辨識。藉此，可於各種環境中實現穩定、高速、高精度之檢測及辨識。
[2.本揭示之概略] 其次，針對本揭示，概略地說明。圖1係顯示可應用本揭示之各實施形態之感測系統1之一例之構成之方塊圖。於圖1中，感測系統1包含：感測器單元10、及對自感測器單元10輸出之輸出信號執行特定信號處理之信號處理部13。信號處理部13之輸出被供給至執行例如特定應用程式之資訊處理裝置(未圖示)。
感測器單元10包含光檢測測距部11及相機12。光檢測測距部11乃應用使用經連續調頻之雷射光進行測距之FMCW-LiDAR。光檢測測距部11之檢測及測距結果，作為具有三維空間資訊之點群資訊被供給至信號處理部13。
相機12拍攝例如可見光波長區域之光，輸出包含R(紅色)、G(綠色)及B(藍色)各色之資訊之二維資訊的攝像圖像。自相機12輸出之攝像圖像被供給至信號處理部13。
於感測器單元10中，光檢測測距部11及相機12以取得來自進行計測之對象物之同一側之資訊的方式配置。例如，可考量配置成，將光檢測測距部11之光發送方向之角度範圍與相機12之視野角朝向大致同一方向，且將光檢測測距部11與相機12相互接近。
信號處理部13對自光檢測測距部11供給之檢測及測距結果、與自相機12供給之攝像圖像執行信號處理，輸出包含與對象物相關之屬性資訊及區域資訊的資訊。
此外，於圖1之例中，感測系統1顯示為具有1個感測器單元10、及與該感測器單元10對應之1個信號處理部13，但其不限定於該例。例如，感測系統1可設為相對於1個信號處理部13具有複數個感測器單元10之構成。
圖2係顯示可應用於本揭示之各實施形態之光檢測測距部11之一例之構成之方塊圖。於圖2中，光檢測測距部11包含掃描部100、掃描控制部101、及角度檢測部102。光檢測測距部11進一步包含：發送光控制部110、光發送部111、光接收部112、及接收信號處理部113。進而，又，光檢測測距部11包含：點群產生部120、前段處理部130、及介面(I/F)部131。
光發送部111例如包含：用於發出作為發送光之雷射光之雷射二極體等光源、用於射出由光源發出之光之光學系統、及驅動該光源之雷射輸出調變裝置。光發送部111相應於自後述之發送光控制部110供給之光發送控制信號而使光源發光，且射出由相應於時間之經過而於特定頻率範圍內頻率直線變化之啁啾光形成之發送光。發送光被送至掃描部100，且作為局部發光被送至光接收部112。
發送光控制部110相應於時間之經過而產生頻率於特定頻率範圍內直線變化(例如增加)之信號。將如此之相應於時間之經過而頻率於特定頻率範圍內直線變化之信號稱為啁啾信號。發送光控制部110基於該啁啾信號，產生朝光發送部111包含之雷射輸出調變裝置輸入之調變動機時序信號即光發送控制信號。發送光控制部110將產生之光發送控制信號供給至光發送部111與點群產生部120。
光接收部112例如包含：接收(受光)來自掃描部100之接收光之受光部、及驅動該受光部之驅動電路。受光部例如可應用分別構成像素之光電二極體等受光元件二維格子狀排列之像素陣列。光接收部112進一步包含將自掃描部接收到之接收光、與自光發送部111給送之局部發光合成之合成部。若接收光為來自發送光之對象物之反射光，則接收光成為對於局部發光相應於與對象物之距離而延遲之信號，將接收光與局部發光合成之合成信號成為一定頻率之信號(拍頻信號)。光接收部112將該信號作為接收信號供給至接收信號處理部113。
接收信號處理部113對自光接收部112供給之接收信號進行例如高速傅利葉轉換等信號處理。接收信號處理部113藉由該信號處理，求得與對象物相隔之距離、及表示對象物之速度之速度，產生包含分別表示該等距離及速度之距離資訊及速度資訊之計測資訊。接收信號處理部113可進一步基於接收信號，求得表示對象物之反射率之反射率資訊，並包含於計測資訊。接收信號處理部113將產生之計測資訊供給至點群產生部120。
掃描部100將自光發送部111給送之發送光以依照自掃描控制部101供給之掃描控制信號之角度發送，且接收自該角度入射之光作為接收光。於掃描部100中，可應用例如雙軸反射鏡掃描裝置作為發送光之掃描機構。該情形下，掃描控制信號例如成為施加於該雙軸反射鏡掃描裝置之各軸之驅動電壓信號。
掃描控制部101產生使由掃描部100進行之收發之角度於特定之角度範圍內變化之掃描控制信號，並供給至掃描部100。掃描部100可依照所供給之掃描控制信號，執行由發送光進行之一定之範圍之掃描。
掃描部100具有檢測射出之發送光之射出角度之感測器，輸出表示由該感測器檢測到之發送光之射出角度之角度檢測信號。角度檢測部102基於自掃描部100輸出之角度檢測信號求得收發之角度，產生表示求得之角度之角度資訊。角度檢測部102將產生之角度資訊供給至點群產生部120。
圖3係概略性顯示由掃描部100進行之發送光之掃描之示意圖。掃描部100於特定之角度範圍200內，依照特定條數之掃描線210進行掃描。掃描線210對應於在角度範圍200之左端與右端之間進行掃描之1個軌跡。掃描部100相應於掃描控制信號，依照掃描線210於角度範圍200之上端與下端之間進行掃描。
此時，掃描部100依照掃描控制信號，使啁啾光之射出點如例如點220 1、220 2、220 3、…般以例如一定之點速率沿掃描線210依次離散地變化。因此，各點220 1、220 2、220 3、…不限定於在角度範圍200內格子狀排列。此外，光發送部111可依照自發送光控制部110供給之光發送控制信號，對1個射出點1次或複數次輸出啁啾光。
返回圖2之說明，點群產生部120基於自角度檢測部102供給之角度資訊、自發送光控制部110供給之光發送控制信號、及自接收信號處理部113供給之計測資訊，產生點群資訊。更具體而言，點群產生部120基於角度資訊、及計測資訊中所含之距離資訊，根據角度與距離來特定空間中之1點。點群產生部120取得作為特定出之點之特定條件下之集合之點群。點群產生部120基於計測資訊中所含之速度資訊，求得將特定出之各點之速度加入點群之速度點群。
點群產生部120將求得之速度點群供給至前段處理部130。前段處理部130對所供給之速度點群施以格式轉換等特定信號處理。由前段處理部130予以信號處理之速度點群經由I/F部131被輸出至光檢測測距部11之外部。
又，雖然於圖2中省略，但點群產生部120可使自接收信號處理部113供給之計測資訊中所含之各資訊(距離資訊、速度資訊、反射率資訊等)經由前段處理部130及I/F部131輸出至外部。
[3.第1實施形態] 其次，針對本發明之第1實施形態進行說明。圖4係顯示第1實施形態之感測系統1之一例之構成之方塊圖。
於圖4中，感測系統1包含各1個之感測器單元10及信號處理部13。信號處理部13包含：點群合成部140、3D(Three Dimensions，三維)物體檢測部141、3D物體辨識部142、圖像合成部150、2D(Two Dimensions，二維)物體檢測部151、2D物體辨識部152、及I/F部160。
該等點群合成部140、3D物體檢測部141、3D物體辨識部142、圖像合成部150、2D物體檢測部151、2D物體辨識部152及I/F部160可藉由在CPU(Central Processing Unit，中央處理單元)等處理器上執行本揭示之資訊處理程式而構成。不限定於此，可藉由相互協同地動作之硬體電路，構成該等點群合成部140、3D物體檢測部141、3D物體辨識部142、圖像合成部150、2D物體檢測部151、2D物體辨識部152及I/F部160之一部分或全部。
於圖4中，點群合成部140、3D物體檢測部141及3D物體辨識部142進行與點群資訊相關之處理。又，圖像合成部150、2D物體檢測部151及2D物體辨識部152進行與攝像圖像相關之處理。
點群合成部140自光檢測測距部11取得速度點群，自相機12取得攝像圖像。點群合成部140基於速度點群與攝像圖像，將色彩資訊及其他資訊組合，產生對於速度點群之各計測點追加新的資訊等之點群即合成點群。
更具體而言，點群合成部140藉由座標系轉換而參考與速度點群中之各計測點之角度座標對應之攝像圖像之像素，針對各計測點，取得代表該點之色彩資訊。計測點對於利用圖3所說明之各點220 1、220 2、220 3、…對應於接收到反射光之點。點群合成部140將取得之各計測點之各色彩資訊附加於各計測點之計測資訊。點群合成部140輸出各計測點具有速度資訊及色彩資訊之合成點群。
此外，速度點群與攝像圖像之間之座標系轉換例如預先進行基於光檢測測距部11及相機12之位置關係之校正處理，較佳為於將該校正結果反映於速度點群之角度座標、與攝像圖像之像素之座標後執行。
3D物體檢測部141取得自點群合成部140輸出之合成點群，檢測取得之合成點群中所含之表示3D物體之計測點。此外，以下，為了避免繁雜，而將「檢測合成點群中所含之表示3D物體之計測點」等之表現記載為「檢測合成點群中所含之3D物體」等。
3D物體檢測部141提取由自合成點群檢測到之表示3D物體之計測點形成之點群作為局部存在點群。
更具體而言，3D物體檢測部141為了辨別合成點群中所含之靜態物體與動態物體，而自忽視合成點群中之色彩資訊之速度點群提取具有一定以上之速度絕對值之點。3D物體檢測部141從由提取之點形成之速度點群之中提取於一定之空間範圍(相當於對象物體之大小)局部存在之速度點群之集合(稱為局部存在速度點群)。3D物體檢測部141可自合成點群提取複數個局部存在速度點群。
又，3D物體檢測部141產生在表現對象空間之整體之點群之中表示對象物體亦即局部存在點群之存在範圍之資訊即區域資訊。更具體而言，3D物體檢測部141對於各局部存在速度點群，於所包含之點之數量為第1常數以上之情形下，推定包含該局部存在速度點群之例如最小之區域之位置、大小及姿勢，產生推定出之區域之區域資訊。以下，將與點群相關之區域資訊稱為3D區域資訊。3D區域資訊例如由如3D之定界框之長方體表現。
3D物體檢測部141輸出局部存在點群、及與該局部存在點群對應之3D區域資訊。
3D物體辨識部142取得自3D物體檢測部141輸出之局部存在點群及3D區域資訊。又，3D物體辨識部142取得自後述之2D物體辨識部152輸出之區域資訊及屬性資訊。3D物體辨識部142基於取得之局部存在點群及3D區域資訊、及自2D物體辨識部152取得之區域資訊及屬性資訊，進行對於局部存在點群之物體辨識。
3D物體辨識部142基於3D點群區域資訊，於局部存在速度點群中所含之點之數目為可利用於對象物體之辨識之點之數目即第2常數以上之情形下，對於該局部存在速度點群進行點群辨識處理。3D物體辨識部142藉由該點群辨識處理，推定與辨識出之物體相關之屬性資訊。以下，將基於點群之屬性資訊稱為3D屬性資訊。
3D物體辨識部142於推定出之3D屬性資訊之確信度為一定以上、亦即能夠有效地執行辨識處理時，將表示進行計測之時刻之時刻資訊、3D區域資訊及3D屬性資訊整合而輸出。
此外，屬性資訊係就辨識處理之結果、點群之點及圖像之像素之每一者，表示該單位所屬之對象物體之種別及固有分類等之對象物體之屬性之資訊。3D屬性資訊於對象物體為人時，可表現為對例如點群之各點賦予之屬該人之固有數值。
圖像合成部150自光檢測測距部11取得速度點群，自相機12取得攝像圖像。圖像合成部150基於速度點群與攝像圖像，產生距離圖像及速度圖像。
圖5係示意性顯示距離圖像50之例之圖。距離圖像50係包含表示與計測點相距之距離之資訊之圖像。於圖5之例中，距離圖像50藉由濃淡而階段性顯示距離。於圖5中，顯示依照目的物500、501、502之順序，與計測點相隔之距離變大。又，顯示目的物503及504之與計測點相隔之距離大於目的物502，且相互位於同程度之距離。顯示目的物505之與計測點相隔之距離進一步大於目的物503及504。此外，於距離圖像50中，塗黑之區域表示無限遠或無法測距之區域。
圖6係示意性顯示速度圖像51之例之圖。於圖6中，速度圖像51中所含之目的物512～515各者分別對應於圖5所示之距離圖像50中所含之目的物502～505。
速度圖像51係由都蔔勒效應形成之圖像，包含例如表示對於計測點之速度及速度之方向之資訊。於圖6之例中，速度圖像51以第1色表示以對於計測點接近之方式移動之目的物513、514、515，以第2色表示以相對於計測點遠離之方式移動之目的物512。又，於圖6中，對於計測點之速度為[0]之區域516係以第3色表示。此外，雖然於圖6中省略，但可進一步藉由第1色及第2色之濃度來表示目的物之移動速度。
圖像合成部150將距離圖像50及速度圖像51與攝像圖像藉由座標系轉換而使座標一致且合成，產生由具有R(紅色)、G(綠色)及B(藍色)各色之色彩資訊之RGB圖像形成之合成圖像。此處產生之合成圖像為各像素具有色彩、距離及速度之資訊之圖像。此外，距離圖像50及速度圖像51之解析度低於自相機12輸出之攝像圖像。因此，圖像合成部150可對於距離圖像50及速度圖像51藉由放大化等處理而使解析度與攝像圖像一致。
圖像合成部150輸出攝像圖像、及產生之合成圖像。此外，合成圖像意指將距離、速度及其他資訊組合，對圖像之各像素追加新的資訊之圖像。
圖7係示意性顯示合成圖像52之例之圖。於圖7中，目的物520～525各者分別對應於圖5所示之各目的物500～505。圖7所示之合成圖像52例如可表現為將攝像圖像作為紋理對於速度點群貼附後之圖像。合成圖像52例如成為於人觀察時能夠容易辨識各目的物520～525之圖像。
2D物體檢測部151基於自3D物體檢測部141輸出之3D區域資訊，從自圖像合成部150供給之合成圖像提取與該3D區域資訊對應之部分圖像。又，2D物體檢測部151自提取之部分圖像檢測物體，產生表示包含檢測到之物體之例如最小面積之矩形區域之區域資訊。將該基於攝像圖像之區域資訊稱為2D區域資訊。2D區域資訊表示為光檢測測距部11之計測點及對每一像素賦予之值落於指定之範圍之點及像素之集合。
2D物體檢測部151輸出產生之部分圖像與2D區域資訊。
2D物體辨識部152取得自2D物體檢測部151輸出之部分圖像，對取得之部分圖像進行推論處理等圖像辨識處理，而推定該部分圖像之屬性資訊。該情形下，屬性資訊於例如對象為車輛之情形下，表現為對圖像之各像素賦予之表示屬車輛之固有數值。以下，將基於部分圖像(攝像圖像)之屬性資訊稱為2D屬性資訊。
2D物體辨識部152於推定出之2D屬性資訊之確信度為一定以上、亦即能夠有效地執行辨識處理時，將表示進行攝像之時刻之時刻資訊、2D區域資訊、及2D屬性資訊整合而輸出。此外，2D物體辨識部152於推定出之2D屬性資訊之確信度未達一定時，將時刻資訊與2D區域資訊整合而輸出。
I/F部160輸入：自點群合成部140輸出之合成點群、及自3D物體辨識部142輸出之3D屬性資訊及3D區域資訊。又，I/F部160輸入：自圖像合成部150輸出之合成圖像及攝像圖像、及自2D物體辨識部152輸出之2D屬性資訊及2D區域資訊。I/F部160相應於例如來自外部之設定，自所輸入之合成點群、3D屬性資訊、3D區域資訊、合成圖像、攝像圖像、2D屬性資訊及2D區域資訊選擇輸出之資訊。
圖8係顯示第1實施形態之感測器單元10之配置例之示意圖。空間3係包含成為空間計測之對象之對象空間之空間。空間3可包含移動之移動物體40、及靜止之靜態物體41。對於空間3配置感測器單元10。感測器單元10之例如光檢測測距部11於角度α之角度範圍內掃描對象，於空間3內之對象範圍30內進行計測。
此外，於圖8之例中，為了進行說明，而以對象範圍30為平面之方式顯示，實際上，對象範圍30亦包含高度方向之範圍。又，感測器單元10雖然如利用圖3所說明般，不僅於水平方向而且亦於垂直方向進行掃描，但此處，關注水平方向之角度範圍，針對垂直方向之角度範圍省略說明。
圖9係顯示由第1實施形態之感測系統1進行之處理之一例之流程圖。
圖9所示之各處理係由信號處理部13之各部執行。更具體而言，於圖9中，左側所示之步驟S100～步驟S112主要為由點群合成部140、3D物體檢測部141及3D物體辨識部142執行之與3D資料相關之處理。又，右側所示之步驟S200～步驟S207主要為由圖像合成部150、2D物體檢測部151及2D物體辨識部152執行之與2D資料相關之處理。
於圖9中，在步驟S100中，點群合成部140基於藉由光檢測測距部11對角度範圍200內之掃描而計測到之速度點群、及由相機12拍攝到之攝像圖像，取得1訊框份額之合成點群(稱為合成點群訊框)。
圖10係示意性顯示速度點群之例之圖。此外，於圖10之例中，設為於圖之右下角之外部配置有感測器單元10者，俯瞰地顯示由感測器單元10之光檢測測距部11檢測到之速度點群。速度點群60可表現為例如由自光檢測測距部11射出之發送光之點於掃描線210上整齊排列而成之圖像。
於圖10中，速度點群60包含與例如圖7之目的物520～525分別對應之目的物600～605。目的物600～605中，將目的物603～605之各個區域613～615設為第1色，表示其分別以相對於感測器單元10接近之方式移動中。又，將目的物602之區域612設為第2色，表示其以遠離感測器單元10之方式移動中。另一方面，將目的物600及601、以及相當於地面之區域與相當於建築物等固定物之區域設為第3色，表示相對於感測器單元10靜止。
於下一步驟S101中，3D物體檢測部141自步驟S100中產生之合成點群中，提取具有一定以上之速度絕對值之點。於下一步驟S102中，3D物體檢測部141產生步驟中S101提取出之點中、局部存在於一定之空間範圍之速度點群之集合(局部存在速度點群)。3D物體檢測部141於步驟S102中，可根據合成點群訊框而產生複數個局部存在速度點群。
於下一步驟S103中，3D物體檢測部141自步驟S102中產生之局部存在速度點群中，提取作為處理之對象之1個局部存在速度點群。於下一步驟S104中，信號處理部13判定由3D物體檢測部141提取出之局部存在速度點群中所含之點之數目是否為第1常數以上。於3D物體檢測部141判定為該點之數目未達第1常數時(步驟S104、「否」)，將處理返回步驟S103，提取步驟S102中產生之局部存在速度點群中之下一局部存在速度點群，繼續進行處理。
於3D物體檢測部141判定為該點之數目為第1常數以上時(步驟S104、「是」)，使處理移至步驟S105。於步驟S105中，3D物體檢測部141推定包含對象之局部存在速度點群之例如最小之區域之區域資訊(位置、大小、姿勢)，並取得3D區域資訊。
圖11係示意性顯示自速度點群60提取之3D區域資訊之例之圖。於圖11之例中，顯示相應於在速度點群60中具有一定以上之速度絕對值之目的物601～605各者，產生3D區域資訊621～625之樣態。各3D區域資訊621～625顯示為包含構成各目的物601～605之局部存在速度點群之例如體積最小之長方體。此外，於圖11之例中，目的物601顯示為以一定以上之速度絕對值移動者。
圖12係更詳細地顯示3D區域資訊之例之示意圖。圖12之區段(a)顯示對於目的物602之3D區域資訊622之例。又，圖12之區段(b)顯示對於目的物601之3D區域資訊之例。
3D物體檢測部141若於步驟S105中取得3D區域資訊，則使處理移至步驟S106。3D物體檢測部141與此同時對於後述之步驟S201之處理，將3D區域資訊交遞至2D物體檢測部151。
於步驟S106中，3D物體辨識部142自3D物體檢測部141取得局部存在速度點群及3D區域資訊。於步驟S106之處理之後，處理移至後述之步驟S107。
另一方面，與上述之步驟S100之合成圖像訊框之取得處理並行地，執行步驟S200之處理。於步驟S200中，圖像合成部150基於藉由光檢測測距部11對角度範圍200內之掃描而取得之速度點群、及由相機12取得之攝像圖像，產生1訊框份額之合成圖像(稱為合成圖像訊框)。
圖13係示意性顯示合成圖像訊框之例之圖。於圖13中，合成圖像訊框70可與由相機12拍攝到之攝像圖像之訊框對應。於圖13之例中，合成圖像訊框70包含分別與圖10之目的物600～605對應之目的物700～705。
於下一步驟S201中，2D物體檢測部151取得於上述之步驟S105中由3D物體檢測部141推定出之3D區域資訊。2D物體檢測部151使用取得之3D區域資訊，自作為與攝像圖像之整體對應之整體圖像之合成圖像提取部分圖像。
圖14係示意性顯示自合成圖像訊框70取得3D區域資訊之樣態之圖。於圖14中，顯示對於各目的物700～705中具有一定以上之速度絕對值之目的物701～705分別取得3D區域資訊721～725之樣態。各3D區域資訊721～725例如可取得為分別包含目的物701～705之最小之矩形區域。不限定於此，各3D區域資訊721～725可為表示對於該最小之矩形區域具有裕度之區域之區域資訊。
圖15係示意性顯示基於3D區域資訊而提取之部分圖像之例之圖。圖15之區段(a)顯示由與目的物703對應之3D區域資訊723形成之部分圖像之例。又，圖15之區段(b)顯示由與目的物701對應之3D區域資訊721形成之部分圖像之例。
於下一步驟S202中，2D物體檢測部151判定於步驟S201中取得之部分圖像之亮度是否充分。作為一例，2D物體檢測部151算出該部分圖像之各像素之亮度值之例如平均值作為部分圖像之亮度值。2D物體檢測部151於算出之該亮度值為臨限值以上時，判定為部分圖像之亮度充分。
於2D物體檢測部151判定為部分圖像之亮度值不充分時(步驟S202、「否」)，使處理移至步驟S206。另一方面，於2D物體檢測部151判定為部分圖像之亮度值充分時(步驟S202、「是」)，使處理移至步驟S203。
於步驟S203中，2D物體辨識部152自2D物體檢測部151取得部分圖像，對取得之部分圖像執行辨識處理。2D物體辨識部152基於辨識處理之結果，推定2D屬性資訊。
於下一步驟S204中，2D物體辨識部152判定步驟S203之辨識結果之確信度是否為一定以上。於2D物體辨識部152判定為確信度未達一定時(步驟S204、「否」)，使處理移至步驟S206。另一方面，於2D物體辨識部152判定為確信度為一定以上時(步驟S204、「是」)，使處理移至步驟S205。
於步驟S205中，3D物體辨識部142將表示拍攝到攝像圖像之時刻之時刻資訊、2D屬性資訊、及2D區域資訊整合，並對於I/F部160輸出。
另一方面，如上述般，於在步驟S202中判定為部分圖像之亮度不充分時(步驟S202、「否」)，或於在步驟S204中判定為確信度未達一定時(步驟S204、「否」)，將處理移至步驟S206。於該等情形下，不於2D物體辨識部152中取得2D屬性資訊。因此，2D物體辨識部152於步驟S206中，將時刻資訊與2D區域資訊整合，並對於I/F部160輸出。
於步驟S205或步驟S206之處理之後，將處理移至步驟S207。於步驟S207中，2D物體辨識部152對於3D物體辨識部142輸出時刻資訊及2D屬性資訊。
返回圖9之左側之處理之說明，於自步驟S106移至步驟S107時，3D物體辨識部142於步驟S207中取得自2D物體辨識部152輸出之時刻資訊及2D屬性資訊。
於步驟S107中，3D物體辨識部142判定於步驟S106中取得之局部存在速度點群中所含之點之數目是否為第2常數以上。於3D物體辨識部142判定為該點之數目未達第2常數時(步驟S107、「否」)，使處理移至步驟S111。另一方面，於3D物體辨識部142判定為該點之數目為第2常數以上時(步驟S107、「是」)，使處理移至步驟S108。
於步驟S108中，3D物體辨識部142對於對象之局部存在速度點群執行物體辨識處理，並推定3D屬性資訊。於下一步驟S109中，3D物體辨識部142判定於步驟S108中推定出之3D屬性資訊之確信度是否為一定以上。於3D物體辨識部142判定為確信度未達一定時(步驟S109、「否」)，使處理移至步驟S111。另一方面，於3D物體辨識部142判定為確信度為一定以上時(步驟S109、「是」)，使處理移至步驟S110。
於步驟S110中，3D物體辨識部142將表示進行計測之時刻之時刻資訊、3D區域資訊及3D屬性資訊整合。
於下一步驟S111中，3D物體辨識部142判定對於在步驟S103中產生之所有局部存在速度點群之處理是否結束。信號處理部13於判定為對於所產生之所有局部存在速度點群之處理未結束時(步驟S111、「否」)，將處理返回步驟S103，提取於步驟S102中產生之局部存在速度點群中下一局部存在速度點群，並繼續進行處理。
另一方面，於3D物體辨識部142判定為對於所產生之所有局部存在速度點群之處理已結束時(步驟S111、「是」)，使處理移至步驟S112。於步驟S112中，3D物體辨識部142針對所產生之所有局部存在速度點群，對於I/F部160輸出於步驟S110中經整合之時刻資訊、3D屬性資訊及3D區域資訊。
若於步驟S112中輸出時刻資訊、3D屬性資訊及3D區域資訊，則該圖9之流程圖之一系列之處理結束。
此處，將自光檢測測距部11輸出之速度點群、與自相機12輸出之攝像圖像進行比較。攝像圖像與速度點群比較，解析度更高。因此，使用攝像圖像之辨識處理可相對於使用速度點群之辨識處理設為高精度。另一方面，使用攝像圖像之辨識處理之計算負載相對於使用速度點群之辨識處理更高。三維之位置推定雖然於不具有三維空間資訊之攝像圖像中難以進行，但由於速度點群具有三維空間資訊，故容易進行。又，速度點群由於具有速度資訊，故容易檢測動體，攝像圖像由於具有色彩資訊，故容易進行屬性資訊之取得及推定。
如此，自光檢測測距部11輸出之速度點群、與自相機12輸出之攝像圖像具有互不相同之特性。因此，藉由依照圖9之流程圖之處理，將光檢測測距部11之輸出與相機12之輸出組合而進行物體檢測、辨識處理，而可於多樣之環境下穩定地執行對象物體之檢測及辨識。
(3-1.第1實施形態之變化例) 其次，針對第1實施形態之變化例進行說明。於上述之第1實施形態中，對於包含成為空間計測之對象之對象空間之空間3，僅配置1個感測器單元10，自1方向進行計測及攝影。將該自1方向進行對於對象空間之計測及攝影之系統稱為單角度系統。
於單角度系統之情形下，當於對象空間中存在多數個物體時，或當物體較大時，產生遮蔽之概率變高。因此，於單角度系統中，僅可計測對象物體之一部分，有計測數目減少之虞。對於對象物體之計測數目之減少導致會招致對於該對象物體之檢測概率及辨識精度之降低。
為此，於該第1實施形態之變化例中，對於包含對象空間之空間3，配置自互不相同之方向進行計測及攝影之複數個感測器單元10，將由複數個感測器單元10計測到之速度點群整合。藉由自複數個方向進行計測及攝影，而即便於自某一方向之計測及攝影中產生遮蔽之情形下，亦可藉由進行自其他方向之計測及攝影，而防止遮蔽之發生。將該自複數個方向進行對於對象空間之計測及攝影之系統稱為多角度系統。
圖16係顯示第1實施形態之變化例之複數個感測器單元10之配置例之示意圖。於圖16中，感測系統1a包含配置於空間3之2個感測器單元10 1及10 2、及信號處理部13a。感測器單元10 1之光檢測測距部11於角度α 1之角度範圍內掃描對象，感測器單元10 2之光檢測測距部11於角度α 2之角度範圍內掃描對象。於圖16之例中，感測器單元10 1及10 2相對於共通之對象範圍31配置於相互對向之位置，對於對象範圍31自互不相同之方向進行掃描及攝影。
於圖16之例中，於例如自感測器單元10 1之計測及攝影時，因靜態物體42而於角度β之角度範圍內產生遮蔽區域43。於多角度系統中，即便於如上述之情形下，亦可藉由其他感測器單元10 2，而進行由感測器單元10 1計測及拍攝到之遮蔽區域43中所含之對象物體之計測及攝影。
此外，於使用一般之LiDAR、例如脈衝ToF之dToF-LiDAR中，在自複數個方向對同一對象物體同時照射光之情形下，有產生串音，於計測到之點群產生不良情況之虞。相對於此，同調檢測一般不產生串音。因此，於進行同調檢測之FMCW-LiDAR中，即便於自複數個方向對同一對象物體同時照射光之情形下，於計測到之點群產生不良情況之可能性亦較小。
圖17係顯示第1實施形態之變化例之感測系統之一例之構成之方塊圖。於圖17中，感測系統1a包含2個感測器單元10 1及10 2。感測器單元10 1包含光檢測測距部11 1及相機12 1。同樣，感測器單元10 2包含光檢測測距部11 2及相機12 2。
信號處理部13a包含：點群合成部140a、3D物體檢測部141、3D物體辨識部142、圖像合成部150a、2D物體檢測部151a、2D物體辨識部152a、及I/F部160a。
點群合成部140a取得自感測器單元10 1之光檢測測距部11 1及相機12 1各者輸出之速度點群及攝像圖像。同樣，點群合成部140a取得自感測器單元10 2之光檢測測距部11 2及相機12 2各者輸出之速度點群及攝像圖像。
點群合成部140a就每一感測器單元10 1及10 2，針對所取得之速度點群，與第1實施形態同樣地，藉由座標系轉換而參考與各計測點之角度座標對應之攝像圖像之像素，針對各計測點，取得代表該點之色彩資訊。點群合成部140a就每一感測器單元10 1及10 2，將所取得之各計測點之各色彩資訊附加於各計測點之計測資訊。點群合成部140a就每一感測器單元10 1及10 2，產生各計測點具有速度資訊及色彩資訊之合成點群。
此外，點群合成部140a可具有：進行與感測器單元10 1相關之處理之處理部、及與感測器單元10 2相關之處理之處理部。不限定於其，點群合成部140a可藉由共通之處理部分時進行與感測器單元10 1相關之處理、及與感測器單元10 2相關之處理。
點群合成部140a基於各個速度點群之各計測點之角度座標，將基於感測器單元10 1之輸出而產生之合成點群、與基於感測器單元10 2之輸出而產生之合成點群整合，而產生整合合成點群。整合點群(整合合成點群)意指對於複數個點群(合成點群)將各個空間性位置關係合併而整合為單一之點群者。合成點群之整合可使用基於感測器單元10 1及10 2各者具有之光檢測測距部11 1及11 2之位置關係而預先校正之角度座標而執行。
此處，應用於光檢測測距部11 1及11 2之FMCW-LiDAR之速度計測基於都卜勒原理而進行。因此，由各速度點群表示速度僅為矢徑方向成分之速度(矢徑速度)。點群合成部140a藉由將於各計測點推定出之法線及矢徑速度、與該等空間性內插進行向量合成，而進行各合成點群之整合。
點群合成部140a將產生之整合合成點群輸出至3D物體檢測部141與I/F部160a。
3D物體檢測部141及3D物體辨識部142之處理由於與上述之第1實施形態之3D物體檢測部141及3D物體辨識部142同樣，故省略此處之詳細之說明。
3D物體檢測部141取得自點群合成部140a輸出之整合合成點群，自取得之整合合成點群提取局部存在點群。又，3D物體檢測部141產生在表現對象空間之整體之點群之中表示對象物體亦即局部存在點群之存在範圍之資訊即區域資訊。3D物體檢測部141輸出局部存在點群、及與該局部存在點群對應之3D區域資訊。
3D物體辨識部142取得自3D物體檢測部141輸出之局部存在點群及3D區域資訊。又，3D物體辨識部142取得自後述之2D物體辨識部152a輸出之2D區域資訊及2D屬性資訊。3D物體辨識部142基於取得之局部存在點群及3D區域資訊、及自2D物體辨識部152a取得之2D區域資訊及2D屬性資訊，進行對於局部存在點群之物體辨識。3D物體辨識部142基於物體辨識之結果，推定與辨識出之物體相關之屬性資訊。
3D物體辨識部142於推定出之3D屬性資訊之確信度為一定以上、亦即能夠有效地執行辨識處理時，將表示進行計測之時刻之時刻資訊、3D區域資訊及3D屬性資訊整合而輸出。
圖像合成部150a自感測器單元10 1之光檢測測距部11 1及相機12 1各者取得輸出之速度點群及攝像圖像。同樣，圖像合成部150a取得自感測器單元10 2之光檢測測距部11 2及相機12 2分別輸出之速度點群及攝像圖像。
圖像合成部150a、2D物體檢測部151a及2D物體辨識部152a分別對於感測器單元10 1之輸出、與感測器單元10 2之輸出，分別進行處理。例如，圖像合成部150a、2D物體檢測部151a及2D物體辨識部152a並列或分時進行對於感測器單元10 1之輸出之處理、及對於感測器單元10 2之輸出之處理。
如此，圖像合成部150a與上述之點群合成部140a不同，不進行自感測器單元10 1輸出之攝像圖像、與自感測器單元10 2輸出之攝像圖像之整合。亦即，以不同之角度取得之各3D點群藉由考量各個姿勢及位置而三維地合體，而可容易地進行整合。相對於此，以不同之角度拍攝到之各攝像圖像由於難以於二維平面上合成，故不進行整合。
圖像合成部150a針對感測器單元10 1及10 2各者，輸出攝像圖像、及產生之合成圖像。
2D物體檢測部151a基於自3D物體檢測部141輸出之3D區域資訊，針對感測器單元10 1及10 2各者，自從圖像合成部150a供給之各合成圖像提取與該3D區域資訊對應之各部分圖像。又，2D物體檢測部151a自提取之各部分圖像檢測物體，並產生包含檢測到之物體之2D區域資訊。
2D物體檢測部151a針對感測器單元10 1及10 2各者，輸出產生之各部分圖像與各2D區域資訊。
2D物體辨識部152a對於自2D物體檢測部151a針對感測器單元10 1及10 2各者輸出之部分圖像進行圖像辨識處理。2D物體辨識部152a針對感測器單元10 1及10 2各者，推定該部分圖像之2D屬性資訊。
2D物體辨識部152a針對感測器單元10 1及10 2各者，於推定出之2D屬性資訊之確信度為一定以上之情形下，將表示進行攝像之時刻之時刻資訊、2D區域資訊、及2D屬性資訊整合。2D物體辨識部152a將與感測器單元10 1相關之時刻資訊、2D區域資訊、及2D屬性資訊整合，並輸出至I/F部160a。又，2D物體辨識部152a將與感測器單元10 2相關之時刻資訊、2D區域資訊、及2D屬性資訊整合，並輸出至I/F部160a。
I/F部160a輸入自點群合成部140a輸出之整合合成點群、及自3D物體辨識部142輸出之3D屬性資訊及3D區域資訊。又，I/F部160a輸入自圖像合成部150a針對感測器單元10 1及10 2各者輸出之合成圖像及攝像圖像。進而，I/F部160a輸入自2D物體辨識部152a針對感測器單元10 1及10 2各者輸出之2D屬性資訊及2D區域資訊。I/F部160相應於例如自外部之設定，自所輸入之整合合成點群、3D屬性資訊及3D區域資訊、以及針對感測器單元10 1及10 2各者輸入之合成圖像、攝像圖像、2D屬性資訊及2D區域資訊，選擇輸出之資訊。
此外，作為實際之處理，例如，圖9之流程圖之處理中步驟S200～步驟S207之處理相應於感測系統1a所具有之感測器單元10之數量(於圖16及圖17之例中為2個)而並列執行。
[4.第2實施形態] 其次，針對本發明之第2實施形態進行說明。第2實施形態係使感測器單元10之計測及攝影之對象範圍相對於感測器單元10可掃描之範圍設定得更窄。
FMCW-LiDAR於其特性上，解析度低於相機，一般而言，於對象物體位於距裝置較遠之距離時情形下、或於對象物體較小之情形下，與該對象物體對應之點群之計測數目變少。因此，有對於位於距裝置較遠之距離之對象物體、或小至某一程度以上之對象物體之檢測概率及辨識精度降低之虞。此外，將與自成為計測之對象之對象空間之整體取得之點群中之對象物體對應之部分之點群稱為部分點群。
因此，於第2實施形態中，將成為計測之對象之對象空間中之包含人或其他移動體等之對象物體之區域作為關注區域(ROI：Region of Interest)而選擇性地進行局部掃描。藉由該局部掃描，可使與該對象物體對應之部分點群之計測數目與對於對象空間之整體進行掃描之情形相比增加，可局部提高點群之解析度。又，於對象物體移動之情形下，藉由移動地追隨進行掃描之關注區域，而可維持對於該對象物體之局部的高解析度。
圖18係顯示第2實施形態之感測器單元之配置例之示意圖。於圖18中，第2實施形態之感測系統1b包含感測器單元10a及信號處理部13b。
於第2實施形態中，作為感測器單元10a之掃描模式，具有：後述之光檢測測距部11a對可掃描之角度α之角度範圍(第1掃描範圍)進行掃描之第1掃描模式、及相對於角度α而對角度γ之角度範圍(第2掃描範圍)進行掃描之第2掃描模式。如此，於第2掃描模式下，進行對於較第1掃描範圍為窄之第2掃描範圍之掃描。
光檢測測距部11a可對於關注區域32，藉由第2掃描模式，於角度γ之角度範圍內進行掃描。信號處理部13b於掃描模式為第2掃描模式之情形下，以進行對於關注區域32之掃描之方式，將用於控制光檢測測距部11a之局部掃描區域資訊供給至感測器單元10a。
圖19係顯示第2實施形態之感測系統1b之一例之構成之方塊圖。於感測系統1b中，信號處理部13b對於圖4所示之第1實施形態之信號處理部13之構成，追加局部掃描控制部170。局部掃描控制部170自3D物體辨識部142取得3D區域資訊。局部掃描控制部170於光檢測測距部11a之掃描模式為第2掃描模式之情形下，基於自3D物體辨識部142取得之3D區域資訊而產生局部掃描控制信號，並對於光檢測測距部11a輸出。
光檢測測距部11a相應於自局部掃描控制部170輸出之局部掃描控制信號而控制掃描部100，並進行關注區域32之掃描。
此外，信號處理部13b之點群合成部140、3D物體檢測部141及3D物體辨識部142、以及圖像合成部150、2D物體檢測部151及2D物體辨識部152之基本功能由於與利用圖4所說明之信號處理部13之對應之各部同樣，故省略此處之說明。
圖20係顯示由第2實施形態之信號處理部13b進行之處理之一例之流程圖。該圖20之流程圖之處理例如緊接於圖9之流程圖中之步驟S206之處理之前開始。亦即，於該圖20之流程圖之處理前，圖9之流程圖之處理將光檢測測距部11a之掃描模式設為第1掃描模式而開始。
例如，假設於步驟S201中提取之部分圖像係與自速度點群檢測到移動之區域對應之圖像。於該情形下，於在步驟S202中藉由2D物體檢測部151，判定為部分圖像之亮度值不充分(步驟S202、「否」)，處理移至步驟S206時，執行圖20之流程圖之處理。又，於在步驟S204中，藉由2D物體辨識部152，判定為確信度未達一定(步驟S204、「否」)，且處理移至步驟S206時，執行圖20之流程圖之處理。
不限定於此，可於與自速度點群檢測到移動之區域對應之部分圖像之辨識結果判斷為是預設之對象物體，且必須要有對於該對象物體之更詳細之三維動作分析之情形下，執行圖20之流程圖之處理。該判斷可由利用感測系統1b之人進行，亦可由感測系統1b本身、或利用感測系統1b之計測結果之應用程式自動進行。
又，可對使用者提示與自速度點群檢測到移動之區域對應之部分圖像，相應於與該提示相應之由使用者進行之詳細解析等之請求，執行圖20之流程圖之處理。
於圖20中，在步驟S300中，將光檢測測距部11a之掃描模式自第1掃描模式移至第2掃描模式。局部掃描控制部170自3D物體辨識部142取得作為關注區域之3D區域資訊，基於取得之3D區域資訊產生局部掃描控制資訊。更具體而言，局部掃描控制部170藉由座標系轉換，將表示對象物體之存在區域之作為關注區域之3D區域資訊轉換為由光檢測測距部11a之掃描座標系定義之掃描區域資訊。局部掃描控制部170基於該掃描區域資訊，產生局部掃描控制資訊。局部掃描控制部170將產生之局部掃描控制資訊輸入至光檢測測距部11a之掃描部100。
圖21係用於說明第2實施形態之局部掃描控制資訊之生成處理之示意圖。如圖21之區段(a)所示，藉由感測器單元10a利用第1掃描模式於角度α之角度範圍內掃描對象，於空間3內之對象範圍30內進行計測。此處，假設移動之移動物體47為應關注之對象。移動物體47例如為以特定以上之速度移動之人。移動物體47不限定於此，只要為移動之車輛等移動之物體，則可為其他物體。
如圖21之區段(b)所示，3D物體檢測部141自感測器單元10a之掃描之角度範圍200提取包含應關注之移動物體47之區域230之區域資訊。局部掃描控制部170基於該區域230之區域資訊，以光檢測測距部11a進行由第2掃描模式實現之掃描之方式，產生局部掃描控制資訊。
於下一步驟S301中，光檢測測距部11a開始對於由局部掃描控制資訊指定之區域230之掃描(稱為局部掃描)。基於該局部掃描之計測結果，藉由點群合成部140，利用於例如圖9之流程圖之步驟S100中說明之處理，取得合成點群訊框。進而，藉由3D物體檢測部141，利用於同流程圖之步驟S101～步驟S103中說明之處理，取得局部存在速度點群。
圖22係用於說明第2實施形態之局部掃描之示意圖。如圖22之區段(a)所示，光檢測測距部11a依照局部掃描控制資訊，以較角度α為小之角度γ進行局部掃描。於該局部掃描中，如圖22之區段(b)所示，於角度範圍200內，對於具有與區域230對應之角度範圍200a之局部掃描區域231，進行由光檢測測距部11a進行之掃描。
圖23係用於說明第2實施形態之局部掃描之示意圖。圖23之區段(a)係與上述之圖3對應者，顯示對角度範圍200之整體進行掃描之整體掃描之樣態。光檢測測距部11a依照掃描線210於角度α之角度範圍200內進行掃描(第1掃描型態)。於該例中，包含移動物體47之區域230成為關注區域。
圖23之區段(b)係更具體地顯示對於區域230之局部掃描之圖。光檢測測距部11a依照自局部掃描控制部170供給之局部掃描控制信號，進行對於與區域230對應之局部掃描區域231之掃描。相對於針對角度範圍200之整體掃描，該掃描係對較角度範圍200之角度α為小之角度γ之角度範圍200a進行之局部掃描。
此時，光檢測測距部11a依照局部掃描控制資訊，以與對於角度範圍200之掃描線210相同或大致相同之掃描線數進行角度範圍200a之掃描(第2掃描型態)。該情形下，第2掃描型態相對於第1掃描型態，每單位面積之掃描線數更多。換言之，於第2實施形態之局部掃描中，以較由第1掃描型態實現之角度範圍200之掃描為高之密度，進行由第2掃描型態進行之對於角度範圍200a之掃描。
3D物體檢測部141基於藉由該局部掃描自局部掃描區域231取得之計測結果，取得與關注區域相關之速度點群。
於下一步驟S302中，3D物體辨識部142自3D物體檢測部141取得局部速度點群。於下一步驟S303中，3D物體辨識部142判定於步驟S302中取得之局部存在速度點群中所含之點之數目是否為第2常數以上。於3D物體辨識部142判定為該點之數目未達第2常數時(步驟S303、「否」)，使圖20之流程圖之一系列之處理結束，將處理移至例如圖9之流程圖之步驟S206。
另一方面，於3D物體辨識部142判定為該點之數目為第2常數以上時(步驟S303、「是」)，使處理移至步驟S304。於步驟S304中，3D物體辨識部142對於在步驟S302中取得之局部存在速度點群執行物體辨識處理。
於下一步驟S305中，3D物體辨識部142判定步驟S304之物體辨識處理之辨識結果之確信度是否為一定以上。於3D物體辨識部142判定為確信度未達一定時(步驟S305、「否」)，使圖20之流程圖之一系列之處理結束，將處理移至例如圖9之流程圖之步驟S206。另一方面，於3D物體辨識部142判定為確信度為一定以上時(步驟S305、「是」)，使處理移至步驟S306。
於步驟S306中，3D物體辨識部142將於步驟S300中取得之3D區域資訊、與表示步驟S304之物體辨識處理之結果之辨識資訊整合。
於步驟S306之處理之後，將處理移至例如圖9之流程圖之步驟S206。該情形下，於步驟S206中，可將辨識資訊經整合之3D區域資訊取代2D區域資訊而對於時刻資訊進行整合。又，於下一步驟S207中，可取得步驟S304之物體辨識處理之辨識資訊中所含之3D屬性資訊，而取代2D屬性資訊。
(4-1.第2實施形態之變化例) 其次，針對第2實施形態之變化例進行說明。於上述之第2實施形態中，感測系統1b構成為對於包含空間成為計測之對象之對象空間之空間3僅配置有1個感測器單元10a之單角度系統。相對於此，於第2實施形態之變化例中，將感測系統構成為對於空間3配置有複數個感測器單元10a之多角度系統。
圖24係顯示第2實施形態之變化例之配置有複數個感測器單元之情形之ROI掃描之示意圖。於圖24中，感測系統1a包含配置於空間3之2個感測器單元10a 1及10a 2、及信號處理部13c。感測器單元10a 1及10a 2於第2掃描模式中可分別於角度γ 1及γ 2之角度範圍內掃描對象。於圖24之例中，感測器單元10a 1及10a 2配置於相對於共通之關注區域33相互對向之位置，對關注區域33自互不相同之方向進行掃描及攝影。
圖25係顯示第2實施形態之變化例之感測系統之一例之構成之方塊圖。於圖25中，感測系統1c包含2個感測器單元10a 1及10a 2。感測器單元10a 1包含光檢測測距部11 1及相機12 1。同樣，感測器單元10a 2包含光檢測測距部11 2及相機12 2。
信號處理部13c包含：點群合成部140a、3D物體檢測部141、3D物體辨識部142、圖像合成部150a、2D物體檢測部151a、2D物體辨識部152a、及I/F部160a。
點群合成部140a取得自感測器單元10a 1之光檢測測距部11 1及相機12 1分別輸出之速度點群及攝像圖像。同樣，點群合成部140a取得自感測器單元10a 2之光檢測測距部11 2及相機12 2分別輸出之速度點群及攝像圖像。
點群合成部140a基於各個速度點群之各計測點之角度座標將基於感測器單元10a 1之輸出而產生之合成點群、與基於感測器單元10a 2之輸出而產生之合成點群整合，產生整合合成點群。合成點群之整合可利用基於感測器單元10a 1及10a 2各者所具有之光檢測測距部11 1及11 2之位置關係而預先校正之角度座標來執行。
點群合成部140a將產生之整合合成點群輸出至3D物體檢測部141與I/F部160。3D物體檢測部141及3D物體辨識部142之處理由於與上述之第1實施形態之變化例之3D物體檢測部141及3D物體辨識部142同樣，故省略說明。
圖像合成部150a取得自感測器單元10a 1之光檢測測距部11 1及相機12 1各者輸出之速度點群及攝像圖像。同樣，圖像合成部150a取得自感測器單元10a 2之光檢測測距部11 2及相機12 2各者輸出之速度點群及攝像圖像。
圖像合成部150a、2D物體檢測部151a及2D物體辨識部152a分別對於感測器單元10a 1之輸出、與感測器單元10a 2之輸出進行處理。2D物體檢測部151a及2D物體辨識部152a之處理由於與上述之第1實施形態之變化例之2D物體檢測部151a及2D物體辨識部152a同樣，故省略此處之說明。
局部掃描控制部170自3D物體辨識部142取得3D區域資訊。局部掃描控制部170基於自3D物體辨識部142取得之3D區域資訊而產生局部掃描控制信號，並對於光檢測測距部11 1及11 2輸出。
此時，局部掃描控制部170b較佳為以光檢測測距部11 1及11 2分別掃描共通之關注區域32之方式，設定光檢測測距部11 1進行掃描之角度γ 1、及光檢測測距部11 2進行掃描之角度γ 2。
第2實施形態之變化例中之由信號處理部13c進行之處理與利用圖20之流程圖所說明之第2實施形態之由信號處理部13b進行之處理大致同樣地執行。於該情形下，步驟S302以後之處理可對於將基於感測器單元10a 1之輸出之局部速度點群、與基於感測器單元10a 2之輸出之局部速度點群進行整合後之整合局部速度點群進行。
又，圖20之流程圖之處理可與第2實施形態同樣地緊接於圖9之流程圖之步驟S206之處理之前開始。於該情形下，可於由2D物體檢測部151a判定為部分圖像之亮度值不充分時，或於由2D物體辨識部152判定為確信度未達一定時，開始。不限定於此，可於與自速度點群檢測到移動之區域對應之部分圖像之辨識結果判斷為是預設之對象物體，且必須要有對於該對象物體之更詳細之三維動作分析之情形下，執行圖20之流程圖之處理。又，可對使用者提示與自速度點群檢測到移動之區域對應之部分圖像，相應於與該提示相應之由使用者進行之詳細解析等之請求，執行圖20之流程圖之處理。
根據第2實施形態之變化例，由於將ROI掃描與多角度系統組合，故即便於容易產生遮蔽之情形下，亦可減小遮蔽之影響，且使對於對象物體之計測點之數目局部增加。藉此，可更高精度地辨識對象物體。
[5.第3實施形態] 其次，針對本發明之第3實施形態進行說明。第3實施形態係將本揭示之感測系統應用於對人流進行解析之人流解析系統之例。
圖26係概略性顯示第3實施形態之人流解析系統之一例之構成之圖。於圖26中，人流解析系統300包含：分別包含感測器單元10及信號處理部13之複數個感測系統1、人流分析裝置320、人流資料庫(DB)330、及資訊提示裝置340。
各信號處理部13經由LAN(Local Area Network，區域網路)或網際網路等網路310連接於人流分析裝置320。不限定於此，各信號處理部13可不經由網路310等而直接連接於人流分析裝置320。
各信號處理部13基於各感測器單元10之計測結果及攝影圖像，執行基於例如上述之第1實施形態之圖9之流程圖之處理，週期性地取得時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。該等時刻資訊、2D及3D區域資訊、2D及3D屬性資訊經由網路310被發送至人流分析裝置320。
人流分析裝置320基於自各信號處理部13發送之時刻資訊、2D及3D區域資訊、2D及3D屬性資訊、及儲存於人流DB 330之資訊，檢測及辨識各感測器單元10之計測對象即各對象範圍30中所含之人44。人流分析裝置320基於人44之檢測及辨識結果，對於各對象範圍30內之人44之流動即人流進行解析。人流分析裝置320將人流分析裝置320對人流之解析結果交遞至資訊提示裝置340。
資訊提示裝置340可應用例如一般的電腦裝置，將自人流分析裝置320交遞之人流之解析結果作為可視化資訊提示給使用者。
圖27係更詳細地顯示第3實施形態之人流解析系統300之一例之構成之方塊圖。
人流解析系統300具有分別包含感測器單元10及信號處理部13之1個以上之感測系統。各感測器單元10及各信號處理部13之構成由於與利用例如圖4所說明之感測器單元10及信號處理部13同等，故省略此處之說明。各感測系統1例如以特定之週期進行計測及攝影，並輸出時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。自各信號處理部13輸出之時刻資訊、2D及3D區域資訊、2D及3D屬性資訊經由未圖示之網路310被發送至人流分析裝置320。
人流分析裝置320包含人物辨識部321、人流解析部322、及人流DB 330。
人物辨識部321經由網路310週期性地取得時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。人物辨識部321基於取得之時刻資訊、2D及3D區域資訊、2D及3D屬性資訊，推定於對象範圍30內計測及拍攝到人44之時刻、人44之位置、姿勢及移動速度。藉此，人物辨識部321可辨識於對象範圍30內移動之人。以下，將與該等人44相關之時刻、位置、姿勢及移動速度總稱為人流資訊。
又，人物辨識部321基於自複數個感測器單元10取得之時刻資訊、2D及3D區域資訊、2D及3D屬性資訊，特定出自各對象範圍30檢測到之人44中於各對象範圍30內共通地檢測到之人44。
人物辨識部321將自複數個感測系統1取得之與1個以上之人44相關之人流資訊整合而輸出。人流解析部322將自人物辨識部321輸出之經整合之人流資訊作為時間序列資料登錄於人流DB 330。又，人流解析部322對於作為時間序列資料之人流資訊施以統計分析，取得例如人44於1處滯留之滯留時間、及對象範圍30中之擁擠度等統計分析資訊。人流解析部322將人流資訊與統計分析資訊輸出至資訊提示裝置340。
資訊提示裝置340取得自人流解析部322輸出之人流資訊與統計分析資訊。此處，假設資訊提示裝置340預先具有各感測器單元10之計測及攝影對象即各對象範圍30之圖。資訊提示裝置340對於顯示裝置顯示圖，基於取得之人流資訊，使人44移動之移動軌跡重疊顯示於該圖。資訊提示裝置340可使統計分析資訊與人44之移動軌跡一起對於顯示裝置顯示。
圖28係示意性顯示藉由資訊提示裝置340而顯示於顯示裝置之人流之例之圖。於圖28中，對於該顯示裝置，顯示包含配置於各對象範圍30之靜態物體41之圖341。資訊提示裝置340可使人44 1～44 4、與各人44 1～44 4移動之各軌跡45 1～45 4對於該圖341重疊顯示。使用者藉由觀察該圖341，而可掌握各對象範圍30內之人流。
圖29係顯示第3實施形態之人流解析系統300之處理之一例之流程圖。此外，於圖29中，針對與上述之圖9之流程圖共通之處理，適宜省略而進行說明。
圖29所示之各處理係由人流解析系統300中所含之各信號處理部13之各部執行。更具體而言，於圖29中，左側所示之步驟S400～步驟S413之處理只要為由點群合成部140、3D物體檢測部141及3D物體辨識部142執行之與3D資料相關之處理。又，右側所示之步驟S500～步驟S507之處理主要為由圖像合成部150、2D物體檢測部151及2D物體辨識部152執行之與2D資料相關之處理。
於圖29中，步驟S400～步驟S406之處理與圖9之步驟S100～步驟S106之處理同樣。亦即，於步驟S400中，點群合成部140基於藉由光檢測測距部11對角度範圍200內之掃描而計測到之速度點群，取得速度點群訊框。
於下一步驟S401中，3D物體檢測部141自於步驟S400中產生之速度點群訊框，提取具有一定以上之速度絕對值之點。於下一步驟S402中，3D物體檢測部141產生於步驟S401中提取之點中局部存在於一定之空間範圍之速度點群之集合(局部存在速度點群)。
於下一步驟S403中，3D物體檢測部141自於步驟S402產生之局部存在速度點群提取視為處理之對象之1個局部存在速度點群。於下一步驟S404中，信號處理部13藉由3D物體檢測部141，判定提取之局部存在速度點群中所含之點之數目是否為第1常數以上。於3D物體檢測部141判定為該點之數目未達第1常數時(步驟S404、「否」)，將處理返回步驟S403，提取於步驟S402中產生之局部存在速度點群中下一局部存在速度點群，並繼續進行處理。
於3D物體檢測部141判定為該點之數目為第1常數以上時(步驟S404、「是」)，使處理移至步驟S405。於步驟S405中，3D物體檢測部141基於對象之局部存在速度點群而取得3D區域資訊。
3D物體檢測部141於在步驟S505中取得3D區域資訊時，使處理移至步驟S406，且對於後述之步驟S501之處理，將3D區域資訊交遞至2D物體檢測部151。於步驟S406中，D物體辨識部142自3D物體檢測部141取得局部存在速度點群及3D區域資訊。於步驟S406之處理之後，處理移至後述之步驟S407。
另一方面，與上述之步驟S400之合成圖像訊框之取得處理並行地，執行步驟S500之處理。於步驟S500中，圖像合成部150基於藉由光檢測測距部11對角度範圍200內之掃描而取得之速度點群、及由相機12取得之攝像圖像，產生合成圖像訊框。
此外，步驟S500～步驟S507之處理與圖9之流程圖之步驟S200～步驟S207之處理相同。亦即，於步驟S501中，2D物體檢測部151取得於上述之步驟S405中由3D物體檢測部141推定出之3D區域資訊。2D物體檢測部151使用取得之3D區域資訊，自整體圖像提取部分圖像。
於下一步驟S502中，2D物體檢測部151判定於步驟S501中取得之部分圖像之亮度是否充分。於2D物體檢測部151判定為部分圖像之亮度值不充分時(步驟S502、「否」)，使處理移至步驟S506。另一方面，於2D物體檢測部151判定為部分圖像之亮度值充分時(步驟S502、「是」)，使處理移至步驟S503。
於步驟S503中，2D物體辨識部152自2D物體檢測部151取得部分圖像，對取得之部分圖像執行辨識處理。2D物體辨識部152基於辨識處理之結果，推定2D屬性資訊。
於下一步驟S504中，2D物體辨識部152判定步驟S503之辨識結果之確信度是否為一定以上。於2D物體辨識部152判定為確信度未達一定時(步驟S504、「否」)，使處理移至步驟S506。另一方面，於2D物體辨識部152判定為確信度為一定以上時(步驟S504、「是」)，使處理移至步驟S505。
於步驟S505中，3D物體辨識部142將表示拍攝到攝像圖像之時刻之時刻資訊、2D屬性資訊、及2D區域資訊整合，並對於I/F部160輸出。
另一方面，如上述般，於在步驟S502中判定為部分圖像之亮度不充分時(步驟S502、「否」)，或於在步驟S504中判定為確信度未達一定時(步驟S504、「否」)，將處理移至步驟S506。於步驟S506中，2D物體辨識部152將時刻資訊與2D區域資訊整合，並對於I/F部160輸出。
於步驟S505或步驟S506之處理之後，將處理移至步驟S507。於步驟S507中，2D物體辨識部152取得經整合之時刻資訊及2D屬性資訊，並對於3D物體辨識部142輸出。
返回圖29之左側之處理之說明，於自步驟S406移至步驟S407時，3D物體辨識部142於步驟S507中取得自2D物體辨識部152輸出之時刻資訊及2D屬性資訊。
於步驟S407中，3D物體辨識部142判定與於步驟S406中取得之構成3D區域資訊之局部存在速度點群對應之2D屬性資訊是否表示人物。於3D物體辨識部142判定為該2D屬性資訊不表示人物時(步驟S407、「否」)，使處理移至步驟S411。另一方面，於3D物體辨識部142判定為該2D屬性資訊表示人物時(步驟S407、「是」)，使處理移至步驟S408。
於步驟S408中，3D物體辨識部142對於對象之局部存在速度點群推定人物之位置及姿勢。於下一步驟S409中，3D物體辨識部142判定於步驟S408中推定出之位置及姿勢之確信度是否為一定以上。於3D物體辨識部142判定為確信度未達一定時(步驟S409、「否」)，使處理移至步驟S411。另一方面，於3D物體辨識部142判定為確信度為一定以上時(步驟S409、「是」)，使處理移至步驟S410。
於步驟S410中，3D物體辨識部142基於在步驟S408中推定出之位置及姿勢，而更新對應之3D區域資訊。
於下一步驟S411中，3D物體辨識部142判定對於在步驟S403中產生之所有局部存在速度點群之處理是否結束。信號處理部13於判定為對於所產生之所有局部存在速度點群之處理未結束時(步驟S411、「否」)，將處理返回步驟S403，提取於步驟S402中產生之局部存在速度點群中下一局部存在速度點群，並繼續進行處理。
另一方面，於3D物體辨識部142判定為對於所產生之所有局部存在速度點群之處理已結束時(步驟S411、「是」)，使處理移至步驟S412。於步驟S412中，3D物體辨識部142針對所產生之所有局部存在速度點群，對於I/F部160輸出時刻資訊、3D屬性資訊及3D區域資訊。
於下一步驟S413中，信號處理部13判定由人流解析系統300進行之監視動作是否結束。於信號處理部13判定為監視動作未結束時(步驟S413、「否」)，使處理移至步驟S400及步驟S500，取得下一速度點群訊框及圖像訊框。
另一方面，於信號處理部13判定為由人流解析系統300進行之監視動作已結束時(步驟S413、「是」)，使該圖29之流程圖之一系列之處理結束。
如此，第3實施形態之人流解析系統300基於自光檢測測距部11之計測結果取得之點群、及由相機12拍攝到之攝像圖像，檢測及辨識對象範圍30內之人44。因此，可更高精度地執行人流解析。
此外，於上文中，雖然於人流解析系統300中，應用在各對象範圍30內配置有1個感測器單元10之單角度系統，但其不限定於該例。例如，可對第3實施形態之人流解析系統300應用利用第1實施形態之變化例所說明之多角度系統。
[6.第4實施形態] 其次，針對本發明之第4實施形態進行說明。第4實施形態係將本揭示之感測系統應用於檢測對象範圍內之異常之異常檢測系統之例。
諸多異常事象以物理上伴隨著位置之變化之情形居多。作為如此之異常事象之例，可舉出人之跌倒或可疑行為、車輛之異常啟動或急煞車等。於該等事象中，設想產生某些速度。因此，認為藉由對產生速度之點之周圍進行監視，而可實現異常之檢測。
圖30A及圖30B係用於說明第4實施形態之異常檢測系統之示意圖。圖30A顯示一般動作之樣態。又，圖30B顯示檢測到異常後之局部異常檢測動作之樣態。於第4實施形態中，作為使用異常檢測系統之感測系統，應用在第2實施形態中利用圖18～圖23所說明之進行局部掃描之感測系統1b。
於圖30A中，區段(a)顯示第3實施形態之異常檢測系統400之未檢測到異常之情形之一例之構成。異常檢測系統400包含：感測器單元10a、信號處理部13b(未圖示)、異常分析裝置410、異常事象資料庫(DB)420、及通知裝置430。
於圖30A之區段(a)之例中，對於空間3配置1個感測器單元10a，將感測器單元10a之計測結果及攝像圖像輸入至未圖示之信號處理部13b。又，雖然省略圖示，但自信號處理部13b對於感測器單元10a供給局部掃描控制信號。
此外，於該例中，雖然對於異常檢測系統400，應用對於空間3配置1個感測器單元10a之單角度系統，但其不限定於該例。例如，異常檢測系統400可應用對於空間3配置複數個感測器單元之多角度系統。又，於該例中，顯示為感測器單元10a(信號處理部13b)與異常分析裝置410直接連接，但其不限定於該例。例如，感測器單元10a(信號處理部13b)與異常分析裝置410可經由LAN(Local Area Network，區域網路)或網際網路等網路連接。
於感測器單元10a中，光檢測測距部11a藉由第1掃描模式於角度α之角度範圍內掃描對象範圍30並進行計測，且藉由相機12進行包含對象範圍30之範圍之攝影。
未圖示之信號處理部13b基於感測器單元10a之計測結果及攝影圖像，執行依照例如上述之第1實施形態之圖9之流程圖之處理，週期性地取得時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。信號處理部13b輸出該等時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。
此處，基於感測器單元10a之計測及攝影之結果而被推定為異常之移動設為於目的物46中檢測到者。目的物46如圖30A之區段(b)所示般設為位於對象範圍30內之區域34內者。
信號處理部13b於檢測被推定為異常之移動時，使感測器單元10a之光檢測測距部11a之掃描模式自第1掃描模式移至第2掃描模式，產生以與檢測到該移動之區域34相配對應地進行局部掃描之方式控制感測器單元10a之局部掃描控制信號。感測器單元10a依照該局部掃描控制信號，藉由角度範圍窄於角度α、且與區域34對應之角度γ tgt，對於與區域34對應之區域即關注區域32 tgt，進行由光檢測測距部11a進行之掃描。
藉由該局部掃描，而可更詳細地檢測目的物46之異常。
異常分析裝置410取得自信號處理部13b輸出之時刻資訊、2D及3D區域資訊、及2D及3D屬性資訊。時刻資訊表示檢測到異常之時刻，2D及3D區域資訊表示檢測到異常之區域。又，2D及3D屬性資訊係檢測到異常之目的物46之屬性資訊。
異常分析裝置410基於取得之時刻資訊、2D及3D區域資訊、2D及3D屬性資訊、及儲存於異常事象DB 420之資訊，進行於對象範圍30內產生之異常之檢測。異常分析裝置410於在對象範圍30內檢測到異常時，將表示異常之檢測之異常檢測資訊發送至通知裝置430。通知裝置430相應於異常檢測資訊，對使用者等通知異常之發生。
圖31係更詳細地顯示第4實施形態之異常檢測系統400之一例之構成之方塊圖。
異常檢測系統400具有包含感測器單元10a及信號處理部13b之感測系統1b。第4實施形態之感測系統1b之構成由於與利用圖19所說明之感測系統1b同等，故省略此處之說明。感測系統1b以例如特定之週期進行計測及攝影，輸出時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。
異常分析裝置410包含異常解析部411、及異常事象資料庫(DB)420。異常解析部411取得自信號處理部13b輸出之時刻資訊、2D及3D區域資訊、2D及3D屬性資訊。異常解析部411基於2D區域資訊及3D區域資訊，特定異常事象發生之發生位置。異常解析部411基於特定出之異常事象之發生位置，自2D區域資訊及3D區域資訊提取異常事象之發生位置周邊之部分圖像及部分點群。
異常解析部411將異常事象之內容(屬性)、發生位置、部分圖像及部分點群登錄於異常事象DB 420。異常解析部411又藉由參照登錄於異常事象DB 420之資訊，而對該異常事象之內容及持續時間等進行分析。異常解析部411基於分析之結果判定該異常事象之重要性，於基於判定結果判定為必須進行通知之情形下，對於通知裝置430輸出通知指令。
通知裝置430相應於自異常解析部411輸出之通知指令，輸出表示異常事象之發生之通知。通知裝置430可將該通知作為視覺性資訊而輸出，亦可作為聲音資訊而輸出，還可將其等組合。不限定於此，通知裝置430可對於其他裝置輸出通知。
圖32及圖33係顯示第4實施形態之異常檢測系統之處理之一例之流程圖。此外，於圖32及圖33中，符號「A」及「B」表示於圖32與圖33之間將處理移至對應之符號。此外，於圖32中，針對與上述之圖9之流程圖共通之處理，適宜省略而進行說明。
圖32所示之各處理係由異常檢測系統400中所含之信號處理部13b之各部執行。更具體而言，於圖32中，左側所示之步驟S600～步驟S609之處理主要為由點群合成部140、3D物體檢測部141及3D物體辨識部142執行之與3D資料相關之處理。又，右側所示之步驟S700～步驟S706主要為由圖像合成部150、2D物體檢測部151及2D物體辨識部152執行之與2D資料相關之處理。
於圖32中，步驟S600～步驟S606之處理與圖9之步驟S100～步驟S106之處理同樣。亦即，於步驟S600中，點群合成部140基於以由光檢測測距部11之第1掃描模式實現之角度範圍200內之掃描而計測到之速度點群，取得速度點群訊框。
於下一步驟S601中，3D物體檢測部141自於步驟S600中產生之速度點群訊框提取具有一定以上之速度絕對值之點。於下一步驟S602中，3D物體檢測部141產生於步驟S601中提取之點中局部存在於一定之空間範圍之速度點群之集合(局部存在速度點群)。
於下一步驟S603中，3D物體檢測部141自於步驟S602產生之局部存在速度點群提取視為處理之對象之1個局部存在速度點群。於下一步驟S604中，信號處理部13藉由3D物體檢測部141，判定提取之局部存在速度點群中所含之點之數目是否為第1常數以上。於3D物體檢測部141判定為該點之數目未達第1常數時(步驟S604、「否」)，將處理返回步驟S603，提取於步驟S602中產生之局部存在速度點群中下一局部存在速度點群，並繼續進行處理。
於3D物體檢測部141判定為該點之數目為第1常數以上時(步驟S604、「是」)，使處理移至步驟S605。於步驟S605中，3D物體檢測部141推定包含對象之局部存在速度點群之例如最小之區域之區域資訊(位置、大小、姿勢)，並取得3D區域資訊。
3D物體檢測部141於在步驟S505中取得3D區域資訊時，使處理移至步驟S606，且對於後述之步驟S701之處理，將3D區域資訊交遞至2D物體檢測部151。於步驟S606中，3D物體辨識部142自3D物體檢測部141取得局部存在速度點群及3D區域資訊。於步驟S606之處理之後，處理移至後述之步驟S607。
另一方面，與上述之步驟S600之合成圖像訊框之取得處理並行地，執行步驟S700之處理。於步驟S700中，圖像合成部150基於藉由光檢測測距部11對角度範圍200內之掃描而取得之速度點群、及由相機12取得之攝像圖像，產生合成圖像訊框。
於步驟S701中，2D物體檢測部151取得於上述之步驟S605中由3D物體檢測部141推定出之3D區域資訊。2D物體檢測部151使用取得之3D區域資訊自攝像整體圖像提取部分圖像。
於下一步驟S702中，2D物體檢測部151判定於步驟S701中取得之部分圖像是否具有充分之資訊量。例如，2D物體檢測部151藉由對於該部分圖像之亮度及可見度之臨限值比較，而進行資訊量之判定。認為可見度藉由例如對於部分圖像之邊緣檢測等而取得。
於2D物體檢測部151判定為部分圖像之資訊量不充分時(步驟S702、「否」)，使處理移至圖33之步驟S800。另一方面，於2D物體檢測部151判定為部分圖像之資訊量充分時(步驟S702、「是」)，使處理移至步驟S703。
於步驟S703中，2D物體辨識部152自2D物體檢測部151取得部分圖像，對於取得之部分圖像執行辨識異常事象之異常事象辨識處理。2D物體辨識部152基於異常事象辨識處理之結果，推定與異常事象相關之屬性即異常事象屬性資訊。異常事象屬性資訊例如可應用異常事象之種類、主體(人等)、規模等。
2D物體辨識部152例如可進行基於異常事象之辨識結果之學習，藉由該學習而產生用於辨識異常事象之學習模式。不限定於此，2D物體辨識部152可使用已知之學習模式自部分圖像辨識異常事象。
於下一步驟S704中，2D物體辨識部152判定步驟S703之異常事象辨識處理之辨識結果之確信度是否為一定以上。於2D物體辨識部152判定為確信度未達一定時(步驟S704、「否」)，使處理移至圖33之流程圖之步驟S800。另一方面，於2D物體辨識部152判定為確信度為一定以上時(步驟S704、「是」)，使處理移至步驟S705。
於步驟S705中，3D物體辨識部142將表示拍攝到攝像圖像之時刻之時刻資訊、與異常事象屬性資訊整合，並對於I/F部160輸出。
另一方面，如上述般，於在步驟S702中判定為部分圖像之資訊量不充分時(步驟S702、「否」)，或於在步驟S704中判定為確信度未達一定時(步驟S704、「否」)，將處理移至圖33之步驟S800。
於步驟S705、或後述之圖33之流程圖之步驟S806之處理之後，將處理移至步驟S706。於步驟S706中，2D物體辨識部152取得經整合之時刻資訊及異常事象屬性資訊，並對於3D物體辨識部142輸出。
返回圖32之左側之處理之說明，於自步驟S606移至步驟S607時，3D物體辨識部142於步驟S706中取得自2D物體辨識部152輸出之時刻資訊及異常事象屬性資訊。
於步驟S607中，3D物體辨識部142判定對於在步驟S602中產生之所有局部存在速度點群之處理是否結束。信號處理部13於判定為對於所產生之所有局部存在速度點群之處理未結束時(步驟S607、「否」)，將處理返回步驟S603，提取於步驟S602中產生之局部存在速度點群中下一局部存在速度點群，並繼續進行處理。
另一方面，於3D物體辨識部142判定為對於所產生之所有局部存在速度點群之處理已結束時(步驟S607、「是」)，使處理移至步驟S608。於步驟S608中，3D物體辨識部142針對所產生之所有局部存在速度點群，對於I/F部160輸出時刻資訊及異常事象屬性資訊。
於下一步驟S609中，信號處理部13b判定由異常檢測系統400進行之監視動作是否已結束。於信號處理部13b判定為監視動作未結束時(步驟S609、「否」)，使處理移至步驟S600及步驟S700，取得下一速度點群訊框及圖像訊框。
另一方面，於信號處理部13b判定為由異常檢測系統400進行之監視動作已結束時(步驟S609、「是」)，使該圖32之流程圖之一系列之處理結束。
針對圖33之流程圖之處理進行說明。此外，於圖33之流程圖中，針對與上述之圖20之流程圖共通之處理，適宜省略而進行說明。
於圖33中，在步驟S800中，局部掃描控制部170自3D物體辨識部142取得作為關注區域之3D區域資訊，基於取得之3D區域資訊產生局部掃描控制資訊。局部掃描控制部170將產生之局部掃描控制資訊輸入至光檢測測距部11a之掃描部100。
於下一步驟S801中，光檢測測距部11a將掃描模式自第1掃描模式移至第2掃描模式，開始對於由局部掃描控制資訊指定之關注區域32 tgt之局部掃描。基於該局部掃描之計測結果，藉由點群合成部140，利用於例如圖9之流程圖之步驟S100中說明之處理，取得合成點群訊框。進而，藉由3D物體檢測部141，利用於同流程圖之步驟S101～步驟S103中說明之處理，取得局部存在速度點群。
3D物體檢測部141基於藉由該局部掃描而自關注區域32 tgt取得之計測結果，提取與關注區域32 tgt相關之局部速度點群。
於下一步驟S802中，3D物體辨識部142自3D物體檢測部141取得局部速度點群。於下一步驟S803中，3D物體辨識部142判定於步驟S802中取得之局部存在速度點群中所含之點之數目是否為第2常數以上。於3D物體辨識部142判定為該點之數目未達第2常數時(步驟S803、「否」)，使圖33之流程圖之一系列之處理結束，將處理移至例如圖32之流程圖之步驟S706。
另一方面，於3D物體辨識部142判定為該點之數目為第2常數以上時(步驟S803、「是」)，使處理移至步驟S804。於步驟S804中，3D物體辨識部142對於在步驟S802中取得之局部存在速度點群執行異常事象辨識處理，並推定異常事象屬性資訊。由3D物體辨識部142進行之異常事象辨識處理可與在步驟S703中說明之由2D物體辨識部152進行之異常事象辨識處理同樣地執行。
於下一步驟S805中，3D物體辨識部142判定步驟S804之異常事象辨識處理之辨識結果之確信度是否為一定以上。於3D物體辨識部142判定為確信度未達一定時(步驟S805、「否」)，使圖33之流程圖之一系列之處理結束，將處理移至圖32之流程圖之步驟S706。另一方面，於3D物體辨識部142判定為確信度為一定以上時(步驟S805、「是」)，使處理移至步驟S806。
於步驟S806中，3D物體辨識部142將於步驟S800中取得之3D區域資訊、與表示步驟S804之異常事象辨識處理之結果之辨識資訊整合。於步驟S806之處理之後，將處理移至圖32之流程圖之步驟S706。
如上述般，於第4實施形態中，基於在感測器單元10a中藉由光檢測測距部11a之計測而取得之速度點群、及由相機12拍攝到之攝像圖像，檢測於對象範圍內發生之異常事象。基於目的物之移動之異常事象之檢測本身亦可能不使用速度點群。於第4實施形態中，除攝像圖像外還使用速度點群，將異常事象發生之區域作為關注區域並縮小角度範圍而掃描。因此，可更詳細地對發生之異常事象進行解析。
此外，本說明書所記載之效果終極而言僅為例示而並非被限定者，亦可具有其他效果。
此外，本技術亦可採用如以下之構成。 (1) 一種感測系統，其具備： 使用調頻連續波之光檢測測距裝置，其輸出以速度點群資訊為基礎的速度圖像作為前述對象物之資訊，該速度點群資訊乃基於由對象物反射而接收到之接收信號而得；及 固體攝像裝置，其輸出拍攝到前述對象物之攝像圖像作為前述對象物之資訊；且 前述光檢測測距裝置及前述固體攝像裝置以取得來自前述對象物之同一側之資訊的方式配置。 (2) 如前述(1)之感測系統，其中前述固體攝像裝置之解析度高於前述光檢測測距裝置之解析度。 (3) 如前述(1)或(2)之感測系統，其具有各自包含前述光檢測測距裝置及前述固體攝像裝置之複數個單元；且 前述複數個單元各者以取得來自前述對象物之互不相同之側之資訊的方式配置。 (4) 如前述(1)至(3)中任一項之感測系統，其中 前述光檢測測距裝置具有掃描控制部，該掃描控制部控制對前述接收信號進行掃描之掃描範圍；且 前述掃描控制部具有第1掃描模式及第2掃描模式，作為對前述掃描範圍進行掃描之掃描模式，該第1掃描模式以掃描第1掃描範圍之方式進行控制，該第2掃描模式以掃描比前述第1掃描範圍小之第2掃描範圍之方式進行控制。 (5) 如前述(4)之感測系統，其中前述第2掃描範圍包含於前述第1掃描範圍內。 (6) 如前述(4)或(5)之感測系統，其中 前述光檢測測距裝置藉由前述第1掃描模式以第1密度取得前述速度點群資訊，藉由前述第2掃描模式以比前述第1密度高之第2密度取得前述速度點群資訊。 (7) 如前述(4)至(6)中任一項之感測系統，其中前述第2掃描範圍包含移動中之前述對象物。 (8) 如前述(4)至(7)中任一項之感測系統，其中前述第2掃描範圍包含以特定以上之速度移動中之人即前述對象物。 (9) 如前述(4)至(8)中任一項之感測系統，其中 前述掃描控制部基於由前述固體攝像裝置拍攝到之前述攝像圖像，自前述第1掃描模式切換為前述第2掃描模式。 (10) 如前述(9)之感測系統，其中 前述掃描控制部基於前述攝像圖像中、與基於前述速度點群資訊而檢測到移動中之區域對應之部分圖像，自前述第1掃描模式切換為前述第2掃描模式。 (11) 如前述(4)至(10)中任一項之感測系統，其中 前述掃描控制部藉由前述第1掃描模式以第1掃描型態對前述第1掃描範圍進行掃描，藉由前述第2掃描模式以第2掃描型態對前述第2掃描範圍進行掃描。 (12) 如前述(11)之感測系統，其中前述第2掃描型態之每單位面積之掃描線數多於前述第1掃描型態。 (13) 如前述(1)至(12)中任一項之感測系統，其進一步具備： 辨識部，其基於前述光檢測測距裝置之輸出、及前述固體攝像裝置之輸出而辨識移動中之人；及 人流解析部，其以時間序列取得由前述辨識部辨識到之前述移動中之人，且對人流進行解析。 (14) 如前述(1)至(12)中任一項之感測系統，其進一步具備： 信號處理部，其基於前述速度點群資訊，自前述攝像圖像提取包含前述對象物之部分圖像； 辨識部，其辨識前述部分圖像中所含之異常事象；及 掃描控制部，其控制前述光檢測測距裝置對前述接收信號進行掃描之掃描範圍；且 前述掃描控制部 具有第1掃描模式及第2掃描模式，作為對前述掃描範圍進行掃描之掃描模式，該第1掃描模式以掃描第1掃描範圍之方式進行控制，該第2掃描模式以掃描比前述第1掃描範圍小之第2掃描範圍之方式進行控制， 於前述部分圖像不具有供前述辨識部用於進行前述異常事態之辨識之充分資訊量之情形下，將對前述接收信號進行掃描之掃描模式，自前述第1掃描模式切換為對與前述部分圖像之區域對應之第2掃描範圍進行掃描之前述第2掃描模式。
1,1a,1b,1c:感測系統 3:空間 10,10 1,10 2,10a,10a 1,10a 2:感測器單元 11,11 1,11 2,11a:光檢測測距部 12,12 1,12 2:相機 13,13a,13b,13c:信號處理部 30,31:對象範圍 32,32 tgt,33:關注區域 34,230,516,612,613~615:區域 40,47:移動物體 41,42:靜態物體 43:遮蔽區域 44,44 1~44 4:人 45 1~45 4:軌跡 46,500~505,512~515,520~525,600~605,700~705:目的物 50:距離圖像 51:速度圖像 52:合成圖像 60:速度點群 70:合成圖像訊框 100:掃描部 101:掃描控制部 102:角度檢測部 110:發送光控制部 111:光發送部 112:光接收部 113:接收信號處理部 120:點群產生部 130:前段處理部 131:介面(I/F)部 140,140a:點群合成部 141:3D物體檢測部 142:3D物體辨識部 150,150a:圖像合成部 151,151a:2D物體檢測部 152,152a:2D物體辨識部 160,160a:I/F部 170,170b:局部掃描控制部 200,200a:角度範圍 210:掃描線 220 1,220 2,220 3:點 231:局部掃描區域 300:人流解析系統 310:網路 320:人流分析裝置 321:人物辨識部 322:人流解析部 330:人流資料庫(DB) 340:資訊提示裝置 341:圖 400:異常檢測系統 410:異常分析裝置 411:異常解析部 420:異常事象資料庫(DB) 430:通知裝置 621~625,721~725:3D區域資訊 α,α1,α2,β,γ,γ1,γ2,γtgt:角度
圖1係顯示可應用於本揭示之各實施形態之感測系統之一例之構成之方塊圖。 圖2係顯示可應用於本揭示之各實施形態之光檢測測距部之一例之構成之方塊圖。 圖3係概略性顯示由掃描部進行之發送光之掃描之示意圖。 圖4係顯示第1實施形態之感測系統之一例之構成之方塊圖。 圖5係示意性顯示距離圖像之例之圖。 圖6係示意性顯示速度圖像之例之圖。 圖7係示意性顯示合成圖像之例之圖。 圖8係顯示第1實施形態之感測器單元之配置例之示意圖。 圖9係顯示由第1實施形態之感測系統進行之處理之一例之流程圖。 圖10係示意性顯示速度點群之例之圖。 圖11係示意性顯示自速度點群提取之3D區域資訊之例之圖。 圖12(a)、(b)係更詳細地顯示3D區域資訊之例之示意圖。 圖13係示意性顯示攝像圖像之例之圖。 圖14係示意性顯示自合成圖像訊框取得3D區域資訊之樣態之圖。 圖15(a)、(b)係示意性顯示基於3D區域資訊而提取之部分圖像之例之圖。 圖16係第1實施形態之變化例之複數個感測器單元10之配置例之示意圖。 圖17係顯示第1實施形態之變化例之感測系統之一例之構成之方塊圖。 圖18係顯示第2實施形態之感測器單元之配置例之示意圖。 圖19係顯示第2實施形態之感測系統之一例之構成之方塊圖。 圖20係顯示由第2實施形態之信號處理部進行之處理之一例之流程圖。 圖21(a)、(b)係用於說明第2實施形態之ROI掃描控制資訊之產生處理之示意圖。 圖22(a)、(b)係用於說明第2實施形態之ROI掃描之示意圖。 圖23(a)、(b)係用於說明第2實施形態之ROI掃描之示意圖。 圖24係顯示第2實施形態之變化例之配置有複數個感測器單元之情形之ROI掃描之示意圖。 圖25係顯示第2實施形態之變化例之感測系統之一例之構成之方塊圖。 圖26係概略性顯示第3實施形態之人流解析系統之構成之圖。 圖27係更詳細地顯示第3實施形態之人流解析系統之一例之構成之方塊圖。 圖28係示意性顯示藉由資訊提示裝置而顯示於顯示裝置之人流之例之圖。 圖29係顯示由第3實施形態之人流解析系統進行之處理之一例之流程圖。 圖30A(a)、(b)係概略性顯示第4實施形態之異常檢測系統之構成之圖。 圖30B(a)、(b)係概略性顯示第4實施形態之異常檢測系統之構成之圖。 圖31係更詳細地顯示第4實施形態之異常檢測系統之一例之構成之方塊圖。 圖32係顯示由第4實施形態之異常檢測系統進行之處理之一例之流程圖。 圖33係顯示由第4實施形態之異常檢測系統進行之處理之一例之流程圖。
1:感測系統
10:感測器單元
11:光檢測測距部
12:相機
13:信號處理部

Claims (14)

  1. 一種感測系統，其具備： 使用調頻連續波之光檢測測距裝置，其輸出以速度點群資訊為基礎的速度圖像作為前述對象物之資訊，該速度點群資訊乃基於由對象物反射而接收到之接收信號而得；及 固體攝像裝置，其輸出拍攝到前述對象物之攝像圖像，作為前述對象物之資訊；且 前述光檢測測距裝置及前述固體攝像裝置以取得來自前述對象物之同一側之資訊的方式配置。
  2. 如請求項1之感測系統，其中前述固體攝像裝置之解析度高於前述光檢測測距裝置之解析度。
  3. 如請求項1之感測系統，其具有各自包含前述光檢測測距裝置及前述固體攝像裝置之複數個單元；且 前述複數個單元各者以取得來自前述對象物之互不相同之側之資訊的方式配置。
  4. 如請求項1之感測系統，其中 前述光檢測測距裝置具有掃描控制部，該掃描控制部控制對前述接收信號進行掃描之掃描範圍；且 前述掃描控制部具有第1掃描模式及第2掃描模式，作為對前述掃描範圍進行掃描之掃描模式，該第1掃描模式以掃描第1掃描範圍之方式進行控制，該第2掃描模式以掃描比前述第1掃描範圍小之第2掃描範圍之方式進行控制。
  5. 如請求項4之感測系統，其中前述第2掃描範圍包含於前述第1掃描範圍內。
  6. 如請求項4之感測系統，其中 前述光檢測測距裝置藉由前述第1掃描模式以第1密度取得前述速度點群資訊，藉由前述第2掃描模式以比前述第1密度高之第2密度取得前述速度點群資訊。
  7. 如請求項4之感測系統，其中前述第2掃描範圍包含移動中之前述對象物。
  8. 如請求項4之感測系統，其中前述第2掃描範圍包含以特定以上之速度移動中之人即前述對象物。
  9. 如請求項4之感測系統，其中 前述掃描控制部基於由前述固體攝像裝置拍攝到之前述攝像圖像，自前述第1掃描模式切換為前述第2掃描模式。
  10. 如請求項9之感測系統，其中 前述掃描控制部基於前述攝像圖像中、與基於前述速度點群資訊而檢測到移動中之區域對應之部分圖像，自前述第1掃描模式切換為前述第2掃描模式。
  11. 如請求項4之感測系統，其中 前述掃描控制部藉由前述第1掃描模式以第1掃描型態對前述第1掃描範圍進行掃描，藉由前述第2掃描模式以第2掃描型態對前述第2掃描範圍進行掃描。
  12. 如請求項11之感測系統，其中前述第2掃描型態之每單位面積之掃描線數多於前述第1掃描型態。
  13. 如請求項1之感測系統，其進一步具備： 辨識部，其基於前述光檢測測距裝置之輸出、及前述固體攝像裝置之輸出而辨識移動中之人；及 人流解析部，其以時間序列取得由前述辨識部辨識到之前述移動中之人，且對人流進行解析。
  14. 如請求項1之感測系統，其進一步具備： 信號處理部，其基於前述速度點群資訊，自前述攝像圖像提取包含前述對象物之部分圖像； 辨識部，其辨識前述部分圖像中所含之異常事象；及 掃描控制部，其控制前述光檢測測距裝置對前述接收信號進行掃描之掃描範圍；且 前述掃描控制部 具有第1掃描模式及第2掃描模式，作為對前述掃描範圍進行掃描之掃描模式，該第1掃描模式以對第1掃描範圍進行掃描之方式進行控制，該第2掃描模式以對較前述第1掃描範圍為小之第2掃描範圍進行掃描之方式進行控制， 於前述部分圖像不具有供前述辨識部用於進行前述異常事象之辨識之充分資訊量之情形下，將對前述接收信號進行掃描之掃描模式，自前述第1掃描模式切換為對與前述部分圖像之區域對應之第2掃描範圍進行掃描之前述第2掃描模式。
TW110146653A 2021-03-17 2021-12-14 感測系統 TW202238172A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163162210P 2021-03-17 2021-03-17
US63/162,210 2021-03-17

Publications (1)

Publication Number Publication Date
TW202238172A true TW202238172A (zh) 2022-10-01

Family

ID=83320269

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110146653A TW202238172A (zh) 2021-03-17 2021-12-14 感測系統

Country Status (7)

Country Link
US (1) US20240219567A1 (zh)
EP (1) EP4310549A4 (zh)
JP (1) JPWO2022195954A1 (zh)
KR (1) KR20230158474A (zh)
CN (1) CN116997821A (zh)
TW (1) TW202238172A (zh)
WO (1) WO2022195954A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006577B2 (ja) 2002-03-13 2007-11-14 オムロン株式会社 監視装置
JP6488647B2 (ja) 2014-09-26 2019-03-27 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
JP6350923B2 (ja) * 2016-02-24 2018-07-04 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
WO2018067158A1 (en) * 2016-10-06 2018-04-12 Strobe, Inc. Lidar system
WO2019216937A2 (en) * 2017-09-15 2019-11-14 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
JP2019101000A (ja) 2017-12-08 2019-06-24 コニカミノルタ株式会社 測距点群データ測定システム、および制御プログラム
US11567209B2 (en) * 2018-01-23 2023-01-31 Innoviz Technologies Ltd. Distributed LIDAR systems and methods thereof
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
CA3111509C (en) * 2018-09-05 2022-09-20 Blackmore Sensors & Analytics, Llc Method and system for pitch-catch scanning of coherent lidar
JP7337654B2 (ja) * 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
US10846817B2 (en) * 2018-11-15 2020-11-24 Toyota Research Institute, Inc. Systems and methods for registering 3D data with 2D image data
EP3893194A4 (en) * 2018-12-07 2022-01-26 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, MOBILE BODY CONTROL DEVICE AND MOBILE BODY
CN112859033B (zh) * 2021-02-23 2024-08-02 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备

Also Published As

Publication number Publication date
EP4310549A4 (en) 2024-08-21
EP4310549A1 (en) 2024-01-24
JPWO2022195954A1 (zh) 2022-09-22
US20240219567A1 (en) 2024-07-04
KR20230158474A (ko) 2023-11-20
WO2022195954A1 (ja) 2022-09-22
CN116997821A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US11422265B2 (en) Driver visualization and semantic monitoring of a vehicle using LiDAR data
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
US9432593B2 (en) Target object information acquisition method and electronic device
US8134637B2 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
Gandhi et al. High-resolution depth maps based on TOF-stereo fusion
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
JP4691701B2 (ja) 人数検出装置及び方法
US20040066500A1 (en) Occupancy detection and measurement system and method
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
WO2013012335A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
IL266025A (en) Vehicle environment modulation system
WO2006130734A2 (en) Method and system to increase x-y resolution in a depth (z) camera using red, blue, green (rgb) sensing
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
JP2018031776A (ja) ステレオ三角測量のためのシステム及び方法
JP2018021776A (ja) 視差演算システム、移動体及びプログラム
TW202238172A (zh) 感測系統
WO2022196109A1 (ja) 計測装置および計測方法、ならびに、情報処理装置
CN112364741B (zh) 无人机单目远距离障碍检测方法、装置及无人机
US12051152B2 (en) Method and system for generating a colored tridimensional map
JP7262064B2 (ja) 測距撮像システム、測距撮像方法、及びプログラム
Kong et al. High-resolution single-photon LiDAR without range ambiguity using hybrid-mode imaging
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
JP7147729B2 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
US20180246192A1 (en) Information processing device, control method, program, and storage medium