TWI610250B - 監測系統及其操作方法 - Google Patents
監測系統及其操作方法 Download PDFInfo
- Publication number
- TWI610250B TWI610250B TW105108782A TW105108782A TWI610250B TW I610250 B TWI610250 B TW I610250B TW 105108782 A TW105108782 A TW 105108782A TW 105108782 A TW105108782 A TW 105108782A TW I610250 B TWI610250 B TW I610250B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- sensing unit
- stereo camera
- image sensing
- camera module
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
監測系統包含至少一立體相機模組和一控制模組。該至少一立體相機模組的每一立體相機模組是用以擷取包含一物件的複數個影像,以及根據該複數個影像產生對應該物件的深度圖。該控制模組是用以根據該複數個影像或深度圖,決定對應該物件的複數個特徵點,根據該深度圖決定該複數個特徵點之間的相對座標,根據該複數個特徵點之間的相對座標產生對應該物件的外部信息,以及根據對應該物件的外部信息和對應該物件的參考參數,產生對應該物件的一監測信息。
Description
本發明是有關於一種監測系統及其操作方法,尤指一種利用至少一立體相機模組的每一立體相機模組擷取包含一物件的複數個影像以及根據該複數個影像產生對應該物件的深度圖,利用控制模組根據包含該複數個影像或對應該物件的深度圖,決定對應該物件的複數個特徵點,根據該深度圖決定該複數個特徵點之間的相對座標,根據該複數個特徵點之間的相對座標產生對應該物件的外部信息,以及根據對應該物件的外部信息和對應該物件的參考參數,產生對應該物件的一監測信息的監測系統及其操作方法。
現今監測系統被廣泛運用在許多不同領域,例如監視、環境保護及醫療照護領域等。以醫療照護領域為例,監測系統必須使用傳統精密儀器(例如電腦斷層攝影)以提供詳細且準確的數據。在醫療照護領域中,現有技術是利用貼在人體皮膚上的多個感測器得到對應於人體活動的多項數據。雖然現有技術可提供即時有關於人體的姿勢與身體位置的數據,但現有技術的成本高昂且該有關於人體的姿勢與身體位置的數據需要醫療專業人士解讀。因此,現有技術仍然不適合一般的居家照護的目的。
本發明的一實施例提供一種監測系統。該監測系統包含至少一立體相機模組和一控制模組。該至少一立體相機模組的每一立體相機模組是用以擷取包含一物件的複數個影像,以及根據該複數個影像,產生對應該物件的深度圖。該控制模組是用以根據該複數個影像或深度圖,決定對應該物件的複數個特徵點,決定該複數個特徵點之間的相對座標與對應該物件的外部信息,以及產生對應該物件的一監測信息。
本發明的另一實施例提供一種監測系統的操作方法,其中該監測系統包含至少一立體相機模組、一控制模組、一儲存模組和一顯示模組,且每一立體相機模組包含一第一影像感測單元、一第二影像感測單元和一深度圖產生單元。該操作方法包含該至少一立體相機模組的每一立體相機模組擷取包含一物件的複數個影像,以及根據該複數個影像,產生對應該物件的深度圖;該控制模組根據該複數個影像或深度圖,決定對應該物件的複數個特徵點;該控制模組決定該複數個特徵點之間的相對座標與對應該物件的外部信息;該控制模組產生對應該物件的一監測信息。
本發明提供一種監測系統及其操作方法。該監測系統及該操作方法是利用至少一立體相機模組的每一立體相機模組擷取包含一物件的複數個影像,以及根據該複數個影像產生對應該物件的深度圖,利用一控制模組根據包含該物件的複數個影像或深度圖,決定對應該物件的複數個特徵點,利用該控制模組根據該深度圖決定該複數個特徵點之間的相對座標,利用該控制模組根據該複數個特徵點之間的相對座標產生對應該物件的外部信息,以及利用該控制模組根據對應該物件的外部信息和對應該物件的參考參數,產生對應該物件的監測信息。因為本發明所提供的監測系統不需昂貴精密的感測器,所以本發
明具有較低成本和方便使用等優點。因此,相較於現有技術,本發明更適合一般的居家照護和農場經營。
10‧‧‧監測系統
12、14、32、42‧‧‧立體相機模組
16‧‧‧控制模組
18‧‧‧儲存模組
20‧‧‧顯示模組
22‧‧‧支撐架
24‧‧‧垂直滑軌
26‧‧‧水平滑軌
28‧‧‧支柱
30‧‧‧物件
102‧‧‧第一影像感測單元
104‧‧‧第二影像感測單元
106‧‧‧同步單元
108‧‧‧校正單元
110‧‧‧深度圖產生單元
112‧‧‧記憶體
118‧‧‧查閱表
2202、2204‧‧‧插槽
2206、2208‧‧‧移動裝置
620‧‧‧濾波單元
720‧‧‧光源
722-736‧‧‧預定光圖案
B1、B2、B3‧‧‧對應基線
DP1、DP2、DP3‧‧‧深度圖
D‧‧‧距離
D1、D2、D3、D4‧‧‧對應距離
EA、EA1、EA2、EA3‧‧‧發射夾角
FL1、SL1、FL2、SL2、FL3、SL3、
FL4、SL4、TL1、FL、SL‧‧‧直線
FP1-FP20‧‧‧特徵點
ICR‧‧‧影像擷取範圍
L1‧‧‧第一影像
MI‧‧‧監測信息
MD‧‧‧中點
R1‧‧‧第二影像
RCA‧‧‧參考座標軸
θ、θ1、θ2、θ3、θ4‧‧‧對應夾角
1400-1418、1500-1520‧‧‧步驟
第1圖是本發明的一第一實施例說明一種監測系統的示意圖。
第2圖是說明物件和二立體相機模組所決定的夾角是可調整的示意圖。
第3圖是說明立體相機模組的示意圖。
第4圖是說明當第一影像感測單元擷取第一影像時,第一影像感測單元和物件間具有對應距離的示意圖。
第5圖是說明當第一影像感測單元和物件之間的對應距離隨物件的移動或轉動而改變時,第一影像感測單元和第二影像感測單元可擺動以使物件總是位於第一影像感測單元的中心和物件決定的直線與第二影像感測單元的中心和物件決定的一直線的交點上的示意圖。
第6圖是本發明的另一實施例說明第一影像感測單元和第二影像感測單元之間的基線可隨第一影像感測單元和物件間的對應距離改變的示意圖。
第7圖是本發明的一第二實施例說明立體相機模組的示意圖。
第8圖是本發明的一第三實施例說明立體相機模組的示意圖。
第9圖是說明光源的發射夾角、第一影像感測單元和物件間的對應距離與由物件表面上的預定光圖案的尺寸和光源發射的預定光圖案的尺寸所決定比例的關係示意圖。
第10圖是說明當第一影像感測單元和物件間具有對應距離且光源具有不同發射夾角時,物件表面上的預定光圖案的尺寸與預定光圖案的尺寸所決定的比例隨光源的不同發射夾角改變的示意圖。
第11圖是說明當第一影像感測單元和物件間具有不同對應距離且光源具有發射夾角時,物件表面上的預定光圖案的尺寸與預定光圖案的尺寸所決定的比例隨第一影像感測單元和物件間不同對應距離改變的示意圖。
第12圖是說明控制模組根據第一影像和第二影像,決定對應物件的特徵點的示意圖。
第13圖是本發明的一第四實施例說明支撐架和水平滑軌的示意圖。
第14圖是本發明的一第五實施例說明一種監測系統的操作方法的流程圖。
第15圖是本發明的一第六實施例說明一種監測系統的操作方法的流程圖。
請參照第1圖,第1圖是本發明的一第一實施例說明一種監測系統10的示意圖。如第1圖所示,監測系統10包含二立體相機模組12、14,一控制模組16,一儲存模組18,一顯示模組20,一支撐架22和一垂直滑軌24,其中二立體相機模組12、14中的每一立體相機模組是用以擷取包含一物件30(如第1圖所示的人)的複數個影像以及根據包含物件30的複數個影像,產生對應物件30的深度圖,以及儲存模組18和顯示模組20耦接於控制模組16。但本發明並不受限於監測系統10包含二立體相機模組12、14,亦即監測系統10可包含至少一立體相機模組。如第1圖所示,支撐架22具有二插槽2202、2204,其中二插槽2202、2204是用以分別安裝立體相機模組12、14,二插槽2202、2204中的每一插槽是通過一相對應的移動裝置耦接於支撐架22(例如插槽2202是通過一移動裝置2206耦接於支撐架22,以及插槽2204是通過一移動裝置2208耦接於支撐架22),二插槽2202、2204中的每一插槽是一通用序列匯流排(universal serial bus,USB)插槽,且支撐架22是很容易安裝在地上或是牆上。但本發明並不受限於二插槽2202、2204是通用序列匯流排插槽。因此,如第1圖所示,立體相機模組12可通過移動裝置
2206移向物件30或遠離物件30,以及立體相機模組14亦可通過移動裝置2208移向物件30或遠離物件30,亦即立體相機模組12和立體相機模組14之間的距離D(如第2圖所示)是可調整的。另外,因為立體相機模組12可通過插槽2202和移動裝置2206擺動,以及立體相機模組14亦可通過插槽2204和移動裝置2208擺動,所以由立體相機模組12和物件30所決定的一直線FL與立體相機模組14和物件30所決定的一直線SL所決定的一夾角θ(如第2圖所示)是可調整的。另外,立體相機模組12亦可通過移動裝置2206上下移動,以及立體相機模組14亦可通過移動裝置2208上下移動。另外,本發明並不受限於支撐架22具有二插槽2202、2204,亦即支撐架22可具有超過二以上的插槽,用以安裝立體相機模組12、14外的其他立體相機模組。如第1圖所示,控制模組16可控制垂直滑軌24以讓支撐架22由上而下或由下而上平滑地移動。
請參照第3圖,第3圖是說明立體相機模組12的示意圖。如第3圖所示,立體相機模組12包含一第一影像感測單元102、一第二影像感測單元104、一同步單元106、一校正單元108、一深度圖產生單元110及一記憶體112,其中第一影像感測單元102和第二影像感測單元104是電荷耦合元件(charge-coupled device,CCD)感測單元或接觸式影像感測單元(contact image sensor)。另外,本發明並不受限於立體相機模組12僅包含第一影像感測單元102和第二影像感測單元104,亦即立體相機模組12可包含至少二影像感測單元。當物件30位於立體相機模組12的影像擷取範圍ICR(如第4圖所示)時,第一影像感測單元102擷取包含物件30的一第一影像L1,以及第二影像感測單元104擷取包含物件30的一第二影像R1,其中第一影像L1是對應第二影像R1,第一影像L1與第二影像R1是RGB影像或YUV影像,且第一影像L1是左眼影像和第二影像R1是右眼影像。但本發明並不受限於第一影像L1與第二影像R1是RGB影像或YUV影像,亦即第一影像
L1與第二影像R1可以是其他形式的色彩影像。如第3圖所示,同步單元106耦接於第一影像感測單元102、該第二影像感測單元104和深度圖產生單元110之間,用以輸出一第一同步信號至第一影像L1與一對應的第二同步信號至第二影像R1,其中同步單元106輸出第一同步信號至第一影像L1和對應的第二同步信號至第二影像R1的頻率可隨第一影像L1和第二影像R1的解析度而改變,其中第一同步信號和對應的第二同步信號可相同或不同。但在本發明的另一實施例中,第一影像L1和第二影像R1可分別根據第一影像感測單元102的掃描線區分成複數個影像區塊,其中同步單元106會輸出一同步信號至第一影像L1的複數個影像區塊中的每一影像區塊,且同步單元106亦會輸出一對應的同步信號至第二影像R1的複數個影像區塊中的一對應影像區塊。於一實施例中,每一影像區塊是對應一條掃描線的資料,如此可以節省儲存影像區塊的記憶體空間大小。另外,在本發明的另一實施例中,立體相機模組12另包含一暫存器,暫存器是用以儲存第一影像L1對應第一影像感測單元102的每一掃描線的影像區塊和第二影像R1中一相對應影像區塊,其中當暫存器儲存完畢第一影像L1對應第一影像感測單元102的每一掃描線的影像區塊和第二影像R1中相對應影像區塊時,暫存器才會根據立體相機模組12的系統時脈,輸出第一影像L1和第二影像R1至深度圖產生單元110。
校正單元108耦接於第一影像感測單元102和第二影像感測單元104,在第一影像感測單元102輸出第一影像L1和第二影像感測單元104輸出第二影像R1前,校正單元108對第一影像L1和第二影像R1執行一校正處理,其中校正處理包含一色彩空間校正和一組裝校正的組合之一。另外,在本發明的另一實施例中,校正單元108是在第一影像感測單元102輸出第一影像L1和第二影像感測單元104輸出第二影像R1後,對第一影像L1和第二影像R1執行校正處理。
如第3圖所示,在深度圖產生單元110接收第一影像L1和第二影像R1後,深度圖產生單元110可根據第一同步信號與對應的第二同步信號,一起處理第一影像L1和第二影像R1以產生對應物件30的深度圖DP1,亦即深度圖產生單元110可依序根據第一影像L1的每一掃描線和第二影像R1的一對應掃描線,產生深度圖DP1。如第3圖所示,記憶體112耦接於同步單元106和深度圖產生單元110,用以儲存第一影像L1、第二影像R1和深度圖DP1。但在本發明的另一實施例中,立體相機模組12是即時輸出深度圖DP1,所以此時立體相機模組12內的記憶體112並非必須。另外,在本發明的一實施例中,第一影像感測單元102、第二影像感測單元104、同步單元106、校正單元108、深度圖產生單元110及記憶體112的全部或部分是整合成一單晶片。另外,在本發明的另一實施例中,當第一影像感測單元102擷取包含物件30的複數個第一影像L1、L2、L3、...,以及第二影像感測單元104擷取包含物件30的複數個對應的第二影像R1、R2、R3、...時,深度圖產生單元110即可根據上述原理,產生對應物件30的深度圖DP1、DP2、DP3、...。
如第4圖所示(其中在第4圖中,立體相機模組12僅繪示出第一影像感測單元102和第二影像感測單元104),當第一影像感測單元102擷取第一影像L1時,立體相機模組12的第一影像感測單元102和物件30間具有一對應距離D1,其中對應距離D1是對應深度圖DP1,且對應距離D1隨時間可變。如第4圖所示,當第一影像感測單元102擷取第一影像L1時,第一影像感測單元102和物件30間具有對應距離D1,第一影像感測單元102的中心和物件30決定的一直線FL1與第二影像感測單元104的中心和物件30間決定的一直線SL1之間具有一對應夾角θ1,且物件30位於直線FL1與直線SL1的交點上。另外,因為當立體相機模組12掃描物件30時,物件30可任意地移動或轉動,所以立體相機模組12的第一影像感測
單元102和物件30之間的一對應距離可隨物件30的移動或轉動而改變。亦即當立體相機模組12的第一影像感測單元102和物件30之間的一對應距離隨物件30的移動或轉動而改變時,第一影像感測單元102和第二影像感測單元104可擺動以使物件30總是位於第一影像感測單元102的中心和物件30決定的一直線與第二影像感測單元104的中心和物件30決定的一直線的交點上(如第5圖所示)。如第5圖所示,當立體相機模組12的第一影像感測單元102和物件30間具有一對應距離D2時,第一影像感測單元102的中心和物件30所決定的一直線FL2與第二影像感測單元104的中心和物件30間所決定的一直線SL2之間具有一對應夾角θ2,其中對應距離D2是對應深度圖產生單元110所產生的深度圖DP2;當立體相機模組12的第一影像感測單元102和物件30間具有一對應距離D3時,第一影像感測單元102的中心和物件30所決定的一直線FL3與第二影像感測單元104的中心和物件30間所決定的一直線SL3之間具有一對應夾角θ3,其中對應距離D3是對應深度圖產生單元110所產生的深度圖DP3;當立體相機模組12的第一影像感測單元102和物件30間具有一對應距離D4時,第一影像感測單元102的中心和物件30所決定的一直線FL4與第二影像感測單元104的中心和物件30間所決定的一直線SL4之間具有一對應夾角θ4,其中對應距離D4是對應深度圖產生單元110所產生的深度圖DP4。如第5圖所示,由於第一影像感測單元102和第二影像感測單元104可擺動,所以不管物件30如何移動或轉動,立體相機模組12總是可以使物件30位於第一影像感測單元102的中心和物件30所決定的一直線與第二影像感測單元104的中心和物件30間所決定的一直線的交點上。另外,因為第一影像感測單元102和第二影像感測單元104可擺動,所以相較於現有技術,物件30的尺寸的範圍可更廣以及立體相機模組12可產生具有較少誤差的深度圖DP1、DP2、DP3、...。
另外,立體相機模組12另包含一查閱表118,其中查閱表118是用以
儲存立體相機模組12的第一影像感測單元102和物件30間的對應距離(例如對應距離D1、D2、D3、...)、第一影像感測單元102的中心和物件30所決定的一直線與第二影像感測單元104的中心和物件30間所決定的一直線所決定的對應夾角(例如對應夾角θ1、θ2、θ3、...)與深度圖(例如深度圖DP1、DP2、DP3、...)之間的關係。
請參照第6圖,第6圖是本發明的另一實施例說明第一影像感測單元102和第二影像感測單元104之間的基線可隨第一影像感測單元102和物件30間的對應距離改變的示意圖。如第6圖所示,當立體相機模組12的第一影像感測單元102和物件30間具有對應距離D1時,第一影像感測單元102和第二影像感測單元104間具有一對應基線B1;當立體相機模組12的第一影像感測單元102和物件30間具有一對應距離D2時,第一影像感測單元102和第二影像感測單元104間具有一對應基線B2;當立體相機模組12的第一影像感測單元102和物件30間具有一對應距離D3時,第一影像感測單元102和第二影像感測單元104間具有一對應基線B3。如第6圖所示,由於第一影像感測單元102和第二影像感測單元104之間的基線可隨立體相機模組12的第一影像感測單元102和物件30間的對應距離改變,所以不管物件30如何移動或轉動,立體相機模組12總是可以使物件30位於第一影像感測單元102的中心和物件30所決定的一直線與第二影像感測單元104的中心和物件30間所決定的一直線的交點上。另外,因為第一影像感測單元102和第二影像感測單元104之間的基線可隨立體相機模組12的第一影像感測單元102和物件30間的對應距離改變,所以相較於現有技術,物件30的尺寸的範圍可更廣以及立體相機模組12可產生具有較少誤差的深度圖DP1、DP2、DP3、...。
另外,立體相機模組12包含的查閱表118可用以儲存立體相機模組12
的第一影像感測單元102和物件30間的對應距離(例如對應距離D1、D2、D3、...)、第一影像感測單元102和第二影像感測單元104之間的基線(例如基線B1、基線B2、基線B3、...)與深度圖(例如深度圖DP1、DP2、DP3、...)之間的關係。
另外,在本發明的另一實施例中,第一影像感測單元102和第二影像感測單元104之間的基線可隨立體相機模組12的第一影像感測單元102和物件30間的對應距離改變,以及第一影像感測單元102和第二影像感測單元104亦可隨立體相機模組12的第一影像感測單元102和物件30間的對應距離擺動。因此,立體相機模組12包含的查閱表118是用以儲存立體相機模組12的第一影像感測單元102和物件30間的對應距離(例如對應距離D1、D2、D3、...)、第一影像感測單元102的中心和物件30所決定的一直線與第二影像感測單元104的中心和物件30間所決定的一直線所決定的對應夾角(例如對應夾角θ1、θ2、θ3、...)、第一影像感測單元102和第二影像感測單元104之間的基線(例如基線B1、基線B2、基線B3、...)與深度圖(例如深度圖DP1、DP2、DP3、...)之間的關係。
請參照第7圖,第7圖是本發明的一第二實施例說明一立體相機模組32的示意圖。如第7圖所示,立體相機模組32和立體相機模組12的差別在於立體相機模組32另包含一濾波單元620,其中濾波單元620耦接於第一影像感測單元102與第二影像感測單元104和深度圖產生單元110與記憶體112之間。濾波單元620是用以轉換第一影像感測單元102所擷取的第一影像L1與第二影像感測單元104所擷取的第二影像R1為單色影像。因此,深度圖產生單元110可根據單色的第一影像L1和單色的第二影像R1,產生深度圖DP1。另外,立體相機模組32的其餘操作原理皆和立體相機模組12相同,在此不再贅述。
請參照第8圖和第9圖,第8圖是本發明的一第三實施例說明一立體相機模組42的示意圖,和第9圖是說明一光源720的發射夾角、立體相機模組42的第一影像感測單元102和物件30間的對應距離D1與由物件30表面上的一預定光圖案724的尺寸和光源720發射的預定光圖案722的尺寸所決定一比例RA的關係示意圖。如第8圖所示,立體相機模組42和立體相機模組12的差別在於立體相機模組42另包含一光源720,其中光源720可具有不同的發射夾角。當光源720發射一預定光圖案722(例如直條紋圖案)至物件30時,第一影像感測單元102擷取包含物件30的第一影像L1,以及第二影像感測單元104擷取包含物件30的第二影像R1。但本發明並不受限於預定光圖案722是直條紋圖案。如第9圖所示,光源720的發射夾角EA是由光源720與物件30決定的一直線TL1和一參考座標軸RCA所決定,且當立體相機模組42的第一影像感測單元102和物件30間具有一對應距離D1時(在第9圖中,立體相機模組42內僅繪出第一影像感測單元102和光源720),物件30表面上的一預定光圖案724的尺寸與預定光圖案722的尺寸可決定一比例RA,其中比例RA是和對應距離D1與發射夾角EA有關。
請參照第10圖和第11圖,第10圖是說明當立體相機模組42的第一影像感測單元102和物件30間具有對應距離D1且光源720具有不同發射夾角時,物件30表面上的預定光圖案的尺寸與預定光圖案722的尺寸所決定的比例隨光源720的不同發射夾角改變的示意圖,和第11圖是說明當立體相機模組42的第一影像感測單元102和物件30間具有不同對應距離且光源720具有發射夾角EA時,物件30表面上的預定光圖案的尺寸與預定光圖案722的尺寸所決定的比例隨立體相機模組42第一影像感測單元102和物件30間不同對應距離改變的示意圖。如第10圖所示,當立體相機模組42的第一影像感測單元102和物件30間具有對應距離D1且光源720具有一發射夾角FA1時(在第10圖中,立體相機模組42內僅繪出第一
影像感測單元102和光源720),物件30表面上的預定光圖案726的尺寸與預定光圖案722的尺寸可決定一比例RA1;當立體相機模組42的第一影像感測單元102和物件30間具有對應距離D1且光源720具有一發射夾角EA2時,物件30表面上的預定光圖案728的尺寸與預定光圖案722的尺寸可決定一比例RA2;當立體相機模組42的第一影像感測單元102和物件30間具有對應距離D1且光源720具有一發射夾角EA3時,物件30表面上的預定光圖案730的尺寸與預定光圖案722的尺寸可決定一比例RA3,其中比例RA1、比例RA2和比例RA3互不相同。如第11圖所示,當光源720具有發射夾角EA且立體相機模組42的第一影像感測單元102和物件30間具有對應距離D2時(在第11圖中,立體相機模組42內僅繪出第一影像感測單元102和光源720),物件30表面上的預定光圖案732的尺寸與預定光圖案722的尺寸可決定一比例RA4;當光源720具有發射夾角EA且立體相機模組42的第一影像感測單元102和物件30間具有對應距離D3時,物件30表面上的預定光圖案734的尺寸與預定光圖案722的尺寸可決定一比例RA5;當光源720具有發射夾角EA且立體相機模組42的第一影像感測單元102和物件30間具有對應距離D4時,物件30表面上的預定光圖案736的尺寸與預定光圖案722的尺寸可決定一比例RA6,其中比例RA4、比例RA5和比例RA6互不相同。因此,立體相機模組42包含的查閱表118是用以儲存立體相機模組42的第一影像感測單元102和物件30間的對應距離(例如對應距離D1、D2、D3、...)、光源720具有的不同發射夾角(例如發射夾角EA、EA1、EA2、EA3、...)、由物件30表面上的預定光圖案(例如預定光圖案722、724、726、728、...)的尺寸與光源720發射的預定光圖案722的尺寸所決定的不同比例(例如比例RA、RA1、RA2、RA3、...)與深度圖(例如深度圖DP1、DP2、DP3、...)之間的關係。另外,立體相機模組42的其餘操作原理皆和立體相機模組12相同,在此不再贅述。
另外,如第1圖所示,深度圖產生單元110產生的深度圖DP1,以及第一影像L1和第二影像R1是通過一通用序列匯流排傳送至控制模組16。但在本發明的另一實施例中,深度圖產生單元110產生的深度圖DP1,以及第一影像L1和第二影像R1是通過一行動產業處理器介面(mobile-industry-processor-interface,MIPI)傳送至控制模組16。另外,在本發明的另一實施例中,深度圖產生單元110產生的深度圖DP1,以及第一影像L1和第二影像R1是通過一無線保真(Wireless Fidelity,WiFi)、一無線區域網路(wireless LAN,WLAN)、一紫蜂短距無線傳輸標準(IEEE 802.15.4,Zigbee)、一藍芽(Bluetooth)、一無線廣域網(Wireless Wide Area Network,WWAN)、一通用封包無線服務技術(General Packet Radio Service,GPRS)、一第三代行動通訊技術(third generation,3G)、一第四代行動通訊技術(fourth generation,4G)、一第五代行動通訊技術(fifth generation,5G)或一行動者網路理論+(actor network theory+,Ant+)技術的無線通訊介面傳送至控制模組16。
另外,立體相機模組14的組成元件和操作原理都和立體相機模組12的組成元件和操作原理相同,在此不再贅述。
請參照第12圖,第12圖是說明控制模組16根據第一影像L1和第二影像R1,決定對應物件30的特徵點FP1-FP20的示意圖。但本發明並不受限於控制模組16所決定的對應物件30的特徵點FP1-FP20的數目。如第12圖所示,控制模組16可根據第一影像L1和第二影像R1或深度圖DP1,決定對應物件30的臉部的特徵點FP1-FP7以及決定對應物件30的四肢和軀幹的特徵點FP8-FP20。但在本發明的另一實施例中,控制模組16可根據深度圖DP1,決定對應物件30的臉部的特徵點FP1-FP7以及決定對應物件30的四肢和軀幹的特徵點FP8-FP20。
控制模組16並根據深度圖DP1決定特徵點FP1-FP20在空間中的相對座標。由於控制模組16可根據深度圖DP1決定特徵點FP1-FP20在空間中的相對座標,所以控制模組16可追蹤特徵點FP1-FP20在空間中的相對座標,以及根據特徵點FP1-FP20在空間中的相對座標,產生對應物件30的外部信息,其中當物件30是如第1圖所示的人時,對應物件30的外部信息包括該人的胸圍、腰圍、臀圍、肩寬、手的長度、腿的長度、頭的尺寸、走路姿勢以及脊椎彎曲角度的至少一個。例如控制模組16可根據特徵點FP1-FP7在空間中的相對座標,產生物件30的頭的尺寸與臉的尺寸,根據特徵點FP8、FP9在空間中的相對座標,產生物件30的肩寬,根據特徵點FP10、FP11在空間中的相對座標,產生物件30的胸圍,根據特徵點FP8、FP9、FP12、FP13在空間中的相對座標,產生物件30的手的長度,根據特徵點FP14、FP15在空間中的相對座標,產生物件30的腰圍,以及根據特徵點FP14、FP15、FP17-FP20在空間中的相對座標,產生物件30的腿的長度。另外,控制模組16亦可根據特徵點FP10和FP11在空間中的中點MD和特徵點FP16在空間中的相對座標,產生物件30的脊椎彎曲角度。另外,控制模組16亦可同時根據上述原理和立體相機模組12、14所產生的深度圖,決定對應物件30的胸部的厚度和駝背程度。另外,本發明並不受限於如第12圖所示特徵點FP1-FP20的位置。另外,因為在監測系統10運作時,立體相機模組12、14可分別通過移動裝置2206、2208移動以使物件30總是在立體相機模組12、14之間或是中間,以及由直線FL與直線SL所決定的夾角θ是可調整的,所以監測系統10可產生較準確的對應物件30的外部信息。另外,在本發明的一實施例中,立體相機模組12、14中的每一立體相機模組的位置是距地100公分,以及距物件30是75公分。
在控制模組16根據特徵點FP1-FP20在空間中的相對座標,產生對應物件30的外部信息後,控制模組16可根據儲存模組18所儲存的對應物件30的參
考參數和對應物件30的外部信息,產生對應物件30的一監測信息MI(例如控制模組16可根據儲存模組18所儲存的對應物件30的參考參數和對應物件30的外部信息,產生對應物件30的參考參數和對應物件30的外部信息之間的偏移量)。當控制模組16產生對應物件30的參考參數和對應物件30的外部信息之間的偏移量後,控制模組16可根據該偏移量,產生對應物件30的建議或指示,並控制顯示模組20顯示監測信息MI,對應物件30的建議或指示,或是同時顯示監測信息MI和對應物件30的建議或指示。例如,控制模組16可根據該偏移量,通過顯示模組20建議物件30調整站立的姿勢以改善物件30的脊椎骨彎曲角度,或是控制模組16可根據該偏移量,通過顯示模組20建議物件30增加每周運動時間和運動強度以減少腰圍和臀圍等。
另外,在本發明的另一實施例中,在控制模組16產生對應物件30的參考參數和對應物件30的外部信息之間的偏移量後,控制模組16可通過網路傳遞該偏移量至物件30所屬的家醫科診所(general practitioner clinic)。然後,該家醫科診所的醫生將會根據該偏移量,產生對應物件30的回覆至控制模組16。在控制模組16接收到對應物件30的回覆後,控制模組16可控制顯示模組20顯示對應物件30的回覆給物件30。
由於顯示模組20可以是任意的影音裝置以顯示上述的對應物件30的回覆,監測信息MI,或對應物件30的建議或指示,所以物件30可輕易地使用監測系統10,而無須前往物件30所屬的家醫科診所。
請參照第13圖,第13圖是本發明的一第四實施例說明支撐架22和一水平滑軌26的示意圖。如第13圖所示,控制模組16可根據預先儲存在儲存模組
18內的移動模式,控制支撐架22在水平滑軌26上水平地移動,其中水平滑軌26是設置在一支柱28上,且支撐架22可定速或變速地在水平滑軌26上移動。另外,控制模組16亦可根據預先儲存在儲存模組18內的另一移動模式,控制水平滑軌26在支柱28上由上而下或由下而上平滑地移動。另外,本發明並不受限於如第13圖所示的水平滑軌26與支柱28之間的設置關係和水平滑軌26與支柱28的外型。亦即只要支撐架22可在水平滑軌26上水平地移動以及水平滑軌26可在支柱28上由上而下或由下而上平滑地移動即落入本發明的範疇。如第13圖所示,由於支撐架22可在水平滑軌26上移動,以及水平滑軌26可在支柱28上由上而下或由下而上移動,所以本發明的第四實施例可應用於農場(例如果園或菜園)。也就是說當本發明的第四實施例所述的監測系統應用於果園時,農夫不必親自巡視該果園即可根據第四實施例所述的監測系統所產生的對應該果園內水果的監測信息(例如該果園內水果的尺寸或該果園內水果的外觀),決定是否對該果園內水果施肥(例如該果園內水果的尺寸小於儲存模組18所儲存的對應該果園內水果的參考參數)或是除蟲(例如該果園內水果的外觀顯示該果園內水果被蟲蛀)。
請參照第1、2、3、12、13圖和第14圖,第14圖是本發明的一第五實施例說明一種監測系統的操作方法的流程圖。第14圖的方法是利用第1圖的監測系統10和第3圖的立體相機模組12說明,詳細步驟如下:步驟1400:開始;步驟1402:立體相機模組12的第一影像感測單元102擷取包含物件30的第一影像L1,以及立體相機模組12的第二影像感測單元104擷取包含物件30的第二影像R1;步驟1404:立體相機模組12的深度圖產生單元110根據第一影像L1
和第二影像R1,產生對應物件30的深度圖DP1;步驟1406:控制模組16根據立體相機模組12所擷取的包含物件30的第一影像L1和第二影像R1,決定對應物件30的複數個特徵點FP1-FP20;步驟1408:控制模組16根據深度圖DP1,決定複數個特徵點FP1-FP20之間的相對座標;步驟1410:在複數個特徵點FP1-FP20產生後,控制模組16追蹤複數個特徵點FP1-FP20;步驟1412:控制模組16根據複數個特徵點FP1-FP20之間的相對座標,產生對應物件30的外部信息;步驟1414:控制模組16根據對應物件30的外部信息和對應物件30的參考參數,產生對應物件30的監測信息MI;步驟1416:顯示模組20顯示監測信息MI;步驟1418:結束。
在步驟1404中,如第3圖所示,在深度圖產生單元110接收第一影像L1和第二影像R1後,深度圖產生單元110可根據同步單元106所輸出的第一同步信號與對應的第二同步信號,一起處理第一影像L1和第二影像R1以產生對應物件30的深度圖DP1,亦即深度圖產生單元110可依序根據第一影像L1的每一掃描線和第二影像R1的一對應掃描線,產生深度圖DP1。另外,在本發明的另一實施例中,當第一影像感測單元102擷取包含物件30的複數個第一影像L1、L2、L3、...,以及第二影像感測單元104擷取包含物件30的複數個對應的第二影像R1、R2、R3、...時,深度圖產生單元110即可根據上述原理,產生對應物件30的深度圖DP1、DP2、DP3、...。
在步驟1406和步驟1408中,如第12圖所示,控制模組16可根據第一影像L1和第二影像R1,決定對應物件30的臉部的特徵點FP1-FP7以及決定對應物件30的四肢和軀幹的特徵點FP8-FP20,並根據深度圖DP1,決定特徵點FP1-FP20在空間中的相對座標。於本發明的另一實施例中,控制模組16亦可根據深度圖DP1等決定對應物件30的特徵點FP1-FP20。
在步驟1410中,由於控制模組16可根據深度圖DP1決定特徵點FP1-FP20在空間中的相對座標,所以控制模組16可追蹤特徵點FP1-FP20在空間中的相對座標,以及在步驟1412中,控制模組16可根據特徵點FP1-FP20在空間中的相對座標,產生對應物件30的外部信息,其中當物件30是如第1圖所示的人時,對應物件30的外部信息包括該人的胸圍、腰圍、臀圍、肩寬、手的長度、腿的長度、頭的尺寸、走路姿勢以及脊椎彎曲角度的至少一個。例如控制模組16可根據特徵點FP1-FP7在空間中的相對座標,產生物件30的頭的尺寸與臉的尺寸,根據特徵點FP8、FP9在空間中的相對座標,產生物件30的肩寬,根據特徵點FP10、FP11在空間中的相對座標,產生物件30的胸圍,根據特徵點FP8、FP9、FP12、FP13在空間中的相對座標,產生物件30的手的長度,根據特徵點FP14、FP15在空間中的相對座標,產生物件30的腰圍,以及根據特徵點FP14、FP15、FP17-FP20在空間中的相對座標,產生物件30的腿的長度。另外,控制模組16亦可根據特徵點FP10和FP11在空間中的中點MD和特徵點FP16在空間中的相對座標,產生物件30的脊椎彎曲角度。另外,因為立體相機模組14的組成元件和操作原理都和立體相機模組12的組成元件和操作原理相同,所以控制模組16可同時根據上述原理和立體相機模組12、14所產生的深度圖,決定對應物件30的胸部的厚度和駝背程度。另外,因為在監測系統10運作時,立體相機模組12、14可分別通過移動裝置2206、2208移動以使物件30總是在立體相機模組12、14之
間或是中間,以及由直線FL與直線SL所決定的夾角θ是可調整的,所以監測系統10可產生較準確的對應物件30的外部信息。
在步驟1414中,當控制模組16根據特徵點FP1-FP20在空間中的相對座標,產生對應物件30的外部信息後,控制模組16可根據儲存模組18所儲存的對應物件30的參考參數和對應物件30的外部信息,產生對應物件30的監測信息MI(例如控制模組16可根據儲存模組18所儲存的對應物件30的參考參數和對應物件30的外部信息,產生對應物件30的參考參數和對應物件30的外部信息之間的偏移量)。在步驟1416中,當控制模組16產生對應物件30的參考參數和對應物件30的外部信息之間的偏移量後,控制模組16可根據該偏移量,產生對應物件30的建議或指示,並控制顯示模組20顯示監測信息MI,對應物件30的建議或指示,或是同時顯示監測信息MI和對應物件30的建議或指示。例如,控制模組16可根據該偏移量,通過顯示模組20建議物件30調整站立的姿勢以改善物件30的脊椎骨彎曲角度,或是控制模組16可根據該偏移量,通過顯示模組20建議物件30增加每周運動時間和運動強度以減少腰圍和臀圍等。另外,在本發明的另一實施例中,在控制模組16產生對應物件30的參考參數和對應物件30的外部信息之間的偏移量後,控制模組16可通過網路傳遞該偏移量至物件30所屬的家醫科診所。然後,該家醫科診所的醫生將會根據該偏移量,產生對應物件30的回覆至控制模組16。在控制模組16接收到對應物件30的回覆後,控制模組16可控制顯示模組20顯示對應物件30的回覆給物件30。由於顯示模組20可以是任意的影音裝置以顯示上述的對應物件30的回覆,監測信息MI,或對應物件30的建議或指示,所以物件30可輕易地使用監測系統10,而無須前往物件30所屬的家醫科診所。
另外,由於支撐架22可在水平滑軌26上移動,以及水平滑軌26可在支柱28上由上而下或由下而上移動,所以本發明可應用於農場(例如果園或菜園)。也就是說當如第13圖所述的監測系統應用於果園時,農夫不必親自巡視該果園即可根據如第13圖所述的監測系統所產生的對應該果園內水果的監測信息(例如該果園內水果的尺寸或該果園內水果的外觀),決定是否對該果園內水果施肥(例如該果園內水果的尺寸小於儲存模組18所儲存的對應該果園內水果的參考參數)或是除蟲(例如該果園內水果的外觀顯示該果園內水果被蟲蛀)。
請參照第1、2、8-13圖和第15圖,第15圖是本發明的一第六實施例說明一種監測系統的操作方法的流程圖。第15圖的方法是利用第1圖的監測系統10和第8圖的立體相機模組42說明,詳細步驟如下:步驟1500:開始;步驟1502:光源720發射預定光圖案722至物件30;步驟1504:立體相機模組42的第一影像感測單元102擷取包含物件30的第一影像L1,以及立體相機模組42的第二影像感測單元104擷取包含物件30的第二影像R1;步驟1506:立體相機模組42的深度圖產生單元110根據第一影像L1和第二影像R1,產生對應物件30的深度圖DP1;步驟1508:控制模組16根據立體相機模組42所擷取的包含物件30的第一影像L1和第二影像R1,決定對應物件30的複數個特徵點FP1-FP20;步驟1510:控制模組16根據深度圖DP1,決定複數個特徵點FP1-FP20之間的相對座標;步驟1512:在複數個特徵點FP1-FP20產生後,控制模組16追蹤複數
個特徵點FP1-FP20;步驟1514:控制模組16根據複數個特徵點FP1-FP20之間的相對座標,產生對應物件30的外部信息;步驟1516:控制模組16根據對應物件30的外部信息和對應物件30的參考參數,產生對應物件30的監測信息MI;步驟1518:顯示模組20顯示監測信息MI;步驟1520:結束。
如第8圖所示,第15圖的實施例和第14圖的實施例的差別在於在步驟1502中,當立體相機模組42另包含的光源720發射預定光圖案722(例如直條紋圖案)至物件30時,第一影像感測單元102擷取包含物件30的第一影像L1,以及第二影像感測單元104擷取包含物件30的第二影像R1。但本發明並不受限於預定光圖案722是直條紋圖案。如第9圖所示,光源720的發射夾角EA是由光源720與物件30決定的直線TL1和參考座標軸RCA所決定,且當立體相機模組42的第一影像感測單元102和物件30間具有對應距離D1時(在第9圖中,立體相機模組42內未繪出第二影像感測單元104),物件30表面上的預定光圖案724的尺寸與預定光圖案722的尺寸可決定比例RA,其中比例RA是和對應距離D1與發射夾角EA有關。
如第10圖所示,當立體相機模組42的第一影像感測單元102和物件30間具有相同的對應距離(例如對應距離D1)時,物件30表面上的預定光圖案(例如預定光圖案726、728、730)的尺寸與預定光圖案722的尺寸所決定的一比例是隨光源720所具有的發射夾角(例如發射夾角EA1、EA2、EA3)改變。如第11圖所示,當光源720具有相同的發射夾角(例如發射夾角EA)時,物件30表面上的預定光圖案(例如預定光圖案732、734、736)的尺寸與預定光圖案722的尺寸所決定的一比
例是隨立體相機模組42的第一影像感測單元102和物件30間的對應距離(例如對應距離D2、D3、D4)改變。
綜上所述,本發明所提供的監測系統及其操作方法是利用至少一立體相機模組的每一立體相機模組擷取包含物件的複數個影像,以及根據複數個影像產生對應物件的深度圖,利用控制模組根據包含物件的複數個影像或對應物件的深度圖,決定對應物件的複數個特徵點,利用控制模組根據對應物件的深度圖決定對應物件的複數個特徵點之間的相對座標,利用控制模組根據對應物件的複數個特徵點之間的相對座標產生對應物件的外部信息,以及利用控制模組根據對應物件的外部信息和對應物件的參考參數,產生對應物件的監測信息。因為本發明所提供的監測系統不需昂貴精密的感測器,所以本發明具有較低成本和方便使用等優點。因此,相較於現有技術,本發明更適合一般的居家照護和農場經營。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
10‧‧‧監測系統
12、14‧‧‧立體相機模組
16‧‧‧控制模組
18‧‧‧儲存模組
20‧‧‧顯示模組
22‧‧‧支撐架
24‧‧‧垂直滑軌
30‧‧‧物件
2202、2204‧‧‧插槽
2206、2208‧‧‧移動裝置
DP1‧‧‧深度圖
MI‧‧‧監測信息
Claims (20)
- 一種監測系統,包含:至少一立體相機模組,其中該至少一立體相機模組的每一立體相機模組是用以擷取包含一物件的複數個影像,以及根據該複數個影像,產生對應該物件的深度圖;及一控制模組,用以根據該複數個影像或該深度圖,決定對應該物件的複數個特徵點,該控制模組進一步決定該複數個特徵點之間的相對座標與對應該物件的外部信息,並根據對應該物件的外部信息和對應該物件的一參考參數之間的差異,產生對應該物件的一監測信息。
- 如請求項1所述的監測系統,其中該每一立體相機模組包含:一第一影像感測單元,用以擷取包含該物件的複數個影像中的第一影像;一第二影像感測單元,用以擷取包含該物件的複數個影像中的第二影像,其中該第一影像對應該第二影像;及一深度圖產生單元,耦接於該第一影像感測單元與該第二影像感測單元,用以根據該第一影像和該第二影像,產生對應該物件的深度圖。
- 如請求項2所述的監測系統,其中該每一立體相機模組另包含:一濾波單元,耦接於該第一影像感測單元、該第二影像感測單元和該深度圖產生單元之間,用以轉換該第一影像與該第二影像為單色影像。
- 如請求項2所述的監測系統,其中該每一立體相機模組另包含:一同步單元,耦接於該第一影像感測單元、該第二影像感測單元和該深度圖產生單元之間,用以輸出一第一同步信號至該第一影像和一對應的 第二同步信號至該第二影像。
- 如請求項4所述的監測系統,其中該第一同步信號是對應該第一影像所包含的複數個影像區塊中的一影像區塊,以及該對應的第二同步信號是對應該第二影像所包含的複數個影像區塊中的一對應的影像區塊。
- 如請求項2所述的監測系統,其中該每一立體相機模組另包含:一暫存器,用以儲存該第一影像對應該第一影像感測單元的每一掃描線的影像區塊和該第二影像中一相對應影像區塊,其中當該暫存器儲存完畢該第一影像對應該第一影像感測單元的每一掃描線的影像區塊和該第二影像中該相對應影像區塊時,該暫存器才會輸出該第一影像和該第二影像。
- 如請求項2所述的監測系統,其中該每一立體相機模組另包含:一校正單元,耦接於該第一影像感測單元和該第二影像感測單元,其中在該第一影像感測單元輸出該第一影像和該第二影像感測單元輸出該第二影像前,該校正單元對該第一影像和該第二影像執行一校正處理。
- 如請求項7所述的監測系統,其中該校正處理包含一色彩空間校正和一組裝校正的組合之一。
- 如請求項2所述的監測系統,其中該每一立體相機模組另包含:一記憶體,耦接於該第一影像感測單元、該第二影像感測單元和該深度圖產生單元,用以儲存該第一影像、該第二影像和該深度圖。
- 如請求項2所述的監測系統,其中該每一立體相機模組另包含:一光源,用以發射一預定光圖案至該物件,其中當該第一影像感測單元和該物件間具有一對應距離時,該物件表面上的預定光圖案的尺寸與該光源發射的預定光圖案的尺寸決定一比例,其中該光源具有一發射夾角。
- 如請求項1所述的監測系統,其中該每一立體相機模組是通過一行動產業處理器介面(mobile-industry-processor-interface,MIPI)或一通用序列匯流排(universal serial bus,USB)傳送該深度圖至該控制模組。
- 如請求項1所述的監測系統,其中該每一立體相機模組是通過一無線保真(Wireless Fidelity,WiFi)、一無線區域網路(wireless LAN,WLAN)、一紫蜂短距無線傳輸標準(IEEE 802.15.4,Zigbee)、一藍芽(Bluetooth)、一無線廣域網(Wireless Wide Area Network,WWAN)、一通用封包無線服務技術(General Packet Radio Service,GPRS)、一第三代行動通訊技術(third generation,3G)、一第四代行動通訊技術(fourth generation,4G)、一第五代行動通訊技術(fifth generation,5G)或一行動者網路理論+(actor network theory+,Ant+)技術的無線通訊介面傳送該深度圖至該控制模組。
- 如請求項1所述的監測系統,另包含:一儲存模組,耦接於該控制模組,用以儲存該參考參數;及一顯示模組,耦接於該控制模組,用以顯示該監測信息,其中該控制模組根據該深度圖決定該複數個特徵點之間的相對座標,並根據該複數個 特徵點之間的相對座標產生對應該物件的外部信息,以及根據對應該物件的外部信息和該參考參數之間的差異,產生對應該物件的監測信息。
- 如請求項1所述的監測系統,另包含:一支撐架,具有至少一插槽,其中該至少一插槽的每一插槽是用以安裝該至少一立體相機模組中的一立體相機模組;及一滑軌,用以讓該支撐架由上而下或由下而上平滑地移動。
- 如請求項14所述的監測系統,其中該每一插槽是通過一相對應的移動裝置耦接於該支撐架,並通過該相對應的移動裝置移動,且該每一插槽是一通用序列匯流排插槽。
- 如請求項1所述的監測系統,其中當該物件是一人時,對應該物件的外部信息包括該人的胸圍、腰圍、臀圍、肩寬、手的長度、腿的長度、頭的尺寸、走路姿勢以及脊椎彎曲角度的至少一個。
- 如請求項1所述的監測系統,其中當該物件是一農作物時,對應該物件的外部信息包括該農作物的尺寸以及該農作物的外觀的至少一個。
- 一種監測系統的操作方法,其中該監測系統包含至少一立體相機模組、一控制模組、一儲存模組和一顯示模組,且該至少一立體相機模組的每一立體相機模組包含一第一影像感測單元、一第二影像感測單元和一深度圖產生單元,該操作方法包含: 該至少一立體相機模組的每一立體相機模組擷取包含一物件的複數個影像,以及根據該複數個影像,產生對應該物件的深度圖;該控制模組根據該複數個影像或該深度圖,決定對應該物件的複數個特徵點;該控制模組決定該複數個特徵點之間的相對座標與對應該物件的外部信息;及該控制模組根據對應該物件的外部信息和對應該物件的一參考參數之間的差異,產生對應該物件的一監測信息。
- 如請求項18所述的操作方法,其中該控制模組根據該深度圖決定該複數個特徵點之間的相對座標,並根據該複數個特徵點之間的相對座標產生對應該物件的外部信息,以及該控制模組根據對應該物件的外部信息和該參考參數,產生對應該物件的監測信息,其中該參考參數是儲存在該儲存模組,且該顯示模組顯示該監測信息。
- 如請求項18所述的操作方法,其中當該物件是一人時,對應該物件的外部信息包括該人的胸圍、腰圍、臀圍、肩寬、手的長度、腿的長度、頭的尺寸、走路姿勢以及脊椎彎曲角度的至少一個。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562169569P | 2015-06-02 | 2015-06-02 | |
US62/169,569 | 2015-06-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201643775A TW201643775A (zh) | 2016-12-16 |
TWI610250B true TWI610250B (zh) | 2018-01-01 |
Family
ID=57451651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105108782A TWI610250B (zh) | 2015-06-02 | 2016-03-22 | 監測系統及其操作方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10382744B2 (zh) |
CN (1) | CN106231240B (zh) |
TW (1) | TWI610250B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105871477A (zh) * | 2015-12-11 | 2016-08-17 | 乐视移动智能信息技术(北京)有限公司 | 抗照相机mipi总线高次谐波干扰的方法、装置及移动终端 |
CN105871478A (zh) * | 2015-12-11 | 2016-08-17 | 乐视移动智能信息技术(北京)有限公司 | 抗显示屏mipi总线高次谐波干扰的方法、装置及移动终端 |
CN106667496B (zh) * | 2017-02-10 | 2020-05-05 | 广州帕克西软件开发有限公司 | 一种面部数据测量方法及装置 |
US10863057B2 (en) | 2017-08-30 | 2020-12-08 | Samsung Electronics Co., Ltd. | Synchronizing image captures in multiple sensor devices |
TWI622960B (zh) * | 2017-11-10 | 2018-05-01 | 財團法人工業技術研究院 | 深度影像擷取裝置的校正方法 |
CN108055431B (zh) * | 2017-12-13 | 2020-09-08 | 阜阳佰恩得新材料技术有限公司 | 实时野外图像采集系统 |
US11582402B2 (en) * | 2018-06-07 | 2023-02-14 | Eys3D Microelectronics, Co. | Image processing device |
TWI768242B (zh) * | 2019-09-18 | 2022-06-21 | 光旴科技股份有限公司 | 一種運動器材設備力道量測裝置 |
TWI820975B (zh) * | 2022-10-20 | 2023-11-01 | 晶睿通訊股份有限公司 | 設備安裝參數校正方法及其監控裝置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201414455A (zh) * | 2012-09-20 | 2014-04-16 | Sony Corp | 資訊處理裝置,資訊處理方法,程式,以及測量系統 |
CN103827891A (zh) * | 2011-07-28 | 2014-05-28 | Arb实验室公司 | 使用全球生成的多维姿势数据检测身体运动的系统和方法 |
CN104408396A (zh) * | 2014-08-28 | 2015-03-11 | 浙江工业大学 | 一种基于时间金字塔局部匹配窗口的动作识别方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7728845B2 (en) * | 1996-02-26 | 2010-06-01 | Rah Color Technologies Llc | Color calibration of color image rendering devices |
CN1133402C (zh) * | 1999-02-03 | 2004-01-07 | 中国人民解放军总后勤部军需装备研究所 | 一种人体尺寸测量方法 |
US8669938B2 (en) * | 2007-11-20 | 2014-03-11 | Naturalpoint, Inc. | Approach for offset motion-based control of a computer |
CN101494714B (zh) * | 2008-01-24 | 2011-06-08 | 华晶科技股份有限公司 | 图像处理系统及方法 |
CN101276138B (zh) * | 2008-04-30 | 2010-11-24 | 北京工业大学 | 一种基线长度自动调节的双目立体摄像机 |
US8521331B2 (en) * | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
TW201227602A (en) * | 2010-12-22 | 2012-07-01 | Service & Quality Technology Co Ltd | Method and computer-readable medium for calculating depth of image |
JP5214826B2 (ja) * | 2010-12-24 | 2013-06-19 | 富士フイルム株式会社 | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 |
JPWO2012132424A1 (ja) * | 2011-03-31 | 2014-07-24 | パナソニック株式会社 | 立体視映像の奥行きを変更することができる映像処理装置、システム、映像処理方法、映像処理プログラム |
CN102760234B (zh) * | 2011-04-14 | 2014-08-20 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
TWI470995B (zh) * | 2011-05-02 | 2015-01-21 | Mstar Semiconductor Inc | 應用於三維顯示器的方法與相關裝置 |
US9582707B2 (en) * | 2011-05-17 | 2017-02-28 | Qualcomm Incorporated | Head pose estimation using RGBD camera |
US20120314031A1 (en) * | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
CN102866573A (zh) * | 2011-07-07 | 2013-01-09 | 登尼克股份有限公司 | 三维成像系统及方法 |
JP5762211B2 (ja) * | 2011-08-11 | 2015-08-12 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
US20130057655A1 (en) * | 2011-09-02 | 2013-03-07 | Wen-Yueh Su | Image processing system and automatic focusing method |
US20130095920A1 (en) * | 2011-10-13 | 2013-04-18 | Microsoft Corporation | Generating free viewpoint video using stereo imaging |
US9423827B2 (en) * | 2011-12-01 | 2016-08-23 | Seebright Inc. | Head mounted display for viewing three dimensional images |
CN202801617U (zh) * | 2012-08-09 | 2013-03-20 | 联想(北京)有限公司 | 姿态检测装置及电子设备 |
JP6267961B2 (ja) * | 2012-08-10 | 2018-01-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 映像提供方法および送信装置 |
CN103054584A (zh) * | 2013-01-21 | 2013-04-24 | 福州合亿医疗设备有限公司 | 一种骨架姿态偏移测量方法及装置 |
JPWO2014171134A1 (ja) * | 2013-04-18 | 2017-02-16 | パナソニックIpマネジメント株式会社 | 投写型映像表示装置 |
US9451162B2 (en) * | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
CN104427324A (zh) * | 2013-09-02 | 2015-03-18 | 联咏科技股份有限公司 | 视差计算方法及其立体匹配装置 |
US8761457B1 (en) * | 2013-11-27 | 2014-06-24 | Google Inc. | Aligning ground based images and aerial imagery |
RU2014113049A (ru) * | 2014-04-03 | 2015-10-10 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов |
TWI554103B (zh) * | 2014-11-13 | 2016-10-11 | 聚晶半導體股份有限公司 | 影像擷取裝置及其數位變焦方法 |
CN204351832U (zh) * | 2014-12-19 | 2015-05-27 | 深圳市云之梦科技有限公司 | 一种人体三维数据采集设备 |
-
2016
- 2016-03-22 TW TW105108782A patent/TWI610250B/zh active
- 2016-04-26 CN CN201610264868.1A patent/CN106231240B/zh active Active
- 2016-06-02 US US15/170,951 patent/US10382744B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103827891A (zh) * | 2011-07-28 | 2014-05-28 | Arb实验室公司 | 使用全球生成的多维姿势数据检测身体运动的系统和方法 |
TW201414455A (zh) * | 2012-09-20 | 2014-04-16 | Sony Corp | 資訊處理裝置,資訊處理方法,程式,以及測量系統 |
CN104408396A (zh) * | 2014-08-28 | 2015-03-11 | 浙江工业大学 | 一种基于时间金字塔局部匹配窗口的动作识别方法 |
Also Published As
Publication number | Publication date |
---|---|
US10382744B2 (en) | 2019-08-13 |
US20160360183A1 (en) | 2016-12-08 |
CN106231240B (zh) | 2020-03-10 |
CN106231240A (zh) | 2016-12-14 |
TW201643775A (zh) | 2016-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI610250B (zh) | 監測系統及其操作方法 | |
CN111060024B (zh) | 旋转中心轴与图像采集装置相交的3d测量及获取装置 | |
US9456202B2 (en) | Attachable three-dimensional scan module | |
CN100369487C (zh) | 物体检测装置、物体检测服务器以及物体检测方法 | |
CN106383596B (zh) | 基于空间定位的虚拟现实防晕眩系统及方法 | |
US20190373183A1 (en) | In-time registration of temporally separated images acquired with image acquisition system having three dimensional sensor | |
US11335456B2 (en) | Sensing device for medical facilities | |
CN207115193U (zh) | 一种用于处理任务区域的任务的移动电子设备 | |
CN204863476U (zh) | 骨科手术定位系统 | |
CN111336948B (zh) | 基于成像平面转换的非标定手持式廓形检测方法及装置 | |
CN106538064B (zh) | 照明系统 | |
JP2006086591A (ja) | 移動体追跡システム、撮影装置及び撮影方法 | |
Zalud et al. | Fusion of thermal imaging and CCD camera-based data for stereovision visual telepresence | |
WO2024199547A1 (zh) | 一种被动式人体检测方法、装置、设备及介质 | |
JP2014126906A (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
CN210719062U (zh) | 一种基于无线同步的跟踪装置及扫描系统 | |
KR20160047702A (ko) | 3차원 자세측정시스템 및 이를 이용한 자세측정방법 | |
WO2019105009A1 (en) | Method and system for synchronized scanning of space | |
CN206601680U (zh) | 基于空间定位的虚拟现实防晕眩系统 | |
CN109587628A (zh) | 一种室内实时定位方法和装置 | |
WO2022228461A1 (zh) | 一种基于激光雷达的三维超声成像方法和系统 | |
CN108459598B (zh) | 一种用于处理任务区域的任务的移动电子设备以及方法 | |
Plata et al. | A Recognition Method for Cassava Phytoplasma Disease (CPD) Real-Time Detection based on Transfer Learning Neural Networks | |
CN109547681A (zh) | 适用于多种环境的无线图像采集系统 | |
CN206164681U (zh) | 基于WiFi无线传输的CMOS传感器图像采集系统 |