TWI751447B - Image capturing device and method of lossless data compression and method of lossless data decompression in image streaming - Google Patents
Image capturing device and method of lossless data compression and method of lossless data decompression in image streaming Download PDFInfo
- Publication number
- TWI751447B TWI751447B TW108140173A TW108140173A TWI751447B TW I751447 B TWI751447 B TW I751447B TW 108140173 A TW108140173 A TW 108140173A TW 108140173 A TW108140173 A TW 108140173A TW I751447 B TWI751447 B TW I751447B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- array
- pixel
- thermal
- pixel plane
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Abstract
Description
本發明係有關於資料傳輸,特別是有關於影像擷取裝置、及用於影像串流之無損資料壓縮方法及無損資料解壓縮方法。The present invention relates to data transmission, particularly to an image capture device, and a lossless data compression method and a lossless data decompression method for video streaming.
隨著科技發展,利用電子裝置進行影像串流亦愈來愈普遍。然而,傳統上,在實作影像串流方法時,會有隱藏資料或隱藏影像於每幀影像後傳輸的需求,然而現今實作方法大多為破壞性(destructive)或是有損(lossy)的方式以隱藏資料。意即,若播放隱藏有資料的影像時,因為原本的影像資料已被破壞且無法還原為原始影像,故使用者在觀賞此類的影像時容易察覺有影像瑕疵。With the development of technology, the use of electronic devices for video streaming has become more and more common. However, traditionally, when implementing an image streaming method, there is a need to hide data or hide an image for transmission after each frame of image. However, most of the current implementation methods are destructive or lossy. way to hide information. That is, if an image with hidden data is played, since the original image data has been destroyed and cannot be restored to the original image, the user is likely to perceive image defects when viewing such an image.
因此,需要一種影像擷取裝置、用於影像串流之無損資料壓縮方法及無損資料解壓縮方法以解決上述問題。Therefore, there is a need for an image capture device, a lossless data compression method for image streaming, and a lossless data decompression method to solve the above problems.
本發明係提供一種影像擷取裝置,包括:一影像感測器,用以對一場景擷取一第一影像;一熱影像感測器,用以同時對該場景擷取一熱影像;以及一運算單元,用以從該影像感測器接收該第一影像並從該熱影像感測器接收該熱影像,其中該運算單元係對該第一影像及該熱影像進行一無損資料壓縮處理以將該熱影像隱藏於該第一影像中之部分像素的最低位元以產生一第二影像。The present invention provides an image capture device, comprising: an image sensor for capturing a first image of a scene; a thermal image sensor for capturing a thermal image of the scene at the same time; and an operation unit for receiving the first image from the image sensor and the thermal image from the thermal image sensor, wherein the operation unit performs a lossless data compression process on the first image and the thermal image A second image is generated by hiding the thermal image in the lowest bit of some pixels in the first image.
本發明更提供一種用於影像串流之無損資料壓縮方法,用於一影像擷取裝置,該影像擷取裝置包括一影像感測器及一熱影像感測器,用以同時分別對一場景擷取一第一影像及一熱影像。該方法包括下列步驟:從該影像感測器接收該第一影像並從該熱影像感測器接收該熱影像;以及對該第一影像及該熱影像進行一無損資料壓縮處理以將該熱影像隱藏於該第一影像中之部分像素的最低位元以產生一第二影像。The present invention further provides a lossless data compression method for image streaming, which is used in an image capture device, and the image capture device includes an image sensor and a thermal image sensor, which are used to simultaneously monitor a scene respectively. A first image and a thermal image are captured. The method includes the steps of: receiving the first image from the image sensor and receiving the thermal image from the thermal image sensor; and performing a lossless data compression process on the first image and the thermal image to compress the thermal image The image is hidden in the lowest bit of some pixels in the first image to generate a second image.
本發明更提供一種用於影像串流之無損資料解壓縮方法,用於一電子裝置,其中該電子裝置係電性連接至一影像擷取裝置,且該影像擷取裝置包括一影像感測器及一熱影像感測器同時分別對一場景擷取一第一影像及一熱影像,該方法包括:利用該電子裝置從該影像擷取裝置接收一第二影像,其中該第二影像係對該第一影像及該熱影像進行一無損資料壓縮處理以將該熱影像隱藏於該第一影像中之部分像素的最低位元而得;利用該電子裝置從該第二影像之第一像素平面、第二像素平面、第三像素平面取出各像素的最低位元,並將所取出的各最低位元排列為一第一陣列;利用該電子裝置對該第一陣列執行一無損資料解壓縮處理以產生一第二陣列,並將該第二陣列分割為一第三陣列及一第四陣列;利用該電子裝置將該第四陣列中之各位元依序取代在該第二影像中之該第一像素平面、該第二像素平面及該第三像素平面之各像素的該最低位元以產生一第三影像,並將該第四陣列還原為該熱影像;以及利用該電子裝置合併該第三影像及該熱影像以產生輸出影像,並於該電子裝置之一顯示螢幕播放該輸出影像。The present invention further provides a lossless data decompression method for image streaming for an electronic device, wherein the electronic device is electrically connected to an image capture device, and the image capture device includes an image sensor and a thermal image sensor to simultaneously capture a first image and a thermal image of a scene, the method includes: using the electronic device to receive a second image from the image capture device, wherein the second image is a pair of The first image and the thermal image are obtained by performing a lossless data compression process to hide the thermal image in the lowest bit of some pixels in the first image; using the electronic device from the first pixel plane of the second image , the second pixel plane and the third pixel plane take out the lowest bits of each pixel, and arrange the taken out lowest bits into a first array; use the electronic device to perform a lossless data decompression process on the first array to generate a second array, and divide the second array into a third array and a fourth array; use the electronic device to sequentially replace the bits in the fourth array with the first array in the second image The least significant bits of each pixel of a pixel plane, the second pixel plane and the third pixel plane to generate a third image, and restore the fourth array to the thermal image; and use the electronic device to combine the first The three images and the thermal image are used to generate an output image, and the output image is played on a display screen of the electronic device.
以下說明係為完成發明的較佳實現方式,其目的在於描述本發明的基本精神,但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。The following descriptions are preferred implementations for completing the invention, and are intended to describe the basic spirit of the invention, but are not intended to limit the invention. Reference must be made to the scope of the following claims for the actual inventive content.
必須了解的是,使用於本說明書中的"包含"、"包括"等詞,係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件,但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件,或以上的任意組合。It must be understood that words such as "comprising" and "including" used in this specification are used to indicate the existence of specific technical features, values, method steps, operation processes, elements and/or components, but do not exclude the possibility of Plus more technical features, values, method steps, job processes, elements, components, or any combination of the above.
於權利要求中使用如"第一"、"第二"、"第三"等詞係用來修飾權利要求中的元件,並非用來表示之間具有優先權順序,先行關係,或者是一個元件先於另一個元件,或者是執行方法步驟時的時間先後順序,僅用來區別具有相同名字的元件。The use of words such as "first", "second", "third", etc. in the claims is used to modify the elements in the claims, and is not used to indicate that there is a priority order, an antecedent relationship between them, or an element Prior to another element, or chronological order in which method steps are performed, is only used to distinguish elements with the same name.
第1圖為本發明一實施例中之影像擷取裝置的方塊圖。影像擷取裝置100例如可為一外接式照相機,其可電性連接至可攜式電子裝置(例如智慧型手機或平板電腦)或個人電腦,並所擷取的影像資料至可攜式電子裝置或個人電腦。舉例來說,如第1圖所示,影像擷取裝置100包括一影像感測器110、一熱影像感測器120、一運算單元130、一傳輸介面140。影像感測器110例如可為一彩色影像感測器,其可由互補式金屬氧化物半導體(complementary metal-oxide semiconductor,CMOS)感測器或電荷耦合裝置(charge-coupled device,CCD)感測器所實現,但本發明並不限於此。熱影像感測器120例如可用主動式或被動式的紅外線感測器、或是可由其他類型的熱影像感測器所實現。在一些實施例中,影像感測器110及熱影像感測器120係具有相同的視野(field of view,FOV),但影像感測器110之影像解析度係遠大於熱影像感測器120之解析度。FIG. 1 is a block diagram of an image capturing apparatus according to an embodiment of the present invention. The image capturing
舉例來說,影像感測器110所擷取的彩色影像之解析度例如可至少為640x480或以上的解析度。熱影像通常用於表示在影像中之物體及其輪廓的熱幅射程度,故不需要太高的影像解析度。熱影像感測器120所擷取的熱影像之解析度例如可為32x32或64x64等等,但本發明並不限於此。在一些實施例中,影像感測器110所輸出至運算單元130的影像格式例如可為RGB888或是YUYV的格式,其中每個像素中之R、G、B或是Y、U、V子像素例如可用8位元之數值表示。熱影像感測器120所擷取的熱影像例如可用灰階影像表示,且熱影像中之各像素例如可用13位元的數值(例如可為有號數或無號數)表示。For example, the resolution of the color image captured by the
運算單元130例如可為一處理器、一微處理器(microprocessor)、一數位信號處理器(digital signal processor,DSP)、或一影像信號處理器(image signal processor,ISP),但本發明並不限於此。傳輸介面140例如可為一通用序列匯流排(Universal Serial Bus,USB)介面,例如可支援USB 1.2或以上之標準。此外,傳輸介面140可包括一USB接頭141,例如可為Micro USB接頭或是USB-C接頭,其中傳輸介面140可透過上述USB接頭或是透過與USB接頭連接之USB資料線與可攜式電子裝置或個人電腦進行連接。因此,運算單元130可透過USB協定以跟與影像擷取裝置100相連接的可攜式電子裝置或個人電腦進行資料傳輸或影像串流(image streaming)。The
運算單元130係用以接收來自影像感測器110之彩色影像及來自熱影像感測器120的熱影像,並將所接收的熱影像以無損壓縮(lossless compression)的方式隱藏(hide)至彩色影像的資料中,並將整合後所產生的彩色影像透過傳輸介面140傳送至一可攜式電子裝置或個人電腦以進行後續處理。舉例來說,運算單元130係可由影像擷取裝置100中之非揮發性記憶體(例如唯讀記憶體)讀取一影像資料壓縮程式之程式碼並執行以將熱影像隱藏於彩色影像中。The
詳細而言,若來自影像感測器110之彩色影像是以YUYV的陣列方式呈現,表示上述彩色影像是使用YUV422 8-bit的格式。若彩色影像的解析度為640x480,則Y像素平面的解析度同樣為640x480,且U像素平面及V像素平面的解析度則為320x480。因此,在上述彩色影像中之總資料量為為640x480*2=614400位元組(bytes)。若來自熱影像感測器120的熱影像之解析度為32x32,且每個像素均為13位元的數值,則熱影像的總資料量為32x32x13=13312位元(bits)。Specifically, if the color image from the
在一實施例中,運算單元130係接收影像感測器110所擷取的第一影像,並分別將原本在第一影像中之第一Y像素平面、第一U像素平面及第一V像素平面中的各Y、U、V像素值的最低位元(least-significant bit,LSB)取出,並將所取出的LSB以循序掃瞄(raster scan)的順序排列成第一一維陣列,故上述一維陣列的長度則為614400位元。若將熱影像之各像素的資料以循序掃瞄的順序排列為第二一維陣列,並附加(append)在上述第一陣列的後方、前方、或指定的位置以產生第三一維陣列。因此,第三一維陣列的總資料量為614400+13312=627712位元。In one embodiment, the
接著,運算單元130係利用一無損資料壓縮演算法對第三一維陣列進行資料壓縮,且壓縮後的所得到的第四一維陣列的目標資料量為614400位元。因為壓縮後的第四一維陣列之目標資料量約為第三一維陣列的總資料量的97.8%,故資料壓縮率約為2.2%。上述無損資料壓縮演算法例如可為本發明技術領域中之習知演算法,例如gzip、bzip2、lzma、lzma-e、xz、xz-e、lz4、lzop等等,但本發明並不限於此。上述列示的習知演算法在不同的資料壓縮條件下之無損資料壓縮的比例(%)如表1所示:
當得到第四一維陣列後,運算單元130係將第四一維陣列依序填回(或取代)第一Y像素平面、第一U像素平面及第一V像素平面中之各像素的最低位元,以得到第二Y像素平面、第二U像素平面及第二V像素平面,且第二Y像素平面、第二U像素平面及第二V像素平面係組成第二影像。換言之,第二Y像素平面、第二U像素平面及第二V像素平面中與第一Y像素平面、第一U像素平面及第一V像素平面中之相對應的各像素可能有部分像素會稍有不同。相較於原始由影像擷取裝置100所擷取的第一影像,第二影像係包含被修改過最低位元的部分像素,故不會對影像品質造成太大影響,若由可攜式電子裝置直接播放第二影像,使用者亦通常無法察覺有影像瑕疵。After the fourth one-dimensional array is obtained, the
當得到第二影像後,運算單元130即可透過傳輸介面140將第二影像以影像串流的形式將第二影像以YUYV的格式傳送至與影像擷取裝置100相連接的電子裝置以進行後續處理,例如是可攜式電子裝置或個人電腦。After obtaining the second image, the
第2A圖為依據本發明一實施例中之影像擷取裝置及電子裝置之連接狀態的示意圖。第2B圖為依據本發明一實施例中之電子裝置的方塊圖。請同時參考第2A圖及第2B圖。FIG. 2A is a schematic diagram of a connection state of an image capturing device and an electronic device according to an embodiment of the present invention. FIG. 2B is a block diagram of an electronic device according to an embodiment of the present invention. Please refer to both Figure 2A and Figure 2B.
如第2A圖所示,電子系統10包括影像擷取裝置100及電子裝置200,且影像擷取裝置100可透過傳輸介面的USB接頭(或是透過與USB接頭連接之USB資料線)與電子裝置200進行連接,其中電子裝置200例如為一可攜式電子裝置或個人電腦。因此,運算單元130可透過USB協定以跟連接至影像擷取裝置100的可攜式電子裝置或個人電腦進行資料傳輸或影像串流(image streaming)。As shown in FIG. 2A , the
如第2B圖所示,電子裝置200包括一處理器210、一記憶體單元220、一儲存裝置230、一傳輸介面240、及顯示螢幕250。處理器210例如可為一中央處理器(central processing unit,CPU)或一般用途處理器(general-purpose processor),但本發明並不限於此。記憶體單元220例如為一揮發性記憶體,例如是動態隨機存取記憶體(dynamic random access memory,DRAM)或靜態隨機存取記憶體(static random access memory,SRAM),但本發明並不限於此。As shown in FIG. 2B , the
儲存裝置230可為一非揮發性記憶體,例如是硬碟機(hard disk drive)、固態硬碟(solid-state disk,SSD)、快閃記憶體(flash memory)、唯讀記憶體(read-only memory,ROM)等等,但本發明並不限於此。儲存裝置230係儲存一影像資料壓縮程式231及一作業系統232,其中影像資料壓縮程式231係可將電子裝置200所接收來自影像擷取裝置100已包含隱藏的熱影像之彩色影像進行相應的無損資料解壓縮處理以分別取得影像擷取裝置100原本的彩色影像及熱影像,並且可在顯示螢幕250上呈現彩色影像、熱影像、或是將彩色影像及熱影像合併後所得到的輸出影像。作業系統232例如可為Android作業系統、iOS作業系統、Linux系統或Windows作業系統等等,但本發明並不限於此。處理器210係將影像資料壓縮程式231及作業系統232從儲存裝置230讀取至記憶體單元220並執行。The
傳輸介面240例如可為一通用序列匯流排(Universal Serial Bus,USB)介面,例如可支援USB 1.2或以上之標準。此外,傳輸介面240例如可為Micro USB母插座或是USB-C母插座,其中傳輸介面240可透過上述USB插座或是透過與USB插座連接之USB資料線與影像擷取裝置100進行連接。因此,處理器210可透過USB協定從影像擷取裝置100接收影像串流(image streaming)的彩色影像,其中上述彩色影像已包含隱藏的熱影像。The
舉例來說,影像資料壓縮程式231例如可辨識影像擷取裝置100是否為相對應的影像擷取裝置的型號或產品辨識符。若例如影像資料壓縮程式231辨識出影像擷取裝置100的型號或產品辨識符係屬於預先設定的型號或產品辨識符,表示影像擷取裝置100可用預定的無損影像資料壓縮處理將熱影像隱藏至彩色影像中。因此,影像資料壓縮程式231可利用預定的無損影像資料解壓縮處理將熱影像從上述彩色影像取出。其中,上述無損影像資料解壓縮處理之流程與上述無損影像資料壓縮處理之流程是相反的。For example, the image
若影像擷取裝置100及電子裝置200並未互相搭配,例如影像擷取裝置100及電子裝置200其中之一者未執行無損影像資料壓縮程式,則電子裝置200之處理器210並無法發現從影像擷取裝置100接收的彩色影像係隱藏有熱影像,且只會認為所接收的彩色影像為一般的彩色影像且會將上述彩色影像於顯示螢幕上正常播放。If the
舉例來說,若影像擷取裝置100所擷取的彩色影像為第一影像,且將熱影像經過無損影像資料壓縮處理後以隱藏於第一影像後會得到第二影像。在無損影像資料解壓縮處理中,處理器210是先由所接收的第二影像之第一像素平面(例如為Y像素平面)、第二像素平面(例如為U像素平面)、及第三像素平面(例如為V像素平面)中之各像素取出其最低位元,並將所取出的各最低位元組成一維陣列,其中上述一維陣列即為無損影像資料壓縮處理之流程中所得到的第三一維陣列,且資料量為614400位元。因此,處理器210對第三一維陣列進行無損資料解壓縮處理即可得到未壓縮前的一維陣列,例如為第四一維陣列,包括原本的最低位元第一一維陣列加上熱影像之像素資料陣列,且第四一維陣列的總資料量即為614400+13312=627712位元。For example, if the color image captured by the
因此,處理器210可分割第四陣列為第五陣列及第六陣列,其中第五陣列例如為在第一影像中之各像素平面的各像素所取出的最低位元陣列,第六陣列例如為熱影像像素陣列。舉例來說,處理器210取出在第四一維陣列中關於熱影像之13312位元的區段以得到第六陣列,例如可在第四一維陣列中之前段、後段或中間,端看在無損資料解壓縮處理所使用的方式而定。Therefore, the
接著,處理器210係將第五陣列中之各數值依序取代在第二影像中之第一像素平面、第二像素平面、及第三像素平面之各像素的最低位元以產生第三影像,並將第六陣列還原為熱影像。其中,第三影像與第一影像相同,意即第一影像經過無損資料壓縮處理加入熱影像後,又將所得到的第二影像再經過無損資料解壓縮處理後可得到原本的第一影像及熱影像。Next, the
第3A圖為依據本發明一實施例中之彩色影像的示意圖。第3B圖為依據本發明一實施例中之熱影像的示意圖。第3C圖為依據本發明一實施例中之彩色影像疊合熱影像的示意圖。FIG. 3A is a schematic diagram of a color image according to an embodiment of the present invention. FIG. 3B is a schematic diagram of a thermal image according to an embodiment of the present invention. FIG. 3C is a schematic diagram of a thermal image superimposed on a color image according to an embodiment of the present invention.
請同時參考第2A~2B圖及第3A~3C圖。在一實施例中,影像擷取裝置100例如可對置於桌上且裝有熱水的茶杯進行拍照。當電子裝置200經由第2A~2B圖實施例之無損資料解壓縮處理的流程後可得到第三影像及熱影像,其中第三影像即為影像擷取裝置100原本所擷取的彩色影像,如第3A圖所示。此外,上述熱影像即為影像擷取裝置100原本所擷取的熱影像,如第3B圖所示。在第3B圖之熱影像中,紅色像素係表示溫度較高的部分、黃色像素表示溫度中等的部分,且綠色像素表示溫度較低的部分。Please also refer to Figures 2A-2B and Figures 3A-3C. In one embodiment, the
在一些實施例中,電子裝置200可依據使用者之需求而選擇是否將第3A圖中之第三影像及第3B圖中之熱影像合併以產生輸出影像,例如第3C圖所示。舉例來說,在第3A圖~第3C圖中之左下方的按鈕是用於開啟/關閉顯示第三影像之功能,右下方的按鈕是用於開啟/關閉顯示熱影像之功能。在第3A圖中,左下方的按鈕為開啟且右下方的按鈕為關閉,故電子裝置200係在顯示螢幕250上播放第三影像。在第3B圖中,左下方的按鈕為關閉且右下方的按鈕為開啟,故電子裝置200係在顯示螢幕250上播放熱影像。在第3C圖中,左下方的按鈕及右下方的按鈕均為開啟,故電子裝置200係在顯示螢幕250上播放輸出影像。In some embodiments, the
第4A圖為依據本發明一實施例中之無損影像資料壓縮方法的流程圖。請同時參考第2A~2B圖及第4A圖。FIG. 4A is a flowchart of a lossless image data compression method according to an embodiment of the present invention. Please also refer to Figures 2A-2B and Figure 4A.
在步驟S410,影像擷取裝置100啟動影像資料壓縮程式。其中,影像擷取裝置100之運算單元130例如可讀取儲存於一非揮發性記憶體中的影像資料壓縮程式並執行。In step S410, the
在步驟S412,運算單元130從影像感測器110接收第一影像並從熱影像感測器120接收熱影像。其中,第一影像例如可為YUV422之格式,熱影像例如可用灰階影像表示。In step S412 , the
在步驟S414,運算單元130從第一影像中之第一像素平面、第二像素平面、第三像素平面取出各像素的最低位元。其中,第一影像中之第一像素平面、第二像素平面、第三像素平面例如分別為Y像素平面、U像素平面及V像素平面。In step S414, the
在步驟S416,運算單元130將所取出的各最低位元排列為第一陣列。其中,上述第一陣列例如為一維陣列。In step S416, the
在步驟S418,運算單元130將熱影像之各像素資料附加於第一陣列以產生第二陣列。其中,熱影像之各像素資料附加於第一陣列的位置可以是第一陣列的前段、後段、或中間之指定位置。In step S418, the
在步驟S420,運算單元130對第二陣列進行無損資料壓縮處理以產生第三陣列。舉例來說,在第1圖之實施例,第一陣列的總資料量例如為614400位元,且第二陣列之總資料量例如為627712位元。此外,經過無損資料壓縮處理所產生的第三陣列的總資料量係與第一陣列的總資料量相同,且上述無損資料壓縮處理例如可使用本發明領域中之習知的無損資料壓縮演算法。In step S420, the
在步驟S422,運算單元130將第三陣列中之各像素依序取代在第一影像中之第一像素平面、第二像素平面、第三像素平面的各像素的最低位元以產生第二影像。舉例來說,第三陣列即為原本第一陣列及熱影像像素陣列經過無損壓縮後所產生的陣列,且第三陣列的總資料量與第一陣列相同,故運算單元130可將第三陣列中之各位元依序取代在第一影像中之第一像素平面、第二像素平面、第三像素平面中之各像素的最低位元。In step S422, the
在步驟S424,運算單元130將第二影像傳送至電子裝置200。舉例來說,運算單元130例如可透過傳輸介面140以USB協定的影像串流方式將第二影像傳送至電子裝置200。In step S424 , the
第4B圖為依據本發明一實施例中之無損影像資料解壓縮方法的流程圖。請同時參考第2A~2B圖及第4B圖。第4B圖之無損影像資料解壓縮方法的流程係與第4A圖中之無損影像資料壓縮方法的流程相反。FIG. 4B is a flowchart of a method for decompressing lossless image data according to an embodiment of the present invention. Please also refer to Figures 2A-2B and Figure 4B. The flow of the lossless image data decompression method in FIG. 4B is opposite to the flow of the lossless image data compression method in FIG. 4A.
在步驟S440,電子裝置200啟動影像資料壓縮程式231。In step S440, the
在步驟S442,電子裝置200從影像擷取裝置100接收第二影像。其中,電子裝置200及影像擷取裝置100需互相搭配,且均執行相對應的影像資料壓縮程式,才能進行第4A~4B圖中之資料壓縮及資料解壓縮的流程。若電子裝置200及影像擷取裝置100未互相搭配,則電子裝置200僅能執行一般的影像串流功能,並無法取得隱藏於第二影像中的熱影像。In step S442 , the
在步驟S444,電子裝置200從第二影像中之第一像素平面、第二像素平面、第三像素平面取出各像素的最低位元。In step S444, the
在步驟S446,電子裝置200將所取出的各最低位元排列為第三陣列。其中,此處的第三陣列與第4A圖中所述的第三陣列是相同的,意即為第二陣列(包括最低位元陣列及熱影像像素陣列)經過無損資料壓縮後所得到的陣列。In step S446, the
在步驟S448,電子裝置200對第三陣列執行無損資料解壓縮處理以產生第四陣列。In step S448, the
在步驟S450,電子裝置200將第四陣列分割為一第五陣列及一第六陣列。其中,第五陣列例如為在第一影像中之各像素平面的各像素所取出的最低位元陣列,第六陣列例如為熱影像像素陣列。In step S450, the
在步驟S452,電子裝置200將第五陣列中的各位元依序取代在第二影像中之第一像素平面、第二像素平面、第三像素平面之各像素的最低位元以產生第三影像,並將第六陣列還原為熱影像。其中,第三影像與第一影像相同。In step S452, the
在步驟S454,電子裝置200合併第三影像及熱影像以產生輸出影像。其中,上述合併第三影像及熱影像之操作例如可視使用者之需求而定,例如在第3A~3C圖中之左下方及右下方的按鈕可分別控制第三影像及熱影像之開啟及關閉,當左下方及右下方的按鈕均為開啟時,電子裝置200則合併第三影像及熱影像以產生輸出影像。In step S454, the
在步驟S456,電子裝置200在顯示螢幕250上播放輸出影像。因此,使用者可在顯示螢幕上觀看到在輸出影像中之物體的影像及物體之溫度分布。In step S456 , the
需注意的是,在本案第1~4圖之實施例中,在影像或陣列的名詞前所加上的"第一"、"第二"、"第三"等詞係用於區隔不同的影像或陣列,並非用於限定不同的影像或陣列的名稱。It should be noted that, in the embodiments of Figures 1 to 4 of this case, the words "first", "second", "third" added before the nouns of images or arrays are used to distinguish different images. images or arrays are not used to qualify the names of different images or arrays.
綜上所述,本發明係提供一種影像擷取裝置、及用於影像串流之無損資料壓縮方法及無損資料解壓縮方法,其可利用無損資料壓縮方法將影像擷取裝置所擷取的熱影像隱藏於所擷取的彩色影像中之部分像素的最低位元,除了可以隱藏熱影像的資訊不被外人所探知之外,還可以不破壞原本彩色影像的影像品質。就算隱藏有熱影像的彩色影像被非對應於影像擷取裝置之電子裝置所接收,上述電子裝置亦無法發現隱藏於彩色影像中的資訊,且亦可正常播放彩色影像。因此,本發明可利用用於影像串流之無損資料壓縮方法及無損資料解壓縮方法以達成保護熱影像資訊之目的。In summary, the present invention provides an image capture device, and a lossless data compression method and a lossless data decompression method for video streaming, which can utilize the lossless data compression method to compress the thermal data captured by the image capture device. The image is hidden in the lowest bit of some pixels in the captured color image, in addition to hiding the information of the thermal image from being detected by outsiders, it also does not damage the image quality of the original color image. Even if the color image with the thermal image hidden in it is received by an electronic device not corresponding to the image capture device, the electronic device cannot find the information hidden in the color image, and the color image can be played normally. Therefore, the present invention can utilize the lossless data compression method and the lossless data decompression method for image streaming to achieve the purpose of protecting thermal image information.
本發明雖以較佳實施例揭露如上,然其並非用以限定本發明的範圍,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可做些許的更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。Although the present invention is disclosed above with preferred embodiments, it is not intended to limit the scope of the present invention. Anyone with ordinary knowledge in the technical field can make some changes and modifications without departing from the spirit and scope of the present invention. Therefore, the scope of protection of the present invention should be determined by the scope of the appended patent application.
10:電子系統 100:影像擷取裝置 110:影像感測器 120:熱影像感測器 130:運算單元 140:傳輸介面 141:USB接頭 200:電子裝置 210:處理器 220:記憶體單元 230:儲存裝置 231:影像資料壓縮程式 232:作業系統 240:傳輸介面 250:顯示螢幕 S410~S424、S440~S456:步驟10: Electronic Systems 100: Image capture device 110: Image sensor 120: Thermal image sensor 130: Operation unit 140: Transmission interface 141:USB connector 200: Electronics 210: Processor 220: memory unit 230: Storage Device 231: Image Data Compressor 232: Operating System 240: Transmission interface 250: Display screen S410~S424, S440~S456: steps
第1圖為依據本發明一實施例之影像擷取裝置的方塊圖。 第2A圖為依據本發明一實施例中之影像擷取裝置及電子裝置之連接狀態的示意圖。 第2B圖為依據本發明一實施例中之電子裝置的方塊圖。 第3A圖為依據本發明一實施例中之彩色影像的示意圖。 第3B圖為依據本發明一實施例中之熱影像的示意圖。 第3C圖為依據本發明一實施例中之彩色影像疊合熱影像的示意圖。 第4A圖為依據本發明一實施例中之無損影像資料壓縮方法的流程圖。 第4B圖為依據本發明一實施例中之無損影像資料解壓縮方法的流程圖。FIG. 1 is a block diagram of an image capturing apparatus according to an embodiment of the present invention. FIG. 2A is a schematic diagram of a connection state of an image capturing device and an electronic device according to an embodiment of the present invention. FIG. 2B is a block diagram of an electronic device according to an embodiment of the present invention. FIG. 3A is a schematic diagram of a color image according to an embodiment of the present invention. FIG. 3B is a schematic diagram of a thermal image according to an embodiment of the present invention. FIG. 3C is a schematic diagram of a thermal image superimposed on a color image according to an embodiment of the present invention. FIG. 4A is a flowchart of a lossless image data compression method according to an embodiment of the present invention. FIG. 4B is a flowchart of a method for decompressing lossless image data according to an embodiment of the present invention.
100:影像擷取裝置100: Image capture device
110:影像感測器110: Image sensor
120:熱影像感測器120: Thermal image sensor
130:運算單元130: Operation unit
140:傳輸介面140: Transmission interface
141:USB接頭141:USB connector
Claims (8)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108140173A TWI751447B (en) | 2019-11-06 | 2019-11-06 | Image capturing device and method of lossless data compression and method of lossless data decompression in image streaming |
CN202011208872.9A CN112788312B (en) | 2019-11-06 | 2020-11-03 | Image acquisition device and lossless data compression and decompression method of image streaming |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108140173A TWI751447B (en) | 2019-11-06 | 2019-11-06 | Image capturing device and method of lossless data compression and method of lossless data decompression in image streaming |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202119806A TW202119806A (en) | 2021-05-16 |
TWI751447B true TWI751447B (en) | 2022-01-01 |
Family
ID=75750195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108140173A TWI751447B (en) | 2019-11-06 | 2019-11-06 | Image capturing device and method of lossless data compression and method of lossless data decompression in image streaming |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112788312B (en) |
TW (1) | TWI751447B (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201128573A (en) * | 2010-02-05 | 2011-08-16 | Chin-Chen Chang | Lossless data hiding for color images based on block truncation coding |
TW201928868A (en) * | 2017-12-12 | 2019-07-16 | 緯創資通股份有限公司 | Thermal image processing system and method |
TW201931309A (en) * | 2018-01-08 | 2019-08-01 | 國立高雄海洋科技大學 | A color image authentication method and computer program product based on palette compression technique |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2437486A1 (en) * | 2010-10-04 | 2012-04-04 | Flir Systems AB | IR Camera and Method for Processing Thermal Image Information |
CN102305664A (en) * | 2011-05-19 | 2012-01-04 | 中国农业大学 | Thermal imaging temperature measurement and fault location inspection system |
KR101283413B1 (en) * | 2013-01-04 | 2013-07-08 | (주)대우건설 | Real-time vision measurement monitoring system of structure three dimensions by using infrared light thermal image camera |
CN104217413A (en) * | 2014-09-11 | 2014-12-17 | 昆明云锗高新技术有限公司 | Method for superposing infrared light image upon visible light image |
CN111637971A (en) * | 2020-04-10 | 2020-09-08 | 临泽中云数据有限公司 | Infrared array thermal imaging human body temperature measurement system |
-
2019
- 2019-11-06 TW TW108140173A patent/TWI751447B/en active
-
2020
- 2020-11-03 CN CN202011208872.9A patent/CN112788312B/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201128573A (en) * | 2010-02-05 | 2011-08-16 | Chin-Chen Chang | Lossless data hiding for color images based on block truncation coding |
TW201928868A (en) * | 2017-12-12 | 2019-07-16 | 緯創資通股份有限公司 | Thermal image processing system and method |
TW201931309A (en) * | 2018-01-08 | 2019-08-01 | 國立高雄海洋科技大學 | A color image authentication method and computer program product based on palette compression technique |
Also Published As
Publication number | Publication date |
---|---|
CN112788312B (en) | 2022-12-16 |
CN112788312A (en) | 2021-05-11 |
TW202119806A (en) | 2021-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100321898B1 (en) | Dual mode digital camera for video and still operation | |
US6614483B1 (en) | Apparatus and method for compressing image data received from image sensor having bayer pattern | |
US8098959B2 (en) | Method and system for frame rotation within a JPEG compressed pipeline | |
US20080247653A1 (en) | Method and apparatus for parallelization of image compression encoders | |
US11800248B2 (en) | Apparatus for encoding image, apparatus for decoding image and image sensor | |
TW200913674A (en) | Video camera | |
US20130236161A1 (en) | Image processing device and image processing method | |
WO2001001675A2 (en) | Video camera with major functions implemented in host software | |
US20190246048A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JPWO2011148573A1 (en) | Imaging device | |
US20180197282A1 (en) | Method and device for producing a digital image | |
TWI751447B (en) | Image capturing device and method of lossless data compression and method of lossless data decompression in image streaming | |
JP6104990B2 (en) | Method for configuring video stream output from a digital video camera | |
TWI387325B (en) | Image capturing device and image pre-processing method thereof | |
WO2013083080A1 (en) | Color correction for multiple video objects in telepresence applications | |
KR101280443B1 (en) | apparatus of processing regional image and method thereof | |
US20020063899A1 (en) | Imaging device connected to processor-based system using high-bandwidth bus | |
US20100328514A1 (en) | Image processing device, imaging apparatus, and thumbnail image displaying method | |
TWI410953B (en) | Circuit and method for color space conversion | |
TW201143381A (en) | Digital camera with upload function | |
US20140079369A1 (en) | Video Recording Method for Mobile Terminal, and Related Apparatus and System | |
US20100123794A1 (en) | System and method for capturing and reproducing an image optimized for characteristics of a reproducing apparatus | |
TWI543598B (en) | Television system | |
US6865283B1 (en) | Communicating information from an imaging device to a processor-based system | |
JP2008219738A (en) | Imaging apparatus |