TW202032501A - 圖像處理裝置及圖像處理方法 - Google Patents

Abstract

本發明提供一種圖像處理裝置，其具備：區域檢測部，其基於對攝像圖像賦予之資料而檢測1個以上之該攝像圖像中之規定區域；及圖像處理部，其對上述區域檢測部檢測出之上述規定區域之圖像執行雜訊減低處理。

Description

圖像處理裝置及圖像處理方法

本揭示係關於一種圖像處理裝置及圖像處理方法。

作為圖像之雜訊減低處理(NR：Noise Reduction)，已知使用連續拍攝之複數張圖像之合成處理較為有效。具體而言，其係自連續拍攝之複數張圖像檢測同一被攝體之拍攝像素區域即對應像素，進行將該等複數個對應像素之像素值予以相加/平均等之合成處理，從而算出經減低雜訊之像素值。

此種應用連續拍攝圖像進行雜訊減低之方法由於是不僅使用1個圖像之二維區域，且亦加入不同拍攝時間之複數個圖像、即時間軸方向之三維(3Dimensions)資料之處理，故稱為3D雜訊減低處理，即3DNR(3Dimensional Noise Reduction)。對於3DNR，揭示於例如專利文獻1等中。 [先前技術文獻] [專利文獻]

[專利文獻1]日本專利特開2014-138294號公報

[發明所欲解決之問題]

但是，由於現有之3DNR未限定NR處理之對象，故運算量較多，且需要較多的記憶體。又，若包含動體之情形時，現有之3DNR會在與模糊之取捨下從而SN比降低。

因此，本揭示提案一種可藉由利用對圖像設定之區域而以較少的運算實現高精度且高畫質之雜訊減低處理之、新穎且經改良之圖像處理裝置及圖像處理方法。 [解決問題之技術手段]

根據本揭示，提供一種圖像處理裝置，其具備：區域檢測部，其基於對攝像圖像賦予之資料而檢測1個以上之該攝像圖像中之規定區域；及圖像處理部，其對上述區域檢測部檢測出之上述規定區域之圖像執行雜訊減低處理。

又，根據本揭示，提供一種圖像處理方法，其包含：基於對攝像圖像賦予之資料而檢測1個以上之該攝像圖像中之規定區域；及對檢測出之上述區域執行雜訊減低處理。

以下，一面參照隨附圖式，一面針對本揭示之較佳實施形態詳細說明。另，本說明書及圖式中，針對實質上具有同一功能構成之構成要素，藉由標註同一符號而省略重複說明。

另，說明係以如下順序進行。 1.本揭示之實施形態 1.1.原委 1.2.構成例 2.總結

＜1.本揭示之實施形態＞ [1.1.原委] 首先，在對本揭示之實施形態進行詳細說明之前，針對本揭示之實施形態之原委進行說明。

如上述，作為圖像之雜訊減低處理，已知使用連續拍攝之複數張圖像之合成處理較為有效。具體而言，其係自連續拍攝之複數張圖像檢測同一被攝體之拍攝像素區域即對應像素，進行將該等複數個對應像素之像素值相加/平均等之合成處理，從而算出經減低雜訊之像素值。

此種應用連續拍攝圖像進行雜訊減低之方法由於是不僅使用1個圖像之二維區域，且亦加入不同拍攝時間之複數個圖像、即時間軸方向之三維資料之處理，故稱為3D雜訊減低處理，即3DNR。

一般之3DNR係於時間軸方向加裝IIR(Infinite Impulse Response，無限脈衝響應)濾波器而以改善SN比為目標。有一種技術是，當圖像中存在動體時因會產生模糊，故自訊框間之差分絕對值檢測動體，降低動體部分之IIR濾波器之反饋比，從而抑制動體之模糊。圖14係顯示實現3DNR之攝像裝置之構成例之說明圖。圖14所示之攝像裝置1000構成為包含透鏡單元1010、IR截止濾波器1020、攝像元件1030、及IIR濾波器1040。IIR濾波器1040構成為包含差分絕對值計算部1042、訊框記憶體1044、乘算器1045、1046及加算器1048。

將通過透鏡1010聚光且由IR截止濾波器1020截止紅外光之光以攝像元件1030轉換成電性信號。自攝像元件1030輸出之電性信號通過IIR濾波器1040。IIR濾波器1040以加算器1048，將自攝像元件1030輸出之電性信號、與儲存於記憶體1044之、相當於在前一個訊框經處理之圖像的電性信號相加。IIR濾波器1040以加算器1048將2個信號相加時，以由乘算器1045、1046設定之規定比例進行加算。該比例係於差分絕對值計算部1042中決定。圖15係顯示差分絕對值與乘算器1045之係數K之關係之一例之說明圖。如圖15所示，以差分絕對值愈大則係數K愈小之方式進行設定。即，IIR濾波器1040以差分絕對值愈大則對應於當前訊框之圖像的電性信號之比例愈大之方式，將2個電性信號相加。

該方式中，即使僅於圖像中之一部分區域存在動體之情形時，亦需要以訊框記憶體1044記憶圖像之所有區域。即，需要增大訊框記憶體1044之容量。又，由於需要對圖像之所有區域計算差分絕對值，故導致運算量變多。又，由於存在動移劇烈之動體之情形時差分絕對值變大，故係數K變小，從而SN比降低。

因此，本案揭示者針對能夠以較少的運算實現高精度且高畫質之3DNR之技術進行積極研討。其結果，如下說明，本案揭示者研究出藉由限定對象區域而能夠以較少的運算實現高精度且高畫質之3DNR之技術。

以上，已針對本揭示之實施形態之原委進行說明。接著，針對本揭示之實施形態詳細說明。

[1.2.構成例] (1)可應用本實施形態之發送方法之通信系統之構成 首先，說明可應用本實施形態之發送方法之通信系統之構成之一例。

以下，舉例出構成本實施形態之通信系統之裝置間之通信方式為依照MIPI(Mobile Industry Processor Interface，行動產業處理器介面)CSI-2(Camera Serial Interface 2，相機串列介面2)規格之通信方式之情形。另，構成本實施形態之通信系統之裝置間之通信方式不限於依照MIPI CSI-2規格之通信方式。例如，構成本實施形態之通信系統之裝置間之通信亦可為依照MIPI CSI-3規格之通信方式，或依照MIPI DSI(Display Serial Interface，顯示器串列介面)之通信方式等於MIPI聯盟中策劃制定之其他規格。又，本實施形態之發送方法可適用之通信方式當然不限於MIPI聯盟策劃制定之規格之通信方式。

圖1係顯示本實施形態之通信系統1之構成之一例之說明圖。作為通信系統1，列舉例如智慧型手機等通信裝置、無人機(可利用遠程操作而動作，或可自主動作之機器)、汽車等移動體等。另，通信系統1之應用例不限於上述所示之例。針對通信系統1之其他應用例，於下文敘述。

通信系統1具有例如圖像感測器100、處理器200、記憶體300及顯示裝置400。

圖像感測器1具有攝像功能及發送功能，發送顯示藉由拍攝產生之圖像之資料。處理器200接收自圖像感測器100發送出之資料，對接收到之資料進行處理。即，於通信系統1中，圖像感測器100發揮發送裝置之作用，處理器200發揮接收裝置之作用。

另，圖1中顯示具有1個圖像感測器100之通信系統1，但本實施形態之通信系統所具有之圖像感測器100之數量不限於圖1所示之例。例如，本實施形態之通信系統亦可具有2個以上之圖像感測器100。

另，圖1中顯示具有1個處理器200之通信系統1，但本實施形態之通信系統所具有之處理器200之數量不限於圖1所示之例。例如，本實施形態之通信系統亦可具有2個以上處理器200。

具有複數個圖像感測器100及處理器200各者之通信系統中，可為圖像感測器100與處理器200一對一對應，亦可為複數個圖像感測器100與1個處理器200對應。又，具有複數個圖像感測器100及處理器200各者之通信系統中，亦可為複數個處理器200與1個圖像感測器100對應。

具有複數個圖像感測器100及處理器200之各者之通信系統中，亦與圖1所示之通信系統1同樣地，於圖像感測器100與處理器200之間進行通信。

圖像感測器100與處理器200藉由資料匯流排B1而電性連接。資料匯流排B1係連接圖像感測器100及處理器200之一個信號之傳輸路徑。例如，將顯示自圖像感測器100發送之圖像之資料(以下有時表示為「圖像資料」)自圖像感測器100經由資料匯流排B1傳輸至處理器200。

通信系統1中，將由資料匯流排B1傳輸之信號以依照例如MIPI CSI-2規格等規定之規格之通信方式予以傳輸。

圖2、圖3係顯示MIPI CSI-2規格中協定之封包格式之說明圖。圖2顯示MIPI CSI-2規格中協定之短封包(Short Packet)之格式，圖3顯示MIPI CSI-2規格中協定之長封包(Long Packet)之格式。

長封包係包含包頭(圖3所示之“PH”)、有效負載(圖3所示之“Payload Data”，有效負載資料)、及包尾(圖3所示之“PF”)之資料。短封包如圖2所示，係具有與包頭(圖3所示之“PH”)相同構造之資料。

於短封包及長封包中，均於標頭部分記錄VC(Virtual Channel，虛擬通道)編號(圖2、圖3所示之“VC”，VC值)，可對每個封包賦予任意之VC編號。將被賦予同一VC編號之封包作為屬於相同圖像資料之封包予以處理。

又，於短封包及長封包中，均於標頭部分記錄DT(Data Type，資料類型)值(圖2、圖3所示之“Data Type”)。因此，與VC編號同樣地，亦可將被賦予同一DT值之封包作為屬於相同圖像資料之封包予以處理。

於長封包之標頭部分之Word Count(字計數)，以字元數記錄封包之末尾。於短封包及長封包之標頭部分之ECC，記錄錯誤校正碼(Error Correcting Code)。

MIPI CSI-2規格中，於傳輸資料信號期間使用高速差動信號，且，於資料信號之消隱期間使用低功率信號。又，使用高速差動信號之期間稱為HPS(High Speed State，高速狀態)期間，使用低功率信號之期間稱為LPS(Low Power State，低功率狀態)期間。

圖4係顯示MIPI CSI-2規格之封包發送之信號波形之一例之說明圖。圖4A顯示封包傳輸之一例，圖4B顯示封包傳輸之另一例。圖4所示之“ST”、“ET”、“PH”、“PF”、“SP”、“PS”分別意指下述。 ・ST：Start of Transmission(傳輸開始) ・ET：End of Transmission(傳輸結束) ・PH：Packet Header(包頭) ・PF：Packet Footer(包尾) ・SP：Short Packet(短封包) ・PS：Packet Spacing(封包間距)

如圖4所示，可知LPS期間之差動信號(圖4所示之“LPS”)與HPS期間之差動信號(圖4所示之“LPS”以外)之間，差動信號之振幅不同。因此，由提高傳輸效率之觀點而言，期望盡可能不進入LPS期間。

圖像感測器100及處理器200由例如與資料匯流排B1不同之控制匯流排B2而電性連接。控制匯流排B2係連接圖像感測器100及處理器200之其他信號之傳輸路徑。例如，將自處理器200輸出之控制資訊自處理器200經由控制匯流排B2傳輸至圖像感測器100。

控制資訊包含例如用以控制之資訊及處理指令。作為用以控制之資訊，列舉例如表示圖像尺寸之資料、表示訊框率之資料、表示自接收到圖像之輸出指令至輸出圖像為止之輸出延遲量的資料中之1個或2個以上等、用以控制圖像感測器100之功能之資料。又，控制資訊亦可包含表示圖像感測器100之識別資訊。作為識別資訊，列舉例如設定於圖像感測器100之ID等、可特定圖像感測器100之任意資料。

另，經由控制匯流排B2自處理器200傳輸至圖像感測器100之資訊不限於上述所示之例。例如，處理器200亦可經由控制匯流排B2而傳輸指定圖像中之區域的區域指定資訊。作為區域指定資訊，列舉表示區域中所含之圖像位置之資料(例如，以座標表示區域中所含之像素位置之座標資料等)等、可特定區域之任意形式之資料。

圖1中顯示圖像感測器100及處理器200藉由控制匯流排B2而電性連接之例，但圖像感測器100及處理器200亦可不以控制匯流排B2連接。例如，圖像感測器100及處理器200亦可藉由任意通信方式之無線通信而收發控制資訊等。

以下，針對構成圖1所示之通信系統1之各裝置進行說明。

(1-1)記憶體300 記憶體300係通信系統1所具有之記錄媒體。作為記憶體300，列舉例如RAM(Random Access Memory，隨機存取記憶體)等揮發性記憶體，或快閃記憶體等非揮發性記憶體等。記憶體300係藉由自電池等構成通信系統1之內部電源(未圖示)供給之電力、或自通信系統1之外部電源供給之電力而動作。

於記憶體300中記憶例如自圖像感測器100輸出之圖像。對記憶體300之圖像記錄係藉由例如處理器200予以控制。

(1-2)顯示裝置400 顯示裝置400係通信系統1所具有之顯示裝置。作為顯示裝置400，列舉例如液晶顯示器或有機EL顯示器(Organic Electro Luminescence display，有機電致發光顯示器，或亦稱為OLED顯示器(Organic Light Emitting Diode Display，有機發光二極體顯示器)。)等。顯示裝置400係藉由自電池等構成通信系統1之內部電源(未圖示)供給之電力、或自通信系統1之外部電源供給之電力而動作。

於顯示裝置400之顯示畫面，顯示例如自圖像感測器100輸出之圖像、處理器200中執行之應用程式之畫面、UI(User Interface，用戶介面)之畫面等各種圖像或畫面。對顯示裝置400之顯示畫面顯示圖像等係藉由例如處理器200予以控制。

(1-3)處理器200(接收裝置) 處理器200接收自圖像感測器100發送之資料，且對接收到之資料進行處理。如上述，處理器200於通信系統1中發揮接收裝置之作用。針對自圖像感測器100發送出之資料進行處理之構成(用以發揮接收裝置之作用之構成)之一例，於下文敘述。

處理器200係以由例如MPU(Micro Processing Unit，微處理單元)等運算電路構成之1個或2個以上之處理器、或各種處理電路等構成。處理器200係藉由自電池等構成通信系統1之內部電源(未圖示)供給之電力，或自通信系統1之外部電源供給之電力而動作

處理器200進行例如對記憶體300等記錄媒體記錄圖像資料之控制相關之處理、對顯示裝置400之顯示畫面顯示圖像之控制相關之處理、執行任意應用程式軟體之處理等各種處理。作為記錄控制之處理，列舉例如「將包含記錄指令之控制資料及要記錄於記錄媒體之資料傳遞至記憶體300等記錄媒體之處理」。又，作為顯示控制之處理，列舉例如「將包含顯示指令之控制資料及要顯示於顯示畫面之資料傳遞至顯示裝置400等顯示裝置之處理」。

又，處理器200亦可藉由例如對圖像感測器100發送控制資訊，而控制圖像感測器100之功能。處理器200亦可藉由例如對圖像感測器100發送區域指定資訊，而控制自圖像感測器100發送之資料。

(1-4)圖像感測器100(發送裝置) 圖像感測器100具有攝像功能及發送功能，發送表示藉由拍攝產生之圖像之資料。如上述，圖像感測器100於通信系統1中發揮發送裝置之作用。

圖像感測器100包含例如「數位靜態相機或數位攝影機、立體攝影機等攝像裝置」、「紅外線感測器」、「距離圖像感測器」等可產生圖像之任意方式之圖像感測器裝置，具有發送經產生之圖像之功能。圖像感測器100中產生之圖像相當於顯示圖像感測器100之感測結果之資料。針對圖像感測器100之構成之一例，於下文敘述。

圖像感測器100藉由後述本實施形態之發送方法，發送與對圖像設定之區域對應之資料(以下表示為「區域資料」)。區域資料之發送相關之控制係藉由例如圖像感測器100中作為圖像處理部發揮功能之構成要素(後述)進行。有時將對圖像設定之區域稱為ROI(Region Of Interest，關注區域)。以下，有時將對圖像設定之區域表示為「ROI」。

作為對於圖像設定區域之處理，列舉例如「自圖像檢測物體，而設定包含檢測出之物體之區域之處理」、「藉由對任意操作裝置進行操作等，而設定指定區域之處理」等，可特定圖像之一部分區域之任意處理(或可自圖像切出一部分區域之任意處理)。

對於圖像設定區域之處理可由圖像感測器100進行，亦可於處理器200等外部裝置中進行。若由圖像感測器100進行對於圖像設定區域之處理，圖像感測器100遵循對於圖像設定區域之處理結果而特定區域。又，例如，對於圖像設定區域之處理若於外部裝置中進行，圖像感測器100基於自外部裝置取得之區域指定資訊而特定區域。

圖像感測器100藉由發送區域資料，即發送圖像之一部分資料，其傳輸之資料量會小於傳輸圖像全體。藉此，圖像感測器100藉由發送區域資料，而發揮例如縮短傳輸時間、減低通信系統1之傳輸負荷等藉由減低資料量而發揮之各種效果。

另，圖像感測器100亦可發送表示圖像全體之資料。

若圖像感測器100具有發送區域資料之功能、及發送表示圖像全體之資料之功能，則圖像感測器100可選擇性地切換進行發送區域資料、及發送表示圖像全體之資料。

圖像感測器100藉由例如已設定之動作模式而發送區域資料，或發送表示圖像全體之資料。動作模式之設定係藉由例如對任意操作裝置進行操作等而進行。

又，圖像感測器100亦可基於自外部裝置取得之區域指定資訊，而選擇性地切換發送區域資料、及發送表示圖像全體之資料。圖像感測器100例如於自外部裝置取得區域指定資訊時，發送對應於該區域指定資訊之區域的區域資料，於未自外部裝置取得區域指定資訊時，發送表示圖像全體之資料。

通信系統1具有例如圖1所示之構成。另，本實施形態之通信系統之構成不限於圖1所示之例。

例如，圖1中，作為發揮發送裝置之作用之裝置，舉圖像感測器100為例，但發揮發送裝置之作用之裝置不限於圖像感測器100。例如，本實施形態之通信系統為具有攝像裝置等之圖像感測器裝置、及電性連接於圖像感測器裝置之發送器之構成之情形時，該發送器亦可發揮發送裝置之作用。

又，圖1中，作為發揮接收裝置之作用之裝置，舉處理器200為例，但發揮接收裝置之作用之裝置不限於處理器200。例如，本實施形態之通信系統中，具有接收資料之功能之任意裝置即可發揮接收裝置之作用。

又，若由通信系統外部之記錄媒體記憶自圖像感測器100發送之圖像、將自圖像感測器100發送之圖像記憶於處理器200所具備之記憶體、或不記錄自圖像感測器100發送之圖像之情形等時，本實施形態之通信系統亦可不具有記憶體300。

又，本實施形態之通信系統可採取不具有圖1所示之顯示裝置400之構成。

再者，本實施形態之通信系統亦可具有與應用後述之本實施形態之通信系統之電子機器所具有之功能對應之任意構成。

以上，作為本實施形態，已舉出通信系統進行說明，但本實施形態不限於該形態。本實施形態可應用於例如智慧型手機等通信裝置、無人機(可利用遠程操作而動作、或可自主動作之機器)、汽車等移動體、PC(Personal Computer，個人電腦)等電腦、平板型裝置、遊戲機、監視攝影機等各種電子機器。

說明此種通信系統中藉由限定對象區域而以較少的運算實現高精度且高畫質之3DNR之構成及動作之概要。

圖5係顯示本揭示之實施形態之通信系統之功能構成例之說明圖。如圖5所示，本揭示之實施形態之通信系統1構成為包含透鏡單元110、IR截止濾波器120、攝像元件130、及IIR濾波器140。並且，IIR濾波器140構成為包含ROI區域檢測部141、ROI擷取部142、參數算出部143、ROI記憶體144、ROI變形部145、差分絕對值計算部146、乘算器147、148及加算器149。

透鏡單元110係以1個以上之透鏡構成之光學系統之單元，將來自被攝體之光聚光。IR截止濾波器120將紅外光自以透鏡單元110收集之光中濾除。攝像元件130係以CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)或CCD(Charge Coupled Device，電荷耦合裝置)等構成之感測器，自通過IR截止濾波器120之光產生電性信號。

IIR濾波器140將自攝像元件130輸出之電性信號、與相當於前一個訊框之圖像之電性信號相加並輸出。本揭示之實施形態中，IIR濾波器140檢測圖像中之動體之位置作為ROI區域，執行對該ROI區域之濾波處理。藉此，本揭示之實施形態之通信系統1能夠以較少的運算實現高精度且高畫質之3DNR。

ROI區域檢測部141自根據攝像元件130輸出之電性信號所得之圖像中檢測ROI區域。ROI區域檢測部141當檢測出ROI區域時，將該ROI區域相關之資訊發送至ROI擷取部142。作為ROI區域相關之資訊，可包含例如識別ROI區域之ID、用以特定ROI區域之資訊(例如座標資訊)、ROI區域之尺寸等。即，ROI區域檢測部141所檢測之ROI區域之數量並非限定於1個。

ROI區域可自IIR濾波器140之外部指定，亦可由ROI區域檢測部141基於規定之規則而檢測。

ROI擷取部142自根據攝像元件130輸出之電性信號所得之圖像中，擷取經ROI區域檢測部141檢測出之ROI區域之圖像。ROI擷取部142於ROI區域之圖像擷取時，使用自ROI區域檢測部141發送之ROI區域相關之資訊。

ROI擷取部142檢測記憶於ROI記憶體144之當前ROI區域之ID。ROI擷取部142參照記憶於ROI記憶體144之過去的ROI區域之內容，確認「座標接近者」、「大小接近者」、「形狀或顏色接近者」等，且檢測ID編號。

參數算出部143算出用以使自ROI擷取部142輸出之ROI圖像、及記憶於ROI記憶體144之圖像藉由仿射轉換等而成為一致之變形參數。若ROI擷取部142擷取出之ROI區域存在複數個，則參數算出部143對ID編號一致之每個ROI區域算出參數。

ROI變形部145基於參數算出部143算出之變形參數，將記憶於ROI記憶體144之ROI區域之圖像變形。於ROI擷取部142擷取出之ROI區域存在複數個時，ROI變形部145對每個ROI區域進行變形。此處，ROI變形部145基於以下之轉換式進行變形。

[數1]

數式(1)中，x、y表示轉換前之ROI區域之圖像之橫向及縱向之長度(即，轉換前之寬度及高度)，x'、y'表示轉換後之ROI區域之圖像之橫向及縱向之長度(即，轉換後之寬度及高度)。並且，數式(1)中，a、b、c、d、t_x 、t_y 係用以仿射轉換之變形參數，該等參數係由參數算出部143算出。

差分絕對值計算部146將自ROI擷取部142輸出之ROI圖像、與自ROI變形部145輸出之轉換後之ROI圖像進行比較，計算差分絕對值。差分絕對值計算部146基於2個ROI圖像之差分絕對值，決定乘算器147、148所使用之係數Ki。差分絕對值與係數Ki之關係可與例如圖15所示者相同，但亦可為不同者。但，差分絕對值與係數Ki之關係為如差分絕對值愈大則係數Ki愈小之關係。即，由於過去訊框與當前訊框之差分較大之部位係產生局部變化之部分，故以提高當前圖像之適用之方式，決定差分絕對值與係數Ki之關係。

例如，某些物體橫越ROI區域等情形時，若就此執行3DNR，會產生雜訊減低處理未順利進行之錯誤。本實施形態中，此種情形時，差分絕對值計算部146所計算之差分絕對值會變大。該情形時，因係數Ki變小，故而本實施形態之通信系統1可提高對於3DNR時之容錯性。

乘算器147對自ROI擷取部142輸出之ROI圖像乘上係數(1-Ki)而輸出。乘算器148對自ROI變形部145輸出之ROI圖像乘上係數Ki而輸出。並且，加算器149將乘算器147之輸出與乘算器148之輸出相加。即，乘算器147、148及加算器149將自ROI擷取部142輸出之ROI圖像、及自ROI擷取部142輸出之ROI圖像以(1-Ki)：Ki之比例混合。將自加算器149輸出之圖像輸出至後段之區塊，且發送至ROI記憶體144，而與至此為止記憶於ROI記憶體144之ROI圖像置換。

此處，說明ROI區域之資料格式之一例。圖6係顯示ROI區域之例之說明圖。例如，如圖6般，以ROI區域檢測部141檢測A～D之4個ROI區域。圖7係顯示ROI區域之資料格式之一例之說明圖。

“PH”表示包頭。“Embedded Data (嵌入資料)”係可嵌入傳輸之封包之資料。“Embedded Data”中，可至少包含識別ROI區域之ID、ROI區域左上座標之位置資訊、ROI區域之高度及寬度。自圖7所示之格式之第3行開始，存儲實際的ROI區域之資料。此處，如圖6之區域A及區域B般，ROI區域重疊之情形時，僅存儲一次重疊區域。

圖7所示之ROI區域之資料格式之“Embedded Data”亦存儲於ROI記憶體144。

本揭示之實施形態之通信系統1具有如圖5所示之構成，故可執行僅對於ROI區域之3DNR。本揭示之實施形態之通信系統1藉由執行僅對於ROI區域之3DNR，而能夠以較少的運算實現高精度且高畫質之3DNR。又，本揭示之實施形態之通信系統1藉由以較少的運算執行3DNR，與對圖像全體執行3DNR之情形相比，可減低消耗電力。

另，如圖6之區域A及區域B般，若ROI區域重疊，則IIR濾波器140亦可保持過去的ROI區域之圖像，或設定如將過去的ROI區域之圖像之應用比例提高之係數Ki。

示出本揭示之實施形態之通信系統1之其他功能構成例。圖8係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。圖8所示之通信系統1係從圖5所示者對IIR濾波器140追加預變形部151而成。預變形部151對於記憶於ROI記憶體144之過去的ROI區域之圖像，於過去及當前的ID為相同之ROI區域間，使用記憶於“Embedded Data“之尺寸資訊進行預變形。圖8所示例之情形，自ROI擷取部142輸出之ID為1的ROI像素之寬度及高度，自過去的ROI區域變化成2倍。因此，預變形部151將記憶於ROI記憶體144之ID為1的過去之ROI區域之寬度及高度設為2倍。藉由預變形部151進行預變形，本揭示之實施形態之通信系統1可應對ROI區域大小之變化。

此處，針對將IIR濾波器140之功能如何配置於通信系統1進行說明。IIR濾波器140之功能可全部搭載於通信系統1之圖像感測器100。又，亦可將IIR濾波器140之功能中，僅ROI區域檢測部141、ROI擷取部142搭載於通信系統1之圖像感測器100，將其他功能搭載於其他晶片(例如處理器200)。又，IIR濾波器140之功能亦可全部搭載於與通信系統1之圖像感測器100不同之晶片(例如處理器200)。

圖9係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。圖9所示者為IIR濾波器140之功能全部搭載於圖像感測器100之情形之例。

圖10係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。圖10所示者為將IIR濾波器140之功能中，僅ROI區域檢測部141、ROI擷取部142搭載於通信系統1之圖像感測器100，將其餘功能搭載於處理器200之情形之例。

圖11係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。圖11所示者為IIR濾波器140之功能全部搭載於處理器200之情形之例。

當然，圖9～11所示者僅為IIR濾波器140之功能配置之一例，除圖9～11所示之配置以外，亦可採取各種配置。

本揭示之實施形態之通信系統1可將對於圖像全體之3DNR功能，與僅對於ROI區域之3DNR功能加以組合。

圖12係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。圖12所示之通信系統1除了執行對於ROI區域之3DNR之IIR濾波器140外，並包含執行對於圖像全體之3DNR之IIR濾波器240而構成。IIR濾波器240構成為包含差分絕對值計算部242、訊框記憶體244、乘算器245、246及加算器248。又，圖12所示之通信系統1包含α混合係數算出部252及合成部254而構成。

將自攝像元件130輸出之電性信號發送至IIR濾波器140及IIR濾波器240兩者。IIR濾波器140中，執行如上述之對於ROI區域之3DNR。另一方面，IIR濾波器240中，執行對於包含自攝像元件130輸出之電性信號之圖像資料全體之3DNR。IIR濾波器240以加算器248，將自攝像元件130輸出之電性信號，與儲存於訊框記憶體244之相當於在前一個訊框經處理之圖像之電性信號相加。IIR濾波器240以加算器248將2個信號相加時，以由乘算器245、246設定之規定比例進行加算。該比例係於差分絕對值計算部242中決定。

並且，圖12所示之通信系統1將IIR濾波器140之輸出及IIR濾波器240之輸出以規定之比例合成。此時之合成比例係由α混合係數算出部252算出。α混合係數算出部252亦可取得例如自ROI區域檢測部141發送之ROI區域之資訊(位置、寬度、高度等資訊)，算出該區域中之2個圖像之差分絕對值，對應於該差分絕對值而算出合成比例。該情形時，α混合係數算出部252可為對於ROI區域外自IIR濾波器240輸出，對於ROI區域內則以2個圖像之差分絕對值愈大、IIR濾波器140所輸出之圖像之比例愈高之方式，算出合成比例。

本揭示之實施形態之通信系統1於自攝像元件130輸出之電性信號中包含手振之情形時，亦可執行考慮到該手振之3DNR。

圖13係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。圖13所示之通信系統1除了執行對於ROI區域之3DNR之IIR濾波器140外，並包含執行對於圖像全體之3DNR之IIR濾波器240而構成。IIR濾波器240除了圖12所示之構成外，並包含全域運動計算部241及動移修正部243而構成。

全域運動計算部241將自攝像元件130輸出之電性信號，及儲存於訊框記憶體244之、相當於在前一個訊框經處理之圖像之電性信號進行比較，而計算圖像全體之動移(全域運動)量。動移修正部243基於全域運動計算部241計算出之圖像全體之量，進行使儲存於訊框記憶體244之圖像位置一致之修正處理。差分絕對值計算部242就對應於自攝像元件130輸出之電性信號之圖像、與動移修正部243修正後之儲存於訊框記憶體244之圖像間，計算差分絕對值。

如此，圖13所示之通信系統1於產生手振之情形時，可執行考慮到該手振之3DNR。

接著，本實施形態之通信系統中，針對自圖像感測器100(發送裝置)對處理器200(接收裝置)發送圖像所使用之封包之構成之其他例進行說明。本實施形態之通信系統中，將藉由圖像感測器100拍攝之圖像分割成行單位之部分圖像，使用1個以上之封包發送每行之該部分圖像之資料。此點對於對圖像設定之區域的區域資料(即，設定有ROI之部分之圖像資料)亦相同。

例如，圖16係用以針對本實施形態之通信系統中使用於發送圖像資料之封包之構造之一例進行說明之圖。如圖16所示，將發送圖像所使用之封包(Packet)規定成資料串流中以起始碼(Start Code)開始、以結束碼(End Code)結束之一連串資料。又，該封包中，依序排列並包含標頭(Header)及有效負載資料(Payload Data)。又，亦可於有效負載資料之後附加標尾(Footer)。有效負載資料(以下，亦簡稱為「有效負載」)包含行單位之部分圖像之像素資料。標頭中包含與對應於有效負載所含之部分圖像之行相關之各種資訊。標尾中包含附加資訊(任選)。

此處，針對標頭所含之資訊進行說明。如圖16所示，標頭中依序包含「Frame Start (訊框起始)」、「Frame End (訊框結尾)」、「Line Valid (行有效)」、「Line Number (行號)」、「EBD Line (EBD行)」、「Data ID (資料ID)」、「Reserved (保留)」、及「Header ECC (標頭ECC)」。

Frame Start係表示訊框開頭之1位元的資訊。例如，對成為發送對象之圖像之資料中第1行的像素資料傳輸所使用之封包之標頭之Frame Start設定1的值，對其他行之像素資料傳輸所使用之封包之標頭之Frame Start設定0的值。另，Frame Start相當於「表示訊框開始之資訊」之一例。

Frame End係表示訊框結尾之1位元的資訊。例如，對有效負載中包含成為發送對象之圖像資料中有效像素區域之終端行之像素資料的封包之標頭之Frame End設定1的值，對其他行之像素資料傳輸所使用之封包之標頭之Frame End設定0的值。另，Frame End相當於「表示訊框結束之資訊」之一例。

Frame Start及Frame End相當於訊框相關之資訊即訊框資訊(Frame Information)之一例。

Line Valid係表示儲存於有效負載之像素資料之行是否為有效像素之行的1位元之資訊。對有效像素區域內之行的像素資料傳輸所使用之封包之標頭的Line Valid設定1的值，對其他行之像素資料傳輸所使用之封包之標頭的Line Valid設定0的值。另，Line Valid相當於「表示對應之行是否有效之資訊」之一例。

Line Number係表示由儲存於有效負載之像素資料構成之行的行編號之13位元的資訊。

EBD Line係表示是否為具有嵌入資料之行之1位元的資訊。即，EBD Line相當於「表示是否為具有嵌入資料之行的資訊」之一例。

Data ID係於分成複數個串流而傳輸資料之情形時，用以識別各資料(即，有效負載所含之資料)之4位元之資訊。另，Data ID相當於「有效負載所含之資料之識別資訊」之一例。

Line Valid、Line Number、EBD Line、及Data ID為行相關之資訊即行資訊(Line Information)。

Reserved係擴充用之27位元之區域。另，以下，亦將以Reserved表示之該區域稱為「擴充區域」。又，標頭資訊全體之資料量為6位元組。

如圖16所示，緊接於標頭資訊而配置之Header ECC中，包含基於6位元組之標頭資訊所計算之2位元組之錯誤檢測碼即CRC(Cyclic Redundancy Check：循環冗餘檢查)碼。即，Header ECC相當於「標頭所含資訊之錯誤校正碼」之一例。又，Header ECC中，緊接著CRC碼，包含2個與標頭資訊及CRC碼之組即8位元組之資訊相同之資訊。

即，1個封包之標頭中包含3個相同之標頭資訊與CRC碼之組。標頭全體之資料量為第1組之標頭資訊與CRC碼之組的8位元組、第2組之標頭資訊與CRC碼之組的8位元組、及第3組之標頭資訊與CRC碼之組的8位元組之總計24位元組。

此處，參照圖17及圖18，針對設置於封包之標頭之擴充區域(Reserved)進行說明。圖17及圖18係用以針對設置於封包之標頭之擴充區域進行說明之說明圖。

如圖17所示，擴充區域對於開頭之3位元設定表示對應於以封包發送之資訊之類別之資訊，作為標頭資訊之類別(Header Info Type)。對應於該標頭資訊之類別，決定擴充區域中，除了指定該標頭資訊之類別之3位元以外之其餘24位元之區域所設定之資訊之格式(即，設定資訊之類別或該資訊之位置)。藉此，接收側可藉由確認標頭資訊之類別，而辨識擴充區域中指定有該標頭資訊之類別之區域以外之其他區域之哪個位置設定有何種資訊，且讀出該資訊。

例如，圖18係顯示將封包之有效負載長(換言之為行的長度)設為可變之情形的設定之一例，作為標頭資訊之類別設定、及對應於該設定之擴充區域之使用方法之一例。具體而言，圖18所示之例中，對標頭資訊之類別，設定與有效負載長為可變之情形之類別對應的值。更具體而言，圖18所示之例中，對標頭資訊之類別設定「001」，作為與圖17所示例中該標頭資訊之類別所設定之「000」不同的值。即，該情形時，標頭資訊之類別中與「001」對應之類別意指有效負載長為可變之情形之類別。又，圖18所示之例中，將擴充區域中之14位元分配為「Line Length (行長度)」。「Line Length」係用以通知有效負載長之資訊。藉由此種構成，接收側基於作為標頭資訊之類別而設定之值，確認有效負載長為可變，且讀出於擴充區域作為「Line Length」而設定的值，從而可辨識有效負載長。

以上，參照圖16～圖18，說明了本實施形態之通信系統中，自圖像感測器100(發送裝置)對處理器200(接收裝置)發送圖像所使用之封包構造之一例。

接著，作為本揭示之通信系統之技術性特徵，針對用以發送對圖像設定之區域(ROI)之區域資料之發送方式之一例進行說明。

圖像感測器100將設定於圖像之區域的區域資料存儲於封包之有效負載而逐行發送。因此，以下之說明中，為方便起見，將設定於圖像之區域中相當於各行之部分亦稱為「部分區域」。

(資料之格式) 首先，圖19係用以針對發送之資料之格式進行說明之說明圖。圖19中，參照符號A1所示之一連串封包係示意性表示發送設定於圖像之區域之區域資料的封包(換言之為發送有效像素區域之資料的封包)。又，參照符號A2及A3所示之一連串封包相當於與用以發送區域資料之封包不同之封包。另，以下之說明中，若要區別參照符號A1、A2及A3所示之各封包之情形時，為方便起見，亦分別稱為「封包A1」、「封包A2」、「封包A3」。即，於發送1訊框量之資料之期間，在發送一連串封包A1之前，發送一連串封包A2。又，亦可於發送一連串封包之後，發送一連串封包A3。另，封包A2及A3之至少任一者相當於「第1封包」之一例。又，封包A1相當於「第2封包」之一例。

圖19所示之例中，將一連串封包A2中之至少一者使用於發送Embedded Data(嵌入資料)。例如，可將Embedded Data存儲於封包A2之有效負載並發送。又，作為其他例，亦可將Embedded Data存儲於封包A2中與有效負載不同之區域並發送。

Embedded Data相當於圖像感測器100所附加發送之附加資訊(換言之為藉由圖像感測器100嵌入之資訊)，列舉例如圖像之拍攝條件相關之資訊，或發送區域資料之區域(ROI)相關之資訊等。

另，圖19所示之例中，將封包A2中之至少一部分使用於發送Embedded Data，但亦可將封包A3之至少一部分使用於發送Embedded Data而取代該封包A2。又，以下之說明中，亦將Embedded Data稱為「EBD」。

圖19中，「SC」表示「Start Code (起始碼)」，為表示封包開始之符號群。Start Code附加於封包之前。Start Code以例如3種K Character(K字符)之組合即K28.5、K27.7、K28.2及K27.7之4個符號表示。

「EC」表示「End Code (結束碼)」，為表示封包結束之符號群。End Code附加於封包之後。End Code以例如3種K Character之組合即K28.5、K27.7、K30.7及K27.7之4個符號表示。

「PH」表示「包頭(Packet Header)」，相當於例如參照圖2說明之標頭。「FS」表示FS(Frame Start，訊框起始)封包。「FE」表示FE(Frame End，訊框結尾)封包。

「DC」表示「Deskew Code (去偏斜碼)」，為以信道間之Data Skew(資料偏斜)、即修正以接收側之各信道接收之資料之接收時序偏移所使用之符號群。Deskew Code以例如K28.5、Any**之4個符號表示。

「IC」表示「Idle Code (閒置碼)」，為於封包資料傳輸時以外之期間重複發送之符號群。Idle Code以例如8B10B Code(碼)即D Character之D00.0(00000000)表示。

「DATA」表示儲存於有效負載之區域資料(即，與圖像中設定之區域對應之部分的像素資料)。

「XY」相當於將與存儲於有效負載之區域資料對應之部分區域左端之位置(圖像中之位置)表示為X座標及Y座標之資訊。另，以下，亦將「XY」所示之、表示部分區域左端之位置之X座標及Y座標簡稱為「部分區域之XY座標」。

將部分區域之XY座標存儲於封包A1之有效負載之開頭。又，部分區域之XY座標亦可於連續發送之封包A1間，當對應於各者之部分區域之X座標無變更、且Y座標僅+1之情形時，於之後發送之封包A1中予以省略。另，對於本控制，舉出具體例於下文另外敘述。

又，該發送方式中，若對於設定有於水平方向互相隔開之複數個區域之行，發送與該複數個區域各者對應之部分區域的區域資料之情形時，個別產生並發送針對該複數個區域各者之封包A1。即，針對設定有在水平方向互相隔開之2個區域之行，產生及發送2個封包A1。

接著，參照圖20，針對發送對圖像設定之區域(ROI)的區域資料之封包A1之包頭之構成之一例，尤其著眼於擴充區域之構成進行說明。圖20係用以針對包頭之構成之一例進行說明之說明圖。

如圖20所示，該發送方式中，當要發送對圖像設定之區域(ROI)的區域資料之情形時，於發送該區域資料所使用之封包A1之包頭中，設定表示發送區域資訊之資訊(即，與假設要發送區域資訊之類別對應之資訊)，作為標頭資訊之類別。又，對擴充區域之至少一部分，設定表示使用有效負載發送區域資料(即，部分區域之區域資料)之資訊。又，使用有效負載發送區域座標(即，部分區域之XY座標)之情形時，對擴充區域之至少一部分，設定表示發送該區域之座標之資訊。另，若要發送對圖像設定之區域(ROI)的區域資料之情形時，封包A1之有效負載之長度可對應於該區域之水平方向之寬度而變化。因此，亦可與參照圖18說明之例同樣地，於擴充區域之一部分設定表示有效負載長之資訊。

(圖像感測器100) 接著，針對本實施形態之圖像感測器100之構成例進行說明。圖21係顯示本實施形態之圖像感測器100之構成之一例之硬體方塊圖。圖像感測器100具備例如圖像感測器裝置102及IC晶片104。圖21所示之圖像感測器100係藉由自電池等構成通信系統1000之內部電源(未圖示)供給之電力、或自通信系統1000之外部電源供給之電力而動作。

圖像感測器裝置102為例如「數位靜態相機等攝像裝置」、「紅外線感測器」、「距離圖像感測器」等可產生圖像之任意方式之圖像感測器裝置。

舉其一例，作為圖像感測器裝置102發揮功能之攝像裝置係包含透鏡/攝像元件及信號處理電路而構成。

透鏡/攝像元件係由例如光學系統之透鏡、及使用複數個CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等攝像元件之影像感測器構成。

信號處理電路具備例如AGC(Automatic Gain Control，自動增益控制)電路、ADC(Analog to Digital Converter，類比數位轉換器)，將由攝像元件產生之類比信號轉換成數位信號(圖像資料)。又，信號處理電路進行例如RAW顯影之各種處理。再者，信號處理電路亦可進行例如White Balance(白平衡)修正處理、色調校正處理、伽馬校正處理、YCbCr轉換處理、邊緣加強處理等各種信號處理。

又，信號處理電路亦可進行對圖像設定區域之處理，且將區域指定資訊傳遞至IC晶片104。再者，信號處理電路亦可將曝光資訊、增益資訊等各種資料傳遞至IC晶片104。

表示由圖像感測器裝置102產生之圖像的信號被傳遞至IC晶片104。另，表示自圖像感測器裝置102傳遞至IC晶片104之圖像的信號如為類比信號，IC晶片104例如以所具備之ADC將類比信號轉換成數位信號，對藉由轉換所得之圖像資料進行處理。以下，舉例出自圖像感測器裝置102對IC晶片104傳遞圖像資料之情形。

IC晶片104係將集成有資料發送功能之電路的IC(Integrated Circuit，積體電路)形成為晶片狀者，對自圖像感測器裝置102傳遞之圖像資料進行處理，且發送對應於經產生之圖像之資料。所謂對應於圖像之資料是指自圖像感測器裝置102傳遞之圖像資料(即，表示圖像全體之資料)，或區域資訊及區域資料。另，資料發送功能之電路不限於以1個IC晶片之形態實現，亦可以複數個IC晶片形成。

IC晶片104具備例如圖像處理電路106、LINK控制電路108、ECC產生電路110、PH產生電路112、EBD用緩衝器114、圖像資料緩衝器116、合成電路118及發送電路120。

圖像處理電路106係具有進行本實施形態之發送方法相關之處理的功能之一個電路。進行本實施形態之發送方法相關之處理之情形時，圖像處理電路106對圖像之每一行設定區域資訊，藉由LINK控制電路108、ECC產生電路110、PH產生電路112、EBD用緩衝器114、圖像資料緩衝器116、合成電路118、發送電路120，逐行發送經設定之區域資訊及對應於區域之區域資料。又，圖像處理電路106亦可逐行發送自圖像感測器裝置102傳遞之圖像資料(即，表示圖像全體之資料)。

作為圖像處理電路106，列舉例如MPU等處理器。

將圖像處理電路106所具有之功能分成功能區塊進行說明。如圖21所示，圖像處理電路106具有例如區域切出部122、圖像處理控制部124及編碼部126。

區域切出部122發揮進行對圖像設定區域之處理之作用，對自圖像感測器裝置102傳遞來之圖像資料所示之圖像，設定區域(ROI)。區域切出部122例如根據已設定之動作模式，進行對圖像設定區域之處理。例如，若動作模式為發送區域資料之動作模式，區域切出部122進行對圖像設定區域之處理。又，若動作模式為發送顯示圖像全體之資料之動作模式，則區域切出部122不進行對圖像設定區域之處理。

區域切出部122例如對圖像進行任意物體檢測處理而檢測物體，且對每個檢測出之物體，設定包含檢測出之物體之區域。又，區域切出部122亦可設定藉由對任意操作裝置進行操作等而指定之區域。

設定有區域之情形時，區域切出部122例如將表示經設定之區域的區域指定資訊傳遞至圖像處理控制部124。又，未設定區域之情形時，區域切出部122不將區域指定資訊傳遞至圖像處理控制部124。

又，區域切出部122將自圖像感測器裝置102傳遞來之圖像資料傳遞至編碼部126。

圖像處理控制部124發揮進行本實施形態之發送方法相關之處理之作用，於圖像之每一行設定區域資訊，且將所設定之區域資訊傳遞至編碼部126及PH產生電路112。

圖像處理控制部124基於例如自區域切出部122取得之區域指定資訊，或自外部裝置取得之區域指定資訊(未圖示)，特定圖像中之各行所含之區域。並且，圖像處理控制部124基於特定出之區域，逐行設定區域資訊。此時，圖像處理控制部124如上述例外處理所示，亦可不將未自前一個發送之行之區域資訊所含之資訊有所變化之資訊設定為區域資訊。

又，未取得區域指定資訊之情形時，圖像處理控制部124不設定區域資訊。

另，圖像處理控制部124之處理不限於上述所示之例。

例如，圖像處理控制部124亦可例如產生訊框資訊，將產生之訊框資訊傳遞至LINK控制電路108。作為訊框資訊，列舉例如對每一訊框賦予之VC編號。又，訊框資訊中，亦可包含YUV資料、RGB資料或RAW資料等表示資料類型之資料。

又，例如，圖像處理控制部124亦可進行設定附加資訊之處理，且將設定之附加資訊傳遞至EBD用緩衝器114。

作為設定附加資訊之處理，列舉例如產生附加資訊之處理。作為產生附加資訊之處理，列舉例如產生表示區域之資料量的資訊之處理、產生表示區域大小的資訊之處理、及產生表示區域之優先度的資訊之處理中之1個或2個以上。

另，設定附加資訊之處理不限於產生附加資訊之處理。例如，圖像處理控制部124亦可設定曝光資訊、增益資訊等自圖像感測器裝置102取得之資訊，作為附加資訊。又，圖像處理控制部124亦可設定例如表示物理區域長度之資料、表示輸出區域長度之資料、表示圖像格式之資料、表示資料總量之資料等各種與區域相關之資料，作為附加資訊。作為物理區域長度，列舉例如圖像感測器裝置102之像素數。作為輸出區域長度，列舉例如自圖像感測器裝置102輸出之圖像之像素數(圖像上之長度)。

編碼部126例如將自圖像感測器裝置102傳遞之圖像資料，以例如對應於JPEG(Joint Photographic Experts Group，聯合圖像專家小組)規格之方式等規定方式進行編碼。

未自圖像處理控制部124取得區域資訊之情形時，編碼部126將經編碼之圖像資料傳遞至圖像資料緩衝器116。以下，有時將經編碼之圖像資料、即表示經編碼之圖像全體之資料表示為「通常資料」。

又，自圖像處理控制部124取得區域資訊之情形時，編碼部126將取得之區域資訊及與區域對應之經編碼之區域資料，傳遞至圖像資料緩衝器116。

圖像處理電路106藉由具有例如區域切出部122、圖像處理控制部124及編碼部126，而進行本實施形態之發送方法之處理。另，圖21所示之圖像處理電路106之功能區塊係為方便起見而切分成圖像處理電路106所具有之功能者，圖像處理電路106之功能之切分方法不限於圖21所示之例。

LINK控制電路108例如將訊框資訊逐行傳遞至ECC產生電路110、PH產生電路112及合成電路118。

ECC產生電路110逐行設定錯誤校正碼。ECC產生電路110基於例如訊框資訊之1行資料(例如VC編號、資料類型等)，產生該行之錯誤修正碼。ECC產生電路110例如將所產生之錯誤修正碼傳遞至PH產生電路112及合成電路118。又，ECC產生電路110亦可與PH產生電路112協作而產生錯誤修正碼。

PH產生電路112使用訊框資訊，逐行產生包頭。

PH產生電路112亦可基於自圖像處理電路106(圖21之例中為圖像處理控制部124)傳遞之區域資訊而產生包頭。具體而言，PH產生電路112基於區域資訊，每包頭設定如上述之「表示區域資訊所含之資訊是否自前一個發送之封包所含之區域資訊有所變化之資料」(變化資訊)。

EBD用緩衝器114係暫時保持自圖像處理電路106(圖21之例中，為圖像處理控制部124)傳遞之附加資訊之緩衝器。EBD用緩衝器114在規定之時序，將附加資訊作為“Embedded Data”而輸出至合成電路118。另，亦可將自EBD用緩衝器114輸出之“Embedded Data”經由後述之圖像資料緩衝器116傳遞至合成電路118。又，若接收裝置即處理器200已掌握發送之附加資訊(ROI資訊)之情形時，亦可藉由暫存器設定等，省略自後述之發送電路120發送相當於上述附加資訊之EBD資料。

圖像資料緩衝器116係暫時保持自圖像處理電路106(圖21之例中，為編碼部126)傳遞之資料(通常資料、或區域資訊及區域資料)之緩衝器。圖像資料緩衝器116將保持之資料在規定之時序逐行輸出至合成電路118。

合成電路118基於例如自ECC產生電路110、PH產生電路112、EBD用緩衝器114及圖像資料緩衝器116分別取得之資料，產生傳輸之封包。

發送電路120將自合成電路118傳遞之封包，逐行經由資料匯流排B1(信號傳輸路徑之一例，以下相同)而作為傳輸資料147A發送。例如，發送電路120根據如圖4所示之高速差動信號而發送封包。

(處理器200) 接著，針對處理器200進行說明。圖22係顯示本實施形態之處理器200之構成之一例者。處理器200係以與圖像感測器100共通之規格(例如，MIPI CSI-2規格、MIPI CSI-3規格或MIPI DSI規格)接收信號之裝置。處理器200具有例如接收部210及資訊處理部220。接收部210係經由資料信道DL接收自圖像感測器100輸出之傳輸資料147A，對接收到之傳輸資料147A進行規定之處理，藉此產生各種資料(214A、215A、215B)，且輸出至資訊處理部220之電路。資訊處理部220係基於自接收部210接收到之各種資料(214A、215A)而產生ROI圖像223A、或基於自接收部210接收到之資料(215B)而產生通常圖像224A之電路。

接收部210亦可具有例如標頭分離部211、標頭解譯部212、Payload(有效負載)分離部213、EBD解譯部214及ROI資料分離部215。

標頭分離部211經由資料信道DL，自圖像感測器100接收傳輸資料147A。即，標頭分離部211包含對於以圖像感測器100拍攝之圖像中設定之區域ROI之ROI資訊，且接收於Long Packet(長封包)之Payload Data中包含各區域ROI之圖像資料之傳輸資料147A。標頭分離部211將接收到之傳輸資料147A分離成訊框頭區域及封包區域。標頭解譯部212基於訊框頭區域所含之資料(具體而言為Embedded Data)，特定封包區域所含之Long Packet之Payload Data之位置。Payload分離部213基於藉由標頭解譯部212特定之Long Packet之Payload Data之位置，將封包區域所含之Long Packet之Payload Data自封包區域分離。又，當處理器已掌握EBD資料、Long Packet等所含之附加資訊(ROI資訊)之情形時，亦可省略該ROI資訊之一部分或全部之發送。具體而言，處理器藉由將相當於EBD資料之資訊預先保持於標頭解譯部212，而基於該資訊特定封包區域所含之Long Packet之Payload Data之位置。

EBD解譯部214將Embedded Data作為EBD資料214A，輸出至資訊處理部220。EBD解譯部214進而由Embedded Data所含之資料類型，判別Long Packet之Payload Data所含之圖像資料為ROI之圖像之壓縮像資料，抑或為通常圖像資料之壓縮像資料。EBD解譯部214將判別結果輸出至ROI資料分離部215。

若Long Packet之Payload Data所含之圖像資料為ROI之圖像資料之壓縮像資料，ROI資料分離部215將Long Packet之Payload Data作為Payload Data 215A輸出至資訊處理部220(具體而言為ROI解碼部222)。若Payload Data所含之圖像資料為通常圖像資料之壓縮像資料，ROI資料分離部215將Long Packet之Payload Data作為Payload Data 215B輸出至資訊處理部220(具體而言為通常圖像解碼部224)。Long Packet之Payload Data中包含ROI資訊之情形時，Payload Data 215A包含ROI資訊、及壓縮像資料中一行量之像素資料。

資訊處理部220自EBD資料214A所含之Embedded Data擷取ROI資訊。資訊處理部220基於資訊擷取部221所擷取之ROI資訊，自接收部210接收到之傳輸資料所含之Long Packet之Payload Data，擷取攝像圖像中之各關注區域ROI之圖像。資訊處理部220具有例如資訊擷取部221、ROI解碼部222、ROI圖像產生部223、通常圖像解碼部224及記憶體225。

通常圖像解碼部224將Payload Data 215B進行解碼，產生通常圖像224A。ROI解碼部222將Payload Data 215A所含之壓縮像資料147B進行解碼，產生圖像資料222A。該圖像資料222A由1個或複數個傳輸圖像構成。

資訊擷取部221自EBD資料214A所含之Embedded Data擷取ROI資訊。資訊擷取部221自例如EBD資料214A所含之Embedded Data，擷取例如攝像圖像所含之關注區域ROI之數量、各關注區域ROI之區域編號、各關注區域ROI之資料長、及各關注區域ROI之圖像格式。

ROI圖像產生部223基於資訊擷取部221所取得之ROI資訊，產生攝像圖像中之各關注區域ROI之圖像。ROI圖像產生部223輸出經產生之圖像作為ROI圖像223A。

記憶體225暫時記憶ROI圖像產生部223產生之ROI圖像。ROI圖像產生部223於產生ROI圖像時，使用儲存於記憶體225之ROI圖像進行合成圖像之處理。藉此，ROI圖像產生部223可產生抑制動移模糊之ROI圖像。

圖22所示之處理器200之構成如為具有圖11所示之構成，可包含ROI區域檢測部141及ROI擷取部142之功能。

＜2.總結＞ 如上說明，根據本揭示之實施形態，提供一種通信系統1，其藉由將ROI區域使用於3DNR，而可削減記憶體容量、減低對記憶體及來自記憶體之流量、執行減低運算量之3DNR。本揭示之實施形態之通信系統1於ROI區域隨時間一起移動或變形之情形時，亦可執行藉由追隨該ROI區域之變化而抑制SN比降低之對ROI區域之3DNR。

亦可製作用以使內置於各裝置之CPU、ROM及RAM等硬體發揮與上述各裝置之構成同等功能之電腦程式。又，亦可提供記憶該電腦程式之記憶媒體。又，亦可藉由以硬體構成功能方塊圖所示之各個功能區塊，而以硬體實現一連串之處理。

以上已一面參照隨附圖式，一面針對本揭示之較佳實施形態進行詳細說明，但本揭示之技術範圍並非限定於該例。應明瞭，只要為具有本揭示之技術領域之一般知識者，皆得於申請專利範圍所記載之技術思想之範疇內設想出各種變更例或修正例，但應了解，該等當然亦同樣為屬於本揭示之技術範圍內者。

又，本說明書所記載之效果終究為說明或例示者，並非限定。即，本揭示之技術可隨上述效果一起或取代上述效果，而發揮本領域技術人員由本說明書之記載而明瞭之其他效果。

另，如下之構成亦屬於本揭示之技術範圍。

(1) 一種圖像處理裝置，其具備： 區域檢測部，其基於對攝像圖像賦予之資料而檢測1個以上之該攝像圖像中之規定區域；及 圖像處理部，其對上述區域檢測部檢測出之上述規定區域之圖像執行雜訊減低處理。 (2) 如上述(1)之圖像處理裝置，其中當上述區域檢測部檢測出之區域與執行上述雜訊減低處理之區域一致之情形時，上述圖像處理部執行該雜訊減低處理。 (3) 如上述(2)之圖像處理裝置，其中上述圖像處理部參照上述資料而判斷區域是否一致。 (4) 如上述(1)至(3)中任一項之圖像處理裝置，其進而具備：區域擷取部，其自上述攝像圖像擷取上述區域檢測部檢測出之上述規定區域之圖像，上述圖像處理部對上述區域擷取部擷取出之上述規定區域之圖像執行雜訊減低處理。 (5) 如上述(1)至(4)中任一項之圖像處理裝置，其中上述圖像處理部具備：參數算出部，其使用上述區域之圖像、及在前一個訊框經實施上述雜訊減低處理之處理圖像，算出用以將上述處理圖像變形之參數。 (6) 如上述(5)之圖像處理裝置，其中上述圖像處理部進而具備：變形部，其基於上述參數算出部算出之上述參數，進行上述處理圖像之變形。 (7) 如上述(3)之圖像處理裝置，其中上述圖像處理部進而具備：預變形部，其於上述變形部對上述處理圖像進行變形之前，使用當前訊框之上述區域相關之資訊，進行對上述處理圖像之變形處理。 (8) 如上述(1)至(7)中任一項之圖像處理裝置，其中上述圖像處理部進而執行對上述攝像圖像之所有區域之雜訊減低處理，以規定比例合成對於上述所有區域之雜訊減低處理結果、及對於上述特定區域之圖像之三維雜訊減低結果。 (9) 如上述(8)之圖像處理裝置，其中上述圖像處理部具備算出上述規定比例之係數算出部。 (10) 如上述(7)之圖像處理裝置，其中上述係數算出部基於上述規定區域之雜訊減低處理結果之差分，算出上述規定比例。 (11) 如上述(8)之圖像處理裝置，其中上述圖像處理部於執行對於上述攝像圖像之所有區域之雜訊減低處理時，執行考慮到手振之三維雜訊減低處理。 (12) 如上述(1)至(11)中任一項之圖像處理裝置，其中上述區域檢測部、上述區域擷取部及上述圖像處理部設置於同一晶片。 (13) 如上述(1)至(11)中任一項之圖像處理裝置，其中上述區域檢測部、上述區域擷取部及上述圖像處理部設置於不同晶片。 (14) 一種圖像處理方法，其包含： 檢測1個以上之攝像圖像中之規定區域； 自上述攝像圖像擷取檢測出之上述區域；及 對擷取出之上述區域執行三維雜訊減低處理。

1:通信系統 100:圖像感測器 102:圖像感測器裝置 104:IC晶片 106:圖像處理電路 108:LINK控制電路 110:ECC產生電路 112:PH產生電路 114:EBD用緩衝器 116:圖像資料用緩衝器 120:發送電路 122:區域切出部 124:圖像處理控制部 126:編碼部 130:攝像元件 140:IIR濾波器 141:ROI區域檢測部 142:ROI擷取部 143:參數算出部 144:ROI記憶體 145:ROI變形部 146:差分絕對值計算部 147、148:乘算器 149:加算器 200:處理器 210:接收部 211:標頭分離部 212:標頭解譯部 213:有效負載分離部 214:EBD解譯部 214A:資料 215:ROI資料分離部 215A:資料 215B:資料 220:資訊處理部 221:資訊擷取部 222:ROI解碼部 223:ROI圖像產生部 223A:ROI圖像 224:通常圖像解碼部 224A:通常圖像 225:記憶體 240:IIR濾波器 241:全域運動計算 242:差分絕對值計算部 243:移動修正 244:訊框記憶體 245、246:乘算器 248:加算器 252:混合係數算出部 254:合成部 300:記憶體 400:顯示裝置 1000:通信系統 1010:透鏡單元 1020:IR截止濾波器 1030:攝像元件 1040:IIR濾波器 1042:差分絕對值計算部 1044:訊框記憶體 1045、1046:乘算器 1048:加算器 A～D:區域 B1、B2:匯流排

圖1係顯示本實施形態之通信系統1000之構成之一例之說明圖。 圖2係顯示MIPI CSI-2規格中協定之封包之格式之說明圖。 圖3係顯示MIPI CSI-2規格中協定之封包之格式之說明圖。 圖4係顯示MIPI CSI-2規格之封包發送之信號波形之一例之說明圖。 圖5係顯示本揭示之實施形態之通信系統之功能構成例之說明圖。 圖6係顯示ROI區域之例之說明圖。 圖7係顯示ROI區域之資料格式之說明圖。 圖8係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。 圖9係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。 圖10係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。 圖11係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。 圖12係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。 圖13係顯示本揭示之實施形態之通信系統1之功能構成例之說明圖。 圖14係顯示實現3DNR之攝像裝置之構成例之說明圖。 圖15係顯示差分絕對值與乘算器1045之係數K之關係之一例之說明圖。 圖16係用以針對該實施形態之通信系統中使用於圖像資料發送之封包之構造之一例進行說明之圖。 圖17係用以針對設置於封包標頭之擴充區域進行說明之說明圖。 圖18係用以針對設置於封包標頭之擴充區域進行說明之說明圖。 圖19係用以針對發送之資料格式進行說明之說明圖。 圖20係用以針對包頭之構成之一例進行說明之說明圖。 圖21係顯示本實施形態之圖像感測器100之構成之一例之硬體方塊圖。 圖22係表示本實施形態之處理器200之構成之一例者。

1:通信系統

110:ECC產生電路

120:發送電路

130:攝像元件

140:IIR濾波器

141:ROI區域檢測部

142:ROI擷取部

143:參數算出部

144:ROI記憶體

145:ROI變形部

146:差分絕對值計算部

147、148:乘算器

149:加算器

Claims (14)

1. 一種圖像處理裝置，其具備： 區域檢測部，其基於對攝像圖像賦予之資料而檢測1個以上之該攝像圖像中之規定區域；及 圖像處理部，其對上述區域檢測部檢測出之上述規定區域之圖像執行雜訊減低處理。
2. 如請求項1之圖像處理裝置，其中當上述區域檢測部檢測出之區域與執行上述雜訊減低處理之區域一致之情形時，上述圖像處理部執行該雜訊減低處理。
3. 如請求項2之圖像處理裝置，其中上述圖像處理部參照上述資料而判斷區域是否一致。
4. 如請求項1之圖像處理裝置，其進而具備：區域擷取部，其自上述攝像圖像擷取上述區域檢測部檢測出之上述規定區域之圖像，上述圖像處理部對上述區域擷取部擷取出之上述規定區域之圖像執行雜訊減低處理。
5. 如請求項1之圖像處理裝置，其中上述圖像處理部具備：參數算出部，其使用上述區域之圖像、及在前一個訊框經實施上述雜訊減低處理之處理圖像，算出用以將上述處理圖像變形之參數。
6. 如請求項5之圖像處理裝置，其中上述圖像處理部進而具備：變形部，其基於上述參數算出部算出之上述參數，進行上述處理圖像之變形。
7. 如請求項6之圖像處理裝置，其中上述圖像處理部進而具備：預變形部，其於上述變形部對上述處理圖像進行變形之前，使用上述資料所含之當前訊框之上述區域相關之資訊，進行對上述處理圖像之變形處理。
8. 如請求項1之圖像處理裝置，其中上述圖像處理部進而執行對上述攝像圖像之所有區域之雜訊減低處理，以規定比例合成對於上述所有區域之雜訊減低處理結果、及對於上述特定區域之圖像之雜訊減低結果。
9. 如請求項8之圖像處理裝置，其中上述圖像處理部具備算出上述規定比例之係數算出部。
10. 如請求項7之圖像處理裝置，其中上述係數算出部基於上述規定區域之雜訊減低處理結果之差分，算出上述規定比例。
11. 如請求項8之圖像處理裝置，其中上述圖像處理部於執行對於上述攝像圖像之所有區域之雜訊減低處理時，執行考慮到手振之雜訊減低處理。
12. 如請求項1之圖像處理裝置，其中上述區域檢測部、上述區域擷取部及上述圖像處理部設置於同一晶片。
13. 如請求項1之圖像處理裝置，其中上述區域檢測部、上述區域擷取部及上述圖像處理部設置於不同晶片。
14. 一種圖像處理方法，其包含： 基於對攝像圖像賦予之資料而檢測1個以上之該攝像圖像中之規定區域；及 對檢測出之上述區域執行雜訊減低處理。

Images