TW202101958A - 接收裝置及傳送裝置 - Google Patents

接收裝置及傳送裝置 Download PDF

Info

Publication number
TW202101958A
TW202101958A TW108143586A TW108143586A TW202101958A TW 202101958 A TW202101958 A TW 202101958A TW 108143586 A TW108143586 A TW 108143586A TW 108143586 A TW108143586 A TW 108143586A TW 202101958 A TW202101958 A TW 202101958A
Authority
TW
Taiwan
Prior art keywords
area
image
data
information
mode
Prior art date
Application number
TW108143586A
Other languages
English (en)
Inventor
長野宏介
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202101958A publication Critical patent/TW202101958A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0028—Serial attached SCSI [SAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明提供一種接收裝置，其具備資訊處理部，該資訊處理部以讀出拍攝區域全體之第1模式與僅讀出上述拍攝區域之一部分區域之第2模式中的至少任一者產生圖像，上述資訊處理部於以上述第2模式讀出時，根據區域使讀出速度可變。

Description

接收裝置及傳送裝置
本發明係關於一種接收裝置及傳送裝置。
影像感測器之圖像曝光方法之一有以獲取之圖像成為適當之亮度之方式調整影像感測器之曝光時間的方法。若為欲利用曝光時間彌補感度不足之先前之一般方式，則於獲取移動之被攝體之情形時，根據其曝光時間之長度而產生移動模糊。提出有如下方法：於獲取來自影像感測器之圖像信號時使曝光時間儘可能短，藉此儘可能抑制移動模糊之產生，藉由使用2圖框以上之圖框進行移動補償，而以不產生移動模糊之方式重疊，從而解決相對於適當曝光而言感度不足或SN(signal-noise，信噪)比惡化之問題。
近年來，影像感測器之高解像度化取得進展。關於此種提案技術，於使用高解像度之影像感測器之情形時，當傳輸複數張獲取圖像所需要之時間超過因硬體限制所能傳輸的時間時，影像感測器內需要成為緩衝器之記憶體。作為應對此種問題之先前技術，例如提出有專利文獻1～4等。 [先前技術文獻] [專利文獻]
[專利文獻1日本專利特開2008-160881號公報 [專利文獻2]日本專利特開平11-331643號公報 [專利文獻3]日本專利特開2001-250119號公報 [專利文獻4]日本專利特開2002-230544號公報
[發明所欲解決之問題]
然而，專利文獻1中所揭示之技術係高動態範圍之圖像之產生存在限制，專利文獻2～4中所揭示之技術由於係根據攝影後之圖像推定移動模糊並去除之方式，故而需要複雜之演算法或電路。
因此，於本發明中，提出一種可同時抑制移動模糊之產生、飽和之區域之產生、SN比之降低之產生的新穎且改良之接收裝置及傳送裝置。 [解決問題之技術手段]
根據本發明，提供一種接收裝置，其具備：接收部，其以接收拍攝區域全體之圖像資料之第1模式、與僅接收上述拍攝區域之一部分區域之第2模式的至少任一者接收圖像資料；及資訊處理部，其基於上述接收部所接收之圖像資料產生圖像；上述資訊處理部於以上述第2模式接收圖像資料時，接收附加有與上述第1模式不同之參數之圖像資料。
又，本發明根據，提供一種傳送裝置，其具備：圖像處理部，其以讀出拍攝區域全體之第1模式、與讀出上述拍攝區域之一部分區域之第2模式之至少任一者讀出圖像資料；及傳送部，其將上述圖像處理部讀出之圖像資料儲存於依據特定格式之發送信號而發送；上述圖像處理部於以上述第2模式讀出圖像時使讀出速度可變。
以下，一面參照隨附圖式，一面對本發明之較佳之實施形態詳細地進行說明。再者，於本說明書及圖式中，藉由對具有實質上相同之功能構成之構成要素標註相同之符號而省略重複說明。
再者，說明按照以下之順序進行。 1.本發明之實施形態 1.1.經過 1.2.構成例 1.3.動作例 2.總結
＜1.本發明之實施形態＞ [1.1.經過] 首先，於對本發明之實施形態詳細地進行說明之前，對完成本發明之實施形態之經過進行說明。
影像感測器之自先前以來之一般圖像獲取及圖像曝光之方法之一有以獲取之圖像成為適當之亮度之方式調整影像感測器之曝光時間的方法。例如，於考慮獲取圖像為30 fps之動態圖像之情況之情形時，於被攝體明亮而產生亮度過曝之情形時，藉由以短於1/30秒(≒33.3毫秒)之時間進行曝光而保持適當之亮度。另一方面，於被攝體較暗而無法確保適當曝光之情形時，欲最大限度地使用當30 fps時分配給1圖框之最大時間即1/30秒進行曝光而獲取圖像。
然而，於欲利用曝光時間彌補感度不足之先前之一般方式中，存在於獲取移動之被攝體時，根據其曝光時間之長度而產生移動模糊之問題。因此，已知有如下方法：於獲取來自影像感測器之圖像時使曝光時間儘可能短，藉此，儘可能地抑制移動模糊之產生而獲取圖像，使用所獲取之2圖框或其以上之圖框之圖像信號進行移動補償。藉此，以不產生移動模糊之方式重疊圖像，從而可消除相對於適當曝光而言感度不足或者SNR惡化之情況。
近年來，以廣域、及高解像度監視之用途等為目的，影像感測器之高解像度化不斷發展。若影像感測器高解像度化，則關於如上所述之先前之技術，於如自影像感測器傳輸複數張獲取圖像所需要之時間超過因硬體限制所能傳輸之時間之情形時，影像感測器內需要成為緩衝器之記憶體。
又，另一方面，即便圖像全體以1/30秒適當曝光，亦可能存在圖像內之一部分明亮部分飽和後被獲取之情形。為了應對此種情形，於專利文獻1中提出有如下技術：於獲取1圖框之圖像時分n次獲取n張圖像，自該n張圖像藉由信號處理可獲取高動態範圍之圖像。然而，專利文獻1中所揭示之技術由於傳輸速度之硬體限制，而相對於算出之最大圖框速率之動態圖像僅能以最大圖框速率之至多1/n之圖框速率製作高動態範圍圖像。
針對根據曝光時間之長度產生之移動模糊之現象，例如於專利文獻2～4等中亦提出有自所拍攝之圖像(靜止圖像或動態圖像)去除移動模糊之方法、及用以去除移動模糊之圖像處理裝置。於專利文獻2中，表示了一種圖像處理方法，該方法係為了將以900 fps以上拍攝之圖像應用於以30 fps之顯示裝置顯示之裝置，而自拍攝後之圖像將移動模糊去除。又，於專利文獻3、專利文獻4中表示了自拍攝後之圖像將移動模糊去除後輸出之即時圖像處理方法。然而，該等文獻中所記載之技術均係自攝影後之圖像推定移動模糊並去除之方式，故而需要複雜之演算法或電路，而且難以完全將移動模糊去除。
因此，本案發明者鑒於上述方面，對能夠同時抑制移動模糊之產生、飽和區域之產生、及SN比之降低之產生的技術進行了銳意研究。其結果，本案發明者創作出如下技術：如以下所說明般，藉由對設定於圖像之區域進行讀出，而能夠同時抑制移動模糊之產生、飽和區域之產生、及SN比之降低之產生。
以上，對本發明之實施形態之經過進行了說明。接著，對本發明之實施形態詳細地進行說明。
[1.2.構成例] (1)能夠應用本實施形態之傳送方法之通信系統之構成 首先，對能夠應用本實施形態之傳送方法之通信系統之構成之一例進行說明。
以下，構成本實施形態之通信系統之裝置間之通信方式列舉依據MIPI(Mobile Industry Processor Interface，移動工業處理器介面)CSI-2(Camera Serial Interface 2，攝像機串列介面2)規格之通信方式之情形為例。再者，構成本實施形態之通信系統之裝置間之通信方式並不限定於依據MIPI CSI-2規格之通信方式。例如，構成本實施形態之通信系統之裝置間之通信亦可為依據MIPI CSI-3規格之通信方式、或依據MIPI DSI(Display Serial Interface，顯示器串列介面)之通信方式等在MIPI聯盟中制定之其他規格。又，能夠應用本實施形態之傳送方法之通信方式當然並不限定於在MIPI聯盟中制定之規格之通信方式。
圖1係表示本實施形態之通信系統1000之構成之一例的說明圖。作為通信系統1000，例如，可列舉智慧型手機等通信裝置或無人機(drone)(能夠藉由遠距操作而動作、或者能夠自律地動作之設備)、汽車等移動體等。再者，通信系統1000之應用例並不限定於上述所示之示例。關於通信系統1000之其他應用例將於下文敍述。
通信系統1000例如具有圖像感測器100、處理器200、記憶體300、顯示元件400。
圖像感測器100具有拍攝功能與傳送功能，傳送表示藉由拍攝而產生之圖像之資料。處理器200接收自圖像感測器100傳送之資料，並處理所接收之資料。即，於通信系統1000中，圖像感測器100發揮傳送裝置之作用，處理器200發揮接收裝置之作用。
再者，於圖1中，表示了具有1個圖像感測器100之通信系統1000，但本實施形態之通信系統所具有之圖像感測器100之數量並不限定於圖1所示之示例。例如，本實施形態之通信系統亦可具有2個以上之圖像感測器100。
又，於圖1中，表示了具有1個處理器200之通信系統1000，但本實施形態之通信系統所具有之處理器200之數量並不限定於圖1所示之示例。例如，本實施形態之通信系統亦可具有2個以上之處理器200。
於圖像感測器100及處理器200分別具有複數個之通信系統中，圖像感測器100與處理器200可一對一地對應，亦可於1個處理器200對應複數個圖像感測器100。又，於圖像感測器100及處理器200分別具有複數個之通信系統中，亦可於1個圖像感測器100對應複數個處理器200。
於圖像感測器100及處理器200分別具有複數個之通信系統中，亦與圖1所示之通信系統1000相同地，於圖像感測器100與處理器200之間進行通信。
圖像感測器100與處理器200藉由資料匯流排B1而電性地連接。資料匯流排B1係將圖像感測器100與處理器200連接之一個信號之發送路徑。例如，表示自圖像感測器100傳送之圖像之資料(以下，存在表示為「圖像資料」之情形)經由資料匯流排B1自圖像感測器100向處理器200發送。
於通信系統1000中藉由資料匯流排B1而發送之信號例如以依據MIPI CSI-2規格等特定之規格之通信方式發送。
圖2、圖3係表示於MIPI CSI-2規格中特定之封包之格式之說明圖。圖2表示於MIPI CSI-2規格中特定之短封包(Short Packet)之格式，圖3表示於MIPI CSI-2規格中特定之長封包(Long Packet)之格式。
長封包係包括封包標頭(圖3所示之“PH”)、有效負載(圖3所示之“有效負載資料”)、及封包註腳(圖3所示之“PF”)之資料。短封包如圖2所示係具有與封包標頭(圖3所示之“PH”)相同之構造之資料。
於短封包與長封包，均於標頭部分記錄VC(Virtual Channel，虛通道)編號(圖2、圖3所示之“VC”，VC值)，針對每個封包賦予任意之VC編號。賦予同一之VC編號之封包作為屬相同之圖像資料之封包處理。
又，於短封包與長封包，均於標頭部分記錄DT(資料類型(Data Type))值(圖2、圖3所示之“資料類型”)。因此，與VC編號相同地，亦能夠將賦予同一之DT值之封包作為屬相同之圖像資料之封包處理。
於長封包之標頭部分之字計數，封包之最後以字數記錄。於短封包與長封包之標頭部分之ECC，記錄錯誤訂正碼(Error Correcting Code)。
於MIPI CSI-2規格中，於發送資料信號之期間中使用高速差動信號，又，於資料信號之遮蔽期間中使用低電力信號。又，將使用高速差動信號之期間稱為HPS(High Speed State，高速狀態)之期間，將使用低電力信號之期間稱為LPS(Low Power State，低功率狀態)之期間。
圖4係表示MIPI CSI-2規格中之封包之傳送之信號波形之一例的說明圖。圖4之A表示封包之發送之一例，圖4之B表示封包之發送之另一例。圖4所示之“ST”、“ET”、“PH”、“PF”、“SP”、“PS”分別係指下述意思。 ・ST：傳輸開始(Start of Transmission) ・ET：傳輸結束(End of Transmission) ・PH：封包標頭(Packet Header) ・PF：封包註腳(Packet Footer) ・SP：短封包(Short Packet) ・PS：封包間距(Packet Spacing)
如圖4所示，可知於LPS之期間中之差動信號(圖4所示之“LPS”)與HPS之期間中之差動信號(圖4所示之“LPS”以外)中，差動信號之振幅不同。因此，自提高發送效率之觀點而言，較理想的是儘可能不進入LPS之期間。
圖像感測器100與處理器200例如藉由與資料匯流排B1不同之控制匯流排B2而電性地連接。控制匯流排B2係將圖像感測器100與處理器200連接之其他信號之發送路徑。例如，自處理器200輸出之控制資訊自處理器200向圖像感測器100經由控制匯流排B2而發送。
控制資訊例如包含用以控制之資訊與處理命令。作為用以控制之資訊，例如，可列舉表示圖像尺寸之資料、表示圖框速率之資料、表示自接收圖像之輸出命令至輸出圖像為止之輸出延遲量之資料中之1或者2以上等用以控制圖像感測器100中之功能的資料。又，控制資訊亦可包含表示圖像感測器100之識別資訊。作為識別資訊，例如，可列舉設定於圖像感測器100之ID(Identification，識別碼)等能夠對圖像感測器100進行特定之任意之資料。
再者，經由控制匯流排B2而自處理器200向圖像感測器100發送之資訊並不限定於上述所示之示例。例如，處理器200亦可將指定圖像中之區域之區域指定資訊經由控制匯流排B2而發送。作為區域指定資訊，可列舉表示包含於區域之像素之位置之資料(例如，包含於區域之像素之位置以座標表示之座標資料等)等能夠對區域進行特定之任意之形式的資料。
於圖1中，表示了圖像感測器100與處理器200藉由控制匯流排B2而電性地連接之示例，但圖像感測器100與處理器200亦可不利用控制匯流排B2連接。例如，圖像感測器100與處理器200亦可藉由任意之通信方式之無線通信而收發控制資訊等。
以下，對構成圖1所示之通信系統1000之各裝置進行說明。
(1-1)記憶體300 記憶體300係通信系統1000所具有之記錄媒體。作為記憶體300，例如，可列舉RAM(Random Access Memory，隨機存取記憶體)等揮發性記憶體或快閃記憶體等非揮發性記憶體等。記憶體300藉由自電池等構成通信系統1000之內部電源(未圖示)供給之電力、或者自通信系統1000之外部電源供給之電力而動作。
於記憶體300，例如，記憶自圖像感測器100輸出之圖像。圖像向記憶體300之記錄例如藉由處理器200而控制。
(1-2)顯示元件400 顯示元件400係通信系統1000所具有之顯示元件。作為顯示元件400，例如，可列舉液晶顯示器或有機EL顯示器(亦被稱為Organic Electro-Luminescence Display，或者，OLED顯示器(Organic Light Emitting Diode Display，有機發光二極體顯示器))等。顯示元件400藉由自電池等構成通信系統1000之內部電源(未圖示)供給之電力、或者自通信系統1000之外部電源供給之電力而動作。
於顯示元件400之顯示畫面，例如，顯示自圖像感測器100輸出之圖像、或於處理器200中執行之應用程式之畫面、UI(User Interface，使用者介面)之畫面等各種圖像或畫面。向顯示元件400之顯示畫面之圖像等之顯示例如藉由處理器200而控制。
(1-3)處理器200(接收裝置) 處理器200接收自圖像感測器100傳送之資料，並處理所接收之資料。如上所述，處理器200於通信系統1000中發揮接收裝置之作用。關於自圖像感測器100傳送之資料之處理之構成(用以發揮接收裝置之作用之構成)之一例將於下文敍述。
處理器200例如包括由MPU(Micro Processing Unit，微處理單元)等運算電路構成之1個或者2個以上之處理器或各種處理電路等。處理器200藉由自電池等構成通信系統1000之內部電源(未圖示)供給之電力、或者自通信系統1000之外部電源供給之電力而動作。
處理器200例如進行向記憶體300等記錄媒體之圖像資料之記錄控制之處理、向顯示元件400之顯示畫面之圖像之顯示控制之處理、執行任意之應用程式軟體之處理等各種處理。作為記錄控制之處理，例如可列舉“將包含記錄命令之控制資料與記錄於記錄媒體之資料傳遞至記憶體300等記錄媒體之處理”。又，作為顯示控制之處理，例如可列舉“將包含顯示命令之控制資料與顯示於顯示畫面之資料傳遞至顯示元件400等顯示元件之處理”。
又，處理器200例如亦可藉由對圖像感測器100傳送控制資訊，而控制圖像感測器100中之功能。處理器200例如亦能夠藉由對圖像感測器100傳送區域指定資訊，而控制自圖像感測器100傳送之資料。
(1-4)圖像感測器100(傳送裝置) 圖像感測器100具有拍攝功能與傳送功能，且傳送表示藉由拍攝而產生之圖像之資料。如上所述，圖像感測器100於通信系統1000中發揮傳送裝置之作用。
圖像感測器100例如包含“數位靜態相機或數位攝錄影機、立體照相機等拍攝元件”或“紅外線感測器”、“距離圖像感測器”等能夠產生圖像之任意方式之圖像感測器元件，具有傳送所產生之圖像之功能。於圖像感測器100中產生之圖像與表示圖像感測器100中之感測結果之資料符合。關於圖像感測器100之構成之一例，將於下文敍述。
圖像感測器100藉由下述本實施形態之傳送方法，傳送與對圖像設定之區域對應之資料(以下，表示為「區域資料」)。區域資料之傳送之控制例如藉由作為圖像感測器100中之圖像處理部發揮功能之構成要素(下述)而進行。存在對圖像設定之區域被稱為ROI(Region Of Interest，注意區域)之情形。以下，存在將對圖像設定之區域表示為「ROI」之情形。
作為對圖像設定區域之處理，例如，可列舉“自圖像檢測物體，設定包含經檢測之物體之區域之處理”、“設定藉由對任意之操作元件之操作等而指定之區域的處理”等能夠對圖像中之一部分區域進行特定的任意處理(或者，能夠自圖像將一部分區域切出之任意處理)。
對圖像設定區域之處理可由圖像感測器100進行，亦可於處理器200等外部裝置中進行。於圖像感測器100進行對圖像設定區域之處理之情形時，圖像感測器100根據對圖像設定區域之處理之結果對區域進行特定。又，例如，於在外部裝置中進行對圖像設定區域之處理之情形時，圖像感測器100基於自外部裝置獲取之區域指定資訊，對區域進行特定。
圖像感測器100藉由傳送區域資料，即，藉由傳送圖像之一部分之資料，而與發送圖像全體相比發送之資料量變小。因此，圖像感測器100藉由傳送區域資料，而發揮例如縮短發送時間，降低通信系統1000中之發送之負載等藉由降低資料量而發揮之各種效果。
再者，圖像感測器100亦能夠傳送表示圖像全體之資料。
於圖像感測器100具有傳送區域資料之功能、及傳送表示圖像全體之資料之功能之情形時，圖像感測器100能夠選擇性地切換進行傳送區域資料與傳送表示圖像全體之資料。
圖像感測器100例如藉由所設定之動作模式，傳送區域資料，或者，傳送表示圖像全體之資料。動作模式之設定例如藉由對任意操作元件之操作等而進行。
又，圖像感測器100亦可基於自外部裝置獲取之區域指定資訊，選擇性地切換傳送區域資料與傳送表示圖像全體之資料。圖像感測器100例如於自外部裝置獲取區域指定資訊時，傳送與該區域指定資訊對應之區域之區域資料，於未自外部裝置獲取區域指定資訊時，傳送表示圖像全體之資料。
通信系統1000例如具有圖1所示之構成。再者，本實施形態之通信系統之構成並不限定於圖1所示之示例。
例如，於圖1中，作為發揮傳送裝置之作用之裝置列舉圖像感測器100為例，但發揮傳送裝置之作用之裝置並不限定於圖像感測器100。例如，於本實施形態之通信系統為具有拍攝元件等圖像感測器元件、及與圖像感測器元件電性地連接之傳送器之構成之情形時，該傳送器亦可發揮傳送裝置之作用。
又，於圖1中，作為發揮接收裝置之作用之裝置，列舉處理器200為例，但發揮接收裝置之作用之裝置並不限定於處理器200。例如，於本實施形態之通信系統中，具有接收資料之功能之任意元件能夠發揮接收裝置之作用。
又，於在通信系統之外部之記錄媒體記憶自圖像感測器100傳送之圖像之情形時，於自圖像感測器100傳送之圖像記憶於處理器200所具備之記憶體之情形時，或者，於未記錄自圖像感測器100傳送之圖像之情形時等，本實施形態之通信系統亦可不具有記憶體300。
又，本實施形態之通信系統能夠採用不具有圖1所示之顯示元件400之構成。
進而，本實施形態之通信系統亦可具有與應用下述本實施形態之通信系統之電子設備所具有之功能對應的任意構成。
以上，作為本實施形態，列舉通信系統進行了說明，但本實施形態並不限定於該形態。本實施形態例如可應用於智慧型手機等通信裝置、或無人機(能夠進行遠距操作之動作或者自律性的動作之設備)、汽車等移動體、PC(Personal Computer，個人電腦)等電腦、平板型之裝置、遊戲機、監視攝影機等各種電子設備。
說明於此種通信系統中，用以同時抑制移動模糊之產生、飽和區域之產生、及SN比之降低之產生的動作之概要。
圖5係表示於將圖像全體自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。於圖5中，表示了於某任意之圖框中使曝光時間變短(於圖5之示例中為1/480秒)之情況。若如此將圖像全體自圖像感測器100發送至處理器200，則如上所述高動態範圍圖像之產生存在限制。
圖6係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。於圖6中，表示了於某任意之圖框中使曝光時間變短(於圖6之示例中為1/480秒)，進而於該圖框中將垂直方向之尺寸為全體之1/16之資料發送複數個(於圖6之示例中為16個)之情況。即，於本實施形態中，圖像感測器100具有將拍攝區域全體讀出後發送至處理器200之模式、與將所設定之區域(ROI)讀出後發送至處理器200之模式之至少2個模式。
於本實施形態中，藉由如此發送資料，與發送圖像全體之情形時資料之發送量不變，但藉由僅發送圖像之一部分區域，而關於該區域能夠使高解像度之圖像產生於處理器200。
(圖像感測器100) 繼而，對本實施形態之圖像感測器100之構成例進行說明。圖7係表示本實施形態之圖像感測器100之構成之一例的硬體方塊圖。圖像感測器100例如具備圖像感測器元件102及IC(integrated circuit，積體電路)晶片104。圖7所示之圖像感測器100藉由自電池等構成通信系統1000之內部電源(未圖示)供給之電力、或者自通信系統1000之外部電源供給之電力而動作。
圖像感測器元件102例如為“數位靜態相機等拍攝元件”或“紅外線感測器”、“距離圖像感測器”等能夠產生圖像之任意方式之圖像感測器元件。
若列舉一例，則作為圖像感測器元件102發揮功能之拍攝元件包含透鏡/拍攝元件及信號處理電路而構成。
透鏡/拍攝元件例如包括光學系統之透鏡及使用CMOS (Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)或CCD(Charge Coupled Device，電荷耦合元件)等複數個拍攝元件之影像感測器。
信號處理電路例如具備AGC(Automatic Gain Control，自動增益控制)電路或ADC(Analog to Digital Converter，類比至數位轉換器)，將藉由拍攝元件產生之類比信號轉換為數位信號(圖像資料)。又，信號處理電路例如進行RAW顯影之各種處理。進而，信號處理電路例如亦可進行白平衡(White Balance)修正處理或色調修正處理、伽瑪修正處理、YCbCr轉換處理、邊緣強調處理等各種信號處理。
又，信號處理電路亦可進行對圖像設定區域之處理，將區域指定資訊向IC晶片104傳達。進而，信號處理電路亦可將曝光資訊或增益資訊等各種資料向IC晶片104傳達。
表示藉由圖像感測器元件102產生之圖像之信號向IC晶片104傳達。再者，於表示自圖像感測器元件102向IC晶片104傳達之圖像之信號為類比信號之情形時，IC晶片104例如利用所具備之ADC將類比信號轉換為數位信號，對藉由轉換所得之圖像資料進行處理。以下，列舉自圖像感測器元件102向IC晶片104傳達圖像資料之情形為例。
IC晶片104為將集成有資料之傳送功能之電路之IC(Integrated Circuit)形成為晶片狀者，對自圖像感測器元件102傳達之圖像資料進行處理，傳送與所產生之圖像對應之資料。所謂與圖像對應之資料，係指自圖像感測器元件102傳達之圖像資料(即，表示圖像全體之資料)，或者區域資訊及區域資料。再者，資料之傳送功能之電路並不限定於以1個IC晶片之形態實現，亦可由複數個IC晶片形成。
IC晶片104例如具備圖像處理電路106、LINK控制電路108、ECC產生電路110、PH產生電路112、EBD用緩衝器114、圖像資料緩衝器116、合成電路118、及傳送電路120。
圖像處理電路106係具有進行本實施形態之傳送方法之處理之功能的一個電路。於進行本實施形態之傳送方法之處理之情形時，圖像處理電路106將區域資訊針對圖像中之每列設定，藉由LINK控制電路108、ECC產生電路110、PH產生電路112、EBD用緩衝器114、圖像資料緩衝器116、合成電路118、及傳送電路120針對每列傳送所設定之區域資訊及與區域對應之區域資料。又，圖像處理電路106亦可針對每列傳送自圖像感測器元件102傳達之圖像資料(即，表示圖像全體之資料)。
作為圖像處理電路106，例如可列舉MPU等處理器。
將圖像處理電路106所具有之功能分功能塊進行說明。如圖7所示，圖像處理電路106例如具有區域切出部122、圖像處理控制部124、及編碼部126。
區域切出部122發揮進行對圖像設定區域之處理之作用，對自圖像感測器元件102傳達之圖像資料所示之圖像，設定區域(ROI)。區域切出部122例如根據所設定之動作模式，進行對圖像設定區域之處理。例如，區域切出部122於動作模式為傳送區域資料之動作模式之情形時，進行對圖像設定區域之處理。又，區域切出部122於動作模式為傳送表示圖像全體之資料之動作模式之情形時，不進行對圖像設定區域之處理。
區域切出部122例如對圖像進行任意物體檢測處理而檢測物體，針對檢測出之每個物體，設定包含檢測出之物體之區域。又，區域切出部122亦可設定藉由對任意操作元件之操作等所指定之區域。
於設定區域之情形時，區域切出部122例如將表示所設定之區域之區域指定資訊向圖像處理控制部124傳達。又，於未設定區域之情形時，區域切出部122不將區域指定資訊向圖像處理控制部124傳達。
又，區域切出部122將自圖像感測器元件102傳達之圖像資料向編碼部126傳達。
圖像處理控制部124發揮進行本實施形態之傳送方法之處理之作用，針對圖像中之每列設定區域資訊，將所設定之區域資訊向編碼部126及PH產生電路112傳達。
圖像處理控制部124例如基於自區域切出部122獲取之區域指定資訊、或者自外部裝置獲取之區域指定資訊(未圖示)，對圖像中之各列所包含之區域進行特定。而且，圖像處理控制部124基於特定出之區域，針對每列設定區域資訊。此時，圖像處理控制部124如上述例外處理所示，可不將不自前一個傳送之列之區域資訊中所包含之資訊變化的資訊設定為區域資訊。
又，於未獲取區域指定資訊之情形時，圖像處理控制部124不設定區域資訊。
再者，圖像處理控制部124中之處理並不限定於上述所示之示例。
例如，圖像處理控制部124例如亦可產生圖框資訊，將所產生之圖框資訊向LINK控制電路108傳達。作為圖框資訊，例如，可列舉針對每圖框賦予之VC之編號。又，圖框資訊亦可包含YUV資料、RGB資料或者RAW資料等表示資料類型之資料。
又，例如，圖像處理控制部124亦可進行設定附加資訊之處理，將所設定之附加資訊向EBD用緩衝器114傳達。
作為設定附加資訊之處理，例如可列舉產生附加資訊之處理。作為產生附加資訊之處理，例如可列舉產生表示區域之資料量之資訊之處理、產生表示區域之大小之資訊之處理、及產生表示區域之優先度之資訊之處理中之1個或者2個以上。
再者，設定附加資訊之處理並不限定於產生附加資訊之處理。例如，圖像處理控制部124亦可將曝光資訊或增益資訊等自圖像感測器元件102獲取之資訊作為附加資訊設定。又，圖像處理控制部124例如亦可將表示物理區域長度之資料、表示輸出區域長度之資料、表示圖像格式之資料、表示資料總量之資料等與各種區域相關之資料作為附加資訊設定。作為物理區域長度，例如可列舉圖像感測器元件102之像素數。作為輸出區域長度，例如可列舉自圖像感測器元件102輸出之圖像之像素數(圖像上之長度)。
編碼部126例如將自圖像感測器元件102傳達之圖像資料以例如與JPEG(Joint Photographic Experts Group，聯合圖像專家組)規格對應之方式等特定之方式編碼。
於未自圖像處理控制部124獲取區域資訊之情形時，編碼部126將經編碼之圖像資料向圖像資料緩衝器116傳達。以下，存在將經編碼之圖像資料、即表示經編碼之圖像全體之資料表示為「通常資料」之情形。
又，於自圖像處理控制部124獲取區域資訊之情形時，編碼部126將所獲取之區域資訊及與區域對應之經編碼之區域資料向圖像資料緩衝器116傳達。
圖像處理電路106例如藉由具有區域切出部122、圖像處理控制部124、及編碼部126，而進行本實施形態之傳送方法之處理。再者，圖7所示之圖像處理電路106之功能塊為將圖像處理電路106所具有之功能方便起見切開者，圖像處理電路106中之功能之切開方法並不限定於圖7所示之示例。
LINK控制電路108例如將圖框資訊針對每列傳達至ECC產生電路110、PH產生電路112、及合成電路118。
ECC產生電路110針對每列設定錯誤校正碼。ECC產生電路110例如基於圖框資訊中之1列之資料(例如，VC之編號、資料類型等)，產生該列之錯誤校正碼。ECC產生電路110例如將所產生之錯誤校正碼傳達至PH產生電路112與合成電路118。又，ECC產生電路110亦可與PH產生電路112聯合產生錯誤校正碼。
PH產生電路112使用圖框資訊，針對每列產生封包標頭。
PH產生電路112亦可基於自圖像處理電路106(於圖7之示例中，為圖像處理控制部124)傳達之區域資訊，產生封包標頭。具體而言，PH產生電路112基於區域資訊，將如上所述之“表示區域資訊中所包含之資訊是否自前一個傳送之封包中所包含之區域資訊變化的資料”(變化資訊)設定於封包標頭。
EBD用緩衝器114為暫時保存自圖像處理電路106(於圖7之示例中，為圖像處理控制部124)傳達之附加資訊之緩衝器。EBD用緩衝器114於特定之時序將附加資訊作為“嵌入式資料(EmbeddedData)”輸出至合成電路118。再者，自EBD用緩衝器114輸出之“嵌入式資料”亦可經由下述圖像資料緩衝器116傳達至合成電路118。又，於掌握作為接收裝置之處理器200傳送之附加資訊(ROI資訊)之情形時，藉由暫存器設定等，亦可省略自下述傳送電路120傳送相當於上述附加資訊之EBD資料。
圖像資料緩衝器116為暫時保存自圖像處理電路106(於圖7之示例中，為編碼部126)傳達之資料(通常資料、或者區域資訊及區域資料)之緩衝器。圖像資料緩衝器116將所保存之資料於特定之時序針對每列輸出至合成電路118。
合成電路118例如基於分別自ECC產生電路110、PH產生電路112、EBD用緩衝器114、及圖像資料緩衝器116獲取之資料，產生發送之封包。
傳送電路120將自合成電路118傳達之封包針對每列經由資料匯流排B1(信號之發送路徑之一例，以下相同)，作為發送資料147A傳送。例如，傳送電路120藉由如圖4所示之高速差動信號而傳送封包。
此處，對本實施形態之圖像感測器100所發送之資料之具體例進行說明。圖8係表示本實施形態之圖像感測器100所發送之資料之具體例的說明圖。
圖8所示之“FS”係MIPI CSI-2規格中之FS(Frame Start，圖框起始)封包，圖8所示之“FE”係MIPI CSI-2規格中之FE(Frame End，圖框結束)封包(於其他圖中亦相同)。
圖8所示之“嵌入式資料”係能夠嵌入至所發送之封包之資料。“嵌入式資料”例如能夠嵌入至所發送之封包之標頭、有效負載、或者註腳。圖8所示之示例中，於一個封包之“嵌入式資料”中儲存區域資訊，儲存有區域資訊之“嵌入式資料”相當於附加資料。
於本實施形態中，傳送表示區域大小之資訊、及表示於該區域發送之圖框接著哪一圖框之資訊作為“嵌入式資料”。藉由傳送表示區域大小之資訊、及表示於該區域發送之圖框接著哪一圖框之資訊作為圖8所示之“嵌入式資料”，處理器200能以包含圖8之t＝0所示之區域之最小矩形區域、t＝1所示之最小矩形區域的方式，將包含至t＝15所示之區域之最小矩形區域特定出n個(於圖8之示例中為16個)。即，藉由傳送表示區域大小之資訊、及表示於該區域發送之圖框接著哪一圖框之資訊作為圖8所示之“嵌入式資料”，即便於處理器200不具有基於區域資訊對包含各區域之最小矩形區域進行特定的功能、及對在該區域發送之圖框接著哪一圖框進行特定之功能的情形時，亦可使處理器200基於區域資訊特定出包含各區域之最小矩形區域、及該區域接著哪一圖框。再者，表示區域大小之資訊當然並不限定於表示包含各區域之最小矩形區域的資料。
再者，作為圖8所示之“嵌入式資料”傳送之表示區域之資料量之資訊、表示區域大小之資訊、及表示於該區域發送之圖框接著哪一圖框之資訊各自之示例當然並不限定於上述所示之示例。進而，未必需要傳送該等資訊之全部。
首先，於自圖像感測器100發送圖像全體之情形時，針對各圖框將圖像資料儲存於有效負載資料(Payload Data)並發送。於圖8之示例中，將1個圖像於垂直方向上16分割，於分割後之各列之有效負載資料儲存有圖像資料。當然，每1圖框之垂直方向之分割數量並不限定於該例。
繼而，於自圖像感測器100將圖像之一部分區域、例如圖6所示於垂直方向上1/16尺寸之圖像發送自第0個至第15個合計16個之情形時，於有效負載資料儲存有第0個至第15個之資料。藉此，圖像感測器100能夠以與發送圖像全體之情形時相同之資料量，將曝光時間較短之圖像發送複數個。
作為接收裝置之處理器200若於“嵌入式資料”中有區域大小之資料、及整個畫面僅以傳輸1圖框所需要之時間持續傳送之資訊，則即便未明示該區域之傳輸接著哪一圖框之資訊，亦可根據“嵌入式資料”之內容獲取表示該區域之傳輸接著哪一圖框之資訊。
圖像感測器100所發送之資料之示例並不限定於該例。圖9係表示本實施形態之圖像感測器100所發送之資料之具體例的說明圖。圖9所示之示例係如圖6所示於垂直方向上將1/16尺寸之圖像發送第0個至第15個合計16個之情形之具體例。與圖8所示之示例不同，關於各圖像自“FS”封包開始利用“FE”封包發送資料。於該例中，關於第0個至第15個之各圖像發送“嵌入式資料”，故而資料量較圖8所示者略微增加，但有效負載資料之資料量與圖8所示者不變。藉此，圖像感測器100能以與發送圖像全體之情形時幾乎不變之資料量將曝光時間較短之圖像發送複數個。
(處理器200) 其次，對處理器200進行說明。圖10係表示本實施形態之處理器200之構成之一例的圖。處理器200係以與圖像感測器100共通之規格(例如，MIPI CSI-2規格、MIPI CSI-3規格、或MIPI DSI規格)接收信號之裝置。處理器200例如具有接收部210及資訊處理部220。接收部210係如下電路：藉由經由資料通道DL接收自圖像感測器100輸出之發送資料147A，並對已接收之發送資料147A進行特定之處理，而產生各種資料(214A、215A、215B)，並輸出至資訊處理部220。資訊處理部220係如下電路：基於自接收部210接收之各種資料(214A、215A)，產生ROI圖像223A，或者基於自接收部210接收之資料(215B)，產生通常圖像224A。
接收部210例如具有標頭分離部211、標頭解釋部212、有效負載分離部213、EBD解釋部214及ROI資料分離部215。
標頭分離部211經由資料通道DL自圖像感測器100接收發送資料147A。即，標頭分離部211接收包含關於在由圖像感測器100拍攝之圖像中設定之區域ROI之ROI資訊、並且使各區域ROI之圖像資料包含在長封包(LongPacket)之有效負載資料中之發送資料147A。標頭分離部211將所接收之發送資料147A分離為圖框標頭區域與封包區域。標頭解釋部212基於圖框標頭區域中所包含之資料(具體而言嵌入式資料)，對封包區域中所包含之長封包之有效負載資料之位置進行特定。有效負載分離部213基於由標頭解釋部212特定之長封包之有效負載資料之位置，將封包區域中所包含之長封包之有效負載資料自封包區域分離。又，於處理器掌握EBD資料、長封包等中所包含之附加資訊(ROI資訊)之情形時，亦可省略該ROI資訊之一部分或者全部之傳送。具體而言，處理器藉由將相當於EBD資料之資訊保存於標頭解釋部212，基於該資訊對封包區域中所包含之長封包之有效負載資料之位置進行特定。
EBD解釋部214將嵌入式資料作為EBD資料214A，輸出至資訊處理部220。EBD解釋部214進而根據嵌入式資料中所包含之資料類型，判別長封包之有效負載資料中所包含之圖像資料係ROI之圖像資料之壓縮像資料，或者係通常圖像資料之壓縮像資料。EBD解釋部214將判別結果輸出至ROI資料分離部215。
於長封包之有效負載資料中所包含之圖像資料為ROI之圖像資料之壓縮像資料之情形時，ROI資料分離部215將長封包之有效負載資料作為有效負載資料215A，輸出至資訊處理部220(具體而言為ROI解碼部222)。於有效負載資料中所包含之圖像資料為通常圖像資料之壓縮像資料之情形時，ROI資料分離部215將長封包之有效負載資料作為有效負載資料215B，輸出至資訊處理部220(具體而言為通常圖像解碼部224)。於長封包之有效負載資料中包含ROI資訊之情形時，有效負載資料215A包含ROI資訊及壓縮像資料中1線量之像素資料。
資訊處理部220自EBD資料214A中所包含之嵌入式資料擷取ROI資訊。資訊處理部220基於由資訊擷取部221擷取之ROI資訊，自藉由接收部210接收之發送資料中所包含之長封包之有效負載資料，擷取拍攝圖像中之各注目區域ROI之圖像。資訊處理部220例如具有資訊擷取部221、ROI解碼部222、ROI圖像產生部223、通常圖像解碼部224及記憶體225。
通常圖像解碼部224將有效負載資料215B解碼，產生通常圖像224A。ROI解碼部222將有效負載資料215A中所包含之壓縮像資料147B解碼，產生圖像資料222A。該圖像資料222A包括1個或者複數個發送圖像。
資訊擷取部221自EBD資料214A中所包含之嵌入式資料，擷取ROI資訊。資訊擷取部221例如自EBD資料214A中所包含之嵌入式資料，例如擷取拍攝圖像中所包含之注目區域ROI之數量、各注目區域ROI之區域編號、各注目區域ROI之資料長度、及各注目區域ROI之圖像格式。
ROI圖像產生部223基於由資訊擷取部221所得之ROI資訊，產生拍攝圖像中之各注目區域ROI之圖像。ROI圖像產生部223將所產生之圖像作為ROI圖像223A輸出。
記憶體225暫時地記憶ROI圖像產生部223所產生之ROI圖像。ROI圖像產生部223於產生ROI圖像時，進行使用蓄積於記憶體225之ROI圖像合成圖像之處理。藉此，ROI圖像產生部223可產生抑制移動模糊之ROI圖像。
圖6表示了發送垂直方向之尺寸為全體之1/16之圖像之示例，此處表示其他示例。圖11係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。於圖11中，表示了於某任意之圖框中使曝光時間變短(於圖11之示例中為1/480秒)，進而於該圖框中將垂直方向之尺寸及水平方向之尺寸分別為全體之1/4資料發送複數個(於圖11之示例中為16個)之情況。
圖12係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。於圖12中，表示了於某任意之圖框中使曝光時間變短(於圖12之示例中為1/240秒)，進而於該圖框中將垂直方向之尺寸為全體之1/8、水平方向之尺寸為全體之1/4之複數個(於圖12之示例中為8個)之資料、及垂直方向之尺寸為全體之1/16、水平方向之尺寸為全體之1/2之資料發送複數個(於圖12之示例中為8個)之情況。即，既可根據由圖像感測器100讀出之區域之大小決定曝光時間，亦可根據圖像感測器100中之曝光時間(或者圖框速率)決定由圖像感測器100讀出之區域之大小。例如，ROI圖像產生部223既可對圖像感測器100，配合作為ROI圖像產生之尺寸決定圖像感測器100中之圖框速率，亦可配合圖像感測器100中之圖框速率決定ROI圖像之尺寸。
圖13係表示實現如圖12所示之發送時之本實施形態之圖像感測器100所發送之資料之具體例的說明圖。於自圖像感測器100將如圖12之2個區域之圖像分別發送第0個至第7個合計8個之情形時，於有效負載資料中儲存有第0個至第7個之資料。藉此，圖像感測器100能以與發送圖像全體之情形時相同之資料量，將曝光時間短之圖像發送複數個。
圖像感測器100於自發送一部分區域之圖框恢復至發送所有區域之圖框時，亦可使相對於上述一部分區域之短時間之曝光與相對於未作為上述一部分區域指定之區域之長時間的曝光混合存在。圖像感測器100藉由執行混合存在之曝光，可自恢復最初之圖框實現整個畫面幾乎一樣之曝光。
圖14係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。於圖14中表示如下情況：於某任意之圖框中使曝光時間變短(於圖14之示例中為1/240秒)，進而於該圖框中將垂直方向之尺寸為全體之1/8、水平方向之尺寸為全體之1/4之資料發送複數個(於圖14之示例中為8個)，以及將垂直方向之尺寸為全體之1/16、水平方向之尺寸為全體之1/2之資料發送複數個(於圖14之示例中為8個)。
此處，於第n＋1個圖框中，對於一部分區域之短時間曝光、與對於未被指定為一部分區域之區域之長時間曝光混合存在。自圖像感測器100接收發送之處理器200藉由將對於一部分區域之短時間曝光之結果相加，並與對於該區域以外之區域之曝光結果合成，可自恢復最初之圖框實現整個畫面幾乎一樣之曝光。
表示其他示例。圖15係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變變化時之動作之概要的說明圖。於圖15中，表示了於某任意之圖框中使曝光時間短(於圖15之示例中為1/480秒)，進而於該圖框中將垂直方向之尺寸為全體之1/8、水平方向之尺寸為全體之1/2之資料發送複數個(於圖15之示例中為16個)之情況。
於該情形時，亦於第n＋1個之圖框中，相對於一部分區域之短時間之曝光、與相對於未作為一部分區域指定之區域之長時間之曝光混合存在。自圖像感測器100接收發送之處理器200藉由將相對於一部分區域之短時間之曝光之結果相加，與相對於該區域以外之區域之曝光之結果合成，可自恢復最初之圖框實現整個畫面幾乎一樣之曝光。
圖像感測器100藉由具備複數個執行來自圖像感測器元件102之讀出之電路，可同時執行複數個區域之讀出。圖16係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。於圖16中，表示了於某任意之圖框中使曝光時間變短(於圖16之示例中為1/480秒)，進而於該圖框中將垂直方向之尺寸為全體之1/4、水平方向之尺寸為全體之1/8之2個資料發送複數個(於圖16之示例中為16個)之情況。
圖像感測器100可使以圖框單位讀出之區域變化。例如，處理器200(或者處理器200之後段之裝置)於某圖框中於一部分區域之中偵測動態物體。於該情形時，處理器200(或者處理器200之後段之裝置)為了更詳細地獲取所偵測之動態物體之移動，可自下一圖框僅將包含該動態物體之區域對圖像感測器100指定。
圖17係表示於僅將對圖像設定之區域自圖像感測器100發送至處理器200之情形時使圖框之曝光時間變化時之動作之概要的說明圖。例如，於某任意之圖框中使曝光時間變短(於圖17之示例中為1/480秒)，進而於該圖框中，將垂直方向之尺寸為全體之1/4、水平方向之尺寸為全體之1/4之2個資料發送複數個(於圖17之示例中為16個)。
處理器200(或者處理器200之後段之裝置)若於該圖框中檢測動態物體，則於下一圖框中，對圖像感測器100指示進而使曝光時間變短(於圖17之示例中為1/1920秒)。進而，處理器200(或者處理器200之後段之裝置)對圖像感測器100指示於該圖框中讀出垂直方向之尺寸為全體之1/8、水平方向之尺寸為全體之1/8之圖像、及垂直方向之尺寸為全體之1/16、水平方向之尺寸為全體之1/4之圖像。
本發明之實施形態之圖像感測器100藉由對一部分區域執行曝光，能以高畫質、高感度拍攝及製作高動態範圍之動圖像。此處，區域之指定方法可為任意之方法。例如，亦可藉由利用處理器200(例如ROI圖像產生部223)計算成為區域之大小之資訊之區域資訊資料，並將該區域資訊資料之計算結果傳送至圖像感測器100，而指定曝光之區域。此處，區域資訊資料中可包含區域之寬度、高度、座標等。
此處，對ROI區域之資料格式之一例進行說明。圖18係表示ROI區域之示例之說明圖。例如，如圖18所示，存在A～D之4個ROI區域。圖19係表示ROI區域之資料格式之一例之說明圖。
“PH”表示封包標頭。“嵌入式資料”係能夠嵌入至所發送之封包之資料。“嵌入式資料”至少可包含識別ROI區域之ID、ROI區域之左上之座標之位置資訊、ROI區域之高度及寬度。自圖19所示之格式之第3列起，儲存實際之ROI區域之資料。此處，於如圖18之區域A與區域B般ROI區域重疊之情形時，重疊之區域僅儲存一次。
繼而，對在本實施形態之通信系統中自圖像感測器100(傳送裝置)向處理器200(接收裝置)之圖像之傳送所利用之封包之構造的其他示例進行說明。於本實施形態之通信系統中，將藉由圖像感測器100拍攝之圖像分割為列單位之部分圖像，將每列之該部分圖像之資料利用1個以上之封包傳送。該情況關於對圖像設定之區域之區域資料(即，設定有ROI之部分之圖像之資料)亦相同。
例如，圖20係用以對在本實施形態之通信系統中圖像之資料之傳送所利用之封包之構造之一例進行說明的說明圖。如圖20所示，圖像之傳送所利用之封包(Packet)係於資料串流中，特定為於起動碼(Start Code)開始、於結束碼(End Code)結束之一系列之資料。又，於該封包中，標頭(Header)與有效負載資料(Payload Data)按照該順序排列而包含。又，亦可於有效負載資料之後附加註腳(Footer)。有效負載資料(以下，亦簡稱為「有效負載」)包含列單位之部分圖像之像素資料。於標頭中，包含與對應於有效負載中所包含之部分圖像之列相關之各種資訊。於註腳中，包含附加性的資訊(選項)。
此處，對標頭中所包含之資訊進行說明。如圖20所示，於標頭中，依次包含「圖框起始(Frame Start)」、「圖框結束(Frame End)」、「列有效(Line Valid)」、「列號(Line Number)」、「EBD列(EBD Line)」、「資料ID(Data ID)」、「預留(Reserved)」、及「標頭ECC(Header ECC)」。
圖框起始係表示圖框之開頭之1位元之資訊。例如，於成為傳送對象之圖像之資料中第1列之像素資料之發送所使用之封包之標頭的圖框起始中設定1之值，於其他列之像素資料之發送所使用之封包之標頭的圖框起始中設定0之值。再者，圖框起始相當於「表示圖框之開始之資訊」之一例。
圖框結束係表示圖框之終端之1位元之資訊。例如，於成為傳送對象之圖像之資料中於有效負載包含有效像素區域之終端行之像素資料之封包之標頭的圖框結束中設定1之值，於其他列之像素資料之發送所使用之封包之標頭的圖框結束中設定0之值。再者，圖框結束相當於「表示圖框之結束之資訊」之一例。
圖框起始與圖框結束相當於與圖框相關之資訊即圖框資訊(Frame Information)之一例。
列有效係表示儲存於有效負載之像素資料之列是否為有效像素之列之1位元的資訊。於有效像素區域內之列之像素資料之發送所使用之封包之標頭的列有效中設定1之值，於其他列之像素資料之發送所使用之封包之標頭的列有效中設定0之值。再者，列有效相當於「表示對應之列是否有效之資訊」之一例。
列號係表示包括儲存於有效負載之像素資料之列之列編號之13位元之資訊。
EBD列係表示是否為具有嵌入之資料之列之1位元的資訊。即，EBD列相當於「表示是否為具有嵌入之資料之列之資訊」的一例。
資料ID係於分為複數個串流傳輸資料之情形時用以識別各資料(即，有效負載中所包含之資料)之4位元的資訊。再者，資料ID相當於「有效負載中所包含之資料之識別資訊」之一例。
列有效、列號、EBD列、及資料ID成為與列相關之資訊即列資訊(Line Information)。
預留係擴展用之27位元之區域。再者，以下，亦將作為預留所示之該區域稱為「擴展區域」。又，標頭資訊全體之資料量為6位元組。
如圖20所示，於接著標頭資訊配置之標頭ECC中，包含基於6位元組之標頭資訊計算出之2位元組之錯誤檢測碼CRC(Cyclic Redundancy Check，循環冗餘檢查)碼。即，標頭ECC相當於「標頭中所包含之資訊之錯誤校正碼」之一例。又，於標頭ECC中，接著CRC碼，包含2個標頭資訊及與作為CRC碼之組之8位元組之資訊相同的資訊。
即，於1個封包之標頭中，包含3個相同之標頭資訊與CRC碼之組。標頭全體之資料量為第1組之標頭資訊與CRC碼之組之8位元組、第2組之標頭資訊與CRC碼之組之8位元組、及第3組之標頭資訊與CRC碼之組之8位元組之合計24位元組。
此處，參照圖21及圖22，對設置於封包之標頭之擴展區域(預留)進行說明。圖21及圖22係用以對設置於封包之標頭之擴展區域進行說明之說明圖。
如圖21所示，擴展區域對開頭之3位元，設定表示與利用封包傳送之資訊對應之類別之資訊，作為標頭資訊之類別(Header Info Type)。根據該標頭資訊之類別，決定擴展區域中將指定該標頭資訊之類別之3位元除外之其餘24位元之區域所設定的資訊之格式(即，資訊之類別或設定該資訊之位置)。藉此，接收側藉由確認標頭資訊之類別，可識別於擴展區域中除了指定該標頭資訊之類別之區域以外之其他區域之哪個位置設定哪種資訊，並讀出該資訊。
例如，圖22中表示了使封包之有效負載長度(換言之，列長度)可變之情形時之設定之一例，作為標頭資訊之類別之設定及與該設定對應之擴展區域之使用方法之一例。具體而言，於圖22所示之示例中，對標頭資訊之類別，設定與使有效負載長度可變之情形時之類別對應之值。更具體而言，於圖22所示之示例中，對標頭資訊之類別設定「001」，作為於圖21所示之示例中與設定有該標頭資訊之類別之「000」不同之值。即，於該情形時，標頭資訊之類別中與「001」對應之類別係指有效負載長度可變之情形時之類別。又，於圖22所示之示例中，擴展區域中之14位元被分配至「列長度(Line Length)」。「列長度」係用以通知有效負載長度之資訊。藉由此種構成，接收側基於作為標頭資訊之類別設定之值，識別有效負載長度可變，並且將作為「列長度」設定於擴展區域之值讀出，藉此，可識別有效負載長度。
以上，參照圖20～圖22，對在本實施形態之通信系統中自圖像感測器100(傳送裝置)向處理器200(接收裝置)之圖像之傳送所利用之封包之構造的一例進行了說明。
繼而，作為本發明之通信系統之技術性特徵，對用以傳送對圖像設定之區域(ROI)之區域資料之傳送方式的一例進行說明。
圖像感測器100將對圖像設定之區域之區域資料儲存於封包之有效負載並針對每列傳送。因此，於以下之說明中，方便起見，亦將對圖像設定之區域中相當於各列之部分稱為「部分區域」。
(資料之格式) 首先，圖23係用以對所傳送之資料之格式進行說明之說明圖。於圖23中，由參照符號A1所示之一系列之封包模式性地表示傳送對圖像設定之區域之區域資料之封包(換言之，傳送有效像素區域之資料之封包)。又，由參照符號A2及A3所示之一系列之封包相當於與傳送區域資料之封包不同的封包。再者，於以下之說明中，於將由參照符號A1、A2、及A3所示之各封包加以區別之情形時，方便起見，亦分別稱為「封包A1」、「封包A2」、及「封包A3」。即，於傳送1圖框量之資料之期間，於傳送一系列之封包A1之前，傳送一系列之封包A2。又，亦可於傳送一系列之封包之後，傳送一系列之封包A3。再者，封包A2及A3之至少任一者相當於「第1封包」之一例。又，封包A1相當於「第2封包」之一例。
於圖23所示之示例中，一系列之封包A2中至少一部分用於嵌入式資料之傳送。例如，嵌入式資料亦可儲存於封包A2之有效負載而傳送。又，作為另一例，嵌入式資料亦可儲存於封包A2中與有效負載不同之區域而傳送。
嵌入式資料相當於圖像感測器100所附加地傳送之附加資訊(換言之，藉由圖像感測器100嵌入之資訊)，例如，可列舉與圖像之拍攝條件相關之資訊、或與傳送區域資料之區域(ROI)相關之資訊等。
再者，於圖23所示之示例中，封包A2中至少一部分用於嵌入式資料之傳送，亦可代替該封包A2，而將封包A3之至少一部分用於嵌入式資料之傳送。又，於以下之說明中，亦將嵌入式資料稱為「EBD」。
於圖23中，「SC」表示「起始碼(Start Code)」，係表示封包之開始之符號群。起始碼附加於封包之前。起始碼例如由作為3種類之K特性(Character)之組合之K28.5、K27.7、K28.2、及K27.7之4個符號表示。
「EC」表示「結束碼(End Code)」，係表示封包之結束之符號群。結束碼附加於封包之後。結束碼例如由作為3種類之K特性之組合之K28.5、K27.7、K30.7、及K27.7之4個符號表示。
「PH」表示「封包標頭(Packet Header)」，例如，參照圖2所說明之標頭符合。「FS」表示FS(圖框起始(Frame Start))封包。「FE」表示FE(圖框結束(Frame End))封包。
「DC」表示「抗扭斜碼(Deskew Code)」，係通道間之資料偏斜(Data Skew)，即由接收側之各通道接收之資料之接收時序之偏移之修正所使用的符號群。抗扭斜碼例如由K28.5及Any**之4個符號表示。
「IC」表示「空閒碼(Idle Code)」，係封包資料之發送時以外之期間重複傳送之符號群。空閒碼例如由作為8B10B 碼之D特性之D00.0(00000000)表示。
「資料」表示儲存於有效負載之區域資料(即，與設定於圖像中之區域對應之部分之像素資料)。
「XY」相當於將與儲存於有效負載之區域資料對應之部分區域之左端之位置(圖像中之位置)作為X座標及Y座標表示的資訊。再者，以下，亦將由「XY」所示之表示部分區域之左端之位置的X座標及Y座標簡稱為「部分區域之XY座標」。
部分區域之XY座標儲存於封包A1之有效負載之開頭。又，部分區域之XY座標於連續傳送之封包A1間，分別對應之部分區域之X座標無變更，且於將Y座標僅＋1之情形時，亦可於之後傳送之封包A1中省略。再者，關於本控制，列舉具體的例另外於下文敍述。
又，於該傳送方式中，關於設定有於水平方向相互離開之複數個區域之列，傳送與該複數個區域分別對應之部分區域之區域資料之情形時，個別地產生關於該複數個區域各自之封包A1而傳送。即，關於設定有於水平方向相互離開之2個區域之列，產生及傳送2個封包A1。
繼而，參照圖24，關於傳送對圖像設定之區域(ROI)之區域資料之封包A1之封包標頭之構成的一例，特別著眼於擴展區域之構成進行說明。圖24係用以對封包標頭之構成之一例進行說明之說明圖。
如圖24所示，於該傳送方式中，於傳送對圖像設定之區域(ROI)之區域資料之情形時，於用於該區域資料之傳送之封包A1之封包標頭中，作為標頭資訊之類別，設定表示傳送區域之資訊之資訊(即，與設想區域之資訊之傳送之類別對應的資訊)。又，對擴展區域之至少一部分，設定表示利用有效負載傳送區域之資料(即，部分區域之區域資料)之資訊。又，於利用有效負載傳送區域之座標(即，部分區域之XY座標)之情形時，對擴展區域之至少一部分，設定表示傳送該區域之座標之資訊。再者，於傳送對圖像設定之區域(ROI)之區域資料之情形時，根據該區域之水平方向之寬度，封包A1之有效負載之長度可變化。因此，亦可對擴展區域之一部分，與參照圖22所說明之示例相同地，設定表示有效負載長度之資訊。
＜2.總結＞ 本發明之實施形態之通信系統1000藉由具有如以上之構成，且以上述之方式動作，可同時抑制移動模糊之產生、飽和區域之產生、及S/N降低之產生。藉由同時抑制移動模糊之產生、飽和區域之產生、及S/N降低之產生，本發明之實施形態之通信系統1000能以高畫質、高感度拍攝及製作高動態範圍之動圖像。
本發明之實施形態之通信系統1000由於同時抑制移動模糊之產生、飽和區域之產生、及S/N降低之產生，故而藉由僅注目區域之範圍選擇性地使曝光時間變短，可將輸出資料速率保持固定之狀態下將圖框速率高速化後輸出。
本發明之實施形態之通信系統1000為了同時抑制移動模糊之產生、飽和區域之產生、及S/N降低之產生，而僅注目區域之範圍選擇性地使曝光時間變短，相應地使圖框速率高速化後輸出，故而即便影像感測器內之1圖框之圖像之曝光時間變短，於僅評估該1圖框之圖像時陷入感度不足，亦可與曝光時間變短相應地使圖框速率高速化，從而使曝光圖框數變多，因此可藉由對自影像感測器輸出之圖像進行信號處理而獲得與不使曝光時間變短之情形時同等之感度。
例如，即便於傳統之方法中以1/30秒之曝光時間感度並未不足，而以1/480秒之曝光時間感度不足，於本實施形態中可將以1/480秒之曝光時間獲取之圖像於1/30秒之時間內獲取16張，故而僅將以1/480秒之曝光時間獲取之16張圖像相加，便能夠容易地再現以1/30秒之曝光時間獲取之圖像。
另外，本發明之實施形態之通信系統1000可使用移動模糊或移動偏移相對較少之複數個圖像(於上述示例中，為以1/480秒之曝光時間獲取之16張圖像)進行信號處理。動態物體隨著時間經過而移動空間內(圖像內)之位置，若單純地將16張圖像相加，則會再現原來之移動模糊。另一方面，於以1/480秒之曝光時間獲取圖像之情形時，除了獲取捕捉到1/480秒之相對較短時間內之移動的圖像以外，2圖框間之時間差亦相對較短，為1/480秒。因此，於連續之2圖框間移動物體之移動量亦相對變小。因此，於本發明之實施形態之通信系統1000中，針對每個移動物體進行移動補償後再相加變得容易，可同時應對感度不足及移動模糊對策。
例如，於傳統之方法中，於以1/30秒之曝光時間適當曝光之情形時，亦可能存在如局部地產生飽和區域之情形。相對於此，於本實施形態中，可將以1/480秒之曝光時間獲取之圖像於1/30秒之時間內獲取16張。本發明之實施形態之通信系統1000於將獲取之16張圖像相加時，不使之飽和而於保持充分諧調之狀態下相加，藉此，可將以1/30秒之曝光時間獲取之圖像不產生飽和而容易地成為高動態範圍圖像。
對本發明之實施形態之通信系統1000之效果進行說明。
若將使圖像感測器100之所有像素之資料傳輸至後段之處理器200所需要之時間設為1圖框時間，則ROI區域以將該時間n分割(n為任意之2以上之整數)之時間曝光，故而作為1張圖像，信號量為1/n倍，散粒雜訊(shot noise)為1/(n)1/2 倍，SN比惡化，但於後段，由於可將n張該圖像相加處理，故而信號量為1/n×n＝1倍，散粒雜訊為((1/(n)1/2 )2 ×n)1/2 ＝1倍，本發明之實施形態之通信系統1000可不使SN比惡化而獲取相加圖像。
相對於此，藉由以1圖框時間曝光而飽和之圖像內之區域以1圖框時間之1/n倍之時間曝光，藉此，本發明之實施形態之通信系統1000可不飽和地獲取最大n倍之亮度之被攝體。
又，本發明之實施形態之通信系統1000對於正在移動之被攝體，具有將模糊(blur)量減少為1/n之效果。
另外，在將上述n張圖像相加之處理中執行如下處理，即，進行移動檢測而不對移動之區域進行相加處理，藉此，本發明之實施形態之通信系統1000可一面使動態物體之模糊量降低至1/n，一面不使靜止物體之SN比惡化地獲取。
另外，本發明之實施形態之通信系統1000藉由對上述動態物體部分一面進行移動補償一面相加，可於使動態物體之模糊量降低至1/n之狀態下，不僅靜止物體而且動態物體部分亦不使SN比惡化地獲取。
以上，一面參照隨附圖式一面對本發明之較佳之實施形態詳細地進行了說明，但本發明之技術性範圍並不限定於該例。明確若為具有本發明之技術領域中之通常之知識者，則於申請專利範圍所記載之技術性思想之範疇內，可想到各種變更例或者修正例，且瞭解關於該等亦當然屬本發明之技術性範圍。
又，本說明書中記載之效果只不過為說明性或者例示性者，並不限定。即，本發明之技術與上述效果一起或者代替上述效果，可發揮根據本說明書之記載對業者明確之其他效果。
例如，ROI之處理所需要之作為圖像感測器100或處理器200由圖7、10所示之電路之構成要素之一部分或者全部亦可包含於圖像感測器100或者處理器200之任一者。又，作為圖像感測器100或處理器200由圖7、10所示之電路之構成要素之一部分或者全部可包括硬體，亦可包括軟體。於包含於圖像感測器100時，圖像感測器100與處理器200亦可模組化。
又，例如，於圖10所示之處理器200之構成中，將ROI圖像與通常圖像分別輸出，但本發明並不限定於該例。處理器200亦可設為ROI圖像與通常圖像相同之輸出。
再者，如以下之構成亦屬本發明之技術性範圍。 (1) 一種接收裝置，其具備： 接收部，其以接收拍攝區域全體之圖像資料之第1模式、與僅接收上述拍攝區域之一部分區域之第2模式的至少任一者接收圖像資料；及 資訊處理部，其基於上述接收部所接收之圖像資料產生圖像； 上述資訊處理部於以上述第2模式接收圖像資料時，接收附加有與上述第1模式不同之參數之圖像資料。 (2) 如上述(1)之接收裝置，其中上述資訊處理部藉由將複數張以上述第2模式接收到之圖像資料根據該圖像資料之曝光時間合成而產生圖像。 (3) 如上述(2)之接收裝置，其中上述曝光時間配合以上述第2模式接收時之上述區域之大小而決定。 (4) 如上述(2)之接收裝置，其中上述資訊處理部根據上述參數中所包含之上述第2模式繼續之圖框數之資訊，決定將以上述第2模式接收到之圖像資料合成之數量。 (5) 如上述(1)至(4)中任一項之接收裝置，其中上述第2模式中之區域之尺寸根據該第2模式中之曝光時間與上述第1模式之曝光時間來決定。 (6) 如上述(1)至(5)中任一項之接收裝置，其中上述資訊處理部將上述第2模式中之區域之尺寸之資訊輸出至進行拍攝之裝置。 (7) 如上述(1)至(6)中任一項之接收裝置，其中上述資訊處理部於以上述第2模式中之讀出之下一圖框產生上述第1模式中之圖像時，使用以上述第2模式讀出之區域與該區域以外之區域產生圖像。 (8) 如上述(1)至(7)中任一項之接收裝置，其中上述接收部接收使圖像資料包含於封包之有效負載部並且使上述參數包含於特定之標頭部之發送信號。 (9) 如上述(8)之接收裝置，其中上述資訊處理部自藉由上述接收部接收到之上述發送信號中所包含之上述標頭部，擷取關於上述區域之區域資訊，並且基於所擷取之上述區域資訊，自藉由上述接收部接收到之上述發送信號中所包含之上述有效負載部，擷取上述區域之圖像資料。 (10) 如上述(9)之接收裝置，其中上述區域資訊包含表示上述區域之大小之資訊、及表示於該區域發送之圖像之圖框數之資訊。 (11) 如上述(9)之接收裝置，其中上述接收部以MIPI(Mobile Industry Processor Interface)CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、或者MIPI DSI(Display Serial Interface)規格接收信號。 (12) 一種傳送裝置，其具備： 圖像處理部，其以讀出拍攝區域全體之第1模式、與讀出上述拍攝區域之一部分區域之第2模式之至少任一者讀出圖像資料；及 傳送部，其將上述圖像處理部讀出之圖像資料儲存於依據特定格式之發送信號而發送； 上述圖像處理部於以上述第2模式讀出圖像時使讀出速度可變。 (13) 如上述(12)之傳送裝置，其中上述圖像處理部配合以上述第2模式讀出時之圖框速率來決定上述區域之大小。 (14) 如上述(12)之傳送裝置，其中上述圖像處理部配合以上述第2模式讀出時之上述區域之大小來決定圖框速率。 (15) 如上述(12)之傳送裝置，其中上述圖像處理部根據上述第2模式中之區域之尺寸與上述第1模式之曝光時間來決定該第2模式中之曝光時間。 (16) 如上述(12)之傳送裝置，其中上述圖像處理部根據上述第2模式中之曝光時間與上述第1模式之曝光時間來決定該第2模式中之區域之尺寸。 (17) 如上述(12)～(16)之傳送裝置，其中上述發送信號包含儲存圖像資料之封包之有效負載部、及包含關於上述圖像資料之資訊之特定之標頭部。 (18) 如上述(17)之傳送裝置，其中上述標頭部包含關於上述區域之區域資訊。 (19) 如上述(18)之傳送裝置，其中上述區域資訊包含表示上述區域之大小之資訊、及表示於該區域發送之圖像之圖框數之資訊。 (20) 如上述(12)～(19)之任一者之傳送裝置，其中上述傳送部以MIPI-2規格、MIPI CSI-3規格、或者MIPI DSI規格傳送信號。
100:圖像感測器 102:圖像感測器元件 104:IC晶片 106:圖像處理電路 108:LINK控制電路 110:ECC產生電路 112:PH產生電路 114:EBD用緩衝器 116:圖像資料緩衝器 118:合成電路 120:傳送電路 122:區域切出部 124:圖像處理控制部 126:編碼部 200:處理器 210:接收部 211:標頭分離部 212:標頭解釋部 213:有效負載分離部 214:EBD解釋部 214A:資料 215:ROI資料分離部 215A:資料 215B:資料 220:資訊處理部 221:資訊擷取部 222:ROI解碼部 223:ROI圖像產生部 223A:ROI圖像 224:通常圖像解碼部 224A:通常圖像 225:記憶體 300:記憶體 400:顯示元件 1000:通信系統 B1:資料匯流排 B2:控制匯流排
圖1係表示本實施形態之通信系統1000之構成之一例的說明圖。 圖2係表示MIPI CSI-2規格中特定之封包之格式之說明圖。 圖3係表示MIPI CSI-2規格中特定之封包之格式之說明圖。 圖4A、B係表示MIPI CSI-2規格中之封包之傳送之信號波形之一例的說明圖。 圖5係表示圖像感測器100之動作之概要之說明圖。 圖6係表示圖像感測器100之動作之概要之說明圖。 圖7係表示本實施形態之圖像感測器100之構成之一例的硬體方塊圖。 圖8係表示本實施形態之圖像感測器100所發送之資料之具體例的說明圖。 圖9係表示本實施形態之圖像感測器100所發送之資料之具體例的說明圖。 圖10係表示本實施形態之處理器200之構成之一例的圖。 圖11係表示圖像感測器100之動作之概要之說明圖。 圖12係表示圖像感測器100之動作之概要之說明圖。 圖13係表示本實施形態之圖像感測器100所發送之資料之具體例的說明圖。 圖14係表示圖像感測器100之動作之概要之說明圖。 圖15係表示圖像感測器100之動作之概要之說明圖。 圖16係表示圖像感測器100之動作之概要之說明圖。 圖17係表示圖像感測器100之動作之概要之說明圖。 圖18係表示ROI區域之示例之說明圖。 圖19係表示ROI區域之資料格式之說明圖。 圖20係用以對該實施形態之通信系統中圖像之資料之傳送所利用之封包之構造之一例進行說明的說明圖。 圖21係用以對設置於封包之標頭之擴展區域進行說明之說明圖。 圖22係用以對設置於封包之標頭之擴展區域進行說明之說明圖。 圖23係用以對傳送資料之格式進行說明之說明圖。 圖24係用以對封包標頭之構成之一例進行說明之說明圖。

Claims (20)

  1. 一種接收裝置，其具備： 接收部，其接收資料；及 資訊處理部，其基於自上述接收部輸出之圖像資料產生圖像；且 上述接收部係於第1模式下將拍攝區域全體作為上述圖像資料輸出，於第2模式下將拍攝區域之一部分區域作為上述圖像資料輸出者，且基於上述圖像資料中所包含之附加資訊，選擇上述第1模式或上述第2模式。
  2. 如請求項1之接收裝置，其中上述資訊處理部藉由將複數張以上述第2模式接收到之圖像資料合成而產生圖像。
  3. 如請求項1之接收裝置，其進而具備對拍攝裝置傳送區域資訊資料之傳送部， 上述資訊處理部基於以上述第1模式產生之圖像，決定應獲取之拍攝區域之一部分區域，並產生上述區域資訊資料。
  4. 如請求項2之接收裝置，其中上述資訊處理部決定合成以上述第2模式接收到之圖像資料之數量。
  5. 如請求項3之接收裝置，其中上述第2模式下之區域之尺寸係根據該第2模式下之曝光時間與上述第1模式之曝光時間而決定。
  6. 如請求項3之接收裝置，其中上述資訊處理部產生上述第2模式下之區域之座標及尺寸資訊作為上述區域資訊資料，並對上述接收部提供該資訊。
  7. 如請求項1之接收裝置，其中上述資訊處理部於以上述第2模式下之讀出之下一圖框產生上述第1模式下之圖像時，使用上述第2模式下讀出之區域與該區域以外之區域產生圖像。
  8. 如請求項1之接收裝置，其中上述接收部接收使上述圖像資料包含於封包之有效負載部並且使上述附加資訊包含於特定之標頭部的發送信號。
  9. 如請求項8之接收裝置，其中上述資訊處理部自藉由上述接收部接收到之上述發送信號中所包含之上述標頭部擷取關於上述區域之區域資訊，並且基於所擷取之上述區域資訊，自藉由上述接收部接收到之上述發送信號中所包含之上述有效負載部擷取上述區域之圖像資料。
  10. 如請求項9之接收裝置，其中上述區域資訊中包含表示上述區域之大小之資訊、及表示於該區域發送之圖像之圖框數之資訊。
  11. 如請求項8之接收裝置，其中上述接收部以MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、或者MIPI DSI(Display Serial Interface)規格接收信號。
  12. 一種傳送裝置，其具備： 圖像處理部，其以讀出拍攝區域全體之第1模式、及讀出上述拍攝區域之一部分區域之第2模式中之至少任一者讀出圖像資料；及 傳送部，其將上述圖像處理部讀出之圖像資料儲存於依據特定格式之發送信號並發送；且 上述圖像處理部於以上述第2模式讀出圖像時使讀出速度可變。
  13. 如請求項12之傳送裝置，其中上述圖像處理部配合以上述第2模式讀出時之圖框速率來決定上述區域之大小。
  14. 如請求項12之傳送裝置，其中上述圖像處理部配合以上述第2模式讀出時之上述區域之大小來決定圖框速率。
  15. 如請求項12之傳送裝置，其中上述圖像處理部根據上述第2模式下之區域之尺寸與上述第1模式之曝光時間來決定該第2模式下之曝光時間。
  16. 如請求項12之傳送裝置，其中上述圖像處理部根據上述第2模式下之曝光時間與上述第1模式之曝光時間來決定該第2模式下之區域之尺寸。
  17. 如請求項12之傳送裝置，其中上述發送信號包含儲存圖像資料之封包之有效負載部、及包含關於上述圖像資料之資訊之特定標頭部。
  18. 如請求項17之傳送裝置，其中上述標頭部包含關於上述區域之區域資訊。
  19. 如請求項18之傳送裝置，其中上述區域資訊包含表示上述區域之大小之資訊、及表示於該區域發送之圖像之圖框數之資訊。
  20. 如請求項12之傳送裝置，其中上述傳送部以MIPI-2規格、MIPI CSI-3規格、或者MIPI DSI規格傳送信號。
TW108143586A 2018-12-06 2019-11-29 接收裝置及傳送裝置 TW202101958A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018229200 2018-12-06
JP2018-229200 2018-12-06

Publications (1)

Publication Number Publication Date
TW202101958A true TW202101958A (zh) 2021-01-01

Family

ID=70974925

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143586A TW202101958A (zh) 2018-12-06 2019-11-29 接收裝置及傳送裝置

Country Status (7)

Country Link
US (2) US11606500B2 (zh)
EP (1) EP3893485A4 (zh)
JP (1) JP7414733B2 (zh)
KR (1) KR20210096090A (zh)
CN (1) CN113170044B (zh)
TW (1) TW202101958A (zh)
WO (1) WO2020116213A1 (zh)

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4896208A (en) * 1986-12-02 1990-01-23 Minolta Camera Kabushiki Kaisha Apparatus and method for reading and digitally editing multiple images
JP3621256B2 (ja) 1998-05-14 2005-02-16 株式会社東芝 動き劣化補正処理装置及びその方法
JP4491965B2 (ja) 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4106874B2 (ja) 2001-02-05 2008-06-25 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP2006109001A (ja) 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP4888081B2 (ja) * 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
JP4740781B2 (ja) * 2006-03-30 2011-08-03 富士フイルム株式会社 固体撮像装置
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
JP4715853B2 (ja) 2008-02-12 2011-07-06 ソニー株式会社 固体撮像装置および撮像方法
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP2012034099A (ja) 2010-07-29 2012-02-16 Sanyo Electric Co Ltd データ送信装置
US8970750B2 (en) 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
KR101720774B1 (ko) * 2010-11-24 2017-03-28 삼성전자주식회사 디지털 촬영 장치 및 그의 사진 제공 방법
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP5932376B2 (ja) 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
WO2014138695A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
WO2015009064A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Electronic device for storing image and image storage method thereof
JP2015091005A (ja) * 2013-11-05 2015-05-11 オリンパス株式会社 撮像装置
KR20150088139A (ko) * 2014-01-23 2015-07-31 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6558976B2 (ja) 2014-09-02 2019-08-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに撮像素子
US9906749B2 (en) * 2014-09-02 2018-02-27 Canon Kabushiki Kaisha Image capturing apparatus capable of generating and adding pixel region information to image data, method of controlling the same, and image sensor
JP6774233B2 (ja) * 2016-06-21 2020-10-21 キヤノン株式会社 焦点検出装置、制御方法およびプログラム
JP6936018B2 (ja) 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
SG11201910049VA (en) * 2017-06-09 2019-11-28 Sony Semiconductor Solutions Corp Picture transmission device and picture reception device
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
JP6917298B2 (ja) 2017-12-27 2021-08-11 大和化成工業株式会社 クリップ
US10867393B2 (en) * 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
JP7404640B2 (ja) * 2019-04-03 2023-12-26 沖電気工業株式会社 符号化装置、復号装置及び画像処理方法

Also Published As

Publication number Publication date
US11606500B2 (en) 2023-03-14
US11924546B2 (en) 2024-03-05
US20220006954A1 (en) 2022-01-06
US20230239570A1 (en) 2023-07-27
KR20210096090A (ko) 2021-08-04
JPWO2020116213A1 (ja) 2021-10-21
EP3893485A4 (en) 2021-12-29
EP3893485A1 (en) 2021-10-13
CN113170044A (zh) 2021-07-23
JP7414733B2 (ja) 2024-01-16
CN113170044B (zh) 2023-10-24
WO2020116213A1 (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
CN102122388A (zh) 用于获得高动态范围图像的设备和方法
US11074023B2 (en) Transmission device
WO2019092952A1 (ja) 送信装置
JP7357620B2 (ja) 画像処理装置、および画像処理システム
US20180197282A1 (en) Method and device for producing a digital image
US8149285B2 (en) Video camera which executes a first process and a second process on image data
US11032483B2 (en) Imaging apparatus, imaging method, and program
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP7414733B2 (ja) 受信装置および送信装置
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
TWI827725B (zh) 圖像處理裝置及圖像處理方法
JP7504803B2 (ja) 画像処理装置及び画像処理方法
US9979919B2 (en) Solid-state imaging device and imaging system