TW202107892A - 發送裝置、接收裝置及通信系統 - Google Patents

發送裝置、接收裝置及通信系統 Download PDF

Info

Publication number
TW202107892A
TW202107892A TW109120150A TW109120150A TW202107892A TW 202107892 A TW202107892 A TW 202107892A TW 109120150 A TW109120150 A TW 109120150A TW 109120150 A TW109120150 A TW 109120150A TW 202107892 A TW202107892 A TW 202107892A
Authority
TW
Taiwan
Prior art keywords
image data
roi
information
unit
sending
Prior art date
Application number
TW109120150A
Other languages
English (en)
Inventor
吉持直樹
佐藤泰史
長野宏介
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202107892A publication Critical patent/TW202107892A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本揭示之一實施形態之發送裝置具備檢測部、產生部及發送部。檢測部基於ROI指示資訊，檢測ROI圖像資料。產生部根據由檢測部檢測出之ROI圖像資料而產生ROI資訊。發送部將ROI圖像資料及ROI資訊發送至外部裝置。檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之ROI圖像資料之動態資訊。

Description

發送裝置、接收裝置及通信系統
本揭示係關於一種發送裝置、接收裝置及通信系統。
近年來，大量發送資料量較大之資料之用途不斷增加。容易對傳送系統施加較大之負荷，於最壞之情形時，有傳送系統停機，且無法進行資料傳送之虞。
先前，為避免傳送系統之停機，進行例如特定攝影對象之物體，僅發送切出有特定之物體之一部分圖像，而不發送所有拍攝之圖像。另，針對自拍攝之圖像切出一部分圖像之情況，例如記載於以下之專利文獻。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2016-201756號公報 [專利文獻2]日本專利特開2014-39219號公報 [專利文獻3]日本專利特開2013-164834號公報 [專利文獻4]日本專利特開2012-209831號公報
通常，於ROI傳送中，以攝像裝置為靜止狀態作為前提。因此，於攝像裝置移動之情形時，原來之整體圖像與ROI圖像之位置關係隨著攝像裝置之移動而變化，難以適當傳送ROI。期望提供一種即使於攝像裝置移動之情形時，亦可適當傳送ROI之發送裝置、接收裝置及通信系統。
本揭示之一實施形態之發送裝置具備檢測部、產生部及發送部。檢測部基於ROI(Region Of Interest：關注區域)指示資訊，檢測ROI圖像資料。產生部根據由檢測部檢測出之ROI圖像資料而產生ROI資訊。發送部將ROI圖像資料及ROI資訊發送至外部裝置。檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之ROI圖像資料之動態資訊。
於本揭示之一實施形態之發送裝置中，基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之上述ROI圖像資料之動態資訊。藉此，例如於發送裝置移動之情形時，亦可獲得考慮發送裝置之移動之ROI圖像資料。
本揭示之一實施形態之第1通信系統具備發送裝置與接收裝置。發送裝置具有將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取出之ROI圖像資料選擇性地發送至接收裝置之第1發送部。接收裝置具有：第1產生部，其基於由不同之攝像時序獲得之複數個第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，產生動態資訊；第2產生部，其產生第2圖像資料之ROI資訊；及第2發送部，其將動態資訊及ROI資訊發送至發送裝置。發送裝置進而具有使用動態資訊及ROI資訊、自第2圖像資料擷取ROI圖像資料之擷取部。
於本揭示之一實施形態之第1通信系統中，將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取之ROI圖像資料選擇性地自發送裝置發送至接收裝置。將基於由不同之攝像時序獲得之複數個第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者產生之動態資訊、與第2圖像資料之ROI資訊自接收裝置發送至發送裝置。且，於發送裝置中，使用動態資訊及ROI資訊，自第2圖像資料擷取1或複數個ROI圖像資料。藉此，例如於發送裝置移動之情形時，亦可獲得考慮發送裝置之移動之ROI圖像資料。
本揭示之一實施形態之第2通信系統具備發送裝置與接收裝置。發送裝置具有將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取出之ROI圖像資料選擇性地發送至接收裝置之第1發送部。接收裝置具有：第1產生部，其基於攝像時序相互不同之複數個第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，產生動態資訊；第2產生部，其使用動態資訊，產生第2圖像資料之ROI資訊；及第2發送部，其將ROI資訊發送至發送裝置。發送裝置使用ROI資訊，自第2圖像資料擷取ROI圖像資料。
於本揭示之一實施形態之第2通信系統中，將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取之1或複數個ROI圖像資料選擇性地自發送裝置發送至接收裝置。將使用基於攝像時序相互不同之複數個第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者產生之動態資訊而產生之第2圖像資料之ROI資訊，自接收裝置發送至發送裝置。且，於發送裝置中，使用ROI資訊，自第2圖像資料擷取ROI圖像資料。藉此，例如於發送裝置移動之情形時，亦可獲得考慮發送裝置之移動之ROI圖像資料。
本揭示之一實施形態之第3通信系統具備發送裝置與接收裝置。發送裝置具有將自藉由攝像獲得之圖像資料擷取出之ROI圖像資料發送至接收裝置之第1發送部。接收裝置具有：產生部，其產生圖像資料之ROI資訊；及第2發送部，其將藉由感測器獲得之發送裝置之動態資訊、與ROI資訊發送至發送裝置。發送裝置進而具有使用動態資訊與ROI資訊，自圖像資料擷取ROI圖像資料之擷取部。
於本揭示之一實施形態之第3通信系統中，自藉由攝像獲得之圖像資料擷取之ROI圖像資料自發送裝置發送至接收裝置。藉由感測器獲得之發送裝置之動態資訊、與圖像資料之ROI資訊自接收裝置發送至發送裝置。且，於發送裝置中，使用動態資訊及ROI資訊，自圖像資料擷取ROI圖像資料。藉此，例如於發送裝置移動之情形時，亦可獲得考慮發送裝置之移動之ROI圖像資料。
本揭示之一實施形態之第4通信系統具備發送裝置與接收裝置。發送裝置具有將自藉由攝像獲得之圖像資料擷取出之ROI圖像資料發送至接收裝置之第1發送部。接收裝置具有：第2產生部，其使用藉由感測器獲得之發送裝置之動態資訊，產生圖像資料之ROI資訊；及第2發送部，其將ROI資訊發送至發送裝置。發送裝置使用ROI資訊，自圖像資料擷取ROI圖像資料。
於本揭示之一實施形態之第4通信系統中，自藉由攝像獲得之圖像資料擷取之ROI圖像資料自發送裝置發送至接收裝置。使用藉由感測器獲得之發送裝置之動態資訊，產生圖像資料之ROI資訊，並自接收裝置發送至發送裝置。且，於發送裝置中，使用ROI資訊，自圖像資料擷取ROI圖像資料。藉此，例如於發送裝置移動之情形時，亦可獲得考慮發送裝置之移動之ROI圖像資料。
本揭示之一實施形態之接收裝置具備接收部、檢測部、產生部、及發送部。接收部接收圖像資料。檢測部自接收到之圖像資料檢測ROI圖像資料。產生部自藉由檢測部檢測出之ROI圖像資料而產生ROI指示資訊。發送部發送ROI指示資訊。此處，檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之ROI圖像資料之動態資訊。
於本揭示之一實施形態之接收裝置中，根據由接收到之圖像資料檢測出之ROI圖像資料，產生ROI指示資訊並發送。進而，基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之ROI圖像資料之動態資訊。藉此，例如於發送裝置移動之情形時，亦可獲得考慮發送裝置之移動之ROI圖像資料。
以下，參照圖式對用於實施本揭示之形態進行詳細說明。以下之說明為本揭示之一具體例，本揭示並非限定於以下之態樣者。
＜1.實施形態＞ [構成]
圖1係顯示本實施形態之通信系統1000之概略構成例者。通信系統1000係應用於資料信號、時脈信號及控制信號之傳送者，具備圖像感測器100(發送裝置)及處理器200(接收裝置)。
圖像感測器100與處理器200藉由資料匯流排B1電性連接。資料匯流排B1係連接圖像感測器100與處理器200之一個信號之傳送路。顯示由圖像感測器100發送之圖像之資料(以下，稱為「圖像資料」)經由資料匯流排B1自圖像感測器100向處理器200傳送。圖像感測器100與處理器200亦可藉由匯流排(控制匯流排B2)電性連接。控制匯流排B2係連接圖像感測器100與處理器200之另一個信號之傳送路，即與資料匯流排B1不同之傳送路。自處理器200發送之控制資料經由控制匯流排B2自處理器200向圖像感測器100傳送。
圖像感測器100具有攝像功能與發送功能，且發送藉由攝像產生之圖像資料。圖像感測器100於通信系統1000中發揮發送裝置之作用。圖像感測器100包含例如“數位相機或數位攝影機、立體照相機等攝像設備”、或“紅外線感測器”、“距離圖像感測器”等可產生圖像之任意方式之圖像感測器設備，並具有發送產生之圖像之功能。於圖像感測器100中產生之圖像相當於顯示圖像感測器100之感測結果之資料。稍後使用圖2對圖像感測器100之構成之一例進行詳細說明。
圖像感測器100藉由稍後敘述之發送方法，發送與對圖像資料設定之區域對應之資料(以下，亦稱為「區域之圖像資料」)。區域之圖像資料之發送之控制藉由例如作為圖像感測器100之圖像處理部發揮功能之構成要件(稍後敘述)進行。將對圖像設定之區域稱為ROI(Region Of Interest：關注區域)。以下，將對圖像設定之區域稱為「ROI」。又，將區域之圖像資料稱為「ROI之圖像資料」。
作為對圖像設定區域之處理，列舉例如「自圖像檢測物體，設定包含檢測之物體之區域之處理」、「設定藉由對任意之操作設備之操作等指定之區域之處理」等可特定圖像之一部分區域之任意之處理(或可自圖像切出一部分區域之任意之處理)。
圖像感測器100藉由發送ROI之圖像資料，即圖像資料之一部分，較傳送圖像資料整體，縮小傳送之資料量。因而，圖像感測器100藉由發送ROI之圖像資料，而發揮例如縮短傳送時間、減少通信系統1000之傳送之負荷等因減少資料量而奏效之各種效果。另，圖像感測器100不論有無圖像感測器100之移動，亦可自圖像資料擷取1或複數個ROI圖像資料，並發送擷取之1或複數個ROI之圖像資料。又，圖像感測器100亦可發送圖像資料整體。
處理器200接收自圖像感測器100發送之資料，並處理接收之資料。處理器200於通信系統1000中發揮接收裝置之作用。稍後使用圖3對自圖像感測器100發送之資料之處理之構成(用於發揮接收裝置之作用之構成)之一例進行詳細敘述。
處理器200由以例如MPU(Micro Processing Unit：微處理單元)等運算電路構成之1或2以上之處理器、或各種處理電路等構成。處理器200進行例如圖像資料對記錄媒體之記錄控制之處理、圖像對顯示設備之顯示畫面之顯示控制之處理、執行任意之應用軟體之處理等各種處理。作為記錄控制之處理，列舉例如“將包含記錄命令之控制資料與記錄於記錄媒體之資料傳遞至記錄媒體之處理”。又，作為顯示控制之處理，列舉例如“將包含顯示命令之控制資料與顯示於顯示畫面之資料傳遞至顯示設備之處理”。處理器200亦可藉由例如對圖像感測器100發送控制資訊，而控制圖像感測器100之功能。處理器200亦可藉由例如對圖像感測器100發送區域指定資訊，而控制由圖像感測器100發送之資料。
(封包之構造) 其次，於通信系統1000中，對自圖像感測器100向處理器200發送圖像所利用之封包之構造之一例進行說明。於通信系統1000，將藉由圖像感測器100拍攝之圖像資料分割為列單位之部分圖像資料，並利用1個以上之封包發送各列之部分圖像資料。此針對ROI之圖像資料亦同樣。
圖4係顯示通信系統1000中圖像資料之發送所利用之封包(Packet)之構造之一例者。於圖4中顯示有以MIPI(Mobile Industry Processor Interface：行動產業處理器介面) CSI(Camera Serial Interface：相機串列介面)-2規格或MIPI CSI-3規格發送圖像資料時所利用之封包之構造之一例。圖5、圖6係顯示通信系統1000中自圖像感測器100發送至處理器200之傳送資料130A之一例者。於圖5、圖6顯示有以MIPI CSI-2規格或MIPI CSI-3規格發送圖像資料時所利用之傳送資料130A之一例。
如圖4所示，圖像資料之發送所利用之封包規定為，於資料流中，以低功率模式LP開始，以低功率模式LP結束之一連串資料。又，於該封包中，依序排列包含封包標頭PH、酬載資料(Payload Data)、及封包註腳PF。於酬載資料(以下，亦簡稱為「酬載」)，包含有列單位之部分圖像之像素資料。
封包標頭PH係例如LongPacket(長封包)之PayloadData(酬載資料)之封包標頭。LongPacket(長封包)意指配置於封包標頭PH與封包註腳PF之間之封包。LongPacket(長封包)之PayloadData(酬載資料)意指裝置間傳送之主要之資料。於封包標頭PH，包含有例如DI、WC及ECC。DI係儲存資料識別碼之區域。於DI，包含有VC(虛擬通道)之編號及DataType(資料型式)(各ROI之資料型式)。VC係用於封包之流程控制而導入之概念，即用於支持共用同一鏈路之複數個獨立之資料流之機制。WC係用於對處理器200以字數顯示封包之結束之區域。於WC，包含有例如Payload(酬載)長。Payload(酬載)長係例如LongPacket(長封包)之Payload(酬載)所包含之字組數，例如各ROI之字組數。ECC係儲存用於修正位元錯誤之值之區域。於ECC，包含有錯誤訂正符號。
傳送資料130A藉由例如圖5、圖6所示之圖像資料訊框構成。圖像資料訊框通常具有標頭區域、封包區域、及註腳區域。於圖5、圖6，為方便起見，省略註腳區域之記載。圖像資料訊框中，於標頭區域R1包含有EmbeddedData(嵌入資料)。EmbeddedData(嵌入資料)意指可嵌入圖像資料訊框之標頭或註腳之追加資訊。此時，於EmbeddedData(嵌入資料)，包含有訊框編號、ROI數、及ROI資訊。
訊框編號係傳送資料130A之識別碼。ROI數係傳送資料130A所包含之ROI之總數。ROI資訊係按傳送資料130A所包含之各ROI設置之關於ROI之資訊。
ROI資訊包含例如圖像資料所包含之1或複數個ROI之區域編號(或優先度)、與圖像資料之1或複數個ROI之位置資訊。ROI之區域編號係賦予各ROI之識別碼。ROI之優先度係可判別是否對賦予各ROI之識別碼，即圖像資料之複數個ROI之任一者進行重疊區域之捨棄的判別資訊。
ROI之位置資訊包含例如ROI之左上端座標(Xa, Ya)、ROI之X軸方向之長度、及ROI之Y軸方向之長度。ROI之X軸方向之長度係例如ROI之X軸方向之物理區域長度XLa。ROI之Y軸方向之長度係例如ROI之Y軸方向之物理區域長度YLa。物理區域長度意指ROI之物理性長度(資料長)。於ROI之位置資訊中，亦可包含與ROI之左上端不同之位置之座標。ROI之位置資訊進而包含例如ROI之X軸方向之輸出區域長度XLc、或ROI之Y軸方向之輸出區域長度YLc。輸出區域長度係例如對ROI進行依據選出處理或像素加算等之變更解析度後之ROI之物理性長度(資料長)。
ROI資訊進而按各ROI，除位置資訊以外，亦可包含例如感測訊息、曝光資訊、增益資訊、AD(Analog-Digital：類比-數位)字長、及圖像格式等。感測訊息意指關於ROI所含物體之運算內容、或對ROI之圖像資料之後段信號處理用之補足資訊等。曝光資訊意指ROI之曝光時間。增益資訊意指ROI之增益資訊。AD字長意指於ROI內進行AD轉換之每1像素之資料之字長。圖像格式意指ROI之圖像之格式。
又，如圖5、圖6所示，於資料訊框中，於封包區域R2，於每1列包含有LongPacket(長封包)之PayloadData(酬載資料)，進而於夾著LongPacket(長封包)之PayloadData(酬載資料)之位置包含有封包標頭PH及封包註腳PF。進而，於夾著封包標頭PH及封包註腳PF之位置包含有低功率模式LP。
又，於封包區域R2，包含有壓縮圖像資料126A。壓縮圖像資料126A藉由1個壓縮圖像資料、或複數個壓縮圖像資料構成。於各列之LongPacket(長封包)之PayloadData(酬載資料)，包含有壓縮圖像資料126A之1列量之像素資料。
(圖像感測器100) 圖2係顯示圖像感測器100之構成之一例者。圖2所記載之構成相當於CSI發送器之一具體例。圖像感測器100具有例如攝像部110、圖像處理部120及發送部130。圖像感測器100將藉由對攝像部110獲得之圖像資料110A進行特定處理而產生之傳送資料130A，經由資料匯流排B1發送至處理器200。
攝像部110將例如通過光學透鏡等獲得之光學性之圖像信號轉換為圖像資料。攝像部110包含例如CCD(Charge Coupled Device：電荷耦合設備)影像感測器或CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器而構成。攝像部110具有類比-數位轉換電路，將類比之圖像資料轉換為數位之圖像資料。轉換後之資料型式可為以亮度成分Y及色差成分Cb、Cr表現各像素之顏色之YCbCr形式，亦可為RGB形式等。攝像部110將藉由攝像獲得之圖像資料110A(數位之圖像資料)輸出至圖像處理部120。
圖像處理部120具有例如開關部121、ROI檢測部122、動態檢測部123、控制部124、ROI切出部125及開關部126。
開關部121基於自控制部124輸入之控制信號124D，控制攝像部110獲得之圖像資料110A向後段之開關部126之輸出。控制信號124D為控制取得圖像資料110A之時序之信號，又為控制稍後敘述之ROI資訊122A、動態資訊124B及控制信號124C之更新時序之信號。開關部121根據例如控制信號124D之輸入，以特定之週期T1輸出圖像資料110A。
ROI檢測部122檢測圖像資料110A所包含之1或複數個對象物之區域(ROI)。ROI檢測部122使用例如動體檢測或面孔檢測等技術，檢測ROI(ROI圖像資料)。於動體檢測時，定義「動體」「非動體」之2類。於動體檢測時，藉由攝像時序相互不同之2枚圖像資料110A之間之亮度差導出特徵量，以導出之特徵量之大小是否超過特定閾值，判斷屬於哪一類。另一方面，於面孔檢測時，定義「面孔」「非面孔」之2類。於面孔檢測時，例如以圖像資料110A之Haar-Like(哈爾樣)特徵量之大小是否超過特定之閾值，判斷屬於哪一類。
ROI檢測部122基於藉由檢測獲得之ROI(ROI圖像資料)，產生ROI資訊122A，並將產生之ROI資訊122A輸出至控制部124。ROI資訊122A藉由例如ROI之左上端座標、ROI之X軸方向之長度、及ROI之Y軸方向之長度構成。ROI之X軸方向之長度係例如ROI之X軸方向之物理區域長度。ROI之Y軸方向之長度係例如ROI之Y軸方向之物理區域長度。物理區域長度意指ROI之物理性長度(資料長)。於ROI資訊122A中，亦可包含有與ROI之左上端不同之位置之座標。ROI檢測部122亦可將例如產生之ROI資訊122A與對ROI賦予之識別碼(區域編號)建立關聯，並輸出至控制部124。
動態檢測部123基於藉由不同之攝像時序獲得之複數個圖像資料110A，產生動態資訊123A。動態檢測部123基於隨著圖像感測器100之移動，於攝像時序相互不同之複數個圖像資料110A之間產生之差異，產生動態資訊123A。動態檢測部123例如藉由取得自開關部121輸入之2枚圖像資料110A之差量，而導出圖像資料110A之背景之某期間內之動態量(Mx，My)，該期間為與2枚圖像資料110A之取得週期對應之期間。動態檢測部123例如將如此導出之動態量(Mx，My)作為動態資訊123A輸出至控制部124。
控制部124基於自ROI檢測部122輸入之ROI資訊122A、與自動態檢測部123輸入之動態資訊123A，產生控制圖像資料110A之取得時序(攝像週期)之控制信號124D。控制部124例如於動態量(Mx，My)超過自ROI資訊122A產生之特定閾值(Thx，Thy)時，算出對應於動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量Tc，並使用算出之修正量Tc，產生(修正)週期T1。控制部124於例如基於修正後之週期T1之時序，將控制信號124D輸出至開關部121。控制部124以例如週期T1長於切出ROI圖像資料125A時所使用之圖像資料110A之攝像週期之方式，控制週期T1。
控制部124基於自動態檢測部123輸入之動態資訊123A，修正(更新)自ROI檢測部122輸入之ROI資訊122A。控制部124根據藉由ROI切出部125之追蹤而檢測出之ROI圖像資料125A，修正(更新)ROI資訊122A。控制部124於例如動態量(Mx，My)為自修正前之ROI資訊122A產生之特定閾值(Thx，Thy)以下時(即，不變更週期T1時)，算出對應於動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量(Cx，Cy)，使用算出之修正量(Cx，Cy)，修正ROI資訊122A。控制部124於例如基於修正後之週期T1之時序，將修正後之ROI資訊122A輸出至ROI切出部125。
控制部124進而將自ROI檢測部122輸入之ROI資訊122A(修正後之ROI資訊122A)作為ROI資訊124A，輸出至發送部130。控制部124進而將自動態檢測部123輸入之動態資訊123A作為動態資訊124B，輸出至發送部130。
ROI切出部125基於例如自控制部124輸入之ROI資訊122A，從輸入自攝像部110之圖像資料110A切出1或複數個ROI圖像資料125A。ROI切出部125基於例如動態資訊123A，追蹤ROI圖像資料125A。於ROI資訊122A中，若含有已賦予至ROI之識別碼(區域編號)之情形時，ROI切出部125對例如切出之ROI圖像資料125A，賦予識別碼(區域編號)。ROI切出部125將例如自圖像資料110A切出之1或複數個ROI圖像資料125A儲存於記憶部。ROI切出部125進而將例如識別碼(區域編號)與ROI圖像資料125A建立關聯而儲存於記憶部。ROI切出部125將切出之1或複數個ROI圖像資料125A輸出至開關部126。
此處，ROI圖像資料125A之尺寸與對應於ROI之位置資訊之尺寸相同或較其更大。ROI之圖像資料125A之X軸方向之長度XLb與ROI之X軸方向之物理區域長度XLa相同或成為較其更大之值。ROI圖像資料125A之Y軸方向之長度YLb與ROI之Y軸方向之物理區域長度YLa相同或成為較其更大之值。ROI切出部125基於ROI資訊122A設定ROI圖像資料125A之尺寸。
開關部126基於自控制部124輸入之控制信號124C，將自攝像部110輸出之圖像資料110A、與自ROI切出部125輸出之1或複數個ROI圖像資料125A選擇性地發送至發送部130。此時，開關部126將例如發送之圖像資料(圖像資料110A、或者1或複數個ROI圖像資料125A)編碼，產生壓縮圖像資料126A。開關部126藉由例如以JPEG(Joint Photographic Experts Group：靜態圖像壓縮標準)規格為基準之壓縮形式等壓縮圖像資料。開關部126將例如壓縮圖像資料126A發送至發送部130。
發送部130係產生包含自開關部126輸入之圖像資料(壓縮圖像資料126A)、與自控制部124輸入之ROI資訊122A及動態資訊124B之傳送資料130A並送出之電路。即，發送部130於壓縮圖像資料110A、1或複數個ROI圖像資料125A之狀態下，選擇性地發送至處理器200。發送部130以例如EmbeddedData(嵌入資料)送出ROI資訊122A及動態資訊124B。發送部130例如亦可將ROI資訊122A及動態資訊124B經由控制匯流排B2發送至處理器200。
發送部130例如進而將自開關部126輸入之圖像資料(壓縮圖像資料126A)以LongPacket(長封包)之PayloadData(酬載資料)送出。發送部130例如將自開關部126輸入之圖像資料(壓縮圖像資料126A)藉由圖像資料訊框送出，且以圖像資料訊框之標頭送出ROI資訊122A及動態資訊124B。發送部130根據例如由MIPI CSI-2規格或MIPI CSI-3規格規定之規則，產生傳送資料130A，並經由資料匯流排B1發送至處理器200。
發送部130例如圖7所示，以週期T1送出藉由壓縮圖像資料110A獲得之複數個壓縮圖像資料126A。發送部130進而例如圖7所示，以較週期T1更短之週期送出藉由壓縮1或複數個ROI圖像資料125A獲得之複數個壓縮圖像資料126A。發送部130進而例如圖7所示，亦可於送出藉由壓縮圖像資料110A獲得之複數個壓縮圖像資料126A至送出藉由壓縮1或複數個ROI圖像資料125A獲得之壓縮圖像資料126A之特定期間之間，送出無效之訊框110C。
(處理器200) 圖3係顯示處理器200之構成之一例者。圖3所記載之構成相當於CSI發送器之一具體例。處理器200具有例如接收部210、ROI復原部220及圖像處理部230。處理器200對自圖像感測器100發送而來之傳送資料130A進行特定之處理。
接收部210具有例如標頭分離部、標頭解釋部、Payload(酬載)分離部、EBD(Embedded Data：嵌入資料)解釋部、ROI資料分離部、解碼部及資訊擷取部。
標頭分離部經由資料匯流排B1接收傳送資料130A。標頭分離部例如接收將ROI資訊122A及動態資訊124B包含於EmbeddedData(嵌入資料)，且將圖像資料(壓縮圖像資料126A)包含於LongPacket(長封包)之PayloadData(酬載資料)之傳送資料130A。標頭分離部根據例如以MIPI CSI-2規格或MIPI CSI-3規格規定之規則，分離傳送資料130A。標頭分離部將例如接收之傳送資料130A分離為標頭區域與封包區域。
標頭解釋部基於例如標頭區域所包含之資料(具體而言為EmbeddedData(嵌入資料))，特定封包區域所包含之LongPacket(長封包)之PayloadData(酬載資料)之位置。Payload(酬載)分離部基於例如藉由標頭解釋部特定之LongPacket(長封包)之PayloadData(酬載資料)之位置，自封包區域分離封包區域所包含之LongPacket(長封包)之PayloadData(酬載資料)。
EBD解釋部將例如EmbeddedData(嵌入資料)作為EBD資料，輸出至資料分離部。EBD解釋部進而例如根據EmbeddedData(嵌入資料)所包含之資料型式，判別LongPacket(長封包)之PayloadData(酬載資料)所包含之圖像資料是否為ROI之圖像資料之壓縮圖像資料126A。EBD解釋部例如將其判別結果輸出至ROI資料分離部。
於LongPacket(長封包)之PayloadData(酬載資料)所包含之圖像資料為ROI之圖像資料之壓縮圖像資料126A之情形時，ROI資料分離部將例如LongPacket(長封包)之PayloadData(酬載資料)作為PayloadData(酬載資料)D1，輸出至解碼部。於PayloadData(酬載資料)所包含之圖像資料為通常圖像資料(圖像資料110A)之壓縮圖像資料126A之情形時，ROI資料分離部將LongPacket(長封包)之PayloadData(酬載資料)作為PayloadData(酬載資料)D2，輸出至解碼部。
解碼部解碼壓縮圖像資料126A產生圖像資料。解碼部解碼例如PayloadData(酬載資料)D1所包含之壓縮圖像資料126A，產生ROI圖像資料210D。解碼部解碼例如PayloadData(酬載資料)D2所包含之壓縮圖像資料126A，產生整體圖像資料210B。
資訊擷取部自例如EBD資料所包含之EmbeddedData(嵌入資料)，擷取ROI資訊122A及動態資訊124B。資訊擷取部自例如EBD資料所包含之EmbeddedData(嵌入資料)，擷取例如圖像資料111A所包含之ROI之數、各ROI之區域編號、各ROI之資料長、及各ROI之圖像格式。
接收部210將例如獲得之動態資訊124B作為動態資訊210A輸出至圖像處理部230。接收部210將例如獲得之整體圖像資料210B輸出至圖像處理部230。接收部210將例如獲得之ROI資訊122A作為ROI資訊210C輸出至ROI復原部220。接收部210將例如獲得之ROI圖像資料210D輸出至ROI復原部220。
ROI復原部220基於例如藉由解碼獲得之ROI圖像資料210D、與ROI資訊210C等，產生(復原)圖像資料110A所包含之1或複數個ROI圖像資料125A。ROI復原部220將例如藉由產生(復原)獲得之1或複數個ROI圖像資料125A作為ROI圖像資料220A輸出至圖像處理部230。
圖像處理部230使用自接收部輸入之動態資訊210A及整體圖像資料210B、與自ROI復原部220輸入之ROI圖像資料220A，進行特定之處理。
[動作] 其次，對通信系統1000之資料傳送之順序進行說明。圖8係顯示追隨對象物之動態而設定ROI圖像或檢測相機之動態之狀況之一例者。圖9、圖10係顯示通信系統1000之資料傳送之順序之一例者。
首先，處理器200對圖像感測器100要求ROI圖像資料之發送(步驟S101)。如此，圖像感測器100將取得整體圖像資料之間隔(整體圖像取得間隔Fi)設定為初始值，進而將訊框計數Fc初始化(Fc=0)(步驟S102)。整體圖像取得間隔Fi係對應上述週期T1之參數。
其次，圖像感測器100取得整體圖像即圖像資料110A(步驟S103)。此時之圖像資料110A係例如圖8左上之訊框(Frame)#0之圖像資料、或圖8右上之訊框#0之圖像資料。圖像感測器100將例如控制信號124D自控制部124輸出至開關部121，藉此使圖像資料110A自開關部121輸出。其次，圖像感測器100檢測圖像資料110A所包含之1或複數個物體(對象物)(步驟S104)。具體而言，圖像感測器100檢測圖像資料110A所包含之1或複數個對象物之區域(ROI)。
其次，圖像感測器100算出ROI資訊(步驟S105)。具體而言，圖像感測器100算出藉由檢測獲得之ROI之位置資訊(ROI資訊122A)。其次，圖像感測器100取得ROI圖像(步驟S106)。具體而言，圖像感測器100基於取得之ROI資訊122A，自攝像部110所輸入之圖像資料110A切出1或複數個ROI圖像資料125A。圖像感測器100將取得之ROI圖像發送至處理器200(步驟S107)。
處理器200自圖像感測器100接收ROI圖像(步驟S108)。此時，處理器200判斷是否輸入完成攝影之指示(步驟S109)。於輸入有完成攝影之指示之情形時，處理器200結束動作。於未輸入完成攝影之指示之情形時，處理器200再次對圖像感測器100要求ROI圖像資料之發送(步驟S110)。
如此，圖像感測器100增加1個訊框計數Fc(步驟S111)。其次，圖像感測器100判定訊框計數Fc是否為整體圖像取得間隔Fi以上(步驟S112)。於訊框計數Fc為整體圖像取得間隔Fi以上之情形時，圖像感測器100將訊框計數Fc重設為0(步驟S113)。此時，圖像感測器100移至步驟S103。
另一方面，於訊框計數Fc未達整體圖像取得間隔Fi以上之情形時，圖像感測器100進行ROI圖像之比較(步驟S114)。圖像感測器100於攝像時序相互不同之2枚圖像資料110A中，判斷映入相互共通之對象物之2枚ROI圖像資料125A(ROI資訊之相互相等之2枚ROI圖像資料125A)之間產生之差異，是否存在或是否收斂於特定之範圍內。此時之ROI圖像資料125A係例如圖8左側之訊框#2、3之圖像資料、或圖8右側之訊框#2、3之圖像資料。其結果，於無上述差異或收斂於特定之範圍內之情形時，圖像感測器100判斷ROI圖像彼此一致，並將整體圖像取得間隔Fi變更為大於當前值之值(步驟S115)。此時，圖像感測器100移至步驟S106。另一方面，於上述差異自特定範圍內偏離之情形時，圖像感測器100判斷ROI彼此有差量，並移至動態判定(步驟S116)。
圖像感測器100於動態判定中，藉由取得例如自開關部121輸入之2枚圖像資料110A之差量，而導出圖像資料110A之背景之2枚圖像資料110A之取得週期所對應之期間內之動態量(Mx，My)。此時之圖像資料110A係例如圖8左側之訊框#1、4之圖像資料、或圖8右側之訊框#1、4之圖像資料。圖像感測器100於導出之動態量(Mx，My)較大之情形時，具體而言，動態量(Mx，My)超過由ROI資訊122A產生之特定之閾值(Thx，Thy)之情形時，將訊框計數Fc重設為0，並將整體圖像取得間隔Fi變更為小於當前值之值(步驟S117)。此時，圖像感測器100移至步驟S103。另一方面，圖像感測器100於動態判定中，動態量(Mx，My)較小之情形時，具體而言，動態量(Mx，My)未超過由ROI資訊122A產生之特定閾值(Thx，Thy)之情形時，更新ROI資訊(步驟S118)。此時，圖像感測器100移至步驟S106。
圖像感測器100於例如動態量(Mx，My)為由修正前之ROI資訊122A產生之特定之閾值(Thx，Thy)以下時(即，於不變更整體圖像取得間隔Fi時)，算出對應動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量(Cx，Cy)，並使用算出之修正量(Cx，Cy)，修正ROI資訊122A。此時，圖像感測器100移至步驟S106。於本實施形態中，例如，如此進行週期T1、或ROI資訊122A之修正(更新)。
[效果] 其次，對本實施形態之通信系統1000之效果進行說明。
近年，大量發送資料量較大之資料之用途不斷增加。容易對傳送系統施加較大之負荷，於最壞之情形時，有傳送系統停機，無法進行資料傳送之虞。
近年，為避免傳送系統之停機，進行例如特定攝影對象之物體，僅發送切出所特定之物體之一部分圖像，而非發送所有拍攝之圖像。
通常，於ROI傳送時，以攝像裝置為靜止狀態作為前提。因此，於攝像裝置動作之情形時，原來之整體圖像與ROI圖像之位置關係隨著攝像裝置之動態而變化，難以適當傳送ROI。
另一方面，於本實施形態之圖像感測器100，基於藉由不同之攝像時序獲得之複數個圖像資料110A檢測動態資訊124B。藉此，例如於圖像感測器100移動之情形時，亦可獲得考慮圖像感測器100之移動之ROI圖像資料125A。因此，於圖像感測器100移動之情形時，亦可適當傳送ROI。
又，於本實施形態之圖像感測器100中，基於隨著圖像感測器100之移動而於複數個圖像資料110A之間產生之差異，檢測動態資訊124B。藉此，例如於圖像感測器100移動之情形時，亦可獲得考慮圖像感測器100之移動之ROI圖像資料125A。因此，於圖像感測器100移動之情形時，亦可適當傳送ROI。
又，於本實施形態之圖像感測器100，動態資訊124B使用產生ROI圖像資料125A時所使用之圖像資料110A而產生。藉此，與使用ROI圖像資料125A產生圖像感測器100之動態資訊之情形相比，可產生精度較佳之動態資訊124B。
又，於本實施形態之圖像感測器100，基於動態資訊124B，控制圖像資料110A之攝像週期(週期T1)。藉此，可抑制自ROI圖像資料125A缺損對象物之至少一部分。因此，於圖像感測器100移動之情形時，亦可適當傳送ROI。
又，於本實施形態之圖像感測器100，以週期T1長於切出ROI圖像資料125A時所使用之圖像資料110A之攝像週期之方式，控制週期T1。藉此，因作為整體圖像之圖像資料110A對各訊框非必需，故與按各訊框控制週期T1之情形相比，可減少傳送資料量或運算量。
＜2.變化例＞ [變化例A] 於上述實施形態，ROI圖像資料125A之尺寸基於ROI資訊122A設定。此處，於ROI圖像資料125A之尺寸過大之情形時，ROI圖像資料125A之資料尺寸亦變大。因此，通常ROI圖像資料125A之尺寸與對應於ROI之位置資訊之尺寸相同或成為較其稍大之值。
然而，於上述實施形態中，於對象物之移動量較大，繼而取得整體圖像(圖像資料110A)之期間，有自ROI圖像資料125A缺損對象物之至少一部分之情形。於此情形時，ROI切出部125亦可根據例如對象物之移動量之大小(例如，對象物之週期T1內之移動量之大小)變更ROI圖像資料125A之尺寸。
於本變化例中，對ROI檢測部122及動態檢測部123，亦可例如圖11所示般輸入開關部126之輸出。此時，ROI檢測部122檢測圖像資料110A及ROI圖像資料125A之任一者所包含之1或複數個對象物之區域(ROI)。動態檢測部123基於攝像時序相互不同之複數個圖像資料110A及攝像時序相互不同之複數個ROI圖像資料125A之任一者，產生動態資訊123A。動態檢測部123基於隨著圖像感測器100之移動而於攝像時序相互不同之複數個ROI圖像資料125A及攝像時序相互不同之複數個ROI圖像資料125A之任一者之間產生之差異，產生動態資訊123A。
ROI切出部125例如圖12所示，亦可使ROI圖像資料125A之尺寸大於上述實施形態之尺寸。此時，圖像感測器100亦可於將圖8之步驟S102置換為圖13所記載之步驟S119之後，執行通信系統1000之資料傳送之一連串順序。圖像感測器100於步驟S119中，執行步驟S102所記載之順序，且設定對象物與ROI圖像之尺寸比s。圖像感測器100可進而於圖10之步驟S115中，放大整體圖像取得間隔Fi，且縮小尺寸比s。圖像感測器100亦可進而於圖10之步驟S117中，縮小整體圖像取得間隔Fi，且放大尺寸比s。
如此，於本變化例中，控制ROI圖像資料125A之尺寸。藉此，可抑制自ROI圖像資料125A缺損對象物之至少一部分。因此，即使於圖像感測器100移動之情形時，亦可適當傳送ROI。
又，於本變化例中，基於動態資訊123A，追蹤ROI圖像資料125A，並根據藉由追蹤而檢測之ROI圖像資料125A，修正(更新)ROI資訊122A。藉此，例如即使於圖像感測器100移動之情形時，亦可獲得考慮圖像感測器100之移動之ROI圖像資料125A。因此，即使於圖像感測器100移動之情形時，亦可適當傳送ROI。
[變化例B] 於上述實施形態及變化例A中，圖像感測器100例如圖14所示，亦可取代動態檢測部123，具有感測器140。感測器140係檢測圖像感測器100之動態，藉此可產生動態資訊123A之設備，且例如包含迴轉儀感測器、角速度感測器、及GPS(Global Positioning System：全球定位系統)接收機等構成。
感測器140將產生之動態資訊123A作為輸出140A輸出至發送部130。此時，發送部130產生包含取代動態資訊124B之輸出140A之傳送資料130A並送出。藉此，因輸出140A藉由傳送資料130A之傳送，傳遞至處理器200，故圖像處理部230可進行考慮輸出140A之處理。
於本變化例中，取代動態檢測部123設置有感測器140。於如此之情形時，亦可獲得與上述實施形態同樣之效果。
[變化例C] 於上述實施形態及變化例A中，例如圖15所示，亦可省略ROI檢測部122及動態檢測部123，設置有感測器140。進而，於上述實施形態及變化例A中，例如圖16所示，亦可設置有ROI檢測部240。
ROI檢測部240檢測整體圖像資料210B所包含之1或複數個對象物之區域(ROI)。ROI檢測部240使用例如動體檢測或面孔檢測等技術檢測ROI(例如ROI圖像資料)。於動體檢測中，定義「動體」「非動體」之2類。於動體檢測中，藉由攝像時序相互不同之2枚整體圖像資料210B之間之亮度差導出特徵量，並以導出之特徵量之大小是否超過特定之閾值，判斷屬於哪一類。另一方面，於面孔檢測中，定義「面孔」「非面孔」之2類。於面孔檢測中，例如以整體圖像資料210B之Haar-Like特徵量之大小是否超過特定之閾值，判斷屬於哪一類。
ROI檢測部240基於藉由檢測獲得之ROI(例如ROI圖像資料)，算出ROI資訊122A，並將算出之ROI資訊122A作為ROI資訊240A輸出至圖像處理部230。ROI檢測部240亦可將例如ROI資訊240A與對ROI賦予之識別碼(區域編號)建立關聯，輸出至圖像處理部230。
ROI檢測部240基於ROI資訊122A、與自接收部210輸入之動態資訊210A，產生圖像資料110A之取得時序資訊(週期T1)。ROI檢測部240基於動態資訊210A，追蹤ROI圖像資料125A。ROI檢測部240於例如動態量(Mx，My)超過自ROI資訊122A產生之特定之閾值(Thx，Thy)時，算出對應動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量Tc，並使用算出之修正量Tc，修正週期T1。
ROI檢測部240進而使用動態資訊210A，產生(修正)ROI資訊122A。ROI檢測部240進而將修正後之ROI資訊122A(ROI資訊240A)、與圖像資料110A之取得時序資訊(週期T1)輸出至圖像處理部230。圖像處理部230將自ROI檢測部240輸入之資料(ROI資訊240A、週期T1)作為控制資料230A，經由控制匯流排B2輸出至圖像感測器100之控制部124。於此情形時，於圖像感測器100中，控制部124自處理器200接收控制資料230A，且基於接收到之控制資料230A所包含之週期T1，產生控制圖像資料110A之取得時序之控制信號124D。控制部124進而將ROI資訊240A輸出至ROI切出部125。ROI切出部125基於自控制部124輸入之ROI資訊240A，自圖像資料110A切出1或複數個ROI圖像資料125A。圖像處理部230進而將ROI資訊240A作為ROI資訊230B，輸出至ROI復原部220。
ROI檢測部240亦可將ROI資訊240A、圖像資料110A之取得時序資訊(週期T1)、及動態資訊210A輸出至圖像處理部230。於此情形時，圖像處理部230將自ROI檢測部240輸入之資料(ROI資訊240A、週期T1、動態資訊210A)作為控制資料230A，經由控制匯流排B2輸出至圖像感測器100之控制部124。於此情形時，於圖像感測器100中，控制部124自處理器200接收控制資料230A，且基於接收到之控制資料230A所包含之週期T1，產生控制圖像資料110A之取得時序之控制信號124D。控制部124進而基於動態資訊210A，修正ROI資訊240A，且將修正後之ROI資訊240A輸出至ROI切出部125。ROI切出部125使用自控制部124輸入之ROI資訊240A，自圖像資料110A擷取1或複數個ROI圖像資料125A。即，於圖像感測器100中，控制部124及ROI切出部125使用動態資訊210A與ROI資訊240A，自圖像資料110A擷取1或複數個ROI圖像資料125A。圖像處理部230進而將ROI資訊240A作為ROI資訊230B，輸出至ROI復原部220。
ROI復原部220基於例如藉由解碼獲得之ROI圖像資料210D、與自圖像處理部230輸入之ROI資訊230B等，產生(復原)圖像資料110A所包含之1或複數個ROI圖像資料125A。ROI復原部220例如將藉由產生(復原)獲得之1或複數個ROI圖像資料125A作為ROI圖像資料220A，輸出至圖像處理部230。
本變化例中，以處理器200進行ROI檢測。即使於此種情形下，亦可獲得與上述實施形態同樣之效果。
又，於本變化例中，亦可自送出藉由壓縮圖像資料110A獲得之複數個壓縮圖像資料126A起，至送出藉由壓縮1或複數個ROI圖像資料125A獲得之壓縮圖像資料126A之特定期間之間(即，自處理器200接收ROI指示資訊(ROI資訊240A、週期T1)起一定期間內)，送出無效之訊框110C。於此情形時，例如可調整送出壓縮圖像資料126A之時序。
[變化例D] 於上述變化例C中，例如圖17所示，亦可取代感測器140，而設置計時部150。進而，於上述變化例C中，例如圖18所示，亦可設置動態檢測部250。
計時部150產生時間資料150A，輸出至發送部130。此時，計時部150產生包含取代動態資訊124B之時間資料150A之傳送資料130A並送出。藉此，時間資料150A藉由傳送資料130A之傳送，傳遞至處理器200。於處理器200中，若接收部210接收時間資料150A，則將接收之時間資料150A作為時間資料210E輸出至圖像處理部230。藉此，圖像處理部230可進行考慮時間資料150A之處理。
動態檢測部250基於藉由攝像獲得之攝像時序相互不同之複數個整體圖像資料210B，產生動態資訊250A。動態檢測部250基於隨著圖像感測器100之移動而於攝像時序相互不同之複數個整體圖像資料210B之間產生之差異，產生動態資訊250A。動態檢測部250藉由例如取得自接收部210輸入之2枚整體圖像資料210B之差量，而導出整體圖像資料210B之背景之與2枚整體圖像資料210B之取得週期對應之期間內之動態量(Mx，My)。動態檢測部250例如將如此導出之動態量(Mx，My)作為動態資訊250A輸出至圖像處理部230。
圖像處理部230基於ROI資訊240A、與自動態檢測部250輸入之動態資訊250A，產生圖像資料110A之取得時序資訊(週期T1)。圖像處理部230於例如動態量(Mx，My)超過自ROI資訊240A產生之特定之閾值(Thx，Thy)時，算出對應於動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量Tc，並使用算出之修正量Tc，修正週期T1。圖像處理部230以例如週期T1長於切出ROI圖像資料125A時所使用之圖像資料110A之攝像週期之方式，產生週期T1。
圖像處理部230進而使用例如動態資訊250A，產生ROI資訊240A。圖像處理部230進而基於例如動態資訊250A，修正(更新)ROI資訊240A。圖像處理部230根據ROI圖像資料220A修正(更新)ROI資訊240A。圖像處理部230於例如動態量(Mx，My)為根據修正前之ROI資訊240A產生之特定之閾值(Thx，Thy)以下時(即，不變更週期T1時)，算出對應於動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量(Cx，Cy)，並使用算出之修正量(Cx，Cy)，修正ROI資訊240A。圖像處理部230將例如包含修正後之ROI資訊240A、與圖像資料110A之取得時序資訊(週期T1)之資料作為控制資料230A，經由控制匯流排B2輸出至圖像感測器100之控制部124。圖像處理部230進而將ROI資訊240A作為ROI資訊230B，輸出至ROI復原部220。於此情形時，圖像感測器100中，控制部124接收控制資料230A，並基於接收之控制資料230A所包含之週期T1，產生控制圖像資料110A之取得時序之控制信號124D。又，圖像感測器100中，控制部124於例如基於接收之控制資料230A所包含之週期T1之時序，將接收之控制資料230A所包含之ROI資訊240A(修正後之ROI資訊240A)輸出至ROI切出部125。ROI切出部125使用例如自控制部124輸入之ROI資訊240A(修正後之ROI資訊240A)，由攝像部110所輸入之圖像資料110A擷取1或複數個ROI圖像資料125A。
另，圖像處理部230亦可將例如包含ROI資訊240A、動態資訊250A、及圖像資料110A之取得時序資訊(週期T1)之資料作為控制資料230A，經由控制匯流排B2輸出至圖像感測器100之控制部124。於此情形時，圖像感測器100中，控制部124接收控制資料230A，基於接收之控制資料230A所包含之週期T1，產生控制圖像資料110A之取得時序之控制信號124D。又，圖像感測器100中，控制部124基於接收之控制資料230A所包含之動態資訊123A，修正(更新)接收之控制資料230A所包含之ROI資訊240A。控制部124於例如基於接收之控制資料230A所包含之週期T1之時序，將修正(更新)後之ROI資訊240A輸出至ROI切出部125。ROI切出部125使用例如自控制部124輸入之ROI資訊240A(修正後之ROI資訊240A)，由攝像部110所輸入之圖像資料110A擷取1或複數個ROI圖像資料125A。
[動作] 其次，對本變化例之通信系統1000之資料傳送之順序進行說明。圖19、圖20係顯示本變化例之通信系統1000之資料傳送之順序之一例者。
首先，處理器200將取得整體圖像資料之間隔(整體圖像取得間隔Fi)設定為初始值，進而將訊框計數Fc初始化(Fc=0)(步驟S201)。其次，處理器200對圖像感測器100要求ROI圖像資料之發送(步驟S202)。
如此，圖像感測器100取得整體圖像即圖像資料110A(步驟S203)。此時之圖像資料110A係例如圖8左上之訊框#0之圖像資料、或圖8右上之訊框#0之圖像資料。圖像感測器100藉由例如將控制信號124D自控制部124輸出至開關部121，使圖像資料110A自開關部121輸出。其次，圖像感測器100將整體圖像即圖像資料110A發送至處理器200(步驟S204)。
處理器200接收整體圖像資料210B(步驟S205)。其次，處理器200檢測整體圖像資料210B所包含之1或複數個物體(對象物)(步驟S206)。具體而言，處理器200檢測整體圖像資料210B所包含之1或複數個對象物之區域(ROI)。
其次，處理器200算出ROI資訊(步驟S207)。具體而言，圖像感測器100基於藉由檢測獲得之ROI，算出位置資訊(ROI資訊240A)。其次，處理器200對圖像感測器100要求ROI圖像之發送(步驟S208)。
如此，圖像感測器100取得ROI圖像(步驟S209)。具體而言，圖像感測器100基於取得之ROI資訊240A，自攝像部110所輸入之圖像資料110A切出1或複數個ROI圖像資料125A。圖像感測器100將取得之ROI圖像發送至處理器200(步驟S210)。
處理器200自圖像感測器100接收ROI圖像(步驟S211)。如此，處理器200增加1個訊框計數Fc(步驟S212)。其次，處理器200判定訊框計數Fc是否為整體圖像取得間隔Fi以上(步驟S213)。於訊框計數Fc為整體圖像取得間隔Fi以上之情形時，處理器200將訊框計數Fc重設為0(步驟S214)。此時，處理器200移至步驟S202。
另一方面，於訊框計數Fc未達整體圖像取得間隔Fi以上之情形時，處理器200進行ROI圖像之比較(步驟S215)。處理器200於攝像時序相互不同之2枚整體圖像資料210B中，判斷映入相互共通之對象物之2枚ROI圖像資料220A(ROI資訊之相互相等之2枚ROI圖像資料220A)之間是否產生差異、或是否收斂於特定之範圍內。此時之ROI圖像資料220A係例如圖8左側之訊框#2、3之圖像資料、或圖8右側之訊框#2、3之圖像資料。其結果，於無上述差異、或收斂於特定之範圍內之情形時，處理器200判斷ROI圖像彼此一致，並將整體圖像取得間隔Fi變更為大於當前值之值(步驟S216)。此時，處理器200移至步驟S208。另一方面，於上述差異自特定之範圍內偏離之情形時，處理器200判斷於ROI彼此有差量，並移至動態判定(步驟S217)。
處理器200於動態判定中，藉由例如取得由接收部210輸入之2枚整體圖像資料210B之差量，導出整體圖像資料210B之背景之與2枚整體圖像資料210B之取得週期對應之期間內之動態量(Mx，My)。此時之整體圖像資料210B係例如圖8左側之訊框#1、4之圖像資料、或圖8右側之訊框#1、4之圖像資料。處理器200於導出之動態量(Mx，My)較大之情形時，具體而言，動態量(Mx，My)超過根據ROI資訊240A產生之特定之閾值(Thx，Thy)之情形時，將訊框計數Fc重設為0，並將整體圖像取得間隔Fi變更為小於當前值之值(步驟S218)。此時，處理器200移至步驟S202。另一方面，處理器200於動態判定中，動態量(Mx，My)較小之情形時，具體而言動態量(Mx，My)不超過自ROI資訊240A產生之特定閾值(Thx，Thy)之情形時，更新ROI資訊(步驟S219)。此時，處理器200移至步驟S208。
處理器200於例如動態量(Mx，My)為自修正前之ROI資訊240A產生之特定閾值(Thx，Thy)以下時(即，不變更整體圖像取得間隔Fi時)，算出對應於動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量(Cx，Cy)，並使用算出之修正量(Cx，Cy)，修正ROI資訊240A。此時，處理器200移至步驟S106。於本變化例中，例如，如此進行週期T1、或ROI資訊240A之修正(更新)。
於本變化例中，以處理器200進行ROI檢測及動態檢測，並將ROI指示資訊(ROI資訊240A、週期T1)自處理器200(圖像處理部230)向圖像感測器100(控制部124)發送。藉此，因無需於圖像感測器100中進行ROI檢測及動態檢測，故可減少圖像感測器100之資料處理量。其結果，亦容易對應高速之資料傳送。
又，於本變化例，於送出藉由壓縮圖像資料110A獲得之複數個壓縮圖像資料126A開始，至送出藉由壓縮1或複數個ROI圖像資料125A獲得之壓縮圖像資料126A之特定期間之間(即，於ROI圖像資料125A之檢測中，自處理器200接收與上次相同之ROI指示資訊(ROI資訊240A、週期T1)之間)，送出無效之訊框110C之情形時，可調整例如送出壓縮圖像資料126A之時序。
又，本變化例中，於ROI圖像資料125A之檢測中，自處理器200接收與上次相同之ROI指示資訊(ROI資訊240A、週期T1)之間，更新ROI圖像資料125A，並持續發送至處理器200。即使於如此之情形時，例如圖像感測器100移動之情形時，亦可獲得考慮圖像感測器100之移動之ROI圖像資料125A。因此，即使於圖像感測器100移動之情形時，亦可減少圖像感測器100之資料處理量，且適當傳送ROI。
[變化例E] 於上述變化例D，ROI圖像資料220A之尺寸基於ROI資訊240A設定。此處，於ROI圖像資料220A之尺寸過大之情形時，亦放大ROI圖像資料220A之資料尺寸。因此，通常ROI圖像資料220A之尺寸與對應於ROI之位置資訊之尺寸相同或為較其稍大之值。
然而，於上述變化例D，於對象物之移動量較大，繼而取得整體圖像資料210B之期間，有自ROI圖像資料220A缺損對象物之至少一部分之情形。於此情形時，ROI切出部125亦可例如根據對象物之移動量之大小(例如對象物之週期T1內之移動量之大小)變更ROI圖像資料220A之尺寸。
ROI切出部125例如圖12所示，亦可使ROI圖像資料220A之尺寸大於上述實施形態之尺寸。此時，處理器200亦可於將圖19之步驟S201置換為圖21所記載之步驟S220之後，執行通信系統1000之資料傳送之一連串順序。處理器200於步驟S220中，執行步驟S201所記載之順序，且設定對象物與ROI圖像之尺寸比s。處理器200可進而於圖20之步驟S216中，放大整體圖像取得間隔Fi，且縮小尺寸比s。處理器200亦可進而於圖20之步驟S218中，縮小整體圖像取得間隔Fi，且放大尺寸比s。
如此，於本變化例，控制ROI圖像資料220A之尺寸。藉此，可抑制自ROI圖像資料220A缺損對象物之至少一部分。因此，即使於圖像感測器100移動之情形時，亦可適當傳送ROI。
[變化例F] 於上述變化例C、D、E中，於動態資訊210A、250A輸入至圖像處理部230之情形時，圖像處理部230亦可將包含ROI資訊240A、動態資訊210A或動態資訊250A之資料作為控制資料230A，經由控制匯流排B2輸出至圖像感測器100之控制部124。於此情形時，圖像感測器100中，控制部124亦可基於接收之控制資料230A所包含之動態資訊210A或動態資訊250A、與ROI資訊240A，產生圖像資料110A之取得時序資訊(週期T1)。圖像處理部230於例如動態量(Mx，My)超過自ROI資訊240A產生之特定之閾值(Thx，Thy)時，算出對應於動態量(Mx，My)與閾值(Thx，Thy)之差量之修正量Tc，並使用算出之修正量Tc，修正週期T1。
於本變化例，以圖像感測器100進行圖像資料110A之取得時序資訊(週期T1)之產生。即使於此情形時，亦可獲得與上述變化例C、D、E同樣之效果。
[變化例G] 於上述變化例D、E及上述變化例D、E之變化例F中，例如圖22所示，作為對ROI檢測部240之輸入資料，亦可設置有選擇整體圖像資料210B及ROI圖像資料220A之任一者之開關部260。又，於上述變化例D、E及上述變化例D、E之變化例F中，作為對動態檢測部250之輸入資料，亦可設置有選擇整體圖像資料210B及ROI圖像資料220A之任意一者之開關部270。
於本變化例，於ROI圖像資料220A輸入至動態檢測部250之情形時，動態檢測部250亦可基於藉由不同之攝像時序獲得之複數個ROI圖像資料220A，產生動態資訊250A。於此情形時，動態檢測部250基於隨著圖像感測器100之移動而於攝像時序相互不同之複數個ROI圖像資料220A之間產生之差異，產生動態資訊250A。藉此，例如於圖像感測器100移動之情形時，亦可獲得考慮圖像感測器100之移動之ROI圖像資料125A。因此，於圖像感測器100移動之情形時，亦可適當傳送ROI。
於本變化例，藉由作為對ROI檢測部240及動態檢測部250之輸入資料選擇ROI圖像資料220A，而與經常向ROI檢測部240及動態檢測部250輸入整體圖像資料210B之情形相比，可削減ROI檢測部240及動態檢測部250之運算處理量。
[變化例H] 於上述變化例D、E、F、G中，亦可省略連接圖像感測器100及處理器200之間之介面(資料匯流排B1、控制匯流排B2)、發送部130、接收部210及ROI復原部220，並將圖像感測器100及處理器200單晶片化。於此情形時，通信系統1000例如圖23所示，亦可具備攝像部110、圖像處理部120、ROI檢測部240、動態檢測部250、圖像處理部230及計時部150。
於本變化例中，ROI檢測部240及動態檢測部250之輸入連接於開關部126之輸出，且計時部150之輸出連接於圖像處理部230。於此情形時，亦可獲得與上述實施形態同樣之效果。
＜3.應用例＞ 以下，對上述實施形態及其變化例之通信系統1000之應用例進行說明。
於圖24及圖25，顯示車載用相機之構成例作為通信系統1000之應用例。圖24顯示車載用相機之設置例之一例，圖25顯示車載用相機之內部構成例。
例如圖24所示，於車輛301之前面(前方)設置車載用相機401，於左右設置車載用相機402、403，進而於後面(後方)設置車載用相機404。車載用相機401～404分別經由車內網路連接於ECU302(Electrical Control Uni：電子控制單元)。
備置於車輛301之前面之車載用相機401之圖像擷取角度為例如圖24中a所示之範圍。車載用相機402之圖像擷取角度為例如圖24中b所示之範圍。車載用相機403之圖像擷取角度為例如圖24中c所示之範圍。車載用相機404之圖像擷取角度為例如圖24中d所示之範圍。車載用相機401～404將分別擷取之圖像輸出至ECU302。其結果，可於ECU302中擷取車輛301之前方、左右、後方之360度(全方位)之圖像。
例如圖25所示，車載用相機401～404分別具有影像感測器431、DSP(Digital Signal Processing：數位信號處理)電路432、選擇器433、SerDes(SERializer/DESerializer：串化器/解串器)電路434。
DSP電路432係對自影像感測器431輸出之攝像信號進行各種圖像信號處理者。SerDes電路434係進行信號之串行/並行轉換者，由例如FPD-Link III(Flat Panel Display Link III：平板顯示器鏈路 III)等車載介面晶片構成。
選擇器433係選擇將自影像感測器431輸出之攝像信號經由DSP電路432輸出、或不經由DSP電路432而輸出者。
可於影像感測器431與DSP電路432之間之連接介面441，應用例如上述實施形態及其變化例之通信系統1000。
以上，雖例舉實施形態及其變化例說明本揭示，但本揭示並非限定於上述實施形態等者，可進行多種變化。另，本說明書中所記載之效果僅為例示。本揭示之效果並非限定於本說明書中所記載之效果者。本揭示亦可具有本說明書中所記載之效果以外之效果。
又，例如本揭示可取得以下之構成。 (1) 一種發送裝置，其具備： 檢測部，其基於ROI(Region Of Interest)指示資訊，檢測ROI圖像資料； 產生部，其自藉由上述檢測部檢測出之上述ROI圖像資料而產生ROI資訊；及 發送部，其將上述ROI圖像資料及上述ROI資訊發送至外部裝置；且 上述檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之上述ROI圖像資料之動態資訊。 (2) 如(1)記載之發送裝置，其中 上述檢測部基於隨著該發送裝置之移動而於上述複數個圖像資料之間產生之差異及隨著該發送裝置之移動而於上述複數個ROI圖像資料之間產生之差異之任一者，檢測上述動態資訊。 (3) 如(1)或(2) 記載之發送裝置，其中 進而具備控制部，該控制部基於上述動態資訊，控制上述圖像資料之攝像週期。 (4) 如(1)至(3)中任一項記載之發送裝置，其中 上述控制部基於攝像時序相互不同且映入相互共通之對象物之上述複數個ROI圖像資料，算出上述對象物之移動量； 上述檢測部根據藉由上述控制部算出之上述移動量之大小，控制上述ROI圖像資料之尺寸。 (5) 如(1)至(4)中任一項記載之發送裝置，其中 上述檢測部自上述外部裝置接收上述ROI指示資訊。 (6) 如(5) 記載之發送裝置，其中 上述發送部於自上述外部裝置接收上述ROI指示資訊起一定期間內，將無效之訊框發送至上述外部裝置。 (7) 如(1)至(6)中任一項記載之發送裝置，其中 上述檢測部基於上述動態資訊，追蹤上述ROI圖像資料； 上述產生部根據由上述檢測部之追蹤而檢測出之上述ROI圖像資料，更新上述ROI資訊。 (8) 如(1)至(7)中任一項記載之發送裝置，其中 上述產生部於上述ROI圖像資料之檢測中，自上述外部裝置接收與上次相同之ROI指示資訊之期間，更新上述ROI圖像資料並持續向上述外部裝置發送。 (9) 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取出之ROI(Region Of Interest)圖像資料選擇性地發送至上述接收裝置之第1發送部； 上述接收裝置具有： 第1產生部，其基於由不同之攝像時序獲得之複數個上述第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，產生動態資訊； 第2產生部，其產生上述第2圖像資料之ROI資訊；及 第2發送部，其將上述動態資訊、與上述ROI資訊發送至上述發送裝置；且 上述發送裝置進而具有擷取部，該擷取部使用上述動態資訊與上述ROI資訊，自上述第2圖像資料擷取上述ROI圖像資料。 (10) 如(9)記載之通信系統，其中 上述第1產生部基於隨著該發送裝置之移動而於上述複數個第1圖像資料之間產生之差異，產生上述動態資訊。 (11) 如(9)或(10)記載之通信系統，其中 上述第1產生部藉由使用上述第2圖像資料作為上述第1圖像資料，而產生上述動態資訊。 (12) 如(9)至(11)中任一項記載之通信系統，其中 上述第2發送部將基於上述動態資訊而產生之、上述第1圖像資料之攝像週期資訊，發送至上述發送裝置； 上述發送裝置進而具有控制部，該控制部基於自上述接收裝置輸入之上述攝像週期資訊，控制上述第1圖像資料之攝像週期。 (13) 如(9)至(11)中任一項記載之通信系統，其中 上述發送裝置進而具有： 第4產生部，其基於上述動態資訊，產生上述第1圖像資料之攝像週期資訊；及 控制部，其基於上述攝像週期資訊，控制上述第1圖像資料之攝像週期。 (14) 如(12)或(13)記載之通信系統，其中 上述接收裝置進而具有：第3產生部，其基於上述動態資訊，產生上述第1圖像資料之攝像週期資訊，且以上述第1圖像資料之攝像週期長於上述第2圖像資料之攝像週期之方式，產生上述第1圖像資料之攝像週期。 (15) 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取出之ROI(Region Of Interest)圖像資料選擇性地發送至上述接收裝置； 上述接收裝置具有： 第1產生部，其基於由不同之攝像時序獲得之複數個上述第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，產生動態資訊； 第2產生部，其使用上述動態資訊，產生上述第2圖像資料之ROI資訊；及 第2發送部，其將上述ROI資訊發送至上述發送裝置；且 上述發送裝置使用上述ROI資訊，自上述第2圖像資料擷取上述ROI圖像資料。 (16) 如(15)記載之通信系統，其中 上述第1產生部基於隨著該發送裝置之移動而於上述複數個第1圖像資料之間產生之差異，產生上述動態資訊。 (17) 如(15)或(16)記載之通信系統，其中 上述第1產生部藉由使用上述第2圖像資料作為上述第1圖像資料，產生上述動態資訊。 (18) 如(15)至(17)中任一項記載之通信系統，其中 上述第2發送部將基於上述動態資訊而產生之上述第1圖像資料之攝像週期資訊，發送至上述發送裝置； 上述發送裝置進而具有控制部，該控制部基於自上述接收裝置輸入之上述攝像週期資訊，控制上述第1圖像資料之攝像週期。 (19) 如(18)記載之通信系統，其中 上述接收裝置進而具有：第3產生部，其基於上述動態資訊，產生上述第1圖像資料之攝像週期資訊，且以上述第1圖像資料之攝像週期長於上述第2圖像資料之攝像週期之方式，產生上述第1圖像資料之攝像週期。 (20) 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有：第1發送部，其將自藉由攝像獲得之圖像資料擷取出之ROI(Region Of Interest)圖像資料選擇性地發送至上述接收裝置； 上述接收裝置具有： 產生部，其產生上述圖像資料之ROI資訊；及 第2發送部，其將藉由感測器獲得之上述發送裝置之動態資訊、與上述ROI資訊發送至上述發送裝置；且 上述發送裝置進而具有使用上述動態資訊與上述ROI資訊，自上述圖像資料擷取上述ROI圖像資料之擷取部。 (21) 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有：第1發送部，其將自藉由攝像獲得之圖像資料擷取出之ROI(Region Of Interest)圖像資料發送至上述接收裝置； 上述接收裝置具有： 第2產生部，其使用藉由感測器獲得之上述發送裝置之動態資訊，產生上述圖像資料之ROI資訊；及 第2發送部，其將上述ROI資訊發送至上述發送裝置；且 上述發送裝置使用上述ROI資訊，自上述圖像資料擷取上述ROI圖像資料。 (22) 一種接收裝置，其具備： 接收部，其接收圖像資料； 檢測部，其自接收到之上述圖像資料，檢測ROI(Region Of Interest)圖像資料； 產生部，其根據由上述檢測部檢測出之上述ROI圖像資料而產生ROI指示資訊；及 發送部，其發送上述ROI指示資訊；且 上述檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之上述ROI圖像資料之動態資訊。 (23) 如(22)記載之接收裝置，其中 上述檢測部基於上述動態資訊，追蹤上述ROI圖像資料； 上述產生部根據由上述檢測部之追蹤而檢測出之上述ROI圖像資料，更新上述ROI指示資訊。
根據本揭示之一實施形態之發送裝置、本揭示之一實施形態之第1通信系統、本揭示之一實施形態之第2通信系統、本揭示之一實施形態之第3通信系統、本揭示之一實施形態之第4通信系統、及本揭示之一實施形態之接收裝置，於發送裝置移動之情形時，亦可適當傳送ROI。
本申請案係基於2019年7月31日向日本專利廳申請之日本專利申請案號第2019-141248號而主張優先權者，藉由參照將該申請案之全部內容引用至本申請案中。
若為本領域之技術人員，則可根據設計上之要件或其他原因，而想到各種修正、組合、子組合及變更，但應瞭解，該等亦均為包含於附加之申請專利範圍或其均等物之範圍內者。
100:圖像感測器(發送裝置) 110:攝像部 110A:圖像資料 110C:訊框 120:圖像處理部 121:開關部 122:ROI檢測部 122A:ROI資訊 123:動態檢測部 123A:動態資訊 124:控制部 124A:ROI資訊 124B:動態資訊 124C:控制信號 124D:控制信號 125:ROI切出部 125A:ROI圖像資料 126:開關部 126A:壓縮圖像資料 130:發送部 130A:傳送資料 140:感測器 140A:輸出 150:計時部 150A:時間資料 200:處理器(接收裝置) 210:接收部 210A:動態資訊 210B:整體圖像資料 210C:ROI資訊 210D:ROI圖像資料 210E:時間資料 220:ROI復原部 220A:ROI圖像資料 230:圖像處理部 230A:控制資料 230B:ROI資訊 240:ROI檢測部 240A:ROI資訊 250:動態檢測部 250A:動態資訊 260:開關部 270:開關部 301:車輛 302:ECU 401:車載用相機 402:車載用相機 403:車載用相機 404:車載用相機 431:影像感測器 432:DSP電路 433:選擇器 434:SerDes電路 441:連接介面 1000:通信系統 a:範圍 b:範圍 c:範圍 d:範圍 B1:資料匯流排 B2:控制匯流排 D1:酬載資料 D2:酬載資料 Data Type:資料型式 DI:儲存識別碼區域 ECC:儲存修正位元錯誤值區域 Embedded Data:嵌入資料 Fc:訊框計數 Fi:整體圖像取得間隔 LP:低功率模式 Payload Data:酬載資料 PF:封包註腳 PH:封包標頭 R1:標頭區域 R2:封包區域 S:尺寸比 S101:步驟 S102:步驟 S103:步驟 S104:步驟 S105:步驟 S106:步驟 S107:步驟 S108:步驟 S109:步驟 S110:步驟 S111:步驟 S112步驟 S113:步驟 S114:步驟 S115:步驟 S116:步驟 S117:步驟 S118:步驟 S119步驟 S201:步驟 S202:步驟 S203:步驟 S204:步驟 S205:步驟 S206:步驟 S207:步驟 S208:步驟 S209:步驟 S210:步驟 S211:步驟 S212:步驟 S213:步驟 S214:步驟 S215:步驟 S216:步驟 S217:步驟 S218:步驟 S219:步驟 S220:步驟 T1:週期 Tc:修正量 VC:支持資料流機制 WC:顯示封包結束區域 X:軸 Xa:座標 XLa:物理區域長度 XLc:輸出區域長度 Y:軸 Ya:座標 YLa:物理區域長度 YLc:輸出區域長度
圖1係顯示通信系統之概略構成例之圖。 圖2係顯示圖像感測器之概略構成例之圖。 圖3係顯示處理器之概略構成例之圖。 圖4係顯示MIPI利用之封包之構成例之圖。 圖5係顯示MIPI利用之傳送資料之構成例之圖。 圖6係顯示MIPI利用之傳送資料之構成例之圖。 圖7係顯示傳送資料之構成例之圖。 圖8係顯示追隨對象物之動態設定ROI圖像、或檢測相機之動態之狀況之一例之圖。 圖9係顯示具備圖2之圖像感測器及圖3之處理器之通信系統之資料傳送順序之一例之圖。 圖10係顯示緊接圖9之順序之一例之圖。 圖11係顯示圖像感測器之概略構成之一變化例之圖。 圖12係顯示追隨對象物之動態設定ROI圖像、或檢測相機之動態之狀況之一例之圖。 圖13係顯示於圖9所記載之順序中，可置換為S102之順序之一例之圖。 圖14係顯示圖像感測器之概略構成之一變化例之圖。 圖15係顯示圖像感測器之概略構成之一變化例之圖。 圖16係顯示具備圖15之圖像感測器之通信系統之處理器之概略構成之一例之圖。 圖17係顯示圖像感測器之概略構成之一變化例之圖。 圖18係顯示具備圖17之圖像感測器之通信系統之處理器之概略構成之一例之圖。 圖19係顯示具備圖17之圖像感測器及圖16之處理器之通信系統之資料傳送之順序之一例之圖。 圖20係顯示緊接圖19之順序之一例之圖。 圖21係顯示於圖19所記載之順序中，可置換為S201之順序之一例之圖。 圖22係顯示處理器之概略構成之一變化例之圖。 圖23係顯示圖1之通信系統之概略構成之一變化例之圖。 圖24係顯示應用上述通信系統之車載用相機之設置例之圖。 圖25係顯示將上述通信系統應用於車載用相機之一構成例之圖。
100:圖像感測器(發送裝置)
110:攝像部
110A:圖像資料
120:圖像處理部
121:開關部
122:ROI檢測部
123:動態檢測部
124:控制部
124A:ROI資訊
124B:動態資訊
124C:控制信號
124D:控制信號
125:ROI切出部
125A:ROI圖像資料
126:壓縮圖像資料
130:發送部

Claims (23)

  1. 一種發送裝置，其具備： 檢測部，其基於ROI(Region Of Interest：關注區域)指示資訊，檢測ROI圖像資料； 產生部，其根據由上述檢測部檢測出之上述ROI圖像資料而產生ROI資訊；及 發送部，其將上述ROI圖像資料及上述ROI資訊發送至外部裝置；且 上述檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之上述ROI圖像資料之動態資訊。
  2. 如請求項1之發送裝置，其中 上述檢測部基於隨著該發送裝置之移動而於上述複數個圖像資料之間產生之差異、及隨著該發送裝置之移動而於上述複數個ROI圖像資料之間產生之差異之任一者，檢測上述動態資訊。
  3. 如請求項1之發送裝置，其中 進而具備控制部，該控制部基於上述動態資訊，控制上述圖像資料之攝像週期。
  4. 如請求項1之發送裝置，其中 上述控制部基於攝像時序相互不同且映入相互共通之對象物之上述複數個ROI圖像資料，算出上述對象物之移動量； 上述檢測部根據藉由上述控制部算出之上述移動量之大小，控制上述ROI圖像資料之尺寸。
  5. 如請求項1之發送裝置，其中 上述檢測部自上述外部裝置接收上述ROI指示資訊。
  6. 如請求項5之發送裝置，其中 上述發送部於自上述外部裝置接收上述ROI指示資訊起一定期間內，將無效之訊框發送至上述外部裝置。
  7. 如請求項1之發送裝置，其中 上述檢測部基於上述動態資訊，追蹤上述ROI圖像資料； 上述產生部根據由上述檢測部之追蹤而檢測出之上述ROI圖像資料，更新上述ROI資訊。
  8. 如請求項1之發送裝置，其中 上述產生部於上述ROI圖像資料之檢測中，自上述外部裝置接收與上次相同之ROI指示資訊之期間，更新上述ROI圖像資料並持續向上述外部裝置發送。
  9. 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取出之ROI(Region Of Interest)圖像資料選擇性地發送至上述接收裝置之第1發送部； 上述接收裝置具有： 第1產生部，其基於由不同之攝像時序獲得之複數個上述第1圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，產生動態資訊； 第2產生部，其產生上述ROI圖像資料之ROI資訊；及 第2發送部，其將上述動態資訊與上述ROI資訊發送至上述發送裝置；且 上述發送裝置進而具有擷取部，該擷取部使用上述動態資訊與上述ROI資訊，自上述第2圖像資料擷取上述ROI圖像資料。
  10. 如請求項9之通信系統，其中 上述第1產生部基於隨著該發送裝置之移動而於上述複數個第1圖像資料之間產生之差異，產生上述動態資訊。
  11. 如請求項9之通信系統，其中 上述第1產生部藉由使用上述第2圖像資料作為上述第1圖像資料，而產生上述動態資訊。
  12. 如請求項9之通信系統，其中 上述第2發送部將基於上述動態資訊而產生之上述第1圖像資料之攝像週期資訊，發送至上述發送裝置； 上述發送裝置進而具有控制部，該控制部基於自上述接收裝置輸入之上述攝像週期資訊，控制上述第1圖像資料之攝像週期。
  13. 如請求項9之通信系統，其中 上述發送裝置進而具有： 第4產生部，其基於上述動態資訊，產生上述第1圖像資料之攝像週期資訊；及 控制部，其基於上述攝像週期資訊，控制上述第1圖像資料之攝像週期。
  14. 如請求項12之通信系統，其中 上述接收裝置進而具有：第3產生部，其基於上述動態資訊，產生上述第1圖像資料之攝像週期資訊，且以上述第1圖像資料之攝像週期長於上述第2圖像資料之攝像週期之方式，產生上述第1圖像資料之攝像週期。
  15. 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有：第1發送部，其將藉由攝像獲得之第1圖像資料、與自藉由攝像獲得之第2圖像資料擷取出之ROI(Region Of Interest)圖像資料選擇性地發送至上述接收裝置； 上述接收裝置具有： 第1產生部，其基於由不同之攝像時序獲得之複數個上述第1圖像資料及由不同之攝像時序獲得之複數個上述ROI圖像資料之任一者，產生動態資訊； 第2產生部，其使用上述動態資訊，產生上述ROI圖像資料之ROI資訊；及 第2發送部，其將上述ROI資訊發送至上述發送裝置；且 上述發送裝置使用上述ROI資訊，自上述第2圖像資料擷取上述ROI圖像資料。
  16. 如請求項15之通信系統，其中 上述第1產生部基於隨著該發送裝置之移動而於上述複數個第1圖像資料之間產生之差異，產生上述動態資訊。
  17. 如請求項15之通信系統，其中 上述第1產生部藉由使用上述第2圖像資料作為上述第1圖像資料，產生上述動態資訊。
  18. 如請求項15之通信系統，其中 上述第2發送部將基於上述動態資訊而產生之上述第1圖像資料之攝像週期資訊，發送至上述發送裝置； 上述發送裝置進而具有控制部，該控制部基於自上述接收裝置輸入之上述攝像週期資訊，控制上述第1圖像資料之攝像週期。
  19. 如請求項18之通信系統，其中 上述接收裝置進而具有：第3產生部，其基於上述動態資訊，產生上述第1圖像資料之攝像週期資訊，且以上述第1圖像資料之攝像週期長於上述第2圖像資料之攝像週期之方式，產生上述第1圖像資料之攝像週期。
  20. 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有：第1發送部，其將自藉由攝像獲得之圖像資料擷取出之ROI(Region Of Interest)圖像資料選擇性地發送至上述接收裝置； 上述接收裝置具有： 產生部，其產生上述圖像資料之ROI資訊；及 第2發送部，其將藉由感測器獲得之上述發送裝置之動態資訊、與上述ROI資訊發送至上述發送裝置；且 上述發送裝置進而具有使用上述動態資訊與上述ROI資訊，自上述圖像資料擷取上述ROI圖像資料之擷取部。
  21. 一種通信系統，其具備發送裝置與接收裝置， 上述發送裝置具有：第1發送部，其將自藉由攝像獲得之圖像資料擷取出之ROI(Region Of Interest)圖像資料發送至上述接收裝置； 上述接收裝置具有： 第2產生部，其使用藉由感測器獲得之上述發送裝置之動態資訊，產生上述圖像資料之ROI資訊；及 第2發送部，其將上述ROI資訊發送至上述發送裝置；且 上述發送裝置使用上述ROI資訊，自上述圖像資料擷取上述ROI圖像資料。
  22. 一種接收裝置，其具備： 接收部，其接收圖像資料； 檢測部，其自接收到之上述圖像資料，檢測ROI(Region Of Interest)圖像資料； 產生部，其根據由上述檢測部檢測出之上述ROI圖像資料而產生ROI指示資訊；及 發送部，其發送上述ROI指示資訊；且 上述檢測部基於由不同之攝像時序獲得之複數個圖像資料及由不同之攝像時序獲得之複數個ROI圖像資料之任一者，檢測經檢測出之上述ROI圖像資料之動態資訊。
  23. 如請求項22之接收裝置，其中 上述檢測部基於上述動態資訊，追蹤上述ROI圖像資料； 上述產生部根據由上述檢測部之追蹤而檢測出之上述ROI圖像資料，更新上述ROI指示資訊。
TW109120150A 2019-07-31 2020-06-16 發送裝置、接收裝置及通信系統 TW202107892A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019141248 2019-07-31
JP2019-141248 2019-07-31

Publications (1)

Publication Number Publication Date
TW202107892A true TW202107892A (zh) 2021-02-16

Family

ID=74229594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120150A TW202107892A (zh) 2019-07-31 2020-06-16 發送裝置、接收裝置及通信系統

Country Status (7)

Country Link
US (1) US20220245828A1 (zh)
EP (1) EP4007263A4 (zh)
JP (1) JPWO2021020214A1 (zh)
KR (1) KR20220037445A (zh)
CN (1) CN114175664A (zh)
TW (1) TW202107892A (zh)
WO (1) WO2021020214A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023629A (ja) * 2001-07-10 2003-01-24 Sony Corp 画像処理装置及び画像処理方法
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
JP6115268B2 (ja) * 2013-04-05 2017-04-19 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP7007160B2 (ja) * 2017-11-10 2022-01-24 ソニーセミコンダクタソリューションズ株式会社 送信装置
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
CN108307113B (zh) * 2018-01-26 2020-10-09 北京图森智途科技有限公司 图像采集方法、图像采集控制方法及相关装置
JP7065634B2 (ja) 2018-02-19 2022-05-12 ホシザキ株式会社 洗浄機

Also Published As

Publication number Publication date
JPWO2021020214A1 (zh) 2021-02-04
KR20220037445A (ko) 2022-03-24
EP4007263A4 (en) 2022-10-19
US20220245828A1 (en) 2022-08-04
WO2021020214A1 (ja) 2021-02-04
EP4007263A1 (en) 2022-06-01
CN114175664A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
TWI829638B (zh) 影像傳送裝置及影像接收裝置
US8416303B2 (en) Imaging apparatus and imaging method
US8009202B2 (en) Device and method for capturing an image of a human face
EP3741104A1 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
CN111726521B (zh) 终端的拍照方法、拍照装置和终端
TWI812609B (zh) 視訊傳輸裝置及視訊接收裝置
EP3481052B1 (en) Electronic device for processing image based on priority and method for operating thereof
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
JP2018198406A (ja) 監視カメラシステムおよび画像処理装置
WO2021161909A1 (ja) 送信装置、受信装置および通信システム
TW202107892A (zh) 發送裝置、接收裝置及通信系統
CN116668837B (zh) 显示缩略图像的方法和电子设备
WO2019156538A1 (ko) 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
JP7450704B2 (ja) 送信装置、受信装置及び伝送システム
CN113170045B (zh) 固态成像装置、固态成像方法、以及电子装备
US11297279B2 (en) Transmission device, reception device, and communication system
CN114009007A (zh) 发送装置、接收装置和传输系统
JP7504803B2 (ja) 画像処理装置及び画像処理方法
TWI856991B (zh) 接收裝置及傳送裝置
US20240361834A1 (en) Image sensor, image processing system including the image sensor and operating method of the image processing system
CN117974479A (zh) 一种图像增强方法、芯片和图像采集设备
JP2019016856A (ja) 画像処理装置、画像処理方法、及びプログラム