TWI829638B - 影像傳送裝置及影像接收裝置 - Google Patents

影像傳送裝置及影像接收裝置 Download PDF

Info

Publication number
TWI829638B
TWI829638B TW107116525A TW107116525A TWI829638B TW I829638 B TWI829638 B TW I829638B TW 107116525 A TW107116525 A TW 107116525A TW 107116525 A TW107116525 A TW 107116525A TW I829638 B TWI829638 B TW I829638B
Authority
TW
Taiwan
Prior art keywords
image
data
roi
aforementioned
rois
Prior art date
Application number
TW107116525A
Other languages
English (en)
Other versions
TW201904281A (zh
Inventor
吉持直樹
杉岡達也
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW201904281A publication Critical patent/TW201904281A/zh
Application granted granted Critical
Publication of TWI829638B publication Critical patent/TWI829638B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Abstract

本發明之一實施形態之影像傳送裝置具備以長封包之有效負載資料送出圖像之ROI之圖像資料且以嵌入式資料送出針對ROI之資訊的傳送部。

Description

影像傳送裝置及影像接收裝置
本發明係關於一種影像傳送裝置及影像接收裝置。
近年來，大量傳送資料量大之資料之用途不斷增加。容易對傳送系統施加大的負載，最差時會有傳送系統當機，而無法進行資料傳送之虞。
先前，為了避免傳送系統之當機，而例如，並非傳送全部之拍攝之圖像，而是特定攝影對象之物體，進行僅傳送切取特定之物體之一部分之圖像之事宜。此外，針對從拍攝之圖像切取一部分之圖像，例如，在下述之專利文獻中記載。[先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2016-201756號公報 [專利文獻2] 日本特開2014-39219號公報 [專利文獻3] 日本特開2013-164834號公報 [專利文獻4] 日本特開2012-209831號公報
且說，作為用於自圖像感測器朝應用處理器之傳送之方式，有使用MIPI(Mobile Industry Processor Interface，行動產業處理器介面) CSI(Camera Serial Interface，相機串列介面)-2、MIPI CSI-3等之情形。又，作為用於自應用處理器朝顯示器之傳送之方式，有使用MIPI DSI(Display Serial Interface，顯示器串列介面)等之情形。在欲使用該等方式傳送從拍攝圖像切取之一部分之區域(ROI(Region Of Interest，關注區域))時，有因各種限制而不易傳送ROI之情形。因而，期望提供一種即便在各種限制下仍可進行ROI之傳送之影像傳送裝置及影像接收裝置。
本發明之一實施形態之第1影像傳送裝置具備以長封包之有效負載資料送出圖像之ROI之圖像資料且以嵌入式資料送出針對ROI之資訊的傳送部。所謂長封包之有效負載資料係指在裝置間傳送之主要之資料(應用資料)。所謂嵌入式資料係指可埋入圖像資料圖框之標頭或註腳之追加資訊。
在本發明之一實施形態之第1影像傳送裝置中，以長封包之有效負載資料送出圖像之ROI之圖像資料，且以嵌入式資料送出針對ROI之資訊。藉此，在接收自影像傳送裝置送出之傳送信號之裝置中，能夠自傳送信號容易地抽出ROI之圖像資料。
本發明之一實施形態之第2影像傳送裝置具備基於針對圖像之各ROI之資訊檢測2個以上之ROI彼此重合之重疊區域之檢測部。第2影像傳送裝置更包含傳送部，該傳送部以在圖像之複數個ROI之第1圖像資料中不重複包含重疊區域之第2圖像資料之方式以長封包之有效負載資料送出自複數個第1圖像資料省略第2圖像資料者亦即複數個第3圖像資料。該傳送部更以嵌入式資料送出針對圖像之各ROI之資訊。
在本發明之一實施形態之第2影像傳送裝置中，複數個第3圖像資料係以長封包之有效負載資料送出，且針對圖像之各ROI之資訊係以嵌入式資料送出。藉此，在接收自影像傳送裝置送出之傳送信號之裝置中，能夠自傳送信號容易地抽出ROI之圖像資料。
本發明之一實施形態之影像接收裝置具備接收部，該接收部接收將圖像之ROI之圖像資料包含於長封包之有效負載資料且將針對ROI之資訊包含於嵌入式資料的傳送信號。該影像接收裝置更具備資訊處理部，該資訊處理部自在接收部接收之傳送信號所包含之嵌入式資料中抽出針對ROI之資訊，且基於所抽出之資訊自在接收部接收之傳送信號所包含之長封包之有效負載資料中抽出ROI之圖像資料。
在本發明之一實施形態之影像接收裝置中，自以接收部接收到之傳送信號所包含之嵌入式資料中抽出針對ROI之資訊，且基於所抽出之針對ROI之資訊，自以接收部接收到之傳送信號所包含之長封包之有效負載資料中抽出ROI之圖像資料。藉此，能夠自傳送信號容易地抽出ROI之圖像資料。
根據本發明之一實施形態之第1及第2影像傳送裝置以及影像接收裝置，在接收自影像傳送裝置送出之傳送信號之裝置中，由於能夠自傳送信號容易地抽出ROI之圖像資料，故即便在各種限制下仍能夠進行ROI之傳送。此外，本發明之效果不一定限定於此處所記載之效果，可為本說明書中所記載之任一效果。
以下，針對用於實施本發明之形態，參照圖式詳細地說明。以下之說明係本發明之一個具體例，本發明並不限定於以下之態樣。
＜實施形態＞ [構成] 近年來，在智慧型手機等之可攜式裝置及照相機裝置等中，處理之圖像資料之大容量化持續進步，對在裝置內或不同之裝置間之資料傳送追求高速化、且低耗電化。為了回應如上述之要求，而作為面向可攜式裝置與照相機裝置之連接介面，MIPI聯盟制定之C-PHY規範與D-PHY規範之高速介面規範之標準化持續進步。C-PHY規範與D-PHY規範係通訊協定之實體層(physical layer：PHY)之介面規範。又，作為C-PHY規範與D-PHY規範之上位協定層存在面向可攜式裝置之顯示器之DSI、及面向照相機裝置之CSI。
本發明之一實施形態之影像傳送系統1係以MIPI CSI-2規範、MIPI CSI-3規範、或MIPI DSI規範發送/接收信號之系統。圖1顯示本實施形態之影像傳送系統1之概要。影像傳送系統1被應用於資料信號、時脈信號及控制信號之傳送，具備影像傳送裝置100及影像接收裝置200。影像傳送系統1跨於影像傳送裝置100與影像接收裝置200具備例如傳送圖像資料等之資料信號之資料通道DL、傳送時脈信號之時脈通道CL、及傳送控制信號之照相機控制介面CCI。在圖1中顯示設置有1條資料通道DL之例，但可設置複數條資料通道DL。照相機控制介面CCI係與I2 C(Inter-Integrated Circuit，內部積體電路)規範具有兼容性之雙向控制介面。
影像傳送裝置100係以MIPI CSI-2規範、MIPI CSI-3規範、或MIPI DSI規範送出信號之裝置。具有CSI發射機100A、及CCI從控器100B。影像接收裝置200具有CSI接收器200A、及CCI主控器200B。在時脈通道CL中，CSI發射機100A與CSI接收器200A之間係以時脈信號線連接。在資料通道DL中，CSI發射機100A與CSI接收器200A之間係以時脈信號線連接。在照相機控制介面CCI中，CCI從控器100B與CCI主控器200B之間係以控制信號線連接。
CSI發射機100A係產生差動之時脈信號作為時脈信號，並將其輸出至時脈信號線之差動信號傳送電路。CSI發射機100A再者亦係產生差動之資料信號作為資料信號，並將其輸出至資料信號線之差動信號傳送電路。CSI接收器200A係經由時脈信號線接收作為時脈信號之差動之時脈信號，並對於接收之差動之時脈信號進行特定之處理之差動信號接收電路。CSI接收器200A再者亦係經由資料信號線接收作為資料信號之差動之資料信號，並對於接收之差動之資料信號進行特定之處理之差動信號接收電路。
(影像傳送裝置100) 圖2顯示影像傳送裝置100之構成之一例。影像傳送裝置100相當於CSI發射機100A之一具體例。影像傳送裝置100例如具備攝像部110、圖像處理部120、130及傳送部140。影像傳送裝置100將藉由對於由攝像部110獲得之拍攝圖像111進行特定之處理而產生之傳送資料147A經由資料通道DL傳送至影像接收裝置200。圖3係傳送資料147A之產生程序之一例。
攝像部110例如將通過光學透鏡等獲得之光學圖像信號轉換為圖像資料。攝像部110例如構成為包含例如CCD(Charge Coupled Device，電荷耦合裝置)圖像感測器及CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)圖像感測器。攝像部110具有類比轉數位轉換電路，將類比圖像資料轉換為數位圖像資料。轉換後之資料形式可為以亮度成分Y及色差成分Cb、Cr表現各像素之顏色之YCbCr形式，亦可為RGB形式等。攝像部110將由攝像獲得之拍攝圖像111(數位圖像資料)輸出至圖像處理部120。
圖像處理部120係對於自攝像部110輸入之拍攝圖像111進行特定之處理之電路。圖像處理部120在指示ROI之切取之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時對於自攝像部110輸入之拍攝圖像111進行特定之處理。藉此，圖像處理部120產生各種資料(120A、120B、120C)並輸出至傳送部140。圖像處理部130係對於自攝像部110輸入之拍攝圖像111進行特定之處理之電路。圖像處理部130在指示通常圖像之輸出之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時對於自攝像部110輸入之拍攝圖像111進行特定之處理。藉此，圖像處理部130產生圖像資料130A並輸出至傳送部140。
圖像處理部130例如具有編碼部131。編碼部131對拍攝圖像111編碼並產生壓縮圖像資料130A。圖像處理部130例如利用根據JPEG(Joint Photographic Experts Group，聯合圖像專家小組)規範之壓縮形式等壓縮拍攝圖像111作為壓縮圖像資料130A之形式。
圖像處理部120例如具有ROI切取部121、ROI解析部122、重疊檢測部123、優先級設定部124、編碼部125及圖像處理控制部126。
ROI切取部121特定自攝像部110輸入之拍攝圖像111所包含之攝影對象之1個或複數個物體，並就特定之每一物體設定關注區域ROI。關注區域ROI係例如包含特定之物體之方形狀之區域。ROI切取部121從拍攝圖像111切取各關注區域ROI之圖像(例如圖3中之ROI圖像112)。ROI切取部121進一步就每一設定之關注區域ROI賦予區域編號作為標識符。ROI切取部121例如當在拍攝圖像111中設定2個關注區域ROI時，對於一個關注區域ROI(例如圖3中之關注區域ROI1)賦予區域編號1，對於另一關注區域ROI(例如圖3中之關注區域ROI2)賦予區域編號2。ROI切取部121例如將賦予之標識符(區域編號)儲存於記憶部。ROI切取部121例如將從拍攝圖像111切取之各ROI圖像112儲存於記憶部。ROI切取部121例如進一步將對各關注區域ROI賦予之標識符(區域編號)與ROI圖像112建立關聯並儲存於記憶部。
ROI解析部122就每一關注區域ROI導出拍攝圖像111之關注區域ROI之位置資訊113。位置資訊113例如由關注區域ROI之左上端座標(Xa,Ya)、關注區域ROI之X軸方向之長度、及關注區域ROI之Y軸方向之長度構成。關注區域ROI之X軸方向之長度例如係關注區域ROI之X軸方向之實體區域長度XLa。關注區域ROI之Y軸方向之長度例如係關注區域ROI之Y軸方向之實體區域長度YLa。所謂實體區域長度係指關注區域ROI之實體長度(資料長)。在位置資訊113中可包含與關注區域ROI之左上端不同之位置之座標。ROI解析部122例如將導出之位置資訊113儲存於記憶部。ROI解析部122例如與對於關注區域ROI賦予之標識符(區域編號)建立關聯並儲存於記憶部。
ROI解析部122可就每一關注區域ROI例如進一步導出關注區域ROI之X軸方向之輸出區域長度XLc、及關注區域ROI之Y軸方向之輸出區域長度YLc作為位置資訊113。所謂輸出區域長度例如係指對於關注區域ROI進行省略減少處理及像素相加等之解析度變更後的關注區域ROI之實體長度(資料長)。ROI解析部122例如就每一關注區域ROI除導出位置資訊113外，還可導出例如感測資訊、曝光資訊、增益資訊、AD(Analog-Digital，類比-數位)字長、及圖像格式等並將其等儲存於記憶部。
所謂感測資訊係指針對關注區域ROI所包含之物體之運算內容、及用於對於ROI圖像112之後段信號處理之補充資訊等。所謂曝光資訊係指關注區域ROI之曝光時間。所謂增益資訊係指關注區域ROI之增益資訊。所謂AD字長係指在關注區域ROI內經AD轉換之每1像素之資料之字長。所謂圖像格式係指關注區域ROI之圖像之格式。ROI解析部122例如可導出拍攝圖像111所包含之關注區域ROI之數(ROI數)並將其儲存於記憶部。
重疊檢測部123當在拍攝圖像111中特定攝影對象之複數個物體時，基於拍攝圖像111之複數個關注區域ROI之位置資訊113檢測2個以上之關注區域ROI彼此重合之重疊區域(ROO(Region Of Overlap))。即，重疊檢測部123就每一重疊區域ROO導出拍攝圖像111之重疊區域ROO之位置資訊114。重疊檢測部123例如將導出之位置資訊114儲存於記憶部。重疊檢測部123例如將導出之位置資訊114與重疊區域ROO進行對應關係建立並儲存於記憶部。重疊區域ROO例如係與在彼此重合之2個以上之關注區域ROI中最小之關注區域ROI為相同之大小或較其小之方形狀之區域。位置資訊114例如由重疊區域ROO之左上端座標(Xb,Yb)、重疊區域ROO之X軸方向之長度、及重疊區域ROO之Y軸方向之長度構成。重疊區域ROO之X軸方向之長度例如係實體區域長度XLb。重疊區域ROO之Y軸方向之長度例如係實體區域長度YLb。在位置資訊114中可包含與關注區域ROI之左上端不同之位置之座標。
優先級設定部124在拍攝圖像111中就每一關注區域ROI賦予優先級115。優先級設定部124例如將賦予之優先級115儲存於記憶部。優先級設定部124例如將賦予之優先級115與關注區域ROI進行對應關係建立並儲存於記憶部。優先級設定部124除就每一關注區域ROI賦予之區域編號外，還可就每一關注區域ROI賦予優先級115，可使就每一關注區域ROI賦予之區域編號取代優先級115。優先級設定部124例如可將優先級115與關注區域ROI建立關聯並儲存於記憶部，可將就每一關注區域ROI賦予之區域編號與關注區域ROI建立關聯並儲存於記憶部。
優先級115係各關注區域ROI之標識符，係可判別是否對於拍攝圖像111之複數個關注區域ROI之任一者進行了重疊區域ROO之省略的判別資訊。優先級設定部124例如在分別包含重疊區域ROO之2個關注區域ROI中，對於一個關注區域ROI賦予1作為優先級115，對於另一關注區域ROI賦予2作為優先級115。此時，在後述之傳送圖像116之製作時，對於優先級115之數值較大之關注區域ROI進行重疊區域ROO之省略。此外，優先級設定部124可將與就每一關注區域ROI賦予之區域編號相同之編號作為優先級115對於關注區域ROI賦予。優先級設定部124例如將對各關注區域ROI賦予之優先級115與ROI圖像112建立關聯並儲存於記憶部。
編碼部125對各傳送圖像116編碼並產生壓縮圖像資料120A。編碼部125例如利用根據JPEG規範之壓縮形式等壓縮各傳送圖像116作為壓縮圖像資料120A之形式。編碼部125在進行上述之壓縮處理前產生各傳送圖像116。編碼部125以在從拍攝圖像111獲得之複數個ROI圖像112中不重複包含重疊區域ROO之圖像118之方式產生從自拍攝圖像111獲得之複數個ROI圖像112省略圖像118者亦即複數個傳送圖像116。
編碼部125例如基於就每一關注區域ROI賦予之優先級115決定是否對於複數個ROI圖像112之任一者進行圖像118之省略。此外，編碼部125例如藉由將就每一關注區域ROI賦予之區域編號用作優先級115，而可決定是否對於複數個ROI圖像112之任一者進行圖像118之省略。編碼部125將在如上述般被特定之ROI圖像112中省略圖像118者設為傳送圖像116(例如圖3之傳送圖像116a2)。編碼部125針對不包含重疊區域ROO之ROI圖像112、及根據上述之決定不省略圖像118之ROI圖像112將ROI圖像112此一圖像設為傳送圖像116(例如圖3之傳送圖像116a1)。
圖像處理控制部126產生ROI資訊120B及圖框資訊120C並傳送至傳送部140。ROI資訊120B例如包含各位置資訊113。ROI資訊120B例如更包含各關注區域ROI之資料類型、拍攝圖像111所包含之關注區域ROI之數、各關注區域ROI之區域編號(或優先級115)、各關注區域ROI之資料長、及各關注區域ROI之圖像格式中至少一者。圖框資訊120C例如包含就每一圖框賦予之虛擬頻道之編號、各關注區域ROI之資料類型、及每一列之有效負載長等。在資料類型中例如包含YUV資料、RGB資料或RAW資料等。在資料類型中例如更包含ROI形式之資料或通常形式之資料等。有效負載長例如係長封包之有效負載所包含之像素數，例如係每一關注區域ROI之像素數。此處，所謂有效負載係指在資訊傳送裝置100及資訊接收裝置200之間傳送之主要之資料(應用資料)。所謂長封包係指配置於封包頭PH與封包註腳PF之間之封包。
傳送部140係基於自圖像處理部120、130輸入之各種資料(120A、120B、120C、130A)產生傳送資料147A並送出之電路。傳送部140以嵌入式資料送出針對拍攝圖像111之各關注區域ROI之ROI資訊120B。進而，若指示ROI之切取之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，傳送部140以長封包之有效負載資料送出各關注區域ROI之圖像資料(壓縮圖像資料120A)。此時，傳送部140將各關注區域ROI之圖像資料(壓縮圖像資料120A)以彼此共通之虛擬頻道送出。又，傳送部140藉由圖像資料圖框送出各關注區域ROI之圖像資料(壓縮圖像資料120A)，且以圖像資料圖框之標頭送出針對各關注區域ROI之ROI資訊120B。再者，若指示通常圖像之輸出之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，傳送部140以長封包之有效負載資料送出通常之圖像資料(壓縮圖像資料130A)。
傳送部140例如具有鏈接控制部141、ECC產生部142、PH產生部143、EBD暫存器144、ROI資料暫存器145、通常圖像資料暫存器146及合成部147。鏈接控制部141、ECC產生部142、PH產生部143、EBD暫存器144及ROI資料暫存器145係在指示ROI之切取之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，進行朝合成部147之輸出。通常圖像資料暫存器146係在指示通常圖像之輸出之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，進行朝合成部147之輸出。
此外，ROI資料暫存器145可兼作為通常圖像資料暫存器146。此時，傳送部140在ROI資料暫存器145及ROI資料暫存器145各者之輸出端與合成部147之輸入端之間具有選擇ROI資料暫存器145及ROI資料暫存器145之任一者之輸出之選擇器。
鏈接控制部141例如將圖框資訊120C就每一列輸出至ECC產生部142及PH產生部143。ECC產生部142例如基於圖框資訊120C之1列之資料(例如虛擬頻道之編號、各關注區域ROI之資料類型、每一列之有效負載長等)產生該列之錯誤修正符號。ECC產生部142例如將產生之錯誤修正符號輸出至PH產生部143。PH產生部143例如使用圖框資訊120C、及在ECC產生部142產生之錯誤修正符號就每1列產生封包標頭PH。此時，封包標頭PH例如如圖4所示般係長封包之有效負載資料之封包標頭。在該封包標頭PH中例如包含DI、WC及ECC。WC係用於相對於資訊接收裝置200以字元數表示封包之結束之區域。在WC中例如包含有效負載長，例如包含每一關注區域ROI之像素數。ECC係儲存用於修正位元錯誤之值之區域。在ECC中包含錯誤修正符號。DI係儲存資料標識符之區域。在DI中包含VC(虛擬頻道)之編號及資料類型(各關注區域ROI之資料類型)。VC(虛擬頻道)係為了封包之流程控制而導入之概念，係用於支持共用同一鏈接之複數個獨立之資料串流之機制。PH產生部143將產生之封包標頭PH輸出至合成部147。
EBD暫存器144暫時儲存ROI資訊120B，以特定之時序將ROI資訊120B作為嵌入式資料輸出至合成部147。所謂嵌入式資料係指可埋入圖像資料圖框(參照後述之圖5)之標頭或註腳之追加資訊。在嵌入式資料中例如包含ROI資訊120B。
ROI資料暫存器145暫時儲存壓縮圖像資料120A，以特定之時序將壓縮圖像資料120A作為長封包之有效負載資料輸出至合成部147。ROI資料暫存器145在指示ROI之切取之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，將壓縮圖像資料120A作為長封包之有效負載資料輸出至合成部147。通常圖像資料暫存器146暫時儲存壓縮圖像資料130A，以特定之時序將壓縮圖像資料130A作為長封包之有效負載資料輸出至合成部147。通常圖像資料暫存器146在指示通常圖像之輸出之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，將壓縮圖像資料130A作為長封包之有效負載資料輸出至合成部147。
合成部147在指示通常圖像之輸出之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，基於輸入之資料(壓縮圖像資料130A)產生傳送資料147A。合成部147將產生之傳送資料147A經由資料通道DL輸出至影像接收裝置200。另一方面，合成部147在指示ROI之切取之控制信號經由照相機控制介面CCI自影像接收裝置200輸入時，基於輸入之各種資料(封包標頭PH、ROI資訊120B、及壓縮圖像資料120A)產生傳送資料147A。合成部147將產生之傳送資料147A經由資料通道DL輸出至影像接收裝置200。即，合成部147將資料類型(各關注區域ROI之資料類型)包含於長封包之有效負載資料之封包標頭PH並送出。又，合成部147將各關注區域ROI之圖像資料(壓縮圖像資料120A)以彼此共通之虛擬頻道送出。
傳送資料147A例如由如圖5所示之圖像資料圖框構成。圖像資料圖框通常具有標頭區域、封包區域、及註腳區域。在圖5中方便上省略註腳區域之記載。在傳送資料147A之圖框標頭區域R1中包含嵌入式資料。此時，在嵌入式資料中包含ROI資訊120B。在圖5中，在傳送資料147A之封包區域R2中就每一1列包含長封包之有效負載資料，再者在夾入長封包之有效負載資料之位置包含封包標頭PH及封包註腳PF。再者，在夾入封包標頭PH與封包註腳PF之位置包含低功率模式LP。
此時，在封包標頭PH中例如包含DI、WC及ECC。在WC中例如包含有效負載長，例如包含每一關注區域ROI之像素數。在ECC中包含錯誤修正符號。在DI中包含VC(虛擬頻道之編號)及資料類型(各關注區域ROI之資料類型)。在本實施形態中，對各列之VC賦予彼此共通之虛擬頻道之編號。又，在圖5中，在傳送資料147A之封包區域R2中包含壓縮圖像資料147B。壓縮圖像資料147B係由1個壓縮圖像資料120A、或複數個壓縮圖像資料120A構成。此處，在圖5中，在靠近封包標頭PH之封包群中例如包含圖3中之傳送圖像116a1之壓縮圖像資料120A(120A1)，在遠離封包標頭PH之封包群中例如包含圖3中之傳送圖像116a2之壓縮圖像資料120A(120A2)。由該等2個壓縮圖像資料120A1、120A2構成壓縮圖像資料147B。在各列之長封包之有效負載資料中包含壓縮圖像資料147B之1列份額之像素資料。
圖6顯示傳送資料147A之構成例。傳送資料147A例如包含圖框標頭區域R1及封包區域R2。此外，在圖6中詳細地例示圖框標頭區域R1之內容。又，在圖6中省略低功率模式LP。
在圖框標頭區域R1中例如包含作為傳送資料147A之標識符之圖框編號F1。圖框標頭區域R1包含針對封包區域R2所包含之壓縮圖像資料147B之資訊。圖框標頭區域R1例如包含：壓縮圖像資料147B所包含之壓縮圖像資料120A之數(ROI數)、及針對與壓縮圖像資料147B所包含之各壓縮圖像資料120A對應之ROI圖像112之資訊(ROI資訊120B)。
合成部147例如在傳送資料147A之封包區域R2中就壓縮圖像資料120A之每一像素列分開配置壓縮圖像資料147B。因而，在傳送資料147A之封包區域R2中不重複包含與重疊區域ROO之圖像118對應之壓縮圖像資料。又，合成部147例如在傳送資料147A之封包區域R2中省略拍攝圖像111中之與各傳送圖像116不對應之像素列。因而，在傳送資料147A之封包區域R2中不包含拍攝圖像111中之與各傳送圖像116不對應之像素列。此外，在圖6之封包區域R2中以虛線包圍之部位相當於重疊區域ROO之圖像118之壓縮圖像資料。
靠近封包標頭PH之封包群(例如圖6中之1(n))與遠離封包標頭PH之封包群(例如與圖6中之2(1))之邊界係由與靠近封包標頭PH之封包群(例如圖6中之1(n))之壓縮圖像資料對應之ROI圖像112之實體區域長度XLa1特定。在與靠近近封包標頭PH之封包群(例如圖6中之1(n))所包含之重疊區域ROO之圖像118對應之壓縮圖像資料中，封包之開始位置係由與遠離封包標頭PH之封包群(例如圖6中之2(1))對應之ROI圖像112之實體區域長度XLa2特定。
合成部147例如於在傳送資料147A之封包區域R2中就每1列產生長封包之有效負載資料時，在長封包之有效負載資料中例如除包含壓縮圖像資料147B之1列份額之像素資料外，例如還可如圖7所示般包含ROI資訊120B。即，合成部147可將ROI資訊120B包含於長封包之有效負載資料並送出。此時，ROI資訊120B例如如圖7(A)～圖7(K)所示般包含拍攝圖像111所包含之關注區域ROI之數(ROI數)、各關注區域ROI之區域編號(或優先級115)、各關注區域ROI之資料長、及各關注區域ROI之圖像格式中至少一者。ROI資訊120B在長封包之有效負載資料中較佳的是配置於封包標頭PH側之端部(即長封包之有效負載資料之前頭)。
(影像接收裝置200)其次，針對影像接收裝置200進行說明。圖8顯示影像接收裝置200之構成之一例。圖9顯示影像接收裝置200之ROI圖像223A之產生程序之一例。影像接收裝置200係以與影像傳送裝置100共通之規範(例如，MIPI CSI-2規範、MIPI CSI-3規範、或MIPIDSI規範)接收信號之裝置。影像接收裝置200例如具有接收部210及資訊處理部220。接收部210係藉由經由資料通道DL接收自影像傳送裝置100輸出之傳送資料147A，並對於接收之傳送資料147A進行特定之處理，而產生各種資料(214A、215A、215B)並將其等輸出至資訊處理部220之電路。資訊處理部220係基於自接收部210接收之各種資料(214A、215A)產生ROI圖像223A，或基於自接收部210接收之資料(215B)產生通常圖像224A之電路。
接收部210例如具有標頭分離部211、標頭解釋部212、有效負載分離部213、EBD解釋部214及ROI資料分離部215。
標頭分離部211經由資料通道DL自影像傳送裝置100接收傳送資料147A。即，標頭分離部211接收將針對拍攝圖像111之各關注區域ROI之ROI資訊120B包含於嵌入式資料且將各關注區域ROI之圖像資料(壓縮圖像資料120A)包含於長封包之有效負載資料的傳送資料147A。標頭分離部211將接收之傳送資料147A分離為圖框標頭區域R1與封包區域R2。標頭解釋部212基於圖框標頭區域R1所包含之資料(具體而言係嵌入式資料)特定封包區域R2所包含之長封包之有效負載資料之位置。有效負載分離部213基於由標頭解釋部212特定之長封包之有效負載資料之位置自封包區域R2分離封包區域R2所包含之長封包之有效負載資料。
EBD解釋部214將嵌入式資料作為EBD資料214A輸出至資訊處理部220。EBD解釋部214進一步根據嵌入式資料所包含之資料類型判別長封包之有效負載資料所包含之圖像資料為ROI之圖像資料116之壓縮圖像資料120A或為通常圖像資料之壓縮圖像資料130A。EBD解釋部214將判別結果輸出至ROI資料分離部215。
當長封包之有效負載資料所包含之圖像資料係ROI之圖像資料116之壓縮圖像資料120A時，ROI資料分離部215將長封包之有效負載資料作為有效負載資料215A輸出至資訊處理部220(具體而言係ROI解碼部222)。當有效負載資料所包含之圖像資料係通常圖像資料之壓縮圖像資料130A時，ROI資料分離部215將長封包之有效負載資料作為有效負載資料215B輸出至資訊處理部220(具體而言係通常圖像解碼部224)。當在長封包之有效負載資料中包含RIO資訊120B時，有效負載資料215A包含RIO資訊120B、及壓縮圖像資料147B中之1列份額之像素資料。
資訊處理部220自EBD資料214A所包含之嵌入式資料中抽出ROI資訊120B。資訊處理部220基於在資訊抽出部221抽出之ROI資訊120B自在接收部210接收之傳送資料147A所包含之長封包之有效負載資料中抽出拍攝圖像111之各關注區域ROI之圖像(ROI圖像112)。資訊處理部220例如具有資訊抽出部221、ROI解碼部222、ROI圖像產生部223及通常圖像解碼部224。
通常圖像解碼部224將有效負載資料215B解碼並產生通常圖像224A。ROI解碼部222將有效負載資料215A所包含之壓縮圖像資料147B解碼並產生圖像資料222A。該圖像資料222A係由1個或複數個傳送圖像116構成。
資訊抽出部221自EBD資料214A所包含之嵌入式資料中抽出ROI資訊120B。資訊抽出部221例如自EBD資料214A所包含之嵌入式資料中抽出例如拍攝圖像111所包含之關注區域ROI之數、各關注區域ROI之區域編號(或優先級115)、各關注區域ROI之資料長、及各關注區域ROI之圖像格式。即，傳送資料147A包含與各傳送圖像116對應之關注區域ROI之區域編號(或優先級115)作為可判別是否對於自該傳送資料147A獲得之複數個傳送圖像116之任一者進行了重疊區域ROO之圖像118之省略的判別資訊。
ROI圖像產生部223基於在資訊抽出部221獲得之ROI資訊120B檢測2個以上之關注區域ROI彼此重合之重疊區域ROO。
資訊抽出部221例如自EBD資料214A所包含之嵌入式資料中抽出與ROI圖像112a1對應之關注區域ROI之座標(例如左上端座標(Xa1,Ya1))、長度(例如實體區域長度XLa1、YLa1)及區域編號1(或優先級115(=1))。資訊抽出部221例如進一步自EBD資料214A所包含之嵌入式資料中抽出與ROI圖像112a2對應之關注區域ROI之座標(例如左上端座標(Xa2,Ya2))、長度(例如實體區域長度XLa2、YLa2)及區域編號2(或優先級115(=2))。
此時，ROI圖像產生部223基於所抽出之該等資訊(以下稱為「抽出資訊221A」)導出重疊區域ROO之位置資訊114。ROI圖像產生部223例如導出重疊區域ROO之座標(例如左上端座標(Xb1,Yb1))及長度(例如實體區域長度XLb1、YLb1)作為上述之重疊區域ROO之位置資訊114。
此外，ROI圖像產生部223可自有效負載資料215A取得RIO資訊120B而取代自EBD資料214A所包含之嵌入式資料取得RIO資訊120B。此時，ROI圖像產生部223可基於有效負載資料215A所包含之RIO資訊120B檢測2個以上之關注區域ROI彼此重合之重疊區域ROO。又，ROI圖像產生部223可自有效負載資料215A所包含之RIO資訊120B抽出抽出資訊221A，並可基於如上述般抽出之抽出資訊221A導出重疊區域ROO之位置資訊114。
ROI圖像產生部223進一步基於圖像資料222A、抽出資訊221A、及重疊區域ROO之位置資訊114產生拍攝圖像111之各關注區域ROI之圖像(ROI圖像112a1、112a2)。ROI圖像產生部223將產生之圖像作為ROI圖像223A輸出。
[程序]其次，參考圖3、及圖9，針對影像傳送系統1之資料傳送之程序之一例進行說明。
首先，攝像部110將利用攝像獲得之拍攝圖像111(數位圖像資料)輸出至圖像處理部120。ROI切取部121特定自攝像部110輸入之拍攝圖像111所包含之2個關注區域ROI1、ROI2。ROI切取部121從拍攝圖像111切取各關注區域ROI1、ROI2之圖像(ROI圖像112a1、112a2)。ROI切取部121對於關注區域ROI1賦予區域編號1作為標識符，並對於關注區域ROI2賦予區域編號2作為標識符。
ROI解析部122就每一關注區域ROI導出拍攝圖像111之關注區域ROI之位置資訊113。ROI解析部122基於關注區域ROI1導出關注區域ROI1之左上端座標(Xa1,Ya1)、關注區域ROI1之X軸方向之長度(XLa1)、及關注區域ROI1之Y軸方向之長度(YLa1)。ROI解析部122基於關注區域ROI2導出關注區域ROI2之左上端座標(Xa2,Ya2)、關注區域ROI2之X軸方向之長度(XLa2)、及關注區域ROI2之Y軸方向之長度(YLa2)。
重疊檢測部123基於拍攝圖像111之2個關注區域ROI1、ROI2之位置資訊113檢測2個關注區域ROI1、ROI2彼此重合之重疊區域ROO。即，重疊檢測部123導出拍攝圖像111之重疊區域ROO之位置資訊114。重疊檢測部123導出重疊區域ROO之左上端座標(Xb1,Yb1)、重疊區域ROO之X軸方向之長度(XLb1)、及重疊區域ROO之Y軸方向之長度(YLb1)作為拍攝圖像111之重疊區域ROO之位置資訊114。
優先級設定部124在2個關注區域ROI1、ROI2中對於一個關注區域ROI1賦予1作為優先級115，對於另一關注區域ROI2賦予2作為優先級115。
編碼部125以在2個關注區域ROI1、ROI2中不重複包含重疊區域ROO之圖像118之方式產生從從拍攝圖像111獲得之2個ROI圖像112a1、112a2省略圖像118者亦即2個傳送圖像116a1、116a2。
編碼部125基於2個關注區域ROI1、ROI2之區域編號(或優先級115)決定是否相對於2個ROI圖像112a1、112a2之任一者進行圖像118之省略。編碼部125在2個關注區域ROI1、ROI2中對於與區域編號(或優先級115)較大者亦即關注區域ROI2對應之ROI圖像112a2進行圖像118之省略，藉此產生傳送圖像116a2。編碼部125在2個關注區域ROI1、ROI2中針對區域編號(或優先級115)較小者亦即與關注區域ROI1對應之ROI圖像112a1，將ROI圖像112a1此一圖像設為傳送圖像116a1。
圖像處理控制部126產生ROI資訊120B及圖框資訊120C並將其等傳送至傳送部140。傳送部140基於自圖像處理部120、130輸入之各種資料(120A、120B、120C、130A)產生傳送資料147A。傳送部140將產生之傳送資料147A經由資料通道DL送出至影像接收裝置200。
接收部210經由資料通道DL接收自影像傳送裝置100輸出之傳送資料147A。接收部210藉由對於接收之傳送資料147A進行特定之處理而產生EBD資料214A及有效負載資料215A，並將其等輸出至資訊處理部220。
資訊抽出部221自EBD資料214A所包含之嵌入式資料中抽出ROI資訊120B。資訊抽出部221自EBD資料214A所包含之嵌入式資料中抽出與ROI圖像112a1對應之關注區域ROI之座標(例如左上端座標(Xa1,Ya1))、長度(例如實體區域長度XLa1、YLa1)及區域編號1(或優先級115(=1))。資訊抽出部221進一步抽出與ROI圖像112a2對應之關注區域ROI之座標(例如左上端座標(Xa2,Ya2))、長度(例如實體區域長度XLa2、YLa2)及區域編號2(或優先級115(=2))。ROI解碼部222將有效負載資料215A所包含之壓縮圖像資料147B解碼並產生圖像資料222A。
ROI圖像產生部223基於所抽出之該等資訊(抽出資訊221A)導出重疊區域ROO之位置資訊114。ROI圖像產生部223例如導出重疊區域ROO之座標(例如左上端座標(Xb1,Yb1))及長度(例如實體區域長度XLb1、YLb1)作為上述之重疊區域ROO之位置資訊114。ROI圖像產生部223進而基於圖像資料222A、抽出資訊221A、及重疊區域ROO之位置資訊114，產生拍攝圖像111之各關注區域ROI之圖像(ROI圖像112a1、112a2)。
[效果]其次，針對本實施形態之影像傳送系統1之效果進行說明。
近年來，大量傳送資料量大之資料之用途不斷增加。容易對傳送系統施加較大的負載，在最差的情況下，有傳送系統當機而無法進行資料傳送之虞。
先前，為了避免傳送系統當機，而進行例如對攝影對象之物體加以特定而僅傳送將特定出之物體切取而得之一部分之圖像，而非全數傳送拍攝到之圖像。
且說，作為用於自圖像感測器朝應用處理器之傳送之方式，有使用MIPI CSI-2之情形。在欲使用該方式傳送ROI之情形下，有因各種限制而不易傳送ROI之情形。
另一方面，在本實施形態中，以嵌入式資料送出針對拍攝圖像111之各關注區域ROI之ROI資訊120B且以長封包之有效負載資料送出各關注區域ROI之圖像資料。藉此，在接收自影像傳送裝置100送出之傳送資料147A之裝置(影像接收裝置200)中，能夠自傳送資料147A容易地抽出各關注區域ROI之圖像資料(ROI圖像211)。其結果為，即便在各種限制下仍能夠進行關注區域ROI之傳送。
又，在本實施形態中，各關注區域ROI之圖像資料(壓縮圖像資料120A)係以彼此共通之虛擬頻道送出。藉此，由於能夠在同一封包中給送複數個ROI圖像211，故在給送複數個ROI圖像211之期間無須進入LP模式，而能夠獲得高傳送效率。
又，在本實施形態中，將各關注區域ROI之資料類型包含於長封包之有效負載資料之封包標頭PH並送出。藉此，即便不存取嵌入式資料，但僅藉由存取長封包之有效負載資料之封包標頭PH，仍可獲得各關注區域ROI之資料類型。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
又，在本實施形態中，當將ROI資訊120B包含於長封包之有效負載資料並送出時，即便不存取嵌入式資料，但僅藉由存取長封包之有效負載資料，仍可獲得ROI資訊120B。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
又，在本實施形態中，自傳送資料147A所包含之嵌入式資料中抽出針對各關注區域ROI之ROI資訊120B，且基於所抽出之ROI資訊120B自傳送資料147A所包含之長封包之有效負載資料中抽出各關注區域ROI之圖像(ROI圖像112)。藉此，能夠自傳送資料147A容易地抽出各關注區域ROI之圖像(ROI圖像112)。其結果為，即便在各種限制下仍能夠進行關注區域ROI之傳送。
＜2.變化例＞[變化例A]圖10顯示搭載於上述實施形態之通訊系統1之資訊傳送裝置100之構成的一變化例。在本變化例之資訊傳送裝置100中，省略ROI資料分離部215，有效負載分離部213輸出有效負載資料215A或有效負載資料215B。
在本變化例中，有效負載分離部213根據長封包之有效負載資料之封包標頭PH所包含之資料類型(各關注區域ROI之資料類型)判別長封包之有效負載資料所包含之圖像資料為ROI之圖像資料116之壓縮圖像資料120A或為通常圖像資料之壓縮圖像資料130A。其結果為，當長封包之有效負載資料所包含之圖像資料係ROI之圖像資料116之壓縮圖像資料120A時，有效負載分離部213將長封包之有效負載資料作為有效負載資料215A輸出至資訊處理部220(具體而言係ROI解碼部222)。當長封包之有效負載資料所包含之圖像資料係通常圖像資料之壓縮圖像資料130A時，有效負載分離部213將長封包之有效負載資料作為有效負載資料215B輸出至資訊處理部220(具體而言係通常圖像解碼部224)。
在本變化例中，即便不存取嵌入式資料，但僅藉由存取長封包之有效負載資料之封包標頭PH，仍能夠判別各關注區域ROI之資料類型。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
[變化例B]在上述實施形態之通訊系統1中，在長封包之有效負載資料之封包標頭PH中可不包含資料類型(各關注區域ROI之資料類型)。即便在如上述之情形下，仍能夠根據嵌入式資料所包含之資料類型判別長封包之有效負載資料所包含之圖像資料為關注區域ROI之圖像資料116之壓縮圖像資料120A或為通常圖像資料之壓縮圖像資料130A。藉此，由於封包標頭PH之資料尺寸為小，故能夠減小傳送容量。
[變化例C]在上述實施形態之通訊系統1中，合成部147將各關注區域ROI之圖像資料(壓縮圖像資料120A)以彼此共通之虛擬頻道送出。然而，合成部147可將各關注區域ROI之圖像資料(壓縮圖像資料120A)以互不相同之虛擬頻道送出。惟，此時，例如，如圖11所示，在對應之關注區域ROI互不相同之2個長封包之有效負載資料彼此之間包含低功率模式LP。
且說，在對應之關注區域ROI互不相同之2個長封包之有效負載資料彼此之間包含低功率模式LP係意味著無須將對應之關注區域ROI互不相同之2個長封包之有效負載資料彼此分離之處理。因而，在本變化例中可消除該分離處理所需之處理時間。
[變化例D]在上述實施形態之通訊系統1中，合成部147有在長封包之有效負載資料中除包含壓縮圖像資料147B之1列份額之像素資料外還包含ROI資訊120B之情形。然而，在上述實施形態之通訊系統1中，合成部147例如可將ROI資訊120B包含於設置於長封包之有效負載資料之近前之1個或複數個短封包之資料欄位SP並送出。合成部147例如可將拍攝圖像111所包含之關注區域ROI之數(ROI數)、各關注區域ROI之區域編號(或優先級115)、各關注區域ROI之資料長、及各關注區域ROI之圖像格式中至少一者包含於設置於長封包之有效負載資料之近前之1個或複數個短封包之資料欄位SP並送出。合成部147例如可如圖12所示般將拍攝圖像111所包含之關注區域ROI之數(ROI數)、各關注區域ROI之區域編號(或優先級115)、各關注區域ROI之資料長、及各關注區域ROI之圖像格式包含於設置於長封包之有效負載資料之近前之1個或複數個短封包之資料欄位SP並送出。
在本變化例中，即便不存取嵌入式資料，但僅藉由存取設置於長封包之有效負載資料之近前之1個或複數個短封包之資料欄位SP，仍能夠取得ROI資訊120B。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
[變化例E]在上述實施形態之通訊系統1及其變化例(變化例A～D)中，使用與自複數個ROI圖像112省略圖像118之複數個傳送圖像116對應之壓縮圖像資料147B產生傳送資料120A。然而，在上述實施形態之通訊系統1及其變化例(變化例A～D)中，無論在複數個關注區域ROI之圖像(ROI圖像112)中是否存在重疊區域ROO之圖像118，均可在傳送資料120A中，使用與各ROI圖像112對應之壓縮圖像資料120A產生傳送資料120A。即，在上述實施形態之通訊系統1及其變化例(變化例A～D)中，壓縮圖像資料147B由與各ROI圖像112對應之壓縮圖像資料120A構成。
此時，例如，如圖13所示，在圖像處理部120中，可省略ROI解析部122、重疊檢測部123及優先級設定部124。如此，於在圖像處理部120中省略ROI解析部122、重疊檢測部123及優先級設定部124之情形下亦然，與上述實施形態之通訊系統1及其變化例(變化例A～D)相同地，傳送部140以嵌入式資料送出針對拍攝圖像111之各關注區域ROI之ROI資訊120B。傳送部140更以長封包之有效負載資料送出各關注區域ROI之圖像資料(壓縮圖像資料120A)。又，傳送部140利用圖像資料圖框送出各關注區域ROI之圖像資料(壓縮圖像資料120A)且以圖像資料圖框之標頭送出針對各關注區域ROI之ROI資訊120B。藉此，在接收自影像傳送裝置100送出之傳送資料147A之裝置(影像接收裝置200)中，能夠自傳送資料147A容易地抽出各關注區域ROI之圖像資料(ROI圖像211)。其結果為，即便在各種限制下仍能夠進行關注區域ROI之傳送。
又，在本變化例中，傳送部140在將各關注區域ROI之圖像資料(壓縮圖像資料120A)以彼此共通之虛擬頻道送出之情形下，能夠在同一封包中給送複數個ROI圖像211。藉此，由於在給送複數個ROI圖像211之間無須進入LP模式，故能夠獲得高傳送效率。
又，在本變化例中，傳送部140在將各關注區域ROI之圖像資料(壓縮圖像資料120A)以互不相同之虛擬頻道送出之情形下，無須將對應之關注區域ROI互不相同之2個長封包之有效負載資料彼此分離之處理。因而，在本變化例中可消除該分離處理所需之處理時間。
又，在本變化例中，傳送部140在將各關注區域ROI之資料類型包含於長封包之有效負載資料之封包標頭PH並送出之情形下，即便不存取嵌入式資料，但僅藉由存取長封包之有效負載資料之封包標頭PH，仍可獲得各關注區域ROI之資料類型。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
又，在本變化例中，傳送部140在將ROI資訊120B包含於長封包之有效負載資料並送出之情形下，即便存取嵌入式資料，但僅藉由存取長封包之有效負載資料，仍可獲得ROI資訊120B。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
又，在本變化例中，傳送部140在將ROI資訊120B包含於設置於長封包之有效負載資料之近前之1個或複數個短封包之資料欄位SP並送出之情形下，即便不存取嵌入式資料，但僅藉由存取設置於長封包之有效負載資料之近前之1個或複數個短封包之資料欄位SP，仍能夠取得ROI資訊120B。藉此，由於能夠提高資訊接收裝置200之處理速度，故能夠獲得高傳送效率。
又，在本變化例中，傳送部140在自傳送資料147A所包含之嵌入式資料中抽出針對各關注區域ROI之ROI資訊120B，且基於所抽出之ROI資訊120B自傳送資料147A所包含之長封包之有效負載資料中抽出各關注區域ROI之圖像(ROI圖像112)之情形下，能夠自傳送資料147A容易地抽出各關注區域ROI之圖像(ROI圖像112)。其結果為，即便在各種限制下仍能夠進行關注區域ROI之傳送。
[變化例F]在上述實施形態之通訊系統1及其變化例(變化例A～E)中，傳送部140以圖像資料圖框之標頭(圖框標頭區域R1)送出針對各關注區域ROI之ROI資訊120B。然而，在上述實施形態之通訊系統1及其變化例(變化例A～E)中，傳送部140可以圖像資料圖框之註腳(圖框註腳區域R3)送出針對各關注區域ROI之ROI資訊120B。例如，如圖14所示，傳送部140可在以嵌入式資料送出針對拍攝圖像111之各關注區域ROI之ROI資訊120B時，以圖框註腳區域R3送出ROI資訊120B。此外，在圖14中方便上省略標頭區域R1之記載。在如本變化例之情形下亦然，即便在各種限制下，仍能夠進行關注區域ROI之傳送。
[變化例G]在上述實施形態之通訊系統1及其變化例(變化例A～F)中，圖像資料圖框包含圖框標頭區域R1、封包區域R2及圖框註腳R3。然而，在上述實施形態之通訊系統1及其變化例(變化例A～E)中，圖像資料圖框可不包含圖框註腳R3。又，在上述變化例F中，圖像資料圖框可包含圖框標頭區域R1。
以上，舉出實施形態及其變化例說明了本發明，但本發明並不限定於上述實施形態等，可進行各種變化。此外，本說明書中所記載之效果終極而言僅為例示。本發明之效果並不限定於本說明書中所記載之效果。本發明可具有本說明書中所記載之效果以外之效果。
又，例如，本發明能夠採用如以下之構成。(1) 一種影像傳送裝置，其具備以長封包之有效負載資料送出圖像之ROI(Region Of Interest，關注區域)之圖像資料且以嵌入式資料送出針對前述ROI之資訊的傳送部。 (2) 如(1)之影像傳送裝置，其中前述傳送部將各前述ROI之前述圖像資料以互不相同之虛擬頻道送出。 (3) 如(1)之影像傳送裝置，其中前述傳送部將各前述ROI之前述圖像資料以彼此共通之虛擬頻道送出。 (4) 如(3)之影像傳送裝置，其中前述傳送部使前述有效負載資料之封包標頭包含各前述ROI之資料類型而送出。 (5) 如(3)之影像傳送裝置，其中前述傳送部使前述有效負載資料包含前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者而送出。 (6) 如(3)之影像傳送裝置，其中前述傳送部使短封包包含前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者而送出。 (7) 如(1)至(6)中任一項之影像傳送裝置，其中前述傳送部藉由圖像資料圖框送出前述ROI之前述圖像資料，且以前述圖像資料圖框之標頭或註腳送出針對前述ROI之資訊。 (8) 如(1)至(7)中任一項之影像傳送裝置，其中前述傳送部以MIPI(Mobile Industry Processor Interface，行動產業處理器介面) CSI(Camera Serial Interface，相機串列介面)-2規範、MIPI CSI-3規範、或MIPI DSI(Display Serial Interface，顯示器串列介面)規範送出信號。 (9) 一種影像傳送裝置，其具備： 檢測部，其基於針對圖像之各ROI(Region Of Interest，關注區域)之資訊，檢測2個以上之前述ROI彼此重合之重疊區域；及 傳送部，其以在前述圖像之複數個前述ROI之第1圖像資料中不重複包含前述重疊區域之第2圖像資料之方式，以長封包之有效負載資料送出自複數個前述第1圖像資料省略前述第2圖像資料者亦即複數個第3圖像資料，且以嵌入式資料送出針對前述圖像之各前述ROI之資訊。 (10) 如(9)之影像傳送裝置，其中前述傳送部將各前述ROI之前述圖像資料以互不相同之虛擬頻道送出。 (11) 如(9)之影像傳送裝置，其中前述傳送部將各前述ROI之前述圖像資料以彼此共通之虛擬頻道送出。 (12) 如(11)之影像傳送裝置，其中前述傳送部使前述有效負載資料之封包標頭包含各前述ROI之資料類型而送出。 (13) 如(11)之影像傳送裝置，其中前述傳送部使前述有效負載資料包含前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者而送出。 (14) 如(9)之影像傳送裝置，其中前述傳送部使短封包之資料欄位包含前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者而送出。 (15) 如(9)至(14)中任一項之影像傳送裝置，其中前述傳送部藉由圖像資料圖框送出前述ROI之前述圖像資料且以前述圖像資料圖框之標頭或註腳送出針對前述ROI之資訊。 (16) 如(9)至(15)中任一項之影像傳送裝置，其中前述傳送部以MIPI(Mobile Industry Processor Interface，行動產業處理器介面) CSI(Camera Serial Interface，相機串列介面)-2規範、MIPI CSI-3規範、或MIPI DSI(Display Serial Interface，顯示器串列介面)規範送出信號。 (17) 一種影像接收裝置，其具備： 接收部，其接收將圖像之ROI(Region Of Interest，關注區域)之圖像資料包含於長封包之有效負載資料，且將針對前述ROI之資訊包含於嵌入式資料的傳送信號；及 資訊處理部，其自以前述接收部接收到之前述傳送信號所包含之前述嵌入式資料中抽出針對前述ROI之資訊，且基於所抽出之前述資訊，自以前述接收部接收到之前述傳送信號所包含之前述有效負載資料中抽出前述ROI之圖像資料。 (18) 如(17)之影像接收裝置，其中前述資訊處理部基於所抽出之前述資訊，檢測2個以上之前述ROI彼此重合之重疊區域，且基於所抽出之前述資訊、及所檢測之前述重疊區域之資訊，自以前述接收部接收到之前述傳送信號所包含之前述有效負載資料中抽出各前述ROI之圖像資料。 (19) 如(17)或(18)之影像接收裝置，其中前述傳送部以MIPI(Mobile Industry Processor Interface，行動產業處理器介面) CSI(Camera Serial Interface，相機串列介面)-2規範、MIPI CSI-3規範、或MIPI DSI(Display Serial Interface，顯示器串列介面)規範接收信號。
本發明申請案以在日本專利廳於2017年6月9日申請之日本專利申請案編號2017-114690號為基礎而主張其優先權，並藉由參照該發明申請案之全部內容而援用於本發明申請案。
只要係熟悉此項技術者則相應於設計上之要件或其他之要因即可想到各種修正、組合、子組合、及變更，但可理解為其等包含於後附之申請專利之範圍及其均等物之範圍內。
1‧‧‧影像傳送系統/通訊系統100‧‧‧影像傳送裝置/資訊傳送裝置100A‧‧‧CSI發射機100B‧‧‧CCI從控器110‧‧‧攝像部111‧‧‧拍攝圖像/數位圖像資料112‧‧‧ROI圖像112a1‧‧‧ROI圖像112a2‧‧‧ROI圖像116a1‧‧‧傳送圖像116a2‧‧‧傳送圖像118‧‧‧圖像120‧‧‧圖像處理部120A‧‧‧資料/壓縮圖像資料/傳送資料120A1‧‧‧壓縮圖像資料120A2‧‧‧壓縮圖像資料120B‧‧‧資料/ROI資訊120C‧‧‧資料/圖框資訊121‧‧‧ROI切取部122‧‧‧ROI解析部123‧‧‧重疊檢測部124‧‧‧優先級設定部125‧‧‧編碼部126‧‧‧圖像處理控制部130‧‧‧圖像處理部130A‧‧‧圖像資料/壓縮圖像資料/資料131‧‧‧編碼部140‧‧‧傳送部141‧‧‧鏈接控制部142‧‧‧ECC產生部143‧‧‧PH產生部144‧‧‧EBD暫存器145‧‧‧ROI資料暫存器146‧‧‧通常圖像資料暫存器147‧‧‧合成部147A‧‧‧傳送資料147B‧‧‧壓縮圖像資料200‧‧‧影像接收裝置200A‧‧‧CSI接收器200B‧‧‧CCI主控器210‧‧‧接收部211‧‧‧標頭分離部/ROI圖像212‧‧‧標頭解釋部213‧‧‧有效負載分離部214‧‧‧EBD解釋部214A‧‧‧資料/EBD資料215‧‧‧ROI資料分離部215A‧‧‧資料/有效負載資料215B‧‧‧資料/有效負載資料220‧‧‧資訊處理部221‧‧‧資訊抽出部222‧‧‧ROI解碼部222A‧‧‧圖像資料223‧‧‧ROI圖像產生部223A‧‧‧ROI圖像224‧‧‧通常圖像解碼部224A‧‧‧通常圖像CCI‧‧‧照相機控制介面CL‧‧‧時脈通道DI‧‧‧區域DL‧‧‧資料通道ECC‧‧‧區域LP‧‧‧低功率模式PF‧‧‧封包註腳PH‧‧‧封包頭/封包標頭ROO‧‧‧重疊區域R1‧‧‧圖框標頭區域/標頭區域R2‧‧‧封包區域R3‧‧‧圖框註腳區域/圖框註腳ROI1‧‧‧關注區域ROI2‧‧‧關注區域SP‧‧‧資料欄位VC‧‧‧虛擬頻道XLa1‧‧‧長度XLa2‧‧‧長度YLa1‧‧‧長度YLa2‧‧‧長度
圖1係顯示影像傳送系統之概略構成例之圖。 圖2係顯示圖1之影像傳送裝置之概略構成例之圖。 圖3係顯示在拍攝圖像中包含2個ROI時之傳送資料之產生程序之一例之圖。 圖4係顯示封包標頭之構成例之圖。 圖5係顯示傳送資料之構成例之圖。 圖6係顯示傳送資料之構成例之圖。 圖7係顯示長封包之有效負載資料之構成例之圖。 圖8係顯示圖1之影像接收裝置之概略構成例之圖。 圖9係顯示在傳送資料中包含2個圖像時之拍攝圖像所包含之2個ROI圖像之產生程序之一例的圖。 圖10係顯示圖1之影像接收裝置之概略構成之一變化例之圖。 圖11係顯示1列之構成之一變化例之圖。 圖12係顯示1列之構成之一變化例之圖。 圖13係顯示圖1之影像傳送裝置之概略構成之一變化例之圖。 圖14係顯示傳送資料之構成例之圖。
1‧‧‧影像傳送系統/通訊系統
100‧‧‧影像傳送裝置/資訊傳送裝置
100A‧‧‧CSI發射機
100B‧‧‧CCI從控器
200‧‧‧影像接收裝置
200A‧‧‧CSI接收器
200B‧‧‧CCI主控器
CCI‧‧‧照相機控制介面
CL‧‧‧時脈通道
DL‧‧‧資料通道

Claims (21)

  1. 一種影像傳送裝置，其具備以長封包之有效負載資料送出圖像之ROI(Region Of Interest，關注區域)之圖像資料且以嵌入式資料送出針對前述ROI之資訊的傳送電路；其中針對前述ROI之前述資訊表示兩個以上之前述ROI之間的重疊區域。
  2. 如請求項1之影像傳送裝置，其中前述傳送電路將各前述ROI之前述圖像資料以互不相同之虛擬頻道送出。
  3. 如請求項1之影像傳送裝置，其中前述傳送電路將各前述ROI之前述圖像資料以彼此共通之虛擬頻道送出。
  4. 如請求項3之影像傳送裝置，其中前述傳送電路將各前述ROI之資料類型包含於前述有效負載資料之封包標頭而送出。
  5. 如請求項3之影像傳送裝置，其中前述傳送電路將前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者包含於前述有效負載資料而送出。
  6. 如請求項3之影像傳送裝置，其中前述傳送電路將前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者包含於短封包而送出。
  7. 如請求項1之影像傳送裝置，其中前述傳送電路藉由圖像資料圖框送出前述ROI之前述圖像資料，且以前述圖像資料圖框之標頭或註腳送出針對前述ROI之資訊。
  8. 如請求項1之影像傳送裝置，其中前述傳送電路以MIPI(Mobile Industry Processor Interface，行動產業處理器介面)CSI(Camera Serial Interface，相機串列介面)-2規範、MIPI CSI-3規範、或MIPI DSI(Display Serial Interface，顯示器串列介面)規範送出信號。
  9. 如請求項1之影像傳送裝置，其中前述嵌入式資料分離且不同於上述有效負載資料之封包標頭。
  10. 如請求項1之影像傳送裝置，其中前述ROI之各ROI係前述圖像之被選擇圖像區域，且前述圖像之前述被選擇圖像區域係少於前述圖像之整體。
  11. 一種影像傳送裝置，其具備：檢測部，其基於針對圖像之各ROI(Region Of Interest，關注區域)之資訊，檢測2個以上之前述ROI彼此重合之重疊區域；及傳送電路，其以長封包之有效負載資料送出複數個第3圖像資料，且以嵌入式資料送出針對前述圖像之各前述ROI之資訊，該等複數個第3圖像資料係以在前述圖像之複數個前述ROI之第1圖像資料中不重複包含前 述重疊區域之第2圖像資料之方式，自複數個前述第1圖像資料省略前述第2圖像資料者。
  12. 如請求項11之影像傳送裝置，其中前述傳送電路將各前述ROI以互不相同之虛擬頻道送出。
  13. 如請求項11之影像傳送裝置，其中前述傳送電路將各前述ROI以彼此共通之虛擬頻道送出。
  14. 如請求項13之影像傳送裝置，其中前述傳送電路將各前述ROI之資料類型包含於前述有效負載資料之封包標頭而送出。
  15. 如請求項13之影像傳送裝置，其中前述傳送電路將前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者包含於前述有效負載資料而送出。
  16. 如請求項13之影像傳送裝置，其中前述傳送電路將前述圖像所包含之前述ROI之數、各前述ROI之區域編號、各前述ROI之資料長、及各前述ROI之圖像格式中至少一者包含於短封包之資料欄位而送出。
  17. 如請求項11之影像傳送裝置，其中前述傳送電路藉由圖像資料圖框送出前述ROI之前述圖像資料且以前述圖像資料圖框之標頭或註腳送出針對前述ROI之資訊。
  18. 如請求項11之影像傳送裝置，其中前述傳送電路以MIPI(Mobile Industry Processor Interface，行動產業處理器介面)CSI(Camera Serial Interface，相機串列介面)-2規範、MIPI CSI-3規範、或MIPI DSI(Display Serial Interface，顯示器串列介面)規範送出信號。
  19. 一種影像接收裝置，其具備：接收電路，其接收將圖像之ROI(Region Of Interest，關注區域)之圖像資料包含於長封包之有效負載資料，且將針對前述ROI之資訊包含於嵌入式資料的傳送信號；及資訊處理部，其自以前述接收電路接收到之前述傳送信號所包含之前述嵌入式資料中抽出針對前述ROI之資訊，且基於所抽出之前述資訊，自以前述接收電路接收到之前述傳送信號所包含之前述有效負載資料中抽出前述ROI之圖像資料；其中針對前述ROI之前述資訊表示兩個以上之前述ROI之間的重疊區域。
  20. 如請求項19之影像接收裝置，其中前述資訊處理部基於所抽出之前述資訊，檢測2個以上之前述ROI彼此重合之重疊區域，且基於所抽出之前述資訊、及所檢測之前述重疊區域之資訊，自以前述接收電路接收到之前述傳送信號所包含之前述有效負載資料中抽出各前述ROI之圖像資料。
  21. 如請求項19之影像接收裝置，其中前述接收電路以MIPI(Mobile Industry Processor Interface，行動產業處理器介面)CSI(Camera Serial Interface，相機串列介面)-2規範、MIPI CSI-3規範、或MIPI DSI(Display Serial Interface，顯示器串列介面)規範接收信號。
TW107116525A 2017-06-09 2018-05-16 影像傳送裝置及影像接收裝置 TWI829638B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-114690 2017-06-09
JP2017114690 2017-06-09

Publications (2)

Publication Number Publication Date
TW201904281A TW201904281A (zh) 2019-01-16
TWI829638B true TWI829638B (zh) 2024-01-21

Family

ID=64567136

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107116525A TWI829638B (zh) 2017-06-09 2018-05-16 影像傳送裝置及影像接收裝置

Country Status (9)

Country Link
US (1) US20200186841A1 (zh)
EP (1) EP3637784A4 (zh)
JP (1) JP7163285B2 (zh)
KR (2) KR102509132B1 (zh)
CN (1) CN110710222A (zh)
BR (1) BR112019025471A2 (zh)
SG (1) SG11201910049VA (zh)
TW (1) TWI829638B (zh)
WO (1) WO2018225449A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11606500B2 (en) * 2018-12-06 2023-03-14 Sony Semiconductor Solutions Corporation Reception apparatus and transmission apparatus
JP2020188323A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
EP3993389A4 (en) * 2019-06-28 2022-08-17 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND TRANSPORT SYSTEM
EP3993435A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM
TW202110184A (zh) * 2019-07-30 2021-03-01 日商索尼半導體解決方案公司 發送裝置、接收裝置、及通訊系統
US20220279110A1 (en) * 2019-08-30 2022-09-01 Sony Group Corporation Imaging device, processing device, data transmission system, and data transmission method
WO2021039012A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、データ伝送システム、及びデータ伝送方法
US20220385959A1 (en) 2019-11-20 2022-12-01 Sony Semiconductor Solutions Corporation Transmission device, reception device, and transmission system
JPWO2021192764A1 (zh) * 2020-03-25 2021-09-30
DE112021001996T5 (de) 2020-03-31 2023-02-02 Sony Semiconductor Solutions Corporation Übertragungsvorrichtung, empfangsvorrichtung und übertragungssystem
CN116076057A (zh) * 2020-09-01 2023-05-05 索尼半导体解决方案公司 信息处理装置、移动体装置和通信系统
CN114245030A (zh) * 2021-12-20 2022-03-25 北京镁伽科技有限公司 上位机显示测试图像的方法、装置及图像信号发生器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US20130163889A1 (en) * 2011-12-07 2013-06-27 Sony Corporation Image processing apparatus and method
US20150023407A1 (en) * 2012-06-25 2015-01-22 Sony Corporation Image decoding device, image decoding method, image encoding device, and image encoding method
US20150256840A1 (en) * 2012-12-18 2015-09-10 Sony Corporation Image processing device and image processing method
TW201604798A (zh) * 2014-07-18 2016-02-01 宏達國際電子股份有限公司 用於執行臉部追蹤功能的方法及其電子裝置
US20160337706A1 (en) * 2014-02-18 2016-11-17 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US8970750B2 (en) * 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
CN103260081B (zh) * 2012-02-21 2016-08-10 中国移动通信集团公司 一种视频图像缩放处理方法及装置
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
KR20180026803A (ko) * 2012-09-18 2018-03-13 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
WO2015014773A1 (en) * 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
KR101953679B1 (ko) * 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
JP2016103808A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
KR102511705B1 (ko) * 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
JP6646433B2 (ja) 2015-12-21 2020-02-14 太平洋セメント株式会社 複合構造体
JP6936018B2 (ja) * 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
US20130163889A1 (en) * 2011-12-07 2013-06-27 Sony Corporation Image processing apparatus and method
US20150023407A1 (en) * 2012-06-25 2015-01-22 Sony Corporation Image decoding device, image decoding method, image encoding device, and image encoding method
US20150256840A1 (en) * 2012-12-18 2015-09-10 Sony Corporation Image processing device and image processing method
US20160337706A1 (en) * 2014-02-18 2016-11-17 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
TW201604798A (zh) * 2014-07-18 2016-02-01 宏達國際電子股份有限公司 用於執行臉部追蹤功能的方法及其電子裝置

Also Published As

Publication number Publication date
KR20230036167A (ko) 2023-03-14
JPWO2018225449A1 (ja) 2020-04-09
JP7163285B2 (ja) 2022-10-31
KR102636747B1 (ko) 2024-02-15
US20200186841A1 (en) 2020-06-11
BR112019025471A2 (pt) 2020-06-23
KR20200016229A (ko) 2020-02-14
KR102509132B1 (ko) 2023-03-13
TW201904281A (zh) 2019-01-16
SG11201910049VA (en) 2019-11-28
CN110710222A (zh) 2020-01-17
EP3637784A1 (en) 2020-04-15
WO2018225449A1 (ja) 2018-12-13
EP3637784A4 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
TWI829638B (zh) 影像傳送裝置及影像接收裝置
KR102593633B1 (ko) 영상 송신 장치 및 영상 수신 장치
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
US12052515B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
WO2019092952A1 (ja) 送信装置
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
EP3707911A1 (en) Transmission device and method with region of interest mode selection
US12041344B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US20230362307A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
JP7450704B2 (ja) 送信装置、受信装置及び伝送システム
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
US20220245828A1 (en) Transmitter, receiver, and communication system
CN113170029A (zh) 图像处理装置和图像处理方法