JP7163285B2 - 映像送信装置および映像受信装置 - Google Patents
映像送信装置および映像受信装置 Download PDFInfo
- Publication number
- JP7163285B2 JP7163285B2 JP2019523413A JP2019523413A JP7163285B2 JP 7163285 B2 JP7163285 B2 JP 7163285B2 JP 2019523413 A JP2019523413 A JP 2019523413A JP 2019523413 A JP2019523413 A JP 2019523413A JP 7163285 B2 JP7163285 B2 JP 7163285B2
- Authority
- JP
- Japan
- Prior art keywords
- roi
- image
- image data
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 claims description 222
- 239000000284 extract Substances 0.000 claims description 19
- 230000010365 information processing Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 43
- 238000012986 modification Methods 0.000 description 37
- 230000004048 modification Effects 0.000 description 37
- 230000002194 synthesizing effect Effects 0.000 description 20
- 238000000605 extraction Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
Description
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内または異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、MIPIアライアンスが策定したC-PHY規格やD-PHY規格といった高速インタフェース規格の標準化が進められている。C-PHY規格やD-PHY規格は、通信プロトコルの物理層(physical layer:PHY)のインタフェース規格である。また、C-PHY規格やD-PHY規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのDSIや、カメラデバイス向けのCSIが存在する。
図2は、映像送信装置100の構成の一例を表したものである。映像送信装置100は、CSIトランスミッタ100Aの一具体例に相当する。映像送信装置100は、例えば、撮像部110、画像処理部120,130および送信部140を備えている。映像送信装置100は、撮像部110で得られた撮像画像111に対して所定の処理を行うことにより生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送信する。図3は、伝送データ147Aの生成手順の一例したものである。
次に、映像受信装置200について説明する。図8は、映像受信装置200の構成の一例を表したものである。図9は、映像受信装置200におけるROI画像223Aの生成手順の一例を表したものである。映像受信装置200は、映像送信装置100と共通の規格(例えば、MIPI CSI-2規格、MIPI CSI-3規格、もしくは、MIPIDSI規格)で信号を受信する装置である。映像受信装置200は、例えば、受信部210および情報処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
次に、図3、図9を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
次に、本実施の形態に係る映像伝送システム1の効果について説明する。
[変形例A]
図10は、上記実施の形態の映像通信システム1に搭載された映像送信装置100の構成の一変形例を表したものである。本変形例に係る映像送信装置100では、ROIデータ分離部215が省略されており、Payload分離部213がPayloadData215AまたはPayloadData215Bを出力する。
上記実施の形態の映像通信システム1において、LongPacketのPayloadDataのパケットヘッダPHに、DataType(各注目領域ROIのデータタイプ)が含まれていなくてもよい。このようにした場合であっても、EmbeddedDataに含まれるデータタイプから、LongPacketのPayloadDataに含まれる画像データが注目領域ROIの伝送画像データ116の圧縮像データ120Aであるか、または、通常画像データの圧縮像データ130Aであるか判別することができる。これにより、パケットヘッダPHのデータサイズが小さくなるので、伝送容量を少なくすることができる。
上記実施の形態の映像通信システム1では、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出していた。しかし、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに異なるバーチャルチャネルで送出してもよい。ただし、その場合には、例えば、図11に示したように、対応する注目領域ROIが互いに異なる2つのLongPacketのPayloadData同士の間に、ローパワーモードLPが含まれることになる。
上記実施の形態の映像通信システム1では、合成部147は、LongPacketのPayloadDataに、圧縮像データ147Bにおける1ライン分のピクセルデータの他に、ROI情報120Bを含めている場合があった。しかし、上記実施の形態の映像通信システム1において、合成部147は、例えば、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールド(ShortPacktのDataField)SPに、ROI情報120Bを含めて送出してもよい。合成部147は、例えば、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPに、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットのうち少なくとも1つを含めて送出してもよい。合成部147は、例えば、図12に示したように、LongPacketのPayloadDataの手前に設けられた1または複数のショートパケットのデータフィールドSPに、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(もしくは優先度115)、各注目領域ROIのデータ長、および各注目領域ROIの画像フォーマットを含めて送出してもよい。
上記実施の形態の映像通信システム1およびその変形例(変形例A~D)では、複数のROI画像112から画像118が割愛された複数の伝送画像116に対応する圧縮像データ147Bを用いて伝送データ120Aが生成されていた。しかし、上記実施の形態の映像通信システム1およびその変形例(変形例A~D)において、複数の注目領域ROIの画像(ROI画像112)において重なり領域ROOの画像118が存在するか否かに拘わらず、伝送データ120Aに、各ROI画像112に対応する圧縮像データ147Bを用いて伝送データ120Aが生成されていてもよい。つまり、上記実施の形態の映像通信システム1およびその変形例(変形例A~D)において、圧縮像データ147Bが、各ROI画像112に対応する圧縮像データ120Aによって構成されている。
上記実施の形態の映像通信システム1およびその変形例(変形例A~E)では、送信部140が、各注目領域ROIについてのROI情報120Bを画像データフレームのヘッダ(フレームヘッダ領域R1)で送出していた。しかし、上記実施の形態の映像通信システム1およびその変形例(変形例A~E)において、送信部140は、各注目領域ROIについてのROI情報120Bを画像データフレームのフッタ(フレームフッタ領域R3)で送出してもよい。例えば、図14に示したように、送信部140は、撮像画像111における各注目領域ROIについてのROI情報120BをEmbeddedDataで送出する際に、ROI情報120Bをフレームフッタ領域R3で送出してもよい。なお、図14では、便宜的に、ヘッダ領域R1の記載が省略されている。本変形例のようにした場合であっても、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
上記実施の形態の映像通信システム1およびその変形例(変形例A~F)では、画像データフレームは、フレームヘッダ領域R1、パケット領域R2およびフレームフッタR3を含んでいた。しかし、上記実施の形態の映像通信システム1およびその変形例(変形例A~E)において、画像データフレームは、フレームフッタR3を含んでいなくてもよい。また、上記変形例Fにおいて、画像データフレームは、フレームヘッダ領域R1を含んでいなくてもよい。
(1)
画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataで送出するとともに、前記ROIについての情報をEmbeddedDataで送出する送信部を備えた
映像送信装置。
(2)
前記送信部は、各前記ROIの前記画像データを互いに異なるバーチャルチャネルで送出する
(1)に記載の映像送信装置。
(3)
前記送信部は、各前記ROIの前記画像データを互いに共通のバーチャルチャネルで送出する
(1)に記載の映像送信装置。
(4)
前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
(3)に記載の映像送信装置。
(5)
前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
(3)に記載の映像送信装置。
(6)
前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketに含めて送出する
(3)に記載の映像送信装置。
(7)
前記送信部は、前記ROIの前記画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
(1)ないし(6)のいずれか1つに記載の映像送信装置。
(8)
前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
(1)ないし(7)のいずれか1つに記載の映像送信装置。
(9)
画像における各ROI(Region Of Interest)についての情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出する検出部と、
前記画像における複数の前記ROIの第1画像データにおいて前記重なり領域の第2画像データが重複して含まれないように、複数の前記第1画像データから前記第2画像データを割愛したものである複数の第3画像データをLongPacketのPayloadDataで送出するとともに、前記画像における各前記ROIについての情報をEmbeddedDataで送出する送信部と
を備えた 映像送信装置。
(10)
前記送信部は、各前記ROIの前記画像データを互いに異なるバーチャルチャネルで送出する
(9)に記載の映像送信装置。
(11)
前記送信部は、各前記ROIの前記画像データを互いに共通のバーチャルチャネルで送出する
(9)に記載の映像送信装置。
(12)
前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
(11)に記載の映像送信装置。
(13)
前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
(11)に記載の映像送信装置。
(14)
前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketのDataFieldに含めて送出する
(11)に記載の映像送信装置。
(15)
前記送信部は、前記ROIの前記第3画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
(9)ないし(14)のいずれか1つに記載の映像送信装置。
(16)
前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
(9)ないし(15)のいずれか1つに記載の映像送信装置。
(17)
画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataに含むとともに、前記ROIについての情報をEmbeddedDataに含む伝送信号を受信する受信部と、
前記受信部で受信した前記伝送信号に含まれる前記EmbeddedDataから、前記ROIについての情報を抽出するとともに、抽出した前記情報に基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、前記ROIの画像データを抽出する情報処理部と
を備えた
映像受信装置。
(18)
前記情報処理部は、抽出した前記情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出し、抽出した前記情報と、検出した前記重なり領域の情報とに基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、各前記ROIの画像データを抽出する
(17)に記載の映像受信装置。
(19)
前記受信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を受信する
(17)または(18)に記載の映像受信装置。
Claims (19)
- 画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataで送出するとともに、前記ROIについての情報をEmbeddedDataで送出する送信部を備えた
映像送信装置。 - 前記送信部は、各前記ROIの前記画像データを互いに異なるバーチャルチャネルで送出する
請求項1に記載の映像送信装置。 - 前記送信部は、各前記ROIの前記画像データを互いに共通のバーチャルチャネルで送出する
請求項1に記載の映像送信装置。 - 前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
請求項3に記載の映像送信装置。 - 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
請求項3に記載の映像送信装置。 - 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketに含めて送出する
請求項3に記載の映像送信装置。 - 前記送信部は、前記ROIの前記画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
請求項1に記載の映像送信装置。 - 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Ser ial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
請求項1に記載の映像送信装置。 - 画像における各ROI(Region Of Interest)についての情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出する検出部と、
前記画像における複数の前記ROIの第1画像データにおいて前記重なり領域の第2画像データが重複して含まれないように、複数の前記第1画像データから前記第2画像データを割愛したものである複数の第3画像データをLongPacketのPayloadDataで送出するとともに、前記画像における各前記ROIについての情報をEmbeddedDataで送出する送信部と
を備えた
映像送信装置。 - 前記送信部は、各前記ROIを互いに異なるバーチャルチャネルで送出する
請求項9に記載の映像送信装置。 - 前記送信部は、各前記ROIを互いに共通のバーチャルチャネルで送出する
請求項9に記載の映像送信装置。 - 前記送信部は、各前記ROIのデータタイプを前記PayloadDataのパケットヘッダに含めて送出する
請求項11に記載の映像送信装置。 - 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを前記PayloadDataに含めて送出する
請求項11に記載の映像送信装置。 - 前記送信部は、前記画像に含まれる前記ROIの数、各前記ROIの領域番号、各前記ROIのデータ長、および各前記ROIの画像フォーマットのうち少なくとも1つを、ShortPacketのDataFieldに含めて送出する
請求項11に記載の映像送信装置。 - 前記送信部は、前記ROIの前記第3画像データを画像データフレームによって送出するとともに、前記ROIについての情報を前記画像データフレームのヘッダもしくはフッタで送出する
請求項9に記載の映像送信装置。 - 前記送信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Ser ial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を送出する
請求項9に記載の映像送信装置。 - 画像におけるROI(Region Of Interest)の画像データをLongPacketのPayloadDataに含むとともに、前記ROIについての情報をEmbeddedDataに含む伝送信号を受信する受信部と、
前記受信部で受信した前記伝送信号に含まれる前記EmbeddedDataから、前記ROIについての情報を抽出するとともに、抽出した前記情報に基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、前記ROIの画像データを抽出する情報処理部と
を備えた
映像受信装置。 - 前記情報処理部は、抽出した前記情報に基づいて、2以上の前記ROI同士が重なり合う重なり領域を検出し、抽出した前記情報と、検出した前記重なり領域の情報とに基づいて、前記受信部で受信した前記伝送信号に含まれる前記PayloadDataから、各前記ROIの画像データを抽出する
請求項17に記載の映像受信装置。 - 前記受信部は、MIPI(Mobile Industry Processor Interface) CSI(Camera Ser ial Interface)-2規格、MIPI CSI-3規格、もしくは、MIPI DSI(Display Serial Interface)規格で信号を受信する
請求項17に記載の映像受信装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114690 | 2017-06-09 | ||
JP2017114690 | 2017-06-09 | ||
PCT/JP2018/018349 WO2018225449A1 (ja) | 2017-06-09 | 2018-05-11 | 映像送信装置および映像受信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018225449A1 JPWO2018225449A1 (ja) | 2020-04-09 |
JP7163285B2 true JP7163285B2 (ja) | 2022-10-31 |
Family
ID=64567136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523413A Active JP7163285B2 (ja) | 2017-06-09 | 2018-05-11 | 映像送信装置および映像受信装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20200186841A1 (ja) |
EP (1) | EP3637784A4 (ja) |
JP (1) | JP7163285B2 (ja) |
KR (2) | KR102509132B1 (ja) |
CN (1) | CN110710222A (ja) |
BR (1) | BR112019025471A2 (ja) |
SG (1) | SG11201910049VA (ja) |
TW (1) | TWI829638B (ja) |
WO (1) | WO2018225449A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7414733B2 (ja) * | 2018-12-06 | 2024-01-16 | ソニーセミコンダクタソリューションズ株式会社 | 受信装置および送信装置 |
JP2020188323A (ja) * | 2019-05-10 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像方法 |
JP7499765B2 (ja) | 2019-06-28 | 2024-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
EP3993435A4 (en) * | 2019-06-28 | 2022-08-31 | Sony Semiconductor Solutions Corporation | SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM |
TW202110184A (zh) * | 2019-07-30 | 2021-03-01 | 日商索尼半導體解決方案公司 | 發送裝置、接收裝置、及通訊系統 |
WO2021039012A1 (ja) * | 2019-08-30 | 2021-03-04 | ソニー株式会社 | 撮像装置、データ伝送システム、及びデータ伝送方法 |
WO2021039011A1 (ja) * | 2019-08-30 | 2021-03-04 | ソニー株式会社 | 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法 |
WO2021100627A1 (ja) * | 2019-11-20 | 2021-05-27 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置、および伝送システム |
JPWO2021192764A1 (ja) * | 2020-03-25 | 2021-09-30 | ||
DE112021001996T5 (de) | 2020-03-31 | 2023-02-02 | Sony Semiconductor Solutions Corporation | Übertragungsvorrichtung, empfangsvorrichtung und übertragungssystem |
WO2022050057A1 (ja) * | 2020-09-01 | 2022-03-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、移動体装置、および通信システム |
CN114245030A (zh) * | 2021-12-20 | 2022-03-25 | 北京镁伽科技有限公司 | 上位机显示测试图像的方法、装置及图像信号发生器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012120159A (ja) | 2010-11-12 | 2012-06-21 | Sony Corp | 送信装置、送信方法、受信装置、受信方法、およびプログラム |
JP2013501473A (ja) | 2009-08-06 | 2013-01-10 | クゥアルコム・インコーポレイテッド | ワイヤレス・ディスプレイ・プロトコルに従ってビデオデータを準備すること |
JP2016103808A (ja) | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102271249B (zh) * | 2005-09-26 | 2014-04-09 | 韩国电子通信研究院 | 用于可伸缩视频的感兴趣区域信息设置方法和解析方法 |
US20090097704A1 (en) * | 2007-10-10 | 2009-04-16 | Micron Technology, Inc. | On-chip camera system for multiple object tracking and identification |
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013121032A (ja) * | 2011-12-07 | 2013-06-17 | Sony Corp | 画像処理装置および方法 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
CN103260081B (zh) * | 2012-02-21 | 2016-08-10 | 中国移动通信集团公司 | 一种视频图像缩放处理方法及装置 |
JP6295951B2 (ja) * | 2012-06-25 | 2018-03-20 | ソニー株式会社 | 画像復号装置及び画像復号方法 |
JP5700703B2 (ja) | 2012-08-20 | 2015-04-15 | 日本電信電話株式会社 | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
TWI669952B (zh) * | 2012-09-18 | 2019-08-21 | 美商Vid衡器股份有限公司 | 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置 |
EP3273691B1 (en) * | 2012-12-18 | 2021-09-22 | Sony Group Corporation | Image processing device and image processing method |
EP3562170A1 (en) * | 2013-07-29 | 2019-10-30 | Koninklijke KPN N.V. | Providing tile video streams to a client |
CN106031180A (zh) * | 2014-02-18 | 2016-10-12 | Lg电子株式会社 | 收发用于全景服务的广播信号的方法和设备 |
EP3162074A1 (en) * | 2014-06-27 | 2017-05-03 | Koninklijke KPN N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
TWI545508B (zh) * | 2014-07-18 | 2016-08-11 | 宏達國際電子股份有限公司 | 用於執行臉部追蹤功能的方法及其電子裝置 |
US11205305B2 (en) * | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
JP6604019B2 (ja) | 2015-04-14 | 2019-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
KR102511705B1 (ko) * | 2015-11-16 | 2023-03-20 | 삼성전자주식회사 | 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템 |
JP6646433B2 (ja) | 2015-12-21 | 2020-02-14 | 太平洋セメント株式会社 | 複合構造体 |
JP6936018B2 (ja) * | 2017-02-21 | 2021-09-15 | ソニーセミコンダクタソリューションズ株式会社 | 映像送信装置および映像受信装置 |
-
2018
- 2018-05-11 SG SG11201910049V patent/SG11201910049VA/en unknown
- 2018-05-11 CN CN201880036627.9A patent/CN110710222A/zh active Pending
- 2018-05-11 BR BR112019025471-4A patent/BR112019025471A2/pt unknown
- 2018-05-11 KR KR1020197035266A patent/KR102509132B1/ko active IP Right Grant
- 2018-05-11 JP JP2019523413A patent/JP7163285B2/ja active Active
- 2018-05-11 KR KR1020237007533A patent/KR102636747B1/ko active IP Right Grant
- 2018-05-11 WO PCT/JP2018/018349 patent/WO2018225449A1/ja active Application Filing
- 2018-05-11 US US16/618,607 patent/US20200186841A1/en active Pending
- 2018-05-11 EP EP18813628.7A patent/EP3637784A4/en active Pending
- 2018-05-16 TW TW107116525A patent/TWI829638B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013501473A (ja) | 2009-08-06 | 2013-01-10 | クゥアルコム・インコーポレイテッド | ワイヤレス・ディスプレイ・プロトコルに従ってビデオデータを準備すること |
JP2012120159A (ja) | 2010-11-12 | 2012-06-21 | Sony Corp | 送信装置、送信方法、受信装置、受信方法、およびプログラム |
JP2016103808A (ja) | 2014-11-28 | 2016-06-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200186841A1 (en) | 2020-06-11 |
JPWO2018225449A1 (ja) | 2020-04-09 |
WO2018225449A1 (ja) | 2018-12-13 |
TW201904281A (zh) | 2019-01-16 |
KR20200016229A (ko) | 2020-02-14 |
TWI829638B (zh) | 2024-01-21 |
SG11201910049VA (en) | 2019-11-28 |
KR102509132B1 (ko) | 2023-03-13 |
EP3637784A4 (en) | 2020-04-22 |
EP3637784A1 (en) | 2020-04-15 |
BR112019025471A2 (pt) | 2020-06-23 |
CN110710222A (zh) | 2020-01-17 |
KR20230036167A (ko) | 2023-03-14 |
KR102636747B1 (ko) | 2024-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7163285B2 (ja) | 映像送信装置および映像受信装置 | |
KR102593633B1 (ko) | 영상 송신 장치 및 영상 수신 장치 | |
TWI783075B (zh) | 傳輸裝置 | |
WO2020261816A1 (ja) | 送信装置、受信装置及び伝送システム | |
WO2019092952A1 (ja) | 送信装置 | |
US12052515B2 (en) | Transmitting apparatus, receiving apparatus, and transmission system | |
WO2021020224A1 (ja) | 送信装置、受信装置、及び通信システム | |
US12041344B2 (en) | Transmitting apparatus, receiving apparatus, and transmission system | |
US20230362307A1 (en) | Transmitting apparatus, receiving apparatus, and transmission system | |
JP7450704B2 (ja) | 送信装置、受信装置及び伝送システム | |
US20230129052A1 (en) | Reception device and transmission system | |
CN113170029A (zh) | 图像处理装置和图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7163285 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |