JP6936018B2 - 映像送信装置および映像受信装置 - Google Patents

映像送信装置および映像受信装置 Download PDF

Info

Publication number
JP6936018B2
JP6936018B2 JP2017029809A JP2017029809A JP6936018B2 JP 6936018 B2 JP6936018 B2 JP 6936018B2 JP 2017029809 A JP2017029809 A JP 2017029809A JP 2017029809 A JP2017029809 A JP 2017029809A JP 6936018 B2 JP6936018 B2 JP 6936018B2
Authority
JP
Japan
Prior art keywords
image
images
transmission
region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017029809A
Other languages
English (en)
Other versions
JP2018137567A (ja
Inventor
杉岡 達也
達也 杉岡
高橋 知宏
知宏 高橋
博貴 宇井
博貴 宇井
喜昭 稲田
喜昭 稲田
小林 正嗣
正嗣 小林
鷹本 勝
勝 鷹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2017029809A priority Critical patent/JP6936018B2/ja
Priority to TW107104872A priority patent/TWI812609B/zh
Priority to KR1020197021733A priority patent/KR102593633B1/ko
Priority to CN201880011920.XA priority patent/CN110301137B/zh
Priority to EP18708764.8A priority patent/EP3586516A1/en
Priority to PCT/JP2018/004918 priority patent/WO2018155258A1/en
Priority to US16/486,005 priority patent/US11323617B2/en
Publication of JP2018137567A publication Critical patent/JP2018137567A/ja
Application granted granted Critical
Publication of JP6936018B2 publication Critical patent/JP6936018B2/ja
Priority to US17/726,095 priority patent/US20220247925A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Telephone Function (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Description

本開示は、映像送信装置および映像受信装置に関する。
近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。なお、撮影した画像から一部の画像を切り出すことについては、例えば、下記の特許文献に記載されている。
特開2016−201756号公報 特開2014−39219号公報 特開2013−164834号公報 特開2012−209831号公報
昨今、映像データの高精細化による伝送データ量の増大、更にそれを受けて処理する信号処理装置の負荷低減やシステム全体の消費電力低減が望まれている。従って、伝送データ量を削減することの可能な映像送信装置および映像受信装置を提供することが望ましい。
本開示の一実施形態に係る映像送信装置は、検出部、生成部および送信部を備えている。検出部は、撮像画像における複数の注目領域の位置情報に基づいて、2以上の注目領域同士が重なり合う重なり領域を検出する。生成部は、複数の注目領域の第1画像のうち、重なり領域を有する1または複数の第1画像から重なり領域の第2画像を割愛した1または複数の第3画像と、複数の第1画像のうち、1または複数の第3画像に対応しない1または複数の第4画像と、複数の位置情報と、注目領域ごとに付与された領域番号、注目領域ごとに設定されたAD変換のデータの語長とを含む伝送データを生成する。送信部は、伝送データを出力する。
本開示の一実施形態に係る映像送信装置では、複数の注目領域の第1画像のうち、重なり領域を有する1または複数の第1画像から重なり領域の第2画像を割愛した1または複数の第3画像と、複数の第1画像のうち、1または複数の第3画像に対応しない1または複数の第4画像と、複数の位置情報と、注目領域ごとに付与された領域番号、注目領域ごとに設定されたAD変換のデータの語長とを含む伝送データが生成される。これにより、撮像画像を全て送信する場合と比べて、伝送データ量を削減することができ、さらに、撮像画像から切り出した各画像をそのまま送信する場合と比べて、伝送データ量を削減することができる。
本開示の一実施形態に係る映像受信装置は、受信部および画像処理部を備えている。受信部は、複数の伝送画像と、複数の位置情報と、注目領域ごとに付与された領域番号、注目領域ごとに設定されたAD変換のデータの語長とを含む伝送データを受信する。画像処理部は、受信した複数の伝送画像における1または複数の伝送画像と、受信した複数の位置情報における複数の位置情報から得られる1または複数の重なり領域の位置情報と、受信した注目領域ごとに付与された領域番号と、受信した上記語長とに基づいて、1または複数の重なり領域の画像である重なり画像を生成する。画像処理部は、さらに、受信した複数の伝送画像と、1または複数の重なり画像とに基づいて、撮像画像における複数の注目領域の画像である注目領域画像を生成する。
本開示の一実施形態に係る映像受信装置では、受信した伝送データに含まれる複数の伝送画像と、受信した伝送データに基づいて生成した1または複数の重なり領域の画像である重なり画像とに基づいて、撮像画像における複数の注目領域画像が生成される。これにより、撮像画像を全て受信しなくても、撮像対象である各注目領域画像を得ることができる。また、撮像画像から切り出した各画像をそのまま受信しなくても、撮像対象である各注目領域画像を得ることができる。従って、撮像画像を全て送信する場合と比べて、伝送データ量を削減することができ、さらに、撮像画像から切り出した各画像をそのまま送信する場合と比べて、伝送データ量を削減することができる。
本開示の一実施形態に係る映像送信装置によれば、複数の伝送画像と、複数の位置情報と、注目領域ごとに付与された領域番号、注目領域ごとに設定されたAD変換のデータの語長とを含む伝送データを生成するようにしたので、伝送データ量を削減することができる。
本開示の一実施形態に係る映像受信装置によれば、受信した伝送データに含まれる複数の伝送画像と、受信した伝送データに基づいて生成した1または複数の重なり領域の画像である重なり画像とに基づいて、撮像画像における複数の注目領域画像を生成するようにしたので、伝送データ量を削減することができる。
なお、本開示の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。
映像伝送システムの概略構成例を表す図である。 図1の映像送信装置において、撮像画像に2つのROI(Region Of Interest)が含まれているときの、伝送データの生成手順の一例を表す図である。 図2のフレームの構成例を表す図である。 図1の映像受信装置において、伝送データに2つの画像が含まれているときの、撮像画像に含まれる2つのROI画像の生成手順の一例を表す図である。 図1の映像送信装置において、撮像画像に3つのROIが含まれているときの、伝送データの生成手順の一例を表す図である。 図5に続く伝送データの生成手順の一例を表す図である。 図6のフレームの構成例を表す図である。 図6のフレームの構成例を表す図である。 図1の映像受信装置において、伝送データに3つの画像が含まれているときの、撮像画像に含まれる3つのROI画像の生成手順の一例を表す図である。 2つのROIが含まれている撮像画像の一例を表す図である。 図1の映像送信装置において、図9の撮像画像から伝送データを生成する際に得られるフレームの構成例を表す図である。 図1の映像伝送システムの一変形例を表す図である。 図11の映像送信装置において、図5の撮像画像から伝送データを生成する際に得られるフレームの構成例を表す図である。 図11の映像送信装置において、図5の撮像画像から伝送データを生成する際に得られるフレームの構成例を表す図である。 図1の映像伝送システムの一変形例を表す図である。 図1の映像伝送システムの一変形例を表す図である。 MIPI(Mobile Industry Processor Interface)(登録商標)規格で規定されたローレベルプロトコルでのパケットの概要の一例を表す図である。 MIPI規格で規定されたフレームフォーマットの一例を表す図である。
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
<実施の形態>
[構成]
本開示の一実施の形態に係る映像送信装置および映像受信装置を備えた映像伝送システム1について説明する。図1は、映像伝送システム1の概略構成例を表したものである。映像伝送システム1は、伝送路300を介して相互に接続された映像送信装置100および映像受信装置200を備えている。映像伝送システム1は、撮像画像111に対して所定の処理がなされることにより生成された伝送データ120Aを、伝送路300を介して映像送信装置100から映像受信装置200に送信する。図2は、伝送データ120Aの生成手順の一例したものである。
伝送路300は、例えば、インターネットで標準的に利用されている通信プロトコル(TCP/IP)を用いて通信を行うネットワークである。伝送路300は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。伝送路300は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。伝送路300と、映像送信装置100および映像受信装置200との接続は、例えば、有線LAN(Local Area Network)であってもよいし、Wi−Fi等の無線LANや、携帯電話回線などであってもよい。
(映像送信装置100)
映像送信装置100は、例えば、撮像部110、画像処理部120および送信部130を有している。撮像部110は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部110は、アナログ−デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Yおよび色差成分Cb,Crで表現するYCbCr形式であってもよいし、RGB形式などであってもよい。撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。
画像処理部120は、撮像部110から入力された撮像画像111に対して所定の処理を行うことにより、伝送データ120Aを生成し、送信部130に出力する。送信部130は、入力された伝送データ120Aを、伝送路300を介して映像受信装置200に送信する。画像処理部120は、例えば、ROI切り出し部121、ROI解析部122、重なり検出部123、優先度設定部124およびエンコード部125を有している。
ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる撮影対象の1または複数の物体を特定し、特定した物体ごとに注目領域ROIを設定する。注目領域ROIは、例えば、特定した物体を含む方形状の領域である。ROI切り出し部121は、撮像画像111から、各注目領域ROIの画像(ROI画像112)を切り出す。ROI切り出し部121は、さらに、設定した注目領域ROIごとに、識別子として領域番号を付与する。ROI切り出し部121は、例えば、撮像画像111において、2つの注目領域ROIを設定した場合には、一方の注目領域ROI(例えば図2中の注目領域ROI1)に対して、領域番号1を付与し、他方の注目領域ROI(例えば図2中の注目領域ROI2)に対して、領域番号2を付与する。ROI切り出し部121は、例えば、付与した識別子(領域番号)を記憶部に格納する。ROI切り出し部121は、例えば、撮像画像111から切り出した各ROI画像112を記憶部に格納する。ROI切り出し部121は、さらに、例えば、各注目領域ROIに付与した識別子(領域番号)を、ROI画像112と関連づけて、記憶部に格納する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。位置情報113は、例えば、注目領域ROIの左上端座標(Xa,Ya)と、注目領域ROIのX軸方向の長さと、注目領域ROIのY軸方向の長さとによって構成されている。注目領域ROIのX軸方向の長さは、例えば、注目領域ROIのX軸方向の物理領域長さXLaである。注目領域ROIのY軸方向の長さは、例えば、注目領域ROIのY軸方向の物理領域長さYLaである。物理領域長さとは、注目領域ROIの物理的な長さを指している。位置情報113において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。ROI解析部122は、例えば、導出した位置情報113を、注目領域ROIに対して付与された識別子(領域番号)と関連づけて、記憶部に格納する。
ROI解析部122は、注目領域ROIごとに、位置情報113として、さらに、例えば、注目領域ROIのX軸方向の出力領域長さXLcや、注目領域ROIのY軸方向の出力領域長さYLcを導出してもよい。出力領域長さとは、例えば、注目領域ROIに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ROIの長さである。ROI解析部122は、注目領域ROIごとに、位置情報113の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、AD(Analog-Digital)語長などを導出してもよい。センシングインフォメーションとは、注目領域ROIに含まれる物体についての演算内容や、ROI画像112に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ROIの露光時間を指している。ゲイン情報とは、注目領域ROIのゲイン情報を指している。AD語長とは、注目領域ROI内でAD変換された1画素あたりのデータの語長を指している。
重なり検出部123は、撮像画像111において、撮影対象の複数の物体が特定されたときには、撮像画像111における複数の注目領域ROIの位置情報113に基づいて、2以上の注目領域ROI同士が重なり合う重なり領域(ROO(Region Of Overlap))を検出する。つまり、重なり検出部123は、重なり領域ROOごとに、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり領域ROOは、例えば、互いに重なり合う2以上の注目領域ROIにおいて最も小さな注目領域ROIと同じ大きさか、それよりも小さな方形状の領域である。位置情報114は、例えば、重なり領域ROOの左上端座標(Xb,Yb)と、重なり領域ROOのX軸方向の長さと、重なり領域ROOのY軸方向の長さとによって構成されている。重なり領域ROOのX軸方向の長さは、例えば、物理領域長さXLbである。重なり領域ROOのY軸方向の長さは、例えば、物理領域長さYLbである。位置情報114において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。
優先度設定部124は、撮像画像111において、注目領域ROIごとに優先度115を付与する。優先度設定部124は、注目領域ROIごとに付与されている領域番号とは別に、優先度115を注目領域ROIごとに付与してもよいし、注目領域ROIごとに付与されている領域番号を、優先度115の代わりとしてもよい。
優先度115は、各注目領域ROIの識別子であり、撮像画像111における複数の注目領域ROIのいずれに対して重なり領域ROOの割愛が行われたかを判別することの可能な判別情報である。優先度設定部124は、例えば、それぞれが重なり領域ROOを含む2つの注目領域ROIにおいて、一方の注目領域ROIに対して優先度115として1を付与し、他方の注目領域ROIに対して優先度115として2を付与する。この場合には、後述の伝送画像116の作成に際して、優先度115の数値が大きい方の注目領域ROIに対して、重なり領域ROOの割愛が行われる。なお、優先度設定部124は、注目領域ROIごとに付与されている領域番号と同じ番号を、注目領域ROIに対して優先度115として付与してもよい。優先度設定部124は、例えば、各注目領域ROIに付与した優先度115を、ROI画像112と関連づけて、記憶部に格納する。
エンコード部125は、各伝送画像116を、エンコードして圧縮像データを生成する。エンコード部125は、例えば、圧縮画像データの形式として、JPEG(Joint Photographic Experts Group)規格に準拠した圧縮形式等により各伝送画像116を圧縮する。エンコード部125は、上記の圧縮処理を行う前に、各伝送画像116を生成する。エンコード部125は、撮像画像111から得られた複数のROI画像112(第1画像)において重なり領域ROOの画像118(第2画像)が重複して含まれないように、撮像画像111から得られた複数のROI画像112から画像118を割愛したものである複数の伝送画像116(第3画像)と、複数の位置情報113とを含む伝送データ120Aを生成する。
エンコード部125は、例えば、注目領域ROIごとに付与されている優先度115に基づいて、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定する。なお、エンコード部125は、例えば、注目領域ROIごとに付与されている領域番号を優先度115として用いることにより、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定してもよい。エンコード部125は、上記のようにして特定されたROI画像112において画像118を割愛したものを、伝送画像116(例えば図2の伝送画像116a2)とする。エンコード部125は、重なり領域ROOを含まないROI画像112や、上記の決定により画像118が割愛されないこととなったROI画像112については、ROI画像112そのものを伝送画像116(例えば図2の伝送画像116a1)とする。
エンコード部125は、さらに、複数の位置情報113と、複数の伝送画像116とを互いに関係づけたフレーム117を生成する。このとき、エンコード部125は、さらに、フレーム117を含む伝送データ120Aを生成する。図3は、フレーム117の構成例を表したものである。フレーム117は、例えば、ヘッダー領域R1、パケット領域R2およびフッター領域R3を含んでいる。
ヘッダー領域R1には、例えば、フレーム117の識別子としてのフレーム番号が含まれている。ヘッダー領域R1は、パケット領域R2に含まれる各伝送画像116についての情報を含んでいる。ヘッダー領域R1は、例えば、パケット領域R2に含まれる伝送画像116の数(ROI数)と、パケット領域R2に含まれる各伝送画像116に対応するROI画像112の位置情報113(ROI情報)とを含んでいる。フッター領域R3には、例えば、ヘッダー領域R1に記載される情報と同様の内容の情報などが含まれる。
エンコード部125は、例えば、フレーム117のパケット領域R2において、各伝送画像116を伝送画像116の画素行ごとに分けて配置する。従って、フレーム117のパケット領域R2には、重なり領域ROOの画像118が重複して含まれていない。また、エンコード部125は、例えば、フレーム117のパケット領域R2において、撮像画像111のうち各伝送画像116と対応しない画素行を割愛している。従って、フレーム117のパケット領域R2には、撮像画像111のうち各伝送画像116に対応しない画素行は含まれていない。なお、図3のパケット領域R2において、破線で囲んだ箇所が、重なり領域ROOの画像118に相当する。なお、エンコード部125は、例えば、フレーム117のパケット領域R2において、各伝送画像116を伝送画像116の所定のエリアごとに分けて配置してもよい。
エンコード部125は、例えば、フレーム117のパケット領域R2において、画素行ごとにパケットヘッドを設け、パケットヘッドには、例えば、対応する画素行に含まれる伝送画像116に対応するROI画像112の領域番号(もしくは優先度115)を記述する。図3のパケット領域R2において、左端の囲み部分がパケットヘッドである。例えば、ある画素行において、領域番号(もしくは優先度115)が1である伝送画像116が含まれている場合、パケットヘッドには、1が記述されている。また、例えば、ある画素行において、領域番号(もしくは優先度115)が1である伝送画像116と、領域番号(もしくは優先度115)が2である伝送画像116とが含まれている場合、パケットヘッドには、1,2が記述されている。
なお、パケットヘッドに1,2と記述されている場合には、パケットヘッド寄りのパケット群(例えば図3中の1(n))が、領域番号(もしくは優先度115)が1である伝送画像116のパケットであることを意味しており、パケットヘッドから離れたパケット群(例えば図3中の2(1))が、領域番号(もしくは優先度115)が2である伝送画像116のパケットであることを意味している。パケットヘッド寄りのパケット群(例えば図3中の1(n))と、パケットヘッドから離れたパケット群(例えば図3中の2(1))との境界は、パケットヘッド寄りのパケット群(例えば図3中の1(n))の伝送画像116に対応するROI画像112の物理領域長さXLa1によって特定される。パケットヘッド寄りのパケット群(例えば図3中の1(n))に含まれる重なり領域ROOの画像118において、パケットの開始位置は、パケットヘッドから離れたパケット群(例えば図3中の2(1))に対応するROI画像112の物理領域長さXLa2によって特定される。
(映像受信装置200)
次に、映像受信装置200について説明する。図4は、映像受信装置200におけるROI画像119の生成手順の一例を表したものである。映像受信装置200は、例えば、受信部210および画像処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ120Aを、伝送路300を介して受信する。受信部210は、受信した伝送データ120Aを画像処理部220に出力する。画像処理部220は、例えば、デコード部221、情報抽出部222およびROI画像生成部223を有している。
デコード部221は、伝送データ120Aをデコードし、複数の伝送画像116と、複数の位置情報113を生成する。情報抽出部222は、デコードにより得られた複数の位置情報113の中から、例えば、各伝送画像116に対応する注目領域ROIの座標(例えば左上端座標)、長さ(例えば物理領域長さ)および領域番号(もしくは優先度115)を抽出する。つまり、伝送データ120Aは、当該伝送データ120Aに含まれる複数の伝送画像116のいずれに対して重なり領域ROOの画像118の割愛が行われたかを判別することの可能な判別情報として、各伝送画像116に対応する注目領域ROIの領域番号(もしくは優先度115)を含んでいる。
例えば、伝送データ120Aのデコードにより、2つの伝送画像116が生成されたとする。このとき、情報抽出部222は、一方の伝送画像116(116a1)に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)および領域番号1(もしくは優先度115(=1))を抽出する。情報抽出部222は、さらに、他方の伝送画像116(116a2)に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)および領域番号2(もしくは優先度115(=2))を抽出する。
ROI画像生成部223は、受信した複数の伝送画像116における1または複数の伝送画像116と、受信した複数の位置情報113における複数の位置情報113から得られる1または複数の重なり領域ROOの位置情報114とに基づいて、1または複数の重なり領域ROOの画像118を生成する。
例えば、伝送データ120Aのデコードにより、2つの伝送画像116と、2つの位置情報113とが生成されたとする。このとき、ROI画像生成部223は、一方の伝送画像116(116a1)に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))および長さ(例えば物理領域長さXLa1,YLa1)と、他方の伝送画像116(116a2)に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))および長さ(例えば物理領域長さXLa2,YLa2)とに基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))および長さ(例えば物理領域長さXLb1,YLb1)を導出する。ROI画像生成部223は、2つの伝送画像116のうちいずれに、導出した位置情報114が含まれるか否か判定する。その結果、導出した位置情報114が伝送画像116(116a1)に含まれている場合には、ROI画像生成部223は、伝送画像116(116a1)から、導出した位置情報114に対応する領域の画像を切り出して、重なり領域ROOの画像118を得る。
ROI画像生成部223は、さらに、伝送データ120Aから読み出した複数の伝送画像116と、1または複数の重なり領域ROOの画像118とに基づいて、撮像画像111における複数の注目領域ROIの画像(ROI画像112)を生成する。ROI画像生成部223は、例えば、伝送データ120Aから読み出した領域番号(もしくは優先度115)を用いることにより、当該伝送データ120Aに含まれる複数の伝送画像116のいずれに対して重なり領域ROOの画像118を付加するかを決定する。ROI画像生成部223は、例えば、領域番号(もしくは優先度115)の一番大きな伝送画像116(例えば図4中の伝送画像116a2)に対して重なり領域ROOの画像118を付加することにより、ROI画像119(例えば図4中のROI画像119a2)を生成する。ROI画像生成部223は、例えば、重なり領域ROOを含まない伝送画像116や、上記の決定により画像118が付加されないこととなった伝送画像116については、伝送画像116そのものをROI画像119(例えば図4のROI画像119a1)とする。なお、受信部210で受信した複数の位置情報113は、上記のようにして得られた複数のROI画像119の位置情報に相当しており、撮像画像111における複数のROI画像112の位置情報に相当する。従って、上記のようにして得られた複数のROI画像119は、撮像画像111における複数のROI画像112と等しい。
[手順]
次に、図2、図4を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
まず、撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる2つの注目領域ROI1,ROI2を特定する。ROI切り出し部121は、撮像画像111から、各注目領域ROI1,ROI2の画像(ROI画像112a1,112a2)を切り出す。ROI切り出し部121は、注目領域ROI1に対して識別子として領域番号1を付与し、注目領域ROI2に対して識別子として領域番号2を付与する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。ROI解析部122は、注目領域ROI1に基づいて、注目領域ROI1の左上端座標(Xa1,Ya1)と、注目領域ROI1のX軸方向の長さ(XLa1)と、注目領域ROI1のY軸方向の長さ(YLa1)とを導出する。ROI解析部122は、注目領域ROI2に基づいて、注目領域ROI2の左上端座標(Xa2,Ya2)と、注目領域ROI2のX軸方向の長さ(XLa2)と、注目領域ROI2のY軸方向の長さ(YLa2)とを導出する。
重なり検出部123は、撮像画像111における2つの注目領域ROI1,ROI2の位置情報113に基づいて、2つの注目領域ROI1,ROI2同士が重なり合う重なり領域ROOを検出する。つまり、重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114として、重なり領域ROOの左上端座標(Xb1,Yb1)と、重なり領域ROOのX軸方向の長さ(XLb1)と、重なり領域ROOのY軸方向の長さ(YLb1)とを導出する。
優先度設定部124は、2つの注目領域ROI1,ROI2において、一方の注目領域ROI1に対して優先度115として1を付与し、他方の注目領域ROI2に対して優先度115として2を付与する。
エンコード部125は、2つの注目領域ROI1,ROI2において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた2つのROI画像112a1,112a2から画像118を割愛したものである2つの伝送画像116a1,116a2と、2つの注目領域ROI1,ROI2の位置情報113とを含む伝送データ120Aを生成する。
エンコード部125は、2つの注目領域ROI1,ROI2の領域番号(もしくは優先度115)に基づいて、2つのROI画像112a1,112a2のいずれに対して画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(もしくは優先度115)の大きい方である注目領域ROI2に対応するROI画像112a2に対して画像118の割愛を行い、これにより、伝送画像116a2を生成する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(もしくは優先度115)の小さな方である注目領域ROI1に対応するROI画像112a1については、ROI画像112a1そのものを伝送画像116a1とする。
エンコード部125は、さらに、2つの注目領域ROI1,ROI2の位置情報113と、2つの伝送画像116a1,116a2とを互いに関係づけたフレーム117を生成する。エンコード部125は、さらに、生成したフレーム117を含む伝送データ120Aを生成し、伝送路300を介して映像受信装置200に送信する。
受信部210は、映像送信装置100から出力された伝送データ120Aを、伝送路300を介して受信する。受信部210は、受信した伝送データ120Aを画像処理部220に出力する。デコード部221は、伝送データ120Aをデコードし、2つの伝送画像116a1,116a2と、2つの注目領域ROI1,ROI2の位置情報113とを生成する。情報抽出部222は、伝送画像116a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)および領域番号1(もしくは優先度115(=1))を抽出する。情報抽出部222は、さらに、伝送画像116a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)および領域番号2(もしくは優先度115(=2))を抽出する。
ROI画像生成部223は、受信した2つの伝送画像116a1,116a2と、受信した2つの位置情報113から得られる重なり領域ROOの位置情報114とに基づいて、重なり領域ROOの画像118を生成する。
ROI画像生成部223は、伝送画像116a1に対応する注目領域ROIの座標(左上端座標(Xa1,Ya1))および長さ(物理領域長さXLa1,YLa1)と、伝送画像116a2に対応する注目領域ROIの座標(左上端座標(Xa2,Ya2))および長さ(物理領域長さXLa2,YLa2)とに基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(左上端座標(Xb1,Yb1))および長さ(物理領域長さXLb1,YLb1)を導出する。ROI画像生成部223は、2つの伝送画像116のうちいずれに、導出した位置情報114が含まれるか否か判定する。その結果、導出した位置情報114が伝送画像116a1に含まれているので、ROI画像生成部223は、伝送画像116a1から、導出した位置情報114に対応する領域の画像を切り出して、重なり領域ROOの画像118を得る。
ROI画像生成部223は、さらに、伝送データ120Aから読み出した2つの伝送画像116a1,116a2と、1または複数の重なり領域ROOの画像118とに基づいて、撮像画像111における2つの注目領域ROIの画像(ROI画像112a1,112a2)を生成する。ROI画像生成部223は、伝送データ120Aから読み出した領域番号(もしくは優先度115)を用いることにより、当該伝送データ120Aに含まれる2つの伝送画像116a1,116a2のいずれに対して重なり領域ROOの画像118を付加するかを決定する。
ROI画像生成部223は、領域番号(もしくは優先度115)の一番大きな伝送画像116a2に対して重なり領域ROOの画像118を付加することにより、ROI画像119a2を生成する。ROI画像生成部223は、画像118が付加されないこととなった伝送画像116a1については、伝送画像116a1そのものをROI画像119a1とする。なお、受信部210で受信した2つの位置情報113は、上記のようにして得られた2つのROI画像119a1,119a2の位置情報に相当しており、撮像画像111における2つのROI画像112a1,112a2の位置情報113に相当する。従って、上記のようにして得られた複数のROI画像119a1,119a2は、撮像画像111における2つのROI画像112a1,112a2と等しい。
ここまでは、映像送信装置100において、撮像画像111に2つのROI画像112が含まれているときの、伝送データ120Aの生成手順を例示してきた。また、映像受信装置200において、伝送データ120Aに2つの画像(伝送画像116)が含まれているときの、撮像画像111に含まれる2つのROI画像112の生成手順を例示してきた。以下では、映像送信装置100において、撮像画像111に3つのROI画像112が含まれているときの、伝送データ120Aの生成手順例や、映像受信装置200において、伝送データ120Aに3つの画像(伝送画像116)が含まれているときの、撮像画像111に含まれる3つのROI画像112の生成手順例について説明する。
次に、図5、図6、図7A、図7B、図8を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。図5、図6は、映像送信装置100において、撮像画像111に3つのROI画像112(112a4,112a5,112a6)が含まれているときの、伝送データ120Aの生成手順の一例を表したものである。図7A,図7Bは、図6のフレーム117の構成例を表したものである。図8は、映像受信装置200において、伝送データ120Aに3つの伝送画像116a4,116a5,116a6が含まれているときの、撮像画像111に含まれる3つのROI画像112(112a4,112a5,112a6)の生成手順の一例を表したものである。
まず、撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる3つの注目領域ROI4,ROI5,ROI6を特定する。ROI切り出し部121は、撮像画像111から、各注目領域ROI4,ROI5,ROI6の画像(ROI画像112a4,112a5,112a6)を切り出す。ROI切り出し部121は、注目領域ROI4に対して識別子として領域番号1を付与し、注目領域ROI5に対して識別子として領域番号2を付与し、注目領域ROI6に対して識別子として領域番号3を付与する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。ROI解析部122は、注目領域ROI4に基づいて、注目領域ROI1の左上端座標(Xa4,Ya4)と、注目領域ROI4のX軸方向の長さ(XLa4)と、注目領域ROI4のY軸方向の長さ(YLa4)とを導出する。ROI解析部122は、注目領域ROI5に基づいて、注目領域ROI5の左上端座標(Xa5,Ya5)と、注目領域ROI5のX軸方向の長さ(XLa5)と、注目領域ROI5のY軸方向の長さ(YLa5)とを導出する。ROI解析部122は、注目領域ROI6に基づいて、注目領域ROI6の左上端座標(Xa6,Ya6)と、注目領域ROI6のX軸方向の長さ(XLa6)と、注目領域ROI6のY軸方向の長さ(YLa6)とを導出する。
重なり検出部123は、撮像画像111における3つの注目領域ROI4,ROI5,ROI6の位置情報113に基づいて、3つの注目領域ROI4,ROI5,ROI6のうちの2つが互いに重なり合う重なり領域ROO1,ROO2,R003を検出する。つまり、重なり検出部123は、撮像画像111における重なり領域ROO1,ROO2,R003の位置情報114を導出する。重なり領域ROO1は、注目領域ROI4と注目領域ROI5とが互いに重なり合う領域である。重なり領域ROO2は、注目領域ROI4と注目領域ROI6とが互いに重なり合う領域である。重なり領域ROO3は、注目領域ROI5と注目領域ROI6とが互いに重なり合う領域である。重なり検出部123は、撮像画像111における重なり領域ROO1の位置情報114として、重なり領域ROO1の左上端座標(Xb2,Yb2)と、重なり領域ROO1のX軸方向の長さ(XLb2)と、重なり領域ROO1のY軸方向の長さ(YLb2)とを導出する。重なり検出部123は、撮像画像111における重なり領域ROO2の位置情報114として、重なり領域ROO2の左上端座標(Xb3,Yb3)と、重なり領域ROO2のX軸方向の長さ(XLb3)と、重なり領域ROO2のY軸方向の長さ(YLb3)とを導出する。重なり検出部123は、撮像画像111における重なり領域ROO3の位置情報114として、重なり領域ROO3の左上端座標(Xb4,Yb4)と、重なり領域ROO3のX軸方向の長さ(XLb4)と、重なり領域ROO3のY軸方向の長さ(YLb4)とを導出する。
優先度設定部124は、3つの注目領域ROI4,ROI5,ROI6において、1つ目の注目領域ROI4に対して優先度115として1を付与し、2つ目の注目領域ROI5に対して優先度115として2を付与し、3つ目の注目領域ROI6に対して優先度115として3を付与する。
エンコード部125は、3つの注目領域ROI4,ROI5,ROI6において重なり領域ROO1,ROO2,ROO3の画像118が重複して含まれないように、撮像画像111から得られた3つのROI画像112a4,112a5,112a6から画像118を割愛したものである3つの伝送画像116a4,116a5,116a6と、3つの注目領域ROI4,ROI5,ROI6の位置情報113とを含む伝送データ120Aを生成する。
エンコード部125は、2つの注目領域ROI4,ROI5の領域番号(もしくは優先度115)に基づいて、2つのROI画像112a4,112a5のいずれに対して重なり領域ROO1の画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI4,ROI5において、領域番号(もしくは優先度115)の大きい方である注目領域ROI5に対応するROI画像112a5に対して重なり領域ROO1の画像118の割愛を行い、これにより、伝送画像116a5を生成する。
エンコード部125は、2つの注目領域ROI5,ROI6の領域番号(もしくは優先度115)に基づいて、2つのROI画像112a5,112a6のいずれに対して重なり領域ROO3の画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI5,ROI6において、領域番号(もしくは優先度115)の大きい方である注目領域ROI6に対応するROI画像112a6に対して重なり領域ROO3の画像118の割愛を行う。さらに、エンコード部125は、2つの注目領域ROI4,ROI6の領域番号(もしくは優先度115)に基づいて、2つのROI画像112a4,112a6のいずれに対して重なり領域ROO2の画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI4,ROI6において、領域番号(もしくは優先度115)の大きい方である注目領域ROI6に対応するROI画像112a6に対して重なり領域ROO2の画像118の割愛を行う。このようにして、エンコード部125は、伝送画像116a6を生成する。
エンコード部125は、さらに、3つの注目領域ROI4,ROI5,ROI6の位置情報113と、3つの伝送画像116a4,116a5,116a6とを互いに関係づけたフレーム117を生成する。エンコード部125は、さらに、生成したフレーム117を含む伝送データ120Aを生成し、伝送路300を介して映像受信装置200に送信する。
フレーム117は、例えば、図7A、図7Bに示したように、ヘッダー領域R1、パケット領域R2およびフッター領域R3を含んでいる。
ヘッダー領域R1には、例えば、フレーム117の識別子としてのフレーム番号が含まれている。ヘッダー領域R1は、パケット領域R2に含まれる各伝送画像116についての情報を含んでいる。ヘッダー領域R1は、例えば、パケット領域R2に含まれる伝送画像116の数(ROI数)と、パケット領域R2に含まれる各伝送画像116に対応するROI画像112の位置情報113(ROI情報)とを含んでいる。フッター領域R3には、例えば、ヘッダー領域R1と同様の内容の情報などが含まれる。
エンコード部125は、例えば、フレーム117のパケット領域R2において、各伝送画像116を伝送画像116の画素行ごとに分けて配置する。従って、フレーム117のパケット領域R2には、重なり領域ROO1,ROO2,ROO3の画像118が重複して含まれていない。また、エンコード部125は、例えば、フレーム117のパケット領域R2において、撮像画像111のうち各伝送画像116と対応しない画素行を割愛している。従って、フレーム117のパケット領域R2には、撮像画像111のうち各伝送画像116に対応しない画素行は含まれていない。なお、図7Bのパケット領域R2において、破線で囲んだ箇所が、重なり領域ROO1,ROO2,ROO3の画像118に相当する。
エンコード部125は、例えば、フレーム117のパケット領域R2において、画素行ごとにパケットヘッドを設け、パケットヘッドには、例えば、対応する画素行に含まれる伝送画像116に対応するROI画像112の領域番号(もしくは優先度115)を記述する。図7Bのパケット領域R2において、左端の囲み部分がパケットヘッドである。例えば、ある画素行において、領域番号(もしくは優先度115)が4である伝送画像116が含まれている場合、パケットヘッドには、4が記述されている。また、例えば、ある画素行において、領域番号(もしくは優先度115)が4である伝送画像116と、領域番号(もしくは優先度115)が5である伝送画像116とが含まれている場合、パケットヘッドには、4,5または5,4が記述されている。また、例えば、ある画素行において、領域番号(もしくは優先度115)が5である伝送画像116と、領域番号(もしくは優先度115)が6である伝送画像116とが含まれている場合、パケットヘッドには、5,6または6,5が記述されている。
なお、パケットヘッドに4,5と記述されている場合には、パケットヘッド寄りのパケット群(例えば図7B中の4(i))が、領域番号(もしくは優先度115)が4である伝送画像116のパケットであることを意味しており、パケットヘッドから離れたパケット群(例えば図7B中の5(1))が、領域番号(もしくは優先度115)が5である伝送画像116のパケットであることを意味している。パケットヘッド寄りのパケット群(例えば図7B中の4(i))と、パケットヘッドから離れたパケット群(例えば図7B中の5(1))との境界は、パケットヘッド寄りのパケット群(例えば図7B中の4(i))の伝送画像116に対応するROI画像112の物理領域長さXLa4によって特定される。パケットヘッド寄りのパケット群(例えば図7B中の4(i))に含まれる重なり領域ROO1の画像118において、パケットの開始位置は、パケットヘッドから離れたパケット群(例えば図7B中の5(1))に対応するROI画像112の物理領域長さXLa5によって特定される。
受信部210は、映像送信装置100から出力された伝送データ120Aを、伝送路300を介して受信する。受信部210は、受信した伝送データ120Aを画像処理部220に出力する。デコード部221は、伝送データ120Aをデコードし、3つの伝送画像116a4,116a5,116a6と、3つの注目領域ROI4,ROI5,ROI6の位置情報113とを生成する。情報抽出部222は、伝送画像116a4に対応する注目領域ROIの座標(例えば左上端座標(Xa4,Ya4))、長さ(例えば物理領域長さXLa4,YLa4)および領域番号4(もしくは優先度115)を抽出する。情報抽出部222は、さらに、伝送画像116a5に対応する注目領域ROIの座標(例えば左上端座標(Xa5,Ya5))、長さ(例えば物理領域長さXLa5,YLa5)および領域番号5(もしくは優先度115)を抽出する。情報抽出部222は、さらに、伝送画像116a6に対応する注目領域ROIの座標(例えば左上端座標(Xa6,Ya6))、長さ(例えば物理領域長さXLa6,YLa6)および領域番号6(もしくは優先度115)を抽出する。
ROI画像生成部223は、受信した3つの伝送画像116a4,116a5,116a6と、受信した3つの位置情報113から得られる重なり領域ROO1,ROO2,ROO3の位置情報114とに基づいて、重なり領域ROO1,ROO2,ROO3の画像118を生成する。このとき、ROI画像生成部223は、重なり領域ROO2の画像118と、重なり領域ROO3の画像118について、1つの画像118b1にまとめる。また、ROI画像生成部223は、重なり領域ROO1の画像118と、重なり領域ROO3の画像118について、1つの画像118b2にまとめる。
ROI画像生成部223は、伝送画像116a4に対応する注目領域ROIの座標(左上端座標(Xa4,Ya4))および長さ(物理領域長さXLa4,YLa4)と、伝送画像116a5に対応する注目領域ROIの座標(左上端座標(Xa5,Ya5))および長さ(物理領域長さXLa5,YLa5)とに基づいて、重なり領域ROO1の位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROO1の位置情報114として、例えば、重なり領域ROO1の座標(左上端座標(Xb2,Yb2))および長さ(物理領域長さXLb2,YLb2)を導出する。
ROI画像生成部223は、伝送画像116a5に対応する注目領域ROIの座標(左上端座標(Xa5,Ya5))および長さ(物理領域長さXLa5,YLa5)と、伝送画像116a6に対応する注目領域ROIの座標(左上端座標(Xa6,Ya6))および長さ(物理領域長さXLa6,YLa6)とに基づいて、重なり領域ROO3の位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROO3の位置情報114として、例えば、重なり領域ROO3の座標(左上端座標(Xb3,Yb3))および長さ(物理領域長さXLb3,YLb3)を導出する。
ROI画像生成部223は、伝送画像116a4に対応する注目領域ROIの座標(左上端座標(Xa4,Ya4))および長さ(物理領域長さXLa4,YLa4)と、伝送画像116a6に対応する注目領域ROIの座標(左上端座標(Xa6,Ya6))および長さ(物理領域長さXLa6,YLa6)とに基づいて、重なり領域ROO2の位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROO2の位置情報114として、例えば、重なり領域ROO2の座標(左上端座標(Xb4,Yb4))および長さ(物理領域長さXLb4,YLb4)を導出する。
ROI画像生成部223は、さらに、伝送データ120Aから読み出した3つの伝送画像116a4,116a5,116a6と、3つの重なり領域ROO1,ROO2,ROO3の画像118とに基づいて、撮像画像111における3つの注目領域ROIの画像(ROI画像112a4,112a5,112a6)を生成する。具体的には、ROI画像生成部223は、3つの伝送画像116a4,116a5,116a6と、合成により得られた画像118b1,118b2とに基づいて、撮像画像111における3つの注目領域ROIの画像(ROI画像112a4,112a5,112a6)を生成する。ROI画像生成部223は、伝送データ120Aから読み出した領域番号(もしくは優先度115)を用いることにより、当該伝送データ120Aに含まれる3つの伝送画像116a4,116a5,116a6のいずれに対して画像118b1,118b2を付加するかを決定する。
ROI画像生成部223は、領域番号(もしくは優先度115)の一番大きな伝送画像116a6に対して画像118b2を付加することにより、ROI画像119a6を生成する。ROI画像生成部223は、領域番号(もしくは優先度115)の2番目に大きな伝送画像116a5に対して画像118b1を付加することにより、ROI画像119a5を生成する。
ROI画像生成部223は、画像118b1,118b2が付加されないこととなった伝送画像116a4については、伝送画像116a4そのものをROI画像119a4とする。なお、受信部210で受信した3つの位置情報113は、上記のようにして得られた3つのROI画像119a4,119a5,119a6の位置情報に相当しており、撮像画像111における3つのROI画像112a4,112a5,112a6の位置情報113に相当する。従って、上記のようにして得られた複数のROI画像119a4,119a5,119a6は、撮像画像111における複数のROI画像112a4,112a5,112a6と等しい。
図9は、2つの注目領域ROI7,ROI8が含まれている撮像画像111の一例を表したものである。図9に示したように、一方の注目領域ROI7の中に、他方の注目領域ROI8が含まれている場合、フレーム117は、例えば、図10に示したようになる。図10に示したフレーム117のヘッダー領域R1において、注目領域ROI8の優先度115が2となっており、注目領域ROI7の優先度115(=1)よりも大きな値となっている。そのため、図10に示したパケット領域R2において、注目領域ROI8に対応するROI画像112が全て割愛されている。
[効果]
次に、映像伝送システム1の効果について説明する。
近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。しかし、データ伝送の分野では、伝送データ量の更なる削減が望まれている。
一方、本実施の形態では、複数の注目領域ROIの画像(ROI画像112)において重なり領域ROOの画像118が重複して含まれないように、複数のROI画像112から画像118を割愛したものである複数の伝送画像116と、複数の位置情報113とを含む伝送データ120Aが生成される。これにより、撮像画像111を全て送信する場合と比べて、伝送データ量を少なくすることができ、さらに、撮像画像111から切り出した各画像をそのまま送信する場合と比べて、伝送データ量を削減することができる。
また、本実施の形態では、撮像画像111における複数の注目領域ROIのいずれに対して重なり領域ROOの割愛が行われたかを判別することの可能な判別情報としての注目領域ROIの領域番号(または優先度115)が伝送データ120Aに含まれる。これにより、伝送データ120Aから、撮像画像111における複数の注目領域ROIを復元する際の演算量を削減することができる。また、上記の演算量を少なくするためのデータ量が非常に少ないので、伝送データ120Aのデータ量にほとんど影響を与えることなく、上記の演算量を削減することができる。
また、本実施の形態では、注目領域ROIごとに付与されている領域番号を優先度115として用いることにより、複数のROI画像112のいずれに対して画像118の割愛を行うかが決定される。これにより、伝送データ120Aに、領域番号および優先度115の双方を含める必要がなくなるので、伝送データ量を削減することができる。
また、本実施の形態では、位置情報113が、各注目領域ROIにおける所定の位置の座標と、各注目領域ROIの大きさに関する情報とを含んでいる。これにより、位置情報113のデータ量は非常に小さいので、伝送データ120Aに位置情報113を含めた場合であっても、伝送データ120Aのデータ量にほとんど影響を与えない。従って、少ない伝送データ量で、伝送データ120Aから、撮像画像111における複数の注目領域ROIを復元する際の演算量を削減することができる。
また、本実施の形態では、複数の位置情報113と、複数の伝送画像116とを互いに関係づけたフレーム117が伝送データ120Aに含まれる。これにより、伝送データ120Aから、撮像画像111における複数の注目領域ROIを復元する際の演算量を減らすことができる。また、上記の演算量を減らすためのデータ量が非常に少ないので、伝送データ120Aのデータ量にほとんど影響を与えることなく、上記の演算量を削減することができる。
また、本実施の形態では、フレーム117において、各伝送画像116が伝送画像116の画素行ごとに、もしくは、伝送画像116の所定のエリアごとに分けて配置されている。これにより、伝送データ120Aから、撮像画像111における複数の注目領域ROIを復元する際の演算量を少なくすることができる。また、上記の演算量を減らすためのデータ量が非常に少ないので、伝送データ120Aのデータ量にほとんど影響を与えることなく、上記の演算量を削減することができる。
また、本実施の形態では、受信した伝送データ120Aに含まれる複数の伝送画像116と、受信した伝送データ120Aに基づいて生成した1または複数の重なり領域ROOの画像118とに基づいて、撮像画像111における複数の注目領域ROIの画像(ROI画像112)が生成される。これにより、撮像画像111を全て受信しなくても、撮像対象である各注目領域ROIの画像(ROI画像112)を得ることができる。また、撮像画像111から切り出した各画像をそのまま受信しなくても、撮像対象である各注目領域ROIの画像(ROI画像112)を得ることができる。従って、撮像画像を全て送信する場合と比べて、伝送データ量を削減することができ、さらに、撮像画像から切り出した各画像をそのまま送信する場合と比べて、伝送データ量を削減することができる。
また、本実施の形態では、撮像画像111における複数の注目領域ROIのいずれに対して重なり領域ROOの割愛が行われたかを判別することの可能な判別情報としての注目領域ROIの領域番号(または優先度115)を用いることにより、伝送データ120Aに含まれる複数の伝送画像116のいずれに対して画像118を付加するかが決定される。これにより、伝送データ120Aから、撮像画像111における複数の注目領域ROIを復元する際の演算量を削減することができる。また、上記の演算量を少なくするためのデータ量が非常に少ないので、伝送データ120Aのデータ量にほとんど影響を与えることなく、上記の演算量を削減することができる。
また、本実施の形態では、受信部210で受信した複数の位置情報113は、撮像画像111における複数の注目領域ROIの位置情報に相当する。このように、撮像画像111における複数の注目領域ROIの位置情報に相当する複数の位置情報113が映像受信装置200に伝送されることにより、映像受信装置200において、複数の位置情報113を用いて、撮像画像111における複数の注目領域ROIを復元することができる。従って、撮像画像から切り出した各画像をそのまま送信する場合と比べて、伝送データ量を削減することができる。
<変形例>
以下に、上記実施の形態に係る映像伝送システム1の変形例について説明する。
[変形例A]
図11は、上記実施の形態に係る映像伝送システム1の一変形例を表したものである。本変形例に係る映像伝送システム1は、上記実施の形態の映像受信装置200の代わりに、上記実施の形態の映像受信装置200と同一の構成要素を含む2つの映像受信装置200A,200Bを備えている。映像受信装置200Aにおいて、受信部210Aは、上記実施の形態の受信部210と同一の構成要素を有しており、画像処理部220Aは、上記実施の形態の画像処理部220と同一の構成要素を有している。映像受信装置200Bにおいて、受信部210Bは、上記実施の形態の受信部210と同一の構成要素を有しており、画像処理部220Bは、上記実施の形態の画像処理部220と同一の構成要素を有している。
本変形例において、画像処理部120は、エンコード部125の代わりに、2つのエンコード部125A,125Bを有している。2つのエンコード部125A,125Bは、各伝送画像116を、エンコードして圧縮像データを生成する。また、本変形例において、映像送信装置100は、送信部130の代わりに、2つの送信部130A,130Bを有している。本変形例において、画像処理部120は、ROI切り出し部121と、エンコード125(125A,125B)との間に、振り分け部126を有している。画像処理部120において、優先度設定部124の出力が振り分け部126に入力されている。また、本変形例において、送信部130Aは、エンコード部125Aから出力された伝送データを、伝送路300Aを介して、映像受信装置200Aに送信する。また、本変形例において、送信部130Bは、エンコード部125Bから出力された伝送データを、伝送路300Aを介して、映像受信装置200Bに送信する。
振り分け部126は、上記実施の形態におけるエンコード部125において行っていた、複数の伝送画像116の生成を行う。振り分け部126は、生成した複数の伝送画像116を、エンコード部125Aに入力する1または複数の伝送画像116と、エンコード部125Bに入力する1または複数の伝送画像116とに振り分ける。振り分け部126は、生成した複数の伝送画像116、および複数の位置情報113を複数のグループに分け、グループごとに、複数の伝送画像116と、1または複数の位置情報113とを互いに関係づけたフレーム117を生成し、エンコード部125A,125Bに出力する。エンコード部125A,125Bは、入力されたフレーム117ごとに伝送データ120Aを生成する。
エンコード部125Aは、振り分け部126から入力された1または複数の伝送画像116に基づいて伝送データを生成する。エンコード部125Aによって生成される伝送データは、上記実施の形態におけるエンコード部125によって生成される伝送データ120Aと基本的には同様の構成となっている。エンコード部125Bは、振り分け部126から入力された1または複数の伝送画像116に基づいて伝送データを生成する。エンコード部125Bによって生成される伝送データは、上記実施の形態におけるエンコード部125によって生成される伝送データ120Aと基本的には同様の構成となっている。
振り分け部126は、例えば、画像処理部220Aで処理するデータとして設定された情報(第1設定情報)と、画像処理部220Bで処理するデータとして設定された情報(第2設定情報)とを有している。従って、振り分け部126は、例えば、これらの情報(第1設定情報および第2設定情報)に基づいて、上記振り分けを行う。
例えば、図5に示したように、撮像画像111から3つの注目領域ROI112(112a4,112a5,112a6)が含まれている)が切り出されたとする。この場合、振り分け部126は、例えば、小さな重なり領域ROO3を含む伝送画像116a4,116a6をエンコード部125Aに振り分ける。さらに、振り分け部126は、例えば、重なり領域ROO3よりも大きな重なり領域ROO1を有する伝送画像116a5をエンコード部125Bに振り分ける。その結果、エンコード部125Aは、図12に示したようなフレーム117Aを生成し、エンコード部125Bは、図13に示したようなフレーム117Bを生成する。フレーム117Aには、図7Bに示した重なり領域ROO1,R003が存在しないので、映像受信装置200Aにおける演算量を、上記実施の形態の映像受信装置200と比べて少なくすることができる。また、フレーム117Bには、図7Bに示した重なり領域ROO1,ROO2,R003が存在しないので、映像受信装置200Bにおける演算量を、上記実施の形態の映像受信装置200と比べて少なくすることができる。
なお、上記実施の形態に係る映像伝送システム1において、エンコード部125の後に、送信部130A,130Bに対する振り分け処理を行ってもよい。ただし、この場合、エンコード部125は、上記振り分け処理を行うセクションに対して、上記振り分け処理を行うことが可能な態様のデータを出力する必要がある。上記振り分け処理を行うセクションにおいて、本変形例と同様の振り分け処理を行うことにより、映像受信装置200Bにおける演算量を、上記実施の形態の映像受信装置200と比べて少なくすることができる。
[変形例B]
図14は、上記変形例Aに係る映像伝送システム1の一変形例を表したものである。本変形例に係る映像伝送システム1は、上記変形例Aに係る映像伝送システム1において、映像受信装置200Aに振り分け情報伝送部230Aを設け、映像受信装置200Bに振り分け情報伝送部230Bを設けたものである。振り分け情報伝送部230A,230Bの出力が、ともに、振り分け部126に連結されている。
振り分け情報伝送部230Aは、例えば、映像受信装置200Aで処理するデータとして設定された情報(設定情報)を振り分け部126に送信する。振り分け情報伝送部230Bは、例えば、映像受信装置200Bで処理するデータとして設定された情報(設定情報)を振り分け部126に送信する。ここで、設定情報は、映像送信装置100から出力される伝送データの送信先の情報である送信先情報に相当する。振り分け部126は、例えば、映像受信装置200A,200Bから入力される設定情報に基づいて、上記振り分けを行う。これにより、変形例Aと同様に、映像受信装置200A,200Bにおける演算量を、上記実施の形態の映像受信装置200と比べて少なくすることができる。
[変形例C]
図15は、上記変形例Aに係る映像伝送システム1の一変形例を表したものである。本変形例に係る映像伝送システム1は、上記変形例Bに係る映像伝送システム1において、映像受信装置200A,200Bの代わりに、映像受信装置200Cを備えたものである。映像受信装置200Cは、例えば、受信部210C、画像処理部220C,220D、振り分け制御部240および振り分け情報伝達部230Cを有している。
受信部210Cは、映像送信装置100から出力された2種類の伝送データを、伝送路300A,300Bを介して受信する。受信部210Cは、受信した2種類の伝送データのうち、画像処理部220Cに適した方のデータを画像処理部220Cに出力し、受信した2種類の伝送データのうち、画像処理部220Dに適した方のデータを画像処理部220Dに出力する。画像処理部220Cは、受信部210Cから入力された伝送データを処理する。画像処理部220Dは、受信部210Cから入力された伝送データを処理する。画像処理部220C,220Dは、ともに、上記実施の形態の画像処理部220と同様の構成を有している。画像処理部220C,220Dは、それぞれ、例えば、ICチップによって構成されている。画像処理部220C,220Dは、それぞれ、例えば、演算処理能力についてのリアルタイムデータを振り分け制御部240に出力する。振り分け制御部240は、画像処理部220C,220Dから入力されたデータに基づいて、振り分け部126を制御する制御データを生成し、振り分け情報伝達部230Cに出力する。振り分け情報伝達部230Cは、振り分け制御部240から入力された制御データを振り分け部126に出力する。振り分け部126は、振り分け情報伝達部230Cから入力された制御データに基づいて、振り分け処理を調整する。
例えば、図5に示したように、撮像画像111から3つの注目領域ROI112(112a4,112a5,112a6)が含まれている)が切り出されたとする。この場合に、振り分け部126は、例えば、小さな重なり領域ROO3を含む伝送画像116a4,116a6をエンコード部125Aに振り分ける。さらに、振り分け部126は、例えば、重なり領域ROO3よりも大きな重なり領域ROO1を有する伝送画像116a5をエンコード部125Bに振り分ける。その結果、エンコード部125Aは、図12に示したようなフレーム117Aを生成し、エンコード部125Bは、図13に示したようなフレーム117Bを生成する。
その後、リアルタイムデータに変化が生じ、振り分け制御部240が、例えば、画像処理部220Cへ入力する伝送データと、画像処理部220Dへ入力する伝送データとを互いに入れ換える制御信号を生成し、振り分け情報伝達部230Cに出力する。振り分け情報伝達部230Cは、振り分け制御部240から入力された制御信号を振り分け部126に入力する。すると、振り分け部126は、振り分け情報伝達部230Cから入力された制御信号に基づいて、エンコード部125Aに入力していたデータをエンコード部125Bに入力し、エンコード部125Bに入力していたデータをエンコード部125Aに入力する。エンコード部125Aは、振り分け部126から入力されたデータに基づいて伝送データを生成し、エンコード部125Bは、振り分け部126から入力されたデータに基づいて伝送データを生成する。送信部130Aは、エンコード部125Aから入力されたデータを、伝送路300Aを介して、受信部210Cに出力する。送信部130Bは、エンコード部125Bから入力されたデータを、伝送路300Bを介して、受信部210Cに出力する。受信部210Cは、伝送路300Aを介して入力された伝送データを画像処理部220Cに入力し、伝送路300Bを介して入力された伝送データを画像処理部220Dに入力する。
このように、本変形例では、振り分け制御部240による画像処理部220C,220Dのリアルタイムのモニタリングによって適切な振り分け処理が行われる。従って、映像受信装置200Cにおいて効率良くデータ処理を行うことができる。
<適用例>
次に、上記実施の形態およびその変形例に係る映像伝送システム1のMIPI規格への適用例について説明する。図16は、MIPI規格で規定されたローレベルプロトコルでのパケットの概要の一例を表したものである。図17は、MIPI規格で規定されたフレームフォーマットの一例を表したものである。
図16において、「SP」(Short Packet)と記載されている箇所(黒色の矢印で示した箇所)に、パケットヘッダの情報(例えば優先度情報など)を書き込むことが考えられる。しかし、「SP」において、16bitは既にMIPI規格で別の用途で定義されて使われているので、パケットヘッダの情報のうち、16bitを超える内容に対しては、新たなパケットヘッダ領域を追加して定義する必要がある。
図17において、「embedded data」と記載されている箇所(黒色の矢印で示した箇所)に、フレーム117,117A,117Bのヘッダー領域R1に含まれる内容を書き込むことが考えられる。「embedded data」には、ある程度のデータ量の内容を書き込むことが可能である。従って、「embedded data」と記載されている箇所(黒色の矢印で示した箇所)に、フレーム117,117A,117Bのヘッダー領域R1に含まれる内容を書き込んでもよい。
以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
また、例えば、本開示は以下のような構成を取ることができる。
(1)
撮像画像における複数の注目領域の位置情報に基づいて、2以上の前記注目領域同士が重なり合う重なり領域を検出する検出部と、
複数の前記注目領域の第1画像において前記重なり領域の第2画像が重複して含まれないように、複数の前記第1画像から前記第2画像を割愛したものである複数の第3画像と、複数の前記位置情報とを含む伝送データを生成する生成部と、
前記伝送データを出力する送信部と
を備えた
映像送信装置。
(2)
前記生成部は、複数の前記第1画像のいずれに対して前記第2画像の割愛が行われたかを判別することの可能な判別情報を生成し、前記伝送データに含める
(1)に記載の映像送信装置。
(3)
前記生成部は、前記注目領域ごとに識別子を付与し、前記識別子を前記判別情報として用いることにより、複数の前記第1画像のいずれに対して前記第2画像の割愛を行うかを決定する
(2)に記載の映像送信装置。
(4)
前記位置情報は、各前記注目領域における所定の位置の座標と、各前記注目領域の大きさに関する情報とを含む
(1)ないし(3)のいずれか1つに記載の映像送信装置。
(5)
前記生成部は、複数の前記位置情報と、複数の前記第3画像とを互いに関係づけたフレームを生成するとともに、前記フレームを含む前記伝送データを生成する
(1)ないし(4)のいずれか1つに記載の映像送信装置。
(6)
前記生成部は、前記フレームにおいて、各前記第3画像を前記第3画像の画素行ごとに、もしくは、前記第3画像の所定のエリアごとに分けて配置する
(5)に記載の映像送信装置。
(7)
前記生成部は、複数の前記位置情報および複数の前記第3画像を複数のグループに分け、前記グループごとに、1または複数の前記位置情報と、1または複数の前記第3画像とを互いに関係づけたフレームを生成し、前記フレームごとに前記伝送データを生成する
(1)ないし(6)のいずれか1つに記載の映像送信装置。
(8)
前記生成部は、前記伝送データの送信先の情報である送信先情報に基づいて、複数の前記位置情報および複数の前記第3画像のグループ分けを行う
(7)に記載の映像送信装置。
(9)
複数の第3画像と、複数の位置情報とを含む伝送データを受信する受信部と、
受信した複数の前記第3画像における1または複数の前記第3画像と、受信した複数の前記位置情報における複数の前記位置情報から得られる1または複数の重なり領域の位置情報とに基づいて、1または複数の前記重なり領域の第2画像を生成し、受信した複数の前記第3画像と、1または複数の前記第2画像とに基づいて、撮像画像における複数の注目領域の第1画像を生成する画像処理部と
を備えた
映像受信装置。
(10)
前記伝送データは、当該伝送データに含まれる複数の前記第3画像のいずれに対して前記第2画像の割愛が行われたかを判別することの可能な判別情報を含み、
前記画像処理部は、前記判別情報を用いることにより、当該伝送データに含まれる複数の前記第3画像のいずれに対して前記第2画像を付加するかを決定する
(9)に記載の映像受信装置。
(11)
前記受信部で受信した複数の前記位置情報は、前記撮像画像における複数の前記第1画像の位置情報に相当する
(9)または(10)に記載の映像受信装置。
(12)
前記画像処理部は、複数の画像処理ICを含み、
当該画像受信装置は、
複数の前記画像処理ICの中から、各前記第3画像の処理担当を決定する振り分け制御部と、
前記振り分け制御部で決定された、各前記第3画像の処理担当についての振り分け情報を、前記伝送データの送信元に送信する振り分け情報伝送部と
をさらに備えた
(9)ないし(11)のいずれか1つに記載の映像受信装置。
1…映像伝送システム、100…映像送信装置、110…撮像部、111…撮像画像、112,112a1,112a2,112a4,112a5,112a6,119,119a1,119a2,119a4,119a5,119a6…ROI画像、113,114…位置情報、115…優先度、116,116a1,116a2,116a4,116a5,116a6…伝送画像、117,117A,117B…フレーム、118,118b1,118b2…画像、120…画像処理部、120A…伝送データ、121…ROI切り出し部、122…ROI解析部、123…重なり検出部、124…優先度設定部、125,125A,125B…エンコード部、126…振り分け部、130,130A,130B…送信部、200,200A,200B,200C…映像受信装置、210,210A,210B,210C…受信部、220,220A,220B,220C,220D…画像処理部、221…デコード部、222…情報抽出部、223…ROI画像生成部、230A,230B,230C…振り分け情報伝送部、240…振り分け制御部、300,300A,300B…伝送路、R1…ヘッダー領域、R2…パケット領域、R3…フッター領域、ROI,ROI1,ROI2,ROI4,ROI5,ROI6,ROI7,ROI8…注目領域、ROO,ROO1,ROO2,ROO3…重なり領域。

Claims (12)

  1. 撮像画像における複数の注目領域の位置情報に基づいて、2以上の前記注目領域同士が重なり合う重なり領域を検出する検出部と、
    複数の前記注目領域の第1画像のうち、前記重なり領域を有する1または複数の前記第1画像から前記重なり領域の第2画像を割愛した1または複数の第3画像と、複数の前記第1画像のうち、前記1または複数の第3画像に対応しない1または複数の第4画像と、複数の前記位置情報と、前記注目領域ごとに付与された領域番号、前記注目領域ごとに設定されたAD変換のデータの語長とを含む伝送データを生成する生成部と、
    前記伝送データを出力する送信部と
    を備えた
    映像送信装置。
  2. 前記生成部は、複数の前記第1画像のいずれに対して前記第2画像の割愛が行われたかを判別することの可能な判別情報を生成し、前記伝送データに含める
    請求項1に記載の映像送信装置。
  3. 前記生成部は、前記判別情報を用いることにより、複数の前記第1画像のいずれに対して前記第2画像の割愛を行うかを決定する
    請求項2に記載の映像送信装置。
  4. 前記位置情報は、各前記注目領域における所定の位置の座標と、各前記注目領域の大きさに関する情報とを含む
    請求項1に記載の映像送信装置。
  5. 前記生成部は、複数の前記位置情報と、前記1または複数の第3画像および前記1または複数の第4画像とを互いに関係づけたフレームを生成するとともに、前記フレームを含む前記伝送データを生成する
    請求項1に記載の映像送信装置。
  6. 前記生成部は、前記フレームにおいて、各前記第3画像および各前記第4画像を前記第3画像および前記第4画像の画素行ごとに、もしくは、前記第3画像および前記第4画像の所定のエリアごとに分けて配置する
    請求項5に記載の映像送信装置。
  7. 前記生成部は、複数の前記位置情報ならびに前記1または複数の第3画像および前記1または複数の第4画像を複数のグループに分け、前記グループごとに、1または複数の前記位置情報と、前記1または複数の第3画像および前記1または複数の第4画像とを互いに関係づけたフレームを生成し、前記フレームごとに前記伝送データを生成する
    請求項1に記載の映像送信装置。
  8. 前記生成部は、前記伝送データの送信先の情報である送信先情報に基づいて、複数の前記位置情報および複数の前記第3画像のグループ分けを行う
    請求項7に記載の映像送信装置。
  9. 複数の伝送画像と、複数の位置情報と、注目領域ごとに付与された領域番号、前記注目領域ごとに設定されたAD変換のデータの語長とを含む伝送データを受信する受信部と、
    受信した複数の前記伝送画像における1または複数の前記伝送画像と、受信した複数の前記位置情報における複数の前記位置情報から得られる1または複数の重なり領域の位置情報と、受信した前記注目領域ごとに付与された領域番号と、前記語長とに基づいて、1または複数の前記重なり領域の画像である重なり画像を生成し、受信した複数の前記伝送画像と、1または複数の前記重なり画像とに基づいて、撮像画像における複数の注目領域の画像である注目領域画像を生成する画像処理部と
    を備えた
    映像受信装置。
  10. 前記伝送データは、当該伝送データに含まれる複数の前記伝送画像のいずれに対して前記重なり画像の割愛が行われたかを判別することの可能な判別情報を含み、
    前記画像処理部は、前記判別情報を用いることにより、当該伝送データに含まれる複数の前記伝送画像のいずれに対して前記重なり画像を付加するかを決定する
    請求項9に記載の映像受信装置。
  11. 前記受信部で受信した複数の前記位置情報は、前記撮像画像における複数の前記注目領域画像の位置情報に相当する
    請求項9に記載の映像受信装置。
  12. 前記画像処理部は、複数の画像処理ICを含み、
    当該映像受信装置は、
    複数の前記画像処理ICの中から、各前記伝送画像の処理担当を決定する振り分け制御部と、
    前記振り分け制御部で決定された、各前記伝送画像の処理担当についての振り分け情報を、前記伝送データの送信元に送信する振り分け情報伝送部と
    をさらに備えた
    請求項9に記載の映像受信装置。
JP2017029809A 2017-02-21 2017-02-21 映像送信装置および映像受信装置 Active JP6936018B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2017029809A JP6936018B2 (ja) 2017-02-21 2017-02-21 映像送信装置および映像受信装置
TW107104872A TWI812609B (zh) 2017-02-21 2018-02-12 視訊傳輸裝置及視訊接收裝置
CN201880011920.XA CN110301137B (zh) 2017-02-21 2018-02-13 视频传输设备和视频接收设备
EP18708764.8A EP3586516A1 (en) 2017-02-21 2018-02-13 Video transmission apparatus and video reception apparatus
KR1020197021733A KR102593633B1 (ko) 2017-02-21 2018-02-13 영상 송신 장치 및 영상 수신 장치
PCT/JP2018/004918 WO2018155258A1 (en) 2017-02-21 2018-02-13 Video transmission apparatus and video reception apparatus
US16/486,005 US11323617B2 (en) 2017-02-21 2018-02-13 Video transmission apparatus and video reception apparatus
US17/726,095 US20220247925A1 (en) 2017-02-21 2022-04-21 Video transmission apparatus and video reception apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017029809A JP6936018B2 (ja) 2017-02-21 2017-02-21 映像送信装置および映像受信装置

Publications (2)

Publication Number Publication Date
JP2018137567A JP2018137567A (ja) 2018-08-30
JP6936018B2 true JP6936018B2 (ja) 2021-09-15

Family

ID=61563449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017029809A Active JP6936018B2 (ja) 2017-02-21 2017-02-21 映像送信装置および映像受信装置

Country Status (7)

Country Link
US (2) US11323617B2 (ja)
EP (1) EP3586516A1 (ja)
JP (1) JP6936018B2 (ja)
KR (1) KR102593633B1 (ja)
CN (1) CN110301137B (ja)
TW (1) TWI812609B (ja)
WO (1) WO2018155258A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710222A (zh) * 2017-06-09 2020-01-17 索尼半导体解决方案公司 视频发送装置和视频接收装置
US11606500B2 (en) 2018-12-06 2023-03-14 Sony Semiconductor Solutions Corporation Reception apparatus and transmission apparatus
EP3993390A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM
WO2021039011A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法
JP7439556B2 (ja) * 2020-02-14 2024-02-28 オムロン株式会社 画像処理装置、画像センサ、画像処理装置の制御方法
JPWO2021260970A1 (ja) * 2020-06-26 2021-12-30

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3821267B2 (ja) * 1999-01-18 2006-09-13 富士通株式会社 文書画像結合装置、文書画像結合方法及び文書画像結合プログラムを記録した記録媒体
US7542613B2 (en) 2004-09-21 2009-06-02 Sanyo Electric Co., Ltd. Image processing apparatus
KR100728222B1 (ko) * 2005-03-25 2007-06-13 한국전자통신연구원 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치
US8184153B2 (en) 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 roi 설정, 복원을위한 장치 및 방법
US8077977B2 (en) * 2006-08-15 2011-12-13 Fuji Xerox Co., Ltd. Image processing system, image processing method, computer readable medium and computer data signal
KR100800653B1 (ko) 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
JP5410663B2 (ja) 2007-08-27 2014-02-05 東洋機械金属株式会社 射出成形機
JP4623196B2 (ja) * 2008-10-08 2011-02-02 富士ゼロックス株式会社 画像処理装置、画像処理システム、及びプログラム
JP2011146833A (ja) * 2010-01-13 2011-07-28 Seiko Epson Corp 光学読取装置、光学読取装置の制御方法、及び、プログラム
JP5658552B2 (ja) * 2010-12-20 2015-01-28 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
EP2688283B1 (en) * 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2014135013A (ja) * 2013-01-11 2014-07-24 Fujitsu Ltd 画像転送方法、サーバ機器及びプログラム
KR101926490B1 (ko) 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
US9898837B2 (en) * 2013-05-31 2018-02-20 Mitsubishi Electric Corporation Image processing system
US10721530B2 (en) * 2013-07-29 2020-07-21 Koninklijke Kpn N.V. Providing tile video streams to a client
WO2016040566A1 (en) 2014-09-12 2016-03-17 Seek Thermal, Inc. Selective color display of a thermal image
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置

Also Published As

Publication number Publication date
TW201838396A (zh) 2018-10-16
TWI812609B (zh) 2023-08-21
CN110301137A (zh) 2019-10-01
US11323617B2 (en) 2022-05-03
WO2018155258A1 (en) 2018-08-30
KR102593633B1 (ko) 2023-10-25
CN110301137B (zh) 2022-11-15
EP3586516A1 (en) 2020-01-01
US20200053281A1 (en) 2020-02-13
US20220247925A1 (en) 2022-08-04
JP2018137567A (ja) 2018-08-30
KR20190117498A (ko) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6936018B2 (ja) 映像送信装置および映像受信装置
TWI829638B (zh) 影像傳送裝置及影像接收裝置
US11290641B2 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
JP7277373B2 (ja) 送信装置
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
US8488893B2 (en) Image compression apparatus and image compression method
JP2018198406A (ja) 監視カメラシステムおよび画像処理装置
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
US20220239825A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
KR102434417B1 (ko) 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
WO2021102857A1 (zh) 图像处理方法、装置、设备及存储介质
US11900572B2 (en) Transmission device, reception device, and transmission system
JP2004173205A (ja) 画像処理装置
CN111919453A (zh) 发送装置、接收装置以及通信系统
US11695883B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
WO2021020214A1 (ja) 送信装置、受信装置及び通信システム
JP2002094803A (ja) 画像読み取り装置
JP2012134648A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210826

R150 Certificate of patent or registration of utility model

Ref document number: 6936018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150