JP6930423B2 - 受信装置、受信方法および送受信システム - Google Patents

受信装置、受信方法および送受信システム Download PDF

Info

Publication number
JP6930423B2
JP6930423B2 JP2017551909A JP2017551909A JP6930423B2 JP 6930423 B2 JP6930423 B2 JP 6930423B2 JP 2017551909 A JP2017551909 A JP 2017551909A JP 2017551909 A JP2017551909 A JP 2017551909A JP 6930423 B2 JP6930423 B2 JP 6930423B2
Authority
JP
Japan
Prior art keywords
image data
cameras
area
predetermined number
cutout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017551909A
Other languages
English (en)
Other versions
JPWO2017086355A1 (ja
Inventor
真之介 宇佐美
真之介 宇佐美
哲夫 金子
哲夫 金子
恭弘 飯塚
恭弘 飯塚
和弘 内田
和弘 内田
盛雄 中塚
盛雄 中塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017086355A1 publication Critical patent/JPWO2017086355A1/ja
Application granted granted Critical
Publication of JP6930423B2 publication Critical patent/JP6930423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Description

本技術は、受信装置、受信方法および送受信システムに関する。
従来、例えば、特許文献１には、複数のカメラの撮像画像データをネットワークを介して受信側に送信し、受信側においてその複数の撮像画像データから表示領域に対応した画像データを切り出し、スティッチ処理を施すことで合成画像データを得て画像表示を行うことが記載されている。
特開２００８−２２５６００号公報
特許文献１に記載される技術では、複数のカメラの撮像画像データを全て受信側に送信するものであり、カメラの個数に比例してネットワーク帯域の使用量が増大していく。
本技術の目的は、ネットワーク帯域の使用量を低く抑え、ネットワーク帯域の有効活用を図ることにある。
本技術の概念は、
隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データを記憶する記憶部と、
上記複数のカメラから選択された所定数のカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記所定数のカメラの切り出し領域の情報に基づいて上記記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出して上記外部機器に上記ネットワークを介して送信する画像データ送信部を備える
送信装置にある。
本技術において、記憶部には、隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データが記憶される。情報受信部により、複数のカメラから選択された所定数のカメラの切り出し領域の情報が外部機器からネットワークを介して受信される。画像データ送信部により、所定数のカメラの切り出し領域の情報に基づいて記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データが切り出されて外部機器にネットワークを介して送信される。
このように本技術においては、複数のカメラの撮像画像データの全てではなく、外部機器からの情報に基づいて、所定数のカメラの切り出し領域の画像データだけがネットワークを介して外部機器に送信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。
なお、本技術において、例えば、画像データ送信部は、所定数のカメラの切り出し領域の画像データに圧縮符号化処理を施した後に外部機器に送信する、ようにされてもよい。このように圧縮符号化処理を施すことで、ネットワーク帯域の使用量をさらに低くすることが可能となる。
また、本技術の他の概念は、
隣接する撮像画像に重なりが発生するように撮像する複数のカメラと、
上記複数のカメラにそれぞれ対応して設けられた複数のアダプタを備え、
上記複数のアダプタのそれぞれは、
対応するカメラで撮像して得られた撮像画像データを記憶する記憶部と、
対応するカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記切り出し領域の情報に基づいて、上記記憶部に記憶されている撮像画像データから切り出し領域の画像データを切り出して上記外部機器にネットワークを介して送信する画像データ送信部を有する
送信装置にある。
本技術においては、複数のカメラと、この複数のカメラにそれぞれ対応して設けられた複数のアダプタを備えるものである。複数のカメラでは、隣接する撮像画像に重なりが発生するように撮像が行われる。複数のアダプタのそれぞれは、記憶部と、情報受信部と、画像データ送信部を有するものとされる。
記憶部には、対応したカメラで撮像して得られた撮像画像データが記憶される。情報受信部により、対応するカメラの切り出し領域の情報が外部機器からネットワークを介して受信される。そして、画像データ送信部により、切り出し領域の情報に基づいて、記憶部に記憶されている撮像画像データから切り出し領域の画像データが切り出されて外部機器にネットワークを介して送信される。
このように本技術においては、複数のカメラの撮像画像の全てではなく、外部機器からの情報に基づいて、選択された所定数のカメラの切り出し領域の画像データだけがネットワークを介して外部機器に送信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。
本発明の他の概念は、
隣接する撮像画像に重なりが発生するように撮像する複数のカメラを備え、
上記複数のカメラのそれぞれは、
切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記切り出し領域の情報に基づいて、撮像画像データから切り出し領域の画像データを切り出して上記外部機器にネットワークを介して送信する画像データ送信部を有する
送信装置にある。
本技術においては、複数のカメラを備えるものである。複数のカメラでは、隣接する撮像画像に重なりが発生するように撮像が行われる。複数のカメラのそれぞれは、情報受信部と、画像データ送信部を有するものとされる。情報受信部により、切り出し領域の情報が外部機器からネットワークを介して受信される。画像データ送信部により、切り出し領域の情報に基づいて、撮像画像データから切り出し領域の画像データが切り出されて外部機器にネットワークを介して送信される。
このように本技術においては、複数のカメラの撮像画像の全てではなく、外部機器からの情報に基づいて、選択された所定数のカメラの切り出し領域の画像データだけがネットワークを介して外部機器に送信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。
本技術の他の概念は、
隣接する撮像画像に重なりが発生するように撮像する複数のカメラにそれぞれ対応して設けられた複数のサーバを備え、
上記複数のサーバのそれぞれは、
対応するカメラで撮像して得られた撮像画像データを記憶する記憶部と、
対応するカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記切り出し領域の情報に基づいて、上記記憶部に記憶されている撮像画像データから切り出し領域の画像データを切り出して上記外部機器にネットワークを介して送信する画像データ送信部を有する
送信装置にある。
本技術においては、複数のサーバを備えるものである。この複数のサーバは、隣接する撮像画像に重なりが発生するように撮像する複数のカメラにそれぞれ対応して設けられたものである。複数のサーバのそれぞれは、記憶部と、情報受信部と、画像データ送信部を有するものとされる。
記憶部には、対応したカメラで撮像して得られた撮像画像データが記憶される。情報受信部により、対応するカメラの切り出し領域の情報が外部機器からネットワークを介して受信される。そして、画像データ送信部により、切り出し領域の情報に基づいて、記憶部に記憶されている撮像画像データから切り出し領域の画像データが切り出されて外部機器にネットワークを介して送信される。
このように本技術においては、複数のカメラの撮像画像の全てではなく、外部機器からの情報に基づいて、選択された所定数のカメラの切り出し領域の画像データだけがネットワークを介して外部機器に送信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。
また、本技術の他の概念は、
複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する切り出し領域決定部と、
上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信部と、
上記外部機器から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信部と、
上記受信された所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理部を備える
受信装置にある。
本技術において、切り出し領域決定部により、複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域が設定され、この表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域が切り出し領域として決定される。
例えば、切り出し領域決定部では、合成画像の画像データによる画像を表示する表示デバイスから与えられる表示領域の制御情報に基づいて表示領域を設定する、ようにされてもよい。この場合、例えば、表示デバイスは、ヘッドマウントディスプレイであり、表示領域の制御情報は、向きの情報である、ようにされてもよい。また、この場合、例えば、表示デバイスは、パーソナルコンピュータ、タブレット、あるいはスマートフォンであり、表示領域の制御情報は、ユーザの操作に基づく移動情報である、ようにされてもよい。
情報送信部により、所定数のカメラの切り出し領域の情報が外部機器にネットワークを介して送信される。画像データ受信部により、外部機器から所定数のカメラの切り出し領域の画像データがネットワークを介して受信される。そして、画像データ処理部により、受信された所定数のカメラの切り出し領域の画像データにスティッチ処理が施されて表示領域に対応した合成画像の画像データが得られる。
例えば、受信された所定数のカメラの切り出し領域の画像データには圧縮符号化処理が施されており、画像データ処理部は、所定数のカメラの切り出し領域の画像データに圧縮復号化処理を施した後にスティッチ処理を施して表示領域に対応した合成画像の画像データを得る、ようにされてもよい。
このように本技術においては、外部機器に表示領域に対応した所定数のカメラの切り出し領域の情報が送信され、外部機器から所定数のカメラの切り出し領域の画像データだけがネットワークを介して受信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。また、本技術においては、受信された所定数のカメラの切り出し領域の画像データにスティッチ処理が施されて表示領域に対応した合成画像の画像データが得られる。そのため、表示領域に対応した部分のスティッチ処理しか行わないので、処理負荷を軽減が可能となる。
また、本技術の他の概念は、
隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データを記憶する記憶部と、
上記複数のカメラから選択された所定数のカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記所定数のカメラの切り出し領域の情報に基づいて上記記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出す画像データ切り出し部と、
上記所定数のカメラの切り出し領域の画像データにスティッチ処理を施して合成画像の画像データを得る画像データ処理部と、
上記合成画像の画像データを上記外部機器に上記ネットワークを介して送信する画像データ送信部を備える
送信装置にある。
本技術において、記憶部には、隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データが記憶される。情報受信部により、複数のカメラから選択された所定数のカメラの切り出し領域の情報が外部機器からネットワークを介して受信される。
画像データ切り出し部により、所定数のカメラの切り出し領域の情報に基づいて記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データが切り出される。画像データ処理部により、所定数のカメラの切り出し領域の画像データにスティッチ処理が施されて合成画像の画像データが得られる。そして、画像データ送信部により、合成画像の画像データが外部機器にネットワークを介して送信される。
このように本技術においては、複数のカメラの撮像画像の全てではなく、外部機器からの情報に基づいて、選択された所定数のカメラの切り出し領域の画像データにスティッチ処理を施して得られた合成画像の画像データがネットワークを介して外部機器に送信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得ると共に、外部機器における処理負荷を軽減することが可能となる。
また、本技術の他の概念は、
複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する切り出し領域決定部と、
上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信部と、
上記外部機器から上記所定数のカメラの切り出し領域の画像データにスティッチ処理を施して得られた合成画像の画像データを上記ネットワークを介して受信する画像データ受信部を備える
受信装置にある。
本技術において、切り出し領域決定部により、複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域が設定され、この表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域が切り出し領域として決定される。情報送信部により、所定数のカメラの切り出し領域の情報が外部機器にネットワークを介して送信される。画像データ受信部により、外部機器から所定数のカメラの切り出し領域の画像データにスティッチ処理を施して得られた合成画像の画像データがネットワークを介して受信される。
このように本技術においては、外部機器に表示領域に対応した所定数のカメラの切り出し領域の情報が送信され、外部機器から所定数のカメラの切り出し領域の画像データにスティッチ処理を施して得られた合成画像の画像データが受信される。そのため、ネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。また、スティッチ処理を行わないで済むことから、処理負荷を軽減が可能となる。
本技術によれば、カメラの個数に依らずにネットワーク帯域の使用量を低く抑えることができ、ネットワーク帯域の有効活用を図り得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送受信システムを構成する各カメラの配置を説明するための図である。 アダプタの構成例を示すブロック図である。 複数のカメラで撮像される撮像画像と、それらの撮像画像で構成される合成画像の一例を示す図である。 表示領域の設定と切り出し領域の決定を説明するための図である。 後段処理機器の構成例を示すブロック図である。 送受信システムの動作を概略的に示すフロー図である ネットワーク帯域の使用量の低減効果を説明するための図である。 送受信システムの他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 後段処理機器に接続される表示デバイスの他の例を説明するための図である。 表示デバイスがパーソナルコンピュータなどである場合における画面表示例を示す図である。 送受信システムの他の構成例を示すブロック図である。 複数のカメラの撮像画像により構成される合成画像上に設定された表示領域の一例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０Ａの構成例を示している。この送受信システム１０Ａは、送信側と受信側とがネットワーク接続された構成となっている。
送信側について説明する。送受信システム１０Ａは、送信側に、複数個、ここでは４個のカメラ（ビデオカメラ）、つまりカメラ（カメラＡ）１０１Ａ、カメラ（カメラＢ）１０１Ｂ、カメラ（カメラＣ）１０１Ｃ、カメラ（カメラＤ）１０１Ｄを有している。ここで、各カメラは、例えば、フルＨＤ画像データを得るためのＨＤカメラである。
カメラ１０１Ａ，１０１Ｂ，１０１Ｃ，１０１Ｄは、例えば、水平方向に２個および垂直方向に２個の田の字状に配置される。図２は、各カメラの配置状態を示している。図２（ａ）は上から見たカメラ配置図であり、図２（ｂ）は正面から見たカメラ配置図であり、図２（ｃ）は横から見たカメラ配置図である。図２（ａ），（ｃ）に示すように、隣接するカメラの撮像画像に重なりが発生するように、各カメラにおける撮像が行われる。
また、送受信システム１０Ａは、送信側に、カメラ１０１Ａ〜１０１Ｄのそれぞれに対応して設けられたアダプタ１０２Ａ〜１０２Ｄを有している。アダプタ１０２Ａ〜１０２Ｄのそれぞれは、カメラ１０１Ａ〜１０１Ｄと、ＵＳＢ（Universal Serial Bus）ケーブルおよびＨＤＭＩ（High-Definition Multimedia Interface）ケーブルで接続されている。また、アダプタ１０２Ａ〜１０２Ｄは、それぞれ、ＬＡＮケーブルでイーサネットスイッチ１０５に接続されている。なお、「ＨＤＭＩ」、「イーサネット」は、登録商標である。
各アダプタは、対応するカメラで撮像して得られた撮像画像データを受け取って記憶部に記憶する。また、各アダプタは、対応するカメラの切り出し領域の情報を、受信側から、ネットワークを介して受信する。また、各アダプタは、切り出し領域の情報に基づいて、記憶部に記憶されている撮像画像データから切り出し領域の画像データを切り出し、受信側に、ネットワークを介して送信する。
各カメラ（アダプタを含む）間は、例えば、ネットワーク経由でＰＴＰ（IEEE 1588 Precision Time Protocol）により同期をとり、ネットワークでＶ同期できる仕組みとなっている。これにより、各カメラ（アダプタを含む）は、Ｖ同期を保持した状態で、撮像および撮像画像データの処理を行う。
図３は、アダプタ１０２（１０２Ａ〜１０２Ｄ）の構成例を示している。アダプタ１０２は、ＣＰＵ１２１と、ＵＳＢインタフェース１２２と、ＨＤＭＩインタフェース１２３と、メモリ１２４と、エンコーダ１２５と、イーサネット・インタフェース１２６を有している。
ＣＰＵ１２１は、アダプタ１０２の各部の動作を制御する。ＵＳＢインタフェース１２２は、カメラとの間でＵＳＢによる通信を行うためのインタフェースである。このＵＳＢ通信では、受信側で発行されたカメラに対する命令コマンドをカメラに送ることが行われる。また、このＵＳＢ通信では、後述するＨＤＭＩ伝送の代わりに、カメラから撮像画像データを受け取ることも可能とされる。
ＨＤＭＩインタフェース１２３は、カメラとの間でＨＤＭＩデータ伝送を行うためのインタフェースである。この場合、カメラがソース機器でアダプタ１０２はシンク機器となる。このＨＤＭＩデータ伝送では、カメラからＨＤＭＩ送信される撮像画像データを受信することが行われる。
メモリ１２４は、記憶部を構成する。メモリ１２４は、カメラからＨＤＭＩデータ伝送あるいはＵＳＢ通信により送られてくる撮像画像データを記憶する。イーサネット・インタフェース１２６は、ネットワーク、ここではＬＡＮ（Local Area Network）に接続するためのインタフェースである。このイーサネット・インタフェース１２６では、上述の受信側で発行されたカメラに対する命令コマンドを、ネットワークを介して受信することが行われる。
また、このイーサネット・インタフェース１２６では、受信側からネットワークを介して送られてくる、対応するカメラの切り出し領域の情報を受信することが行われる。具体的には、イーサネット・インタフェース１２６では、受信側から、切り出し領域の情報を含む命令パケットが受信される。
ここで、切り出し領域は、対応するカメラの撮像画像のうち、カメラ１０１Ａ〜１０１Ｄの撮像画像で構成される合成画像上に設定される表示領域と重なる領域を少なくとも含む領域とされる。この場合、対応するカメラの撮像画像に重なる領域がないときは、受信側から切り出し領域の情報は送られてくることはない。この切り出し領域の詳細については、後述する受信側の説明においてさらに説明する。
また、このイーサネット・インタフェース１２６では、メモリ１２４に記憶されている撮像画像データから切り出し領域の情報に基づいて切り出された切り出し領域の画像データを、ネットワークを介して受信側に送信することが行われる。
エンコーダ１２５は、イーサネット・インタフェース１２６で受信された切り出し領域の情報に基づいて、メモリ１２４に記憶されている撮像画像データから切り出し領域の画像データを切り出し、受信側に送信すべき画像データを得る。なお、このエンコーダ１２５は、必要に応じて、この切り出し領域の画像データに、例えばＪＰＥＧ２０００、ＪＰＥＧなどの圧縮符号化処理を施してデータ量を低減する。
図１に戻って、次に、受信側について説明する。送受信システム１０Ａは、受信側に、後段処理機器１０３と、表示デバイスとしてのヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）１０４を有している。後段処理機器１０３は、ＬＡＮケーブルを介してイーサネットスイッチ１０５に接続されている。ヘッドマウントディスプレイ１０４は、後段処理機器１０３と、ＵＳＢケーブルおよびＨＤＭＩケーブルで接続されている。
後段処理機器１０３は、カメラ１０１Ａ〜１０１Ｄの撮像画像で構成される合成画像上に表示領域を設定し、この表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する。例えば、図４（ａ）は、カメラ１０１Ａ〜１０１Ｄの撮像画像を示している。ここで、“画像Ａ”がカメラ１０１Ａの撮像画像であり、“画像Ｂ”がカメラ１０１Ｂの撮像画像であり、“画像Ｃ”がカメラ１０１Ｃの撮像画像であり、“画像Ｄ”がカメラ１０１Ｄの撮像画像である。
図４（ｂ）は、カメラ１０１Ａ〜１０１Ｄの撮像画像で構成される合成画像の一例を示している。この場合、カメラ１０１Ａ〜１０１Ｄの撮像画像に発生する重なりの部分は互いに重なった状態となる。図示の例において、ハッチングを施した領域は重なった状態を示している。上述したようにカメラ１０１Ａ〜１０１ＤはＨＤカメラであることから合成画像としては４Ｋ画像が得られる。
図５（ａ）は、合成画像上に設定された表示領域の一例を示している。後段処理機器１０３は、表示デバイスから供給される表示領域の制御情報に基づいて表示領域を設定する。この実施の形態では、ヘッドマウントディスプレイ１０４が表示デバイスを構成しており、ヘッドマウントディスプレイ１０４から後段処理機器１０３に、表示領域の制御情報として向きの情報が供給される。ヘッドマウントディスプレイ１０４は、この向きの情報をジャイロセンサ、加速度センサ等により取得している。
合成画像上に設定された表示領域は、例えば、左上の座標を示す基準座標（Ｘ，Ｙ）と、高さＨおよび幅Ｗで示される。ここで、基準座標（Ｘ，Ｙ）は、合成画像の座標系で表される。この場合、向きの変化に応じて基準座標（Ｘ，Ｙ）が変化していく。なお、高さＨおよび幅Ｗは、ヘッドマウントディスプレイ１０４における表示解像度、例えばＨＤに対応したもので固定値となる。
図５（ｂ）は、カメラ１０１Ａ〜１０１Ｄの撮像画像において表示領域と重なる領域を、ハッチングを付して示している。各撮像画像において表示領域と重なる領域は、それぞれ、例えば、左上の座標を示す基準座標（ｘ，ｙ）と、高さｈおよび幅ｗで示される。ここで、基準座標（ｘ，ｙ）は、撮像画像の座標系で表される
図５（ｃ）は、各撮像画像において決定された切り出し領域を示している。この切り出し領域は、表示領域と重なる領域を少なくとも含む領域、ここでは表示領域と重なる領域にさらにその外側に余分に一定の領域（以下、この一定領域を、適宜、「のりしろ領域」と呼ぶ）を付加した領域とされている。こののりしろ領域は、例えば、（１）スティッチ位置を知るため、（２）レンズ歪をとるため、（３）射影変換の際に発生する斜めの切れ目を切り取るため、に必要である。
各撮像画像における切り出し領域は、それぞれ、例えば、左上の座標を示す基準座標（ｘ´，ｙ´）と、高さｈ´および幅ｗ´で示される。ここで、基準座標（ｘ´，ｙ´）は、撮像画像の座標系で表される。なお、各撮像画像における切り出し領域を、その他の情報、例えば左上の座標と右下の座標などで示すようにされてもよい。
また、後段処理機器１０３は、表示領域と重なる所定数のカメラの撮像画像の切り出し領域の情報を、送信側に、ネットワークを介して送信する。この場合、後段処理機器１０３は、各切り出し領域の情報を含む命令パケットを、それぞれ、対応するカメラに接続されているアダプタ宛てに送る。
また、後段処理機器１０３は、送信側から、上述の所定数のカメラ（ここでは、カメラ１０１Ａ〜１０１Ｄの全て）の撮像画像データから切り出された切り出し領域の画像データを、ネットワークを介して受信する。また、後段処理機器１０３は、受信した各切り出し領域の画像データにスティッチ処理、さらには必要なレンズ歪補正処理、射影変換処理を施し、表示領域に対応した合成画像の画像データを得、この合成画像の画像データをヘッドマウントディスプレイ１０４に送る。
図６は、後段処理機器１０３の構成例を示している。後段処理機器１０３は、ＣＰＵ１３１と、イーサネット・インタフェース１３２と、メモリ１３３と、シグナルプロセッサ１３４と、ＵＳＢインタフェース１３５と、ＨＤＭＩインタフェース１３６を有している。
ＣＰＵ１３１は、後段処理機器１０３の各部の動作を制御する。また、ＣＰＵ１３１は、ヘッドマウントディスプレイ１０４から表示領域の制御情報として送られてくる向き情報に基づいて、カメラ１０１Ａ〜１０１Ｄの撮像画像で構成される合成画像上に表示領域を設定し、この表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する（図５参照）。なお、ＣＰＵ１３１は、カメラ１０１Ａ〜１０１Ｄの撮像画像で構成される合成画像上における各画素座標がどのカメラの撮像画像のどの画素座標に対応しているかを予め把握している。
イーサネット・インタフェース１３２は、ネットワーク、ここではＬＡＮ（Local Area Network）に接続するためのインタフェースである。このイーサネット・インタフェース１３２では、送信側に、表示領域と重なる所定数のカメラの撮像画像の切り出し領域の情報を、ネットワークを介して送信することが行われる。また、このイーサネット・インタフェース１３２では、送信側からネットワークを介して送られてくる、所定数のカメラの撮像画像データから切り出された切り出し領域の画像データを、ネットワークを介して受信することが行われる。
メモリ１３３は、イーサネット・インタフェース１３２で受信された所定数のカメラの撮像画像データから切り出された切り出し領域の画像データを記憶する。シグナルプロセッサ１３４は、メモリ１３３に記憶されている各切り出し領域の画像データにスティッチ処理、さらには必要なレンズ歪補正処理、射影変換処理を施し、表示領域に対応した合成画像の画像データを得る。スティッチ処理は、一般的なＳＩＦＴ（Scale-Invariant Feature Transform）アルゴリズム等により、画像間の特徴点を抽出することで行われる。なお、このシグナルプロセッサ１３４は、メモリ１３３に記憶されている各切り出し領域の画像データに圧縮符号化処理が施されている場合には、圧縮復号化処理を施した後に各処理を行う。
ＵＳＢインタフェース１３５は、ヘッドマウントディスプレイ１０４との間でＵＳＢによる通信を行うためのインタフェースである。このＵＳＢ通信では、ヘッドマウントディスプレイ１０４から、表示領域の制御情報としての向きの情報を受信することが行われる。また、このＵＳＢ通信では、後述するＨＤＭＩ伝送の代わりに、シグナルプロセッサ１３４で得られた合成画像の画像データをヘッドマウントディスプレイ１０４に送信することも可能とされる。
ＨＤＭＩインタフェース１３６は、ヘッドマウントディスプレイ１０４との間でＨＤＭＩデータ伝送を行うためのインタフェースである。この場合、後段処理機器１０３がソース機器でヘッドマウントディスプレイ１０４はシンク機器となる。このＨＤＭＩデータ伝送では、シグナルプロセッサ１３４で得られた合成画像の画像データをヘッドマウントディスプレイ１０４に送信することが行われる。
図７は、図１に示す送受信システム１０Ａの動作を概略的に示すフロー図である。このフロー図に沿って、送受信システム１０Ａの動作を簡単に説明する。送受信システム１０Ａは、以下の（１）から（７）の処理をヘッドマウントディスプレイ１０４のフレーム単位でリアルタイムに繰り返し行う。
（１）後段処理機器１０３は、ヘッドマウントディスプレイ１０４から供給される向きの情報に基づいて、カメラ１０１Ａ〜１０１Ｄの撮像画像で構成される合成画像上に表示領域を設定する（図５（ａ）参照）。具体的には、合成画像の座標系における表示領域の左上の座標を示す基準座標（Ｘ，Ｙ）と、高さＨおよび幅Ｗを設定する。
（２）後段処理機器１０３は、表示領域に含まれる各カメラ画像の切り出し領域を決定する（図５（ｃ）参照）。具体的には、各カメラ画像の切り出し領域について、撮像画像の座標系における切り出し領域の左上の座標を示す基準座標（ｘ´，ｙ´）と、高さｈ´および幅ｗ´を決定する。
（３）後段処理機器１０３は、各カメラ画像の切り出し領域の情報を、それぞれ、対応するカメラにネットワークを介して送る。この場合、後段処理機器１０３は、各切り出し領域の情報（基準座標（ｘ´，ｙ´）と、高さｈ´および幅ｗ´）を含む命令パケットを、それぞれ、対応するカメラに接続されているアダプタ宛てに送る。
（４）後段処理機器１０３から切り出し領域の情報を受け取ったアダプタ１０２は、対応するカメラの撮像画像データからその切り出し領域の情報が示す領域の画像データを切り出す。この場合、表示領域と重なる領域だけでなく、その外側ののりしろ領域の画像データも付加された状態で切り出される。
（５）後段処理機器１０３から切り出し領域の情報を受け取ったアダプタ１０２は、対応するカメラの撮像画像データから切り出された画像データを、ネットワークを介して、後段処理機器１０３に送る。
（６）後段処理機器１０３は、各カメラ（アダプタ）から受け取った画像データにスティッチ処理、さらには必要なレンズ歪補正処理、射影変換処理を施し、表示用画像データ（表示領域に対応した合成画像の画像データ）を得る。
（７）後段処理機器１０３は、表示用画像データを表示デバイス、ここではヘッドマウントディスプレイ１０４に送る。
上述したように、図１に示す送受信システム１０Ａにおいては、送信側から後段処理機器１０３には、カメラ１０１Ａ〜１０１Ｄの撮像画像データの全てではなく、後段処理機器１０３からの情報に基づいて、選択された所定数のカメラの切り出し領域の画像データだけがネットワークを介して送られる。
そのため、ネットワーク帯域の使用量を表示領域に対応した使用量に抑えることができ、ネットワーク帯域の有効活用を図ることができる。図８は、カメラ１０１Ａ〜１０１Ｄの撮像画像データの全てを送る場合と、切り出した画像データを送る場合のネットワーク帯域の使用量を比較可能に示している。なお、切り出した画像データに関しては、表示領域が図５（ａ）の状態に設定された場合について示している。
また、後段処理機器１０３は、送信側から受信した各カメラの切り出し領域の画像データにスティッチ処理等を施して表示領域に対応した合成画像の画像データを得るものであり、表示領域に対応した部分のスティッチ処理等しか行わないので、処理負荷の軽減が可能となる。
＜２．変形例＞
なお、上述実施の形態においては、送信側に、カメラ１０１Ａ〜１０１Ｄの他に、カメラ１０１Ａ〜１０１Ｄのそれぞれに対応して設けられたアダプタ１０２Ａ〜１０２Ｄを有する例を示した。しかし、カメラ１０１Ａ〜１０１Ｄのそれぞれがアダプタの機能を備える場合には、カメラに外付けされるアダプタは不要となる。
図９は、その場合における送受信システム１０Ｂの構成例を示している。この図９において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。カメラ１０１Ａ´〜１０１Ｄ´は、それぞれ、図１に示す送受信システム１０Ａにおけるアダプタ１０２Ａ〜１０２Ｄの機能を備えたカメラである。
各カメラは、後段処理機器１０３から切り出し領域の情報を受信するとき、撮像画像データから切り出し領域の画像データを切り出し、ネットワークを介して、後段処理機器１０３に送る。この送受信システム１０Ｂのその他は、図１に示す送受信システム１０Ａと同様に構成される。この送受信システム１０Ｂにおいても、図１に示す送受信システム１０Ａと同様の動作をし、同様の効果を得ることができる。
また、上述実施の形態においては、送信側に、カメラ１０１Ａ〜１０１Ｄの他に、カメラ１０１Ａ〜１０１Ｄのそれぞれに対応して設けられたアダプタ１０２Ａ〜１０２Ｄを有する例を示した。しかし、カメラとアダプタの部分をサーバで構成する構成も考えられる。
図１０は、その場合における送受信システム１０Ｃの構成例を示している。この図１０において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。サーバ１０６Ａ〜サーバ１０６Ｄは、それぞれ、ストレージに、図１の送受信システム１０Ａにおけるカメラ１０１Ａ〜１０１Ｄと同様のカメラでそれぞれ撮像して得られた撮像画像データを蓄積している。また、サーバ１０６Ａ〜サーバ１０６Ｄは、それぞれ、図１の送受信システム１０Ａにおけるアダプタ１０２Ａ〜１０２Ｄの機能を備えている。
各サーバは、後段処理機器１０３から切り出し領域の情報を受信するとき、ストレージに記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出し、ネットワークを介して、後段処理機器１０３に送る。この送受信システム１０Ｃのその他は、図１に示す送受信システム１０Ａと同様に構成される。この送受信システム１０Ｃにおいても、図１に示す送受信システム１０Ａと同様の動作をし、同様の効果を得ることができる。
また、上述実施の形態においては、送信側に、カメラ１０１Ａ〜１０１Ｄの他に、カメラ１０１Ａ〜１０１Ｄのそれぞれに対応して設けられたアダプタ１０２Ａ〜１０２Ｄを有する例を示した。しかし、４つのアダプタ１０２Ａ〜１０２Ｄの代わりに１つのアダプタを用いて構成することも考えられる。
図１１は、その場合における送受信システム１０Ｄの構成例を示している。この図１１において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。アダプタ１０２は、図１の送受信システム１０Ａにおける４つのアダプタ１０２Ａ〜１０２Ｄの機能を備えている。
アダプタ１０２は、後段処理機器１０３から各カメラの切り出し領域の情報を受信するとき、メモリに記憶されているそれぞれのカメラの撮像画像データから切り出し領域の画像データを切り出し、ネットワークを介して、後段処理機器１０３に送る。この送受信システム１０Ｄのその他は、図１に示す送受信システム１０Ａと同様に構成される。この送受信システム１０Ｄにおいても、図１に示す送受信システム１０Ａと同様の動作をし、同様の効果を得ることができる。
なお、図１１に示す送受信システム１０Ｄと同様のことを、図１０に示す送受信システム１０Ｃに対しても適用できる。図１２は、その場合における送受信システム１０Ｅの構成例を示している。この図１２において、図１０と対応する部分には同一符号を付し、その詳細説明は省略する。サーバ１０６は、図１０の送受信システム１０Ｃにおける４つのサーバ１０６Ａ〜１０６Ｄの機能を備えている。
サーバ１０６は、後段処理機器１０３から各カメラの切り出し領域の情報を受信するとき、ストレージに記憶されているそれぞれのカメラの撮像画像データから切り出し領域の画像データを切り出し、ネットワークを介して、後段処理機器１０３に送る。この送受信システム１０Ｅのその他は、図１０に示す送受信システム１０Ｃと同様に構成される。この送受信システム１０Ｅにおいても、図１０に示す送受信システム１０Ｃと同様の動作をし、同様の効果を得ることができる。
また、上述実施の形態においては、送信側と受信側とをＬＡＮケーブルを用いた有線のネットワーク接続を行っている例を示した。しかし、この間を無線のネットワークで接続する構成も考えられる。
図１３は、その場合における送受信システム１０Ｆの構成例を示している。この図１３において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。この場合、アダプタ１０２Ａ〜１０２Ｄと、後段処理機器１０３は、それぞれ、無線ＬＡＮ（ＷｉＦｉ）の機能を備えている。また、この例においては、後段処理機器１０３とヘッドマウントディスプレイ１０４との間は無線接続されている。この送受信システム１０Ｆにおいても、図１に示す送受信システム１０Ａと同様の動作をし、同様の効果を得ることができる。
なお、図１３に示す送受信システム１０Ｆの構成例は図１に示す送受信システム１０Ａに対応した例であるが、詳細説明は省略するが、図９に示す送受信システム１０Ｂ、図１０に示す送受信システム１０Ｃ、図１１に示す送受信システム１０Ｄ、図１２に示す送受信システム１０Ｅに対応する例も同様に考えることができる。
また、上述実施の形態においては、後段処理機器１０３に表示デバイスとしてヘッドマウントディスプレイ１０４が接続される例を示した。しかし、表示デバイスは、このヘッドマウントディスプレイ１０４に限定されない。例えば、図１４（ａ）は表示デバイスがパーソナルコンピュータ１０７である例を示し、図１４（ｂ）は表示デバイスがタブレット１０８である例を示し、図１４（ｃ）は表示デバイスがスマートフォン１０９である例を示している。
図１５は、表示デバイスがパーソナルコンピュータ１０７、タブレット１０８、スマートフォン１０９などである場合における画面表示例を示している。上下左右にある矢印の部分をタッチあるいはマウスクリックすることで、表示画面をスクロールできる。この場合、パーソナルコンピュータ１０７、タブレット１０８、スマートフォン１０９などから後段処理機器１０３に表示領域の制御情報として、ユーザのタッチあるいはマウスクリックの操作に応じた移動情報が供給される。この移動情報に伴って、後段処理機器１０３は表示領域の設定位置を移動する。
また、上述実施の形態においては、４個のカメラ１０１Ａ〜１０１Ｄの撮像画像データを扱う例を示した。しかし、カメラの個数は４個に限定されるものではなく、その他の個数のカメラの撮像画像データを扱う構成例も同様に考えることができる。例えば、図１６は、１６個のカメラ１０１Ａ〜１０１Ｐの撮像画像データを扱う送受信システム１０Ｇの構成例を示している。
この場合、送信側に、カメラ１０１Ａ〜１０１Ｐの他に、カメラ１０１Ａ〜１０１Ｐのそれぞれに対応して設けられたアダプタ１０２Ａ〜１０２Ｐを有している。図１７は、その場合における合成画像上に設定された表示領域の一例を示している。ここで、画像Ａ〜画像Ｐは、それぞれ、カメラ１０１Ａ〜１０１Ｐの撮像画像である。この場合、所定数のカメラとして選択されるのは、カメラ１０１Ｉ、カメラ１０１Ｍ、カメラ１０１Ｊ、カメラ１０１Ｎの４つである。
なお、図１６に示す送受信システム１０Ｇの構成例は図１に示す送受信システム１０Ａに対応した例であるが、詳細説明は省略するが、図９に示す送受信システム１０Ｂ、図１０に示す送受信システム１０Ｃ、図１１に示す送受信システム１０Ｄ、図１２に示す送受信システム１０Ｅ、図１３に示す送受信システム１０Ｆに対応する例も同様に考えることができる。
また、上述実施の形態においては、送信側から後段処理機器１０３に所定数のカメラの切り出し領域の画像データを送信し、後段処理機器１０３においてその所定数のカメラの切り出し領域の画像データにスティッチ処理、さらには必要なレンズ歪補正処理、射影変換処理を施し、表示領域に対応した合成画像の画像データを得る例を示した。しかし、これらスティッチ処理等を送信側で行なって、送信側から後段処理機器１０３に処理後の合成画像の画像データを送信する構成も考えられる。この場合には、後段処理機器１０３でスティッチ処理等を行う必要がなく、処理負荷を大幅に軽減することができる。
また、上述していないが、後段処理機器１０３の機能をヘッドマウントディスプレイ１０４などの表示デバイスに持たせることも考えられる。その場合には、表示デバイスと別個に後段処理機器１０３を設ける必要がなく、受信側の構成の簡素化を図ることができる。
また、本技術は、以下のような構成を取ることもできる。
（１）隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データを記憶する記憶部と、
上記複数のカメラから選択された所定数のカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記所定数のカメラの切り出し領域の情報に基づいて上記記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出して上記外部機器に上記ネットワークを介して送信する画像データ送信部を備える
送信装置。
（２）上記画像データ送信部は、
上記所定数のカメラの切り出し領域の画像データに圧縮符号化処理を施した後に上記外部機器に送信する
前記（１）に記載の送信装置。
（３）複数のカメラから選択された所定数のカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信ステップを有し、
上記複数のカメラは隣接する撮像画像に重なりが発生するように撮像するものであり、
画像データ送信部により、上記所定数のカメラの切り出し領域の情報に基づいて、対応するカメラの撮像画像データから切り出し領域の画像データを切り出して上記外部機器に上記ネットワークを介して送信する画像データ送信ステップをさらに有する
送信方法。
（４）隣接する撮像画像に重なりが発生するように撮像する複数のカメラと、
上記複数のカメラにそれぞれ対応して設けられた複数のアダプタを備え、
上記複数のアダプタのそれぞれは、
対応するカメラで撮像して得られた撮像画像データを記憶する記憶部と、
対応するカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記切り出し領域の情報に基づいて、上記記憶部に記憶されている撮像画像データから切り出し領域の画像データを切り出して上記外部機器にネットワークを介して送信する画像データ送信部を有する
送信装置。
（５）隣接する撮像画像に重なりが発生するように撮像する複数のカメラを備え、
上記複数のカメラのそれぞれは、
切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記切り出し領域の情報に基づいて、撮像画像データから切り出し領域の画像データを切り出して上記外部機器にネットワークを介して送信する画像データ送信部を有する
送信装置。
（６）隣接する撮像画像に重なりが発生するように撮像する複数のカメラにそれぞれ対応して設けられた複数のサーバを備え、
上記複数のサーバのそれぞれは、
対応するカメラで撮像して得られた撮像画像データを記憶する記憶部と、
対応するカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記切り出し領域の情報に基づいて、上記記憶部に記憶されている撮像画像データから切り出し領域の画像データを切り出して上記外部機器にネットワークを介して送信する画像データ送信部を有する
送信装置。
（７）複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する切り出し領域決定部と、
上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信部と、
上記外部機器から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信部と、
上記受信された所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理部を備える
受信装置。
（８）上記切り出し領域決定部は、
上記合成画像の画像データによる画像を表示する表示デバイスから与えられる表示領域の制御情報に基づいて上記表示領域を設定する
前記（７）に記載の受信装置。
（９）上記表示デバイスは、ヘッドマウントディスプレイであり、
上記表示領域の制御情報は、向きの情報である
前記（８）に記載の受信装置。
（１０）上記表示デバイスは、パーソナルコンピュータ、タブレット、あるいはスマートフォンであり、
上記表示領域の制御情報は、ユーザの操作に基づく移動情報である
前記（８）に記載の受信装置。
（１１）上記受信された上記所定数のカメラの切り出し領域の画像データには圧縮符号化処理が施されており、
上記画像データ処理部は、
上記所定数のカメラの切り出し領域の画像データに圧縮復号化処理を施した後に上記スティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る
前記（７）から（１０）のいずれかに記載の受信装置。
（１２）複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する切り出し領域決定ステップと、
上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信ステップと、
画像データ受信部により、上記外部機器から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信ステップと、
上記所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理ステップを有する
受信方法。
（１３）送信装置と、
上記送信装置にネットワークを介して接続された受信装置を備え、
上記送信装置は、
隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データを記憶する記憶部と、
上記複数のカメラから選択された所定数のカメラの切り出し領域の情報を上記受信装置から上記ネットワークを介して受信する情報受信部と、
上記所定数のカメラの切り出し領域の情報に基づいて上記記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出して上記受信装置に上記ネットワークを介して送信する画像データ送信部を有し、
上記受信装置は、
上記複数のカメラの撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する切り出し領域決定部と、
上記所定数のカメラの切り出し領域の情報を上記送信装置に上記ネットワークを介して送信する情報送信部と、
上記送信装置から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信部と、
上記受信された所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理部を有する
送受信システム。
（１４）隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データを記憶する記憶部と、
上記複数のカメラから選択された所定数のカメラの切り出し領域の情報を外部機器からネットワークを介して受信する情報受信部と、
上記所定数のカメラの切り出し領域の情報に基づいて上記記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出す画像データ切り出し部と、
上記所定数のカメラの切り出し領域の画像データにスティッチ処理を施して合成画像の画像データを得る画像データ処理部と、
上記合成画像の画像データを上記外部機器に上記ネットワークを介して送信する画像データ送信部を備える
送信装置。
（１５）複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域を少なくとも含む領域を切り出し領域として決定する切り出し領域決定部と、
上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信部と、
上記外部機器から上記所定数のカメラの切り出し領域の画像データにスティッチ処理を施して得られた合成画像の画像データを上記ネットワークを介して受信する画像データ受信部を備える
受信装置。
１０Ａ〜１０Ｇ・・・送受信システム
１０１Ａ〜１０１Ｐ，１０１Ａ´〜１０１Ｄ´・・・カメラ
１０２、１０２Ａ〜１０２Ｄ，１０２Ａ´〜１０２Ｄ´・・・アダプタ
１０３・・・後段処理機器
１０４・・・ヘッドマウントディスプレイ
１０５・・・イーサネットスイッチ
１０６、１０６Ａ〜１０６Ｄ・・・サーバ
１０７・・・パーソナルコンピュータ
１０８・・・タブレット
１０９・・・スマートフォン
１２１・・・ＣＰＵ
１２２・・・ＵＳＢインタフェース
１２３・・・ＨＤＭＩインタフェース
１２４・・・メモリ
１２５・・・エンコーダ
１２６・・・イーサネット・インタフェース
１３１・・・ＣＰＵ
１３２・・・イーサネット・インタフェース
１３３・・・メモリ
１３４・・・シグナルプロセッサ
１３５・・・ＵＳＢインタフェース
１３６・・・ＨＤＭＩインタフェース

Claims (7)

  1. 複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域に対してそれぞれその外側に一定領域を付加した領域を上記所定数のカメラの切り出し領域として決定する切り出し領域決定部と、
    上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信部と、
    上記外部機器から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信部と、
    上記受信された所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理部を備える
    受信装置。
  2. 上記切り出し領域決定部は、
    上記合成画像の画像データによる画像を表示する表示デバイスから与えられる表示領域の制御情報に基づいて上記表示領域を設定する
    請求項１に記載の受信装置。
  3. 上記表示デバイスは、ヘッドマウントディスプレイであり、
    上記表示領域の制御情報は、向きの情報である
    請求項２に記載の受信装置。
  4. 上記表示デバイスは、パーソナルコンピュータ、タブレット、あるいはスマートフォンであり、
    上記表示領域の制御情報は、ユーザの操作に基づく移動情報である
    請求項２に記載の受信装置。
  5. 上記受信された上記所定数のカメラの切り出し領域の画像データには圧縮符号化処理が施されており、
    上記画像データ処理部は、
    上記所定数のカメラの切り出し領域の画像データに圧縮復号化処理を施した後に上記スティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る
    請求項１から４のいずれかに記載の受信装置。
  6. 複数のカメラで隣接する撮像画像に重なりが発生するように撮像して得られた撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域に対してそれぞれその外側に一定領域を付加した領域を上記所定数のカメラの切り出し領域として決定する切り出し領域決定ステップと、
    上記所定数のカメラの切り出し領域の情報を外部機器にネットワークを介して送信する情報送信ステップと、
    画像データ受信部により、上記外部機器から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信ステップと、
    上記所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理ステップを有する
    受信方法。
  7. 送信装置と、
    上記送信装置にネットワークを介して接続された受信装置を備え、
    上記送信装置は、
    隣接する撮像画像に重なりが発生するように複数のカメラで撮像して得られた撮像画像データを記憶する記憶部と、
    上記複数のカメラから選択された所定数のカメラの切り出し領域の情報を上記受信装置から上記ネットワークを介して受信する情報受信部と、
    上記所定数のカメラの切り出し領域の情報に基づいて上記記憶部に記憶されている対応するカメラの撮像画像データから切り出し領域の画像データを切り出して上記受信装置に上記ネットワークを介して送信する画像データ送信部を有し、
    上記受信装置は、
    上記複数のカメラの撮像画像で構成される合成画像上に表示領域を設定し、該表示領域と重なる所定数のカメラの撮像画像の領域に対してそれぞれその外側に一定領域を付加した領域を上記所定数のカメラの切り出し領域として決定する切り出し領域決定部と、
    上記所定数のカメラの切り出し領域の情報を上記送信装置に上記ネットワークを介して送信する情報送信部と、
    上記送信装置から上記所定数のカメラの切り出し領域の画像データを上記ネットワークを介して受信する画像データ受信部と、
    上記受信された所定数のカメラの切り出し領域の画像データにスティッチ処理を施して上記表示領域に対応した合成画像の画像データを得る画像データ処理部を有する
    送受信システム。

JP2017551909A 2015-11-17 2016-11-16 受信装置、受信方法および送受信システム Active JP6930423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015224621 2015-11-17
JP2015224621 2015-11-17
PCT/JP2016/083985 WO2017086355A1 (ja) 2015-11-17 2016-11-16 送信装置、送信方法、受信装置、受信方法および送受信システム

Publications (2)

Publication Number Publication Date
JPWO2017086355A1 JPWO2017086355A1 (ja) 2018-09-06
JP6930423B2 true JP6930423B2 (ja) 2021-09-01

Family

ID=58718907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017551909A Active JP6930423B2 (ja) 2015-11-17 2016-11-16 受信装置、受信方法および送受信システム

Country Status (4)

Country Link
US (1) US20180324475A1 (ja)
JP (1) JP6930423B2 (ja)
CN (1) CN108353195A (ja)
WO (1) WO2017086355A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019077999A1 (ja) * 2017-10-16 2019-04-25 ソニー株式会社 撮像装置、画像処理装置、及び、画像処理方法
KR20210046654A (ko) * 2018-08-20 2021-04-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치 및 화상 처리 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
JP2014039201A (ja) * 2012-08-17 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 複数カメラ利用時のｒｏｉを用いた遠隔制御の方法
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP6002591B2 (ja) * 2013-01-31 2016-10-05 日本電信電話株式会社 パノラマ映像情報再生方法、パノラマ映像情報再生システム、及びプログラム
CN104219584B (zh) * 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和系统
CN104301677B (zh) * 2014-10-16 2018-06-15 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置

Also Published As

Publication number Publication date
WO2017086355A1 (ja) 2017-05-26
US20180324475A1 (en) 2018-11-08
CN108353195A (zh) 2018-07-31
JPWO2017086355A1 (ja) 2018-09-06

Similar Documents

Publication Publication Date Title
US11189055B2 (en) Information processing apparatus and method and program
JP6335395B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP6585929B2 (ja) システム、システムの制御方法
EP3510780B1 (en) Method and apparatus for session control support for field of view virtual reality streaming
KR101644868B1 (ko) 단말기 간 이미지 공유 방법, 단말 장치 및 통신 시스템
JP6230113B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム
JP2011182160A (ja) 映像処理装置及び映像処理方法
JP2016171463A (ja) 画像処理装置、画像処理方法およびプログラム
WO2012164148A1 (en) Methods, apparatuses and computer program products for generating panoramic images using depth map data
JP6930423B2 (ja) 受信装置、受信方法および送受信システム
JP6290020B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180012410A1 (en) Display control method and device
JP7326774B2 (ja) 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム
JP2018088605A (ja) 情報処理装置、表示制御装置、制御方法、及びプログラム
JP5861684B2 (ja) 情報処理装置、及びプログラム
JP5864371B2 (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
US20180174345A1 (en) Non-transitory computer-readable storage medium, display control device and display control method
JP6306822B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6333914B2 (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US10630942B2 (en) Control method and information processing device
JP2014174643A (ja) 画像処理システム、その制御方法、画像処理装置、及び画像処理方法
JP6249734B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWI784645B (zh) 擴增實境系統及其操作方法
US20230224451A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R151 Written notification of patent or utility model registration

Ref document number: 6930423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151