JP7277373B2 - 送信装置 - Google Patents

送信装置 Download PDF

Info

Publication number
JP7277373B2
JP7277373B2 JP2019551892A JP2019551892A JP7277373B2 JP 7277373 B2 JP7277373 B2 JP 7277373B2 JP 2019551892 A JP2019551892 A JP 2019551892A JP 2019551892 A JP2019551892 A JP 2019551892A JP 7277373 B2 JP7277373 B2 JP 7277373B2
Authority
JP
Japan
Prior art keywords
area
information
data
image
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551892A
Other languages
English (en)
Other versions
JPWO2019092952A1 (ja
Inventor
知宏 高橋
達也 杉岡
直樹 吉持
喜昭 稲田
正嗣 小林
光二 依田
隆弘 飯沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2019092952A1 publication Critical patent/JPWO2019092952A1/ja
Application granted granted Critical
Publication of JP7277373B2 publication Critical patent/JP7277373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、送信装置に関する。
撮像デバイスにより撮像された画像の一部の領域を切り出し、切り出された領域のデータを伝送する技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。また、画像の一部の領域を切り出す技術としては、例えば下記の特許文献２～４に記載の技術が挙げられる。
特開２０１６－２０１７５６号公報 特開２０１３－１６４８３４号公報 特開２０１２－２０９８３１号公報 特開２０１４－３９２１９号公報
例えば特許文献１に記載の技術が用いられる場合には、画像から一部の領域を切り出し、切り出された領域のデータを伝送することが可能である。よって、特許文献１に記載の技術を用いて切り出された領域の画像を伝送する場合には、画像全体を伝送するよりも伝送に係るデータ量が小さくなるので、伝送時間が短縮されるなどの利点がある。
しかしながら、特許文献１に記載の技術において切り出す領域は矩形の領域であり、他の形状の領域のデータを伝送することについては、特に考慮がされていない。また、特許文献２～４に記載の画像の一部の領域を切り出す技術においても、切り出す領域は矩形の領域である。そのため、特許文献１～４の既存の技術を用いたとしても、画像に対して設定される任意の形状の領域のデータを伝送することは、困難である。
本開示では、画像に対して設定される任意の形状の領域のデータを送信することが可能な、新規かつ改良された送信装置を提案する。
本開示によれば、画像に対して設定される領域に対応する領域情報を上記画像における行ごとに設定し、設定された上記領域情報と上記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、上記画像処理部は、上記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、上記領域を設定し、上記領域情報には、行の位置を示す情報、および行に含まれる上記領域の列の位置を示す情報が、含まれる、送信装置が、提供される。
本開示によれば、画像に対して設定される任意の形状の領域のデータを送信することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る通信システムの構成の一例を示す説明図である。 ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。 ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。 ＭＩＰＩ ＣＳＩ－２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。 画像に対して設定される領域の一例を示す説明図である。 本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図である。 本実施形態に係る送信方法に係る第１の送信方式により送信されるＥｍｂｅｄｄｅｄ Ｄａｔａの一例を説明するための説明図である。 本実施形態に係る送信方法に係る第１の送信方式により送信されるロングパケットの構成の一例を示す説明図である。 本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図である。 本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図である。 本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの他の例を示す説明図である。 本実施形態に係る送信方法に係る第１の送信方式に対応する画像センサの構成の一例を示すハードウェアブロック図である。 本実施形態に係る送信方法に係る第１の送信方式に対応するプロセッサの構成の一例を示す機能ブロック図である。 本実施形態に係る送信方法に係る第２の送信方式により送信されるデータの一例を示す説明図である。 本実施形態に係る送信方法に係る第２の送信方式に対応する画像センサの構成の一例を示すハードウェアブロック図である。 本実施形態に係る送信方法に係る第２の送信方式に対応するプロセッサの構成の一例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る送信方法
［１］本実施形態に係る送信方法を適用することが可能な通信システムの構成
［２］本実施形態に係る通信システムの適用例
［３］本実施形態に係る送信方法
［４］本実施形態に係る送信方法が用いられることにより奏される効果の一例
２．本実施形態に係るプログラム
（本実施形態に係る送信方法）
［１］本実施形態に係る送信方法を適用することが可能な通信システムの構成
まず、本実施形態に係る送信方法を適用することが可能な通信システムの構成の一例を説明する。
以下では、本実施形態に係る通信システムを構成する装置間の通信方式が、ＭＩＰＩ（Mobile Industry Processor Interface） ＣＳＩ－２（Camera Serial Interface 2）規格に則った通信方式である場合を例に挙げる。なお、本実施形態に係る通信システムを構成する装置間の通信方式は、ＭＩＰＩ ＣＳＩ－２規格に則った通信方式に限られない。例えば、本実施形態に係る通信システムを構成する装置間の通信は、ＭＩＰＩ ＣＳＩ－３規格に則った通信方式や、ＭＩＰＩ ＤＳＩ（Display Serial Interface）に則った通信方式など、ＭＩＰＩアライアンスにおいて策定された他の規格であってもよい。また、本実施形態に係る送信方法が適用可能な通信方式が、ＭＩＰＩアライアンスにおいて策定された規格に係る通信方式に限られないことは、言うまでもない。
図１は、本実施形態に係る通信システム１０００の構成の一例を示す説明図である。通信システム１０００としては、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体などが挙げられる。なお、通信システム１０００の適用例は、上記に示す例に限られない。通信システム１０００の他の適用例については、後述する。
通信システム１０００は、例えば、画像センサ１００と、プロセッサ２００と、メモリ３００と、表示デバイス４００とを有する。
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。つまり、通信システム１０００において、画像センサ１００は送信装置の役目を果たし、プロセッサ２００は受信装置の役目を果たす。
なお、図１では、１つの画像センサ１００を有する通信システム１０００を示しているが、本実施形態に係る通信システムが有する画像センサ１００の数は、図１に示す例に限られない。例えば、本実施形態に係る通信システムは、２つ以上の画像センサ１００を有していてもよい。
また、図１では、１つのプロセッサ２００を有する通信システム１０００を示しているが、本実施形態に係る通信システムが有するプロセッサ２００の数は、図１に示す例に限られない。例えば、本実施形態に係る通信システムは、２つ以上のプロセッサ２００を有していてもよい。
画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムでは、画像センサ１００とプロセッサ２００とが一対一に対応していてもよいし、１つのプロセッサ２００に複数の画像センサ１００が対応していてもよい。また、画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムでは、１つの画像センサ１００に複数のプロセッサ２００が対応していてもよい。
画像センサ１００およびプロセッサ２００それぞれを複数有する通信システムにおいても、図１に示す通信システム１０００と同様に、画像センサ１００とプロセッサ２００との間で通信が行われる。
画像センサ１００とプロセッサ２００とは、データバスＢ１により電気的に接続される。データバスＢ１は、画像センサ１００とプロセッサ２００とを接続する、一の信号の伝送路である。例えば、画像センサ１００から送信される画像を示すデータ（以下、「画像データ」と示す場合がある。）は、画像センサ１００からプロセッサ２００へとデータバスＢ１を介して伝送される。
通信システム１０００においてデータバスＢ１により伝送される信号は、例えば、ＭＩＰＩ ＣＳＩ－２規格などの所定の規格に則った通信方式で伝送される。
図２、図３は、ＭＩＰＩ ＣＳＩ－２規格において定められるパケットのフォーマットを示す説明図である。図２は、ＭＩＰＩ ＣＳＩ－２規格において定められているショートパケット（Ｓｈｏｒｔ Ｐａｃｋｅｔ）のフォーマットを示しており、図３は、ＭＩＰＩ ＣＳＩ－２規格において定められているロングパケット（Ｌｏｎｇ Ｐａｃｋｅｔ）のフォーマットを示している。
ロングパケットは、パケットヘッダ（図３に示す“ＰＨ”）、ペイロード（図３に示す“Ｐａｙｌｏａｄ Ｄａｔａ”）、およびパケットフッタ（図３に示す“ＰＦ”）からなるデータである。ショートパケットは、図２に示すようにパケットヘッダ（図３に示す“ＰＨ”）と同様の構造を有するデータである。
ショートパケットとロングパケットとには、いずれもヘッダ部分にＶＣ（Virtual Channel）番号（図２、図３に示す“ＶＣ”。ＶＣ値）が記録され、パケットごとに任意のＶＣ番号が付与されうる。同一のＶＣ番号が付与されたパケットは、同じ画像データに属するパケットとして扱われる。
また、ショートパケットとロングパケットとには、いずれもヘッダ部分にＤＴ（Data Type）値（図２、図３に示す“Ｄａｔａ Ｔｙｐｅ”）が記録される。そのため、ＶＣ番号と同様に、同一のＤＴ値が付与されたパケットを、同じ画像データに属するパケットとして取り扱うことも可能である。
ロングパケットのヘッダ部分のＷｏｒｄ Ｃｏｕｎｔには、パケットの終わりがワード数で記録される。ショートパケットとロングパケットとのヘッダ部分のＥＣＣには、誤り訂正符号（Error Correcting Code）が記録される。
ＭＩＰＩ ＣＳＩ－２規格では、データ信号を伝送する期間では高速差動信号が用いられ、また、データ信号のブランキング期間では低電力信号が用いられる。また、高速差動信号が用いられる期間は、ＨＰＳ（High Speed State）の期間と呼ばれ、低電力信号が用いられる期間は、ＬＰＳ（Low Power State）の期間と呼ばれる。
図４は、ＭＩＰＩ ＣＳＩ－２規格におけるパケットの送信に係る信号波形の一例を示す説明図である。図４のＡは、パケットの伝送の一例を示しており、図４のＢは、パケットの伝送の他の例を示している。図４に示す“ＳＴ”、“ＥＴ”、“ＰＨ”、“ＰＦ”、“ＳＰ”、“ＰＳ”は、それぞれ下記を意味する。
・ＳＴ：Ｓｔａｒｔ ｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＥＴ：Ｅｎｄ ｏｆ Ｔｒａｎｓｍｉｓｓｉｏｎ
・ＰＨ：Ｐａｃｋｅｔ Ｈｅａｄｅｒ
・ＰＦ：Ｐａｃｋｅｔ Ｆｏｏｔｅｒ
・ＳＰ：Ｓｈｏｒｔ Ｐａｃｋｅｔ
・ＰＳ：Ｐａｃｋｅｔ Ｓｐａｃｉｎｇ
図４に示すように、ＬＰＳの期間における差動信号（図４に示す“ＬＰＳ”）と、ＨＰＳの期間における差動信号（図４に示す“ＬＰＳ”以外）とでは、差動信号の振幅が異なることが分かる。そのため、伝送効率を向上させる観点からは、できる限りＬＰＳの期間が入らないことが望ましい。
画像センサ１００とプロセッサ２００とは、例えば、データバスＢ１とは異なる制御バスＢ２により電気的に接続される。制御バスＢ２は、画像センサ１００とプロセッサ２００とを接続する、他の信号の伝送路である。例えば、プロセッサ２００から出力される制御情報が、プロセッサ２００から画像センサ１００へと制御バスＢ２を介して伝送される。
制御情報には、例えば、制御のための情報と処理命令とが含まれる。制御のための情報としては、例えば、画像サイズを示すデータ、フレームレートを示すデータ、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータのうちの１または２以上など、画像センサ１００における機能を制御するためのデータが、挙げられる。また、制御情報には、画像センサ１００を示す識別情報が含まれていてもよい。識別情報としては、例えば、画像センサ１００に設定されているＩＤなどの、画像センサ１００を特定することが可能な任意のデータが挙げられる。
なお、制御バスＢ２を介してプロセッサ２００から画像センサ１００へと伝送される情報は、上記に示す例に限られない。例えば、プロセッサ２００は、画像における領域を指定する領域指定情報を、制御バスＢ２を介して伝送してもよい。領域指定情報としては、領域に含まれる画素の位置を示すデータ（例えば、領域に含まれる画素の位置が座標で表される座標データなど）など、領域を特定することが可能な任意の形式のデータが、挙げられる。
図１では、画像センサ１００とプロセッサ２００とが制御バスＢ２により電気的に接続されている例を示しているが、画像センサ１００とプロセッサ２００とは、制御バスＢ２で接続されていなくてもよい。例えば、画像センサ１００とプロセッサ２００とは、任意の通信方式の無線通信によって、制御情報などを送受信してもよい。
以下、図１に示す通信システム１０００を構成する各装置について、説明する。
［１－１］メモリ３００
メモリ３００は、通信システム１０００が有する記録媒体である。メモリ３００としては、例えば、ＲＡＭ（Random Access Memory）などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ３００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
メモリ３００には、例えば、画像センサ１００から出力された画像が記憶される。メモリ３００への画像の記録は、例えばプロセッサ２００により制御される。
［１－２］表示デバイス４００
表示デバイス４００は、通信システム１０００が有する表示デバイスである。表示デバイス４００としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。表示デバイス４００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
表示デバイス４００の表示画面には、例えば、画像センサ１００から出力された画像や、プロセッサ２００において実行されるアプリケーションに係る画面、ＵＩ（User Interface）に係る画面など、様々な画像や画面が表示される。表示デバイス４００の表示画面への画像などの表示は、例えばプロセッサ２００により制御される。
［１－３］プロセッサ２００（受信装置）
プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。上述したように、プロセッサ２００は、通信システム１０００において受信装置の役目を果たす。画像センサ１００から送信されたデータの処理に係る構成（受信装置の役目を果たすための構成）の一例については、後述する。
プロセッサ２００は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。プロセッサ２００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
プロセッサ２００は、例えば、メモリ３００などの記録媒体への画像データの記録制御に係る処理、表示デバイス４００の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行う。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ３００などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス４００などの表示デバイスに伝達する処理”が、挙げられる。
また、プロセッサ２００は、例えば、画像センサ１００に対して制御情報を送信することによって、画像センサ１００における機能を制御してもよい。プロセッサ２００は、例えば、画像センサ１００に対して領域指定情報を送信することによって、画像センサ１００から送信されるデータを制御することも可能である。
［１－４］画像センサ１００（送信装置）
画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ１００は、通信システム１０００において送信装置の役目を果たす。
画像センサ１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。画像センサ１００において生成される画像は、画像センサ１００におけるセンシング結果を示すデータに該当する。画像センサ１００の構成の一例については、後述する。
画像センサ１００は、後述する本実施形態に係る送信方法により、画像に対して設定される領域に対応するデータ（以下、「領域データ」と示す。）を送信する。領域データの送信に係る制御は、例えば、画像センサ１００における画像処理部として機能する構成要素（後述する）により行われる。画像に対して設定される領域は、ＲＯＩ（Region Of Interest）と呼ばれる場合がある。以下では、画像に対して設定される領域を「ＲＯＩ」と示す場合がある。
画像に対する領域の設定に係る処理としては、例えば、“画像から物体を検出し、検出された物体を含む領域を設定する処理”、“任意の操作デバイスに対する操作などにより指定された領域を設定する処理”など、画像における一部の領域を特定することが可能な任意の処理（または、画像から一部の領域を切り出すことが可能な任意の処理）が、挙げられる。
画像に対する領域の設定に係る処理は、画像センサ１００が行ってもよいし、プロセッサ２００などの外部装置において行われてもよい。画像センサ１００が画像に対する領域の設定に係る処理を行う場合、画像センサ１００は、画像に対する領域の設定に係る処理の結果に従って領域を特定する。また、例えば、画像に対する領域の設定に係る処理が外部装置において行われる場合、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域を特定する。
上述したように、画像センサ１００は、領域指定情報を制御バスＢ２を介してプロセッサ２００から取得することが可能である。また、プロセッサ２００は、通信システム１０００において、画像センサ１００が送信する領域データの送信先の受信装置に該当する。つまり、画像センサ１００は、領域データの送信先の受信装置から取得される領域指定情報に基づいて、領域を特定することが可能である。
画像センサ１００が、領域データを送信すること、すなわち、画像の一部のデータを送信することによって、画像全体を伝送するよりも伝送に係るデータ量が小さくなる。よって、画像センサ１００が、領域データを送信することによって、例えば、伝送時間が短縮される、通信システム１０００における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。
なお、画像センサ１００は、画像全体を示すデータを送信することも可能である。
画像センサ１００が、領域データを送信する機能、および画像全体を示すデータを送信する機能を有している場合、画像センサ１００は、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えて行うことが可能である。
画像センサ１００は、例えば、設定されている動作モードによって、領域データを送信し、または、画像全体を示すデータを送信する。動作モードの設定は、例えば、任意の操作デバイスに対する操作などにより行われる。
また、画像センサ１００は、外部装置から取得される領域指定情報に基づいて、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えてもよい。画像センサ１００は、例えば、外部装置から領域指定情報が取得されたときに、当該領域指定情報に対応する領域の領域データを送信し、外部装置から領域指定情報が取得されないときに、画像全体を示すデータを送信する。
通信システム１０００は、例えば図１に示す構成を有する。なお、本実施形態に係る通信システムの構成は、図１に示す例に限られない。
例えば、図１では、送信装置の役目を果たす装置として画像センサ１００を例に挙げたが、送信装置の役目を果たす装置は、画像センサ１００に限られない。例えば、本実施形態に係る通信システムが、撮像デバイスなどの画像センサデバイスと、画像センサデバイスと電気的に接続されている送信器とを有する構成である場合、当該送信器が送信装置の役目を果たしていてもよい。
また、図１では、受信装置の役目を果たす装置として、プロセッサ２００を例に挙げたが、受信装置の役目を果たす装置は、プロセッサ２００に限られない。例えば、本実施形態に係る通信システムでは、データを受信する機能を有する任意のデバイスが、受信装置の役目を果たすことが可能である。
また、通信システムの外部の記録媒体に画像センサ１００から送信される画像が記憶される場合、画像センサ１００から送信される画像がプロセッサ２００が備えるメモリに記憶される場合、あるいは、画像センサ１００から送信される画像が記録されない場合などには、本実施形態に係る通信システムは、メモリ３００を有していなくてもよい。
また、本実施形態に係る通信システムは、図１に示す表示デバイス４００を有さない構成をとることが可能である。
さらに、本実施形態に係る通信システムは、後述する本実施形態に係る通信システムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。
［２］本実施形態に係る通信システムの適用例
以上、本実施形態として、通信システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン（遠隔操作による動作、または、自律的な動作が可能な機器）、自動車などの移動体、ＰＣ（Personal Computer）などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器に適用することができる。
［３］本実施形態に係る送信方法
次に、本実施形態に係る送信方法を説明する。以下では、本実施形態に係る送信方法が、図１に示す画像センサ１００（本実施形態に係る送信装置）に適用される場合を、例に挙げる。画像センサ１００において本実施形態に係る送信方法に係る処理は、例えば、画像処理部として機能するＩＣチップ（後述する）により、行われる。なお、画像センサ１００では、画像処理部として機能する他の構成要素によって、本実施形態に係る送信方法に係る処理が行われてもよい。
図５は、画像に対して設定される領域の一例を示す説明図である。図５では、領域の例として、領域１、領域２、領域３、および領域４という４つの領域を示している。なお、画像に対して設定される領域が、図５に示す例に限られないことは、言うまでもない。
上述したように、既存の技術を用いる場合には、図５の領域１のような矩形の領域のデータを伝送することは、可能である。
しかしながら、上述したように、既存の技術を用いたとしても、図５の領域２、領域３、および領域４のような、画像に対して設定される矩形以外の任意の形状の領域のデータを伝送することは、困難である。また、既存の技術を用いたとしても、図５の領域１および領域２のような１つの行に複数の領域が設定されている場合、および図５の領域３および領域４のような設定されている領域が重なっている場合に、領域のデータを伝送することは困難である。ここで、画像における行とは、画素の位置を二次元平面座標（ｘ，ｙ）で表すとき、ｙ座標が同一であることをいう。
［３－１］基本処理
そこで、画像センサ１００は、画像に対して設定される領域に対応する領域情報を、画像における行ごとに設定する。
そして、画像センサ１００は、設定された領域情報と、領域に対応する領域データとを、行ごとに送信させる。画像センサ１００は、例えばｙ座標の値の昇順または降順など、所定の順序に従って、行ごとの領域情報と領域データとを送信させる。また、画像センサ１００は、ランダムな順序で、行ごとの領域情報と領域データとを送信させてもよい。
本実施形態に係る領域情報とは、画像に対して設定される領域を、受信装置側で特定するためのデータ（データ群）である。領域情報には、例えば、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が、含まれる。
なお、領域情報に含まれる情報は、後述する送信方式によって変わりうる。例えば、後述する第２の送信方式および第３の送信方式では、行に含まれる領域の識別情報と、行に含まれる領域の大きさを示す情報との一方または双方が、含まれていなくてもよい。例えば、ＶＣ番号で領域が分けられる場合、後述する第２の送信方式および第３の送信方式では、ＶＣ番号が、行に含まれる領域の識別情報の役目を果たしてもよい。また、ＶＣ番号で領域が分けられる場合、後述する第２の送信方式および第３の送信方式では、ペイロード長を、行に含まれる領域の大きさを示す情報として代用することが可能である。以下では、“領域情報に、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が、含まれる場合”を例に挙げる。
行の位置を示す情報としては、例えば、ｙ座標の番号を示すデータや、初期値（例えば“０”（ゼロ））がインクリメントされて算出されるｙ座標の値を示すデータなど、行を特定することが可能な任意のデータが、挙げられる。以下では、行の位置を示す情報を「Ｙ」と示す場合がある。
領域の識別情報としては、例えば、領域に付された番号などの領域のＩＤを示すデータなど、領域を一意に特定することが可能な任意のデータが、挙げられる。以下では、領域の識別情報を、「ＲＯＩ ＩＤ」または「Ｉ」と示す場合がある。
領域の列の位置を示す情報としては、例えば、ｘ座標の番号を示すデータなど、列を特定することが可能な任意のデータが、挙げられる。以下では、領域の列の位置を示す情報を、「ＲＯＩ Ｘ」または「Ｘ」と示す場合がある。
領域の大きさを示す情報としては、行における領域の画素数を示すデータなど、行における領域の大きさを特定することが可能な任意のデータが、挙げられる。以下では、行における領域の大きさを、「ＲＯＩ長」、「ＲＯＩ ＬＥＮ」、あるいは「Ｌ」と示す場合がある。
例えば上記のように、行の位置を示す情報、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、領域情報に設定されることによって、領域情報を受信した受信装置は、領域の特定、領域の位置の特定、およびＲＯＩ長の特定を行うことができる。また、領域の特定、領域の位置の特定、およびＲＯＩ長の特定が行われることによって、行において、領域が、どの位置に、どのＲＯＩ長で設定されているかを、一意に特定することが可能である。
よって、行の位置を示す情報、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、領域情報に設定されることによって、通信システム１０００は、“図５の領域１のような、矩形の領域の領域データ”、および“図５の領域２、領域３、および領域４のような、矩形以外の任意の形状の領域の領域データ”それぞれの伝送に対応することができる。
また、画像センサ１００は、領域情報に含まれる情報を、行に含まれる領域ごとにまとめて領域情報に設定してもよい。画像センサ１００は、例えば、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報を、行に含まれる領域ごとにまとめて領域情報に設定する。領域ごとにまとめて領域情報に設定するとは、例えば、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報（領域情報に含まれる情報の一例）を、一群のデータとして領域情報に設定することをいう。
ここで、画像センサ１００は、行ごとに領域情報を設定するので、複数の領域が含まれていたとしても、行の位置は一定である。よって、画像センサ１００は、行の位置を示す情報を領域情報に１つ設定する。なお、画像センサ１００が、行の位置を示す情報、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報を、行に含まれる領域ごとにまとめて設定することが可能であることは、言うまでもない。
例えば上記のように、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、行に含まれる領域ごとにまとめて設定されることによって、領域情報を受信した受信装置は、領域の特定、領域の位置の特定、およびＲＯＩ長の特定を、領域ごとに、より容易に行うことができる。また、領域の特定、領域の位置の特定、およびＲＯＩ長の特定が行われることによって、行において、どの領域が、どの位置に、どのＲＯＩ長で設定されているかを、一意に特定することが可能である。
よって、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、行に含まれる領域ごとにまとめて設定されることによって、通信システム１０００は、“図５の領域１および領域２のような１つの行に複数の領域が設定されている場合における、領域データの伝送”、および“図５の領域３および領域４のような設定されている領域が重なっている場合における、領域データの伝送”に、対応することができる。
また、図５の領域３および領域４のように設定されている領域が重なっている場合、すなわち、複数の領域が重なる重なり部分が存在する場合、画像センサ１００は、重なり部分のデータを重複して送信させるかを判定してもよい。画像センサ１００は、例えば重なり部分が存在する領域の組ごとに、重なり部分のデータを重複して送信させるかを判定する。そして、重なり部分のデータを重複して送信させるかを判定するときには、画像センサ１００は、重なり部分のデータを重複して送信させると判定した場合に、重なり部分のデータを重複して送信させる。
ここで、重なり部分のデータを重複して送信させるとは、例えば、“重なり部分のデータを、重なり部分が存在する複数の領域それぞれに対応する領域データに含めて送信させること”をいう。重なり部分のデータを重複して送信させる具体例については、後述する。
画像センサ１００が、重なり部分のデータを重複して送信させる場合であっても、領域情報および領域データを受信した受信装置は、領域情報によって、領域に対応する領域データを一意に特定することが可能である。また、重なり部分のデータを重複して送信させる場合、画像センサ１００は、受信装置側で複数の領域それぞれに対応する領域データの分離がより容易となるように、データの区切りを示すヘッダなどを追加してもよい。
重なり部分のデータが重複して送信されることによって、“プロセッサ２００などの領域データを受信した受信装置において、受信された領域データを用いた処理がより行い易くなるという利点”が、ある。
画像センサ１００は、例えば、重なり部分を含む行の列数（画素数）に基づいて、重なり部分のデータを重複して送信させるかを判定する。より具体的には、画像センサ１００は、例えば、重なり部分を含む行において重なり部分のデータを重複して送信させる場合における列数を、求める。そして、画像センサ１００は、求められた列数が設定されている閾値以下の場合（または、求められた列数が当該閾値より小さい場合）に、重なり部分のデータを重複して送信させると判定する。また、画像センサ１００は、求められた列数が設定されている閾値よりも大きい場合（または、求められた列数が当該閾値以上の場合）に、重なり部分のデータを重複して送信させると判定しない。上記重なり部分のデータの送信判定に係る閾値は、予め設定されている固定値であってもよいし、制御バスＢ２を介したプロセッサ２００による制御などによって変更可能な可変値であってもよい。
例えば上記のように、“重なり部分のデータを重複して送信させる場合における列数”に基づき重なり部分のデータを重複して送信させるかが判定されることによって、画像センサ１００は、重なり部分のデータを重複して送信することと、重なり部分のデータを重複して送信しないこととを、設定される領域に応じて自動的に切り替えることができる。また、重なり部分のデータを重複して送信することと、重なり部分のデータを重複して送信しないこととが、設定される領域に応じて自動的に切り替えられることによって、画像センサ１００は、受信装置の処理能力を超えないデータを送信することができる。
なお、重なり部分のデータを重複して送信させるかを判定する方法は、重なり部分を含む行の列数を用いる方法に限られない。
例えば、画像センサ１００は、設定されている動作モードに基づいて、重なり部分のデータを重複して送信させるかを判定することも可能である。画像センサ１００は、例えば、画像センサ１００は、動作モードが重なり部分のデータを重複して送信する動作モードである場合に、重なり部分のデータを重複して送信させると判定する。また、画像センサ１００は、例えば、画像センサ１００は、動作モードが重なり部分のデータを重複して送信しない動作モードである場合には、重なり部分のデータを重複して送信させると判定しない。画像センサ１００における動作モードは、例えば制御バスＢ２を介したプロセッサ２００による制御などによって設定される。
また、例えば図５の領域２に示すように、設定される領域によっては、１つの行に同一の領域が複数存在しうる。そこで、画像センサ１００は、１つの行に同一の領域が複数存在する場合、存在する数分、領域情報を設定してもよい。１つの行に同一の領域が複数存在する場合、画像センサ１００は、例えば、存在する数分、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報を、領域情報に設定する。
例えば、１つの行に同一の領域が複数存在する数分、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が領域情報に設定されることによって、領域情報を受信した受信装置は、領域の特定、領域の位置の特定、およびＲＯＩ長の特定を、複数存在する同一の領域ごとに行うことができる。
よって、１つの行に同一の領域が複数存在する数分、領域情報が設定されることによって、通信システム１０００は、図５の領域２の領域データの伝送に対応することができる。
したがって、例えば上記のような各種情報が含まれる領域情報が行ごとに設定されることによって、領域情報を受信した受信装置は、行に設定されている領域を一意に特定することができる。
なお、領域情報に含まれる情報は、上記に示す例に限られない。例えば、領域情報には、行に含まれる領域数を示すデータ（以下、「Ｎｕｍ ｏｆ ＲＯＩ」と示す場合がある。）など、他のデータが含まれていてもよい。領域情報に含まれる情報の具体例については、後述する。
［３－２］例外処理
なお、本実施形態に係る送信方法に係る処理は、上記基本処理に限られない。
（ａ）例外処理の第１の例
例えば、画像センサ１００は、領域情報に含まれる情報のうち、１つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてもよい。つまり、画像センサ１００は、１つ前に領域情報を送信させる行から変化した情報を含む領域情報を、送信させる。
上記のように、１つ前に送信させる行の領域情報に含まれる情報から変化しない情報が送信されないことによって、領域情報のデータ量をより低減させることができる。領域情報のデータ量が低減することは、伝送時間の短縮や、通信システム１０００における伝送に係る負荷の低減に寄与する。
なお、１つ前に送信させる行の領域情報に含まれる情報から変化しない情報であっても、他の情報の変化に伴い領域情報に設定される情報があってもよい。
例えば、画像センサ１００は、領域の列の位置を示す情報を領域情報に設定するときには、領域情報に領域の識別情報を設定する。また、例えば、画像センサ１００は、領域の大きさを示す情報を領域情報に設定するときには、領域情報に領域の識別情報を領域情報に設定する。つまり、領域のｘ座標およびＲＯＩ長の一方または双方が、１つ前に送信させる行の領域情報に含まれる内容から変更される場合、画像センサ１００は、領域の識別情報を領域情報に設定する。
領域のｘ座標およびＲＯＩ長の一方または双方が変更される場合に、画像センサ１００が、領域の識別情報を領域情報に設定することによって、領域情報を受信した受信装置は、変更内容に対応する領域を一意に特定することができる。
（ｂ）例外処理の第２の例
上述したように、画像センサ１００は、所定の順序に従って行ごとの領域情報と領域データとを、送信させることが可能である。このとき、領域情報と領域データとを送信させる行が、所定の順序に従った行である場合には、画像センサ１００は、領域情報に行の位置を示す情報を設定しなくてもよい。
画像センサ１００が、領域情報に行の位置を示す情報を設定しない場合であっても、受信装置は、所定の順序に従うことによって、受信された領域情報および領域データが、どの行に含まれる領域のデータであるのかを、特定することができる。
［３－３］領域情報と領域データとの送信方式
画像センサ１００は、例えば、“上記［３－１］に示す基本処理”、または、“上記［３－１］に示す基本処理、および上記［３－２］に示す例外処理”を行うことによって、領域情報と領域データとを行ごとに送信する。次に、領域情報と領域データとを送信する送信方式について、説明する。
領域情報と領域データとの送信方式としては、例えば、下記の（１）に示す第１の送信方式、下記の（２）に示す第２の送信方式、および下記の（３）に示す第３の送信方式が挙げられる。
（１）第１の送信方式
（１－１）第１の送信方式に係る処理
画像センサ１００は、領域情報と領域データとを、パケットのペイロードに格納して、行ごとに送信させる。
図６は、本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図である。図６は、“図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報および領域データが、図３に示すＭＩＰＩのロングパケットのペイロードに格納して、行ごとに送信される例”を示している。
図６に示す“ＦＳ”は、ＭＩＰＩ ＣＳＩ－２規格におけるＦＳ（Frame Start）パケットであり、図６に示す“ＦＥ”は、ＭＩＰＩ ＣＳＩ－２規格におけるＦＥ（Frame End）パケットである（他の図においても同様である）。
図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”は、送信されるデータのヘッダ、または、フッタに埋め込むことの可能なデータである。“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”としては、例えば、画像センサ１００が付加的に送信する付加情報が挙げられる。以下では、Ｅｍｂｅｄｄｅｄ Ｄａｔａを「ＥＢＤ」と示す場合がある。
本実施形態に係る付加情報としては、例えば、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの、１または２以上が、挙げられる。
領域のデータ量を示す情報としては、例えば“領域に含まれる画素数（または領域のデータ量）と、ヘッダのデータ量とを示すデータ”など、領域のデータ量を特定することが可能な任意の形式のデータが、挙げられる。図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域のデータ量を示す情報が送信されることによって、受信装置は、各領域のデータ量を特定することができる。つまり、図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域のデータ量を示す情報が送信されることによって、受信装置が、領域情報に基づいて各領域のデータ量を算出する機能を有していない場合であっても、受信装置に領域のデータ量を特定させることができる。
領域の大きさを示す情報としては、例えば“領域を含む矩形の領域を示すデータ（例えば、当該矩形の領域における、水平方向の画素数および垂直方向の画素数を示すデータ）”など、領域の大きさを特定することが可能な任意の形式のデータが、挙げられる。
領域の優先度を示す情報は、例えば、領域のデータの処理において用いられるデータである。一例を挙げると、領域の優先度を示す情報が示す優先度は、領域を処理する順序や、図５の領域３および領域４のような設定されている領域が重なっている場合における処理などに、利用される。
なお、本実施形態に係る付加情報は、上記に示す例に限られない。例えば、本実施形態に係る付加情報としては、画像センサデバイスにおける露出値などを示す露光情報、画像センサデバイスにおけるゲインを示すゲイン情報などの、様々なデータが、挙げられる。露光情報が示す露光値、およびゲイン情報が示すゲインそれぞれは、制御バスＢ２を介したプロセッサ２００による制御によって画像センサデバイスに設定される。
図７は、本実施形態に係る送信方法に係る第１の送信方式により送信されるＥｍｂｅｄｄｅｄ Ｄａｔａの一例を説明するための説明図である。図７は、図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の大きさを示す情報が送信され、送信される領域の大きさを示す情報が、領域を含む最小の矩形の領域を示すデータである例を、示している。また、図７は、図５と同様に、領域１、領域２、領域３、および領域４という４つの領域が設定されている例を示している。
図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の大きさを示す情報が送信されることによって、受信装置は、図７のＲ１に示す領域１を含む最小の矩形の領域、図７のＲ２に示す領域２を含む最小の矩形の領域、図７のＲ３に示す領域３を含む最小の矩形の領域、および図７のＲ４に示す領域４を含む最小の矩形の領域を、特定することができる。つまり、図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の大きさを示す情報が送信されることによって、受信装置が、領域情報に基づいて各領域を含む最小の矩形の領域を特定する機能を有していない場合であっても、受信装置に、領域情報に基づいて各領域を含む最小の矩形の領域を特定させることができる。なお、領域の大きさを示す情報が、各領域を含む最小の矩形の領域を示すデータに限られないことは、言うまでもない。
領域の優先度を示す情報としては、例えば、優先度が高い順にＲＯＩ ＩＤが並べられているデータや、優先度が低い順にＲＯＩ ＩＤが並べられているデータなど、領域の優先度を特定することが可能な任意の形式のデータが、挙げられる。図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の優先度を示す情報が送信されることによって、受信装置は、例えば、領域の処理順序や、どの領域を優先的に処理するかを、特定することができる。つまり、図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として領域の優先度を示す情報が送信されることによって、受信装置における領域に対する処理を制御することができる。
なお、図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として送信される、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報それぞれの例が、上記に示す例に限られないことは、言うまでもない。
図６に示す“ＰＨ”は、ロングパケットのパケットヘッダである。ここで、第１の送信方式に係るロングパケットのパケットヘッダは、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ（変化情報）として、機能してもよい。つまり、図６に示す“ＰＨ”は、ロングパケットのデータタイプを示す一のデータであるといえる。
一例を挙げると、画像センサ１００は、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化している場合、“ＰＨ”に“０ｘ３８”を設定する。この場合、画像センサ１００は、領域情報をロングパケットのペイロードに格納する。
他の例を挙げると、画像センサ１００は、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していない場合、“ＰＨ”に“０ｘ３９”を設定する。この場合、画像センサ１００は、領域情報をロングパケットのペイロードに格納しない。つまり、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していない場合、画像センサ１００は、領域情報を送信させない。
なお、“ＰＨ”に設定されるデータが、上記に示す例に限られないことは、言うまでもない。
図６に示す“Ｉｎｆｏ”は、ペイロードに格納される領域情報である（他の図においても同様である）。図６に示すように、領域情報は、ペイロードの先頭部分に格納される。以下では、領域情報を「ＲＯＩ Ｉｎｆｏ」と示す場合がある。
図６に示す“１”、“２”、“３”、および“４”それぞれは、ペイロードに格納される、領域１の領域データ、領域２の領域データ、領域３の領域データ、および領域４の領域データに該当する（他の図においても同様である）。なお、図６では、各領域データが区切られて示されているが、これは便宜上区切りを表したものであり、ペイロードに格納されるデータに区切りはない（他の図においても同様である）。以下では、領域データを「ＲＯＩ ＤＡＴＡ」と示す場合がある。
図８は、本実施形態に係る送信方法に係る第１の送信方式により送信されるロングパケットの構成の一例を示す説明図である。
図８に示す“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”は、“ＲＯＩ Ｉｎｆｏ Ｐａｒａｍｅｔｅｒ”の伝送形式を示すデータである。“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”が設定されることによって、領域情報を受信した受信装置は、“ＲＯＩ Ｉｎｆｏ Ｐａｒａｍｅｔｅｒ”の内容を一意に特定することが可能となる。
また、“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”は、ロングパケットのデータタイプを示す他のデータに該当する。つまり、第１の送信方式に係るロングパケットでは、“ＰＨ”および“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”という２つが、ロングパケットのデータタイプとして定義される。
“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”は、例えば１［ｂｙｔｅ］のデータであり、Ｖｅｒｉｌｏｇ－ＨＤＬ表記で表すと下記のような意味をもつ。なお、“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”が１［ｂｙｔｅ］のデータに限られないことは、言うまでもない。
・ ［７：４］・・・Ｒｅｓｅｒｖｅｄ
・［３］・・・「１’ｂ１」：Ｙを伝送する，「１’ｂ０」:Ｙを伝送しない
・［２］・・・「１’ｂ１」：ＲＯＩ ＩＤを伝送する，「１’ｂ０」：ＲＯＩ ＩＤを伝送しない
・［１］・・・「１’ｂ１」：Ｘを伝送する，「１’ｂ０」:Ｘを伝送しない
・［０］・・・「１’ｂ１」：ＲＯＩ長を伝送する，「１’ｂ０」:ＲＯＩ長を伝送しない
また、図８に示す“ＲＯＩ Ｉｎｆｏ Ｐａｒａｍｅｔｅｒ”には、“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”に応じたデータが格納される。
なお、第１の送信方式に係る領域情報には、例えば、領域のｘ座標およびＲＯＩ長の双方が、１つ前に送信させるパケットに含まれる領域情報から変化していないことを示すフラグ（以下、「ＮＯ ＣＨＡＮＧＥフラグ」と示す。）が、含まれていてもよい。ＮＯ ＣＨＡＮＧＥフラグが変化していないことを示す場合（例えば、ＮＯ ＣＨＡＮＧＥフラグが１’ｂ１の場合）、“ＲＯＩ Ｉｎｆｏ Ｔｙｐｅ”の上記［１］および上記［０］は、省略されてもよい。
ＮＯ ＣＨＡＮＧＥフラグとしては、例えば、ＲＯＩ ＩＤのＭＳＢ（Most Significant Bit）が挙げられる。なお、ＮＯ ＣＨＡＮＧＥフラグは、ＲＯＩ ＩＤとは別体のデータであってもよい。
図９は、本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図であり、図８に示すロングパケットの構成に従って図６に示すデータを具体的に示した図である。
第１の送信方式では、図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報および領域データは、例えば図９に示すように、ＭＩＰＩのロングパケットのペイロードに格納されて、行ごとに送信される。
上述したように、画像センサ１００は、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの１または２以上（付加情報の一例）を、図６に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として送信することが可能である。
また、上述したように、図５の領域３および領域４のような複数の領域が重なる重なり部分が存在する場合、画像センサ１００は、重なり部分のデータを重複して送信させるかを判定して、判定結果に応じて重なり部分のデータを重複して送信させてもよい。
図１０は、本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの一例を示す説明図である。図１０のＡは、画像センサ１００が、図５の領域３および領域４における重なり部分のデータを重複して送信させない場合の一例を示している。また、図１０のＢは、画像センサ１００が、図５の領域３および領域４における重なり部分のデータを重複して送信させる場合の一例を示している。図１０のＢにおいて符号Ｄで表される部分が、領域３および領域４における重なり部分のデータに該当する。
なお、第１の送信方式により送信されるデータの例は、図６に示す例に限られない。図１１は、本実施形態に係る送信方法に係る第１の送信方式により送信されるデータの他の例を示す説明図である。
フレームは、例えば、フレームヘッダ領域と、パケット領域と、フレームフッタ領域とに分けられる。
フレームヘッダ領域には、フレームの識別子の役目を果たすフレーム番号が含まれる。また、フレームヘッダ領域には、画像に設定される領域数と、付加情報とが含まれていてもよい。つまり、第１の送信方式では、付加情報は、“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”で送信されることに限られない。図１１では、付加情報として下記の情報が送信される例を示している。
・物理領域長さ：例えば、画像センサデバイスの画素数
・出力領域長さ：例えば、画像センサデバイスから出力される画像の画素数（画像上の長さ）
・総データ量：例えば、パケット領域のデータ量
・優先度：領域の優先度
・センシング情報：例えば、領域に含まれる物体についての演算内容など、領域に対応する画像を処理するためのデータ
・ＡＤ語長の情報：ＡＤＣにおける語長
・露光情報
・ゲイン情報
パケット領域では、図６と同様に、領域情報および領域データが行ごとに送信される。
フレームフッタ領域には、付加情報など、フレームヘッダ領域と同様のデータが含まれうる。
図１１に示す例においても、図６に示す例と同様に、領域情報と領域データとを行ごとに伝送することができる。
（１－２）第１の送信方式の特徴、利点
本実施形態に係る送信方法に係る第１の送信方式は、例えば下記に示す特徴を有する。なお、本実施形態に係る送信方法に係る第１の送信方式が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・ＥＢＤによって付加情報を送信し、ペイロードによって、設定された領域に対応する領域情報を送信する
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信する
・任意の形状の領域に対応することができる
また、第１の送信方式では、ペイロードの先頭部分に格納されて送信される領域情報は、例えば下記のような特徴を有する。なお、第１の送信方式に係る領域情報が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・ロングパケットのデータタイプが、領域伝送用に２つ定義される
・一方は、領域情報の伝送時に用いられる（例えば、“０ｘ３８”を示すデータ）
・他方は、領域情報が１つ前に送信させるパケットに含まれる領域情報と同一の場合に用いられる（例えば、“０ｘ３９”を示すデータ）
・後述する第２の送信方式に係るショートパケットと異なり、区切りがないので、パラメータ伝送形式を送信する
・１つの行に同一の領域が複数存在する場合、存在する数分、同一の領域の識別情報を送信することによって、１つの行に複数存在する同一の領域の情報を、伝送する
・行の位置を示す情報（Ｙ）
・初期値０（ゼロ）でインクリメントされる
・所定の順序に従って送信されないとき（例えば間引かれるとき）に送信される
・ＮＯ ＣＨＡＮＧＥフラグ
・領域の識別情報（ＲＯＩ ＩＤ）のＭＳＢを利用して送信する
・領域の識別情報（Ｉ）
・領域が増減するときに送信される
・領域の列の位置、ＲＯＩ長が変更される場合に送信する
・領域の列の位置を示す情報（Ｘ）
・初期値０（ゼロ）
・変更するときに送信される
・領域の識別情報とセットで送信される
・領域の大きさを示す情報（Ｌ）
・最初に送信される行では、必ず設定される
・変更されるときに送信される
・領域の識別情報とセットで送信される
また、第１の送信方式は、例えば下記に示す利点を有する。
・伝送効率が高い
・既に規定されているＣＳＩ－２規格と後方互換性がある
・任意の領域（ＲＯＩ）の形状を伝送可能である
（１－３）第１の送信方式に係る構成例
次に、上述した第１の送信方式に対応する画像センサ１００の構成の一例と、第１の送信方式に対応するプロセッサ２００の構成の一例（画像センサ１００から送信されたデータの処理に係る構成の一例）とを示す。
（１－３－１）第１の送信方式に対応する画像センサ１００（送信装置）の構成
図１２は、本実施形態に係る送信方法に係る第１の送信方式に対応する画像センサ１００の構成の一例を示すハードウェアブロック図である。画像センサ１００は、例えば、画像センサデバイス１０２と、ＩＣチップ１０４とを備える。図１２に示す画像センサ１００は、バッテリなどの通信システム１０００を構成する内部電源（図示せず）から供給される電力、または、通信システム１０００の外部電源から供給される電力によって、動作する。
画像センサデバイス１０２は、例えば、“デジタルスチルカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスである。
一例を挙げると、画像センサデバイス１０２として機能する撮像デバイスは、レンズ／撮像素子と信号処理回路とを含んで構成される。
レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を複数用いたイメージセンサとで構成される。
信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、信号処理回路は、画像に対する領域の設定に係る処理を行い、領域指定情報をＩＣチップ１０４へ伝達してもよい。さらに、信号処理回路は、露光情報やゲイン情報などの様々なデータを、ＩＣチップ１０４へ伝達してもよい。
画像センサデバイス１０２により生成された画像を示す信号は、ＩＣチップ１０４へ伝達される。なお、画像センサデバイス１０２からＩＣチップ１０４へ伝達される画像を示す信号がアナログ信号である場合、ＩＣチップ１０４は、例えば、備えているＡＤＣにてアナログ信号をデジタル信号に変換し、変換により得られた画像データを処理する。以下では、画像センサデバイス１０２からＩＣチップ１０４へ画像データが伝達される場合を例に挙げる。
ＩＣチップ１０４は、第１の送信方式によるデータの送信機能に係る回路が集積されたＩＣ（Integrated Circuit）がチップ状に形成されたものであり、画像センサデバイス１０２から伝達される画像データを処理し、生成された画像に対応するデータを送信する。画像に対応するデータとは、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）、または、領域情報および領域データである。なお、第１の送信方式によるデータの送信機能に係る回路は、１つのＩＣチップの形態で実現されることに限られず、複数のＩＣチップで形成されていてもよい。
ＩＣチップ１０４は、例えば、画像処理回路１０６と、ＬＩＮＫ制御回路１０８と、ＥＣＣ生成回路１１０と、ＰＨ生成回路１１２と、ＥＢＤ用バッファ１１４と、画像データバッファ１１６と、合成回路１１８と、送信回路１２０とを備える。
画像処理回路１０６は、本実施形態に係る送信方法に係る処理を行う機能を有する一の回路である。本実施形態に係る送信方法に係る処理を行う場合、画像処理回路１０６は、領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、ＬＩＮＫ制御回路１０８、ＥＣＣ生成回路１１０、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、画像データバッファ１１６、合成回路１１８、送信回路１２０により、行ごとに第１の送信方式にて送信させる。また、画像処理回路１０６は、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）を、行ごとに送信させることも可能である。
画像処理回路１０６としては、例えばＭＰＵなどのプロセッサが、挙げられる。
画像処理回路１０６が有する機能を、機能ブロックに分けて説明する。図１２に示すように、画像処理回路１０６は、例えば、領域切り出し部１２２と、画像処理制御部１２４と、エンコード部１２６とを有する。
領域切り出し部１２２は、画像に対する領域の設定に係る処理を行う役目を果たし、画像センサデバイス１０２から伝達される画像データが示す画像に対して、領域（ＲＯＩ）を設定する。領域切り出し部１２２は、例えば、設定されている動作モードに応じて、画像に対する領域の設定に係る処理を行う。例えば、領域切り出し部１２２は、動作モードが領域データを送信する動作モードである場合に、画像に対する領域の設定に係る処理を行う。また、領域切り出し部１２２は、動作モードが画像全体を示すデータを送信する動作モードである場合には、画像に対する領域の設定に係る処理を行わない。
領域切り出し部１２２は、例えば、画像に対して任意の物体検出処理を行って物体を検出し、検出された物体ごとに、検出された物体を含む領域を設定する。また、領域切り出し部１２２は、任意の操作デバイスに対する操作などにより指定された領域を、設定してもよい。領域切り出し部１２２が設定する領域としては、例えば、図５に示す領域１に示すような矩形の領域と、図５の領域２、領域３、および領域４のような、画像に対して設定される矩形以外の任意の形状の領域とが、含まれうる。
領域が設定された場合、領域切り出し部１２２は、例えば、設定された領域を示す領域指定情報を、画像処理制御部１２４へ伝達する。また、領域が設定されない場合、領域切り出し部１２２は、領域指定情報を画像処理制御部１２４へ伝達しない。
また、領域切り出し部１２２は、画像センサデバイス１０２から伝達される画像データを、エンコード部１２６へ伝達する。
画像処理制御部１２４は、本実施形態に係る送信方法に係る処理を行う役目を果たし、領域情報を画像における行ごとに設定し、設定された領域情報を、エンコード部１２６とＰＨ生成回路１１２とへ伝達する。
画像処理制御部１２４は、例えば、領域切り出し部１２２から取得される領域指定情報、または、外部装置から取得される領域指定情報（図示せず）に基づいて、画像における各行に含まれる領域を特定する。そして、画像処理制御部１２４は、特定された領域に基づいて、行ごとに領域情報を設定する。このとき、画像処理制御部１２４は、上述した例外処理に示すように、１つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてよい。
また、領域指定情報が取得されない場合、画像処理制御部１２４は、領域情報を設定しない。
なお、画像処理制御部１２４における処理は、上記に示す例に限られない。
例えば、画像処理制御部１２４は、例えば、フレーム情報を生成し、生成したフレーム情報をＬＩＮＫ制御回路１０８へ伝達してもよい。フレーム情報としては、例えば、フレームごとに付与されるＶＣの番号が挙げられる。また、フレーム情報には、ＹＵＶデータ、ＲＧＢデータまたはＲＡＷデータなどのデータタイプを示すデータが含まれていてもよい。
また、例えば、画像処理制御部１２４は、付加情報を設定する処理を行い、設定された付加情報をＥＢＤ用バッファ１１４へ伝達してもよい。
付加情報を設定する処理としては、例えば付加情報を生成する処理が挙げられる。付加情報を生成する処理としては、例えば、領域のデータ量を示す情報を生成する処理、領域の大きさを示す情報を生成する処理、および領域の優先度を示す情報を生成する処理のうちの１または２以上が、挙げられる。
なお、付加情報を設定する処理は、付加情報を生成する処理に限られない。例えば、画像処理制御部１２４は、露光情報やゲイン情報などの画像センサデバイス１０２から取得された情報を、付加情報として設定してもよい。また、画像処理制御部１２４は、例えば、物理領域長さを示すデータ、出力領域長さを示すデータ、画像フォーマットを示すデータ、データ総量を示すデータなどの、様々な領域に関するデータを、付加情報として設定してもよい。
エンコード部１２６は、例えば、画像センサデバイス１０２から伝達される画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）規格に対応する方式などの所定の方式でエンコードする。
画像処理制御部１２４から領域情報が取得されない場合、エンコード部１２６は、エンコードされた画像データを、画像データバッファ１１６へ伝達する。以下では、エンコードされた画像データ、すなわち、エンコードされた画像全体を示すデータを「通常データ」と示す場合がある。
また、画像処理制御部１２４から領域情報が取得される場合、エンコード部１２６は、取得された領域情報と、領域に対応するエンコードされた領域データとを、画像データバッファ１１６へ伝達する。
画像処理回路１０６は、例えば、領域切り出し部１２２、画像処理制御部１２４、およびエンコード部１２６を有することによって、本実施形態に係る送信方法に係る処理を行う。なお、図１２に示す画像処理回路１０６の機能ブロックは、画像処理回路１０６が有する機能を便宜上切り分けたものであり、画像処理回路１０６における機能の切り分け方は、図１２に示す例に限られない。
ＬＩＮＫ制御回路１０８は、例えば、フレーム情報を、行ごとにＥＣＣ生成回路１１０、ＰＨ生成回路１１２、および合成回路１１８に伝達する。
ＥＣＣ生成回路１１０は、行ごとに誤り訂正符号を設定する。ＥＣＣ生成回路１１０は、例えば、フレーム情報における１行のデータ（例えば、ＶＣの番号、データタイプなど）に基づいて、その行の誤り訂正符号を生成する。ＥＣＣ生成回路１１０は、例えば、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、画像データバッファ１１６、および合成回路１１８それぞれと接続される。そして、ＥＣＣ生成回路１１０は、生成した誤り訂正符号を、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、画像データバッファ１１６、および合成回路１１８それぞれに伝達する。また、ＥＣＣ生成回路１１０は、ＰＨ生成回路１１２などと連携して誤り訂正符号を生成してもよい。
ＰＨ生成回路１１２は、フレーム情報を用いて、行ごとにパケットヘッダを生成する。
ＰＨ生成回路１１２は、画像処理回路１０６（図１２の例では、画像処理制御部１２４）から伝達される領域情報に基づいて、パケットヘッダを生成してもよい。具体的には、ＰＨ生成回路１１２は、領域情報に基づいて、上述したような“領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ”（変化情報）を、パケットヘッダに設定する。
ＥＢＤ用バッファ１１４は、画像処理回路１０６（図１２の例では、画像処理制御部１２４）から伝達される付加情報を一時的に保持するバッファである。ＥＢＤ用バッファ１１４は、所定のタイミングで付加情報を“ＥｍｂｅｄｄｅｄＤａｔａ”として合成回路１１８に出力する。なお、ＥＢＤ用バッファ１１４から出力される“ＥｍｂｅｄｄｅｄＤａｔａ”は、後述する画像データバッファ１１６を経由して合成回路１１８に伝達されてもよい。
画像データバッファ１１６は、画像処理回路１０６（図１２の例では、エンコード部１２６）から伝達されるデータ（通常データ、または、領域情報および領域データ）を一時的に保持するバッファである。画像データバッファ１１６は、保持していているデータを、所定のタイミングで行ごとに合成回路１１８に出力する。
合成回路１１８は、例えば、ＥＣＣ生成回路１１０、ＰＨ生成回路１１２、ＥＢＤ用バッファ１１４、および画像データバッファ１１６それぞれから取得されるデータに基づいて、伝送するパケットを生成する。
送信回路１２０は、合成回路１１８から伝達されるパケットを、行ごとにデータバスＢ１（信号の伝送路の一例。以下、同様とする。）を介して送信する。例えば送信回路１２０は、図４に示すような高速差動信号によりパケットを送信する。
例えば図５に示す領域１、領域２、領域３、および領域４が設定された場合、送信回路１２０は、図９に示すように、設定された領域情報と領域に対応する領域データとを、行ごとにロングパケットで送信する。
また、領域が設定されない場合、すなわち、画像データバッファ１１６から通常データが出力される場合には、送信回路１２０は、各行に対応するデータがペイロードに格納されたロングパケットを、行ごとに送信する。なお、この場合においても、送信回路１２０は、付加情報を“ＥｍｂｅｄｄｅｄＤａｔａ”として送信することが可能である。
第１の送信方式に対応する画像センサ１００は、例えば図１２に示すハードウェア構成を有する。なお、第１の送信方式に対応する画像センサ１００のハードウェア構成が、図１２に示す例に限られないことは、言うまでもない。
（１－３－２）第１の送信方式に対応するプロセッサ２００（受信装置）の構成
図１３は、本実施形態に係る送信方法に係る第１の送信方式に対応するプロセッサ２００の構成の一例を示す機能ブロック図である。図１３では、便宜上、画像センサ１００のみを併せて示している。プロセッサ２００は、例えば、ヘッダ分離部２０２と、ヘッダ解釈部２０４と、ペイロード分離部２０６と、画像処理部２０８と、演算部２１０と、送信部２１２とを有する。
ヘッダ分離部２０２は、受信されたデータから、ヘッダ部分に対応するヘッダデータと、ペイロード部分に対応するペイロードデータとを分離する。ヘッダ分離部２０２は、例えば、規格などで予め規定されたルールに従って、受信されたデータからヘッダデータを分離する。また、ヘッダ分離部２０２は、例えば、規格などで予め規定されたルールに従って、受信されたデータからペイロードデータを分離してもよいし、ヘッダ解釈部２０４の処理の結果に基づき受信されたデータからペイロードデータを分離してもよい。
ヘッダ解釈部２０４は、ヘッダデータが示す内容を解釈する。
一例を挙げると、ヘッダ解釈部２０４は、例えば、ヘッダデータが“０ｘ３８”を示す場合、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していると解釈する。また、この場合、ヘッダ解釈部２０４は、ペイロードデータに領域情報が含まれていると解釈してもよい。
他の例を挙げると、ヘッダ解釈部２０４は、例えば、ヘッダデータが“０ｘ３９”を示す場合、領域情報に含まれる情報が１つ前に送信させるパケットに含まれる領域情報から変化していないと解釈する。また、この場合、ヘッダ解釈部２０４は、ペイロードデータに領域情報が含まれてないと解釈してもよい。
なお、ヘッダ解釈部２０４における処理の例は、上記に示す例に限られない。例えば、ヘッダ解釈部２０４は、ペイロードデータの位置を特定し、特定した位置をヘッダ分離部２０２へ伝達してもよい。また、ヘッダ解釈部２０４は、ペイロードデータが“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”であるかを解釈することも可能である。
ペイロード分離部２０６は、ヘッダ解釈部２０４における解釈結果に基づいて、ペイロードデータから、付加情報、領域情報、および画像データ（通常データまたは領域データ。以下、図１３の説明においては同様とする。）を分離する。
例えば、ヘッダ解釈部２０４においてペイロードデータが“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”であると解釈された場合、ペイロード分離部２０６は、ペイロードデータを付加情報とする。
また、ヘッダ解釈部２０４においてペイロードデータが“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”であると解釈されない場合、ペイロード分離部２０６は、ペイロードデータから、領域情報と画像データとを分離する。例えば図６、図８、図９を参照して説明したように、領域情報と領域データとはペイロードに格納され、かつ、領域情報は、ペイロードの先頭部分に格納される。また、画像センサ１００から通常データが送信される場合、ペイロードには領域情報は格納されない。よって、ペイロード分離部２０６は、ペイロードを先頭部分から処理することによって、領域情報と画像データとを分離することができる。
画像処理部２０８は、ペイロード分離部２０６から伝達される付加情報、領域情報、および画像データに基づいて、行ごとの画像データを処理し、領域に対応する画像を示すデータ、または、画像全体を示すデータを得る。
画像処理部２０８は、例えば、ペイロード分離部２０６から伝達される情報に基づいて、データバスＢ１を介して取得されたデータが、領域に対応する画像を示すデータであるか、または、画像全体を示すデータであるかを判定し、判定結果に応じた処理モードで処理を行ってもよい。
例えば、画像処理部２０８は、あるフレームの画像を対象とする処理を最初に行うとき（すなわち、最初の行に対応する処理を行うとき）に領域情報が伝達される場合に、データバスＢ１を介して取得されたデータが、領域に対応する画像を示すデータであると判定する。そして、画像処理部２０８は、領域データを処理する処理モードに移行して、行ごとの領域情報および領域データに基づいて、領域に対応する画像を示すデータを得る。
例えば、画像処理部２０８は、あるフレームの画像を対象とする処理を最初に行うときに領域情報が伝達されない場合に、データバスＢ１を介して取得されたデータが、画像全体を示すデータであると判定する。そして、画像処理部２０８は、通常の処理モード（通常データを処理する処理モード）に移行して、行ごとの通常データに基づいて、画像全体を示すデータを得る。
なお、データバスＢ１を介して取得されたデータの判定方法は、上記に示す例に限られない。例えば、画像処理部２０８は、領域に関する情報（例えば、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの、１または２以上）が、付加情報として伝達された場合に、データバスＢ１を介して取得されたデータが、領域に対応する画像を示すデータであると判定してもよい。
画像処理部２０８は、例えば、デコード部２１４と、画像生成部２１６とを有する。
デコード部２１４は、例えば、画像センサ１００におけるエンコードに対応する所定の方式で、画像データをデコードする。このとき、デコード部２１４は、付加情報に基づいて処理の内容を変えてもよい。
画像生成部２１６は、領域情報に基づいて、デコード部２１４によりデコードされた行ごとの画像データから、領域に対応する画像を示すデータ、または、画像全体を示すデータを生成する。
例えば、画像生成部２１６は、あるフレームの画像を対象とする処理を最初に行うときに領域情報が伝達される場合に、デコード部２１４から伝達される画像データが領域データであると判定する。そして、領域データであると判定された場合には、画像生成部２１６は、領域情報に基づいて行ごとの領域データを、領域ごとに分ける。ここで、画像生成部２１６が処理に用いる領域情報には、処理対象の行に対応する領域情報と、既に処理を行った行に対応する領域情報とが含まれうる。
ここで、領域情報には、基本的に、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が含まれるので、画像生成部２１６は、各行に含まれる領域データを一意に特定することができる。よって、画像生成部２１６は、あるフレームの画像に設定された領域に対応する画像を示すデータを、領域ごとに生成することができる。
また、画像生成部２１６は、あるフレームの画像を対象とする処理を最初に行うときに領域情報が伝達されない場合には、伝達される画像データが通常データであると判断する。通常データであると判定された場合、画像生成部２１６は、デコード部２１４から伝達される行ごとの画像データから、画像全体を示すデータを生成する。
画像処理部２０８は、例えばデコード部２１４と画像生成部２１６とを有することによって、領域に対応する画像を示すデータ、または、画像全体を示すデータを得る。
演算部２１０は、例えば、画像処理部２０８において得られた画像データに基づく処理を行う。画像処理部２０８において得られた画像データとしては、例えば、画像全体を示す画像データ、領域に対応する画像を示す画像データ、あるいは、画像全体が縮小された画像を示す画像データなどが、挙げられる。
画像処理部２０８において得られた画像データに基づく処理としては、例えば、メモリ３００などの記録媒体への画像データの記録制御に係る処理や、表示デバイス４００の表示画面への画像の表示制御に係る処理などが、挙げられる。
なお、演算部２１０における処理は、上記に示す例に限られない。例えば上述したように、演算部２１０は、画像に対する領域の設定に係る処理など、様々な処理を行うことが可能である。
演算部２１０における画像に対する領域の設定に係る処理の一例を挙げると、演算部２１０は、画像処理部２０８において得られた画像データに対して、特徴点抽出に係る演算、動き抽出に係る演算、機械学習による演算などの、様々な演算を行うことによって、領域を設定する。また、演算部２１０は、設定した領域に対応する領域指定情報を生成する。なお、演算部２１０における画像に対する領域の設定に係る処理の例が、上記に示す例に限られないことは、言うまでもない。
送信部２１２は、各種データ（例えば、画像データ、制御情報など）を、制御バスＢ２や各種信号線などを介して、外部装置へ送信する。送信部２１２としては、例えば、プロセッサ２００が備えるＩ２Ｃ（Inter Integrated Circuits）やＩ３Ｃ（Improved Inter Integrated Circuits）など所定の規格に則った通信デバイスが、挙げられる。
送信部２１２における通信は、例えば演算部２１０により制御される。演算部２１０が、送信部２１２に画像データを送信させることによって、例えば、メモリ３００などの記録媒体への画像データの記録、表示デバイス４００の表示画面への画像の表示が、実現される。また、演算部２１０が、送信部２１２に、領域指定情報を含む制御情報を、制御バスＢ１を介して画像センサ１００に対して送信させることによって、画像センサ１００への設定された領域を示す領域指定情報の送信が、実現される。
プロセッサ２００は、例えば、ヘッダ分離部２０２、ヘッダ解釈部２０４、ペイロード分離部２０６、画像処理部２０８、演算部２１０、および送信部２１２を有することによって、画像センサ１００から受信したデータに基づいて、領域に対応する画像を示すデータ、または、画像全体を示すデータを得ることができる。なお、図１３に示すプロセッサ２００の機能ブロックは、プロセッサ２００が有する機能を便宜上切り分けたものであり、プロセッサ２００における機能の切り分け方は、図１３に示す例に限られない。また、外部装置に各種データを送信する機能を有さない場合、プロセッサ２００は、送信部２１２を有していなくてもよい。
（２）第２の送信方式
（２－１）第２の送信方式に係る処理
画像センサ１００は、領域データを第１のパケットのペイロードに格納し、領域情報に含まれる情報それぞれを、第１のパケットと異なる第２のパケットにそれぞれ格納する。そして、画像センサ１００は、第１のパケットおよび第２のパケットを、行ごとに送信させる。
第２の送信方式に係る第１のパケットとしては、ＭＩＰＩのロングパケットが挙げられ、第２の送信方式に係る第２のパケットとしては、ＭＩＰＩのショートパケットが挙げられる。なお、本実施形態に係る第１のパケットおよび第２のパケットの例は、上記に示す例に限られない。本実施形態に係る第１のパケットおよび第２のパケットの他の例については、後述する第３の送信方式にて示す。以下に示す第２の送信方式では、第１のパケットがＭＩＰＩのロングパケットであり、第２のパケットがＭＩＰＩのショートパケットである場合を例に挙げる。
図１４は、本実施形態に係る送信方法に係る第２の送信方式により送信されるデータの一例を示す説明図である。図１４は、“図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域情報に含まれる情報それぞれが、図２に示すＭＩＰＩのショートパケットによって、行ごとに送信される例”を示している。また、図１４は、“図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域データが、図３に示すＭＩＰＩのロングパケットのペイロードに格納して、行ごとに送信される例”を示している。
図１４に示す“Ｙ”は、行の位置を示す情報が格納されるショートパケットを示している。図１４に示す“Ｉ１”、“Ｉ２”、“Ｉ３”、“Ｉ４”は、図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域の識別情報が格納される、ショートパケットを示している。図１４に示す“Ｘ１”、“Ｘ２”、“Ｘ３”、“Ｘ４”は、図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域の列の位置を示す情報が格納される、ショートパケットを示している。図１４に示す“Ｌ１”、“Ｌ２”、“Ｌ３”、“Ｌ４”は、図５に示す領域１、領域２、領域３、および領域４それぞれに対応する領域の大きさを示す情報が格納される、ショートパケットを示している。
図６に示すように上述した上記（１）に示す第１の送信方式が用いられる場合、領域情報と領域データとは、例えばＭＩＰＩのロングパケットなどの１つのパケットのペイロードに格納され、行ごとに送信される。
これに対して、図１４に示すように第２の送信方式が用いられる場合、領域情報と領域データとは異なるパケットに分けて格納され、行ごとに送信される。
また、図１４に示すように、第２の送信方式が用いられる場合においても、第１の送信方式が用いられる場合と同様に、“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”を送信することが可能である。つまり、画像センサ１００は、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの１または２以上（付加情報の一例）を、図１４に示す“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”として送信することができる。
また、第２の送信方式が用いられる場合、画像センサ１００は、第１の送信方式が用いられる場合と同様に、重なり部分のデータを重複して送信させるかを判定して、判定結果に応じて重なり部分のデータを重複して送信させてもよい。
（２－２）第２の送信方式の特徴、利点
本実施形態に係る送信方法に係る第２の送信方式は、例えば下記に示す特徴を有する。なお、本実施形態に係る送信方法に係る第２の送信方式が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・ＥＢＤによって付加情報を送信し、ショートパケットによって、設定された領域に対応する領域情報を送信する
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信する
・任意の形状の領域に対応することができる
また、第２の送信方式では、ショートパケットにより送信される領域情報は、例えば下記のような特徴を有する。なお、第２の送信方式に係る領域情報が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・１つの行に同一の領域が複数存在する場合、存在する数分、同一の領域の識別情報を送信することによって、１つの行に複数存在する同一の領域の情報を、伝送する
・行の位置を示す情報（Ｙ）
・初期値０（ゼロ）でインクリメントされる
・所定の順序に従って送信されないとき（例えば間引かれるとき）に送信される
・領域の識別情報（Ｉ）
・領域が増減するときに送信される
・領域の列の位置、ＲＯＩ長が変更される場合に送信する
・領域の列の位置を示す情報（Ｘ）
・初期値０（ゼロ）
・変更するときに送信される
・領域の識別情報とセットで送信される
・領域の大きさを示す情報（Ｌ）
・最初に送信される行では、必ず設定される
・変更されるときに送信される
・領域の識別情報とセットで送信される
・変更があっても１行に１つしか領域がない場合は、省略されてもよい（ロングパケットのペイロード長が、ＲＯＩ長と同一となるため）
また、第２の送信方式は、例えば下記に示す利点を有する。
・領域情報の誤り訂正が可能である
・既に規定されているＣＳＩ－２規格と後方互換性がある
・任意の領域（ＲＯＩ）の形状を伝送可能である
（２－３）第２の送信方式に係る構成例
次に、上述した第２の送信方式に対応する画像センサ１００の構成の一例と、第２の送信方式に対応するプロセッサ２００の構成の一例（画像センサ１００から送信されたデータの処理に係る構成の一例）とを示す。
（２－３－１）第２の送信方式に対応する画像センサ１００（送信装置）の構成
図１５は、本実施形態に係る送信方法に係る第２の送信方式に対応する画像センサ１００の構成の一例を示すハードウェアブロック図である。画像センサ１００は、例えば、画像センサデバイス１０２と、ＩＣチップ１５０とを備える。図１５に示す画像センサ１００は、図１２に示す画像センサ１００と同様に、通信システム１０００を構成する内部電源（図示せず）から供給される電力などによって、動作する。
図１５に示す画像センサデバイス１０２は、図１２に示す画像センサデバイス１０２と同様の機能、構成を有する。
ＩＣチップ１５０は、第２の送信方式によるデータの送信機能に係る回路が集積されたＩＣがチップ状に形成されたものであり、画像センサデバイス１０２から伝達される画像データを処理し、生成された画像に対応するデータを送信する。なお、第２の送信方式によるデータの送信機能に係る回路は、１つのＩＣチップの形態で実現されることに限られず、複数のＩＣチップで形成されていてもよい。
ＩＣチップ１５０は、例えば、画像処理回路１５２と、ＬＩＮＫ制御回路１０８と、ＥＣＣ生成回路１１０と、ＰＨ生成回路１５４と、ＥＢＤ用バッファ１１４と、画像データバッファ１１６と、合成回路１５６と、送信回路１２０とを備える。
図１５に示すＬＩＮＫ制御回路１０８、ＥＣＣ生成回路１１０、ＥＢＤ用バッファ１１４、画像データバッファ１１６、および送信回路１２０それぞれは、図１２に示すＬＩＮＫ制御回路１０８、ＥＣＣ生成回路１１０、ＥＢＤ用バッファ１１４、画像データバッファ１１６、および送信回路１２０と同様の機能、構成を有する。
画像処理回路１５２は、本実施形態に係る送信方法に係る処理を行う機能を有する一の回路である。本実施形態に係る送信方法に係る処理を行う場合、画像処理回路１５２は、領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、ＬＩＮＫ制御回路１０８、ＥＣＣ生成回路１１０、ＰＨ生成回路１５４、ＥＢＤ用バッファ１１４、画像データバッファ１１６、合成回路１５６、送信回路１２０により、行ごとに第２の送信方式にて送信させる。また、画像処理回路１５２は、画像センサデバイス１０２から伝達される画像データ（すなわち、画像全体を示すデータ）を、行ごとに送信させることも可能である。
画像処理回路１５２としては、例えばＭＰＵなどのプロセッサが、挙げられる。
画像処理回路１５２が有する機能を、機能ブロックに分けて説明する。図１５に示すように、画像処理回路１５２は、例えば、領域切り出し部１２２と、画像処理制御部１２４と、エンコード部１５８とを有する。
図１５に示す領域切り出し部１２２および画像処理制御部１２４の機能は、図１２に示す領域切り出し部１２２および画像処理制御部１２４と同様である。
エンコード部１５８は、図１２に示すエンコード部１２６と同様に、画像センサデバイス１０２から伝達される画像データを、所定の方式でエンコードする。
画像処理制御部１２４から領域情報が取得されない場合、エンコード部１５８は、図１２に示すエンコード部１２６と同様に、エンコードされた画像データを、画像データバッファ１１６へ伝達する。
また、画像処理制御部１２４から領域情報が取得される場合、エンコード部１５８は、取得された領域情報に基づき領域を特定し、特定された領域に対応するエンコードされた領域データを、画像データバッファ１１６へ伝達する。
画像処理回路１５２は、例えば、領域切り出し部１２２、画像処理制御部１２４、およびエンコード部１５８を有することによって、本実施形態に係る送信方法に係る処理を行う。なお、図１５に示す画像処理回路１５２の機能ブロックは、画像処理回路１５２が有する機能を便宜上切り分けたものであり、画像処理回路１５２における機能の切り分け方は、図１５に示す例に限られない。
ＰＨ生成回路１５４は、画像処理回路１５２（図１５の例では、画像処理制御部１２４）から伝達される領域情報に基づいて、領域情報に含まれる情報それぞれが格納されるショートパケットを生成する。
また、ＰＨ生成回路１５４は、図１２に示すＰＨ生成回路１１２と同様に、フレーム情報を用いて、行ごとにロングパケットのパケットヘッダを生成する。
合成回路１５６は、ＥＣＣ生成回路１１０、ＰＨ生成回路１５４、ＥＢＤ用バッファ１１４、および画像データバッファ１１６それぞれから取得されるデータに基づいて、“領域情報が格納されるショートパケット”、および“行ごとの画像データ（通常データまたは領域データ）がペイロードに格納されるロングパケット”を、伝送するパケットとして生成する。
送信回路１２０は、合成回路１５６から伝達されるパケットを、行ごとにデータバスＢ１を介して送信する。
例えば図５に示す領域１、領域２、領域３、および領域４が設定された場合、送信回路１２０は、図１４に示すように、領域情報に含まれる情報それぞれをショートパケットに格納し、領域データをロングパケットのペイロードに格納して、行ごとに送信させる。
また、領域が設定されない場合、すなわち、画像データバッファ１１６から通常データが出力される場合には、送信回路１２０は、図１２に示す送信回路１２０と同様に、各行に対応するデータがペイロードに格納されたロングパケットを、行ごとに送信する。なお、この場合においても、送信回路１２０は、図１２に示す送信回路１２０と同様に、付加情報を“ＥｍｂｅｄｄｅｄＤａｔａ”として送信することが可能である。
第２の送信方式に対応する画像センサ１００は、例えば図１５に示すハードウェア構成を有する。なお、第２の送信方式に対応する画像センサ１００のハードウェア構成が、図１５に示す例に限られないことは、言うまでもない。
（２－３－２）第２の送信方式に対応するプロセッサ２００（受信装置）の構成
図１６は、本実施形態に係る送信方法に係る第２の送信方式に対応するプロセッサ２００の構成の一例を示す機能ブロック図である。図１６では、便宜上、画像センサ１００のみを併せて示している。プロセッサ２００は、例えば、パケット分離部２５０と、ショートパケット解釈部２５２と、ロングパケット分離部２５４と、ヘッダ解釈部２５６と、ペイロード解釈部２５８と、画像処理部２０８と、演算部２１０と、送信部２１２とを有する。
パケット分離部２５０は、受信されたデータから、ショートパケットとロングパケットとを分離する。パケット分離部２５０は、例えば、ショートパケットの区切りを検出することにより、ショートパケットとロングパケットとを分離する。
ショートパケット解釈部２５２は、パケット分離部２５０から伝達されるショートパケットから、領域情報を構成する各種情報を取り出し、領域情報を画像処理部２０８へ伝達する。
ロングパケット分離部２５４は、図１３に示すヘッダ分離部２０２と同様に、パケット分離部２５０から伝達されるロングパケットから、ヘッダ部分に対応するヘッダデータと、ペイロード部分に対応するペイロードデータとを分離する。
ヘッダ解釈部２５６は、ヘッダデータが示す内容を解釈する。例えば、ヘッダ解釈部２５６は、ペイロードデータが“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”であるかを解釈する。また、ヘッダ解釈部２５６は、ペイロードデータの位置を特定し、特定した位置をロングパケット分離部２５４へ伝達してもよい。
ペイロード解釈部２５８は、ヘッダ解釈部２５６における解釈結果に基づいて、ペイロードデータから、付加情報、または、画像データ（通常データまたは領域データ。以下、図１６の説明においては同様とする。）を取り出す。
例えば、ヘッダ解釈部２５６においてペイロードデータが“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”であると解釈された場合、ペイロード解釈部２５８は、ペイロードデータを付加情報とする。
また、ヘッダ解釈部２５６においてペイロードデータが“Ｅｍｂｅｄｄｅｄ Ｄａｔａ”であると解釈されない場合、ペイロード解釈部２５８は、ペイロードデータを画像データとする。
図１６に示す画像処理部２０８は、図１３に示す画像処理部２０８と同様に、付加情報、領域情報、および画像データに基づいて、行ごとの画像データを処理し、領域に対応する画像を示すデータ、または、画像全体を示すデータを得る。
図１６に示す演算部２１０は、図１３に示す演算部２１０と同様に、画像処理部２０８において得られた画像データに基づく処理や、画像に対する領域の設定に係る処理などの、様々な処理を行う。
図１６に示す送信部２１２は、図１３に示す送信部２１２と同様に、各種データ（例えば、画像データ、制御情報など）を、制御バスＢ２や各種信号線などを介して、外部装置へ送信する。
プロセッサ２００は、例えば、パケット分離部２５０、ショートパケット解釈部２５２、ロングパケット分離部２５４、ヘッダ解釈部２５６、ペイロード解釈部２５８、画像処理部２０８、演算部２１０、および送信部２１２を有することによって、画像センサ１００から受信したデータに基づいて、領域に対応する画像を示すデータ、または、画像全体を示すデータを得ることができる。なお、図１６に示すプロセッサ２００の機能ブロックは、プロセッサ２００が有する機能を便宜上切り分けたものであり、プロセッサ２００における機能の切り分け方は、図１６に示す例に限られない。また、図１３に示すプロセッサ２００と同様に、外部装置に各種データを送信する機能を有さない場合、プロセッサ２００は、送信部２１２を有していなくてもよい。
（３）第３の送信方式
（３－１）第３の送信方式に係る処理
画像センサ１００は、上記（２）に示す第２の送信方式と同様に、領域データを第１のパケットのペイロードに格納し、領域情報に含まれる情報を、第１のパケットと異なる第２のパケットに格納する。そして、画像センサ１００は、第１のパケットおよび第２のパケットを、行ごとに送信させる。
第３の送信方式に係る第１のパケットとしては、ＭＩＰＩのロングパケットが挙げられ、第３の送信方式に係る第２のパケットとしては、パケットヘッダが挙げられる。つまり、第２の送信方式では、例えばＭＩＰＩのショートパケットで領域情報を送信したのに対して、第３の送信方式では、パケットヘッダで領域情報を送信する。
ここで、図２、図３に示すように、ショートパケットとパケットヘッダとは、同様の構造を有する。よって、第３の送信方式を用いる画像センサ１００は、上記（２）に示す第２の送信方式を用いる画像センサ１００と同様に、領域情報と領域データとを行ごとに送信することができる。
また、第３の送信方式を用いる画像センサ１００は、上記（１）に示す第１の送信方式を用いる画像センサ１００と同様に、重なり部分のデータを重複して送信させるかを判定して、判定結果に応じて重なり部分のデータを重複して送信させてもよい。
なお、第３の送信方式に係る第２のパケットは、図３に示すパケットヘッダと同様の構造を有するパケットヘッダに限られない。例えば、第３の送信方式に係る第２のパケットは、図２に示す“Ｄａｔａ Ｆｉｅｌｄ”が拡張された構造を有するパケットヘッダ（例えば、“Ｄａｔａ Ｆｉｅｌｄ”を２［ｂｙｔｅ］から３［ｂｙｔｅ］以上に拡張したパケットヘッダ）であってもよい。第３の送信方式に係る第２のパケットが、上記拡張された構造を有するパケットヘッダである場合、領域情報に含まれる情報は、１つの第２のパケットに格納されうる。
また、第３の送信方式において、領域情報に含まれる情報が格納される領域は、第１のパケットの一部であってもよい。つまり、第３の送信方式では、上記第１のパケットと上記第２のパケットとが１つのパケットであると捉えることも可能である。
（３－２）第３の送信方式の特徴、利点
本実施形態に係る送信方法に係る第３の送信方式は、上記（２）に示す第２の送信方式と同様の特徴を有する。
また、第３の送信方式は、例えば下記に示す利点を有する。
・伝送効率が高い
・領域情報の誤り訂正が可能である
・任意の領域（ＲＯＩ）の形状を伝送可能である
（３－３）第３の送信方式に係る構成例
第３の送信方式に対応する画像センサ１００は、例えば図１４に示す上記（２）に示す第２の送信方式に対応する画像センサ１００と同様の構成（変形例も含む。）をとる。また、第３の送信方式に対応するプロセッサ２００は、例えば図１５に示す上記（２）に示す第２の送信方式に対応するプロセッサ２００と同様の構成（変形例も含む。）をとる。
［４］本実施形態に係る送信方法が用いられることにより奏される効果の一例
本実施形態に係る送信方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る送信方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・画像に対して設定される領域（ＲＯＩ）のデータを伝送する際に、領域ごとにＶＣを分ける必要はない。
・画像に対して設定される領域（ＲＯＩ）のデータを伝送する際に、同一の行に含まれる領域それぞれのデータを、まとめて送信することができる。
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信することが可能であり、領域情報のデータ量をより小さくすることができる（すなわち、最小限の領域情報の伝送が可能である）。
・矩形、楕円、ドーナツ形状などの任意の形状の領域に対応することができる
・図５の領域３、領域４のように設定されている領域が重なっている場合であっても、領域のデータを伝送することができる。
・第１の送信方式が用いられる場合、領域情報はパケットのペイロードに格納して送信されるので、領域情報の送信によりＬＰＳの期間が増えることはない。よって、第１の送信方式が用いられる場合、領域情報が伝送効率に影響を及ぼす可能性は低い。
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る送信装置として機能させるためのプログラム（例えば、本実施形態に係る送信方法に係る処理を、コンピュータに実行させるプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、画像に対して設定される任意の形状の領域のデータを送信することができる。
また、コンピュータを、本実施形態に係る送信装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る送信方法が用いられることにより奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る送信装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、
前記画像処理部は、前記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、前記領域を設定し、
前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる、送信装置。
（２）
前記領域指定情報は、前記領域データの送信先の受信装置から取得される、（１）に記載の送信装置。
（３）
前記画像処理部は、
複数の前記領域が重なる重なり部分が存在する場合、前記重なり部分のデータを、複数の前記領域それぞれに対応する前記領域データにより重複して送信させるかを判定し、
重複して送信させると判定した場合に、前記重なり部分のデータを重複して送信させる、（１）または（２）に記載の送信装置。
（４）
前記画像処理部は、前記重なり部分を含む行の列数に基づいて、重複して送信させるかを判定する、（３）に記載の送信装置。
（５）
前記画像処理部は、設定されている動作モードに基づいて、重複して送信させるかを判定する、（３）に記載の送信装置。
（６）
前記領域情報には、さらに、行に含まれる前記領域の識別情報、および行に含まれる前記領域の大きさを示す情報が、含まれる、（１）～（５）のいずれか１つに記載の送信装置。
（７）
前記画像処理部は、前記領域情報に含まれる情報を、前記領域ごとにまとめて前記領域情報に設定する、（１）～（６）のいずれか１つに記載の送信装置。
（８）
前記画像処理部は、１つの行に同一の前記領域が複数存在する場合、存在する数分、前記領域情報を設定する、（７）に記載の送信装置。
（９）
前記画像処理部は、１つ前に送信させる行の前記領域情報に含まれる情報から変化しない情報は、前記領域情報に設定しない、（１）～（８）のいずれか１つに記載の送信装置。
（１０）
前記画像処理部は、
前記領域の列の位置を示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定し、
前記領域の大きさを示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定する、（９）に記載の送信装置。
（１１）
前記画像処理部は、
所定の順序に従って、行ごとの前記領域情報と前記領域データとを送信させ、
前記領域情報と前記領域データとを送信させる行が、前記所定の順序に従った行である場合には、前記領域情報に前記行の位置を示す情報を設定しない、（９）または（１０）に記載の送信装置。
（１２）
前記画像処理部は、前記領域情報と前記領域データとを、パケットのペイロードに格納して送信させる、（１）～（１１）のいずれか１つに記載の送信装置。
（１３）
前記領域情報は、前記ペイロードの先頭部分に格納される、（１２）に記載の送信装置。
（１４）
前記画像処理部は、さらに、前記領域情報に含まれる情報が１つ前に送信させるパケットに含まれる前記領域情報から変化しているか否かを示す変化情報を、行ごとに送信させる、（１２）または（１３）に記載の送信装置。
（１５）
前記領域情報に含まれる情報が１つ前に送信させるパケットに含まれる前記領域情報から変化していない場合、前記画像処理部は、前記領域情報を送信させない、（１４）に記載の送信装置。
（１６）
前記画像処理部は、さらに、前記領域のデータ量を示す情報、前記領域の大きさを示す情報、および前記領域の優先度を示す情報のうちの１または２以上を、送信させる、（１２）～（１５）のいずれか１つに記載の送信装置。
（１７）
前記パケットは、ＭＩＰＩのロングパケットである、（１２）～（１６）のいずれか１つに記載の送信装置。
（１８）
前記画像処理部は、
前記領域データを第１のパケットのペイロードに格納し、
前記領域情報に含まれる情報それぞれを、前記第１のパケットと異なる第２のパケットにそれぞれ格納し、
前記第１のパケットおよび前記第２のパケットを、行ごとに送信させる、（１）～（１１）のいずれか１つに記載の送信装置。
（１９）
前記第１のパケットは、ＭＩＰＩのロングパケットであり、
前記第２のパケットは、ＭＩＰＩのショートパケットである、（１８）に記載の送信装置。
１００ 画像センサ
１０２ 画像センサデバイス
１０４、１５０ ＩＣチップ
１０６、１５２ 画像処理回路
１０８ ＬＩＮＫ制御回路
１１０ ＥＣＣ生成回路
１１２、１５４ ＰＨ生成回路
１１４ ＥＢＤ用バッファ
１１６ 画像データバッファ
１１８、１５６ 合成回路
１２０ 送信回路
１２２ 領域切り出し部
１２４ 画像処理制御部
１２６、１５８ エンコード部
２００ プロセッサ
２０２ ヘッダ分離部
２０４ ヘッダ解釈部
２０６ ペイロード分離部
２０８ 画像処理部
２１０ 演算部
２１２ 送信部
２１４ デコード部
２１６ 画像生成部
２５０ パケット分離部
２５２ ショートパケット解釈部
２５４ ロングパケット分離部
２５６ ヘッダ解釈部
２５８ ペイロード解釈部
３００ メモリ
４００ 表示デバイス
１０００ 通信システム
Ｂ１ データバス
Ｂ２ 制御バス

Claims (18)

  1. 画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、
    前記画像処理部は、
    前記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、前記領域を設定するとともに、
    複数の前記領域が重なる重なり部分が存在する場合、前記重なり部分のデータを１回だけ送信させ、
    前記領域情報には、行の位置を示す情報、行に含まれる前記領域の列の位置を示す情報、行に含まれる前記領域の識別情報、および行に含まれる前記領域の大きさを示す情報が、含まれる、送信装置。
  2. 前記領域指定情報は、前記領域データの送信先の受信装置から取得される、請求項１に記載の送信装置。
  3. 画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、
    前記画像処理部は、
    前記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、前記領域を設定するとともに、
    複数の前記領域が重なる重なり部分が存在する場合、前記重なり部分のデータを、複数の前記領域それぞれに対応する前記領域データにより重複して送信させるかを判定し、
    重複して送信させると判定した場合に、前記重なり部分のデータを重複して送信させ、
    重複して送信させないと判定した場合に、前記重なり部分のデータを１回だけ送信させ、
    前記領域情報には、行の位置を示す情報、行に含まれる前記領域の列の位置を示す情報、行に含まれる前記領域の識別情報、および行に含まれる前記領域の大きさを示す情報が、含まれる、送信装置。
  4. 前記画像処理部は、前記重なり部分を含む行の列数に基づいて、重複して送信させるかを判定する、請求項３に記載の送信装置。
  5. 前記画像処理部は、設定されている動作モードに基づいて、重複して送信させるかを判定する、請求項３に記載の送信装置。
  6. 前記画像処理部は、前記領域情報に含まれる情報を、前記領域ごとにまとめて前記領域情報に設定する、請求項１に記載の送信装置。
  7. 前記画像処理部は、１つの行に同一の前記領域が複数存在する場合、存在する数分、前記領域情報を設定する、請求項６に記載の送信装置。
  8. 前記画像処理部は、１つ前に送信させる行の前記領域情報に含まれる情報から変化しない情報は、前記領域情報に設定しない、請求項１に記載の送信装置。
  9. 前記画像処理部は、
    前記領域の列の位置を示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定し、
    前記領域の大きさを示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定する、請求項８に記載の送信装置。
  10. 前記画像処理部は、
    所定の順序に従って、行ごとの前記領域情報と前記領域データとを送信させ、
    前記領域情報と前記領域データとを送信させる行が、前記所定の順序に従った行である場合には、前記領域情報に前記行の位置を示す情報を設定しない、請求項８に記載の送信装置。
  11. 前記画像処理部は、前記領域情報と前記領域データとを、パケットのペイロードに格納して送信させる、請求項１に記載の送信装置。
  12. 前記領域情報は、前記ペイロードの先頭部分に格納される、請求項１１に記載の送信装置。
  13. 前記画像処理部は、さらに、前記領域情報に含まれる情報が１つ前に送信させるパケットに含まれる前記領域情報から変化しているか否かを示す変化情報を、行ごとに送信させる、請求項１１に記載の送信装置。
  14. 前記領域情報に含まれる情報が１つ前に送信させるパケットに含まれる前記領域情報から変化していない場合、前記画像処理部は、前記領域情報を送信させない、請求項１３に記載の送信装置。
  15. 前記画像処理部は、さらに、前記領域のデータ量を示す情報、前記領域の大きさを示す情報、および前記領域の優先度を示す情報のうちの１または２以上を、送信させる、請求項１１に記載の送信装置。
  16. 前記パケットは、ＭＩＰＩ（Mobile Industry Processor Interface Alliance）のロングパケットである、請求項１１に記載の送信装置。
  17. 前記画像処理部は、
    前記領域データを第１のパケットのペイロードに格納し、
    前記領域情報に含まれる情報それぞれを、前記第１のパケットと異なる第２のパケットにそれぞれ格納し、
    前記第１のパケットおよび前記第２のパケットを、行ごとに送信させる、請求項１に記載の送信装置。
  18. 前記第１のパケットは、ＭＩＰＩ（Mobile Industry Processor Interface Alliance）のロングパケットであり、
    前記第２のパケットは、ＭＩＰＩのショートパケットである、請求項１７に記載の送信装置。
JP2019551892A 2017-11-10 2018-08-27 送信装置 Active JP7277373B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017217833 2017-11-10
JP2017217833 2017-11-10
PCT/JP2018/031565 WO2019092952A1 (ja) 2017-11-10 2018-08-27 送信装置

Publications (2)

Publication Number Publication Date
JPWO2019092952A1 JPWO2019092952A1 (ja) 2020-11-19
JP7277373B2 true JP7277373B2 (ja) 2023-05-18

Family

ID=66439147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551892A Active JP7277373B2 (ja) 2017-11-10 2018-08-27 送信装置

Country Status (7)

Country Link
US (1) US11606527B2 (ja)
EP (1) EP3709662A4 (ja)
JP (1) JP7277373B2 (ja)
KR (1) KR102641559B1 (ja)
CN (1) CN111295885B (ja)
TW (1) TW201924324A (ja)
WO (1) WO2019092952A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993435A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM
CN114009007A (zh) * 2019-06-28 2022-02-01 索尼半导体解决方案公司 发送装置、接收装置和传输系统
US20220217310A1 (en) * 2019-06-28 2022-07-07 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
WO2020261815A1 (ja) * 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
CN112766265B (zh) * 2021-01-27 2023-11-14 厦门树冠科技有限公司 一种任意形状roi截取方法、系统、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012150152A (ja) 2011-01-17 2012-08-09 Renesas Electronics Corp データ処理装置及び半導体装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3197894B2 (ja) * 1989-05-22 2001-08-13 株式会社リコー 画像伝送装置
JP2005142654A (ja) 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
GB0416496D0 (en) * 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
JP2006109001A (ja) * 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
WO2012155119A1 (en) * 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5932376B2 (ja) 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP6415454B2 (ja) * 2013-01-25 2018-10-31 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ 画像センサ用の高度の関心領域機能
US9875723B2 (en) * 2013-08-13 2018-01-23 Mediatek Inc. Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method
US9258485B2 (en) * 2014-03-24 2016-02-09 Omnivision Technologies, Inc. Image sensor cropping images in response to cropping coordinate feedback
JP6367605B2 (ja) * 2014-05-13 2018-08-01 株式会社Ｆｕｊｉ 画像転送方法および画像転送装置
US10009544B2 (en) 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
KR102386385B1 (ko) * 2017-07-21 2022-04-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 압축 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012150152A (ja) 2011-01-17 2012-08-09 Renesas Electronics Corp データ処理装置及び半導体装置

Also Published As

Publication number Publication date
CN111295885A (zh) 2020-06-16
US11606527B2 (en) 2023-03-14
KR102641559B1 (ko) 2024-02-28
WO2019092952A1 (ja) 2019-05-16
EP3709662A1 (en) 2020-09-16
US20200275046A1 (en) 2020-08-27
CN111295885B (zh) 2023-05-30
KR20200087751A (ko) 2020-07-21
TW201924324A (zh) 2019-06-16
EP3709662A4 (en) 2020-12-30
JPWO2019092952A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
JP7277373B2 (ja) 送信装置
JP7007160B2 (ja) 送信装置
JP7163285B2 (ja) 映像送信装置および映像受信装置
JP7357620B2 (ja) 画像処理装置、および画像処理システム
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7504803B2 (ja) 画像処理装置及び画像処理方法
JP7414733B2 (ja) 受信装置および送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R150 Certificate of patent or registration of utility model

Ref document number: 7277373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150