WO2018225534A1 - 受信装置、送信装置、制御方法、プログラム、および送受信システム - Google Patents

受信装置、送信装置、制御方法、プログラム、および送受信システム Download PDF

Info

Publication number
WO2018225534A1
WO2018225534A1 PCT/JP2018/020116 JP2018020116W WO2018225534A1 WO 2018225534 A1 WO2018225534 A1 WO 2018225534A1 JP 2018020116 W JP2018020116 W JP 2018020116W WO 2018225534 A1 WO2018225534 A1 WO 2018225534A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
transmission
packet
reception
Prior art date
Application number
PCT/JP2018/020116
Other languages
English (en)
French (fr)
Inventor
雅俊 水野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/618,619 priority Critical patent/US11457142B2/en
Priority to KR1020197032583A priority patent/KR102538713B1/ko
Priority to CN201880036459.3A priority patent/CN110692222B/zh
Priority to EP18813638.6A priority patent/EP3637716B1/en
Priority to JP2019523451A priority patent/JP7094952B2/ja
Publication of WO2018225534A1 publication Critical patent/WO2018225534A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/38—Synchronous or start-stop systems, e.g. for Baudot code
    • H04L25/40—Transmitting circuits; Receiving circuits
    • H04L25/49—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems
    • H04L25/4906—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes
    • H04L25/4908—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes using mBnB codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0008—Synchronisation information channels, e.g. clock distribution lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/04—Speed or phase control by synchronisation signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present technology relates to a reception device, a transmission device, a control method, a program, and a transmission / reception system, and in particular, corrects a data timing shift between communication links when data transmission is performed using a plurality of communication links.
  • the present invention relates to a receiving device, a transmitting device, a control method, a program, and a transmission / reception system.
  • Patent Document 1 describes a transmission method in which packets storing image data are distributed to a plurality of lanes, and data is transmitted from the image sensor to the DSP via the plurality of lanes.
  • image data constituting each line of one frame is stored in each packet in the image sensor and transmitted to the DSP.
  • Patent Document 1 also describes that a plurality of pairs of transmission units on the image sensor side and reception units on the DSP side are provided, and data transmission is performed between the respective transmission / reception units.
  • one communication link is configured by one transmission unit on the image sensor side and one reception unit on the DSP side, when a plurality of pairs of transmission units and reception units are provided, a plurality of communication links are used. Data transmission is performed.
  • the present technology has been made in view of such a situation, and in a case where data transmission is performed using a plurality of communication links, it is possible to correct a timing difference of data between the communication links. Is.
  • the receiving device performs a first process of receiving a data stream having the same data structure transmitted in parallel using a plurality of lanes from each of a plurality of transmitting units included in the transmitting device.
  • a plurality of receiving units that perform processing of a second layer as processing of a second layer, integrate the received data stream into a single system of data, and acquire a packet constituting the data stream
  • a control unit that corrects a timing shift of the corresponding data between communication links realized by each of a set of a unit and one receiving unit.
  • the transmission device performs processing including generation of a packet storing data to be transmitted and processing of distributing the generated packet to a plurality of lanes as processing of the first layer, A plurality of processes for transmitting a data stream having the same data structure including the distributed packets to a receiving apparatus having a plurality of receiving units in parallel using a plurality of the lanes as a second layer process And a control unit that corrects a timing shift of corresponding data between communication links realized by each of a pair of the one transmission unit and one reception unit.
  • the first layer is a process of receiving a data stream having the same data structure transmitted in parallel using a plurality of lanes from each of a plurality of transmission units included in the transmission device.
  • the second layer process which is a process of integrating the received data stream into a single system of data and acquiring packets constituting the data stream, is performed in a plurality of receiving units. A shift in the timing of the corresponding data between the communication links realized by each of the pair of the transmitting unit and one receiving unit is corrected.
  • distribution of the first layer which is processing including generation of a packet storing data to be transmitted, and processing of distributing the generated packet to a plurality of lanes
  • the second layer process which is a process of transmitting a data stream having the same data structure including the packet to a receiving apparatus having a plurality of receiving units in parallel using the plurality of lanes, A shift in the timing of the corresponding data between the communication links realized by each of the pair of one transmission unit and one reception unit, which is performed in the transmission unit, is corrected.
  • FIG. 57 is a diagram illustrating a configuration example of a transmission-side LSI and a reception-side LSI in FIG. 56.
  • FIG. 61 is a block diagram illustrating an example of a functional configuration of a camera head and a CCU illustrated in FIG. 60.
  • FIG. 1 is a diagram illustrating a first configuration example of a transmission system according to an embodiment of the present technology.
  • the transmission system 1 in FIG. 1 includes an image sensor 11 and a DSP 12.
  • the image sensor 11 and the DSP 12 are configured by different LSIs (Large Scale Integrated Circuit), and are provided in the same imaging apparatus having an imaging function such as a digital camera or a mobile phone.
  • the image sensor 11 is provided with an imaging unit 21 and one transmission unit 22, and the DSP 12 is provided with one reception unit 31 and an image processing unit 32.
  • the image pickup unit 21 of the image sensor 11 includes an image pickup device such as a CMOS (Complementary Metal Metal Oxide Semiconductor), and performs photoelectric conversion of light received through the lens.
  • the imaging unit 21 performs A / D conversion of a signal obtained by photoelectric conversion, and outputs pixel data constituting one frame image to the transmission unit 22 in order of pixel data.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the transmission unit 22 assigns the data of each pixel supplied from the imaging unit 21 to a plurality of transmission paths in the order supplied from the imaging unit 21, for example, and transmits the data to the DSP 12 in parallel via the plurality of transmission paths.
  • pixel data is transmitted using eight transmission paths.
  • the transmission path between the image sensor 11 and the DSP 12 may be a wired transmission path or a wireless transmission path.
  • the transmission path between the image sensor 11 and the DSP 12 is appropriately referred to as a lane.
  • the reception unit 31 of the DSP 12 receives the pixel data transmitted from the transmission unit 22 via eight lanes, and outputs the data of each pixel to the image processing unit 32 in order.
  • the image processing unit 32 generates an image of one frame based on the pixel data supplied from the receiving unit 31, and performs various types of image processing using the generated image.
  • the image data transmitted from the image sensor 11 to the DSP 12 is RAW data, and the image processing unit 32 performs various processes such as image data compression, image display, and image data recording on a recording medium.
  • FIG. 2 is a diagram illustrating a second configuration example of the transmission system 1. Of the configurations shown in FIG. 2, the same configurations as those shown in FIG. The overlapping description will be omitted as appropriate.
  • the image sensor 11 of the transmission system 1 in FIG. 2 includes an imaging unit 21 and two transmission units 22-1 and 22-2 that are two transmission units, and the DSP 12 includes a reception unit 31 that is two reception units. -1, 31-2, and an image processing unit 32 are provided.
  • the imaging unit 21 outputs pixel data constituting one frame image obtained by imaging in parallel to the transmission unit 22-1 and the transmission unit 22-2 for each pixel data. For example, the imaging unit 21 outputs pixel data of odd lines to the transmission unit 22-1 and outputs pixel data of even lines to the transmission unit 22-2.
  • the transmission unit 22-1 assigns the data of each pixel supplied from the imaging unit 21 to a plurality of lanes in the order supplied from the imaging unit 21, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes.
  • the transmission unit 22-2 assigns the data of each pixel supplied from the imaging unit 21 to a plurality of lanes in the order supplied from the imaging unit 21, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes.
  • the image sensor 11 and the DSP 12 are connected via eight lanes.
  • the transmission unit 22-1 and the transmission unit 22-2 each transmit pixel data using four lanes.
  • the reception unit 31-1 of the DSP 12 receives the pixel data transmitted from the transmission unit 22-1 via the four lanes, and outputs the data of each pixel to the image processing unit 32 in order.
  • the reception unit 31-2 receives the pixel data transmitted from the transmission unit 22-2 via the four lanes, and sequentially outputs the data of each pixel to the image processing unit 32.
  • the image processing unit 32 generates an image of one frame based on the pixel data supplied from the receiving unit 31-1 and the pixel data supplied from the receiving unit 31-2, and performs various image processing using the generated image. I do.
  • the image sensor 11 is provided with two transmission units, and the two reception units are provided in the DSP 12 so as to correspond thereto, so that even if the pixel data output from the imaging unit 21 is high, Data can be transmitted to the DSP 12.
  • FIG. 3 is a diagram illustrating a third configuration example of the transmission system 1. Of the configurations shown in FIG. 3, the same configurations as those shown in FIG. The overlapping description will be omitted as appropriate.
  • the image sensor 11-1 is provided with an imaging unit 21-1 and a transmission unit 22-1 as one transmission unit
  • the image sensor 11-2 is provided with an imaging unit 21-2 and a transmission unit 22 as one transmission unit.
  • the DSP 12 is provided with two receiving units 31-1, 31-2 and an image processing unit 32.
  • the imaging unit 21-1 of the image sensor 11-1 outputs pixel data constituting an image of one frame obtained by performing imaging to the transmission unit 22-1 in order of pixel data.
  • the transmission unit 22-1 assigns the data of each pixel supplied from the imaging unit 21-1 to a plurality of lanes in the order supplied from the imaging unit 21-1, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes. To do.
  • the imaging unit 21-2 of the image sensor 11-2 outputs pixel data constituting an image of one frame obtained by imaging to the transmission unit 22-2 in order of data of one pixel.
  • the transmission unit 22-2 assigns the data of each pixel supplied from the imaging unit 21-2 to a plurality of lanes in the order supplied from the imaging unit 21-2, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes. To do.
  • the image sensor side and the DSP 12 are connected via eight lanes.
  • Four lanes are allocated to each of the image sensor 11-1 and the image sensor 11-2, and the transmission unit 22-1 and the transmission unit 22-2 each transmit pixel data using the four lanes.
  • the reception unit 31-1 of the DSP 12 receives the pixel data transmitted from the transmission unit 22-1 of the image sensor 11-1 via the four lanes, and outputs the data of each pixel to the image processing unit 32 in order. To do.
  • the reception unit 31-2 receives pixel data transmitted from the transmission unit 22-2 of the image sensor 11-2 via four lanes, and outputs the data of each pixel to the image processing unit 32 in order. To do.
  • the image processing unit 32 generates one frame image based on the pixel data supplied from the receiving unit 31-1, and generates one frame image based on the pixel data supplied from the receiving unit 31-2. .
  • the image processing unit 32 performs various types of image processing using the generated image.
  • a 3D image composed of an image for the left eye taken by the image sensor 11-1 and an image for the right eye taken by the image sensor 11-2 can be obtained. It is possible to process with one DSP 12. There is a parallax between the image for the left eye and the image for the right eye.
  • the image sensor of the transmission system 1 is provided with one or a plurality of transmission units that transmit one frame of captured image data.
  • the DSP is provided with one or more receiving units that receive data transmitted from the image sensor, corresponding to the transmitting unit of the image sensor.
  • FIG. 4 is a diagram showing an example of a format used for transmitting one frame of image data between the image sensor 11 and the DSP 12.
  • the effective pixel area A1 is an effective pixel area of an image of one frame imaged by the imaging unit 21.
  • a margin area A2 is set in which the number of pixels in the vertical direction is the same as the number of pixels in the vertical direction of the effective pixel area A1.
  • Embedded Data is inserted in the previous dummy area A3.
  • Embedded Data includes information on setting values related to imaging by the imaging unit 21 such as shutter speed, aperture value, and gain.
  • Embedded Data may be inserted into the rear dummy area A4.
  • a dummy area A4 is set in which the number of pixels in the horizontal direction is the same as the number of pixels in the horizontal direction of the entire effective pixel area A1 and margin area A2.
  • the effective pixel area A1, the margin area A2, the front dummy area A3, and the rear dummy area A4 constitute an image data area A11.
  • a header is added before each line constituting the image data area A11, and Start Code is added before the header.
  • a footer is optionally added after each line constituting the image data area A11, and a control code to be described later such as End Code is added after the footer.
  • a control code such as End Code is added after each line constituting the image data area A11.
  • the upper band in FIG. 4 shows the structure of the packet used for transmission of the transmission data shown on the lower side. If the arrangement of pixels in the horizontal direction is a line, the data of the pixels constituting one line of the image data area A11 is stored in the payload of the packet. The transmission of the entire image data of one frame is performed using a number of packets equal to or larger than the number of pixels in the vertical direction of the image data area A11.
  • One packet is configured by adding a header and footer to the payload storing pixel data for one line.
  • the header includes additional information of pixel data stored in the payload, such as Frame Start, Frame End, Line Valid, Line Number, and ECC.
  • FIG. 5 is a diagram illustrating a configuration example of the transmission unit 22 and the reception unit 31.
  • the configuration surrounded by a broken line on the left side of FIG. 5 is the configuration of the transmission unit 22, and the configuration surrounded by a broken line on the right side is the configuration of the reception unit 31.
  • the transmission unit 22 and the reception unit 31 each have a link layer configuration and a physical layer configuration.
  • the configuration shown above the solid line L2 is the link layer configuration, and the configuration shown below the solid line L2 is the physical layer configuration.
  • the configuration shown above the solid line L1 is the configuration of the application layer.
  • the system control unit 51, the frame data input unit 52, and the register 53 are realized in the imaging unit 21.
  • the system control unit 51 communicates with the LINK-TX protocol management unit 61 of the transmission unit 22 to control transmission of image data by providing information related to the frame format.
  • the frame data input unit 52 performs imaging in accordance with an instruction from the user, and supplies data of each pixel constituting an image obtained by performing imaging to the Pixel toByte conversion unit 62 of the transmission unit 22.
  • the register 53 stores information such as the number of bits of Pixel to Byte conversion and the number of Lanes. Image data transmission processing is performed according to the information stored in the register 53.
  • the frame data output unit 141, the register 142, and the system control unit 143 in the configuration of the application layer are realized in the image processing unit 32.
  • the frame data output unit 141 generates and outputs an image of one frame based on the pixel data of each line supplied from the receiving unit 31. Various processes are performed using the image output from the frame data output unit 141.
  • the register 142 stores various setting values related to reception of image data, such as the number of bits of Byte-to-Pixel conversion and the number of Lanes. Image data reception processing is performed in accordance with the information stored in the register 142.
  • the system control unit 143 communicates with the LINK-RX protocol management unit 121 and controls a sequence such as a mode change.
  • the transmission unit 22 includes a LINK-TX protocol management unit 61, a PixelPByte conversion unit 62, a payload ECC insertion unit 63, a packet generation unit 64, and a lane distribution unit 65 as a link layer configuration.
  • the LINK-TX protocol management unit 61 includes a state control unit 71, a header generation unit 72, a data insertion unit 73, and a footer generation unit 74.
  • the state control unit 71 of the LINK-TX protocol management unit 61 manages the state of the link layer of the transmission unit 22.
  • the header generation unit 72 generates a header to be added to the payload in which the pixel data for one line is stored, and outputs the header to the packet generation unit 64.
  • FIG. 6 is a diagram illustrating a structure of a header generated by the header generation unit 72.
  • one whole packet is composed of a header and payload data which is pixel data for one line.
  • a footer may be added to the packet.
  • the header is composed of header information and Header ECC.
  • the header information includes Frame Start, Frame End, Line Valid, Line Number, and Reserved. The contents and amount of information are shown in FIG.
  • Frame Start is 1-bit information indicating the beginning of the frame.
  • a value of 1 is set in Frame Start of the header of the packet used for transmitting the pixel data of the first line in the image data area A11 of FIG. 4, and the frame of the header of the packet used for transmitting the pixel data of the other line
  • a value of 0 is set in Start.
  • Frame End is 1-bit information indicating the end of the frame.
  • a value of 1 is set in Frame End of the header of the packet including the pixel data of the termination line of the effective pixel area A1 in the payload, and 0 in the Frame End of the header of the packet used for transmission of the pixel data of other lines. Value is set.
  • Frame Start and Frame End are frame information that is information about the frame.
  • Line Valid is 1-bit information indicating whether or not the pixel data line stored in the payload is a valid pixel line.
  • a value of 1 is set to Line Valid in the header of a packet used for transmission of pixel data of a line in the effective pixel area A1, and 0 is set to Line Valid of a header of a packet used for transmission of pixel data of another line. The value of is set.
  • Line Number is 13-bit information indicating the line number of a line composed of pixel data stored in the payload.
  • Line Valid and Line Number are line information that is information about the line.
  • Reserved is a 32-bit area for expansion.
  • the data amount of the entire header information is 6 bytes.
  • the Header ECC that is arranged following the header information includes a CRC (Cyclic Redundancy Check) code that is a 2-byte error detection code calculated based on the 6-byte header information. Further, the Header-ECC includes two pieces of the same information as the 8-byte information, which is a set of header information and CRC code, following the CRC code.
  • CRC Cyclic Redundancy Check
  • the header of one packet includes three sets of the same header information and CRC code.
  • the total data amount of the header is 8 bytes of the first set of header information and CRC code, 8 bytes of the second set of header information and CRC code, and the third set of header information and CRC code. This is a total of 24 bytes.
  • FIG. 8 is a diagram showing an example of an 8-byte bit array constituting one set of header information and CRC code.
  • byte H7 which is the first 1 byte among the 8 bytes constituting the header, each bit of Frame ⁇ ⁇ ⁇ Start, Frame End, Line Valid, and 1 of 13 bits of Line Number, in order from the first bit.
  • the fifth bit is included.
  • the second 1-byte byte H6 includes the 6th to 13th bits of the 13 bits of Line Number.
  • Byte 6 that is the 6th 1 byte is reserved from byte H5 that is the 3rd 1 byte.
  • Each bit of the CRC code is included in a byte H1 which is the seventh one byte and a byte H0 which is the eighth one byte.
  • the header generation unit 72 generates header information in accordance with control by the system control unit 51. For example, information indicating the line number of the pixel data output from the frame data input unit 52 and information indicating the beginning and end of the frame are supplied from the system control unit 51.
  • the header generation unit 72 calculates the CRC code by applying the header information to the generator polynomial.
  • a CRC code generating polynomial added to the header information is expressed by, for example, the following expression (1).
  • the header generation unit 72 generates a header information and a CRC code pair by adding a CRC code to the header information, and generates a header by repeatedly arranging three sets of the same header information and CRC code.
  • the header generation unit 72 outputs the generated header to the packet generation unit 64.
  • the data insertion unit 73 generates data used for stuffing and outputs the data to the Pixel toByte conversion unit 62 and the lane distribution unit 65.
  • Payload stuffing data which is stuffing data supplied to the Pixel-to-Byte conversion unit 62, is added to the pixel data after Pixel-to-Byte conversion, and is used to adjust the data amount of the pixel data stored in the payload.
  • the lane stuffing data which is the stuffing data supplied to the lane distribution unit 65, is added to the data after the lane allocation, and is used for adjusting the data amount between the lanes.
  • the footer generation unit 74 appropriately calculates the 32-bit CRC code by applying the payload data to the generation polynomial according to the control by the system control unit 51, and uses the calculated CRC code as the footer to the packet generation unit 64. Output.
  • a CRC code generator polynomial added as a footer is expressed by the following equation (2), for example.
  • the Pixel-to-Byte conversion unit 62 acquires the pixel data supplied from the frame data input unit 52, and performs Pixel-to-Byte conversion that converts the data of each pixel into data in units of 1 byte.
  • the pixel value (RGB) of each pixel of the image captured by the imaging unit 21 is represented by any number of bits of 8 bits, 10 bits, 12 bits, 14 bits, and 16 bits.
  • FIG. 9 is a diagram illustrating an example of Pixel to Byte conversion when the pixel value of each pixel is represented by 8 bits.
  • Data [0] represents LSB
  • Data [7] having the largest number represents MSB.
  • 8 bits of Data [7] to [0] representing the pixel value of the pixel N are converted to Byte N composed of Data [7] to [0].
  • the pixel value of each pixel is represented by 8 bits, the number of data in byte units after Pixel to Byte conversion is the same as the number of pixels.
  • FIG. 10 is a diagram illustrating an example of Pixel to Byte conversion when the pixel value of each pixel is represented by 10 bits.
  • FIG. 11 is a diagram illustrating an example of Pixel to Byte conversion in a case where the pixel value of each pixel is represented by 12 bits.
  • FIG. 12 is a diagram illustrating an example of Pixel to Byte conversion when the pixel value of each pixel is represented by 14 bits.
  • bits of Data [13] to [0] representing each pixel value are Byte 1.75 * N + 1 to Byte consisting of Data [13] to [6] Converted to 1.75 * N + 3.
  • the remaining bits of the bits of pixels N to N + 3 are collected in order from the lower bits, and for example, the bits of data N [5] to [0] and the bits of pixel N + 1 Data [5], [4] is converted to Byte 1.75 * N + 4.
  • FIG. 13 is a diagram illustrating an example of Pixel to Byte conversion in a case where the pixel value of each pixel is represented by 16 bits.
  • 16 bits of Data [15] to [0] representing the pixel value of pixel N are Byte 2 * N consisting of Data [15] to [8] and Byte 2 consisting of Data [7] to [0] * N + 1 converted.
  • the pixel value of each pixel is expressed by 16 bits, the number of data in byte units after Pixel to Byte conversion is twice the number of pixels.
  • the Pixel to Byte conversion unit 62 in FIG. 5 performs such Pixel to Byte conversion on each pixel in order from the pixel on the left end of the line, for example. Further, the Pixel to Byte conversion unit 62 generates payload data by adding the payload stuffing data supplied from the data insertion unit 73 to the pixel data in units of bytes obtained by the Pixel to Byte conversion, and inserts the payload ECC. To the unit 63.
  • FIG. 14 is a diagram showing an example of payload data.
  • FIG. 14 shows payload data including pixel data obtained by Pixel Byte conversion when the pixel value of each pixel is represented by 10 bits.
  • One block that is not colored represents pixel data in units of bytes after Pixel-to-Byte conversion. Also, one colored block represents payload stuffing data generated by the data insertion unit 73.
  • Pixel data after Pixel toByte conversion is grouped into a predetermined number of groups in the order obtained by the conversion.
  • each pixel data is grouped into 16 groups of groups 0 to 15, pixel data including the MSB of pixel P0 is assigned to group 0, and pixel data including the MSB of pixel P1 is grouped. Assigned to 1. Further, pixel data including the MSB of the pixel P2 is allocated to the group 2, pixel data including the MSB of the pixel P3 is allocated to the group 3, and pixel data including the LSB of the pixels P0 to P3 is allocated to the group 4. .
  • Pixel data after pixel data including the MSB of pixel P4 is also assigned to each group after group 5.
  • the subsequent pixel data is assigned to each group after group 0 in order.
  • the blocks representing pixel data the blocks with three broken lines inside represent pixel data in byte units generated so as to include the LSBs of pixels N to N + 3 during Pixel to Byte conversion. To express.
  • one line of pixel data is included in the payload of one packet.
  • the entire pixel data shown in FIG. 14 is pixel data constituting one line.
  • the processing of the pixel data in the effective pixel area A1 in FIG. 4 has been described.
  • the pixel data in another area such as the margin area A2 is also processed together with the pixel data in the effective pixel area A1.
  • payload stuffing data is added so that each group has the same data length.
  • the payload stuffing data is 1-byte data.
  • payload stuffing data is not added to the pixel data of group 0, and as shown by the dotted lines, each pixel data of groups 1 to 15 has one payload stuffing data at the end. It has been added.
  • the data length (Byte) of payload data composed of pixel data and stuffing data is expressed by the following equation (3).
  • LineLength represents the number of pixels in the line
  • BitPix represents the number of bits representing the pixel value of one pixel
  • PayloadStuffing represents the number of payload stuffing data.
  • FIG. 15 is a diagram showing another example of payload data.
  • FIG. 15 shows payload data including pixel data obtained by pixel-to-byte conversion when the pixel value of each pixel is represented by 12 bits.
  • pixel data including the MSB of pixel P0 is assigned to group 0
  • pixel data including the MSB of pixel P1 is assigned to group 1
  • pixel data including the LSB of pixel P0 and pixel P1 is grouped. Assigned to 2.
  • Pixel data after pixel data including the MSB of the pixel P2 is also assigned in order to each group after group 3.
  • a block with one broken line inside represents pixel data in byte units generated so as to include the LSBs of the pixel N and the pixel N + 1 at the time of PixelPto Byte conversion. .
  • payload stuffing data is not added to the pixel data of group 0 and group 1, and one piece of payload stuffing data is added to the end of each pixel data of groups 2 to 15.
  • the payload data having such a configuration is supplied from the Pixel Byte conversion unit 62 to the payload ECC insertion unit 63.
  • the payload ECC insertion unit 63 calculates an error correction code used for error correction of the payload data based on the payload data supplied from the Pixel to Byte conversion unit 62, and the parity, which is the error correction code obtained by the calculation, is stored in the payload. Insert into the data. For example, a Reed-Solomon code is used as the error correction code.
  • the insertion of the error correction code is optional, and for example, only one of the parity insertion by the payload ECC insertion unit 63 and the footer addition by the footer generation unit 74 can be performed.
  • FIG. 16 is a diagram illustrating an example of payload data in which parity is inserted.
  • the payload data shown in FIG. 16 is payload data including pixel data obtained by Pixel to Byte conversion described with reference to FIG. 15 when the pixel value of each pixel is represented by 12 bits. Blocks shown with diagonal lines represent parity.
  • 14 pixels are sequentially selected from the first pixel data of each group 0 to 15, and a 2-byte parity is obtained based on the selected 224 (224 bytes) pixel data. .
  • the 2-byte parity is inserted as the 15th data of the groups 0 and 1 following the 224 pixel data used for the calculation, and the first Basic block from the 224 pixel data and the 2-byte parity. Is formed.
  • the payload ECC insertion unit 63 basically, a 2-byte parity is generated based on 224 pixel data, and is inserted after the 224 pixel data.
  • 224 pixel data following the first Basic block are sequentially selected from each group, and 2-byte parity is obtained based on the selected 224 pixel data. .
  • the 2-byte parity is inserted as the 29th data of the groups 2 and 3 following the 224 pixel data used in the calculation, and the second Basic block from the 224 pixel data and the 2-byte parity. Is formed.
  • the parity of 2 bytes is based on the remaining 16xM blocks (pixel data and payload stuffing data). Desired. Further, the obtained 2-byte parity is inserted after the payload stuffing data, and an Extra block is formed from 16 ⁇ M blocks and 2-byte parity.
  • the payload ECC insertion unit 63 outputs the payload data with the parity inserted to the packet generation unit 64.
  • the payload data supplied from the Pixel to Byte conversion unit 62 to the payload ECC insertion unit 63 is output to the packet generation unit 64 as it is.
  • the packet generation unit 64 generates a packet by adding the header generated by the header generation unit 72 to the payload data supplied from the payload ECC insertion unit 63.
  • the packet generation unit 64 also adds a footer to the payload data.
  • FIG. 17 is a diagram showing a state in which a header is added to payload data.
  • the 24 blocks indicated by the characters H7 to H0 represent header information in bytes, which is header information or a CRC code of the header information.
  • the header of one packet includes three sets of header information and CRC code.
  • header data H7 to H2 are header information (6 bytes), and header data H1 and H0 are CRC codes (2 bytes).
  • one header data H7 is added to the payload data of group 0, and one header data H6 is added to the payload data of group 1.
  • One header data H5 is added to the payload data of group 2
  • one header data H4 is added to the payload data of group 3.
  • One header data H3 is added to the payload data of group 4, and one header data H2 is added to the payload data of group 5.
  • One header data H1 is added to the payload data of group 6, and one header data H0 is added to the payload data of group 7.
  • two header data H7 are added to the payload data of group 8, and two header data H6 are added to the payload data of group 9.
  • Two header data H5 are added to the payload data of the group 10
  • two header data H4 are added to the payload data of the group 11.
  • Two header data H3 are added to the payload data of the group 12, and two header data H2 are added to the payload data of the group 13.
  • Two header data H1 are added to the payload data of the group 14, and two header data H0 are added to the payload data of the group 15.
  • FIG. 18 is a diagram showing a state in which a header and a footer are added to payload data.
  • footer data F3 to F0 represent footer data which is a 4-byte CRC code generated as a footer.
  • footer data F3 to F0 are added to the payload data of group 0 to group 3, respectively.
  • FIG. 19 is a diagram showing a state in which a header is added to payload data in which parity is inserted.
  • header data H7 to H0 are added to the payload data of FIG. 16 with the parity inserted, as in the case of FIGS.
  • the packet generator 64 outputs packet data, which is data constituting one packet generated in this way, to the lane distributor 65.
  • packet data composed of header data and payload data, packet data composed of header data, payload data and footer data, or packet data composed of header data and payload data into which parity is inserted. Will be supplied.
  • the packet structure in FIG. 6 is logical, and in the link layer and physical layer, the packet data having the structure in FIG. 6 is processed in units of bytes.
  • the lane distribution unit 65 assigns the packet data supplied from the packet generation unit 64 to each lane used for data transmission among Lanes 0 to 7 in order from the top data.
  • FIG. 20 is a diagram illustrating an example of packet data allocation.
  • FIG. 18 allocation of packet data (FIG. 18) including header data, payload data, and footer data will be described.
  • An example of packet data allocation when data transmission is performed using 8 lanes Lane0 to Lane7 is shown at the tip of white arrow # 1.
  • each header data constituting the three repetitions of the header data H7 to H0 is allocated to Lane0 to Lane7 in order from the top header data.
  • certain header data is assigned to Lane 7
  • the subsequent header data is assigned to each lane after Lane 0 in order.
  • Three identical header data are allocated to each of Lane 0 to Lane 7.
  • payload data is assigned to Lanes 0 to 7 in order from the first payload data.
  • certain payload data is assigned to Lane 7, the subsequent payload data is assigned to each lane after Lane 0 in order.
  • Footer data F3 to F0 are assigned to each lane in order from the top footer data.
  • the last payload stuffing data constituting the payload data is assigned to Lane7
  • footer data F3 to F0 are assigned to Lane0 to Lane3 one by one.
  • a block indicated by black represents lane stuffing data generated by the data insertion unit 73.
  • the lane stuffing data is allocated to lanes with a small number of data so that the packet data for one packet is allocated to each lane and then the data length allocated to each lane is the same.
  • Lane stuffing data is 1-byte data. In the example of FIG. 20, lane stuffing data is allocated one by one to Lanes 4 to 7, which are lanes with a small number of data allocations.
  • the number of lane stuffing data when the packet data is composed of header data, payload data, and footer data is expressed by the following equation (5).
  • LaneNum represents the number of lanes
  • PayloadLength represents the payload data length (bytes).
  • FooterLength represents the footer length (bytes).
  • Equation (6) The number of lane stuffing data when the packet data is composed of header data and payload data into which parity is inserted is expressed by the following equation (6).
  • ParityLength in Equation (6) represents the total number of parity bytes included in the payload.
  • each header data constituting three repetitions of the header data H7 to H0 is assigned to Lane0 to Lane5 in order from the top header data.
  • certain header data is assigned to Lane5
  • the subsequent header data is assigned in order to each lane after Lane0.
  • Four header data are allocated to each of Lane 0 to Lane 5.
  • payload data is assigned to Lane 0 to 5 in order from the first payload data.
  • certain payload data is assigned to Lane 5
  • the subsequent payload data is assigned to each lane after Lane 0 in order.
  • Footer data F3 to F0 are assigned to each lane in order from the top footer data.
  • the last payload stuffing data constituting the payload data is assigned to Lane1
  • footer data F3 to F0 are assigned to Lanes 2 to 5, respectively.
  • lane stuffing data is not used because the number of packet data in Lane 0 to 5 is the same.
  • each header data constituting the three repetitions of the header data H7 to H0 is assigned to Lane0 to Lane3 in order from the top header data.
  • certain header data is assigned to Lane3
  • the subsequent header data is assigned in order to each lane after Lane0.
  • Six header data are allocated to each of Lane 0 to Lane 3.
  • payload data is allocated to Lane 0 to 3 in order from the first payload data.
  • certain payload data is assigned to Lane 3
  • the subsequent payload data is assigned to each lane after Lane 0 in order.
  • Footer data F3 to F0 are assigned to each lane in order from the top footer data.
  • the last payload stuffing data constituting the payload data is assigned to Lane3, and footer data F3 to F0 are assigned to Lane0 to Lane3 one by one. In this case, lane stuffing data is not used because the number of packet data in Lane 0 to Lane 3 is the same.
  • the lane distribution unit 65 outputs the packet data allocated to each lane in this way to the physical layer.
  • a case where data is transmitted using eight lanes Lane0 to Lane7 will be mainly described, but the same processing is performed even when the number of lanes used for data transmission is another number.
  • the transmission unit 22 includes a PHY-TX state control unit 81, a clock generation unit 82, and signal processing units 83-0 to 83-N as the configuration of the physical layer.
  • the signal processing unit 83-0 includes a control code insertion unit 91, an 8B10B symbol encoder 92, a synchronization unit 93, and a transmission unit 94.
  • the packet data allocated to Lane0 output from the lane distribution unit 65 is input to the signal processing unit 83-0, and the packet data allocated to Lane1 is input to the signal processing unit 83-1.
  • the packet data assigned to LaneN is input to the signal processing unit 83-N.
  • the physical layer of the transmission unit 22 is provided with the same number of signal processing units 83-0 to 83-N as the number of lanes, and processing of packet data transmitted using each lane is performed by the signal processing unit.
  • Each of 83-0 to 83-N is performed in parallel.
  • the configuration of the signal processing unit 83-0 will be described, but the signal processing units 83-1 to 83-N have the same configuration.
  • the PHY-TX state control unit 81 controls each of the signal processing units 83-0 to 83-N. For example, the timing of each process performed by the signal processing units 83-0 to 83-N is controlled by the PHY-TX state control unit 81.
  • the clock generation unit 82 generates a clock signal and outputs it to each synchronization unit 93 of the signal processing units 83-0 to 83-N.
  • the control code insertion unit 91 of the signal processing unit 83-0 adds a control code to the packet data supplied from the lane distribution unit 65.
  • the control code is a code represented by one symbol selected from a plurality of types of symbols prepared in advance or a combination of a plurality of types of symbols.
  • Each symbol inserted by the control code insertion unit 91 is 8-bit data.
  • the receiving unit 31 performs 10B8B conversion on the received data as will be described later.
  • Each symbol before 10B8B conversion included in the received data is 10-bit data, and each symbol after 10B8B conversion is It becomes 8-bit data.
  • FIG. 21 is a diagram illustrating an example of a control code added by the control code insertion unit 91.
  • the control codes include Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, and Standby Code.
  • Idle Code is a symbol group that is repeatedly transmitted during a period other than the time of packet data transmission. Idle Code is represented by D00.0 (00000000) of D Character which is 8B10B Code.
  • Start Code is a symbol group indicating the start of the packet. As described above, Start Code is added before the packet. Start Code is represented by four symbols K28.5, K27.7, K28.2, and K27.7, which are combinations of three types of K Character. The value of each K Character is shown in FIG.
  • End Code is a symbol group indicating the end of the packet. As described above, End Code is added after the packet. End Code is represented by four symbols K28.5, K29.7, K30.7, and K29.7, which are combinations of three types of K Character.
  • the Pad Code is a symbol group inserted in the payload data to fill the difference between the pixel data band and the PHY transmission band.
  • the pixel data band is a transmission rate of pixel data output from the imaging unit 21 and input to the transmission unit 22, and the PHY transmission band is transmission of pixel data transmitted from the transmission unit 22 and input to the reception unit 31. Rate.
  • Pad Code is represented by four symbols of K23.7, K28.4, K28.6, and K28.3, which are combinations of four types of K Character.
  • FIG. 23 is a diagram showing an example of insertion of Pad Code.
  • the pad code is inserted into the payload data assigned to Lane 0 by the control code inserting unit 91 of the signal processing unit 83-0. Similarly, the insertion of Pad Code into the payload data assigned to other lanes is performed at the same timing in the signal processing units 83-1 to 83-N.
  • the number of Pad Codes is determined based on the difference between the pixel data band and the PHY transmission band, the frequency of the clock signal generated by the clock generation unit 82, and the like.
  • Pad ⁇ Code is inserted to adjust the difference between the two bands when the pixel data band is narrow and the PHY transmission band is wide. For example, by inserting Pad-Code, the difference between the pixel data band and the PHY transmission band is adjusted to be within a certain range.
  • Sync ⁇ Code is a symbol group used to ensure bit synchronization and symbol synchronization between the transmission unit 22 and the reception unit 31.
  • Sync Code is represented by two symbols K28.5 and Any **. Any ** indicates that any kind of symbol may be used.
  • Sync ⁇ ⁇ ⁇ Code is repeatedly transmitted in the training mode before the transmission of packet data between the transmission unit 22 and the reception unit 31 is started.
  • Deskew Code is a symbol group used for correction of data reception skew between data lanes, that is, reception timing deviation of data received in each lane of the receiving unit 31.
  • Deskew Code is represented by two symbols K28.5 and Any **. Data Skew correction between lanes using Deskew Code will be described later.
  • Standby Code is a symbol group used to notify the receiving unit 31 that the output of the transmitting unit 22 is in a state such as High-Z (high impedance) and data transmission is not performed. That is, the Standby Code is transmitted to the receiving unit 31 when transmission of the packet data is finished and the standby state is set. Standby Code is represented by two symbols K28.5 and Any **.
  • the control code insertion unit 91 outputs packet data with such a control code added to the 8B10B symbol encoder 92.
  • FIG. 24 is a diagram showing an example of packet data after the control code is inserted.
  • Start Code is added before the packet data, and Pad Code is inserted into the payload data.
  • End Code is added after the packet data, and Deskew Code is added after End Code.
  • Idle Code is added after Deskew Code.
  • the 8B10B symbol encoder 92 performs 8B10B conversion on the packet data (packet data to which the control code is added) supplied from the control code insertion unit 91, and converts the packet data converted into 10-bit unit data to the synchronization unit 93. Output.
  • the synchronization unit 93 outputs each bit of the packet data supplied from the 8B10B symbol encoder 92 to the transmission unit 94 according to the clock signal generated by the clock generation unit 82. Note that the synchronization unit 93 may not be provided in the transmission unit 22. In this case, the packet data output from the 8B10B symbol encoder 92 is supplied to the transmission unit 94 as it is.
  • the transmission unit 94 transmits the packet data supplied from the synchronization unit 93 to the reception unit 31 via the transmission path configuring Lane0.
  • the packet data is transmitted to the reception unit 31 also using the transmission paths that form Lanes 1 to 7.
  • the reception unit 31 is provided with a PHY-RX state control unit 101 and signal processing units 102-0 to 102-N as the configuration of the physical layer.
  • the signal processing unit 102-0 includes a reception unit 111, a clock generation unit 112, a synchronization unit 113, a symbol synchronization unit 114, a 10B8B symbol decoder 115, a skew correction unit 116, and a control code removal unit 117.
  • Packet data transmitted via the transmission path constituting Lane0 is input to the signal processing unit 102-0, and packet data transmitted via the transmission path configuring Lane1 is input to the signal processing unit 102-1. Is done. Further, the packet data transmitted via the transmission path configuring LaneN is input to the signal processing unit 102-N.
  • the physical layer of the receiving unit 31 is provided with the same number of signal processing units 102-0 to 102-N as the number of lanes, and the processing of packet data transmitted using each lane is a signal. This is performed in parallel in each of the processing units 102-0 to 102-N.
  • the configuration of the signal processing unit 102-0 will be described, the signal processing units 102-1 to 102-N have the same configuration.
  • the reception unit 111 receives a signal representing the packet data transmitted from the transmission unit 22 via the transmission path configuring Lane0, and outputs the signal to the clock generation unit 112.
  • the clock generation unit 112 performs bit synchronization by detecting the edge of the signal supplied from the reception unit 111, and generates a clock signal based on the edge detection period.
  • the clock generation unit 112 outputs the signal supplied from the reception unit 111 to the synchronization unit 113 together with the clock signal.
  • the synchronization unit 113 samples the signal received by the reception unit 111 according to the clock signal generated by the clock generation unit 112, and outputs packet data obtained by the sampling to the symbol synchronization unit 114.
  • the clock generation unit 112 and the synchronization unit 113 realize a CDR (ClockCData Recovery) function.
  • the symbol synchronization unit 114 performs symbol synchronization by detecting a control code included in the packet data or by detecting some symbols included in the control code. For example, the symbol synchronization unit 114 detects a K28.5 symbol included in Start Code, End Code, and Deskew Code, and performs symbol synchronization. The symbol synchronization unit 114 outputs 10-bit unit packet data representing each symbol to the 10B8B symbol decoder 115.
  • the symbol synchronization unit 114 performs symbol synchronization by detecting a symbol boundary included in the Sync Code repeatedly transmitted from the transmission unit 22 in the training mode before the transmission of packet data is started.
  • the 10B8B symbol decoder 115 performs 10B8B conversion on the 10-bit unit packet data supplied from the symbol synchronization unit 114, and outputs the packet data converted into 8-bit unit data to the skew correction unit 116.
  • the skew correction unit 116 detects Deskew Code from the packet data supplied from the 10B8B symbol decoder 115. Information on the detection timing of Deskew Code by the skew correction unit 116 is supplied to the PHY-RX state control unit 101.
  • the skew correction unit 116 corrects the Data Skew between the lanes so that the timing of the Deskew Code matches the timing represented by the information supplied from the PHY-RX state control unit 101. From the PHY-RX state control unit 101, information indicating the latest timing among the Deskew code timings detected in each of the signal processing units 102-0 to 102-N is supplied.
  • FIG. 25 is a diagram showing an example of correction of Data Skew between lanes using Deskew Code.
  • Sync Code, Sync Code, ..., Idle Code, Deskew Code, Idle Code, ..., Idle Code, and Deskew Code are transmitted in each lane of Lane 0 to 7 It is received by the receiving unit 31.
  • the reception timing of the same control code is different for each lane, and Data Skew is generated between lanes.
  • the skew correction unit 116 detects DeskewDeCode C1, which is the first Deskew Code, and the time indicated by the information supplied from the PHY-RX state control unit 101 is the head timing of Deskew Code C1. Correction is made to match t1.
  • the PHY-RX state control unit 101 is supplied with information at time t1 when Deskew Code C1 is detected in Lane7, which is the latest timing among the timings when Deskew Code C1 is detected in each lane of Lane0 to Lane7. come.
  • the skew correction unit 116 detects Deskew Code C2, which is the second Deskew Code, and the timing t2 indicated by the information supplied from the PHY-RX state control unit 101 indicates the head timing of Deskew Code C2. Correct to match.
  • the PHY-RX state control unit 101 is supplied with information at time t2 when Deskew Code C2 is detected in Lane7, which is the latest timing among the timings when Deskew Code C2 is detected in each lane of Lane0 to Lane7. come.
  • the skew correction unit 116 outputs the packet data obtained by correcting Data Skew to the control code removal unit 117.
  • the control code removing unit 117 removes the control code added to the packet data, and outputs the data from the Start Code to the End Code as packet data to the link layer.
  • the PHY-RX state control unit 101 controls each unit of the signal processing units 102-0 to 102-N to perform correction of Data Skew between lanes. In addition, when a transmission error occurs in a predetermined lane and a control code is lost, the PHY-RX state control unit 101 adds a control code transmitted in another lane instead of the lost control code. As a result, error correction of the control code is performed.
  • the reception unit 31 includes a LINK-RX protocol management unit 121, a lane integration unit 122, a packet separation unit 123, a payload error correction unit 124, and a Byte-to-Pixel conversion unit 125 as a link layer configuration.
  • the LINK-RX protocol management unit 121 includes a state control unit 131, a header error correction unit 132, a data removal unit 133, and a footer error detection unit 134.
  • the lane integrating unit 122 integrates the packet data supplied from the signal processing units 102-0 to 102-N in the physical layer by rearranging the packet data in the reverse order to the distribution to each lane by the lane distributing unit 65 of the transmitting unit 22. To do.
  • the packet data on the left side in FIG. 20 is obtained by integrating the packet data of each lane. Is acquired.
  • the lane stuffing data is removed by the lane integrating unit 122 according to the control by the data removing unit 133.
  • the lane integration unit 122 outputs the integrated packet data to the packet separation unit 123.
  • the packet separation unit 123 separates the packet data for one packet integrated by the lane integration unit 122 into packet data constituting header data and packet data constituting payload data.
  • the packet separation unit 123 outputs the header data to the header error correction unit 132 and outputs the payload data to the payload error correction unit 124.
  • the packet separation unit 123 separates the data for one packet into packet data constituting the header data, packet data constituting the payload data, and packet data constituting the footer data. To do.
  • the packet separation unit 123 outputs the header data to the header error correction unit 132 and outputs the payload data to the payload error correction unit 124. Further, the packet separation unit 123 outputs the footer data to the footer error detection unit 134.
  • the payload error correction unit 124 detects an error in the payload data by performing an error correction operation based on the parity, and corrects the detected error. I do. For example, when the parity is inserted as shown in FIG. 16, the payload error correction unit 124 uses the two parity inserted at the end of the first Basic Block, and the 224 in front of the parity. The error correction of the pixel data is performed.
  • the payload error correction unit 124 outputs pixel data after error correction obtained by performing error correction for each Basic block and Extra block to the Byte-to-Pixel conversion unit 125.
  • the payload data supplied from the packet separation unit 123 is output to the Byte-to-Pixel conversion unit 125 as it is.
  • the Byte-to-Pixel conversion unit 125 removes payload stuffing data included in the payload data supplied from the payload error correction unit 124 in accordance with control by the data removal unit 133.
  • the Byte-to-Pixel conversion unit 125 converts each pixel data obtained by removing the payload stuffing data into pixel data in units of 8, 10, 12, 14, or 16 bits. Byte to Pixel conversion is performed. In the Byte to Pixel conversion unit 125, a conversion opposite to the Pixel to Byte conversion performed by the Pixel to Byte conversion unit 62 of the transmission unit 22 described with reference to FIGS. 9 to 13 is performed.
  • the Byte-to-Pixel conversion unit 125 outputs pixel data in units of 8, 10, 12, 14, or 16 bits obtained by Byte-to-Pixel conversion to the frame data output unit 141.
  • each line of effective pixels specified by the Line Valid of the header information is generated based on the pixel data obtained by the Byte to Pixel conversion unit 125, and each line according to the Line Number of the header information is generated.
  • An image of one frame is generated by arranging the lines.
  • the state control unit 131 of the LINK-RX protocol management unit 121 manages the state of the link layer of the reception unit 31.
  • the header error correction unit 132 acquires three sets of header information and CRC code based on the header data supplied from the packet separation unit 123.
  • the header error correction unit 132 performs an error detection operation, which is an operation for detecting an error in the header information, for each set of the header information and the CRC code using the same set of CRC codes as the header information. Do.
  • the header error correction unit 132 estimates correct header information based on at least one of the error detection result of each set of header information and the data comparison result obtained by the error detection calculation, and corrects the correct header information. Output header information and decryption result.
  • the data obtained by the error detection calculation is a value obtained by applying a CRC generator polynomial to the header information.
  • the decoding result is information indicating successful decoding or failed decoding.
  • the header error correction unit 132 is the data obtained by the error detection calculation as to whether or not there is an error in the header information of the set 1 by the error detection calculation for the set 1 (error detection result). Data 1 is acquired. Further, the header error correction unit 132 acquires whether or not there is an error in the header information of the set 2 and the data 2 that is data obtained by the error detection calculation by the error detection calculation for the set 2. The header error correction unit 132 acquires whether or not there is an error in the header information of the set 3 and the data 3 that is data obtained by the error detection calculation by the error detection calculation for the set 3.
  • the header error correction unit 132 determines whether data 1 and data 2 match, whether data 2 and data 3 match, and whether data 3 and data 1 match.
  • the header error correction unit 132 does not detect an error by any of the error detection calculations for the set 1, the set 2, and the set 3, and matches any comparison result of the data obtained by the error detection calculation. In this case, information indicating successful decoding is selected as a decoding result. Further, the header error correction unit 132 estimates that any of the header information is correct, and selects any one of the header information of the group 1, the header information of the group 2, and the header information of the group 3 as output information.
  • the header error correction unit 132 selects information indicating successful decoding as a decoding result and determines that the header information of the set 1 is correct.
  • the header information of group 1 is selected as output information.
  • the header error correction unit 132 selects information indicating successful decoding as the decoding result, and the header information of the set 2 is correct.
  • the header information of group 2 is selected as output information.
  • the header error correction unit 132 selects information indicating successful decoding as a decoding result and estimates that the header information of the group 3 is correct when an error is not detected only by the error detection calculation for the group 3. , Set 3 header information is selected as output information.
  • the header error correction unit 132 outputs the decoding result and output information selected as described above to the register 142 and stores them. In this way, error correction of header information by the header error correction unit 132 is performed by detecting header information without error from a plurality of header information using a CRC code and outputting the detected header information. Is called.
  • the data removal unit 133 controls the lane integration unit 122 to remove the lane stuffing data, and controls the Byte-to-Pixel conversion unit 125 to remove the payload stuffing data.
  • the footer error detection unit 134 acquires the CRC code stored in the footer based on the footer data supplied from the packet separation unit 123.
  • the footer error detection unit 134 performs an error detection calculation using the acquired CRC code, and detects an error in the payload data.
  • the footer error detection unit 134 outputs the error detection result and stores it in the register 142.
  • FIG. 26 is started when an instruction to start imaging is given, for example, by pressing a shutter button provided in the imaging device.
  • step S1 the imaging unit 21 of the image sensor 11 performs imaging.
  • the frame data input unit 52 (FIG. 5) of the imaging unit 21 sequentially outputs pixel data constituting one frame image obtained by imaging one pixel at a time.
  • step S2 the transmission unit 22 performs data transmission processing.
  • a packet in which pixel data for one line is stored in the payload is generated, and packet data constituting the packet is transmitted to the receiving unit 31.
  • the data transmission process will be described later with reference to the flowchart of FIG.
  • step S3 the reception unit 31 performs data reception processing.
  • the packet data transmitted from the transmission unit 22 is received, and the pixel data stored in the payload is output to the image processing unit 32.
  • the data reception process will be described later with reference to the flowchart of FIG.
  • the data transmission process performed by the transmission unit 22 in step S2 and the data reception process performed by the reception unit 31 in step S3 are alternately performed on pixel data for one line. That is, when pixel data of one line is transmitted by data transmission processing, data reception processing is performed. When pixel data of one line is received by data reception processing, the pixel data of the next one line is targeted. Data transmission processing is performed.
  • the data transmission process by the transmission unit 22 and the data reception process by the reception unit 31 may be performed in parallel in time as appropriate.
  • the frame data output unit 141 of the image processing unit 32 determines whether or not the transmission / reception of the pixel data of all the lines constituting the image of one frame has been completed. The processes after step S2 are repeatedly performed.
  • step S4 When it is determined in step S4 that transmission / reception of pixel data of all lines constituting one frame image has been completed, the frame data output unit 141 of the image processing unit 32 receives the pixels supplied from the reception unit 31 in step S5. An image of one frame is generated based on the data.
  • step S6 the image processing unit 32 performs image processing using an image of one frame, and ends the processing.
  • the header generation unit 72 generates header information including Frame Start, Frame End, Line Valid, Line Number, and Reserved.
  • step S12 the header generation unit 72 calculates the CRC code by applying the header information to the generator polynomial.
  • the header generation unit 72 generates a pair of header information and a CRC code by adding a CRC code to the header information, and repeats and arranges three sets of the same header information and a CRC code to set the header. Generate.
  • step S14 the Pixel to Byte conversion unit 62 acquires the pixel data supplied from the frame data input unit 52, and performs Pixel to Byte conversion.
  • the Pixel-to-Byte conversion unit 62 outputs payload data generated by grouping pixel data in units of bytes obtained by Pixel-to-Byte conversion, adding payload stuffing data, and the like. Parity is appropriately inserted into the payload data by the payload ECC insertion unit 63.
  • step S15 the packet generator 64 generates a packet based on the payload data including the pixel data for one line and the header generated by the header generator 72, and outputs packet data constituting one packet.
  • step S16 the lane distribution unit 65 allocates the packet data supplied from the packet generation unit 64 to a plurality of lanes used for data transmission.
  • step S17 the control code insertion unit 91 adds a control code to the packet data supplied from the lane distribution unit 65.
  • step S18 the 8B10B symbol encoder 92 performs 8B10B conversion of the packet data to which the control code is added, and outputs the packet data converted into 10-bit unit data.
  • step S19 the synchronization unit 93 outputs the packet data supplied from the 8B10B symbol encoder 92 according to the clock signal generated by the clock generation unit 82, and causes the transmission unit 94 to transmit the packet data.
  • the processing in steps S17 to S19 is performed in parallel by the signal processing units 83-0 to 83-N.
  • the process returns to step S2 in FIG. 26 and the subsequent processing is performed.
  • step S31 the reception unit 111 receives a signal representing packet data transmitted from the transmission unit 22.
  • the processing of steps S31 to S36 is performed in parallel by the signal processing units 102-0 to 102-N.
  • step S32 the clock generation unit 112 takes bit synchronization by detecting the edge of the signal supplied from the reception unit 111.
  • the synchronization unit 113 samples the signal received by the reception unit 111 and outputs the packet data to the symbol synchronization unit 114.
  • step S33 the symbol synchronization unit 114 performs symbol synchronization by detecting a control code included in the packet data.
  • step S34 the 10B8B symbol decoder 115 performs 10B8B conversion on the packet data after symbol synchronization, and outputs the packet data converted into 8-bit data.
  • step S35 the skew correction unit 116 detects Deskew Code, and matches the timing of Deskew Code with the timing represented by the information supplied from the PHY-RX state control unit 101 as described above. Correct Data Skew.
  • step S36 the control code removing unit 117 removes the control code added to the packet data.
  • step S37 the lane integration unit 122 integrates the packet data supplied from the signal processing units 102-0 to 102-N.
  • step S38 the packet separation unit 123 separates the packet data integrated by the lane integration unit 122 into packet data constituting header data and packet data constituting payload data.
  • step S39 the header error correction unit 132 performs error detection calculation using a CRC code for each set of header information and CRC code included in the header data separated by the packet separation unit 123. Further, the header error correction unit 132 selects and outputs header information having no error based on each group of error detection results and the comparison result of the data obtained by the error detection calculation.
  • step S40 the Byte-to-Pixel conversion unit 125 performs Byte-to-Pixel conversion of the payload data, and outputs pixel data in units of 8 bits, 10 bits, 12 bits, 14 bits, or 16 bits.
  • error correction using parity is appropriately performed by the payload error correction unit 124.
  • data transmission between the image sensor 11 and the DSP 12 is performed using a packet format in which one line of one frame corresponds to one packet.
  • the packet format used for data transmission between the image sensor 11 and the DSP 12 is a format that minimizes transmission of header information and a control code indicating a packet boundary such as Start ⁇ Code, End ⁇ ⁇ Code, and prevents a reduction in transmission efficiency. It becomes possible. If the packet format in which the pixel data stored in the payload of one packet is less than one line is adopted, it is necessary to transmit more packets in order to transmit the pixel data of the entire frame, and the header to be transmitted As the number of information and control codes increases, the transmission efficiency decreases.
  • the packet format used for data transmission between the image sensor 11 and the DSP 12 is added with a CRC code so that the DSP 12 can detect the presence or absence of a header information transmission error.
  • the DSP 12 can correct the header information correctly when a transmission error of the header information occurs.
  • an error correction code is used as a countermeasure against transmission error of header information, it is necessary to prepare a circuit for calculating an error correction code in the transmission unit 22 and a circuit for performing an error correction calculation in the reception unit 31. There will be. Since a CRC code, which is an error detection code, is added to the header information, the circuit scale and power consumption can be reduced as compared with the case where a circuit for performing an error correction operation is prepared. In addition, when an error in the header information is detected, the receiving unit 31 does not request the transmitting unit 22 to retransmit the header information. Therefore, it is necessary to prepare a reverse transmission path for the retransmission request. Absent.
  • Start Code three types of K Character are used in combination as four symbols for Start Code.
  • the Start ⁇ ⁇ Code can be specified by the receiving unit 31, and transmission errors can be detected. It can be said that the tolerance is high. The same applies to End Code.
  • Pad Code has a higher transmission frequency than Start Code, End Code, etc., it has a structure that can further improve error resistance.
  • control code can be reproduced.
  • each control code is configured by combining the minimum necessary K Character. For example, for Sync Code, Deskew Code, and Standby Code that can relatively allow transmission errors by repeated transmission, a data structure that does not require additional assignment of K Character is used.
  • bit synchronization can be achieved by detecting transition / edge of bit data after 8B10B conversion in the CDR realized by the clock generation unit 112 and the synchronization unit 113. If the transmitter 22 continues to send data, bit synchronization can be achieved within the period assumed as the CDR lock time.
  • synchronization between lanes can be achieved by making it possible to correct Data Skew between lanes using Deskew Code.
  • packet data is processed one by one in one clock period by allowing each packet data to be processed in parallel in units of groups such as 16 (in the example of FIG. 14, 16 bytes).
  • the circuit scale and the memory amount can be reduced.
  • the circuit scale and the like can be reduced in the latter case when packet data is processed one by one and when the packet data is processed in a predetermined unit. By reducing the circuit scale, it is possible to reduce power consumption.
  • error resistance can be improved by allocating continuous packet data to different lanes. Even if an error occurs across a number of consecutive packet data exceeding the parity error correction capability in a certain lane, the position of the packet data in which the error has occurred by performing lane combination in the receiving unit 31 May be distributed, and error correction using parity may be possible.
  • the error correction capability by parity is determined by the parity length.
  • the circuit scale of the transmission unit 22 and the reception unit 31 can be reduced by performing ECC processing higher than lane distribution / lane integration with the one closer to the physical layer as the lower level. For example, when the transmission unit 22 assigns the parity of the packet data to each lane and then the ECC parity is inserted into the payload, it is necessary to prepare a payload ECC insertion unit for each lane, and the circuit scale is large. Although it becomes large, such a thing can be prevented.
  • FIG. 29 is a diagram showing a control sequence for switching the number of lanes.
  • the timing of the vertical sync signal (XVS) and horizontal sync signal (XHS) is shown on the right side of FIG. Until the time t1 when the vertical synchronization signal is detected, the pixel data of each line constituting the image of one frame is transmitted according to the horizontal synchronization signal, and the active lane is changed from 4 lanes to 2 lanes at the timing of the time t1. The case where it does is demonstrated. Until time t1, data transmission is performed using four lanes.
  • PIX DATA represents that pixel data is being transmitted in the lane marked with the character.
  • E”, “BLK”, and “S” following “PIX DATA” represent Frame End, blanking period, and Frame Start, respectively.
  • step S81 the image processing unit 32 instructs the receiving unit 31 to switch the number of lanes from 4 to 2.
  • the instruction by the image processing unit 32 is received by the receiving unit 31 in step S71.
  • step S82 the image processing unit 32 requests a mode change to the imaging unit 21 of the image sensor 11.
  • the mode change request transmitted to the imaging unit 21 includes information indicating that the number of lanes is switched from 4 to 2.
  • the image processing unit 32 transmits information on setting values relating to imaging such as shutter speed and gain between the imaging unit 21 and the image processing unit 32 to the imaging unit 21.
  • the transmission path is provided.
  • a request for mode change is also transmitted to the imaging unit 21 via this transmission path.
  • step S51 the imaging unit 21 receives a request for mode change from the image processing unit 32, and instructs the transmission unit 22 to switch the number of lanes from 4 to 2 in step S52.
  • the instruction from the imaging unit 21 is received by the transmission unit 22 in step S61.
  • a Standby Sequence is performed between the transmission unit 22 and the reception unit 31, and the Standby Code is repeatedly transmitted from the transmission unit 22 to the reception unit 31 using Lane0 to Lane3.
  • Standby Sequence ends, the detection result of the state is output from the receiving unit 31 in step S72, and is received by the image processing unit 32 in step S83. Further, Lane0 and Lane1 that maintain an active state are in a Low state, and Lane2 and Lane3 that end data transmission are in a High-Z state.
  • Training Sequence is performed between the transmission unit 22 and the reception unit 31, and Sync Code is repeatedly transmitted from the transmission unit 22 to the reception unit 31 using Lane0 and Lane1.
  • bit synchronization is ensured, and symbol synchronization is ensured by detecting Sync Code.
  • step S73 the receiving unit 31 notifies the image processing unit 32 that preparation has been completed.
  • the notification by the receiving unit 31 is received by the image processing unit 32 in step S84, and a series of control sequences for switching the number of lanes is completed.
  • Standby Code is transmitted during Standby Sequence even in Lanes 2 and 3 where data transmission is terminated so that Lane 0 and 1 used for data transmission are continuously in the same state.
  • Lanes 2 and 3 it is possible to leave the High-Z state without performing Standby Code transmission, but it will be different from the lane used for data transmission, and the control will be complicated. Become.
  • FIG. 30 is a diagram showing another example of a frame format used for data transmission between the image sensor 11 and the DSP 12. The description overlapping with the above description will be omitted as appropriate.
  • the frame format shown in FIG. 30 is different from the format shown in FIG. 4 in that three data of Embedded mb Line, Data ID, and Region Number surrounded by a thick line L11 are added to the header added to the image data of each line. Such information is generated by the header generation unit 72 of FIG. 5 and added to the header.
  • FIG. 31 is an enlarged view showing one packet in the frame format of FIG.
  • One packet includes a header and payload data which is pixel data for one line.
  • a footer may be added to the packet.
  • Start Code is added to the beginning of each packet, and End Code is added to the end of each packet.
  • the header information includes Embedded Line as line information, Data ID as data identification, and Region Number as area information in addition to the above-mentioned Frame Start, Frame End, Line Valid, and Line Number. The contents of each information are shown in FIG.
  • the Embedded Line is 1-bit information indicating whether or not the packet is used for transmission of the line in which Embedded Data is inserted. For example, a value of 1 is set in Embedded Line of a packet header used for transmission of a line including Embedded Data, and a value of 0 is set in Embedded Line of a packet header used for transmission of another line. . As described above, information on the setting value related to imaging is inserted into a predetermined line in the front dummy area A3 and the rear dummy area A4 as Embedded Data.
  • Data ID is P-bit information indicating data ID and data type in multi-stream transmission.
  • the P bit represents a predetermined number of bits of 1 bit or more.
  • Multi-stream transmission is data transmission performed using a plurality of sets of one transmission unit and one reception unit.
  • “Region Number” is 1-bit information indicating which region of the imaging unit 21 the pixel data stored in the payload is. By adding these three data, Reserved becomes 30-P bits.
  • Second Embodiment (an example of transmitting predetermined data as well as pixel data)>
  • the above-described data transmission between chips using a plurality of lanes can be used not only for image data but also for transmission of various data.
  • the I / F described above which is used to transmit pixel data output from an image sensor such as a CMOS, is referred to as CIS (CMOS Image Sensor) I / F
  • the IF used to transmit various data is a general purpose I / F.
  • general-purpose I / F not only image data but also various data such as audio data and text data are transmitted from the transmitting chip to the receiving chip.
  • FIG. 33 is a diagram illustrating a first configuration example of a transmission system using a general-purpose I / F.
  • the transmission-side LSI 311 and the reception-side LSI 312 are provided in the same device, for example.
  • the transmission side LSI 311 is provided with an information processing unit 321 and one transmission unit 322, and the reception side LSI 312 is provided with one reception unit 331 and an information processing unit 332.
  • the information processing unit 321 of the transmission-side LSI 311 processes various data and outputs data to be transmitted to the transmission unit 322. From the information processing unit 321, various bit widths such as 8, 10, 12, 14, 16, 20, 24, 28, 32, 40, 48, 56, 64, 80, 96, 112, 128, 144 bits, etc. Data is output.
  • the transmission unit 322 assigns the data supplied from the information processing unit 321 to a plurality of lanes in the order supplied from the information processing unit 321, for example, and transmits the data to the reception-side LSI 312 in parallel. Also in the example of FIG. 33, data transmission is performed using eight lanes.
  • the transmission path between the transmission-side LSI 311 and the reception-side LSI 312 may be a wired transmission path or a wireless transmission path.
  • the reception unit 331 of the reception-side LSI 312 receives data transmitted from the transmission unit 322 via eight lanes and outputs the data to the information processing unit 332.
  • the information processing unit 332 generates data selected as a transmission target on the transmission-side LSI 311 side based on the data supplied from the reception unit 331, and performs various processes using the generated data.
  • the data to be transmitted is, for example, audio data, processing such as reproduction and compression of audio data is performed.
  • FIG. 34 is a diagram illustrating a second configuration example of the transmission system 301. 34, the same components as those illustrated in FIG. 33 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate.
  • reception LSI 312 includes two reception units.
  • Receiving units 331-1 and 331-2 and an information processing unit 332 are provided.
  • the information processing unit 321 divides the data to be transmitted and outputs the data to the transmission unit 322-1 and the transmission unit 322-2.
  • the transmission unit 322-1 assigns the data supplied from the information processing unit 321 to a plurality of lanes in the order supplied from the information processing unit 321, for example, and transmits the data to the reception-side LSI 312.
  • the transmission unit 322-2 assigns the data supplied from the information processing unit 321 to a plurality of lanes in the order supplied from the information processing unit 321, for example, and transmits the data to the reception-side LSI 312.
  • the transmission side LSI 311 and the reception side LSI 312 are connected via eight lanes.
  • the transmission unit 322-1 and the transmission unit 322-2 each transmit data using four lanes.
  • the receiving unit 331-1 of the receiving-side LSI 312 receives the data transmitted from the transmitting unit 322-1 via the four lanes, and outputs the data to the information processing unit 332.
  • the reception unit 331-2 receives data transmitted from the transmission unit 322-2 via the four lanes and outputs the data to the information processing unit 332.
  • the information processing unit 332 generates data to be transmitted based on the data supplied from the receiving unit 331-1 and the data supplied from the receiving unit 331-2, and performs various processes on the generated data.
  • two transmission units are provided in the transmission-side LSI 311 and two reception units are provided in the reception-side LSI 312 corresponding to the transmission units, so that the transmission rate of data output from the information processing unit 321 is high.
  • the data can be transmitted to the receiving-side LSI 312.
  • FIG. 35 is a diagram illustrating a third configuration example of the transmission system 301. 35, the same components as those shown in FIG. 33 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate.
  • the transmission side LSI 311-1 is provided with an information processing unit 321-1 and one transmission unit 322-1.
  • the transmission side LSI 311-2 has an information processing unit 321-2 and one transmission unit.
  • a unit 322-2 is provided.
  • the reception-side LSI 312 includes two reception units 331-1 and 331-2 and an information processing unit 332.
  • the information processing unit 321-1 of the transmission-side LSI 311-1 outputs the transmission target data to the transmission unit 322-1.
  • the transmission unit 322-1 assigns the data supplied from the information processing unit 321-1 to a plurality of lanes and transmits the data to the reception-side LSI 312.
  • the information processing unit 321-2 of the transmission-side LSI 311-2 outputs the transmission target data to the transmission unit 322-2.
  • the transmission unit 322-2 assigns the data supplied from the information processing unit 321-2 to a plurality of lanes, and transmits the data to the reception-side LSI 312.
  • the transmission-side LSI 311 that is the transmission-side LSI and the reception-side LSI 312 that is the reception-side LSI are connected via eight lanes.
  • Four lanes are allocated to each of the transmission-side LSI 311-1 and the transmission-side LSI 311-2, and the transmission unit 322-1 and the transmission unit 322-2 each transmit data using the four lanes.
  • the reception unit 331-1 of the reception-side LSI 312 receives the data transmitted from the transmission unit 322-1 of the transmission-side LSI 311-1 via the four lanes, and outputs the data to the information processing unit 332.
  • the reception unit 331-2 receives data transmitted from the transmission unit 322-2 of the transmission-side LSI 311-2 via the four lanes and outputs the data to the information processing unit 332.
  • the information processing unit 332 generates data selected as a transmission target in the transmission-side LSI 311-1 based on the data supplied from the reception unit 331-1. Further, the transmission unit 322 generates data selected as a transmission target in the transmission side LSI 311-2 based on the data supplied from the reception unit 331-2. The image processing unit 332 performs various processes using the generated data.
  • the transmission-side LSI of the transmission system 301 is provided with one or more transmission units for transmitting data.
  • the receiving-side LSI is provided with one or more receiving units that receive data corresponding to the transmitting unit of the transmitting-side LSI.
  • Example of packet data structure 36A to 36D are diagrams showing examples of the data structure of a packet used for data transmission.
  • FIG. 36A is a diagram showing an example of a packet used for transmission of pixel data in the CIS IF.
  • One packet of CIS IF is composed of a header, a payload including pixel data for one line, and a footer added as appropriate. Start Code is added to the beginning of one packet of CIS IF, and End Code is added to the end of the footer.
  • 36B to 36D are diagrams showing examples of packets used for transmission of various data in the general-purpose I / F.
  • One packet of general-purpose I / F is composed only of payload.
  • payload data is generated by dividing data to be transmitted in units of 8 to 144 bits supplied from the information processing unit 321 into predetermined sizes.
  • the packet size is the number of bits that is a common multiple of 8 to 144 bits, which is the bit width of the input data, and 128 bits, and is specified by the value set in Configuration Register.
  • the short packet shown in C of FIG. 36 or D of FIG. 36 is used.
  • the short packet (1) of FIG. 36C is used, and when the payload length is not a multiple of 128 bits, the short packet (2) of FIG. Used.
  • the short packet of C in FIG. 36 and the short packet of D in FIG. 36 are identified by End Code added later.
  • FIG. 37 is a diagram illustrating a configuration example of the transmission-side LSI 311 and the reception-side LSI 312.
  • the configuration shown on the left side of FIG. 37 is the configuration of the transmission-side LSI 311, and the configuration shown on the right side is the configuration of the reception-side LSI 312.
  • General-purpose I / F data transmission is realized by configurations of an application layer, an adaptation layer, a link layer, and a physical layer.
  • the configuration shown above the solid line L1 is the configuration of the application layer.
  • a system control unit 341, a data input unit 342, and a register 343 are realized.
  • the system control unit 341 controls data transmission by the general-purpose I / F. For example, the system control unit 341 outputs a control signal indicating that the input data is valid data to the payload data generation unit 351 of the transmission unit 322 while the data input unit 342 outputs the transmission target data. To do.
  • the data input unit 342 outputs the transmission target data to the payload data generation unit 351 in a predetermined bit unit of 8 to 144 bits.
  • the register 343 is the above-described Configuration Register, and stores various information such as the packet size and the number of Lanes.
  • a system control unit 441, a data output unit 442, and a register 443 are realized.
  • the system control unit 441 controls reception of data by the general-purpose I / F. For example, the system control unit 441 outputs information on the packet size specified by the value set in the register 443 to the payload data acquisition unit 431.
  • the data output unit 442 acquires the data supplied from the payload data acquisition unit 431 and outputs it to a data processing unit (not shown).
  • the register 443 stores various information such as the packet size and the number of Lanes.
  • the transmission unit 322 includes a payload data generation unit 351 as an adaptation layer configuration.
  • the payload data generation unit 351 divides the transmission target data supplied from the data input unit 342 in predetermined bit units into the same size as the packet size, and outputs the data to the Byte Packing unit 362. From the payload data generation unit 351 to the Byte Packing unit 362, data in a predetermined bit unit constituting the data to be transmitted is collectively output for each same size as the packet size.
  • the payload data generation unit 351 outputs, for example, the last data of the transmission target data that is less than the packet size to the Byte Packing unit 362 as it is.
  • the payload data generation unit 351 detects that the control signal is turned off and the data input is not longer than a predetermined time, a payload End signal that is a timing signal indicating the input timing of the last data constituting the packet is received. Output to the Byte Packing unit 362.
  • the payload data generation unit 351 outputs the header information to the packet generation unit 364 when transmitting the header information described with reference to FIGS. In general-purpose I / F, header information is also transmitted as payload data.
  • the transmission unit 322 includes a Byte Packing unit 362, a payload ECC insertion unit 363, a packet generation unit 364, and a lane distribution unit 365 as a link layer configuration.
  • the Byte Packing unit 362 converts the data supplied from the payload data generation unit 351 into packing data of a predetermined unit such as 16 bytes that is processed by each processing unit after the Byte Packing unit 362.
  • the Byte Packing unit 362 outputs the packing data obtained by the conversion to the payload ECC insertion unit 363.
  • FIG. 38 is a diagram illustrating an example of Byte Packing, which is data conversion by the Byte Packing unit 362.
  • Data1 to Data8 divided according to the control signal by the payload data generation unit 351 is input to the Byte Packing unit 362 as data constituting one packet.
  • Data is input from the data input unit 342 to the payload data generation unit 351 in units of 80 bits.
  • the Byte Packing unit 362 generates five packing data by assigning each bit of Data1 to Data8 to each bit of packing data in units of 16 bytes (128 bits) in the order of input.
  • the first packing data is data including 1 to 80 bits of Data1 and 1 to 48 bits of Data2.
  • FIG. 39 is a diagram illustrating another example of Byte Packing by the Byte Packing unit 362.
  • Data1 to Data5 divided according to the control signal by the payload data generation unit 351 are input to the Byte Packing unit 362 as data constituting one packet.
  • a Packet End signal is input from the payload data generation unit 351 to the Byte Packing unit 362 in accordance with the input timing of Data5.
  • the Byte Packing unit 362 can recognize that Data5 is the last data constituting one packet.
  • the Byte Packing unit 362 generates the first packing data including the entire Data1 and data from the beginning to the middle of Data2 by assigning each bit of Data1 to Data5 to each bit of the packing data in the order of input. . Further, the Byte Packing unit 362 generates second packing data including data from the middle to the end of Data2, the entire Data3, and data from the beginning to the middle of Data4. The Byte Packing unit 362 generates third packing data including data from the middle to the end of Data4 and data from the beginning to the middle of Data5.
  • the Byte Packing unit 362 subsequently generates the 16-byte fourth packing data by inserting dummy data. . That is, the packing data is generated so that dummy data (dummy bits) is added for less than 16 bytes.
  • the dummy data is, for example, all bits having a value of 0.
  • the Byte Packing unit 362 LSBs 8 bits representing the number of bits of the dummy data included in the fourth packing data as the fifth packing data following the fourth packing data to which the dummy data is added. Packing data included on the side is generated. Dummy data is included in the first to 120th bits of the fifth packing data.
  • the receiving unit 331 that has received such data has a dummy in the fourth packing data, which is the previous packing data, based on the fact that 120-bit dummy data is included in the fifth packing data. It is possible to specify that data is added. Also, the receiving unit 331 specifies the number of bits of dummy data added to the fourth packing data based on the number of bits represented by 8 bits following the 120-bit dummy data, and only the valid data is obtained. It becomes possible to extract.
  • FIG. 40 is a diagram showing a sequence of Byte Packing processing.
  • the control signal supplied from the system control unit 341 of the information processing unit 321 is on during the period from time t11 to t14 and after time t15.
  • Data1 to Data4 which are data to be transmitted in predetermined bit units, are supplied from the data input unit 342 in accordance with the control signal being turned on. Focusing on Data1 to Data3, Data1 is supplied during the period from time t11 to t12, Data2 is supplied during the period from time t12 to t13, and Data3 is supplied during the period from time t13 to t14.
  • a Packet End signal indicating the last data constituting the packet is input at the timing when the input of Data3 is completed.
  • Data1 to Data4 are data each having a size of 16 bytes or more.
  • the Byte Packing unit 362 generates packing data PD1 including data in the range a from the beginning to the middle of Data1. Further, the Byte Packing unit 362 generates packing data PD2 including data in a range b from the middle of Data1 to the end of Data1 and data in a range c from the beginning to the middle of Data2.
  • the Byte Packing unit 362 generates packing data PD3 including data in the range d from the middle of Data2 to the end of Data2 and data in the range e from the beginning to the middle of Data3.
  • the Byte Packing unit 362 adds dummy data to the data in the range f from the middle of Data3 to the end of Data3, and generates 16-byte packing data PD4.
  • the data in the range indicated by hatching is dummy data.
  • the Byte Packing unit 362 generates 16 bytes of packing data including the last bit including the number of bits of the dummy data added to the packing data PD4 following the packing data PD4.
  • a packet including packing data PD1 to PD4 including packing data PD4 to which dummy data is added is transmitted as a short packet of C in FIG. 36 or D in FIG.
  • the short packet includes packing data to which a bit representing the number of bits of dummy data is added at the end.
  • the data composed of the packing data generated in this way is supplied as payload data from the Byte Packing unit 362 to the payload ECC insertion unit 363 in FIG.
  • the payload ECC insertion unit 363 calculates an error correction code used for error correction of payload data based on the payload data supplied from the Byte Packing unit 362, and inserts the parity obtained by the calculation into the payload data.
  • an error correction code used for error correction of payload data based on the payload data supplied from the Byte Packing unit 362, and inserts the parity obtained by the calculation into the payload data.
  • a Reed-Solomon code is used as the error correction code. Note that insertion of an error correction code is optional.
  • FIG. 41 is a diagram showing an example of parity insertion for payload data.
  • the payload ECC insertion unit 363 generates a 224-byte Basic block by collecting 14 packing data in the order supplied from the Byte packing unit 362. Also, the payload ECC insertion unit 363 generates a parity of 2 bytes to 4 bytes based on the payload data of 224 bytes, and inserts the parity into the payload data to thereby generate a Basic block of 226 bytes to 228 bytes into which the parity is inserted. Generate.
  • Parity1 is generated and added to the payload data composed of the 1st to 14th packing data.
  • data indicated by hatching is parity.
  • the payload ECC insertion unit 363 If the size of the payload data following a certain Basic block is less than 224 bytes, the payload ECC insertion unit 363 generates an Extra block based on the remaining payload data. Due to the insertion of the dummy data described above, the extra block information length is always a multiple of 16 bytes. Further, the payload ECC insertion unit 363 generates a parity of 2 bytes to 4 bytes based on the payload data constituting the Extra block, and generates an Extra block with the parity inserted by inserting the parity into the payload data.
  • ParityM is generated and added to the Nth to N + Mth payload data.
  • the payload ECC insertion unit 363 outputs the payload data with the parity inserted to the packet generation unit 364. When no parity is inserted, the payload data supplied from the Byte Packing unit 362 to the payload ECC insertion unit 363 is output to the packet generation unit 364 as it is.
  • the packet generation unit 364 generates a packet having the data supplied from the payload ECC insertion unit 363 as payload data.
  • the packet generation unit 364 outputs the generated packet data to the lane distribution unit 365.
  • the lane distribution unit 365 transmits the packet data supplied from the packet generation unit 364 in units of bytes in order from the first byte, such as Lane0, Lane1,..., Lane (LaneNum-1), Lane1,. Assign to each lane used. Depending on the packet length and the number of Lanes, data may not be evenly distributed to each lane. In this case, the lane distribution unit 365 inserts 00h as Lane Stuffing so that data is evenly distributed to each lane.
  • the lane distribution unit 365 outputs the packet data assigned to each lane in this way to the physical layer.
  • a case where data is transmitted using eight lanes Lane0 to Lane7 will be mainly described, but the same processing is performed even when the number of lanes used for data transmission is another number.
  • the transmission unit 322 includes a PHY-TX state control unit 381, a clock generation unit 382, and signal processing units 383-0 to 383-N as a physical layer configuration.
  • the configuration of the physical layer of the transmission unit 322 is the same as the configuration of the physical layer of the transmission unit 22 in the CIS-IF described with reference to FIG. The overlapping description will be omitted as appropriate.
  • the signal processing unit 383-0 includes a control code insertion unit 391, an 8B10B symbol encoder 392, a synchronization unit 393, and a transmission unit 394.
  • the packet data output from the lane distribution unit 365 and allocated to Lane0 is input to the signal processing unit 383-0, and the packet data allocated to Lane1 is input to the signal processing unit 383-1.
  • the packet data assigned to LaneN is input to the signal processing unit 383-N.
  • the PHY-TX state control unit 381 controls each of the signal processing units 383-0 to 383-N.
  • the clock generation unit 382 generates a clock signal and outputs it to each synchronization unit 393 of the signal processing units 383-0 to 383-N.
  • the control code insertion unit 391 of the signal processing unit 383-0 adds a control code such as Start Code and End Code to the packet data supplied from the lane distribution unit 365.
  • the control code insertion unit 391 outputs the packet data to which the control code is added to the 8B10B symbol encoder 392.
  • the 8B10B symbol encoder 392 performs 8B10B conversion on the packet data (packet data to which the control code is added) supplied from the control code insertion unit 391, and converts the packet data converted to 10-bit unit data to the synchronization unit 393. Output.
  • the synchronization unit 393 outputs each bit of the packet data supplied from the 8B10B symbol encoder 392 to the transmission unit 394 according to the clock signal generated by the clock generation unit 382. Note that the synchronization unit 393 may not be provided in the transmission unit 322. In this case, the packet data output from the 8B10B symbol encoder 392 is supplied to the transmission unit 394 as it is.
  • the transmission unit 394 transmits the packet data supplied from the synchronization unit 393 to the reception unit 331 via the transmission path configuring Lane0.
  • the packet data is transmitted to the reception unit 331 also using the transmission paths forming Lanes 1 to 7.
  • the reception unit 331 includes a PHY-RX state control unit 401 and signal processing units 402-0 to 402-N as a physical layer configuration.
  • the configuration of the physical layer of the reception unit 331 is the same as the configuration of the physical layer of the reception unit 31 in the CIS-IF described with reference to FIG. The overlapping description will be omitted as appropriate.
  • the signal processing unit 402-0 includes a receiving unit 411, a clock generating unit 412, a synchronizing unit 413, a symbol synchronizing unit 414, a 10B8B symbol decoder 415, a skew correcting unit 416, and a control code removing unit 417.
  • the packet data transmitted through the transmission path that configures Lane0 is input to the signal processing unit 402-0, and the packet data that is transmitted through the transmission path that configures Lane1 is input to the signal processing unit 402-1. Is done. Further, the packet data transmitted via the transmission path configuring LaneN is input to the signal processing unit 402-N.
  • the reception unit 411 receives a signal representing the packet data transmitted from the transmission unit 322 via the transmission path configuring Lane0 and outputs the signal to the clock generation unit 412.
  • the clock generation unit 412 performs bit synchronization by detecting the edge of the signal supplied from the reception unit 411, and generates a clock signal based on the edge detection period.
  • the clock generation unit 412 outputs the signal supplied from the reception unit 411 to the synchronization unit 413 together with the clock signal.
  • the synchronization unit 413 samples the signal received by the reception unit 411 according to the clock signal generated by the clock generation unit 412, and outputs packet data obtained by the sampling to the symbol synchronization unit 414.
  • the symbol synchronization unit 414 detects a K28.5 symbol included in, for example, Start Code, End Code, and Deskew Code, and performs symbol synchronization.
  • the symbol synchronization unit 414 outputs 10-bit unit packet data representing each symbol to the 10B8B symbol decoder 415.
  • the 10B8B symbol decoder 415 performs 10B8B conversion on the 10-bit unit packet data supplied from the symbol synchronization unit 414, and outputs the packet data converted into 8-bit unit data to the skew correction unit 416.
  • the skew correction unit 416 detects Deskew® code from the packet data supplied from the 10B8B symbol decoder 415. Information on the detection timing of Deskew Code by the skew correction unit 416 is supplied to the PHY-RX state control unit 401. Further, the skew correction unit 416 corrects the Data Skew between lanes so that the timing of Deskew Code is matched with the timing represented by the information supplied from the PHY-RX state control unit 401.
  • the skew correction unit 416 outputs the packet data obtained by correcting Data Skew to the control code removal unit 417.
  • the control code removing unit 417 removes the control code added to the packet data, and outputs the data from the Start Code to the End Code as packet data to the link layer.
  • the PHY-RX state control unit 401 controls each unit of the signal processing units 402-0 to 402-N to perform correction of Data Skew between lanes.
  • the reception unit 331 includes a lane integration unit 422, a packet separation unit 423, a payload error correction unit 424, and a Byte Unpacking unit 425 as a link layer configuration.
  • the lane integration unit 422 integrates the data supplied from the physical layer signal processing units 402-0 to 402-N by rearranging the data in the reverse order to the distribution order to each lane by the lane distribution unit 365 of the transmission unit 322. .
  • the lane integration unit 422 outputs the packet data obtained by the integration to the packet separation unit 423.
  • the packet separation unit 423 outputs the packet data integrated by the lane integration unit 422 to the payload error correction unit 424 as payload data.
  • the packet separation unit 423 outputs the header information extracted from the payload to the payload data acquisition unit 431.
  • the payload error correction unit 424 detects an error in the payload data by performing an error correction operation based on the parity, and corrects the error.
  • the payload error correction unit 424 uses the parity inserted at the end of the first Basic block, and uses the parity of 224 bytes before the parity. Data error correction is performed.
  • the payload error correction unit 424 outputs the error-corrected data obtained by performing error correction on each Basic block and Extra block to the Byte Unpacking unit 425.
  • the payload data supplied from the packet separator 423 is output as it is to the Byte / Unpacking unit 425.
  • the Byte Unpacking unit 425 performs Byte Unpacking, which is a conversion process reverse to the processing performed by the Byte Packing unit 362 of the transmission unit 322, on the 16-byte unit packing data supplied from the payload error correction unit 424.
  • the Byte Unpacking unit 425 outputs the data obtained by performing Byte Unpacking to the payload data acquisition unit 431.
  • data of a predetermined bit unit is collectively output from the Byte ⁇ Unpacking unit 425 to the payload data acquisition unit 431.
  • Byte Unpacking unit 425 also removes dummy data and performs Byte Unpacking on data other than dummy data when dummy data is included in the packing data constituting the payload data.
  • the fact that dummy data is included in the packing data is specified based on detecting, for example, 120-bit continuous dummy data as described above.
  • the number of bits of dummy data included in the packing data is specified by 8 bits following the 120-bit dummy data.
  • the reception unit 331 includes a payload data acquisition unit 431 as an adaptation layer configuration.
  • the payload data acquisition unit 431 acquires the data supplied from the Byte Unpacking unit 425, and transmits information in units of the same bit width as the bit width of the data input from the data input unit 342 to the payload data generation unit 351 in the transmission-side LSI 311.
  • the data is output to the processing unit 332.
  • step S101 the information processing unit 321 of the transmission side LSI 311 processes various data, and outputs the transmission target data to the transmission unit 322 in units of a predetermined bit width of 8 to 144 bits.
  • step S102 the transmission unit 322 performs data transmission processing.
  • a packet in which the data to be transmitted is stored in the payload is generated, and the packet data is transmitted to the reception unit 331.
  • the data transmission process will be described later with reference to the flowchart of FIG.
  • step S103 the reception unit 331 of the reception-side LSI 312 performs data reception processing.
  • data transmitted from the transmission unit 322 is received, and data selected as data to be transmitted by the transmission-side LSI 311 is output to the information processing unit 332.
  • the data reception process will be described later with reference to the flowchart of FIG.
  • step S104 the information processing unit 332 acquires the data supplied from the receiving unit 331.
  • step S105 the information processing unit 332 performs various processes based on the acquired data, and ends the process.
  • step S111 the payload data generation unit 351 generates payload data by dividing the transmission target data supplied from the data input unit 342 into predetermined sizes.
  • step S112 the Byte Packing unit 362 converts the payload data supplied from the payload data generation unit 351 into packing data of a predetermined unit such as 16 bytes.
  • step S113 the payload ECC insertion unit 363 calculates an error correction code based on the Basic block or Extra block configured from the payload data, and inserts the parity obtained by the calculation into the payload data.
  • step S114 the packet generation unit 364 outputs the data supplied from the payload ECC insertion unit 363 to the lane distribution unit 365 as packet data.
  • step S115 the lane distribution unit 365 allocates the packet data supplied from the packet generation unit 364 to a plurality of lanes used for data transmission.
  • step S116 the control code insertion unit 391 adds a control code to the packet data supplied from the lane distribution unit 365.
  • step S117 the 8B10B symbol encoder 392 performs 8B10B conversion of the packet data to which the control code is added, and outputs the packet data converted into 10-bit unit data.
  • step S118 the synchronization unit 393 outputs the packet data supplied from the 8B10B symbol encoder 392 in accordance with the clock signal generated by the clock generation unit 382 and causes the transmission unit 394 to transmit the packet data.
  • the processing in steps S116 to S118 is performed in parallel by the signal processing units 383-0 to 383-N. After the packet data is transmitted, the process returns to step S102 in FIG. 42, and the subsequent processing is performed.
  • step S131 the reception unit 411 receives a signal representing packet data transmitted from the transmission unit 322.
  • the processing in steps S131 to S136 is performed in parallel by the signal processing units 402-0 to 402-N.
  • step S132 the clock generation unit 412 performs bit synchronization by detecting the edge of the signal supplied from the reception unit 411.
  • Synchronizing section 413 samples the signal received by receiving section 411 and outputs packet data to symbol synchronizing section 414.
  • step S133 the symbol synchronization unit 414 performs symbol synchronization by detecting a control code included in the packet data.
  • step S134 the 10B8B symbol decoder 415 performs 10B8B conversion on the packet data after symbol synchronization, and outputs packet data converted into 8-bit unit data.
  • step S135 the skew correction unit 416 detects Deskew16Code, and corrects Data Skew between lanes so that the timing of Deskew Code matches the timing represented by the information supplied from the PHY-RX state control unit 401. To do.
  • step S136 the control code removing unit 417 removes the control code added to the packet data.
  • step S137 the lane integration unit 422 integrates the packet data supplied from the signal processing units 402-0 to 402-N.
  • step S138 the packet separation unit 423 outputs the packet data integrated by the lane integration unit 422 to the payload error correction unit 424 as payload data.
  • step S139 the payload error correction unit 424 performs error correction on the payload data based on the parity inserted in the payload data supplied from the packet separation unit 423.
  • step S140 the Byte Unpacking unit 425 performs a conversion process opposite to Byte Packing on the payload data supplied from the payload error correction unit 424.
  • the Byte Unpacking unit 425 outputs the obtained data to the payload data acquisition unit 431.
  • step S141 the payload data acquisition unit 431 outputs the data supplied from the Byte Unpacking unit 425 to the information processing unit 332 in units of a predetermined bit width. Thereafter, the processing returns to step S103 in FIG. 42 and the subsequent processing is performed.
  • Data transmission using the general-purpose I / F between the transmission-side LSI 311 and the reception-side LSI 312 is performed as described above.
  • Various types of data can be transmitted using the general-purpose I / F.
  • the communication link is a data transmission path between the imaging unit and the image processing unit in terms of CIS I / F, and a data transmission path between two information processing units in terms of general-purpose I / F.
  • An array of data having the data structure as described above is transmitted as a data stream via a communication link.
  • the transmission system shown in FIG. 1 and FIG. 33 is a system using one communication link because only one pair of a transmission unit and a reception unit is provided and data transmission is performed using one path.
  • the transmission system shown in FIG. 2 and FIG. 34 is a system using two communication links because two sets of transmission units and reception units are provided and data transmission is performed using two paths.
  • the transmission system shown in FIGS. 3 and 35 is the same.
  • the communication link is referred to as a single communication link. Further, when there are a plurality of communication links used in the transmission system, the communication links are referred to as multi-communication links.
  • FIG. 45 is a diagram illustrating an example of a process flow of a single communication link.
  • the single communication link in the CIS I / F will be described, but the same applies to the general-purpose I / F.
  • the communication link # 0, which is a single communication link, includes a link layer and a physical layer of the transmission unit 22, a transmission path between the transmission unit 22 and the reception unit 31, a physical layer of the reception unit 31, and It is a route composed of a link layer.
  • the reference timing is a signal indicating a timing that is a reference for processing.
  • Pixel toByte conversion, packet generation, and lane distribution are sequentially performed as main processes.
  • control code insertion In each lane of the physical layer, control code insertion, 8B10B conversion, synchronization (symbol synchronization and bit synchronization), and data transmission are sequentially performed as main processes.
  • the processing of the physical layer of the transmission unit 22 is performed in parallel in each lane (each of the signal processing units 83-0 to 83-N).
  • synchronization processing is not performed on the transmission side, data obtained by 8B10B conversion is transmitted as it is.
  • the same reference timing is input to each lane of the physical layer as indicated by arrow A2. In each lane, processing is performed according to the reference timing.
  • each lane of the physical layer the timing of the data in each lane varies depending on the data to be processed and the characteristics of the signal processing unit.
  • the shift in data timing appears as Inter-lane Data Skew as indicated by arrow A3.
  • the data output from each lane of the physical layer is input to the receiving unit 31 with inter-lane Data Skew as indicated by an arrow A11.
  • the processing of the physical layer of the receiving unit 31 is also performed in parallel in each lane (each of the signal processing units 102-0 to 102-N).
  • data reception, synchronization, 10B8B conversion, and Deskew are sequentially performed as main processes.
  • data from which the inter-lane Data Skew has been removed is obtained as indicated by an arrow A12.
  • Data from which the inter-lane Data Skew is removed is output from each lane of the physical layer to the link layer.
  • link layer of the receiving unit 31 lane integration, packet separation, and Byte-to-Pixel conversion are sequentially performed as main processes.
  • the link layer processing is performed after the data output from each lane is integrated into one system of data.
  • transmission target data is output according to a predetermined reference timing as indicated by an arrow A13.
  • data transmission by the CIS I / F and the general-purpose I / F is performed by removing the inter-lane Data ⁇ ⁇ ⁇ Skew generated in the physical layer on the transmission side in the physical layer on the reception side.
  • FIG. 46 is a diagram showing an example of the flow of processing of a multi-communication link. The description overlapping with that described with reference to FIG. 45 will be omitted as appropriate.
  • the 46 is composed of communication link # 0 and communication link # 1.
  • the communication link # 0 is realized by a set of the transmission unit 22-1 and the reception unit 31-1 in FIG. 2
  • the communication link # 1 is realized by a set of the transmission unit 22-2 and the reception unit 31-2.
  • the communication link # 0 includes the link layer and physical layer of the transmission unit 22-1, the transmission path between the transmission unit 22-1 and the reception unit 31-1, and the physical layer and link of the reception unit 31-1.
  • the communication link # 1 includes a link layer and a physical layer of the transmission unit 22-2, a transmission path between the transmission unit 22-2 and the reception unit 31-2, and a physical layer and a link layer of the reception unit 31-2. This is a path composed of
  • Data input to the link layer of the transmission unit 22-1 constituting the communication link # 0 and data input to the link layer of the transmission unit 22-2 constituting the communication link # 1 are indicated by the arrows A21-0 and A21- 1 is performed according to the same reference timing.
  • the above-described link layer processing is performed independently.
  • the data distributed to each lane is output from the link layer of the transmission unit 22-1 to the physical layer. Similarly, data distributed to each lane is output from the link layer of the transmission unit 22-2 to the physical layer.
  • This timing shift is caused by a difference in characteristics (such as a shift in operation clock) between the configuration of the transmission layer 22-1 for processing the link layer and the configuration of the transmission unit 22-2 for processing the link layer.
  • inter-communication link data skew the data timing shift that occurs in the link layers of different communication links.
  • inter-communication link Data ⁇ ⁇ ⁇ Skew is different from the inter-lane Data Skew that is removed using the Deskew Code.
  • control code insertion In each lane of the physical layer, control code insertion, 8B10B conversion, synchronization, and data transmission are performed in order.
  • the physical layer processing of the transmission units 22-1 and 22-2 is performed in parallel in each lane.
  • the data output from each lane of the physical layer of the transmission unit 22-1 constituting the communication link # 0 is generated between the communication links Data ⁇ ⁇ ⁇ Skew generated in the link layer and in the physical layer as indicated by an arrow A23-0. Data Skew between lanes will be included together.
  • data output from each lane of the physical layer of the transmission unit 22-2 constituting the communication link # 1 includes, as indicated by an arrow A23-1, an inter-communication link Data Skew generated in the link layer and a physical layer.
  • the inter-lane Data Skew generated in the above is included together.
  • data including inter-communication link data “Skew” and inter-lane data “Skew” is input as indicated by arrows A31-0 and A31-1.
  • the data from which the inter-lane Data Skew has been removed is output from each lane of the physical layer to the link layer. Note that only the inter-lane Data Skew is removed by Deskew in each lane of the physical layer, and the inter-communication link Data Skew is not removed.
  • the link layer of the receiving unit 31-2 constituting the communication link # 1 lane integration, packet separation, and Byte-to-Pixel conversion are sequentially performed. From the link layer to the application layer, the data with the communication link Data Skew remaining is output as indicated by an arrow A33-1.
  • an inter-communication link Data Skew is generated and added to data to be processed.
  • FIG. 47 is a diagram illustrating another configuration example of the transmission system 301. 47, the same components as those illustrated in FIG. 34 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate.
  • reception state control unit 601 is provided in the reception-side LSI 312.
  • the transmission system 301 shown in FIG. The multi-communication link in the general-purpose I / F will be described, but the same applies to the CIS-I / F.
  • Communication link # 0 is realized by the combination of the transmission unit 322-1 provided in the transmission-side LSI 311 and the reception unit 331-1 provided in the reception-side LSI 312. Further, the communication link # 1 is realized by a set of the transmission unit 322-2 provided in the transmission-side LSI 311 and the reception unit 331-2 provided in the reception-side LSI 312.
  • the reception state control unit 601 detects Data Skew between communication links based on the data reception state in the reception unit 331-1 and the data reception state in the reception unit 331-2.
  • reception state control unit 601 corrects the inter-communication link Data Skew by controlling the timing of data processed by the receiving unit 331-1 and the timing of data processed by the receiving unit 331-2.
  • the reception state control unit 601 functions as a control unit that corrects Data Skew between communication links.
  • FIG. 48 is a diagram illustrating a configuration example of the transmission-side LSI 311 and the reception-side LSI 312.
  • FIG. 48 the same components as those shown in FIG. 37 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate. The same applies to FIG. 51, FIG. 53, and the like described later.
  • the reception state control unit 601 is connected to the PHY-RX state control unit 401 of the reception unit 331-1 and to the PHY-RX state control unit 401 of the reception unit 331-2. .
  • the PHY-RX state control unit 401 is shown as the configuration of the reception unit 331-2, and illustration of other configurations is omitted.
  • the receiving unit 331-2 is also provided with the same configuration as that of the receiving unit 331-1 including the PHY-RX state control unit 401.
  • FIG. 48 only the transmission unit 322-1 that realizes the communication link # 0 together with the reception unit 331-1 is shown as the configuration of the transmission unit.
  • a transmission unit 322-2 that implements the communication link # 1 is also provided together with the reception unit 331-2.
  • the reception unit 331-2 receives the data transmitted from the transmission unit 322-2 and outputs the data to the information processing unit 332.
  • Each skew correction unit 416 of the signal processing units 402-0 to 402-N of the reception unit 331-1 detects Deskew Code and outputs detection timing information to the PHY-RX state control unit 401. Also, each skew correction unit 416 corrects the timing of the detected Deskew Code according to control by the PHY-RX state control unit 401.
  • the correction timing is set by the reception state control unit 601 so as to correct the communication link Data Skew.
  • the PHY-RX state control unit 401 of the reception unit 331-1 receives the information on the detection timing of DeskewDe code supplied from the skew correction units 416 of the signal processing units 402-0 to 402-N as the reception state control unit 601. Output to.
  • the PHY-RX state control unit 401 controls the operations of the respective skew correction units 416 of the signal processing units 402-0 to 402-N.
  • Each unit of the reception unit 331-2 performs the same processing as each unit of the reception unit 331-1.
  • each of the skew correction units 416 (none of which is shown) of the signal processing units 402-0 to 402-N of the reception unit 331-2 detects Deskew Code, and uses the PHY- The data is output to the RX state control unit 401. Also, each skew correction unit 416 corrects the timing of the detected Deskew Code according to control by the PHY-RX state control unit 401.
  • the PHY-RX state control unit 401 of the reception unit 331-2 receives the information on the detection timing of Deskew code supplied from the respective skew correction units 416 of the signal processing units 402-0 to 402-N as the reception state control unit 601. Output to.
  • the PHY-RX state control unit 401 controls the operations of the respective skew correction units 416 of the signal processing units 402-0 to 402-N.
  • the reception state control unit 601 includes the detection timing information supplied from the PHY-RX state control unit 401 of the reception unit 331-1 and the detection timing supplied from the PHY-RX state control unit 401 of the reception unit 331-2. Receive information.
  • the reception state control unit 601 sets the correction timing based on the timing of Deskew code detected in each lane of the reception unit 331-1 and each lane of the reception unit 331-2.
  • FIG. 49 is a diagram showing an example of setting correction timing.
  • Such information of detection timing is supplied from the PHY-RX state control unit 401 of the reception unit 331-1 to the reception state control unit 601.
  • Such detection timing information is supplied from the PHY-RX state control unit 401 of the reception unit 331-2 to the reception state control unit 601.
  • Deskew Code C1 detected in each lane is corresponding data inserted at the same timing in communication link # 0 and communication link # 1 (physical layers of transmission unit 322-1 and transmission unit 322-2).
  • Desk Code C2 detected in each lane is corresponding data inserted at the same timing in communication link # 0 and communication link # 1.
  • the reception state control unit 601 uses the latest timing t17 of the detection timings of Lane 0 to 3 of communication link # 0 and Lanes 4 to 7 of communication link # 1 as the correction timing of Deskew ⁇ ⁇ ⁇ ⁇ Code C1, for example. Set.
  • reception state control unit 601 uses, for example, the latest timing t27 of the detection timings of Lane 0 to 3 of communication link # 0 and Lanes 4 to 7 of communication link # 1 as the correction timing of Deskew Code C2. Set.
  • the reception state control unit 601 outputs the correction timing information set in this way to the PHY-RX state control unit 401 of the reception unit 331-1 and the PHY-RX state control unit 401 of the reception unit 331-2.
  • each of the skew correction units 416 of the signal processing units 402-0 to 402-N of the reception unit 331-1 according to control by the PHY-RX state control unit 401, the timing of Deskew Code C1 is synchronized with the timing of time t17. In this way Deskew is performed. Further, Deskew is performed so that the timing of Deskew Code C2 matches the timing of time t27. Deskew Code timing correction is performed using a FIFO provided in each skew correction unit 416.
  • each of the skew correction units 416 of the signal processing units 402-0 to 402-N of the reception unit 331-2 according to control by the PHY-RX state control unit 401, the timing of Deskew Code C1 is changed to the timing of time t17. Deskew is performed to match. Further, Deskew is performed so that the timing of Deskew Code C2 matches the timing of time t27. Deskew Code timing correction is performed using a FIFO provided in each skew correction unit 416.
  • the Deskew Code whose timing is corrected in this way is output from the skew correction unit 416.
  • the process shown at the left end of FIG. 50 is the process of the reception unit 331-1 that realizes the communication link # 0.
  • the process shown in the center is the process of the reception unit 331-2 that realizes the communication link # 1.
  • the process shown at the right end is the process of the reception state control unit 601.
  • the data transmitted from the transmission unit 322-1 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data transmitted from the transmission unit 322-2 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • each skew correction unit 416 of the signal processing units 402-0 to 402-N of the reception unit 331-1 detects Deskew Code. Information on the detection timing is supplied to the PHY-RX state control unit 401 of the reception unit 331-1.
  • step S302 the PHY-RX state control unit 401 of the reception unit 331-1 receives the information about the detection timing of Deskew code supplied from the respective skew correction units 416 of the signal processing units 402-0 to 402-N. The data is output to the state control unit 601.
  • step S311 the skew correction units 416 of the signal processing units 402-0 to 402-N of the reception unit 331-2 detect Deskew Code. Information on the detection timing is supplied to the PHY-RX state control unit 401 of the reception unit 331-2.
  • step S312 the PHY-RX state control unit 401 of the reception unit 331-2 receives the information on the detection timing of Deskew Code supplied from the respective skew correction units 416 of the signal processing units 402-0 to 402-N. The data is output to the state control unit 601.
  • step S321 the reception state control unit 601 receives the information supplied from the PHY-RX state control unit 401 of the reception unit 331-1.
  • step S322 the reception state control unit 601 receives information supplied from the PHY-RX state control unit 401 of the reception unit 331-2.
  • step S323 the reception state control unit 601 sets the correction timing as described above based on the timing of Deskew Code detected in each lane of the reception unit 331-1 and each lane of the reception unit 331-2. .
  • step S324 the reception state control unit 601 outputs correction timing information to the PHY-RX state control unit 401 of the reception unit 331-1 and the PHY-RX state control unit 401 of the reception unit 331-2.
  • step S303 the PHY-RX state control unit 401 of the reception unit 331-1 receives the correction timing information supplied from the reception state control unit 601.
  • step S304 the PHY-RX state control unit 401 of the reception unit 331-1 outputs a control signal indicating correction timing to the skew correction units 416 of the signal processing units 402-0 to 402-N.
  • each of the skew correction units 416 of the signal processing units 402-0 to 402-N of the reception unit 331-1 adjusts the timing of Deskew Code to the correction timing so that the data Skew between communication links and Data Skew between lanes Is corrected and output.
  • step S313 the PHY-RX state control unit 401 of the reception unit 331-2 receives the correction timing information supplied from the reception state control unit 601.
  • step S314 the PHY-RX state control unit 401 of the reception unit 331-2 outputs a control signal indicating correction timing to each skew correction unit 416 of the signal processing units 402-0 to 402-N.
  • each of the skew correction units 416 of the signal processing units 402-0 to 402-N of the reception unit 331-2 matches the timing of Deskew Code with the correction timing, thereby inter-communication data Skew and inter-lane Data Skew. Is corrected and output.
  • each lane in which the inter-data link data Skew and the inter-lane data Skew have been corrected are integrated as one system data in the link layer, and then each process is performed. Data obtained by the link layer processing is supplied from the link layer to the application layer.
  • the above processing is performed, for example, every time Deskew Code is detected in each lane of a plurality of communication links.
  • the correction timing is set based on the detection timing of Deskew Code, it may be set based on the timing of other data detected in the physical layer. For example, the correction timing may be set based on the detection timing of a predetermined symbol detected in each lane and the detection timing of other control codes such as Start Code and End Code.
  • the structure of data generated on the transmission side is the same regardless of the communication link used for transmission. As long as the data constituting the data group (data stream) having the above-described structure is arranged at the same position (timing) in each communication link, any data can be corrected. Can be used to set
  • FIG. 51 is a diagram illustrating another configuration example of the transmission-side LSI 311 and the reception-side LSI 312.
  • the reception state control unit 601 is connected to the packet separation unit 423 of the reception unit 331-1 and to the packet separation unit 423 of the reception unit 331-2.
  • the packet separation unit 423 is shown as the configuration of the reception unit 331-2, and illustration of the other configuration is omitted.
  • the receiving unit 331-2 is also provided with the same configuration as the receiving unit 331-1 including the packet separating unit 423.
  • data transmission is performed using a multi-communication link including the communication link # 0 and the communication link # 1.
  • the packet separation unit 423 of the reception unit 331-1 detects the payload data of each packet from the data integrated by the lane integration unit 422, and outputs detection timing information to the reception state control unit 601. Further, the packet separation unit 423 corrects the timing of the detected payload data so as to match the correction timing set by the reception state control unit 601, and outputs the result. The output timing of the payload data is corrected. The correction of the output timing of the payload data is performed using a FIFO provided in the packet separation unit 423.
  • the packet separation unit 423 of the reception unit 331-2 performs the same processing as the packet separation unit 423 of the reception unit 331-1.
  • the packet separation unit 423 of the reception unit 331-2 detects the payload data of each packet from the data integrated by the lane integration unit 422, and outputs detection timing information to the reception state control unit 601. Further, the packet separation unit 423 corrects the timing of the detected payload data so as to match the correction timing set by the reception state control unit 601, and outputs the result. The correction of the output timing of the payload data is performed using a FIFO provided in the packet separation unit 423.
  • the reception state control unit 601 receives the detection timing information supplied from the packet separation unit 423 of the reception unit 331-1 and the detection timing information supplied from the packet separation unit 423 of the reception unit 331-2.
  • the reception state control unit 601 sets the correction timing based on the detection timing of the payload data in the packet separation unit 423 of the reception unit 331-1 and the detection timing of the payload data in the packet separation unit 423 of the reception unit 331-2.
  • the latest timing among the detection timings of the corresponding payload data detected by the packet separator 423 of the receiver 331-1 and the packet separator 423 of the receiver 331-2 is set as the correction timing.
  • the reception state control unit 601 outputs the correction timing information set in this way to the packet separation unit 423 of the reception unit 331-1 and the packet separation unit 423 of the reception unit 331-2.
  • the data transmitted from the transmission unit 322-1 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data of each lane output from the physical layer is integrated as one line of data by the lane integration unit 422 and output to the packet separation unit 423. Since the physical layer processing is performed, the data supplied to the packet separation unit 423 is corrected data for the inter-lane Data Skew.
  • the data transmitted from the transmission unit 322-2 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data of each lane output from the physical layer is integrated as one line of data by the lane integration unit 422 and output to the packet separation unit 423.
  • step S351 the packet separation unit 423 of the reception unit 331-1 detects the payload data of each packet from the data integrated by the lane integration unit 422.
  • step S352 the packet separation unit 423 of the reception unit 331-1 outputs information on the detection timing of payload data to the reception state control unit 601.
  • step S361 the packet separation unit 423 of the reception unit 331-2 detects the payload data of each packet from the data integrated by the lane integration unit 422.
  • step S362 the packet separation unit 423 of the reception unit 331-2 outputs information on the detection timing of payload data to the reception state control unit 601.
  • step S371 the reception state control unit 601 receives the information supplied from the packet separation unit 423 of the reception unit 331-1.
  • step S372 the reception state control unit 601 receives the information supplied from the packet separation unit 423 of the reception unit 331-2.
  • step S373 the reception state control unit 601 sets the correction timing based on the timing of the corresponding payload data detected in the communication link # 0 and the communication link # 1.
  • step S374 the reception state control unit 601 outputs the correction timing information to the packet separation unit 423 of the reception unit 331-1 and the packet separation unit 423 of the reception unit 331-2.
  • step S353 the packet separation unit 423 of the reception unit 331-1 receives the correction timing information supplied from the reception state control unit 601.
  • step S354 the packet separation unit 423 of the reception unit 331-1 corrects and outputs the communication link Data ⁇ ⁇ ⁇ Skew by matching the timing of the detected payload data with the correction timing.
  • step S363 the packet separation unit 423 of the reception unit 331-2 receives the correction timing information supplied from the reception state control unit 601.
  • step S364 the packet separation unit 423 of the reception unit 331-2 corrects and outputs the communication link Data ⁇ ⁇ ⁇ Skew by matching the timing of the detected payload data with the correction timing.
  • the above processing is performed, for example, every time payload data is detected in each communication link.
  • the correction timing is set based on the detection timing of payload data, it may be set based on the timing of other data detected in the link layer. For example, when the header information is included in the payload data, the correction timing can be set based on the detection timing of the corresponding header information.
  • the correction timing may be set based on the detection timing of the parity included in the payload data, or the correction timing may be set based on the detection timing of predetermined packing data constituting the payload data. Good.
  • the correction between the communication links DatawSkew is performed by the payload error correction unit 424.
  • the correction between the communication links Data ⁇ ⁇ ⁇ Skew is performed by the Byte Unpacking unit 425.
  • FIG. 53 is a diagram illustrating another configuration example of the transmission-side LSI 311 and the reception-side LSI 312.
  • the reception state control unit 601 is connected to the payload data acquisition unit 431 of the reception unit 331-1 and to the payload data acquisition unit 431 of the reception unit 331-2.
  • the reception unit 331-2 is also provided with the same configuration as that of the reception unit 331-1 including the payload data acquisition unit 431.
  • data transmission is performed using a multi-communication link including the communication link # 0 and the communication link # 1.
  • the payload data acquisition unit 431 of the reception unit 331-1 acquires the payload data of each packet supplied from the BytepackUnpacking unit 425 of the link layer, and outputs acquisition timing information to the reception state control unit 601. Also, the payload data acquisition unit 431 corrects the timing of the detected payload data so as to match the correction timing set by the reception state control unit 601, and outputs it. The output timing of the payload data is corrected. The correction of the output timing of the payload data is performed using a FIFO provided in the payload data acquisition unit 431.
  • the payload data acquisition unit 431 of the reception unit 331-2 performs the same processing as the payload data acquisition unit 431 of the reception unit 331-1.
  • the payload data acquisition unit 431 of the reception unit 331-2 acquires the payload data of each packet supplied from the Byte Unpacking unit 425 of the link layer, and outputs the acquisition timing information to the reception state control unit 601. Also, the payload data acquisition unit 431 corrects the timing of the acquired payload data so as to match the correction timing set by the reception state control unit 601, and outputs it. The correction of the output timing of the payload data is performed using a FIFO provided in the payload data acquisition unit 431.
  • the reception state control unit 601 receives the acquisition timing information supplied from the payload data acquisition unit 431 of the reception unit 331-1 and the acquisition timing information supplied from the payload data acquisition unit 431 of the reception unit 331-2. .
  • the reception state control unit 601 sets the correction timing based on the payload data acquisition timing in the payload data acquisition unit 431 of the reception unit 331-1 and the payload data acquisition timing in the payload data acquisition unit 431 of the reception unit 331-2. To do.
  • the latest timing among the timings of the corresponding payload data acquired in the payload data acquisition unit 431 of the reception unit 331-1 and the payload data acquisition unit 431 of the reception unit 331-2 is set as the correction timing.
  • the reception state control unit 601 outputs the correction timing information set in this way to the payload data acquisition unit 431 of the reception unit 331-1 and the payload data acquisition unit 431 of the reception unit 331-2.
  • the data transmitted from the transmission unit 322-1 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data of each lane output from the physical layer is integrated as one line of data by the lane integration unit 422, and each process of the link layer is performed.
  • the payload data of each packet is output from the link layer to the payload data acquisition unit 431 of the adaptation layer. Since physical layer processing is performed, the data supplied to the payload data acquisition unit 431 is corrected data for the inter-lane Data Skew.
  • the data transmitted from the transmission unit 322-2 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data of each lane output from the physical layer is integrated as one line of data by the lane integration unit 422, and each process of the link layer is performed.
  • the payload data of each packet is output from the link layer to the payload data acquisition unit 431 of the adaptation layer.
  • step S401 the payload data acquisition unit 431 of the reception unit 331-1 acquires the payload data of each packet supplied from the Byte Unpacking unit 425.
  • step S402 the payload data acquisition unit 431 of the reception unit 331-1 outputs information on the acquisition timing of payload data to the reception state control unit 601.
  • step S411 the payload data acquisition unit 431 of the reception unit 331-2 acquires the payload data of each packet supplied from the Byte / Unpacking unit 425.
  • step S412 the payload data acquisition unit 431 of the reception unit 331-2 outputs information on the acquisition timing of the payload data to the reception state control unit 601.
  • step S421 the reception state control unit 601 receives the information supplied from the payload data acquisition unit 431 of the reception unit 331-1.
  • step S422 the reception state control unit 601 receives information supplied from the payload data acquisition unit 431 of the reception unit 331-2.
  • step S423 the reception state control unit 601 corrects the correction timing based on the timing of the corresponding payload data acquired in the payload data acquisition unit 431 of the reception unit 331-1 and the payload data acquisition unit 431 of the reception unit 331-2. Set.
  • step S424 the reception state control unit 601 outputs the correction timing information to the payload data acquisition unit 431 of the reception unit 331-1 and the payload data acquisition unit 431 of the reception unit 331-2.
  • step S403 the payload data acquisition unit 431 of the reception unit 331-1 receives the correction timing information supplied from the reception state control unit 601.
  • step S404 the payload data acquisition unit 431 of the reception unit 331-1 corrects and outputs Data Skew between communication links by matching the timing of the acquired payload data with the correction timing.
  • step S413 the payload data acquisition unit 431 of the reception unit 331-2 receives the correction timing information supplied from the reception state control unit 601.
  • step S414 the payload data acquisition unit 431 of the reception unit 331-2 corrects and outputs Data Skew between communication links by matching the timing of the acquired payload data with the correction timing.
  • Predetermined processing is performed in the application layer for the payload data whose inter-communication link Data Skew has been corrected.
  • the above processing is performed each time payload data is acquired in each communication link, for example.
  • the system control unit 441 of the information processing unit 332 sets the correction timing based on the acquisition timing of the payload data supplied from the reception unit 331-1 and the acquisition timing of the payload data supplied from the reception unit 331-2. Set.
  • the data output unit 442 acquires the payload data supplied from the receiving unit 331-1 and the payload data supplied from the receiving unit 331-2.
  • the data output unit 442 corrects the timing of the acquired payload data so as to match the correction timing set by the system control unit 441, and outputs the corrected payload data.
  • the output timing of the payload data is corrected.
  • the correction of the output timing of the payload data is performed using a FIFO provided in the data output unit 442.
  • reception state control unit 601 is not necessary.
  • the data transmitted from the transmission unit 322-1 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data of each lane output from the physical layer is integrated as one line of data by the lane integration unit 422, and each process of the link layer is performed.
  • the payload data of each packet is output from the link layer to the payload data acquisition unit 431 of the adaptation layer. Since physical layer processing is performed, the data supplied to the payload data acquisition unit 431 is corrected data for the inter-lane Data Skew.
  • the data transmitted from the transmission unit 322-2 is received by the signal processing unit of each lane, and each process of the physical layer is performed.
  • the data of each lane output from the physical layer is integrated as one line of data by the lane integration unit 422, and each process of the link layer is performed.
  • the payload data of each packet is output from the link layer to the payload data acquisition unit 431 of the adaptation layer.
  • step S441 the payload data acquisition unit 431 of the reception unit 331-1 acquires the payload data of each packet supplied from the Byte Unpacking unit 425.
  • step S442 the payload data acquisition unit 431 of the reception unit 331-1 outputs the payload data to the application layer.
  • step S451 the payload data acquisition unit 431 of the reception unit 331-2 acquires the payload data of each packet supplied from the Byte / Unpacking unit 425.
  • step S452 the payload data acquisition unit 431 of the reception unit 331-2 outputs the payload data to the application layer.
  • step S461 the data output unit 442 of the information processing unit 332 receives the payload data supplied from the payload data acquisition unit 431 of the reception unit 331-1.
  • step S462 the data output unit 442 of the information processing unit 332 receives the payload data supplied from the payload data acquisition unit 431 of the reception unit 331-2.
  • step S463 the system control unit 441 of the information processing unit 332 sets the correction timing based on the timing of the corresponding payload data.
  • step S464 the data output unit 442 of the information processing unit 332 corrects and outputs Data Skew between communication links by matching the timing of the acquired payload data with the correction timing.
  • the above processing is performed, for example, every time payload data is supplied from each communication link to the application layer.
  • FIG. 56 is a diagram illustrating another configuration example of the transmission system 301.
  • the transmission system 301 shown in FIG. 56 differs from the configuration shown in FIG. 47 in that a transmission state control unit 611 corresponding to the reception state control unit 601 is provided in the transmission side LSI 311.
  • the multi-communication link in the general-purpose I / F will be described, but the same applies to the CIS-I / F.
  • FIG. 57 is a diagram illustrating a configuration example of the transmission-side LSI 311 and the reception-side LSI 312 in FIG.
  • the PHY-TX state control unit 381 is shown as the configuration of the transmission unit 322-2, and illustration of other configurations is omitted.
  • the transmission unit 322-2 is also provided with the same configuration as that of the transmission unit 322-1 including the PHY-TX state control unit 381.
  • FIG. 57 only the receiving unit 331-1 that realizes the communication link # 0 together with the transmitting unit 322-1 is shown as a configuration on the receiving side.
  • a receiving unit 331-2 that implements communication link # 1 is also provided together with the transmitting unit 322-2.
  • the reception unit 331-2 receives the data transmitted from the transmission unit 322-2 and outputs the data to the information processing unit 332.
  • the transmission state control unit 611 is connected to the PHY-TX state control unit 381 of the transmission unit 322-1 and is also connected to the PHY-TX state control unit 381 of the transmission unit 322-2. .
  • the PHY-TX state control unit 381 of the transmission unit 322-1 outputs the control timing information for the signal processing units 383-0 to 383-N to the transmission state control unit 611.
  • the PHY-TX state control unit 381 outputs information on the insertion timing of a predetermined control code.
  • the PHY-TX state control unit 381 of the transmission unit 322-1 includes signal processing units 383-0 to 383-N so that a control code is inserted in accordance with the correction timing set by the transmission state control unit 611. The operation of each control code insertion unit 391 is controlled.
  • the control code insertion units 391 of the signal processing units 383-0 to 383-N of the transmission unit 322-1 insert control codes according to control by the PHY-TX state control unit 381.
  • Each unit of the transmission unit 322-2 performs the same processing as each unit of the transmission unit 322-1.
  • the PHY-TX state control unit 381 of the transmission unit 322-2 outputs the control timing information for the signal processing units 383-0 to 383-N to the transmission state control unit 611.
  • the PHY-TX state control unit 381 of the transmission unit 322-2 has signal processing units 383-0 to 383-N so that a control code is inserted in accordance with the correction timing set by the transmission state control unit 611. The operation of each control code insertion unit 391 is controlled.
  • control code insertion units 391 of the signal processing units 383-0 to 383-N of the transmission unit 322-2 insert control codes according to control by the PHY-TX state control unit 381.
  • the transmission state control unit 611 receives the information supplied from the PHY-TX state control unit 381 of the transmission unit 322-1 and the information supplied from the PHY-TX state control unit 381 of the transmission unit 322-2.
  • the transmission state control unit 611 is configured to insert a predetermined control code by the PHY-TX state control unit 381 of the transmission unit 322-1 and insert a predetermined control code by the PHY-TX state control unit 381 of the transmission unit 322-2.
  • the correction timing is set based on the above.
  • the transmission state control unit 611 outputs the correction timing information set in this way to the PHY-TX state control unit 381 of the transmission unit 322-1 and the PHY-TX state control unit 381 of the transmission unit 322-2.
  • the transmission state control unit 611 corrects the communication link Data Skew by controlling the timing of data processed by the transmission unit 322-1 and the timing of data processed by the transmission unit 322-2.
  • the transmission state control unit 611 functions as a control unit that corrects Data Skew between communication links.
  • the process shown at the left end of FIG. 58 is the process of the transmission unit 322-1 that realizes the communication link # 0.
  • the process shown in the center is the process of the transmission unit 322-2 that realizes the communication link # 1.
  • the process shown at the right end is the process of the transmission state control unit 611.
  • each link layer process is performed on the transmission target data, and the data distributed to each lane is output to the physical layer signal processing units 383-0 to 383-N.
  • each link layer process is performed on the transmission target data, and the data distributed to each lane is output to the physical layer signal processing units 383-0 to 383-N.
  • step S501 the PHY-TX state control unit 381 of the transmission unit 322-1 outputs information on the insertion timing of a predetermined control code to the transmission state control unit 611.
  • step S511 the PHY-TX state control unit 381 of the transmission unit 322-2 outputs information on the insertion timing of the corresponding predetermined control code to the transmission state control unit 611.
  • step S521 the transmission state control unit 611 receives the information supplied from the PHY-TX state control unit 381 of the transmission unit 322-1.
  • step S522 the transmission state control unit 611 receives the information supplied from the PHY-TX state control unit 381 of the transmission unit 322-2.
  • step S523 the transmission state control unit 611 sets the correction timing based on the control code insertion timing in the transmission unit 322-1 and the control code insertion timing in the transmission unit 322-2.
  • step S524 the transmission state control unit 611 outputs correction timing information to the PHY-TX state control unit 381 of the transmission unit 322-1 and the PHY-TX state control unit 381 of the transmission unit 322-2.
  • step S502 the PHY-TX state control unit 381 of the transmission unit 322-1 receives the correction timing information supplied from the transmission state control unit 611.
  • step S503 the PHY-TX state control unit 381 of the transmission unit 322-1 outputs a control signal indicating correction timing to the control code insertion units 391 of the signal processing units 383-0 to 383-N.
  • each control code insertion unit 391 of the signal processing units 383-0 to 383-N of the transmission unit 322-1 inserts a control code in accordance with the correction timing represented by the control signal, thereby performing communication. Correct the Data Skew between links.
  • step S512 the PHY-TX state control unit 381 of the transmission unit 322-2 receives the correction timing information supplied from the transmission state control unit 611.
  • step S513 the PHY-TX state control unit 381 of the transmission unit 322-2 outputs a control signal indicating correction timing to the control code insertion units 391 of the signal processing units 383-0 to 383-N.
  • step S514 the control code insertion unit 391 of each of the signal processing units 383-0 to 383-N of the transmission unit 322-2 inserts a control code in accordance with the correction timing represented by the control signal, thereby performing communication. Correct the Data Skew between links.
  • the data of each lane whose inter-communication link Data Skew has been corrected is transmitted to the receiving unit after other processing of the physical layer is performed.
  • the inter-communication link Data Skew is corrected by adjusting the insertion timing of the control code, but the inter-communication link Data Skew may be corrected by adjusting the timing of other processing in the physical layer. .
  • the correction of inter-communication link data skew is assumed to be performed in any one of the four layers on the receiving side, but the inter-communication link data skew may be corrected in two or more layers. . That is, it is possible to perform correction of the data skew between communication links in at least one of the physical layer, the link layer, the adaptation layer, and the application layer. In the case of CIS I / F, it is possible to perform correction of data skew between communication links in at least one of a physical layer, a link layer, and an application layer.
  • the correction between the communication links Data Skew is performed on the reception side or the transmission side, but the correction between the communication links Data Skew may be performed on both the reception side and the transmission side. .
  • the number of communication links constituting the multi-communication link is two, it may be three or more.
  • the image sensor 11 and the DSP 12 are provided in the same device, but may be provided in different devices.
  • the transmission-side LSI 311 and the reception-side LSI 312 may be provided in the same device, or may be provided in different devices.
  • FIG. 59 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 1005 is connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker.
  • the input / output interface 1005 is connected to a storage unit 1008 made up of a hard disk, a non-volatile memory, etc., a communication unit 1009 made up of a network interface, etc., and a drive 1010 that drives a removable medium 1011.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the CPU 1001 is recorded in the removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • the above-described image sensor 11 is provided in the endoscope-side housing
  • the DSP 12 is provided in the image-processing device-side housing that processes image data transmitted from the endoscope.
  • FIG. 60 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied.
  • an endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 that supports the endoscope 5001, and various devices for endoscopic surgery. And a cart 5037 on which is mounted.
  • trocars 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
  • an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071.
  • the energy treatment device 5021 is a treatment device that performs tissue incision and separation, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 5017 is merely an example, and as the surgical tool 5017, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the surgeon 5067 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the surgical part displayed on the display device 5041 in real time.
  • the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067 or an assistant during surgery.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes joint portions 5033a, 5033b, and 5033c and links 5035a and 5035b, and is driven by control from the arm control device 5045.
  • the endoscope 5001 is supported by the arm unit 5031, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 5001 can be realized.
  • the endoscope 5001 includes a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • an endoscope 5001 configured as a so-called rigid mirror having a rigid lens barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible lens barrel 5003. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5003.
  • a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003. Irradiation is performed toward the observation target in the body cavity of the patient 5071 through the lens.
  • the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5005, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
  • CCU camera control unit
  • the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 5005 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5005. The CCU 5039 provides the display device 5041 with the image signal subjected to the image processing. Further, the CCU 5039 transmits a control signal to the camera head 5005 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 5041 displays an image based on an image signal subjected to image processing by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • the display device 5041 may be a display device capable of high-resolution display and / or 3D display.
  • 4K or 8K high-resolution imaging a more immersive feeling can be obtained by using a display device 5041 having a size of 55 inches or more.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5043 is composed of a light source such as an LED (light emitting diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface for the endoscopic surgery system 5000.
  • the user can input various information and instructions to the endoscopic surgery system 5000 via the input device 5047.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5047.
  • the user instructs the arm unit 5031 to be driven via the input device 5047 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001. Then, an instruction to drive the energy treatment instrument 5021 is input.
  • the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5041.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 5047 is configured to be able to input various information without contact, so that a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to an unclean area without contact. Is possible.
  • a user belonging to a clean area for example, an operator 5067
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5049 controls the drive of the energy treatment instrument 5021 for tissue cauterization, incision, or blood vessel sealing.
  • the pneumoperitoneum device 5051 gas is introduced into the body cavity via the pneumoperitoneum tube 5019.
  • the recorder 5053 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5055 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
  • FIG. The configuration of the arm portion 5031 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, and the like are appropriately set so that the arm portion 5031 has a desired degree of freedom. obtain.
  • the arm portion 5031 can be preferably configured to have 6 degrees of freedom or more. Accordingly, the endoscope 5001 can be freely moved within the movable range of the arm portion 5031. Therefore, the barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It becomes possible.
  • the joint portions 5033a to 5033c are provided with actuators, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 5045 By controlling the driving of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the driving of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
  • the arm control device 5045 appropriately controls the driving of the arm unit 5031 according to the operation input.
  • the position and posture of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
  • the arm portion 5031 may be operated by a so-called master slave method.
  • the arm unit 5031 can be remotely operated by the user via the input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives the external force from the user and moves the actuators of the joint portions 5033a to 5033c so that the arm portion 5031 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5031 while directly touching the arm unit 5031, the arm unit 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
  • an endoscope 5001 is supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily a single device. For example, the arm control device 5045 may be provided in each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be realized.
  • the light source device 5043 supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • the light source device 5043 is composed of a white light source composed of, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • each RGB light source is controlled by irradiating the observation target with laser light from each of the RGB laser light sources in a time-sharing manner and controlling the driving of the image sensor of the camera head 5005 in synchronization with the irradiation timing. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5043 may be controlled so as to change the intensity of the output light every predetermined time.
  • the driving of the image sensor of the camera head 5005 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
  • the light source device 5043 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 61 is a block diagram illustrating an example of functional configurations of the camera head 5005 and the CCU 5039 illustrated in FIG.
  • the camera head 5005 has a lens unit 5007, an imaging unit 5009, a drive unit 5011, a communication unit 5013, and a camera head control unit 5015 as its functions.
  • the CCU 5039 includes a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
  • the camera head 5005 and the CCU 5039 are connected to each other via a transmission cable 5065 so that they can communicate with each other.
  • the lens unit 5007 is an optical system provided at a connection portion with the lens barrel 5003. Observation light captured from the tip of the lens barrel 5003 is guided to the camera head 5005 and enters the lens unit 5007.
  • the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5007 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5009. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 5009 is configured by an imaging element, and is disposed in the subsequent stage of the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that configures the image capturing unit 5009 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 5009 is configured as a multi-plate type, a plurality of lens units 5007 are also provided corresponding to each imaging element.
  • the imaging unit 5009 is not necessarily provided in the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the driving unit 5011 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015. Thereby, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the communication unit 5013 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 5039.
  • the communication unit 5013 transmits the image signal obtained from the imaging unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
  • the image signal is preferably transmitted by optical communication.
  • the surgeon 5067 performs the surgery while observing the state of the affected area with the captured image, so that a moving image of the surgical site is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5039 via the transmission cable 5065.
  • the communication unit 5013 receives a control signal for controlling driving of the camera head 5005 from the CCU 5039.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5013 provides the received control signal to the camera head control unit 5015.
  • the control signal from the CCU 5039 may also be transmitted by optical communication.
  • the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the control signal is converted into an electric signal by the photoelectric conversion module, and then provided to the camera head control unit 5015.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5063 of the CCU 5039 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5001.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5015 controls driving of the camera head 5005 based on a control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls driving of the imaging element of the imaging unit 5009 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the drive unit 5011 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
  • the camera head 5005 can be resistant to autoclave sterilization by arranging the lens unit 5007, the imaging unit 5009, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5059 provides the image processing unit 5061 with the image signal converted into the electrical signal.
  • the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5005. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
  • the image processing unit 5061 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5061 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 5061 is configured by a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the control unit 5063 performs various controls relating to imaging of the surgical site by the endoscope 5001 and display of the captured image. For example, the control unit 5063 generates a control signal for controlling driving of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 is equipped with the AE function, the AF function, and the AWB function, the control unit 5063 determines the optimum exposure value, focal length, and the like according to the detection processing result by the image processing unit 5061. A white balance is appropriately calculated and a control signal is generated.
  • control unit 5063 causes the display device 5041 to display an image of the surgical site based on the image signal subjected to the image processing by the image processing unit 5061.
  • the control unit 5063 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5063 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5021, and the like. Can be recognized.
  • the control unit 5063 displays various types of surgery support information on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5067, so that the surgery can be performed more safely and reliably.
  • the transmission cable 5065 for connecting the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 5065, but communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be eliminated.
  • the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 5000 has been described as an example, but a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • a process of receiving a data stream having the same data structure transmitted in parallel using a plurality of lanes from each of a plurality of transmission units included in the transmission device is performed as a first layer process, and the received data stream is A plurality of receiving units that integrate the data into one system and perform the process of acquiring the packets constituting the data stream as the process of the second layer; And a control unit that corrects a timing shift of corresponding data between communication links realized by each of a pair of the one transmission unit and the one reception unit.
  • Each of the plurality of receiving units detects known information from the received data stream, The said control part correct
  • the receiver as described in said (1).
  • Each of the plurality of receiving units is A signal processing unit that performs the processing of the first layer in parallel has the same number as the number of lanes, The receiving device according to (2), further including a processing unit that performs processing of the second layer.
  • Each of the plurality of receiving units detects a control code as the known information in each of the signal processing units, The receiving device according to (3), wherein the control unit corrects the timing shift by matching the timing of the control code in each of the signal processing units.
  • Each of the plurality of receiving units detects payload data constituting the packet as the known information in the processing unit, The receiving device according to (3) or (4), wherein the control unit corrects the timing shift by matching the output timing of the payload data in each of the processing units.
  • Each of the plurality of receiving units is An acquisition unit that performs a process of acquiring payload data constituting the packet output from the processing unit as a third layer process; Detecting the payload data constituting the packet as the known information in the acquisition unit; The control unit corrects the timing shift by matching the output timing of the payload data in each acquisition unit to an external information processing unit. Any one of (3) to (5) The receiving device described in 1. (7) The control unit receives the data output from the plurality of receiving units, and corrects the timing shift by matching the output timing of the received data to the outside. (3) to (6) The receiving apparatus in any one of them.
  • a first layer process that is a process of receiving a data stream having the same data structure transmitted in parallel using a plurality of lanes from each of a plurality of transmission units included in the transmission apparatus, and the received data stream
  • a plurality of receiving units perform processing of the second layer, which is processing for acquiring packets constituting the data stream, integrated into a single system of data
  • a control method including a step of correcting a timing shift of corresponding data between communication links realized by each of a pair of one transmission unit and one reception unit.
  • a first layer process that is a process of receiving a data stream having the same data structure transmitted in parallel using a plurality of lanes from each of a plurality of transmission units included in the transmission apparatus, and the received data stream
  • a plurality of receiving units perform processing of the second layer, which is processing for acquiring packets constituting the data stream, integrated into a single system of data
  • a program for executing processing including a step of correcting a timing shift of corresponding data between communication links realized by each of a set of one transmitting unit and one receiving unit.
  • Processing including generation of a packet for storing data to be transmitted and processing for distributing the generated packet to a plurality of lanes is performed as first layer processing, and the same data structure including the distributed packet is included.
  • a plurality of transmission units that perform processing of transmitting a data stream in parallel using a plurality of the lanes as processing of the second layer to a reception device having a plurality of reception units;
  • a transmission apparatus comprising: a control unit that corrects a timing shift of corresponding data between communication links realized by each of a set of one transmission unit and one reception unit.
  • Each of the plurality of transmitters is A signal processing unit that performs the processing of the second layer in parallel has the same number as the number of lanes, The transmission device according to (10), wherein the control unit corrects the timing shift by matching a timing of insertion of a control code into the data stream in each of the signal processing units.
  • the first layer process which is a process including the generation of a packet storing data to be transmitted and the process of distributing the generated packet to a plurality of lanes
  • the distributed packet A plurality of transmission units perform a second layer process, which is a process of transmitting a data stream in parallel to a reception apparatus having a plurality of reception units using the plurality of lanes,
  • a control method including a step of correcting a timing shift of corresponding data between communication links realized by each of a pair of one transmission unit and one reception unit.
  • the computer has the same data structure including the first layer process which is a process including the generation of a packet storing data to be transmitted and the process of distributing the generated packet to a plurality of lanes, and the distributed packet
  • a plurality of transmission units perform a second layer process, which is a process of transmitting a data stream in parallel to a reception apparatus having a plurality of reception units using the plurality of lanes,
  • a program for executing processing including a step of correcting a timing shift of corresponding data between communication links realized by each of a set of one transmitting unit and one receiving unit.
  • Processing including generation of a packet for storing data to be transmitted and processing for distributing the generated packet to a plurality of lanes is performed as first layer processing, and the same data structure including the distributed packet is included.
  • a transmission apparatus comprising a plurality of transmission units that perform processing of transmitting a data stream in parallel using the plurality of lanes as processing of the second layer;
  • a process of receiving the data stream transmitted in parallel using a plurality of lanes from each of the plurality of transmission units is performed as the process of the second layer, and the received data stream is integrated into a single system of data.
  • a plurality of receiving units that perform processing for acquiring packets constituting the data stream as processing of the first layer;
  • a receiving device comprising: a control unit that corrects a timing shift of corresponding data between communication links realized by each of a set of one transmitting unit and one receiving unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Communication Control (AREA)
  • Bus Control (AREA)
  • Information Transfer Systems (AREA)

Abstract

本技術は、複数の通信リンクを用いてデータの伝送が行われる場合において、通信リンク間のデータのタイミングのずれを補正することができるようにする受信装置、送信装置、制御方法、プログラム、および送受信システムに関する。 本技術の受信装置は、送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理と、受信したデータストリームを一系統のデータに統合し、データストリームを構成するパケットを取得する処理とを複数の受信部において行い、１つの送信部と１つの受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する。本技術は、チップ間のデータ伝送に適用することができる。

Description

受信装置、送信装置、制御方法、プログラム、および送受信システム
　本技術は、受信装置、送信装置、制御方法、プログラム、および送受信システムに関し、特に、複数の通信リンクを用いてデータの伝送が行われる場合において、通信リンク間のデータのタイミングのずれを補正することができるようにした受信装置、送信装置、制御方法、プログラム、および送受信システムに関する。
　イメージセンサの高画質化、高フレームレート化に伴い、イメージセンサと、イメージセンサにより撮像された画像を処理するDSP(Digital Signal Processor)との間のインタフェースに求められるデータの伝送容量が高まってきている。
　特許文献１には、画像データを格納するパケットを複数レーンに分配し、複数レーンを介して、イメージセンサからDSPにデータを伝送する伝送方式が記載されている。この伝送方式においては、１フレームの各ラインを構成する画像データがイメージセンサにおいて各パケットに格納され、DSPに伝送される。
　また、特許文献１には、イメージセンサ側の送信部とDSP側の受信部の対を複数設け、それぞれの送受信部間でデータ伝送を行うことについても記載されている。
特開２０１２－１２０１５９号公報
　イメージセンサ側の１つの送信部とDSP側の１つの受信部から１つの通信リンクが構成されるものとすると、送信部と受信部の対を複数設けた場合には複数の通信リンクを用いてデータの伝送が行われることになる。
　各通信リンクにおけるデータの伝送が独立して行われる場合、通信リンク間で、データのタイミングにずれが生じる。
　本技術はこのような状況に鑑みてなされたものであり、複数の通信リンクを用いてデータの伝送が行われる場合において、通信リンク間のデータのタイミングのずれを補正することができるようにするものである。
　本技術の第１の側面の受信装置は、送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理を第１のレイヤの処理として行い、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理を第２のレイヤの処理として行う複数の受信部と、１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部とを備える。
　本技術の第２の側面の送信装置は、伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理を第１のレイヤの処理として行い、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理を第２のレイヤの処理として行う複数の送信部と、１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部とを備える。
　本技術の第１の側面においては、送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理である第１のレイヤの処理と、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理である第２のレイヤの処理とが複数の受信部において行われ、１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれが補正される。
　本技術の第２の側面においては、伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理である第１のレイヤの処理と、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理である第２のレイヤの処理とが複数の送信部において行われ、１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれが補正される。
　本技術によれば、複数の通信リンクを用いてデータの伝送が行われる場合において、通信リンク間のデータのタイミングのずれを補正することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
伝送システムの第１の構成例を示す図である。 伝送システムの第２の構成例を示す図である。 伝送システムの第３の構成例を示す図である。 フレームフォーマットの例を示す図である。 送信部と受信部の構成例を示す図である。 ヘッダ構造を示す図である。 ヘッダ情報の内容と情報量を示す図である。 ビット配列の例を示す図である。 各画素の画素値が８ビットで表される場合のPixel to Byte変換の例を示す図である。 各画素の画素値が１０ビットで表される場合のPixel to Byte変換の例を示す図である。 各画素の画素値が１２ビットで表される場合のPixel to Byte変換の例を示す図である。 各画素の画素値が１４ビットで表される場合のPixel to Byte変換の例を示す図である。 各画素の画素値が１６ビットで表される場合のPixel to Byte変換の例を示す図である。 ペイロードデータの例を示す図である。 ペイロードデータの他の例を示す図である。 パリティが挿入されたペイロードデータの例を示す図である。 ペイロードデータにヘッダを付加した状態を示す図である。 ペイロードデータにヘッダとフッタを付加した状態を示す図である。 パリティが挿入されたペイロードデータにヘッダを付加した状態を示す図である。 パケットデータの割り当ての例を示す図である。 制御コードの例を示す図である。 K Characterの値を示す図である。 Pad Codeの挿入の例を示す図である。 制御コード挿入後のパケットデータの例を示す図である。 Data Skewの補正の例を示す図である。 撮像装置の処理について説明するフローチャートである。 図２６のステップＳ２において行われるデータ送信処理について説明するフローチャートである。 図２６のステップＳ３において行われるデータ受信処理について説明するフローチャートである。 レーン数を切り替える場合の制御シーケンスを示す図である。 フレームフォーマットの他の例を示す図である。 図３０のフレームフォーマットの１パケットを拡大して示す図である。 ヘッダ情報の内容を示す図である。 汎用I/Fを用いた伝送システムの第１の構成例を示す図である。 汎用I/Fを用いた伝送システムの第２の構成例を示す図である。 汎用I/Fを用いた伝送システムの第３の構成例を示す図である。 パケットのデータ構造の例を示す図である。 送信側LSIと受信側LSIの構成例を示す図である。 Byte Packingの例を示す図である。 Byte Packingの他の例を示す図である。 Byte Packing処理のシーケンスを示す図である。 パリティの挿入の例を示す図である。 伝送システムの動作について説明するフローチャートである。 図４２のステップＳ１０２において行われるデータ送信処理について説明するフローチャートである。 図４２のステップＳ１０３において行われるデータ受信処理について説明するフローチャートである。 シングル通信リンクの処理の流れの例を示す図である。 マルチ通信リンクの処理の流れの例を示す図である。 伝送システムの他の構成例を示す図である。 送信側LSIと受信側LSIの構成例を示す図である。 補正タイミングの設定の例を示す図である。 通信リンク間Data Skewを物理レイヤにおいて補正する場合の一連の動作について説明するシーケンス図である。 送信側LSIと受信側LSIの他の構成例を示す図である。 通信リンク間Data Skewをリンクレイヤにおいて補正する場合の一連の動作について説明するシーケンス図である。 送信側LSIと受信側LSIの他の構成例を示す図である。 通信リンク間Data Skewをアダプテーションレイヤにおいて補正する場合の一連の動作について説明するシーケンス図である。 通信リンク間Data Skewをアプリケーションレイヤにおいて補正する場合の一連の動作について説明するシーケンス図である。 伝送システムの他の構成例を示す図である。 図５６の送信側LSIと受信側LSIの構成例を示す図である。 通信リンク間Data Skewを送信側において補正する場合の一連の動作について説明するシーケンス図である。 コンピュータの構成例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図６０に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（画素データを伝送する例）
　２．第２の実施の形態（画素データに限らず、所定のデータを伝送する例）
　３．通信リンク間のData Skewの補正について
　（１）通信リンク間Data Skew
　（２）通信リンク間Data Skewの除去
　４．変形例
　５．応用例
＜１．第１の実施の形態（画素データを伝送する例）＞
［伝送システムの構成例］
　図１は、本技術の一実施形態に係る伝送システムの第１の構成例を示す図である。
　図１の伝送システム１は、イメージセンサ１１とDSP１２から構成される。イメージセンサ１１とDSP１２はそれぞれ異なるLSI(Large Scale Integrated Circuit)により構成され、デジタルカメラや携帯電話機などの、撮像機能を有する同じ撮像装置内に設けられる。イメージセンサ１１には撮像部２１と１つの送信部２２が設けられ、DSP１２には１つの受信部３１と画像処理部３２が設けられている。
　イメージセンサ１１の撮像部２１は、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子よりなり、レンズを介して受光した光の光電変換を行う。また、撮像部２１は、光電変換によって得られた信号のA/D変換などを行い、１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２に出力する。
　送信部２２は、撮像部２１から供給された各画素のデータを、例えば撮像部２１から供給された順に複数の伝送路に割り当て、複数の伝送路を介して並列にDSP１２に送信する。図１の例においては、８本の伝送路を用いて画素データの伝送が行われている。イメージセンサ１１とDSP１２の間の伝送路は有線の伝送路であってもよいし、無線の伝送路であってもよい。以下、適宜、イメージセンサ１１とDSP１２の間の伝送路をレーン（Lane）という。
　DSP１２の受信部３１は、８本のレーンを介して送信部２２から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。
　画像処理部３２は、受信部３１から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。イメージセンサ１１からDSP１２に伝送される画像データはRAWデータであり、画像処理部３２においては、画像データの圧縮、画像の表示、記録媒体に対する画像データの記録などの各種の処理が行われる。
　図２は、伝送システム１の第２の構成例を示す図である。図２に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２の伝送システム１のイメージセンサ１１には、撮像部２１と、２つの送信部である送信部２２－１，２２－２が設けられ、DSP１２には、２つの受信部である受信部３１－１，３１－２と、画像処理部３２が設けられている。
　撮像部２１は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ、送信部２２－１と送信部２２－２に並列に出力する。例えば、撮像部２１は、奇数ラインの画素のデータを送信部２２－１に出力し、偶数ラインの画素のデータを送信部２２－２に出力する。
　送信部２２－１は、撮像部２１から供給された各画素のデータを、例えば撮像部２１から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。送信部２２－２も同様に、撮像部２１から供給された各画素のデータを、例えば撮像部２１から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。
　図２の例においてもイメージセンサ１１とDSP１２の間は８本のレーンを介して接続されている。送信部２２－１と送信部２２－２は、それぞれ、４本のレーンを用いて画素データを伝送する。
　DSP１２の受信部３１－１は、４本のレーンを介して送信部２２－１から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。受信部３１－２も同様に、４本のレーンを介して送信部２２－２から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。
　画像処理部３２は、受信部３１－１から供給された画素データと受信部３１－２から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。
　図２に示すようにイメージセンサ１１に２つの送信部を設け、それに対応させて２つの受信部をDSP１２に設けることにより、撮像部２１が出力する画素データのレートが高い場合であっても画素データをDSP１２に伝送することが可能になる。
　図３は、伝送システム１の第３の構成例を示す図である。図３に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３の伝送システム１においては、イメージセンサ１１－１とイメージセンサ１１－２の２つのイメージセンサが設けられている。イメージセンサ１１－１には撮像部２１－１と１つの送信部である送信部２２－１が設けられ、イメージセンサ１１－２には撮像部２１－２と１つの送信部である送信部２２－２が設けられる。DSP１２には、図２の場合と同様に、２つの受信部である受信部３１－１，３１－２と、画像処理部３２が設けられている。
　イメージセンサ１１－１の撮像部２１－１は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２－１に出力する。
　送信部２２－１は、撮像部２１－１から供給された各画素のデータを、例えば撮像部２１－１から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。
　イメージセンサ１１－２の撮像部２１－２は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２－２に出力する。
　送信部２２－２は、撮像部２１－２から供給された各画素のデータを、例えば撮像部２１－２から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。
　図３の例においてもイメージセンサ側とDSP１２の間は８本のレーンを介して接続されている。イメージセンサ１１－１とイメージセンサ１１－２にはそれぞれ４本のレーンが割り当てられ、送信部２２－１と送信部２２－２は、それぞれ、４本のレーンを用いて画素データを伝送する。
　DSP１２の受信部３１－１は、４本のレーンを介してイメージセンサ１１－１の送信部２２－１から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。受信部３１－２も同様に、４本のレーンを介してイメージセンサ１１－２の送信部２２－２から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。
　画像処理部３２は、受信部３１－１から供給された画素データに基づいて１フレームの画像を生成するとともに、受信部３１－２から供給された画素データに基づいて１フレームの画像を生成する。画像処理部３２は、生成した画像を用いて各種の画像処理を行う。
　図３に示すように２つのイメージセンサを設けることにより、例えば、イメージセンサ１１－１により撮像された左目用の画像と、イメージセンサ１１－２により撮像された右目用の画像からなる3D画像を１つのDSP１２で処理することが可能になる。左目用の画像と右目用の画像には視差がある。
　以上のように、伝送システム１のイメージセンサには、撮像された１フレームの画像データを伝送する送信部が１つまたは複数設けられる。一方、DSPには、イメージセンサの送信部に対応して、イメージセンサから伝送されてきたデータを受信する受信部が１つまたは複数設けられる。
　以下、イメージセンサ１１に１つの送信部が設けられ、DSP１２に１つの受信部が設けられる図１の伝送システム１におけるデータ伝送について説明する。図２と図３の送信部２２－１－受信部３１－１間、送信部２２－２－受信部３１－２間においても同様にしてデータ伝送が行われる。
［フレームフォーマット］
　図４は、イメージセンサ１１－DSP１２間で１フレームの画像データを伝送するのに用いられるフォーマットの例を示す図である。
　有効画素領域Ａ１は、撮像部２１により撮像された１フレームの画像の有効画素の領域である。有効画素領域Ａ１の左側には、垂直方向の画素数が有効画素領域Ａ１の垂直方向の画素数と同じであるマージン領域Ａ２が設定される。
　有効画素領域Ａ１の上側には、水平方向の画素数が、有効画素領域Ａ１とマージン領域Ａ２全体の水平方向の画素数と同じである前ダミー領域Ａ３が設定される。図４の例においては、前ダミー領域Ａ３にはEmbedded Dataが挿入されている。Embedded Dataは、シャッタスピード、絞り値、ゲインなどの、撮像部２１による撮像に関する設定値の情報が含まれる。後ダミー領域Ａ４にEmbedded Dataが挿入されることもある。
　有効画素領域Ａ１の下側には、水平方向の画素数が、有効画素領域Ａ１とマージン領域Ａ２全体の水平方向の画素数と同じである後ダミー領域Ａ４が設定される。
　有効画素領域Ａ１、マージン領域Ａ２、前ダミー領域Ａ３、および後ダミー領域Ａ４から画像データ領域Ａ１１が構成される。
　画像データ領域Ａ１１を構成する各ラインの前にはヘッダが付加され、ヘッダの前にはStart Codeが付加される。また、画像データ領域Ａ１１を構成する各ラインの後ろにはフッタがオプションで付加され、フッタの後ろにはEnd Codeなどの後述する制御コードが付加される。フッタが付加されない場合、画像データ領域Ａ１１を構成する各ラインの後ろにEnd Codeなどの制御コードが付加される。
　撮像部２１により撮像された１フレームの画像をイメージセンサ１１からDSP１２に伝送する毎に、図４に示すフォーマットのデータ全体が伝送データとして伝送される。
　図４の上側の帯は下側に示す伝送データの伝送に用いられるパケットの構造を示している。水平方向の画素の並びをラインとすると、パケットのペイロードには、画像データ領域Ａ１１の１ラインを構成する画素のデータが格納される。１フレームの画像データ全体の伝送は、画像データ領域Ａ１１の垂直方向の画素数以上の数のパケットを用いて行われることになる。
　１ライン分の画素データが格納されたペイロードに、ヘッダとフッタが付加されることによって１パケットが構成される。後に詳述するように、ヘッダには、Frame Start, Frame End, Line Valid, Line Number, ECCなどの、ペイロードに格納されている画素データの付加的な情報が含まれる。各パケットには、制御コードであるStart CodeとEnd Codeが少なくとも付加される。
　このように、１フレームの画像を構成する画素データをライン毎に伝送するフォーマットを採用することによって、ヘッダ等の付加的な情報やStart Code, End Codeなどの制御コードをライン毎のブランキング期間中に伝送することが可能になる。
［送信部２２と受信部３１の構成］
　図５は、送信部２２と受信部３１の構成例を示す図である。
　図５の左側に破線で囲んで示す構成が送信部２２の構成であり、右側に破線で囲んで示す構成が受信部３１の構成である。送信部２２と受信部３１は、それぞれ、リンクレイヤの構成と物理レイヤの構成からなる。実線Ｌ２より上側に示す構成がリンクレイヤの構成であり、実線Ｌ２より下側に示す構成が物理レイヤの構成である。
　なお、実線Ｌ１の上に示す構成はアプリケーションレイヤの構成である。システム制御部５１、フレームデータ入力部５２、およびレジスタ５３は撮像部２１において実現される。システム制御部５１は、送信部２２のLINK-TXプロトコル管理部６１と通信を行い、フレームフォーマットに関する情報を提供するなどして画像データの伝送を制御する。フレームデータ入力部５２は、ユーザによる指示などに応じて撮像を行い、撮像を行うことによって得られた画像を構成する各画素のデータを送信部２２のPixel to Byte変換部６２に供給する。レジスタ５３は、Pixel to Byte変換のビット数やLane数等の情報を記憶する。レジスタ５３に記憶されている情報に従って画像データの送信処理が行われる。
　また、アプリケーションレイヤの構成のうちのフレームデータ出力部１４１、レジスタ１４２、およびシステム制御部１４３は画像処理部３２において実現される。フレームデータ出力部１４１は、受信部３１から供給された各ラインの画素データに基づいて１フレームの画像を生成し、出力する。フレームデータ出力部１４１から出力された画像を用いて各種の処理が行われる。レジスタ１４２は、Byte to Pixel変換のビット数やLane数などの、画像データの受信に関する各種の設定値を記憶する。レジスタ１４２に記憶されている情報に従って画像データの受信処理が行われる。システム制御部１４３は、LINK-RXプロトコル管理部１２１と通信を行い、モードチェンジ等のシーケンスを制御する。
［送信部２２のリンクレイヤの構成］
　はじめに、送信部２２のリンクレイヤの構成について説明する。
　送信部２２には、リンクレイヤの構成として、LINK-TXプロトコル管理部６１、Pixel to Byte変換部６２、ペイロードECC挿入部６３、パケット生成部６４、およびレーン分配部６５が設けられる。LINK-TXプロトコル管理部６１は、状態制御部７１、ヘッダ生成部７２、データ挿入部７３、およびフッタ生成部７４から構成される。
　LINK-TXプロトコル管理部６１の状態制御部７１は、送信部２２のリンクレイヤの状態を管理する。
　ヘッダ生成部７２は、１ライン分の画素データが格納されたペイロードに付加されるヘッダを生成し、パケット生成部６４に出力する。
　図６は、ヘッダ生成部７２により生成されるヘッダの構造を示す図である。
　上述したように、１パケット全体は、ヘッダと、１ライン分の画素データであるペイロードデータから構成される。パケットにはフッタが付加されることもある。ヘッダは、ヘッダ情報とHeader ECCから構成される。
　ヘッダ情報には、Frame Start, Frame End, Line Valid, Line Number, Reservedが含まれる。各情報の内容と情報量を図７に示す。
　Frame Startは、フレームの先頭を示す１ビットの情報である。図４の画像データ領域Ａ１１の１ライン目の画素データの伝送に用いられるパケットのヘッダのFrame Startには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Startには０の値が設定される。
　Frame Endは、フレームの終端を示す１ビットの情報である。有効画素領域Ａ１の終端ラインの画素データをペイロードに含むパケットのヘッダのFrame Endには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Endには０の値が設定される。
　Frame StartとFrame Endが、フレームに関する情報であるフレーム情報となる。
　Line Validは、ペイロードに格納されている画素データのラインが有効画素のラインであるのか否かを表す１ビットの情報である。有効画素領域Ａ１内のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには０の値が設定される。
　Line Numberは、ペイロードに格納されている画素データにより構成されるラインのライン番号を表す１３ビットの情報である。
　Line ValidとLine Numberが、ラインに関する情報であるライン情報となる。
　Reservedは拡張用の32ビットの領域である。ヘッダ情報全体のデータ量は６バイトになる。
　図６に示すように、ヘッダ情報に続けて配置されるHeader ECCには、６バイトのヘッダ情報に基づいて計算された２バイトの誤り検出符号であるCRC(Cyclic Redundancy Check)符号が含まれる。また、Header ECCには、CRC符号に続けて、ヘッダ情報とCRC符号の組である８バイトの情報と同じ情報が２つ含まれる。
　すなわち、１つのパケットのヘッダには、同じヘッダ情報とCRC符号の組が３つ含まれる。ヘッダ全体のデータ量は、１組目のヘッダ情報とCRC符号の組の８バイトと、２組目のヘッダ情報とCRC符号の組の８バイトと、３組目のヘッダ情報とCRC符号の組の８バイトとの、あわせて２４バイトになる。
　図８は、ヘッダ情報とCRC符号の１つの組を構成する８バイトのビット配列の例を示す図である。
　ヘッダを構成する８バイトのうちの１番目の１バイトであるバイトＨ７には、１ビット目から順に、Frame Start, Frame End, Line Validの各１ビットと、Line Numberの１３ビットのうちの１～５ビット目が含まれる。また、２番目の１バイトであるバイトＨ６には、Line Numberの１３ビットのうちの６～１３ビット目が含まれる。
　３番目の１バイトであるバイトＨ５から６番目の１バイトであるバイトＨ２がReservedとなる。７番目の１バイトであるバイトＨ１と８番目の１バイトであるバイトＨ０にはCRC符号の各ビットが含まれる。
　図５の説明に戻り、ヘッダ生成部７２は、システム制御部５１による制御に従ってヘッダ情報を生成する。例えば、システム制御部５１からは、フレームデータ入力部５２が出力する画素データのライン番号を表す情報や、フレームの先頭、終端を表す情報が供給される。
　また、ヘッダ生成部７２は、ヘッダ情報を生成多項式に適用してCRC符号を計算する。ヘッダ情報に付加されるCRC符号の生成多項式は例えば下式（１）により表される。
Figure JPOXMLDOC01-appb-M000001
　ヘッダ生成部７２は、ヘッダ情報にCRC符号を付加することによってヘッダ情報とCRC符号の組を生成し、同じヘッダ情報とCRC符号の組を３組繰り返して配置することによってヘッダを生成する。ヘッダ生成部７２は、生成したヘッダをパケット生成部６４に出力する。
　データ挿入部７３は、スタッフィング（stuffing）に用いられるデータを生成し、Pixel to Byte変換部６２とレーン分配部６５に出力する。Pixel to Byte変換部６２に供給されたスタッフィングデータであるペイロードスタッフィングデータは、Pixel to Byte変換後の画素データに付加され、ペイロードに格納される画素データのデータ量の調整に用いられる。また、レーン分配部６５に供給されたスタッフィングデータであるレーンスタッフィングデータは、レーン割り当て後のデータに付加され、レーン間のデータ量の調整に用いられる。
　フッタ生成部７４は、システム制御部５１による制御に応じて、適宜、ペイロードデータを生成多項式に適用して３２ビットのCRC符号を計算し、計算により求めたCRC符号をフッタとしてパケット生成部６４に出力する。フッタとして付加されるCRC符号の生成多項式は例えば下式（２）により表される。
Figure JPOXMLDOC01-appb-M000002
　Pixel to Byte変換部６２は、フレームデータ入力部５２から供給された画素データを取得し、各画素のデータを１バイト単位のデータに変換するPixel to Byte変換を行う。例えば、撮像部２１により撮像された画像の各画素の画素値（RGB）は、８ビット、１０ビット、１２ビット、１４ビット、１６ビットのうちのいずれかのビット数で表される。
　図９は、各画素の画素値が８ビットで表される場合のPixel to Byte変換の例を示す図である。
　Data[0]がLSBを表し、数字の最も大きいData[7]がMSBを表す。白抜き矢印で示すように、この場合、画素Nの画素値を表すData[7]～[0]の８ビットは、Data[7]～[0]からなるByte Nに変換される。各画素の画素値が８ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数と同じ数になる。
　図１０は、各画素の画素値が１０ビットで表される場合のPixel to Byte変換の例を示す図である。
　この場合、画素Nの画素値を表すData[9]～[0]の１０ビットは、Data[9]～[2]からなるByte 1.25*Nに変換される。
　画素N+1～N+3についても同様に、それぞれの画素値を表すData[9]～[0]の１０ビットが、Data[9]～[2]からなるByte 1.25*N+1～Byte 1.25*N+3に変換される。また、画素N～N+3のそれぞれの下位のビットであるData[1]とData[0]が集められてByte 1.25*N+4に変換される。各画素の画素値が１０ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の1.25倍の数になる。
　図１１は、各画素の画素値が１２ビットで表される場合のPixel to Byte変換の例を示す図である。
　この場合、画素Nの画素値を表すData[11]～[0]の１２ビットは、Data[11]～[4]からなるByte 1.5*Nに変換される。
　画素N+1についても同様に、画素N+1の画素値を表すData[11]～[0]の１２ビットが、Data[11]～[4]からなるByte 1.5*N+1に変換される。また、画素Nと画素N+1のそれぞれの下位のビットであるData[3]～[0]が集められてByte 1.5*N+2に変換される。各画素の画素値が１２ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の1.5倍の数になる。
　図１２は、各画素の画素値が１４ビットで表される場合のPixel to Byte変換の例を示す図である。
　この場合、画素Nの画素値を表すData[13]～[0]の１４ビットは、Data[13]～[6]からなるByte 1.75*Nに変換される。
　画素N+1～N+3についても同様に、それぞれの画素値を表すData[13]～[0]の１４ビットが、Data[13]～[6]からなるByte 1.75*N+1～Byte 1.75*N+3に変換される。また、画素N～N+3のビットのうちの残ったビットが下位のビットから順に集められ、例えば、画素NのビットであるData[5]～[0]と、画素N+1のビットであるData[5],[4]がByte 1.75*N+4に変換される。
　同様に、画素N+1のビットであるData[3]～[0]と、画素N+2のビットであるData[5]～[2]がByte 1.75*N+5に変換され、画素N+2のビットであるData[1],[0]と、画素N+3のビットであるData[5]～[0]がByte 1.75*N+6に変換される。各画素の画素値が１４ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の1.75倍の数になる。
　図１３は、各画素の画素値が１６ビットで表される場合のPixel to Byte変換の例を示す図である。
　この場合、画素Nの画素値を表すData[15]～[0]の１６ビットは、Data[15]～[8]からなるByte 2*NとData[7]～[0]からなるByte 2*N+1に変換される。各画素の画素値が１６ビットで表される場合、Pixel to Byte変換後のバイト単位のデータの数は、画素の数の2倍の数になる。
　図５のPixel to Byte変換部６２は、このようなPixel to Byte変換を例えばラインの左端の画素から順に各画素を対象として行う。また、Pixel to Byte変換部６２は、Pixel to Byte変換によって得られたバイト単位の画素データに、データ挿入部７３から供給されたペイロードスタッフィングデータを付加することによってペイロードデータを生成し、ペイロードECC挿入部６３に出力する。
　図１４は、ペイロードデータの例を示す図である。
　図１４は、各画素の画素値が１０ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータを示している。色を付していない１つのブロックが、Pixel to Byte変換後のバイト単位の画素データを表す。また、色を付している１つのブロックが、データ挿入部７３により生成されたペイロードスタッフィングデータを表す。
　Pixel to Byte変換後の画素データは、変換によって得られた順に、所定の数のグループにグループ化される。図１４の例においては、各画素データがグループ０～１５の１６グループにグループ化されており、画素Ｐ０のMSBを含む画素データがグループ０に割り当てられ、画素Ｐ１のMSBを含む画素データがグループ１に割り当てられている。また、画素Ｐ２のMSBを含む画素データがグループ２に割り当てられ、画素Ｐ３のMSBを含む画素データがグループ３に割り当てられ、画素Ｐ０～Ｐ３のLSBを含む画素データがグループ４に割り当てられている。
　画素Ｐ４のMSBを含む画素データ以降の画素データについても、グループ５以降の各グループに順に割り当てられる。ある画素データがグループ１５に割り当てられたとき、それ以降の画素データは、グループ０以降の各グループに順に割り当てられる。なお、画素データを表すブロックのうち、３本の破線が内側に付されているブロックは、Pixel to Byte変換時に、画素N～N+3のLSBを含むようにして生成されたバイト単位の画素データを表す。
　送信部２２のリンクレイヤにおいては、このようにしてグループ化が行われた後、クロック信号によって規定される期間毎に、各グループにおいて同じ位置にある画素データを対象として処理が並行して行われる。すなわち、図１４に示すように１６のグループに画素データが割り当てられた場合、各列に並ぶ１６の画素データを同じ期間内に処理するようにして画素データの処理が進められる。
　上述したように、１つのパケットのペイロードには１ラインの画素データが含まれる。図１４に示す画素データ全体が、１ラインを構成する画素データである。ここでは、図４の有効画素領域Ａ１の画素データの処理について説明しているが、マージン領域Ａ２等の他の領域の画素データについても有効画素領域Ａ１の画素データとともに処理される。
　１ライン分の画素データがグループ化された後、各グループのデータ長が同じ長さになるように、ペイロードスタッフィングデータが付加される。ペイロードスタッフィングデータは１バイトのデータである。
　図１４の例においては、グループ０の画素データにはペイロードスタッフィングデータが付加されず、破線で囲んで示すように、グループ１～１５の各画素データには、終端にペイロードスタッフィングデータが１つずつ付加されている。画素データとスタッフィングデータからなるペイロードデータのデータ長（Byte）は下式（３）により表される。
Figure JPOXMLDOC01-appb-M000003
　式（３）のLineLengthはラインの画素数を表し、BitPixは１画素の画素値を表すビット数を表す。PayloadStuffingはペイロードスタッフィングデータの数を表す。
　図１４に示すように画素データを１６グループに割り当てるとした場合、ペイロードスタッフィングデータの数は下式（４）により表される。式（４）の％は剰余を表す。
Figure JPOXMLDOC01-appb-M000004
　図１５は、ペイロードデータの他の例を示す図である。
　図１５は、各画素の画素値が１２ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータを示している。
　図１５の例においては、画素Ｐ０のMSBを含む画素データがグループ０に割り当てられ、画素Ｐ１のMSBを含む画素データがグループ１に割り当てられ、画素Ｐ０と画素Ｐ１のLSBを含む画素データがグループ２に割り当てられている。画素Ｐ２のMSBを含む画素データ以降の画素データについても、グループ３以降の各グループに順に割り当てられる。画素データを表すブロックのうち、１本の破線が内側に付されているブロックは、Pixel to Byte変換時に、画素Nと画素N+1のLSBを含むようにして生成されたバイト単位の画素データを表す。
　図１５の例においては、グループ０とグループ１の画素データにはペイロードスタッフィングデータが付加されず、グループ２～１５の各画素データには、終端にペイロードスタッフィングデータが１つずつ付加されている。
　このような構成を有するペイロードデータがPixel to Byte変換部６２からペイロードECC挿入部６３に供給される。
　ペイロードECC挿入部６３は、Pixel to Byte変換部６２から供給されたペイロードデータに基づいて、ペイロードデータの誤り訂正に用いられる誤り訂正符号を計算し、計算により求めた誤り訂正符号であるパリティをペイロードデータに挿入する。誤り訂正符号として、例えばリードソロモン符号が用いられる。なお、誤り訂正符号の挿入はオプションであり、例えば、ペイロードECC挿入部６３によるパリティの挿入と、フッタ生成部７４によるフッタの付加はいずれか一方のみを行うことが可能とされる。
　図１６は、パリティが挿入されたペイロードデータの例を示す図である。
　図１６に示すペイロードデータは、図１５を参照して説明した、各画素の画素値が１２ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータである。斜線を付して示すブロックがパリティを表す。
　図１６の例においては、グループ０～１５の各グループの先頭の画素データから順に１４個選択され、選択された２２４個（２２４バイト）の画素データに基づいて２バイトのパリティが求められている。２バイトのパリティが、その計算に用いられた２２４個の画素データに続けてグループ０，１の１５番目のデータとして挿入され、２２４個の画素データと２バイトのパリティから１つ目のBasic Blockが形成される。
　このように、ペイロードECC挿入部６３においては、基本的に、２２４個の画素データに基づいて２バイトのパリティが生成され、２２４個の画素データに続けて挿入される。
　また、図１６の例においては、１つ目のBasic Blockに続く２２４個の画素データが各グループから順に選択され、選択された２２４個の画素データに基づいて２バイトのパリティが求められている。２バイトのパリティが、その計算に用いられた２２４個の画素データに続けてグループ２，３の２９番目のデータとして挿入され、２２４個の画素データと２バイトのパリティから２つ目のBasic Blockが形成される。
　あるBasic Blockに続く画素データとペイロードスタッフィングデータの数である16×Mが２２４に満たない場合、残っている16×M個のブロック（画素データとペイロードスタッフィングデータ）に基づいて２バイトのパリティが求められる。また、求められた２バイトのパリティがペイロードスタッフィングデータに続けて挿入され、16×M個のブロックと２バイトのパリティからExtra Blockが形成される。
　ペイロードECC挿入部６３は、パリティを挿入したペイロードデータをパケット生成部６４に出力する。パリティの挿入が行われない場合、Pixel to Byte変換部６２からペイロードECC挿入部６３に供給されたペイロードデータは、そのままパケット生成部６４に出力される。
　パケット生成部６４は、ペイロードECC挿入部６３から供給されたペイロードデータに、ヘッダ生成部７２により生成されたヘッダを付加することによってパケットを生成する。フッタ生成部７４によりフッタの生成が行われている場合、パケット生成部６４は、ペイロードデータにフッタを付加することも行う。
　図１７は、ペイロードデータにヘッダを付加した状態を示す図である。
　Ｈ７～Ｈ０の文字を付して示す２４個のブロックは、ヘッダ情報、またはヘッダ情報のCRC符号である、バイト単位のヘッダデータを表す。図６を参照して説明したように１つのパケットのヘッダには、ヘッダ情報とCRC符号の組が３組含まれる。
　例えばヘッダデータＨ７～Ｈ２はヘッダ情報（６バイト）であり、ヘッダデータＨ１，Ｈ０はCRC符号（２バイト）である。
　図１７の例においては、グループ０のペイロードデータには１つのヘッダデータＨ７が付加され、グループ１のペイロードデータには１つのヘッダデータＨ６が付加されている。グループ２のペイロードデータには１つのヘッダデータＨ５が付加され、グループ３のペイロードデータには１つのヘッダデータＨ４が付加されている。グループ４のペイロードデータには１つのヘッダデータＨ３が付加され、グループ５のペイロードデータには１つのヘッダデータＨ２が付加されている。グループ６のペイロードデータには１つのヘッダデータＨ１が付加され、グループ７のペイロードデータには１つのヘッダデータＨ０が付加されている。
　また、図１７の例においては、グループ８のペイロードデータには２つのヘッダデータＨ７が付加され、グループ９のペイロードデータには２つのヘッダデータＨ６が付加されている。グループ１０のペイロードデータには２つのヘッダデータＨ５が付加され、グループ１１のペイロードデータには２つのヘッダデータＨ４が付加されている。グループ１２のペイロードデータには２つのヘッダデータＨ３が付加され、グループ１３のペイロードデータには２つのヘッダデータＨ２が付加されている。グループ１４のペイロードデータには２つのヘッダデータＨ１が付加され、グループ１５のペイロードデータには２つのヘッダデータＨ０が付加されている。
　図１８は、ペイロードデータにヘッダとフッタを付加した状態を示す図である。
　Ｆ３～Ｆ０の文字を付して示す４個のブロックは、フッタとして生成された４バイトのCRC符号であるフッタデータを表す。図１８の例においては、フッタデータＦ３～Ｆ０が、グループ０からグループ３のそれぞれのペイロードデータに付加されている。
　図１９は、パリティが挿入されたペイロードデータにヘッダを付加した状態を示す図である。
　図１９の例においては、パリティが挿入された図１６のペイロードデータに対して、図１７、図１８の場合と同様にヘッダデータＨ７～Ｈ０が付加されている。
　パケット生成部６４は、このようにして生成した１パケットを構成するデータであるパケットデータをレーン分配部６５に出力する。レーン分配部６５に対しては、ヘッダデータとペイロードデータからなるパケットデータ、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ、または、ヘッダデータと、パリティが挿入されたペイロードデータからなるパケットデータが供給されることになる。図６のパケット構造は論理的なものであり、リンクレイヤ、物理レイヤにおいては、図６の構造を有するパケットのデータがバイト単位で処理される。
　レーン分配部６５は、パケット生成部６４から供給されたパケットデータを、先頭のデータから順に、Lane0～7のうちのデータ伝送に用いる各レーンに割り当てる。
　図２０は、パケットデータの割り当ての例を示す図である。
　ここでは、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ（図１８）の割り当てについて説明する。Lane0～7の８レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃１の先に示す。
　この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～7に割り当てられる。あるヘッダデータがLane7に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～7の各レーンには同じヘッダデータが３個ずつ割り当てられることになる。
　また、ペイロードデータは、先頭のペイロードデータから順にLane0～7に割り当てられる。あるペイロードデータがLane7に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。
　フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図２０の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane7に割り当てられており、フッタデータＦ３～Ｆ０がLane0～3に１つずつ割り当てられている。
　黒色を付して示すブロックはデータ挿入部７３により生成されたレーンスタッフィングデータを表す。レーンスタッフィングデータは、１パケット分のパケットデータが各レーンに割り当てられた後、各レーンに割り当てられるデータ長が同じ長さになるように、データの数が少ないレーンに割り当てられる。レーンスタッフィングデータは１バイトのデータである。図２０の例においては、データの割り当て数の少ないレーンであるLane4～7に対して、レーンスタッフィングデータが１つずつ割り当てられている。
　パケットデータがヘッダデータとペイロードデータとフッタデータからなる場合のレーンスタッフィングデータの数は下式（５）により表される。
Figure JPOXMLDOC01-appb-M000005
　式（５）のLaneNumはレーンの数を表し、PayloadLengthはペイロードデータ長（バイト）を表す。また、FooterLengthはフッタ長（バイト）を表す。
　また、パケットデータが、ヘッダデータと、パリティが挿入されたペイロードデータからなる場合のレーンスタッフィングデータの数は下式（６）により表される。式（６）のParityLengthは、ペイロードに含まれるパリティの総バイト数を表す。
Figure JPOXMLDOC01-appb-M000006
　Lane0～5の６レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃２の先に示す。
　この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～5に割り当てられる。あるヘッダデータがLane5に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～5の各レーンには４個ずつヘッダデータが割り当てられることになる。
　また、ペイロードデータは、先頭のペイロードデータから順にLane0～5に割り当てられる。あるペイロードデータがLane5に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。
　フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図２０の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane1に割り当てられており、フッタデータＦ３～Ｆ０がLane2～5に１つずつ割り当てられている。Lane0～5のパケットデータの数が同じ数であるから、この場合、レーンスタッフィングデータは用いられない。
　Lane0～3の４レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃３の先に示す。
　この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～3に割り当てられる。あるヘッダデータがLane3に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～3の各レーンには６個ずつヘッダデータが割り当てられることになる。
　また、ペイロードデータは、先頭のペイロードデータから順にLane0～3に割り当てられる。あるペイロードデータがLane3に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。
　フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図２０の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane3に割り当てられており、フッタデータＦ３～Ｆ０がLane0～3に１つずつ割り当てられている。Lane0～3のパケットデータの数が同じ数であるから、この場合、レーンスタッフィングデータは用いられない。
　レーン分配部６５は、このようにして各レーンに割り当てたパケットデータを物理レイヤに出力する。以下、Lane0～7の８レーンを用いてデータを伝送する場合について主に説明するが、データ伝送に用いるレーンの数が他の数の場合であっても同様の処理が行われる。
［送信部２２の物理レイヤの構成］
　次に、送信部２２の物理レイヤの構成について説明する。
　送信部２２には、物理レイヤの構成として、PHY-TX状態制御部８１、クロック生成部８２、信号処理部８３－０乃至８３－Ｎが設けられる。信号処理部８３－０は、制御コード挿入部９１、8B10Bシンボルエンコーダ９２、同期部９３、および送信部９４から構成される。レーン分配部６５から出力された、Lane0に割り当てられたパケットデータは信号処理部８３－０に入力され、Lane1に割り当てられたパケットデータは信号処理部８３－１に入力される。また、LaneNに割り当てられたパケットデータは信号処理部８３－Ｎに入力される。
　このように、送信部２２の物理レイヤには、信号処理部８３－０乃至８３－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送するパケットデータの処理が、信号処理部８３－０乃至８３－Ｎのそれぞれにおいて並行して行われる。信号処理部８３－０の構成について説明するが、信号処理部８３－１乃至８３－Ｎも同様の構成を有する。
　PHY-TX状態制御部８１は、信号処理部８３－０乃至８３－Ｎの各部を制御する。例えば、信号処理部８３－０乃至８３－Ｎにより行われる各処理のタイミングがPHY-TX状態制御部８１により制御される。
　クロック生成部８２は、クロック信号を生成し、信号処理部８３－０乃至８３－Ｎのそれぞれの同期部９３に出力する。
　信号処理部８３－０の制御コード挿入部９１は、レーン分配部６５から供給されたパケットデータに対して制御コードを付加する。制御コードは、予め用意された複数種類のシンボルの中から選択された１つのシンボルにより、または複数種類のシンボルの組み合わせにより表されるコードである。制御コード挿入部９１により挿入される各シンボルは８ビットのデータである。後段の回路で8B10B変換が施されることによって、制御コード挿入部９１により挿入された１シンボルは１０ビットのデータになる。一方、受信部３１においては後述するように受信データに対して10B8B変換が施されるが、受信データに含まれる10B8B変換前の各シンボルは１０ビットのデータであり、10B8B変換後の各シンボルは８ビットのデータになる。
　図２１は、制御コード挿入部９１により付加される制御コードの例を示す図である。
　制御コードには、Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, Standby Codeがある。
　Idle Codeは、パケットデータの伝送時以外の期間に繰り返し送信されるシンボル群である。Idle Codeは、8B10B CodeであるD CharacterのD00.0（00000000）で表される。
　Start Codeは、パケットの開始を示すシンボル群である。上述したように、Start Codeはパケットの前に付加される。Start Codeは、３種類のK Characterの組み合わせであるK28.5, K27.7, K28.2, K27.7の４シンボルで表される。それぞれのK Characterの値を図２２に示す。
　End Codeは、パケットの終了を示すシンボル群である。上述したように、End Codeはパケットの後ろに付加される。End Codeは、３種類のK Characterの組み合わせであるK28.5, K29.7, K30.7, K29.7の４シンボルで表される。
　Pad Codeは、画素データ帯域とPHY伝送帯域の差を埋めるためにペイロードデータ中に挿入されるシンボル群である。画素データ帯域は、撮像部２１から出力され、送信部２２に入力される画素データの伝送レートであり、PHY伝送帯域は、送信部２２から送信され、受信部３１に入力される画素データの伝送レートである。Pad Codeは、４種類のK Characterの組み合わせであるK23.7, K28.4, K28.6, K28.3の４シンボルで表される。
　図２３は、Pad Codeの挿入の例を示す図である。
　図２３の上段は、Pad Code挿入前の、各レーンに割り当てられたペイロードデータを示し、下段は、Pad Code挿入後のペイロードデータを示す。図２３の例においては、先頭から３番目の画素データと４番目の画素データの間、６番目の画素データと７番目の画素データの間、１２番目の画素データと１３番目の画素データの間にPad Codeが挿入されている。このように、Pad Codeは、Lane0～7の各レーンのペイロードデータの同じ位置に挿入される。
　Lane0に割り当てられたペイロードデータに対するPad Codeの挿入は信号処理部８３－０の制御コード挿入部９１により行われる。他のレーンに割り当てられたペイロードデータに対するPad Codeの挿入も同様に、信号処理部８３－１乃至８３－Ｎにおいてそれぞれ同じタイミングで行われる。Pad Codeの数は、画素データ帯域とPHY伝送帯域の差と、クロック生成部８２が生成するクロック信号の周波数などに基づいて決定される。
　このように、Pad Codeは、画素データ帯域が狭く、PHY伝送帯域が広い場合に、双方の帯域の差を調整するために挿入される。例えば、Pad Codeが挿入されることによって、画素データ帯域とPHY伝送帯域の差が一定の範囲内に収まるように調整される。
　図２１の説明に戻り、Sync Codeは、送信部２２－受信部３１間のビット同期、シンボル同期を確保するために用いられるシンボル群である。Sync Codeは、K28.5, Any**の２シンボルで表される。Any**は、どの種類のシンボルが用いられてもよいことを表す。Sync Codeは、例えば送信部２２－受信部３１間でパケットデータの伝送が開始される前のトレーニングモード時に繰り返し送信される。
　Deskew Codeは、レーン間のData Skew、すなわち、受信部３１の各レーンで受信されるデータの受信タイミングのずれの補正に用いられるシンボル群である。Deskew Codeは、K28.5, Any**の２シンボルで表される。Deskew Codeを用いたレーン間のData Skewの補正については後述する。
　Standby Codeは、送信部２２の出力がHigh-Z（ハイインピーダンス）などの状態になり、データ伝送が行われなくなることを受信部３１に通知するために用いられるシンボル群である。すなわち、Standby Codeは、パケットデータの伝送を終了し、Standby状態になるときに受信部３１に対して伝送される。Standby Codeは、K28.5, Any**の２シンボルで表される。
　制御コード挿入部９１は、このような制御コードを付加したパケットデータを8B10Bシンボルエンコーダ９２に出力する。
　図２４は、制御コード挿入後のパケットデータの例を示す図である。
　図２４に示すように、信号処理部８３－０乃至８３－Ｎにおいては、それぞれ、パケットデータの前にStart Codeが付加され、ペイロードデータにPad Codeが挿入される。パケットデータの後ろにはEnd Codeが付加され、End Codeの後ろにDeskew Codeが付加される。図２４の例においては、Deskew Codeの後ろにIdle Codeが付加されている。
　8B10Bシンボルエンコーダ９２は、制御コード挿入部９１から供給されたパケットデータ（制御コードが付加されたパケットデータ）に対して8B10B変換を施し、１０ビット単位のデータに変換したパケットデータを同期部９３に出力する。
　同期部９３は、8B10Bシンボルエンコーダ９２から供給されたパケットデータの各ビットを、クロック生成部８２により生成されたクロック信号に従って送信部９４に出力する。なお、送信部２２に同期部９３が設けられないようにしてもよい。この場合、8B10Bシンボルエンコーダ９２から出力されたパケットデータは、送信部９４にそのまま供給される。
　送信部９４は、Lane0を構成する伝送路を介して、同期部９３から供給されたパケットデータを受信部３１に送信する。８レーンを用いてデータ伝送が行われる場合、Lane1～7を構成する伝送路をも用いてパケットデータが受信部３１に送信される。
［受信部３１の物理レイヤの構成］
　次に、受信部３１の物理レイヤの構成について説明する。
　受信部３１には、物理レイヤの構成として、PHY-RX状態制御部１０１、信号処理部１０２－０乃至１０２－Ｎが設けられる。信号処理部１０２－０は、受信部１１１、クロック生成部１１２、同期部１１３、シンボル同期部１１４、10B8Bシンボルデコーダ１１５、スキュー補正部１１６、および制御コード除去部１１７から構成される。Lane0を構成する伝送路を介して送信されてきたパケットデータは信号処理部１０２－０に入力され、Lane1を構成する伝送路を介して送信されてきたパケットデータは信号処理部１０２－１に入力される。また、LaneNを構成する伝送路を介して送信されてきたパケットデータは信号処理部１０２－Ｎに入力される。
　このように、受信部３１の物理レイヤには、信号処理部１０２－０乃至１０２－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送されてきたパケットデータの処理が、信号処理部１０２－０乃至１０２－Ｎのそれぞれにおいて並行して行われる。信号処理部１０２－０の構成について説明するが、信号処理部１０２－１乃至１０２－Ｎも同様の構成を有する。
　受信部１１１は、Lane0を構成する伝送路を介して送信部２２から伝送されてきたパケットデータを表す信号を受信し、クロック生成部１１２に出力する。
　クロック生成部１１２は、受信部１１１から供給された信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。クロック生成部１１２は、受信部１１１から供給された信号を、クロック信号とともに同期部１１３に出力する。
　同期部１１３は、クロック生成部１１２により生成されたクロック信号に従って、受信部１１１において受信された信号のサンプリングを行い、サンプリングによって得られたパケットデータをシンボル同期部１１４に出力する。クロック生成部１１２と同期部１１３によりCDR(Clock Data Recovery)の機能が実現される。
　シンボル同期部１１４は、パケットデータに含まれる制御コードを検出することによって、または制御コードに含まれる一部のシンボルを検出することによってシンボル同期をとる。例えば、シンボル同期部１１４は、Start Code, End Code, Deskew Codeに含まれるK28.5のシンボルを検出し、シンボル同期をとる。シンボル同期部１１４は、各シンボルを表す１０ビット単位のパケットデータを10B8Bシンボルデコーダ１１５に出力する。
　また、シンボル同期部１１４は、パケットデータの伝送が開始される前のトレーニングモード時に送信部２２から繰り返し送信されてくるSync Codeに含まれるシンボルの境界を検出することによってシンボル同期をとる。
　10B8Bシンボルデコーダ１１５は、シンボル同期部１１４から供給された１０ビット単位のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータをスキュー補正部１１６に出力する。
　スキュー補正部１１６は、10B8Bシンボルデコーダ１１５から供給されたパケットデータからDeskew Codeを検出する。スキュー補正部１１６によるDeskew Codeの検出タイミングの情報はPHY-RX状態制御部１０１に供給される。
　また、スキュー補正部１１６は、Deskew Codeのタイミングを、PHY-RX状態制御部１０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。PHY-RX状態制御部１０１からは、信号処理部１０２－０乃至１０２－Ｎのそれぞれにおいて検出されたDeskew Codeのタイミングのうち、最も遅いタイミングを表す情報が供給されてくる。
　図２５は、Deskew Codeを用いたレーン間のData Skewの補正の例を示す図である。
　図２５の例においては、Lane0～7の各レーンにおいて、Sync Code, Sync Code,…,Idle Code, Deskew Code, Idle Code, …, Idle Code, Deskew Codeの伝送が行われ、それぞれの制御コードが受信部３１において受信されている。同じ制御コードの受信タイミングがレーン毎に異なり、レーン間のData Skewが生じている状態になっている。
　この場合、スキュー補正部１１６は、１つ目のDeskew CodeであるDeskew Code Ｃ１を検出し、Deskew Code Ｃ１の先頭のタイミングを、PHY-RX状態制御部１０１から供給された情報により表される時刻ｔ１に合わせるように補正する。PHY-RX状態制御部１０１からは、Lane0～7の各レーンにおいてDeskew Code Ｃ１が検出されたタイミングのうち、最も遅いタイミングであるLane7においてDeskew Code Ｃ１が検出された時刻ｔ１の情報が供給されてくる。
　また、スキュー補正部１１６は、２つ目のDeskew CodeであるDeskew Code Ｃ２を検出し、Deskew Code Ｃ２の先頭のタイミングを、PHY-RX状態制御部１０１から供給された情報により表される時刻ｔ２に合わせるように補正する。PHY-RX状態制御部１０１からは、Lane0～7の各レーンにおいてDeskew Code Ｃ２が検出されたタイミングのうち、最も遅いタイミングであるLane7においてDeskew Code Ｃ２が検出された時刻ｔ２の情報が供給されてくる。
　信号処理部１０２－１乃至１０２－Ｎのそれぞれにおいて同様の処理が行われることによって、図２５の矢印＃１の先に示すようにレーン間のData Skewが補正される。
　スキュー補正部１１６は、Data Skewを補正したパケットデータを制御コード除去部１１７に出力する。
　制御コード除去部１１７は、パケットデータに付加された制御コードを除去し、Start CodeからEnd Codeまでの間のデータをパケットデータとしてリンクレイヤに出力する。
　PHY-RX状態制御部１０１は、信号処理部１０２－０乃至１０２－Ｎの各部を制御し、レーン間のData Skewの補正などを行わせる。また、PHY-RX状態制御部１０１は、所定のレーンで伝送エラーが起きて制御コードが失われた場合、失われた制御コードに代えて、他のレーンで伝送されてきた制御コードを付加することによって制御コードの誤り訂正を行う。
［受信部３１のリンクレイヤの構成］
　次に、受信部３１のリンクレイヤの構成について説明する。
　受信部３１には、リンクレイヤの構成として、LINK-RXプロトコル管理部１２１、レーン統合部１２２、パケット分離部１２３、ペイロードエラー訂正部１２４、およびByte to Pixel変換部１２５が設けられる。LINK-RXプロトコル管理部１２１は、状態制御部１３１、ヘッダエラー訂正部１３２、データ除去部１３３、およびフッタエラー検出部１３４から構成される。
　レーン統合部１２２は、物理レイヤの信号処理部１０２－０乃至１０２－Ｎから供給されたパケットデータを、送信部２２のレーン分配部６５による各レーンへの分配順と逆順で並び替えることによって統合する。
　例えば、レーン分配部６５によるパケットデータの分配が図２０の矢印＃１の先に示すようにして行われている場合、各レーンのパケットデータの統合が行われることによって図２０の左側のパケットデータが取得される。各レーンのパケットデータの統合時、データ除去部１３３による制御に従って、レーンスタッフィングデータがレーン統合部１２２により除去される。レーン統合部１２２は、統合したパケットデータをパケット分離部１２３に出力する。
　パケット分離部１２３は、レーン統合部１２２により統合された１パケット分のパケットデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータに分離する。パケット分離部１２３は、ヘッダデータをヘッダエラー訂正部１３２に出力し、ペイロードデータをペイロードエラー訂正部１２４に出力する。
　また、パケット分離部１２３は、パケットにフッタが含まれている場合、１パケット分のデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータとフッタデータを構成するパケットデータに分離する。パケット分離部１２３は、ヘッダデータをヘッダエラー訂正部１３２に出力し、ペイロードデータをペイロードエラー訂正部１２４に出力する。また、パケット分離部１２３は、フッタデータをフッタエラー検出部１３４に出力する。
　ペイロードエラー訂正部１２４は、パケット分離部１２３から供給されたペイロードデータにパリティが挿入されている場合、パリティに基づいて誤り訂正演算を行うことによってペイロードデータのエラーを検出し、検出したエラーの訂正を行う。例えば、図１６に示すようにしてパリティが挿入されている場合、ペイロードエラー訂正部１２４は、１つ目のBasic Blockの最後に挿入されている２つのパリティを用いて、パリティの前にある２２４個の画素データの誤り訂正を行う。
　ペイロードエラー訂正部１２４は、各Basic Block, Extra Blockを対象として誤り訂正を行うことによって得られた誤り訂正後の画素データをByte to Pixel変換部１２５に出力する。パケット分離部１２３から供給されたペイロードデータにパリティが挿入されていない場合、パケット分離部１２３から供給されたペイロードデータはそのままByte to Pixel変換部１２５に出力される。
　Byte to Pixel変換部１２５は、ペイロードエラー訂正部１２４から供給されたペイロードデータに含まれるペイロードスタッフィングデータをデータ除去部１３３による制御に従って除去する。
　また、Byte to Pixel変換部１２５は、ペイロードスタッフィングデータを除去して得られたバイト単位の各画素のデータを、８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データに変換するByte to Pixel変換を行う。Byte to Pixel変換部１２５においては、図９乃至図１３を参照して説明した、送信部２２のPixel to Byte変換部６２によるPixel to Byte変換と逆の変換が行われる。
　Byte to Pixel変換部１２５は、Byte to Pixel変換によって得られた８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データをフレームデータ出力部１４１に出力する。フレームデータ出力部１４１においては、例えば、ヘッダ情報のLine Validにより特定される有効画素の各ラインがByte to Pixel変換部１２５により得られた画素データに基づいて生成され、ヘッダ情報のLine Numberに従って各ラインが並べられることによって１フレームの画像が生成される。
　LINK-RXプロトコル管理部１２１の状態制御部１３１は、受信部３１のリンクレイヤの状態を管理する。
　ヘッダエラー訂正部１３２は、パケット分離部１２３から供給されたヘッダデータに基づいてヘッダ情報とCRC符号の組を３組取得する。ヘッダエラー訂正部１３２は、ヘッダ情報とCRC符号の組の各組を対象として、ヘッダ情報のエラーを検出するための演算である誤り検出演算を、そのヘッダ情報と同じ組のCRC符号を用いて行う。
　また、ヘッダエラー訂正部１３２は、それぞれの組のヘッダ情報の誤り検出結果と、誤り検出演算により求められたデータの比較結果とのうちの少なくともいずれかに基づいて正しいヘッダ情報を推測し、正しいと推測したヘッダ情報と復号結果を出力する。誤り検出演算により求められたデータは、ヘッダ情報にCRCの生成多項式を適用することによって求められた値である。また、復号結果は、復号成功または復号失敗を表す情報である。
　ヘッダ情報とCRC符号の３つの組をそれぞれ組１、組２、組３とする。この場合、ヘッダエラー訂正部１３２は、組１を対象とした誤り検出演算によって、組１のヘッダ情報にエラーがあるか否か（誤り検出結果）と、誤り検出演算により求められたデータであるデータ１を取得する。また、ヘッダエラー訂正部１３２は、組２を対象とした誤り検出演算によって、組２のヘッダ情報にエラーがあるか否かと、誤り検出演算により求められたデータであるデータ２を取得する。ヘッダエラー訂正部１３２は、組３を対象とした誤り検出演算によって、組３のヘッダ情報にエラーがあるか否かと、誤り検出演算により求められたデータであるデータ３を取得する。
　また、ヘッダエラー訂正部１３２は、データ１とデータ２が一致するか否か、データ２とデータ３が一致するか否か、データ３とデータ１が一致するか否かをそれぞれ判定する。
　例えば、ヘッダエラー訂正部１３２は、組１、組２、組３を対象としたいずれの誤り検出演算によっても誤りが検出されず、誤り検出演算によって求められたデータのいずれの比較結果もが一致した場合、復号結果として、復号成功を表す情報を選択する。また、ヘッダエラー訂正部１３２は、いずれのヘッダ情報も正しいと推測し、組１のヘッダ情報、組２のヘッダ情報、組３のヘッダ情報のうちのいずれかを出力情報として選択する。
　一方、ヘッダエラー訂正部１３２は、組１を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組１のヘッダ情報が正しいと推測し、組１のヘッダ情報を出力情報として選択する。
　また、ヘッダエラー訂正部１３２は、組２を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組２のヘッダ情報が正しいと推測し、組２のヘッダ情報を出力情報として選択する。
　ヘッダエラー訂正部１３２は、組３を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組３のヘッダ情報が正しいと推測し、組３のヘッダ情報を出力情報として選択する。
　ヘッダエラー訂正部１３２は、以上のようにして選択した復号結果と出力情報をレジスタ１４２に出力し、記憶させる。このように、ヘッダエラー訂正部１３２によるヘッダ情報の誤り訂正は、複数のヘッダ情報の中から、エラーのないヘッダ情報をCRC符号を用いて検出し、検出したヘッダ情報を出力するようにして行われる。
　データ除去部１３３は、レーン統合部１２２を制御してレーンスタッフィングデータを除去し、Byte to Pixel変換部１２５を制御してペイロードスタッフィングデータを除去する。
　フッタエラー検出部１３４は、パケット分離部１２３から供給されたフッタデータに基づいて、フッタに格納されたCRC符号を取得する。フッタエラー検出部１３４は、取得したCRC符号を用いて誤り検出演算を行い、ペイロードデータのエラーを検出する。フッタエラー検出部１３４は、誤り検出結果を出力し、レジスタ１４２に記憶させる。
［イメージセンサ１１とDSP１２の動作］
　次に、以上のような構成を有する送信部２２と受信部３１の一連の処理について説明する。
　はじめに、図２６のフローチャートを参照して、伝送システム１を有する撮像装置の動作について説明する。図２６の処理は、例えば、撮像装置に設けられたシャッタボタンが押されるなどして撮像の開始が指示されたときに開始される。
　ステップＳ１において、イメージセンサ１１の撮像部２１は撮像を行う。撮像部２１のフレームデータ入力部５２（図５）は、撮像によって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に出力する。
　ステップＳ２において、送信部２２によりデータ送信処理が行われる。データ送信処理により、１ライン分の画素データをペイロードに格納したパケットが生成され、パケットを構成するパケットデータが受信部３１に対して送信される。データ送信処理については図２７のフローチャートを参照して後述する。
　ステップＳ３において、受信部３１によりデータ受信処理が行われる。データ受信処理により、送信部２２から送信されてきたパケットデータが受信され、ペイロードに格納されている画素データが画像処理部３２に出力される。データ受信処理については図２８のフローチャートを参照して後述する。
　ステップＳ２において送信部２２により行われるデータ送信処理と、ステップＳ３において受信部３１により行われるデータ受信処理は、１ライン分の画素データを対象として交互に行われる。すなわち、ある１ラインの画素データがデータ送信処理によって送信されたとき、データ受信処理が行われ、データ受信処理によって１ラインの画素データが受信されたとき、次の１ラインの画素データを対象としてデータ送信処理が行われる。送信部２２によるデータ送信処理と、受信部３１によるデータ受信処理は、適宜、時間的に並行して行われることもある。ステップＳ４において、画像処理部３２のフレームデータ出力部１４１は、１フレームの画像を構成する全てのラインの画素データの送受信が終了したか否かを判定し、終了していないと判定した場合、ステップＳ２以降の処理を繰り返し行わせる。
　１フレームの画像を構成する全てのラインの画素データの送受信が終了したとステップＳ４において判定した場合、ステップＳ５において、画像処理部３２のフレームデータ出力部１４１は、受信部３１から供給された画素データに基づいて１フレームの画像を生成する。
　ステップＳ６において、画像処理部３２は、１フレームの画像を用いて画像処理を行い、処理を終了させる。
　次に、図２７のフローチャートを参照して、図２６のステップＳ２において行われるデータ送信処理について説明する。
　ステップＳ１１において、ヘッダ生成部７２は、Frame Start, Frame End, Line Valid, Line Number, Reservedからなるヘッダ情報を生成する。
　ステップＳ１２において、ヘッダ生成部７２は、ヘッダ情報を生成多項式に適用してCRC符号を計算する。
　ステップＳ１３において、ヘッダ生成部７２は、ヘッダ情報にCRC符号を付加することによってヘッダ情報とCRC符号の組を生成し、同じヘッダ情報とCRC符号の組を３組繰り返して配置することによってヘッダを生成する。
　ステップＳ１４において、Pixel to Byte変換部６２は、フレームデータ入力部５２から供給された画素データを取得し、Pixel to Byte変換を行う。Pixel to Byte変換部６２は、Pixel to Byte変換によって得られたバイト単位の画素データのグループ化、ペイロードスタッフィングデータの付加などを行うことによって生成したペイロードデータを出力する。ペイロードデータに対しては、適宜、ペイロードECC挿入部６３によりパリティが挿入される。
　ステップＳ１５において、パケット生成部６４は、１ライン分の画素データを含むペイロードデータと、ヘッダ生成部７２により生成されたヘッダに基づいてパケットを生成し、１パケットを構成するパケットデータを出力する。
　ステップＳ１６において、レーン分配部６５は、パケット生成部６４から供給されたパケットデータを、データ伝送に用いられる複数のレーンに割り当てる。
　ステップＳ１７において、制御コード挿入部９１は、レーン分配部６５から供給されたパケットデータに制御コードを付加する。
　ステップＳ１８において、8B10Bシンボルエンコーダ９２は、制御コードが付加されたパケットデータの8B10B変換を行い、１０ビット単位のデータに変換したパケットデータを出力する。
　ステップＳ１９において、同期部９３は、8B10Bシンボルエンコーダ９２から供給されたパケットデータを、クロック生成部８２により生成されたクロック信号に従って出力し、送信部９４から送信させる。ステップＳ１７乃至Ｓ１９の処理は信号処理部８３－０乃至８３－Ｎにより並行して行われる。１ライン分の画素データの送信が終了したとき、図２６のステップＳ２に戻りそれ以降の処理が行われる。
　次に、図２８のフローチャートを参照して、図２６のステップＳ３において行われるデータ受信処理について説明する。
　ステップＳ３１において、受信部１１１は、送信部２２から伝送されてきたパケットデータを表す信号を受信する。ステップＳ３１乃至Ｓ３６の処理は信号処理部１０２－０乃至１０２－Ｎにより並行して行われる。
　ステップＳ３２において、クロック生成部１１２は、受信部１１１から供給された信号のエッジを検出することによってビット同期をとる。同期部１１３は、受信部１１１において受信された信号のサンプリングを行い、パケットデータをシンボル同期部１１４に出力する。
　ステップＳ３３において、シンボル同期部１１４は、パケットデータに含まれる制御コードを検出するなどしてシンボル同期をとる。
　ステップＳ３４において、10B8Bシンボルデコーダ１１５は、シンボル同期後のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータを出力する。
　ステップＳ３５において、スキュー補正部１１６は、Deskew Codeを検出し、上述したように、Deskew CodeのタイミングをPHY-RX状態制御部１０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。
　ステップＳ３６において、制御コード除去部１１７は、パケットデータに付加された制御コードを除去する。
　ステップＳ３７において、レーン統合部１２２は、信号処理部１０２－０乃至１０２－Ｎから供給されたパケットデータを統合する。
　ステップＳ３８において、パケット分離部１２３は、レーン統合部１２２により統合されたパケットデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータに分離する。
　ステップＳ３９において、ヘッダエラー訂正部１３２は、パケット分離部１２３により分離されたヘッダデータに含まれるヘッダ情報とCRC符号の各組を対象としてCRC符号を用いた誤り検出演算を行う。また、ヘッダエラー訂正部１３２は、各組の誤り検出結果と、誤り検出演算により求められたデータの比較結果とに基づいてエラーのないヘッダ情報を選択し、出力する。
　ステップＳ４０において、Byte to Pixel変換部１２５は、ペイロードデータのByte to Pixel変換を行い、８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データを出力する。Byte to Pixel変換の対象となるペイロードデータに対しては、適宜、パリティを用いた誤り訂正がペイロードエラー訂正部１２４により行われる。
　１ライン分の画素データの処理が終了したとき、図２６のステップＳ３に戻りそれ以降の処理が行われる。
　イメージセンサ１１とDSP１２の間でのデータ伝送は、以上のように、１フレームの１ラインが１パケットに相当するパケットフォーマットを用いて行われる。
　イメージセンサ１１とDSP１２間のデータ伝送に用いられるパケットフォーマットは、ヘッダ情報や、Start Code, End Code等のパケット境界を示す制御コードの伝送を最小限に抑えるフォーマットといえ、伝送効率の低下を防ぐことが可能になる。仮に、１パケットのペイロードに格納される画素データが１ラインより少ないパケットフォーマットを採用した場合、１フレーム全体の画素データを伝送するためにはより多くのパケットを伝送する必要があり、伝送するヘッダ情報や制御コードの数が多くなる分、伝送効率が低下してしまう。
　また、伝送効率の低下を防ぐことによって伝送レイテンシを抑えることが可能となり、大量の画像データを高速に伝送する必要がある高画素・高フレームレートのインタフェースを実現することができる。
　伝送の信頼度／冗長度を上げて受信部３１側で誤り訂正を行うことを前提にしたパケットフォーマットを採用することによって、ヘッダ情報の伝送エラー対策を確保することが可能になる。Frame/Line（V/H）の同期情報等の伝送がヘッダ情報を用いて行われるため、ヘッダ情報が伝送エラーで失われると、システム上、大きな不具合となる可能性があるが、そのようなことを防ぐことができる。
　また、ヘッダ情報の伝送エラー対策を確保するための実装コストや消費電力の増大を抑えることもできる。すなわち、イメージセンサ１１とDSP１２間のデータ伝送に用いられるパケットフォーマットは、CRC符号が付加されていることで、ヘッダ情報の伝送エラーの有無をDSP１２において検出することができるようになっている。また、ヘッダ情報とCRC符号の組を３組伝送することで、ヘッダ情報の伝送エラーが生じた場合にDSP１２において正しいヘッダ情報に訂正することができるようになっている。
　仮に、ヘッダ情報の伝送エラー対策として誤り訂正符号を用いるとした場合、誤り訂正符号の計算を行う回路を送信部２２に用意するとともに、誤り訂正演算を行う回路を受信部３１に用意する必要があることになる。ヘッダ情報に付加されるのは誤り検出符号であるCRC符号であるため、誤り訂正に関する演算を行う回路を用意する場合に較べて、回路規模、消費電力を小さくすることができる。また、ヘッダ情報の誤りを検出した場合にヘッダ情報の再送を受信部３１が送信部２２に対して要求することも行われないため、再送要求のための逆方向の伝送路を用意する必要がない。
　冗長度を上げ、8B10Bコードの複数のK Characterを組み合わせて制御コードを構成することによって、制御コードのエラー確率を低減させることができ、これにより、比較的簡単な回路で制御コードの伝送エラー対策を確保することが可能になる。
　具体的には、Start Codeには３種類のK Characterを４シンボル組み合わせて用いているが、少なくともK28.5以外のシンボルを検出できれば受信部３１においてStart Codeを特定することができ、伝送エラーに対する耐性が高いといえる。End Codeについても同様である。
　また、Pad Codeに４種類のK Characterを組み合わせて用いているが、他の制御コードより多くの種類のK Characterを割り当てることによって、他の制御コードよりエラー耐性を上げることが可能になる。すなわち、４種類のうちの１種類のシンボルを検出できれば受信部３１においてPad Codeを特定することができる。Pad Codeは、伝送頻度がStart CodeやEnd Codeなどよりも高いため、よりエラー耐性を上げることができる構造を持たせている。
　さらに、レーン毎に、同じ制御コードを同じタイミングで伝送することによって、１つのレーンで伝送エラーが起きて制御コードが失われた場合でも、他のレーンの制御コードを使って、エラーとなった制御コードを再現することができる。
　また、K Characterの数が限られているため、必要最小限のK Characterを組合せてそれぞれの制御コードを構成するようになされている。例えば、繰り返し送信することによって伝送エラーを比較的許容できるSync Code, Deskew Code, Standby Codeについては、K Characterを追加で割り当てる必要がないようなデータ構造を用いている。
　再同期させるために必要な制御コードが１パケット（１ライン）毎に割り当てられているため、静電気等の外乱やノイズなどによりビット同期が外れてしまった場合に再同期を迅速にとることができる。また、同期外れによる伝送エラーの影響を最小限に抑えることができる。
　具体的には、クロック生成部１１２と同期部１１３により実現されるCDRにおいて8B10B変換後のビットデータの遷移／エッジを検出することでビット同期をとることができる。送信部２２がデータを送り続けていれば、CDRロック時間として想定された期間内でビット同期をとることができることになる。
　また、シンボル同期が外れてしまった場合でも、特定のK Character（K28.5）をシンボル同期部１１４において検出することによって再同期を迅速にとることができる。K28.5はStart Code, End Code, Deskew Codeにそれぞれ用いられているから、１パケット分のパケットデータの伝送期間中に、３箇所でシンボル同期をとることが可能になる。
　また、Deskew Codeを用いてレーン間のData Skewを補正することができるようにすることによって、レーン間の同期をとることもできる。
　リンクレイヤにおいて、１６個ずつなどのグループ単位（図１４の例の場合、１６バイト単位）で各パケットデータが並列処理されるようにすることによって、１クロック周期に１つずつパケットデータを処理する場合に較べて、回路規模やメモリ量を抑えることができる。実装上、パケットデータを１つずつ処理する場合と所定の単位毎にまとめて処理する場合とで、後者の方が回路規模等を抑えることができる。回路規模を抑えることができることによって、消費電力を抑えることも可能になる。
　また、レーン割り当ての際、連続するパケットデータを異なるレーンに割り当てることによってエラー耐性を高めることができる。あるレーンにおいてパリティの誤り訂正能力を超えた数の連続するパケットデータに跨ってエラーが生じた場合であっても、受信部３１においてレーン結合が行われることによって、エラーが生じたパケットデータの位置が分散することになり、パリティを用いたエラー訂正が可能になることがある。パリティによる誤り訂正能力はパリティ長により定まる。
　さらに、物理レイヤに近い方を下位として、レーン分配・レーン統合より上位でECC処理を行うようにすることによって、送信部２２と受信部３１の回路規模を削減することが可能になる。例えば、送信部２２において、パケットデータの各レーンへの割り当てが行われた後にペイロードにECCのパリティが挿入されるとした場合、ペイロードECC挿入部をレーン毎に用意する必要があり、回路規模が大きくなってしまうがそのようなことを防ぐことができる。
　物理レイヤにおいてはパケットデータの並列処理が複数の回路で行われるが、PHY-TX状態制御部８１やクロック生成部８２については共通化することによって、それらの回路をレーン毎に用意する場合に較べて回路の簡素化を図ることができる。また、レーン毎に異なる制御コードを伝送しないプロトコルを用いることによって、各レーンのパケットデータを処理する回路の簡素化を図ることができる。
［レーン数の切り替え］
　各レーンにおいて同じ制御コードを同じタイミングで伝送することは、通常のデータ伝送時だけでなく、例えばレーン数を切り替える場合にも行われる。レーン数を切り替える場合においても、アクティブなレーン（データ伝送に用いられるレーン）の状態は全て同じ状態になる。
　図２９は、レーン数を切り替える場合の制御シーケンスを示す図である。
　図２９の右側に垂直同期信号（XVS）、水平同期信号（XHS）のタイミングを示す。垂直同期信号が検出される時刻ｔ１までの間に１フレームの画像を構成する各ラインの画素データが水平同期信号に従って伝送され、時刻ｔ１のタイミングで、アクティブなレーンを４レーンから２レーンに変更する場合について説明する。時刻ｔ１までは、４つのレーンを用いてデータ伝送が行われている。
　図２９のほぼ中央には縦方向に各レーンの状態を示している。「PIX DATA」は、その文字が付されているレーンにおいて画素データの伝送が行われていることを表す。「PIX DATA」に続く「E」、「BLK」、「S」は、それぞれ、Frame End、ブランキング期間、Frame Startを表す。
　時刻ｔ１までの１フレーム期間に伝送するフレームの画素データの伝送が終了した場合、ステップＳ８１において、画像処理部３２は、受信部３１に対してレーン数を４から２に切り替えることを指示する。画像処理部３２による指示はステップＳ７１において受信部３１により受信される。
　時刻ｔ１になったとき、ステップＳ８２において、画像処理部３２は、イメージセンサ１１の撮像部２１に対して、モードチェンジを要求する。撮像部２１に対して送信されるモードチェンジの要求には、レーン数を４から２に切り替えることを表す情報も含まれている。図１等には示していないが、撮像部２１と画像処理部３２の間には、シャッタスピード、ゲインなどの撮像に関する設定値の情報を画像処理部３２が撮像部２１に対して送信するための伝送路が設けられている。モードチェンジの要求もこの伝送路を介して撮像部２１に送信される。
　ステップＳ５１において、撮像部２１は、画像処理部３２からのモードチェンジの要求を受信し、ステップＳ５２において、送信部２２に対してレーン数を４から２に切り替えることを指示する。撮像部２１による指示はステップＳ６１において送信部２２により受信される。
　送信部２２と受信部３１の間ではStandby Sequenceが行われ、Lane0～3を使ってStandby Codeが送信部２２から受信部３１に繰り返し伝送される。Standby Sequenceが終了したとき、ステップＳ７２において、受信部３１から状態の検出結果が出力され、ステップＳ８３において画像処理部３２により受信される。また、アクティブな状態を維持するLane0とLane1についてはLowの状態となり、データ伝送を終了するLane2とLane3についてはHigh-Zの状態となる。
　送信部２２と受信部３１の間ではTraining Sequenceが行われ、Lane0とLane1を使ってSync Codeが送信部２２から受信部３１に繰り返し伝送される。受信部３１においてはビット同期が確保され、Sync Codeが検出されることによってシンボル同期が確保される。
　Training Sequenceが終了したとき、ステップＳ７３において、受信部３１は、画像処理部３２に対して準備が完了したことを通知する。受信部３１による通知はステップＳ８４において画像処理部３２により受信され、レーン数を切り替える場合の一連の制御シーケンスが終了する。
　このように、レーン数を切り替える制御シーケンスにおいては、続けてデータ伝送に用いられるLane0,1と同じ状態になるように、データ伝送を終了するLane2,3においてもStandby Sequence時にStandby Codeが伝送される。例えば、Lane2,3については、Standby Codeの伝送を行わないでそのままHigh-Zの状態にすることも考えられるが、続けてデータ伝送に用いられるレーンと異なる状態になってしまい、制御が複雑になる。
［フレームフォーマットの変形例］
　図３０は、イメージセンサ１１－DSP１２間のデータ伝送に用いられるフレームフォーマットの他の例を示す図である。上述した説明と重複する説明については適宜省略する。
　図３０に示すフレームフォーマットは、各ラインの画像データに付加されるヘッダに太線Ｌ１１で囲むEmbedded Line, Data ID, Region Numberの３つのデータが追加されている点で図４のフォーマットと異なる。図５のヘッダ生成部７２によりこれらの情報が生成され、ヘッダに付加されることになる。
　図３１は、図３０のフレームフォーマットの１パケットを拡大して示す図である。１つのパケットは、ヘッダと、１ライン分の画素データであるペイロードデータから構成される。パケットにはフッタが付加されることもある。各パケットの先頭にはStart Codeが付加され、後ろにはEnd Codeが付加される。
　ヘッダ情報には、上述したFrame Start, Frame End, Line Valid, Line Numberに加えて、ライン情報としてのEmbedded Line、データ識別としてのData ID、および領域情報としてのRegion Numberが含まれる。各情報の内容を図３２に示す。
　Embedded Lineは、Embedded Dataが挿入されているラインの伝送に用いられるパケットであるのか否かを表す１ビットの情報である。例えば、Embedded Dataを含むラインの伝送に用いられるパケットのヘッダのEmbedded Lineには１の値が設定され、他のラインの伝送に用いられるパケットのヘッダのEmbedded Lineには０の値が設定される。上述したように、撮像に関する設定値の情報が、Embedded Dataとして前ダミー領域Ａ３や後ダミー領域Ａ４の所定のラインに挿入される。
　Data IDは、マルチストリーム伝送におけるデータのIDやデータ種別を示すＰビットの情報である。Ｐビットは１ビット以上の所定の数のビットを表す。マルチストリーム伝送は、１つの送信部と１つの受信部の組を複数用いて行われるデータ伝送である。
　Region Numberは、ペイロードに格納されている画素データが、撮像部２１のどの領域のデータであるのかを示す１ビットの情報である。これらの３つのデータが追加されることによって、Reservedは３０－Ｐビットになる。
＜２．第２の実施の形態（画素データに限らず、所定のデータを伝送する例）＞
　上述した複数のレーンを使ったチップ間のデータ伝送は、画像データだけでなく各種のデータの伝送にも用いることができる。
　以下、適宜、CMOSなどのイメージセンサから出力された画素データの伝送に用いられる上述したI/FをCIS(CMOS Image Sensor) I/Fといい、各種のデータの伝送に用いられるIFを汎用I/Fという。汎用I/Fを用いて、画像データだけでなく、オーディオデータ、テキストデータなどの各種のデータが送信側のチップから受信側のチップに対して伝送される。
［伝送システムの構成例］
　図３３は、汎用I/Fを用いた伝送システムの第１の構成例を示す図である。
　図３３の伝送システム３０１は送信側LSI３１１と受信側LSI３１２から構成される。送信側LSI３１１と受信側LSI３１２は例えば同じ装置内に設けられる。送信側LSI３１１には情報処理部３２１と１つの送信部３２２が設けられ、受信側LSI３１２には１つの受信部３３１と情報処理部３３２が設けられている。
　送信側LSI３１１の情報処理部３２１は、各種のデータの処理を行い、送信対象のデータを送信部３２２に出力する。情報処理部３２１からは、8, 10, 12, 14, 16, 20, 24, 28, 32, 40, 48, 56, 64, 80, 96, 112, 128, 144ビットなどの各種のビット幅のデータが出力される。
　送信部３２２は、情報処理部３２１から供給されたデータを、例えば情報処理部３２１から供給された順に複数のレーンに割り当て、並列に受信側LSI３１２に送信する。図３３の例においても、８本のレーンを用いてデータの伝送が行われている。送信側LSI３１１と受信側LSI３１２の間の伝送路は有線の伝送路であってもよいし、無線の伝送路であってもよい。
　受信側LSI３１２の受信部３３１は、８本のレーンを介して送信部３２２から送信されてきたデータを受信し、情報処理部３３２に出力する。
　情報処理部３３２は、受信部３３１から供給されたデータに基づいて、送信側LSI３１１側において送信対象として選択されたデータを生成し、生成したデータを用いて各種の処理を行う。送信対象のデータが例えばオーディオデータである場合、オーディオデータの再生、圧縮などの処理が行われる。
　図３４は、伝送システム３０１の第２の構成例を示す図である。図３４に示す構成のうち、図３３に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３４の伝送システム３０１の送信側LSI３１１には、情報処理部３２１と、２つの送信部である送信部３２２－１，３２２－２が設けられ、受信側LSI３１２には、２つの受信部である受信部３３１－１，３３１－２と、情報処理部３３２が設けられている。
　情報処理部３２１は、送信対象のデータを分割し、送信部３２２－１と送信部３２２－２に出力する。
　送信部３２２－１は、情報処理部３２１から供給されたデータを、例えば情報処理部３２１から供給された順に複数のレーンに割り当て、受信側LSI３１２に送信する。送信部３２２－２も同様に、情報処理部３２１から供給されたデータを、例えば情報処理部３２１から供給された順に複数のレーンに割り当て、受信側LSI３１２に送信する。
　図３４の例においても送信側LSI３１１と受信側LSI３１２の間は８本のレーンを介して接続されている。送信部３２２－１と送信部３２２－２は、それぞれ、４本のレーンを用いてデータを伝送する。
　受信側LSI３１２の受信部３３１－１は、４本のレーンを介して送信部３２２－１から送信されてきたデータを受信し、情報処理部３３２に出力する。受信部３３１－２も同様に、４本のレーンを介して送信部３２２－２から伝送されてきたデータを受信し、情報処理部３３２に出力する。
　情報処理部３３２は、受信部３３１－１から供給されたデータと受信部３３１－２から供給されたデータに基づいて送信対象のデータを生成し、生成したデータを対象として各種の処理を行う。
　図３４に示すように送信側LSI３１１に２つの送信部を設け、それに対応させて２つの受信部を受信側LSI３１２に設けることにより、情報処理部３２１が出力するデータの伝送レートが高い場合であってもデータを受信側LSI３１２に伝送することが可能になる。
　図３５は、伝送システム３０１の第３の構成例を示す図である。図３５に示す構成のうち、図３３に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３５の伝送システム３０１においては、送信側のLSIとして、送信側LSI３１１－１と送信側LSI３１１－２の２つのLSIが設けられている。送信側LSI３１１－１には情報処理部３２１－１と１つの送信部である送信部３２２－１が設けられ、送信側LSI３１１－２には情報処理部３２１－２と１つの送信部である送信部３２２－２が設けられる。受信側LSI３１２には、図３４の場合と同様に、２つの受信部である受信部３３１－１，３３１－２と、情報処理部３３２が設けられている。
　送信側LSI３１１－１の情報処理部３２１－１は、送信対象のデータを送信部３２２－１に出力する。
　送信部３２２－１は、情報処理部３２１－１から供給されたデータを複数のレーンに割り当て、受信側LSI３１２に送信する。
　送信側LSI３１１－２の情報処理部３２１－２は、送信対象のデータを送信部３２２－２に出力する。
　送信部３２２－２は、情報処理部３２１－２から供給されたデータを複数のレーンに割り当て、受信側LSI３１２に送信する。
　図３５の例においても送信側のLSIである送信側LSI３１１と受信側のLSIである受信側LSI３１２の間は８本のレーンを介して接続されている。送信側LSI３１１－１と送信側LSI３１１－２にはそれぞれ４本のレーンが割り当てられ、送信部３２２－１と送信部３２２－２は、それぞれ、４本のレーンを用いてデータを伝送する。
　受信側LSI３１２の受信部３３１－１は、４本のレーンを介して送信側LSI３１１－１の送信部３２２－１から伝送されてきたデータを受信し、情報処理部３３２に出力する。受信部３３１－２も同様に、４本のレーンを介して送信側LSI３１１－２の送信部３２２－２から伝送されてきたデータを受信し、情報処理部３３２に出力する。
　情報処理部３３２は、受信部３３１－１から供給されたデータに基づいて、送信側LSI３１１－１において送信対象として選択されたデータを生成する。また、送信部３２２は、受信部３３１－２から供給されたデータに基づいて、送信側LSI３１１－２において送信対象として選択されたデータを生成する。画像処理部３３２は、生成したデータを用いて各種の処理を行う。
　以上のように、伝送システム３０１の送信側のLSIには、データを伝送する送信部が１つまたは複数設けられる。一方、受信側のLSIには、送信側のLSIの送信部に対応して、データを受信する受信部が１つまたは複数設けられる。
　以下、送信側LSI３１１に１つの送信部が設けられ、受信側LSI３１２に１つの受信部が設けられる図３３の伝送システム３０１におけるデータ伝送について説明する。図３４と図３５の送信部３２２－１－受信部３３１－１間、送信部３２２－２－受信部３３１－２間においても同様にしてデータ伝送が行われる。
［パケットのデータ構造の例］
　図３６のＡ乃至Ｄは、データ伝送に用いられるパケットのデータ構造の例を示す図である。
　図３６のＡは、CIS IFにおいて画素データの伝送に用いられるパケットの例を示す図である。CIS IFの１パケットは、ヘッダ、１ライン分の画素データを含むペイロード、および、適宜付加されるフッタから構成される。CIS IFの１パケットの先頭にはStart Codeが付加され、フッタの後ろにはEnd Codeが付加される。
　図３６のＢ乃至Ｄは、汎用I/Fにおいて各種のデータの伝送に用いられるパケットの例を示す図である。汎用I/Fの１パケットはペイロードのみから構成される。後述するように、送信部３２２においては、情報処理部３２１から供給された8～144ビット単位の送信対象のデータを所定のサイズ毎に区切ることによってペイロードデータが生成される。パケットサイズは、入力データのビット幅である8～144ビットと、128ビットとの公倍数となるビット数であり、Configuration Registerに設定された値によって指定される。
　Configuration Registerに設定された値により指定されたパケットサイズと同じサイズのパケットを生成し、データを伝送する場合、図３６のＢに示す通常パケットが用いられる。
　また、Configuration Registerに設定された値により指定されたパケットサイズより短いパケットを生成し、データを伝送する場合、図３６のＣまたは図３６のＤに示すショートパケットが用いられる。例えば、ペイロード長が128ビットの倍数である場合には図３６のＣのショートパケット（１）が用いられ、ペイロード長が128ビットの倍数でない場合には図３６のＤのショートパケット（２）が用いられる。図３６のＣのショートパケットと図３６のＤのショートパケットは、後ろに付加されるEnd Codeによって識別される。
［送信側LSI３１１と受信側LSI３１２の構成］
　図３７は、送信側LSI３１１と受信側LSI３１２の構成例を示す図である。
　図３７の左側に示す構成が送信側LSI３１１の構成であり、右側に示す構成が受信側LSI３１２の構成である。汎用I/Fのデータ伝送は、アプリケーションレイヤ、アダプテーションレイヤ、リンクレイヤ、および物理レイヤの各レイヤの構成により実現される。
　実線Ｌ１の上に示す構成がアプリケーションレイヤの構成である。情報処理部３２１においては、システム制御部３４１、データ入力部３４２、およびレジスタ３４３が実現される。
　システム制御部３４１は、汎用I/Fによるデータの伝送を制御する。例えばシステム制御部３４１は、データ入力部３４２が送信対象のデータを出力している間、入力されたデータが有効なデータであることを表す制御信号を送信部３２２のペイロードデータ生成部３５１に出力する。データ入力部３４２は、送信対象のデータを8～144ビットの所定のビット単位でペイロードデータ生成部３５１に出力する。レジスタ３４３は上述したConfiguration Registerであり、パケットサイズ、Lane数等の各種の情報を記憶する。
　一方、情報処理部３３２においては、システム制御部４４１、データ出力部４４２、およびレジスタ４４３が実現される。
　システム制御部４４１は、汎用I/Fによるデータの受信を制御する。例えばシステム制御部４４１は、レジスタ４４３に設定されている値により指定されるパケットサイズの情報をペイロードデータ取得部４３１に出力する。データ出力部４４２は、ペイロードデータ取得部４３１から供給されたデータを取得し、図示せぬデータ処理部に出力する。レジスタ４４３はパケットサイズ、Lane数等の各種の情報を記憶する。
［送信部３２２のアダプテーションレイヤの構成］
　送信側LSI３１１のアダプテーションレイヤの構成について説明する。送信部３２２は、ペイロードデータ生成部３５１をアダプテーションレイヤの構成として有する。
　ペイロードデータ生成部３５１は、データ入力部３４２から所定のビット単位で供給された送信対象のデータをパケットサイズと同じサイズ毎に区切り、Byte Packing部３６２に出力する。ペイロードデータ生成部３５１からByte Packing部３６２に対しては、送信対象のデータを構成する所定のビット単位のデータが、パケットサイズと同じサイズ毎にまとめて出力されることになる。ペイロードデータ生成部３５１は、パケットサイズに満たない例えば送信対象のデータの最後のデータについては、そのままByte Packing部３６２に出力する。
　また、ペイロードデータ生成部３５１は、制御信号がオフとなり、データの入力が所定の時間以上ないことを検出した場合、パケットを構成する最後のデータの入力タイミングを表すタイミング信号であるPacket End信号をByte Packing部３６２に出力する。なお、ペイロードデータ生成部３５１は、図７、図３２等を参照して説明したヘッダ情報を受信側LSI３１２に送信する場合、ヘッダ情報をパケット生成部３６４に出力する。汎用I/Fにおいては、ヘッダ情報についても、ペイロードデータとして送信される。
［送信部３２２のリンクレイヤの構成］
　送信部３２２は、Byte Packing部３６２、ペイロードECC挿入部３６３、パケット生成部３６４、およびレーン分配部３６５をリンクレイヤの構成として有する。
　Byte Packing部３６２は、ペイロードデータ生成部３５１から供給されたデータを、Byte Packing部３６２以降の各処理部が処理単位とする１６バイトなどの所定の単位のパッキングデータに変換する。Byte Packing部３６２は、変換して得られたパッキングデータをペイロードECC挿入部３６３に出力する。
　図３８は、Byte Packing部３６２によるデータ変換であるByte Packingの例を示す図である。
　図３８の例においては、１パケットを構成するデータとしてペイロードデータ生成部３５１により制御信号に従って区切られたData1乃至Data8がByte Packing部３６２に入力されている。データ入力部３４２からペイロードデータ生成部３５１に対しては、８０ビット単位でデータの入力が行われたものとされている。
　この場合、Byte Packing部３６２は、Data1乃至Data8の各ビットを入力順に１６バイト（１２８ビット）単位のパッキングデータの各ビットに割り当てることによって、５つのパッキングデータを生成する。例えば１つ目のパッキングデータは、Data1の１～８０ビットとData2の１～４８ビットを含むデータになる。
　図３９は、Byte Packing部３６２によるByte Packingの他の例を示す図である。
　図３９の例においては、１パケットを構成するデータとしてペイロードデータ生成部３５１により制御信号に従って区切られたData1乃至Data5がByte Packing部３６２に入力されている。Data5の入力タイミングに合わせて、ペイロードデータ生成部３５１からByte Packing部３６２にPacket End信号が入力されている。Packet End信号が供給されたことに応じて、Byte Packing部３６２は、Data5が、１パケットを構成する最後のデータであることを認識することができる。
　この場合、Byte Packing部３６２は、Data1乃至Data5の各ビットを入力順にパッキングデータの各ビットに割り当てることによって、Data1全体とData2の先頭から途中までのデータを含む１つ目のパッキングデータを生成する。また、Byte Packing部３６２は、Data2の途中から最後までのデータと、Data3全体と、Data4の先頭から途中までのデータとを含む２つ目のパッキングデータを生成する。Byte Packing部３６２は、Data4の途中から最後までのデータと、Data5の先頭から途中までのデータとを含む３つ目のパッキングデータを生成する。
　Byte Packing部３６２は、Data5の最後のビットである８０ビット目を４つ目のパッキングデータに割り当てたとき、それ以降、ダミーデータを挿入することによって１６バイトの４つ目のパッキングデータを生成する。すなわち、１６バイトに満たない分はダミーデータ（ダミービット）を付加するようにしてパッキングデータが生成される。ダミーデータは例えば全て値が０のビットである。
　また、Byte Packing部３６２は、ダミーデータが付加された４つ目のパッキングデータに続く５つ目のパッキングデータとして、４つ目のパッキングデータに含まれるダミーデータのビット数を表す８ビットをLSB側に含むパッキングデータを生成する。５つ目のパッキングデータの１ビット目から１２０ビット目までにはダミーデータが含まれる。
　このようなデータを受信した受信部３３１は、５つ目のパッキングデータに１２０ビットのダミーデータが含まれていることに基づいて、１つ前のパッキングデータである４つ目のパッキングデータにダミーデータが付加されていることを特定することができる。また、受信部３３１は、１２０ビットのダミーデータに続く８ビットにより表されるビット数に基づいて、４つ目のパッキングデータに付加されているダミーデータのビット数を特定し、有効データのみを抽出することが可能になる。
　図４０は、Byte Packing処理のシーケンスを示す図である。
　図４０の例においては、時刻ｔ１１からｔ１４の期間と時刻ｔ１５以降、情報処理部３２１のシステム制御部３４１から供給される制御信号がオンになっている。また、制御信号がオンになることに合わせて、所定のビット単位の送信対象のデータであるData1乃至Data4がデータ入力部３４２から供給される。Data1乃至Data3に注目すると、時刻ｔ１１からｔ１２の期間にData1が供給され、時刻ｔ１２からｔ１３の期間にData2が供給され、時刻ｔ１３からｔ１４の期間にData3が供給されている。パケットを構成する最後のデータであることを表すPacket End信号が、Data3の入力が終わったタイミングで入力されている。Data1乃至Data4は、それぞれ１６バイト以上のサイズを有するデータである。
　この場合、Byte Packing部３６２は、Data1の先頭から途中までの範囲ａのデータを含むパッキングデータPD1を生成する。また、Byte Packing部３６２は、Data1の途中からData1の最後までの範囲ｂのデータと、Data2の先頭から途中までの範囲ｃのデータを含むパッキングデータPD2を生成する。
　Byte Packing部３６２は、Data2の途中からData2の最後までの範囲ｄのデータと、Data3の先頭から途中までの範囲eのデータを含むパッキングデータPD3を生成する。Byte Packing部３６２は、Data3の途中からData3の最後までの範囲ｆのデータについては、ダミーデータを加え、１６バイトのパッキングデータPD4を生成する。図４０において斜線を付して示す範囲のデータはダミーデータである。
　また、Byte Packing部３６２は、パッキングデータPD4に続けて、パッキングデータPD4に付加したダミーデータのビット数を表すビットを最後に含む１６バイトのパッキングデータを生成する。
　例えば、ダミーデータが付加されたパッキングデータPD4を含む、パッキングデータPD1～PD4からなるパケットは、図３６のＣまたは図３６のＤのショートパケットとして送信される。ショートパケットには、ダミーデータのビット数を表すビットが最後に付加されたパッキングデータも含まれる。
　ダミーデータを含めずに、制御信号がオンの期間に入力された有効なデータのみをパッキングデータに含め、通常パケットとして送信する場合について考える。この場合、Packet End信号が供給されたタイミングで、パッキングデータを有効なデータで満たすことができないときには、Data4が入力されるまで、パッキングデータに含めることができなかったData3の範囲ｆのデータを出力することができない。Packet End信号が供給されたタイミングでパッキングデータを有効なデータで満たすことができない場合にはダミーデータを付加して出力することにより、データの出力に遅延が生じてしまうのを防ぐことが可能になる。
　このようにして生成されたパッキングデータから構成されるデータが、Byte Packing部３６２から図３７のペイロードECC挿入部３６３にペイロードデータとして供給される。
　ペイロードECC挿入部３６３は、Byte Packing部３６２から供給されたペイロードデータに基づいて、ペイロードデータの誤り訂正に用いられる誤り訂正符号を計算し、計算により求めたパリティをペイロードデータに挿入する。誤り訂正符号として、例えばリードソロモン符号が用いられる。なお、誤り訂正符号の挿入はオプションである。
　図４１は、ペイロードデータに対するパリティの挿入の例を示す図である。
　ペイロードECC挿入部３６３は、Byte Packing部３６２から供給された順に１４のパッキングデータを集めることによって２２４バイトのBasic Blockを生成する。また、ペイロードECC挿入部３６３は、２２４バイトのペイロードデータに基づいて２バイト乃至４バイトのパリティを生成し、ペイロードデータに挿入することによって、パリティが挿入された２２６バイト乃至２２８バイトのBasic Blockを生成する。
　図４１の例においては、１番目から１４番目までのパッキングデータからなるペイロードデータに対してParity1が生成され、付加されている。図４１において斜線を付して示すデータがパリティである。
　ペイロードECC挿入部３６３は、あるBasic Blockに続くペイロードデータのサイズが２２４バイトに満たない場合、残っているペイロードデータに基づいてExtra Blockを生成する。上述したダミーデータの挿入により、Extra Blockの情報長は常に16バイトの倍数となる。また、ペイロードECC挿入部３６３は、Extra Blockを構成するペイロードデータに基づいて２バイト乃至４バイトのパリティを生成し、ペイロードデータに挿入することによって、パリティが挿入されたExtra Blockを生成する。
　図４１の例においては、Ｎ番目からN+M番目までのペイロードデータに対してParityMが生成され、付加されている。
　ペイロードECC挿入部３６３は、パリティを挿入したペイロードデータをパケット生成部３６４に出力する。パリティの挿入が行われない場合、Byte Packing部３６２からペイロードECC挿入部３６３に供給されたペイロードデータは、そのままパケット生成部３６４に出力される。
　パケット生成部３６４は、ペイロードECC挿入部３６３から供給されたデータをペイロードデータとするパケットを生成する。パケット生成部３６４は、生成したパケットのデータをレーン分配部３６５に出力する。
　レーン分配部３６５は、パケット生成部３６４から供給されたパケットデータを、先頭の１バイトから順にバイト単位で、Lane0、Lane1、…、Lane(LaneNum-1)、Lane1、…といったようにデータ伝送に用いる各レーンに割り当てる。パケット長とLane数によっては各レーンに均等にデータを分配できないことがある。この場合、レーン分配部３６５は、各レーンに均等にデータが分配されるように、Lane Stuffingとして00hを挿入する。
　レーン分配部３６５は、このようにして各レーンに割り当てたパケットデータを物理レイヤに出力する。以下、Lane0～7の８レーンを用いてデータを伝送する場合について主に説明するが、データ伝送に用いるレーンの数が他の数の場合であっても同様の処理が行われる。
［送信部３２２の物理レイヤの構成］
　送信部３２２は、PHY-TX状態制御部３８１、クロック生成部３８２、信号処理部３８３－０乃至３８３－Ｎを物理レイヤの構成として有する。送信部３２２の物理レイヤの構成は、図５を参照して説明したCIS-IFにおける送信部２２の物理レイヤの構成と同じ構成である。重複する説明については適宜省略する。
　信号処理部３８３－０は、制御コード挿入部３９１、8B10Bシンボルエンコーダ３９２、同期部３９３、および送信部３９４から構成される。レーン分配部３６５から出力され、Lane0に割り当てられたパケットデータは信号処理部３８３－０に入力され、Lane1に割り当てられたパケットデータは信号処理部３８３－１に入力される。また、LaneNに割り当てられたパケットデータは信号処理部３８３－Ｎに入力される。
　PHY-TX状態制御部３８１は、信号処理部３８３－０乃至３８３－Ｎの各部を制御する。
　クロック生成部３８２は、クロック信号を生成し、信号処理部３８３－０乃至３８３－Ｎのそれぞれの同期部３９３に出力する。
　信号処理部３８３－０の制御コード挿入部３９１は、レーン分配部３６５から供給されたパケットデータにStart Code、End Codeなどの制御コードを付加する。制御コード挿入部３９１は、制御コードを付加したパケットデータを8B10Bシンボルエンコーダ３９２に出力する。
　8B10Bシンボルエンコーダ３９２は、制御コード挿入部３９１から供給されたパケットデータ（制御コードが付加されたパケットデータ）に対して8B10B変換を施し、１０ビット単位のデータに変換したパケットデータを同期部３９３に出力する。
　同期部３９３は、8B10Bシンボルエンコーダ３９２から供給されたパケットデータの各ビットを、クロック生成部３８２により生成されたクロック信号に従って送信部３９４に出力する。なお、送信部３２２に同期部３９３が設けられないようにしてもよい。この場合、8B10Bシンボルエンコーダ３９２から出力されたパケットデータは、送信部３９４にそのまま供給される。
　送信部３９４は、Lane0を構成する伝送路を介して、同期部３９３から供給されたパケットデータを受信部３３１に送信する。８レーンを用いてデータ伝送が行われる場合、Lane1～7を構成する伝送路をも用いてパケットデータが受信部３３１に送信される。
［受信部３３１の物理レイヤの構成］
　次に、受信側LSI３１２の受信部３３１の物理レイヤの構成について説明する。受信部３３１は、PHY-RX状態制御部４０１、信号処理部４０２－０乃至４０２－Ｎを物理レイヤの構成として有する。受信部３３１の物理レイヤの構成は、図５を参照して説明したCIS-IFにおける受信部３１の物理レイヤの構成と同じ構成である。重複する説明については適宜省略する。
　信号処理部４０２－０は、受信部４１１、クロック生成部４１２、同期部４１３、シンボル同期部４１４、10B8Bシンボルデコーダ４１５、スキュー補正部４１６、および制御コード除去部４１７から構成される。Lane0を構成する伝送路を介して送信されてきたパケットデータは信号処理部４０２－０に入力され、Lane1を構成する伝送路を介して送信されてきたパケットデータは信号処理部４０２－１に入力される。また、LaneNを構成する伝送路を介して送信されてきたパケットデータは信号処理部４０２－Ｎに入力される。
　受信部４１１は、Lane0を構成する伝送路を介して送信部３２２から伝送されてきたパケットデータを表す信号を受信し、クロック生成部４１２に出力する。
　クロック生成部４１２は、受信部４１１から供給された信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。クロック生成部４１２は、受信部４１１から供給された信号を、クロック信号とともに同期部４１３に出力する。
　同期部４１３は、クロック生成部４１２により生成されたクロック信号に従って、受信部４１１において受信された信号のサンプリングを行い、サンプリングによって得られたパケットデータをシンボル同期部４１４に出力する。
　シンボル同期部４１４は、例えばStart Code, End Code, Deskew Codeに含まれるK28.5のシンボルを検出し、シンボル同期をとる。シンボル同期部４１４は、各シンボルを表す１０ビット単位のパケットデータを10B8Bシンボルデコーダ４１５に出力する。
　10B8Bシンボルデコーダ４１５は、シンボル同期部４１４から供給された１０ビット単位のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータをスキュー補正部４１６に出力する。
　スキュー補正部４１６は、10B8Bシンボルデコーダ４１５から供給されたパケットデータからDeskew Codeを検出する。スキュー補正部４１６によるDeskew Codeの検出タイミングの情報はPHY-RX状態制御部４０１に供給される。また、スキュー補正部４１６は、Deskew Codeのタイミングを、PHY-RX状態制御部４０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。
　信号処理部４０２－１乃至４０２－Ｎのそれぞれにおいて同様の処理が行われることによって、図２５を参照して説明したようにしてレーン間のData Skewが補正される。
　スキュー補正部４１６は、Data Skewを補正したパケットデータを制御コード除去部４１７に出力する。
　制御コード除去部４１７は、パケットデータに付加された制御コードを除去し、Start CodeからEnd Codeまでの間のデータをパケットデータとしてリンクレイヤに出力する。
　PHY-RX状態制御部４０１は、信号処理部４０２－０乃至４０２－Ｎの各部を制御し、レーン間のData Skewの補正などを行わせる。
［受信部３３１のリンクレイヤの構成］
　受信部３３１は、レーン統合部４２２、パケット分離部４２３、ペイロードエラー訂正部４２４、およびByte Unpacking部４２５をリンクレイヤの構成として有する。
　レーン統合部４２２は、物理レイヤの信号処理部４０２－０乃至４０２－Ｎから供給されたデータを、送信部３２２のレーン分配部３６５による各レーンへの分配順と逆順で並び替えることによって統合する。レーン統合部４２２は、統合して得られたパケットデータをパケット分離部４２３に出力する。
　パケット分離部４２３は、レーン統合部４２２により統合されたパケットデータをペイロードデータとしてペイロードエラー訂正部４２４に出力する。ペイロードデータとしてヘッダ情報が含まれている場合、パケット分離部４２３は、ペイロードから抽出したヘッダ情報をペイロードデータ取得部４３１に出力する。
　ペイロードエラー訂正部４２４は、パケット分離部４２３から供給されたペイロードデータにパリティが挿入されている場合、パリティに基づいて誤り訂正演算を行うことによってペイロードデータのエラーを検出し、エラーの訂正を行う。例えば、図４１に示すようにしてパリティが挿入されている場合、ペイロードエラー訂正部４２４は、１つ目のBasic Blockの最後に挿入されているパリティを用いて、パリティの前にある２２４バイトのデータの誤り訂正を行う。
　ペイロードエラー訂正部４２４は、各Basic Block, Extra Blockを対象として誤り訂正を行うことによって得られた誤り訂正後のデータをByte Unpacking部４２５に出力する。パケット分離部４２３から供給されたペイロードデータにパリティが挿入されていない場合、パケット分離部４２３から供給されたペイロードデータはそのままByte Unpacking部４２５に出力される。
　Byte Unpacking部４２５は、ペイロードエラー訂正部４２４から供給された１６バイト単位のパッキングデータに対して、送信部３２２のByte Packing部３６２による処理と逆の変換処理であるByte Unpackingを行う。Byte Unpacking部４２５は、Byte Unpackingを行うことによって得られたデータをペイロードデータ取得部４３１に出力する。Byte Unpacking部４２５からペイロードデータ取得部４３１に対しては、送信部３２２のペイロードデータ生成部３５１の出力と同様に、所定のビット単位のデータが１パケット分まとめて出力されることになる。
　また、Byte Unpacking部４２５は、ペイロードデータを構成するパッキングデータにダミーデータが含まれているときには、ダミーデータを除去し、ダミーデータ以外のデータを対象としてByte Unpackingを行う。パッキングデータにダミーデータが含まれていることは、上述したように例えば１２０ビットの連続するダミーデータを検出することに基づいて特定される。また、パッキングデータに含まれるダミーデータのビット数は、１２０ビットのダミーデータに続く８ビットにより特定される。
［受信部３３１のアダプテーションレイヤの構成］
　受信部３３１は、ペイロードデータ取得部４３１をアダプテーションレイヤの構成として有する。ペイロードデータ取得部４３１は、Byte Unpacking部４２５から供給されたデータを取得し、送信側LSI３１１においてデータ入力部３４２からペイロードデータ生成部３５１に入力されたデータのビット幅と同じビット幅の単位で情報処理部３３２に出力する。
［送信側LSI３１１と受信側LSI３１２の動作］
　次に、以上のような構成を有する送信側LSI３１１と受信側LSI３１２の一連の処理について説明する。
　はじめに、図４２のフローチャートを参照して、伝送システム３０１の動作について説明する。図４２の各ステップの処理は、適宜、他の処理と並行して、または前後して行われる。
　ステップＳ１０１において、送信側LSI３１１の情報処理部３２１は、各種のデータの処理を行い、送信対象のデータを8～144ビットの所定のビット幅の単位で送信部３２２に出力する。
　ステップＳ１０２において、送信部３２２はデータ送信処理を行う。データ送信処理により、送信対象のデータをペイロードに格納したパケットが生成され、パケットデータが受信部３３１に対して送信される。データ送信処理については図４３のフローチャートを参照して後述する。
　ステップＳ１０３において、受信側LSI３１２の受信部３３１はデータ受信処理を行う。データ受信処理により、送信部３２２から送信されてきたデータが受信され、送信側LSI３１１において送信対象のデータとして選択されたデータが情報処理部３３２に出力される。データ受信処理については図４４のフローチャートを参照して後述する。
　ステップＳ１０４において、情報処理部３３２は、受信部３３１から供給されたデータを取得する。
　ステップＳ１０５において、情報処理部３３２は、取得したデータに基づいて各種の処理を行い、処理を終了させる。
　次に、図４３のフローチャートを参照して、図４２のステップＳ１０２において行われるデータ送信処理について説明する。
　ステップＳ１１１において、ペイロードデータ生成部３５１は、データ入力部３４２から供給された送信対象のデータを所定のサイズ毎に区切ることによってペイロードデータを生成する。
　ステップＳ１１２において、Byte Packing部３６２は、ペイロードデータ生成部３５１から供給されたペイロードデータを、１６バイトなどの所定の単位のパッキングデータに変換する。
　ステップＳ１１３において、ペイロードECC挿入部３６３は、ペイロードデータから構成されるBasic BlockまたはExtra Blockに基づいて誤り訂正符号を計算し、計算により求めたパリティをペイロードデータに挿入する。
　ステップＳ１１４において、パケット生成部３６４は、ペイロードECC挿入部３６３から供給されたデータをパケットデータとしてレーン分配部３６５に出力する。
　ステップＳ１１５において、レーン分配部３６５は、パケット生成部３６４から供給されたパケットデータを、データ伝送に用いられる複数のレーンに割り当てる。
　ステップＳ１１６において、制御コード挿入部３９１は、レーン分配部３６５から供給されたパケットデータに制御コードを付加する。
　ステップＳ１１７において、8B10Bシンボルエンコーダ３９２は、制御コードが付加されたパケットデータの8B10B変換を行い、１０ビット単位のデータに変換したパケットデータを出力する。
　ステップＳ１１８において、同期部３９３は、8B10Bシンボルエンコーダ３９２から供給されたパケットデータを、クロック生成部３８２により生成されたクロック信号に従って出力し、送信部３９４から送信させる。ステップＳ１１６乃至Ｓ１１８の処理は信号処理部３８３－０乃至３８３－Ｎにより並行して行われる。パケットデータが送信された後、図４２のステップＳ１０２に戻り、それ以降の処理が行われる。
　次に、図４４のフローチャートを参照して、図４２のステップＳ１０３において行われるデータ受信処理について説明する。
　ステップＳ１３１において、受信部４１１は、送信部３２２から伝送されてきたパケットデータを表す信号を受信する。ステップＳ１３１乃至Ｓ１３６の処理は信号処理部４０２－０乃至４０２－Ｎにより並行して行われる。
　ステップＳ１３２において、クロック生成部４１２は、受信部４１１から供給された信号のエッジを検出することによってビット同期をとる。同期部４１３は、受信部４１１において受信された信号のサンプリングを行い、パケットデータをシンボル同期部４１４に出力する。
　ステップＳ１３３において、シンボル同期部４１４は、パケットデータに含まれる制御コードを検出するなどしてシンボル同期をとる。
　ステップＳ１３４において、10B8Bシンボルデコーダ４１５は、シンボル同期後のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータを出力する。
　ステップＳ１３５において、スキュー補正部４１６は、Deskew Codeを検出し、Deskew CodeのタイミングをPHY-RX状態制御部４０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。
　ステップＳ１３６において、制御コード除去部４１７は、パケットデータに付加された制御コードを除去する。
　ステップＳ１３７において、レーン統合部４２２は、信号処理部４０２－０乃至４０２－Ｎから供給されたパケットデータを統合する。
　ステップＳ１３８において、パケット分離部４２３は、レーン統合部４２２により統合されたパケットデータを、ペイロードデータとしてペイロードエラー訂正部４２４に出力する。
　ステップＳ１３９において、ペイロードエラー訂正部４２４は、パケット分離部４２３から供給されたペイロードデータに挿入されているパリティに基づいてペイロードデータの誤り訂正を行う。
　ステップＳ１４０において、Byte Unpacking部４２５は、ペイロードエラー訂正部４２４から供給されたペイロードデータに対して、Byte Packingと逆の変換処理を行う。Byte Unpacking部４２５は、得られたデータをペイロードデータ取得部４３１に出力する。
　ステップＳ１４１において、ペイロードデータ取得部４３１は、Byte Unpacking部４２５から供給されたデータを所定のビット幅の単位で情報処理部３３２に出力する。その後、図４２のステップＳ１０３に戻りそれ以降の処理が行われる。
　送信側LSI３１１と受信側LSI３１２の間の汎用I/Fを用いたデータ伝送は、以上のようにして行われる。汎用I/Fにより、各種のデータを伝送することが可能になる。
＜３．通信リンク間のData Skewの補正について＞
［（１）通信リンク間Data Skew］
　以上のように、CIS I/Fおよび汎用I/Fにおいては、１つの送信部と１つの受信部の組により１つの通信リンクが確立され、データ伝送が行われる。
　通信リンクは、CIS I/Fでいうと撮像部と画像処理部間のデータ伝送の経路であり、汎用I/Fでいうと２つの情報処理部間のデータ伝送の経路である。上述したようなデータ構造を有するデータの並びが、データストリームとして通信リンクにより伝送される。
　図１および図３３に示す伝送システムは、送信部と受信部の組が１つだけ設けられ、データ伝送が１経路を用いて行われるから、１つの通信リンクを用いたシステムとなる。
　一方、図２および図３４に示す伝送システムは、送信部と受信部の組が２つ設けられ、データ伝送が２経路を用いて行われるから、２つの通信リンクを用いたシステムとなる。図３および図３５に示す伝送システムも同様である。
　以下、適宜、伝送システムにおいて用いられる通信リンクが１つである場合、その通信リンクをシングル通信リンクという。また、伝送システムにおいて用いられる通信リンクが複数である場合、その通信リンクをマルチ通信リンクという。
［（１－１）シングル通信リンク］
　図４５は、シングル通信リンクの処理の流れの例を示す図である。CIS I/Fにおけるシングル通信リンクについて説明するが、汎用I/Fでも同様である。
　図４５に示すように、シングル通信リンクである通信リンク＃０は、送信部２２のリンクレイヤおよび物理レイヤと、送信部２２と受信部３１の間の伝送路と、受信部３１の物理レイヤおよびリンクレイヤとから構成される経路となる。
　アプリケーションレイヤ（撮像部２１）から送信部２２のリンクレイヤに対するデータの入力は、矢印Ａ１に示すように基準タイミングに従って行われる。基準タイミングは、処理の基準となるタイミングを示す信号である。
　送信部２２のリンクレイヤにおいては、Pixel to Byte変換、パケット生成、およびレーン分配が、主な処理として順に行われる。
　物理レイヤの各レーンにおいては、制御コードの挿入、8B10B変換、同期（シンボル同期とビット同期）、およびデータの送信が、主な処理として順に行われる。送信部２２の物理レイヤの処理は、各レーン（信号処理部８３－０乃至８３－Ｎのそれぞれ）において並行して行われる。なお、送信側において同期処理が行われない場合、8B10B変換をして得られたデータがそのまま送信される。
　物理レイヤの各レーンには矢印Ａ２に示すように同じ基準タイミングが入力される。各レーンにおいては基準タイミングに従って処理が行われる。
　物理レイヤの各レーンにおいては、処理対象となるデータの違いや信号処理部の特性の違いなどに応じて、各レーンのデータのタイミングにずれが生じる。データのタイミングのずれは、矢印Ａ３に示すようにレーン間Data Skewとして現れる。
　物理レイヤの各レーンから出力されたデータは、矢印Ａ１１に示すようにレーン間Data Skewを有したまま受信部３１に入力される。
　受信部３１の物理レイヤの処理も、各レーン（信号処理部１０２－０乃至１０２－Ｎのそれぞれ）において並行して行われる。物理レイヤの各レーンにおいては、データの受信、同期、10B8B変換、およびDeskew（レーン間Data Skewの補正）が、主な処理として順に行われる。
　図２５を参照して説明したようなDeskewが行われることにより、矢印Ａ１２に示すようにレーン間Data Skewが除去されたデータが得られる。レーン間Data Skewが除去されたデータが、物理レイヤの各レーンからリンクレイヤに出力される。
　受信部３１のリンクレイヤにおいては、レーン統合、パケット分離、およびByte to Pixel変換が、主な処理として順に行われる。リンクレイヤの処理は、各レーンから出力されたデータを一系統のデータに統合した後に行われる。
　リンクレイヤからアプリケーションレイヤ（画像処理部３２）に対しては、伝送対象のデータが矢印Ａ１３に示すように所定の基準タイミングに従って出力される。
　このように、CIS I/Fおよび汎用I/Fによるデータ伝送は、送信側の物理レイヤにおいて発生するレーン間Data Skewを、受信側の物理レイヤにおいて除去するようにして行われる。
［（１－２）マルチ通信リンク］
　図４６は、マルチ通信リンクの処理の流れの例を示す図である。図４５を参照して説明したものと重複する説明については適宜省略する。
　図４６に示すマルチ通信リンクは、通信リンク＃０と通信リンク＃１から構成される。例えば、通信リンク＃０は図２の送信部２２－１と受信部３１－１の組により実現され、通信リンク＃１は送信部２２－２と受信部３１－２の組により実現される。
　この場合、通信リンク＃０は、送信部２２－１のリンクレイヤおよび物理レイヤと、送信部２２－１と受信部３１－１の間の伝送路と、受信部３１－１の物理レイヤおよびリンクレイヤとから構成される経路となる。また、通信リンク＃１は、送信部２２－２のリンクレイヤおよび物理レイヤと、送信部２２－２と受信部３１－２の間の伝送路と、受信部３１－２の物理レイヤおよびリンクレイヤとから構成される経路となる。
　通信リンク＃０を構成する送信部２２－１のリンクレイヤに対するデータの入力と、通信リンク＃１を構成する送信部２２－２のリンクレイヤに対するデータの入力は、矢印Ａ２１－０と矢印Ａ２１－１に示すように同じ基準タイミングに従って行われる。
　通信リンク＃０を構成する送信部２２－１のリンクレイヤと、通信リンク＃１を構成する送信部２２－２のリンクレイヤにおいては、上述したリンクレイヤの処理がそれぞれ独立して行われる。
　送信部２２－１のリンクレイヤから物理レイヤに対して、各レーンに分配されたデータが出力される。同様に、送信部２２－２のリンクレイヤから物理レイヤに対して、各レーンに分配されたデータが出力される。
　同じタイミングでリンクレイヤに入力されたデータは、物理レイヤに入力されるときには、矢印Ａ２２－０，Ａ２２－１の基準タイミングに示すようにタイミングがずれたものとなる。
　このタイミングのずれは、送信部２２－１のリンクレイヤの処理を行う構成と送信部２２－２のリンクレイヤの処理を行う構成の特性の違いなど（動作クロックのずれなど）により生じる。
　以下、適宜、異なる通信リンクのリンクレイヤにおいて生じるデータのタイミングのずれを、通信リンク間Data Skewという。通信リンク間Data Skewは、上述したようにDeskew Codeを用いて除去されるレーン間Data Skewとは異なる。
　物理レイヤの各レーンにおいては、制御コードの挿入、8B10B変換、同期、およびデータの送信が順に行われる。送信部２２－１，２２－２の物理レイヤの処理は、各レーンにおいて並行して行われる。
　通信リンク＃０を構成する送信部２２－１の物理レイヤの各レーンから出力されるデータには、矢印Ａ２３－０に示すように、リンクレイヤにおいて生じた通信リンク間Data Skewと物理レイヤにおいて生じたレーン間Data Skewが混在して含まれることになる。
　また、通信リンク＃１を構成する送信部２２－２の物理レイヤの各レーンから出力されるデータには、矢印Ａ２３－１に示すように、リンクレイヤにおいて生じた通信リンク間Data Skewと物理レイヤにおいて生じたレーン間Data Skewが混在して含まれることになる。
　受信部３１－１と受信部３１－２の物理レイヤには、矢印Ａ３１－０，Ａ３１－１に示すように通信リンク間Data Skewとレーン間Data Skewを含むデータが入力される。
　通信リンク＃０を構成する受信部３１－１の物理レイヤの各レーンにおいては、データの受信、同期、10B8B変換、およびDeskewが順に行われ、矢印Ａ３２－０に示すように、レーン間Data Skewが除去されたデータが得られる。
　通信リンク＃１を構成する受信部３１－２の物理レイヤの各レーンにおいては、データの受信、同期、10B8B変換、およびDeskewが順に行われ、矢印Ａ３２－１に示すように、レーン間Data Skewが除去されたデータが得られる。
　レーン間Data Skewが除去されたデータが、物理レイヤの各レーンからリンクレイヤに出力される。なお、物理レイヤの各レーンでのDeskewにより除去されるのはレーン間Data Skewだけであり、通信リンク間Data Skewについては除去されない。
　通信リンク＃０を構成する受信部３１－１のリンクレイヤにおいては、レーン統合、パケット分離、およびByte to Pixel変換が順に行われる。リンクレイヤからアプリケーションレイヤに対しては、矢印Ａ３３－０に示すように通信リンク間Data Skewが残ったままのデータが出力される。
　通信リンク＃１を構成する受信部３１－２のリンクレイヤにおいても、レーン統合、パケット分離、およびByte to Pixel変換が順に行われる。リンクレイヤからアプリケーションレイヤに対しては、矢印Ａ３３－１に示すように通信リンク間Data Skewが残ったままのデータが出力される。
　なお、受信部３１－１と受信部３１－２のリンクレイヤにおいても、それぞれ通信リンク間Data Skewが生じ、処理対象のデータに対して付加される。
　このように、マルチ通信リンクを用いたデータ伝送においては、レーン間Data Skewだけでなく、通信リンク間Data Skewについても考慮する必要がある。以下、通信リンク間Data Skewの除去の仕方について説明する。
［（２）通信リンク間Data Skewの除去］
　図４７は、伝送システム３０１の他の構成例を示す図である。図４７に示す構成のうち、図３４に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図４７に示す伝送システム３０１は、受信側LSI３１２に受信状態制御部６０１が設けられている点で、図３４に示す構成と異なる。汎用I/Fにおけるマルチ通信リンクについて説明するが、CIS I/Fでも同様である。
　送信側LSI３１１に設けられた送信部３２２－１と受信側LSI３１２に設けられた受信部３３１－１の組により通信リンク＃０が実現される。また、送信側LSI３１１に設けられた送信部３２２－２と受信側LSI３１２に設けられた受信部３３１－２の組により通信リンク＃１が実現される。
　受信状態制御部６０１は、受信部３３１－１におけるデータの受信状態と、受信部３３１－２におけるデータの受信状態に基づいて、通信リンク間Data Skewを検出する。
　また、受信状態制御部６０１は、受信部３３１－１が処理するデータのタイミングと受信部３３１－２が処理するデータのタイミングを制御することによって、通信リンク間Data Skewを補正する。受信状態制御部６０１は、通信リンク間Data Skewを補正する制御部として機能する。
［（２－１）第１の例　通信リンク間Data Skewの除去を受信側の物理レイヤで行う場合の例］
・伝送システムの構成例
　図４８は、送信側LSI３１１と受信側LSI３１２の構成例を示す図である。
　図４８に示す構成のうち、図３７に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。後述する図５１、図５３等においても同様である。
　図４８に示すように、受信状態制御部６０１は、受信部３３１－１のPHY-RX状態制御部４０１に接続されるとともに、受信部３３１－２のPHY-RX状態制御部４０１に接続される。
　なお、図４８においては、受信部３３１－２の構成としてPHY-RX状態制御部４０１のみが示され、他の構成の図示については省略されている。受信部３３１－２にも、PHY-RX状態制御部４０１を含む、受信部３３１－１の構成と同じ構成が設けられる。
　また、図４８においては、送信部の構成として、受信部３３１－１とともに通信リンク＃０を実現する送信部３２２－１のみが示されている。受信部３３１－２とともに通信リンク＃１を実現する送信部３２２－２も設けられる。受信部３３１－２は、送信部３２２－２から送信されたデータを受信し、情報処理部３３２に出力する。
　情報処理部３２１と情報処理部３３２の間では、通信リンク＃０と通信リンク＃１からなるマルチ通信リンクを用いたデータ伝送が行われる。それぞれの通信リンクにおいては図３７等を参照して説明した処理が行われる。
　受信部３３１－１の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６は、Deskew Codeを検出し、検出タイミングの情報をPHY-RX状態制御部４０１に出力する。また、それぞれのスキュー補正部４１６は、PHY-RX状態制御部４０１による制御に従って、検出したDeskew Codeのタイミングを補正する。
　後述するように、補正タイミングは、通信リンク間Data Skewを補正するようにして受信状態制御部６０１により設定される。
　受信部３３１－１のPHY-RX状態制御部４０１は、信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６から供給された、Deskew Codeの検出タイミングの情報を受信状態制御部６０１に出力する。PHY-RX状態制御部４０１は、補正タイミングの情報が受信状態制御部６０１から供給された場合、信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６の動作を制御する。
　受信部３３１－２の各部も、受信部３３１－１の各部と同様の処理を行う。
　すなわち、受信部３３１－２の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６（いずれも図示せず）は、Deskew Codeを検出し、Deskew Codeの検出タイミングの情報をPHY-RX状態制御部４０１に出力する。また、それぞれのスキュー補正部４１６は、PHY-RX状態制御部４０１による制御に従って、検出したDeskew Codeのタイミングを補正する。
　受信部３３１－２のPHY-RX状態制御部４０１は、信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６から供給された、Deskew Codeの検出タイミングの情報を受信状態制御部６０１に出力する。PHY-RX状態制御部４０１は、補正タイミングの情報が受信状態制御部６０１から供給された場合、信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６の動作を制御する。
　受信状態制御部６０１は、受信部３３１－１のPHY-RX状態制御部４０１から供給された検出タイミングの情報と、受信部３３１－２のPHY-RX状態制御部４０１から供給された検出タイミングの情報を受信する。
　受信状態制御部６０１は、受信部３３１－１の各レーンと受信部３３１－２の各レーンにおいて検出されたDeskew Codeのタイミングに基づいて補正タイミングを設定する。
　図４９は、補正タイミングの設定の例を示す図である。
　図４９の例においては、通信リンク＃０にはLane0～3の４レーンが用いられ、通信リンク＃１にはLane4～7の４レーンが用いられている。各レーンにおいては、図２５を参照して説明したものと同様に、Sync Code, Sync Code,…,Idle Code, Deskew Code, Idle Code, …, Idle Code, Deskew Codeの伝送が行われている。
　通信リンク＃０において、Lane0のDeskew Code Ｃ１は、時刻ｔ１１のタイミングで検出されている。Lane1のDeskew Code Ｃ１とLane2のDeskew Code Ｃ１は、同じ時刻ｔ１２のタイミングで検出されている。Lane3のDeskew Code Ｃ１は、時刻ｔ１３のタイミングで検出されている。
　また、通信リンク＃０において、Lane0のDeskew Code Ｃ２は、時刻ｔ２１のタイミングで検出されている。Lane1のDeskew Code Ｃ２とLane2のDeskew Code Ｃ２は、同じ時刻ｔ２２のタイミングで検出されている。Lane3のDeskew Code Ｃ２は、時刻ｔ２３のタイミングで検出されている。
　このような検出タイミングの情報が、受信部３３１－１のPHY-RX状態制御部４０１から受信状態制御部６０１に供給される。
　一方、通信リンク＃１において、Lane4～7のDeskew Code Ｃ１は、それぞれ、時刻ｔ１４，ｔ１５，ｔ１６，ｔ１７のタイミングで検出されている。
　また、通信リンク＃１において、Lane4～7のDeskew Code Ｃ２は、それぞれ、時刻ｔ２４，ｔ２５，ｔ２６，ｔ２７のタイミングで検出されている。
　このような検出タイミングの情報が、受信部３３１－２のPHY-RX状態制御部４０１から受信状態制御部６０１に供給される。
　各レーンにおいて検出されたDeskew Code Ｃ１は、通信リンク＃０と通信リンク＃１（送信部３２２－１と送信部３２２－２の物理レイヤ）において同じタイミングで挿入された、対応するデータである。各レーンにおいて検出されたDeskew Code Ｃ２も同様に、通信リンク＃０と通信リンク＃１において同じタイミングで挿入された、対応するデータである。
　この場合、受信状態制御部６０１は、Deskew Code Ｃ１の補正タイミングとして、例えば、通信リンク＃０のLane0～3と通信リンク＃１のLane4～7における検出タイミングのうちの、最も遅い時刻ｔ１７のタイミングを設定する。
　また、受信状態制御部６０１は、Deskew Code Ｃ２の補正タイミングとして、例えば、通信リンク＃０のLane0～3と通信リンク＃１のLane4～7における検出タイミングのうちの、最も遅い時刻ｔ２７のタイミングを設定する。
　受信状態制御部６０１は、このようにして設定した補正タイミングの情報を、受信部３３１－１のPHY-RX状態制御部４０１と受信部３３１－２のPHY-RX状態制御部４０１に出力する。
　受信部３３１－１の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６においては、PHY-RX状態制御部４０１による制御に従って、Deskew Code Ｃ１のタイミングを、時刻ｔ１７のタイミングに合わせるようにしてDeskewが行われる。また、Deskew Code Ｃ２のタイミングを、時刻ｔ２７のタイミングに合わせるようにしてDeskewが行われる。Deskew Codeのタイミングの補正は、それぞれのスキュー補正部４１６に設けられたFIFOを用いて行われる。
　一方、受信部３３１－２の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６においては、PHY-RX状態制御部４０１による制御に従って、Deskew Code Ｃ１のタイミングを、時刻ｔ１７のタイミングに合わせるようにしてDeskewが行われる。また、Deskew Code Ｃ２のタイミングを、時刻ｔ２７のタイミングに合わせるようにしてDeskewが行われる。Deskew Codeのタイミングの補正は、それぞれのスキュー補正部４１６に設けられたFIFOを用いて行われる。
　これにより、図４９の白抜き矢印の先に示すように、通信リンク＃０のLane0～3におけるDeskew Code Ｃ１のタイミングと、通信リンク＃１のLane4～7におけるDeskew Code Ｃ１のタイミングが同じタイミングになるように補正される。
　また、通信リンク＃１のLane0～3におけるDeskew Code Ｃ２のタイミングと、通信リンク＃１のLane4～7におけるDeskew Code Ｃ２のタイミングが同じタイミングになるように補正される。
　このようにしてタイミングが補正されたDeskew Codeがスキュー補正部４１６から出力される。
　これにより、既知情報であるDeskew Codeを用いて、通信リンク間Data Skewが補正されることになる。また、レーン間Data Skewについても補正されることになる。
・伝送システムの動作
　次に、図５０のシーケンス図を参照して、通信リンク間Data Skewを物理レイヤにおいて補正する場合の一連の動作について説明する。
　図５０の左端に示す処理は、通信リンク＃０を実現する受信部３３１－１の処理である。中央に示す処理は、通信リンク＃１を実現する受信部３３１－２の処理である。右端に示す処理は、受信状態制御部６０１の処理である。
　受信部３３１－１においては、送信部３２２－１から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。受信部３３１－２においても同様に、送信部３２２－２から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。
　ステップＳ３０１において、受信部３３１－１の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６は、Deskew Codeを検出する。検出タイミングの情報は受信部３３１－１のPHY-RX状態制御部４０１に供給される。
　ステップＳ３０２において、受信部３３１－１のPHY-RX状態制御部４０１は、信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６から供給された、Deskew Codeの検出タイミングの情報を受信状態制御部６０１に出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ３１１において、受信部３３１－２の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６は、Deskew Codeを検出する。検出タイミングの情報は受信部３３１－２のPHY-RX状態制御部４０１に供給される。
　ステップＳ３１２において、受信部３３１－２のPHY-RX状態制御部４０１は、信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６から供給された、Deskew Codeの検出タイミングの情報を受信状態制御部６０１に出力する。
　ステップＳ３２１において、受信状態制御部６０１は、受信部３３１－１のPHY-RX状態制御部４０１から供給された情報を受信する。
　また、ステップＳ３２２において、受信状態制御部６０１は、受信部３３１－２のPHY-RX状態制御部４０１から供給された情報を受信する。
　ステップＳ３２３において、受信状態制御部６０１は、受信部３３１－１の各レーンと受信部３３１－２の各レーンにおいて検出されたDeskew Codeのタイミングに基づいて、補正タイミングを上述したようにして設定する。
　ステップＳ３２４において、受信状態制御部６０１は、補正タイミングの情報を、受信部３３１－１のPHY-RX状態制御部４０１と受信部３３１－２のPHY-RX状態制御部４０１に出力する。
　ステップＳ３０３において、受信部３３１－１のPHY-RX状態制御部４０１は、受信状態制御部６０１から供給された補正タイミングの情報を受信する。
　ステップＳ３０４において、受信部３３１－１のPHY-RX状態制御部４０１は、補正タイミングを表す制御信号を信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６に出力する。
　ステップＳ３０５において、受信部３３１－１の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６は、Deskew Codeのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewとレーン間Data Skewを補正し、出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ３１３において、受信部３３１－２のPHY-RX状態制御部４０１は、受信状態制御部６０１から供給された補正タイミングの情報を受信する。
　ステップＳ３１４において、受信部３３１－２のPHY-RX状態制御部４０１は、補正タイミングを表す制御信号を信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６に出力する。
　ステップＳ３１５において、受信部３３１－２の信号処理部４０２－０乃至４０２－Ｎのそれぞれのスキュー補正部４１６は、Deskew Codeのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewとレーン間Data Skewを補正し、出力する。
　通信リンク間Data Skewとレーン間Data Skewが補正された各レーンのデータは、リンクレイヤにおいて一系統のデータとして統合された後、各処理が施される。リンクレイヤの処理によって得られたデータは、リンクレイヤからアプリケーションレイヤに供給される。
　以上の処理が、例えば、複数の通信リンクのそれぞれのレーンにおいてDeskew Codeが検出される毎に行われる。
　以上の処理により、通信リンク間Data Skewの除去を、受信側の物理レイヤで行うことが可能になる。
　Deskew Codeの検出タイミングに基づいて補正タイミングが設定されるものとしたが、物理レイヤにおいて検出される他のデータのタイミングに基づいて設定されるようにしてもよい。例えば、各レーンで検出された所定のシンボルの検出タイミング、Start CodeやEnd Codeなどの他の制御コードの検出タイミングに基づいて、補正タイミングが設定されるようにしてもよい。
　各パケットやそれに付加される既知情報である制御コードなど、送信側において生成されるデータの構造は、伝送に用いられる通信リンクの違いに関わらず同じである。上述したような構造を有するデータのまとまり（データストリーム）を構成するデータとして、それぞれの通信リンクにおいて同じ位置（タイミング）に配置されるものであれば、どのようなデータであっても、補正タイミングを設定することに用いることが可能である。
　なお、CIS I/Fのマルチ通信リンクを用いた伝送システムにおいても、同様の処理により、通信リンク間Data Skewの補正が受信側の物理レイヤで行われる。
［（２－２）第２の例　通信リンク間Data Skewの除去を受信側のリンクレイヤで行う場合の例］
・伝送システムの構成例
　図５１は、送信側LSI３１１と受信側LSI３１２の他の構成例を示す図である。
　図５１の例においては、受信状態制御部６０１は、受信部３３１－１のパケット分離部４２３に接続されるとともに、受信部３３１－２のパケット分離部４２３に接続される。
　図５１においては、受信部３３１－２の構成としてパケット分離部４２３のみが示され、他の構成の図示については省略されている。受信部３３１－２にも、パケット分離部４２３を含む、受信部３３１－１の構成と同じ構成が設けられる。
　情報処理部３２１と情報処理部３３２の間では、通信リンク＃０と通信リンク＃１からなるマルチ通信リンクを用いたデータ伝送が行われる。
　受信部３３１－１のパケット分離部４２３は、レーン統合部４２２により統合されたデータから、各パケットのペイロードデータを検出し、検出タイミングの情報を受信状態制御部６０１に出力する。また、パケット分離部４２３は、検出したペイロードデータのタイミングを、受信状態制御部６０１により設定された補正タイミングに合わせるように補正し、出力する。ペイロードデータの出力タイミングが補正されることになる。ペイロードデータの出力タイミングの補正は、パケット分離部４２３に設けられたFIFOを用いて行われる。
　受信部３３１－２のパケット分離部４２３も、受信部３３１－１のパケット分離部４２３と同様の処理を行う。
　すなわち、受信部３３１－２のパケット分離部４２３は、レーン統合部４２２により統合されたデータから、各パケットのペイロードデータを検出し、検出タイミングの情報を受信状態制御部６０１に出力する。また、パケット分離部４２３は、検出したペイロードデータのタイミングを、受信状態制御部６０１により設定された補正タイミングに合わせるように補正し、出力する。ペイロードデータの出力タイミングの補正は、パケット分離部４２３に設けられたFIFOを用いて行われる。
　受信状態制御部６０１は、受信部３３１－１のパケット分離部４２３から供給された検出タイミングの情報と、受信部３３１－２のパケット分離部４２３から供給された検出タイミングの情報を受信する。
　受信状態制御部６０１は、受信部３３１－１のパケット分離部４２３におけるペイロードデータの検出タイミングと、受信部３３１－２のパケット分離部４２３におけるペイロードデータの検出タイミングに基づいて補正タイミングを設定する。
　例えば、受信部３３１－１のパケット分離部４２３と受信部３３１－２のパケット分離部４２３において検出された対応するペイロードデータの検出タイミングのうち、最も遅いタイミングが補正タイミングとして設定される。受信状態制御部６０１は、このようにして設定した補正タイミングの情報を、受信部３３１－１のパケット分離部４２３と受信部３３１－２のパケット分離部４２３に出力する。
・伝送システムの動作
　次に、図５２のシーケンス図を参照して、通信リンク間Data Skewをリンクレイヤにおいて補正する場合の一連の動作について説明する。
　受信部３３１－１においては、送信部３２２－１から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。物理レイヤから出力された各レーンのデータは、レーン統合部４２２により一系統のデータとして統合され、パケット分離部４２３に出力される。なお、物理レイヤの処理は行われているから、パケット分離部４２３に供給されるデータは、レーン間Data Skewについては補正済みのデータとなる。
　受信部３３１－２においても同様に、送信部３２２－２から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。物理レイヤから出力された各レーンのデータは、レーン統合部４２２により一系統のデータとして統合され、パケット分離部４２３に出力される。
　ステップＳ３５１において、受信部３３１－１のパケット分離部４２３は、レーン統合部４２２により統合されたデータから、各パケットのペイロードデータを検出する。
　ステップＳ３５２において、受信部３３１－１のパケット分離部４２３は、ペイロードデータの検出タイミングの情報を受信状態制御部６０１に出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ３６１において、受信部３３１－２のパケット分離部４２３は、レーン統合部４２２により統合されたデータから、各パケットのペイロードデータを検出する。
　ステップＳ３６２において、受信部３３１－２のパケット分離部４２３は、ペイロードデータの検出タイミングの情報を受信状態制御部６０１に出力する。
　ステップＳ３７１において、受信状態制御部６０１は、受信部３３１－１のパケット分離部４２３から供給された情報を受信する。
　また、ステップＳ３７２において、受信状態制御部６０１は、受信部３３１－２のパケット分離部４２３から供給された情報を受信する。
　ステップＳ３７３において、受信状態制御部６０１は、通信リンク＃０と通信リンク＃１において検出された対応するペイロードデータのタイミングに基づいて、補正タイミングを設定する。
　ステップＳ３７４において、受信状態制御部６０１は、補正タイミングの情報を、受信部３３１－１のパケット分離部４２３と受信部３３１－２のパケット分離部４２３に出力する。
　ステップＳ３５３において、受信部３３１－１のパケット分離部４２３は、受信状態制御部６０１から供給された補正タイミングの情報を受信する。
　ステップＳ３５４において、受信部３３１－１のパケット分離部４２３は、検出したペイロードデータのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewを補正し、出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ３６３において、受信部３３１－２のパケット分離部４２３は、受信状態制御部６０１から供給された補正タイミングの情報を受信する。
　ステップＳ３６４において、受信部３３１－２のパケット分離部４２３は、検出したペイロードデータのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewを補正し、出力する。
　通信リンク間Data Skewが補正されたペイロードデータに対しては、リンクレイヤにおいて他の処理が施され、アプリケーションレイヤに供給される。
　以上の処理が、例えば、それぞれの通信リンクにおいてペイロードデータが検出される毎に行われる。
　以上の処理により、通信リンク間Data Skewの除去を、受信側のリンクレイヤで行うことが可能になる。
　ペイロードデータの検出タイミングに基づいて補正タイミングが設定されるものとしたが、リンクレイヤにおいて検出される他のデータのタイミングに基づいて設定されるようにしてもよい。例えば、ペイロードデータにヘッダ情報が含まれている場合、対応するヘッダ情報の検出タイミングに基づいて、補正タイミングが設定されるようにすることも可能である。
　ペイロードデータに含まれるパリティの検出タイミングに基づいて補正タイミングが設定されるようにしてもよいし、ペイロードデータを構成する所定のパッキングデータの検出タイミングに基づいて補正タイミングが設定されるようにしてもよい。前者の場合、通信リンク間Data Skewの補正はペイロードエラー訂正部４２４により行われる。また、後者の場合、通信リンク間Data Skewの補正はByte Unpacking部４２５により行われる。
　なお、CIS I/Fのマルチ通信リンクを用いた伝送システムにおいても、同様の処理により、通信リンク間Data Skewの補正が受信側のリンクレイヤで行われる。
［（２－３）第３の例　通信リンク間Data Skewの除去を受信側のアダプテーションレイヤで行う場合の例］
・伝送システムの構成例
　図５３は、送信側LSI３１１と受信側LSI３１２の他の構成例を示す図である。
　図５３の例においては、受信状態制御部６０１は、受信部３３１－１のペイロードデータ取得部４３１に接続されるとともに、受信部３３１－２のペイロードデータ取得部４３１に接続される。
　図５３においては、受信部３３１－２の構成としてペイロードデータ取得部４３１のみが示され、他の構成の図示については省略されている。受信部３３１－２にも、ペイロードデータ取得部４３１を含む、受信部３３１－１の構成と同じ構成が設けられる。
　情報処理部３２１と情報処理部３３２の間では、通信リンク＃０と通信リンク＃１からなるマルチ通信リンクを用いたデータ伝送が行われる。
　受信部３３１－１のペイロードデータ取得部４３１は、リンクレイヤのByte Unpacking部４２５から供給された、各パケットのペイロードデータを取得し、取得タイミングの情報を受信状態制御部６０１に出力する。また、ペイロードデータ取得部４３１は、検出したペイロードデータのタイミングを、受信状態制御部６０１により設定された補正タイミングに合わせるように補正し、出力する。ペイロードデータの出力タイミングが補正されることになる。ペイロードデータの出力タイミングの補正は、ペイロードデータ取得部４３１に設けられたFIFOを用いて行われる。
　受信部３３１－２のペイロードデータ取得部４３１も、受信部３３１－１のペイロードデータ取得部４３１と同様の処理を行う。
　すなわち、受信部３３１－２のペイロードデータ取得部４３１は、リンクレイヤのByte Unpacking部４２５から供給された、各パケットのペイロードデータを取得し、取得タイミングの情報を受信状態制御部６０１に出力する。また、ペイロードデータ取得部４３１は、取得したペイロードデータのタイミングを、受信状態制御部６０１により設定された補正タイミングに合わせるように補正し、出力する。ペイロードデータの出力タイミングの補正は、ペイロードデータ取得部４３１に設けられたFIFOを用いて行われる。
　受信状態制御部６０１は、受信部３３１－１のペイロードデータ取得部４３１から供給された取得タイミングの情報と、受信部３３１－２のペイロードデータ取得部４３１から供給された取得タイミングの情報を受信する。
　受信状態制御部６０１は、受信部３３１－１のペイロードデータ取得部４３１におけるペイロードデータの取得タイミングと、受信部３３１－２のペイロードデータ取得部４３１におけるペイロードデータの取得タイミングに基づいて補正タイミングを設定する。
　例えば、受信部３３１－１のペイロードデータ取得部４３１と受信部３３１－２のペイロードデータ取得部４３１において取得された対応するペイロードデータのタイミングのうち、最も遅いタイミングが補正タイミングとして設定される。受信状態制御部６０１は、このようにして設定した補正タイミングの情報を、受信部３３１－１のペイロードデータ取得部４３１と受信部３３１－２のペイロードデータ取得部４３１に出力する。
・伝送システムの動作
　次に、図５４のシーケンス図を参照して、通信リンク間Data Skewをアダプテーションレイヤにおいて補正する場合の一連の動作について説明する。
　受信部３３１－１においては、送信部３２２－１から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。物理レイヤから出力された各レーンのデータは、レーン統合部４２２により一系統のデータとして統合され、リンクレイヤの各処理が行われる。リンクレイヤからアダプテーションレイヤのペイロードデータ取得部４３１に対しては、各パケットのペイロードデータが出力される。なお、物理レイヤの処理は行われているから、ペイロードデータ取得部４３１に供給されるデータは、レーン間Data Skewについては補正済みのデータとなる。
　受信部３３１－２においても同様に、送信部３２２－２から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。物理レイヤから出力された各レーンのデータは、レーン統合部４２２により一系統のデータとして統合され、リンクレイヤの各処理が行われる。リンクレイヤからアダプテーションレイヤのペイロードデータ取得部４３１に対しては、各パケットのペイロードデータが出力される。
　ステップＳ４０１において、受信部３３１－１のペイロードデータ取得部４３１は、Byte Unpacking部４２５から供給された、各パケットのペイロードデータを取得する。
　ステップＳ４０２において、受信部３３１－１のペイロードデータ取得部４３１は、ペイロードデータの取得タイミングの情報を受信状態制御部６０１に出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ４１１において、受信部３３１－２のペイロードデータ取得部４３１は、Byte Unpacking部４２５から供給された、各パケットのペイロードデータを取得する。
　ステップＳ４１２において、受信部３３１－２のペイロードデータ取得部４３１は、ペイロードデータの取得タイミングの情報を受信状態制御部６０１に出力する。
　ステップＳ４２１において、受信状態制御部６０１は、受信部３３１－１のペイロードデータ取得部４３１から供給された情報を受信する。
　また、ステップＳ４２２において、受信状態制御部６０１は、受信部３３１－２のペイロードデータ取得部４３１から供給された情報を受信する。
　ステップＳ４２３において、受信状態制御部６０１は、受信部３３１－１のペイロードデータ取得部４３１と受信部３３１－２のペイロードデータ取得部４３１において取得された対応するペイロードデータのタイミングに基づいて、補正タイミングを設定する。
　ステップＳ４２４において、受信状態制御部６０１は、補正タイミングの情報を、受信部３３１－１のペイロードデータ取得部４３１と受信部３３１－２のペイロードデータ取得部４３１に出力する。
　ステップＳ４０３において、受信部３３１－１のペイロードデータ取得部４３１は、受信状態制御部６０１から供給された補正タイミングの情報を受信する。
　ステップＳ４０４において、受信部３３１－１のペイロードデータ取得部４３１は、取得したペイロードデータのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewを補正し、出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ４１３において、受信部３３１－２のペイロードデータ取得部４３１は、受信状態制御部６０１から供給された補正タイミングの情報を受信する。
　ステップＳ４１４において、受信部３３１－２のペイロードデータ取得部４３１は、取得したペイロードデータのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewを補正し、出力する。
　通信リンク間Data Skewが補正されたペイロードデータに対しては、アプリケーションレイヤにおいて所定の処理が行われる。
　以上の処理が、例えばそれぞれの通信リンクにおいてペイロードデータが取得される毎に行われる。
　以上の処理により、通信リンク間Data Skewの除去を、受信側のアダプテーションレイヤで行うことが可能になる。
　なお、アダプテーションレイヤの構成がないため、CIS I/Fのマルチ通信リンクを用いた伝送システムにおいては、通信リンク間Data Skewの補正をアダプテーションレイヤで行うことは不可とされる。
［（２－４）第４の例　通信リンク間Data Skewの除去を受信側のアプリケーションレイヤで行う場合の例］
　受信側LSI３１２から外部の他の処理部にペイロードデータを出力するタイミングを補正することによって、通信リンク間Data Skewの補正が受信側のアプリケーションレイヤにおいて行われるようにすることも可能である。
　この場合、情報処理部３３２のシステム制御部４４１は、受信部３３１－１から供給されたペイロードデータの取得タイミングと、受信部３３１－２から供給されたペイロードデータの取得タイミングに基づいて補正タイミングを設定する。
　データ出力部４４２は、受信部３３１－１から供給されたペイロードデータと、受信部３３１－２から供給されたペイロードデータを取得する。また、データ出力部４４２は、取得したペイロードデータのタイミングを、システム制御部４４１により設定された補正タイミングに合わせるように補正し、出力する。ペイロードデータの出力タイミングが補正されることになる。ペイロードデータの出力タイミングの補正は、データ出力部４４２に設けられたFIFOを用いて行われる。
　なお、この場合、上述した受信状態制御部６０１は不要となる。
・伝送システムの動作
　図５５のシーケンス図を参照して、通信リンク間Data Skewをアプリケーションレイヤにおいて補正する場合の一連の動作について説明する。
　受信部３３１－１においては、送信部３２２－１から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。物理レイヤから出力された各レーンのデータは、レーン統合部４２２により一系統のデータとして統合され、リンクレイヤの各処理が行われる。リンクレイヤからアダプテーションレイヤのペイロードデータ取得部４３１に対しては、各パケットのペイロードデータが出力される。なお、物理レイヤの処理は行われているから、ペイロードデータ取得部４３１に供給されるデータは、レーン間Data Skewについては補正済みのデータとなる。
　受信部３３１－２においても同様に、送信部３２２－２から送信されたデータが各レーンの信号処理部により受信され、物理レイヤの各処理が行われる。物理レイヤから出力された各レーンのデータは、レーン統合部４２２により一系統のデータとして統合され、リンクレイヤの各処理が行われる。リンクレイヤからアダプテーションレイヤのペイロードデータ取得部４３１に対しては、各パケットのペイロードデータが出力される。
　ステップＳ４４１において、受信部３３１－１のペイロードデータ取得部４３１は、Byte Unpacking部４２５から供給された、各パケットのペイロードデータを取得する。
　ステップＳ４４２において、受信部３３１－１のペイロードデータ取得部４３１は、ペイロードデータをアプリケーションレイヤに出力する。
　一方、受信部３３１－２においても同様の処理が行われる。ステップＳ４５１において、受信部３３１－２のペイロードデータ取得部４３１は、Byte Unpacking部４２５から供給された、各パケットのペイロードデータを取得する。
　ステップＳ４５２において、受信部３３１－２のペイロードデータ取得部４３１は、ペイロードデータをアプリケーションレイヤに出力する。
　ステップＳ４６１において、情報処理部３３２のデータ出力部４４２は、受信部３３１－１のペイロードデータ取得部４３１から供給されたペイロードデータを受信する。
　また、ステップＳ４６２において、情報処理部３３２のデータ出力部４４２は、受信部３３１－２のペイロードデータ取得部４３１から供給されたペイロードデータを受信する。
　ステップＳ４６３において、情報処理部３３２のシステム制御部４４１は、対応するペイロードデータのタイミングに基づいて、補正タイミングを設定する。
　ステップＳ４６４において、情報処理部３３２のデータ出力部４４２は、取得したペイロードデータのタイミングを補正タイミングに合わせることによって通信リンク間Data Skewを補正し、出力する。
　以上の処理が、例えば、それぞれの通信リンクからアプリケーションレイヤにペイロードデータが供給される毎に行われる。
　以上の処理により、通信リンク間Data Skewの除去を、受信側のアプリケーションレイヤで行うことが可能になる。
　なお、CIS I/Fのマルチ通信リンクを用いた伝送システムにおいても、同様の処理により、通信リンク間Data Skewの補正が受信側のアプリケーションレイヤで行われる。
［（２－５）第５の例　通信リンク間Data Skewの除去を送信側で行う場合の例］
・伝送システムの構成例
　図５６は、伝送システム３０１の他の構成例を示す図である。
　図５６に示す伝送システム３０１は、受信状態制御部６０１に対応する送信状態制御部６１１が送信側LSI３１１に設けられている点で、図４７に示す構成と異なる。汎用I/Fにおけるマルチ通信リンクについて説明するが、CIS I/Fでも同様である。
　図５７は、図５６の送信側LSI３１１と受信側LSI３１２の構成例を示す図である。
　図５７においては、送信部３２２－２の構成としてPHY-TX状態制御部３８１のみが示され、他の構成の図示については省略されている。送信部３２２－２にも、PHY-TX状態制御部３８１を含む、送信部３２２－１の構成と同じ構成が設けられる。
　また、図５７においては、受信側の構成として、送信部３２２－１とともに通信リンク＃０を実現する受信部３３１－１のみが示されている。送信部３２２－２とともに通信リンク＃１を実現する受信部３３１－２も設けられる。受信部３３１－２は、送信部３２２－２から送信されたデータを受信し、情報処理部３３２に出力する。
　図５７に示すように、送信状態制御部６１１は、送信部３２２－１のPHY-TX状態制御部３８１に接続されるとともに、送信部３２２－２のPHY-TX状態制御部３８１に接続される。
　送信部３２２－１のPHY-TX状態制御部３８１は、信号処理部３８３－０乃至３８３－Ｎに対する制御タイミングの情報を送信状態制御部６１１に出力する。例えば、PHY-TX状態制御部３８１は、所定の制御コードの挿入タイミングの情報を出力する。
　また、送信部３２２－１のPHY-TX状態制御部３８１は、送信状態制御部６１１により設定された補正タイミングに合わせて制御コードが挿入されるように、信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１による動作を制御する。
　送信部３２２－１の信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１は、PHY-TX状態制御部３８１による制御に従って制御コードを挿入する。
　送信部３２２－２の各部も、送信部３２２－１の各部と同様の処理を行う。
　すなわち、送信部３２２－２のPHY-TX状態制御部３８１は、信号処理部３８３－０乃至３８３－Ｎに対する制御タイミングの情報を送信状態制御部６１１に出力する。
　また、送信部３２２－２のPHY-TX状態制御部３８１は、送信状態制御部６１１により設定された補正タイミングに合わせて制御コードが挿入されるように、信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１による動作を制御する。
　送信部３２２－２の信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１は、PHY-TX状態制御部３８１による制御に従って制御コードを挿入する。
　送信状態制御部６１１は、送信部３２２－１のPHY-TX状態制御部３８１から供給された情報と、送信部３２２－２のPHY-TX状態制御部３８１から供給された情報を受信する。
　送信状態制御部６１１は、送信部３２２－１のPHY-TX状態制御部３８１による所定の制御コードの挿入タイミングと送信部３２２－２のPHY-TX状態制御部３８１による所定の制御コードの挿入タイミングに基づいて補正タイミングを設定する。
　例えば、送信部３２２－１の信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１における挿入タイミングと、送信部３２２－２の信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１における挿入タイミングのうち、最も遅いタイミングが補正タイミングとして設定される。送信状態制御部６１１は、このようにして設定した補正タイミングの情報を、送信部３２２－１のPHY-TX状態制御部３８１と送信部３２２－２のPHY-TX状態制御部３８１に出力する。
　このように、送信状態制御部６１１は、送信部３２２－１が処理するデータのタイミングと送信部３２２－２が処理するデータのタイミングを制御することによって、通信リンク間Data Skewを補正する。送信状態制御部６１１は、通信リンク間Data Skewを補正する制御部として機能する。
・伝送システムの動作
　次に、図５８のシーケンス図を参照して、通信リンク間Data Skewを送信側において補正する場合の一連の動作について説明する。
　図５８の左端に示す処理は、通信リンク＃０を実現する送信部３２２－１の処理である。中央に示す処理は、通信リンク＃１を実現する送信部３２２－２の処理である。右端に示す処理は、送信状態制御部６１１の処理である。
　送信部３２２－１においては、伝送対象のデータに対してリンクレイヤの各処理が行われ、各レーンに分配されたデータが物理レイヤの信号処理部３８３－０乃至３８３－Ｎに出力される。送信部３２２－２においても同様に、伝送対象のデータに対してリンクレイヤの各処理が行われ、各レーンに分配されたデータが物理レイヤの信号処理部３８３－０乃至３８３－Ｎに出力される。
　ステップＳ５０１において、送信部３２２－１のPHY-TX状態制御部３８１は、所定の制御コードの挿入タイミングの情報を送信状態制御部６１１に出力する。
　一方、送信部３２２－２においても同様の処理が行われる。ステップＳ５１１において、送信部３２２－２のPHY-TX状態制御部３８１は、対応する所定の制御コードの挿入タイミングの情報を送信状態制御部６１１に出力する。
　ステップＳ５２１において、送信状態制御部６１１は、送信部３２２－１のPHY-TX状態制御部３８１から供給された情報を受信する。
　また、ステップＳ５２２において、送信状態制御部６１１は、送信部３２２－２のPHY-TX状態制御部３８１から供給された情報を受信する。
　ステップＳ５２３において、送信状態制御部６１１は、送信部３２２－１における制御コードの挿入タイミングと送信部３２２－２における制御コードの挿入タイミングに基づいて、補正タイミングを設定する。
　ステップＳ５２４において、送信状態制御部６１１は、補正タイミングの情報を、送信部３２２－１のPHY-TX状態制御部３８１と送信部３２２－２のPHY-TX状態制御部３８１に出力する。
　ステップＳ５０２において、送信部３２２－１のPHY-TX状態制御部３８１は、送信状態制御部６１１から供給された補正タイミングの情報を受信する。
　ステップＳ５０３において、送信部３２２－１のPHY-TX状態制御部３８１は、補正タイミングを表す制御信号を信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１に出力する。
　ステップＳ５０４において、送信部３２２－１の信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１は、制御信号により表される補正タイミングに合わせて制御コードを挿入することによって、通信リンク間Data Skewを補正する。
　一方、送信部３２２－２においても同様の処理が行われる。ステップＳ５１２において、送信部３２２－２のPHY-TX状態制御部３８１は、送信状態制御部６１１から供給された補正タイミングの情報を受信する。
　ステップＳ５１３において、送信部３２２－２のPHY-TX状態制御部３８１は、補正タイミングを表す制御信号を信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１に出力する。
　ステップＳ５１４において、送信部３２２－２の信号処理部３８３－０乃至３８３－Ｎのそれぞれの制御コード挿入部３９１は、制御信号により表される補正タイミングに合わせて制御コードを挿入することによって、通信リンク間Data Skewを補正する。
　通信リンク間Data Skewが補正された各レーンのデータは、物理レイヤの他の処理が施された後、受信部に対して送信される。
　以上の処理により、送信側のリンクレイヤにおいて生じた通信リンク間Data Skewの除去を、送信側の物理レイヤで行うことが可能になる。
　制御コードの挿入タイミングを合わせることによって通信リンク間Data Skewが補正されるものとしたが、物理レイヤにおける他の処理のタイミングを合わせることによって、通信リンク間Data Skewが補正されるようにしてもよい。例えば、各レーンで処理された所定のシンボルの出力タイミング、Start CodeやEnd Codeなどの他の制御コードの挿入タイミングを合わせることによって、通信リンク間Data Skewが補正されるようにすることも可能である。
　なお、CIS I/Fのマルチ通信リンクを用いた伝送システムにおいても、同様の処理により、通信リンク間Data Skewの補正が受信側の物理レイヤで行われる。
＜４．変形例＞
　受信側の４つのレイヤのうちのいずれかのレイヤにおいて通信リンク間Data Skewの補正が行われるものとしたが、２つ以上のレイヤにおいて通信リンク間Data Skewの補正が行われるようにしてもよい。すなわち、物理レイヤ、リンクレイヤ、アダプテーションレイヤ、およびアプリケーションレイヤのうちの、少なくともいずれかのレイヤにおいて通信リンク間Data Skewの補正が行われるようにすることが可能である。CIS I/Fの場合、物理レイヤ、リンクレイヤ、およびアプリケーションレイヤのうちの、少なくともいずれかのレイヤにおいて通信リンク間Data Skewの補正が行われるようにすることが可能である。
　また、以上においては、受信側または送信側において通信リンク間Data Skewの補正が行われるものとしたが、受信側と送信側の双方において通信リンク間Data Skewの補正が行われるようにしてもよい。
　マルチ通信リンクを構成する通信リンクの数が２つであるものとしたが、３つ以上であってもよい。
　以上においては、イメージセンサ１１とDSP１２が同一の装置内に設けられるものとしたが、それぞれ異なる装置内に設けられるようにしてもよい。送信側LSI３１１と受信側LSI３１２についても同様に、同一の装置内に設けられるようにしてもよいし、それぞれ異なる装置内に設けられるようにしてもよい。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図５９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
＜５．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。この場合、上述したイメージセンサ１１は、内視鏡側の筐体内に設けられ、DSP１２は、内視鏡から送信されてきた画像データの処理を行う画像処理装置側の筐体内に設けられる。
　図６０は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図６０では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
　光源装置５０４３は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
　（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図６０では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
　（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　（カメラヘッド及びＣＣＵ）
　図６１を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図６１は、図６０に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
　図６１を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡５００１に搭載される。
　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
［構成の組み合わせ例］
　本技術は、以下のような構成をとることもできる。
（１）
　送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理を第１のレイヤの処理として行い、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理を第２のレイヤの処理として行う複数の受信部と、
　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部と
　を備える受信装置。
（２）
　複数の前記受信部は、それぞれ、受信した前記データストリームから既知情報を検出し、
　前記制御部は、それぞれの前記受信部における前記既知情報の検出タイミングに基づいて、前記タイミングのずれを補正する
　前記（１）に記載の受信装置。
（３）
　複数の前記受信部のそれぞれは、
　　前記第１のレイヤの処理を並行して行う信号処理部を、前記レーンの数と同じ数だけ有し、
　　前記第２のレイヤの処理を行う処理部を有する
　前記（２）に記載の受信装置。
（４）
　複数の前記受信部は、それぞれ、前記既知情報としての制御コードをそれぞれの前記信号処理部において検出し、
　前記制御部は、それぞれの前記信号処理部における前記制御コードのタイミングを合わせることによって、前記タイミングのずれを補正する
　前記（３）に記載の受信装置。
（５）
　複数の前記受信部は、それぞれ、前記パケットを構成するペイロードデータを前記既知情報として前記処理部において検出し、
　前記制御部は、それぞれの前記処理部における前記ペイロードデータの出力のタイミングを合わせることによって、前記タイミングのずれを補正する
　前記（３）または（４）に記載の受信装置。
（６）
　複数の前記受信部のそれぞれは、
　　前記処理部から出力された前記パケットを構成するペイロードデータを取得する処理を第３のレイヤの処理として行う取得部をさらに有し、
　　前記パケットを構成する前記ペイロードデータを前記既知情報として前記取得部において検出し、
　前記制御部は、それぞれの前記取得部における前記ペイロードデータの、外部の情報処理部に対する出力のタイミングを合わせることによって、前記タイミングのずれを補正する
　前記（３）乃至（５）のうちのいずれかに記載の受信装置。
（７）
　前記制御部は、複数の前記受信部から出力されたデータを受信し、受信した前記データの外部への出力タイミングを合わせることによって、前記タイミングのずれを補正する
　前記（３）乃至（６）のうちのいずれかに記載の受信装置。
（８）
　送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理である第１のレイヤの処理と、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理である第２のレイヤの処理とを複数の受信部において行い、
　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
　ステップを含む制御方法。
（９）
　コンピュータに、
　送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理である第１のレイヤの処理と、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理である第２のレイヤの処理とを複数の受信部において行い、
　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
　ステップを含む処理を実行させるプログラム。
（１０）
　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理を第１のレイヤの処理として行い、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理を第２のレイヤの処理として行う複数の送信部と、
　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部と
　を備える送信装置。
（１１）
　複数の前記送信部のそれぞれは、
　　前記第２のレイヤの処理を並行して行う信号処理部を、前記レーンの数と同じ数だけ有し、
　前記制御部は、それぞれの前記信号処理部における制御コードの前記データストリームへの挿入のタイミングを合わせることによって、前記タイミングのずれを補正する
　前記（１０）に記載の送信装置。
（１２）
　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理である第１のレイヤの処理と、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理である第２のレイヤの処理とを複数の送信部において行い、
　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
　ステップを含む制御方法。
（１３）
　コンピュータに、
　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理である第１のレイヤの処理と、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理である第２のレイヤの処理とを複数の送信部において行い、
　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
　ステップを含む処理を実行させるプログラム。
（１４）
　　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理を第１のレイヤの処理として行い、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の前記レーンを用いて並列に送信する処理を第２のレイヤの処理として行う複数の送信部を備える
　送信装置と、
　　複数の前記送信部のそれぞれから複数のレーンを用いて並列に送信された前記データストリームを受信する処理を前記第２のレイヤの処理として行い、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理を前記第１のレイヤの処理として行う複数の受信部と、
　　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部と
　を備える受信装置と
　を含む送受信システム。
　１　伝送システム，　１１　イメージセンサ，　１２　DSP，　２１　撮像部，　２２　送信部，　３１　受信部，　３２　画像処理部，　６２　Pixel to Byte変換部，　６３　ペイロードECC挿入部，　６４　パケット生成部，　６５　レーン分配部，　７２　ヘッダ生成部，　８３－０乃至８３－Ｎ　信号処理部，　９１　制御コード挿入部，　９２　8B10Bシンボルエンコーダ，　９３　同期部，　９４　送信部，　１０２－０乃至１０２－Ｎ　信号処理部，　１１１　受信部，　１１２　クロック生成部，　１１３　同期部，　１１４　シンボル同期部，　１１５　10B8Bシンボルデコーダ，　１１６　スキュー補正部，　１１７　制御コード除去部，　１２２　レーン統合部，　１２３　パケット分離部，　１２４　ペイロードエラー訂正部，　１２５　Byte to Pixel変換部，　１３２　ヘッダエラー訂正部

Claims (14)

  1. 　送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理を第１のレイヤの処理として行い、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理を第２のレイヤの処理として行う複数の受信部と、
    　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部と
    　を備える受信装置。
  2. 　複数の前記受信部は、それぞれ、受信した前記データストリームから既知情報を検出し、
    　前記制御部は、それぞれの前記受信部における前記既知情報の検出タイミングに基づいて、前記タイミングのずれを補正する
    　請求項１に記載の受信装置。
  3. 　複数の前記受信部のそれぞれは、
    　　前記第１のレイヤの処理を並行して行う信号処理部を、前記レーンの数と同じ数だけ有し、
    　　前記第２のレイヤの処理を行う処理部を有する
    　請求項２に記載の受信装置。
  4. 　複数の前記受信部は、それぞれ、前記既知情報としての制御コードをそれぞれの前記信号処理部において検出し、
    　前記制御部は、それぞれの前記信号処理部における前記制御コードのタイミングを合わせることによって、前記タイミングのずれを補正する
    　請求項３に記載の受信装置。
  5. 　複数の前記受信部は、それぞれ、前記パケットを構成するペイロードデータを前記既知情報として前記処理部において検出し、
    　前記制御部は、それぞれの前記処理部における前記ペイロードデータの出力のタイミングを合わせることによって、前記タイミングのずれを補正する
    　請求項３に記載の受信装置。
  6. 　複数の前記受信部のそれぞれは、
    　　前記処理部から出力された前記パケットを構成するペイロードデータを取得する処理を第３のレイヤの処理として行う取得部をさらに有し、
    　　前記パケットを構成する前記ペイロードデータを前記既知情報として前記取得部において検出し、
    　前記制御部は、それぞれの前記取得部における前記ペイロードデータの、外部の情報処理部に対する出力のタイミングを合わせることによって、前記タイミングのずれを補正する
    　請求項３に記載の受信装置。
  7. 　前記制御部は、複数の前記受信部から出力されたデータを受信し、受信した前記データの外部への出力タイミングを合わせることによって、前記タイミングのずれを補正する
    　請求項３に記載の受信装置。
  8. 　送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理である第１のレイヤの処理と、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理である第２のレイヤの処理とを複数の受信部において行い、
    　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
    　ステップを含む制御方法。
  9. 　コンピュータに、
    　送信装置が有する複数の送信部のそれぞれから複数のレーンを用いて並列に送信された同一のデータ構造を有するデータストリームを受信する処理である第１のレイヤの処理と、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理である第２のレイヤの処理とを複数の受信部において行い、
    　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
    　ステップを含む処理を実行させるプログラム。
  10. 　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理を第１のレイヤの処理として行い、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理を第２のレイヤの処理として行う複数の送信部と、
    　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部と
    　を備える送信装置。
  11. 　複数の前記送信部のそれぞれは、
    　　前記第２のレイヤの処理を並行して行う信号処理部を、前記レーンの数と同じ数だけ有し、
    　前記制御部は、それぞれの前記信号処理部における制御コードの前記データストリームへの挿入のタイミングを合わせることによって、前記タイミングのずれを補正する
    　請求項１０に記載の送信装置。
  12. 　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理である第１のレイヤの処理と、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理である第２のレイヤの処理とを複数の送信部において行い、
    　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
    　ステップを含む制御方法。
  13. 　コンピュータに、
    　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理である第１のレイヤの処理と、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の受信部を有する受信装置に対して、複数の前記レーンを用いて並列に送信する処理である第２のレイヤの処理とを複数の送信部において行い、
    　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する
    　ステップを含む処理を実行させるプログラム。
  14. 　　伝送対象のデータを格納するパケットの生成と、生成した前記パケットを複数のレーンに分配する処理とを含む処理を第１のレイヤの処理として行い、分配した前記パケットを含む同一のデータ構造を有するデータストリームを、複数の前記レーンを用いて並列に送信する処理を第２のレイヤの処理として行う複数の送信部を備える
    　送信装置と、
    　　複数の前記送信部のそれぞれから複数のレーンを用いて並列に送信された前記データストリームを受信する処理を前記第２のレイヤの処理として行い、受信した前記データストリームを一系統のデータに統合し、前記データストリームを構成するパケットを取得する処理を前記第１のレイヤの処理として行う複数の受信部と、
    　　１つの前記送信部と１つの前記受信部との組のそれぞれにより実現される通信リンク間の、対応するデータのタイミングのずれを補正する制御部と
    　を備える受信装置と
    　を含む送受信システム。
PCT/JP2018/020116 2017-06-09 2018-05-25 受信装置、送信装置、制御方法、プログラム、および送受信システム WO2018225534A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/618,619 US11457142B2 (en) 2017-06-09 2018-05-25 Reception device, transmission device, control method, program, and transmission and reception system
KR1020197032583A KR102538713B1 (ko) 2017-06-09 2018-05-25 수신 장치, 송신 장치, 제어 방법, 프로그램, 및 송수신 시스템
CN201880036459.3A CN110692222B (zh) 2017-06-09 2018-05-25 接收装置、发送装置、控制方法、程序及发送和接收系统
EP18813638.6A EP3637716B1 (en) 2017-06-09 2018-05-25 Reception device, transmission device, control method, program, and transmission and reception system
JP2019523451A JP7094952B2 (ja) 2017-06-09 2018-05-25 受信装置、制御方法、プログラム、および送受信システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-114382 2017-06-09
JP2017114382 2017-06-09

Publications (1)

Publication Number Publication Date
WO2018225534A1 true WO2018225534A1 (ja) 2018-12-13

Family

ID=64567291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020116 WO2018225534A1 (ja) 2017-06-09 2018-05-25 受信装置、送信装置、制御方法、プログラム、および送受信システム

Country Status (6)

Country Link
US (1) US11457142B2 (ja)
EP (1) EP3637716B1 (ja)
JP (1) JP7094952B2 (ja)
KR (1) KR102538713B1 (ja)
CN (1) CN110692222B (ja)
WO (1) WO2018225534A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100627A1 (ja) * 2019-11-20 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、および伝送システム
US11847077B2 (en) 2021-12-06 2023-12-19 Himax Technologies Limited Serial peripheral interface integrated circuit and operation method thereof
WO2024041065A1 (zh) * 2022-08-26 2024-02-29 华为技术有限公司 一种数据传输方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3419005A1 (en) * 2017-06-22 2018-12-26 Gemalto Sa Computing device processing expanded data
EP3840368B1 (en) * 2019-12-18 2022-01-26 Axis AB Method of injecting additional data
JP2022182021A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 シリアル通信装置及びシリアル通信方法
CN114297110B (zh) * 2021-12-28 2024-05-14 上海集成电路装备材料产业创新中心有限公司 Mipi信号解码方法、装置及其芯片

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289567A (ja) * 2003-03-24 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> フレーム信号符号化通信方法及び符号化装置並びに符号化送信装置及び符号化受信装置
WO2009005154A1 (ja) * 2007-07-05 2009-01-08 Nippon Telegraph And Telephone Corporation 信号ブロック列処理方法および信号ブロック列処理装置
WO2012063949A1 (ja) * 2010-11-12 2012-05-18 ソニー株式会社 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
WO2014013601A1 (ja) * 2012-07-20 2014-01-23 富士通株式会社 伝送装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3487458B2 (ja) 1995-01-27 2004-01-19 株式会社リコー 並列信号伝送装置
JP2005229307A (ja) * 2004-02-12 2005-08-25 Sanyo Electric Co Ltd 撮像装置、撮像装置の制御方法及び撮像装置の制御プログラム
US20090135685A1 (en) * 2005-09-06 2009-05-28 Pioneer Corporation Aberration correcting apparatus and program for correcting aberration
US8259755B2 (en) * 2005-11-04 2012-09-04 Nxp B.V. Alignment and deskew for multiple lanes of serial interconnect
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
JP2012005622A (ja) * 2010-06-24 2012-01-12 Fujifilm Corp 光音響画像化装置及び方法
JP2012039523A (ja) * 2010-08-10 2012-02-23 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
JP2012103772A (ja) * 2010-11-08 2012-05-31 Renesas Electronics Corp プロセッサおよびそれを用いた画像処理システム
JP5633636B2 (ja) * 2011-03-18 2014-12-03 富士通株式会社 伝送遅延差補正方法，通信装置および通信システム
TWI686085B (zh) * 2012-11-29 2020-02-21 日商索尼半導體解決方案公司 攝像裝置及圖像感測器之資料傳送方法、資訊處理裝置及資訊處理方法以及程式
KR102023940B1 (ko) * 2012-12-27 2019-11-04 엘지디스플레이 주식회사 표시장치용 구동회로 및 이의 구동방법
JP6253272B2 (ja) * 2013-06-18 2017-12-27 キヤノン株式会社 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体
KR102166908B1 (ko) * 2014-02-13 2020-10-19 삼성전자주식회사 고속 데이터 인터페이스 장치 및 상기 장치의 스큐 보정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289567A (ja) * 2003-03-24 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> フレーム信号符号化通信方法及び符号化装置並びに符号化送信装置及び符号化受信装置
WO2009005154A1 (ja) * 2007-07-05 2009-01-08 Nippon Telegraph And Telephone Corporation 信号ブロック列処理方法および信号ブロック列処理装置
WO2012063949A1 (ja) * 2010-11-12 2012-05-18 ソニー株式会社 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
JP2012120159A (ja) 2010-11-12 2012-06-21 Sony Corp 送信装置、送信方法、受信装置、受信方法、およびプログラム
WO2014013601A1 (ja) * 2012-07-20 2014-01-23 富士通株式会社 伝送装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100627A1 (ja) * 2019-11-20 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、および伝送システム
US11847077B2 (en) 2021-12-06 2023-12-19 Himax Technologies Limited Serial peripheral interface integrated circuit and operation method thereof
JP7459191B2 (ja) 2021-12-06 2024-04-01 奇景光電股▲ふん▼有限公司 シリアル・ペリフェラル・インターフェース集積回路およびその動作方法
WO2024041065A1 (zh) * 2022-08-26 2024-02-29 华为技术有限公司 一种数据传输方法及装置

Also Published As

Publication number Publication date
EP3637716B1 (en) 2023-08-30
EP3637716A1 (en) 2020-04-15
JPWO2018225534A1 (ja) 2020-04-09
KR20200016205A (ko) 2020-02-14
CN110692222A (zh) 2020-01-14
US20210360151A1 (en) 2021-11-18
JP7094952B2 (ja) 2022-07-04
KR102538713B1 (ko) 2023-06-01
CN110692222B (zh) 2022-11-22
EP3637716A4 (en) 2020-05-06
US11457142B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
WO2018225534A1 (ja) 受信装置、送信装置、制御方法、プログラム、および送受信システム
JP7326522B2 (ja) 送信装置、受信装置、制御方法、プログラム、および送受信システム
EP4024796A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
US20210274998A1 (en) Distributed image processing system in operating theater
US10924724B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system
EP3761637B1 (en) Video-signal-processing device, video-signal-processing method, and imaging device
JPWO2018163499A1 (ja) 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
US11558673B2 (en) Transmission device, reception device, transmission system, and transmission method
EP4175183A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
EP4024797A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
US11996937B2 (en) Encoding device, encoding method, decoding device, decoding method, and program
CN215383848U (zh) 3d内窥镜的图像传感器数据传输装置及3d内窥镜

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18813638

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197032583

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019523451

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018813638

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018813638

Country of ref document: EP

Effective date: 20200109