WO2014084072A1 - イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム - Google Patents

イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム Download PDF

Info

Publication number
WO2014084072A1
WO2014084072A1 PCT/JP2013/080978 JP2013080978W WO2014084072A1 WO 2014084072 A1 WO2014084072 A1 WO 2014084072A1 JP 2013080978 W JP2013080978 W JP 2013080978W WO 2014084072 A1 WO2014084072 A1 WO 2014084072A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
format
original image
pixel data
Prior art date
Application number
PCT/JP2013/080978
Other languages
English (en)
French (fr)
Inventor
若林　準人
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/646,940 priority Critical patent/US10362220B2/en
Priority to KR1020157012080A priority patent/KR20150091467A/ko
Priority to CN201380061208.8A priority patent/CN104854854B/zh
Priority to EP13858899.1A priority patent/EP2928175A4/en
Priority to JP2014550130A priority patent/JP6349259B2/ja
Publication of WO2014084072A1 publication Critical patent/WO2014084072A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Definitions

  • the present technology relates to an image sensor and a data transmission method thereof, an information processing apparatus and an information processing method, an electronic device, and a program, and in particular, transmission of image data in a specified format without modifying an existing data transmission interface. And an image sensor and its data transmission method, information processing apparatus and information processing method, electronic device, and program that can improve the degree of freedom in connection with a compression method and an image processing LSI (Large Scale Integration) .
  • LSI Large Scale Integration
  • an image captured by an image sensor is converted into compressed data and supplied to an image processing LSI constituting a DSP (Digital Signal Processor) through an interface. Processed and output.
  • DSP Digital Signal Processor
  • the compression rate may be set such that 12-bit pixel data is converted to 5 bits. It is difficult and the compression rate cannot be set freely. Furthermore, the application method to 8B10B transmission corresponding to the clock data recovery method corresponding to high-speed transmission is also unclear.
  • the present technology has been made in view of such a situation, and in particular, by converting a plurality of pixel data into a compression format having various numbers of pixels, and then converting the data into a specified transmission format and transmitting it. This makes it possible to set various compression ratios while using the interface.
  • An image sensor includes an imaging unit that captures an original image, a compression unit that compresses a plurality of pixel data of the original image into a compression format, and compression of the plurality of pixel data of the original image
  • a conversion unit that converts the format into a transmission format of a plurality of pixel data.
  • the bit length of the transmission format may be different from the bit length of the compression format.
  • the bit length of the transmission format may be the same as the bit length of the compression format.
  • the compression unit compresses the compression format into a plurality of pixel data units of the original image
  • the conversion unit compresses the compression format compressed into the plurality of pixel data units of the original image. You may make it convert into a transmission format.
  • the conversion unit when the compression format compressed in a plurality of pixel data units of the original image is converted into the plurality of transmission formats, pixels to be processed in the plurality of pixel data units in order to match the block size You may make it arrange
  • a setting unit that sets a compression rate according to the image quality of the original image may be further included.
  • the compression unit includes a plurality of pixel data of the original image at a compression rate set by the setting unit. May be compressed into a compressed format.
  • the image sensor data transmission method captures an original image, compresses a plurality of pixel data of the original image into a compression format, and converts a compression format of the plurality of pixel data of the original image to a compression format. Converting to a transmission format of a plurality of pixel data.
  • a program includes an imaging step of capturing an original image, a compression step of compressing a plurality of pixel data of the original image into a compression format, and a compression format of the plurality of pixel data of the original image Is converted into a transmission format of a plurality of pixel data by a computer.
  • the information processing apparatus wherein the plurality of pixel data of the original image is compressed into a compression format, and the compression format of the plurality of pixel data of the original image is converted.
  • a restoration unit that restores the transmission format to a compression format of the plurality of pixel data
  • a decompression unit that decompresses the compression format restored by the restoration unit to a plurality of pixel data of the original image.
  • the bit length of the transmission format may be different from the bit length of the compression format.
  • the bit length of the transmission format may be the same as the bit length of the compression format.
  • the restoration unit restores the plurality of transmission formats to the compression format in a plurality of pixel data units of the original image, and the decompression unit compresses the plurality of transmission formats in a plurality of pixel data units of the original image.
  • a compression format may be expanded to the plurality of pixel data.
  • a setting unit that sets a compression rate according to the image quality of the original image may be further included, and the decompression unit includes the compression format based on the compression rate set by the setting unit.
  • a plurality of pixel data of the original image may be expanded.
  • the plurality of pixel data obtained by compressing the plurality of pixel data of the original image into a compression format and converting the compression format of the plurality of pixel data of the original image
  • the transmission format is restored to the compression format of the plurality of pixel data, and the restored compression format is expanded to the plurality of pixel data of the original image.
  • the program according to the second aspect of the present technology is the transmission of the plurality of pixel data in which the plurality of pixel data of the original image are compressed into a compression format and the compression format of the plurality of pixel data of the original image is converted.
  • a process including a restoration step of restoring the format to a compression format of the plurality of pixel data, and a decompression step of decompressing the compression format restored by the processing of the restoration step to the plurality of pixel data of the original image. Let it run.
  • An electronic apparatus includes an imaging unit that captures an original image, a compression unit that compresses a plurality of pixel data of the original image into a compression format, and compression of the plurality of pixel data of the original image A conversion unit that converts the format into a transmission format of a plurality of pixel data.
  • the plurality of pixel data of the original image is compressed into a compression format, and the compression format of the plurality of pixel data of the original image is converted.
  • a restoration unit that restores a transmission format to a compression format of the plurality of pixel data; and a decompression unit that decompresses the compression format restored by the restoration unit to a plurality of pixel data of the original image.
  • an original image is captured, a plurality of pixel data of the original image is compressed into a compression format, and a compression format of the plurality of pixel data of the original image is a plurality of pixels. Converted to data transmission format.
  • the plurality of pixel data of the original image is compressed into a compression format, and the compression format of the plurality of pixel data of the original image is converted.
  • the transmission format is restored to the compression format of the plurality of pixel data, and the restored compression format is expanded to the plurality of pixel data of the original image.
  • the image sensors and electronic devices according to the first to fourth aspects of the present technology may be independent devices or electronic devices, or may be blocks that perform each process.
  • the present technology it is possible to transmit image data in a specified format without modifying the existing data transmission interface, and the compression rate and various types of image processing LSIs It is possible to improve the degree of freedom for the connection.
  • FIG. 10 is a flowchart for explaining data reception processing performed in step S3 of FIG. 9. It is a figure explaining the example which converts a 12-bit original image data format into a 5-bit compression data format, and performs a data transmission process and a data reception process. It is a figure explaining the 1st example which converts a 12-bit original image data format into a 4-bit compressed data format, and performs data transmission processing and data reception processing. It is a figure explaining the 2nd example which converts a 12-bit original image data format into a 4-bit compression data format, and performs data transmission processing and data reception processing.
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • the transmission system 1 in FIG. 1 includes an image sensor 11 and a DSP 12.
  • the image sensor 11 and the DSP 12 are configured by different LSIs (Large Scale Integrated Circuit), and are provided in the same imaging apparatus having an imaging function such as a digital camera or a mobile phone.
  • the image sensor 11 is provided with an imaging unit 21 and one transmission unit 22, and the DSP 12 is provided with one reception unit 31 and an image processing unit 32.
  • the image pickup unit 21 of the image sensor 11 includes an image pickup device such as a CMOS (Complementary Metal Metal Oxide Semiconductor), and performs photoelectric conversion of light received through the lens.
  • the imaging unit 21 performs A / D conversion of a signal obtained by photoelectric conversion, and outputs pixel data constituting one frame image to the transmission unit 22 in order of pixel data.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the transmission unit 22 assigns the data of each pixel supplied from the imaging unit 21 to a plurality of transmission paths in the order supplied from the imaging unit 21, for example, and transmits the data to the DSP 12 in parallel via the plurality of transmission paths.
  • pixel data is transmitted using eight transmission paths.
  • the transmission path between the image sensor 11 and the DSP 12 may be a wired transmission path or a wireless transmission path.
  • the transmission path between the image sensor 11 and the DSP 12 is appropriately referred to as a lane.
  • the reception unit 31 of the DSP 12 receives the pixel data transmitted from the transmission unit 22 via eight lanes, and outputs the data of each pixel to the image processing unit 32 in order.
  • the image processing unit 32 generates an image of one frame based on the pixel data supplied from the receiving unit 31, and performs various types of image processing using the generated image.
  • the image data transmitted from the image sensor 11 to the DSP 12 is RAW data, and the image processing unit 32 performs various processes such as image data compression, image display, and image data recording on a recording medium.
  • the image sensor 11 of the transmission system 1 in FIG. 2 includes an imaging unit 21 and two transmission units 22-1 and 22-2 that are two transmission units, and the DSP 12 includes a reception unit 31 that is two reception units. -1, 31-2, and an image processing unit 32 are provided.
  • the imaging unit 21 outputs pixel data constituting one frame image obtained by imaging in parallel to the transmission unit 22-1 and the transmission unit 22-2 for each pixel data. For example, the imaging unit 21 outputs pixel data of odd lines to the transmission unit 22-1 and outputs pixel data of even lines to the transmission unit 22-2.
  • the transmission unit 22-1 assigns the data of each pixel supplied from the imaging unit 21 to a plurality of lanes in the order supplied from the imaging unit 21, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes.
  • the transmission unit 22-2 assigns the data of each pixel supplied from the imaging unit 21 to a plurality of lanes in the order supplied from the imaging unit 21, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes.
  • the image sensor 11 and the DSP 12 are connected via eight lanes.
  • the transmission unit 22-1 and the transmission unit 22-2 each transmit pixel data using four lanes.
  • the reception unit 31-1 of the DSP 12 receives the pixel data transmitted from the transmission unit 22-1 via the four lanes, and outputs the data of each pixel to the image processing unit 32 in order.
  • the reception unit 31-2 receives the pixel data transmitted from the transmission unit 22-2 via the four lanes, and sequentially outputs the data of each pixel to the image processing unit 32.
  • the image processing unit 32 generates an image of one frame based on the pixel data supplied from the receiving unit 31-1 and the pixel data supplied from the receiving unit 31-2, and performs various image processing using the generated image. I do.
  • Pixel data can be transmitted to the DSP 12.
  • the image sensor 11-1 is provided with an imaging unit 21-1 and a transmission unit 22-1 as one transmission unit
  • the image sensor 11-2 is provided with an imaging unit 21-2 and a transmission unit 22 as one transmission unit.
  • the DSP 12 is provided with two receiving units 31-1, 31-2 and an image processing unit 32.
  • the imaging unit 21-1 of the image sensor 11-1 outputs pixel data constituting an image of one frame obtained by performing imaging to the transmission unit 22-1 in order of pixel data.
  • the transmission unit 22-1 assigns the data of each pixel supplied from the imaging unit 21-1 to a plurality of lanes in the order supplied from the imaging unit 21-1, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes. To do.
  • the imaging unit 21-2 of the image sensor 11-2 outputs pixel data constituting an image of one frame obtained by imaging to the transmission unit 22-2 in order of data of one pixel.
  • the transmission unit 22-2 assigns the data of each pixel supplied from the imaging unit 21-2 to a plurality of lanes in the order supplied from the imaging unit 21-2, for example, and transmits the data to the DSP 12 in parallel via the plurality of lanes. To do.
  • the image sensor side and the DSP 12 are connected via eight lanes.
  • Four lanes are allocated to each of the image sensor 11-1 and the image sensor 11-2, and the transmission unit 22-1 and the transmission unit 22-2 each transmit pixel data using the four lanes.
  • the reception unit 31-1 of the DSP 12 receives the pixel data transmitted from the transmission unit 22-1 of the image sensor 11-1 via the four lanes, and outputs the data of each pixel to the image processing unit 32 in order. To do.
  • the reception unit 31-2 receives pixel data transmitted from the transmission unit 22-2 of the image sensor 11-2 via four lanes, and outputs the data of each pixel to the image processing unit 32 in order. To do.
  • the image processing unit 32 generates one frame image based on the pixel data supplied from the receiving unit 31-1, and generates one frame image based on the pixel data supplied from the receiving unit 31-2. .
  • the image processing unit 32 performs various types of image processing using the generated image.
  • a 3D image composed of an image for the left eye taken by the image sensor 11-1 and an image for the right eye taken by the image sensor 11-2 can be obtained. It is possible to process with one DSP 12. There is a parallax between the image for the left eye and the image for the right eye.
  • the image sensor of the transmission system 1 is provided with one or a plurality of transmission units that transmit one frame of captured image data.
  • the DSP is provided with one or more receiving units that receive data transmitted from the image sensor, corresponding to the transmitting unit of the image sensor.
  • the effective pixel area A1 is an effective pixel area of an image of one frame imaged by the imaging unit 21.
  • a margin area A2 is set in which the number of pixels in the vertical direction is the same as the number of pixels in the vertical direction of the effective pixel area A1.
  • Embedded Data is inserted in the previous dummy area A3.
  • Embedded Data includes information on setting values related to imaging by the imaging unit 21 such as shutter speed, aperture value, and gain.
  • Embedded Data may be inserted into the rear dummy area A4.
  • a dummy area A4 is set in which the number of pixels in the horizontal direction is the same as the number of pixels in the horizontal direction of the entire effective pixel area A1 and margin area A2.
  • the effective pixel area A1, the margin area A2, the front dummy area A3, and the rear dummy area A4 constitute an image data area A11.
  • a header is added before each line constituting the image data area A11, and Start Code is added before the header.
  • a footer is optionally added after each line constituting the image data area A11, and a control code to be described later such as End Code is added after the footer.
  • a control code such as End Code is added after each line constituting the image data area A11.
  • the upper band in FIG. 4 shows the structure of the packet used for transmission of the transmission data shown on the lower side. If the arrangement of pixels in the horizontal direction is a line, the data of the pixels constituting one line of the image data area A11 is stored in the payload of the packet. The transmission of the entire image data of one frame is performed using a number of packets equal to or larger than the number of pixels in the vertical direction of the image data area A11.
  • One packet is configured by adding a header and footer to the payload storing pixel data for one line.
  • the header includes additional information of pixel data stored in the payload, such as Frame Start, Frame End, Line Valid, Line Number, and ECC.
  • the configuration surrounded by a broken line on the left side of FIG. 5 is the configuration of the transmission unit 22, and the configuration surrounded by a broken line on the right side is the configuration of the reception unit 31.
  • the transmission unit 22 and the reception unit 31 each have a link layer configuration and a physical layer configuration.
  • the configuration shown above the solid line L2 is the link layer configuration, and the configuration shown below the solid line L2 is the physical layer configuration.
  • the configuration shown above the solid line L1 is the configuration of the application layer.
  • the system control unit 51, the frame data input unit 52, the register 53, and the compression unit 54 are realized in the imaging unit 21.
  • the system control unit 51 communicates with the LINK-TX protocol management unit 61 of the transmission unit 22 to control transmission of image data by providing information related to the frame format.
  • the frame data input unit 52 performs imaging according to an instruction from the user and the like, and the data of each pixel constituting the image obtained by performing imaging is transmitted to the conversion unit 62 of the transmission unit 22 via the compression unit 54. Supply.
  • the compression unit 54 compresses the number of bits of the data of each pixel to a predetermined number of bits, and supplies the compressed pixel data to the conversion unit 62 of the transmission unit 22.
  • the register 53 stores information such as a compression rate in the compression unit 54, a conversion bit number in the conversion unit 62, and a Lane number. Transmission processing of image data compressed in accordance with information stored in the register 53 is performed.
  • the frame data output unit 141, the register 142, the system control unit 143, and the decompression unit 144 in the configuration of the application layer are realized in the image processing unit 32.
  • the frame data output unit 141 generates and outputs an image of one frame based on the pixel data of each line supplied from the reception unit 31 and expanded by the expansion unit 144.
  • Various processes are performed using the image output from the frame data output unit 141.
  • the register 142 stores various setting values related to reception of image data, such as the expansion rate in the expansion unit 144, the number of bits of conversion in the conversion unit 125, and the number of Lanes. Image data reception processing is performed in accordance with the information stored in the register 142.
  • the system control unit 143 communicates with the LINK-RX protocol management unit 121 and controls a sequence such as a mode change.
  • the decompression unit 144 decompresses the pixel data of each line corresponding to the compression rate of the compression unit 54. Further, the system control unit 51 of the image sensor 11 and the system control unit 143 of the DSP 12 are stored in the register 53 by serial communication, the compression rate in the compression unit 54, the compression rate to be supported by the expansion unit 144, and the conversion Information such as the number of bits for conversion and the number of Lanes in the units 62 and 125 is transmitted and received and set in the registers 53 and 142, respectively.
  • the system control unit 143 of the DSP 12 receives information such as the number of bits of the original image data format and the number of bits of the compressed data format based on an operation signal that receives a user input (not shown), and The compression rate to be set for the system control unit 51 and the conversion rates of the conversion units 62 and 125 are set.
  • the system control unit 143 is susceptible to noise when performing high-sensitivity imaging based on ISO (International Organization for Standardization) sensitivity imaged by the imaging unit 21, so that the compression rate of the pixel data format is lowered. On the contrary, if the sensitivity is low, the influence of noise is small, so the compression rate is set according to the imaging conditions, such as setting to a high compression rate.
  • the transmission unit 22 includes a LINK-TX protocol management unit 61, a conversion unit 62, a payload ECC insertion unit 63, a packet generation unit 64, and a lane distribution unit 65 as a link layer configuration.
  • the LINK-TX protocol management unit 61 includes a state control unit 71, a header generation unit 72, a data insertion unit 73, and a footer generation unit 74.
  • the state control unit 71 of the LINK-TX protocol management unit 61 manages the state of the link layer of the transmission unit 22.
  • the header generation unit 72 generates a header to be added to the payload in which the pixel data for one line is stored, and outputs the header to the packet generation unit 64.
  • FIG. 6 is a diagram illustrating a structure of a header generated by the header generation unit 72.
  • one whole packet is composed of a header and payload data which is pixel data for one line.
  • a footer may be added to the packet.
  • the header is composed of header information and Header ECC.
  • the header information includes Frame Start, Frame End, Line Valid, Line Number, and Reserved. The contents and amount of information are shown in FIG.
  • Frame Start is 1-bit information indicating the beginning of the frame.
  • a value of 1 is set in Frame Start of the header of the packet used for transmitting the pixel data of the first line in the image data area A11 of FIG. 4, and the frame of the header of the packet used for transmitting the pixel data of the other line
  • a value of 0 is set in Start.
  • Frame End is 1-bit information indicating the end of the frame.
  • a value of 1 is set in Frame End of the header of the packet including the pixel data of the termination line of the effective pixel area A1 in the payload, and 0 in the Frame End of the header of the packet used for transmission of the pixel data of other lines. Value is set.
  • Frame Start and Frame End are frame information that is information about the frame.
  • Line Valid is 1-bit information indicating whether or not the pixel data line stored in the payload is a valid pixel line.
  • a value of 1 is set to Line Valid in the header of a packet used for transmission of pixel data of a line in the effective pixel area A1, and 0 is set to Line Valid of a header of a packet used for transmission of pixel data of another line. The value of is set.
  • Line Number is 13-bit information indicating the line number of a line composed of pixel data stored in the payload.
  • Line Valid and Line Number are line information that is information about the line.
  • Reserved is a 32-bit area for expansion.
  • the data amount of the entire header information is 6 bytes.
  • the Header ECC that is arranged following the header information includes a CRC (Cyclic Redundancy Check) code that is a 2-byte error detection code calculated based on the 6-byte header information. Further, the Header-ECC includes two pieces of the same information as the 8-byte information, which is a set of header information and CRC code, following the CRC code.
  • CRC Cyclic Redundancy Check
  • the header of one packet includes three sets of the same header information and CRC code.
  • the total data amount of the header is 8 bytes of the first set of header information and CRC code, 8 bytes of the second set of header information and CRC code, and the third set of header information and CRC code. This is a total of 24 bytes.
  • FIG. 8 is a diagram showing an example of an 8-byte bit array constituting one set of header information and CRC code.
  • byte H7 which is the first 1 byte among the 8 bytes constituting the header, each bit of Frame ⁇ ⁇ ⁇ Start, Frame End, Line Valid, and 1 of 13 bits of Line Number, in order from the first bit.
  • the fifth bit is included.
  • the second 1-byte byte H6 includes the 6th to 13th bits of the 13 bits of Line Number.
  • Byte 6 that is the 6th 1 byte is reserved from byte H5 that is the 3rd 1 byte.
  • Each bit of the CRC code is included in a byte H1 which is the seventh one byte and a byte H0 which is the eighth one byte.
  • the header generation unit 72 generates header information in accordance with control by the system control unit 51. For example, information indicating the line number of the pixel data output from the frame data input unit 52 and information indicating the beginning and end of the frame are supplied from the system control unit 51.
  • the header generation unit 72 calculates the CRC code by applying the header information to the generator polynomial.
  • the CRC code generating polynomial added to the header information is expressed by the following equation (1), for example.
  • the header generation unit 72 generates a header information and a CRC code pair by adding a CRC code to the header information, and generates a header by repeatedly arranging three sets of the same header information and CRC code.
  • the header generation unit 72 outputs the generated header to the packet generation unit 64.
  • the data insertion unit 73 generates data used for stuffing and outputs the data to the conversion unit 62 and the lane distribution unit 65.
  • Payload stuffing data which is stuffing data supplied to the conversion unit 62, is added to the pixel data after conversion by the conversion unit 62, and is used to adjust the data amount of the pixel data stored in the payload.
  • the lane stuffing data which is the stuffing data supplied to the lane distribution unit 65, is added to the data after the lane allocation, and is used for adjusting the data amount between the lanes.
  • the footer generation unit 74 appropriately calculates the 32-bit CRC code by applying the payload data to the generation polynomial according to the control by the system control unit 51, and uses the calculated CRC code as the footer to the packet generation unit 64. Output.
  • a CRC code generator polynomial added as a footer is expressed by the following equation (2), for example.
  • the conversion unit 62 acquires pixel data supplied from the frame data input unit 52 and compressed by the compression unit 54, and converts the compressed data of each pixel into data in units of 1 byte.
  • the compressed data of the pixel value (RGB) of each pixel of the image captured by the image capturing unit 21 is represented by any number of bits of 8 bits, 10 bits, 12 bits, 14 bits, and 16 bits. .
  • the conversion unit 62 in FIG. 5 performs such conversion for each pixel in order from the pixel on the left end of the line, for example.
  • the conversion unit 62 generates payload data by adding the payload stuffing data supplied from the data insertion unit 73 to the compressed data in byte units obtained by the conversion, and outputs the payload data to the payload ECC insertion unit 63.
  • Compressed data converted by the conversion unit 62 is grouped into a predetermined number of groups in the order obtained by the conversion.
  • the payload of one packet includes compressed data corresponding to one line of pixel data.
  • payload stuffing data is added so that the data length of each group becomes the same length.
  • the payload stuffing data is 1-byte data.
  • the payload ECC insertion unit 63 calculates an error correction code used for error correction of the payload data based on the payload data supplied from the conversion unit 62, and inserts the parity, which is the error correction code obtained by the calculation, into the payload data To do.
  • a Reed-Solomon code is used as the error correction code.
  • the insertion of the error correction code is optional, and for example, only one of the parity insertion by the payload ECC insertion unit 63 and the footer addition by the footer generation unit 74 can be performed.
  • the payload ECC insertion unit 63 outputs the payload data with the parity inserted to the packet generation unit 64.
  • the payload data supplied from the conversion unit 62 to the payload ECC insertion unit 63 is output to the packet generation unit 64 as it is.
  • the packet generation unit 64 generates a packet by adding the header generated by the header generation unit 72 to the payload data supplied from the payload ECC insertion unit 63.
  • the packet generation unit 64 also adds a footer to the payload data.
  • the packet generator 64 outputs packet data, which is data constituting one generated packet, to the lane distributor 65.
  • packet data composed of header data and payload data, packet data composed of header data, payload data and footer data, or packet data composed of header data and payload data into which parity is inserted. Will be supplied.
  • the packet structure in FIG. 6 is logical, and in the link layer and physical layer, the packet data having the structure in FIG. 6 is processed in units of bytes.
  • the lane distribution unit 65 assigns the packet data supplied from the packet generation unit 64 to each lane used for data transmission among Lanes 0 to 7 in order from the top data.
  • the lane distribution unit 65 outputs the packet data allocated to each lane in this way to the physical layer.
  • a case where data is transmitted using eight lanes Lane0 to Lane7 will be mainly described, but the same processing is performed even when the number of lanes used for data transmission is another number.
  • the transmission unit 22 includes a PHY-TX state control unit 81, a clock generation unit 82, and signal processing units 83-0 to 83-N as the configuration of the physical layer.
  • the signal processing unit 83-0 includes a control code insertion unit 91, an 8B10B symbol encoder 92, a synchronization unit 93, and a transmission unit 94.
  • the packet data allocated to Lane0 output from the lane distribution unit 65 is input to the signal processing unit 83-0, and the packet data allocated to Lane1 is input to the signal processing unit 83-1.
  • the packet data assigned to LaneN is input to the signal processing unit 83-N.
  • the physical layer of the transmission unit 22 is provided with the same number of signal processing units 83-0 to 83-N as the number of lanes, and processing of packet data transmitted using each lane is performed by Each of 83-0 to 83-N is performed in parallel.
  • the configuration of the signal processing unit 83-0 will be described, but the signal processing units 83-1 to 83-N have the same configuration.
  • the PHY-TX state control unit 81 controls each of the signal processing units 83-0 to 83-N. For example, the timing of each process performed by the signal processing units 83-0 to 83-N is controlled by the PHY-TX state control unit 81.
  • the clock generation unit 82 generates a clock signal and outputs it to each synchronization unit 93 of the signal processing units 83-0 to 83-N.
  • the control code insertion unit 91 of the signal processing unit 83-0 adds a control code to the packet data supplied from the lane distribution unit 65.
  • the control code is a code represented by one symbol selected from a plurality of types of symbols prepared in advance or a combination of a plurality of types of symbols.
  • Each symbol inserted by the control code insertion unit 91 is 8-bit data.
  • the receiving unit 31 performs 10B8B conversion on the received data as will be described later.
  • Each symbol before 10B8B conversion included in the received data is 10-bit data, and each symbol after 10B8B conversion is It becomes 8-bit data.
  • the control codes include Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, and Standby Code.
  • Idle Code is a symbol group that is repeatedly transmitted during a period other than the time of packet data transmission. Idle Code is represented by D00.0 (00000000) of D Character which is 8B10B Code.
  • Start Code is a symbol group indicating the start of the packet. As described above, Start Code is added before the packet. Start Code is represented by four symbols K28.5, K27.7, K28.2, and K27.7, which are combinations of three types of K Character.
  • End Code is a symbol group indicating the end of the packet. As described above, End Code is added after the packet. End Code is represented by four symbols K28.5, K29.7, K30.7, and K29.7, which are combinations of three types of K Character.
  • the Pad Code is a symbol group inserted in the payload data to fill the difference between the pixel data band and the PHY transmission band.
  • the pixel data band is a transmission rate of compressed pixel data output from the imaging unit 21 and input to the transmission unit 22, and the PHY transmission band is a compression transmitted from the transmission unit 22 and input to the reception unit 31.
  • the transmission rate of the pixel data thus obtained.
  • Pad Code is represented by four symbols K23.7, K28.4, K28.6, and K28.7, which are combinations of four types of K Character.
  • the pad code is inserted into the payload data assigned to Lane 0 by the control code inserting unit 91 of the signal processing unit 83-0. Similarly, the insertion of Pad Code into the payload data assigned to other lanes is performed at the same timing in the signal processing units 83-1 to 83-N.
  • the number of Pad Codes is determined based on the difference between the pixel data band and the PHY transmission band, the frequency of the clock signal generated by the clock generation unit 82, and the like.
  • Pad ⁇ Code is inserted to adjust the difference between the two bands when the pixel data band is narrow and the PHY transmission band is wide. For example, by inserting Pad-Code, the difference between the pixel data band and the PHY transmission band is adjusted to be within a certain range.
  • Sync Code is a symbol group used to ensure bit synchronization and symbol synchronization between the transmission unit 22 and the reception unit 31.
  • Sync Code is represented by two symbols K28.5 and Any **. Any ** indicates that any kind of symbol may be used.
  • Sync ⁇ ⁇ ⁇ Code is repeatedly transmitted in the training mode before the transmission of packet data between the transmission unit 22 and the reception unit 31 is started.
  • Deskew Code is a symbol group used for correction of data reception skew between data lanes, that is, reception timing deviation of data received in each lane of the receiving unit 31.
  • Deskew Code is represented by two symbols K28.5 and Any **. Data Skew correction between lanes using Deskew Code will be described later.
  • Standby Code is a symbol group used to notify the receiving unit 31 that the output of the transmitting unit 22 is in a state such as High-Z (high impedance) and data transmission is not performed. That is, the Standby Code is transmitted to the receiving unit 31 when transmission of the packet data is finished and the standby state is set. Standby Code is represented by two symbols K28.5 and Any **.
  • the control code insertion unit 91 outputs packet data with such a control code added to the 8B10B symbol encoder 92.
  • the 8B10B symbol encoder 92 performs 8B10B conversion on the packet data (packet data to which the control code is added) supplied from the control code insertion unit 91, and converts the packet data converted into 10-bit unit data to the synchronization unit 93. Output.
  • the synchronization unit 93 outputs each bit of the packet data supplied from the 8B10B symbol encoder 92 to the transmission unit 94 according to the clock signal generated by the clock generation unit 82.
  • the transmission unit 94 transmits the packet data supplied from the synchronization unit 93 to the reception unit 31 via the transmission path configuring Lane0.
  • the packet data is transmitted to the reception unit 31 also using the transmission paths that form Lanes 1 to 7.
  • the reception unit 31 is provided with a PHY-RX state control unit 101 and signal processing units 102-0 to 102-N as the configuration of the physical layer.
  • the signal processing unit 102-0 includes a reception unit 111, a clock generation unit 112, a synchronization unit 113, a symbol synchronization unit 114, a 10B8B symbol decoder 115, a skew correction unit 116, and a control code removal unit 117.
  • Packet data transmitted via the transmission path constituting Lane0 is input to the signal processing unit 102-0, and packet data transmitted via the transmission path configuring Lane1 is input to the signal processing unit 102-1. Is done. Further, the packet data transmitted via the transmission path configuring LaneN is input to the signal processing unit 102-N.
  • the physical layer of the receiving unit 31 is provided with the same number of signal processing units 102-0 to 102-N as the number of lanes, and the processing of packet data transmitted using each lane is a signal. This is performed in parallel in each of the processing units 102-0 to 102-N.
  • the configuration of the signal processing unit 102-0 will be described, the signal processing units 102-1 to 102-N have the same configuration.
  • the reception unit 111 receives a signal representing the packet data transmitted from the transmission unit 22 via the transmission path configuring Lane0, and outputs the signal to the clock generation unit 112.
  • the clock generation unit 112 performs bit synchronization by detecting the edge of the signal supplied from the reception unit 111, and generates a clock signal based on the edge detection period.
  • the clock generation unit 112 outputs the signal supplied from the reception unit 111 to the synchronization unit 113 together with the clock signal.
  • the synchronization unit 113 samples the signal received by the reception unit 111 according to the clock signal generated by the clock generation unit 112, and outputs packet data obtained by the sampling to the symbol synchronization unit 114.
  • the clock generation unit 112 and the synchronization unit 113 realize a CDR (ClockCData Recovery) function.
  • the symbol synchronization unit 114 performs symbol synchronization by detecting a control code included in the packet data or by detecting some symbols included in the control code. For example, the symbol synchronization unit 114 detects a K28.5 symbol included in Start Code, End Code, and Deskew Code, and performs symbol synchronization. The symbol synchronization unit 114 outputs 10-bit unit packet data representing each symbol to the 10B8B symbol decoder 115.
  • the symbol synchronization unit 114 performs symbol synchronization by detecting a symbol boundary included in the Sync Code repeatedly transmitted from the transmission unit 22 in the training mode before the transmission of packet data is started.
  • the 10B8B symbol decoder 115 performs 10B8B conversion on the 10-bit unit packet data supplied from the symbol synchronization unit 114, and outputs the packet data converted into 8-bit unit data to the skew correction unit 116.
  • the skew correction unit 116 detects Deskew Code from the packet data supplied from the 10B8B symbol decoder 115. Information on the detection timing of Deskew Code by the skew correction unit 116 is supplied to the PHY-RX state control unit 101.
  • the skew correction unit 116 corrects the Data Skew between the lanes so that the timing of the Deskew Code matches the timing represented by the information supplied from the PHY-RX state control unit 101. From the PHY-RX state control unit 101, information indicating the latest timing among the Deskew code timings detected in each of the signal processing units 102-0 to 102-N is supplied.
  • the skew correction unit 116 outputs the packet data obtained by correcting Data Skew to the control code removal unit 117.
  • the control code removing unit 117 removes the control code added to the packet data, and outputs the data from the Start Code to the End Code as packet data to the link layer.
  • the PHY-RX state control unit 101 controls each unit of the signal processing units 102-0 to 102-N to perform correction of Data Skew between lanes. In addition, when a transmission error occurs in a predetermined lane and a control code is lost, the PHY-RX state control unit 101 adds a control code transmitted in another lane instead of the lost control code. As a result, error correction of the control code is performed.
  • the reception unit 31 includes a LINK-RX protocol management unit 121, a lane integration unit 122, a packet separation unit 123, a payload error correction unit 124, and a conversion unit 125 as a link layer configuration.
  • the LINK-RX protocol management unit 121 includes a state management unit 131, a header error correction unit 132, a data removal unit 133, and a footer error detection unit 134.
  • the lane integrating unit 122 integrates the packet data supplied from the signal processing units 102-0 to 102-N in the physical layer by rearranging the packet data in the reverse order to the distribution to each lane by the lane distributing unit 65 of the transmitting unit 22. To do.
  • the packet separation unit 123 separates the packet data for one packet integrated by the lane integration unit 122 into packet data constituting header data and packet data constituting payload data.
  • the packet separation unit 123 outputs the header data to the header error correction unit 132 and outputs the payload data to the payload error correction unit 124.
  • the packet separation unit 123 separates the data for one packet into packet data constituting the header data, packet data constituting the payload data, and packet data constituting the footer data. To do.
  • the packet separation unit 123 outputs the header data to the header error correction unit 132 and outputs the payload data to the payload error correction unit 124. Further, the packet separation unit 123 outputs the footer data to the footer error detection unit 134.
  • the payload error correction unit 124 detects an error in the payload data by performing an error correction operation based on the parity, and corrects the detected error. I do.
  • the payload error correction unit 124 outputs, to the conversion unit 125, compressed data of pixel data after error correction obtained by performing error correction on each Basic block and Extra block.
  • the payload data supplied from the packet separator 123 is output to the converter 125 as it is.
  • the conversion unit 125 removes payload stuffing data included in the payload data supplied from the payload error correction unit 124 in accordance with control by the data removal unit 133.
  • the conversion unit 125 converts the compressed data of each pixel data in units of bytes obtained by removing the payload stuffing data into compressed data in units of 8 bits, 10 bits, 12 bits, 14 bits, or 16 bits. . In the conversion unit 125, conversion opposite to the conversion by the conversion unit 62 of the transmission unit 22 is performed.
  • the conversion unit 125 outputs the compressed pixel data in units of 8 bits, 10 bits, 12 bits, 14 bits, or 16 bits obtained by the conversion to the frame data output unit 141 via the decompression unit 144.
  • the decompression unit 144 decompresses the compressed pixel data, restores the original pixel data, and outputs the original pixel data to the frame data output unit 141.
  • each line of valid pixels specified by Line Valid of the header information is generated based on the pixel data obtained by the conversion unit 125, and the lines are arranged according to the Line Number of the header information. As a result, an image of one frame is generated.
  • the state management unit 131 of the LINK-RX protocol management unit 121 manages the state of the link layer of the reception unit 31.
  • the header error correction unit 132 acquires three sets of header information and CRC code based on the header data supplied from the packet separation unit 123.
  • the header error correction unit 132 performs an error detection operation, which is an operation for detecting an error in the header information, for each set of the header information and the CRC code using the same set of CRC codes as the header information. Do.
  • the header error correction unit 132 estimates correct header information based on at least one of the error detection result of each set of header information and the data comparison result obtained by the error detection calculation, and corrects the correct header information. Output header information and decryption result.
  • the data obtained by the error detection calculation is a value obtained by applying a CRC generator polynomial to the header information.
  • the decoding result is information indicating successful decoding or failed decoding.
  • the header error correction unit 132 is the data obtained by the error detection calculation as to whether or not there is an error in the header information of the set 1 by the error detection calculation for the set 1 (error detection result). Data 1 is acquired. Further, the header error correction unit 132 acquires whether or not there is an error in the header information of the set 2 and the data 2 that is data obtained by the error detection calculation by the error detection calculation for the set 2. The header error correction unit 132 acquires whether or not there is an error in the header information of the set 3 and the data 3 that is data obtained by the error detection calculation by the error detection calculation for the set 3.
  • the header error correction unit 132 determines whether data 1 and data 2 match, whether data 2 and data 3 match, and whether data 3 and data 1 match.
  • the header error correction unit 132 does not detect an error by any of the error detection calculations for the set 1, the set 2, and the set 3, and matches any comparison result of the data obtained by the error detection calculation. In this case, information indicating successful decoding is selected as a decoding result. Further, the header error correction unit 132 estimates that any of the header information is correct, and selects any one of the header information of the group 1, the header information of the group 2, and the header information of the group 3 as output information.
  • the header error correction unit 132 selects information indicating successful decoding as a decoding result and determines that the header information of the set 1 is correct.
  • the header information of group 1 is selected as output information.
  • the header error correction unit 132 selects information indicating successful decoding as the decoding result, and the header information of the set 2 is correct.
  • the header information of group 2 is selected as output information.
  • the header error correction unit 132 selects information indicating successful decoding as a decoding result and estimates that the header information of the group 3 is correct when an error is not detected only by the error detection calculation for the group 3. , Set 3 header information is selected as output information.
  • the header error correction unit 132 outputs the decoding result and output information selected as described above to the register 142 and stores them. In this way, error correction of header information by the header error correction unit 132 is performed by detecting header information without error from a plurality of header information using a CRC code and outputting the detected header information. Is called.
  • the data removal unit 133 controls the lane integration unit 122 to remove lane stuffing data, and controls the conversion unit 125 to remove payload stuffing data.
  • the footer error detection unit 134 acquires the CRC code stored in the footer based on the footer data supplied from the packet separation unit 123.
  • the footer error detection unit 134 performs an error detection calculation using the acquired CRC code, and detects an error in the payload data.
  • the footer error detection unit 134 outputs the error detection result and stores it in the register 142.
  • FIG. 9 is started when an instruction to start imaging is given, for example, by pressing a shutter button provided in the imaging apparatus.
  • step S1 the imaging unit 21 of the image sensor 11 performs imaging.
  • the frame data input unit 52 (FIG. 5) of the imaging unit 21 converts pixel data constituting one frame image obtained by imaging into compressed data in order by the compression unit 54 for each pixel data, and then transmits the data. To the unit 22.
  • step S2 the transmission unit 22 performs data transmission processing.
  • a packet in which pixel data for one line is stored in the payload is generated, and packet data constituting the packet is transmitted to the receiving unit 31.
  • the data transmission process will be described later with reference to the flowchart of FIG.
  • step S3 the reception unit 31 performs data reception processing.
  • the packet data transmitted from the transmission unit 22 is received, and the compressed data of the pixel data stored in the payload is output to the image processing unit 32.
  • the data reception process will be described later with reference to the flowchart of FIG.
  • the data transmission process performed by the transmission unit 22 in step S2 and the data reception process performed by the reception unit 31 in step S3 are alternately performed on pixel data for one line. That is, when pixel data of one line is transmitted by data transmission processing, data reception processing is performed. When pixel data of one line is received by data reception processing, the pixel data of the next one line is targeted. Data transmission processing is performed.
  • the data transmission process by the transmission unit 22 and the data reception process by the reception unit 31 may be performed in parallel in time as appropriate.
  • the frame data output unit 141 of the image processing unit 32 determines whether or not the transmission / reception of the pixel data of all the lines constituting the image of one frame has been completed. The processes after step S2 are repeatedly performed.
  • step S4 When it is determined in step S4 that transmission / reception of pixel data of all lines constituting one frame image has been completed, the frame data output unit 141 of the image processing unit 32 receives the pixels supplied from the reception unit 31 in step S5. An image of one frame is generated based on the data.
  • step S6 the image processing unit 32 performs image processing using an image of one frame, and ends the processing.
  • step S2 of FIG. 9 the data transmission process performed in step S2 of FIG. 9 will be described with reference to the flowchart of FIG.
  • the pixel data is described as being supplied to the converter 62 after being compressed in the process of step S ⁇ b> 1.
  • the pixel data is compressed data in the data transmission process. The description will proceed assuming that the processing is included. Therefore, in step S1, it is assumed that the process is until the pixel data is supplied to the compression unit 54.
  • the header generation unit 72 generates header information including Frame Start, Frame End, Line Valid, Line Number, and Reserved.
  • step S12 the header generation unit 72 calculates the CRC code by applying the header information to the generator polynomial.
  • the header generation unit 72 generates a pair of header information and a CRC code by adding a CRC code to the header information, and repeats and arranges three sets of the same header information and a CRC code to set the header. Generate.
  • step S14 the compression unit 54 compresses the image supplied from the frame data input unit 52 and supplies the compressed image to the conversion unit 62.
  • FIG. 11 when the pixel data of the original image is in a 12-bit original image data format and the compression unit 54 compresses the data format from 12 bits to 6 bits, FIG.
  • the original image data format indicated by the leftmost column indicated by is compressed as indicated by the second column from the left.
  • the leftmost column is the original image data format
  • the second column from the left is the compressed data format.
  • the third column is a transmission data format converted according to the number of lanes from the compressed data format by the conversion unit 62 by processing described later
  • the second column from the right is transmission data by processing described later.
  • This is a compressed data format that is reversely converted from the format, and the rightmost column shows the original image data format in which the compressed data format is expanded.
  • D_N [11] represents the MSB
  • D_N [0] having the smallest number represents the LSB
  • other columns are similarly represented.
  • the compression unit 54 performs data D_N [0] to [D] representing pixel data of the pixel N (Pixel4 * N) and the pixel N + 1 (Pixel4 * N + 1) of the original image shown in the leftmost column of FIG. 11], D_N + 1 [0] to [11], as shown in the second column from the left in FIG. 11, data COMP_N [0] to [5] and data COMP_N + 1 [0 ] To [5] are compressed into 6-bit data, and each 6-bit data of 2 pixels is compressed data having the same structure as the 12-bit original image data format corresponding to 1 pixel of the original image. Convert to format data Data2 * N.
  • the compressed data format including the compressed data for two pixels constituting the converted data Data2 * N is the same as the original image data format of one pixel in the original image. Therefore, the compressed data in the second column from the left in FIG. 11 is data in which the compressed data format for two compressed pixels is arranged in the original image data format for one pixel.
  • Data D_N + 2 [0] to [11] and D_N + 3 [0] to [11] are represented by data COMP_N + 2 [0] to [5] as shown in the second column from the left in FIG.
  • Data COMP_N + 3 [0] to [5] is compressed into 6-bit compressed data, and further 6-bit compressed data consisting of a compressed data format of 2 pixels is equivalent to one pixel of the original image data format. Is converted into data Data2 * N + 1 by being arranged in a 12-bit compressed data format corresponding to the data.
  • the original image data in the 12-bit original image data format is compressed into the compressed data format having the specified number of bits, and the compressed data format is the same as the pixel data format of the original image. Rearranged.
  • the compressed data format for two pixels is recorded in the data format corresponding to one pixel, so that the pixel data is compressed as a whole. Is done.
  • step S15 the conversion unit 62 acquires the compressed data supplied from the frame data input unit 52 and compressed by the compression unit 54, and performs conversion.
  • the conversion unit 62 outputs payload data generated by grouping pixel data obtained by conversion, adding payload stuffing data, and the like. Parity is appropriately inserted into the payload data by the payload ECC insertion unit 63.
  • the compressed data supplied from the compression unit 54 includes, for example, data COMP_N [0] to [5] and data COMP_N + 1 [0] to [5] as shown in the second column from the left in FIG. ]
  • Data 2 * N of 6-bit compressed data format consisting of 2) and data COMP_N + 2 [0] to [5] and 2 data COMP_N + 3 [0] to [5]
  • the converter 62 converts the compressed data Data2 * N and Data2 * N + 1 shown in the second column from the left in FIG.
  • the data is converted into data Byte3 * N to Byte3 * N + 2 having the transmission data format shown in the third column from the left.
  • the converting unit 62 includes data COMP_N [0] to [5] and COMP_N + 1 [4] to [5], which are the upper 8 bits of data Data2 * N having a compressed data format, having a transmission data format. Arranged as data Byte3 * N.
  • the conversion unit 62 includes COMP_N + 2 [0] to [5] and COMP_N + 3 [4] to [5], which are the upper 8 bits of the compressed data Data2 * N + 1, in the transmission data format. Arranged as data Byte3 * N + 1.
  • the conversion unit 62 includes the lower 4 bits of compressed data COMP_N + 1 [0] to [3] of the compressed data Data2 * N, and the lower 4 bits of compressed data COMP_N + 3 [0] of the compressed data Data2 * N + 1. ] To [3] are arranged as data Byte3 * N + 2 consisting of the transmission data format.
  • the compressed pixel data is grouped into pixel data in byte units.
  • step S ⁇ b> 16 the packet generation unit 64 generates a packet based on payload data including compressed image data corresponding to pixel data for one line and the header generated by the header generation unit 72, thereby configuring one packet. Output packet data.
  • step S17 the lane distribution unit 65 allocates the packet data supplied from the packet generation unit 64 to a plurality of lanes used for data transmission.
  • step S18 the control code insertion unit 91 adds a control code to the packet data supplied from the lane distribution unit 65.
  • step S19 the 8B10B symbol encoder 92 performs 8B10B conversion of the packet data to which the control code is added, and outputs the packet data converted into 10-bit data.
  • step S20 the synchronization unit 93 outputs the packet data supplied from the 8B10B symbol encoder 92 according to the clock signal generated by the clock generation unit 82, and causes the transmission unit 94 to transmit the packet data.
  • the processing in steps S18 to S20 is performed in parallel by the signal processing units 83-0 to 83-N.
  • the process returns to step S2 in FIG. 10 and the subsequent processing is performed.
  • step S31 the reception unit 111 receives a signal representing packet data transmitted from the transmission unit 22.
  • the processing of steps S31 to S36 is performed in parallel by the signal processing units 102-0 to 102-N.
  • step S32 the clock generation unit 112 takes bit synchronization by detecting the edge of the signal supplied from the reception unit 111.
  • the synchronization unit 113 samples the signal received by the reception unit 111 and outputs the packet data to the symbol synchronization unit 114.
  • step S33 the symbol synchronization unit 114 performs symbol synchronization by detecting a control code included in the packet data.
  • step S34 the 10B8B symbol decoder 115 performs 10B8B conversion on the packet data after symbol synchronization, and outputs the packet data converted into 8-bit data.
  • step S35 the skew correction unit 116 detects Deskew Code, and matches the timing of Deskew Code with the timing represented by the information supplied from the PHY-RX state control unit 101 as described above. Correct Data Skew.
  • step S36 the control code removing unit 117 removes the control code added to the packet data.
  • step S37 the lane integration unit 122 integrates the packet data supplied from the signal processing units 102-0 to 102-N.
  • step S38 the packet separation unit 123 separates the packet data integrated by the lane integration unit 122 into packet data constituting header data and packet data constituting payload data.
  • step S39 the header error correction unit 132 performs error detection calculation using a CRC code for each set of header information and CRC code included in the header data separated by the packet separation unit 123. Further, the header error correction unit 132 selects and outputs header information having no error based on each group of error detection results and the comparison result of the data obtained by the error detection calculation.
  • step S40 the conversion unit 125 converts the payload data, converts the data into a compressed data format having a specified number of bits of 8 bits, 10 bits, 12 bits, 14 bits, or 16 bits, and outputs the compressed data format to the decompression unit 144.
  • the payload error correction unit 124 performs error correction using parity as appropriate for the payload data to be converted.
  • it is assumed that the data is converted into a 12-bit compressed data format.
  • the payload data is, for example, data Byte3 * N to Byte3 * N + 2 having a transmission data format as shown in the third column from the left in FIG.
  • the conversion unit 125 includes data COMP_N [0] to [5] and COMP_N + 1 [4] to [5] of data Byte3 * N having a transmission data format and data of data Byte3 * N + 2.
  • COMP_N + 1 [0] to [3] 6 bits of data COMP_N [0] to [5] and COMP_N + 1 [0] to [5] for 12 pixels Are rearranged in the same compressed data format as the original image data format, and the compressed data Data2 * N is configured.
  • the conversion unit 125 includes data COMP_N + 2 [0] to [5] and COMP_Ns + 3 [4] to [5] of data Byte3 * N + 1 having a transmission data format, and data having a transmission data format.
  • data COMP_N + 2 [0] to [5] and COMP_N + 3 [0] to [5] using Byte3 * N + 2 data COMP_N + 3 [0] to [3] ] Are rearranged in the compressed data format to form data Data2 * N + 1.
  • step S41 the decompression unit 144 decompresses the compressed data in the compressed data format, restores the original image pixel data, and outputs the original pixel data.
  • the data supplied from the conversion unit 125 includes a compressed data format for two pixels corresponding to the original image data format for one pixel shown in the second column from the right in FIG. 11, for example.
  • the decompression unit 144 indicates the compressed data Data2 * N and Data2 * N + 1 in the rightmost column of FIG.
  • the original image is expanded to Pixel 4 * N to Pixel 4 * N + 3 consisting of 12 bits.
  • the decompression unit 144 converts the compressed data COMP_Ns [0s] to [5] and COMPs_Ns + 1s [0] corresponding to the original image data format corresponding to 1 pixel consisting of 12 s bits into 2 s pixels.
  • Data [2s * Ns] configured by arranging [5 s] is converted into data D_Ns [0] to [11 s] and data Ds_N + 1 s [0] to 2 s pixels each having a 12-bit original image data format.
  • the image data is expanded to [11s] and output as pixel data Pixel4s * Ns and Pixel4s * N + 1s each consisting of an original image data format for one pixel of 12s bits.
  • the decompression unit 144 converts the compressed data COMP_Ns + 2 [0 s] to [5 s] and COMPs_N into the compressed data format corresponding to the original image data format of 1 s pixels composed of 12 bits.
  • the data Data2s * Ns + 1 composed of +3 s [0] to [5 s] is arranged, pixel data Ds_N + 2 s [0 s] to [11] each having a 12-bit original image data format, and pixel data
  • the data is expanded to D_Ns + 3s [0] to [11s] and output as pixel data Pixel4s * Ns + 2 and Pixel4s * N + 3s each having a 12-bit 1s pixel original image data format.
  • data transmission between the image sensor 11 and the DSP 12 is performed using a packet format in which one line of 1s frame corresponds to one packet.
  • the packet format used for data transmission between the image sensor 11s and the DSP 12 is a format that minimizes transmission of header information and control codes indicating packet boundaries such as Start Codes and End Codes, and prevents a reduction in transmission efficiency. It becomes possible. If a packet format in which the pixel data stored in the payload of one packet is less than 1 s line is adopted, it is necessary to transmit more packets in order to transmit the pixel data of the entire frame, and the header to be transmitted As the number of information and control codes increases, the transmission efficiency decreases.
  • the packet format used for data transmission between the image sensor 11 and the DSP 12s is added with a CRC code so that the DSP 12s can detect the presence or absence of a header information transmission error.
  • the DSP 12s can correct the header information to correct header information.
  • an error correction code is used as a countermeasure against transmission error of header information, it is necessary to prepare a circuit for calculating an error correction code in the transmission unit 22 and a circuit for performing an error correction calculation in the reception unit 31. There will be. Since a CRC code, which is an error detection code, is added to the header information, the circuit scale and power consumption can be reduced as compared with the case where a circuit for performing an error correction operation is prepared. In addition, when an error in the header information is detected, the receiving unit 31s does not request the transmitting unit 22s to retransmit the header information. Therefore, it is necessary to prepare a reverse transmission path for the retransmission request. Absent.
  • Start Code can be specified in the receiving unit 31s, and transmission errors can be detected. It can be said that the tolerance is high. The same applies to Ends Code.
  • Pad Code Although 4s types of K Character are used in combination with Pad Code, it is possible to increase error tolerance than other control codes by assigning more types of Ks Character than other control codes. That is, if one of the four types of symbols can be detected, the Pad Code can be specified in the receiving unit 31s. Since Pads Code has a higher transmission frequency than Start Code, Ends Code, etc., it has a structure that can further improve error resistance.
  • control code can be reproduced.
  • each control code is configured by combining the minimum necessary K Character. For example, for Syncs Code, Deskews Code, and Standby Code that can relatively allow transmission errors by repeated transmission, a data structure that does not require additional allocation of Ks Character is used.
  • bit synchronization can be achieved by detecting transition / edge of bit data after 8B10B conversion in CDRs realized by the clock generation unit 112s and the synchronization unit 113. If the transmission unit 22 continues to send data, bit synchronization can be achieved within the period assumed as the CDRs lock time.
  • the symbol synchronization unit 114 can detect the specific K Character (K28.5s) and can quickly re-synchronize. Since K28.5 is used for Start Codes, End Codes, and Deskews Code, symbol synchronization can be achieved at three locations during a packet data transmission period of one packet.
  • synchronization between lanes can be achieved by making it possible to correct the Data Skew between lanes using Deskews Code.
  • each packet data is processed in parallel in groups of 16 s or the like, so that the circuit scale and the amount of memory are suppressed as compared with the case where packet data is processed one by one in one clock cycle. be able to.
  • the circuit scale and the like can be reduced in the latter case when packet data is processed one by one and when the packet data is processed in a predetermined unit. By reducing the circuit scale, it is possible to reduce power consumption.
  • error resistance can be improved by allocating continuous packet data to different lanes. Even if an error occurs across a number of consecutive packet data exceeding the parity error correction capability in a certain lane, the position of the packet data in which the error has occurred by performing lane coupling in the receiving unit 31s. May be distributed, and error correction using parity may be possible.
  • the error correction capability by parity is determined by the parity length.
  • the circuit scale of the transmission unit 22s and the reception unit 31 can be reduced by performing ECC processing higher than lane distribution / lane integration with the one closer to the physical layer as the lower level. For example, in the transmission unit 22s, when the parity of the ECC is inserted into the payload after the packet data is assigned to each lane, it is necessary to prepare the payload ECCs insertion unit for each lane, and the circuit scale is large. Although it becomes large, such a thing can be prevented.
  • the compressed data can be applied to the transmission format as it is and transmitted / received. That is, in this case, data for collecting lower bits as shown by data Byte3 * Ns + 2 in the transmission data format in FIG. 11 is not necessary. As a result, even when compressed data having a compressed data format of 8 s bits is transmitted, high-speed transmission using 8B10B conversion corresponding to clock data recovery can be realized.
  • Example of 12-bit original image data format converted to 5-bit compressed data format for transmission / reception For example, after compressing data in the original image data format consisting of 12 s bits per 1 s pixel into a compressed data format consisting of 5 s bits, the compressed data format has the same structure as the original image data format consisting of 10 s bits per pixel. By arranging 2s pixels, it is possible to convert to an existing 8-bit transmission format and transmit / receive.
  • the data Pixel8s * N to Pixel8s * N + 7s having the original image data format for 8s pixels are compressed by the above-described processing of step S14s. 13 is converted to data Data4s * Ns to Data4s * Ns + 3 having a compressed data format having the same structure as the 10-bit original image data format as shown in the second column from the left in FIG.
  • the compression unit 54s converts the 12s-bit data Ds_N [0] to [11] to D_N + 7 [0] to [11] of the original image data format data Pixel8s * N to Pixel8s * N + 7s to 5 Bit-compressed data COMP_N [0] to [4] to COMP_N + 7 [0] to [4] are converted. Further, as shown in the second column from the left in FIG. 13, the compression unit 54 converts the data COMP_N [0] to [4] and COMP_N + 1 [0] to [4] for two pixels into the compressed data format.
  • step S15 data Data4 * N to Data4 * N + 3 composed of the compressed data format shown in the second column from the left in FIG. 13 is converted to data Byte5 * N to Byte5 composed of the 8-bit transmission data format. * N + 4 converted. That is, the conversion unit 62 indicates the upper 8 bits including the data COMP_N [0] to [4] and the data COMP_N + 1 [2] to [4] of the data Data4 * N in the third column from the left in FIG.
  • step S40 Byte5 * N to Byte5 * N + 4 having the transmission data format shown in the third column from the left in FIG. 13 are converted into 10-bit data shown in the second column from the right in FIG.
  • the data is converted into data 4 * N to Data4 * N + 3 in a compressed data format having the same structure as the original image data format. That is, the conversion unit 125 performs data COMP_N [0] to [4] and data COMP_N + 1 [2] to [4] of data Byte5 * N having a transmission data format, and data COMP_N + of data Byte5 * N + 4.
  • step S41 the data in the compressed data format having the same structure as the 10-bit original image data format shown in the second column from the left in FIG. 13 and in which the compressed data in units of two pixels is arranged.
  • Data4 * N to Data4 * N + 3 are expanded to data Pixel8 * N to Pixel8 * N + 7 having the original image data format shown in the rightmost column of FIG.
  • the decompression unit 144 has two bits of data COMP_N [0] to [4], each of 5 bits of data Data4 * N in a 10-bit compressed data format having the same structure as the 10-bit original image data format.
  • COMP_N + 1 [0] to [4] are expanded to D_N [0] to [11] and D_N + 1 [0] to [11], respectively, and data Pixel8 * N consisting of a 12-bit original image data format, Place on Pixel8 * N + 1.
  • the decompression unit 144 converts the data COMP_N + 2 [0] to [4] and COMP_N + 3 [0] to [4] of the data Data4 * N + 1 to D_N + 2 [0] to [11], respectively.
  • data Data4 * N + 2 COMP_N + 5 [0] to [4] are expanded to D_N + 4 [0] to [11] and D_N + 5 [0] to [11], respectively, and the data Pixel8 * N + 4 and Pixel8 * N + 5
  • the data COMP_N + 6 [0] to [4] and COMP_N + 7 [0] to [4] of the data Data4 * N + 3 are D_N + 6 [0] to [11] and D_N + 7, respectively.
  • the data is expanded from [0] to [11] and arranged in the data Pixel8 * N + 6 and Pixel8 * N + 7.
  • the data Pixel2 * N and Pixel2 * N + 1 having the original image data format for two pixels are compressed by the process of step S14 described above. 14 is converted into data DataN having a compressed data format having the same structure as the 8-bit original image data format as shown in the second column from the left in FIG. That is, the compression unit 54 converts the 12-bit data D_N [0] to [11] to D_N + 7 [0] to [11] of the original image data format data Pixel2 * N and Pixel2 * N + 1 to 4 Bit compression data COMP_N [0] to [3] to COMP_N + 1 [0] to [3] are converted. Further, as shown in the second column from the left in FIG.
  • the compression unit 54 includes 8 bits of data COMP_N [0] to [3] and COMP_N + 1 [0] to [3] for two pixels. Placed in data DataN in the compressed data format.
  • the 12-bit original image data format is compressed into 4-bit data, and two pixels are arranged in an 8-bit unit compressed data format having the same structure as the 8-bit original image data format. Is done.
  • step S15 the data DataN composed of the compressed data format shown in the second column from the left in FIG. 14 is converted into data ByteN composed of the 8-bit transmission data format. That is, the conversion unit 62 converts 8 bits including data COMP_N [0] to [3] and data COMP_N + 1 [0] to [3] of data DataN as shown in the third column from the left in FIG. , Arranged in data ByteN consisting of an 8-bit transmission data format.
  • step S40 ByteN composed of the transmission data format shown in the third column from the left in FIG. 14 has the same structure as the 8-bit original image data format shown in the second column from the right in FIG. It is converted to data DataN of the compressed data format consisting of That is, the conversion unit 125 arranges data COMP_N [0] to [3] and COMP_N + 1 [0] to [3] of data ByteN having a transmission data format in data DataN having a compressed data format.
  • the compressed data format data DataN having the same structure as the 8-bit original image data format shown in the second column from the left in FIG. 14 is converted into the original data shown in the rightmost column in FIG.
  • the data is expanded to data Pixel2 * N to Pixel2 * N + 1 having an image data format.
  • the decompression unit 144 performs 4-bit data COMP_N [0] to [3], which constitutes the data DataN of the 8-bit compressed data format for 2 pixels having the same structure as the 8-bit original image data format.
  • COMP_N + 1 [0] to [3] are expanded to data D_N [0] to [11] and D_N + 1 [0] to [11], respectively, and data Pixel2 * N consisting of the original 12-bit image data format , Pixel2 * N + 1.
  • the data Pixel6 * N to Pixel6 * N + 5 having the original image data format for 6 pixels are compressed by the process of step S14 described above. 15 is converted into data Data2 * N and Data2 * N + 1 having a compressed data format having the same structure as the 12-bit original image data format as shown in the second column from the left in FIG. That is, the compression unit 54 converts the 12-bit data D_N [0] to [11] to D_N + 5 [0] to [11] of each of the data Pixel6 * N to Pixel6 * N + 5 of the original image data format into four. Bit-compressed data COMP_N [0] to [3] to COMP_N + 5 [0] to [3] are converted.
  • the compression unit 54 converts the data COMP_N [0] to [3] to COMP_N + 2 [0] to [3] for three pixels into the compressed data format.
  • data Data2 * N data COMP_N + 3 [0] to [3] to COMP_N + 5 [0] to [3] are arranged in data Data2 * N + 1 of the compressed data format.
  • the 12-bit original image data format is converted into 4-bit compressed data and converted into a 12-bit unit compressed data format.
  • step S15 data Data2 * N to Data2 * N + 1 having a compressed data format corresponding to the 12-bit original image data format shown in the second column from the left in FIG. It is converted to data Byte3 * N to Byte3 * N + 2 consisting of data format. That is, the conversion unit 62 indicates the upper 8 bits including the data COMP_N [0] to [3] and the data COMP_N + 1 [0] to [3] of the data Data2 * N in the third column from the left in FIG.
  • step S40 Byte3 * N to Byte3 * N + 2 having the transmission data format shown in the third column from the left in FIG. 15 are converted into the 12-bit data shown in the second column from the right in FIG. It is converted to data Data2 * N and Data2 * N + 1 in a compressed data format having the same structure as the original image data format. That is, the conversion unit 125 performs data COMP_N [0] to [3] and data COMP_N + 1 [0] to [3] of data Byte3 * N having a transmission data format, and data COMP_N + of data Byte3 * N + 2 2 [0] to [3] are placed in the data Data2 * N consisting of the compressed data format.
  • step S41 the compressed data format data Data2 * N and Data2 * N + 1 having the same structure as the 12-bit original image data format shown in the second column from the right in FIG. Are expanded to data Pixel6 * N to Pixel6 * N + 5 having the original image data format shown in the rightmost column of FIG.
  • the decompression unit 144 performs 4-bit data COMP_N [0] to [3] to 4 bits of data Data2 * N in a 4-bit compressed data format for 3 pixels having the same structure as the 12-bit original image data format.
  • COMP_N + 2 [0] to [3] are expanded to D_N [0] to [11] to D_N + 2 [0] to [11], respectively, and data Pixel6 * N to 12-bit original image data format Place on Pixel6 * N + 2.
  • the decompression unit 144 converts the data COMP_N + 3 [0] to [3] to COMP_N + 5 [0] to [3] of the data Data2 * N + 1 into the data D_N + 3 [0] to [11], respectively. ] To D_N + 5 [0] to [11] and arranged in the data Pixel6 * N + 3 to Pixel6 * N + 5.
  • a 10-bit original image data format may be converted into a 6-bit compressed data format. That is, for example, after compressing data in the original image data format consisting of 10 bits per pixel into data consisting of 6 bits, 2 pixels in a compressed data format having the same structure as the original image data format consisting of 12 bits per pixel By arranging them one by one, it is possible to convert to an existing 8-bit transmission format and transmit / receive.
  • the data Pixel4 * N to Pixel4 * N + 3 having the original image data format corresponding to 4 pixels by 10 bits are compressed by the process of step S14 described above.
  • the data is converted into data Data2 * N and Data2 * N + 1 having a compressed data format having the same structure as the 12-bit original image data format as shown in the second column from the left in FIG. That is, the compression unit 54 converts the 10-bit data D_N [0] to [9] to D_N + 3 [0] to [9] of each of the data Pixel4 * N to Pixel4 * N + 3 of the original image data format into 6 Bit compressed data COMP_N [0] to [5] to COMP_N + 3 [0] to [5] are converted.
  • the compression unit 54 converts the data COMP_N [0] to [5] and COMP_N + 1 [0] to [5] for two pixels into the compressed data format.
  • the data COMP_N + 2 [0] to [5] and COMP_N + 3 [0] to [5] are allocated to the data Data2 * N + 1 in the compressed data format.
  • the 10-bit original image data format is compressed into 6-bit data and arranged in a 12-bit unit compressed data format by 2 pixels.
  • step S15 data Data2 * N to Data2 * N + 1 having the compressed data format shown in the second column from the left in FIG. 16 is converted to data Byte3 * N to Byte3 having the 8-bit transmission data format.
  • * N + 2 is converted. That is, the conversion unit 62 indicates the upper 8 bits composed of the data COMP_N [0] to [5] and COMP_N + 1 [4] to [5] of the data Data2 * N in the third column from the left in FIG.
  • step S40 Byte3 * N to Byte3 * N + 2 having the transmission data format shown in the third column from the left in FIG. 16 are converted into the 12-bit data shown in the second column from the right in FIG. It is converted to data Data2 * N and Data2 * N + 1 in a compressed data format having the same structure as the original image data format. That is, the conversion unit 125 performs data COMP_N [0] to [5] and data COMP_N + 1 [4] to [5] of data Byte3 * N having a transmission data format, and COMP_N + 2 of data Byte3 * N + 2 [0] to [3] are placed in the data Data2 * N consisting of the compressed data format.
  • step S41 data Data2 * N and Data2 * N + 1 having compressed data formats having the same structure as the 12-bit original image data format shown in the second column from the right in FIG.
  • the original image data format data Pixel4 * N to Pixel4 * N + 3 consisting of 10 bits shown in the rightmost column of FIG.
  • the decompression unit 144 performs 6-bit data COMP_N [0] to [5] to 6 bits of data Data2 * N in a 6-bit compressed data format for 2 pixels having the same structure as the 12-bit original image data format.
  • COMP_N + 1 [0] to [5] are expanded to D_N [0] to [9] and D_N + 1 [0] to [9], respectively, and the data Pixel4 * N consisting of the 10-bit original image data format, Place on Pixel4 * N + 1.
  • the decompression unit 144 converts the data COMP_N + 2 [0] to [5] and COMP_N + 3 [0] to [5] of the data Data2 * N + 1 to the data D_N + 2 [0] to [9], respectively.
  • the data Pixel8 * N to Pixel8 * N + 7 having the original image data format for 8 pixels are compressed by the process of step S14 described above. 17 is converted into data Data4 * N to Data4 * N + 3 having a compressed data format having the same structure as the 10-bit original image data format as shown in the second column from the left in FIG. That is, the compression unit 54 converts the 10-bit data D_N [0] to [9] to D_N + 7 [0] to [9] of each of the data Pixel8 * N to Pixel8 * N + 7 of the original image data format to 5 The data is compressed into bits and converted into data COMP_N [0] to [4] to COMP_N + 7 [0] to [4].
  • the compression unit 54 converts the data COMP_N [0] to [4] and COMP_N + 1 [0] to [4] for two pixels into the compressed data format.
  • Place in data Data4 * N place data COMP_N + 2 [0] to [4], COMP_N + 3 [0] to [4] in compressed data format data Data4 * N + 1 and place data COMP_N + 4 [ 0] to [4], COMP_N + 5 [0] to [4] are placed in the compressed data format data Data4 * N + 2, and the data COMP_N + 6 [0] to [4], COMP_N + 7 [0] Place [4] in data Data4 * N + 3 in the compressed data format.
  • the 10-bit original image data format is compressed to 5 bits and arranged in a 10-bit unit compressed data format by 2 pixels.
  • step S15 data Data4 * N to Data4 * N + 3 composed of the compressed data format shown in the second column from the left in FIG. 17 is converted into data Byte5 * N to Byte5 composed of the 8-bit transmission data format. * N + 4 converted. That is, the conversion unit 62 indicates the upper 8 bits including the data COMP_N [0] to [4] and the data COMP_N + 1 [2] to [4] of the data Data4 * N in the third column from the left in FIG. As shown in the figure, it is arranged in the data Byte5 * N consisting of the transmission data format.
  • the data COMP_N + 2 [0] to [4] and COMP_N + 3 [2] to [4] of the data Data4 * N + 1 are Data Byte5 * N + 1 is placed, data Data4 * N + 2 data COMP_N + 4 [0] to [4] and COMP_N + 5 [2] to [4] are placed in data Byte5 * N + 2, COMP_N + 6 [0] to [4] and COMP_N + 7 [2] to [4] of data Data4 * N + 3 are placed in data Byte5 * N + 3, and data Data4 * N to Data4 * N + 3 COMP_N + 1 [0] to [1], COMP_N + 3 [0] to [1], COMP_N + 5 [0] to [1], COMP_N + 7 [0] to [1] ] Is placed in data Byte5 * N + 4.
  • step S40 data Byte5 * N to Byte5 * N + 4 having the transmission data format shown in the third column from the left in FIG. 17 are converted into the 10 bits shown in the second column from the right in FIG. Are converted into data 4 * N to Data4 * N + 3 in a compressed data format having the same structure as the original image data format. That is, the conversion unit 125 performs data COMP_N [0] to [4] and data COMP_N + 1 [2] to [4] of data Byte5 * N having a transmission data format, and data COMP_N + of data Byte5 * N + 4. 1 [0] to [1] are placed in data Data4 * N consisting of the compressed data format.
  • data COMP_N + 2 [0] to [4] and data COMP_N + 3 [of data Byte5 * N + 1 2] to [4] and data COMP_N + 3 [0] to [1] of data Byte5 * N + 4 are placed in data Data4 * N + 1, and data COMP_N + 4 [ 0] to [4] and data COMP_N + 5 [2] to [4], and data COMP_N + 5 [0] to [1] of data Byte5 * N + 4 are placed in data Data4 * N + 2, Data COMP_N + 6 [0] to [4] and data COMP_N + 7 [2] to [4] for data Byte5 * N + 3, and data COMP_N + 7 [0] to [1] for data Byte5 * N + 4 Is placed in the data Data4 * N + 3.
  • the compressed data format data Data4 * N to Data4 * N + 3 having the same structure as the 10-bit original image data format shown in the second column from the left in FIG. Are expanded to data Pixel8 * N to Pixel8 * N + 7 having the original image data format shown in the rightmost column.
  • the decompression unit 144 performs 5-bit data COMP_N [0] to [4] of data Data4 * N of 10-bit compressed data format for 2 pixels having the same structure as the 10-bit original image data format.
  • COMP_N + 1 [0] to [4] are expanded to data D_N [0] to [9] and D_N + 1 [0] to [9], respectively, and data Pixel8 * N consisting of 10-bit original image data format , Pixel8 * N + 1.
  • the decompression unit 144 converts the data COMP_N + 2 [0] to [4] and COMP_N + 3 [0] to [4] of the data Data4 * N + 1 to the data D_N + 2 [0] to [9], respectively.
  • a compressed data format with a fixed number of bits per pixel is allocated to a predetermined original image data format and converted to an 8-bit transmission data format.
  • the original image data format corresponding to 1 may be converted into a variable-length compressed data format corresponding to a plurality of different pixels, assigned to a predetermined original image data format, and converted into an 8-bit transmission format.
  • a 12-bit original image data format of 32 pixels is converted into a compressed data format of 16 pixels of variable length number of bits, and this corresponds to a predetermined 12-bit original image data format for 16 pixels.
  • a 12-bit original image data format of 32 pixels is converted into a compressed data format of 16 pixels of variable length number of bits, and this corresponds to a predetermined 12-bit original image data format for 16 pixels.
  • data PixelN to PixelN + 31 having a 12-bit original image data format for 32 pixels is compressed by the processing in step S14 described above, so that each pixel can be changed.
  • the pixels have variable length and are converted into data COMP [0] to [191] corresponding to the original image data format of 12 bits for a total of 16 pixels. Further, as shown in all the columns from the left to the fourth column from the left in FIG. 19, the compression unit 54 stores data COMP_N [0] to [11] corresponding to one pixel of the original image data format by 12 bits from the beginning. Are arranged in data DataN, data COMP [12] to [23] are arranged in data DataN + 1,..., Data COMP [180] to [191] are arranged in data DataN + 15. By such processing, the 12-bit original image data format for 32 pixels is converted into a compressed data format having the same structure as the 12-bit original image data format for 16 pixels.
  • step S15 data DataN to DataN + 15 having a compressed data format corresponding to the 12-bit original image data format shown in the fourth column from the left in FIG. It is converted to data Byte3 * N to Byte3 * N + 2 consisting of the transmission data format. That is, the conversion unit 62 arranges the upper 8 bits composed of the data COMP [4] to [11] of the data DataN in the data Byte3 * N composed of the transmission data format as shown in the rightmost column of FIG.
  • data COMP [16] to [23] of data DataN + 1 are arranged in data Byte3 * N + 1, and data COMP [0] to [0] consisting of lower 4 bits of each of data DataN and DataN + 1 are arranged. 3], COMP [12] to [15] are allocated to data Byte3 * N + 2. Further, by the same processing, the data DataN + 2 to DataN + 15 for 14 pixels in the compressed data format having the same configuration as the 12-bit original image data format are converted into the 8-bit transmission data format.
  • step S40 Byte3 * N to Byte3 * N + 2 having the transmission data format shown in the rightmost column of FIG. 19 are sequentially converted, so that the fourth column from the left in FIG.
  • the data is converted into data DataN to DataN + 15 in a compressed data format having the same structure as the 12-bit original image data format shown. That is, the conversion unit 125 arranges the data COMP [4] to [11] and the data COMP [0] to [3] of the data Byte3 * N having the transmission data format in the data DataN having the compressed data format.
  • data COMP [16] to [23] and data COMP [12] to [15] of data Byte3 * N + 1 are arranged in data DataN + 1.
  • the 8-bit transmission data format is converted into a compressed data format having the same configuration as the 12-bit original image data format for 16 pixels.
  • step S41 the compressed data format data DataN to DataN + 15 having the same structure as the 12-bit original image data format for 16 pixels shown in the fourth column from the left in FIG. 20 is expanded to data PixelN to PixelN + 32 having the original image data format indicated by 20.
  • the decompression unit 144 converts the data DataN to DataN + 15 of the 12-bit compressed data format for 16 pixels having the same structure as the 12-bit original image data format into the data COMP [ [0] to [191] are expanded to data D_N [0] to [11] to D_N + 31 [0] to [11], respectively, and arranged in data PixelN to PixelN + 31 having a 12-bit original image data format. To do.
  • a multiple of the units of multiple pixels may not match the number of pixels in the horizontal direction.
  • a pixel that is a fraction near the final end in the horizontal direction is selected.
  • the virtual data may be added and adjusted so as to be copied and matched with a multiple of 32, or the virtual data of the average value may be copied and added so as to match with a multiple of 32. By doing so, it is possible to reduce degradation of image quality by virtually arranging highly correlated data.
  • the existing 8-bit, 10-bit, 12-bit, 14-bit can be applied as any number of bits.
  • an existing interface can be used without newly setting a data format that has not been put into practical use, such as RAW4 and RAW5.
  • the compression rate setting process includes a manual mode that is set based on an operation signal generated when a user operates an operation unit (not shown), and an auto mode that is set according to the ISO sensitivity.
  • a switch (not shown) for switching between the manual mode and the auto mode is provided, and is operated in advance by the user.
  • step S61 the system control unit 143 of the DSP 12 determines whether or not the auto mode is set based on an operation signal of an operation unit (not shown). In step S61, for example, when it is determined that the auto mode is set, the process proceeds to step S62.
  • step S62 the system control unit 143 measures the current ISO sensitivity setting.
  • the ISO sensitivity may be a value set in advance by operating an operation unit (not shown), or may be measured or calculated according to illuminance, a diaphragm, or the like.
  • step S63 the system control unit 143 sets the compression rate of the image data format for setting the image quality according to the ISO sensitivity.
  • the system control unit 143 is set so as to reduce the compression rate of the image data format as the ISO sensitivity increases.
  • the system control unit 143 sets the compression rate of the pixel data format to be increased as the ISO sensitivity is lowered.
  • the system control unit 143 stores the information set in its own register 142.
  • step S64 the system control unit 143 communicates with the system control unit 51 of the image sensor 11 by serial communication and supplies the set information. With this processing, the system control unit 51 of the image sensor 11 stores the set information in the register 53.
  • step S61 determines whether the mode is the auto mode. If it is determined in step S61 that the mode is not the auto mode, the manual mode is assumed and the process proceeds to step S65.
  • step S65 the system control unit 143 reads the operation content indicating the compression rate information set by an operation button (not shown) or the like.
  • step S66 the system control unit 143 sets the compression rate based on the information corresponding to the operation content of the operation button, and the process proceeds to step S64.
  • the above-described series of processing can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • FIG. 22 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • an imaging unit that captures an original image
  • a compression unit that compresses a plurality of pixel data of the original image into a compression format
  • An image sensor comprising: a conversion unit that converts a compression format of a plurality of pixel data of the original image into a transmission format of the plurality of pixel data.
  • a bit length of the transmission format is different from a bit length of the compression format.
  • a bit length of the transmission format is the same as a bit length of the compression format.
  • the compression unit compresses the original image in the compression format in units of a plurality of pixel data
  • the image sensor according to any one of (1) to (3), wherein the conversion unit converts the compression format compressed in units of a plurality of pixel data of the original image into the plurality of transmission formats.
  • the conversion unit processes the plurality of pixel data units in order to match the block size when converting the compression format compressed in the plurality of pixel data units of the original image into the plurality of transmission formats.
  • the image sensor according to (4) wherein virtual data is arranged in pixel data to be processed.
  • (6) further includes a setting unit that sets a compression rate in accordance with the image quality of the original image;
  • the image sensor according to (1) wherein the compression unit compresses a plurality of pixel data of the original image into a compression format at a compression rate set by the setting unit.
  • (7) Take the original image, Compressing a plurality of pixel data of the original image into a compression format;
  • a data transmission method for an image sensor comprising: converting a compression format of a plurality of pixel data of the original image into a transmission format of a plurality of pixel data.
  • a transmission format of the plurality of pixel data obtained by compressing the plurality of pixel data of the original image into a compression format and converting the compression format of the plurality of pixel data of the original image.
  • a restoration unit for restoring to the compression format of An information processing apparatus comprising: a decompression unit that decompresses the compressed format restored by the restoration unit into a plurality of pixel data of the original image.
  • the information processing apparatus (10) The information processing apparatus according to (9), wherein a bit length of the transmission format is different from a bit length of the compression format. (11) The information processing apparatus according to (9), wherein a bit length of the transmission format is the same as a bit length of the compression format. (12) The restoration unit restores the plurality of transmission formats to the compression format in units of a plurality of pixel data of the original image, The information processing apparatus according to any one of (9) to (11), wherein the expansion unit expands the compression format compressed in units of a plurality of pixel data of the original image into the plurality of pixel data.
  • the information processing apparatus further includes a setting unit that sets a compression rate in accordance with the image quality of the original image;
  • the information processing apparatus according to (9), wherein the decompression unit decompresses the compression format into a plurality of pixel data of the original image based on a compression rate set by the setting unit.
  • the transmission format of the plurality of pixel data obtained by compressing the plurality of pixel data of the original image into a compression format and converting the compression format of the plurality of pixel data of the original image is the plurality of pixel data.
  • An information processing method including a step of decompressing the restored compressed format into a plurality of pixel data of the original image.
  • the transmission format of the plurality of pixel data obtained by compressing the plurality of pixel data of the original image into a compression format and converting the compression format of the plurality of pixel data of the original image is the plurality of pixel data.
  • a restore step to restore to a compressed format of A program that causes a computer to execute a process including: a decompressing step that decompresses the compressed format restored by the process of the restoring step into a plurality of pixel data of the original image.
  • an imaging unit that captures an original image
  • a compression unit that compresses a plurality of pixel data of the original image into a compression format
  • An electronic device comprising: a conversion unit that converts a compression format of a plurality of pixel data of the original image into a transmission format of the plurality of pixel data.
  • the transmission format of the plurality of pixel data obtained by compressing the plurality of pixel data of the original image into a compression format and converting the compression format of the plurality of pixel data of the original image is the plurality of pixel data.
  • a restoration unit for restoring to the compression format of An electronic device comprising: a decompression unit that decompresses the compressed format restored by the restoration unit into a plurality of pixel data of the original image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

　本技術は、圧縮の自由度やイメージセンサとDSPとの接続性を容易にすることができるようにするイメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラムに関する。 ４画素の１２ビットの元画像データフォーマットのデータPixel4*N乃至Pixel4*N+3が、６ビットの圧縮データに変換され、１２ビットの元画像データフォーマットと同一の構成となる１２ビットの圧縮データフォーマットに２画素ずつ配置されて、データData2*N，Data2*N+1が構成される。さらに、圧縮データフォーマットData2*N，Data2*N+1の上位８ビットが読み出されて、データByte3*N，Byte3*N+1に配置し、圧縮データフォーマットData2*N，Data2*N+1の下位４ビットずつがデータByte3*N+2に配置される。本技術は、撮像装置に適用することができる。

Description

イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム
　本技術は、イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラムに関し、特に、既存のデータ伝送のインタフェースに手を加えること無く、規定フォーマットでの画像データの伝送を可能とし、圧縮方式や画像処理LSI（Large Scale Integration）との接続について、自由度を向上できるようにしたイメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラムに関する。
　デジタルカメラなどに代表される機器においては、イメージセンサにより撮像された画像が、圧縮データに変換されて、DSP（Digital Signal Processor）などを構成する画像処理LSIにインタフェースを介して供給され、様々な処理がなされて出力される。
　ところで、イメージセンサと画像処理LSIとのインタフェース間で伝送される圧縮データ方式としては、例えばDPCM（Differential Pulse Code Modulation）/PCM（Pulse Code Modulation）を組み合わせた方式などが採用されている。これらの一例として、携帯電話向けのチップ間インタフェースに関し、圧縮データについての規格として、SMIA（Standard Mobile Imaging Architecture）規格が設けられている（非特許文献１参照）。
　また、Nビット信号をnビット信号に圧縮し、分解、連結してNビットとして出力する方式が提案されている（特許文献１参照）。これは、nビットに低下したデータレートをNビットのデータレートに調整することで画素データ出力期間を短縮することを目的としたものである。すなわち、例えば、12bitの画素データを8bitに圧縮し、次画素を4bitに分解して12bitのデータとして伝送している。
SMIA 1.0 Part 1:Functional specification
特開２０１１－０４９９０１号公報
　しかしながら、SMIA規格においては、圧縮後のデータについては、１画素のRAWデータとして扱う必要があり、多種多様な圧縮データを取扱うには新たにRAW規格を策定する必要がある。
　そのため圧縮率の変更にはLINK層でのフォーマットコンバータ回路の変更が必要になりパッキング回路の修正が伴う。
　また、特許文献１の技術においては、画素データのビット数が圧縮前、データ伝送時で同じことを前提としているため、例えば、12bitの画素データを5bitに変換するといった圧縮率に設定することが難しく、圧縮率を自由に設定することができない。さらに、高速伝送に対応したクロックデータリカバリ方式に対応した8B10B伝送などへの適用方法も不明である。
　本技術は、このような状況に鑑みてなされたものであり、特に、複数の画素データを様々な画素数の圧縮フォーマットに変換した後、規定の伝送フォーマットに変換して伝送することにより、既存のインタフェースを利用しつつ、様々な圧縮率を設定できるようにするものである。
　本技術の第１の側面のイメージセンサは、元画像を撮像する撮像部と、前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮部と、前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換部とを含む。
　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と異なるようにしてもよい。
　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と同一にするようにしてもよい。
　前記圧縮部には、前記元画像の複数の画素データ単位で前記圧縮フォーマットに圧縮させ、前記変換部には、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の伝送フォーマットに変換させるようにしてもよい。
　前記変換部には、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の伝送フォーマットに変換する際、ブロックサイズに合わせるため、前記複数の画素データ単位で処理する画素データに仮想データを配置させるようにしてもよい。
　前記元画像の画質に応じて圧縮率を設定する設定部をさらに含ませるようにしてもよく、前記圧縮部には、前記設定部により設定される圧縮率で、前記元画像の複数の画素データを、圧縮フォーマットに圧縮させるようにしてもよい。
　本技術の第１の側面のイメージセンサのデータ伝送方法は、元画像を撮像し、前記元画像の複数の画素データを、圧縮フォーマットに圧縮し、前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換するステップを含む。
　本技術の第１の側面のプログラムは、元画像を撮像する撮像ステップと、前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮ステップと、前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換ステップとを含む処理をコンピュータに実行させる。
　本技術の第２の側面の情報処理装置は、前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元部と、前記復元部により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張部とを含む。
　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と異なるようにしてもよい。
　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と同一であるようにしてもよい。
　前記復元部には、前記複数の伝送フォーマットを、前記元画像の複数の画素データ単位で前記圧縮フォーマットに復元させ、前記伸張部には、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の画素データに伸張させるようにしてもよい。
　前記元画像の画質に応じて圧縮率を設定する設定部をさらに含ませるようにしてもよく、前記伸張部には、前記設定部により設定される圧縮率に基づいて、前記圧縮フォーマットを、前記元画像の複数の画素データに伸張させるようにしてもよい。
　本技術の第２の側面の情報処理方法は、前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元し、復元された圧縮フォーマットを前記元画像の複数の画素データに伸張するステップを含む。
　本技術の第２の側面のプログラムは、前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元ステップと、前記復元ステップの処理により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張ステップとを含む処理をコンピュータに実行させる。
　本技術の第３の側面の電子機器は、元画像を撮像する撮像部と、前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮部と、前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換部とを含む。
　本技術の第４の側面の電子機器は、前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元部と、前記復元部により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張部とを含む。
　本技術の第１，３の側面においては、元画像が撮像され、前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが、複数の画素データの伝送フォーマットに変換される。
　本技術の第２，４の側面においては、前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットが、前記複数の画素データの圧縮フォーマットに復元され、復元された圧縮フォーマットが前記元画像の複数の画素データに伸張される。
　本技術の第１乃至第４の側面のイメージセンサ、および電子機器は、独立した装置または電子機器であっても良いし、各処理を行うブロックであっても良い。
　本技術の第１乃至第４の側面によれば、既存のデータ伝送のインタフェースに手を加えること無く、規定フォーマットでの画像データの伝送が可能となり、圧縮率や様々なタイプの画像処理LSIとの接続について、自由度を向上させることが可能となる。
伝送システムの第１の構成例を示す図である。 伝送システムの第２の構成例を示す図である。 伝送システムの第３の構成例を示す図である。 フレームフォーマットの例を示す図である。 送信部と受信部の構成例を示す図である。 ヘッダ構造を示す図である。 ヘッダ情報の内容と情報量を示す図である。 ビット配列の例を示す図である。 撮像装置の処理について説明するフローチャートである。 図９のステップＳ２において行われるデータ送信処理について説明するフローチャートである。 １２ビットの元画像データフォーマットを６ビットの圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 図９のステップＳ３において行われるデータ受信処理について説明するフローチャートである。 １２ビットの元画像データフォーマットを５ビットの圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 １２ビットの元画像データフォーマットを４ビットの圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする第１の例を説明する図である。 １２ビットの元画像データフォーマットを４ビットの圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする第２の例を説明する図である。 １０ビットの元画像データフォーマットを６ビットの圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 １０ビットの元画像データフォーマットを５ビットの圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 ３２画素の１２ビットの元画像データフォーマットを１２ビットの元画像データフォーマットと同一の構成の１６画素の圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 ３２画素の１２ビットの元画像データフォーマットを１２ビットの元画像データフォーマットと同一の構成の１６画素の圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 ３２画素の１２ビットの元画像データフォーマットを１２ビットの元画像データフォーマットと同一の構成の１６画素の圧縮データフォーマットに変換してデータ送信処理、およびデータ受信処理をする例を説明する図である。 元画像データフォーマットのビット数、および圧縮率を設定する設定処理を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
＜伝送システムの第１の構成例＞
　まず、図１を参照して、本発明の一実施形態に係る伝送システムの第１の構成例について説明する。
　図１の伝送システム１は、イメージセンサ１１とDSP１２から構成される。イメージセンサ１１とDSP１２はそれぞれ異なるLSI(Large Scale Integrated Circuit)により構成され、デジタルカメラや携帯電話機などの、撮像機能を有する同じ撮像装置内に設けられる。イメージセンサ１１には撮像部２１と１つの送信部２２が設けられ、DSP１２には１つの受信部３１と画像処理部３２が設けられている。
　イメージセンサ１１の撮像部２１は、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子よりなり、レンズを介して受光した光の光電変換を行う。また、撮像部２１は、光電変換によって得られた信号のA/D変換などを行い、１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２に出力する。
　送信部２２は、撮像部２１から供給された各画素のデータを、例えば撮像部２１から供給された順に複数の伝送路に割り当て、複数の伝送路を介して並列にDSP１２に送信する。図１の例においては、８本の伝送路を用いて画素データの伝送が行われている。イメージセンサ１１とDSP１２の間の伝送路は有線の伝送路であってもよいし、無線の伝送路であってもよい。以下、適宜、イメージセンサ１１とDSP１２の間の伝送路をレーン（Lane）という。
　DSP１２の受信部３１は、８本のレーンを介して送信部２２から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。
　画像処理部３２は、受信部３１から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。イメージセンサ１１からDSP１２に伝送される画像データはRAWデータであり、画像処理部３２においては、画像データの圧縮、画像の表示、記録媒体に対する画像データの記録などの各種の処理が行われる。
＜伝送システムの第２の構成例＞
　次に、図２を参照して、伝送システム１の第２の構成例について説明する。図２に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２の伝送システム１のイメージセンサ１１には、撮像部２１と、２つの送信部である送信部２２－１，２２－２が設けられ、DSP１２には、２つの受信部である受信部３１－１，３１－２と、画像処理部３２が設けられている。
　撮像部２１は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ、送信部２２－１と送信部２２－２に並列に出力する。例えば、撮像部２１は、奇数ラインの画素のデータを送信部２２－１に出力し、偶数ラインの画素のデータを送信部２２－２に出力する。
　送信部２２－１は、撮像部２１から供給された各画素のデータを、例えば撮像部２１から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。送信部２２－２も同様に、撮像部２１から供給された各画素のデータを、例えば撮像部２１から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。
　図２の例においてもイメージセンサ１１とDSP１２の間は８本のレーンを介して接続されている。送信部２２－１と送信部２２－２は、それぞれ、４本のレーンを用いて画素データを伝送する。
　DSP１２の受信部３１－１は、４本のレーンを介して送信部２２－１から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。受信部３１－２も同様に、４本のレーンを介して送信部２２－２から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。
　画像処理部３２は、受信部３１－１から供給された画素データと受信部３１－２から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。
　図２に示すようにイメージセンサ１１に２つの送信部を設け、それに対応させて２つの受信部をDSP１２に設けることにより、撮像部２１が出力する画素データの伝送レートが高い場合であっても画素データをDSP１２に伝送することが可能になる。
＜伝送システムの第３の構成例＞
　次に、図３を参照して、伝送システム１の第３の構成例について説明する。図３に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図３の伝送システム１においては、イメージセンサ１１－１とイメージセンサ１１－２の２つのイメージセンサが設けられている。イメージセンサ１１－１には撮像部２１－１と１つの送信部である送信部２２－１が設けられ、イメージセンサ１１－２には撮像部２１－２と１つの送信部である送信部２２－２が設けられる。DSP１２には、図２の場合と同様に、２つの受信部である受信部３１－１，３１－２と、画像処理部３２が設けられている。
　イメージセンサ１１－１の撮像部２１－１は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２－１に出力する。
　送信部２２－１は、撮像部２１－１から供給された各画素のデータを、例えば撮像部２１－１から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。
　イメージセンサ１１－２の撮像部２１－２は、撮像を行うことによって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に送信部２２－２に出力する。
　送信部２２－２は、撮像部２１－２から供給された各画素のデータを、例えば撮像部２１－２から供給された順に複数のレーンに割り当て、複数のレーンを介して並列にDSP１２に送信する。
　図３の例においてもイメージセンサ側とDSP１２の間は８本のレーンを介して接続されている。イメージセンサ１１－１とイメージセンサ１１－２にはそれぞれ４本のレーンが割り当てられ、送信部２２－１と送信部２２－２は、それぞれ、４本のレーンを用いて画素データを伝送する。
　DSP１２の受信部３１－１は、４本のレーンを介してイメージセンサ１１－１の送信部２２－１から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。受信部３１－２も同様に、４本のレーンを介してイメージセンサ１１－２の送信部２２－２から伝送されてきた画素データを受信し、各画素のデータを順に画像処理部３２に出力する。
　画像処理部３２は、受信部３１－１から供給された画素データに基づいて１フレームの画像を生成するとともに、受信部３１－２から供給された画素データに基づいて１フレームの画像を生成する。画像処理部３２は、生成した画像を用いて各種の画像処理を行う。
　図３に示すように２つのイメージセンサを設けることにより、例えば、イメージセンサ１１－１により撮像された左目用の画像と、イメージセンサ１１－２により撮像された右目用の画像からなる3D画像を１つのDSP１２で処理することが可能になる。左目用の画像と右目用の画像には視差がある。
　以上のように、伝送システム１のイメージセンサには、撮像された１フレームの画像データを伝送する送信部が１つまたは複数設けられる。一方、DSPには、イメージセンサの送信部に対応して、イメージセンサから伝送されてきたデータを受信する受信部が１つまたは複数設けられる。
　以下、イメージセンサ１１に１つの送信部が設けられ、DSP１２に１つの受信部が設けられる図１の伝送システム１におけるデータ伝送について説明する。図２と図３の送信部２２－１－受信部３１－１間、送信部２２－２－受信部３１－２間においても同様にしてデータ伝送が行われる。
＜フレームフォーマット＞
　次に、図４を参照して、イメージセンサ１１－DSP１２間で１フレームの画像データを伝送するのに用いられるフォーマットの例を説明する。
　有効画素領域Ａ１は、撮像部２１により撮像された１フレームの画像の有効画素の領域である。有効画素領域Ａ１の左側には、垂直方向の画素数が有効画素領域Ａ１の垂直方向の画素数と同じであるマージン領域Ａ２が設定される。
　有効画素領域Ａ１の上側には、水平方向の画素数が、有効画素領域Ａ１とマージン領域Ａ２全体の水平方向の画素数と同じである前ダミー領域Ａ３が設定される。図４の例においては、前ダミー領域Ａ３にはEmbedded Dataが挿入されている。Embedded Dataは、シャッタスピード、絞り値、ゲインなどの、撮像部２１による撮像に関する設定値の情報が含まれる。後ダミー領域Ａ４にEmbedded Dataが挿入されることもある。
　有効画素領域Ａ１の下側には、水平方向の画素数が、有効画素領域Ａ１とマージン領域Ａ２全体の水平方向の画素数と同じである後ダミー領域Ａ４が設定される。
　有効画素領域Ａ１、マージン領域Ａ２、前ダミー領域Ａ３、および後ダミー領域Ａ４から画像データ領域Ａ１１が構成される。
　画像データ領域Ａ１１を構成する各ラインの前にはヘッダが付加され、ヘッダの前にはStart Codeが付加される。また、画像データ領域Ａ１１を構成する各ラインの後ろにはフッタがオプションで付加され、フッタの後ろにはEnd Codeなどの後述する制御コードが付加される。フッタが付加されない場合、画像データ領域Ａ１１を構成する各ラインの後ろにEnd Codeなどの制御コードが付加される。
　撮像部２１により撮像された１フレームの画像をイメージセンサ１１からDSP１２に伝送する毎に、図４に示すフォーマットのデータ全体が伝送データとして伝送される。
　図４の上側の帯は下側に示す伝送データの伝送に用いられるパケットの構造を示している。水平方向の画素の並びをラインとすると、パケットのペイロードには、画像データ領域Ａ１１の１ラインを構成する画素のデータが格納される。１フレームの画像データ全体の伝送は、画像データ領域Ａ１１の垂直方向の画素数以上の数のパケットを用いて行われることになる。
　１ライン分の画素データが格納されたペイロードに、ヘッダとフッタが付加されることによって１パケットが構成される。後に詳述するように、ヘッダには、Frame Start, Frame End, Line Valid, Line Number, ECCなどの、ペイロードに格納されている画素データの付加的な情報が含まれる。各パケットには、制御コードであるStart CodeとEnd Codeが少なくとも付加される。
　このように、１フレームの画像を構成する画素データをライン毎に伝送するフォーマットを採用することによって、ヘッダ等の付加的な情報やStart Code, End Codeなどの制御コードをライン毎のブランキング期間中に伝送することが可能になる。
＜送信部２２と受信部３１の構成＞
　次に、図５を参照して、送信部２２と受信部３１の構成例について説明する。
　図５の左側に破線で囲んで示す構成が送信部２２の構成であり、右側に破線で囲んで示す構成が受信部３１の構成である。送信部２２と受信部３１は、それぞれ、リンクレイヤの構成と物理レイヤの構成からなる。実線Ｌ２より上側に示す構成がリンクレイヤの構成であり、実線Ｌ２より下側に示す構成が物理レイヤの構成である。
　なお、実線Ｌ１の上に示す構成はアプリケーションレイヤの構成である。システム制御部５１、フレームデータ入力部５２、レジスタ５３、および圧縮部５４は撮像部２１において実現される。システム制御部５１は、送信部２２のLINK-TXプロトコル管理部６１と通信を行い、フレームフォーマットに関する情報を提供するなどして画像データの伝送を制御する。フレームデータ入力部５２は、ユーザによる指示などに応じて撮像を行い、撮像を行うことによって得られた画像を構成する各画素のデータを、圧縮部５４を介して送信部２２の変換部６２に供給する。圧縮部５４は、各画素のデータのビット数を、所定のビット数に圧縮して、圧縮した画素のデータを送信部２２の変換部６２に供給する。レジスタ５３は、圧縮部５４における圧縮率、変換部６２における変換のビット数、およびLane数等の情報を記憶する。レジスタ５３に記憶されている情報に従って圧縮された画像データの送信処理が行われる。
　また、アプリケーションレイヤの構成のうちのフレームデータ出力部１４１、レジスタ１４２、システム制御部１４３、および伸張部１４４は画像処理部３２において実現される。フレームデータ出力部１４１は、受信部３１から供給された各ラインの画素データであって、伸張部１４４により伸張された画素データに基づいて１フレームの画像を生成し、出力する。フレームデータ出力部１４１から出力された画像を用いて各種の処理が行われる。レジスタ１４２は、伸張部１４４における伸張率、変換部１２５における変換のビット数、およびLane数などの、画像データの受信に関する各種の設定値を記憶する。レジスタ１４２に記憶されている情報に従って画像データの受信処理が行われる。システム制御部１４３は、LINK-RXプロトコル管理部１２１と通信を行い、モードチェンジ等のシーケンスを制御する。
　伸張部１４４は、圧縮部５４の圧縮率に対応して各ラインの画素データを伸張する。また、イメージセンサ１１のシステム制御部５１と、DSP１２のシステム制御部１４３とは、シリアル通信により、レジスタ５３に記憶される、圧縮部５４における圧縮率、伸張部１４４が対応すべき圧縮率、変換部６２，１２５における変換のビット数、およびLane数等の情報を、送受信し、それぞれがレジスタ５３，１４２に設定する。このとき、DSP１２のシステム制御部１４３は、図示せぬユーザの入力を受け付ける操作信号に基づいて、元画像データフォーマットのビット数や圧縮データフォーマットのビット数などの情報を受け付けて、イメージセンサ１１のシステム制御部５１に対して設定すべき、圧縮率、および変換部６２，１２５の変換率を設定する。または、システム制御部１４３は、撮像部２１により撮像されるISO（国際標準化機構）感度により、高感度撮像するような場合、ノイズの影響を受けやすいので、画素データフォーマットの圧縮率を低くするように設定し、逆に、低感度であるような場合、ノイズの影響は小さいので、高圧縮率に設定するといったように、撮像条件に応じて圧縮率を設定するようにする。
　はじめに、送信部２２のリンクレイヤの構成について説明する。
　送信部２２には、リンクレイヤの構成として、LINK-TXプロトコル管理部６１、変換部６２、ペイロードECC挿入部６３、パケット生成部６４、およびレーン分配部６５が設けられる。LINK-TXプロトコル管理部６１は、状態制御部７１、ヘッダ生成部７２、データ挿入部７３、およびフッタ生成部７４から構成される。
　LINK-TXプロトコル管理部６１の状態制御部７１は、送信部２２のリンクレイヤの状態を管理する。
　ヘッダ生成部７２は、１ライン分の画素データが格納されたペイロードに付加されるヘッダを生成し、パケット生成部６４に出力する。
　図６は、ヘッダ生成部７２により生成されるヘッダの構造を示す図である。
　上述したように、１パケット全体は、ヘッダと、１ライン分の画素データであるペイロードデータから構成される。パケットにはフッタが付加されることもある。ヘッダは、ヘッダ情報とHeader ECCから構成される。
　ヘッダ情報には、Frame Start, Frame End, Line Valid, Line Number, Reservedが含まれる。各情報の内容と情報量を図７に示す。
　Frame Startは、フレームの先頭を示す１ビットの情報である。図４の画像データ領域Ａ１１の１ライン目の画素データの伝送に用いられるパケットのヘッダのFrame Startには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Startには０の値が設定される。
　Frame Endは、フレームの終端を示す１ビットの情報である。有効画素領域Ａ１の終端ラインの画素データをペイロードに含むパケットのヘッダのFrame Endには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのFrame Endには０の値が設定される。
　Frame StartとFrame Endが、フレームに関する情報であるフレーム情報となる。
　Line Validは、ペイロードに格納されている画素データのラインが有効画素のラインであるのか否かを表す１ビットの情報である。有効画素領域Ａ１内のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには１の値が設定され、他のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには０の値が設定される。
　Line Numberは、ペイロードに格納されている画素データにより構成されるラインのライン番号を表す１３ビットの情報である。
　Line ValidとLine Numberが、ラインに関する情報であるライン情報となる。
　Reservedは拡張用の32ビットの領域である。ヘッダ情報全体のデータ量は６バイトになる。
　図６に示すように、ヘッダ情報に続けて配置されるHeader ECCには、６バイトのヘッダ情報に基づいて計算された２バイトの誤り検出符号であるCRC(Cyclic Redundancy Check)符号が含まれる。また、Header ECCには、CRC符号に続けて、ヘッダ情報とCRC符号の組である８バイトの情報と同じ情報が２つ含まれる。
　すなわち、１つのパケットのヘッダには、同じヘッダ情報とCRC符号の組が３つ含まれる。ヘッダ全体のデータ量は、１組目のヘッダ情報とCRC符号の組の８バイトと、２組目のヘッダ情報とCRC符号の組の８バイトと、３組目のヘッダ情報とCRC符号の組の８バイトとの、あわせて２４バイトになる。
　図８は、ヘッダ情報とCRC符号の１つの組を構成する８バイトのビット配列の例を示す図である。
　ヘッダを構成する８バイトのうちの１番目の１バイトであるバイトＨ７には、１ビット目から順に、Frame Start, Frame End, Line Validの各１ビットと、Line Numberの１３ビットのうちの１～５ビット目が含まれる。また、２番目の１バイトであるバイトＨ６には、Line Numberの１３ビットのうちの６～１３ビット目が含まれる。
　３番目の１バイトであるバイトＨ５から６番目の１バイトであるバイトＨ２がReservedとなる。７番目の１バイトであるバイトＨ１と８番目の１バイトであるバイトＨ０にはCRC符号の各ビットが含まれる。
　図５の説明に戻り、ヘッダ生成部７２は、システム制御部５１による制御に従ってヘッダ情報を生成する。例えば、システム制御部５１からは、フレームデータ入力部５２が出力する画素データのライン番号を表す情報や、フレームの先頭、終端を表す情報が供給される。
　また、ヘッダ生成部７２は、ヘッダ情報を生成多項式に適用してCRC符号を計算する。ヘッダ情報に付加されるCRC符号の生成多項式は、例えば以下の式（１）により表される。
Figure JPOXMLDOC01-appb-M000001
　ヘッダ生成部７２は、ヘッダ情報にCRC符号を付加することによってヘッダ情報とCRC符号の組を生成し、同じヘッダ情報とCRC符号の組を３組繰り返して配置することによってヘッダを生成する。ヘッダ生成部７２は、生成したヘッダをパケット生成部６４に出力する。
　データ挿入部７３は、スタッフィング（stuffing）に用いられるデータを生成し、変換部６２とレーン分配部６５に出力する。変換部６２に供給されたスタッフィングデータであるペイロードスタッフィングデータは、変換部６２による変換後の画素データに付加され、ペイロードに格納される画素データのデータ量の調整に用いられる。また、レーン分配部６５に供給されたスタッフィングデータであるレーンスタッフィングデータは、レーン割り当て後のデータに付加され、レーン間のデータ量の調整に用いられる。
　フッタ生成部７４は、システム制御部５１による制御に応じて、適宜、ペイロードデータを生成多項式に適用して３２ビットのCRC符号を計算し、計算により求めたCRC符号をフッタとしてパケット生成部６４に出力する。フッタとして付加されるCRC符号の生成多項式は、例えば、以下の式（２）により表される。
Figure JPOXMLDOC01-appb-M000002
　変換部６２は、フレームデータ入力部５２から供給された画素データであって、圧縮部５４により圧縮された圧縮データを取得し、各画素の圧縮データを１バイト単位のデータに変換する。例えば、撮像部２１により撮像された画像の各画素の画素値（RGB）の圧縮データは、８ビット、１０ビット、１２ビット、１４ビット、１６ビットのうちのいずれかのビット数で表される。
　図５の変換部６２は、このような変換を例えばラインの左端の画素から順に各画素を対象として行う。また、変換部６２は、変換によって得られたバイト単位の圧縮データに、データ挿入部７３から供給されたペイロードスタッフィングデータを付加することによってペイロードデータを生成し、ペイロードECC挿入部６３に出力する。
　変換部６２による変換後の圧縮データは、変換によって得られた順に、所定の数のグループにグループ化される。
　送信部２２のリンクレイヤにおいては、このようにしてグループ化が行われた後、クロック信号によって規定される期間毎に、各グループにおいて同じ位置にある圧縮データを対象として処理が並行して行われる。
　上述したように、１つのパケットのペイロードには１ラインの画素データに対応する圧縮データが含まれる。
　１ライン分の画素データに対応する圧縮データがグループ化された後、各グループのデータ長が同じ長さになるように、ペイロードスタッフィングデータが付加される。ペイロードスタッフィングデータは１バイトのデータである。
　ペイロードECC挿入部６３は、変換部６２から供給されたペイロードデータに基づいて、ペイロードデータの誤り訂正に用いられる誤り訂正符号を計算し、計算により求めた誤り訂正符号であるパリティをペイロードデータに挿入する。誤り訂正符号として、例えばリードソロモン符号が用いられる。なお、誤り訂正符号の挿入はオプションであり、例えば、ペイロードECC挿入部６３によるパリティの挿入と、フッタ生成部７４によるフッタの付加はいずれか一方のみを行うことが可能とされる。
　ペイロードECC挿入部６３は、パリティを挿入したペイロードデータをパケット生成部６４に出力する。パリティの挿入が行われない場合、変換部６２からペイロードECC挿入部６３に供給されたペイロードデータは、そのままパケット生成部６４に出力される。
　パケット生成部６４は、ペイロードECC挿入部６３から供給されたペイロードデータに、ヘッダ生成部７２により生成されたヘッダを付加することによってパケットを生成する。フッタ生成部７４によりフッタの生成が行われている場合、パケット生成部６４は、ペイロードデータにフッタを付加することも行う。
　パケット生成部６４は、生成した１パケットを構成するデータであるパケットデータをレーン分配部６５に出力する。レーン分配部６５に対しては、ヘッダデータとペイロードデータからなるパケットデータ、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ、または、ヘッダデータと、パリティが挿入されたペイロードデータからなるパケットデータが供給されることになる。図６のパケット構造は論理的なものであり、リンクレイヤ、物理レイヤにおいては、図６の構造を有するパケットのデータがバイト単位で処理される。
　レーン分配部６５は、パケット生成部６４から供給されたパケットデータを、先頭のデータから順に、Lane0～7のうちのデータ伝送に用いる各レーンに割り当てる。
　レーン分配部６５は、このようにして各レーンに割り当てたパケットデータを物理レイヤに出力する。以下、Lane0～7の８レーンを用いてデータを伝送する場合について主に説明するが、データ伝送に用いるレーンの数が他の数の場合であっても同様の処理が行われる。
　次に、送信部２２の物理レイヤの構成について説明する。
　送信部２２には、物理レイヤの構成として、PHY-TX状態制御部８１、クロック生成部８２、信号処理部８３－０乃至８３－Ｎが設けられる。信号処理部８３－０は、制御コード挿入部９１、8B10Bシンボルエンコーダ９２、同期部９３、および送信部９４から構成される。レーン分配部６５から出力された、Lane0に割り当てられたパケットデータは信号処理部８３－０に入力され、Lane1に割り当てられたパケットデータは信号処理部８３－１に入力される。また、LaneNに割り当てられたパケットデータは信号処理部８３－Ｎに入力される。
　このように、送信部２２の物理レイヤには、信号処理部８３－０乃至８３－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送するパケットデータの処理が、信号処理部８３－０乃至８３－Ｎのそれぞれにおいて並行して行われる。信号処理部８３－０の構成について説明するが、信号処理部８３－１乃至８３－Ｎも同様の構成を有する。
　PHY-TX状態制御部８１は、信号処理部８３－０乃至８３－Ｎの各部を制御する。例えば、信号処理部８３－０乃至８３－Ｎにより行われる各処理のタイミングがPHY-TX状態制御部８１により制御される。
　クロック生成部８２は、クロック信号を生成し、信号処理部８３－０乃至８３－Ｎのそれぞれの同期部９３に出力する。
　信号処理部８３－０の制御コード挿入部９１は、レーン分配部６５から供給されたパケットデータに対して制御コードを付加する。制御コードは、予め用意された複数種類のシンボルの中から選択された１つのシンボルにより、または複数種類のシンボルの組み合わせにより表されるコードである。制御コード挿入部９１により挿入される各シンボルは８ビットのデータである。後段の回路で8B10B変換が施されることによって、制御コード挿入部９１により挿入された１シンボルは１０ビットのデータになる。一方、受信部３１においては後述するように受信データに対して10B8B変換が施されるが、受信データに含まれる10B8B変換前の各シンボルは１０ビットのデータであり、10B8B変換後の各シンボルは８ビットのデータになる。
　制御コードには、Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, Standby Codeがある。
　Idle Codeは、パケットデータの伝送時以外の期間に繰り返し送信されるシンボル群である。Idle Codeは、8B10B CodeであるD CharacterのD00.0（00000000）で表される。
　Start Codeは、パケットの開始を示すシンボル群である。上述したように、Start Codeはパケットの前に付加される。Start Codeは、３種類のK Characterの組み合わせであるK28.5, K27.7, K28.2, K27.7の４シンボルで表される。
　End Codeは、パケットの終了を示すシンボル群である。上述したように、End Codeはパケットの後ろに付加される。End Codeは、３種類のK Characterの組み合わせであるK28.5, K29.7, K30.7, K29.7の４シンボルで表される。
　Pad Codeは、画素データ帯域とPHY伝送帯域の差を埋めるためにペイロードデータ中に挿入されるシンボル群である。画素データ帯域は、撮像部２１から出力され、送信部２２に入力される圧縮された画素データの伝送レートであり、PHY伝送帯域は、送信部２２から送信され、受信部３１に入力される圧縮された画素データの伝送レートである。Pad Codeは、４種類のK Characterの組み合わせであるK23.7, K28.4, K28.6, K28.7の４シンボルで表される。
　Lane0に割り当てられたペイロードデータに対するPad Codeの挿入は信号処理部８３－０の制御コード挿入部９１により行われる。他のレーンに割り当てられたペイロードデータに対するPad Codeの挿入も同様に、信号処理部８３－１乃至８３－Ｎにおいてそれぞれ同じタイミングで行われる。Pad Codeの数は、画素データ帯域とPHY伝送帯域の差と、クロック生成部８２が生成するクロック信号の周波数などに基づいて決定される。
　このように、Pad Codeは、画素データ帯域が狭く、PHY伝送帯域が広い場合に、双方の帯域の差を調整するために挿入される。例えば、Pad Codeが挿入されることによって、画素データ帯域とPHY伝送帯域の差が一定の範囲内に収まるように調整される。
　Sync Codeは、送信部２２－受信部３１間のビット同期、シンボル同期を確保するために用いられるシンボル群である。Sync Codeは、K28.5, Any**の２シンボルで表される。Any**は、どの種類のシンボルが用いられてもよいことを表す。Sync Codeは、例えば送信部２２－受信部３１間でパケットデータの伝送が開始される前のトレーニングモード時に繰り返し送信される。
　Deskew Codeは、レーン間のData Skew、すなわち、受信部３１の各レーンで受信されるデータの受信タイミングのずれの補正に用いられるシンボル群である。Deskew Codeは、K28.5, Any**の２シンボルで表される。Deskew Codeを用いたレーン間のData Skewの補正については後述する。
　Standby Codeは、送信部２２の出力がHigh-Z（ハイインピーダンス）などの状態になり、データ伝送が行われなくなることを受信部３１に通知するために用いられるシンボル群である。すなわち、Standby Codeは、パケットデータの伝送を終了し、Standby状態になるときに受信部３１に対して伝送される。Standby Codeは、K28.5, Any**の２シンボルで表される。
　制御コード挿入部９１は、このような制御コードを付加したパケットデータを8B10Bシンボルエンコーダ９２に出力する。
　8B10Bシンボルエンコーダ９２は、制御コード挿入部９１から供給されたパケットデータ（制御コードが付加されたパケットデータ）に対して8B10B変換を施し、１０ビット単位のデータに変換したパケットデータを同期部９３に出力する。
　同期部９３は、8B10Bシンボルエンコーダ９２から供給されたパケットデータの各ビットを、クロック生成部８２により生成されたクロック信号に従って送信部９４に出力する。
　送信部９４は、Lane0を構成する伝送路を介して、同期部９３から供給されたパケットデータを受信部３１に送信する。８レーンを用いてデータ伝送が行われる場合、Lane1～7を構成する伝送路をも用いてパケットデータが受信部３１に送信される。
　次に、受信部３１の物理レイヤの構成について説明する。
　受信部３１には、物理レイヤの構成として、PHY-RX状態制御部１０１、信号処理部１０２－０乃至１０２－Ｎが設けられる。信号処理部１０２－０は、受信部１１１、クロック生成部１１２、同期部１１３、シンボル同期部１１４、10B8Bシンボルデコーダ１１５、スキュー補正部１１６、および制御コード除去部１１７から構成される。Lane0を構成する伝送路を介して送信されてきたパケットデータは信号処理部１０２－０に入力され、Lane1を構成する伝送路を介して送信されてきたパケットデータは信号処理部１０２－１に入力される。また、LaneNを構成する伝送路を介して送信されてきたパケットデータは信号処理部１０２－Ｎに入力される。
　このように、受信部３１の物理レイヤには、信号処理部１０２－０乃至１０２－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送されてきたパケットデータの処理が、信号処理部１０２－０乃至１０２－Ｎのそれぞれにおいて並行して行われる。信号処理部１０２－０の構成について説明するが、信号処理部１０２－１乃至１０２－Ｎも同様の構成を有する。
　受信部１１１は、Lane0を構成する伝送路を介して送信部２２から伝送されてきたパケットデータを表す信号を受信し、クロック生成部１１２に出力する。
　クロック生成部１１２は、受信部１１１から供給された信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。クロック生成部１１２は、受信部１１１から供給された信号を、クロック信号とともに同期部１１３に出力する。
　同期部１１３は、クロック生成部１１２により生成されたクロック信号に従って、受信部１１１において受信された信号のサンプリングを行い、サンプリングによって得られたパケットデータをシンボル同期部１１４に出力する。クロック生成部１１２と同期部１１３によりCDR(Clock Data Recovery)の機能が実現される。
　シンボル同期部１１４は、パケットデータに含まれる制御コードを検出することによって、または制御コードに含まれる一部のシンボルを検出することによってシンボル同期をとる。例えば、シンボル同期部１１４は、Start Code, End Code, Deskew Codeに含まれるK28.5のシンボルを検出し、シンボル同期をとる。シンボル同期部１１４は、各シンボルを表す１０ビット単位のパケットデータを10B8Bシンボルデコーダ１１５に出力する。
　また、シンボル同期部１１４は、パケットデータの伝送が開始される前のトレーニングモード時に送信部２２から繰り返し送信されてくるSync Codeに含まれるシンボルの境界を検出することによってシンボル同期をとる。
　10B8Bシンボルデコーダ１１５は、シンボル同期部１１４から供給された１０ビット単位のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータをスキュー補正部１１６に出力する。
　スキュー補正部１１６は、10B8Bシンボルデコーダ１１５から供給されたパケットデータからDeskew Codeを検出する。スキュー補正部１１６によるDeskew Codeの検出タイミングの情報はPHY-RX状態制御部１０１に供給される。
　また、スキュー補正部１１６は、Deskew Codeのタイミングを、PHY-RX状態制御部１０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。PHY-RX状態制御部１０１からは、信号処理部１０２－０乃至１０２－Ｎのそれぞれにおいて検出されたDeskew Codeのタイミングのうち、最も遅いタイミングを表す情報が供給されてくる。
　信号処理部１０２－１乃至１０２－Ｎのそれぞれにおいて同様の処理が行われることによって、レーン間のData Skewが補正される。
　スキュー補正部１１６は、Data Skewを補正したパケットデータを制御コード除去部１１７に出力する。
　制御コード除去部１１７は、パケットデータに付加された制御コードを除去し、Start CodeからEnd Codeまでの間のデータをパケットデータとしてリンクレイヤに出力する。
　PHY-RX状態制御部１０１は、信号処理部１０２－０乃至１０２－Ｎの各部を制御し、レーン間のData Skewの補正などを行わせる。また、PHY-RX状態制御部１０１は、所定のレーンで伝送エラーが起きて制御コードが失われた場合、失われた制御コードに代えて、他のレーンで伝送されてきた制御コードを付加することによって制御コードの誤り訂正を行う。
　次に、受信部３１のリンクレイヤの構成について説明する。
　受信部３１には、リンクレイヤの構成として、LINK-RXプロトコル管理部１２１、レーン統合部１２２、パケット分離部１２３、ペイロードエラー訂正部１２４、および変換部１２５が設けられる。LINK-RXプロトコル管理部１２１は、状態管理部１３１、ヘッダエラー訂正部１３２、データ除去部１３３、およびフッタエラー検出部１３４から構成される。
　レーン統合部１２２は、物理レイヤの信号処理部１０２－０乃至１０２－Ｎから供給されたパケットデータを、送信部２２のレーン分配部６５による各レーンへの分配順と逆順で並び替えることによって統合する。
　パケット分離部１２３は、レーン統合部１２２により統合された１パケット分のパケットデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータに分離する。パケット分離部１２３は、ヘッダデータをヘッダエラー訂正部１３２に出力し、ペイロードデータをペイロードエラー訂正部１２４に出力する。
　また、パケット分離部１２３は、パケットにフッタが含まれている場合、１パケット分のデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータとフッタデータを構成するパケットデータに分離する。パケット分離部１２３は、ヘッダデータをヘッダエラー訂正部１３２に出力し、ペイロードデータをペイロードエラー訂正部１２４に出力する。また、パケット分離部１２３は、フッタデータをフッタエラー検出部１３４に出力する。
　ペイロードエラー訂正部１２４は、パケット分離部１２３から供給されたペイロードデータにパリティが挿入されている場合、パリティに基づいて誤り訂正演算を行うことによってペイロードデータのエラーを検出し、検出したエラーの訂正を行う。
　ペイロードエラー訂正部１２４は、各Basic Block, Extra Blockを対象として誤り訂正を行うことによって得られた誤り訂正後の画素データの圧縮データを変換部１２５に出力する。パケット分離部１２３から供給されたペイロードデータにパリティが挿入されていない場合、パケット分離部１２３から供給されたペイロードデータはそのまま変換部１２５に出力される。
　変換部１２５は、ペイロードエラー訂正部１２４から供給されたペイロードデータに含まれるペイロードスタッフィングデータをデータ除去部１３３による制御に従って除去する。
　また、変換部１２５は、ペイロードスタッフィングデータを除去して得られたバイト単位の各画素データの圧縮データを、８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の圧縮データに変換する。変換部１２５においては、送信部２２の変換部６２による変換と逆の変換が行われる。
　変換部１２５は、変換によって得られた８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の圧縮された画素データを、伸張部１４４を介してフレームデータ出力部１４１に出力する。この際、伸張部１４４は、圧縮された画素データを伸張処理して元の画素データに復元し、フレームデータ出力部１４１に出力する。フレームデータ出力部１４１においては、例えば、ヘッダ情報のLine Validにより特定される有効画素の各ラインが変換部１２５により得られた画素データに基づいて生成され、ヘッダ情報のLine Numberに従って各ラインが並べられることによって１フレームの画像が生成される。
　LINK-RXプロトコル管理部１２１の状態管理部１３１は、受信部３１のリンクレイヤの状態を管理する。
　ヘッダエラー訂正部１３２は、パケット分離部１２３から供給されたヘッダデータに基づいてヘッダ情報とCRC符号の組を３組取得する。ヘッダエラー訂正部１３２は、ヘッダ情報とCRC符号の組の各組を対象として、ヘッダ情報のエラーを検出するための演算である誤り検出演算を、そのヘッダ情報と同じ組のCRC符号を用いて行う。
　また、ヘッダエラー訂正部１３２は、それぞれの組のヘッダ情報の誤り検出結果と、誤り検出演算により求められたデータの比較結果とのうちの少なくともいずれかに基づいて正しいヘッダ情報を推測し、正しいと推測したヘッダ情報と復号結果を出力する。誤り検出演算により求められたデータは、ヘッダ情報にCRCの生成多項式を適用することによって求められた値である。また、復号結果は、復号成功または復号失敗を表す情報である。
　ヘッダ情報とCRC符号の３つの組をそれぞれ組１、組２、組３とする。この場合、ヘッダエラー訂正部１３２は、組１を対象とした誤り検出演算によって、組１のヘッダ情報にエラーがあるか否か（誤り検出結果）と、誤り検出演算により求められたデータであるデータ１を取得する。また、ヘッダエラー訂正部１３２は、組２を対象とした誤り検出演算によって、組２のヘッダ情報にエラーがあるか否かと、誤り検出演算により求められたデータであるデータ２を取得する。ヘッダエラー訂正部１３２は、組３を対象とした誤り検出演算によって、組３のヘッダ情報にエラーがあるか否かと、誤り検出演算により求められたデータであるデータ３を取得する。
　また、ヘッダエラー訂正部１３２は、データ１とデータ２が一致するか否か、データ２とデータ３が一致するか否か、データ３とデータ１が一致するか否かをそれぞれ判定する。
　例えば、ヘッダエラー訂正部１３２は、組１、組２、組３を対象としたいずれの誤り検出演算によっても誤りが検出されず、誤り検出演算によって求められたデータのいずれの比較結果もが一致した場合、復号結果として、復号成功を表す情報を選択する。また、ヘッダエラー訂正部１３２は、いずれのヘッダ情報も正しいと推測し、組１のヘッダ情報、組２のヘッダ情報、組３のヘッダ情報のうちのいずれかを出力情報として選択する。
　一方、ヘッダエラー訂正部１３２は、組１を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組１のヘッダ情報が正しいと推測し、組１のヘッダ情報を出力情報として選択する。
　また、ヘッダエラー訂正部１３２は、組２を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組２のヘッダ情報が正しいと推測し、組２のヘッダ情報を出力情報として選択する。
　ヘッダエラー訂正部１３２は、組３を対象とした誤り検出演算でだけ誤りが検出されなかった場合、復号結果として、復号成功を表す情報を選択するとともに、組３のヘッダ情報が正しいと推測し、組３のヘッダ情報を出力情報として選択する。
　ヘッダエラー訂正部１３２は、以上のようにして選択した復号結果と出力情報をレジスタ１４２に出力し、記憶させる。このように、ヘッダエラー訂正部１３２によるヘッダ情報の誤り訂正は、複数のヘッダ情報の中から、エラーのないヘッダ情報をCRC符号を用いて検出し、検出したヘッダ情報を出力するようにして行われる。
　データ除去部１３３は、レーン統合部１２２を制御してレーンスタッフィングデータを除去し、変換部１２５を制御してペイロードスタッフィングデータを除去する。
　フッタエラー検出部１３４は、パケット分離部１２３から供給されたフッタデータに基づいて、フッタに格納されたCRC符号を取得する。フッタエラー検出部１３４は、取得したCRC符号を用いて誤り検出演算を行い、ペイロードデータのエラーを検出する。フッタエラー検出部１３４は、誤り検出結果を出力し、レジスタ１４２に記憶させる。
＜イメージセンサ１１とDSP１２の動作＞
　次に、以上のような構成を有する送信部２２と受信部３１の一連の処理について説明する。
　はじめに、図９のフローチャートを参照して、伝送システム１を有する撮像装置の動作について説明する。図９の処理は、例えば、撮像装置に設けられたシャッタボタンが押されるなどして撮像の開始が指示されたときに開始される。
　ステップＳ１において、イメージセンサ１１の撮像部２１は撮像を行う。撮像部２１のフレームデータ入力部５２（図５）は、撮像によって得られた１フレームの画像を構成する画素データを、１画素のデータずつ順に圧縮部５４で圧縮データに変換させた後、送信部２２に出力する。
　ステップＳ２において、送信部２２によりデータ送信処理が行われる。データ送信処理により、１ライン分の画素データをペイロードに格納したパケットが生成され、パケットを構成するパケットデータが受信部３１に対して送信される。データ送信処理については図１０のフローチャートを参照して後述する。
　ステップＳ３において、受信部３１によりデータ受信処理が行われる。データ受信処理により、送信部２２から送信されてきたパケットデータが受信され、ペイロードに格納されている画素データの圧縮データが画像処理部３２に出力される。データ受信処理については図１２のフローチャートを参照して後述する。
　ステップＳ２において送信部２２により行われるデータ送信処理と、ステップＳ３において受信部３１により行われるデータ受信処理は、１ライン分の画素データを対象として交互に行われる。すなわち、ある１ラインの画素データがデータ送信処理によって送信されたとき、データ受信処理が行われ、データ受信処理によって１ラインの画素データが受信されたとき、次の１ラインの画素データを対象としてデータ送信処理が行われる。送信部２２によるデータ送信処理と、受信部３１によるデータ受信処理は、適宜、時間的に並行して行われることもある。ステップＳ４において、画像処理部３２のフレームデータ出力部１４１は、１フレームの画像を構成する全てのラインの画素データの送受信が終了したか否かを判定し、終了していないと判定した場合、ステップＳ２以降の処理を繰り返し行わせる。
　１フレームの画像を構成する全てのラインの画素データの送受信が終了したとステップＳ４において判定した場合、ステップＳ５において、画像処理部３２のフレームデータ出力部１４１は、受信部３１から供給された画素データに基づいて１フレームの画像を生成する。
　ステップＳ６において、画像処理部３２は、１フレームの画像を用いて画像処理を行い、処理を終了させる。
＜データ送信処理＞
　次に、図１０のフローチャートを参照して、図９のステップＳ２において行われるデータ送信処理について説明する。尚、図９においては、ステップＳ１の処理において、画素データが圧縮された後、変換部６２に供給されるものとして説明されているが、説明の便宜上、データ送信処理において画素のデータが圧縮データにされる処理を含むものとして説明を進めるものとする。従って、ステップＳ１においては、画素データが圧縮部５４に供給されるまでの処理であるものとする。
　ステップＳ１１において、ヘッダ生成部７２は、Frame Start, Frame End, Line Valid, Line Number, Reservedからなるヘッダ情報を生成する。
　ステップＳ１２において、ヘッダ生成部７２は、ヘッダ情報を生成多項式に適用してCRC符号を計算する。
　ステップＳ１３において、ヘッダ生成部７２は、ヘッダ情報にCRC符号を付加することによってヘッダ情報とCRC符号の組を生成し、同じヘッダ情報とCRC符号の組を３組繰り返して配置することによってヘッダを生成する。
　ステップＳ１４において、圧縮部５４は、フレームデータ入力部５２から供給された画像を圧縮して、変換部６２に供給する。
　より具体的には、圧縮部５４は、例えば、元の画像の画素データが１２ビットの元画像データフォーマットである場合であって、このデータフォーマットを１２ビットから６ビットに圧縮するとき、図１１で示される最左列で示される元画像データフォーマットを、左から２列目で示されるように圧縮する。図１１においては、最左列が元画像データフォーマットであり、左から２列目が圧縮された圧縮データフォーマットである。また、３列目は、後述する処理により、変換部６２により圧縮データフォーマットからレーン数に対応して変換された伝送用データフォーマットであり、右から２列目が、後述する処理により伝送用データフォーマットから逆変換された圧縮データフォーマットであり、最右列が、圧縮データフォーマットが伸張された元画像データフォーマットを示している。また、最左列の場合、D_N[11]がMSBを表し、数字の最も小さいD_N[0]がLSBを表し、その他の列についても同様に表される。
　すなわち、圧縮部５４は、図１１の最左列で示される元画像の画素N（Pixel4*N）および画素N+1（Pixel4*N+1）の画素データを表すデータD_N[0]～[11]，D_N+1[0]～[11]のそれぞれの１２ビットを、図１１の左から２列目で示されるように、データCOMP_N[0]～[5]とデータCOMP_N+1[0]～[5]からなるそれぞれ６ビットのデータに圧縮し、さらにそれぞれ６ビットの２画素分のデータを元画像の１画素に相当する１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData2*Nに変換する。ここで、変換されたデータData2*Nを構成する２画素分の圧縮データを含む圧縮データフォーマットは、元画像における１画素の元画像データフォーマットと同様である。従って、図１１の左から２列目の圧縮データは、１画素分の元画像データフォーマットに、圧縮された２画素分の圧縮データフォーマットからなるデータが配置されたものとなる。
　また、同様に、図１１の最左列で示される元画像の画素N+2（Pixel4*N+2）および画素N+3（Pixel4*N+3）の画素データを表す、それぞれ１２ビットのデータD_N+2[0]～[11]，D_N+3[0]～[11]が、図１１の左から２列目で示されるように、データCOMP_N+2[0]～[5]と、データCOMP_N+3[0]～[5]とからなる６ビットの圧縮データに圧縮され、さらに、２画素分の圧縮データフォーマットからなる６ビットの圧縮データが、元画像データフォーマットの１画素分のデータに相当する１２ビットの圧縮データフォーマットに配置されることでデータData2*N+1に変換される。
　このように、圧縮部５４においては、１２ビットの元画像データフォーマットの元画像データが、規定のビット数の圧縮データフォーマットに圧縮されて、元画像の画素データフォーマットと同一の圧縮データフォーマット上に再配置される。この結果、データフォーマットについては、元画像データフォーマットが維持されつつも、１画素に相当するデータフォーマットには２画素分の圧縮データフォーマットの圧縮データが記録されることで、全体として画素データが圧縮される。
　ステップＳ１５において、変換部６２は、フレームデータ入力部５２から供給され、圧縮部５４により圧縮された圧縮データを取得し、変換を行う。変換部６２は、変換によって得られたバイト単位の画素データのグループ化、ペイロードスタッフィングデータの付加などを行うことによって生成したペイロードデータを出力する。ペイロードデータに対しては、適宜、ペイロードECC挿入部６３によりパリティが挿入される。
　すなわち、圧縮部５４より供給されてきた圧縮データが、例えば、図１１の左から２列目で示されるように、データCOMP_N[0]～[5]とデータCOMP_N+1[0]～[5]とからなる２つの６ビットからなる圧縮データフォーマットのデータData2*N、並びに、データCOMP_N+2[0]～[5]と、データCOMP_N+3[0]～[5]とからなる２つの６ビットからなる圧縮データフォーマットのデータData2*N+1である場合、変換部６２は、図１１の左から２列目で示される圧縮データData2*N，Data2*N+1を、図１１の左から３列目で示される伝送データフォーマットからなるデータByte3*N乃至Byte3*N+2に変換する。すなわち、変換部６２は、圧縮データフォーマットからなるデータData2*Nの上位８ビット分となるデータCOMP_N[0]～[5]およびCOMP_N+1[4]～[5]を、伝送データフォーマットからなるデータByte3*Nとして配置する。次に、変換部６２は、圧縮データData2*N+1の上位８ビット分となるCOMP_N+2[0]～[5]およびCOMP_N+3[4]～[5]を、伝送データフォーマットからなるデータByte3*N+1として配置する。さらに、変換部６２は、圧縮データData2*Nの下位４ビットの圧縮データCOMP_N+1[0]～[3]、並びに圧縮データData2*N+1の下位４ビットの圧縮データCOMP_N+3[0]～[3]を、伝送データフォーマットからなるデータByte3*N+2として配置する。
　以上のような処理により、圧縮された画素データが、バイト単位の画素データにグループ化される。
　ステップＳ１６において、パケット生成部６４は、１ライン分の画素データに対応する圧縮画像データを含むペイロードデータと、ヘッダ生成部７２により生成されたヘッダに基づいてパケットを生成し、１パケットを構成するパケットデータを出力する。
　ステップＳ１７において、レーン分配部６５は、パケット生成部６４から供給されたパケットデータを、データ伝送に用いられる複数のレーンに割り当てる。
　ステップＳ１８において、制御コード挿入部９１は、レーン分配部６５から供給されたパケットデータに制御コードを付加する。
　ステップＳ１９において、8B10Bシンボルエンコーダ９２は、制御コードが付加されたパケットデータの8B10B変換を行い、１０ビット単位のデータに変換したパケットデータを出力する。
　ステップＳ２０において、同期部９３は、8B10Bシンボルエンコーダ９２から供給されたパケットデータを、クロック生成部８２により生成されたクロック信号に従って出力し、送信部９４から送信させる。ステップＳ１８乃至Ｓ２０の処理は信号処理部８３－０乃至８３－Ｎにより並行して行われる。１ライン分の画素データの送信が終了したとき、図１０のステップＳ２に戻りそれ以降の処理が行われる。
＜データ受信処理＞
　次に、図１２のフローチャートを参照して、図９のステップＳ３において行われるデータ受信処理について説明する。
　ステップＳ３１において、受信部１１１は、送信部２２から伝送されてきたパケットデータを表す信号を受信する。ステップＳ３１乃至Ｓ３６の処理は信号処理部１０２－０乃至１０２－Ｎにより並行して行われる。
　ステップＳ３２において、クロック生成部１１２は、受信部１１１から供給された信号のエッジを検出することによってビット同期をとる。同期部１１３は、受信部１１１において受信された信号のサンプリングを行い、パケットデータをシンボル同期部１１４に出力する。
　ステップＳ３３において、シンボル同期部１１４は、パケットデータに含まれる制御コードを検出するなどしてシンボル同期をとる。
　ステップＳ３４において、10B8Bシンボルデコーダ１１５は、シンボル同期後のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータを出力する。
　ステップＳ３５において、スキュー補正部１１６は、Deskew Codeを検出し、上述したように、Deskew CodeのタイミングをPHY-RX状態制御部１０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。
　ステップＳ３６において、制御コード除去部１１７は、パケットデータに付加された制御コードを除去する。
　ステップＳ３７において、レーン統合部１２２は、信号処理部１０２－０乃至１０２－Ｎから供給されたパケットデータを統合する。
　ステップＳ３８において、パケット分離部１２３は、レーン統合部１２２により統合されたパケットデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータに分離する。
　ステップＳ３９において、ヘッダエラー訂正部１３２は、パケット分離部１２３により分離されたヘッダデータに含まれるヘッダ情報とCRC符号の各組を対象としてCRC符号を用いた誤り検出演算を行う。また、ヘッダエラー訂正部１３２は、各組の誤り検出結果と、誤り検出演算により求められたデータの比較結果とに基づいてエラーのないヘッダ情報を選択し、出力する。
　ステップＳ４０において、変換部１２５は、ペイロードデータを変換し、８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の規定ビット数の圧縮データフォーマットに変換して伸張部１４４に出力する。変換の対象となるペイロードデータに対しては、適宜、パリティを用いた誤り訂正がペイロードエラー訂正部１２４により行われる。ここでは、１２ビットの圧縮データフォーマットに変換されるものとする。
　ここで、変換部１２５は、ペイロードデータが、例えば、図１１の左から３列目で示されるような伝送データフォーマットからなるデータByte3*N乃至Byte3*N+2である場合、図１１の右から２列目で示されるような圧縮データフォーマットからなる圧縮データData2*N，Data2*N+1に変換する。
　より詳細には、変換部１２５は、伝送データフォーマットからなるデータByte3*NのデータCOMP_N[0]～[5]およびCOMP_N+1[4]～[5]と、データByte3*N+2のデータCOMP_N+1[0]～[3]とを用いて、６ビットの２画素分のデータCOMP_N[0]～[5]およびCOMP_N+1[0]～[5]を、１画素分の１２ビットからなる元画像データフォーマットと同一の圧縮データフォーマットに再配置して圧縮データData2*Nを構成する。同様に、変換部１２５は、伝送データフォーマットからなるデータByte3*N+1のデータCOMP_N+2[0]～[5]およびCOMP_Nｓ+3[4]～[5]と、伝送データフォーマットからなるデータByte3*N+2のデータCOMP_N+3[0]～[3]とを用いて、６ビットの２画素分のデータCOMP_N+2[0]～[5]およびCOMP_N+3[0]～[5]を、圧縮データフォーマットに再配置してデータData2*N+1を構成する。
　ステップＳ４１において、伸張部１４４は、圧縮データフォーマットの圧縮データを伸張して、元画像の画素データに復元し、出力する。
　そして、１ライン分の画素データの処理が終了したとき、図９のステップＳ３に戻りそれ以降の処理が行われる。
　より詳細には、変換部１２５より供給されるデータが、例えば、図１１の右から２列目で示される、１画素分の元画像データフォーマットに相当する、２画素分の圧縮データフォーマットからなる圧縮データが再配置されて構成されたデータData2*N，Data2*N+1である場合、伸張部１４４は、圧縮データData2*N，Data2*N+1を、図１１の最右列で示されるような元画像の１２ビットからなる画素Pixel4*N乃至Pixel4*N+3に伸張する。
　すなわち、伸張部１４４は、１２ｓビットからなる１画素分の元画像データフォーマットに相当する圧縮データフォーマットに、２ｓ画素分の圧縮されたデータCOMP_Nｓ[0ｓ]～[5]およびCOMPｓ_Nｓ+1ｓ[0]～[5ｓ]が配置されて構成されるデータData2ｓ*Nｓを、それぞれ１２ビットの元画像データフォーマットからなる２ｓ画素分のデータD_Nｓ[0]～[11ｓ]、およびデータDｓ_N+1ｓ[0]～[11ｓ]に伸張し、それぞれ１２ｓビットの１画素分の元画像データフォーマットからなる画素データPixel4ｓ*Nｓ,Pixel4ｓ*N+1ｓとして出力する。また、同様に、伸張部１４４は、１２ビットからなる１ｓ画素分の元画像データフォーマットに相当する圧縮データフォーマットに、２ｓ画素分の圧縮されたデータCOMP_Nｓ+2[0ｓ]～[5ｓ]およびCOMPｓ_N+3ｓ[0]～[5ｓ]が配置されて構成されるデータData2ｓ*Nｓ+1を、それぞれ１２ビットの元画像データフォーマットからなる画素データDｓ_N+2ｓ[0ｓ]～[11]、および画素データD_Nｓ+3ｓ[0]～[11ｓ]に伸張し、それぞれ１２ビットの１ｓ画素分の元画像データフォーマットからなる画素データPixel4ｓ*Nｓ+2,Pixel4ｓ*N+3ｓとして出力する。
　イメージセンサ１１とDSP１２の間でのデータ伝送は、以上のように、１ｓフレームの１ラインが１パケットに相当するパケットフォーマットを用いて行われる。
　イメージセンサ１１ｓとDSP１２間のデータ伝送に用いられるパケットフォーマットは、ヘッダ情報や、Start Codeｓ, End Codeｓ等のパケット境界を示す制御コードの伝送を最小限に抑えるフォーマットといえ、伝送効率の低下を防ぐことが可能になる。仮に、１パケットのペイロードに格納される画素データが１ｓラインより少ないパケットフォーマットを採用した場合、１フレーム全体の画素データを伝送するためにはより多くのパケットを伝送する必要があり、伝送するヘッダ情報や制御コードの数が多くなる分、伝送効率が低下してしまう。
　また、伝送効率の低下を防ぐことによって伝送レイテンシを抑えることが可能となり、大量の画像データを高速に伝送する必要がある高画素・高フレームレートのインタフェースを実現することができる。
　伝送の信頼度／冗長度を上げて受信部３１側で誤り訂正を行うことを前提にしたパケットフォーマットを採用することによって、ヘッダ情報の伝送エラー対策を確保することが可能になる。Frame/Line（Vｓ/H）の同期情報等の伝送がヘッダ情報を用いて行われるため、ヘッダ情報が伝送エラーで失われると、システム上、大きな不具合となる可能性があるが、そのようなことを防ぐことができる。
　また、ヘッダ情報の伝送エラー対策を確保するための実装コストや消費電力の増大を抑えることもできる。すなわち、イメージセンサ１１とDSP１２ｓ間のデータ伝送に用いられるパケットフォーマットは、CRC符号が付加されていることで、ヘッダ情報の伝送エラーの有無をDSP１２ｓにおいて検出することができるようになっている。また、ヘッダ情報とCRC符号の組を３組伝送することで、ヘッダ情報の伝送エラーが生じた場合にDSP１２ｓにおいて正しいヘッダ情報に訂正することができるようになっている。
　仮に、ヘッダ情報の伝送エラー対策として誤り訂正符号を用いるとした場合、誤り訂正符号の計算を行う回路を送信部２２に用意するとともに、誤り訂正演算を行う回路を受信部３１に用意する必要があることになる。ヘッダ情報に付加されるのは誤り検出符号であるCRC符号であるため、誤り訂正に関する演算を行う回路を用意する場合に較べて、回路規模、消費電力を小さくすることができる。また、ヘッダ情報の誤りを検出した場合にヘッダ情報の再送を受信部３１ｓが送信部２２ｓに対して要求することも行われないため、再送要求のための逆方向の伝送路を用意する必要がない。
　冗長度を上げ、8B10Bコードの複数のK Characterを組み合わせて制御コードを構成することによって、制御コードのエラー確率を低減させることができ、これにより、比較的簡単な回路で制御コードの伝送エラー対策を確保することが可能になる。
　具体的には、Startｓ Codeには３種類のK Characterを４ｓシンボル組み合わせて用いているが、少なくともK28.5以外のシンボルを検出できれば受信部３１ｓにおいてStart Codeを特定することができ、伝送エラーに対する耐性が高いといえる。Endｓ Codeについても同様である。
　また、Pad Codeに４ｓ種類のK Characterを組み合わせて用いているが、他の制御コードより多くの種類のKｓ Characterを割り当てることによって、他の制御コードよりエラー耐性を上げることが可能になる。すなわち、４種類のうちの１種類のシンボルを検出できれば受信部３１ｓにおいてPad Codeを特定することができる。Padｓ Codeは、伝送頻度がStart CodeやEndｓ Codeなどよりも高いため、よりエラー耐性を上げることができる構造を持たせている。
　さらに、レーン毎に、同じ制御コードを同じタイミングで伝送することによって、１ｓつのレーンで伝送エラーが起きて制御コードが失われた場合でも、他のレーンの制御コードを使って、エラーとなった制御コードを再現することができる。
　また、K Characterの数が限られているため、必要最小限のK Characterを組合せてそれぞれの制御コードを構成するようになされている。例えば、繰り返し送信することによって伝送エラーを比較的許容できるSyncｓ Code, Deskewｓ Code, Standbyｓ Codeについては、Kｓ Characterを追加で割り当てる必要がないようなデータ構造を用いている。
　再同期させるために必要な制御コードが１パケット（１ライン）毎に割り当てられているため、静電気等の外乱やノイズなどによりビット同期が外れてしまった場合に再同期を迅速にとることができる。また、同期外れによる伝送エラーの影響を最小限に抑えることができる。
　具体的には、クロック生成部１１２ｓと同期部１１３により実現されるCDRｓにおいて8B10B変換後のビットデータの遷移／エッジを検出することでビット同期をとることができる。送信部２２がデータを送り続けていれば、CDRｓロック時間として想定された期間内でビット同期をとることができることになる。
　また、シンボル同期が外れてしまった場合でも、特定のK Character（K28.5ｓ）をシンボル同期部１１４において検出することによって再同期を迅速にとることができる。K28.5はStart Codeｓ, End Codeｓ, Deskewｓ Codeにそれぞれ用いられているから、１パケット分のパケットデータの伝送期間中に、３箇所でシンボル同期をとることが可能になる。
　また、Deskewｓ Codeを用いてレーン間のDataｓ Skewを補正することができるようにすることによって、レーン間の同期をとることもできる。
　リンクレイヤにおいて、１６ｓ個ずつなどのグループ単位で各パケットデータが並列処理されるようにすることによって、１クロック周期に１つずつパケットデータを処理する場合に較べて、回路規模やメモリ量を抑えることができる。実装上、パケットデータを１つずつ処理する場合と所定の単位毎にまとめて処理する場合とで、後者の方が回路規模等を抑えることができる。回路規模を抑えることができることによって、消費電力を抑えることも可能になる。
　また、レーン割り当ての際、連続するパケットデータを異なるレーンに割り当てることによってエラー耐性を高めることができる。あるレーンにおいてパリティの誤り訂正能力を超えた数の連続するパケットデータに跨ってエラーが生じた場合であっても、受信部３１ｓにおいてレーン結合が行われることによって、エラーが生じたパケットデータの位置が分散することになり、パリティを用いたエラー訂正が可能になることがある。パリティによる誤り訂正能力はパリティ長により定まる。
　さらに、物理レイヤに近い方を下位として、レーン分配・レーン統合より上位でECC処理を行うようにすることによって、送信部２２ｓと受信部３１の回路規模を削減することが可能になる。例えば、送信部２２ｓにおいて、パケットデータの各レーンへの割り当てが行われた後にペイロードにECCのパリティが挿入されるとした場合、ペイロードECCｓ挿入部をレーン毎に用意する必要があり、回路規模が大きくなってしまうがそのようなことを防ぐことができる。
　物理レイヤにおいてはパケットデータの並列処理が複数の回路で行われるが、PHY-TX状態制御部８１やクロック生成部８２については共通化することによって、それらの回路をレーン毎に用意する場合に較べて回路の簡素化を図ることができる。また、レーン毎に異なる制御コードを伝送しないプロトコルを用いることによって、各レーンのパケットデータを処理する回路の簡素化を図ることができる。
＜１２ｓビットの元画像データフォーマットを８ビットの圧縮データフォーマットに変換して送受信する例＞
　以上においては、１２ｓビットの元画像データフォーマットからなる元画像の画素データを５０％圧縮率である６ビットの圧縮データフォーマットからなる圧縮データとし、その後、８ｓビットからなる伝送データフォーマットに変換して送受信する例について説明してきたが、それ以外のビット数の圧縮データであっても送受信することが可能である。
　例えば、１２ビットからなる元画像データフォーマットを８ビットの圧縮データフォーマットからなる圧縮データに圧縮した後、８ビットの伝送フォーマットに変換して送受信する場合、１画素分の圧縮データフォーマットのビット数と、伝送データフォーマットのビット数とがいずれも８ｓビットとなるため、圧縮データを伝送フォーマットにそのまま適用して送受信することが可能となる。すなわち、この場合、図１１における伝送データフォーマットのデータByte3*Nｓ+2で示されるような、下位ビットが集められるようなデータが不要となる。結果として、圧縮データフォーマットが８ｓビットとなる圧縮データを伝送する場合であっても、クロックデータリカバリに対応した8B10B変換を利用した高速伝送を実現することが可能となる。
＜１２ビットの元画像データフォーマットを５ビットの圧縮データフォーマットに変換して送受信する例＞
　さらに、例えば、１ｓ画素について１２ｓビットからなる元画像データフォーマットのデータを５ｓビットからなる圧縮データフォーマットに圧縮した後、１画素について１０ｓビットからなる元画像データフォーマットと同一の構造の圧縮データフォーマットに２ｓ画素ずつ配置することで、既存の８ビットの伝送フォーマットに変換して送受信することが可能となる。
　より詳細には、図１３の最左列で示されるように、８ｓ画素分の元画像データフォーマットからなるデータPixel8ｓ*N乃至Pixel8ｓ*N+7ｓが上述したステップＳ１４ｓの処理により圧縮されることで、図１３の左から２列目で示されるような１０ビットの元画像データフォーマットと同一の構造の圧縮データフォーマットからなるデータData4ｓ*Nｓ乃至Data4ｓ*Nｓ+3に変換される。すなわち、圧縮部５４ｓは、元画像データフォーマットのデータPixel8ｓ*N乃至Pixel8ｓ*N+7ｓのそれぞれの１２ｓビットのデータDｓ_N[0]～[11]乃至D_N+7[0]～[11]を５ビットの圧縮されたデータCOMP_N[0]～[4]乃至COMP_N+7[0]～[4]に変換する。さらに、圧縮部５４は、図１３の左から２列目で示されるように、２画素分のデータCOMP_N[0]～[4]，COMP_N+1[0]～[4]を圧縮データフォーマットのデータData4*Nに配置し、データCOMP_N+2[0]～[4]，COMP_N+3[0]～[4]を圧縮データフォーマットのデータData4*N+1に配置し、データCOMP_N+4[0]～[4]，COMP_N+5[0]～[4]を圧縮データフォーマットのデータData4*N+2に配置し、データCOMP_N+6[0]～[4]，COMP_N+7[0]～[4]を圧縮データフォーマットのデータData4*N+3に配置する。このような処理により、１２ビットの元画像データフォーマットが、５ビットに圧縮され、２画素ずつ１０ビット単位の元画像データフォーマットと同一の構造の圧縮データフォーマットに変換される。
　そして、ステップＳ１５の処理により、図１３の左から２列目で示される圧縮データフォーマットからなるデータData4*N乃至Data4*N+3が、８ビットの伝送データフォーマットからなるデータByte5*N乃至Byte5*N+4に変換される。すなわち、変換部６２は、データData4*NのデータCOMP_N[0]～[4]およびデータCOMP_N+1[2]～[4]からなる上位８ビットを、図１３の左から３列目で示されるように、伝送データフォーマットからなるデータByte5*Nに配置し、同様に、データData4*N+1のデータCOMP_N+2[0]～[4]およびデータCOMP_N+3[2]～[4]をデータByte5*N+1に配置し、データData4*N+2のデータCOMP_N+4[0]～[4]およびデータCOMP_N+5[2]～[4]をデータByte5*N+2に配置し、データData4*N+3のデータCOMP_N+6[0]～[4]およびデータCOMP_N+7[2]～[4]をデータByte5*N+3に配置し、データData4*N乃至Data4*N+3のそれぞれの下位２ビットからなるデータCOMP_N+1[0]～[1]，COMP_N+3[0]～[1]，COMP_N+5[0]～[1]，COMP_N+7[0]～[1]をデータByte5*N+4に配置する。
　さらに、ステップＳ４０の処理により、図１３の左から３列目で示される伝送データフォーマットからなるByte5*N乃至Byte5*N+4が、図１３の右から２列目で示される、１０ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData4*N乃至Data4*N+3に変換される。すなわち、変換部１２５は、伝送データフォーマットからなるデータByte5*NのデータCOMP_N[0]～[4]およびデータCOMP_N+1[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+1[0]～[1]を、５ビットに圧縮された２画素分のデータとして１０ビットの圧縮データフォーマットからなるデータData4*Nに配置し、同様に、データByte5*N+1のデータCOMP_N+2[0]～[4]およびデータCOMP_N+3[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+3[0]～[1]を、データData4*N+1に配置し、データByte5*N+2のデータCOMP_N+4[0]～[4]およびデータCOMP_N+5[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+5[0]～[1]を、データData4*N+2に配置し、データByte5*N+3のデータCOMP_N+6[0]～[4]およびデータCOMP_N+7[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+7[0]～[1]を、データData4*N+3に配置する。
　そして、ステップＳ４１の処理により、図１３の左から２列目で示される１０ビットの元画像データフォーマットと同一の構造からなり、２画素単位の圧縮されたデータが配置された圧縮データフォーマットのデータData4*N乃至Data4*N+3が、図１３の最右列で示される元画像データフォーマットからなるデータPixel8*N乃至Pixel8*N+7に伸張される。
　すなわち、伸張部１４４は、１０ビットの元画像データフォーマットと同一の構造からなる１０ビットの圧縮データフォーマットのデータData4*Nの５ビットずつの２画素分のデータCOMP_N[0]～[4]，COMP_N+1[0]～[4]を、それぞれD_N[0]～[11]，D_N+1[0]～[11]に伸張し、１２ビットの元画像データフォーマットからなるデータPixel8*N，Pixel8*N+1に配置する。同様に、伸張部１４４は、データData4*N+1のデータCOMP_N+2[0]～[4]，COMP_N+3[0]～[4]を、それぞれD_N+2[0]～[11]，D_N+3[0]～[11]に伸張し、データPixel8*N+2，Pixel8*N+3に配置し、データData4*N+2のデータCOMP_N+4[0]～[4]，COMP_N+5[0]～[4]を、それぞれD_N+4[0]～[11]，D_N+5[0]～[11]に伸張し、データPixel8*N+4，Pixel8*N+5に配置し、データData4*N+3のデータCOMP_N+6[0]～[4]，COMP_N+7[0]～[4]を、それぞれD_N+6[0]～[11]，D_N+7[0]～[11]に伸張し、データPixel8*N+6，Pixel8*N+7に配置する。
　以上のような処理により１２ビットからなる元画像データフォーマットを５ビットの圧縮データフォーマットに圧縮した場合における８ビットの伝送データフォーマットによる送受信が実現される。
＜１２ビットの元画像データフォーマットを４ビットの圧縮データフォーマットに変換して送受信する第１の例＞
　さらに、例えば、１画素について１２ビットからなる元画像データフォーマットのデータを４ビットからなる圧縮データフォーマットに圧縮した後、１画素について８ビットからなる元画像データフォーマットと同一の構造の圧縮データフォーマットに２画素ずつ配置することで、既存の８ビットの伝送フォーマットに変換して送受信することが可能となる。
　より詳細には、図１４の最左列で示されるように、２画素分の元画像データフォーマットからなるデータPixel2*N，Pixel2*N+1が上述したステップＳ１４の処理により圧縮されることで、図１４の左から２列目で示されるような８ビットの元画像データフォーマットと同一の構造の圧縮データフォーマットからなるデータDataNに変換される。すなわち、圧縮部５４は、元画像データフォーマットのデータPixel2*N，Pixel2*N+1のそれぞれの１２ビットのデータD_N[0]～[11]乃至D_N+7[0]～[11]を４ビットの圧縮データCOMP_N[0]～[3]乃至COMP_N+1[0]～[3]に変換する。さらに、圧縮部５４は、図１４の左から２列目で示されるように、２画素分のデータCOMP_N[0]～[3]，COMP_N+1[0]～[3]を８ビットからなる圧縮データフォーマットのデータDataNに配置する。このような処理により、１２ビットの元画像データフォーマットが、４ビットずつのデータに圧縮され、８ビットからなる元画像データフォーマットと同一の構造からなる８ビット単位の圧縮データフォーマットに２画素ずつ配置される。
　そして、ステップＳ１５の処理により、図１４の左から２列目で示される圧縮データフォーマットからなるデータDataNが、８ビットの伝送データフォーマットからなるデータByteNに変換される。すなわち、変換部６２は、データDataNのデータCOMP_N[0]～[3]およびデータCOMP_N+1[0]～[3]からなる８ビットを、図１４の左から３列目で示されるように、８ビットの伝送データフォーマットからなるデータByteNに配置する。
　さらに、ステップＳ４０の処理により、図１４の左から３列目で示される伝送データフォーマットからなるByteNが、図１４の右から２列目で示される、８ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータDataNに変換される。すなわち、変換部１２５は、伝送データフォーマットからなるデータByteNのデータCOMP_N[0]～[3]およびCOMP_N+1[0]～[3]を、圧縮データフォーマットからなるデータDataNに配置する。
　そして、ステップＳ４１の処理により、図１４の左から２列目で示される８ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータDataNが、図１４の最右列で示される元画像データフォーマットからなるデータPixel2*N乃至Pixel2*N+1に伸張される。
　すなわち、伸張部１４４は、８ビットの元画像データフォーマットと同一の構造からなる２画素分の８ビットの圧縮データフォーマットのデータDataNを構成する４ビットずつのデータCOMP_N[0]～[3]，COMP_N+1[0]～[3]を、それぞれデータD_N[0]～[11]，D_N+1[0]～[11]に伸張し、１２ビットの元画像データフォーマットからなるデータPixel2*N，Pixel2*N+1にそれぞれ配置する。
　以上のような処理により１２ビットからなる元画像データフォーマットを４ビットの圧縮データフォーマットに圧縮した場合における８ビットの伝送データフォーマットによる送受信が実現される。
＜１２ビットの元画像データフォーマットを４ビットの圧縮データフォーマットに変換して送受信する第２の例＞
　１２ビットの元画像データフォーマットを４ビットの圧縮データフォーマットに変換する場合については、別の手法がさらにある。すなわち、例えば、１画素について１２ビットからなる元画像データフォーマットのデータを４ビットからなる圧縮データフォーマットに圧縮した後、１画素について１２ビットからなる元画像データフォーマットと同一の構造の圧縮データフォーマットに３画素ずつ配置することで、既存の８ビットの伝送フォーマットに変換して送受信することが可能となる。
　より詳細には、図１５の最左列で示されるように、６画素分の元画像データフォーマットからなるデータPixel6*N乃至Pixel6*N+5が上述したステップＳ１４の処理により圧縮されることで、図１５の左から２列目で示されるような１２ビットの元画像データフォーマットと同一の構造の圧縮データフォーマットからなるデータData2*N，Data2*N+1に変換される。すなわち、圧縮部５４は、元画像データフォーマットのデータPixel6*N乃至Pixel6*N+5のそれぞれの１２ビットのデータD_N[0]～[11]乃至D_N+5[0]～[11]を４ビットの圧縮データCOMP_N[0]～[3]乃至COMP_N+5[0]～[3]に変換する。さらに、圧縮部５４は、図１５の左から２列目で示されるように、３画素分のデータCOMP_N[0]～[3]乃至COMP_N+2[0]～[3]を圧縮データフォーマットのデータData2*Nに配置し、データCOMP_N+3[0]～[3]乃至COMP_N+5[0]～[3]を圧縮データフォーマットのデータData2*N+1に配置する。このような処理により、１２ビットの元画像データフォーマットが、４ビットの圧縮データに変換され、１２ビット単位の圧縮データフォーマットに変換される。
　そして、ステップＳ１５の処理により、図１５の左から２列目で示される１２ビットの元画像データフォーマットに対応する圧縮データフォーマットからなるデータData2*N乃至Data2*N+1が、８ビットの伝送データフォーマットからなるデータByte3*N乃至Byte3*N+2に変換される。すなわち、変換部６２は、データData2*NのデータCOMP_N[0]～[3]およびデータCOMP_N+1[0]～[3]からなる上位８ビットを、図１５の左から３列目で示されるように、伝送データフォーマットからなるデータByte3*Nに配置し、同様に、データData2*N+1のデータCOMP_N+3[0]～[3]およびデータCOMP_N+4[0]～[3]をデータByte3*N+1に配置し、データData2*N乃至Data2*N+1のそれぞれの下位４ビットからなるデータCOMP_N+2[0]～[3]，COMP_N+5[0]～[3]をデータByte3*N+2に配置する。
　さらに、ステップＳ４０の処理により、図１５の左から３列目で示される伝送データフォーマットからなるByte3*N乃至Byte3*N+2が、図１５の右から２列目で示される、１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData2*N，Data2*N+1に変換される。すなわち、変換部１２５は、伝送データフォーマットからなるデータByte3*NのデータCOMP_N[0]～[3]およびデータCOMP_N+1[0]～[3]、並びにデータByte3*N+2のデータCOMP_N+2[0]～[3]を、圧縮データフォーマットからなるデータData2*Nに配置し、同様に、データByte3*N+1のデータCOMP_N+3[0]～[3]およびデータCOMP_N+4[0]～[3]、並びにデータByte3*N+2のデータCOMP_N+5[0]～[3]を、データData2*N+1に配置する。
　そして、ステップＳ４１の処理により、図１５の右から２列目で示される１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData2*N，Data2*N+1が、図１５の最右列で示される元画像データフォーマットからなるデータPixel6*N乃至Pixel6*N+5に伸張される。
　すなわち、伸張部１４４は、１２ビットの元画像データフォーマットと同一の構造からなる３画素分の４ビットの圧縮データフォーマットのデータData2*Nの４ビットずつのデータCOMP_N[0]～[3]乃至COMP_N+2[0]～[3]を、それぞれD_N[0]～[11]乃至D_N+2[0]～[11]に伸張し、１２ビットの元画像データフォーマットからなるデータPixel6*N乃至Pixel6*N+2に配置する。同様に、伸張部１４４は、データData2*N+1のデータCOMP_N+3[0]～[3]乃至COMP_N+5[0]～[3]を、それぞれデータD_N+3[0]～[11]乃至D_N+5[0]～[11]に伸張し、データPixel6*N+3乃至Pixel6*N+5に配置する。
　以上のような処理により１２ビットからなる元画像データフォーマットを４ビットの圧縮データフォーマットに圧縮した場合における８ビットの伝送データフォーマットによる送受信が実現される。
＜１０ビットの元画像データフォーマットを６ビットの圧縮データフォーマットに変換して送受信する例＞
　以上においては、元画像データフォーマットが１２ビットの場合について説明してきたが、例えば、１０ビットの元画像データフォーマットを６ビットの圧縮データフォーマットに変換するようにしてもよい。すなわち、例えば、１画素について１０ビットからなる元画像データフォーマットのデータを６ビットからなるデータに圧縮した後、１画素について１２ビットからなる元画像データフォーマットと同一の構造の圧縮データフォーマットに２画素ずつ配置することで、既存の８ビットの伝送フォーマットに変換して送受信することが可能となる。
　より詳細には、図１６の最左列で示されるように、１０ビットずつ４画素分の元画像データフォーマットからなるデータPixel4*N乃至Pixel4*N+3が上述したステップＳ１４の処理により圧縮されることで、図１６の左から２列目で示されるような１２ビットの元画像データフォーマットと同一の構造の圧縮データフォーマットからなるデータData2*N，Data2*N+1に変換される。すなわち、圧縮部５４は、元画像データフォーマットのデータPixel4*N乃至Pixel4*N+3のそれぞれの１０ビットのデータD_N[0]～[9]乃至D_N+3[0]～[9]を６ビットの圧縮データCOMP_N[0]～[5]乃至COMP_N+3[0]～[5]に変換する。さらに、圧縮部５４は、図１６の左から２列目で示されるように、２画素分のデータCOMP_N[0]～[5]，COMP_N+1[0]～[5]を圧縮データフォーマットのデータData2*Nに配置し、データCOMP_N+2[0]～[5]，COMP_N+3[0]～[5]を圧縮データフォーマットのデータData2*N+1に配置する。このような処理により、１０ビットの元画像データフォーマットが、６ビットのデータに圧縮され、２画素ずつ１２ビット単位の圧縮データフォーマットに配置される。
　そして、ステップＳ１５の処理により、図１６の左から２列目で示される圧縮データフォーマットからなるデータData2*N乃至Data2*N+1が、８ビットの伝送データフォーマットからなるデータByte3*N乃至Byte3*N+2に変換される。すなわち、変換部６２は、データData2*NのデータCOMP_N[0]～[5]およびCOMP_N+1[4]～[5]からなる上位８ビットを、図１６の左から３列目で示されるように、伝送データフォーマットからなるデータByte3*Nに配置し、同様に、データData2*N+1のデータCOMP_N+2[0]～[5]およびデータCOMP_N+4[4]～[5]からなる上位８ビットをデータByte3*N+1に配置し、データData2*N，Data2*N+1のそれぞれの下位４ビットからなるデータCOMP_N+1[0]～[3]，COMP_N+3[0]～[3]をデータByte3*N+2に配置する。
　さらに、ステップＳ４０の処理により、図１６の左から３列目で示される伝送データフォーマットからなるByte3*N乃至Byte3*N+2が、図１６の右から２列目で示される、１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData2*N，Data2*N+1に変換される。すなわち、変換部１２５は、伝送データフォーマットからなるデータByte3*NのデータCOMP_N[0]～[5]およびデータCOMP_N+1[4]～[5]、並びにデータByte3*N+2のCOMP_N+2[0]～[3]を、圧縮データフォーマットからなるデータData2*Nに配置し、同様に、データByte3*N+2のデータCOMP_N+2[0]～[5]およびデータCOMP_N+3[4]～[5]、並びにデータByte3*N+2のデータCOMP_N+5[0]～[3]を、データData2*N+1に配置する。
　そして、ステップＳ４１の処理により、図１６の右から２列目で示される１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData2*N，Data2*N+1が、図１６の最右列で示される１０ビットからなる元画像データフォーマットのデータPixel4*N乃至Pixel4*N+3に伸張される。
　すなわち、伸張部１４４は、１２ビットの元画像データフォーマットと同一の構造からなる２画素分の６ビットの圧縮データフォーマットのデータData2*Nの６ビットずつのデータCOMP_N[0]～[5]乃至COMP_N+1[0]～[5]を、それぞれD_N[0]～[9]，D_N+1[0]～[9]に伸張し、１０ビットの元画像データフォーマットからなるデータPixel4*N，Pixel4*N+1に配置する。同様に、伸張部１４４は、データData2*N+1のデータCOMP_N+2[0]～[5]，COMP_N+3[0]～[5]を、それぞれデータD_N+2[0]～[9]乃至D_N+3[0]～[9]に伸張し、データPixel4*N+2乃至Pixel4*N+3に配置する。
　以上のような処理により１０ビットからなる元画像データフォーマットを６ビットの圧縮データフォーマットに圧縮した場合における８ビットの伝送データフォーマットによる送受信が実現される。
＜１０ビットの元画像データフォーマットを５ビットの圧縮データフォーマットに変換して送受信する例＞
　以上においては、１０ビットの元画像データフォーマットを６ビットの圧縮データフォーマットに変換する例について説明してきたが、例えば、１画素について１０ビットからなる元画像データフォーマットのデータを５ビットからなる圧縮データフォーマットに圧縮した後、１画素について１０ビットからなる元画像データフォーマットと同一の構造の圧縮データフォーマットに２画素ずつ配置することで、既存の８ビットの伝送データフォーマットに変換して送受信することが可能となる。
　より詳細には、図１７の最左列で示されるように、８画素分の元画像データフォーマットからなるデータPixel8*N乃至Pixel8*N+7が上述したステップＳ１４の処理により圧縮されることで、図１７の左から２列目で示されるような１０ビットの元画像データフォーマットと同一の構造の圧縮データフォーマットからなるデータData4*N乃至Data4*N+3に変換される。すなわち、圧縮部５４は、元画像データフォーマットのデータPixel8*N乃至Pixel8*N+7のそれぞれの１０ビットのデータD_N[0]～[9]乃至D_N+7[0]～[9]を５ビットに圧縮し、データCOMP_N[0]～[4]乃至COMP_N+7[0]～[4]に変換する。さらに、圧縮部５４は、図１７の左から２列目で示されるように、２画素分のデータCOMP_N[0]～[4]，COMP_N+1[0]～[4]を圧縮データフォーマットのデータData4*Nに配置し、データCOMP_N+2[0]～[4]，COMP_N+3[0]～[4]を圧縮データフォーマットのデータData4*N+1に配置し、データCOMP_N+4[0]～[4]，COMP_N+5[0]～[4]を圧縮データフォーマットのデータData4*N+2に配置し、データCOMP_N+6[0]～[4]，COMP_N+7[0]～[4]を圧縮データフォーマットのデータData4*N+3に配置する。このような処理により、１０ビットの元画像データフォーマットが、５ビットに圧縮され、２画素ずつ１０ビット単位の圧縮データフォーマットに配置される。
　そして、ステップＳ１５の処理により、図１７の左から２列目で示される圧縮データフォーマットからなるデータData4*N乃至Data4*N+3が、８ビットの伝送データフォーマットからなるデータByte5*N乃至Byte5*N+4に変換される。すなわち、変換部６２は、データData4*NのデータCOMP_N[0]～[4]およびデータCOMP_N+1[2]～[4]からなる上位８ビットを、図１７の左から３列目で示されるように、伝送データフォーマットからなるデータByte5*Nに配置し、同様に、データData4*N+1のデータCOMP_N+2[0]～[4]およびCOMP_N+3[2]～[4]をデータByte5*N+1に配置し、データData4*N+2のデータCOMP_N+4[0]～[4]およびCOMP_N+5[2]～[4]をデータByte5*N+2に配置し、データData4*N+3のCOMP_N+6[0]～[4]およびCOMP_N+7[2]～[4]をデータByte5*N+3に配置し、データData4*N乃至Data4*N+3のそれぞれの下位２ビットからなるデータCOMP_N+1[0]～[1]，COMP_N+3[0]～[1]，COMP_N+5[0]～[1]，COMP_N+7[0]～[1]をデータByte5*N+4に配置する。
　さらに、ステップＳ４０の処理により、図１７の左から３列目で示される伝送データフォーマットからなるデータByte5*N乃至Byte5*N+4が、図１７の右から２列目で示される、１０ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData4*N乃至Data4*N+3に変換される。すなわち、変換部１２５は、伝送データフォーマットからなるデータByte5*NのデータCOMP_N[0]～[4]およびデータCOMP_N+1[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+1[0]～[1]を、圧縮データフォーマットからなるデータData4*Nに配置し、同様に、データByte5*N+1のデータCOMP_N+2[0]～[4]およびデータCOMP_N+3[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+3[0]～[1]を、データData4*N+1に配置し、データByte5*N+2のデータCOMP_N+4[0]～[4]およびデータCOMP_N+5[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+5[0]～[1]を、データData4*N+2に配置し、データByte5*N+3のデータCOMP_N+6[0]～[4]およびデータCOMP_N+7[2]～[4]、並びにデータByte5*N+4のデータCOMP_N+7[0]～[1]を、データData4*N+3に配置する。
　そして、ステップＳ４１の処理により、図１７の左から２列目で示される１０ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータData4*N乃至Data4*N+3が、図１７の最右列で示される元画像データフォーマットからなるデータPixel8*N乃至Pixel8*N+7に伸張される。
　すなわち、伸張部１４４は、１０ビットの元画像データフォーマットと同一の構造からなる２画素分の１０ビットの圧縮データフォーマットのデータData4*Nの５ビットずつのデータCOMP_N[0]～[4]，COMP_N+1[0]～[4]を、それぞれデータD_N[0]～[9]，D_N+1[0]～[9]に伸張し、１０ビットの元画像データフォーマットからなるデータPixel8*N，Pixel8*N+1に配置する。同様に、伸張部１４４は、データData4*N+1のデータCOMP_N+2[0]～[4]，COMP_N+3[0]～[4]を、それぞれデータD_N+2[0]～[9]，D_N+3[0]～[9]に伸張し、データPixel8*N+2，Pixel8*N+3に配置し、データData4*N+2のデータCOMP_N+4[0]～[4]，COMP_N+5[0]～[4]を、それぞれデータD_N+4[0]～[9]，D_N+5[0]～[9]に伸張し、データPixel8*N+4，Pixel8*N+5に配置し、データData4*N+3のデータCOMP_N+6[0]～[4]，COMP_N+7[0]～[4]を、それぞれデータD_N+6[0]～[9]，D_N+7[0]～[9]に伸張し、データPixel8*N+6，Pixel8*N+7に配置する。
　以上のような処理により１０ビットからなる元画像データフォーマットを５ビットに圧縮し、元画像データフォーマットと同一の構造からなる圧縮データフォーマットに２画素ずつ配置して圧縮した場合における８ビットの伝送データフォーマットによる送受信が実現される。
＜１２ビットの元画像データフォーマットの複数の画素を、異なる複数の画素の元画像データフォーマットに対応する圧縮データフォーマットに変換して送受信する例＞
　以上においては、各画素について、画素単位でビット数が固定の圧縮データフォーマットを、既定の元画像データフォーマットに割り付けて、８ビットの伝送データフォーマットに変換する例について説明してきたが、複数の画素に対応する元画像データフォーマットを、異なる複数の画素に対応する可変長の圧縮データフォーマットに変換し、既定の元画像データフォーマットに割り付けて、８ビットの伝送フォーマットに変換するようにしてもよい。
　すなわち、例えば、３２画素の１２ビットの元画像データフォーマットを、１６画素の可変長のビット数の圧縮データフォーマットに変換し、これを１６画素分の既定の１２ビットの元画像データフォーマットに対応する圧縮データフォーマットに配置することで、既存の８ビットの伝送フォーマットに変換して送受信することが可能となる。
　より詳細には、図１８で示されるように、３２画素分の１２ビットの元画像データフォーマットからなるデータPixelN乃至PixelN+31が上述したステップＳ１４の処理により圧縮されることで、各画素について可変長ビットの圧縮データに変換された後、図１９の左から４列目までの全列で示されるような１２ビットの元画像データフォーマットと同一の構造の圧縮データフォーマットからなるデータDataN乃至DataN+15に変換される。すなわち、圧縮部５４は、３２画素分の元画像データフォーマットのデータPixelN乃至PixelN+31のそれぞれの１２ビットのデータD_N[0]～[11]乃至D_N+31[0]～[11]を各画素については可変長であって、かつ、合計１６画素分の１２ビットの元画像データフォーマットに対応するデータCOMP[0]～[191]に変換する。さらに、圧縮部５４は、図１９の左から４列目までの全列で示されるように、先頭から１２ビットずつ、元画像データフォーマットの１画素に対応するデータCOMP_N[0]～[11]を、データDataNに配置し、データCOMP[12]～[23]を、データDataN+1に配置し、・・・、データCOMP[180]～[191]を、データDataN+15に配置する。このような処理により、３２画素分の１２ビットの元画像データフォーマットが、１６画素分の１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットに変換される。
　そして、ステップＳ１５の処理により、図１９の左から４列目までに示される１２ビットの元画像データフォーマットに対応する圧縮データフォーマットからなるデータDataN乃至DataN+15が、２４ビットずつ、８ビットの伝送データフォーマットからなるデータByte3*N乃至Byte3*N+2に変換される。すなわち、変換部６２は、データDataNのデータCOMP[4]～[11]からなる上位８ビットを、図１９の最右列で示されるように、伝送データフォーマットからなるデータByte3*Nに配置し、同様に、データDataN+1のデータCOMP[16]～[23]をデータByte3*N+1に配置し、データDataN，DataN+1のそれぞれの下位４ビットからなるデータCOMP[0]～[3]，COMP[12]～[15]をデータByte3*N+2に配置する。また、同様の処理により、１２ビットの元画像データフォーマットと同一の構成からなる圧縮データフォーマットの１４画素分のデータDataN+2乃至DataN+15が、８ビットの伝送データフォーマットに変換される。
　さらに、ステップＳ４０の処理により、図１９の最右列で示される伝送データフォーマットからなるByte3*N乃至Byte3*N+2が、順次変換されることにより、図１９の左から４列目までで示される、１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータDataN乃至DataN+15に変換される。すなわち、変換部１２５は、伝送データフォーマットからなるデータByte3*NのデータCOMP[4]～[11]およびデータCOMP[0]～[3]を、圧縮データフォーマットからなるデータDataNに配置し、同様に、データByte3*N+1のデータCOMP[16]～[23]およびデータCOMP[12]～[15]を、データDataN+1に配置する。同様の処理により、８ビットの伝送データフォーマットが、１６画素分の１２ビットの元画像データフォーマットと同一の構成からなる圧縮データフォーマットに変換される。
　そして、ステップＳ４１の処理により、図１９の左から４列目までで示される１６画素分の１２ビットの元画像データフォーマットと同一の構造からなる圧縮データフォーマットのデータDataN乃至DataN+15が、図２０で示される元画像データフォーマットからなるデータPixelN乃至PixelN+32に伸張される。
　すなわち、伸張部１４４は、１２ビットの元画像データフォーマットと同一の構造からなる１６画素分の１２ビットの圧縮データフォーマットのデータDataN乃至DataN+15を、３２画素分の１２ビットずつのデータCOMP[0]～[191]を、それぞれデータD_N[0]～[11]乃至D_N+31[0]～[11]に伸張し、１２ビットの元画像データフォーマットからなるデータPixelN乃至PixelN+31に配置する。
　以上のような処理により、３２画素（複数の画素）分の１２ビットからなる元画像データフォーマットを、１６画素（異なる複数の画素）分の可変長ビットの圧縮データフォーマットに圧縮した場合における８ビットの伝送データフォーマットによる送受信が実現される。すなわち、圧縮画素データフォーマットにおいては、１２ビット単位では、画素単位に設定されていないが、複数の画素単位とすることで、イメージセンサ１１とDSP１２との間で画像データを送受信することが可能となる。また、同様な手法により、３２画素の１０ビットの元画像データフォーマットを、１６画素の可変長のビット数の圧縮データフォーマットに変換し、これを１６画素分の既定の１０ビットの元画像データフォーマットに対応する圧縮データフォーマットに配置することで、既存の８ビットの伝送フォーマットに変換して送受信することも可能である。
　なお、複数画素単位で処理する場合、例えば、複数画素単位の倍数が水平方向の画素数と一致しないことなどが考えられるが、そのようなときには、水平方向の最終端付近の端数となる画素をコピーして３２の倍数に一致するように仮想データを付加して調整するようにしてもよいし、平均値の仮想データをコピーして３２の倍数に一致するように付加してもよい。このようにすることで、相関性の高いデータを仮想的に配置することにより、画質の劣化を低減させることが可能となる。
　以上のような処理により、様々な圧縮率により生成されたビット数の圧縮データフォーマットであっても、既存のインタフェースを利用することで、既存の８ビット、１０ビット、１２ビット、１４ビット、１６ビットのうちのいずれかのビット数として適用することが可能となる。結果として、RAW4，RAW5などの、これまでに実用化されていないデータフォーマットを新たに設定することなく、既存のインタフェースを利用することが可能となる。
　また、イメージセンサ１１とDSP１２との間のインタフェースにおいて、画像データを圧縮して帯域を削減することが可能となるので、より多くの画像を伝送することが可能となる。また、インタフェースにおけるレーン数を変えることなく、より多くの画像を伝送することが可能となるため、実装面におけるメリットが大きくなる。例えば、伝送するデータ量を削減することが可能となるため、フレームメモリの容量を変えることなく、より多くの画像を記憶させることが可能となり、ノイズリダクションやHDR(High Dynamic Range)合成に適用することが可能となる。また、既存のインタフェースでの伝送データフォーマットで画像を高速で伝送することが可能となるため、圧縮の自由度や、イメージセンサとDSPとの接続性を高めることが可能となる。
＜ビット数、および圧縮率の設定処理＞
　次に、図２１のフローチャートを参照して、圧縮率の設定処理について説明する。圧縮率の設定処理は、ユーザにより図示せぬ操作部が操作されることで発生される操作信号に基づいて設定されるマニュアルモードと、ISO感度に応じて設定されるオートモードとが存在する。このマニュアルモード、およびオートモードとは切り替える図示せぬスイッチなどが設けられており、ユーザにより予め操作される。
　ステップＳ６１において、DSP１２のシステム制御部１４３は、図示せぬ操作部の操作信号に基づいて、オートモードであるか否かを判定する。ステップＳ６１において、例えば、オートモードであると判定された場合、処理は、ステップＳ６２に進む。
　ステップＳ６２において、システム制御部１４３は、今現在のISO感度設定を測定する。このISO感度については、図示せぬ操作部が操作されることにより予め設定される値であってもよいし、照度や絞りなどに応じて測定、または算出されるものであってもよい。
　ステップＳ６３において、システム制御部１４３は、ISO感度に応じた画質を設定する画像データフォーマットの圧縮率を設定する。ここでは、ISO感度が高くなるにしたがって、ノイズの影響を受けやすいので、システム制御部１４３は、ISO感度が高くなるにしたがって、画像データフォーマットの圧縮率を低減するように設定する。逆に、ISO感度が低くになるにしたがって、ノイズの影響を受け難い状態となるので、システム制御部１４３は、ISO感度が低くなるにしたがって、画素データフォーマットの圧縮率を高めるように設定する。システム制御部１４３は、自らのレジスタ１４２に設定した情報を記憶させる。
　ステップＳ６４において、システム制御部１４３は、シリアル通信によりイメージセンサ１１のシステム制御部５１と通信し、設定した情報を供給する。この処理により、イメージセンサ１１のシステム制御部５１は、設定された情報をレジスタ５３に記憶させる。
　一方、ステップＳ６１において、オートモードではないとみなされた場合、マニュアルモードであるとみなし、処理は、ステップＳ６５に進む。
　ステップＳ６５において、システム制御部１４３は、図示せぬ操作ボタンなどにより設定された圧縮率の情報を示す操作内容を読み出す。
　ステップＳ６６において、システム制御部１４３は、操作ボタンの操作内容に応じた情報に基づいて、圧縮率を設定し、処理は、ステップＳ６４に進む。
　以上の処理により、画質を決定づける画素データフォーマットの圧縮率の情報が設定され、設定された画素データフォーマットの圧縮率で、上述したデータ送信処理、およびデータ受信処理を実現することが可能となる。結果として、既存のインタフェースにより、ユーザの意思に応じた画質、または、ISO感度などに対応した画質に対して、画素データフォーマットの圧縮率を適切に設定することが可能となる。
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図２２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本技術は、以下のような構成も取ることができる。
（１）　元画像を撮像する撮像部と、
　前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮部と、
　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換部と
　を含むイメージセンサ。
（２）　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と異なる
　（１）に記載のイメージセンサ。
（３）　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と同一である
　（１）に記載のイメージセンサ。
（４）　前記圧縮部は、前記元画像の複数の画素データ単位で前記圧縮フォーマットに圧縮し、
　前記変換部は、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の伝送フォーマットに変換する
　（１）乃至（３）に記載のイメージセンサ。
（５）　前記変換部は、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の伝送フォーマットに変換する際、ブロックサイズに合わせるため、前記複数の画素データ単位で処理する画素データに仮想データを配置する
　（４）に記載のイメージセンサ。
（６）　前記元画像の画質に応じて圧縮率を設定する設定部をさらに含み、
　前記圧縮部は、前記設定部により設定される圧縮率で、前記元画像の複数の画素データを、圧縮フォーマットに圧縮する
　（１）に記載のイメージセンサ。
（７）　元画像を撮像し、
　前記元画像の複数の画素データを、圧縮フォーマットに圧縮し、
　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する
　ステップを含むイメージセンサのデータ伝送方法。
（８）　元画像を撮像する撮像ステップと、
　前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮ステップと、
　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換ステップと
　を含む処理をコンピュータに実行させるためのプログラム。
（９）　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元部と、
　前記復元部により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張部と
　を含む情報処理装置。
（１０）　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と異なる
　（９）に記載の情報処理装置。
（１１）　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と同一である
　（９）に記載の情報処理装置。
（１２）　前記復元部は、前記複数の伝送フォーマットを、前記元画像の複数の画素データ単位で前記圧縮フォーマットに復元し、
　前記伸張部は、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の画素データに伸張する
　（９）乃至（１１）のいずれかに記載の情報処理装置。
（１３）　前記元画像の画質に応じて圧縮率を設定する設定部をさらに含み、
　前記伸張部は、前記設定部により設定される圧縮率に基づいて、前記圧縮フォーマットを、前記元画像の複数の画素データに伸張する
　（９）に記載の情報処理装置。
（１４）　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元し、
　復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する
　ステップを含む情報処理方法。
（１５）　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元ステップと、
　前記復元ステップの処理により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張ステップと
　を含む処理をコンピュータに実行させるプログラム。
（１６）　元画像を撮像する撮像部と、
　前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮部と、
　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換部と
　を含む電子機器。
（１７）　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元部と、
　前記復元部により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張部と
　を含む電子機器。
　１　伝送システム，　１１　イメージセンサ，　１２　DSP，　２１　撮像部，　２２　送信部，　３１　受信部，　３２　画像処理部，　５１　システム制御部，　５３　レジスタ，　５４　圧縮部，　６２　変換部，　６３　ペイロードECC挿入部，　６４　パケット生成部，　６５　レーン分配部，　７２　ヘッダ生成部，　８３－０乃至８３－Ｎ　信号処理部，　９１　制御コード挿入部，　９２　8B10Bシンボルエンコーダ，　９３　同期部，　９４　送信部，　１０２－０乃至１０２－Ｎ　信号処理部，　１１１　受信部，　１１２　クロック生成部，　１１３　同期部，　１１４　シンボル同期部，　１１５　10B8Bシンボルデコーダ，　１１６　スキュー補正部，　１１７　制御コード除去部，　１２２　レーン統合部，　１２３　パケット分離部，　１２４　ペイロードエラー訂正部，　１２５　変換部，　１３２　ヘッダエラー訂正部，　１４２　レジスタ，　１４３　システム制御部，　１４４　伸張部

Claims (17)

  1. 　元画像を撮像する撮像部と、
    　前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮部と、
    　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換部と
    　を含むイメージセンサ。
  2. 　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と異なる
    　請求項１に記載のイメージセンサ。
  3. 　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と同一である
    　請求項１に記載のイメージセンサ。
  4. 　前記圧縮部は、前記元画像の複数の画素データ単位で前記圧縮フォーマットに圧縮し、
    　前記変換部は、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の伝送フォーマットに変換する
    　請求項１に記載のイメージセンサ。
  5. 　前記変換部は、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の伝送フォーマットに変換する際、ブロックサイズに合わせるため、前記複数の画素データ単位で処理する画素データに仮想データを配置する
    　請求項４に記載のイメージセンサ。
  6. 　前記元画像の画質に応じて圧縮率を設定する設定部をさらに含み、
    　前記圧縮部は、前記設定部により設定される圧縮率で、前記元画像の複数の画素データを、圧縮フォーマットに圧縮する
    　請求項１に記載のイメージセンサ。
  7. 　元画像を撮像し、
    　前記元画像の複数の画素データを、圧縮フォーマットに圧縮し、
    　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する
    　ステップを含むイメージセンサのデータ伝送方法。
  8. 　元画像を撮像する撮像ステップと、
    　前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮ステップと、
    　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換ステップと
    　を含む処理をコンピュータに実行させるためのプログラム。
  9. 　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元部と、
    　前記復元部により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張部と
    　を含む情報処理装置。
  10. 　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と異なる
    　請求項９に記載の情報処理装置。
  11. 　前記伝送フォーマットのビット長は、前記圧縮フォーマットのビット長と同一である
    　請求項９に記載の情報処理装置。
  12. 　前記復元部は、前記複数の伝送フォーマットを、前記元画像の複数の画素データ単位で前記圧縮フォーマットに復元し、
    　前記伸張部は、前記元画像の複数の画素データ単位で圧縮された前記圧縮フォーマットを、前記複数の画素データに伸張する
    　請求項９に記載の情報処理装置。
  13. 　前記元画像の画質に応じて圧縮率を設定する設定部をさらに含み、
    　前記伸張部は、前記設定部により設定される圧縮率に基づいて、前記圧縮フォーマットを、前記元画像の複数の画素データに伸張する
    　請求項９に記載の情報処理装置。
  14. 　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元し、
    　復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する
    　ステップを含む情報処理方法。
  15. 　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元ステップと、
    　前記復元ステップの処理により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張ステップと
    　を含む処理をコンピュータに実行させるプログラム。
  16. 　元画像を撮像する撮像部と、
    　前記元画像の複数の画素データを、圧縮フォーマットに圧縮する圧縮部と、
    　前記元画像の複数の画素データの圧縮フォーマットを、複数の画素データの伝送フォーマットに変換する変換部と
    　を含む電子機器。
  17. 　前記元画像の複数の画素データが、圧縮フォーマットに圧縮され、前記元画像の複数の画素データの圧縮フォーマットが変換された、前記複数の画素データの伝送フォーマットを、前記複数の画素データの圧縮フォーマットに復元する復元部と、
    　前記復元部により復元された圧縮フォーマットを前記元画像の複数の画素データに伸張する伸張部と
    　を含む電子機器。
PCT/JP2013/080978 2012-11-29 2013-11-18 イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム WO2014084072A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/646,940 US10362220B2 (en) 2012-11-29 2013-11-18 Conversation of pixel data into compression format of pixels
KR1020157012080A KR20150091467A (ko) 2012-11-29 2013-11-18 이미지 센서 및 그 데이터 전송 방법, 정보 처리 장치 및 정보 처리 방법, 전자 기기, 및 프로그램
CN201380061208.8A CN104854854B (zh) 2012-11-29 2013-11-18 图像传感器及其数据传输方法、信息处理装置及方法、电子设备和程序
EP13858899.1A EP2928175A4 (en) 2012-11-29 2013-11-18 IMAGE SENSOR, METHOD FOR TRANSMITTING DATA THEREFROM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, ELECTRONIC DEVICE AND PROGRAM
JP2014550130A JP6349259B2 (ja) 2012-11-29 2013-11-18 イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-261208 2012-11-29
JP2012261208 2012-11-29

Publications (1)

Publication Number Publication Date
WO2014084072A1 true WO2014084072A1 (ja) 2014-06-05

Family

ID=50827716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/080978 WO2014084072A1 (ja) 2012-11-29 2013-11-18 イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム

Country Status (7)

Country Link
US (1) US10362220B2 (ja)
EP (1) EP2928175A4 (ja)
JP (1) JP6349259B2 (ja)
KR (1) KR20150091467A (ja)
CN (1) CN104854854B (ja)
TW (1) TWI686085B (ja)
WO (1) WO2014084072A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072515A (zh) * 2015-07-24 2017-08-18 奥林巴斯株式会社 图像数据传输系统
WO2018131233A1 (ja) * 2017-01-16 2018-07-19 ソニーセミコンダクタソリューションズ株式会社 送信制御装置、受信制御装置および送受信制御システム
JP2021145338A (ja) * 2015-04-14 2021-09-24 クアルコム，インコーポレイテッド マルチモード変調を用いる向上した仮想ｇｐｉｏ

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687086B1 (en) * 2012-03-30 2014-04-01 Gopro, Inc. On-chip image sensor data compression
TWI686085B (zh) * 2012-11-29 2020-02-21 日商索尼半導體解決方案公司 攝像裝置及圖像感測器之資料傳送方法、資訊處理裝置及資訊處理方法以及程式
JP6603558B2 (ja) * 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置
EP3174286B1 (en) 2015-11-25 2021-01-06 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
JP6694284B2 (ja) * 2016-01-29 2020-05-13 シナプティクス・ジャパン合同会社 画像データ伝送システム、送信回路及び受信回路
US9881664B1 (en) * 2017-01-12 2018-01-30 Cadence Design Systems, Inc. Per-group delay line architecture to de-skew input/output timing between a high bandwidth memory (HBM) physical (PHY) interface and the HBM device
JP7094952B2 (ja) 2017-06-09 2022-07-04 ソニーセミコンダクタソリューションズ株式会社 受信装置、制御方法、プログラム、および送受信システム
US10708524B2 (en) 2017-09-01 2020-07-07 Semiconductor Components Industries, Llc Methods and apparatus for high dynamic range imaging
CN107483279B (zh) * 2017-10-10 2020-06-12 福建星网智慧软件有限公司 一种基于以太网帧的本地批量操作网络设备的方法
CN111373736A (zh) * 2019-04-23 2020-07-03 深圳市大疆创新科技有限公司 接口时序转化装置、图像数据处理方法、传输方法及系统、存储介质
CN110868266B (zh) * 2019-10-31 2022-01-28 维沃移动通信有限公司 一种电子设备及信息处理方法
US20220385959A1 (en) * 2019-11-20 2022-12-01 Sony Semiconductor Solutions Corporation Transmission device, reception device, and transmission system
JP2022182021A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 シリアル通信装置及びシリアル通信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129183A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Temporal image buffer for an image processor using a compressed raw image
JP2009130563A (ja) * 2007-11-22 2009-06-11 Sony Corp データ処理装置、データ処理方法およびデータ処理プログラム、ならびに、撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2011049901A (ja) 2009-08-27 2011-03-10 Panasonic Corp 固体撮像装置、撮像装置
JP2012054882A (ja) * 2010-09-03 2012-03-15 Panasonic Corp 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US20120081577A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Image sensor data formats and memory addressing techniques for image signal processing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593727B2 (ja) * 1994-11-28 2004-11-24 富士ゼロックス株式会社 画像圧縮装置
US5995553A (en) * 1997-01-28 1999-11-30 Tft, Inc. Encoder/decoder for emergency alert system
JP3782542B2 (ja) * 1997-04-02 2006-06-07 キヤノン株式会社 画像処理装置及び画像処理システム
US6522694B1 (en) * 1998-10-09 2003-02-18 Matsushita Electric Industrial Co., Ltd. Programmable filter for removing stuffing bits from an MPEG-2 bit-stream
JP3990055B2 (ja) * 1998-10-30 2007-10-10 富士通株式会社 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置
JP3349490B2 (ja) * 2000-02-14 2002-11-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示方法、画像表示システム、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
FI114071B (fi) * 2003-01-13 2004-07-30 Nokia Corp Kuvien käsitteleminen rajoitetulla bittimäärällä
JP3610975B2 (ja) * 2003-04-16 2005-01-19 ソニー株式会社 記録装置および方法
KR20040104237A (ko) * 2003-06-03 2004-12-10 삼성전자주식회사 압축방식을 자동으로 설정하는 촬영장치 및 방법
CN101346982B (zh) * 2005-12-21 2011-12-21 松下电器产业株式会社 图像压缩装置、图像解压缩装置以及超声波诊断装置
US7742083B2 (en) * 2006-04-13 2010-06-22 Eastman Kodak Company In-camera dud image management
WO2007132877A1 (ja) * 2006-05-16 2007-11-22 Sony Corporation 通信システム、送信装置及び受信装置、通信方法、並びにプログラム
JP4176114B2 (ja) * 2006-06-19 2008-11-05 シャープ株式会社 画像圧縮装置およびそれを備えた画像読取装置、画像圧縮装置を備えた画像処理装置並びにそれを備えた画像形成装置、画像圧縮処理方法
US8121534B2 (en) * 2006-09-27 2012-02-21 Sirius Xm Radio Inc. System and method for sending and receiving images via wireless audio channels
US8699808B2 (en) * 2007-10-15 2014-04-15 Chih-Ta Star Sung Method and apparatus of temporary image frame compression
JP5358931B2 (ja) * 2007-11-28 2013-12-04 ソニー株式会社 送信装置及び受信装置
JP2009177447A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 動画像送受信システム
US8233728B2 (en) * 2008-11-07 2012-07-31 Cisco Technology, Inc. Embedded image quality stamps
JP4702463B2 (ja) * 2009-03-03 2011-06-15 コニカミノルタビジネステクノロジーズ株式会社 画像データ送信装置、画像データ送信方法、およびコンピュータプログラム
JP5618143B2 (ja) * 2010-11-12 2014-11-05 ソニー株式会社 符号化装置、符号化方法、復号装置、復号方法、プログラム、および伝送システム
US10136127B2 (en) * 2011-11-25 2018-11-20 Maxell Ltd. Image transmission device, image transmission method, image reception device, and image reception method
JP5987319B2 (ja) * 2012-01-06 2016-09-07 富士ゼロックス株式会社 送受信システム及びプログラム
JP5982869B2 (ja) * 2012-02-28 2016-08-31 富士ゼロックス株式会社 送受信システム及びプログラム
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법
TWI686085B (zh) * 2012-11-29 2020-02-21 日商索尼半導體解決方案公司 攝像裝置及圖像感測器之資料傳送方法、資訊處理裝置及資訊處理方法以及程式

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006129183A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Temporal image buffer for an image processor using a compressed raw image
US20060274190A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Temporal image buffer for image processor using compressed raw image
JP2008543203A (ja) * 2005-06-03 2008-11-27 ノキア コーポレイション 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ
JP2009130563A (ja) * 2007-11-22 2009-06-11 Sony Corp データ処理装置、データ処理方法およびデータ処理プログラム、ならびに、撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2011049901A (ja) 2009-08-27 2011-03-10 Panasonic Corp 固体撮像装置、撮像装置
JP2012054882A (ja) * 2010-09-03 2012-03-15 Panasonic Corp 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US20130176431A1 (en) * 2010-09-03 2013-07-11 Panasonic Corporation Image encoding method, image decoding method, image encoding device and image decoding device
US20120081577A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Image sensor data formats and memory addressing techniques for image signal processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NOKIA ET AL., SMIA 1.0 PART 2:CCP2 SPECIFICATION, 30 June 2004 (2004-06-30), pages 12,45 - 49, XP055255108 *
See also references of EP2928175A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145338A (ja) * 2015-04-14 2021-09-24 クアルコム，インコーポレイテッド マルチモード変調を用いる向上した仮想ｇｐｉｏ
CN107072515A (zh) * 2015-07-24 2017-08-18 奥林巴斯株式会社 图像数据传输系统
CN107072515B (zh) * 2015-07-24 2019-01-08 奥林巴斯株式会社 图像数据传输系统
WO2018131233A1 (ja) * 2017-01-16 2018-07-19 ソニーセミコンダクタソリューションズ株式会社 送信制御装置、受信制御装置および送受信制御システム

Also Published As

Publication number Publication date
US10362220B2 (en) 2019-07-23
US20150312476A1 (en) 2015-10-29
JPWO2014084072A1 (ja) 2017-01-05
CN104854854A (zh) 2015-08-19
JP6349259B2 (ja) 2018-06-27
TWI686085B (zh) 2020-02-21
KR20150091467A (ko) 2015-08-11
EP2928175A1 (en) 2015-10-07
EP2928175A4 (en) 2016-08-03
CN104854854B (zh) 2019-04-05
TW201424369A (zh) 2014-06-16

Similar Documents

Publication Publication Date Title
JP6349259B2 (ja) イメージセンサおよびそのデータ伝送方法、情報処理装置および情報処理方法、電子機器、並びにプログラム
JP6014991B2 (ja) 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
CN110769206B (zh) 一种电子内窥镜信号传输方法、装置和系统及电子设备
WO2020158589A1 (ja) 送信装置、送信方法、受信装置、受信方法、および送受信装置
JP5761551B2 (ja) 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム
US11930296B2 (en) Transmission device, reception device, and transmission system with padding code insertion
US20110285869A1 (en) Serial data sending and receiving apparatus and digital camera
JP2005318490A (ja) 伝送システム
CN111669516A (zh) 一种基于fpga实现八路视频数据的横向拼接及imu数据的实时同步方法
WO2020250727A1 (ja) 送信装置、送信方法、受信装置、受信方法、および送受信装置
EP4064682A1 (en) Transmission device, reception device, and transmission system
US20070195822A1 (en) Method and system for locating packet boundaries
US20220166598A1 (en) Transmission apparatus, reception apparatus, and transmission system
JP2023163310A (ja) 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム
JP2012222559A (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13858899

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014550130

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20157012080

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013858899

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14646940

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE