WO2020129685A1 - 通信装置および通信方法、並びにプログラム - Google Patents

通信装置および通信方法、並びにプログラム Download PDF

Info

Publication number
WO2020129685A1
WO2020129685A1 PCT/JP2019/047761 JP2019047761W WO2020129685A1 WO 2020129685 A1 WO2020129685 A1 WO 2020129685A1 JP 2019047761 W JP2019047761 W JP 2019047761W WO 2020129685 A1 WO2020129685 A1 WO 2020129685A1
Authority
WO
WIPO (PCT)
Prior art keywords
packet
header
extension
setting information
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/047761
Other languages
English (en)
French (fr)
Inventor
高橋　宏雄
俊久 百代
直弘 越坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US17/260,391 priority Critical patent/US12457279B2/en
Priority to DE112019006340.5T priority patent/DE112019006340T5/de
Priority to JP2020561296A priority patent/JP7494126B2/ja
Priority to CN201980082706.8A priority patent/CN113168383B/zh
Priority to KR1020217002625A priority patent/KR102747710B1/ko
Publication of WO2020129685A1 publication Critical patent/WO2020129685A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/323—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the physical layer [OSI layer 1]

Definitions

  • the present disclosure relates to a communication device, a communication method, and a program, and more particularly, to a communication device, a communication method, and a program that can be applied to more diverse applications.
  • CSI Code Serial Interface-2 ver4.0
  • C-PHY Physical layer
  • D-PHY Physical layer
  • the CSI-2 standard has become widely used not only for mobile devices but also for various applications such as in-vehicle and IoT (Internet of Things). It is assumed that it is not possible to deal with. Therefore, the MIPI (Mobile Industry Processor Interface) Alliance is considering expanding the packet structure such as existing packet headers and footers in order to support various applications.
  • MIPI Mobile Industry Processor Interface
  • Patent Document 1 proposes a system that can reduce the number of data buses when connecting a processing device and a plurality of image sensors by using the CSI-2 standard.
  • the present disclosure has been made in view of such a situation, and is intended to be applicable to a wider variety of applications.
  • the communication device stores setting information indicating a condition set for data transmitted in a packet, and a packet header generation unit configured to generate a packet header according to an existing CSI-2 standard;
  • An extension header generation unit that generates an extension header that stores the setting information is provided separately from the packet header, and the packet header generation unit is a data type that is the setting information indicating the type of data transmitted in the packet.
  • extension mode setting information indicating whether or not the extension mode using the extension header is set is stored.
  • a communication method or program stores setting information indicating a condition set for data transmitted in a packet, generates a packet header according to an existing CSI-2 standard, and stores the packet.
  • generating an extension header for storing the setting information, in the data type which is the setting information indicating the type of data transmitted in the packet, is not used in the existing CSI-2 standard.
  • the extension mode setting information indicating whether or not the extension mode using the extension header is set is stored.
  • setting information indicating a condition set for data transmitted in a packet is stored, a packet header is generated according to an existing CSI-2 standard, and separately from the packet header, An extension header that stores the setting information is generated. Then, in the data type, which is the setting information indicating the type of data transmitted in the packet, whether the extension mode uses the extension header in the unused area defined as unused in the existing CSI-2 standard.
  • the extended mode setting information indicating that is stored is stored.
  • a communication device is a packet header detection unit that detects a packet header in which setting information indicating a condition set for data transmitted in a packet is stored, according to an existing CSI-2 standard.
  • the existing CSI is stored according to the extended mode setting information stored in an unused area defined as unused in the existing CSI-2 standard and indicating whether the extended mode uses the extension header.
  • -2 Switch between receiving a packet with a packet structure conforming to the standard and receiving a packet with a packet structure in the extended mode.
  • a communication method or program is to detect a packet header in which setting information indicating a condition set for data transmitted in a packet is stored according to an existing CSI-2 standard.
  • the packet structure according to the existing CSI-2 standard is used. Switching between packet reception and packet structure packet reception in the extended mode is performed.
  • a packet header in which setting information indicating a condition set for data transmitted in a packet is stored is detected according to the existing CSI-2 standard, and is different from the packet header.
  • the setting information stored in the extension header is interpreted.
  • the extension mode that uses the extension header stored in the unused area defined as unused in the existing CSI-2 standard. According to the extended mode setting information indicating whether or not the packet is received, switching between reception of a packet structure packet according to the existing CSI-2 standard and reception of a packet structure packet in the extension mode is performed.
  • FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a communication system to which the present technology is applied.
  • the communication system 11 is configured by connecting an image sensor 21 and an application processor 22 via a bus 23.
  • the communication system 11 is used for CSI-2 connection inside an existing mobile device such as a so-called smartphone.
  • the image sensor 21 includes, for example, a lens, an image sensor (none of which are shown), and an extended mode CSI-2 transmission circuit 31 incorporated therein.
  • the image sensor 21 transmits the image data of the image acquired by the imaging device to the application processor 22 by the extended mode compatible CSI-2 transmission circuit 31.
  • the application processor 22 is configured by incorporating an extended mode compatible CSI-2 receiving circuit 32 together with an LSI (Large Scale Integration) that performs processing according to various applications executed by a mobile device including the communication system 11.
  • the application processor 22 receives the image data transmitted from the image sensor 21 by the extended mode compatible CSI-2 receiving circuit 32, and the LSI can process the image data according to the application. it can.
  • the bus 23 is a communication path for transmitting signals according to the CSI-2 standard, and for example, the transmission distance capable of transmitting signals is about 30 cm. Further, the bus 23 connects the image sensor 21 and the application processor 22 by a plurality of signal lines (I2C, CLKP/N, D0P/N, D1P/N, D2P/N, D3P/N) as illustrated. ..
  • the extended mode compatible CSI-2 transmitting circuit 31 and the extended mode compatible CSI-2 receiving circuit 32 support communication in an extended mode in which the CSI-2 standard is extended, and perform mutual signal transmission and reception. You can Detailed configurations of the extended mode compatible CSI-2 transmission circuit 31 and the extended mode compatible CSI-2 reception circuit 32 will be described later with reference to FIGS. 9 and 10.
  • FIG. 2 is a block diagram showing a configuration example of a second embodiment of a communication system to which the present technology is applied.
  • the image sensor 21 and the serializer 25 are connected via a bus 24-1, and the application processor 22 and the deserializer 26 are connected via a bus 24-2.
  • a serializer 25 and a deserializer 26 are connected and configured via a bus 27.
  • the communication system 11A is used for connection in an existing vehicle-mounted camera.
  • the image sensor 21 and the application processor 22 are configured similarly to the image sensor 21 and the application processor 22 in FIG. 1, and detailed description thereof will be omitted.
  • the buses 24-1 and 24-2 are communication paths for transmitting signals in conformity with the CSI-2 standard, and as shown in the drawing, a plurality of signal lines (HS-GPIO , I2C, CLKP/N, D0P/N, D1P/N, D2P/N, D3P/N).
  • the serializer 25 includes a CSI-2 receiving circuit 33 and a SerDes (Serializer Deserializer) transmitting circuit 34.
  • the CSI-2 receiving circuit 33 communicates with the extended mode-compatible CSI-2 transmitting circuit 31 in accordance with the normal CSI-2 standard, so that the image sensor 21 is transmitted. The signal of the bit parallel which comes is acquired. Then, the serializer 25 converts the acquired signal into bit serial, and the SerDes transmission circuit 34 communicates with the SerDes reception circuit 35 in one lane to transmit the signal to the deserializer 26.
  • the deserializer 26 includes a SerDes reception circuit 35 and a CSI-2 transmission circuit 36.
  • the deserializer 26 acquires a bit serial signal transmitted by the SerDes reception circuit 35 performing communication in one lane with the SerDes transmission circuit 34. Then, the deserializer 26 converts the acquired signal into bit parallel, and the CSI-2 transmission circuit 36 communicates with the extended mode compatible CSI-2 reception circuit 32 in accordance with the normal CSI-2 standard. Is transmitted to the application processor 22.
  • the bus 27 is a communication path that transmits signals in conformity with SerDes standards other than CSI-2, such as FPD (Flat Panel Display)-LINK III.
  • SerDes standards other than CSI-2 such as FPD (Flat Panel Display)-LINK III.
  • a transmission distance that enables signals to be transmitted. Is about 15 m.
  • the extended mode compatible CSI-2 transmitting circuit 31 and the extended mode compatible CSI-2 receiving circuit 32 transmit/receive data in packets having an expanded packet structure as described later. be able to. This makes it possible to support more diverse applications such as RAW24, SmartROI (Region of Interest), and GLD (Graceful Link Degradation) described below.
  • FIG. 3 shows the overall packet structure of a packet used in the extension mode of CSI-2 when the physical layer is D-PHY (hereinafter, referred to as extension packet for D-PHY).
  • the extended packet for D-PHY has the same packet structure as the existing CSI-2 standard in the packet header and packet footer.
  • the packet header stores VC (VirtualChannel) indicating the number of virtual channel lines, data type (DataType) indicating the type of data, WC (Word Count) indicating the data length of the payload, and VCX/ECC.
  • VC VirtualChannel
  • DataType data type
  • WC Wide Count
  • VCX/ECC Cyclic Redundancy Check
  • 0x38-0x3F is defined as the reserved data type transmitted in the packet header. Therefore, in the extension packet for D-PHY, the setting information for identifying the extension mode on the receiving side is newly defined by using the data type that is already reserved.
  • DataType[5:3] is defined as extended mode setting information
  • DataType[1:0] is extended type. It is defined as setting information.
  • the extension mode setting information indicates whether or not the extension mode is set. For example, when DataType[5:3] is 3'b111, it indicates that the extension mode is set. Further, when four types of extended mode 0, extended mode 1, extended mode 2 and extended mode 3 are prepared as types of extended mode, the extended type setting information is any one of them. Indicates For example, when DataType[1:0] is 2'b00, it indicates that the type of extended mode is extended mode 0.
  • Extended payload header is placed at the beginning corresponding to the existing CSI-2 standard payload, and must be transmitted in extended mode.
  • the extended payload header is configured with setting information such as an SROI identification flag, an extended VC (Virtual Channel), an extended DataType, an OePH selection flag, and an OePF selection flag, as shown in the figure.
  • the extended VC expands the VC that was 4 bits in the existing CSI-2 standard to 8 bits
  • the expanded DataType expands the DataType that was 4 bits in the existing CSI-2 standard to 8 bits. It
  • the optional extended payload header and optional extended payload footer are selectively transmitted according to the purpose.
  • the legacy payload corresponds to the same payload as the existing CSI-2 standard.
  • the extended payload header, optional extended payload header, and optional extended payload footer shall be 26-bit + 6-bit ECC (Error Correction Code). This makes it possible to divert the existing payload header circuit to suppress an increase in circuit size and improve error resistance.
  • FIG. 4 shows a short packet (hereinafter, referred to as D-PHY) used in the extension mode of CSI-2 when the physical layer is D-PHY. Packet structure) is shown.
  • FIG. 5 shows a packet structure of a long packet (hereinafter referred to as an extended long packet for D-PHY) used in the extended mode of CSI-2 when the physical layer is D-PHY. There is.
  • Short Packet Data Field is transmitted. This Short Packet Data Field is the same as that defined in the existing CSI-2 standard.
  • MC GLD MessageCount
  • RSID vehicle row number and SourceID
  • An extended short packet having a packet structure as shown in FIG. 4 can extend the data type and the bit width of the virtual channel as compared with the extended short packet according to the existing CSI-2 standard. It can support various uses defined in the extended payload header. If these functions are not required, the extended short packet according to the existing CSI-2 standard may be transmitted together with the extended long packet.
  • the optional extension payload header, legacy payload, and optional extension payload footer are stored in the existing CSI-2 standard payload and transmitted.
  • the existing SerDes transmission circuit 34 and the SerDes reception circuit 35 (FIG. 2) recognize the same as the image data transmitted in the existing payload, and as it is. It is transmitted to the latter stage.
  • the application processor 22 at the final stage can determine the extended mode by the data type DT[5:0] of the packet header. Therefore, the application processor 22 can interpret the contents of the payload in order from the extended payload header and take out the data in the desired extended mode.
  • FIG. 6 shows an overall packet structure of a packet used in the extension mode of CSI-2 when the physical layer is C-PHY (hereinafter, referred to as extension packet for C-PHY).
  • extension packet for C-PHY shown in FIG. 6, description of the configuration common to the extension packet for D-PHY of FIG. 3 will be omitted, and a different configuration will be described.
  • the extension mode is identified by the data type, and all the data according to each application executed by the application processor 22 is It is embedded in the payload and transmitted.
  • the extension packet for C-PHY transmits the packet header twice like the packet for C-PHY conforming to the existing CSI-2 standard, and C-PHY transmits 7 bits of 16bit to 16symbol. Data is arranged in 16-bit units for the convenience of conversion to.
  • the extended payload header is placed at the beginning of the payload, but regarding the virtual channel, in the case of C-PHY, the beginning of the existing packet header was reserved for that purpose, so the extended payload header contains the virtual channel. Is not stored.
  • the virtual channel may be stored in the extension payload header.
  • a flag called OePHF is prepared. If this flag is 1, OePH/OePF information will be transmitted next. Then, after the ePH information and the OePH information, the CRC is transmitted as the extended payload header, and the packet header having the same configuration is transmitted twice. In this way, by making the structure and the structure of the existing packet header transmitted twice, it is possible to achieve both circuit reusability and error resistance.
  • FIG. 7 shows a short packet (hereinafter referred to as C-PHY) used in the extension mode of CSI-2 when the physical layer is C-PHY. Packet structure) is shown.
  • FIG. 8 shows a packet structure of a long packet (hereinafter referred to as an extended long packet for C-PHY) used in the extended mode of CSI-2 when the physical layer is C-PHY. There is.
  • the extended short packet for C-PHY shown in FIG. 7 does not have a large difference in packet structure from the extended short packet for D-PHY shown in FIG. 4, and the extended long packet for C-PHY shown in FIG. Does not differ greatly from the extended long packet for D-PHY shown in FIG. 5 and the packet structure.
  • FIG. 9 is a block diagram showing a configuration example of the image sensor 21 including the extended mode compatible CSI-2 transmission circuit 31.
  • the image sensor 21 includes a pixel 41, an AD converter 42, an image processing unit 43, a pixel CRC calculation unit 44, a physical layer processing unit 45, in addition to the extended mode compatible CSI-2 transmission circuit 31. It is configured to include an I2C/I3C slave 46 and a register 47.
  • the extended mode compatible CSI-2 transmission circuit 31 includes a packing unit 51, a packet header generation unit 52, a payload header generation unit 53, a payload footer generation unit 54, selection units 55 and 56, a CRC calculation unit 57, and a lane distribution unit 58. , CCI slave 59, and controller 60.
  • the pixel 41 outputs an analog pixel signal according to the amount of received light
  • an AD converter ADC: Analog-to-Digital Converter
  • ADC Analog-to-Digital Converter
  • An image processing unit (ISP: Image Signal Processor) 43 supplies image data obtained by performing various types of image processing on an image based on a pixel signal to the pixel CRC calculation unit 44 and the packing unit 51. Further, the image processing unit 43 supplies the data enable signal data_en indicating whether the image data is valid to the packing unit 51 and the controller 60.
  • the pixel CRC calculation unit 44 calculates and calculates a CRC for each pixel in the image data supplied from the image processing unit 43, and supplies the CRC to the payload footer generation unit 54.
  • the physical layer processing unit 45 can execute physical layer processing of both C-PHY and D-PHY. For example, the physical layer processing unit 45 executes the physical layer processing of the C-PHY when the C layer enable signal cphy_en supplied from the controller 60 is valid, and when the C layer enable signal cphy_en is invalid. Executes physical layer processing of D-PHY. Then, the physical layer processing unit 45 transmits the packet divided into four lanes by the lane distribution unit 58 to the application processor 22.
  • the I2C/I3C slave 46 communicates according to the I2C/I3C master 72 (FIG. 10) of the application processor 22 based on the I2C (Inter-Integrated Circuit) or I3C (Improved Inter Integrated Circuits) standard.
  • settings transmitted from the application processor 22 are written in the register 47 via the I2C/I3C slave 46 and the CCI slave 59.
  • the settings written in the register 47 for example, communication settings according to the CSI-2 standard, extended mode settings indicating whether or not the extended mode is used, and fixed communication settings required for communication in the extended mode. and so on.
  • the packing unit 51 performs a packing process of storing the image data supplied from the image processing unit 43 in the payload of the packet, and supplies the payload to the selection unit 55 and the lane distribution unit 58.
  • the packet header generation unit 52 when instructed to generate the packet header according to the packet header generation instruction signal ph_go supplied from the controller 60, generates the packet header and supplies it to the selection unit 55 and the lane distribution unit 58.
  • the packet header generation unit 52 generates, according to the existing CSI-2 standard, a packet header storing setting information indicating a condition set for data transmitted in a packet, for example, a data type indicating a data type. .. Also, the packet header generation unit 52 uses the extension header in an unused area defined as unused in the existing CSI-2 standard in the data type that is the setting information indicating the type of data transmitted in the packet. The extension mode setting information indicating whether or not the extension mode setting is performed is stored. Further, the packet header generation unit 52 stores, in the unused area, extension type setting information indicating which type of extension modes of a plurality of types prepared as extension modes.
  • the payload header generation unit 53 generates each of the extension payload header and the optional extension payload header according to the extension payload header generation instruction signal eph_go and the extension payload header enable signal ePH_en supplied from the controller 60, and the selection unit 56 and the lane distribution unit 58. Supply to.
  • the payload header generation unit 53 is supplied with an in-vehicle row number, a source ID (identification), etc. according to the application of the image sensor 21, and converts them into an extended payload header or an optional extended payload header as necessary. Store.
  • the payload header generating unit 53 generates an extended payload header storing the setting information as shown in FIG. 3, for example, separately from the packet header generated by the packet header generating unit 52. Further, when transmitting the optional extension header, the payload header generation unit 53 should transmit the optional extension header as optional extension header setting information (OePH[7:0]) indicating whether or not to transmit the optional extension header.
  • the optional extension header setting information indicating is stored in the extension header, and the optional extension header is generated following the extension header.
  • the payload footer generation unit 54 generates an optional extended payload footer according to the extended payload footer generation instruction signal epf_go and the extended payload header enable signal ePF_en supplied from the controller 60, and supplies the optional extended payload footer to the selection unit 56 and the lane distribution unit 58.
  • the payload footer generation unit 54 uses the legacy payload in which the data is stored. Generate an optional extension footer that is placed consecutively.
  • the controller 60 also supplies a C layer enable signal cphy_en to the packet header generation unit 52, the payload header generation unit 53, and the payload footer generation unit 54.
  • the C layer enable signal cphy_en indicates that the packet header is valid
  • the packet header generation unit 52 generates a packet header for C-PHY
  • the payload header generation unit 53 causes the extended payload header and optional extended payload for C-PHY.
  • the header is generated, and the payload footer generator 54 generates an optional extended payload footer for C-PHY.
  • the C layer enable signal cphy_en indicates invalid, the packet header generation unit 52 generates the D-PHY packet header, and the payload header generation unit 53 the D-PHY extended payload header and the optional extended payload.
  • the header is generated, and the payload footer generation unit 54 generates an optional extended payload footer for D-PHY.
  • the selecting unit 55 selects the packet header supplied from the packet header generating unit 52 according to the C layer enable signal cphy_en supplied from the controller 60, and supplies the packet header to the selecting unit 56. ..
  • the selection unit 55 selects the payload supplied from the packing unit 51 and supplies it to the selection unit 56.
  • the selection unit 56 selectively supplies the packet header or payload via the selection unit 55, the extended payload header and the optional extended payload supplied from the payload header generation unit 53.
  • One of the optional extended payload footer supplied from the header and payload footer generation unit 54 is selected and supplied to the CRC calculation unit 57.
  • the CRC calculation unit 57 calculates and calculates the CRC of the packet header, the payload, the extension payload header, the optional extension payload header, or the optional extension payload footer selectively supplied through the selecting unit 56, and the CRC is lane-distributed. It is supplied to the part 58.
  • the lane distribution unit 58 receives the payload supplied from the packing unit 51, the packet header supplied from the packet header generation unit 52, the extended payload header supplied from the payload header generation unit 53, and the optional extended payload header.
  • the optional extended payload footer supplied from the payload footer generation unit 54 and the CRC supplied from the CRC calculation unit 57 are distributed to four lanes according to the CSI-2 standard and supplied to the physical layer processing unit 45. To do.
  • the CCI (Camera Control Interface) slave 59 communicates according to the CSI-2 standard, under the initiative of the CCI master 88 (FIG. 10) of the application processor 22.
  • the controller 60 reads out various settings stored in the register 47, and controls each block constituting the extended mode compatible CSI-2 transmission circuit 31 according to these settings. For example, the controller 60 controls switching between transmission of a packet having a packet structure conforming to the existing CSI-2 standard and transmission of a packet having a packet structure in the extended mode, depending on the content of data to be transmitted.
  • the image sensor 21 is configured as described above, and it is possible to generate an extended packet having a packet structure as described with reference to FIGS. 3 to 8 and send it to the application processor 22.
  • FIG. 10 is a block diagram showing a configuration example of the application processor 22 including the CSI-2 receiving circuit 32 supporting the extended mode.
  • the application processor 22 includes a physical layer processing unit 71, an I2C/I3C master 72, a register 73, and a controller 74, in addition to the extended mode compatible CSI-2 receiving circuit 32.
  • the extended mode compatible CSI-2 receiving circuit 32 includes a packet header detecting unit 81, a lane merging unit 82, an interpreting unit 83, selecting units 84 and 85, a CRC calculating unit 86, an unpacking unit 87, and a CCI master 88. Prepared for.
  • the physical layer processing unit 71 can execute both physical layer processing of C-PHY and D-PHY. As described above, the physical layer processing unit 45 of the image sensor 21 performs one of the C-PHY and the D-PHY physical layer processing, and the physical layer processing unit 71 causes the physical layer processing unit 45 to perform the physical layer processing. Perform the same physical layer processing that was performed in.
  • the I2C/I3C master 72 takes the initiative in communication with the I2C/I3C slave 46 (FIG. 9) of the image sensor 21 based on the I2C or I3C standard.
  • the controller 74 records various settings to be written in the register 47 of the image sensor 21 in the register 73.
  • the controller 74 controls each block forming the application processor 22.
  • mrg_en merging enable signal
  • the packet header detection unit 81 detects the packet header in which the setting information (data type etc.) indicating the condition set for the data transmitted in the packet is stored according to the existing CSI-2 standard. At this time, the packet header detection unit 81 is stored in an unused area defined as unused in the existing CSI-2 standard in the data type that is the setting information indicating the type of data transmitted in the packet. , The extended mode detection flag is output according to the extended mode setting information indicating whether or not the extended mode uses the extended header to receive the packet having the packet structure according to the existing CSI-2 standard and the extended mode. Switch to reception of a packet having a packet structure at time.
  • the packet header detection unit 81 has a plurality of types of extension modes prepared as extension modes according to extension mode type information stored in an unused area of a data type defined as unused in the existing CSI-2 standard. Recognize which type of extended mode is selected.
  • the lane merging unit 82 merges the packets divided into four lanes supplied from the physical layer processing unit 71 when the merging enable signal mrg_en supplied from the packet header detection unit 81 is valid. Then, the lane merging unit 82 supplies the packet of one lane to the interpretation unit 83, the selection unit 84, and the selection unit 85.
  • the interpretation unit 83 determines from the packet supplied from the lane merging unit 82 based on the packet structure of the extension mode. , Extended payload header, optional extended payload header, and optional extended payload footer. Then, the interpretation unit 83 interprets the setting information stored in the extension payload header, the optional extension payload header, and the optional extension payload footer.
  • the interpretation unit 83 receives, as an extension header, an extension payload header placed at the beginning of the payload according to the existing CSI-2 standard, and interprets the setting information stored in the extension payload header. Further, when the optional extension header setting information stored in the extension header indicates that the optional extension header transmitted selectively according to the use is transmitted, the interpretation unit 83 follows the extension header and the optional extension header. Receives the extension header and interprets the setting information stored in the optional extension header. Furthermore, when the packet transmitted in the extended mode is an extended long packet that stores data transmitted as a payload in the existing CSI-2 standard, the interpreting unit 83 follows the legacy payload in which the data is stored. Receives the optional extension footer to be placed and interprets the optional extension footer.
  • the interpretation unit 83 reads, for example, the vehicle-mounted line number and the source ID stored in the optional extension payload header and outputs them to the LSI (not shown) in the subsequent stage.
  • the interpreting unit 83 determines that the extended mode detection flag supplied from the packet header detection unit 81 does not indicate the extended mode, that is, if the packet having the existing packet structure is supplied. Stops without performing the processing described above.
  • the selection unit 84 selectively supplies data to the unpacking unit 87 according to the extension mode detection flag supplied from the packet header detection unit 81, based on the packet structure of the existing packet or the packet structure of the expansion packet.
  • the selection unit 85 selectively supplies data to the CRC calculation unit 86 based on the packet structure of the existing packet or the packet structure of the extended packet according to the extension mode detection flag supplied from the packet header detection unit 81.
  • the CRC calculation unit 86 calculates the CRC of the packet header, payload, extended payload header, optional extended payload header, or optional extended payload footer that is selectively supplied via the selection unit 85. Then, when a CRC error is detected, the CRC calculator 86 outputs a crc error detection signal indicating that to a subsequent LSI (not shown).
  • the unpacking unit 87 performs an unpacking process for extracting the image data stored in the payload selectively supplied via the selection unit 84, and outputs the acquired image data to a subsequent stage LSI (not shown). ..
  • the CCI master 88 takes the initiative in communication with the CCI slave 59 (FIG. 9) of the image sensor 21 based on the CSI-2 standard.
  • the application processor 22 is configured as described above, receives the extension packet transmitted from the image sensor 21, and interprets the setting information stored in the extension payload header, the optional extension payload header, and the optional extension payload footer. Then, the image data can be obtained.
  • FIG. 11 is a flowchart illustrating a process in which the image sensor 21 transmits a packet.
  • step S11 the controller 60 determines whether to use the extended mode when starting communication with the application processor 22. For example, the controller 60 confirms the extended mode setting stored in the register 47, and determines that the extended mode is used when the extended mode setting indicating that the extended mode is used is written by the application processor 22.
  • step S11 determines in step S11 that the extended mode is not used. If the controller 60 determines in step S11 that the extended mode is not used, the process proceeds to step S12.
  • step S12 the I2C/I3C slave 46 receives the transmission start command of the image data transmitted from the application processor 22 (in step S54 of FIG. 13 described later). Further, the I2C/I3C slave 46 receives the communication setting according to the CSI-2 standard transmitted together with the transmission start command, and writes it in the register 47 via the CCI slave 59.
  • step S13 the image sensor 21 executes the conventional packet transmission process of transmitting the packet having the packet structure according to the existing CSI-2 standard to the application processor 22 based on the communication setting stored in the register 47. To be done.
  • step S11 when the controller 60 determines to use the extended mode, the process proceeds to step S14.
  • step S14 the I2C/I3C slave 46 receives the fixed communication settings (for example, PH/PF copy for each lane in GLD) required for communication in the extended mode, and the I2C/I3C slave 46 receives the fixed communication settings via the CCI slave 59. Write to register 47.
  • the fixed communication settings for example, PH/PF copy for each lane in GLD
  • step S15 the I2C/I3C slave 46 receives the transmission start command of the image data transmitted from the application processor 22 (in step S57 of FIG. 13 described later). Further, the I2C/I3C slave 46 receives the communication setting according to the CSI-2 standard transmitted together with the transmission start command, and writes it in the register 47 via the CCI slave 59.
  • step S16 the controller 60 determines whether or not to start packet transmission, and waits for processing until it is determined to start packet transmission.
  • step S16 when it is determined that the packet transmission is started, the process proceeds to step S17, and the controller 60 determines whether or not the data should be transmitted in the extended mode.
  • the controller 60 determines that the data should be transmitted in the extended mode, for example, if the data is transmitted in a use case of an application example described later. To do.
  • step S17 When the controller 60 determines in step S17 that the data is to be transmitted in the extended mode, the process proceeds to step S18, and the extended mode transmission process (see FIG. 12) for transmitting the extended packet corresponding to the extended mode is performed. Be seen.
  • step S17 determines in step S17 that the data is not data to be transmitted in the extended mode.
  • step S19 the controller 60 determines whether to send a short packet. For example, the controller 60 determines to transmit the short packet at the start of the frame and at the end of the frame.
  • step S19 If it is determined in step S19 that the controller 60 transmits a short packet, the process proceeds to step S20.
  • step S20 the packet header generation unit 52 generates a packet header and transmits the short packet having the conventional packet structure to the application processor 22.
  • step S19 when the controller 60 determines that the short packet is not transmitted (that is, the long packet is transmitted), the process proceeds to step S21.
  • step S21 the packing unit 51 stores the image data in the payload, and the CRC calculation unit 57 obtains the CRC to generate a long packet having a conventional packet structure, and transmits the long packet to the application processor 22.
  • step S18 After the processing of step S18, step S20, or step S21, the processing proceeds to step S22, and the controller 60 ends the packet transmission processing. After that, the process returns to step S16, and the process of transmitting the packet is repeated for the next packet.
  • FIG. 12 is a flowchart illustrating the extended mode transmission process performed in the process of step S18 of FIG.
  • step S31 the packet header generation unit 52 generates a packet header storing VC, data type, WC, etc., and sends it to the application processor 22.
  • DataType[1:0] 2'b00
  • step S32 the application processor 22 determines whether to send the extended short packet. For example, the controller 60 determines to transmit the extended short packet at the start of the frame and at the end of the frame.
  • step S32 If the application processor 22 determines to transmit the extended short packet in step S32, the process proceeds to step S33.
  • step S33 the payload header generation unit 53 transmits the extended payload header in which the data type (DataType[7:0]) is set to short packet in the first byte of the payload.
  • the payload header generation unit 53 performs various settings stored in the extended payload header (for example, OePH[7:0] and OePF[3:0]).
  • step S34 the payload header generation unit 53 stores the frame number (FN: FrameNumber) in the second byte of the payload and transmits it.
  • FN FrameNumber
  • step S35 the payload header generation unit 53 generates and transmits the optional extension payload header as shown in FIG. 4 according to the setting (OePH[7:0]) performed in step S33.
  • step S36 the CRC calculation unit 57 obtains the CRC and transmits it as a packet footer.
  • step S32 determines in step S32 that the extended short packet is not transmitted (that is, the long packet is transmitted). the process proceeds to step S37.
  • step S37 the payload header generation unit 53 transmits the extended payload header in which the data type (DataType[7:0]) is set to other than short packet in the first byte of the payload.
  • the payload header generation unit 53 performs various settings stored in the extended payload header (for example, OePH[7:0] and OePF[3:0]).
  • step S38 the payload header generation unit 53 generates and transmits the optional extension payload header as shown in FIG. 5 according to the setting (OePH[7:0]) performed in step S37.
  • step S39 the packing unit 51 packs the image data supplied from the image processing unit 43, generates a legacy payload, and transmits it.
  • step S40 the payload footer generation unit 54 generates and transmits the optional extended payload footer as shown in FIG. 4 according to the setting (OePF[3:0]) performed in step S37.
  • step S41 the CRC calculation unit 57 obtains the CRC and transmits it as a packet footer.
  • step S36 or S41 the extended mode transmission processing is ended.
  • the image sensor 21 can generate and transmit an extended short packet or an extended long packet.
  • FIG. 13 is a flowchart for explaining the process in which the application processor 22 receives a packet.
  • step S 51 the process is started when the image sensor 21 is connected to the application processor 22 via the bus 23.
  • the controller 74 writes the initial settings of the image sensor 21 (for example, which one of C-PHY and D-PHY is used as the physical layer) in the register 73, and the I 2 C/I 3 C via the CCI master 88. It is transmitted to the image sensor 21 by the master 72. As a result, the initial setting is written in the register 47 of the image sensor 21.
  • step S52 the controller 74 recognizes whether the image sensor 21 supports the extended mode. For example, the controller 74 obtains the setting value (for example, extended PH/PF compatible capability) stored in the register 47 of the image sensor 21 by the I2C/I3C master 72, so that the image sensor 21 corresponds to the extended mode. It can be recognized whether or not. Alternatively, the controller 74 can recognize in advance whether or not the image sensor 21 is compatible with the extension mode based on, for example, an input by a manual or the like.
  • the setting value for example, extended PH/PF compatible capability
  • step S53 the controller 74 determines whether the image sensor 21 supports the extended mode and the application executed by the application processor 22 requires use of the extended mode.
  • step S53 when the controller 74 determines that the image sensor 21 does not support the extended mode or the use of the extended mode is not required, the process proceeds to step S54.
  • step S54 the controller 74 transmits an image data transmission start command to the image sensor 21 by the I2C/I3C master 72. At this time, the controller 74 also transmits the communication settings according to the CSI-2 standard.
  • step S55 the application processor 22 performs the conventional packet reception process of receiving the packet having the packet structure according to the existing CSI-2 standard, based on the communication setting transmitted in step S54.
  • step S53 determines in step S53 that the image sensor 21 is compatible with the extended mode and that the application executed by the application processor 22 requires the use of the extended mode, the process proceeds to step S56. Proceed to.
  • step S56 the I2C/I3C master 72 transmits the fixed communication setting required for communication in the extended mode before the communication in the extended mode is started. As a result, the fixed communication settings are written in the register 47 of the image sensor 21 (step S14 in FIG. 11).
  • step S57 the controller 74 causes the I2C/I3C master 72 to transmit an image data transmission start command to the image sensor 21. At this time, the controller 74 also transmits the communication settings according to the CSI-2 standard.
  • step S58 the packet header detection unit 81 determines whether or not the packet reception is started by confirming the data supplied from the physical layer processing unit 71, and the process is performed until it is determined that the packet reception is started. To wait.
  • the packet header detection unit 81 when detecting the packet header from the data supplied from the physical layer processing unit 71, determines that the reception of the packet has started.
  • step S58 If the packet header detection unit 81 determines in step S58 that reception of the packet has started, the process proceeds to step S59.
  • step S59 When the packet header detection unit 81 determines in step S59 that the packet that has started to be received is an extension packet, the process proceeds to step S60, and an extension mode reception process (see FIG. 14) for receiving the extension packet is performed. ..
  • step S59 when the packet header detection unit 81 determines that the packet that has started reception is not the extension packet, the process proceeds to step S61.
  • step S61 the packet header detection unit 81 confirms the data type (DataType[5:0]) of the packet header detected in step S58, and determines whether or not the packet whose reception has started is a short packet. ..
  • step S61 if the packet header detection unit 81 determines that the packet that has started receiving is a short packet, the process proceeds to step S62.
  • step S62 the packet header detection unit 81 receives the short packet having the conventional packet structure transmitted from the image sensor 21.
  • step S61 when the packet header detection unit 81 determines that the packet that has started reception is not a short packet (that is, reception of long packet has started), the process proceeds to step S63.
  • the unpacking unit 87 receives the payload of the long packet of the conventional packet structure transmitted from the image sensor 21 and extracts the image data, and the CRC calculation unit 86 transmits the packet header after the payload. WC + 1st byte is received as CRC.
  • step S60 After the processing of step S60, step S62, or step S63, the processing proceeds to step S64, and the controller 74 ends the packet reception processing. After that, the process returns to step S58, and the process of receiving the packet is repeated for the next packet.
  • FIG. 14 is a flowchart illustrating the extended mode reception process performed in the process of step S60 of FIG.
  • step S71 if the packet header detection unit 81 determines that the mode setting of the extended mode is extended mode 0, the process proceeds to step S72.
  • step S72 the interpretation unit 83 receives the first byte of the payload as an extended payload header.
  • step S73 the interpretation unit 83 confirms the data type (DataType[7:0]) of the extended payload header received in step S72, and determines whether or not the packet whose reception has started is an extended short packet. ..
  • step S73 when the interpretation unit 83 determines that the packet is an extended short packet, the process proceeds to step S74.
  • the interpretation unit 83 receives the optional extension payload header according to the setting (OePH[7:0]) stored in the extension payload header received in step S72.
  • step S75 the CRC calculation unit 86 receives the WC+1st byte transmitted after the optional extension payload header as the CRC.
  • step S73 when the interpretation unit 83 determines that it is not the extended short packet (that is, the reception of the extended long packet is started), the process proceeds to step S76.
  • step S76 the interpretation unit 83 receives the optional extension payload header according to the setting (OePH[7:0]) stored in the extension payload header received in step S72.
  • step S77 the unpacking unit 87 receives the legacy payload of the extended long packet transmitted from the image sensor 21 and extracts the image data.
  • step S78 the interpretation unit 83 receives the optional extended payload footer according to the setting (OePF[3:0]) stored in the extended payload header received in step S72.
  • step S79 the CRC calculation unit 86 receives, as a CRC, the WC+1st byte transmitted following the optional extension payload footer.
  • step S71 when it is determined in step S71 that the mode setting of the extended mode is not the extended mode 0, the extended mode reception process is ended after the process of step S75 or the process of step S79.
  • the application processor 22 can receive the extended short packet or the extended long packet and acquire the data.
  • the packet header and the packet footer are the same as those of the existing CSI-2 standard, with an emphasis on maintaining compatibility with the existing CSI-2 standard.
  • a packet structure is used, and the packet structure is expanded by an extended payload header, an optional extended payload header, and an optional extended payload footer.
  • the packet header and the packet footer are different from the existing CSI-2 standard, and the packet structure is expanded by the extended packet header and the extended packet footer.
  • FIG. 15 shows a packet structure of a short packet (hereinafter, an extended short packet for D-PHY) used in the CSI-2 extended mode when the physical layer is D-PHY.
  • a short packet hereinafter, an extended short packet for D-PHY
  • the extended short packet for D-PHY shown in FIG. 15 is stored in the same packet header as the existing CSI-2 standard, like the extended short packet for D-PHY of the first structural example shown in FIG.
  • the extended data type identifies the extended mode.
  • the frame number is set in the short packet data field as in the short packet according to the existing CSI-2 standard. Is stored. Then, following the packet header, an extended packet header configured similar to the extended payload header shown in FIG. 4 is transmitted.
  • the application processor 22 on the receiving side interprets the data type stored in the extended packet header and determines that the frame number is stored in the data field of the packet header in the case of the extended short packet. can do.
  • the optional extension packet header in the extended short packet for D-PHY shown in FIG. 15 is configured similarly to the optional extended payload header in the extended short packet for D-PHY of the first structural example shown in FIG. It However, since the optional extension packet header has a packet structure that is not embedded in the payload, it is not necessary to add a CRC at the end.
  • FIG. 16 shows a packet structure of a long packet (hereinafter, an extended long packet for D-PHY) used in the CSI-2 extended mode when the physical layer is D-PHY.
  • a long packet hereinafter, an extended long packet for D-PHY
  • the extended data is not embedded in the payload but is transmitted as a part of the packet header or the packet footer. Therefore, the WC of the head packet header indicates the byte length of the payload as in the existing standard.
  • FIG. 17 shows a packet structure of a short packet (hereinafter, an extended short packet for C-PHY) used in the extended mode of CSI-2 when the physical layer is C-PHY.
  • a short packet hereinafter, an extended short packet for C-PHY
  • the extended portion of the extended short packet for C-PHY shown in FIG. 17 is transmitted as an extension of the packet header according to the existing CSI-2 standard, so an extended portion such as an extended payload header is inserted after the frame number. It Then, like the existing CSI-2 standard, the packet header ends with CRC. Further, the packet structure for transmitting these twice with SYNC in between is similar to the short packet conforming to the existing CSI-2 standard.
  • FIG. 18 shows a packet structure of a long packet (hereinafter, an extended long packet for C-PHY) used in CSI-2 extended mode when the physical layer is C-PHY.
  • a long packet hereinafter, an extended long packet for C-PHY
  • the extended long packet for C-PHY shown in FIG. 18 is the first packet shown in FIG. 8 in that the WC of the head packet header indicates the byte length of the payload as in the existing standard. There is a difference from the extended long packet for C-PHY in the structural example.
  • the packet structure of the extended packet of the second structure example shown in FIGS. 15 to 18 is more diverse than the conventional one, similarly to the packet structure of the extended packet of the first structure example (FIGS. 3 to 8). It is possible to meet various uses.
  • the extension packet of the second structure example has a packet structure in which the existing packet header and footer are extended without embedding the extension data in the existing payload. Therefore, when the packet structure of the extended packet of the second structural example is adopted, compared with the case of adopting the packet structure of the extended packet of the first structural example, the communication system which has been conventionally used is The impact that would require changes cannot be minimized. That is, for example, the existing SerDes transmission circuit 34 needs to be changed from the SerDes reception circuit 35 (FIG. 2).
  • an in-vehicle system can be constructed with a minimal effect.
  • Each block constituting the image sensor 21 of FIG. 9 and the application processor 22 of FIG. 10 described above was configured so as to be able to perform processing corresponding to both D-PHY and C-PHY packets.
  • both a block for exclusively processing a D-PHY packet and a block for exclusively processing a C-PHY packet may be provided, and the respective processes may be switched. ..
  • the image sensor 21A shown in A of FIG. 19 includes a D layer processing block unit 101, a C layer processing block unit 102, a switching unit 103, and a controller 60.
  • the D layer processing block unit 101 has a block that exclusively processes a packet for D-PHY among the blocks configuring the image sensor 21 in FIG. 9.
  • the C-layer processing block unit 102 includes a block that exclusively processes a packet for C-PHY among the blocks that configure the image sensor 21 in FIG. 9.
  • the switching unit 103 outputs the D-PHY packet generated in the D-layer processing block unit 101 according to the control of the controller 60 and the C-PHY for the physical layer. When used, switching is performed so as to output a C-PHY packet generated in the C layer processing block unit 102.
  • the application processor 22A shown in B of FIG. 19 includes a switching unit 111, a D layer processing block unit 112, a C layer processing block unit 113, and a controller 74.
  • the switching unit 111 switches so that the packet transmitted from the image sensor 21A is supplied to one of the D layer processing block unit 112 and the C layer processing block unit 113.
  • the D-layer processing block unit 112 has a block that exclusively processes a packet for D-PHY among the blocks that configure the application processor 22 in FIG. 10.
  • the C-layer processing block unit 113 has a block that exclusively processes a packet for C-PHY among the blocks that configure the application processor 22 in FIG. 10.
  • the physical layer to be used can be set between the controller 60 and the controller 74 before starting communication. Then, for example, when the D-PHY is used for the physical layer, the D-PHY packet generated in the D layer processing block unit 101 is transmitted via the switching unit 103, and the D-PHY packet is transmitted via the switching unit 111. The layer processing block unit 112 is supplied and processed. Further, for example, when the C-PHY is used for the physical layer, the C-PHY packet generated in the C layer processing block unit 102 is transmitted via the switching unit 103 and the C-PHY packet is transmitted via the switching unit 111. The layer processing block unit 113 is supplied and processed.
  • RAW6, RAW7, RAW8, RAW10, RAW12, RAW14, RAW16, and RAW20 are defined as the data types stored in the packet header according to the existing CSI-2 standard. There is.
  • RAW24 the data type of the extension payload header.
  • Extending packets is also considered to be applied to SmartROI, which is a technology that transmits only the image area of interest on the screen.
  • extension packet for example, it is possible to transmit coordinate data of 16 bits or more for each of the X coordinate and the Y coordinate.
  • GLD is a proposal that is being considered in CSI-2 ver3.0.
  • the in-vehicle camera interface has at least a disconnection detection function, and shows the line number (16bit) indicating the line number of information on the screen, the SourceID (8bit) indicating which camera sent the data, and the transmission number. Information such as message counter (16bit) is required. Furthermore, when used in combination with the SROI as described above, it is conceivable that these pieces of information are transmitted in frame units.
  • FIG. 20 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the CPU 201 loads the programs stored in the ROM 202 and the EEPROM 204 into the RAM 203 via the bus 205 and executes the programs to perform the series of processes described above.
  • the program executed by the computer can be written in the ROM 202 in advance, or can be externally installed or updated in the EEPROM 204 via the input/output interface 206.
  • the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor) or may be processed by a plurality of computers in a distributed manner. Further, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be integrated into one device (or processing unit).
  • part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or another processing unit). ..
  • the present technology can have a configuration of cloud computing in which one device is shared by a plurality of devices via a network and jointly processes.
  • the program described above can be executed in any device.
  • the device may have a necessary function (function block or the like) so that necessary information can be obtained.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be configured such that the processes of the steps for writing the program are executed in time series in the order described in this specification, or in parallel, or when the call is made. It may be executed individually at a necessary timing such as time. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • a packet header generation unit that stores setting information indicating conditions set for data transmitted in packets and generates a packet header according to the existing CSI-2 standard
  • an extension header generation unit that generates an extension header that stores the setting information is provided
  • the packet header generation unit in the data type that is the setting information indicating the type of data transmitted in the packet, in the unused area defined as unused in the existing CSI-2 standard, the extension header,
  • a communication device that stores extended mode setting information indicating whether or not the extended mode to be used is used.
  • extension header generation unit generates, as the extension header, an extension payload header arranged at the beginning of a payload according to the existing CSI-2 standard.
  • extension header generation unit generates, as the extension header, an extension packet header arranged subsequent to the packet header so as to extend the standard of the packet header.
  • the extension header generation unit stores, in the extension header, optional extension header setting information indicating whether or not to send an optional extension header selectively transmitted according to a use. (1) to (3) The communication device according to any one of 1.
  • the extension header generation unit stores the optional extension header setting information indicating that the optional extension header is transmitted, in the extension header, and after the extension header, the optional extension header.
  • the communication device according to any one of (1) to (4) above.
  • the packet header generation unit stores, in the unused area, extension type setting information indicating which type of extension modes of a plurality of types prepared as the extension mode is set.
  • the communication device according to any one of (5).
  • (7) When the packet transmitted in the extended mode is an extended long packet that stores data transmitted as a payload in the existing CSI-2 standard, an optional packet that is arranged subsequent to the legacy payload in which the data is stored
  • the communication device according to any one of (1) to (6), further including an optional extension footer generation unit that generates an extension footer.
  • a control unit is further provided for controlling switching between transmission of a packet structure packet conforming to the existing CSI-2 standard and transmission of a packet structure packet in the extended mode according to the content of the data to be transmitted.
  • the communication device according to any one of 1) to (7).
  • the communication device that communicates Storing the setting information indicating the conditions set for the data transmitted in the packet, and generating the packet header according to the existing CSI-2 standard, Aside from the packet header, generating an extension header storing the setting information,
  • the data type which is the setting information indicating the type of data transmitted in the packet, is the extension mode in which the extension header is used in an unused area defined as unused in the existing CSI-2 standard?
  • a communication method that stores extended mode setting information that indicates whether or not it is present.
  • a packet header detection unit that detects the packet header in which the setting information indicating the conditions set for the data transmitted in the packet is stored according to the existing CSI-2 standard, An interpreting unit that interprets the setting information stored in an extension header different from the packet header, The packet header detection unit, in the data type that is the setting information indicating the type of data transmitted in the packet, stored in an unused area defined as unused in the existing CSI-2 standard, According to the extension mode setting information indicating whether or not the extension mode using the extension header, the reception of the packet structure packet according to the existing CSI-2 standard, and the reception of the packet structure packet in the extension mode A communication device that causes switching.
  • the interpretation unit receives, as the extension header, an extension payload header placed at the beginning of a payload according to the existing CSI-2 standard, and interprets the setting information stored in the extension payload header ( The communication device according to 11).
  • the interpretation unit receives, as the extension header, an extension packet header arranged subsequent to the packet header so as to extend the standard of the packet header, and interprets the setting information stored in the extension header.
  • the interpretation unit follows the extension header and then The communication device according to any one of (11) to (13) above, which receives an optional extension header and interprets the setting information stored in the optional extension header.
  • the packet header detection unit recognizes which type of extension mode is selected from the plurality of types of extension modes prepared as the extension mode according to the extension mode type information stored in the unused area.
  • the communication device according to any one of (11) to (14) above.
  • the interpretation unit when the packet transmitted in the extended mode is an extended long packet storing data transmitted as a payload in the existing CSI-2 standard, continues the legacy payload in which the data is stored.
  • the communication device according to any one of (11) to (15) above, which receives an optional extended footer that is arranged as a unit and interprets the optional extended footer.
  • the communication device that communicates Detecting a packet header that stores setting information indicating conditions set for data transmitted in a packet according to the existing CSI-2 standard, Interpreting the setting information stored in an extension header different from the packet header, In the data type that is the setting information indicating the type of data transmitted in the packet, an extension that uses the extension header is stored in an unused area that is defined as unused in the existing CSI-2 standard.
  • a communication method that switches between receiving a packet with a packet structure conforming to the existing CSI-2 standard and receiving a packet with a packet structure in the extended mode according to the extended mode setting information that indicates whether or not the mode is set.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本開示は、より多様な用途に対応することができるようにする通信装置および通信方法、並びにプログラムに関する。 パケットヘッダ生成部は、パケットで伝送されるデータについて設定された条件を示す設定情報を格納するパケットヘッダを、既存のCSI-2規格に従って生成し、拡張ヘッダ生成部は、パケットヘッダとは別に、設定情報を格納する拡張ヘッダを生成する。そして、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報が格納される。本技術は、例えば、モバイル機器の内部または車載カメラの接続で用いられる通信システムに適用できる。

Description

通信装置および通信方法、並びにプログラム
　本開示は、通信装置および通信方法、並びにプログラムに関し、特に、より多様な用途に対応することができるようにした通信装置および通信方法、並びにプログラムに関する。
　現在、規格化が進行中であるCSI(Camera Serial Interface)-2 ver4.0では、物理層にC-PHYを使うパケット構造と、物理層にD-PHYを使うパケット構造との２種類が定義されている。
　また近年、CSI-2規格は、モバイル機器だけに用いられるのではなく、車載やIoT（Internet of Things）など様々な用途に広く用いられるようになった結果、既存のパケット構造では、それらの用途に対応することができないと想定される。そこで、MIPI（Mobile Industry Processor Interface）アライアンスでは、多様な用途に対応させるため、既存のパケットヘッダやパケットフッタなど、パケット構造の拡張を検討している。
　また、特許文献１では、CSI-2規格を利用して、処理装置と複数の画像センサとを接続する際に、データバスの数を減らすことができるシステムが提案されている。
特開２０１７－２１１８６４号公報
　上述したように、CSI-2規格におけるパケットのパケット構造を拡張させることが検討されているが、その際に、既存のCSI-2規格の互換性を維持しつつ、より多くの情報を伝達することができるようにして、多様な用途に対応させることが求められている。
　本開示は、このような状況に鑑みてなされたものであり、より多様な用途に対応することができるようにするものである。
　本開示の第１の側面の通信装置は、パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成するパケットヘッダ生成部と、前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成する拡張ヘッダ生成部とを備え、前記パケットヘッダ生成部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する。
　本開示の第１の側面の通信方法またはプログラムは、パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することとを含み、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する。
　本開示の第１の側面においては、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されて、既存のCSI-2規格に従ってパケットヘッダが生成され、そのパケットヘッダとは別に、設定情報を格納する拡張ヘッダが生成される。そして、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報が格納される。
　本開示の第２の側面の通信装置は、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出するパケットヘッダ検出部と、前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈する解釈部とを備え、前記パケットヘッダ検出部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせる。
　本開示の第２の側面の通信方法またはプログラムは、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することとを含み、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる。
　本開示の第２の側面においては、パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダが、既存のCSI-2規格に従って検出され、そのパケットヘッダとは別の拡張ヘッダに格納されている設定情報が解釈される。そして、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる。
本技術を適用した通信システムの第１の実施の形態の構成例を示すブロック図である。 本技術を適用した通信システムの第２の実施の形態の構成例を示すブロック図である。 D-PHY用の拡張パケットの全体的なパケット構造の第１の構造例を示す図である。 D-PHY用の拡張ショートパケットのパケット構造の第１の構造例を示す図である。 D-PHY用の拡張ロングパケットのパケット構造の第１の構造例を示す図である。 C-PHY用の拡張パケットの全体的なパケット構造の第１の構造例を示す図である。 C-PHY用の拡張ショートパケットのパケット構造の第１の構造例を示す図である。 C-PHY用の拡張ロングパケットのパケット構造の第１の構造例を示す図である。 イメージセンサの構成例を示すブロック図である。 アプリケーションプロセッサの構成例を示すブロック図である。 イメージセンサがパケットを送信する処理を説明するフローチャートである。 拡張モード送信処理を説明するフローチャートである。 アプリケーションプロセッサがパケットを受信する処理を説明するフローチャートである。 拡張モード受信処理を説明するフローチャートである。 D-PHY用の拡張パケットの全体的なパケット構造の第２の構造例を示す図である。 D-PHY用の拡張ロングパケットのパケット構造の第２の構造例を示す図である。 C-PHY用の拡張ショートパケットのパケット構造の第２の構造例を示す図である。 C-PHY用の拡張ロングパケットのパケット構造の第２の構造例を示す図である。 D-PHYおよびC-PHYを切り替える構成の変形例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜通信システムの構成例＞
　図１は、本技術を適用した通信システムの第１の実施の形態の構成例を示すブロック図である。
　図１に示すように、通信システム１１は、イメージセンサ２１およびアプリケーションプロセッサ２２がバス２３を介して接続されて構成される。例えば、通信システム１１は、いわゆるスマートフォンなどのような既存のモバイル機器の内部におけるCSI-2接続に用いられる。
　イメージセンサ２１は、例えば、レンズや撮像素子（いずれも図示せず）などとともに、拡張モード対応CSI-2送信回路３１が組み込まれて構成される。例えば、イメージセンサ２１は、撮像素子が撮像することで取得した画像の画像データを、拡張モード対応CSI-2送信回路３１によりアプリケーションプロセッサ２２へ送信する。
　アプリケーションプロセッサ２２は、通信システム１１を備えるモバイル機器で実行される各種のアプリケーションに応じた処理を行うLSI（Large Scale Integration）とともに、拡張モード対応CSI-2受信回路３２が組み込まれて構成される。例えば、アプリケーションプロセッサ２２は、イメージセンサ２１から送信されてくる画像データを、拡張モード対応CSI-2受信回路３２により受信し、その画像データに対して、アプリケーションに応じた処理をLSIにより行うことができる。
　バス２３は、CSI-2の規格に準拠して信号を伝送する通信経路であり、例えば、信号を伝送することが可能な伝送距離は３０ｃｍ程度となっている。また、バス２３は、図示するように複数本の信号線（I2C，CLKP/N，D0P/N，D1P/N，D2P/N，D3P/N）によって、イメージセンサ２１およびアプリケーションプロセッサ２２を接続する。
　拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２は、CSI-2の規格を拡張させた拡張モードでの通信に対応しており、互いに信号の送信および受信を行うことができる。なお、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２の詳細な構成については、図９および１０を参照して後述する。
　図２は、本技術を適用した通信システムの第２の実施の形態の構成例を示すブロック図である。
　図２に示すように、通信システム１１Ａは、イメージセンサ２１およびシリアライザ２５がバス２４－１を介して接続されるとともに、アプリケーションプロセッサ２２およびデシリアライザ２６がバス２４－２を介して接続されており、シリアライザ２５およびデシリアライザ２６がバス２７を介して接続されて構成される。例えば、通信システム１１Ａは、既存の車載カメラにおける接続に用いられる。
　ここで、イメージセンサ２１およびアプリケーションプロセッサ２２は、図１のイメージセンサ２１およびアプリケーションプロセッサ２２と同様に構成されており、その詳細な説明は省略する。
　バス２４－１および２４－２は、図１のバス２３と同様に、CSI-2の規格に準拠して信号を伝送する通信経路であり、図示するように複数本の信号線（HS-GPIO，I2C，CLKP/N，D0P/N，D1P/N，D2P/N，D3P/N）を備えて構成される。
　シリアライザ２５は、CSI-2受信回路３３およびSerDes（Serializer Deserializer）送信回路３４を備えて構成される。例えば、シリアライザ２５は、CSI-2受信回路３３が、拡張モード対応CSI-2送信回路３１との間で通常のCSI-2の規格に準拠した通信を行うことにより、イメージセンサ２１から送信されてくるビット並列の信号を取得する。そして、シリアライザ２５は、その取得した信号をビット直列に変換して、SerDes送信回路３４がSerDes受信回路３５との間で１レーンでの通信を行うことにより、その信号をデシリアライザ２６へ送信する。
　デシリアライザ２６は、SerDes受信回路３５およびCSI-2送信回路３６を備えて構成される。例えば、デシリアライザ２６は、SerDes受信回路３５が、SerDes送信回路３４との間で１レーンでの通信を行うことにより送信されてくるビット直列の信号を取得する。そして、デシリアライザ２６は、その取得した信号をビット並列に変換して、CSI-2送信回路３６が、拡張モード対応CSI-2受信回路３２との間で通常のCSI-2の規格に準拠した通信を行うことにより、アプリケーションプロセッサ２２へ送信する。
　バス２７は、FPD(Flat Panel Display)-LINK IIIなどのように、CSI-2以外のSerDes規格に準拠して信号を伝送する通信経路であり、例えば、信号を伝送することが可能な伝送距離は１５ｍ程度となっている。
　このように構成される通信システム１１および１１Ａは、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２により、後述するように拡張されたパケット構造のパケットでデータを送受信することができる。これにより、より多様な用途、例えば、後述するようなRAW24や、SmartROI（Region of Interest）、GLD（Graceful Link Degradation）などに対応することができる。
　＜パケット構造の第１の構造例＞
　図３乃至図８を参照して、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２の間の通信で用いられるパケットのパケット構造の第１の構造例について説明する。
　図３には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるパケット（以下、D-PHY用の拡張パケットと称する）の全体的なパケット構造が示されている。
　図３に示すように、D-PHY用の拡張パケットは、パケットヘッダおよびパケットフッタが既存のCSI-2規格と同一のパケット構造となっている。例えば、パケットヘッダには、仮想チャネルの回線数を示すVC（VirtualChannel）、データの種類を示すデータタイプ（DataType）、ペイロードのデータ長を示すWC（Word Count）、VCX/ECCが格納される。また、パケットフッタには、CRC（Cyclic Redundancy Check）が格納される。
　ここで、既存のCSI-2規格では、パケットヘッダで送信されるデータタイプは、0x38～0x3Fがリザーブと定義されている。そこで、D-PHY用の拡張パケットでは、既存ではリザーブとなっているデータタイプを利用して、受信側で拡張モードを識別するための設定情報が新たに定義される。
　例えば、データタイプとして、
・DataType[5:3]=3’b111の場合、拡張モード
・DataType[2]=Reserve（RES：将来の拡張のための予約）
・DataType[1:0]=extension mode type（４つの拡張モードを用意）
を定義する。
　即ち、既存のCSI-2規格ではリザーブと定義されているデータタイプの0x38～0x3Fのうち、例えば、DataType[5:3]が拡張モード設定情報として定義され、DataType[1:0]が拡張タイプ設定情報として定義される。拡張モード設定情報は、拡張モードであるか否かを示し、例えば、DataType[5:3]が3’b111である場合には拡張モードであることを示す。また、拡張モードのタイプとして、拡張モード０、拡張モード１、拡張モード２、および拡張モード３の４つのタイプが用意されるとき、拡張タイプ設定情報は、それらのうちの、いずれのタイプであるかを示す。例えば、DataType[1:0]が2’b00である場合には、拡張モードのタイプが拡張モード０であることを示す。
　そして、拡張モード０（DataType[1:0]=2’b00）では、例えば、ペイロードが４つに分離されたパケット構造が定義される。即ち、拡張モード０におけるペイロードは、図３に示すように、拡張ペイロードヘッダ（ePH：extended Payload Header）、オプショナル拡張ペイロードヘッダ（OePH：Optional extended Payload Header）、レガシーペイロード（Legacy Payload）、および、オプショナル拡張ペイロードフッタ（OePF：Optional extended Payload Footer）に分離される。
　拡張ペイロードヘッダは、既存のCSI-2規格のペイロードに相当する先頭に配置され、拡張モードでは必ず送信する必要がある。例えば、拡張ペイロードヘッダは、図示するように、SROIの識別フラグ、拡張VC（VirtualChannel）、拡張DataType、OePHの選択フラグ、およびOePFの選択フラグなどの設定情報で構成される。ここで、拡張VCにより、既存のCSI-2規格では４ビットであったVCが８ビットに拡張され、拡張DataTypeにより、既存のCSI-2規格では４ビットであったDataTypeが８ビットに拡張される。
　例えば、D-PHY用のパケットでは、既存のパケットヘッダのVCが既に４ビット存在しており、拡張ペイロードヘッダの拡張VCを４ビットと定義することにより、合計で８ビットとすることができる。具体的には、OePH[7:0] = {5’h00,RSID,XY_POS,MC}、OePF[3:0] = {3’h0,pCRC}と定義することができ、それぞれの用途に必要なパケット送信のON/OFFを制御することができる。
　オプショナル拡張ペイロードヘッダおよびオプショナル拡張ペイロードフッタは、用途に応じて選択的に伝送される。
　レガシーペイロードは、既存のCSI-2の規格と同一のペイロードに相当する。
　このように、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタを必要に応じて設定することで、様々な用途に対応したデータを送信することができるようになる。また、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタで伝送されるデータは、26bit+6bitのECC（Error Correction Code）とする。これにより、既存のペイロードヘッダの回路を流用して回路規模の増大を抑制し、かつ、エラー耐性の向上を図ることができる。
　このようなD-PHY用の拡張パケットの具体的な適用例として、図４には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、D-PHY用の拡張ショートパケットと称する）のパケット構造が示されている。同様に、図５には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、D-PHY用の拡張ロングパケットと称する）のパケット構造が示されている。
　図４に示すようなD-PHY用の拡張ショートパケットにおいて、パケットヘッダに格納されているデータタイプの拡張タイプ設定情報は、拡張モードのタイプが拡張モード０であること（DT[5:0]=0x1C(5’b111_0_0)）を示している。また、拡張ペイロードヘッダに格納されているデータタイプのショートパケット設定情報は、ショートパケットであること（DT[7:0]=0x00 (Frame Start Code（Short Packet）)）を示している。
　このように、拡張モードであり、かつ、拡張ペイロードヘッダに格納されているデータタイプがDT[7:0]=0x00~0x0Fである場合、拡張ショートパケットとし、オプショナル拡張ペイロードヘッダには必ず、拡張ショートパケットのShort Packet Data Fieldを含むデータが伝送される。このShort Packet Data Fieldは、既存のCSI-2の規格で定義されたものと同一である。
　なお、拡張ショートパケットの送信時には、オプショナル拡張ペイロードヘッダのうち、MC（GLD用MessageCount）とRSID（車載用行番号とSourceID）は送信しても良いが、レガシーペイロードとpCRCは不要であるため、送信禁止である。仮に、それらを誤って送信した場合には、受信側で無視される。
　そして、図４に示すようなパケット構造の拡張ショートパケットは、既存のCSI-2の規格に従った拡張ショートパケットと比較して、データタイプおよび仮想チャネルのビット幅を拡張することができ、オプショナル拡張ペイロードヘッダで定義される様々な用途に対応することができる。また、これらの機能が必要でない場合は、既存のCSI-2の規格に従った拡張ショートパケットを、拡張ロングパケットと一緒に送信するようにしてもよい。
　図５に示すようなD-PHY用の拡張ロングパケットにおいて、パケットヘッダに格納されているデータタイプの拡張タイプ設定情報は、拡張モードのタイプが拡張モード０であること（DT[5:0]=0x1C(5’b111_0_0)）を示している。また、拡張ペイロードヘッダに格納されているデータタイプのショートパケット設定情報は、ショートパケット以外であること（DT[7:0]は0x00~0x0F以外（＝拡張LongPackt））を示している。従って、拡張ロングパケットでは、Short Packet Data Fieldを含むデータは送信されない。
　また、拡張ペイロードヘッダの設定に従い、オプショナル拡張ペイロードヘッダ、レガシーペイロード、およびオプショナル拡張ペイロードフッタが、既存のCSI-2の規格でのペイロードに格納して伝送される。このように、既存のペイロードに格納して伝送されるため、既存のSerDes送信回路３４およびSerDes受信回路３５（図２）には、既存のペイロードで伝送される画像データと同様に認識され、そのまま後段に伝送される。
　そして、最後段のアプリケーションプロセッサ２２は、パケットヘッダのデータタイプDT[5:0]によって、拡張モードと判定することができる。従って、アプリケーションプロセッサ２２は、ペイロードの中身を、拡張ペイロードヘッダから順に解釈し、所望の拡張モードのデータを取り出すことができる。
　図６には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるパケット（以下、C-PHY用の拡張パケットと称する）の全体的なパケット構造が示されている。なお、図６に示すC-PHY用の拡張パケットにおいて、図３のD-PHY用の拡張パケットと共通する構成については説明を省略し、異なる構成について説明を行う。
　例えば、C-PHY用の拡張パケットでは、図３のD-PHY用の拡張パケットと同様に、データタイプで拡張モードを識別し、アプリケーションプロセッサ２２で実行される各アプリケーションに応じたデータは、すべてペイロードに埋め込まれて伝送される。
　図６に示すように、C-PHY用の拡張パケットは、既存のCSI-2規格に従ったC-PHY用のパケットと同様に、パケットヘッダを２回伝送し、C-PHYが16bitを7symbolに変換する都合上、16bit単位でデータを並べる。また、ペイロードの先頭には拡張ペイロードヘッダが配置されるが、仮想チャネルに関しては、C-PHYの場合、既存のパケットヘッダの先頭がその為にReserveとなっていたため、拡張ペイロードヘッダには仮想チャネルは格納されない。もちろん、D-PHY用の拡張パケットと同様に、拡張ペイロードヘッダに仮想チャネルを格納してもよい。
　また、オプショナル拡張ペイロードヘッダおよびオプショナル拡張ペイロードフッタはビット数が多いため、OePHFというフラグを準備し、このフラグが１の場合、OePH/OePF情報が次に伝送される。そして、ePH情報およびOePH情報の後、拡張ペイロードヘッダとしてCRCを伝送し、同様に構成されるパケットヘッダを２回繰り返して伝送する。このように、既存のパケットヘッダが２回伝送される仕組みと構造を同じにすることで、回路再利用性およびエラー耐性を両立することができる。
　このようなC-PHY用の拡張パケットの具体的な適用例として、図７には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、C-PHY用の拡張ショートパケットと称する）のパケット構造が示されている。同様に、図８には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、C-PHY用の拡張ロングパケットと称する）のパケット構造が示されている。
　なお、図７に示すC-PHY用の拡張ショートパケットは、図４に示したD-PHY用の拡張ショートパケットとパケット構造に大きな差異はなく、図８に示すC-PHY用の拡張ロングパケットは、図５に示したD-PHY用の拡張ロングパケットとパケット構造に大きな差異はない。
　＜イメージセンサおよびアプリケーションプロセッサの構成例＞
　図９は、拡張モード対応CSI-2送信回路３１を備えるイメージセンサ２１の構成例を示すブロック図である。
　図９に示すように、イメージセンサ２１は、拡張モード対応CSI-2送信回路３１の他に、画素４１、AD変換器４２、画像処理部４３、画素CRC演算部４４、物理層処理部４５、I2C/I3Cスレーブ４６、およびレジスタ４７を備えて構成される。また、拡張モード対応CSI-2送信回路３１は、パッキング部５１、パケットヘッダ生成部５２、ペイロードヘッダ生成部５３、ペイロードフッタ生成部５４、選択部５５および５６、CRC演算部５７、レーン分配部５８、CCIスレーブ５９、およびコントローラ６０を備えて構成される。
　画素４１は、受光した光の光量に応じたアナログの画素信号を出力し、AD変換器（ADC：Analog-to-Digital Converter）４２は、画素４１から出力される画素信号をデジタル変換して画像処理部４３に供給する。画像処理部（ISP：Image Signal Processor）４３は、画素信号に基づく画像に対する各種の画像処理を施して得られる画像データを画素CRC演算部４４およびパッキング部５１に供給する。また、画像処理部４３は、画像データが有効であるか否かを示すデータイネーブル信号data_enをパッキング部５１およびコントローラ６０に供給する。
　画素CRC演算部４４は、画像処理部４３から供給される画像データにおける画素ごとのCRCを演算して求め、そのCRCをペイロードフッタ生成部５４に供給する。
　物理層処理部４５は、C-PHYおよびD-PHYの両方の物理層処理を実行することができる。例えば、物理層処理部４５は、コントローラ６０から供給されるＣ層イネーブル信号cphy_enが有効である場合にはC-PHYの物理層処理を実行し、Ｃ層イネーブル信号cphy_enが無効である場合にはD-PHYの物理層処理を実行する。そして、物理層処理部４５は、レーン分配部５８により４レーンに分割されたパケットを、アプリケーションプロセッサ２２へ送信する。
　I2C/I3Cスレーブ４６は、I2C（Inter-Integrated Circuit）またはI3C（Improved Inter Integrated Circuits）の規格に基づき、アプリケーションプロセッサ２２のI2C/I3Cマスタ７２（図１０）による主導に従って通信を行う。
　レジスタ４７には、アプリケーションプロセッサ２２から送信されてくる各種の設定が、I2C/I3Cスレーブ４６およびCCIスレーブ５９を介して書き込まれる。ここで、レジスタ４７に書き込まれる設定としては、例えば、CSI-2規格に従った通信設定や、拡張モードの使用の有無を示す拡張モード設定、拡張モードでの通信で必要となる固定の通信設定などがある。
　パッキング部５１は、画像処理部４３から供給される画像データを、パケットのペイロードに格納するパッキング処理を行い、そのペイロードを選択部５５およびレーン分配部５８に供給する。
　パケットヘッダ生成部５２は、コントローラ６０から供給されるパケットヘッダ生成指示信号ph_goに従って、パケットヘッダの生成が指示されると、パケットヘッダを生成して選択部５５およびレーン分配部５８に供給する。
　即ち、パケットヘッダ生成部５２は、パケットで伝送されるデータについて設定された条件を示す設定情報、例えば、データのタイプを示すデータタイプを格納するパケットヘッダを、既存のCSI-2規格に従って生成する。また、パケットヘッダ生成部５２は、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する。さらに、パケットヘッダ生成部５２は、未使用領域に、拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプであるかを示す拡張タイプ設定情報を格納する。
　ペイロードヘッダ生成部５３は、コントローラ６０から供給される拡張ペイロードヘッダ生成指示信号eph_goおよび拡張ペイロードヘッダイネーブル信号ePH_enに従って、拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダそれぞれを生成し、選択部５６およびレーン分配部５８に供給する。また、ペイロードヘッダ生成部５３には、イメージセンサ２１の用途に応じて、車載用行番号やソースID（identification）などが供給され、必要に応じて、それらを拡張ペイロードヘッダまたはオプショナル拡張ペイロードヘッダに格納する。
　即ち、ペイロードヘッダ生成部５３は、パケットヘッダ生成部５２により生成されるパケットヘッダとは別に、例えば、図３に示したような設定情報を格納する拡張ペイロードヘッダを生成する。さらに、ペイロードヘッダ生成部５３は、オプショナル拡張ヘッダを送信する場合、オプショナル拡張ヘッダを送信するか否かを示すオプショナル拡張ヘッダ設定情報（OePH[7:0]）として、オプショナル拡張ヘッダを送信することを示すオプショナル拡張ヘッダ設定情報を拡張ヘッダに格納し、拡張ヘッダに続けてオプショナル拡張ヘッダを生成する。
　ペイロードフッタ生成部５４は、コントローラ６０から供給される拡張ペイロードフッタ生成指示信号epf_goおよび拡張ペイロードヘッダイネーブル信号ePF_enに従って、オプショナル拡張ペイロードフッタを生成し、選択部５６およびレーン分配部５８に供給する。
　即ち、ペイロードフッタ生成部５４は、拡張モードにおいて伝送されるパケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを生成する。
　また、パケットヘッダ生成部５２、ペイロードヘッダ生成部５３、およびペイロードフッタ生成部５４には、コントローラ６０からＣ層イネーブル信号cphy_enが供給される。そして、Ｃ層イネーブル信号cphy_enが有効を示している場合、パケットヘッダ生成部５２はC-PHY用のパケットヘッダを生成し、ペイロードヘッダ生成部５３はC-PHY用の拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダを生成し、ペイロードフッタ生成部５４はC-PHY用のオプショナル拡張ペイロードフッタを生成する。一方、Ｃ層イネーブル信号cphy_enが無効を示している場合、パケットヘッダ生成部５２はD-PHY用のパケットヘッダを生成し、ペイロードヘッダ生成部５３はD-PHY用の拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダを生成し、ペイロードフッタ生成部５４はD-PHY用のオプショナル拡張ペイロードフッタを生成する。
　選択部５５は、コントローラ６０から供給されるＣ層イネーブル信号cphy_enに従って、Ｃ層イネーブル信号cphy_enが有効である場合、パケットヘッダ生成部５２から供給されるパケットヘッダを選択し、選択部５６へ供給する。一方、選択部５５は、Ｃ層イネーブル信号cphy_enが無効である場合、パッキング部５１から供給されるペイロードを選択し、選択部５６へ供給する。
　選択部５６は、コントローラ６０から供給されるデータ選択信号data_selに従って、選択部５５を介して選択的に供給されるパケットヘッダまたはペイロード、ペイロードヘッダ生成部５３から供給される拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダ、ペイロードフッタ生成部５４から供給されるオプショナル拡張ペイロードフッタのうち、いずれかを選択してCRC演算部５７に供給する。
　CRC演算部５７は、選択部５６を介して選択的に供給されるパケットヘッダ、ペイロード、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、またはオプショナル拡張ペイロードフッタのCRCを演算して求め、そのCRCをレーン分配部５８に供給する。
　レーン分配部５８は、コントローラ６０の制御に従って、パッキング部５１から供給されるペイロード、パケットヘッダ生成部５２から供給されるパケットヘッダ、ペイロードヘッダ生成部５３から供給される拡張ペイロードヘッダおよびオプショナル拡張ペイロードヘッダ、ペイロードフッタ生成部５４から供給されるオプショナル拡張ペイロードフッタ、並びに、CRC演算部５７から供給されるCRCを、CSI-2の規格に従った４レーンに分配して、物理層処理部４５に供給する。
　CCI（Camera Control Interface）スレーブ５９は、CSI-2の規格に基づき、アプリケーションプロセッサ２２のCCIマスタ８８（図１０）による主導に従って通信を行う。
　コントローラ６０は、レジスタ４７に記憶されている各種の設定を読み出して、それらの設定に従って、拡張モード対応CSI-2送信回路３１を構成する各ブロックに対する制御を行う。例えば、コントローラ６０は、送信対象のデータの内容に応じて、既存のCSI-2規格に従ったパケット構造のパケットの送信と、拡張モード時におけるパケット構造のパケットの送信との切り替えを制御する。
　このようにイメージセンサ２１は構成されており、図３乃至図８を参照して説明したようなパケット構造の拡張パケットを生成して、アプリケーションプロセッサ２２へ送信することができる。
　図１０は、拡張モード対応CSI-2受信回路３２を備えるアプリケーションプロセッサ２２の構成例を示すブロック図である。
　図１０に示すように、アプリケーションプロセッサ２２は、拡張モード対応CSI-2受信回路３２の他に、物理層処理部７１、I2C/I3Cマスタ７２、レジスタ７３、およびコントローラ７４を備えて構成される。また、拡張モード対応CSI-2受信回路３２は、パケットヘッダ検出部８１、レーン併合部８２、解釈部８３、選択部８４および８５、CRC演算部８６、アンパッキング部８７、並びに、CCIマスタ８８を備えて構成される。
　物理層処理部７１は、C-PHYおよびD-PHYの両方の物理層処理を実行することができる。上述したように、イメージセンサ２１の物理層処理部４５では、C-PHYおよびD-PHYのうちの、いずれか一方の物理層処理が行われ、物理層処理部７１は、物理層処理部４５において実行されたのと同一の物理層処理を実行する。
　I2C/I3Cマスタ７２は、I2CまたはI3Cの規格に基づき、イメージセンサ２１のI2C/I3Cスレーブ４６（図９）との通信を主導して行う。
　レジスタ７３には、コントローラ７４により、イメージセンサ２１のレジスタ４７に書き込むべき各種の設定が記録される。
　コントローラ７４は、アプリケーションプロセッサ２２を構成する各ブロックに対する制御を行う。
　パケットヘッダ検出部８１は、物理層処理部７１から供給されるパケットからパケットヘッダを検出し、パケットヘッダに格納されているデータタイプを確認する。そして、パケットヘッダ検出部８１は、パケットヘッダのデータタイプにおいて、拡張モード設定情報が拡張モードであることを示す場合（DataType[5:3]=3’b111）、拡張モードを示す拡張モード検出フラグを、解釈部８３、選択部８４、および選択部８５に供給する。また、パケットヘッダ検出部８１は、パケットヘッダに基づいて、分割されている４レーンの併合を有効とするか否かを示す併合イネーブル信号mrg_enをレーン併合部８２に供給する。
　即ち、パケットヘッダ検出部８１は、既存のCSI-2規格に従って、パケットで伝送されるデータについて設定された条件を示す設定情報（データタイプなど）が格納されるパケットヘッダを検出する。このとき、パケットヘッダ検出部８１は、パケットで伝送されるデータのタイプを示す設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、拡張モード検出フラグを出力することで、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせる。また、パケットヘッダ検出部８１は、既存のCSI-2規格では未使用と定義されているデータタイプの未使用領域に格納されている拡張モードタイプ情報に従って、拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプの拡張モードであるかを認識する。
　レーン併合部８２は、パケットヘッダ検出部８１から供給される併合イネーブル信号mrg_enが有効である場合、物理層処理部７１から供給される４レーンに分割されたパケットを併合する。そして、レーン併合部８２は、１レーンのパケットを解釈部８３、選択部８４、および選択部８５に供給する。
　解釈部８３は、パケットヘッダ検出部８１から供給される拡張モード検出フラグが、拡張モードであることを示している場合、拡張モードのパケット構造に基づいて、レーン併合部８２から供給されるパケットから、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタを読み出す。そして、解釈部８３は、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタに格納されている設定情報を解釈する。
　即ち、解釈部８３は、拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを受信し、拡張ペイロードヘッダに格納されている設定情報を解釈する。また、解釈部８３は、拡張ヘッダに格納されているオプショナル拡張ヘッダ設定情報が、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信することを示している場合、拡張ヘッダに続けてオプショナル拡張ヘッダを受信し、オプショナル拡張ヘッダに格納されている設定情報を解釈する。さらに、解釈部８３は、拡張モードにおいて伝送されるパケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを受信し、オプショナル拡張フッタを解釈する。
　そして、解釈部８３は、例えば、オプショナル拡張ペイロードヘッダに格納されている車載用行番号やソースIDなどを読み出して、後段のLSI（図示せず）へ出力する。
　なお、解釈部８３は、パケットヘッダ検出部８１から供給される拡張モード検出フラグが、拡張モードであることを示していない場合には、即ち、既存のパケット構造のパケットが供給されている場合には、上述したような処理を行わずに停止する。
　選択部８４は、パケットヘッダ検出部８１から供給される拡張モード検出フラグに従い、既存パケットのパケット構造または拡張パケットのパケット構造に基づいて、選択的に、アンパッキング部８７へデータを供給する。
　選択部８５は、パケットヘッダ検出部８１から供給される拡張モード検出フラグに従い、既存パケットのパケット構造または拡張パケットのパケット構造に基づいて、選択的に、CRC演算部８６へデータを供給する。
　CRC演算部８６は、選択部８５を介して選択的に供給されるパケットヘッダ、ペイロード、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、またはオプショナル拡張ペイロードフッタのCRCを演算する。そして、CRC演算部８６は、CRCエラーが検出された場合、その旨を示すcrcエラー検出信号を後段のLSI（図示せず）へ出力する。
　アンパッキング部８７は、選択部８４を介して選択的に供給されるペイロードに格納されている画像データを取り出すアンパッキング処理を行い、取得した画像データを後段のLSI（図示せず）へ出力する。
　CCIマスタ８８は、CSI-2の規格に基づき、イメージセンサ２１のCCIスレーブ５９（図９）との通信を主導して行う。
　このようにアプリケーションプロセッサ２２は構成されており、イメージセンサ２１から送信されてくる拡張パケットを受信して、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタに格納されている設定情報を解釈して、画像データを取得することができる。
　＜通信処理＞
　図１１乃至図１４を参照して、イメージセンサ２１およびアプリケーションプロセッサ２２で行われる通信処理について説明する。
　図１１は、イメージセンサ２１がパケットを送信する処理を説明するフローチャートである。
　例えば、バス２３を介して、イメージセンサ２１がアプリケーションプロセッサ２２に接続されると処理が開始される。ステップＳ１１において、コントローラ６０は、アプリケーションプロセッサ２２と通信を開始するにあたって、拡張モードを使用するか否かを判定する。例えば、コントローラ６０は、レジスタ４７に記憶されている拡張モード設定を確認し、拡張モードを使用することを示す拡張モード設定がアプリケーションプロセッサ２２により書き込まれている場合、拡張モードを使用すると判定する。
　ステップＳ１１において、コントローラ６０が、拡張モードを使用しないと判定した場合、処理はステップＳ１２に進む。
　ステップＳ１２において、I2C/I3Cスレーブ４６は、アプリケーションプロセッサ２２から（後述する図１３のステップＳ５４で）送信されてくる画像データの送信開始命令を受信する。さらに、I2C/I3Cスレーブ４６は、その送信開始命令とともに送信されてくるCSI-2規格に従った通信設定を受信して、CCIスレーブ５９を介してレジスタ４７に書き込む。
　ステップＳ１３において、イメージセンサ２１では、レジスタ４７に記憶されている通信設定に基づいて、既存のCSI-2規格に従ったパケット構造のパケットをアプリケーションプロセッサ２２へ送信する、従来のパケット送信処理が実行される。
　一方、ステップＳ１１において、コントローラ６０が、拡張モードを使用すると判定した場合、処理はステップＳ１４に進む。
　ステップＳ１４において、I2C/I3Cスレーブ４６は、拡張モードでの通信で必要となる固定の通信設定（例えば、GLD時のPH/PFのレーンごとのコピーなど）を受信して、CCIスレーブ５９を介してレジスタ４７に書き込む。
　ステップＳ１５において、I2C/I3Cスレーブ４６は、アプリケーションプロセッサ２２から（後述する図１３のステップＳ５７で）送信されてくる画像データの送信開始命令を受信する。さらに、I2C/I3Cスレーブ４６は、その送信開始命令とともに送信されてくるCSI-2規格に従った通信設定を受信して、CCIスレーブ５９を介してレジスタ４７に書き込む。
　ステップＳ１６において、コントローラ６０は、パケットの送信を開始するか否かを判定し、パケットの送信を開始すると判定するまで処理を待機する。
　そして、ステップＳ１６において、パケットの送信を開始すると判定された場合、処理はステップＳ１７に進み、コントローラ６０は、拡張モードで送信すべきデータであるか否かを判定する。ここで、コントローラ６０は、送信対象のデータの内容に応じて、例えば、後述するような適用例のユースケースで送信されるようなデータである場合、拡張モードで送信すべきデータであると判定する。
　ステップＳ１７において、コントローラ６０が、拡張モードで送信すべきデータであると判定した場合、処理はステップＳ１８に進み、拡張モードに対応した拡張パケットを送信する拡張モード送信処理（図１２参照）が行われる。
　一方、ステップＳ１７において、コントローラ６０が、拡張モードで送信すべきデータでないと判定した場合、処理はステップＳ１９に進む。
　ステップＳ１９において、コントローラ６０は、ショートパケットを送信するか否かを判定する。例えば、コントローラ６０は、フレーム開始時およびフレーム終了時にショートパケットを送信すると判定する。
　ステップＳ１９において、コントローラ６０がショートパケットを送信すると判定した場合、処理はステップＳ２０に進む。ステップＳ２０において、パケットヘッダ生成部５２がパケットヘッダを生成して、従来のパケット構造のショートパケットをアプリケーションプロセッサ２２へ送信する。
　一方、ステップＳ１９において、コントローラ６０がショートパケットを送信しない（即ち、ロングパケットを送信する）と判定した場合、処理はステップＳ２１に進む。ステップＳ２１において、パッキング部５１が画像データをペイロードに格納し、CRC演算部５７がCRCを求めることにより、従来のパケット構造のロングパケットを生成して、アプリケーションプロセッサ２２へ送信する。
　ステップＳ１８、ステップＳ２０、またはステップＳ２１の処理後、処理はステップＳ２２に進み、コントローラ６０は、パケット送信処理を終了する。その後、処理はステップＳ１６に戻り、以下、次のパケットを対象として、同様にパケットを送信する処理が繰り返して行われる。
　図１２は、図１１のステップＳ１８の処理で行われる拡張モード送信処理を説明するフローチャートである。
　ステップＳ３１において、パケットヘッダ生成部５２は、VCやデータタイプ、WCなどを格納したパケットヘッダを生成し、アプリケーションプロセッサ２２へ送信する。このとき、パケットヘッダ生成部５２は、パケットヘッダのデータタイプに、拡張モードであることを示す拡張モード設定情報（DataType[5:3]=3’b111）、および、拡張モードのモード設定が拡張モード０であることを識別する拡張タイプ設定情報（DataType[1:0] =2’b00）を書き込む。
　ステップＳ３２において、アプリケーションプロセッサ２２は、拡張ショートパケットを送信するか否かを判定する。例えば、コントローラ６０は、フレーム開始時およびフレーム終了時に拡張ショートパケットを送信すると判定する。
　ステップＳ３２において、アプリケーションプロセッサ２２が、拡張ショートパケットを送信すると判定した場合、処理はステップＳ３３に進む。
　ステップＳ３３において、ペイロードヘッダ生成部５３は、ペイロードの１バイト目で、データタイプ（DataType[7:0]）をショートパケットと設定した拡張ペイロードヘッダを送信する。このとき、ペイロードヘッダ生成部５３は、拡張ペイロードヘッダに格納される各種の設定（例えば、OePH[7:0]やOePF[3:0]など）を行う。
　ステップＳ３４において、ペイロードヘッダ生成部５３は、ペイロードの２バイト目に、フレームナンバー（FN：FrameNumber）を格納して送信する。
　ステップＳ３５において、ペイロードヘッダ生成部５３は、ステップＳ３３で行われた設定（OePH[7:0]）に従って、図４に示したようなオプショナル拡張ペイロードヘッダを生成して送信する。
　ステップＳ３６において、CRC演算部５７は、CRCを求めて、パケットフッタとして送信する。
　一方、ステップＳ３２において、アプリケーションプロセッサ２２が、拡張ショートパケットを送信しない（即ち、ロングパケットを送信する）と判定した場合、処理はステップＳ３７に進む。
　ステップＳ３７において、ペイロードヘッダ生成部５３は、ペイロードの１バイト目で、データタイプ（DataType[7:0]）をショートパケット以外と設定した拡張ペイロードヘッダを送信する。このとき、ペイロードヘッダ生成部５３は、拡張ペイロードヘッダに格納される各種の設定（例えば、OePH[7:0]やOePF[3:0]など）を行う。
　ステップＳ３８において、ペイロードヘッダ生成部５３は、ステップＳ３７で行われた設定（OePH[7:0]）に従って、図５に示したようなオプショナル拡張ペイロードヘッダを生成して送信する。
　ステップＳ３９において、パッキング部５１は、画像処理部４３から供給される画像データをパッキングし、レガシーペイロードを生成して送信する。
　ステップＳ４０において、ペイロードフッタ生成部５４は、ステップＳ３７で行われた設定（OePF[3:0]）に従って、図４に示したようなオプショナル拡張ペイロードフッタを生成して送信する。
　ステップＳ４１において、CRC演算部５７は、CRCを求めて、パケットフッタとして送信する。
　そして、ステップＳ３６またはＳ４１の処理後、拡張モード送信処理は終了される。
　以上のように、イメージセンサ２１は、拡張ショートパケットまたは拡張ロングパケットを生成して送信することができる。
　図１３は、アプリケーションプロセッサ２２がパケットを受信する処理を説明するフローチャートである。
　例えば、バス２３を介して、イメージセンサ２１がアプリケーションプロセッサ２２に接続されると処理が開始される。ステップＳ５１において、コントローラ７４は、イメージセンサ２１の初期設定（例えば、物理層としてC-PHYおよびD-PHYのどちらを使用するかなど）をレジスタ７３に書き込み、CCIマスタ８８を介してI2C/I3Cマスタ７２によりイメージセンサ２１へ送信する。これにより、その初期設定が、イメージセンサ２１のレジスタ４７に書き込まれる。
　ステップＳ５２において、コントローラ７４は、イメージセンサ２１が拡張モードに対応しているか否かを認識する。例えば、コントローラ７４は、I2C/I3Cマスタ７２によりイメージセンサ２１のレジスタ４７に記憶されている設定値（例えば、拡張PH/PF対応capability）を取得することで、イメージセンサ２１が拡張モードに対応しているか否かを認識することができる。または、コントローラ７４は、例えば、マニュアルなどによる入力に基づいて、事前に、イメージセンサ２１が拡張モードに対応しているか否かを認識することができる。
　ステップＳ５３において、コントローラ７４は、イメージセンサ２１が拡張モードに対応しており、かつ、アプリケーションプロセッサ２２が実行するアプリケーションによって拡張モードの使用が求められているか否かを判定する。
　ステップＳ５３において、コントローラ７４が、イメージセンサ２１が拡張モードに対応していない、または、拡張モードの使用が求められていないと判定した場合、処理はステップＳ５４に進む。
　ステップＳ５４において、コントローラ７４は、I2C/I3Cマスタ７２により画像データの送信開始命令をイメージセンサ２１へ送信する。このとき、コントローラ７４は、CSI-2規格に従った通信設定も送信させる。
　ステップＳ５５において、アプリケーションプロセッサ２２では、ステップＳ５４で送信した通信設定に基づいて、既存のCSI-2規格に従ったパケット構造のパケットを受信する、従来のパケット受信処理が行われる。
　一方、ステップＳ５３において、コントローラ７４が、イメージセンサ２１が拡張モードに対応しており、かつ、アプリケーションプロセッサ２２が実行するアプリケーションによって拡張モードの使用が求められていると判定した場合、処理はステップＳ５６に進む。
　ステップＳ５６において、I2C/I3Cマスタ７２は、拡張モードでの通信が開始される前に、拡張モードでの通信に必要となる固定の通信設定を送信する。これにより、その固定の通信設定が、イメージセンサ２１のレジスタ４７に書き込まれる（図１１のステップＳ１４）。
　ステップＳ５７において、コントローラ７４は、I2C/I3Cマスタ７２により画像データの送信開始命令をイメージセンサ２１へ送信する。このとき、コントローラ７４は、CSI-2規格に従った通信設定も送信させる。
　ステップＳ５８において、パケットヘッダ検出部８１は、物理層処理部７１から供給されるデータを確認することによりパケットの受信を開始したか否かを判定し、パケットの受信を開始したと判定するまで処理を待機する。例えば、パケットヘッダ検出部８１は、物理層処理部７１から供給されるデータからパケットヘッダを検出した場合、パケットの受信を開始したと判定する。
　ステップＳ５８において、パケットヘッダ検出部８１が、パケットの受信を開始したと判定した場合、処理はステップＳ５９に進む。
　ステップＳ５９において、パケットヘッダ検出部８１は、ステップＳ５８で検出したパケットヘッダのデータタイプを確認して、受信を開始したパケットが拡張モードに対応した拡張パケットであるか否かを判定する。例えば、パケットヘッダ検出部８１は、パケットヘッダのデータタイプにおいて、拡張モード設定情報が拡張モードであることを示す場合（DataType[5:3]=3’b111）、受信を開始したパケットが拡張パケットであると判定する。
　ステップＳ５９において、パケットヘッダ検出部８１が、受信を開始したパケットが拡張パケットであると判定した場合、処理はステップＳ６０に進み、拡張パケットを受信する拡張モード受信処理（図１４参照）が行われる。
　一方、ステップＳ５９において、パケットヘッダ検出部８１が、受信を開始したパケットが拡張パケットでないと判定した場合、処理はステップＳ６１に進む。
　ステップＳ６１において、パケットヘッダ検出部８１は、ステップＳ５８で検出したパケットヘッダのデータタイプ（DataType[5:0]）を確認して、受信を開始したパケットがショートパケットであるか否かを判定する。
　ステップＳ６１において、パケットヘッダ検出部８１が、受信を開始したパケットがショートパケットであると判定した場合、処理はステップＳ６２に進む。ステップＳ６２において、パケットヘッダ検出部８１は、イメージセンサ２１から送信されてくる従来のパケット構造のショートパケットを受信する。
　一方、ステップＳ６１において、パケットヘッダ検出部８１が、受信を開始したパケットがショートパケットでない（即ち、ロングパケットの受信を開始している）と判定した場合、処理はステップＳ６３に進む。ステップＳ６３において、アンパッキング部８７は、イメージセンサ２１から送信されてくる従来のパケット構造のロングパケットのペイロードを受信して画像データを取り出し、CRC演算部８６は、パケットヘッダに続けて送信されてくるWC＋１バイト目をCRCとして受信する。
　ステップＳ６０、ステップＳ６２、またはステップＳ６３の処理後、処理はステップＳ６４に進み、コントローラ７４は、パケット受信処理を終了する。その後、処理はステップＳ５８に戻り、以下、次のパケットを対象として、同様にパケットを受信する処理が繰り返して行われる。
　図１４は、図１３のステップＳ６０の処理で行われる拡張モード受信処理を説明するフローチャートである。
　ステップＳ７１において、パケットヘッダ検出部８１は、拡張モードのモード設定が拡張モード０であるか否かを判定する。例えば、パケットヘッダ検出部８１は、パケットヘッダのデータタイプにおいて、拡張タイプ設定情報が拡張モード０であることを示す場合（DataType[1:0] =2’b00）、拡張モードのモード設定が拡張モード０であると判定する。
　ステップＳ７１において、パケットヘッダ検出部８１が、拡張モードのモード設定が拡張モード０であると判定した場合、処理はステップＳ７２に進む。ステップＳ７２において、解釈部８３は、ペイロードの１バイト目を拡張ペイロードヘッダとして受信する。
　ステップＳ７３において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダのデータタイプ（DataType[7:0]）を確認して、受信を開始したパケットが拡張ショートパケットであるか否かを判定する。
　ステップＳ７３において、解釈部８３が、拡張ショートパケットであると判定した場合、処理はステップＳ７４に進む。ステップＳ７４において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダに格納されている設定（OePH[7:0]）に従って、オプショナル拡張ペイロードヘッダを受信する。
　ステップＳ７５において、CRC演算部８６は、オプショナル拡張ペイロードヘッダに続けて送信されてくるWC＋１バイト目をCRCとして受信する。
　一方、ステップＳ７３において、解釈部８３が、拡張ショートパケットでない（即ち、拡張ロングパケットの受信を開始している）と判定した場合、処理はステップＳ７６に進む。ステップＳ７６において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダに格納されている設定（OePH[7:0]）に従って、オプショナル拡張ペイロードヘッダを受信する。
　ステップＳ７７において、アンパッキング部８７は、イメージセンサ２１から送信されてくる拡張ロングパケットのレガシーペイロードを受信して画像データを取り出す。
　ステップＳ７８において、解釈部８３は、ステップＳ７２で受信した拡張ペイロードヘッダに格納されている設定（OePF[3:0]）に従って、オプショナル拡張ペイロードフッタを受信する。
　ステップＳ７９において、CRC演算部８６は、オプショナル拡張ペイロードフッタに続けて送信されてくるWC＋１バイト目をCRCとして受信する。
　そして、ステップＳ７１で拡張モードのモード設定が拡張モード０でないと判定した場合、ステップＳ７５の処理後、またはステップＳ７９の処理後、拡張モード受信処理は終了される。
　以上のように、アプリケーションプロセッサ２２は、拡張ショートパケットまたは拡張ロングパケットを受信して、データを取得することができる。
　＜パケット構造の第２の構造例＞
　図１５乃至図１８を参照して、拡張モード対応CSI-2送信回路３１および拡張モード対応CSI-2受信回路３２の間の通信で用いられるパケットのパケット構造の第２の構造例について説明する。
　上述の図３乃至図８に示した第１の構造例では、既存のCSI-2規格の互換性を維持することを重視して、パケットヘッダおよびパケットフッタが既存のCSI-2規格と同一のパケット構造とし、拡張ペイロードヘッダ、オプショナル拡張ペイロードヘッダ、およびオプショナル拡張ペイロードフッタによりパケット構造の拡張が図られている。これに対し、以下で説明する第２の構造例では、パケットヘッダおよびパケットフッタを既存のCSI-2規格と異なるものとし、拡張パケットヘッダおよび拡張パケットフッタによりパケット構造の拡張が図られる。
　図１５には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、D-PHY用の拡張ショートパケット）のパケット構造が示されている。
　図１５に示すD-PHY用の拡張ショートパケットは、図４に示した第１の構造例のD-PHY用の拡張ショートパケットと同様に、既存のCSI-2規格と同一のパケットヘッダに格納されるデータタイプによって拡張モードが識別される。
　一方、図１５に示すD-PHY用の拡張ショートパケットでは、パケットヘッダのデータタイプの次の１６ビットに、既存のCSI-2規格に従ったショートパケットと同様に、ショートパケットデータフィールドにフレームナンバーが格納される。そして、パケットヘッダに続いて、図４に示した拡張ペイロードヘッダと同様に構成される拡張パケットヘッダが送信される。
　従って、受信側となるアプリケーションプロセッサ２２は、拡張パケットヘッダに格納されているデータタイプを解釈して、拡張ショートパケットである場合に、パケットヘッダのデータフィールドにフレームナンバーが格納されていることを判別することができる。
　なお、図１５に示すD-PHY用の拡張ショートパケットにおけるオプショナル拡張パケットヘッダは、図４に示した第１の構造例のD-PHY用の拡張ショートパケットにおけるオプショナル拡張ペイロードヘッダと同様に構成される。しかしながら、オプショナル拡張パケットヘッダは、ペイロードに埋め込まれないパケット構造となっていることより、最後にCRCを付与する必要はない。
　図１６には、物理層がD-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、D-PHY用の拡張ロングパケット）のパケット構造が示されている。
　図１６に示すD-PHY用の拡張ロングパケットでは、拡張データはペイロードに埋め込まず、パケットヘッダまたはパケットフッタの一部として伝送される。従って、先頭のパケットヘッダのWCは既存規格と同様に、あくまでペイロードのバイト長を示す。
　図１７には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるショートパケット（以下、C-PHY用の拡張ショートパケット）のパケット構造が示されている。
　図１７に示すC-PHY用の拡張ショートパケットにおける拡張部分は、あくまで既存のCSI-2規格に従ったパケットヘッダの拡張として伝送されるため、フレームナンバーの後に拡張ペイロードヘッダなど拡張部分が挿入される。そして、既存のCSI-2規格と同様に、パケットヘッダはCRCで終了する。さらに、これらを、SYNCを挟んで２回伝送するパケット構造は、既存のCSI-2規格に従ったショートパケットと同様である。
　図１８には、物理層がC-PHYである場合にCSI-2の拡張モードで用いられるロングパケット（以下、C-PHY用の拡張ロングパケット）のパケット構造が示されている。
　図１８に示すC-PHY用の拡張ロングパケットは、上述したように、先頭のパケットヘッダのWCは既存規格と同様に、あくまでペイロードのバイト長を示す点で、図８に示した第１の構造例のC-PHY用の拡張ロングパケットと差異がある。
　以上のように図１５乃至図１８に示す第２の構造例の拡張パケットのパケット構造により、第１の構造例の拡張パケットのパケット構造（図３乃至図８）と同様に、従来よりも多様な用途に対応することが可能となる。
　ただし、第２の構造例の拡張パケットは、既存のペイロードに拡張データが埋め込まれずに、既存のパケットヘッダやフッタが拡張されるパケット構造となっている。このため、第２の構造例の拡張パケットのパケット構造を採用する場合には、第１の構造例の拡張パケットのパケット構造を採用する場合と比較して、従来から用いられている通信システムから変更が必要となるような影響を最小限とすることができない。即ち、例えば、既存のSerDes送信回路３４がSerDes受信回路３５（図２）に対する変更が必要となる。
　以上のように、第１の構造例の拡張パケットを採用することで、車載など多彩な用途への対応することができ、かつ、従来から用いられている通信システムから変更が必要となるような影響を最小限として、車載システムを構築することができる。
　また、第２の構造例の拡張パケットを採用することで、従来から用いられている通信システムから変更が必要となるものの、車載など多彩な用途への対応することができる。
　＜イメージセンサおよびアプリケーションプロセッサの変形例＞
　図１９を参照して、イメージセンサおよびアプリケーションプロセッサの変形例について説明する。
　上述した図９のイメージセンサ２１および図１０のアプリケーションプロセッサ２２を構成する各ブロックは、D-PHY用およびC-PHY用のパケットの両方に対応して処理を行えるように構成されていた。これに対し、例えば、D-PHY用のパケットを専用に処理を行うブロックと、C-PHY用のパケットを専用に処理を行うブロックとの両方を備え、それぞれで処理を切り替えるようにしてもよい。
　図１９のＡに示すイメージセンサ２１Ａは、Ｄ層処理ブロック部１０１、Ｃ層処理ブロック部１０２、切り替え部１０３、およびコントローラ６０を備えて構成される。
　Ｄ層処理ブロック部１０１は、図９のイメージセンサ２１を構成するブロックのうち、D-PHY用のパケットを専用に処理を行うブロックを有している。Ｃ層処理ブロック部１０２は、図９のイメージセンサ２１を構成するブロックのうち、C-PHY用のパケットを専用に処理を行うブロックを有している。切り替え部１０３は、コントローラ６０による制御に従って、物理層にD-PHYを用いる場合には、Ｄ層処理ブロック部１０１において生成されるD-PHY用のパケットを出力し、物理層にC-PHYを用いる場合には、Ｃ層処理ブロック部１０２において生成されるC-PHY用のパケットを出力するように切り替えを行う。
　図１９のＢに示すアプリケーションプロセッサ２２Ａは、切り替え部１１１、Ｄ層処理ブロック部１１２、Ｃ層処理ブロック部１１３、およびコントローラ７４を備えて構成される。
　切り替え部１１１は、コントローラ７４による制御に従って、イメージセンサ２１Ａから送信されてくるパケットを、Ｄ層処理ブロック部１１２およびＣ層処理ブロック部１１３の一方に供給するように切り替えを行う。Ｄ層処理ブロック部１１２は、図１０のアプリケーションプロセッサ２２を構成するブロックのうち、D-PHY用のパケットを専用に処理を行うブロックを有している。Ｃ層処理ブロック部１１３は、図１０のアプリケーションプロセッサ２２を構成するブロックのうち、C-PHY用のパケットを専用に処理を行うブロックを有している。
　このように構成されるイメージセンサ２１Ａおよびアプリケーションプロセッサ２２Ａでは、通信を開始する前に、コントローラ６０およびコントローラ７４の間で、使用する物理層を設定することができる。そして、例えば、物理層にD-PHYが用いられる場合には、Ｄ層処理ブロック部１０１において生成されるD-PHY用のパケットが切り替え部１０３を介して送信され、切り替え部１１１を介してＤ層処理ブロック部１１２に供給されて処理される。また、例えば、物理層にC-PHYが用いられる場合には、Ｃ層処理ブロック部１０２において生成されるC-PHY用のパケットが切り替え部１０３を介して送信され、切り替え部１１１を介してＣ層処理ブロック部１１３に供給されて処理される。
　＜拡張パケットの適用例＞
　上述した拡張パケットは、例えば、以下のようなユースケースに適用することが検討されている。
　例えば、拡張パケットは、より高精細な画像（RAW24）を伝送するようなユースケースに適用することが検討される。
　例えば、画像データをRAW形式で送信する際に、既存のCSI-2規格に従ってパケットヘッダに格納されるデータタイプとして、RAW6，RAW7，RAW8，RAW10，RAW12，RAW14，RAW16、およびRAW20が定義されている。これに対し、近年、車載カメラを用いた自動運転に対応するため、より高精細な画像の伝送が期待されている。そこで、拡張パケットを適用してデータタイプのビット数を拡張することで、例えば、拡張ペイロードヘッダのデータタイプに、より高精細なRAW24を定義することが可能となる。
　また、拡張パケットは、画面上の注目画像領域のみを伝送する技術であるSmartROIに適用することが検討される。
　例えば、現在、スタジアムや空港などには多数のカメラが設置されている。これらのカメラで撮像した画像の全体が、カメラからインターネットなどのネットワークを経由してクラウドサーバに伝送される場合、インターネットの帯域不足や、クラウド側の計算量またはデータ量の増大などが発生することが想定される。そのため、エッジ（カメラ側）で注目画像領域のみを切り出し、その注目画像領域を伝送することで、インターネットの帯域不足や、クラウド側の計算量またはデータ量の増大などを抑制することが期待される。
　このようなSROIを伝送する場合、注目画像領域が画面全体のどこに相当するか受信側に伝えるため、矩形領域(ROI)の左上の座標を一緒に伝送する必要がある。また、受信側からの命令で、所定のタイミングで、撮像画面全体のデータを送る必要がある。従って、例えばフレーム単位でSROI画像と、画像全体（既存のパケットヘッダ）のデータが混在することになる。
　そこで、拡張パケットを適用することで、例えば、X座標およびY座標それぞれ16bit以上の座標データを伝送することが可能となる。
　さらに、拡張パケットは、チャネル劣化した場合においても帯域やレーン数を減らして通信を継続するGLDに適用するユースケースが検討される。なお、GLDは、CSI-2 ver3.0で検討されている提案である。
　例えば、自動運転では、衝突時にカメラを繋ぐケーブルの一部が断線したとしても、断線していないケーブルを使用して通信を継続し、自動的に、安全帯に退避した後に車両を停止することが求められる。そのため、車載用カメラインタフェースが断線検出機能を少なくとも備え、画面上の何行目の情報か示す行番号（16bit）や、どのカメラから送られたことかを示すSourceID（8bit）、伝送番号を示すメッセージカウンタ（16bit）などの情報が必要になる。さらに、上述したようなSROIと組み合わせて使用される場合には、フレーム単位で、これらの情報が伝送されることが考えられる。
　そこで、拡張パケットを適用することで、これらの情報を伝送することが可能となる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（通信方法）は、ハードウエアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）２０４は、バス２０５により相互に接続されている。バス２０５には、さらに、入出力インタフェース２０６が接続されており、入出力インタフェース２０６が外部に接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、ROM２０２およびEEPROM２０４に記憶されているプログラムを、バス２０５を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU２０１）が実行するプログラムは、ROM２０２に予め書き込んでおく他、入出力インタフェース２０６を介して外部からEEPROM２０４にインストールしたり、更新したりすることができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成するパケットヘッダ生成部と、
　前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成する拡張ヘッダ生成部と
　を備え、
　前記パケットヘッダ生成部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
　通信装置。
（２）
　前記拡張ヘッダ生成部は、前記拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを生成する
　上記（１）に記載の通信装置。
（３）
　前記拡張ヘッダ生成部は、前記拡張ヘッダとして、前記パケットヘッダの規格を拡張するように前記パケットヘッダに続けて配置される拡張パケットヘッダを生成する
　上記（１）に記載の通信装置。
（４）
　前記拡張ヘッダ生成部は、前記拡張ヘッダに、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信するか否かを示すオプショナル拡張ヘッダ設定情報を格納する
　上記（１）から（３）までのいずれかに記載の通信装置。
（５）
　前記拡張ヘッダ生成部は、前記オプショナル拡張ヘッダを送信する場合、前記オプショナル拡張ヘッダを送信することを示す前記オプショナル拡張ヘッダ設定情報を前記拡張ヘッダに格納し、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを生成する
　上記（１）から（４）までのいずれかに記載の通信装置。
（６）
　前記パケットヘッダ生成部は、前記未使用領域に、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプであるかを示す拡張タイプ設定情報を格納する
　上記（１）から（５）までのいずれかに記載の通信装置。
（７）
　前記拡張モードにおいて伝送される前記パケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを生成するオプショナル拡張フッタ生成部
　をさらに備える上記（１）から（６）までのいずれかに記載の通信装置。
（８）
　送信対象のデータの内容に応じて、既存のCSI-2規格に従ったパケット構造のパケットの送信と、拡張モード時におけるパケット構造のパケットの送信との切り替えを制御する制御部
　をさらに備える上記（１）から（７）までのいずれかに記載の通信装置。
（９）
　通信を行う通信装置が、
　パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、
　前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
　を含み、
　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
　通信方法。
（１０）
　通信を行う通信装置のコンピュータに、
　パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、
　前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
　を含み、
　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
　通信処理を実行させるためのプログラム。
（１１）
　パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出する検出するパケットヘッダ検出部と、
　前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈する解釈部と
　を備え、
　前記パケットヘッダ検出部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせる
　通信装置。
（１２）
　前記解釈部は、前記拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを受信し、前記拡張ペイロードヘッダに格納されている前記設定情報を解釈する
　上記（１１）に記載の通信装置。
（１３）
　前記解釈部は、前記拡張ヘッダとして、前記パケットヘッダの規格を拡張するように前記パケットヘッダに続けて配置される拡張パケットヘッダを受信し、前記拡張ヘッダに格納されている前記設定情報を解釈する
　上記（１１）に記載の通信装置。
（１４）
　前記解釈部は、前記拡張ヘッダに格納されているオプショナル拡張ヘッダ設定情報が、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信することを示している場合、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを受信し、前記オプショナル拡張ヘッダに格納されている前記設定情報を解釈する
　上記（１１）から（１３）までのいずれかに記載の通信装置。
（１５）
　前記パケットヘッダ検出部は、前記未使用領域に格納されている拡張モードタイプ情報に従って、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプの拡張モードであるかを認識する
　上記（１１）から（１４）までのいずれかに記載の通信装置。
（１６）
　前記解釈部は、前記拡張モードにおいて伝送される前記パケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを受信し、前記オプショナル拡張フッタを解釈する
　上記（１１）から（１５）までのいずれかに記載の通信装置。
（１７）
　通信を行う通信装置が、
　パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、
　前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
　を含み、
　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる
　通信方法。
（１８）
　通信を行う通信装置のコンピュータに、
　パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、
　前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
　を含み、
　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる
　通信処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　通信システム，　２１　イメージセンサ，　２２　アプリケーションプロセッサ，　２３および２４　バス，　２５　シリアライザ，　２６　デシリアライザ，　２７　バス，　３１　拡張モード対応CSI-2送信回路，　３２　拡張モード対応CSI-2受信回路，　３３　CSI-2受信回路，　３４　SerDes送信回路，　３５　SerDes受信回路，　３６　CSI-2送信回路，　４１　画素，　４２　AD変換器，　４３　画像処理部，　４４　画素CRC演算部，　４５　物理層処理部，　４６　I2C/I3Cスレーブ，　４７　レジスタ，　５１　パッキング部，　５２　パケットヘッダ生成部，　５３　ペイロードヘッダ生成部，　５４　ペイロードフッタ生成部，　５５および５６　選択部，　５７　CRC演算部，　５８　レーン分配部，　５９　CCIスレーブ，　６０　コントローラ，　７１　物理層処理部，　７２　I2C/I3Cマスタ，　７３　レジスタ，　７４　コントローラ，　８１　パケットヘッダ検出部，　８２　レーン併合部，　８３　解釈部，　８４および８５　選択部，　８６　CRC演算部，　８７　アンパッキング部，　８８　CCIマスタ

Claims (18)

  1. 　パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成するパケットヘッダ生成部と、
    　前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成する拡張ヘッダ生成部と
    　を備え、
    　前記パケットヘッダ生成部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
    　通信装置。
  2. 　前記拡張ヘッダ生成部は、前記拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを生成する
    　請求項１に記載の通信装置。
  3. 　前記拡張ヘッダ生成部は、前記拡張ヘッダとして、前記パケットヘッダの規格を拡張するように前記パケットヘッダに続けて配置される拡張パケットヘッダを生成する
    　請求項１に記載の通信装置。
  4. 　前記拡張ヘッダ生成部は、前記拡張ヘッダに、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信するか否かを示すオプショナル拡張ヘッダ設定情報を格納する
    　請求項１に記載の通信装置。
  5. 　前記拡張ヘッダ生成部は、前記オプショナル拡張ヘッダを送信する場合、前記オプショナル拡張ヘッダを送信することを示す前記オプショナル拡張ヘッダ設定情報を前記拡張ヘッダに格納し、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを生成する
    　請求項４に記載の通信装置。
  6. 　前記パケットヘッダ生成部は、前記未使用領域に、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプであるかを示す拡張タイプ設定情報を格納する
    　請求項１に記載の通信装置。
  7. 　前記拡張モードにおいて伝送される前記パケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを生成するオプショナル拡張フッタ生成部
    　をさらに備える請求項１に記載の通信装置。
  8. 　送信対象のデータの内容に応じて、既存のCSI-2規格に従ったパケット構造のパケットの送信と、拡張モード時におけるパケット構造のパケットの送信との切り替えを制御する制御部
    　をさらに備える請求項１に記載の通信装置。
  9. 　通信を行う通信装置が、
    　パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、
    　前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
    　を含み、
    　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
    　通信方法。
  10. 　通信を行う通信装置のコンピュータに、
    　パケットで伝送されるデータについて設定された条件を示す設定情報を格納し、既存のCSI-2規格に従ってパケットヘッダを生成することと、
    　前記パケットヘッダとは別に、前記設定情報を格納する拡張ヘッダを生成することと
    　を含み、
    　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報を格納する
    　通信処理を実行させるためのプログラム。
  11. 　パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出するパケットヘッダ検出部と、
    　前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈する解釈部と
    　を備え、
    　前記パケットヘッダ検出部は、前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えを行わせる
    　通信装置。
  12. 　前記解釈部は、前記拡張ヘッダとして、既存のCSI-2規格に従ったペイロードの先頭に配置される拡張ペイロードヘッダを受信し、前記拡張ペイロードヘッダに格納されている前記設定情報を解釈する
    　請求項１１に記載の通信装置。
  13. 　前記解釈部は、前記拡張ヘッダとして、前記パケットヘッダの規格を拡張するように前記パケットヘッダに続けて配置される拡張パケットヘッダを受信し、前記拡張ヘッダに格納されている前記設定情報を解釈する
    　請求項１１に記載の通信装置。
  14. 　前記解釈部は、前記拡張ヘッダに格納されているオプショナル拡張ヘッダ設定情報が、用途に応じて選択的に伝送されるオプショナル拡張ヘッダを送信することを示している場合、前記拡張ヘッダに続けて前記オプショナル拡張ヘッダを受信し、前記オプショナル拡張ヘッダに格納されている前記設定情報を解釈する
    　請求項１１に記載の通信装置。
  15. 　前記パケットヘッダ検出部は、前記未使用領域に格納されている拡張モードタイプ情報に従って、前記拡張モードとして用意される複数のタイプの拡張モードのうちの、いずれのタイプの拡張モードであるかを認識する
    　請求項１１に記載の通信装置。
  16. 　前記解釈部は、前記拡張モードにおいて伝送される前記パケットが、既存のCSI-2規格においてペイロードとして伝送されるデータを格納する拡張ロングパケットである場合に、前記データが格納されるレガシーペイロードに続けて配置されるオプショナル拡張フッタを受信し、前記オプショナル拡張フッタを解釈する
    　請求項１１に記載の通信装置。
  17. 　通信を行う通信装置が、
    　パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、
    　前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
    　を含み、
    　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる
    　通信方法。
  18. 　通信を行う通信装置のコンピュータに、
    　パケットで伝送されるデータについて設定された条件を示す設定情報が格納されるパケットヘッダを、既存のCSI-2規格に従って検出することと、
    　前記パケットヘッダとは別の拡張ヘッダに格納されている前記設定情報を解釈することと
    　を含み、
    　前記パケットで伝送されるデータのタイプを示す前記設定情報であるデータタイプにおいて、既存のCSI-2規格では未使用と定義されている未使用領域に格納されている、前記拡張ヘッダを使用する拡張モードであるか否かを示す拡張モード設定情報に従って、既存のCSI-2規格に従ったパケット構造のパケットの受信と、拡張モード時におけるパケット構造のパケットの受信との切り替えが行われる
    　通信処理を実行させるためのプログラム。
PCT/JP2019/047761 2018-12-20 2019-12-06 通信装置および通信方法、並びにプログラム Ceased WO2020129685A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/260,391 US12457279B2 (en) 2018-12-20 2019-12-06 Communication apparatus and communication method as well as program
DE112019006340.5T DE112019006340T5 (de) 2018-12-20 2019-12-06 Kommunikationsvorrichtung, kommunikationsverfahren und programm
JP2020561296A JP7494126B2 (ja) 2018-12-20 2019-12-06 通信装置および通信方法、並びにプログラム
CN201980082706.8A CN113168383B (zh) 2018-12-20 2019-12-06 通信装置和通信方法以及程序
KR1020217002625A KR102747710B1 (ko) 2018-12-20 2019-12-06 통신 장치 및 통신 방법, 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018238300 2018-12-20
JP2018-238300 2018-12-20

Publications (1)

Publication Number Publication Date
WO2020129685A1 true WO2020129685A1 (ja) 2020-06-25

Family

ID=71100845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047761 Ceased WO2020129685A1 (ja) 2018-12-20 2019-12-06 通信装置および通信方法、並びにプログラム

Country Status (7)

Country Link
US (1) US12457279B2 (ja)
JP (1) JP7494126B2 (ja)
KR (1) KR102747710B1 (ja)
CN (1) CN113168383B (ja)
DE (1) DE112019006340T5 (ja)
TW (1) TWI868088B (ja)
WO (1) WO2020129685A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022009691A1 (ja) * 2020-07-10 2022-01-13
US20220021756A1 (en) * 2020-07-16 2022-01-20 Maxim Integrated Products, Inc. Mipi translation in gmsl tunnel mode
JPWO2022050057A1 (ja) * 2020-09-01 2022-03-10
WO2022075081A1 (ja) 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体装置、および通信システム
WO2023145479A1 (ja) 2022-01-28 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 通信装置および通信方法、並びにプログラム
JP2023163310A (ja) * 2022-04-28 2023-11-10 ソニーセミコンダクタソリューションズ株式会社 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム
JP2023549354A (ja) * 2020-11-12 2023-11-24 華為技術有限公司 データ伝送方法及び電子デバイス
TWI923592B (zh) 2020-07-10 2026-05-01 日商索尼半導體解決方案公司 通信裝置及通信方法、以及電腦程式產品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250023663A1 (en) * 2023-07-11 2025-01-16 Sony Semiconductor Solutions Corporation Communication apparatus and communication system
CN121303014B (zh) * 2025-12-11 2026-02-27 湖北芯擎科技有限公司 一种基于emulation平台的CSI协议激励产生方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268878A1 (en) * 2005-05-04 2006-11-30 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving a multi-user packet in a mobile communication system
JP2012520020A (ja) * 2009-03-03 2012-08-30 クゥアルコム・インコーポレイテッド 縮小拡大可能なヘッダー拡張
US20170359499A1 (en) * 2016-06-14 2017-12-14 Intel Corporation Transmission of Image Data and Camera Management Commands

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647440B1 (en) 1999-09-15 2003-11-11 Koninklijke Philips Electronics N.V. End-of-message handling and interrupt generation in a CAN module providing hardware assembly of multi-frame CAN messages
SE525776C2 (sv) * 2003-09-16 2005-04-26 Henry Norrby Förpackning för förvaring av varor i ett preserverande tillstånd samt förfarande för förfärdigande av dylika förpackningar
WO2008122512A2 (en) * 2007-04-04 2008-10-16 Nokia Corporation Network clustering for improving connection management and re-routing capabilities
US8660128B2 (en) * 2009-04-15 2014-02-25 Ibiquity Digital Corporation Systems and methods for a multiport synchronous-asynchronous client for scheduling and delivering content for digital radio broadcast transmission
KR20110076751A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 광대역 무선 통신 시스템에서 아이들 모드 천이 제어 방법
US8856883B2 (en) * 2010-07-06 2014-10-07 Intel Corporation System and method for protecting MAC control messages
JP5725242B1 (ja) * 2014-06-04 2015-05-27 ソニー株式会社 送信装置及び送信方法、並びに受信装置並びに受信方法
US20160014670A1 (en) * 2014-07-10 2016-01-14 Electronics And Telecommunications Research Institute Method for generating network route using tv white space
JP6506767B2 (ja) * 2014-08-20 2019-04-24 ソニーセミコンダクタソリューションズ株式会社 受信装置、フレーム同期方法、送信装置、送信方法、およびプログラム
KR102299577B1 (ko) * 2014-08-25 2021-09-08 삼성전자주식회사 호스트와 이를 포함하는 멀티 디스플레이 시스템
WO2016111526A1 (ko) * 2015-01-06 2016-07-14 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP2017026936A (ja) * 2015-07-27 2017-02-02 シナプティクス・ジャパン合同会社 半導体装置、半導体デバイスモジュール、表示パネルドライバ及び表示モジュール
KR102466160B1 (ko) * 2016-01-08 2022-11-14 삼성전자주식회사 데이터의 루프백을 수행하는 시스템 온 칩과 집적 회로, 및 이들을 포함하는 모바일 장치
JP6695739B2 (ja) 2016-05-26 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
US10063312B2 (en) * 2016-06-21 2018-08-28 Futurewei Technologies, Inc. Optical network unit reset message
KR102516027B1 (ko) * 2016-07-20 2023-03-31 삼성전자주식회사 헤더 처리 장치, 프로세서 및 전자장치
JP6773616B2 (ja) * 2017-08-21 2020-10-21 株式会社東芝 無線通信装置および無線通信方法
KR102641559B1 (ko) * 2017-11-10 2024-02-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 송신 장치
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
US11096043B2 (en) * 2018-02-16 2021-08-17 Apple Inc. Downlink control information format for ultra-reliable physical downlink control channel
US11019183B2 (en) * 2018-07-02 2021-05-25 Intel Corporation Network provenance with multi-interface translation
CN112513822B (zh) * 2018-08-01 2024-05-10 华为技术有限公司 信息处理方法及装置、设备、系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268878A1 (en) * 2005-05-04 2006-11-30 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving a multi-user packet in a mobile communication system
JP2012520020A (ja) * 2009-03-03 2012-08-30 クゥアルコム・インコーポレイテッド 縮小拡大可能なヘッダー拡張
US20170359499A1 (en) * 2016-06-14 2017-12-14 Intel Corporation Transmission of Image Data and Camera Management Commands

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"DRAFT MIPI alliance specification for camera serial interface 2 (CSI-2)", DRAFT MIPI ALLIANCE SPEDIFICATION FOR CSI-2 DRAFT, April 2009 (2009-04-01), pages 21 - 23 , 46-50 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022009691A1 (ja) * 2020-07-10 2022-01-13
WO2022009691A1 (ja) * 2020-07-10 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 通信装置および通信方法、並びにプログラム
EP4180982A4 (en) * 2020-07-10 2023-11-29 Sony Semiconductor Solutions Corporation COMMUNICATION DEVICE, COMMUNICATION METHOD AND PROGRAM
JP7721527B2 (ja) 2020-07-10 2025-08-12 ソニーセミコンダクタソリューションズ株式会社 通信装置および通信方法、並びにプログラム
TWI923592B (zh) 2020-07-10 2026-05-01 日商索尼半導體解決方案公司 通信裝置及通信方法、以及電腦程式產品
US11595504B2 (en) 2020-07-16 2023-02-28 Maxim Integrated Products, Inc. MIPI translation in GMSL tunnel mode
US11962674B2 (en) * 2020-07-16 2024-04-16 Maxim Integrated Products, Inc. MIPI translation in gigabit multimedia serial link
US20230208946A1 (en) * 2020-07-16 2023-06-29 Maxim Integrated Products, Inc. Mipi translation in gigabit multimedia serial link
US20220021756A1 (en) * 2020-07-16 2022-01-20 Maxim Integrated Products, Inc. Mipi translation in gmsl tunnel mode
WO2022050057A1 (ja) * 2020-09-01 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体装置、および通信システム
JPWO2022050057A1 (ja) * 2020-09-01 2022-03-10
US12375456B2 (en) 2020-09-01 2025-07-29 Sony Semiconductor Solutions Corporation Information processing apparatus, mobile apparatus, and communication system
JP7679388B2 (ja) 2020-09-01 2025-05-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体装置、および通信システム
WO2022075081A1 (ja) 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体装置、および通信システム
EP4227817A4 (en) * 2020-10-09 2024-03-20 Sony Semiconductor Solutions Corporation Information processing device, mobile device, and communication system
US12407661B2 (en) 2020-10-09 2025-09-02 Sony Semiconductor Solutions Corporation Information processing device, mobile device, and communication system
JP7666596B2 (ja) 2020-11-12 2025-04-22 華為技術有限公司 データ伝送方法及び電子デバイス
JP2023549354A (ja) * 2020-11-12 2023-11-24 華為技術有限公司 データ伝送方法及び電子デバイス
WO2023145479A1 (ja) 2022-01-28 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 通信装置および通信方法、並びにプログラム
JP2023163310A (ja) * 2022-04-28 2023-11-10 ソニーセミコンダクタソリューションズ株式会社 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム

Also Published As

Publication number Publication date
CN113168383B (zh) 2024-09-06
JP7494126B2 (ja) 2024-06-03
DE112019006340T5 (de) 2021-09-30
JPWO2020129685A1 (ja) 2021-11-11
TW202029002A (zh) 2020-08-01
KR20210104015A (ko) 2021-08-24
US12457279B2 (en) 2025-10-28
KR102747710B1 (ko) 2024-12-31
CN113168383A (zh) 2021-07-23
TWI868088B (zh) 2025-01-01
US20210306445A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7494126B2 (ja) 通信装置および通信方法、並びにプログラム
JP7686629B2 (ja) 送信装置、受信装置、および通信システム
EP3926911B1 (en) Communication device, communication method, and program
US20230205723A1 (en) Communication device, communication method, and program
US20200186841A1 (en) Picture transmission device and picture reception device
CN115104090A (zh) 发送装置、接收装置和通信系统
US11563483B2 (en) Communication device and communication system
US12401856B2 (en) Reception device and transmission system
TW202335473A (zh) 通信裝置及通信方法、以及程式
WO2019146566A1 (ja) 半導体装置、ディスプレイ装置、グラフィックプロセッサ、電子機器、画像処理方法
KR20240136076A (ko) Mipi a-phy 기반 차량의 카메라의 초기화를 위한 장치 및 방법
KR20190017397A (ko) 플러그 앤 플레이 디바이스의 인터페이스 장치 및 그 동작 방법
CN111064908B (zh) 信号传输方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19898099

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217002625

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020561296

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19898099

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17260391

Country of ref document: US