WO2020144756A1 - 撮像システムおよび撮像方法 - Google Patents

撮像システムおよび撮像方法 Download PDF

Info

Publication number
WO2020144756A1
WO2020144756A1 PCT/JP2019/000287 JP2019000287W WO2020144756A1 WO 2020144756 A1 WO2020144756 A1 WO 2020144756A1 JP 2019000287 W JP2019000287 W JP 2019000287W WO 2020144756 A1 WO2020144756 A1 WO 2020144756A1
Authority
WO
WIPO (PCT)
Prior art keywords
key
data
transmission
reception
processing unit
Prior art date
Application number
PCT/JP2019/000287
Other languages
English (en)
French (fr)
Inventor
雅人 大澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020565063A priority Critical patent/JP7102551B2/ja
Priority to PCT/JP2019/000287 priority patent/WO2020144756A1/ja
Publication of WO2020144756A1 publication Critical patent/WO2020144756A1/ja
Priority to US17/190,778 priority patent/US11258990B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/06Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/061Network architectures or network communication protocols for network security for supporting key management in a packet data network for key exchange, e.g. in peer-to-peer networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/061Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying further key derivation, e.g. deriving traffic keys from a pair-wise master key

Definitions

  • the present invention relates to an imaging system and an imaging method.
  • Patent Document 1 discloses an imaging system that executes register setting by control data (register setting signal) when the communication state is good.
  • Patent Document 1 has a problem that the imaging operation cannot be executed during the test period because the communication state test is performed in the period designated by the test start command.
  • the present invention has been made in consideration of the above circumstances, and an object thereof is to provide an imaging system and an imaging method capable of accurately executing a rewriting operation of a register setting signal without hindering transmission/reception of imaging data. To provide.
  • An imaging system is an imaging system in which a camera unit and an information processing unit are capable of bidirectionally communicating by wire or wirelessly, and the camera unit includes an imager that generates pixel data,
  • the imager includes a register capable of writing imaging conditions and a matching circuit, and is configured to transmit imaging data including the pixel data as a downlink packet to the information processing unit, and the information processing unit includes the downlink packet. Is received, and a predetermined part of data in the imaged data is recognized as a transmission key, and a reception key generation unit that generates a reception key based on the transmission key is included, and the imaging conditions of the reception key and the imager are set.
  • the camera unit has a first transmission/reception pad
  • the information processing unit is connected to the first transmission/reception pad via a signal transmission line.
  • the second transmission/reception pad is configured to perform transmission/reception of the downlink packet and the uplink packet using the first transmission/reception pad and the second transmission/reception pad.
  • An imaging system is the imaging system according to the first and second aspects, wherein the camera unit transmits the downlink packet to the information processing unit, and the uplink packet is the information processing unit.
  • the collation circuit collates the transmission key and the reception key, executes the imaging while repeating the three states of the approval phase for determining whether the register setting signal can be written in the register, It is characterized in that correctness information corresponding to the result of matching the transmission key and the reception key in the approval phase is transmitted to the information processing unit in the next transmission phase.
  • An image pickup system is characterized in that, in the first to third aspects, the transmission key is information indicating the pixel data of a predetermined pixel in the image pickup data. ..
  • the transmission key includes information indicating a most significant bit of the predetermined pixel in the pixel data of the imaging data.
  • An imaging system is the image pickup system according to any one of the first to fifth aspects, wherein the matching circuit is configured to transmit the transmission key when the transmission key and the reception key do not satisfy the predetermined condition. Is transmitted to the information processing unit, and the information processing unit executes interpolation calculation for the pixel corresponding to the error location of the transmission key.
  • An imaging system is the imaging system according to any one of the first to third aspects, wherein the imaging data includes the pixel data and service data that controls start and end of transmission of the pixel data.
  • the transmission key is a part of the service data.
  • An image pickup system is the image pickup system according to any one of the first to seventh aspects, wherein the camera unit further includes an oscillator that generates an imager clock that serves as a reference for operation timing of the imager, A system clock generator that generates a signal in which the imager clock is superimposed on the imaged data as the downlink packet and transmits the downlink packet to the information processing unit, wherein the information processing unit generates a system clock in the information processing unit, A clock data recovery circuit that reproduces the imager clock superimposed on the received downlink packet, and compares the frequencies of the imager clock and the system clock to obtain the imager clock and the system clock.
  • the register setting signal for reducing the frequency deviation is transmitted as the upstream packet.
  • An imaging system is the imaging system according to the eighth aspect, wherein the oscillator is a voltage controlled oscillator whose frequency can be changed according to a voltage, and the camera unit is set in the register. It further comprises a digital-analog converter for supplying a voltage to the voltage controlled oscillator based on the frequency.
  • An imaging method is an imaging system in which a camera unit and an information processing unit can bidirectionally communicate by wire or wirelessly, the camera unit includes an imager that generates pixel data, The imager includes a register capable of writing imaging conditions and a matching circuit, and is configured to transmit imaging data including the pixel data as a downlink packet to the information processing unit, and the information processing unit includes the downlink packet. Is received, and a predetermined part of data in the imaged data is recognized as a transmission key, and a reception key generation unit that generates a reception key based on the transmission key is included, and the imaging conditions of the reception key and the imager are set.
  • FIG. 3 is a timing chart showing a logical state of a main node of the imager clock generation unit IMG_CLK described in FIG. 2. 3 is a timing chart for explaining the operation of the imaging system according to the first embodiment of the present invention. It is a figure which shows an example of a structure of the image format which the camera unit of this invention transmits/receives. It is a flow chart for explaining operation of the camera unit of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system including an endoscope according to an embodiment of the present invention.
  • the endoscope system (imaging system 1) shown in FIG. 1 includes a scope 10, a controller 20, and a monitor 30.
  • the scope 10 transmits the imaging data inside the body of the subject to the image processor 22 of the controller 20.
  • the image processor 22 processes the imaging data transmitted from the scope 10.
  • the monitor 30 displays an image based on the imaged data processed by the controller 20.
  • the scope 10 that functions as an endoscope in the present embodiment has an insertion section 11, an operation section 14, a cable 15, a connector 16, and a connector 17.
  • the insertion part 11 is a part to be inserted into the body of the subject.
  • a camera unit 2 having an imager 201 is provided inside the tip of the insertion portion 11.
  • the imager 201 is a CMOS sensor or a CCD sensor, and captures an image of the inside of the subject to generate image data of the subject.
  • the configuration of the camera unit 2 will be described in detail later.
  • the insertion portion 11 is configured to be capable of emitting illumination light from the tip.
  • the insertion portion 11 is a portion configured to be bent by the operation of the operation knob of the operation portion 14 by an operator such as a doctor, and a bending portion that is passively bent by an external force regardless of the operation of the operation portion 14. And a part that does.
  • the operation unit 14 connects the insertion unit 11 and the cable 15.
  • the operation unit 14 has, as operation knobs, an RL knob for performing an operation of bending the insertion unit 11 to the left and right and a UD knob for performing an operation of bending the insertion unit 11 in the vertical direction. ..
  • the operation unit 14 also has various switches.
  • a light guide is formed inside the insertion section 11, the operation section 14 and the cable 15.
  • This light guide is connected to the light source device 21 of the controller 20 by a connector 16 provided at the proximal end of the cable 15.
  • various signal lines such as a video signal line as a transmission line for transmitting imaging data are formed inside the insertion unit 11, the operation unit 14, and the cable 15.
  • This signal line (a signal line including a differential signal transmission line described later) is connected to the image processor 22 of the controller 20 by the connector 17 connected to the connector 16.
  • a channel is provided for the purpose of passing through the insertion portion 11 from the operation portion 14.
  • the channel is provided for passing various treatment tools such as an ultrasonic coagulation/cutting device such as an ultrasonic knife and a high-frequency current generator such as an electric knife to the tip of the insertion section 11.
  • an ultrasonic coagulation/cutting device such as an ultrasonic knife
  • a high-frequency current generator such as an electric knife
  • all the constituent elements such as the image pickup signal processing unit 300 may be included in the image processor 22.
  • a part of the constituent elements of the information processing unit 3, such as the receiver 301 and the output driver 306, may be included in a portion different from the image processor 22, such as the connector 16 and the connector 17.
  • the light source device 21 has a light source such as a white LED and emits illumination light.
  • the illumination light emitted from the light source device 21 is transmitted to the tip of the insertion portion 11 by the light guide and emitted from the tip of the insertion portion 11. As a result, the inside of the subject is illuminated.
  • the information processing unit 3 as a signal processing device external to the image pickup device 12 (camera unit 2 described later) processes the image pickup data obtained by the image pickup device 12 of the insertion unit 11. This processing includes processing for converting the imaged data after processing such as gradation correction processing into a format that can be displayed on the monitor 30.
  • the monitor 30 (display 4 shown in FIG. 2) is, for example, a liquid crystal monitor.
  • the monitor 30 displays a video and various information based on the imaging data processed by the information processing unit 3.
  • FIG. 2 is a block diagram showing a configuration example of the imaging system according to the first embodiment of the present invention.
  • the image pickup system 1 is an image pickup system in which the camera unit 2 and the information processing unit 3 can bidirectionally communicate by wire or wirelessly.
  • the camera unit 2 has a pad P1 that executes transmission of downlink packets and a pad M1 (first transmission/reception pad) that executes reception of uplink packets.
  • the information processing unit 3 has a pad P2 and a pad M2 (second transmission/reception pad) that execute transmission of uplink packets and receive downlink packets.
  • the pad P1 and the pad P2, and the pad M1 and the pad M2 are connected by signal transmission lines (cable CABLEP and cable CABLEM), respectively, and the transmission and reception of the downlink packet and the uplink packet are performed by the first transmission and reception pad and the second It is executed using the send/receive pad.
  • the camera unit 2 shown in FIG. 2 includes an imager 201, a downlink signal processing unit 202, an output driver 203 (shown as a differential signal transmitting unit Tx1, hereinafter referred to as an output driver Tx1), and a receiver 204 (differential signal).
  • a receiver Rx2 hereinafter referred to as a receiver Rx2
  • an imager clock generator 206 an imager clock generator 206
  • a timing generator 207 indicated by TG in FIG. 2.
  • the imager 201 includes a PIX unit 201a (shown by a pixel array PIX_ARY) and a signal processing circuit 201b (COL_ADC).
  • the PIX unit 201a includes a plurality of pixels P. That is, in FIG. 2, unit pixels including photoelectric conversion elements (hereinafter, simply referred to as “pixels”) P are arranged two-dimensionally in a matrix (matrix) to form a PIX unit 201a including a plurality of pixel arrays. I am configuring.
  • the signal processing circuit 201b suppresses the fixed pattern noise of the analog signal output from the pixel P by an AD (analog-digital) conversion circuit that processes the pixels P of the PIX unit 201a in parallel for each column.
  • AD analog-digital
  • column ADC Analog Digital Converter
  • the digital signal generated and output by the signal processing circuit 201b is represented as imaging data in FIG.
  • the imaging data is represented as imaging data including a digital signal (pixel data) of the pixel P.
  • the image data includes a part of predetermined data as a transmission encryption key (hereinafter, referred to as a transmission key).
  • the downlink signal processing unit 202 includes a matching circuit 202a (shown by COLL in FIG. 2) and a packet synthesizing unit 202b (shown in FIG. 2 by 8b/10b (bits) of imaged data).
  • the matching circuit 202a matches a transmission key, which is a predetermined partial data in the imaged data, with a reception encryption key (hereinafter, referred to as a reception key) generated by the information processing unit 3 described later based on the transmission key.
  • the collation circuit 202a outputs the register setting signal (the setting signal indicating the imaging condition of the imager 201) received together with the reception key to the imager clock generation unit when the collation result that the transmission key and the reception key satisfy the predetermined condition is obtained.
  • the packet synthesizing unit 202b generates a signal in which the imager clock IMCLK generated by the voltage controlled oscillator 206d in the imager clock generating unit IMG_CLK is superimposed on the imaged data including the transmission key as a downlink packet.
  • the output driver Tx1 converts the downlink packet into a pair of differential signals and outputs the pair of differential signals from the pad P1 and the pad M1 to the pair of signal transmission lines (two cables CABLEP, CABLEM). Then, the pair of differential signals is output to the receiver 301 of the information processing unit 3 through the pad P2 and the pad M2 of the information processing unit 3 connected by the signal transmission line.
  • the receiver Rx2 receives the downlink packet (reception key and register setting signal) transmitted by the information processing unit 3, and outputs the reception data SYSDATA as an output signal to the imager clock generation unit IMG_CLK.
  • FIG. 3 is a diagram showing a configuration of the imager clock generation unit IMG_CLK described in FIG.
  • FIG. 4 is a timing chart showing a logical state of a main node of the imager clock generation unit IMG_CLK described in FIG.
  • the imager clock generation unit IMG_CLK includes a clock data recovery unit 206a, a register unit 206b, a digital-analog converter 206c, and a voltage controlled oscillator 206d (hereinafter, referred to as voltage controlled oscillator VCO_IMCLK).
  • the clock data recovery unit 206a in FIG. 3 is represented by CDR.
  • CDR clock data recovery unit
  • the register unit 206b is indicated by the register unit REG in FIG.
  • REG register unit
  • the digital-analog converter 206c is indicated by DAC in FIG.
  • DAC digital-analog converter DAC.
  • the voltage controlled oscillator VCO_IMCLK outputs an imager clock IMCLK which oscillates at a frequency according to the input control voltage VCTRL to the timing generator TG (indicated by TG207 in FIG. 2). That is, the camera unit 2 executes an operation in synchronization with the imager clock IMCLK.
  • the digital-analog converter DAC outputs a control voltage VCTRL (analog signal) according to the input register value REG_VAL (digital signal).
  • Register data RE_DATA input in synchronization with the CDR clock CDRCLK input from the clock data recovery unit CDR is input to the register unit REG, and the value of the register data RE_DATA is held in the register unit REG.
  • the imager clock generation unit IMG_CLK is known as reception data SYSDATA (generally 8b/10b, Manchester coded signal, etc.) having a clock recovery symbol having a clock edge for detecting a data transition timing in a predetermined cycle. ) Is entered.
  • the clock data recovery unit CDR executes the phase adjustment for the purpose that the phase of the falling clock of the CDR clock CDRCLK is the same as that of the received data SYSDATA (see the lines at times t2 and t6 in FIG. 4).
  • the phase/frequency comparator PD samples the value of the reception data SYSDATA at the rising edge timing of the CDR clock CDRCLK (see the lines at times t1, t3, t4, and t5 in FIG. 4) and synchronizes with the CDR clock CDRCLK.
  • the timing data RE_DATA is output to the register unit REG.
  • the data held in the register unit REG is used for setting the operation mode and the like inside the camera unit 2.
  • the phase/frequency comparator PD further sets the falling timing of the CDR clock CDRCLK and the edge of the received data SYSDATA at the falling timing of the CDR clock CDRCLK (see the lines at times t0, t2, t7, and t6 in FIG. 4).
  • the output from the UP terminal becomes H, and the charge pump CP supplies current to the loop filter LF. Is done.
  • the voltage appearing in the loop filter LF gradually rises and the oscillation frequency of the voltage controlled oscillator VCO_CDR rises.
  • FIG. 5 is a timing chart for explaining the operation of the imaging system according to the first embodiment of the present invention.
  • FIG. 5 shows a transient response simulation result of bidirectional communication.
  • VOUTP and VOUTM shown in FIG. 5 represent differential signals appearing on the pad P1 and the pad M1 in the camera unit 2, respectively.
  • the switches SW1 to SW4 forming the output driver Tx1 are intermittently switched by the clocks CK ⁇ 1> to CK ⁇ 4>. Further, while the switches SW3 and SW4 are turned off during the upstream communication mode, the switches SW1 and SW2 continue to be turned on and become a termination resistance of the receiver Rx2. At the same time, the switches SW1 and SW2 each have a resistance value of about 50 ⁇ and form a return current path for the output driver Tx2.
  • the switching from the uplink communication mode to the downlink communication mode shown in FIG. 5 is performed at time t1, the switching of VOUTP and VOUTM is stopped.
  • the communication direction is controlled by DIR for the sake of simplification, but actually, at the end of the upstream signal and the downstream signal, data for notifying the end of data transmission is included.
  • the information processing unit 3/camera unit 2 receives this, the actual communication direction changes. Details will be described later after returning to FIG.
  • the signal transmission from the output driver Tx2 has started at the same time (time t1), the signal of this node remains static until the time t2 when this signal reaches the receiver Rx2.
  • the switching waveform appears again at the VOUTP and VOUTM terminals (represented by the pad P1 and the pad M1 in FIG. 2, respectively).
  • the camera unit 2 outputs the digital video signal (imaging data PIX_DATA) to the information processing unit 3 side.
  • the switch SW shown in FIG. 3 is turned off and the voltage of the loop filter LF is held, so that the voltage supplied to the voltage controlled oscillator VCO_CDR becomes constant during the downlink communication mode period, and the CDR during this period is maintained.
  • the frequency of the clock CDRCLK is kept constant.
  • the camera unit 2 When the camera unit 2 outputs a digital video signal (imaging data PIX_DATA) for one line to the information processing unit 3 side and then outputs an imager line end command to the system side, the camera unit 2 shifts to the upstream communication mode again. In the upstream communication mode, the switch SW is short-circuited again, and the CDRCLK frequency lock (readjustment) operation based on SYSDATA and the SYSDATA extraction operation are executed.
  • the information processing unit 3 includes a receiver 301 (indicated by a differential signal receiving unit Rx1, hereinafter referred to as a receiver Rx1), a clock data recovery unit 302 (indicated by CDR_SYS), and a received signal processing unit 303 (reception key generation). Unit), a crystal oscillator 304 (abbreviated as Xtal), an upstream signal generation unit 305, and an output driver 306 (shown as a differential signal transmission unit Tx2. Hereinafter referred to as an output driver Tx2). It
  • the receiver Rx1 is a circuit for binarizing the imaging data (downstream packet) including the pixel data received as a differential amplification signal at the pad P2 and the pad M2.
  • the clock data recovery unit 302 receives the imaging data (downstream packet) including the pixel data and outputs it to the reception signal processing unit.
  • This data RE_DATA_SYS is fetched by the reception signal processing unit 303 at a timing synchronized with CDRCLK_SYS.
  • the reception signal processing unit 303 executes an image calculation process for RE_DATA_SYS. This processing includes processing for converting the imaged data after the processing such as the gradation correction processing into a format that can be displayed on the display 4.
  • the configuration of the clock data recovery unit 302 is the same as that of the clock data recovery unit 206a in the camera unit 2 described above.
  • RE_DATA_SYS shown in FIG. 2 is a digital signal representing imaging data transmitted from the image sensor side (camera unit 2).
  • CDRCLK_SYS is a basic clock signal generated by the quilock recovery symbol included in the downlink packet.
  • the reception signal processing unit 303 takes in RE_DATA_SYS at a timing synchronized with CDRCLK_SYS, and displays it on the display 4 after performing predetermined signal processing.
  • the crystal unit 304 (quartz crystal unit or crystal unit) is one of the elements used when oscillating with high frequency accuracy by utilizing the piezoelectric effect of crystal (quartz), and outputs the system clock SYS_CLK. Further, the reception signal processing unit 303 compares the frequency of CDRCLK_SYS with the frequency of the system clock SYS_CLK, and when the frequency of CDRCLK_SYS is higher than SYS_CLK, lowers the clock frequency generated by the imager clock generation unit IMG_CLK in the camera unit 2. Such a command is output to the upstream signal generation unit 305.
  • the reception signal processing unit 303 when the frequency of CDRCLK_SYS is lower than SYS_CLK, a command to increase the clock frequency generated by the imager clock generation unit IMG_CLK in the camera unit 2 is output to the upstream signal generation unit 305. That is, the reception signal processing unit 303 continues to output the feedback command (register setting information) to the upstream signal generation unit 305 so that the frequency of IMCLK becomes equal to the frequency of the system clock SYS_CLK. Further, the reception signal processing unit 303 recognizes predetermined partial data in the received image pickup data as a transmission key, generates a reception key based on the transmission key, and outputs the reception key to the upstream signal generation unit 305.
  • the upstream signal generation unit 305 generates the reception key generated by the reception signal processing unit 303 and the register setting information (register setting signal indicating the imaging condition of the imager) as an upstream packet.
  • the output driver Tx2 transmits the upstream packet generated by the upstream signal generation unit 305 to the receiver 204 in the camera unit 2.
  • the reception key generated by the reception signal processing unit 303 is the same data as the transmission key transmitted by the camera unit 2. That is, the camera unit 2 transmits the camera unit 2 during both transmission and reception (that is, when the camera unit 2 transmits the transmission key and the information processing unit 3 receives the transmission key, or when the information processing is performed). Only when the reception key and the transmission key are equal (when the unit 3 transmits the reception key and the camera unit 2 receives the reception key), it can be determined that a transmission error due to disturbance noise or the like has not occurred.
  • the same data means that, for example, when the transmission key is 0001, the reception key may be reversed 1110.
  • the predetermined condition that is a condition for the camera unit 2 to collate the reception key and the transmission key generated by the information processing unit 3 based on the transmission key includes a condition in which the reception key and the transmission key are exactly the same. It may be a condition that is looser than that and indicates that no disturbance noise has occurred.
  • the camera unit 2 receives the register setting information (register register) received most recently, which is transmitted together with the reception key (the same data as the transmission key if no transmission error occurs) when the transmission key and the reception key satisfy a predetermined condition.
  • the setting signal is written in the register unit 206b. That is, the camera unit 2 updates the register unit 206b. By this register update, the voltage value output from the digital-analog converter 206c (on-chip DAC) is changed, and the frequency deviation between the imager clock IMCLK and the system clock SYS_CLK is reduced.
  • the register unit 206b is updated to a new value of the register setting information only when the transmission key and the reception key match, so that the camera unit is compact and capable of stable operation even when disturbance noise such as an electric knife occurs. 2 (image sensor) can be supplied.
  • the camera unit 2 transmits a register setting signal transmitted from the second transmission/reception pad (pad P2 and pad M2) included in the information processing unit 3 by the first transmission/reception pad (pad P1 and pad M1) included in the camera unit 2 itself. Receive the included upstream packet.
  • These transmission/reception pads are connected by signal transmission lines (cable CABLEP and cable CABLEM). Therefore, in order to transmit the register setting signal, no signal line (register setting signal dedicated line) other than the signal transmission line is required.
  • the transmission key is “predetermined partial data in the imaged data”, but may be “imaged data in which the pixel position is designated in advance”. In this case, the imaged data and the transmission key can be used in common. It is possible to supply an image sensor that is robust against disturbance noise without increasing the amount of downlink packet communication.
  • the "transmission key may be image pickup data in which pixel positions are designated in advance” will be described below as a second embodiment.
  • FIG. 6 is a diagram showing an example of the configuration of an image format transmitted and received by the camera unit of the present invention.
  • FIG. 7 is a flow chart for explaining the operation of the camera unit of the present invention.
  • FIG. 6 shows the frame format structure FMT of the camera unit 2 (image sensor) in the upper part.
  • the frame format structure FMT has a Down Link period in which data (downstream packet) is transmitted from the camera unit 2 in the direction of the information processing unit 3 and Up in which data (downstream packet) is transmitted from the information processing unit 3 in the direction of the camera unit 2. It is roughly divided into a Link period.
  • the frame format structure in the Down Link period includes a horizontal pre-blanking section H-Blanking Pre-down, a horizontal post-blanking section H-Blanking Post-down, a vertical pre-blanking section V-Blanking Pre-down, and a vertical post.
  • a blanking section V-Blanking Post-down and a pixel data section Pixel Data are included.
  • the frame format structure in the Up Link section includes a horizontal pre-blanking section H-Blanking Pre-up, a horizontal post-blanking section H-Blanking Post-up, and a control code section Configuration Code.
  • Line ⁇ a> is a horizontal pre-blanking section H-Blanking Pre-down, a vertical pre-blanking section V-Blanking Pre-down, a horizontal post-blanking section H-Blanking Post-down, and a horizontal pre-blanking section. It is composed of an H-Blanking Pre-up, a control code section Configuration Code, and a horizontal post-blanking section H-Blanking Post-up. All data forming the frame format structure FMT is 8b/10b modulated.
  • the 8b/10b modulation has a data structure in which a 2-bit clock recovery symbol is added to 1-byte (8-bit) data, 10-bit information is required to express 1-byte information.
  • the data conversion from 8b to 10b is performed according to a conversion table generally known as K code and D code.
  • the horizontal pre-blanking section H-Blanking Pre-down is composed of a 320-bit long area having a data amount of 32 bytes.
  • a preamble period Preamble for locking the imager output data on the information processing unit 3 side is necessary.
  • the first half 160 bits (16 bytes) of the preamble period Preamble are composed of toggle signals (repeating 0101017)
  • the second half 160 bits (16 bytes) are composed of increment signals 0x00, 0x01,... 0x0f.
  • the toggle signal is used as data necessary for the clock data recovery unit CDR_SYS to detect the clock recovery symbol included in the 8b/10b-modulated data that follows and to extract the data.
  • the clock data recovery unit CDR_SYS uses the toggle signal to execute the pull-in operation for operating at the same frequency and the same phase as the imager clock IMCLK. Since the frequency and phase pull-in operations are performed using the clock edge of the digital signal generated with IMCLK as a reference, the toggle signal with the largest number of clock transitions per unit time is most suitable. The latter half of the increment signal is used to perform data position cueing.
  • the vertical pre-blanking interval that follows It becomes possible for the system (information processing unit 3) to read information inside the image sensor (camera unit 2) included in the V-Blanking Pre-down or the vertical post-blanking section V-Blanking Post-down.
  • the information included in the vertical pre-blanking section V-Blanking Pre-down or the vertical post-blanking section V-Blanking Post-down may include temperature information or voltage information inside the image sensor, or the system.
  • Pull-in data for example, a toggle signal
  • for the side to perform frequency/phase pull-in on the output signal of the imager side may be included.
  • the horizontal post-blanking section H-Blanking Post-down includes a line end code EOL which means that the data transmission of the line ends.
  • EOL line end code
  • the control code section Configuration Code includes register information for determining the setting of the image sensor (camera unit 2).
  • the register information is temporarily stored in the register REG (register unit 206b), and is used as a valid register value only when this information is determined to be correct by the matching circuit COLL (matching circuit 202a). Since only this valid register value is used for the output voltage setting of the DA converter DAC (digital-analog converter 206c) and the operation mode setting of the timing generator TG (TG207), the image sensor according to the present embodiment can be used. For example, even if the signal is transmitted in an environment where there is a disturbance such as an electric knife, it will not be changed to a new set value unless it is judged to be correct by the collation circuit COLL. On the other hand, a robust image sensor (camera unit 2) and imaging system 1 can be supplied.
  • Line ⁇ n> is a horizontal pre-blanking section H-Blanking Pre-down, a pixel data section PixelData, a horizontal post-blanking section H-Blanking Post-down, and a horizontal pre-blanking section H-Blanking Pre-up. And a control code section Configuration Code and a horizontal post-blanking section H-Blanking Post-up.
  • the pixel data section Pixel Data is composed of pixel element data P[n,m].
  • the pixel element data P[n,m] is a 10-bit unit element data unit composed of 8-bit imaging data information and 2-bit embedded clock information, and the data transmission/reception is in the control code section Configuration Code transmission/reception. It is processed according to a similar operating principle. When it is necessary to transmit imaging data with a bit length deeper than 8 bits (for example, 10 bits), information of 2 bits that could not be transmitted is set as 1 unit of 4 pixels and new extended pixel element data Pex[n/4, [m/4] can be generated to perform transmission/reception.
  • the camera unit 2 transmits the imaging data including pixel data as a downlink packet to the information processing unit 3, and the information processing unit 3 receives the downlink packet and transmits a predetermined part of the imaging data. It has been described in the first embodiment that the key is recognized and the reception key is generated based on the transmission key. In the present embodiment, the position of the transmission key in the imaging data will be described below in response to the description that “the transmission key may be imaging data in which the pixel position is designated in advance”.
  • the transmission key may be information indicating pixel data of a predetermined pixel in the imaged data.
  • the predetermined pixel refers to a pixel designated in advance in the pixel data section PixelData described above.
  • the transmission key may be information indicating the most significant bit of a predetermined pixel in the pixel data of the imaged data.
  • the imaging data may include pixel data and service data that controls the start and end of transmission of the pixel data
  • the transmission key may be a part of the service data.
  • the service data that controls the start and end of transmission of pixel data indicates the horizontal pre-blanking interval H-Blanking Pre-down and the horizontal post-blanking interval H-Blanking Post-down described above.
  • the transmission key indicates a part of the increment signal following the toggle signal or a signal including the line end code EOL (part of the service data) in the horizontal post-blanking interval H-Blanking Post-down.
  • EOL part of the service data
  • the matching circuit 202a transmits a downlink packet including an error signal indicating an error location of the transmission key to the information processing unit 3 when the transmission key and the reception key do not satisfy the predetermined condition, and the information processing unit 3 transmits the transmission packet.
  • An interpolation calculation is executed for the pixels corresponding to the error part of the key.
  • performing the complementary calculation on the pixel corresponding to the error part of the transmission key means that the imaging data of the same pixel as the corresponding pixel one frame before or the peripheral pixels of the corresponding pixel (for example, surrounding the corresponding pixel). The calculation is performed based on the average value of the imaging data of four pixels).
  • the “transmission phase” indicates a state in which the camera unit 2 transmits the downlink packet to the information processing unit 3.
  • the “reception phase” indicates a state in which the camera unit 2 receives the upstream packet from the information processing unit 3.
  • the “approval phase” indicates a state in which the value of the register unit 206b is updated with the register setting information.
  • the camera unit 2 starts line reading of the downlink packet to be transmitted (step ST1). Specifically, the camera unit 2 reads the start code Start Code included in the horizontal pre-blanking section H-Blanking Pre-down corresponding to the Line ⁇ 1> of the frame format FMT, and the Line ⁇ 1> of the frame format FMT. Prepare for transmission of frame format structure data (downstream packet) during the Downlink period.
  • the camera unit 2 executes downlink packet transmission (step ST2). Specifically, the camera unit 2 transmits the data of the frame format structure in the Down Link period of Line ⁇ 1> of the frame format FMT to the information processing unit 3.
  • This downlink packet may include correct/incorrect information relating to the result of the collation between the reception encryption key and the transmission encryption key of one line or more before. Details of the correctness information will be described in the description of step ST5 and step ST6 described later.
  • the camera unit 2 saves Data corresponding to the transmission encryption key (transmission key) included in the downlink packet (step ST3). Specifically, when the data corresponding to the transmission encryption key (transmission key) included in the downlink packet is included in Line ⁇ 1>, the downlink signal processing unit 202 in the camera unit 2 sets the Data to, for example, The data is stored in a memory (not shown) built in the downlink signal processing unit 202, the matching circuit COLL, or the register unit 206b.
  • the camera unit 2 receives the upstream packet (step ST4). Specifically, the camera unit 2 receives from the information processing unit 3 the data of the frame format structure in the UpLink period of Line ⁇ 1> of the frame format FMT. In this data, the reception key generated by the information processing unit 3 based on the transmission key and the register setting information are included as the control code section Configuration Code.
  • the camera unit 2 determines whether the reception key and the transmission key are the same (step ST5). Specifically, the matching circuit 202a in the camera unit 2 determines whether the stored transmission key and the reception key transmitted from the information processing unit 3 satisfy the above-mentioned predetermined condition.
  • the camera unit 2 does not update the register setting information when the stored transmission key and the reception key transmitted from the information processing unit 3 do not satisfy the above predetermined condition (step ST5-No). In addition, this determination result is stored as correctness information inside the camera unit 2 (step ST6).
  • the camera unit 2 updates the register setting information when the stored transmission key and the reception key transmitted from the information processing unit 3 satisfy the above-mentioned predetermined conditions (step ST5-Yes) (step ST5-Yes).
  • the matching circuit 202a updates the register setting information of the register unit 206b.
  • the digital-analog converter 206c changes the output voltage value to reduce the frequency deviation between the imager clock IMCLK and the system clock SYS_CLK.
  • the determination result as to whether or not the predetermined condition is satisfied is stored as correctness information inside the camera unit 2.
  • step ST8 the camera unit 2 returns to step ST1 after the preparation for reading the next line is completed (step ST8). Specifically, the camera unit 2 prepares to move to the next line Line ⁇ 2>, and returns to step ST1 after completion.
  • the processing from ST1 to ST9 is repeatedly executed from the line Line ⁇ 1> to the line Line ⁇ N>. Then, when the process of step ST8 of the line Line ⁇ N> ends, the process for one frame ends.
  • the correctness information received by the information processing unit 3 side affects the content of the upstream packet transmitted by the information processing unit 3 on the next line. If the correctness information received by the information processing unit 3 on the line is data indicating that the update of the register setting information in the camera unit 2 has failed, the register for the address for which the update of the register value fails on the next line. Resend value programming (update) data.
  • the address on the next line is different from the address updated on the line. Send data that updates the register value for the address.
  • the transmission key may be image pickup data in which the pixel position is designated in advance. In this case, since the image pickup data and the transmission key can be used in common, the transmission key does not increase the communication amount of downlink packets and is robust against disturbance noise. Image sensor can be supplied. Further, the information processing unit 3 can know the register address inside the camera unit 2 whose update of the register value has failed by receiving the correct/wrong information. Data can continue to be retransmitted until the register value is successfully updated. That is, an imaging system that is robust against disturbance noise can be supplied.
  • the camera unit 2 further includes a voltage controlled oscillator 206d (oscillator) that generates an imager clock that serves as a reference for the operation timing of the imager 201, and generates a signal in which the imager clock IMCLK is superimposed on imaging data as a downlink packet for information processing. Send to unit 3.
  • a voltage controlled oscillator 206d oscillator
  • IMCLK imager clock
  • the information processing unit 3 reproduces the crystal oscillator 304 (system clock generator) that generates the system clock SYS_CLK in the information processing unit 3 and the imager clock IMCLK superimposed on the received downlink packet as the basic clock signal CDRCLK_SYS. And a clock data recovery unit 302 (clock data recovery circuit). Then, the information processing unit 3 compares the frequencies of the imager clock IMCLK and the system clock SYS_CLK and transmits register setting information (register setting signal) for reducing the frequency deviation between the imager clock IMCLK and the system clock SYS_CLK as an upstream packet. To do.
  • the voltage-controlled oscillator 206d (oscillator) is a voltage-controlled oscillator whose frequency can be changed according to the voltage.
  • the camera unit 2 further includes a digital-analog converter 206c that supplies a voltage to the voltage controlled oscillator 206d based on the frequency set in the register unit 206b.
  • the imager clock IMGCLK in the camera unit 2 can be set to a clock synchronized with the system clock SYS_CLK in the information processing unit 3 by accurately rewriting the register setting signal without hindering the transmission and reception of the imaging data.
  • the following imaging system endoscope system
  • Imaging System 2 Camera Unit 3 Information Processing Unit 201 Imager 202 Downstream Signal Processing Unit 203, 306 Output Driver 204, 301 Receiver 206 Imager Clock Generation Unit 207 TG 302 clock data recovery unit 303 received signal processing unit 304 crystal unit 305 upstream signal generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)

Abstract

実施形態の撮像システムは、カメラユニットと情報処理ユニットとが有線または無線を用いて双方向に通信可能な撮像システムにおいて、前記カメラユニットは、ピクセルデータを生成するイメージャと、前記イメージャの撮像条件を書き込み可能なレジスタと、照合回路とを有し、前記ピクセルデータを含む撮像データを下りパケットとして前記情報処理ユニットへ送信するよう構成され、前記情報処理ユニットは、前記下りパケットを受信して、前記撮像データ内の所定の一部データを送信鍵として認識し、前記送信鍵に基づく受信鍵を生成する受信鍵生成部を有し、前記受信鍵と前記イメージャの撮像条件を示すレジスタ設定信号とを含む上りパケットを前記カメラユニットに送信するよう構成され、前記カメラユニットは、前記照合回路が前記送信鍵と前記受信鍵とを照合した結果、前記送信鍵と前記受信鍵が所定条件を満たす場合に、前記受信鍵とともに受信した前記レジスタ設定信号を前記レジスタに書き込むことを特徴とする。

Description

撮像システムおよび撮像方法
 本発明は、撮像システムおよび撮像方法に関する。
 プロセッサ本体(情報処理ユニット)からの試験開始コマンドに基づいて、カメラヘッド(カメラユニット)-情報処理ユニット間でテスト信号を送受信し、テスト信号による通信状態の良否を判定する撮像システム(内視鏡システム)が検討されている。例えば、特許文献1には、通信状態良の場合に制御データ(レジスタ設定信号)によるレジスタ設定を実行する撮像システムが開示されている。
日本国特許第6033523号公報
 しかしながら、特許文献1に記載の撮像システムでは、試験開始コマンドによって指定される期間において通信状態テストが行われるため、当該テスト期間中は撮像動作を実行することができないという問題がある。
 また、情報処理ユニット-カメラユニット間の通信状態が悪い状態でレジスタ設定信号を送受信すると、誤った信号がレジスタに書き込まれ、イメージャの誤動作に繋がるおそれがある。
 本発明は、上記事情を考慮してなされたものであり、その目的は、撮像データの送受信を阻害せずに、正確にレジスタ設定信号の書き換え動作を実行することができる撮像システムおよび撮像方法を提供することにある。
 本発明の第1の態様に係る撮像システムは、カメラユニットと情報処理ユニットとが有線または無線を用いて双方向に通信可能な撮像システムにおいて、前記カメラユニットは、ピクセルデータを生成するイメージャと、前記イメージャの撮像条件を書き込み可能なレジスタと、照合回路とを有し、前記ピクセルデータを含む撮像データを下りパケットとして前記情報処理ユニットへ送信するよう構成され、前記情報処理ユニットは、前記下りパケットを受信して、前記撮像データ内の所定の一部データを送信鍵として認識し、前記送信鍵に基づく受信鍵を生成する受信鍵生成部を有し、前記受信鍵と前記イメージャの撮像条件を示すレジスタ設定信号とを含む上りパケットを前記カメラユニットに送信するよう構成され、前記カメラユニットは、前記照合回路が前記送信鍵と前記受信鍵とを照合した結果、前記送信鍵と前記受信鍵が所定条件を満たす場合に、前記受信鍵とともに受信した前記レジスタ設定信号を前記レジスタに書き込むことを特徴とする。
 本発明の第2の態様に係る撮像システムは、上記第1の態様において、前記カメラユニットは、第一送受信パッドを有し、前記情報処理ユニットは、前記第一送受信パッドと信号伝送線で接続された第二送受信パッドを有し、前記下りパケットおよび前記上りパケットの送受信が、前記第一送受信パッドおよび前記第二送受信パッドを使って実行されることを特徴とする。
 本発明の第3の態様に係る撮像システムは、上記第1、第2の態様において、前記カメラユニットは、前記下りパケットを前記情報処理ユニットに送信する送信フェーズ、前記上りパケットを前記情報処理ユニットから受信する受信フェーズ、前記照合回路が前記送信鍵と前記受信鍵とを照合し、前記レジスタ設定信号の前記レジスタへの書き込み可否を決定する承認フェーズの3つの状態を繰り返しながら撮像を実行し、前記承認フェーズにおいて前記送信鍵と前記受信鍵とを照合した結果に対応する正誤情報を、次の送信フェーズで前記情報処理ユニットに送信することを特徴とする。
 本発明の第4の態様に係る撮像システムは、上記第1~第3の態様において、前記送信鍵は、前記撮像データのうち、所定ピクセルの前記ピクセルデータを示す情報であることを特徴とする。
 本発明の第5の態様に係る撮像システムは、上記第4の態様において、前記送信鍵は、前記撮像データの前記ピクセルデータのうち、前記所定ピクセルの最上位ビットを示す情報を含むことを特徴とする
 本発明の第6の態様に係る撮像システムは、上記第1の態様~第5の態様において、前記照合回路は、前記送信鍵と前記受信鍵が前記所定条件を満たさない場合に、前記送信鍵のエラー箇所を示すエラー信号を含む前記下りパケットを前記情報処理ユニットに送信し、前記情報処理ユニットは、前記送信鍵のエラー箇所に対応するピクセルについて、補間演算を実行することを特徴とする。
 本発明の第7の態様に係る撮像システムは、上記第1~第3の態様において、前記撮像データは、前記ピクセルデータと、前記ピクセルデータの送信の開始と終了を制御するサービスデータとを含み、前記送信鍵は、前記サービスデータの一部であることを特徴とする。
 本発明の第8の態様に係る撮像システムは、上記第1の態様~第7の態様において、前記カメラユニットは、前記イメージャの動作タイミングの基準となるイメージャクロックを生成するオシレータをさらに有し、前記撮像データに前記イメージャクロックを重畳した信号を前記下りパケットとして生成して前記情報処理ユニットへ送信し、前記情報処理ユニットは、前記情報処理ユニット内のシステムクロックを生成するシステムクロック生成器と、受信した前記下りパケットに重畳された前記イメージャクロックを再現するクロックデータリカバリ回路と、をさらに有し、前記イメージャクロックと前記システムクロックとの周波数を比較して、前記イメージャクロックと前記システムクロックとの周波数偏差を小さくする前記レジスタ設定信号を前記上りパケットとして送信することを特徴とする。
 本発明の第9の態様に係る撮像システムは、上記第8の態様において、前記オシレータは、電圧に応じて周波数を変更可能な電圧制御発振器であって、前記カメラユニットは、前記レジスタに設定された周波数に基づいて電圧を前記電圧制御発振器に供給するデジタル-アナログ変換器をさらに有することを特徴とする。
 本発明の第10の態様に係る撮像方法は、カメラユニットと情報処理ユニットとが有線または無線を用いて双方向に通信可能な撮像システムにおいて、前記カメラユニットは、ピクセルデータを生成するイメージャと、前記イメージャの撮像条件を書き込み可能なレジスタと、照合回路とを有し、前記ピクセルデータを含む撮像データを下りパケットとして前記情報処理ユニットへ送信するよう構成され、前記情報処理ユニットは、前記下りパケットを受信して、前記撮像データ内の所定の一部データを送信鍵として認識し、前記送信鍵に基づく受信鍵を生成する受信鍵生成部を有し、前記受信鍵と前記イメージャの撮像条件を示すレジスタ設定信号とを含む上りパケットを前記カメラユニットに送信するよう構成され、前記カメラユニットは、前記照合回路が前記送信鍵と前記受信鍵とを照合した結果、前記送信鍵と前記受信鍵が所定条件を満たす場合に、前記受信鍵とともに受信した前記レジスタ設定信号を前記レジスタに書き込むことを特徴とする。
 本発明の各態様によれば、撮像データの送受信を阻害せずに、正確にレジスタ設定信号の書き換え動作を実行することができる。
本発明の一実施形態に係る内視鏡を含む内視鏡システムの概略の構成を示す図である。 本発明の実施形態に係る撮像システムの構成例を示すブロック図である。 図2に記載されたイメージャクロック生成部IMG_CLKの構成を示す図である。 図2に記載されたイメージャクロック生成部IMG_CLKの主要ノードの論理状態を示すためのタイミングチャートである。 本発明の第1の実施形態に係る撮像システムの動作を説明するためのタイミングチャートである。 本発明のカメラユニットが送受信する画像フォーマットの構成の一例を示す図である。 本発明のカメラユニットの動作を説明するためのフローチャートである。
 以下、図面を参照して本発明の実施形態を説明する。図1は、本発明の一実施形態に係る内視鏡を含む内視鏡システムの概略の構成を示す図である。図1に示す内視鏡システム(撮像システム1)は、スコープ10と、コントローラ20と、モニタ30とを有している。スコープ10は、被検体の体内の撮像データをコントローラ20の画像プロセッサ22に伝送する。画像プロセッサ22は、スコープ10から伝送された撮像データを処理する。モニタ30は、コントローラ20で処理された撮像データに基づいて映像を表示する。
 本実施形態における内視鏡として機能するスコープ10は、挿入部11と、操作部14と、ケーブル15と、コネクタ16と、コネクタ17とを有している。
 挿入部11は、被検体の体内に挿入される部分である。挿入部11の先端の内部には、イメージャ201を有するカメラユニット2が設けられている。イメージャ201は、CMOSセンサ又はCCDセンサであり、被検体の体内を撮像して被検体に係る撮像データを生成する。カメラユニット2の構成については後で詳しく説明する。また、挿入部11は、先端から照明光を射出可能に構成されている。
 また、挿入部11は、医師等の操作者による操作部14の操作ノブの操作を受けて湾曲するという目的で構成された部分と、操作部14の操作によらずに外力によって受動的に湾曲するような部分とを有するという目的で構成されている。
 操作部14は、挿入部11とケーブル15とを接続している。操作部14は、挿入部11を右左方向に湾曲させる操作を実行するためのRLノブと、挿入部11を上下方向に湾曲させる操作を実行するためのUDノブとを操作ノブとして有している。また、操作部14は、各種のスイッチを有している。
 挿入部11、操作部14及びケーブル15の内部には、ライトガイドが形成されている。このライトガイドは、ケーブル15の基端に設けられたコネクタ16によってコントローラ20の光源装置21に接続されている。また、挿入部11、操作部14及びケーブル15の内部には、撮像データを伝送するための伝送線路としての映像信号線等の各種の信号線が形成されている。この信号線(後述する差動信号伝送線を含む信号線)は、コネクタ16に接続されるコネクタ17によってコントローラ20の画像プロセッサ22に接続されている。さらに、操作部14から挿入部11を通るという目的で、チャンネルが設けられている。チャンネルは、超音波メス等の超音波凝固切開装置や電気メス等の高周波電流発生装置といった各種の処置具を挿入部11の先端まで通すために設けられている。このようなチャネルが設けられていることにより、内視鏡を用いた観察と処置具による処置とが一体的に行われ得る。
 なお、本実施形態の情報処理ユニット3(詳細については後述する)は、それを構成する撮像信号処理部300など全ての構成要素は画像プロセッサ22に含まれてもよい。もっとも、情報処理ユニット3を構成する一部の構成要素、例えばレシーバ301、出力ドライバ306などの構成要素は、画像プロセッサ22とは異なる部分、例えばコネクタ16、コネクタ17などに含まれてもよい。
 光源装置21は、白色LED等の光源を有しており、照明光を射出する。光源装置21から射出された照明光は、ライトガイドによって挿入部11の先端まで伝達され、挿入部11の先端から射出される。これにより、被検体内は照明される。
 撮像素子12(後述するカメラユニット2)の外部の信号処理装置としての情報処理ユニット3は、挿入部11の撮像素子12で得られた撮像データを処理する。この処理は、階調補正処理等の処理後の撮像データをモニタ30で表示可能な形式に変換する処理を含む。
 モニタ30(図2に示すディスプレー4)は、例えば液晶モニタである。モニタ30は、情報処理ユニット3で処理された撮像データに基づく映像や各種の情報を表示する。
<第1の実施形態>
 図2は、本発明の第1の実施形態に係る撮像システムの構成例を示すブロック図である。
 撮像システム1は、カメラユニット2と情報処理ユニット3とが有線または無線を用いて双方向に通信可能な撮像システムである。
 撮像システム1において、カメラユニット2は、下りパケットの送信を実行し、上りパケットの受信を実行するパッドP1とパッドM1(第一送受信パッド)とを有している。情報処理ユニット3は、上りパケットの送信を実行し、下りパケットの受信を実行するパッドP2とパッドM2(第二送受信パッド)とを有している。パッドP1とパッドP2の間、及びパッドM1とパッドM2間は、それぞれ信号伝送線(ケーブルCABLEPとケーブルCABLEM)で接続されており、下りパケットおよび上りパケットの送受信が、第一送受信パッドおよび第二送受信パッドを使って実行される。
<カメラユニット2の構成について>
 図2に示すカメラユニット2は、イメージャ201と、下り信号処理部202と、出力ドライバ203(差動信号送信部Tx1で示す。以下、出力ドライバTx1と呼ぶ。)と、レシーバ204(差動信号受信部Rx2で示す。以下、レシーバRx2と呼ぶ。)と、イメージャクロック生成部206と、タイミングジェネレータ207(図2において、TGで示している)とで構成されている。
 イメージャ201は、PIX部201a(ピクセルアレーPIX_ARYで示す)と、信号処理回路201b(COL_ADC)とで構成されている。
 PIX部201aは、複数個のピクセルPからなる。すなわち、図2において、光電変換素子を含む単位画素(以下、単に「ピクセル」と記す)Pは、行列状(マトリックス状)に2次元配置されることにより複数の画素アレーからなるPIX部201aを構成している。
 また、信号処理回路201bは、PIX部201aのピクセルPを列毎に並列処理するA-D(アナログ-デジタル)変換回路により、ピクセルPから出力されるアナログ信号を、画素の固定パターンノイズを抑圧しながらデジタル信号に変換して出力する、いわゆるカラムADC(Analog Digital Converter)方式のものである。この信号処理回路201bが生成、出力するデジタル信号を、図2においては撮像データと表している。撮像データは、ピクセルPのデジタル信号(ピクセルデータ)を含む撮像データとして表される。また、撮像データには、所定の一部データが送信暗号鍵(以下、送信鍵と呼ぶ。)として含まれている。
 下り信号処理部202は、照合回路202a(図2においてCOLLで示す)と、パケット合成部202b(図2において撮像データを8b/10b(ビット)で表している)とで構成されている。
 照合回路202aは、撮像データ内の所定の一部データである送信鍵と、後述する情報処理ユニット3が送信鍵に基づいて生成した受信暗号鍵(以下、受信鍵と呼ぶ)とを照合する。照合回路202aは、送信鍵と受信鍵が所定条件を満たすという照合結果が得られた場合に、受信鍵とともに受信したレジスタ設定信号(イメージャ201の撮像条件を示す設定信号)を、イメージャクロック生成部206(以下IMG_CLKと呼ぶ)におけるレジスタ部206bに書き込む。
 パケット合成部202bは、送信鍵を含んだ撮像データに、イメージャクロック生成部IMG_CLKにおける電圧制御発振器206dが生成するイメージャクロックIMCLKを重畳した信号を下りパケットとして生成する。
 出力ドライバTx1は、下りパケットを、一対の差動信号にして、パッドP1およびパッドM1から一対の信号伝送線(2本のケーブルCABLEP、CABLEM)へ出力する。そして、一対の差動信号は、信号伝送線によって接続される情報処理ユニット3のパッドP2およびパッドM2を通じて、情報処理ユニット3のレシーバ301へ出力される。
 レシーバRx2は、情報処理ユニット3が送信する下りパケット(受信鍵とレジスタ設定信号)を受信し、受信データSYSDATAを出力信号としてイメージャクロック生成部IMG_CLKに対して出力する。
 続いて、図2に記載されたカメラユニット2を構成するイメージャクロック生成部IMG_CLKのより詳細な構成および動作について、図3および図4を援用して説明する。
 図3は、図2に記載されたイメージャクロック生成部IMG_CLKの構成を示す図である。また、図4は、図2に記載されたイメージャクロック生成部IMG_CLKの主要ノードの論理状態を示すためのタイミングチャートである。
 イメージャクロック生成部IMG_CLKは、クロックデータリカバリ部206aと、レジスタ部206bと、デジタル-アナログ変換器206cと、電圧制御発振器206d(以下、電圧制御発振器VCO_IMCLKと呼ぶ)より構成されている。
 なお、図3においてクロックデータリカバリ部206aは、CDRで示す。以下、クロックデータリカバリ部CDRと呼ぶ。また、レジスタ部206bは、図3においてレジスタ部REGで示す。以下、レジスタ部REGと呼ぶ。また、デジタル-アナログ変換器206cは、図3においてDACで示す。以下、デジタル-アナログ変換器DACと呼ぶ。
 電圧制御発振器VCO_IMCLKは、入力された制御電圧VCTRLに応じた周波数で発振するイメージャクロックIMCLKをタイミングジェネレータTG(図2において、TG207で示している)に出力する。即ち、カメラユニット2は、イメージャクロックIMCLKに同期した動作を実行する。
 デジタル-アナログ変換器DACは、入力されたレジスタ値REG_VAL(デジタル信号)に応じた制御電圧VCTRL(アナログ信号)を出力する。
 レジスタ部REGには、クロックデータリカバリ部CDRから入力されたCDRクロックCDRCLKに同期して入力されるレジスタデータRE_DATAが入力され、レジスタデータRE_DATAの値がレジスタ部REGに保持される。
 イメージャクロック生成部IMG_CLKには、データの遷移タイミングを検出するためのクロックエッジを有するクロックリカバリシンボルを所定の周期で有する受信データSYSDATA(一般に8b/10b、マンチェスタ符号化信号等が知られている。)が入力される。
 クロックデータリカバリ部CDRは、受信データSYSDATAと、CDRクロックCDRCLKの立ち下がりクロックの位相が同じとなるという目的で位相調整を実行する(図4において、時刻t2、t6の線を参照)。
 位相・周波数比較器PDは、CDRクロックCDRCLKの立ち上がりエッジタイミング(図4において、時刻t1、t3、t4、t5の線を参照)で受信データSYSDATAの値をサンプリングし、CDRクロックCDRCLKと同期したリタイミングデータRE_DATAとして、レジスタ部REGに出力する。
 レジスタ部REGに保持されたデータは、カメラユニット2内部の動作モード等の設定に用いられる。
 位相・周波数比較器PDは、更に、CDRクロックCDRCLKの立ち下がりタイミング(図4において、時刻t0、t2、t7、t6の線を参照)において、CDRクロックCDRCLKの立ち下がりタイミングと受信データSYSDATAのエッジ発生タイミングとを比較し、CDRクロックCDRCLKの位相が受信データSYSDATAに対して遅れていると判断した場合にUP端子からの出力がHになり、チャージポンプCPからループフィルタLFに対して電流を供給が行われる。
 この結果、ループフィルタLFに出現する電圧は徐々に上昇し、電圧制御発振器VCO_CDRの発振周波数は上昇する。
 CDRクロックCDRCLKの立ち下がりタイミングと受信データSYSDATAのエッジ発生タイミングとを比較し、CDRクロックCDRCLKの位相が受信データSYSDATAに対して進んでいると判断した場合にDOWN端子からの出力がHになり、ループフィルタLFに蓄えられた電荷がチャージポンプCPにより引き抜かれる。
 この結果、ループフィルタLFに出現する電圧は徐々に下降し、電圧制御発振器VCO_CDRの発振周波数は下降する。
 CDRクロックCDRCLKと、受信データSYSDATAのクロック位相が同じ場合にはUP端子、DOWN端子からの出力の何れもHにならない(若しくは所定期間内に発生する、UP端子がH、DOWN端子がHの期間が等しくなる)ため、ループフィルタLFに出現する電圧は一定となり、電圧制御発振器VCO_CDRの発振周波数は一定に保たれる。
 以上、位相・周波数比較器PDにおける位相調整の原理について説明したが、周波数調整に関しても同様の原理で動作する。
 ここで、通信方向の切替動作について図5を参照して説明する。
 図5は、本発明の第1の実施形態に係る撮像システムの動作を説明するためのタイミングチャートである。ここで、図5は、双方向通信の過渡応答シミュレーション結果を示している。なお、図5に示すVOUTP、VOUTMとは、それぞれカメラユニット2におけるパッドP1およびパッドM1に表れる差動信号を示している。
 図5に示すとおり、下り通信モード期間中、出力ドライバTx1を構成するスイッチSW1~SW4は、クロックCK<1>~CK<4>により断続的にスイッチングされる。
 また、上り通信モード期間中、スイッチSW3、SW4はオフするのに対し、スイッチSW1、SW2はオンし続けてレシーバRx2のターミネーション抵抗となる。また、同時に、スイッチSW1、SW2は夫々約50Ωの抵抗値を有しており、出力ドライバTx2に対するリターン電流パスを形成する。
 また、図5に示す上り通信モードから下り通信モードへの切り替えが時刻t1に行われると、VOUTP、VOUTMのスイッチングが停止する。ここで、図5では簡略な説明のためDIRにより、通信方向の制御が行われているが、実際は、上り信号、下り信号、の終わりに、データ送信の終了を知らせるためのデータが含まれており、それを情報処理ユニット3/カメラユニット2が受信することにより、実際の通信方向が変化する。詳細については、後ほど図4に戻ってから説明する。
 また、同時刻(時刻t1)に出力ドライバTx2からの信号送信は開始されているが、この信号がレシーバRx2に到達する時刻t2までの期間、このノードの信号は静定している。時刻t2に出力ドライバTx2からの信号がレシーバRx2に到達すると、VOUTP、VOUTM端子(それぞれ図2においてパッドP1、パッドM1で示す)にスイッチング波形が再び現れる。
 図4に戻って、情報処理ユニット3側からシステムライン終了コマンド(例えば1011)が送信され、リタイミングデータRE_DATAとしてこの値が検出されると、下り通信モード(図5の時刻0~t1で示す)に移行し、カメラユニット2は、デジタル映像信号(撮像データPIX_DATA)を情報処理ユニット3側に出力する。
 下り通信モードが開始すると、図3に示すスイッチSWがオフし、ループフィルタLFの電圧が保持されるため、下り通信モード期間中に電圧制御発振器VCO_CDRに対する供給電圧が一定となり、この期間中のCDRクロックCDRCLKの周波数は一定に保たれる。
 カメラユニット2は、1ライン分のデジタル映像信号(撮像データPIX_DATA)を情報処理ユニット3側に出力した後に、イメージャライン終了コマンドをシステム側に出力し終えると、再び上り通信モードに再移行する。
 上り通信モードにおいてスイッチSWが再び短絡され、SYSDATAに基づくCDRCLKの周波数ロック(再調整)動作と、SYSDATAの抽出動作が実行される。
 図2に戻って、情報処理ユニット3の構成について説明する。
<情報処理ユニット3の構成について>
 情報処理ユニット3は、レシーバ301(差動信号受信部Rx1で示す。以下、レシーバRx1と呼ぶ。)と、クロックデータリカバリ部302(CDR_SYSで示す。)と、受信信号処理部303(受信鍵生成部)と、水晶振動子304(Xtalと略記される)と、上り信号生成部305と、出力ドライバ306(差動信号送信部Tx2で示す。以下、出力ドライバTx2と呼ぶ。)とから構成される。
 レシーバRx1は、パッドP2およびパッドM2で差動増幅信号として受信したピクセルデータを含んだ撮像データ(下りパケット)を二値化するための回路である。
 クロックデータリカバリ部302は、ピクセルデータを含んだ撮像データ(下りパケット)を受信し、受信信号処理部に出力する。このデータRE_DATA_SYSは、CDRCLK_SYSに同期するタイミングで受信信号処理部303に取り込まれる。受信信号処理部303は、RE_DATA_SYSに対する画像演算処理を実行する。この処理は、階調補正処理等の処理後の撮像データをディスプレー4で表示可能な形式に変換する処理を含む。
 クロックデータリカバリ部302の構成は、上述したカメラユニット2におけるクロックデータリカバリ部206aと同じである。図2に示すRE_DATA_SYSは、イメージセンサ側(カメラユニット2)から送信された撮像データを表すデジタル信号である。また、CDRCLK_SYSは、下りパケットに含まれるクイロックリカバリシンボルにより生成された、基本クロック信号である。
 受信信号処理部303は、RE_DATA_SYSを、CDRCLK_SYSに同期するタイミングで取り込み、所定の信号処理がなされた後にディスプレー4に表示する。
 水晶振動子304(quartz crystal unitまたはcrystal unit)は、水晶(石英)の圧電効果を利用して高い周波数精度の発振を起こす際に用いられる素子の一つであり、システムクロックSYS_CLKを出力する。
 また、受信信号処理部303は、CDRCLK_SYSと、システムクロックSYS_CLKの周波数を比較して、CDRCLK_SYSの周波数がSYS_CLKよりも高い場合には、カメラユニット2におけるイメージャクロック生成部IMG_CLKが生成するクロック周波数を下げるようなコマンドを上り信号生成部305に出力する。一方、CDRCLK_SYSの周波数がSYS_CLKよりも低い場合には、カメラユニット2におけるイメージャクロック生成部IMG_CLKが生成するクロック周波数を上げるようなコマンドを上り信号生成部305に出力する。
 すなわち、受信信号処理部303は、IMCLKの周波数がシステムクロックSYS_CLKの周波数と等しくなるようなフィードバックコマンド(レジスタ設定情報)を上り信号生成部305に出力し続ける。
 また、受信信号処理部303は、受信した撮像データ内の所定の一部データを送信鍵として認識して、送信鍵に基づく受信鍵を生成し、上り信号生成部305に出力する。
 上り信号生成部305は、受信信号処理部303が生成した受信鍵とレジスタ設定情報(イメージャの撮像条件を示すレジスタ設定信号)を上りパケットとして生成する。
 出力ドライバTx2は、上り信号生成部305が生成した上りパケットをカメラユニット2におけるレシーバ204に送信する。
 ここで、受信信号処理部303が生成する受信鍵は、カメラユニット2が送信した送信鍵と同一のデータである。すなわち、カメラユニット2は、カメラユニット2の送信時、受信時の両方の期間において(すなわち、カメラユニット2が送信鍵を送信し、情報処理ユニット3が送信鍵を受信するとき、あるいは、情報処理ユニット3が受信鍵を送信し、カメラユニット2が受信鍵を受信するとき)受信鍵と送信鍵が等しい場合にのみ、外乱ノイズ等に起因する伝送エラーが起きなかったものと判断できる。なお、同一のデータとは、例えば、送信鍵が0001の場合、受信鍵が反転する1110であっても構わないことを意味している。そのため、情報処理ユニット3が送信鍵に基づいて生成した受信鍵と送信鍵とをカメラユニット2が照合する際の条件である所定条件とは、受信鍵と送信鍵とが全く等しい場合を含む条件であり、それより緩く、外乱ノイズが起きなかったことを示す条件であってもよい。
 また、カメラユニット2は、送信鍵と受信鍵が所定条件を満たす場合に、受信鍵(伝送エラーが起きなければ送信鍵と同一のデータ)と共に送信されてくる直近に受信したレジスタ設定情報(レジスタ設定信号)をレジスタ部206bに書き込む。すなわち、カメラユニット2は、レジスタ部206bを更新する。このレジスタ更新により、デジタル-アナログ変換器206c(オンチップDAC)の出力する電圧値が変更され、イメージャクロックIMCLKとシステムクロックSYS_CLKの周波数偏差が小さくなる。
 これにより、送信鍵と受信鍵が一致した場合にのみ新たなレジスタ設定情報の値にレジスタ部206bが更新されるため、小型かつ、電気メス等の外乱ノイズ発生時にも安定動作が可能なカメラユニット2(イメージセンサ)を供給できる。
 また、カメラユニット2はカメラユニット2自身が有する第一送受信パッド(パッドP1とパッドM1)によって、情報処理ユニット3が有する第二送受信パッド(パッドP2とパッドM2)から送信されるレジスタ設定信号を含んだ上りパケットを受信する。これらの送受信パッドは信号伝送線(ケーブルCABLEPとケーブルCABLEM)によって接続される。そのため、レジスタ設定信号を送信するために、信号伝送線以外の信号線(レジスタ設定信号専用線)が不要になる。
 また、送信鍵は、「撮像データ内の所定の一部データ」としたが、「ピクセル位置が予め指定された撮像データ」であってもよく、この場合、撮像データと送信鍵を兼用できるので、下りパケットの通信量を増大させることなく、外乱ノイズに対して堅牢なイメージセンサを供給できる。この「送信鍵は、ピクセル位置が予め指定された撮像データであってよい」について、以下に、第2の実施形態として説明する。
<第2の実施形態>
 次に、第2の実施形態について、図6、図7を参照しつつ説明する。
 図6は、本発明のカメラユニットが送受信する画像フォーマットの構成の一例を示す図である。また、図7は、本発明のカメラユニットの動作を説明するためのフローチャートである。
 図6は、上段に、カメラユニット2(イメージセンサ)のフレームフォーマット構造FMTを示している。
 フレームフォーマット構造FMTは、カメラユニット2から情報処理ユニット3方向にデータ(下りパケット)が送信されるDown Link期間と、情報処理ユニット3からカメラユニット2方向にデータ(下りパケット)が送信されるUp Link期間と、に大別される。
 Down Link期間におけるフレームフォーマット構造は、水平プレブランキング区間H-Blanking Pre-downと、水平ポストブランキング区間H-Blanking Post-downと、垂直プレブランキング区間V-Blanking Pre-downと、垂直ポストブランキング区間V-Blanking Post-downと、ピクセルデータ区間Pixel Dataと、で構成されている。
 Up Link区間におけるフレームフォーマット構造は、水平プレブランキング区間H-Blanking Pre-upと、水平ポストブランキング区間H-Blanking Post-upと、制御コード区間Configuration Codeと、で構成されている。
 以降では、図6の下段に示すデータを用いて、垂直プレブランキング区間V-Blanking Pre-downを含むライン(Line<a>)のデータ構成について説明する。
 Line<a>は、水平プレブランキング区間H-Blanking Pre-downと、垂直プレブランキング区間V-Blanking Pre-downと、水平ポストブランキング区間H-Blanking Post-downと、水平プレブランキング区間H-Blanking Pre-upと、制御コード区間Configuration Codeと、水平ポストブランキング区間H-Blanking Post-upと、により構成されている。
 フレームフォーマット構造FMTを構成する全てのデータは8b/10b変調されている。8b/10b変調は、1Byte(8bit)のデータに対して2bitのクロックリカバリシンボルを追加するデータ構成となっているため、1Byteの情報を表現するために、10bitの情報が必要となる。
 なお、8b→10bのデータ変換は、一般にKコード、Dコードとして知られている変換テーブルに従って行われる。
 水平プレブランキング区間H-Blanking Pre-downは、32Byteのデータ量を有する、320bit長の領域より構成されている。
 ライン方向のデータ構成として、イメージャ出力データを情報処理ユニット3側でロックするためのプリアンブル期間Preambleが必要である。
 このプリアンブル期間Preambleの前半160bit(16Byte分)はトグル信号(010101・・の繰り返し)で構成されており、後半160bit(16Byte分)はインクリメント信号0x00,0x01,…0x0fで構成されている。
 トグル信号は、クロックデータリカバリ部CDR_SYSが、後に続く8b/10b変調されたデータに含まれるクロックリカバリシンボルを検出してデータを取り出すために必要なデータとして用いられる。クロックデータリカバリ部CDR_SYSはトグル信号を用いて、イメージャクロックIMCLKと同じ周波数および同じ位相で動作をするための引き込み動作を実行する。
 周波数、位相引き込みの動作は、IMCLKを基準として生成したデジタル信号のクロックエッジを用いて行われるため、単位時間当たりのクロック遷移数が最も多いトグル信号が最も好適である。
 後半のインクリメント信号は、データ位置の頭だしを実行するために用いられる。
 今回提案する通信方式では、データの先頭位置を検出することが困難であるため、トグル信号に続くインクリメント信号が正しく検出されるようなデータ区切り位置をサーチすることにより、後に続く垂直プレブランキング区間V-Blanking Pre-down、または、垂直ポストブランキング区間V-Blanking Post-downに含まれるイメージセンサ(カメラユニット2)内部の情報をシステム(情報処理ユニット3)側で読み取ることが可能になる。
 垂直プレブランキング区間V-Blanking Pre-down、または、垂直ポストブランキング区間V-Blanking Post-downに含まれる情報は、イメージセンサ内部の温度情報や電圧情報が含まれていてもよいし、システム側がイメージャ側の出力信号に対する周波数・位相引き込みを実行するための引き込みデータ(例えばトグル信号)が含まれていてもよい。
 垂直プレブランキング区間V-Blanking Pre-down、または、垂直ポストブランキング区間V-Blanking Post-downが終了すると、水平ポストブランキング区間H-Blanking Post-downが開始する。
 水平ポストブランキング区間H-Blanking Post-downには、当該ラインのデータ送信が終了することを意味するライン終了コードEOLが含まれている。ライン終了コードEOLがシステム(情報処理ユニット3)側に到達すると、システム(情報処理ユニット3)からイメージャ(カメラユニット2)方向に対するデータ送信が行われるUp Link期間が開始する。
 Up Link期間を構成する水平プレブランキング区間H-Blanking Pre-up、および、水平ポストブランキング区間H-Blanking Post-upのデータ構成、および、その目的は、Down Link期間を構成する水平プレブランキング区間H-Blanking Pre-down、および、水平ポストブランキング区間H-Blanking Post-downと同じであるため、詳細な説明は省略する。
 唯一の違いはデータ通信の方向のみである。
 制御コード区間Configuration Codeは、イメージセンサ(カメラユニット2)の設定を決定するためのレジスタ情報を含んでいる。
 レジスタ情報はレジスタREG(レジスタ部206b)に仮格納され、この情報が照合回路COLL(照合回路202a)において正しいと判断された場合にのみ、有効なレジスタ値として用いられる。この有効なレジスタ値のみがDA変換器DAC(デジタル-アナログ変換器206c)の出力電圧設定やタイミングジェネレータTG(TG207)の動作モード設定に用いられるため、本実施例に記載されたイメージセンサによれば、電気メス等の外乱がある環境下において伝送された信号であっても、照合回路COLLにて正しいと判断されない限りは新たな設定値への変更が行われることがないため、外乱雑音に対して堅牢なイメージセンサ(カメラユニット2)および撮像システム1を供給できる。
 Line<n>は、水平プレブランキング区間H-Blanking Pre-downと、ピクセルデータ区間Pixel Dataと、水平ポストブランキング区間H-Blanking Post-downと、水平プレブランキング区間H-Blanking Pre-upと、制御コード区間Configuration Codeと、水平ポストブランキング区間H-Blanking Post-upと、により構成されている。
 Line<a>との違いはピクセルデータ区間Pixel Dataのみであるため、以降ではピクセルデータ区間Pixel Dataについて説明する。
 ピクセルデータ区間Pixel Dataは、ピクセル要素データP[n,m]より構成されている。ピクセル要素データP[n,m]は、8bitの撮像データ情報と、2bitのエンベデットククロック情報とで構成される10bit単位の要素データ単位であり、そのデータ送受信は制御コード区間Configuration Codeの送受信と同様の動作原理に従って処理される。
 なお、8bitよりも深いbit長の撮像データ(例えば10bit)を送信する必要がある場合は、送信できなかった2bit分の情報を4ピクセル1単位として新たな拡張ピクセル要素データPex[n/4,m/4]を生成して送受信を実行することもできる。
 ここで、カメラユニット2は、ピクセルデータを含む撮像データを下りパケットとして情報処理ユニット3へ送信し、情報処理ユニット3は、下りパケットを受信して、撮像データ内の所定の一部データを送信鍵として認識して、送信鍵に基づく受信鍵を生成することを、第1の実施形態において説明した。
 本実施形態では、「送信鍵は、ピクセル位置が予め指定された撮像データであってよい」との記載に対応して、送信鍵の撮像データにおける位置について、以下に説明する。
 送信鍵は、撮像データのうち、所定ピクセルのピクセルデータを示す情報であってよい。ここで、所定ピクセルとは、上記説明のピクセルデータ区間Pixel Dataにおける予め指定されたピクセルを示している。
 また、送信鍵は、撮像データのピクセルデータのうち、所定ピクセルの最上位ビットを示す情報であってよい。
 ここで、所定ピクセルの最上位ビットを示す情報とは、pビット(本実施形態においては、p=8ビットである)の送信データの情報である場合に、最上位ビットを示す情報であれば、最下位ビットを示す情報に比べて一番明るさに影響を与えるビットを示す情報に対応するため、pビットの最上位ビットを示す情報である。
 また、撮像データは、ピクセルデータと、ピクセルデータの送信の開始と終了を制御するサービスデータとを含み、送信鍵は、サービスデータの一部であってよい。
 ここで、ピクセルデータの送信の開始と終了を制御するサービスデータとは、上記説明の水平プレブランキング区間H-Blanking Pre-downおよび水平ポストブランキング区間H-Blanking Post-downを示している。また、送信鍵は、トグル信号に続くインクリメント信号の一部、または水平ポストブランキング区間H-Blanking Post-downにおけるライン終了コードEOL(サービスデータの一部)を含む信号を示している。
 送信鍵をピクセルデータとする場合、撮像所定のピクセル位置のピクセルデータを下りパケット送信毎に更新して照合回路にて保持する必要がある。これに対し、送信鍵をサービスデータの一部とする場合、サービスデータはイメージャ201から一定のデータとして出力されるため、下りパケット送信毎に更新して照合回路にて保持する動作を不要とすることができる。
 なお、照合回路202aは、送信鍵と受信鍵が所定条件を満たさない場合に、送信鍵のエラー箇所を示すエラー信号を含む下りパケットを情報処理ユニット3に送信し、情報処理ユニット3は、送信鍵のエラー箇所に対応するピクセルについて、補間演算を実行する。
 ここで、送信鍵のエラー箇所に対応するピクセルについて補完演算を実行するとは、1フレーム前の対応するピクセルと同一のピクセルの撮像データ、または対応するピクセルの周辺ピクセル(例えば、対応するピクセルの周り4つのピクセル)の撮像データの平均値に基づいて演算を実行することである。
 次に、図7を参照して、本発明のカメラユニット2の動作について説明する。
 なお、図7において「送信フェーズ」とは、カメラユニット2が情報処理ユニット3へ下りパケットを送信する状態を示している。また、「受信フェーズ」とは、カメラユニット2が情報処理ユニット3からの上りパケットを受信する状態を示している。また、「承認フェーズ」とは、レジスタ設定情報でレジスタ部206bの値を更新する状態を示している。
 カメラユニット2は、送信する下りパケットのライン読み出しを開始する(ステップST1)。具体的には、カメラユニット2は、フレームフォーマットFMTのLine<1>に対応する水平プレブランキング区間H-Blanking Pre-downに含まれるスタートコードStart Codeを読み出し、フレームフォーマットFMTのLine<1>のDown Link期間におけるフレームフォーマット構造のデータ(下りパケット)の送信に備える。
 カメラユニット2は、下りパケットの送信を実行する(ステップST2)。具体的には、カメラユニット2は、フレームフォーマットFMTのLine<1>のDown Link期間におけるフレームフォーマット構造のデータを、情報処理ユニット3へ送信する。この下りパケット中に、1ライン以上前の受信暗号鍵と送信暗号鍵と照合の結果に関わる正誤情報が含まれていてもよい。正誤情報の詳細は、後述するステップST5、ステップST6の説明箇所にて説明される。
 カメラユニット2は、下りパケットに含まれる送信暗号鍵(送信鍵)に該当するDataの保存を実行する(ステップST3)。具体的には、カメラユニット2における下り信号処理部202は、下りパケットに含まれる送信暗号鍵(送信鍵)に該当するDataがLine<1>に含まれている場合に、当該Dataを、例えば、下り信号処理部202に内蔵された図示しないメモリ、照合回路COLL、あるいはレジスタ部206bに保存する。
 カメラユニット2は、上りパケットを受信する(ステップST4)。具体的には、カメラユニット2は、フレームフォーマットFMTのLine<1>のUp Link期間におけるフレームフォーマット構造のデータを、情報処理ユニット3から受信する。このデータには、情報処理ユニット3が送信鍵に基づいて生成した受信鍵と、レジスタ設定情報とが、制御コード区間Configuration Codeとして含まれている。
 カメラユニット2は、受信鍵と送信鍵が等しいか否かを判定する(ステップST5)。具体的には、カメラユニット2における照合回路202aは、保存しておいた送信鍵と、情報処理ユニット3から送られてきた受信鍵が、上記所定条件を満たすか否かを判定する。
 カメラユニット2は、保存しておいた送信鍵と、情報処理ユニット3から送られてきた受信鍵が、上記所定条件を満たさない場合(ステップST5-No)、レジスタ設定情報を更新しない。また、この判定結果はカメラユニット2内部に正誤情報として保存される(ステップST6)。
 一方、カメラユニット2は、保存しておいた送信鍵と、情報処理ユニット3から送られてきた受信鍵が、上記所定条件を満たす場合(ステップST5-Yes)、レジスタ設定情報を更新する(ステップST7)。具体的には、照合回路202aは、レジスタ部206bのレジスタ設定情報を更新する。また、デジタル-アナログ変換器206cは、出力する電圧値を変更し、イメージャクロックIMCLKとシステムクロックSYS_CLKの周波数偏差を小さくする。また、上記所定条件を満たすか否かの判定結果はカメラユニット2内部に正誤情報として保存される。
 そして、カメラユニット2は、次ラインの読み出し準備が完了した後、ステップST1に戻る(ステップST8)。具体的には、カメラユニット2は、次のラインLine<2>へ移行する準備を行い、完了後ステップST1に戻る。
このST1~ST9までの処理は、ラインLine<1>からラインLine<N>まで繰り返して実行される。そして、ラインLine<N>のステップST8の処理が終了すると、1フレーム分の処理が終了する。
 この一連のプロセスにおいて、情報処理ユニット3側で受信した正誤情報は、次のラインで情報処理ユニット3が送信する上りパケットの内容に影響を与える。
 当該ラインで情報処理ユニット3が受信した正誤情報が、カメラユニット2におけるレジスタ設定情報の更新に失敗したことを意味するデータであった場合、次のラインでレジスタ値の更新に失敗したアドレスに対するレジスタ値のプログラミング(更新)データを再送信する。
 当該ラインで情報処理ユニット3が受信した正誤情報が、カメラユニット2におけるレジスタ設定情報の更新に成功したことを意味するデータであった場合、次のラインで、当該ラインで更新したアドレスとは異なるアドレスに対してレジスタ値を更新するようなデータを送信する。
 送信鍵は、ピクセル位置が予め指定された撮像データであってもよく、この場合、撮像データと送信鍵を兼用できるので、下りパケットの通信量を増大させることなく、外乱ノイズに対して堅牢なイメージセンサを供給できる。
 また、情報処理ユニット3は正誤情報を受信することにより、レジスタ値をの更新に失敗したカメラユニット2内部のレジスタアドレスを知ることができるので、レジスタ値の更新に失敗したレジスタアドレスに対して、レジスタ値の更新に成功するまでデータを再送信し続けることができる。即ち外乱ノイズに対して堅牢な撮像システムを供給できる。
<第3の実施形態>
 次に、第3の実施形態について、図2を参照しつつ説明する。
 図2に示す撮像システム1の説明については、第1、第2の実施形態においては、カメラユニット2および情報処理ユニット3について上位概念で説明したが、ここではカメラユニット2および情報処理ユニット3について下位概念で説明する。
 カメラユニット2は、イメージャ201の動作タイミングの基準となるイメージャクロックを生成する電圧制御発振器206d(オシレータ)をさらに有し、撮像データにイメージャクロックIMCLKを重畳した信号を下りパケットとして生成して情報処理ユニット3へ送信する。
 一方、情報処理ユニット3は、情報処理ユニット3内のシステムクロックSYS_CLKを生成する水晶振動子304(システムクロック生成器)と、受信した下りパケットに重畳されたイメージャクロックIMCLKを基本クロック信号CDRCLK_SYSとして再現するクロックデータリカバリ部302(クロックデータリカバリ回路)と、をさらに有している。
 そして、情報処理ユニット3は、イメージャクロックIMCLKとシステムクロックSYS_CLKとの周波数を比較して、イメージャクロックIMCLKとシステムクロックSYS_CLKとの周波数偏差を小さくするレジスタ設定情報(レジスタ設定信号)を上りパケットとして送信する。
 また、電圧制御発振器206d(オシレータ)は、電圧に応じて周波数を変更可能な電圧制御発振器である。カメラユニット2は、レジスタ部206bに設定された周波数に基づいて電圧を電圧制御発振器206dに供給するデジタル-アナログ変換器206cをさらに有する。
 これにより、撮像データの送受信を阻害せずに、正確にレジスタ設定信号の書き換え動作により、カメラユニット2におけるイメージャクロックIMGCLKを、情報処理ユニット3におけるシステムクロックSYS_CLKに同期したクロックとすることが可能となる撮像システム(内視鏡システム)を提供することができる。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 上記各態様の撮像システム、撮像方法によれば、撮像データの送受信を阻害せずに、正確にレジスタ設定信号の書き換え動作を実行することができる。
1 撮像システム
2 カメラユニット
3 情報処理ユニット
201 イメージャ
202 下り信号処理部
203,306 出力ドライバ
204,301 レシーバ
206 イメージャクロック生成部
207 TG
302 クロックデータリカバリ部
303 受信信号処理部
304 水晶振動子
305 上り信号生成部

Claims (10)

  1.  カメラユニットと情報処理ユニットとが有線または無線を用いて双方向に通信可能な撮像システムにおいて、
     前記カメラユニットは、
      ピクセルデータを生成するイメージャと、前記イメージャの撮像条件を書き込み可能なレジスタと、照合回路とを有し、
      前記ピクセルデータを含む撮像データを下りパケットとして前記情報処理ユニットへ送信するよう構成され、
     前記情報処理ユニットは、
      前記下りパケットを受信して、前記撮像データ内の所定の一部データを送信鍵として認識し、前記送信鍵に基づく受信鍵を生成する受信鍵生成部を有し、
      前記受信鍵と前記イメージャの撮像条件を示すレジスタ設定信号とを含む上りパケットを前記カメラユニットに送信するよう構成され、
     前記カメラユニットは、前記照合回路が前記送信鍵と前記受信鍵とを照合した結果、前記送信鍵と前記受信鍵が所定条件を満たす場合に、前記受信鍵とともに受信した前記レジスタ設定信号を前記レジスタに書き込む
     ことを特徴とする撮像システム。
  2.  前記カメラユニットは、第一送受信パッドを有し、
     前記情報処理ユニットは、前記第一送受信パッドと信号伝送線で接続された第二送受信パッドを有し、
     前記下りパケットおよび前記上りパケットの送受信が、前記第一送受信パッドおよび前記第二送受信パッドを使って実行されることを特徴とする請求項1に記載の撮像システム。
  3.  前記カメラユニットは、前記下りパケットを前記情報処理ユニットに送信する送信フェーズ、前記上りパケットを前記情報処理ユニットから受信する受信フェーズ、前記照合回路が前記送信鍵と前記受信鍵とを照合し、前記レジスタ設定信号の前記レジスタへの書き込み可否を決定する承認フェーズの3つの状態を繰り返しながら撮像を実行し、
     前記承認フェーズにおいて前記送信鍵と前記受信鍵とを照合した結果に対応する正誤情報を、次の送信フェーズで前記情報処理ユニットに送信することを特徴とする請求項1または請求項2に記載の撮像システム。
  4.  前記送信鍵は、前記撮像データのうち、所定ピクセルの前記ピクセルデータを示す情報であることを特徴とする請求項1~3いずれか一項に記載の撮像システム。
  5.  前記送信鍵は、前記撮像データの前記ピクセルデータのうち、前記所定ピクセルの最上位ビットを示す情報を含むことを特徴とする請求項4に記載の撮像システム。
  6.  前記照合回路は、前記送信鍵と前記受信鍵が前記所定条件を満たさない場合に、前記送信鍵のエラー箇所を示すエラー信号を含む前記下りパケットを前記情報処理ユニットに送信し、
     前記情報処理ユニットは、前記送信鍵のエラー箇所に対応するピクセルについて、補間演算を実行することを特徴とする請求項1~5いずれか一項に記載の撮像システム。
  7.  前記撮像データは、前記ピクセルデータと、前記ピクセルデータの送信の開始と終了を制御するサービスデータとを含み、
     前記送信鍵は、前記サービスデータの一部であることを特徴とする請求項1~3いずれか一項に記載の撮像システム。
  8.  前記カメラユニットは、前記イメージャの動作タイミングの基準となるイメージャクロックを生成するオシレータをさらに有し、前記撮像データに前記イメージャクロックを重畳した信号を前記下りパケットとして生成して前記情報処理ユニットへ送信し、
     前記情報処理ユニットは、前記情報処理ユニット内のシステムクロックを生成するシステムクロック生成器と、
     受信した前記下りパケットに重畳された前記イメージャクロックを再現するクロックデータリカバリ回路と、をさらに有し、
     前記イメージャクロックと前記システムクロックとの周波数を比較して、前記イメージャクロックと前記システムクロックとの周波数偏差を小さくする前記レジスタ設定信号を前記上りパケットとして送信する
     ことを特徴とする請求項1~7いずれか一項に記載の撮像システム。
  9.  前記オシレータは、電圧に応じて周波数を変更可能な電圧制御発振器であって、
     前記カメラユニットは、前記レジスタに設定された周波数に基づいて電圧を前記電圧制御発振器に供給するデジタル-アナログ変換器をさらに有することを特徴とする請求項8に記載の撮像システム。
  10.  カメラユニットと情報処理ユニットとが有線または無線を用いて双方向に通信可能な撮像システムにおいて、
     前記カメラユニットは、
      ピクセルデータを生成するイメージャと、前記イメージャの撮像条件を書き込み可能なレジスタと、照合回路とを有し、
      前記ピクセルデータを含む撮像データを下りパケットとして前記情報処理ユニットへ送信するよう構成され、
     前記情報処理ユニットは、
      前記下りパケットを受信して、前記撮像データ内の所定の一部データを送信鍵として認識し、前記送信鍵に基づく受信鍵を生成する受信鍵生成部を有し、
      前記受信鍵と前記イメージャの撮像条件を示すレジスタ設定信号とを含む上りパケットを前記カメラユニットに送信するよう構成され、
     前記カメラユニットは、前記照合回路が前記送信鍵と前記受信鍵とを照合した結果、前記送信鍵と前記受信鍵が所定条件を満たす場合に、前記受信鍵とともに受信した前記レジスタ設定信号を前記レジスタに書き込む
     ことを特徴とする撮像方法。
PCT/JP2019/000287 2019-01-09 2019-01-09 撮像システムおよび撮像方法 WO2020144756A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020565063A JP7102551B2 (ja) 2019-01-09 2019-01-09 撮像システムおよび作動方法
PCT/JP2019/000287 WO2020144756A1 (ja) 2019-01-09 2019-01-09 撮像システムおよび撮像方法
US17/190,778 US11258990B2 (en) 2019-01-09 2021-03-03 Imaging system and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/000287 WO2020144756A1 (ja) 2019-01-09 2019-01-09 撮像システムおよび撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/190,778 Continuation US11258990B2 (en) 2019-01-09 2021-03-03 Imaging system and imaging method

Publications (1)

Publication Number Publication Date
WO2020144756A1 true WO2020144756A1 (ja) 2020-07-16

Family

ID=71521605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000287 WO2020144756A1 (ja) 2019-01-09 2019-01-09 撮像システムおよび撮像方法

Country Status (3)

Country Link
US (1) US11258990B2 (ja)
JP (1) JP7102551B2 (ja)
WO (1) WO2020144756A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012080513A (ja) * 2010-09-09 2012-04-19 Nikon Corp 交換レンズおよびカメラボディ
JP2012245107A (ja) * 2011-05-26 2012-12-13 Olympus Corp 内視鏡システム
WO2016208209A1 (ja) * 2015-06-22 2016-12-29 オリンパス株式会社 撮像装置
WO2017010114A1 (ja) * 2015-07-13 2017-01-19 オリンパス株式会社 撮像装置及び電子内視鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3138469A4 (en) * 2015-03-26 2018-01-24 Olympus Corporation Endoscope system
JP6033523B1 (ja) 2015-07-13 2016-11-30 オリンパス株式会社 撮像装置及び電子内視鏡システム
US10331877B2 (en) * 2017-06-05 2019-06-25 Karl Storz Imaging, Inc. Connector-based optical identification apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012080513A (ja) * 2010-09-09 2012-04-19 Nikon Corp 交換レンズおよびカメラボディ
JP2012245107A (ja) * 2011-05-26 2012-12-13 Olympus Corp 内視鏡システム
WO2016208209A1 (ja) * 2015-06-22 2016-12-29 オリンパス株式会社 撮像装置
WO2017010114A1 (ja) * 2015-07-13 2017-01-19 オリンパス株式会社 撮像装置及び電子内視鏡システム

Also Published As

Publication number Publication date
JPWO2020144756A1 (ja) 2021-10-07
US11258990B2 (en) 2022-02-22
JP7102551B2 (ja) 2022-07-19
US20210195144A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US20120320176A1 (en) Electronic endoscope apparatus
EP2096865A2 (en) Image pickup system and endoscope system
EP2094002A2 (en) Electronic communication system and endoscope system
WO2020070974A1 (ja) 送信装置、受信装置及び送受信システム
US9993140B2 (en) Endoscopic arrangement
CN103027659A (zh) 内窥镜系统和用于内窥镜的外部控制设备
JP2013132385A (ja) 電子内視鏡装置
US20220217249A1 (en) Imaging system
WO2020144756A1 (ja) 撮像システムおよび撮像方法
US11394911B2 (en) Imaging system
US11516420B2 (en) Imaging system and endoscope system
CN114159007B (zh) 内窥镜、内窥镜影像系统以及手术机器人
US11765478B2 (en) Imaging system and endoscope system
US10884233B2 (en) Imaging apparatus and endoscope system
JP7223774B2 (ja) 撮像素子、内視鏡および制御装置
US20230336323A1 (en) Sensor device, reception device, and transmission/reception system
JP6180683B2 (ja) 撮像装置
US20220211253A1 (en) Imaging system and endoscope device
US11877046B2 (en) Endoscope, driving method, and endoscope system
CN110971793B (zh) 摄像设备和通信方法
US20230217102A1 (en) Transmission device, reception device, and transmission-reception system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908898

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020565063

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908898

Country of ref document: EP

Kind code of ref document: A1