WO2006048987A1 - 撮像装置及びその信号読み出し方法 - Google Patents

撮像装置及びその信号読み出し方法 Download PDF

Info

Publication number
WO2006048987A1
WO2006048987A1 PCT/JP2005/018321 JP2005018321W WO2006048987A1 WO 2006048987 A1 WO2006048987 A1 WO 2006048987A1 JP 2005018321 W JP2005018321 W JP 2005018321W WO 2006048987 A1 WO2006048987 A1 WO 2006048987A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
signal
column
pixel cell
row
Prior art date
Application number
PCT/JP2005/018321
Other languages
English (en)
French (fr)
Inventor
Keiichiro Kagawa
Yuki Maeda
Jun Ohta
Original Assignee
Japan Science And Technology Agency
National University Corporation Nara Institute Ofscience And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science And Technology Agency, National University Corporation Nara Institute Ofscience And Technology filed Critical Japan Science And Technology Agency
Priority to EP05790503A priority Critical patent/EP1816858A1/en
Priority to US11/666,424 priority patent/US7728893B2/en
Priority to JP2006542312A priority patent/JP4539924B2/ja
Publication of WO2006048987A1 publication Critical patent/WO2006048987A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the present invention has an imaging function for capturing an image of an object, and a function for receiving information light blinking or intensity-modulated at a frequency higher than a standard image frame frequency within the imaging range.
  • the present invention relates to an image pickup apparatus having both functions and a signal reading method thereof.
  • an ID recognition camera system (sometimes called an ID cam) that combines an optical beacon that emits various types of information such as identification information of various electronic devices as blinking light and a camera equipped with a high-speed image sensor has been proposed.
  • an image captured by an ID recognition camera is output as a scene image, and an ID image can be created by decoding blinking data of an optical beacon with all pixels.
  • a voice guidance system see, for example, Patent Document 2
  • an automatic photography system see, for example, Patent Document 3
  • the identification information of a plurality of optical beacons included in the photographed image is overlaid on or near the detection position of each optical beacon on the photographed image photographed by the ID recognition camera. It is displayed so that the user can select desired identification information as appropriate and use that information.
  • a special imaging device is required to extract identification information by an optical beacon included in a captured image that is a normal two-dimensional image.
  • the signal readout speed of an image sensor used in a normal imaging device is determined so as to conform to a standard image frame frequency, and the frame frequency is typically 30 Hz (fps).
  • the frequency of blinking (or intensity modulation) of the optical beacon depends on the transmission rate of the identification information, but in order to secure a sufficient amount of information, it is at least about several hundred Hz, preferably 1 kHz ⁇ : It is desirable to set the frequency to about LOOkHz or higher. That is, since the frequency of the optical beacon is considerably higher than the image frame frequency, it is difficult to cope with the pixel signal readout method of a normal image sensor.
  • the ID signal is acquired by performing high-speed reading that raises the frame frequency to lOkfps or higher, which is much higher than the standard image frame frequency.
  • the advantage of this method is that a pixel circuit almost equivalent to that of a normal image sensor can be used, so that the pixel size is almost the same as the conventional one and is suitable for increasing the number of pixels.
  • the operating frequency of the signal readout circuit increases as the frame frequency increases, the current flowing to the pixel signal readout amplifier and the like increases, and the power consumption increases.
  • the power consumption of the image sensor described in Non-Patent Document 2 is about 2 W at maximum, which is considerably larger than that of a general image sensor having the same number of pixels. For this reason, when trying to install such a function in a small information terminal device, the use time becomes short and the practicality becomes poor. In addition, if the power consumption is large, sufficient consideration must be given to the heat dissipation of the image sensor, which makes it difficult to design the equipment. Furthermore, since the frequency band of the signal readout circuit is considerably increased, readout noise increases, and the charge accumulation time is shortened, so that the signal level is lowered and the SZN ratio of the readout signal is degraded.
  • an analog circuit for detecting a light intensity modulation component of an ID signal by an optical beacon is provided in each pixel cell, thereby emitting light with optical beacon power.
  • the identification information can be acquired in the pixel cell that has received this.
  • the advantage of this method is that a high-gain amplifier is built in the pixel cell, so that the modulation component can be detected with a high SZN ratio even with a small signal change.
  • one pixel circuit is required compared to the pixel circuit of a general image sensor. Since the number of transistors constituting the device is considerably increased, the pixel size is increased and it is difficult to increase the number of pixels. In addition, it is necessary to constantly pass current through the amplifier in order to operate the analog circuit in each pixel cell, and the power consumption per pixel is greatly increased compared to the conventional case. This is also one of the factors that hinder the increase in pixel count.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-323239
  • Patent Document 2 Japanese Patent Laid-Open No. 2003-345376
  • Patent Document 3 Japanese Patent Laid-Open No. 2003-348390
  • Non-Patent Document 1 “What is Visible Light Communication?” [Online], Visible Light Communication Consortium, [2004
  • Non-Patent Document 2 Nadauchi, et al., “Parallel by two-dimensional transceiver using high-speed CMOS image sensor Proposal of optical space communication ", IEICE Tech., CS2004-18, 2004
  • Non-Patent Document 3 Oike, et al., “High-speed, low-brightness ID beacon detection image sensor for mixed reality applications”, Journal of the Institute of Imaging, Vol. 58, No6, pp835-841, 2004
  • the present invention has been made to solve the above-mentioned problems, and its main purpose is that the pixel signal readout speed is usually used when acquiring identification information by an optical beacon existing in the imaging range.
  • the readout speed is significantly increased compared to the case of only the image signal, that is, the readout time per pixel is prevented from being significantly shortened, and the increase in the number of transistors in each pixel circuit is also suppressed. Accordingly, it is an object of the present invention to provide an imaging apparatus capable of increasing the number of pixels while suppressing power consumption particularly in an image sensor, and a signal reading method thereof.
  • a first invention made to solve the above problems is to capture an imaging range including a light source of information light having a frequency higher than a standard image frame frequency, and image information of the imaging range And an imaging device for acquiring the specific information by the information light !, and a plurality of pixel cells are arranged in a two-dimensional form of m rows X n columns (m and n are integers of 2 or more).
  • Image sensor power including pixel cell array part About
  • a first period for sequentially reading out pixel signals from the imaging pixel cells for constituting one frame image is divided into a plurality of periods, and a second period for reading out the pixel signals from the reception pixel cells is divided between the divided periods.
  • the pixel signal read by the same receiving pixel cell is repeatedly performed a plurality of times during the period in which the pixel signals from all the imaging pixel cells are read in a round in all the divided periods.
  • a second invention made to solve the above problems is an imaging apparatus for sequentially reading out pixel signals by the signal reading method according to the first invention
  • a pixel cell array unit comprising:
  • position information storage means for storing information for identifying the position of one or more receiving pixel cells receiving the information light among all the pixel cells
  • the signal readout method reads all the pixel signals from the imaging pixel cells for composing one frame image.
  • the readout of the pixel signal by the same receiving pixel cell may be repeated a plurality of times in the plurality of second periods appropriately inserted between the plurality of periods obtained by dividing the first period for detection. Compared with the case of reading only normal image signals, the effective reading speed does not need to be increased so much.
  • the number of pixel signal readouts by the same reception pixel cell within one frame period of a standard image may be set in advance according to the frequency of the information light.
  • the signal readout method of the imaging device As described above, according to the signal readout method of the imaging device according to the first aspect of the present invention, normal two-dimensional image capturing without significantly increasing the pixel signal reading speed and the optical beacon included in the imaging range.
  • the acquisition of the specific information by the information light such as can be performed in parallel, and an increase in the power consumption of the imaging apparatus due to the high speed can be suppressed.
  • the division unit of the first period may be a row unit of the pixel cell array unit. In this case, readout of the pixel signal of the imaging pixel cell included in a certain row and readout of the pixel signal by at least one reception pixel cell are alternately performed.
  • the division unit for the first period may be obtained by further dividing one row of the pixel cell array portion into a plurality of divisions. In this case, readout of the pixel signals of the imaging pixel cells included in a certain divided region of the row and readout of the pixel signals by at least one reception pixel cell are alternately performed.
  • a reception pixel cell to be read out within a certain second period for example, pixels of one row of reception pixel cells included in the information light receiving region for one information light
  • the signal can be read out. That is, in this case, readout of the pixel signal of the imaging pixel cell included in the division unit and readout of the pixel signal of the reception pixel cell for one row included in the information light receiving area for one information light are alternately performed. Will do.
  • the pixel signals of all reception pixel cells are used. If you try to read many times, the reading speed will increase. In practice, even if the size of the information light receiving area is large, the contents of the information received by the pixel cells belonging to that area are the same. Therefore, no problem occurs even if the number is appropriately reduced. So
  • the interleave processing is executed for some receiving pixel cells or the pixel signals of a plurality of receiving pixel cells are integrated. Thus, it is preferable to reduce the number of reception pixel cells to be read. As a result, it is not necessary to read out meaningless received pixel cells, and an increase in reading speed can be suppressed.
  • the output current when a column from which a pixel signal is to be read is determined by the column selection control means when a certain readout row is specified for the pixel cell array unit, the output current The control means prohibits the output current from flowing to the pixels in the powerful column for which the read selection has not been made. That is, during the period in which the pixel signal of the imaging pixel cell is read to obtain the image signal, the output current does not flow through the column including the pixel cell that is the reception pixel cell. In the period in which the pixel signal of the cell is read, no output current flows through the column including the pixel cell that is the imaging pixel cell. If the output current does not flow, the pixel readout amplifier in the pixel cell and the amplifier in the output circuit of that column become non-operating and the power consumption is almost zero. Therefore, the power consumption is efficiently saved and the power consumption is reduced. Can be achieved.
  • the position information storage means is associated with one information light receiving region, 1 row Xn column or p row (2 ⁇ p ⁇ m) Xn column.
  • the binary signal level of the 1-bit storage area ( ⁇ It should be configured to define “H” level or “LJ level”! /.
  • the size of the storage area of the position information storage means can be reduced, and this function can be easily mounted on the image sensor chip including the pixel cell array section.
  • it is effective to reduce the capacity of the storage area of the position information storage means, although the horizontal resolution is reduced by associating 1-bit storage areas together for each row for each column.
  • each pixel cell in the pixel cell array unit preferably includes a potential reset unit for resetting the accumulated potential of the photoelectric conversion unit in the pixel unit in units of pixels.
  • a potential reset unit for resetting the accumulated potential of the photoelectric conversion unit in the pixel unit in units of pixels.
  • the potential reset means includes a transistor that is turned on and off by a column reset signal supplied via a column reset signal line provided for each column of the pixel cell array unit, and a pixel cell array unit.
  • a transistor that is turned on and off by a row reset signal supplied via a row reset signal line disposed for each row can be connected in series. That is, each pixel is reset by the X and Y address method.
  • the pixel signals output from the plurality of pixel cells included in the column are amplified with different gains according to the signal level.
  • a configuration including variable gain amplification means is preferable.
  • FIG. 1 is a schematic diagram of a pixel configuration of an image sensor for explaining a basic principle of a signal readout method according to the present invention.
  • FIG. 2 is a schematic diagram of a pixel configuration of an image sensor for explaining a conventional general image signal readout method.
  • FIG. 3 A diagram showing an approximate expression of the relationship between the ID reception speed and other parameters.
  • FIG. 4 is a block diagram schematically showing an image pickup apparatus including an image sensor according to the present embodiment. Figure.
  • FIG. 5 is a circuit configuration diagram of one pixel cell of the image sensor in FIG.
  • FIG. 6 is a schematic configuration diagram of an output unit in the image sensor in FIG.
  • FIG. 7 is a configuration diagram of one variable gain amplifier in FIG.
  • FIG. 8 is a block diagram of the main part for explaining the processing operation of the image pickup apparatus of the present embodiment.
  • FIG. 9 is a schematic timing chart when an image signal and information are acquired in parallel using the imaging apparatus of the present embodiment.
  • FIG. 10 is a detailed timing chart for explaining a pixel signal reading operation in the image pickup apparatus of the present embodiment.
  • FIG. 11 is an overall schematic diagram showing a spatial light communication system to which a signal readout method for an imaging apparatus according to the present invention is applied.
  • FIG. 12 is a diagram schematically showing an image displayed on the display of the information terminal in the system of FIG.
  • FIG. 13 is a frequency spectrum diagram of various signals included in light emitted from an optical beacon of each communication node.
  • FIG. 11 is a schematic diagram of this spatial light communication system.
  • a user (not shown) has an information terminal 1 which is a mobile phone having a spatial light communication function, and can transmit an ID signal (specific information in the present invention) using an optical beacon to the information terminal 1.
  • a personal computer 2, a digital camera 3, and a portable music player 4 are arranged as nodes.
  • this optical beacon for example, a display LED indicating the power on / off state of each electronic device can be used.
  • FIG. 13 is a diagram showing frequency spectra of various signals included in light emitted from the optical beacon of each communication node.
  • the pilot signal is a signal that blinks (or weakens) at fp, which is a frequency lower than the standard image frame frequency of 3 OHz, 1Z2, and the same pilot signal is used for all communication nodes.
  • the main purpose of this pilot signal Is to make the information terminal 1 recognize its own location.
  • the HD information has a frequency centered around a frequency f of about 1 kHz, which is sufficiently higher than the frequency f of the pilot signal.
  • IPv6 Includes information such as a unique address with a long bit length assigned to all communication nodes so that the same thing does not exist, such as IPv6, and data indicating the operating conditions of the device. .
  • a signal may be superimposed on a higher frequency band than the ID signal in the emitted light of the optical beacon, but such data is not necessarily used for optical communication. Regardless, for example, it may be sent using radio wave communication such as Bluetooth (registered trademark).
  • the user wants to perform data communication with a certain communication node or to control a certain communication node, the user points the camera of the information terminal 1 toward the communication node. Then, a 2D image included in the imaging range of the camera is displayed on the screen of the display 5 of the information terminal 1 as shown in FIG.
  • the optical beacon of the active communication node included in the imaging range is detected by the method described later, and identification information for selecting each communication node near the position of the optical beacon (in this case, a serial number) 6 is overlaid. That is, the communication node displayed as an overlay here is a communication node capable of data communication with the information terminal 1 or controllable from the information terminal 1. Accordingly, the user 1 can perform a predetermined operation on the information terminal 1 to select a communication node and send a predetermined command to the communication node.
  • the imaging device is built in the information terminal 1 and has a function of acquiring an image signal for reproducing a captured image and HD information derived from an optical beacon of each communication node. As will be described later, the imaging device has a force including an image sensor.
  • One of the major features of the image sensor reading method is the image signal reading method. Therefore, the basic principle of this signal readout method will be described below with reference to FIGS.
  • FIG. 1 and 2 are diagrams schematically showing the pixel configuration of an image sensor.
  • FIG. 1 shows a pixel signal reading method according to the present invention
  • FIG. 2 shows a conventional general pixel signal. It shows the reading method of.
  • Fig. 1 and Fig. 2 (a) shows the readout order of the pixel signals with numbers, and (b) shows the readout order with trajectories (lines)! [0035]
  • a total of 64 pixel cells 12 are two-dimensional, 8 rows by 8 columns, 8 columns in the column (X) direction and 8 rows in the row (Y) direction. Consider the case where they are arranged in a shape. Needless to say, the number of pixel cells in practice is much larger than this.
  • each column is given a column address of X0 to X7
  • each row is given a row address of Y0 to Y7
  • the position of each pixel cell is between the column (X) address and the row ( ⁇ ) address.
  • ( ⁇ , ⁇ ), ( ⁇ 3, ⁇ 7), etc. are used to identify each pixel cell by combination.
  • each pixel cell includes a photodiode as a photoelectric conversion unit, and the light irradiated to this pixel cell array unit is photoelectrically converted by each photodiode, and an electric signal (pixel signal) in units of pixel cells. ).
  • a conventional general signal readout method charges generated by photoelectric conversion are accumulated in all pixels in a predetermined charge accumulation period, and in the subsequent readout period, as shown in FIG.
  • the pixel signals are read in order from the smallest row address, one row at a time, and in each row, from the smallest column address. Since the frame frequency of an image is typically 30 Hz, an image processing circuit is provided outside by providing a charge accumulation period and a readout period within one frame period of 30 Hz, reading out all pixel signals during the readout period. Reproduce one image at. Therefore, one image is obtained every frame period, that is, every 33.3 ms as a standard.
  • the object to be imaged by the imaging apparatus has a frequency much higher than the image frame frequency at any position within the imaging range (usually about several hundred Hz to several kHz).
  • an optical beacon that contains information that blinks at frequency or whose light intensity changes. It is assumed that the position of the optical beacon in the captured image can be recognized by, for example, the pilot signal superimposed by frequency band division as described above. For example, when the pilot signal is blinking at a frequency of 1Z2 or less (preferably 1Z4 or less in reality) as described above, it is possible to obtain a difference between temporally continuous images or at each pixel. By performing frequency filtering, the pilot signal can be detected, and the detection result power of the optical beacon power can be recognized.
  • ID light receiving area ID # 1 spans four pixel cells (X2, ⁇ 3), ( ⁇ 3, ⁇ 3), ( ⁇ 2, ⁇ 4), and ( ⁇ 3, ⁇ 4).
  • ID light receiving area ID # 2 extends over four pixel cells ( ⁇ 5, Y4), ( ⁇ 6, ⁇ 4), ( ⁇ 5, ⁇ 5), and ( ⁇ 6, ⁇ 5).
  • characteristic reading is performed in order to acquire information included in the ID light in parallel with acquiring an image signal for reproducing a normal image as described above.
  • a pixel cell belonging to the ID light receiving region reception pixel cell in the present invention
  • a pixel cell belonging to other normal imaging only region imaging pixel cell in the present invention
  • a plurality of periods in which pixel signals of the same receiving pixel cell are read out in a time-division manner are set within a period in which the pixel signals of the imaging pixel cell for reproducing the image for one frame are divided and read.
  • the receiving pixel cell includes four pixel cells (X2, Y3), (X3, Y3), (X2, Y4), ( ⁇ 3, ⁇ ⁇ ⁇ 4) belonging to ID light receiving area ID # 1. , ID light receiving area ID # 2 ( ⁇ 5, Y4), (X6, Y4), ( ⁇ 5, ⁇ 5), ( ⁇ 6, ⁇ 5), and a total of eight pixel cells.
  • the imaging pixel cells are the other 56 pixel cells. Then, all the pixel cells are divided into two column addresses ⁇ 0 to ⁇ 3 and ⁇ 4 to ⁇ 7. The divided area included in column addresses ⁇ 0 to ⁇ 3 is ⁇ 1, and the divided region included in column addresses ⁇ 4 to ⁇ 7 is ⁇ 2.
  • One row of receiving pixel cells belonging to one ID light receiving area is ordered in ascending order of column address.
  • the line moves to a divided area that is different from the divided area that includes the imaged pixel cell that has been read most recently. Read. Therefore, if the reading of one row of the imaging pixel cell is completed and V, the process proceeds to the next row, and the reading of one row of the imaging pixel cell is completed. In the case of ⁇ , the continuation of the line is read.
  • Reading the received pixel cell gives priority to the same ID light receiving area, and one ID light receiving area
  • the process proceeds to reading of the received pixel cell in the next ID light receiving area.
  • the first ID light receiving is completed. Repeat to return to reading the area.
  • XO, XI, X2, and X3 and pixel signals are read out in the order of column addresses for the imaging pixel cell whose row address is YO. This completes the readout of one row of the imaging pixel cells belonging to the divided area P1, so that (X2, Y3), ( ⁇ 3, ⁇ 3) as one row of the receiving pixel cells belonging to the ID light receiving area ID # 1. ) Read the pixel signals of the two pixel cells.
  • the pixel signal from the imaging pixel cell and the pixel signal from the reception pixel cell are sequentially read out, and when the pixel signal of the pixel cell of ( ⁇ 3, ⁇ 2) is read out, it is already once.
  • (X2, Y3), ( ⁇ 3, ⁇ 3) are read again as one row of the receiving pixel cells belonging to ID light receiving area ID # 1, and after that all procedures are performed according to the above rules.
  • Read the pixel signal of the pixel cell at least once. Therefore, the pixel signals of the received pixel cells belonging to the same ID light receiving area ID # 1, ID # 2 are repeatedly read out a plurality of times during the period of reading out the pixel signals constituting one frame image.
  • the photodiode of the receiving pixel cell that has been read out is immediately reset and starts accumulating charges according to the amount of received light again. Therefore, the charge accumulation and signal readout of the pixel signals of the reception pixel cells belonging to the ID light receiving areas ID # 1 and ID # 2 are repeated in a shorter cycle (higher frequency) than the image frame frequency.
  • the pixel signals of the receiving pixel cells belonging to the ID light receiving areas ID # 1 and ID # 2 are read out four times each while reading out the image signal of one frame image. In other words, for the pixel signal of the received pixel cell, this is equivalent to the fact that the frame frequency corresponding to the frame frequency of the normal image is effectively increased.
  • the number of receiving pixel cells belonging to the ID light receiving area is It can no longer be ignored for numbers, and the read speed may need to be significantly increased.
  • the information transmission rate depends on the information readout frequency, in the above example, the number of readouts of the reception pixel cells belonging to the same ID light receiving region is increased during the readout period of the pixel signal for one frame of the image. The information transmission rate can be increased.
  • the imaging pixel cell and the reception pixel cell may be alternately read out in units of one row without division. That is, for example, if the pixel signals of all the imaging pixel cells belonging to the row address Y 0 are read out, then the pixel signals of the reception pixel cells belonging to the first row of the ID light receiving area ID # 1 are read out, and then the row address The order of reading may be determined so that the pixel signals of all imaging pixel cells belonging to Y1 are read out.
  • a plurality of rows of received pixel cells belonging to the ID light receiving area may be associated with one row of imaging pixel cells. For example, if the pixel signals of all the imaging pixel cells belonging to the row address YO are read out, then the pixel signals of the reception pixel cells belonging to the first and second rows of the ID light receiving area ID # 1 are read out, and then Belongs to row address Y1 Read out the pixel signals of all imaging pixel cells.
  • FIG. 4 is a block diagram schematically showing an imaging device including an image sensor according to the present embodiment
  • Fig. 5 is a circuit diagram of one pixel cell of the image sensor
  • Fig. 6 is an outline of an output unit in the image sensor.
  • Block configuration diagram Fig. 7 is a configuration diagram of one variable gain amplifier in the output section.
  • the image sensor 10 includes a pixel cell array unit 11, a row decoder 13, an output unit 14, a column decoder 15, an ID map table circuit 16, and the like.
  • pixel cells 12 are arranged in a two-dimensional form of n rows in the column (X) direction, m rows in the row (Y) direction, and m rows and X n columns.
  • the values of m and n are arbitrary forces.
  • the value of m corresponds to the number of pixel rows in FIG.
  • the row decoder 13 selects a plurality of pixel cells 12 belonging to the same row via a row selection signal (Row-sel) line B1 for the pixel cell array unit 11, and also selects a row reset signal (Row rst) line. It has a function of resetting a plurality of pixel cells 12 belonging to the same row via B2.
  • the output unit 14 includes a sample hold circuit provided for each column in the pixel cell array unit 11 and the like. The pixel signal output from each pixel cell is connected to the pixel output signal (Pxl-out) line B4. Via the horizontal output signal (Out) line B9.
  • the column decoder 15 controls the serial signal output from the output unit 14.
  • the ID map table circuit 16 includes a kind of memory for holding the position information of the ID light receiving area in the pixel cell array unit 11 and its control circuit.
  • a control unit 21 that supplies a control signal to each unit of the image sensor 10 described above and a pixel signal output in series from the image sensor 10 receive predetermined data processing. And a data processing unit 22 to perform.
  • the data processing unit 22 performs the image processing for each image frame based on the pixel signal from the imaging pixel cell in the pixel signal.
  • the data processing unit 22 may be configured with dedicated hardware such as a DSP, for example.
  • the data processing unit 22 may be loaded into a computer centered on the CPU via an appropriate interface circuit, and may be processed by computer processing. .
  • Some of the functions of the control unit 21 and the data processing unit 22 may be mounted on the same chip as the image sensor 10. That is, there is no restriction on the chip configuration when actually configuring the device.
  • one pixel cell 12 includes one photodiode 31 and four MOS transistors 32, 33, 34, and 35.
  • the anode of the photodiode 31 is grounded, and the first transistor 32 that is a row reset switch and the gate terminal of the third transistor 34 that functions as a source follower amplifier are connected to the cathode.
  • the first transistor 32 is connected to the reset voltage signal (V-rst) line B5 via the second transistor 33.
  • the gate terminal of the first transistor 32 is connected to the row reset signal line B2, and the gate terminal of the second transistor 33 is connected to the column.
  • the reset voltage signal line B5 is usually supplied with a DC voltage Vr slightly lower than the power supply voltage Vdd, but the reset voltage signal line B5 may be connected to the supply line of the power supply voltage Vdd.
  • the source terminal which is the output of the third transistor 34, is connected to the pixel output signal line B4 via the fourth transistor 35, and the gate terminal of the fourth transistor 35 is connected to the row selection signal line B1.
  • the first transistor 32 which is a row reset switch
  • the second transistor 33 which is a column reset switch
  • both the row reset signal (Row-rst) and the column reset signal (Clm-rst) When both become “H” level, the photodiode 31 of the pixel cell 12 is selectively reset. This makes it possible to reset any one of the pixel cells.
  • the basic photoelectric conversion operation and signal output operation of the pixel cell 12 are as follows.
  • the photodiode 31 The cathode side potential (hereinafter referred to as the photodiode potential) is reset to the voltage Vr supplied by the reset voltage signal line B5.
  • the photodiode potential When light enters the photodiode 31 with at least one of the first and second transistors 32 and 33 turned off, a photocurrent corresponding to the received light intensity flows into the photodiode 31 and discharge due to the current is caused. For this reason, the photodiode potential gradually decreases.
  • the potential decrease rate at this time depends on the received light intensity, and the decrease rate increases as the received light intensity increases.
  • the fourth transistor 35 When the fourth transistor 35 is off, the pixel cell 12 is connected to the pixel output signal line B4.
  • the fourth transistor 35 is turned on when the row selection signal (Row—sel) supplied to the row selection signal line B1 becomes “H” level and the fourth transistor 35 is turned on, it is separated according to the photodiode potential at that time.
  • a current signal flowing through the third transistor 34 as the source follower amplifier can be supplied to the pixel output signal line B4. However, whether or not the output current actually flows depends on whether or not the load is connected to the pixel output signal line B4, as will be described later.
  • the source follower amplifier constituted by the third transistor 34 is basically a mere buffer amplifier. Therefore, the basic configuration of the pixel cell 12 is a pixel of a so-called 3Tr type CMOS image sensor with only one column reset transistor added.
  • the pixel size is the conventional one. It can be almost the same as the pixel of a new APS CMOS image sensor. As a result, the pixel cells can be arranged at high density, and the pixel cell array section 11 having the same area and a large number of pixels can be configured.
  • the output circuit unit 40 includes a transistor 41 functioning as a load current source in accordance with a voltage signal given by a noise voltage signal (Amp-bias) line B6, and whether the transistor 41 is connected to the pixel output signal line B4 as a load. It includes a load switching switch 42, a variable gain amplifier 43, a sample hold circuit 44, and an output selection switch 50.
  • the current signal supplied via the pixel output signal line B4 connected in common to all 240 pixel cells 12 belonging to a certain column is converted into a voltage signal by the transistor 41 with the load switching switch 42 turned on. After being converted and further amplified as necessary through the variable gain amplifier 43, it is sent to the sample and hold circuit 44.
  • a comparator 432 using a comparator compares the input voltage with a predetermined reference voltage.
  • the input voltage is equal to or higher than the reference voltage (the pixel output is When the output amplitude is sufficiently smaller than 1Z16)
  • the gain switching switch 436 makes the capacitance of the input capacitor 433 the same as the parallel capacitance of the first and second feedback capacitors 434 and 435.
  • the pixel signal of the reception pixel cell is read more frequently than the pixel signal of the imaging pixel cell, but the charge accumulation time is shortened accordingly and the level of the pixel signal is lowered. Therefore, when the level of the pixel signal is sufficiently low, the signal level is increased by increasing the gain by 16 times with the variable gain amplifier 43, thereby the level of the pixel signal from the imaging pixel cell and the pixel signal from the reception pixel cell. The difference is made as small as possible, and the input voltage amplitude is large, so that the amplifying unit 431 is prevented from being saturated.
  • information indicating whether or not V, the gain of deviation is selected is temporarily stored in association with the pixel signal, and is output in parallel when the pixel signal is output as described later.
  • the data processing unit 22 uses this gain selection information during data processing.
  • an amplifying unit 431 can use an inverting amplifier such as a common source amplifier.
  • variable gain amplifier 43 performs the determination of the input voltage amplitude only in two stages.
  • the variable gain amplifier 43 may be configured to perform the determination of three or more stages and switch the gain of more power.
  • the comparator 432 it is possible to use a plurality of comparators having different thresholds, or a plurality of different reference voltages are sequentially input to one comparator, and the input voltage depends on the timing at which the output value of the comparator is inverted. It is preferable that the amplitude be determined.
  • the sample hold circuit 44 includes a sample hold unit for an image signal including an image signal sampling switch 45 and an image signal hold capacitor 46, an ID signal sampling switch 47, and an ID signal hold capacitor. 48, and the information sample-and-hold section is provided independently.
  • the switch 45 in each column is supplied with a signal from the image sampling signal (SZH-img) line B7, and the switch 47 in each column is provided with an ID sampling signal (SZH-id )
  • the ON / OFF operation is controlled by the signal on line 8.
  • switching of the image ZID selection switch 49 that selects one of the capacitors 46 and 48 is controlled by a read selection signal (Read-sw) line B10.
  • the output selection switch 50 of each output circuit unit 40 is controlled to be turned on and off by an output column selection signal (Clm-sel) given from the column decoder 15, and each output circuit unit 40
  • the voltage signal held in the capacitor 46 or 48 of the sample hold circuit 44 is selected one by one and output to the outside through the horizontal output signal line B9. It is.
  • the ID map table circuit 16 controls a memory circuit 161 including a storage area that holds position information where the ID light receiving area exists, and an address of the storage area of the memory circuit 161.
  • An ID row decoder 162 and an ID column decoder 163 are provided.
  • the memory circuit 161 is provided with a storage area of n bits (number of column addresses) for one ID light receiving area (ID light).
  • ID light ID light receiving area
  • a 1-bit storage area can be composed of, for example, one D latch (DL).
  • Each bit of the n-bit storage area is associated with each column of the pixel cell array unit 11 on a one-to-one basis, and the 1-bit DL is! /,
  • the “H” level indicates the receiving pixel cell in that column.
  • “L” level means that all of the columns are imaging pixel cells that are not receiving pixel cells.
  • the information held in the storage area of the memory circuit 161 is only position information in the row direction (horizontal direction in FIG. 8) regarding the position where the reception pixel cell exists.
  • the position information in the column direction (vertical direction in FIG. 8) of the reception pixel cell is held in the control unit 21 outside the image sensor 10, and when trying to read out the pixel signal of a pixel cell in a certain row, Information indicating whether or not a received pixel cell exists in the row is given to the ID row decoder 162 as an ID selection signal (id-sel # 1 to # 7).
  • there may be multiple ID light receiving areas in one row for example, in the example of Fig. 8, there are two ID light receiving areas ID # 1 and ID # 2 in the row of row address Y1).
  • N ID selection signal lines (7 in the example of Fig. 8) are provided in parallel. For example, when an ID selection signal is at “H” level, it means that the ID light receiving area indicated by the ID selection signal line exists in the read line at that time.
  • the ID map table circuit 16 based on the data pattern of the storage area of the memory circuit 161, it is determined whether the received pixel cell (ID light receiving area is shifted) for each column of the pixel cell array unit 11. Is not present).
  • This determination result is expressed by a 1-bit signal. For example, when the determination result is “H” level, at least one received pixel cell exists in the column, and when the determination result is “L” level, the row decoder 13 designates 1 This means that there is no receiving pixel cell in that column of the row. The number of judgment results is the same as the number of columns. There are n.
  • the judgment result for a certain column is the logical product (AND operation) of one DL output in that column and the corresponding ID selection signal (id—sel # 1 to # 7).
  • the (N) combinations can be expressed by taking a logical sum (OR operation). Therefore, it can be realized by a combination of N AND gate elements and one N-input OR gate element, or a logic circuit having an equivalent function.
  • the ID map table circuit 16 has two operation modes, a normal imaging mode and an ID acquisition mode.
  • This operation mode is a 1-bit mode selection signal (idmt-md) by the control unit 21. It is specified. For example, the normal imaging mode is selected when the mode selection signal is “H” level, and the ID acquisition mode is selected when it is “L” level.
  • the ID map table circuit 16 generates a 1-bit column reset signal from the reception pixel cell presence determination result and the operation mode described above. This is output to the column reset signal line B3 of that column.
  • the load switching switch 42 of the column is turned on in the output unit 14 and the load transistor 41 is connected to the pixel output signal line B4. A current signal flows, and the switch built in the variable gain amplifier 43 is turned on to supply current to the circuit, so that an output is generated in the amplifier 43.
  • a column reset signal is given to the pixel cell 12.
  • FIG. 9 is a schematic timing chart when an image signal and information are acquired in parallel using the imaging apparatus of this embodiment
  • FIG. 10 is a detailed timing chart for explaining a pixel signal readout operation.
  • the standard image frame frequency is 30 Hz
  • this imaging device can be operated so that the image frame frequency is 30 Hz.
  • the position of the ID light receiving area is determined by a pilot signal of 15 Hz.
  • set the frame frequency of the image to 60 Hz, twice the normal frequency!
  • reading control is performed in units of one frame of this normal image. That is, first, the data in the storage area in the ID map table circuit 16, that is, the position information of the received pixel cell is updated during the vertical blanking period in one frame of the normal image (in this case, 16.7 ms as described above). .
  • the light receiving position of the pilot signal superimposed on the I blueprint can be detected from the normal image to determine the position of the ID light receiving area, and then the position of the receiving pixel cell can be obtained. .
  • each ID is determined from the pixel signal of the received pixel cell read during that one image frame.
  • the center-of-gravity position of the light receiving area that is, the position of the receiving pixel cell having the highest light receiving intensity can be recalculated, and the data in the storage area in the ID map table circuit 16 can be updated based on the recalculation.
  • the pixel signal of the reception pixel cell belonging to the same ID light receiving region can be read 35 times repeatedly within one frame period of the normal image. Therefore, assuming that one ID image is created for each reading, a maximum of 35 ID images of 7 types (ID # 1 to ID # 7) can be obtained. Therefore, the data processing unit 22 executes ID position recognition processing based on 35 ID images for each ID light receiving area, grasps the movement status of the center of gravity position of the ID light receiving area, and controls if necessary. The original data of the ID map table held in the unit 21 is updated, and the data in the storage area in the ID map table circuit 16 is updated in the next vertical blanking period.
  • the row decoder 13 When pixel signal readout is started after the end of the vertical period, the row decoder 13 first sets the row address YO of the first row as shown in Fig. 10 (a), and the row selection signal ( R ow—sel) is set to “H” level. As a result, the fourth transistors 35 of all the pixel cells 12 belonging to the column are turned on, and the current signal due to the photodiode potential can flow to the pixel output signal line B4 through the source follower amplifier by the third transistor 34. . At this time, the normal imaging mode is set by the mode selection signal (idmt-md).
  • the load switching switch 42 of the column that is the imaging pixel cell is turned on, the load current source is connected, and the variable gain is set.
  • the amplifier 43 a current flows in the circuit. In other words, the output current does not flow in the column that is the reception pixel cell, and the variable gain amplifier 43 is in a non-operating state and therefore consumes little power.
  • the output voltage of the variable gain amplifier 43 in the column from which the pixel signal has been read is the switch when the image sample hold signal (SZH-img) is at the "H" level. When is turned on, it is transferred to capacitor 46. This operation is performed simultaneously for the imaging pixel cells included in the same row (Y0). After that, the row decoder 13 sets the row reset signal (Row-rst) to the “H” level as shown in FIG. At this time, since the column reset signal (Clm-rst) in the imaging pixel cell is also at the “H” level, the photodiode potential in the imaging pixel cell is set to the potential Vr given by the reset voltage line B5 as described above. Reset. This completes the pixel signal sample Z hold operation by the imaging pixel cell at the row address Y0.
  • the row decoder 13 controls the row where the ID light receiving area ID # 1 exists under the control of the control unit 21.
  • the row address of the first row is set, and the row selection signal (Row—sel) of that row is set to “H” level.
  • the row address Y0 is set.
  • the fourth transistors 35 of all the pixel cells 12 belonging to the row are turned on, and a current signal due to the photodiode potential can flow to the pixel output signal line B 4 through the source follower amplifier by the third transistor 34. .
  • the ID acquisition mode is set by the mode selection signal, and the load switching switch 42 of only the column including the reception pixel cell is turned on by the column reset signal from the ID map table circuit 16 and the load current source is connected.
  • the variable gain amplifier 43 passes a current through the circuit. In other words, pixel signals are not read out in many columns including the imaging pixel cells, and the variable gain amplifier 43 is in a non-operating state and consumes little power.
  • the output of the variable gain amplifier 43 in the column where the receiving pixel cell exists is the ID sample hold signal (SZH-id) as shown in Fig. 10 (e).
  • SZH-id ID sample hold signal
  • switch 47 When the power “: 3 ⁇ 4 level is reached and switch 47 is turned on, it is transferred to capacitor 48. This operation is performed simultaneously for all the received pixel cells included in the same row (YO).
  • the decoder 13 sets the row reset signal (Row-rst) to the “H” level as shown in FIG.
  • the photodiode potential in the reception pixel cell is the potential Vr given by the reset voltage signal line B5 as described above. Reset to. This completes the sample signal Z-hold operation of the pixel signal by the receiving pixel cell in the first row in the row in which the ID light receiving area ID # 1 exists.
  • the pixel signal read processing by the imaging pixel cell previously held in the capacitor 46 is executed. That is, as shown in FIG. 10 (f), when the read selection signal (Read-sw) becomes “H” level, the image / ID selection switch 49 switches to the capacitor 46 side, and the column decoder 15 switches to the column address XO.
  • the output selection switch 50 is turned on in turn by setting the output column selection signal (Clm-sel) to “H” while updating the column addresses in order (see Fig. 10 (g)).
  • the pixel signals held in the capacitor 46 are sequentially output to the horizontal output signal line B9.
  • the pixel cell is set to be divided into 5 in the column direction as the division unit.
  • the process ends. If the readout pixel cell is included in this read range, the pixel signal of that column is invalid, so the column address may be skipped, but the column address itself is output as it is. Try to reject it (that is, skip reading).
  • a pixel signal read-out process is performed by the reception pixel cell held in the ID hold capacitor 48 immediately before. That is, as shown in FIG. 10 (f), when the read selection signal (Read-sw) becomes “L” level, the image ZlD selection switch 49 is switched to the capacitor 48 side, and the column decoder 15 is connected to the ID map table circuit 16. Based on the stored information or the information described in the control unit 21, only the column address in which the ID light receiving area ID # 1 exists is updated in order of the younger number (FIG. 10 ( see g)). At the selected column address, the output column selection signal (Clm—sel) is set to “H” level and the output selection switch 50 is turned on.
  • the pixel signals held in the capacitor 48 are sequentially output to the horizontal output signal line B9.
  • the ID light receiving area ID # 1 has the s (row) X r (column) pixel force, and the force to read out the r pixel signals sequentially. Only two of X316 and X317 are sequentially selected and held in the capacitor 48 of that column, and the pixel signal is output.
  • the row decoder 13 sets the row address of the second row in the row where the ID light receiving area ID # 1 exists, and the row selection signal (Row — Set sel) to the “H” level.
  • the row address Y1 is set.
  • the pixel signal is transferred to the capacitor 48 in each column by the same control as the sample signal Z-hold operation of the pixel signal of the reception pixel cell at the row address YO described above, and the photodiode potential of the reception pixel cell after reading is set. Reset.
  • the pixel signal read processing by the imaging pixel cells held in the image hold capacitor 46 is first executed.
  • the output selection switch 50 is turned on while updating the column address sequentially from the column address X64, and the capacitor 46 The pixel signal that is held in is output.
  • the ID image is not processed in accordance with one frame of the normal image immediately after reading the individual ID images. You may make it process to. For example, the position of the center of gravity of the ID light receiving area is calculated every time one ID image is read, and the position of the pixel cell to be read next is corrected in order to obtain the ID image according to the result.
  • a certain pixel cell force is also a force that resets the photodiode potential of the pixel cell immediately after reading out the pixel signal. Absent. In practice, unless the pixel value is saturated, resetting is not necessary. When the pixel value is obtained to obtain a certain ID image, it is obtained to obtain the immediately preceding ID image. A difference from the pixel value may be calculated.
  • variable gain amplifier is provided in each column to reduce the signal level and the noise of the pixel signal.
  • other noise reduction methods are adopted. Also good.
  • a circuit that applies feedback to the reset transistor in the pixel based on the read pixel value to reduce pixel reset noise may be provided. This is a force that is generally called an active reset. This makes it possible to effectively reduce noise when receiving ID light with a short charge storage time.
  • the charge accumulation time is intentionally shortened by shifting the timing of resetting the photodiode in the pixel cell. You may do it.
  • a short charge accumulation time is disadvantageous when the amount of incident light is weak, so a circuit for adaptively adjusting the charge accumulation time may be provided.
  • the ID map table is processed during the vertical blanking period of one frame of the normal image.
  • the data in the storage area of the path is updated, but the data in the storage area in the ID map table circuit may be rewritten at an appropriate time during the vertical blanking period of the adjacent frame. For example, if you want to increase the number of ID light-receiving areas that can be processed at the same time as the number of rows in the storage area, the ID of the pixel signal read by the receiving pixel cell has been completed at least once during one image frame period. Repeat the process of rewriting the bit pattern of the ID map table corresponding to the light receiving area to the bit pattern corresponding to another ID light receiving area and reading the pixel signal of the received pixel cell based on that bit pattern. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　イメージセンサ１０の各画素セル１２は、任意の画素のみを選択的にリセット可能なように通常の３-ＴrＡＰＳに列（Ｘ）リセット用のＴrを１個だけ追加した４Ｔr構成とし、画素サイズを小さく収める。画素信号を読み出す際には、１フレームの通常画像を構成する画素信号を読み出す期間を細かく分割し、その間にＩＤ光を受光している画素の画素信号を少しずつ且つ繰り返し読み出す。この際、読み出しを行っている列のみ、画素セル１２内の読み出しアンプや出力部１４内の可変ゲインアンプ等に電流を流すことで消費電力を抑える。これにより、撮像画像と同時にその撮像範囲内に存在する光ビーコンによるＩＤ情報を取得するための撮像装置において低消費電力化と高画素化を図ることができる。

Description

明 細 書
撮像装置及びその信号読み出し方法
技術分野
[0001] 本発明は、対象物の画像を捉える撮像機能と、その撮像範囲内にあって標準的な 画像フレーム周波数よりも高い周波数で点滅又は強度変調された情報光を受信する 機能と、を兼ね備える撮像装置、及びその信号読み出し方法に関する。
背景技術
[0002] 最近、各種電子機器の識別情報等の各種情報を点滅光として発する光ビーコンと 高速イメージセンサを搭載したカメラとを組み合わせた ID認識カメラシステム (IDカム と呼ばれる場合もある）が提案されている。例えば特許文献 1に記載のシステムでは、 ID認識カメラで撮影した画像をシーン画像として出力するとともに、光ビーコンの点 滅データを全画素でデコードして ID画像を作成することができるようになって 、る。ま た、こうした ID認識カメラシステムの具体的な用途として、音声案内システム (例えば 特許文献 2参照)や自動写真撮影システム (例えば特許文献 3参照)などが提案され ている。
[0003] 上記 ID認識カメラシステムでは、 ID認識カメラで撮影した撮影画像の表示上に、そ の撮影画像に含まれる複数の光ビーコンの識別情報を各光ビーコンの検出位置又 はその近傍にオーバーレイ表示し、ユーザーが所望の識別情報を適宜取捨選択し てその情報を利用できるようにしている。こうしたシステムを利用することにより、ユー ザ一の手元の情報端末力 離れた位置にある複数の電子機器や表示器の 1つを選 択して、それを通信相手としてデータ通信を行ったり制御を行ったりすることが可能で ある。
[0004] また、最近、可視光を利用した各種の情報伝送 ·通信が注目されており、屋外ゃ屋 内の照明、交通信号機、電子機器の表示等を光ビーコンとして利用してデータ通信 を行うことが検討され始めている (例えば非特許文献 1など参照)。
[0005] 上述したような光ビーコンを利用したシステムでは、通常の 2次元画像である撮影画 像に含まれる光ビーコンによる識別情報を取り出すための特殊な撮像装置が必要に なる。一般に、通常の撮像装置に用いられるイメージセンサの信号読み出し速度は 標準的な画像フレーム周波数に適合するように決められており、フレーム周波数は典 型的には 30Hz (fps)である。これに対し、光ビーコンの点滅 (或いは強度変調）の周 波数は識別情報の伝送レートに依存するが、十分な情報量を確保するためには最 低でも数百 Hz程度、好ましくは 1kHz〜： LOOkHz程度以上の周波数とすることが望ま しい。即ち、光ビーコンの周波数は画像フレーム周波数よりもかなり高いため、通常 のイメージセンサの画素信号の読み出し方法では対応が困難である。
[0006] 従来より、上述したようなシステムに対応したイメージセンサが提案されている。例え ば非特許文献 2に記載の装置では、フレーム周波数を標準的な画像フレーム周波数 よりも遙かに高い lOkfps以上に上げるという高速読み出しを行うことで ID信号を取得 している。この方法の利点は、通常のイメージセンサとほぼ同等の画素回路が利用で きるため、画素サイズが従来と殆ど変わらず高画素化に適していることである。しかし ながら、信号読み出し回路の動作周波数がフレーム周波数の増加に伴って高くなる ため、画素信号の読み出しアンプなどに流す電流が増大し、消費電力が力なり大きく なる。例えば非特許文献 2に記載のイメージセンサの消費電力は最大 2W程度と、同 等の画素数を有する一般的なイメージセンサと比較するとかなり大きなものとなって いる。そのため、小型の情報端末機器にこうした機能を搭載しょうとする場合、使用時 間が短くなつて実用性に乏しくなる。また、消費電力が大きいとイメージセンサの放熱 に十分配慮しなければならず、機器の設計が難しくなる。さらにまた、信号読み出し 回路の周波数帯域がかなり上がることから読み出しノイズが増加する上、電荷蓄積時 間が短くなることから信号レベルが低下し読み出し信号の SZN比が劣化するという 問題もある。
[0007] 一方、例えば非特許文献 3に記載の装置では、各画素セル内に光ビーコンによる I D信号の光強度変調成分を検出するためのアナログ回路をそれぞれ設けることで、 光ビーコン力 の放出光を受けた画素セル内で識別情報を取得できるようにしている 。この方法の利点は、画素セル内にゲインの高いアンプを内蔵していることから、微 小な信号変化であっても高い SZN比で以て変調成分を検出することができることで ある。しかしながら、一般的なイメージセンサの画素回路に比べて 1個の画素回路を 構成するトランジスタの数がかなり多くなることから、画素サイズが大きくなり高画素化 が困難になる。また、各画素セル内のアナログ回路を動作させるために常時アンプに 電流を流す必要があり、 1画素当たりの消費電力が従来よりも大幅に増加する。これ も高画素化を阻害する要因の 1つである。
[0008] 特許文献 1：特開 2003— 323239号公報
特許文献 2：特開 2003 - 345376号公報
特許文献 3：特開 2003 - 348390号公報
非特許文献 1 :「可視光通信とは」、 [Online],可視光通信コンソーシアム、 [平成 16年
10月 15日検索]、インターネットく URL: http://www.vlcc.net/about.html > 非特許文献 2 :宫内、ほか、「高速 CMOSイメージセンサを用いた二次元送受信器に よる並列光空間通信の提案」、信学技法、 CS2004— 18、 2004
非特許文献 3 :大池、ほか、「複合現実感応用に向けた高速 ·低輝度 IDビーコン検出 イメージセンサ」、映情学会誌、 Vol. 58、 No6、 pp835— 841、 2004
発明の開示
発明が解決しょうとする課題
[0009] 本発明は上記課題を解決するために成されたものであり、その主な目的は、撮像 範囲内に存在する光ビーコンによる識別情報を取得する際に、画素信号の読み出し 速度が通常の画像信号のみの場合の読み出し速度に比べて大幅に上がってしまう、 即ち 1画素当たりの読み出し時間が大幅に短くなつてしまうことを抑制するとともに、 各画素回路のトランジスタの数の増カロも抑えることにより、特にイメージセンサでの消 費電力を抑制しつつ高画素化を図ることができる撮像装置及びその信号読み出し方 法を提供することである。
課題を解決するための手段
[0010] 上記課題を解決するために成された第 1発明は、標準的な画像フレーム周波数より も高 、周波数を有する情報光の発光源を含む撮像範囲を撮影し、その撮像範囲の 画像情報と前記情報光による特定情報とを取得するための撮像装置にお!、て、 m行 X n列 (m、 nはともに 2以上の整数)の 2次元状に複数の画素セルが配列された画素 セルアレイ部を含むイメージセンサ力 画素信号を読み出す信号読み出し方法であ つて、
全画素セルの中で前記情報光を受光している 1乃至複数の受信画素セルと、それ 以外の撮像画素セルとを区分し、
1フレーム画像を構成するための撮像画素セルによる画素信号を順次読み出す第 1期間を複数に分割し、その分割された各期間の間に前記受信画素セルによる画素 信号を読み出すための第 2期間をそれぞれ挿入し、
前記分割された全ての期間において全撮像画素セルによる画素信号を一巡読み 出す期間中に、同一の受信画素セルによる画素信号の読み出しを複数回繰り返し 行うようにしたことを特徴としている。
[0011] また上記課題を解決するために成された第 2発明は、上記第 1発明に係る信号読 み出し方法により画素信号を順次読み出すための撮像装置であって、
a) m行 X n列 (m、 nはともに 2以上の整数)の 2次元状に配列され、それぞれ受光し た光を電荷信号に変換して蓄積する光電変換部を含む複数の画素セル力 成る画 素セルアレイ部と、
b)全画素セルの中で前記情報光を受光している 1乃至複数の受信画素セルの位 置を識別する情報を記憶しておくための位置情報記憶手段と、
c)前記画素セルアレイ部に対して或る読み出し行が指定されたときに、前記位置情 報記憶手段の情報に基づいてその行の各列毎に受信画素セルである力否かを判定 し、その判定結果を元にその列の画素セルによる画素信号を読み出す力否かを決め る列選択情報を生成する列選択制御手段と、
d)該列選択制御手段により読み出し選択が為されな力つた列の画素セルに出力電 流が流れることを禁止する出力電流制御手段と、
を備えることを特徴として 、る。
発明の効果
[0012] 一般に、画素セルアレイ部の中で情報光を受光している領域の割合は小さぐそれ 故に、 m X n個の全画素セルの中で、受信画素セルの数は撮像画素セルの数よりも 格段に少ないとみなすことができる。そのため、第 1発明に係る信号読み出し方法に ぉ ヽて、 1フレームの画像を構成するための撮像画素セルによる画素信号を全て読 み出すための第 1期間を分割した複数の期間の間に適宜に挿入された複数の第 2 期間の中で、同一の受信画素セルによる画素信号の読み出しを複数回繰り返し行う ようにしても、通常の画像信号のみの読み出しを行う場合と比較して実効的な読み出 し速度をそれほど上げずに済む。なお、標準的な画像 1フレーム期間内での同一の 受信画素セルによる画素信号の読み出し回数は、情報光の周波数に応じて予め設 定すればよい。
[0013] このように第 1発明に係る撮像装置の信号読み出し方法によれば、画素信号の読 み出し速度をそれほど上げることなぐ通常の 2次元画像の撮像と、その撮像範囲に 含まれる光ビーコンなどの情報光による特定情報の取得とを並行して行うことができ、 高速ィ匕に伴う撮像装置の消費電力の増加を抑制することができる。
[0014] 第 1発明に係る撮像装置の信号読み出し方法の一態様として、前記第 1期間の分 割単位は画素セルアレイ部の行単位であるとすることができる。この場合、或る 1行に 含まれる撮像画素セルの画素信号の読み出しと、少なくとも 1個以上の受信画素セ ルによる画素信号の読み出しとを交互に行う。
[0015] また第 1発明に係る撮像装置の信号読み出し方法の別の態様として、前記第 1期 間の分割単位は画素セルアレイ部の 1行をさらに複数に分割したものとすることがで きる。この場合、或る 1行の分割領域に含まれる撮像画素セルの画素信号の読み出 しと、少なくとも 1個以上の受信画素セルによる画素信号の読み出しとを交互に行う。
[0016] 一方、或る 1回の第 2期間内に読み出し対象とする受信画素セルについては、例え ば、 1個の情報光に対する情報光受光領域に含まれる 1行分の受信画素セルの画素 信号を読み出すものとすることができる。即ち、この場合、前記分割単位に含まれる 撮像画素セルの画素信号の読み出しと、 1個の情報光に対する情報光受光領域に 含まれる 1行分の受信画素セルの画素信号の読み出しとを交互に行うことになる。
[0017] なお、上述の如ぐ全画素セルの中で受信画素セルの数が撮像画素セルの数より も格段に少な 、とみなすことができな 、場合、全ての受信画素セルの画素信号を多 数回繰り返し読み出そうとすると読み出し速度が上がってしまう。実際上、情報光受 光領域のサイズが大き力つたとしても、その領域に属する画素セルで受信する情報 の内容自体は同じものであるから、適宜その数を減らしても何ら問題は生じない。そ こで、 1個の情報光受光領域に含まれる受信画素セルの個数が多い場合に、一部の 受信画素セルの間弓 Iき処理を実行する又は複数の受信画素セルの画素信号を統合 することにより、読み出し対象の受信画素セルの数を減らすようにするとよい。これに よって、無意味な受信画素セルの読み出しを行わずに済み、読み出し速度の上昇を 抑えることができる。
[0018] また第 2発明に係る撮像装置では、画素セルアレイ部に対して或る読み出し行が指 定されたときに、画素信号を読み出すべき列が列選択制御手段により決定されると、 出力電流制御手段は、読み出し選択が為されな力つた列の画素に出力電流が流れ ることを禁止する。即ち、画像信号を得るために撮像画素セルの画素信号を読み出 す期間においては、受信画素セルである画素セルを含む列に出力電流が流れず、 逆に、特定情報を得るために受信画素セルの画素信号を読み出す期間においては 、撮像画素セルである画素セルを含む列には出力電流が流れない。出力電流が流 れないとそれら画素セル内の画素読み出しアンプやその列の出力回路のアンプは 非動作状態となり消費電力は殆どゼロになるため、効率的に消費電力を節約して低 消費電力化を図ることができる。
[0019] 第 2発明に係る撮像装置の一態様として、前記位置情報記憶手段は 1個の情報光 受光領域に対応付けて 1行 X n列又は p行（2≤p<m) X n列の記憶領域を有し、画 素セルアレイ部の各列にその情報受光領域に属する受信画素セルが存在する力否 かによつて該列に対応する 1ビットの記憶領域の二値信号レベル (「H」レベル又は「 LJレベル）を定める構成とするとよ!/、。
[0020] この構成によれば、位置情報記憶手段の記憶領域のサイズを小さくすることができ るので、画素セルアレイ部を含むイメージセンサのチップ上にこの機能を搭載するこ とが容易になる。特に各列にっ 、て p行分まとめて 1ビットの記憶領域を対応付けるこ とにより、水平分解能は下がるものの位置情報記憶手段の記憶領域の容量を減らす のに有効である。
[0021] また第 2発明に係る撮像装置において、前記画素セルアレイ部内の各画素セルは その内部の光電変換部の蓄積電位を画素単位でリセットするための電位リセット手段 を備える構成とすることが好まし 、。 [0022] この構成によれば、画素セルアレイ部の行単位ではなく 1行内の任意の画素セルの 光電変換部を任意の時点でリセットすることができるので、受信画素セルと撮像画素 セルとで電荷蓄積時間を独立に且つ任意に設定することができる。
[0023] また具体的には、前記電位リセット手段は、画素セルアレイ部の列毎に配設された 列リセット信号線を介して供給される列リセット信号によりオン Zオフするトランジスタ と、画素セルアレイ部の行毎に配設された行リセット信号線を介して供給される行リセ ット信号によりオン Zオフするトランジスタとが直列接続された構成とすることができる 。即ち、 X、 Yアドレス方式で各画素のリセットを行うものとする。
[0024] この構成によれば、従来の一般的な CMOSイメージセンサの画素回路で用いられ る 3Tr (又は 4Tr)回路に、高々 1個のトランジスタを追加するだけで画素セル毎のリ セットが可能となる。したがって、画素回路のサイズが通常のイメージセンサに比べて それほど大きく成らずに済み、高画素化を容易に達成することができる。
[0025] さらに第 2発明に係る撮像装置では、画素セルアレイ部の列毎に、該列に含まれる 複数の画素セルから出力される画素信号をその信号レベルに応じて異なるゲインで 以て増幅する可変ゲイン増幅手段を備える構成とすることが好ましい。
[0026] 即ち、上述したように受信画素セルと撮像画素セルとで電荷蓄積時間が異なる場 合には画素信号の信号レベルの大幅な相違が避けらな 、が、可変ゲイン増幅手段 により入力の信号レベルが低い場合にゲインを上げるようにすることで、撮像画素セ ルによる画素信号の信号レベルと受信画素セルによる画素信号の信号レベルとの差 を補正することができる。それによつて、例えば通常の撮像画像と光ビーコンの位置 を示す識別情報画像との合成処理を容易に行うことができる。
図面の簡単な説明
[0027] [図 1]本発明よる信号読み出し方法の基本原理を説明するためのイメージセンサの 画素構成の模式図。
[図 2]従来の一般的な画像信号の読み出し方法を説明するためのイメージセンサの 画素構成の模式図。
[図 3]ID受信速度とそのほかの各種パラメータとの関係の概算式を示す図。
[図 4]本実施例によるイメージセンサを含む撮像装置を模式的に示したブロック構成 図。
[図 5]図 4中のイメージセンサの 1個の画素セルの回路構成図。
[図 6]図 4中のイメージセンサ内の出力部の概略構成図。
[図 7]図 6中の 1個の可変ゲインアンプの構成図。
[図 8]本実施例の撮像装置の処理動作を説明するための要部のブロック構成図。
[図 9]本実施例の撮像装置を用いて画像信号と 情報とを並行して取得する場合の 概略的なタイミング図。
[図 10]本実施例の撮像装置において画素信号の読み出し動作を説明するための詳 細なタイミング図。
[図 11]本発明による撮像装置の信号読み出し方法を適用する空間光通信システムを 示す全体概略図。
[図 12]図 11のシステムにお ヽて情報端末のディスプレイに表示される画像を模式的 に示す図。
[図 13]各通信ノードの光ビーコンから出射される光に含まれる各種信号の周波数ス ぺクトノレ図。
発明を実施するための最良の形態
[0028] まず、本発明に係る撮像装置を適用する空間光通信システムの一例にっ 、て、図 面を参照して説明する。
[0029] 図 11はこの空間光通信システムの概略図である。図示しないユーザーの手元には 空間光通信機能を有する携帯電話である情報端末 1があり、この情報端末 1に対し て光ビーコンによる ID信号 (本発明における特定情報)の送信を行!ヽ得る通信ノード として、パソコン 2、デジタルカメラ 3、携帯型音楽プレーヤ 4が配置されている。この 光ビーコンは、例えば各電子機器の電源オン Zオフ状態を示す表示 LED等を利用 することができる。
[0030] 図 13は、各通信ノードの光ビーコンから出射される光に含まれる各種信号の周波 数スペクトルを示す図である。パイロット信号は標準的な画像フレーム周波数である 3 OHzの 1Z2よりも低い周波数である fpで点滅する（又は強弱する）信号であり、全て の通信ノードに同様のパイロット信号が利用される。このパイロット信号の主たる目的 は、情報端末 1に自らの存在位置を認識させることにある。一方、 HD情報はパイロット 信号の周波数 fよりも十分に高い例えば 1kHz程度の周波数 f を中心とした周波数
p ID
帯域を有し、同一のものが存在しないように全ての通信ノードに割り当てられた、例え ば IPv6に相当するような長いビット長の固有アドレスやその機器の動作条件を示す データなどの情報を含む。
[0031] なお、画像データや音声データなどを高速で送受信するために、光ビーコンの出 射光において ID信号よりも更に高い周波数帯域に信号を重畳してもよいが、そうした データは必ずしも光通信に依らず、例えば Bluetooth (登録商標）等の電波通信を 利用して送るようにしてももよ 、。
[0032] ユーザーは、或る通信ノードとのデータ通信を行いたい場合、或いは或る通信ノー ドの制御を行いたい場合などに、情報端末 1のカメラをその通信ノードに向ける。する と、情報端末 1のディスプレイ 5の画面上には、図 12に示すようにカメラの撮像範囲に 含まれる 2次元画像が表示される。また、その撮像範囲に含まれる起動中の通信ノー ドの光ビーコンが後述するような方法により検出され、その光ビーコンの位置近傍に 各通信ノードを選択するための識別情報 (ここでは連番) 6がオーバーレイ表示される 。即ち、ここでオーバーレイ表示された通信ノードが、情報端末 1との間でデータ通信 が可能な、或いは情報端末 1から制御可能な通信ノードである。したがって、ユーザ 一は情報端末 1で所定の操作を行って通信ノードを選択し、その通信ノードに対して 所定の指令を送ることができる。
[0033] 本発明に係る撮像装置は上記情報端末 1に内蔵され、撮像画像を再現するための 画像信号と、各通信ノードの光ビーコンに由来する HD情報とを取得する機能を有す る。後述するように撮像装置はイメージセンサを含む力 このイメージセンサ力もの画 素信号の読み出し方法に大きな特徴の 1つがある。そこで、この信号読み出し方法の 基本原理について、図 1及び図 2を参照して以下に説明する。
[0034] 図 1及び図 2はいずれもイメージセンサの画素構成を模式的に示した図であり、図 1 は本発明よる画素信号の読み出し方法を示し、図 2は従来の一般的な画素信号の読 み出し方法を示すものである。図 1及び図 2において、（a)は画素信号の読み出し順 序を数字で示しており、 (b)は読み出し順序を軌跡 (線)で示して!/ヽる。 [0035] ここでは、説明を容易にするために、全部で 64個の画素セル 12が列 (X)方向に 8 列、行 (Y)方向に 8行の、 8行 X 8列の 2次元状に配置されている場合について考え る。実用上、画素セルの数はこれよりも格段に多いことは言うまでもない。各列には X 0〜X7なる列アドレスが付与され、各行には Y0〜Y7なる行アドレスが付与されてお り、各画素セルの位置は列 (X)アドレスと行 (Υ)アドレスとの組み合わせにより、例え ば (ΧΟ, ΥΟ)、 (Χ3, Υ7)等と表すことで各画素セルを特定することとする。後で詳し く述べるが、各画素セルはそれぞれ光電変換部としてフォトダイオードを備え、この画 素セルアレイ部に照射された光は各フォトダイオードによって光電変換され、画素セ ル単位で電気信号 (画素信号)を発生する。
[0036] 従来の一般的な信号の読み出し方法では、所定の電荷蓄積期間に全画素でそれ ぞれ光電変換によって発生した電荷を蓄積し、その後の読み出し期間に、図 2に示 すように、行アドレスの小さいものから 1行ずつ順番に、且つ 1行の中では列アドレス の小さいものから順番に画素信号を読み出してゆく。標準的には画像のフレーム周 波数は 30Hzであるから、 30Hzの 1フレーム期間内で電荷蓄積期間と読み出し期間 とを設けて、読み出し期間中に全画素信号を読み出し、外部に設けた画像処理回路 において 1枚の画像を再現する。したがって、フレーム周期毎、つまり標準的には 33 . 3ms毎に 1枚の画像が得られることになる。
[0037] これに対し、本発明に係る撮像装置で撮像する対象は、撮像範囲内の任意の位置 に、周波数が画像フレーム周波数よりも遙かに高 ヽ（通常数百 Hz〜数 kHz程度)周 波数で点滅又は光強度が変化する、 情報を含む光ビーコンが存在している。撮像 画像内における光ビーコンの位置は例えば上述したように周波数帯域分割で重畳さ れているパイロット信号により認識可能であるものとする。例えばパイロット信号が上 述したように画像フレーム周波数の 1Z2以下 (現実には 1Z4以下が望ましい）の周 波数で点滅している場合、時間的に連続する画像の差分をとることにより又は各画素 において周波数フィルタリングを行うことによりパイロット信号を検出することができ、 その検出結果力 光ビーコン力 発せられた光 (以下、 ID光と称す)の受光範囲を認 識することができる。
[0038] 図 1 (a)に示すように、ここで挙げた例では、撮像範囲内に異なる 2個の ID光が存 在しており、その 1つである ID受光領域 ID # 1は（X2, Υ3)、 (Χ3, Υ3)、 (Χ2, Υ4) 、 (Χ3, Υ4)の 4個の画素セルに跨る。一方、他の 1つの ID受光領域 ID # 2は（Χ5, Y4)、 (Χ6, Υ4)、 (Χ5, Υ5)、 (Χ6, Υ5)の 4個の画素セルに跨る。
[0039] 本発明に係る信号読み出し方法では、上述したような通常の画像を再現するため の画像信号を取得するのと並行して ID光に含まれる 情報を取得するために、特徴 的な読み出しを行う。簡潔に言えば、全画素セルの中で ID受光領域に属する画素 セル (本発明における受信画素セル）とそれ以外の通常の撮像のみの領域に属する 画素セル (本発明における撮像画素セル）とを区分し、 1フレーム分の画像を再現す るための撮像画素セルの画素信号を一巡して読み出す期間内に、時分割で同一の 受信画素セルの画素信号を読み出す期間を複数設定する。
[0040] この例では、受信画素セルは、 ID受光領域 ID # 1に属する (X2, Y3)、（X3, Y3) 、 (X2, Y4)、 (Χ3, Υ4)の 4個の画素セルと、 ID受光領域 ID # 2に属する（Χ5, Y4 )、 (X6, Y4)、 (Χ5, Υ5)、 (Χ6, Υ5)の 4個の画素セルとの合計 8個である。一方、 撮像画素セルはそれ以外の 56個の画素セルである。そして、全画素セルを列ァドレ ス Χ0〜Χ3と Χ4〜Χ7の 2つに分割する。列アドレス Χ0〜Χ3に含まれる分割領域を Ρ 1、列アドレス Χ4〜Χ7に含まれる分割領域を Ρ2とする。
[0041] ここでの基本的な読み出し規則は次の通りである。
(1)同一分割領域 (P1又は Ρ2)に属する撮像画素セルの 1行分は列アドレスの小 さなほうから順に連続的に読み出す。
(2)同一分割領域に属する撮像画素セルの 1行分を読み終えた後には、今度は、
1個の ID受光領域に属する受信画素セルの 1行分を列アドレスの小さなほうから順に
BJCみ出す。
(3) 1個の ID受光領域に属する受信画素セルの 1行分を読み終えた後には、直近 に読み終えた撮像画素セルを含む分割領域とは異なる分割領域に移行して、その 続き力も読み出しを行う。したがって、撮像画素セルの 1行分の読み出しが終了して V、る場合には次の行に移り、撮像画素セルの 1行分の読み出しが終了して 、な！/ヽ場 合にはその行の続きを読むことになる。
(4)受信画素セルの読み出しは同一 ID受光領域を優先し、 1個の ID受光領域に おける受信画素セルの読み出しが終了したならば次の ID受光領域における受信画 素セルの読み出しに移り、全ての ID受光領域の受信画素セルの読み出しが一通り 終了したならば 1個目の ID受光領域の読み出しに戻るというように繰り返す。
[0042] 即ち、図 1に示すようにまず行アドレスが YOである撮像画素セルについて、列アド レスの順に XO、 XI、 X2、 X3と画素信号を読み出す。これで分割領域 P1に属する撮 像画素セルの 1行分の読み出しが終了するので、次に ID受光領域 ID # 1に属する 受信画素セルの 1行分として（X2、 Y3)、 (Χ3, Υ3)の 2個の画素セルの画素信号を 読み出す。これで 1個の ID受光領域に属する受信画素セルの 1行分の読み出しが 終了するので、次に分割領域 P2に移行し、先の読み出しの続きとして行アドレス YO の撮像画素セルについて、列アドレスの順に X4、 X5、 X6、 X7と画素信号を読み出 す。その後、今度は、先の ID受光領域 ID # 1に属する受信画素セルの 2行目である (X2、 Y4)、 (Χ3, Υ4)の 2個の画素セルの画素信号を読み出す。
[0043] このようにして撮像画素セルによる画素信号と受信画素セルによる画素信号とを順 次読み出してゆき、 (Χ3, Υ2)の画素セルの画素信号を読み出すと、次には、既に 1 度読み出しを行って 、る ID受光領域 ID # 1に属する受信画素セルの 1行分として (X 2、 Y3)、 (Χ3, Υ3)を再び読み出し、それ以降も上記規則に則った手順で全ての画 素セルの画素信号を少なくとも 1回は読み出す。したがって、 1フレームの画像を構 成する画素信号を読み出す期間中に、同一の ID受光領域 ID # 1、 ID # 2に属する 受信画素セルの画素信号を複数回繰り返して読み出すことになる。
[0044] 読み出しが終了した受信画素セルのフォトダイオードはすぐにリセットされ、再び受 光光量に応じた電荷を蓄積し始める。したがって、 ID受光領域 ID # 1、 ID # 2に属 する受信画素セルの画素信号は画像フレーム周波数よりも短 ヽ周期で (高 ヽ周波数 で)電荷蓄積と信号読み出しとが繰り返されることになる。図 1の例では、 1フレーム画 像の画像信号の読み出しの間に ID受光領域 ID # 1、 ID # 2に属する受信画素セル の画素信号はそれぞれ 4回ずつ読み出されることになる。つまり、受信画素セルの画 素信号に対しては、通常画像のフレーム周波数に相当するフレーム周波数が実効 的に高くなつたことと等価である。
[0045] このとき、従来であれば、 1フレーム画像期間内に 1回しか読み出しが実行されない 画素セル力 4回読み出しが実行されるわけであるから、標準的な画像フレーム周波 数である 30Hz毎に 1枚の画像を得るためには、 1画素当たりの読み出し速度は従来 よりも高速化する必要がある。し力しながら、 ID受光領域に属する画素セルの数が全 画素セルの数に比較して十分に小さいという条件の下では、読み出し速度の増加は 十分に抑制することができる。
[0046] 換言すれば、例えば ID受光領域が異常に大きい、或いは、同時に存在する ID光 の数が非常に多い、といった場合には、 ID受光領域に属する受信画素セルの数が 全画素セルの数に対して無視できなくなり、読み出し速度を大幅に上げる必要が生 じる可能性がある。一方、 情報の伝送レートは 情報の読み出し頻度に依存する から、上記の例で言えば、画像 1フレーム分の画素信号を読み出す期間中に同一 ID 受光領域に属する受信画素セルの読み出し回数を多くするほど 情報の伝送レー 卜を上げることがでさる。
[0047] 即ち、 Iひ隋報の伝送レート (受信速度）と、画像信号のフレーム周波数、同時に受 信可能な ID光の個数、 ID受光領域の大きさなどとはトレードオフの関係にあり、適宜 に選択する必要がある。図 3に ID受信速度とそのほかの各種パラメータとの関係の 概算式と撮像装置の設計例の数値を示す。詳しくは後で述べるが、本発明による信 号読み出し方法によれば、読み出し速度自体をそれほど上げることなぐ画像情報と 並行して 情報を取得することができる。
[0048] なお、上記説明では、全画素セルを列方向に 2つに分割して分割領域 Pl、 P2を設 定したが、さらに分割数を増やしてもよい。また、分割を行わず 1行単位で撮像画素 セルと受信画素セルとを交互に読み出すようにしてもよい。即ち、例えば行アドレス Y 0に属する全ての撮像画素セルの画素信号を読み出したならば、次に ID受光領域 I D # 1の 1行目に属する受信画素セルの画素信号を読み出し、続いて行アドレス Y1 に属する全ての撮像画素セルの画素信号を読み出す、 t 、うように読み出し順序を 定めてもよい。また、 1行分の撮像画素セルに対して ID受光領域に属する複数行の 受信画素セルを対応付けるようにしてもょ ヽ。例えば行アドレス YOに属する全ての撮 像画素セルの画素信号を読み出したならば、次に ID受光領域 ID # 1の 1行目及び 2 行目に属する受信画素セルの画素信号を読み出し、その後に行アドレス Y1に属す る全ての撮像画素セルの画素信号を読み出す、 t ヽうようにしてもょ 、。
[0049] 次に、上述したような読み出し動作を実際に行うための撮像装置の一実施例につ いて説明する。図 4は本実施例によるイメージセンサを含む撮像装置を模式的に示 したブロック構成図、図 5はイメージセンサの 1個の画素セルの回路構成図、図 6はィ メージセンサ内の出力部の概略ブロック構成図、図 7は出力部内の 1個の可変ゲイン アンプの構成図である。
[0050] イメージセンサ 10は、画素セルアレイ部 11、行デコーダ 13、出力部 14、列デコー ダ 15、 IDマップテーブル回路 16などを含む。画素セルアレイ部 11には、画素セル 1 2が列（X)方向に n列、行 (Y)方向に m行の、 m行 X n列の 2次元状に配置されて!、 る。 m、 nの値は任意である力 ここでは一例として n= 320、 m= 240であるものとす る。この mの値が先の図 3中の画素の行数に対応するものである。
[0051] 行デコーダ 13は画素セルアレイ部 11に対して、行選択信号 (Row— sel)線 B1を 介して同一行に属する複数の画素セル 12を選択するとともに、行リセット信号 (Row rst)線 B2を介して同一行に属する複数の画素セル 12をリセットし得る機能を有す る。一方、出力部 14は、画素セルアレイ部 11内の各列毎に設けられたサンプルホー ルド回路などを含み、各画素セルから出力された画素信号を画素出力信号 (Pxl— o ut)線 B4を介して受け取り、 1本の水平出力信号 (Out)線 B9を介して順番に出力す る。列デコーダ 15は出力部 14からの直列的な信号の出力を制御する。さらに IDマツ プテーブル回路 16は画素セルアレイ部 11における ID受光領域の位置情報を保持 しておくための一種のメモリとその制御回路とを含む。
[0052] このイメージセンサ 10の外部には、上述したイメージセンサ 10の各部に制御信号 を供給する制御部 21と、イメージセンサ 10から直列的に出力される画素信号を受け て所定のデータ処理を行うデータ処理部 22と、が配置されている。データ処理部 22 は、画素信号のうちの撮像画素セルによる画素信号に基づいて 1画像フレーム毎に
1枚の画像を再現するとともに、受信画素セルによる画素信号に基づ 、て 情報を 復元する。データ処理部 22は例えば DSP等の専用のハードウェアで構成することも 可能である力 適宜のインターフェイス回路を介して CPUを中心とするコンピュータ に取り込み、コンピュータによる演算処理によってデータ処理を行ってもよい。また、 制御部 21やデータ処理部 22の機能の一部をイメージセンサ 10と同一チップ上に搭 載してもよい。即ち、実際に装置を構成する際のチップ構成等に制限はない。
[0053] 図 5に示すように、 1個の画素セル 12は、 1個のフォトダイオード 31と 4個の MOSト ランジスタ 32、 33、 34、 35とを含む。フォトダイオード 31はアノードが接地され、カソ 一ドには行リセット用スィッチである第 1トランジスタ 32とソースフォロアアンプとして機 能する第 3トランジスタ 34のゲート端子とが接続されている。第 1トランジスタ 32は第 2 トランジスタ 33を介してリセット電圧信号 (V—rst)線 B5に接続され、第 1トランジスタ 32のゲート端子は行リセット信号線 B2に、第 2トランジスタ 33のゲート端子は列リセッ ト信号 (Clm— rst)線 B3に接続されている。リセット電圧信号線 B5には通常、電源電 圧 Vddよりも若干低 ヽ直流電圧 Vrが供給されるが、リセット電圧信号線 B5を電源電 圧 Vddの供給線に接続してもよ 、。
[0054] 第 3トランジスタ 34の出力であるソース端子は、第 4トランジスタ 35を介して画素出 力信号線 B4に接続されており、その第 4トランジスタ 35のゲート端子は行選択信号 線 B1に接続されている。行リセット用スィッチである第 1トランジスタ 32と列リセット用 スィッチである第 2トランジスタ 33とは直列接続されているため、行リセット信号 (Row -rst)と列リセット信号（Clm— rst)とが両方共に「H」レベルになったときに、その画 素セル 12のフォトダイオード 31が選択的にリセットされる。これによつて、全画素セル 中の任意の 1個の画素セルのリセットが可能となっている。
[0055] この画素セル 12の基本的な光電変換動作及び信号出力動作は次の通りである。
即ち、行リセット信号 (Row— rst)と列リセット信号 (Clm— rst)とが両方共に「H」レべ ルになって第 1、第 2トランジスタ 32、 33がオンしたときに、フォトダイオード 31のカソ ード側の電位 (以下、これをフォトダイオード電位という）はリセット電圧信号線 B5で供 給される電圧 Vrにー且リセットされる。第 1、第 2トランジスタ 32、 33の少なくともいず れか一方がオフした状態でフォトダイオード 31に光が入射すると、その受光強度に 応じた光電流がフォトダイオード 31に流れ、その電流による放電のためにフォトダイ オード電位は徐々に低下する。このときの電位の低下速度は受光強度に依存してお り、受光強度が大きいほど低下速度が速くなる。
[0056] 第 4トランジスタ 35がオフしているときにはこの画素セル 12は画素出力信号線 B4と 切り離されて ヽるが、行選択信号線 B1に供給される行選択信号 (Row— sel)が「H」 レベルになって第 4トランジスタ 35がオンすると、その時点でのフォトダイオード電位 に応じてソースフォロアアンプである第 3トランジスタ 34に流れる電流信号が画素出 力信号線 B4に供給され得る状態となる。但し、実際に出力電流が流れるか否かは、 後述するようにその画素出力信号線 B4に負荷が接続される力否かに依る。
[0057] なお、上記画素セル 12において、第 3トランジスタ 34により構成されるソースフォロ ァアンプは基本的には単なるバッファアンプである。したがって、この画素セル 12の 基本的な構成は、いわゆる 3Tr型の CMOSイメージセンサの画素に列リセット用のト ランジスタを 1個だけ追カ卩したものであって、その画素サイズは従来の一般的な APS 方式の CMOSイメージセンサの画素とほぼ同等にすることができる。これにより、画 素セルを高密度で配列して、同一面積で画素数の大きな画素セルアレイ部 11を構 成することができる。
[0058] 図 6に示すように、出力部 14においては各列毎に出力回路ユニット 40が設けられ ている。出力回路ユニット 40は、ノィァス電圧信号 (Amp— bias)線 B6で与えられる 電圧信号に応じて負荷電流源として機能するトランジスタ 41、該トランジスタ 41を負 荷として画素出力信号線 B4に接続するか否かを切り替える負荷切替えスィッチ 42、 可変ゲインアンプ 43、サンプルホールド回路 44、出力選択スィッチ 50を含む。或る 1 列に属する 240個の画素セル 12の全てに共通に接続された画素出力信号線 B4を 介して供給される電流信号は、負荷切替えスィッチ 42がオンした状態でトランジスタ 41により電圧信号に変換され、さらに可変ゲインアンプ 43を通して必要に応じて増 幅された後にサンプルホールド回路 44に送られる。
[0059] 可変ゲインアンプ 43では、図 7に示すように、例えばコンパレータを利用した比較 器 432により入力電圧を所定の基準電圧と比較し、入力電圧が基準電圧以上である 場合 (画素の出力が出力振幅の 1Z16よりも十分に小さい場合）にはゲイン切替えス イッチ 436をオフすることで第 2帰還コンデンサ 435を切り離し、増幅部 431によるゲ インを 16倍に設定する。一方、入力電圧が基準電圧未満である場合には、ゲイン切 替えスィッチ 436をオンすることで入力コンデンサ 433の容量と第 1、第 2帰還コンデ ンサ 434、 435の並列容量とを同一にして、増幅部 431によるゲインを 1倍に設定す る。
[0060] 既に述べたように受信画素セルの画素信号は撮像画素セルの画素信号よりも読み 出しが頻繁に行われるが、その分だけ電荷蓄積時間が短く画素信号のレベルが低く なる。そこで、画素信号のレベルが十分に低い場合に可変ゲインアンプ 43でゲイン を 16倍に上げることによって信号レベルを高め、それによつて撮像画素セルによる画 素信号と受信画素セルによる画素信号とのレベル差をできるだけ小さくするようにし、 且つ入力電圧振幅が大き 、場合の増幅部 431の飽和も防止して 、る。図示しな 、が 、 V、ずれのゲインが選択されたのかを示す情報は画素信号と対応付けて一旦記憶さ れ、その画素信号が後述するように出力される際に並行して出力され、データ処理部 22はこのゲイン選択情報をデータ処理の際に利用する。一例として、増幅部 431〖こ はソース接地アンプなどの反転アンプを用いることができる。
[0061] なお、ここでは可変ゲインアンプ 43は入力電圧振幅の判定を 2段階でしか行ってい ないが、 3段階以上の判定を行ってより細力べゲインを切り替える構成としてもよい。そ の場合、比較器 432として、異なる閾値を有するコンパレータを複数用いる力 或い は、 1個のコンパレータに異なる複数の基準電圧を順番に入力し、そのコンパレータ の出力値が反転するタイミングにより入力電圧振幅を判断する構成とするとよい。
[0062] サンプルホールド回路 44には、画像信号サンプリング用スィッチ 45と画像信号ホ 一ルド用コンデンサ 46とを含む画像信号用のサンプルホールド部と、 ID信号サンプ リング用スィッチ 47と ID信号ホールド用コンデンサ 48とを含む 情報用のサンプル ホールド部とが独立に設けられ、各列のスィッチ 45は画像サンプリング信号 (SZH —img)線 B7による信号により、各列のスィッチ 47は IDサンプリング信号（SZH— id )線 8による信号によりオン Zオフ動作が制御される。またホールドされている電圧 を出力する際に、コンデンサ 46、 48のいずれかを選択する画像 ZID選択スィッチ 4 9は、読み出し選択信号 (Read— sw)線 B10により切替えが制御される。
[0063] 各出力回路ユニット 40の出力選択スィッチ 50は、列デコーダ 15から与えられる出 力列選択信号 (Clm— sel)によりオン Zオフ動作が制御されており、各出力回路ュ- ット 40のサンプルホールド回路 44のコンデンサ 46又は 48にホールドされている電圧 信号が 1つずつ選択されて、水平出力信号線 B9を通して外部に出力されるようにな つている。
[0064] IDマップテーブル回路 16は、図 8に示すように、 ID受光領域が存在する位置情報 を保持する記憶領域を含むメモリ回路 161と、このメモリ回路 161の記憶領域のアド レスを制御する ID行デコーダ 162及び ID列デコーダ 163を備える。
[0065] 具体的には、メモリ回路 161には、 1個の ID受光領域 (ID光）に対して nビット（列ァ ドレスの数)の記憶領域が用意される。この例では同時に処理する ID光の個数 Nを 7 に設定しているため、 7 X nビットの記憶領域が用意されている。但し、後述するような 手法によれば N以上の ID光の処理を行うこともできる。 1ビットの記憶領域は例えば 1 個の Dラッチ (DL)により構成することができる。上記 nビットの記憶領域の各ビットは それぞれ画素セルアレイ部 11の各列に一対一で対応付けられており、 1ビットの DL にお!/、て「H」レベルはその列に受信画素セルを含むことを意味し、「L」レベルはそ の列の全てが受信画素セルでない撮像画素セルであることを意味する。
[0066] このメモリ回路 161の記憶領域に保持される情報は、受信画素セルの存在位置に 関する行方向（図 8での水平方向）の位置情報のみである。受信画素セルの列方向（ 図 8での垂直方向）の位置情報についてはイメージセンサ 10の外部の制御部 21に 保持され、或る行の画素セルの画素信号を読み出そうとする際に、その行に受信画 素セルが存在するか否かを示す情報は ID選択信号 (id— sel # 1〜 # 7)として ID行 デコーダ 162に与えられる。実際には、 1行に複数の ID受光領域が存在する可能性 があるため（例えば図 8の例では、行アドレス Y1の行に ID受光領域 ID # 1、 ID # 2の 2個が存在する）、 ID選択信号線を N本（図 8の例では 7本)並列に設けている。例え ば或る ID選択信号が「H」レベルであることは、そのときの読み出し行に、その ID選 択信号線で示される ID受光領域が存在することを意味する。
[0067] IDマップテーブル回路 16では、メモリ回路 161の記憶領域のデータパターンに基 づ ヽて、画素セルアレイ部 11の各列に対して受信画素セル (ID受光領域の 、ずれ であるのかは問わない）が存在するか否かを判定する。この判定結果は 1ビット信号 で表現され、例えば判定結果が「H」レベルのときにはその列に少なくとも 1個の受信 画素セルが存在し、「L」レベルのときには、行デコーダ 13で指定される 1行の、その 列に受信画素セルが全く存在しないことを意味する。判定結果は列と同じ数、つまり n個存在する。或る列に対する判定結果は、その列における或る 1個の DLの出力と それに対応する 1つの ID選択信号 (id— sel # 1〜 # 7)との論理積 (AND演算）を全 ての (N個）の組み合わせにつ 、て論理和（OR演算）をとることにより表すことができ る。したがって、 N個の ANDゲート素子と 1個の N入力の ORゲート素子との組み合 わせ、或いはそれと等価の機能を有する論理回路によって具現ィ匕することができる。
[0068] また IDマップテーブル回路 16は、通常撮像モードと ID取得モードとの 2つの動作 モードを有しており、この動作モードは 1ビットのモード選択信号 (idmt— md)で制御 部 21により指定される。例えばモード選択信号が「H」レベルであるときに通常撮像 モード、「L」レベルであるときに ID取得モードとする。 IDマップテーブル回路 16では 、上述した受信画素セルの存在判定結果と動作モードとから 1ビットの列リセット信号 を生成する。これがその列の列リセット信号線 B3に出力される。列リセット信号が「H」 レベルであるとき、出力部 14においてその列の負荷切替えスィッチ 42はオンして負 荷であるトランジスタ 41が画素出力信号線 B4に接続されるため、画素セル 12から電 流信号が流れ、さらに可変ゲインアンプ 43に内蔵されたスィッチがオンして回路に電 流が供給されることでそのアンプ 43に出力が発生する。また、同時に、画素セル 12 に対しても列リセット信号を与える。
[0069] 具体的には、通常撮像モードのときには (モード選択信号 = 或る列に受信 画素セルが存在する（存在判定結果 =「H」）とその列の画素セルによる画素信号は 読み出さず (列リセット信号 =「し」）、 逆に受信画素セルが存在しなければ (存在判 定結果 =「し」）その列の画素セルによる画素信号を読み出すようにする（列リセット信 号 = ΓΗ] ) 0一方、 ID取得モードのときには (モード選択信号 = rLj ) ,或る列に受信 画素セルが存在する（存在判定結果 =「H」）とその列の画素セルによる画素信号を 読み出し (列リセット信号 =「H」）、逆に受信画素セルが存在しなければ (存在判定 結果 =「L」）その列の画素セルによる画素信号を読み出さないようにする（列リセット 信号 =「L」）。こうした制御を行うために、例えば 1ビットの存在判定結果と 1ビットのモ ード選択信号の排他的論理積の論理演算により各列の列リセット信号を生成すること ができる。
[0070] 次に、図 4〜図 8に加えて図 9及び図 10のタイミング図を参照して、上記構成を有 する本実施例の撮像装置の典型的な動作について説明する。図 9は本実施例の撮 像装置を用いて画像信号と 情報とを並行して取得する場合の概略的なタイミング 図、図 10は画素信号の読み出し動作を説明するための詳細なタイミングである。な お、本来、標準的な画像のフレーム周波数は 30Hzであり、この撮像装置でも画像の フレーム周波数が 30Hzとなるように動作させることが可能である力 15Hzのパイロッ ト信号により ID受光領域の位置を検出する都合上、画像のフレーム周波数を通常の 2倍の 60Hzに設定して!/、る。
[0071] 本例の撮像装置では、図 9に示すように、この通常画像の 1フレームを単位として読 み出し制御を行う。即ち、まず通常画像の 1フレーム（上述したようにここでは 16. 7m s)内の垂直帰線期間に IDマップテーブル回路 16内の記憶領域のデータ、つまり受 信画素セルの位置情報を更新する。例えば上述したように、 Iひ f青報に重畳されてい るパイロット信号の受光位置を通常画像により検出して ID受光領域の位置を決め、 それから受信画素セルの位置を求めるようにすることができる。また、一回、 ID受光 領域を確定して 1フレームの通常画像に相当する期間、 HD情報を取得した後には、 その 1画像フレームの間に読み出した受信画素セルの画素信号から、それぞれの ID 受光領域の重心位置、つまりは最も受光強度が大きな受信画素セルの位置を再計 算し、それに基づいて IDマップテーブル回路 16内の記憶領域のデータを更新する ことができる。
[0072] 図 3の設計例に記載したパラメータを有する撮像装置では、通常画像 1フレーム期 間内に同一 ID受光領域に属する受信画素セルの画素信号を 35回繰り返して読み 出すことができる。したがって、その 1回の読み出し毎に 1枚の ID画像が作成されると 考えると、最大では 7種類 (ID # 1〜ID # 7)の ID画像がそれぞれ 35枚ずつ得られる ことになる。そこで、データ処理部 22では、各 ID受光領域について 35枚の ID画像に 基づ 、て ID位置認識処理を実行し、 ID受光領域の重心位置の移動状況を把握して 、必要があれば制御部 21に保持されて 、る IDマップテーブルの元データを更新し、 次の垂直帰線期間に IDマップテーブル回路 16内の記憶領域のデータの更新を実 行する。
[0073] IDマップテーブル回路 16内の記憶領域のデータ、つまり受信画素セルの位置情 報を更新する際には、まず 1画像フレームの垂直帰線期間の終わりに、メモリ回路 16 1の記憶領域の各ビットを全て「L」にリセットする。そして ID選択信号 (id— sel # 1〜 # 7)により、その記憶領域の中でデータ (ビットパターン)を変更する行を選択する。 さらに ID列デコーダ 163により受信画素セルが存在する列を選択し、該当する DLに 「H」レベルを書き込む。これを全ての ID受光領域の受信画素セルにつ!ヽて繰り返し 行い、垂直帰線期間内にその処理を終了する。図 8は、こうしてメモリ回路 161内の 記憶領域に 4種類の ID受光領域 (ID # 1〜ID # 4)のビットパターンが書き込まれた 状態である。
[0074] 垂直期間期間の終了後に画素信号の読み出しを開始する場合、まず図 10 (a)に 示すように行デコーダ 13は 1行目の行アドレス YOを設定し、その行の行選択信号 (R ow—sel)を「H」レベルにする。それによつて、その列に属する全ての画素セル 12の 第 4トランジスタ 35がオンし、フォトダイオード電位による電流信号が第 3トランジスタ 3 4によるソースフォロアアンプを通して画素出力信号線 B4に流れ得る状態となる。こ のときにはモード選択信号 (idmt— md)により通常撮像モードに設定されており、そ の行において撮像画素セルである列の負荷切替えスィッチ 42がオンし負荷電流源 が接続されるとともに、可変ゲインアンプ 43では回路に電流が流される。換言すれば 、受信画素セルである列では出力電流は流れず、可変ゲインアンプ 43は非動作状 態にあるので殆ど電力を消費しない。
[0075] 画素信号が読み出された列の可変ゲインアンプ 43の出力電圧は、図 10 (d)に示 すように画像サンプルホールド信号（SZH—img)が「H」レベルになってスィッチ 45 がオンしたときに、コンデンサ 46に転送される。この動作は同一行 (Y0)に含まれる 撮像画素セルに対して一斉に行われる。その後、行デコーダ 13は図 10 (b)に示すよ うに行リセット信号 (Row— rst)を「H」レベルにする。このとき撮像画素セルでは列リ セット信号（Clm—rst)も「H」レベルとなっているため、撮像画素セル内のフォトダイ オード電位は上述したようにリセット電圧線 B5で与えられる電位 Vrにリセットされる。 これで、行アドレス Y0の撮像画素セルによる画素信号のサンプル Zホールド動作は 終了する。
[0076] 次に、行デコーダ 13は制御部 21の制御の下に、 ID受光領域 ID # 1が存在する行 の中の 1行目の行アドレスを設定し、その行の行選択信号 (Row— sel)を「H」レベル にする。図 8の例では、行アドレス Y0を設定することになる。それによつて、その行に 属する全ての画素セル 12の第 4トランジスタ 35がオンし、フォトダイオード電位による 電流信号が第 3トランジスタ 34によるソースフォロアアンプを通して画素出力信号線 B 4に流れ得る状態となる。但し、このときにはモード選択信号により ID取得モードに設 定されており、 IDマップテーブル回路 16からの列リセット信号により受信画素セルを 含む列のみの負荷切替えスィッチ 42がオンして負荷電流源が接続されるとともに、 可変ゲインアンプ 43では回路に電流が流される。換言すれば、撮像画素セルを含む 多くの列では画素信号の読み出しは行われず、可変ゲインアンプ 43は非動作状態 にあるので殆ど電力を消費しない。
[0077] 受信画素セルが存在する列（図 8の例では、列アドレス X316、 X317)の可変ゲイ ンアンプ 43の出力は、図 10 (e)に示すように IDサンプルホールド信号（SZH— id) 力 「：¾レベルになってスィッチ 47がオンしたときにコンデンサ 48に転送される。この 動作は同一行 (YO)に含まれる全ての受信画素セルに対して一斉に行われる。その 後、行デコーダ 13は図 10 (b)に示すように行リセット信号 (Row— rst)を「H」レベル にする。このとき受信画素セルについては列リセット信号（Clm— rst)も「H」レベルに なっているため、受信画素セル内のフォトダイオード電位は上述したようにリセット電 圧信号線 B5で与えられる電位 Vrにリセットされる。これで、 ID受光領域 ID # 1が存 在する行の中の、 1行目の受信画素セルによる画素信号のサンプル Zホールド動作 は終了する。
[0078] このサンプル Zホールド動作と並行して、先にコンデンサ 46に保持された撮像画 素セルによる画素信号の読み出し処理が実行される。即ち、図 10 (f)に示すように読 み出し選択信号 (Read— sw)が「H」レベルになることで画像/ ID選択スィッチ 49は コンデンサ 46側に切り替わり、列デコーダ 15が列アドレス XOから順番に列アドレスを 更新しながら（図 10 (g)参照）出力列選択信号 (Clm— sel)を「H」にすることで出力 選択スィッチ 50を順番にオンさせる。これによつて、水平出力信号線 B9にはコンデ ンサ 46に保持されている画素信号が順番に出力されることになる。ここでは、分割単 位として画素セルが列方向に 5分割されるように設定されて!ヽるため、一連の読み出 しは列アドレス X0〜X63まで行われた時点でー且終了する。なお、仮にこの読み出 し範囲に受信画素セルが含まれている場合には、その列の画素信号は無効であるた め、列アドレスを飛ばしてもよ 、し列アドレス自体はそのままで出力を棄却する（つまり 空読みになる）ようにしてもょ 、。
[0079] 次に、直前に IDホールド用のコンデンサ 48に保持された受信画素セルによる画素 信号の読み出し処理が実行される。即ち、図 10 (f)に示すように読み出し選択信号（ Read-sw)が「L」レベルになることで画像 ZlD選択スィッチ 49はコンデンサ 48側に 切り替わり、列デコーダ 15が IDマップテーブル回路 16内の記憶情報に基づいて又 は制御部 21に記載されている情報に基づいて、 ID受光領域 ID # 1が存在する列ァ ドレスのみを番号の若いもの力も順番に更新してゆく（図 10 (g)参照)。選択された列 アドレスでは出力列選択信号 (Clm— sel)が「H」レベルにされて出力選択スィッチ 5 0がオンする。これによつて、水平出力信号線 B9にはコンデンサ 48に保持されてい る画素信号が順番に出力されることになる。図 10 (g)では、 ID受光領域 ID # 1が s ( 行） X r (列）画素力 成るとして r個の画素信号を順次読み出すようにしている力 図 8の例で言うと、列アドレス X316、 X317の 2つのみが順次選択されて、その列のコン デンサ 48に保持されて 、た画素信号が出力される。
[0080] 続いて、行デコーダ 13は制御部 21の制御の下に、 ID受光領域 ID # 1が存在する 行の中の 2行目の行アドレスを設定し、その行の行選択信号 (Row— sel)を「H」レべ ルにする。図 8の例では、行アドレス Y1を設定することになる。そして上述した行アド レス YOにおける受信画素セルの画素信号のサンプル Zホールド動作と同様の制御 により、各列のコンデンサ 48に画素信号を転送し、読み出しの終了した受信画素セ ルのフォトダイオード電位をリセットする。また、このサンプル Zホールド動作と並行し て、始めに画像ホールド用のコンデンサ 46に保持された撮像画素セルによる画素信 号の読み出し処理の続きが実行される。即ち、行アドレス YOについて先に列アドレス X63の画素セルまでの読み出しを終了しているから、次には列アドレス X64から順番 に列アドレスを更新しながら出力選択スィッチ 50をオンして、コンデンサ 46に保持さ れて 、る画素信号を出力する。
[0081] 以上のようなサンプル Zホールド動作と読み出し処理とを繰り返すことにより、上述 したような 1フレームの画像を構成する画素信号を取り出すことができるとともに、これ と並行して、 ID光を受光して 、る受信画素セルの画素信号を繰り返し読み出すこと ができる。データ処理部 22では、 1フレーム分の画像信号を取得した後に 1枚の画像 を再現する。また、これと並行して Iひ f青報を復元する。
[0082] なお、上記実施例は本発明の一実施例にすぎず、本発明の趣旨の範囲で適宜変 形、修正、追加等を行うことができる。
[0083] 例えば、手振れなどによる ID受光画素の移動を高速で追跡するためには、 ID画像 を通常画像 1フレームに合わせてまとめて処理するのではなぐ個々の ID画像を読 み出した後に即座に処理するようにしてもよい。例えば 1枚の ID画像を読み出す毎 に ID受光領域の重心位置を計算して、その結果に応じて ID画像を取得するために 次に読み出す画素セルの位置を修正するようにするとよい。
[0084] また、上記実施例では ID画像を得るために或る画素セル力も画素信号を読み出し た直後にその画素セルのフォトダイオード電位をリセットしていた力 必ずしも読み出 し毎にリセットする必要はない。実際上、画素値が飽和しない限りリセットの必要はな ぐリセットを行わない場合には、或る ID画像を得るために画素値を取得したときに、 その直前の ID画像を得るために取得した画素値との差分を計算すればよい。
[0085] また、例えば、上記実施例では、可変ゲインアンプを各列に設けることにより信号レ ベルの低 、画素信号のノイズの低減を図って ヽたが、他のノイズ低減方法を採用し てもよい。具体的には、イメージセル 11の列毎に、読み出した画素値を元に画素内 のリセット用トランジスタにフィードバックをかけ、画素のリセット雑音を低減する回路を 設けるとよい。これは一般にアクティブリセットと呼ばれる手法である力 これにより、電 荷蓄積時間の短い ID光の受光時に効果的にノイズを低減することができる。
[0086] また、通常撮像時、 ID取得時ともに、強い入射光量側にダイナミックレンジを広げる ために、画素セル内のフォトダイオードをリセットするタイミングをずらすことによって電 荷蓄積時間を意図的に短くするようにしてもよい。もちろん、電荷蓄積時間が短いと 入射光量が弱い場合には不利であるから、適応的に電荷蓄積時間を調整する回路 を設けるとよい。
[0087] また、上記実施例では通常画像 1フレームの垂直帰線期間に IDマップテーブル回 路の記憶領域のデータを更新するようにして 、るが、隣接フレームの垂直帰線期間 の間の適宜の時期にも IDマップテーブル回路内の記憶領域のデータを書き換える ようにしてもよい。例えば、同時に処理可能な ID受光領域の数を記憶領域の行数より も多くしたいような場合、 1画像フレーム期間中に、受信画素セルによる画素信号の 読み出しが少なくとも 1回は終了したような ID受光領域に対応した IDマップテーブル のビットパターンを、他の ID受光領域に対応したビットパターンに書き換えて、そのビ ットパターンに基づく受信画素セルの画素信号の読み出しを実行する、という処理を 繰り返し行うようにすることができる。
[0088] また、上述したように画素信号の読み出し手順を変更する場合、例えば、撮像画素 セルの画素信号を一連で読み出すための分割条件等を変更する場合には、それに 応じて適宜制御を変更する必要があることは当然である。
[0089] また、上記記載以外の点においても、本発明の趣旨の範囲で適宜変形、修正、追 加等を行っても本願特許請求の範囲に包含されることは明らかである。

Claims

請求の範囲
[1] 標準的な画像フレーム周波数よりも高 、周波数を有する情報光の発光源を含む撮 像範囲を撮影し、その撮像範囲の画像情報と前記情報光による特定情報とを取得す るための撮像装置において、多数の画素セルが 2次元状に配列された画素セルァレ ィ部を含むイメージセンサ力 画素信号を読み出す信号読み出し方法であって、 全画素セルの中で前記情報光を受光している 1乃至複数の受信画素セルと、それ 以外の撮像画素セルとを識別し、
1フレーム画像を構成するための撮像画素セルによる画素信号を順次読み出す第
1期間を複数に分割し、その分割された各期間の間に前記受信画素セルによる画素 信号を読み出すための第 2期間をそれぞれ挿入し、
前記分割された全ての期間において全撮像画素セルによる画素信号を一巡読み 出す期間中に、同一の受信画素セルによる画素信号の読み出しを複数回繰り返し 行うようにしたことを特徴とする撮像装置の信号読み出し方法。
[2] 前記画素セルアレイ部は画素セルが m行 X n列（m、 nはともに 2以上の整数）の 2 次元状に配列されたものであり、前記第 1期間の分割単位はその画素セルアレイ部 の行単位であることを特徴とする請求項 1に記載の撮像装置の信号読み出し方法。
[3] 前記画素セルアレイ部は画素セルが m行 X n列（m、 nはともに 2以上の整数）の 2 次元状に配列されたものであり、前記第 1期間の分割単位は画素セルアレイ部の 1行 をさらに複数に分割したものであることを特徴とする請求項 1に記載の撮像装置の信 号読み出し方法。
[4] 前記分割単位に含まれる撮像画素セルの画素信号の読み出しと、 1個の情報光に 対する情報光受光領域に含まれる 1行分の受信画素セルの画素信号の読み出しと を交互に行うことを特徴とする請求項 2又は 3に記載の撮像装置の信号読み出し方 法。
[5] 1個の情報光受光領域に含まれる受信画素セルの個数が多 、場合に、一部の受 信画素セルの間弓 Iき処理を実行する又は複数の受信画素セルの画素信号を統合す ることにより、読み出し対象の受信画素セルの数を減らすことを特徴とする請求項 1〜 4のいずれかに記載の撮像装置の信号読み出し方法。
[6] 請求項 1〜5のいずれかに記載の信号読み出し方法により画素信号を順次読み出 すための撮像装置であって、
a) m行 X n列 (m、 nはともに 2以上の整数)の 2次元状に配列され、それぞれ受光し た光を電荷信号に変換して蓄積する光電変換部を含む複数の画素セル力 成る画 素セルアレイ部と、
b)全画素セルの中で前記情報光を受光している 1乃至複数の受信画素セルの位 置を識別する情報を記憶しておくための位置情報記憶手段と、
c)前記画素セルアレイ部に対して或る読み出し行が指定されたときに、前記位置情 報記憶手段の情報に基づいてその行の各列毎に受信画素セルである力否かを判定 し、その判定結果を元にその列の画素セルによる画素信号を読み出す力否かを決め る列選択情報を生成する列選択制御手段と、
d)該列選択制御手段により読み出し選択が為されな力つた列の画素セルに出力電 流が流れることを禁止する出力電流制御手段と、
を備えることを特徴とする撮像装置。
[7] 前記位置情報記憶手段は 1個の情報光受光領域に対応付けて 1行 X n列又は p行
(2≤p<m) X n列の記憶領域を有し、画素セルアレイ部の各列にその情報受光領 域に属する受信画素セルが存在するか否かによって該列に対応する 1ビットの記憶 領域の二値信号レベルを定めることを特徴とする請求項 6に記載の撮像装置。
[8] 前記画素セルアレイ部内の各画素セルはその内部の光電変換部の蓄積電位を画 素単位でリセットするための電位リセット手段を備えることを特徴とする請求項 6又は 7 に記載の撮像装置。
[9] 前記電位リセット手段は、画素セルアレイ部の列毎に配設された列リセット信号線を 介して供給される列リセット信号によりオン Zオフするトランジスタと、画素セルアレイ 部の行毎に配設された行リセット信号線を介して供給される行リセット信号によりオン Zオフするトランジスタとが直列接続されたものであることを特徴とする請求項 8に記 載の撮像装置。
[10] 画素セルアレイ部の列毎に、該列に含まれる複数の画素セルから出力される画素 信号をその信号レベルに応じて異なるゲインで以て増幅する可変ゲイン増幅手段を 備えることを特徴とする請求項 6〜9のいずれかに記載の撮像装置。
PCT/JP2005/018321 2004-11-02 2005-10-04 撮像装置及びその信号読み出し方法 WO2006048987A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05790503A EP1816858A1 (en) 2004-11-02 2005-10-04 Image pickup device, and its signal reading method
US11/666,424 US7728893B2 (en) 2004-11-02 2005-10-04 Imaging device and method for reading signals from such device
JP2006542312A JP4539924B2 (ja) 2004-11-02 2005-10-04 撮像装置及びその信号読み出し方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-319259 2004-11-02
JP2004319259 2004-11-02

Publications (1)

Publication Number Publication Date
WO2006048987A1 true WO2006048987A1 (ja) 2006-05-11

Family

ID=36319002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/018321 WO2006048987A1 (ja) 2004-11-02 2005-10-04 撮像装置及びその信号読み出し方法

Country Status (5)

Country Link
US (1) US7728893B2 (ja)
EP (1) EP1816858A1 (ja)
JP (1) JP4539924B2 (ja)
KR (1) KR101213450B1 (ja)
WO (1) WO2006048987A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142738A (ja) * 2005-11-17 2007-06-07 Sony Corp 物理情報取得方法および物理情報取得装置
JP2008035278A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
US7502053B2 (en) 2005-07-29 2009-03-10 Japan Science And Technology Agency Information-processing device and information-processing system
JP2009118311A (ja) * 2007-11-08 2009-05-28 Canon Inc 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
JP2009171161A (ja) * 2008-01-15 2009-07-30 Canon Inc 撮像システム及び撮像システムの制御方法
US7944482B2 (en) 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
WO2011149080A1 (ja) * 2010-05-28 2011-12-01 浜松ホトニクス株式会社 固体撮像装置
JP2011250274A (ja) * 2010-05-28 2011-12-08 Hamamatsu Photonics Kk 固体撮像装置
JP2011250275A (ja) * 2010-05-28 2011-12-08 Hamamatsu Photonics Kk 固体撮像装置
WO2015008584A1 (ja) * 2013-07-16 2015-01-22 株式会社 東芝 カメラ装置、室内撮像システム、室内情報取得装置
JP2015046861A (ja) * 2012-12-27 2015-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645956B2 (ja) * 2006-03-24 2011-03-09 富士フイルム株式会社 映像配信遠隔制御装置、映像配信システムおよび映像配信方法
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
KR101075747B1 (ko) * 2009-01-14 2011-10-24 삼성전자주식회사 휴대 단말의 위치 측정 방법 및 이를 위한 실내 조명 장치
US8184135B2 (en) * 2009-05-04 2012-05-22 Broadcom Corporation Adaptive control of display characteristics of pixels of a LCD based on video content
US8203580B2 (en) * 2009-05-04 2012-06-19 Broadcom Corporation Adaptive control of LCD display characteristics based on video content
US8653435B2 (en) * 2010-09-06 2014-02-18 King Abdulaziz City Science And Technology Time-delay integration imaging method and apparatus using a high-speed in-pixel analog photon counter
US8338773B2 (en) * 2010-09-06 2012-12-25 King Abdulaziz City for Science and Technology. High-speed analog photon counter and method
JP5637816B2 (ja) * 2010-10-29 2014-12-10 キヤノン株式会社 撮像装置、放射線撮影装置および放射線撮影システム
US9112606B2 (en) * 2010-12-15 2015-08-18 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving data using visible light communication
US9052497B2 (en) 2011-03-10 2015-06-09 King Abdulaziz City For Science And Technology Computing imaging data using intensity correlation interferometry
US9099214B2 (en) 2011-04-19 2015-08-04 King Abdulaziz City For Science And Technology Controlling microparticles through a light field having controllable intensity and periodicity of maxima thereof
GB2492387B (en) * 2011-06-30 2017-07-19 Cmosis Nv Pixel array with individual exposure control for a pixel or pixel region
US20130002901A1 (en) * 2011-07-01 2013-01-03 Athreya Madhu S Fine grained power gating of camera image processing
US9053993B2 (en) 2011-10-07 2015-06-09 Semiconductor Components Industries, Llc Imaging systems with selectable column power control
CN107104731B (zh) 2012-05-24 2019-09-03 松下电器（美国）知识产权公司 信息通信方法、信息通信装置及记录介质
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
CN104919727B (zh) * 2012-12-27 2018-11-23 松下电器（美国）知识产权公司 信息通信方法、信息通信装置、以及记录介质
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
WO2014103157A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 映像表示方法
SG11201400255RA (en) * 2012-12-27 2014-10-30 Panasonic Ip Corp America Information communication method
WO2014103156A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
US9087349B2 (en) * 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
EP2940889B1 (en) 2012-12-27 2019-07-31 Panasonic Intellectual Property Corporation of America Visible-light-communication-signal display method and display device
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
SG11201505027UA (en) 2012-12-27 2015-07-30 Panasonic Ip Corp America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
CN104885381B (zh) 2012-12-27 2017-12-19 松下电器（美国）知识产权公司 信息通信方法
US9413950B2 (en) * 2013-01-25 2016-08-09 Hewlett-Packard Development Company, L.P. Determining a device identifier from a light signal emitted by a device
US9918029B2 (en) 2013-03-14 2018-03-13 Semiconductor Components Industries, Llc Imaging systems with switchable column power control
JP6183802B2 (ja) * 2013-06-04 2017-08-23 ユニバーリンク株式会社 可視光受信方法及びその装置
US9131159B2 (en) * 2013-06-28 2015-09-08 Nokia Technologies Oy Optical field communication
JP5769032B2 (ja) * 2013-07-29 2015-08-26 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
WO2016075948A1 (ja) 2014-11-14 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法、再生装置およびプログラム
US11475701B2 (en) * 2020-06-30 2022-10-18 Focaltech Systems Co., Ltd. Fingerprint display device and integration integrated circuit and method for driving the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530437A (ja) * 1991-07-22 1993-02-05 Fuotoron:Kk 画像記録装置
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2003345376A (ja) * 2002-05-24 2003-12-03 Sony Corp 情報処理装置および方法、送信装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2003348390A (ja) * 2002-05-29 2003-12-05 Sony Corp 情報処理装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2005278038A (ja) * 2004-03-26 2005-10-06 Sony Corp 撮像装置
JP2005295381A (ja) * 2004-04-02 2005-10-20 Sony Corp 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389347B2 (ja) 2000-05-15 2009-12-24 ソニー株式会社 演算機能付き撮像素子
US20040101309A1 (en) * 2002-11-27 2004-05-27 Beyette Fred R. Optical communication imager
JP2004334269A (ja) 2003-04-30 2004-11-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4269220B2 (ja) 2003-05-20 2009-05-27 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2004349766A (ja) 2003-05-20 2004-12-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7528872B2 (en) * 2003-08-04 2009-05-05 Olympus Corporation Image apparatus, driving method, and camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530437A (ja) * 1991-07-22 1993-02-05 Fuotoron:Kk 画像記録装置
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2003345376A (ja) * 2002-05-24 2003-12-03 Sony Corp 情報処理装置および方法、送信装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2003348390A (ja) * 2002-05-29 2003-12-05 Sony Corp 情報処理装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2005278038A (ja) * 2004-03-26 2005-10-06 Sony Corp 撮像装置
JP2005295381A (ja) * 2004-04-02 2005-10-20 Sony Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OIKE Y. ET AL: "Fukugo Jitsugen Kan'oyo ni Muketa Kosoku Teikido ID Beacon Kenshutsu Image sensor. (Smart Image with High-speed High-sensitivity.....)", EIZO JOHO MEDIA GAKKAISHI, vol. 58, no. 6, 1 June 2004 (2004-06-01), pages 835 - 841, XP002996769 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502053B2 (en) 2005-07-29 2009-03-10 Japan Science And Technology Agency Information-processing device and information-processing system
JP2007142738A (ja) * 2005-11-17 2007-06-07 Sony Corp 物理情報取得方法および物理情報取得装置
US9113102B2 (en) 2005-11-17 2015-08-18 Sony Corporation Method of acquiring physical information and physical information acquiring device
US8665352B2 (en) 2005-11-17 2014-03-04 Sony Corporation Method of acquiring physical information and physical information acquiring device
JP2008035278A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置
US7944482B2 (en) 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
US8493485B2 (en) 2007-01-31 2013-07-23 Canon Kabushiki Kaisha Image pickup device, image pickup apparatus, control method, and program
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
US8890988B2 (en) 2007-01-31 2014-11-18 Canon Kabushiki Kaisha Image pickup device, including gain-setting of pixel arrays, image pickup apparatus, control method, and program
JP2009118311A (ja) * 2007-11-08 2009-05-28 Canon Inc 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
JP2009171161A (ja) * 2008-01-15 2009-07-30 Canon Inc 撮像システム及び撮像システムの制御方法
JP2011250275A (ja) * 2010-05-28 2011-12-08 Hamamatsu Photonics Kk 固体撮像装置
US8797437B2 (en) 2010-05-28 2014-08-05 Hamamatsu Photonics K.K. Solid-state imaging device
JP2011250274A (ja) * 2010-05-28 2011-12-08 Hamamatsu Photonics Kk 固体撮像装置
WO2011149080A1 (ja) * 2010-05-28 2011-12-01 浜松ホトニクス株式会社 固体撮像装置
JP2015046861A (ja) * 2012-12-27 2015-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法
WO2015008584A1 (ja) * 2013-07-16 2015-01-22 株式会社 東芝 カメラ装置、室内撮像システム、室内情報取得装置
JP2015023306A (ja) * 2013-07-16 2015-02-02 株式会社東芝 カメラ装置、室内撮像システム、室内情報取得装置
CN105474621A (zh) * 2013-07-16 2016-04-06 株式会社东芝 摄像机装置、室内摄像系统及室内信息取得装置
US10194081B2 (en) 2013-07-16 2019-01-29 Toshiba Lifestyle Products & Services Corporation Camera device, compartment-interior imaging system, and compartment-interior-information acquisition device

Also Published As

Publication number Publication date
JPWO2006048987A1 (ja) 2008-05-22
KR20070089139A (ko) 2007-08-30
EP1816858A1 (en) 2007-08-08
KR101213450B1 (ko) 2012-12-18
JP4539924B2 (ja) 2010-09-08
US7728893B2 (en) 2010-06-01
US20080297615A1 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
WO2006048987A1 (ja) 撮像装置及びその信号読み出し方法
JP6969539B2 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
US10277843B2 (en) Oversampled image sensor with conditional pixel readout
JP5456971B2 (ja) 列バッファ、ｃｍｏｓ画像センサ及びデジタルビデオカメラ
US6498576B1 (en) Selective analog-to-digital conversion for a digital pixel sensor
US8089522B2 (en) Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
JP6029286B2 (ja) 光電変換装置および撮像システム
US20090237545A1 (en) Solid-state image pickup device and control method thereof
US20100277607A1 (en) Image sensor with high dynamic range imaging and integrated motion detection
US20100321532A1 (en) Solid-state imaging device, imaging system, and method of driving solid-state imaging device
JP2007173950A (ja) 固体撮像装置及びその画素平均化処理方法
JP2008167004A (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2011097646A (ja) 固体撮像装置及びその画素平均化処理方法
JP2010259027A (ja) 固体撮像装置
CN111149352B (zh) 摄像设备及其控制方法
JP2016042634A (ja) 固体撮像装置及び撮像システム
JP4661212B2 (ja) 物理情報取得方法および物理情報取得装置並びに半導体装置
JP2001257946A (ja) 固体撮像装置及び撮像システム
JP2008060708A (ja) 固体撮像装置及びこれを用いた撮像装置
CN101841633B (zh) 图像传感器的读出电路
US7718945B2 (en) Solid state imaging device including photodetecting section, row selecting section for changing the electric charge accumulating time of each row, and signal processing section
JP2014053838A (ja) 固体撮像装置
JP6809526B2 (ja) 撮像素子および撮像装置
JP2011010370A (ja) 物理情報取得方法および物理情報取得装置
Lee et al. Dual-Sensitivity Mode CMOS Image Sensor for Wide Dynamic Range Using Column Capacitors

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11666424

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006542312

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020077012203

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2005790503

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005790503

Country of ref document: EP