WO2007017920A1 - 撮像素子 - Google Patents

撮像素子 Download PDF

Info

Publication number
WO2007017920A1
WO2007017920A1 PCT/JP2005/014403 JP2005014403W WO2007017920A1 WO 2007017920 A1 WO2007017920 A1 WO 2007017920A1 JP 2005014403 W JP2005014403 W JP 2005014403W WO 2007017920 A1 WO2007017920 A1 WO 2007017920A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel group
selection circuit
image
line
imaging device
Prior art date
Application number
PCT/JP2005/014403
Other languages
English (en)
French (fr)
Inventor
Kazunari Ueda
Tomokuni Iijima
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to PCT/JP2005/014403 priority Critical patent/WO2007017920A1/ja
Publication of WO2007017920A1 publication Critical patent/WO2007017920A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Definitions

  • an imaging device including a compound eye imaging device an imaging device having left and right imaging systems with a device for suppressing deterioration in image quality (see, for example, Patent Document 1), supports a large number of light receiving elements.
  • An imaging device having a microlens that can be used see, for example, Patent Document 2
  • an imaging device that suppresses the synchronization of pixel data output by two imaging element forces for example, see Patent Document 3 are known. I'm being beaten.
  • imaging devices equipped with a compound eye image sensor those using a MOS type two-dimensional sensor have pixel groups corresponding to four lenses, respectively, and color separation is performed on each of these pixel groups.
  • a filter is provided, more specifically, an R (red) filter and a B (blue) filter are arranged in a diagonal sequence, and two G (green) filters are arranged in a diagonal sequence ( For example, see Patent Document 4 and Patent Document 5).
  • the imaging device having the four pixel groups described above synthesizes color signals for the subjects obtained from the respective pixel groups, and the synthesized image data is the image data for the subject.
  • Patent Document 1 JP-A-8-214213
  • Patent Document 4 Japanese Patent Laid-Open No. 2002-158929 (Fig. 9)
  • Patent Document 5 Japanese Unexamined Patent Application Publication No. 2002-171430 (Fig. 4)
  • the cause of this deviation is that each color signal is generated with a time lag between the exposure start time of the upper pixel group and the exposure start time of the lower pixel group. It is because it will be done.
  • the subject is not accurately captured in the image obtained by combining the image 55G0, the image 55R, the image 55B, and the image 55G1.
  • the first selection circuit that selects the lines that constitute the upper pixel group and the second selection circuit that selects the lines that constitute the lower pixel group are sequentially arranged on the lines to be selected. Since the electrical signals obtained from the selected pixels are processed at the same time, there is no time lag between the exposure time of the upper pixel group and the exposure time of the lower pixel group, thereby reducing image distortion when moving objects are imaged. be able to.
  • FIG. 1 is a schematic diagram showing the configuration of the image sensor according to the embodiment of the present invention.
  • pixel group 11 includes pixel group 11G0 with a G (green) filter, pixel group 11R with an R (red) filter, and pixel groups 11B and G (green) with a B (blue) filter.
  • It consists of a pixel group 11G1 provided with a filter.
  • the pixel group 11R and the pixel group 11B may be interchanged regardless of the positions where the pixel group 11G0, the pixel group 11R, the pixel group 11B, and the pixel group 11G1 are arranged.
  • members such as a diaphragm are omitted.
  • FIG. 2 is a diagram for explaining the image sensor according to the first embodiment of the present invention.
  • FIG. 2 (A) is a block diagram of the image sensor according to the first embodiment of the present invention. is there.
  • the image sensor shown in FIG. 2 (A) has the pixel group 11 shown in FIG. 1, and electrical signals (color signals) obtained from pixels (light receiving elements) arranged for each line constituting the pixel group 11 Is processed with a rolling shutter method.
  • the image sensor shown in FIG. 2 (A) is a vertical selection circuit that sequentially selects lines at regular time intervals with respect to the drawing among the lines constituting the pixel group 11GO and the pixel group 11R.
  • the horizontal selection Z selects the pixel to the left and right with respect to the drawing.
  • a vertical selection circuit 12b that sequentially selects lines from top to bottom and a pixel that is selected by the vertical selection circuit 12b from the left to the right in the drawing are selected.
  • Horizontal selection Z Horizontal transfer circuit 13b and horizontal selection
  • the Z horizontal transfer circuit 13a and the horizontal selection Z are provided with an AD conversion output block 14 that AD converts an electric signal that can also obtain the pixel power selected by the horizontal transfer circuit 13b and outputs it to other circuits.
  • the vertical selection circuit 12a and the horizontal selection Z horizontal transfer circuit 13a are for realizing the first selection circuit of the present invention.
  • the vertical selection circuit 12b and the horizontal selection Z horizontal transfer circuit 13b are This is for realizing the second selection circuit of the present invention.
  • the vertical selection circuit 12a selects and starts the top line among the lines constituting the pixel group 11GO and the pixel group 11R.
  • the vertical selection circuit 12b selects the top line among the lines constituting the pixel group 11B and the pixel group 11G1.
  • the horizontal selection Z horizontal transfer circuit 13a and the horizontal selection Z horizontal transfer circuit 13b are arranged such that the pixels arranged in the lines selected by the vertical selection circuit 12a and the vertical selection circuit 12b are left to right within the exposure time. Then, the electrical signal obtained from the selected pixel is processed, and the vertical selection circuit 12a and the vertical selection circuit 12b repeat the operation of sequentially selecting the next line.
  • the images of the upper pixel group, the pixel group 11GO and the pixel group 11R are picked up as an image 15GO and an image 15R, respectively.
  • images taken from the pixel group 11B and the pixel group 11G1, which are the lower pixel groups are an image 15B and an image 15G1, respectively.
  • the image 15GO and the image 15R, and the image 15B and the image 15G1 are in the same position with no image shift.
  • the vertical selection circuit 12a and the vertical selection circuit 12b have been described as selecting and starting the respective highest-level lines, the line from which selection is to be started can be arbitrarily designated. For example, only the vertical selection circuit 12b may select and start from the line next to the top line.
  • the vertical selection circuit 12a and the vertical selection circuit 12b sequentially select the horizontal selection Z horizontal transfer circuit 13a and the horizontal selection circuit. Since the selection Z horizontal transfer circuit 13b simultaneously starts the processing of the electrical signal obtained from the pixels arranged in the selected line, the time lag between the exposure time of the upper pixel group and the exposure time of the lower pixel group This eliminates image distortion when moving images are captured. Can be reduced.
  • FIG. 3A is a block diagram of an image sensor according to the second embodiment of the present invention.
  • the image sensor shown in FIG. 3 (A) has the pixel group 11 shown in FIG. 1, and an electrical signal (color signal) obtained from pixels (light receiving elements) arranged for each line constituting the pixel group 11 Is processed with a rolling shutter method.
  • the vertical selection circuit 22 selects the highest line among the lines constituting the pixel group 11B and the pixel group 11G1, and the horizontal selection Z horizontal transfer circuit 23 is selected by the vertical selection circuit 22. Select the pixels arranged in the selected line from left to right within the exposure time, To process the electrical signal obtained.
  • the vertical selection circuit 22 selects the line with the highest line force among the lines constituting the pixel group 11GO and the pixel group 11R, and the horizontal selection Z horizontal transfer circuit 23 performs the same processing.
  • the vertical selection circuit 22 selects the line of the highest power order among the lines constituting the pixel group 11B and the pixel group 11G1, and thereafter repeats the operation of alternately selecting the lines.
  • the time lag shown in FIG. 3B is a fixed time from when the vertical selection circuit 22 selects one line to the next line.
  • the images taken when the pixel group 11GO and the pixel group 11R as the upper pixel group are captured are an image 15GO and an image 15R, respectively.
  • images taken from the pixel group 11B and the pixel group 11G1, which are the lower pixel groups are an image 15B and an image 15G1, respectively.
  • Image 15GO, Image 15R, Image 15B, and Image 15G1 are hardly misaligned. Misaligned image data can be corrected by a correction process described later.
  • the vertical selection circuit 22 sequentially and alternately selects the lines constituting the upper and lower pixel groups, and the horizontal Since the selection Z horizontal transfer circuit 23 processes electrical signals obtained from the pixels arranged on the alternately selected lines, there is almost no time lag between the exposure time of the upper pixel group and the exposure time of the lower pixel group. Thus, it is possible to reduce image distortion when moving images are captured.
  • FIG. 4 is a diagram for explaining an electronic device such as a mobile phone equipped with the image sensor according to the embodiment of the present invention.
  • the CPU 44 controls the image data that has been subjected to image processing by the normal camera signal processing unit 43. For example, the CPU 44 displays the image data as an image on the display or transfers the image data to a personal computer or the like according to the operation of the user who uses the electronic device.
  • the image sensor according to the embodiment of the present invention can reduce parallax error and improve parallax correction when mounted on an electronic device such as a mobile phone.
  • the present invention can reduce the distortion of an image when a moving object is imaged, and has an effect of combining high speed and low cost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　動体を撮像した場合に画像のゆがみを低減させることができると共に高速化および低コスト化を兼ね備えた撮像素子およびこの撮像素子を搭載した電子機器を提供すること。 　画素群１１Ｇ０および画素群１１Ｒを構成するラインのうち上から下に順次ラインを選択する垂直選択回路１２ａと、垂直選択回路１２ａが選択したラインのうち左から右に画素を選択する水平選択／水平転送回路１３ａと、画素群１１Ｂおよび画素群１１Ｇ１を構成するラインのうち上から下に順次ラインを選択する垂直選択回路１２ｂと、垂直選択回路１２ｂが選択したラインのうち左から右に画素を選択する水平選択／水平転送回路１３ｂとを備え、垂直選択回路１２ａと垂直選択回路１２ｂとが順次選択し、水平選択／水平転送回路１３ａと水平選択／水平転送回路１３ｂとが、選択されたラインに配置された画素から得られる電気信号の処理の開始を同時に行うよう構成する。

Description

明 細 書
撮像素子
技術分野
[0001] 本発明は、 MOS (Metal Oxide Semiconductor)型の複眼の撮像素子に関し、およ びこの複眼の撮像素子を搭載した電子機器に関する。
背景技術
[0002] 従来、複眼の撮像素子を備えた撮像装置としては、画質の劣化を抑える工夫を施 した左右の撮像系統を有する撮像装置 (例えば、特許文献 1参照)、多数の受光素 子に対応する微小レンズを備えた撮像装置 (例えば、特許文献 2参照）、および、 2つ の撮像素子力 出力される画素データの同期ずれを抑止する撮像装置 (例えば、特 許文献 3参照)などが知られて ヽる。
[0003] さらに、複眼の撮像素子を備えた撮像装置のうち MOS型の 2次元センサを利用す るものは、 4つのレンズにそれぞれ対応する画素群を有し、これらの画素群それぞれ に色分解フィルタが設けられ、より詳細には、 R (赤)フィルタと B (青)フィルタとが対角 に連続して配置され、 2つの G (緑)フィルタが対角に連続して配置される（例えば、特 許文献 4参照、特許文献 5参照)。また、上述した 4つの画素群を有する撮像装置は 、各画素群それぞれから得られた被写体に対する色信号を合成し、合成したものが 被写体に対する画像データとなる。
特許文献 1 :特開平 8— 214213号公報
特許文献 2：特開 2001— 61109号公報
特許文献 3：特開 2001— 251610号公報
特許文献 4 :特開 2002— 158929号公報 (第 9図）
特許文献 5：特開 2002— 171430号公報 (第 4図）
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、上述した従来の装置では、動体を撮像した場合に被写体の像を正確 に撮像できなくなるという問題があった。以下、図 5を参照して詳細に説明する。 図 5は、従来の撮像素子について説明するための図である。図 5 (A)に示した撮像 素子は、色分解フィルタが設けられた画素群 51を有し、画素群 51は、図示しない 4 つのレンズにそれぞれ対応する Gフィルタを設けた画素群 51G0、 Rフィルタを設けた 画素群 51R、 Bフィルタを設けた画素群 51B、 Gフィルタを設けた画素群 51G1からな る。
[0005] また、この撮像素子は、画素群 51を構成するライン毎に配置された画素から得られ る電気信号をローリングシャッター式で処理し、図面に対して上から下にラインを順次 選択する垂直選択回路 52と、垂直選択回路 52が選択したラインのうち図面に対して 左から右に画素を選択する水平選択 Z水平転送回路 53と、水平選択 Z水平転送回 路 53が選択した画素力 得られる電気信号を AD (Analog to Digital)変換して他の 回路に出力する AD変換出力ブロック 54とを備えている。
[0006] 図 5 (A)に示した撮像素子力 図 5 (B)に示すように、図面に対して右力 左に移動 している動体（図では車両)を撮像したとき、垂直選択回路 52が上力も下にラインを 順次選択するため、上部の画素群である画素群 51G0、画素群 51Rから撮像された ときのそれぞれの画像 55G0および画像 55Rと、下部の画素群である画素群 51B、 画素群 51G1から撮像されたときのそれぞれの画像 55Bおよび画像 55G1とにずれ が生じてしまう。
[0007] このずれの原因は、図 5 (B)のグラフに示すように上部の画素群の露光開始時間と 下部の画素群の露光開始時間とにタイムラグを伴ったままそれぞれの色信号が生成 されてしまうためである。また、画像 55G0、画像 55R、画像 55B、および画像 55G1 を合成した画像には、被写体が正確に写ることはない。
[0008] より詳細に説明すれば、上述した従来の複眼の撮像素子を備えた撮像装置におい ては、各画素群へ結像される画像には視差が含まれており、この視差量を基に補正 量を算出し、その補正量を用いて各画素群の画像を合成して合成画像を生成する。 従来の撮像装置は、この補正処理において、例えば、視差量を算出するために画素 群 51G0および画素群 51G1の画像を比較する場合に、画素群 51G0および画素群 51G1それぞれに結像される画像に視差以外のパラメータ、例えば、タイムラグなど が含まれると、従来の撮像装置は、視差量を正確に算出することができず、画像を合 成する処理において画像に色にじみなどが発生して合成画像の画像品位が大幅に 劣化する。
[0009] 従って、画像品位の劣化を避けるためにはグロ一ノ レシャッターが可能な撮像素 子、例えば CCDセンサなどを撮像装置に使用することが考えられるが、コストが増加 すると共に、周辺部品増加による実装エリアの増加といった課題が生じる。このため、 コスト的にも優位である MOS型の撮像素子を採用することが望ましいが、 MOS型撮 像素子ではその原理上、動物体を撮影したときの画像のゆがみが課題となる。
[0010] さらに、上述した従来の複眼の撮像素子を備えた撮像装置においては、各画素群 へ被写体を結像させる光学系が各々必要である。この光学系としては、ブラスティック レンズやガラスレンズなどがある力 それぞれ形状などにばらつきがあり、さら〖ここれら の光学系を撮像素子に実装する場合にもやはり実装ずれなどが想定される。このた め、各画素群に結像される被写体の位置にもずれが生じると共に、上述で説明した 補正処理に影響を与え、合成画像の画質劣化の原因のひとつとなる。
[0011] 従って、従来の撮像装置は、光学系のばらつきによる各画素群での被写体の結像 位置のばらつきを補正するために、読み出し開始位置を任意に設定することが必要 となる。例えば、図 6に示すように、光学系のばらつきにより視差量を求める際に使用 する画素群 51GOおよび画素群 51G1の領域に結像された画像がそれぞれ画像 6a 、 6bになったとする。（図 6中、画素群 51GOおよび画素群 51G1領域内に記載して ある +記号は、それぞれの光学系の中心位置を示してあり、この例では、画素群 51 G1用光学系の中心位置力 画素群 51GO用光学系の中心位置と比較して下方向に ずれていることを示している。 )
[0012] 画像 6a、 6b力らゎ力るように、画素群 51GOおよび画素群 51G1それぞれから光学 系のばらつきを除いた画像を生成するための最適なスタートライン位置が異なり、スタ 一トライン位置がずれたままでは正確な視差量を算出することができな 、。このため、 光学系のばらつきを補正する必要がある。
[0013] 本発明は、従来の問題を解決するためになされたもので、動体を撮像した場合に 画像のゆがみを低減させることができると共に高速ィ匕および低コストィ匕を兼ね備えた 撮像素子およびこの撮像素子を搭載した電子機器を提供するものである。 課題を解決するための手段
[0014] 本発明の撮像素子は、少なくとも上部および下部のレンズにそれぞれ対応した上 部および下部の画素群を有し、前記上部および前記下部の画素群を構成するライン 毎に配置された画素から得られる電気信号を処理する撮像素子であって、前記上部 のレンズに対応した前記上部の画素群を構成するラインを選択する第 1の選択回路 と、前記下部のレンズに対応した前記下部の画素群を構成するラインを選択する第 2 の選択回路とを備え、前記第 1の選択回路および前記第 2の選択回路は、順次選択 するラインに配置された画素から得られる電気信号の処理の開始を同時に行う構成 を有している。
[0015] この構成により、上部の画素群を構成するラインを選択する第 1の選択回路と下部 の画素群を構成するラインを選択する第 2の選択回路とが、順次選択するラインに配 置された画素から得られる電気信号を同時に処理するため、上部の画素群の露光時 間と下部の画素群の露光時間とにタイムラグがなくなることで、動体を撮像した場合 に画像のゆがみを低減させることができる。
[0016] また、本発明の撮像素子における前記第 1の選択回路および前記第 2の選択回路 は、それぞれ選択を開始するラインを任意に指定可能である構成を有して 、る。
[0017] この構成により、第 1の選択回路および第 2の選択回路は、それぞれ選択を開始す るラインを任意に指定可能であるため、光学系のばらつきによって上部の画素群と下 部の画素群とから撮像された被写体の上下方向の位置が微細にずれてしまう画素群 の場合、開始するラインを適切に調節して合成画像の画質劣化を防止することがで きる。
[0018] また、本発明の撮像素子における前記第 1の選択回路および前記第 2の選択回路 は、それぞれ選択を終了するラインを任意に指定可能である構成を有して 、る。
[0019] この構成により、終了するラインを任意に設定できるようにすることにより、上下の画 素群力 得られるデータ量を揃えることができる。
[0020] 本発明の撮像素子は、少なくとも上部および下部のレンズにそれぞれ対応した上 部および下部の画素群を有し、前記上部および前記下部の画素群を構成するライン 毎に配置された画素から得られる電気信号を処理する撮像素子であって、前記上部 の画素群を構成するラインと前記下部の画素群を構成するラインとを交互に選択す る選択回路とを備え、前記選択回路は、順次かつ交互に選択したラインに配置され た画素から得られる電気信号を処理する構成を有している。
[0021] この構成により、選択回路が、上部および下部の画素群を構成するラインとを交互 に選択し、交互に選択したラインに配置された画素から得られる電気信号を処理する ため、上部の画素群の露光時間と下部の画素群の露光時間とにタイムラグがほぼな くなることで、動体を撮像した場合に画像のゆがみを低減させることができる。
[0022] また、本発明の撮像素子における前記選択回路は、交互に選択を開始するライン を任意に指定可能である構成を有して 、る。
[0023] この構成により、選択回路が交互に選択を開始するラインを任意に指定可能である ため、光学系のばらつきによって上部の画素群と下部の画素群とから撮像された被 写体の上下方向の位置が微細にずれてしまう画素群の場合、開始するラインを適切 に調節して合成画像の画質劣化を防止することができる。
[0024] また、本発明の撮像素子における前記選択回路は、選択を終了するラインを任意 に指定可能である構成を有して 、る。
[0025] この構成により、終了するラインを任意に設定できるようにすることにより、上下の画 素群力 得られるデータ量を揃えることができる。
発明の効果
[0026] 以上のように本発明は、動体を撮像した場合に画像のゆがみを低減させるできると 共に高速ィ匕および低コストィ匕を兼ね備えた撮像素子およびこの撮像素子を搭載した 電子機器を提供するものである。
図面の簡単な説明
[0027] [図 1]本発明の実施の形態に係る撮像素子に係る構成を示した模式図
[図 2]本発明の第 1の実施の形態に係る撮像素子について説明するための図
[図 3]本発明の第 2の実施の形態に係る撮像素子について説明するための図 圆 4]本発明の実施の形態に係る撮像素子を搭載した携帯電話機等の電子機器に ついて説明するための図
[図 5]従来の撮像素子について説明するための図 圆 6]各画素群カゝら生成された画像を示す図
符号の説明
6 画像
10 レンズ
11、 51 画素群
12、 22、 52 垂直選択回路
13、 23、 53 水平選択 Z水平転送回路
14、 54 AD変換出力ブロック
15、 55 画像
40 撮像素子
41 視差補正画像処理専用 IC
42 フレームメモリ
43 通常カメラ用信号処理部
44 CPU
発明を実施するための最良の形態
[0029] 以下、本発明の実施の形態に係る撮像素子について、図面を参照して説明する。
[0030] 図 1は、本発明の実施の形態に係る撮像素子の構成を示した模式図である。図 1に おいて、画素群 11は、 G (緑)フィルタを設けた画素群 11G0、 R (赤）フィルタを設け た画素群 11R、 B (青)フィルタを設けた画素群 11B、 G (緑)フィルタを設けた画素群 11G1からなる。レンズ 10a、レンズ 10b、レンズ 10c、およびレンズ lOdは、通過する 光線を画素群 11に結像するようそれぞれ画素群 11G0、画素群 11R、画素群 11B、 画素群 11G1に集光する。
[0031] なお、画素群 11G0、画素群 11R、画素群 11B、および画素群 11G1を配置する位 置については問わず、画素群 11Rと画素群 11Bが入れ替わつていてもよい。また、 図 1では、絞りなどの部材を省略して図示している。
[0032] (本発明の第 1の実施の形態）
図 2は、本発明の第 1の実施の形態に係る撮像素子について説明するための図で ある。また、図 2 (A)は、本発明の第 1の実施の形態に係る撮像素子のブロック図で ある。図 2 (A)に示した撮像素子は、図 1に示した画素群 11を有し、画素群 11を構成 するライン毎に配置された画素 (受光素子)から得られる電気信号 (色信号)をローリ ングシャッター式で処理する。
[0033] 図 2 (A)に示した撮像素子は、画素群 11GOおよび画素群 11Rを構成するラインの うち図面に対して上力 下に一定の時間間隔で、順次ラインを選択する垂直選択回 路 12aと、垂直選択回路 12aが選択したラインのうち図面に対して左力 右に画素を 選択する水平選択 Z水平転送回路 13aと、画素群 11Bおよび画素群 11G1を構成 するラインのうち図面に対して上から下に順次ラインを選択する垂直選択回路 12bと 、垂直選択回路 12bが選択したラインのうち図面に対して左から右に画素を選択する 水平選択 Z水平転送回路 13bと、水平選択 Z水平転送回路 13aおよび水平選択 Z 水平転送回路 13bが選択した画素力も得られる電気信号を AD変換して他の回路に 出力する AD変換出力ブロック 14とを備えている。
[0034] なお、垂直選択回路 12aおよび水平選択 Z水平転送回路 13aは、本発明の第 1の 選択回路を実現するためのものであり、垂直選択回路 12bおよび水平選択 Z水平転 送回路 13bは、本発明の第 2の選択回路を実現するためのものである。
[0035] 以上のように構成された本発明の第 1の実施の形態に係る撮像素子の動作につい て以下に説明する。
[0036] 図 2 (A)に示した撮像素子が、図 2 (B)に示すように、図面に対して右力も左に移動 している動体（図では車両)を撮像したとき、垂直選択回路 12aは、上部の画素群で ある画素群 11GOおよび画素群 11Rを構成するラインを上力 下に順次選択し、垂 直選択回路 12bもまた、下部の画素群である画素群 11Bおよび画素群 11G1を構成 するラインを上力 下に順次選択し、垂直選択回路 12aおよび垂直選択回路 12bは 、順次選択するラインに配置された画素から得られる電気信号の処理の開始を同時 に行う。
[0037] このため、図 2 (B)のグラフに示すように、垂直選択回路 12aは、画素群 11GOおよ び画素群 11Rを構成するラインのうち最上位のラインを選択して開始すると同時に、 垂直選択回路 12bは、画素群 11Bおよび画素群 11G1を構成するラインのうち最上 位のラインを選択する。 [0038] 続いて、水平選択 Z水平転送回路 13aおよび水平選択 Z水平転送回路 13bは、 垂直選択回路 12aおよび垂直選択回路 12bが選択したラインに配置された画素を露 光時間内に左から右に選択し、選択した画素から得られる電気信号を処理し、垂直 選択回路 12aおよび垂直選択回路 12bは、次のラインを順次選択する動作を繰り返 す。
[0039] また、図 2 (B)に示すように、上部の画素群である画素群 11GOおよび画素群 11R 力ゝら撮像されたときの画像は、それぞれ画像 15GOおよび画像 15Rになる。また、下 部の画素群である画素群 11Bおよび画素群 11G1から撮像されたときの画像は、そ れぞれ画像 15Bおよび画像 15G1になる。画像 15GOおよび画像 15R、並びに画像 15Bおよび画像 15G1は、画像のずれが生じず同じ位置にある。
[0040] その後、画像 15GO、画像 15R、画像 15B、および画像 15G1が合成されると、合 成された画像には、被写体が正確に撮像されて ヽる。
[0041] なお、垂直選択回路 12aおよび垂直選択回路 12bは、それぞれの最上位のライン を選択して開始すると説明したが、選択を開始するラインを任意に指定可能である。 例えば、垂直選択回路 12bだけ、最上位のラインの次のラインから選択して開始する ようにしてもよい。
[0042] ここで、開始するラインを任意に指定可能とする効果としては、光学系のばらつきに よって画素群 11GOおよび画素群 11Rと画素群 11Bおよび画素群 11G1と力 撮像 された被写体の上下方向の位置が微細にずれる画素群 11になってしまうことがある ため、このような画素群 11に対して開始するラインを適切に調節して合成画像の画 質劣化を防止することができる。また、本発明の第 1の実施の形態に係る撮像素子は 、垂直選択回路 12aおよび垂直選択回路 12bがそれぞれ選択を終了するラインも任 意に指定可能であり、上下の画素群力 得られるデータ量を揃えることができる。
[0043] 以上説明したように、本発明の第 1の実施の形態に係る撮像素子は、垂直選択回 路 12aと垂直選択回路 12bとが順次選択し、水平選択 Z水平転送回路 13aと水平選 択 Z水平転送回路 13bとが、選択されたラインに配置された画素から得られる電気 信号の処理の開始を同時に行うため、上部の画素群の露光時間と下部の画素群の 露光時間とにタイムラグがなくなることで、動体を撮像した場合に画像のゆがみを低 減させることができる。
[0044] (本発明の第 2の実施の形態）
図 3は、本発明の第 2の実施の形態に係る撮像素子について説明するための図で ある。
また、図 3 (A)は、本発明の第 2の実施の形態に係る撮像素子のブロック図である。 図 3 (A)に示した撮像素子は、図 1に示した画素群 11を有し、画素群 11を構成する ライン毎に配置された画素 (受光素子)から得られる電気信号 (色信号)をローリング シャッター式で処理する。
[0045] 図 3 (A)に示した撮像素子は、画素群 11を構成するラインのうち図面に対して上か ら下に一定の時間間隔で、順次かつ交互にラインを選択する垂直選択回路 22aと、 垂直選択回路 22が選択したラインのうち図面に対して左から右に画素を選択する水 平選択 Z水平転送回路 23と、水平選択 Z水平転送回路 23が選択した画素力 得ら れる電気信号を AD変換して他の回路に出力する AD変換出力ブロック 14とを備え ている。なお、垂直選択回路 22および水平選択 Z水平転送回路 23は、本発明の選 択回路を実現するためのものである。
[0046] 以上のように構成された本発明の第 2の実施の形態に係る撮像素子の動作につい て以下に説明する。
[0047] 図 3 (A)に示した撮像素子力 図 3 (B)に示すように、図面に対して右力 左に移動 している動体（図では車両)を撮像したとき、垂直選択回路 22は、上部の画素群であ る画素群 11GOおよび画素群 11Rを構成するラインと下部の画素群である画素群 11 Bおよび画素群 11G1を構成するラインとを順次かつ交互に選択する。
[0048] このため、図 3 (B)のグラフに示すように、垂直選択回路 22は、画素群 11GOおよび 画素群 11Rを構成するラインのうち最上位のラインを選択し、水平選択 Z水平転送 回路 23は、垂直選択回路 22が選択したラインに配置された画素を露光時間内に左 から右に選択し、選択した画素から得られる電気信号を処理する。
[0049] 次に、垂直選択回路 22は、画素群 11Bおよび画素群 11G1を構成するラインのう ち最上位のラインを選択し、水平選択 Z水平転送回路 23は、垂直選択回路 22が選 択したラインに配置された画素を露光時間内に左から右に選択し、選択した画素か ら得られる電気信号を処理する。
[0050] 引き続き、垂直選択回路 22は、画素群 11GOおよび画素群 11Rを構成するライン のうち最上位のライン力 次のラインを選択し、水平選択 Z水平転送回路 23は同様 に処理し、次に、垂直選択回路 22は、画素群 11Bおよび画素群 11G1を構成するラ インのうち最上位力 次のラインを選択し、以降、交互にラインを交互に選択する動 作を繰り返す。なお、図 3 (B)に示したタイムラグは、垂直選択回路 22があるラインか ら次のラインとを選択するまでの一定の時間である。
[0051] また、図 3 (B)に示すように、上部の画素群である画素群 11GOおよび画素群 11R 力ゝら撮像されたときの画像は、それぞれ画像 15GOおよび画像 15Rになる。また、下 部の画素群である画素群 11Bおよび画素群 11G1から撮像されたときの画像は、そ れぞれ画像 15Bおよび画像 15G1になる。画像 15GOおよび画像 15Rと画像 15Bお よび画像 15G1とは、画像のずれがほとんど生じない。ずれのある画像データついて は、後述する補正処理で補正ができる。
[0052] その後、画像 15GO、画像 15R、画像 15B、および画像 15G1が合成されると、合 成された画像には、被写体が正確に撮像されて ヽる。
[0053] なお、垂直選択回路 22は、上部および下部の最上位のラインを選択して開始する と説明したが、選択を開始するラインを任意に指定可能である。例えば、垂直選択回 路 22は、上部については最上位のライン力も選択して開始し、下部については最上 位の次のライン力も選択するようにしてもよい。また、本発明の第 2の実施の形態に係 る撮像素子は、垂直選択回路 22が選択を終了するラインも任意に指定可能であり、 上下の画素群力 得られるデータ量を揃えることができる。
[0054] 以上説明したように、本発明の第 2の実施の形態に係る撮像素子は、垂直選択回 路 22が上部および下部の画素群を構成するラインとを順次かつ交互に選択し、水平 選択 Z水平転送回路 23が交互に選択したラインに配置された画素から得られる電 気信号を処理するため、上部の画素群の露光時間と下部の画素群の露光時間とに タイムラグがほぼなくなることで、動体を撮像した場合に画像のゆがみを低減させるこ とがでさる。
[0055] 本発明の実施の形態に係る撮像素子で上下分割読み出しを用いた場合の、最終 構成画像をシユミレーシヨンした結果、 CCDセンサを用いた場合のそれと比較し、同 等な画像品位が得られた。
[0056] また、本発明の実施の形態に係る他の形態について以下に説明する。図 4は、本 発明の実施の形態に係る撮像素子を搭載した携帯電話機等の電子機器について説 明するための図である。
[0057] 図 4に示した電子機器は、本発明の実施の形態で説明した撮像素子 40と、撮像素 子 40から出力されたデジタルの画像データについて補正処理を施す視差補正画像 処理専用 IC41と、画像データを一時的に蓄積するフレームメモリ 42と、視差補正画 像処理専用 IC41によって画像処理が施された画像データにつ ヽて画像処理を施す 通常カメラ用信号処理部 43と、電子機器を制御する CPU44とを備えて 、る。
[0058] 視差補正画像処理専用 IC41は、撮像素子 40から出力された画素群 11G0、画素 群 11R、画素群 11B、画素群 11G1毎の画像データをフレームメモリ 42に蓄積する。 なお、画素群 11と被写体の距離が遠い程、画素群 11G0、画素群 11R、画素群 1 IB 、画素群 11G1それぞれの視差は無くなり、画素群 11と被写体の距離が近い程、視 差は大きくなる。このため、視差補正画像処理専用 IC41は、フレームメモリ 42に蓄積 された画素群 11毎の画像データにある視差を補正し、補正した画素群 11毎の画像 データを合成するなどの補正処理を行う。
[0059] 通常カメラ用信号処理部 43は、視差補正画像処理専用 IC41によって補正処理が 施された画像データに対し、 YZC、 AWB (auto white balance)、および AE (Automa tic Exposure)などに関わる画像処理を施す。
[0060] CPU44は、通常カメラ用信号処理部 43によって画像処理が施された画像データ を制御する。例えば、 CPU44は、電子機器を使用するユーザの操作に応じて画像 データを画像としてディスプレイに表示したり、画像データをパソコン等に転送する。
[0061] 以上説明したように、本発明の実施の形態に係る撮像素子は、携帯電話機等の電 子機器に搭載される場合、視差誤差を低減し、視差補正を向上することができる。 産業上の利用可能性
[0062] 以上のように、本発明は、動体を撮像した場合に画像のゆがみを低減させることが できると共に高速ィ匕および低コストィ匕を兼ね備えるという効果を有し、デジタルカメラ や携帯電話機等を含む電子機器に有用である

Claims

請求の範囲
[1] 少なくとも上部および下部のレンズにそれぞれ対応した上部および下部の画素群 を有し、前記上部および前記下部の画素群を構成するライン毎に配置された画素か ら得られる電気信号を処理する撮像素子であって、
前記上部のレンズに対応した前記上部の画素群を構成するラインを選択する第 1 の選択回路と、
前記下部のレンズに対応した前記下部の画素群を構成するラインを選択する第 2 の選択回路とを備え、
前記第 1の選択回路および前記第 2の選択回路は、順次選択するラインに配置さ れた画素から得られる電気信号の処理の開始を同時に行うことを特徴とする撮像素 子。
[2] 前記第 1の選択回路および前記第 2の選択回路は、それぞれ選択を開始するライ ンを任意に指定可能であることを特徴とする請求項 1に記載の撮像素子。
[3] 前記第 1の選択回路および前記第 2の選択回路は、それぞれ選択を終了するライ ンを任意に指定可能であることを特徴とする請求項 1に記載の撮像素子。
[4] 少なくとも上部および下部のレンズにそれぞれ対応した上部および下部の画素群 を有し、前記上部および前記下部の画素群を構成するライン毎に配置された画素か ら得られる電気信号を処理する撮像素子であって、
前記上部の画素群を構成するラインと前記下部の画素群を構成するラインとを交互 に選択する選択回路とを備え、
前記選択回路は、順次かつ交互に選択したラインに配置された画素力 得られる 電気信号を処理することを特徴とする撮像素子。
[5] 前記選択回路は、交互に選択を開始するラインを任意に指定可能であることを特 徴とする請求項 4に記載の撮像素子。
[6] 前記選択回路は、選択を終了するラインを任意に指定可能であることを特徴とする 請求項 4に記載の撮像素子。
[7] 請求項 1から請求項 6までの何れかに記載の撮像素子を搭載した電子機器。
PCT/JP2005/014403 2005-08-05 2005-08-05 撮像素子 WO2007017920A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/014403 WO2007017920A1 (ja) 2005-08-05 2005-08-05 撮像素子

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/014403 WO2007017920A1 (ja) 2005-08-05 2005-08-05 撮像素子

Publications (1)

Publication Number Publication Date
WO2007017920A1 true WO2007017920A1 (ja) 2007-02-15

Family

ID=37727117

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/014403 WO2007017920A1 (ja) 2005-08-05 2005-08-05 撮像素子

Country Status (1)

Country Link
WO (1) WO2007017920A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2630786A1 (en) * 2010-10-24 2013-08-28 Opera Imaging B.V. System and method for imaging using multi aperture camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217206A (ja) * 1993-01-20 1994-08-05 Olympus Optical Co Ltd 固体撮像装置
JP2001339646A (ja) * 2000-05-30 2001-12-07 Canon Inc 画像処理装置
JP2002158929A (ja) * 2000-11-16 2002-05-31 Canon Inc 固体撮像素子、固体撮像装置及び撮像システム
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2003319265A (ja) * 2002-04-26 2003-11-07 Shimadzu Corp 二次元画像検出装置及びこれを備えた二次元画像撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217206A (ja) * 1993-01-20 1994-08-05 Olympus Optical Co Ltd 固体撮像装置
JP2001339646A (ja) * 2000-05-30 2001-12-07 Canon Inc 画像処理装置
JP2002158929A (ja) * 2000-11-16 2002-05-31 Canon Inc 固体撮像素子、固体撮像装置及び撮像システム
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2003319265A (ja) * 2002-04-26 2003-11-07 Shimadzu Corp 二次元画像検出装置及びこれを備えた二次元画像撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2630786A1 (en) * 2010-10-24 2013-08-28 Opera Imaging B.V. System and method for imaging using multi aperture camera
JP2013546249A (ja) * 2010-10-24 2013-12-26 オペラ イメージング ベスローテン フェンノートシャップ 複数開口のカメラを用いる撮像システムおよび撮像方法

Similar Documents

Publication Publication Date Title
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US7986343B2 (en) Multi-eye imaging apparatus
US8854483B2 (en) Image processing device, image processing method and image processing program
JP5744263B2 (ja) 撮像装置及びその合焦制御方法
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
US9237319B2 (en) Imaging device and automatic focus adjustment method
US7916191B2 (en) Image processing apparatus, method, program, and recording medium
JP2011044801A (ja) 画像処理装置
US20140022439A1 (en) Imaging device and computer readable medium
JP6372983B2 (ja) 焦点検出装置およびその制御方法、撮像装置
KR20090049540A (ko) 촬상장치 및 촬상 데이터 보정 방법과 프로그램
WO2013027513A1 (ja) 撮像装置及びシェーディング補正方法
TW201143384A (en) Camera module, image processing apparatus, and image recording method
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US8970747B2 (en) Imaging device
US8144217B2 (en) Image sensing apparatus
JP5425343B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US20240015406A1 (en) Image sensor and imaging device
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
US7489356B2 (en) Image pickup apparatus
JP2006157432A (ja) 立体画像撮影装置及び立体画像の撮影方法
WO2007017920A1 (ja) 撮像素子
EP4333445A1 (en) Electronic device and control method therefor
JP2020136965A (ja) 撮像装置およびその制御方法
JP2009017513A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05768619

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP