JP5406768B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP5406768B2 JP5406768B2 JP2010068222A JP2010068222A JP5406768B2 JP 5406768 B2 JP5406768 B2 JP 5406768B2 JP 2010068222 A JP2010068222 A JP 2010068222A JP 2010068222 A JP2010068222 A JP 2010068222A JP 5406768 B2 JP5406768 B2 JP 5406768B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image data
- imaging device
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
この発明は撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof.
画像データによって表される画像中の動き(移動体の存在)を検出する動き検出処理が知られている。特許文献1には異なるタイミングで撮像された画像間の差分をとることで得られる差信号によって動きを検出するものが記載されている。異なるタイミングで撮像された2つの画像が用いられるので,速い速度で急に移動体が現れた場合には動きの検出に失敗するおそれがある。 2. Description of the Related Art A motion detection process for detecting a motion (existence of a moving object) in an image represented by image data is known. Japanese Patent Application Laid-Open No. H10-228561 describes a technique for detecting motion using a difference signal obtained by taking a difference between images taken at different timings. Since two images picked up at different timings are used, if a moving body suddenly appears at a high speed, there is a possibility that the detection of the movement may fail.
特許文献2には,CMOS撮像素子において1行ごとに互いに相反する走査方向から画素信号を読出して奇数行領域の画像と偶数行領域の画像を得,この奇数行領域の画像と偶数行領域の画像(1フレーム分の画像)を利用して物体の移動を解析するものが記載されている。特許文献2では1行ごとに走査方向を異ならせているので,たとえば,カラーフィルタとしてベイヤ配列のフィルタが用いられていると,奇数行領域の画像と偶数行領域の画像は赤色(R)成分または青色(B)成分のいずれかが欠落したものになる。奇数行領域の画像と偶数行領域の画像を合成して1フレーム分の画像とした場合に色ずれが発生してしまう。
In
この発明は,異なるタイミングで撮像された複数のフレーム画像を用いることなく動き(移動体)を検出できるようにし,かつ色ずれの少ないカラー画像を取得できるようにすることを目的とする。 An object of the present invention is to be able to detect a motion (moving body) without using a plurality of frame images taken at different timings and to obtain a color image with little color shift.
この発明による撮像装置は,水平方向および垂直方向に多数の光電変換素子が配列された画素領域において水平方向画素ごとの撮像信号を垂直方向に順次走査して上記水平方向画素ごとの撮像信号の出力を繰返すローリングシャッタ方式の固体撮像素子を備えたものであって,共通する撮像対象範囲を撮像可能に設けられ,かつ互いに異なる方向を走査方向とする2つの固体撮像素子,上記2つの固体撮像素子のそれぞれの受光面上に形成されたカラーフィルタ,上記2つの固体撮像素子から出力される第1走査画像データおよび第2走査画像データによって表される第1走査画像および第2走査画像の間の差分を算出して差分画像データを生成する差分画像データ生成手段,ならびに上記差分画像データ生成手段によって生成された差分画像データを用いて撮像対象範囲内における動きの有無および動きの方向の少なくともいずれか一方を検出する動き検出手段を備えるものである。 The image pickup apparatus according to the present invention sequentially scans an image pickup signal for each horizontal pixel in the pixel region in which a large number of photoelectric conversion elements are arranged in the horizontal direction and the vertical direction, and outputs the image pickup signal for each horizontal pixel. , Two solid-state imaging devices that are provided so as to be able to image a common imaging target range and have different scanning directions as scanning directions, and the two solid-state imaging devices described above Between the first scan image and the second scan image represented by the color filters formed on the respective light receiving surfaces, the first scan image data and the second scan image data output from the two solid-state image sensors. Difference image data generating means for calculating difference and generating difference image data, and difference image generated by the difference image data generating means Data using the one in which a motion detecting means for detecting at least one of the presence or absence of movement and movement direction of the imaging target range.
この発明は上記撮像装置に適した制御方法も提供する。この方法は,水平方向および垂直方向に多数の光電変換素子が配列された画素領域において水平方向画素ごとの撮像信号を垂直方向に順次走査して上記水平方向画素ごとに撮像信号の出力を繰返すローリングシャッタ方式の固体撮像素子を備えた撮像装置の制御方法であって,上記撮像装置は,共通する撮像対象範囲を撮像可能に設けられ,かつ互いに異なる方向を走査方向とする2つの固体撮像素子,および上記2つの固体撮像素子のそれぞれの受光面上に形成されたカラーフィルタを備えており,差分画像データ生成手段が,上記2つの固体撮像素子から出力される第1走査画像データおよび第2走査画像データによって表される第1走査画像および第2走査画像の間の差分を算出して差分画像データを生成し,動き検出手段が,生成した差分画像データを用いて撮像対象範囲内における動きの有無および動きの方向の少なくともいずれか一方を検出するものである。 The present invention also provides a control method suitable for the imaging apparatus. This method is a rolling method in which an imaging signal for each horizontal pixel is sequentially scanned in a vertical direction in a pixel region in which a large number of photoelectric conversion elements are arranged in a horizontal direction and a vertical direction, and output of the imaging signal is repeated for each horizontal pixel. A method for controlling an image pickup apparatus including a shutter-type solid-state image pickup element, wherein the image pickup apparatus is provided so as to be able to pick up a common image pickup target range and has different directions as scanning directions, And color filters formed on the respective light-receiving surfaces of the two solid-state image sensors, and the differential image data generation means outputs the first scan image data and the second scan output from the two solid-state image sensors. The difference between the first scanned image and the second scanned image represented by the image data is calculated to generate difference image data, and the motion detection means generates And it detects at least one of the presence or absence of movement and movement direction of the imaging target range by using the differential image data.
この発明の撮像装置に用いられる固体撮像素子は,水平方向画素(水平方向の1行分の画素)ごとの撮像信号を垂直方向に順番に走査して水平方向画素ごとの撮像信号の出力を繰返すローリングシャッタ方式のものである。行ごとに露光タイミングが異なるので,1フレーム分の画像において最初に出力された撮像信号によって表されるライン画像と最後に出力された撮像信号によって表されるライン画像は撮像タイミングにずれがある。 The solid-state imaging device used in the imaging apparatus of the present invention repeats the output of the imaging signal for each horizontal pixel by sequentially scanning the imaging signal for each horizontal pixel (pixels for one horizontal row) in the vertical direction. A rolling shutter type. Since the exposure timing is different for each row, the line image represented by the imaging signal output first in the image for one frame and the line image represented by the imaging signal output lastly have a difference in imaging timing.
この発明によると,ローリングシャッタ方式の撮像装置において発生する撮像タイミングのずれが利用される。すなわち,ローリングシャッタ方式の撮像装置によって動きを伴う被写体(移動体)を撮像すると,撮像画像には,動き(移動体)が,それを表す画像部分(移動体画像)の画像歪みまたは画像の拡大もしくは縮小として現れる。歪み画像または拡大画像もしくは縮小画像は差分画像においても少なくともその一部が残るので,これにより動きの存在を検出することができ,異なる撮像タイミングで2フレーム以上の画像を連続して撮像しなくても動きを検出することができる。また,2つの固体撮像素子はその走査方向が互いに異なるので,第1走査画像および第2走査画像において移動体画像の形状は互いに異なって現れる。その結果,差分画像を用いることで,撮像対象範囲内における動きの方向も検出に加えることができる。さらに,2つの固体撮像素子のそれぞれの受光面上にはカラーフィルタが形成されているから,第1走査画像および第2走査画像のそれぞれによって1フレーム分のカラー画像を構成することができる。色ずれの少ない2つのカラー画像を取得(記録,表示など)することもできる。 According to the present invention, a shift in imaging timing that occurs in a rolling shutter type imaging apparatus is used. That is, when a subject (moving body) accompanied by a motion is imaged by a rolling shutter imaging device, the motion (moving body) in the captured image is caused by image distortion of the image portion (moving body image) representing the image or enlargement of the image. Or it appears as a reduction. Since at least part of the distorted image, enlarged image, or reduced image remains in the difference image, it is possible to detect the presence of motion, and it is not necessary to continuously capture images of two or more frames at different imaging timings. Even motion can be detected. Moreover, since the scanning directions of the two solid-state imaging devices are different from each other, the shapes of the moving body images appear different from each other in the first scanning image and the second scanning image. As a result, by using the difference image, the direction of movement within the imaging target range can also be added to the detection. Further, since color filters are formed on the light receiving surfaces of the two solid-state imaging devices, a color image for one frame can be formed by each of the first scanning image and the second scanning image. It is also possible to acquire (record, display, etc.) two color images with little color misregistration.
好ましくは,上記2つの固体撮像素子の走査方向が互いに逆向きである。すなわち,第1走査画像データによって表される第1走査画像が上から下に向けた走査によって構成される画像であれば,第2走査画像データによって表される第2走査画像は下から上に向けた走査によって構成される画像になる。 Preferably, the scanning directions of the two solid-state imaging devices are opposite to each other. That is, if the first scanned image represented by the first scanned image data is an image configured by scanning from the top to the bottom, the second scanned image represented by the second scanned image data is from the bottom to the top. The image is formed by directed scanning.
2つの固体撮像素子の走査方向を互いに逆向きにするには次の2つの方法がある。 There are the following two methods for making the scanning directions of the two solid-state imaging devices opposite to each other.
その一は,同一の走査方向を有する2つの固体撮像素子を互いに上下反転した状態となるように撮像装置に設けることである。その二は,走査方向を制御可能なアドレス回路を有する固体撮像素子を用いることである。いずれのやり方でも,2つの固体撮像素子の走査方向を互いに逆向きにすることができる。 One is to provide the image pickup apparatus with two solid-state image pickup elements having the same scanning direction so as to be turned upside down. The second is to use a solid-state imaging device having an address circuit capable of controlling the scanning direction. In any manner, the scanning directions of the two solid-state imaging devices can be reversed.
上記2つの固体撮像素子は互いに異なる視点から上記撮像対象範囲を撮像するものであってもよいし(いわゆる複眼),同一視点から上記撮像対象範囲を撮像するものであってもよい(いわゆる単眼)。 The two solid-state imaging devices may capture the imaging target range from different viewpoints (so-called compound eyes), or may capture the imaging target range from the same viewpoint (so-called monocular). .
2つの固体撮像素子の走査方向を互いに逆向きにすることによって,差分画像は動きの方向に応じて特有の形状を持つものになる。一実施態様では,上記動き検出手段は,上記差分画像データによって表される差分画像中に現れる画像形状にしたがって動きの有無および動きの方向の少なくともいずれか一方を検出する。 By making the scanning directions of the two solid-state imaging elements opposite to each other, the difference image has a specific shape according to the direction of movement. In one embodiment, the motion detection means detects at least one of the presence / absence of motion and the direction of motion according to the image shape appearing in the difference image represented by the difference image data.
水平方向(水平方向画素の配列に平行な方向,左右方向)の動きがあると,差分画像に水平方向の画像歪みが現れる。一実施態様では,水平方向への動きに応じて上記差分画像に現れる水平方向の画像歪みにしたがって,動きの有無および動きの方向(水平方向の動き)の少なくともいずれか一方が検出される。 If there is a movement in the horizontal direction (direction parallel to the horizontal pixel array, left-right direction), horizontal image distortion appears in the difference image. In one embodiment, at least one of the presence / absence of motion and the direction of motion (horizontal motion) is detected in accordance with horizontal image distortion appearing in the difference image according to the motion in the horizontal direction.
垂直方向(上下方向)の動きがあると差分画像に垂直方向の画像の拡大が現れる。他の実施態様では,垂直方向への動きに応じて上記差分画像に現れる垂直方向の画像拡大にしたがって,動きの有無および方向(垂直方向の動き)の少なくともいずれか一方が検出される。 When there is a movement in the vertical direction (up and down direction), an enlargement of the image in the vertical direction appears in the difference image. In another embodiment, at least one of presence / absence of motion and direction (vertical motion) is detected according to the vertical image enlargement appearing in the difference image in accordance with the vertical motion.
複眼の撮像装置の場合,前後方向(撮像装置に近づくまたは遠ざかる方向)に動きがあると,差分画像に水平方向の画像歪みが現れる。他の実施態様では,水平方向および前後方向への動きに応じて上記差分画像に現れる水平方向の画像歪みにしたがって,動きの有無および動きの方向(水平方向および前後方向のいずれかの方向の動き)の少なくともいずれか一方が検出される。 In the case of a compound-eye imaging device, if there is a movement in the front-rear direction (direction approaching or moving away from the imaging device), horizontal image distortion appears in the difference image. In another embodiment, the presence / absence of the motion and the direction of the motion (the motion in either the horizontal direction or the front-back direction) according to the horizontal image distortion appearing in the difference image according to the motion in the horizontal direction and the front-back direction. ) Is detected.
複眼の撮像装置の場合,撮像対象範囲内に動きが無い場合であっても差分画像が得られることがある。2つの固体撮像素子が互いに異なる視点から同一領域を撮像するように設けられていることによる,視差ずれが存在する場合である。 In the case of a compound eye imaging device, a difference image may be obtained even when there is no movement within the imaging target range. This is a case where there is a parallax shift due to the two solid-state imaging devices being provided so as to capture the same region from different viewpoints.
複眼の撮像装置において視差ずれがあると,差分画像中に視差ずれの存在を表す画像領域(視差ずれ領域)が現れる。一実施態様では,上記差分画像データによって表される差分画像に現れる視差ずれ領域に基づいて視差ずれの有無を検出する視差ずれ検出手段がさらに備えられる。 If there is a parallax shift in a compound-eye imaging device, an image area (parallax shift area) indicating the presence of the parallax shift appears in the difference image. In one embodiment, the apparatus further includes a parallax shift detection unit that detects the presence or absence of a parallax shift based on a parallax shift region that appears in the differential image represented by the differential image data.
水平方向(左右方向)に視差ずれがあると上記視差ずれ領域は水平方向(左右方向)に現れ,垂直方向(上下方向)に視差ずれがあると上記視差ずれ領域は垂直方向(上下方向)に現れる。一実施態様では,上記視差ずれ検出手段は,視差ずれの方向に応じて上記差分画像に現れる視差ずれ領域の位置の相違にしたがって視差ずれの有無および方向を検出する When there is a parallax shift in the horizontal direction (left-right direction), the parallax shift area appears in the horizontal direction (left-right direction), and when there is a parallax shift in the vertical direction (vertical direction), the parallax shift area is in the vertical direction (vertical direction). appear. In one embodiment, the parallax deviation detecting means detects the presence and direction of the parallax deviation according to the difference in the position of the parallax deviation area appearing in the difference image according to the direction of the parallax deviation.
他の実施態様では,上記第1走査画像データによって表される第1走査画像と上記第2走査画像データによって表される第2走査画像とを重合わせる重合わせ手段,上記重合わせ手段によって得られる重合わせ画像において,第1走査画像に含まれる移動体画像の重心位置と,第2走査画像における移動体画像の重心位置を算出する重心位置算出手段,上記視差ずれ検知手段によって検知された視差ずれ方向に沿う方向における,上記2つの重心位置の距離を算出する重心距離算出手段,ならびに上記重心距離算出手段によって算出された重心距離に応じて,上記重心距離が短くなる方向に第1走査画像および第2走査画像の少なくともいずれか一方を移動させる視差補正手段をさらに備えている。上述の視差ずれを無くすまたは少なくすることができる。 In another embodiment, the first scanning image represented by the first scanning image data and the second scanning image represented by the second scanning image data are overlapped by the overlapping means, and obtained by the overlapping means. In the superimposed image, the center of gravity position of the moving body image included in the first scanned image, the center of gravity position calculating means for calculating the center of gravity position of the moving body image in the second scanned image, and the disparity shift detected by the disparity shift detecting means. A center-of-gravity distance calculating unit that calculates a distance between the two center-of-gravity positions in a direction along the direction, and a first scanned image in a direction in which the center-of-gravity distance decreases according to the center-of-gravity distance calculated by the center-of-gravity distance calculating unit; It further includes parallax correction means for moving at least one of the second scanned images. The above-described parallax deviation can be eliminated or reduced.
好ましくは,上記2つの固体撮像素子のそれぞれから出力される水平方向画素ごとの撮像信号によって表されるライン画像の両方を互いに逆向きに走査することによって,1フレーム分の表示画像を生成する表示画像生成手段,および同一ラインの撮像信号が出力されるたびに,一方の固体撮像素子から出力された撮像信号と他方の固体撮像素子から出力された撮像信号を切換える信号切換え手段がさらに備えられる。2つの固体撮像素子のうちの一方は画像の上端から下端に向かう方向でライン画像データを出力し,他方の固体撮像素子は画像の下端から上端に向けてライン画像データを出力する。2つの固体撮像素子からのライン画像データの両方を用いて1フレーム分の表示画像を構成することによって画像更新時間の短縮を図ることができる。 Preferably, a display that generates a display image for one frame by scanning both line images represented by imaging signals for each horizontal pixel output from each of the two solid-state imaging elements in opposite directions. An image generating means and a signal switching means for switching between an imaging signal output from one solid-state imaging device and an imaging signal output from the other solid-state imaging device each time an imaging signal of the same line is output are further provided. One of the two solid-state imaging devices outputs line image data in a direction from the upper end to the lower end of the image, and the other solid-state imaging device outputs line image data from the lower end to the upper end of the image. By constructing a display image for one frame using both line image data from the two solid-state imaging devices, it is possible to shorten the image update time.
図1は,この発明の実施例を示すものでCMOSイメージセンサの模式図である。図1には,COMSイメージセンサの模式図とともにCMOSイメージセンサに含まれる4画素分の感光部(画素部の一部)の等価回路図も拡大されて示されている。図2はCMOSイメージセンサの受光面上に設けられるカラーフィルタの一例を示している。 FIG. 1 shows an embodiment of the present invention and is a schematic diagram of a CMOS image sensor. FIG. 1 is an enlarged view of an equivalent circuit diagram of a photosensitive portion (a part of the pixel portion) for four pixels included in the CMOS image sensor together with a schematic diagram of the COMS image sensor. FIG. 2 shows an example of a color filter provided on the light receiving surface of the CMOS image sensor.
CMOSイメージセンサ(以下,CMOSセンサという)1は,多数の感光部2Aが水平方向および垂直方向に配列された画素部(画素領域)2と,感光部2Aにおいて蓄積される信号電荷を読出すための垂直走査回路3および水平走査回路4と,信号電荷をディジタル画像データに変換するアナログ/デジタル変換器(以下,ADCという)5を備えている。この明細書において「水平方向」および「垂直方向」はCMOSイメージセンサ1における多数の感光部2Aの配列方向に対応する方向であって,互いに直交する方向を意味する。
A CMOS image sensor (hereinafter referred to as a CMOS sensor) 1 reads a pixel portion (pixel region) 2 in which a large number of
多数の感光部2Aのそれぞれは,フォトダイオード2a,増幅素子2bおよび行選択スイッチ2cを含む。各感光部2Aの上側に水平信号線2dが,右側に垂直信号線2eがそれぞれ設けられている。
Each of the multiple
この実施例のCMOSセンサ1は,水平方向の1走査ライン(1行ライン)ごとに順次シャッタを切るローリング・シャッタ方式のものである。垂直走査回路3が発生する行選択スイッチ・パルスによって1本の水平信号線2d上に行選択パルスが与えられることにより,1走査ライン分の多数の行選択スイッチ2cがオンされる。1走査ライン分のフォトダイオード2aに蓄積された信号電荷のそれぞれが増幅素子2bによって増幅された後に垂直信号線2eに送られる。垂直信号線2eに送られた信号電荷はADC5によってディジタル画像データに変換された後,水平走査回路4が発生する水平走査パルスによってCMOSセンサ1から出力される。1走査ライン分の画像(ライン画像)を表すディジタル画像データ(ライン画像データ)が垂直方向に走査されて,ライン画像データの出力が繰返されることによって1フレーム分の画像を表すディジタル画像データが得られる。
The
図2を参照して,CMOSセンサ1の受光面上に設けられるカラーフィルタ6はいわゆるベイヤ配列のカラーフィルタであり,赤色の光成分を透過する特性を有するフィルタ(Rの符号が付されている),緑色の光成分を透過する特性を有するフィルタ(Gの符号が付されている)および青色の光成分を透過する特性を有するフィルタ(Bの符号が付されている)を含む。奇数行(または偶数行)にRGRG・・の順番でRフィルタおよびGフィルタが並べられ,偶数行(または奇数行)にGBGB・・の順番で,GフィルタおよびBフィルタが,Gフィルタが列方向に連続しないようにして並べられている。
Referring to FIG. 2, color filter 6 provided on the light receiving surface of
図3は撮像装置の電気的構成を示すブロック図である。 FIG. 3 is a block diagram illustrating an electrical configuration of the imaging apparatus.
撮像装置10は2つのCMOSセンサ1A,1Bを含む。CMOSセンサ1A,1Bのそれぞれの受光面上に,上述したベイヤ配列のカラーフィルタ(図3において図示略)が形成されている。CMOSセンサ1A,1Bの前方にレンズ11A,11Bがそれぞれ設けられている。
The
被写体像を表す光線束がレンズ11A,11B,およびカラーフィルタを通してCMOSセンサ1A,Bの受光面上にそれぞれ入射する。CMOSセンサ1A,1Bの受光面上に被写体像が結像し,被写体像を表すカラーのディジタル画像データがCOMSセンサ1A,1Bから出力する。
Ray bundles representing the subject image are incident on the light receiving surfaces of the
CMOSセンサ1A,1Bはいずれも上述したCMOSセンサ1であるが,一方のCMOSセンサ1Bは,他方のCMOSセンサ1Aに対して180度回転させて(上下を逆さまにして)設けられており,CMOSセンサ1A,1Bは走査方向が逆向きになっている(上下反転している)。以下の説明では,CMOSセンサ1Aが第0行,第1行,第2行,・・・,第N−2行,第N−1行,第N行の順番でライン画像データを読出す(出力する)ものとし,この読出し方向を「順方向」と呼び,この順番の走査を「順方向走査」と言う。他方,CMOSセンサ1Bは第N行,第N−1行,第N−2行,・・・第2行,第1行,第0行の順番で走査ラインごとのライン画像データを読出すものとし,この読出し方向を「逆方向」と言い,この順番の走査を「逆方向走査」と言う。CMOSセンサ1Aによって得られるフレーム画像を順方向画像と呼び,CMOSセンサ1Bによって得られるフレーム画像を逆方向画像と呼ぶ。
The
順方向走査のCMOSセンサ1Aから出力されるカラーのライン画像データ,および逆方向走査のCMOSセンサ1Bから出力されるカラーのライン画像データは,信号処理装置12A,12Bのそれぞれに入力し,ここで所定の信号処理が行われる。信号処理装置12A,Bによって信号処理されたライン画像データはメイン・メモリ14に入力し,スタックされて1フレーム分の画像データとなる。
The color line image data output from the forward
メイン・メモリ14に並び替え制御回路13が接続されている。並び替え制御回路13は,逆方向走査のCMOSセンサ1Bから出力されたライン画像データの上下配列を並替える(ライン画像データのスタックの順序を上下逆にする)ものである。これにより,CMOSセンサ1A,1Bにおいて得られる多数のライン画像によって構成される順方向画像および逆方向画像の上下方向が一致する。
A
CMOSセンサ1A,1Bは撮像装置10において所定距離だけ離間して設けられている。CMOSセンサ1Aによって得られる順方向画像と,CMOSセンサ1Bによって得られる逆方向画像とから立体画像を得ることができる。立体画像は表示装置15の表示画面上に表示される。メモリ・カード16には順方向画像データおよび逆方向画像データの組が記録される。
The
撮像装置10はさらに動体検出回路17を備えている。動体検出回路17は走査方向が逆向きの2つのCMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像を用いてリアルタイムに撮像画像中に含まれる動き(移動体)の有無を検出し,かつその動きの方向を検出する回路である。また,順方向画像および逆方向画像間に視差ずれ(左右視差ずれおよび上下視差ずれ)が含まれる場合に,その視差の存在およびその方向を検出するものでもある。
The
図4は,左向きに移動する移動体Mを含む被写体を撮像装置10によって撮像したときに,CMOSセンサ1Aで得られる順方向画像中に含まれる移動体画像G1,およびCMOSセンサ1Bで得られる逆方向画像中に含まれる移動体画像G2を示している。分かりやすくするために,移動体Mを矩形形状によって表す。この明細書において「左向き」とはCMOSセンサ1A,1Bにおける水平方向(図1参照)に平行な方向であって,撮像装置から被写体(移動体M)を見たときの左方向を意味する。
FIG. 4 is obtained by the moving body image G 1 included in the forward image obtained by the
左向きに移動する移動体Mを撮像装置によって撮像すると,CMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像において,移動体Mを表す画像部分(移動体画像)に歪みが生じる。これは,上述したように,CMOSセンサ1A,1Bはローリングシャッタ方式のものであり,各走査ラインの撮像のタイミングが異なるからである。
When the moving body M that moves to the left is picked up by the imaging device, distortion occurs in the image portion (moving body image) representing the moving body M in the forward and backward images obtained by the
CMOSセンサ1Aは順方向走査であり,被写体はその上から下に向かう方向に順次撮像される。移動体Mの上端位置から下端位置に向かうにつれて撮像タイミングが遅延するので,CMOSセンサ1Aによって得られる移動体画像G1は,下端に向かうにつれて移動後の移動体Mを表すものになる。移動体Mの移動方向に歪んだ移動体画像G1が撮像される。
The
他方,CMOSセンサ1Bは逆方向走査であるから,被写体はその下から上に向かう方向に順次撮像される。CMOSセンサ1Bによって得られる移動体画像G2は,上端に向かうにつれて移動後の移動体Mを表すものになる。移動体Mの移動方向に歪んだ移動体画像G2が撮像される。
On the other hand, since the
移動体Mが右向きに移動している場合にも,順方向走査のCMOSセンサ1Aによって得られる移動体画像G1は下端に向かうにつれて移動後の移動体Mを表すものになり,移動体Mの移動方向に歪んだものになる(図4における移動体画像G2と同じ形状になる)。逆方向走査のCMOSセンサ1Bによって得られる移動体画像G2は上端に向かうにつれて移動後の移動体Mを表すものになり,移動体Mの移動方向に歪んだものになる(図4における被写体像G1と同じ形状になる)。「右向き」とはCMOSセンサ1A,1Bにおける水平方向(図1参照)に平行な方向であって,撮像装置から被写体(移動体M)を見たときの右方向を意味する。
When the moving object M is moving to the right also, mobile image G 1 obtained by the
CMOSセンサ1Aによって得られた移動体画像G1と,CMOSセンサ1Bによって得られた移動体画像G2とに基づいて,動体検出回路17によって動きの有無(移動体Mの存在の有無)が検出される。また,CMOSセンサ1Aによって得られる移動体画像G1の画像歪みの形状と,CMOSセンサ1Bによって得られる移動体画像G2の画像歪みの形状に基づいて,動きの方向(移動体Mの移動方向)も検出することができる(詳細は後述する)。
A moving object image G 1 obtained by the
図5は,上向きに移動する移動体Mを含む被写体を撮像装置10によって撮像したときに,CMOSセンサ1A,1Bのそれぞれによって得られる順方向画像および逆方向画像に含まれる移動体画像G3,G4を示している。この明細書において「上向き」とはCMOSセンサ1A,1Bにおける垂直方向(図1参照)に平行な方向であって,撮像装置から被写体(移動体M)を見たときの上方向を意味する。「下向き」は撮像装置から被写体(移動体M)を見たときの下方向を意味する。
FIG. 5 shows moving body images G 3 included in the forward image and the backward image obtained by the
上述のように,順方向走査のCMOSセンサ1Aは移動体Mの上端位置から下端位置に向かうにつれて撮像タイミングが遅延するので,上向きに移動する移動体Mを撮像すると上下方向に縮まった(つぶれた形状の)移動体画像G3が得られる。他方,逆方向走査のCMOSセンサ1Bでは移動体Mの下端位置から上端位置に向かうにつれて撮像タイミングが遅延するので,上下方向に拡大した(伸びた形状の)移動体画像G4が得られる。
As described above, since the imaging timing of the
移動体Mが下向きに移動している場合には,順方向走査のCMOSセンサ1Aから上下方向に拡大した移動体画像G3が得られ(図5に示す移動体画像G4と同じ形状),逆方向走査のCMOSセンサ1Bからは上下方向に縮小した移動体画像G4(図5に示す移動体画像G3と同じ形状)が得られる。
When the moving object M is moving downward, the moving object image G 3 which is enlarged from the
移動体Mが上下方向に移動すると,上述のように,CMOSセンサ1A,1Bによって得られる移動体Mを表す2つの移動体画像G3,G4は上下方向に拡大および縮小する。この場合にも,動体検出回路17によって,動きの有無(移動体Mの存在の有無)が検出され,かつ移動体画像G3,G4の画像形状(拡大形状および縮小形状)に基づいて,動きの方向(移動体Mの移動方向)も検出することができる(詳細は後述する)。
When the moving body M moves in the vertical direction, as described above, the two moving body images G 3 and G 4 representing the moving body M obtained by the
図6は,撮像装置10から離れる方向に移動する移動体Mを含む被写体を撮像装置10によって撮像したときに得られる順方向画像G5および逆方向画像G6を,CMOSセンサ1A,1B,およびレンズ11A,11Bと移動体Mとの位置関係を含めて示している。この明細書において撮像装置10に近づく方向を「前方向」と呼び,撮像装置から離れる方向を「後方向」と言う。
6, the forward image G 5 and the reverse image G 6 obtained when imaged by the
CMOSセンサ1A,1B(撮像装置)の左右方向または上下方向に移動体Mが移動する場合と異なり,移動体Mの移動方向がCMOSセンサ1A,1Bの受光面に垂直な方向(光軸方向)に沿って前後方向に移動する場合には,移動体画像に上述した画像歪みまたは拡大または縮小は発生しない。しかしながら,移動体Mの前後方向への移動がCMOSセンサ1A,1Bの光軸から外れた移動であれば,CMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像において,移動体画像には移動体Mが前後方向に移動することに伴う画像歪みが現れる。
Unlike the case where the moving body M moves in the horizontal direction or the vertical direction of the
移動体MがCMOSセンサ1Aの光軸に沿って遠ざかる方向に移動する場合(CMOSセンサ1Bの光軸に沿っていない移動である)を考える。この場合,CMOSセンサ1Aによって得られる移動体画像G5(左画像)には,移動体Mの移動による影響はほとんど生じない。他方,CMOSセンサ1Bによって得られる移動体画像G6(右画像)には,移動体Mの移動に伴って変化する視差に起因する画像歪みが現れる。すなわち,撮像装置から遠ざかる方向に移動体Mに移動すると,視差の変化によって,移動体Mは,CMOSセンサ1Bによって撮像される逆方向画像中において相対的に右向きに移動したかのように撮像される。左右方向に歪んだ移動体画像G6が得られる。
Consider a case where the moving body M moves in a direction away from the optical axis of the
逆に移動体Mが撮像装置に近づく方向に移動する場合であれば,移動体Mは,CMOSセンサ1Bによって撮像される逆方向画像中において相対的に左向きに移動したかのように撮像される。
On the contrary, if the moving body M moves in the direction approaching the imaging device, the moving body M is imaged as if it moved relatively leftward in the reverse direction image captured by the
左右方向に移動する移動体M(図4参照)と同様に,撮像装置の前後方向に移動する移動体Mが存在する場合も,CMOSセンサ1Aによって得られる移動体Mの移動体画像G5と,CMOSセンサ1Bによって得られる移動体Mの移動体画像G6とに基づいて,動体検出回路17によって動き(移動体M)の存在が検出される。また,CMOSセンサ1Aによって得られる移動体画像G1の画像歪みの形状と,CMOSセンサ1Bによって得られる移動体画像G2の画像歪みの形状に基づいて,動きの方向(移動体Mの移動方向)も検出することができる。
Like the moving body M to be moved in the lateral direction (see FIG. 4), even if the mobile M to move in the longitudinal direction of the image pickup apparatus is present, the moving object image G 5 of the moving object M obtained by the
左右方向の移動体Mの移動(図4)の場合も,前後方向の移動体Mの移動(図6)の場合も,順方向画像および逆方向画像の少なくとも一方において,移動体画像に左右方向に歪みが生じる。移動体Mの形状があらかじめ分かっていれば,移動体Mの形状と,順方向画像中の移動体画像の形状および逆方向画像中の移動体画像の形状を比較することで,移動体Mの移動方向が左右方向であるか,前後方向であるかを区別することができる。あらかじめ分かっている移動体Mの形状と2つの移動体画像の形状が異なっており,かつ移動体画像同士の形状が対称であれば移動体Mは左右方向に移動していることを検出できる。2つの移動体画像のいずれかのみが移動体Mの形状とほぼ一致している,または2つの移動体画像が対称の形状を持たなければ,移動体Mは前後方向に移動していることを検出することができる。 In the case of the movement of the moving body M in the left-right direction (FIG. 4) and the movement of the moving body M in the front-rear direction (FIG. 6), the moving body image has a horizontal direction in at least one of the forward image and the backward image. Distortion occurs. If the shape of the moving object M is known in advance, the shape of the moving object M is compared with the shape of the moving object image in the forward image and the shape of the moving object image in the backward image. It is possible to distinguish whether the moving direction is the left-right direction or the front-rear direction. If the shape of the moving object M known in advance is different from the shapes of the two moving object images and the shapes of the moving object images are symmetrical, it can be detected that the moving object M is moving in the left-right direction. If only one of the two moving body images substantially matches the shape of the moving body M, or if the two moving body images do not have a symmetric shape, it means that the moving body M has moved in the front-rear direction. Can be detected.
図7は動体検出回路17の処理手順の一例を示すフローチャートである。 FIG. 7 is a flowchart showing an example of the processing procedure of the moving object detection circuit 17.
動体検出回路17は順方向走査のCMOSセンサ1Aおよび逆方向走査のCMOSセンサ1Bから出力されてメイン・メモリ14に記憶された順方向画像データおよび逆方向画像データを用いて,次の5つの状態を検出する。
The moving object detection circuit 17 uses the forward image data and the backward image data output from the forward
(1)動き(移動体)が存在せず,かつ視差ずれもないこと
(2)左右方向または前後方向の動き(その方向に動く移動体)が存在すること
(3)上下方向の動き(その方向に動く移動体)が存在すること
(4)左右方向(水平方向)の視差ずれが存在すること
(5)上下方向(垂直方向)の視差ずれが存在すること
(1) There is no movement (moving body) and there is no parallax deviation. (2) There is movement in the left-right direction or the front-back direction (moving body moving in that direction). (3) Vertical movement (that (4) There is a parallax shift in the left-right direction (horizontal direction). (5) There is a parallax shift in the vertical direction (vertical direction).
図7を参照して,はじめに,CMOSセンサ1A,1Bによって得られた順方向画像および逆方向画像の差異を表す差分画像データが生成される(ステップ21)。以下の説明では,順方向画像を+(プラス)によって表し,逆方向画像を−(マイナス)によって表す。差分画像データによって表される差分画像Sは,順方向画像を構成する複数の画素のそれぞれ画素値(レベル・データ)から,逆方向画像の対応する位置の画素の画素値を減算することによって算出される。
Referring to FIG. 7, first, difference image data representing the difference between the forward image and the backward image obtained by
図8(A)〜(E)は,いずれも差分画像データによって表される移動体画像についての差分画像Sを示すもので,動体検出回路17によって検出される上述した5つの状態(態様)のそれぞれに対応する差分画像S(符号S1〜S5によって区別する)を示している。図8(A)〜(E)において実線で囲まれた範囲はCMOSセンサ1A,1Bのいずれかのみによって得られた移動体画像の部分を表す。破線部分はCMOSセンサ1A,1Bの両方で得られた移動体画像の部分を表す。以下の説明では図8(A)〜(E)を適宜参照する。
8A to 8E show the difference image S for the moving body image represented by the difference image data, and the five states (modes) detected by the moving body detection circuit 17 are shown in FIGS. Difference images S corresponding to the respective images (identified by reference signs S 1 to S 5 ) are shown. 8A to 8E, a range surrounded by a solid line represents a portion of the moving body image obtained by only one of the
差分画像Sに含まれるすべての画素値が加算され,その加算値と所定の閾値TH1とが比較される(ステップ22)。差分画像Sに含まれる縦方向および横方向のすべての画素の画素値の加算であるから,この加算を「Σ縦横方向|S|」と表記する。 All the pixel values included in the difference image S are added, and the added value is compared with a predetermined threshold value TH1 (step 22). Since the pixel values of all the pixels in the vertical and horizontal directions included in the difference image S are added, this addition is expressed as “Σ vertical and horizontal directions | S |”.
動き(移動体画像)が含まれる場合,含まれない場合に比べて上記加算値は増大する。動きが含まれない場合であっても,視差ずれ(たとえば,CMOSセンサ1A,1Bの配置位置(視点位置)の相違による視差ずれ以外の視差ずれ)が存在すると,上記加算値として大きな値が算出される。上記加算値が所定の閾値TH1よりも大きい場合,動き(移動体M)が存在する,または視差ずれが存在すると判断される(ステップ22でYES )。他方,上記加算値が所定の閾値TH1以下であれば,撮像画像中に動きは存在せず,かつ差分画像SにはCMOSセンサ1A,1Bの配置位置(視点位置)の相違による視差ずれ,ノイズ,誤差等以外の差は存在しない(以下,この状態を「静止」と言う)と判断される(ステップ22でNO)。
When the motion (moving body image) is included, the added value increases as compared with the case where the motion is not included. Even when motion is not included, if there is a parallax shift (for example, a parallax shift other than a parallax shift due to a difference in the positions (viewpoint positions) of the
動き(移動体画像)が存在する,または視差ずれが存在すると判断されると(ステップ22でYES ),差分画像Sの横方向(水平方向)の画素値が加算され,この値が縦方向(垂直方向)にさらに加算される(ステップ23)。以下,横方向の画素値の加算を横加算と呼び,その値を横加算値という。縦方向の画素値の加算を縦加算と呼び,その値を縦加算値と言う。 If it is determined that there is motion (moving body image) or that there is a parallax shift (YES in step 22), the pixel values in the horizontal direction (horizontal direction) of the difference image S are added, and this value is added in the vertical direction ( Further addition is performed in the vertical direction (step 23). Hereinafter, the addition of the pixel values in the horizontal direction is referred to as horizontal addition, and the value is referred to as the horizontal addition value. The addition of pixel values in the vertical direction is called vertical addition, and the value is called vertical addition value.
図8(A)〜(E)に示す5つの態様の差分画像S1〜S5を参照して,横加算および縦加算を説明する。 The horizontal addition and the vertical addition will be described with reference to the difference images S 1 to S 5 in five modes shown in FIGS.
図8(A)は動き(移動体M)が存在せず,かつ視差ずれも存在しない場合の差分画像S1を示している。図8(B)は動きが左右方向または前後方向のときに得られる差分画像S2を,図8(C)は左右方向に視差ずれがあるときの差分画像S3を,図8(D)は動きが上下方向のときに得られる差分画像S4を,図8(E)は上下方向に視差ずれがあるときの差分画像S5を,それぞれ示している。 FIG. 8 (A) shows a differential image S 1 when no there is no movement (mobile M), and also the parallax displacement exists. Figure 8 (B) a is the difference image S 2 which motion is obtained when the lateral direction or rear direction, FIG. 8 (C) is a differential image S 3 when there is a disparity shift in the horizontal direction, FIG. 8 (D) the difference image S 4 which movement is obtained when the vertical direction, FIG. 8 (E) is the difference image S 5 when there is a disparity shift vertically, respectively.
図8(A)を参照して,上述したように,撮像画像中に移動体画像が存在せず,かつ視差ずれも存在しないことは,差分画像S1に含まれる縦方向および横方向のすべての画素の画素値の加算値が所定の閾値TH1以下であることによって判断される(ステップ22でNO)。 Referring to FIG. 8 (A), as described above, there is no moving object image in the captured image, and the parallax displacement does not exist, all the longitudinal and transverse directions contained in the difference image S 1 Judgment is made when the sum of the pixel values of these pixels is equal to or less than a predetermined threshold value TH1 (NO in step 22).
動きが存在し,かつその動きの方向が左右方向または前後方向である場合,上述したように,CMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像において,移動体画像にはその左右方向に歪みが現れる(上下方向に歪みは現れない)(図4および図6参照)。図8(B)を参照して,動きが左右方向または前後方向であるときに得られる差分画像S2は歪み部分(左右の端部)に順方向走査のCMOSセンサ1Aによって得られる画素値(+で示す)のみで構成される画像領域と,逆方向走査のCMOSセンサ1Bによって得られる画素値(−で示す)のみで構成される画像領域を含むものになる。
When there is a motion and the direction of the motion is the left-right direction or the front-back direction, as described above, in the forward direction image and the reverse direction image obtained by the
左右方向に視差ずれが存在する場合,CMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像には左右方向に画像ずれが現れる。図8(C)を参照して,左右方向に視差ずれが存在する場合の差分画像S3 は,左右の端部のいずれか一方に順方向走査のCMOSセンサ1Aによって得られた画素値(+で示す)のみで構成される画像領域を含み,かつ左右の端部のいずれか他方に逆方向走査のCMOSセンサ1Bによって得られた画素値(−で示す)のみで構成される画像領域を含むものになる。
When there is a parallax shift in the left-right direction, an image shift appears in the left-right direction in the forward image and the reverse image obtained by the
動きが存在し,かつその方向が上下方向である場合,上述したように,CMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像において,移動体画像に上下方向に拡大または縮小が生じる(左右方向に拡大または縮小はない)(図5参照)。図8(D)を参照して,動きが上下方向の場合に得られる差分画像S3は,その上端部および下端部に,順方向走査(+)または逆方向走査(−)のCMOSセンサ1AまたはCMOSセンサ1Bによって得られた画素値のみで構成される画像領域を含む。
When there is a motion and the direction is the vertical direction, as described above, in the forward image and the reverse image obtained by the
上下方向に視差ずれが存在する場合には,CMOSセンサ1A,1Bによって得られる順方向画像および逆方向画像には上下方向に画像のずれが現れる。図8(E)を参照して,上下方向に視差ずれが存在する場合の差分画像S4は,上下の端部のいずれか一方に順方向走査のCMOSセンサ1Aによって得られた画素値(+で示す)のみで構成される画像領域を含み,かつ上下の端部のいずれか他方に逆方向走査のCMOSセンサ1Bによって得られた画素値(−で示す)のみで構成される画像領域を含む。
When there is a parallax shift in the vertical direction, a shift in the image appears in the vertical direction in the forward and reverse images obtained by the
図7に戻って,左右方向または前後方向への動きについての差分画像S2(図8(B))または左右方向の視差ずれが存在する場合の差分画像S3(図8(C))であれば,差分画像Sの横方向加算値の絶対値(|Σ横方向S|)を算出すると,CMOSセンサ1Aによって得られた画素値(+)とCMOSセンサ1Bによって得られた画素値(−)とが互いに打ち消しあい,その値は小さい値となる。横方向加算値を縦方向加算して得られる値(Σ縦方向|Σ横方向S|)も小さい値となる。
Returning to FIG. 7, the difference image S 2 (FIG. 8B) regarding the movement in the left-right direction or the front-rear direction or the difference image S 3 when the parallax shift in the left-right direction exists (FIG. 8C). If there is, when the absolute value (| Σlateral direction S |) of the lateral direction addition value of the difference image S is calculated, the pixel value (+) obtained by the
他方,上下方向への動きについての差分画像S4(図8(D))または上下方向の視差ずれが存在する差分画像S5(図8(E))であれば,差分画像Sの横方向加算値の絶対値(Σ横方向S)としては大きな値が算出され,それを縦方向加算して得られる値(Σ縦方向|Σ横方向S|)も大きな値となる。 On the other hand, if the difference image S 4 (FIG. 8 (D)) regarding the movement in the vertical direction or the difference image S 5 (FIG. 8 (E)) in which there is a vertical disparity shift, the horizontal direction of the difference image S A large value is calculated as the absolute value of the addition value (Σ horizontal direction S), and a value (Σ vertical direction | Σ horizontal direction S |) obtained by adding the absolute values is also a large value.
Σ縦方向|Σ横方向S|の値が第2の閾値TH2と比較される(ステップ23)。Σ縦方向|Σ横方向S|の値が第2の閾値TH2よりも小さければ,左右方向または前後方向の動きがある,または左右方向の視差ずれが存在する,のいずれかであると判断される(ステップ23でYES ,ステップ24)。Σ縦方向|Σ横方向S|の値が第2の閾値TH2以上であれば,上下方向の動きがある,または上下方向の視差ずれが存在する,のいずれかであると判断される(ステップ23でNO,ステップ25)。
The value of the Σ vertical direction | Σ horizontal direction S | is compared with the second threshold value TH2 (step 23). If the value of the Σ vertical direction | Σ horizontal direction S | is smaller than the second threshold value TH2, it is determined that there is a movement in the left-right direction or the front-rear direction or there is a parallax shift in the left-right direction. (YES at
Σ縦方向|Σ横方向S|の値が第2の閾値TH2よりも小さい場合(ステップ23でYES ),さらに左右方向もしくは前後方向の動きがあるのか,または左右方向の視差ずれが存在するのかが判断される(ステップ24)。 If the value of Σvertical direction | Σhorizontal direction S | is smaller than the second threshold value TH2 (YES in step 23), whether there is further movement in the left-right direction or the front-rear direction, or whether there is a parallax shift in the left-right direction Is determined (step 24).
図8(B)を参照して,左右方向または前後方向の動きがある場合,差分画像S2の縦方向加算値の絶対値((|Σ縦方向S|))を算出すると,CMOSセンサ1Aによって得られた画素値(+)とCMOSセンサ1Bによって得られた画素値(−)とが互いに打消しあい,小さい値が算出される。縦方向加算値を横方向加算して得られる値(Σ横方向|Σ縦方向S|)も小さい値となる。
Referring to FIG. 8 (B), when there is a lateral direction or longitudinal direction of movement, the absolute value of the vertical direction addition value of the difference image S 2 ((| Σ longitudinal S |)) After calculating the,
図8(C)を参照して,左右方向の視差ずれが存在する場合には,差分画像S3の縦方向加算値の絶対値((|Σ縦方向S|))を算出すると比較的大きな値が算出され,それを横方向にさらに加算して得られる値(Σ横方向|Σ縦方向S|)も大きな値となる。 Referring to FIG. 8 (C), the if the parallax displacement in the horizontal direction exists, the absolute value of the vertical direction addition value of the difference image S 3 relatively large when calculating the ((|) | Σ longitudinally S) A value obtained by calculating the value and further adding it in the horizontal direction (Σhorizontal direction | Σvertical direction S |) is also a large value.
Σ横方向|Σ縦方向S|の値が第3の閾値TH3と比較される(ステップ24)。Σ横方向|Σ縦方向S|の値が第3の閾値TH3よりも小さければ,左右方向または前後方向の動きがあると判断される(ステップ24でYES ,図8(B))。Σ横方向|Σ縦方向S|の値が第3の閾値TH3以上であれば,左右方向の視差ずれが存在すると判断される(ステップ24でNO ,図8(C))。
The value of Σ horizontal direction | Σ vertical direction S | is compared with the third threshold value TH3 (step 24). If the value of the Σ horizontal direction | Σ vertical direction S | is smaller than the third threshold value TH3, it is determined that there is a movement in the left-right direction or the front-rear direction (YES in
なお,左右方向または前後方向の動きがあり,かつ左右方向の視差ずれも存在する場合には,Σ横方向|Σ縦方向S|の値は第3の閾値TH3以上となる。この場合は,左右方向の視差ずれの存在の判断に包含される。 Note that when there is a movement in the left-right direction or the front-rear direction and there is also a parallax shift in the left-right direction, the value of Σhorizontal direction | Σvertical direction S | This case is included in the determination of the presence of a left-right direction parallax shift.
他方,Σ縦方向|Σ横方向S|の値が第2の閾値TH2以上である場合(ステップ23でNO ),上下方向の動きがあるのか,または上下方向の視差ずれが存在するかのかが判断される(ステップ25)。 On the other hand, if the value of the Σ vertical direction | Σ horizontal direction S | is equal to or greater than the second threshold value TH2 (NO in step 23), whether there is vertical movement or whether there is vertical parallax shift. Judgment is made (step 25).
図8(D)を参照して,上下方向の動きがある場合,差分画像S4の縦方向加算値の絶対値(|Σ縦方向S|)を算出すると比較的大きな値が算出され,これを横方向に加算した値(Σ横方向|Σ縦方向S|)も大きな値となる。図8(E)を参照して,上下方向の視差ずれが存在する場合には,差分画像S5の縦方向加算値の絶対値((|Σ縦方向S|))を算出するとCMOSセンサ1Aによって得られた画素値(+)とCMOSセンサ1Bによって得られた画素値(−)とが互いに打消し合いその値は小さい値となる。縦方向加算値を横方向加算して得られる値(Σ横方向|Σ縦方向S|)も小さい値となる。
Referring to FIG. 8 (D), the case where there is a vertical movement, the absolute value of the vertical direction addition value of the difference image S 4 (| Σ longitudinal S |) is a relatively large value when calculating the calculated, this The value obtained by adding the values in the horizontal direction (Σ horizontal direction | Σ vertical direction S |) is also a large value. Referring to FIG. 8 (E), if the parallax displacement in the vertical direction is present, the absolute value of the vertical direction addition value of the difference image S 5 ((| Σ longitudinal S |))
Σ横方向|Σ縦方向S|の値が第4の閾値TH4と比較される(ステップ25)。Σ横方向|Σ縦方向S|の値が第4の閾値TH4よりも小さければ,上下方向の動きがあると判断される(ステップ25でYES ,図8(D))。Σ横方向|Σ縦方向S|の値が第4の閾値TH4以上であれば,上下視差ずれが存在すると判断される(ステップ25でNO ,図8(E))。
The value of the Σ horizontal direction | Σ vertical direction S | is compared with the fourth threshold value TH4 (step 25). If the value of the Σ horizontal direction | Σ vertical direction S | is smaller than the fourth threshold value TH4, it is determined that there is a vertical movement (YES in
上下方向の動きを含み,かつ上下方向の視差ずれも存在する場合には,Σ横方向|Σ縦方向S|の値は第4の閾値TH4以上となる。この場合は,上下方向の視差ずれの存在の判断に包含される。 When vertical motion is included and vertical parallax shift also exists, the value of Σhorizontal direction | Σvertical direction S | is equal to or greater than the fourth threshold value TH4. This case is included in the determination of the presence of vertical disparity shift.
このように,走査方向が互いに逆向きの(上下反転している)2つのCMOSセンサ1A,1Bを用いることによって,過去のフレーム画像を含む複数のフレーム画像を用いなくても,動き(移動体)の存在の有無,その方向(左右方向もしくは前後方向の動きであるか,または上下方向の動きであるか)を判断することができる。また,視差ずれの存在の有無およびその方向(左右方向の視差ずれか,または上下方向の視差ずれか)も判断することができる。
In this way, by using two
視差ずれが存在することが判断された場合に,その視差ずれを無くす画像補正を行い,その上で再度移動体検出処理を行うようにしてもよい。図9はCMOSセンサ1Aによって得られた順方向画像と,CMOSセンサ1Bによって得られた逆方向画像を重ねあわせて示すもので,移動体Mが左向きに移動したときに得られる全体画像Gaを示している(図4参照)。
When it is determined that there is a parallax shift, image correction for eliminating the parallax shift may be performed, and then the moving object detection process may be performed again. FIG. 9 shows the forward image obtained by the
図9において,同一の移動体Mを表す移動体画像G1,G2が全体画像Gaにおいて上下方向および左右方向のそれぞれにおいて異なる位置に示されている。左右方向の視差ずれおよび上下方向の視差ずれの両方が存在する場合,順方向画像と逆方向画像を重合わせると図9に示すような全体画像Gaが得られる。 In FIG. 9, moving body images G 1 and G 2 representing the same moving body M are shown at different positions in the vertical direction and the horizontal direction in the entire image Ga. When both the left-right direction parallax shift and the vertical-direction parallax shift exist, the whole image Ga as shown in FIG. 9 is obtained by superimposing the forward image and the reverse image.
たとえば,左右視差ずれの存在が検出された場合(図7のステップ24でNO),全体画像aにおいて移動体画像G1,G2の重心が一致するように,順方向画像データまたは逆方向画像データを補正する,すなわち横向きに平行移動させる画像補正を行えば,補正後の2つの画像データは左右方向の視差ずれが解消されたものになる。たとえば,図9に示す全体画像Gaの場合,移動体画像G1の重心C1と移動体画像G2の重心C2とが距離Lだけ横方向に離れているので,移動体画像G1を右方向に1/2Lだけ移動させ,かつ移動体画像G2を左方向に1/2Lだけ移動させる画像補正を行うことによって,左右方向の視差ずれは解消される。この2つの補正後の順方向画像および逆方向画像を用いて再度移動体検出処理を行うことによって,移動体検出の精度を高めることができる。
For example, when the presence of a left-right parallax shift is detected (NO in
上下方向の視差ずれ(図7のステップ25でNO)についても同様である。なお,上下方向の視差ずれは2つの光学部材(レンズ11A,11Bなど)の光軸ずれが原因と考えられるので,上下方向の視差ずれが検出された場合には縦方向の重心C1,C2間の距離に応じた光学部材の角度調整を行ってもよい。
The same applies to the parallax shift in the vertical direction (NO in
視差ずれの補正を行う場合には,順方向画像と逆方向画像との画像重合わせ処理,移動体画像G1,G2の位置および範囲の検出処理,移動体画像G1,G2の重心位置C1,C2の算出処理,重心位置C1,C2同士の距離Lの算出処理,および算出された距離Lに応じた画像補正(移動)処理を,上記動体検出回路17に行わせてもよいし,別途これらの処理を行うハードウエア回路を撮像装置に設けてもよい。 When correcting the disparity shift is forward image and the image weight adjusting process a reverse image, the position and range of the detection process of the moving object image G 1, G 2, the center of gravity of the moving object image G 1, G 2 calculation processing of the position C 1, C 2, calculation of the position of the center of gravity C 1, C 2 distance between L, and the calculated distance L image correction corresponding to the (mobile) processing, to perform the above motion detection circuit 17 Alternatively, a hardware circuit that performs these processes may be separately provided in the imaging apparatus.
図10(A)は走査方向が逆方向を向いている(上下反転している)2つのCMOSセンサ1A,1Bによって得られるライン画像によって表示装置15に表示画像を構成する例を示している。図10(B)は縦軸を走査ライン,横軸を時間軸としたグラフ上に,ライン画像の表示タイミングを示したものである。図10(B)において,順方向走査のCMOSセンサ1Aから出力されるライン画像データによって表されるライン画像の表示タイミングが実線によって,逆方向走査のCMOSセンサ1Bから出力されるライン画像データによって表されるライン画像の表示タイミングが破線によって,それぞれ示されている。
FIG. 10A shows an example in which a display image is formed on the
1つのCMOSセンサ,たとえば,CMOSセンサ1Aのみを用いた場合に,1フレーム分の画像表示にt秒の時間が必要とされるとする。この場合,第0ラインから第Nラインのすべてのライン画像について更新時間はt秒となる。
When only one CMOS sensor, for example, the
これに対し,2つのCMOSセンサ1A,1Bにおいて上下方向から走査されて得られるライン画像の両方を用いて1フレーム分の表示画像を構成すると,1フレーム分の表示画像のうち,最上端,最下端および中央以外におけるライン画像の更新時間を短縮することができる。図10(B)を参照して,表示画像の最上端(第Nライン),最下端(第0ライン)および中央(第1/2Nライン)では更新時間はt秒である。しかしながら,これら以外のライン位置については,CMOSセンサ1A,1Bによって得られるライン画像を交互に用いることで,表示画像の更新時間はt秒よりも短くなる。露光時間を変えることなく表示画像の更新時間を局所的に短縮することできる。
On the other hand, if a display image for one frame is formed using both line images obtained by scanning from the top and bottom in the two
フレーム画像単位ではなく,上述のようにライン画像単位で画像を表示装置15に表示する場合には,表示装置15または別途設けられるライン画像読出しおよびライン画像の切換えのための回路(表示画像生成回路および切換回路)によって,メイン・メモリ14に記憶された順方向および逆方向のライン画像データが,順次,表示装置15において,上から下の方向,下から上の方向でそれぞれ与えられ(走査され),かつ同一ラインのライン画像データがメイン・メモリ14に記憶されるたびに画像表示に用いられるライン画像データの切換え(更新)が行われる。
When an image is displayed on the
上述した実施例では,走査方向が上下反転している2つのCMOSセンサ1A,1Bを異なる位置に設けた複眼撮像装置を説明したが,単眼の撮像装置に2つのCMOSセンサ1A,1Bを設けるようにしてもよい。図11は,単眼の撮像装置に2つのCMOSセンサ1A,1Bを設ける場合の機構を概略的に示している。
In the above-described embodiment, the compound eye imaging device in which the two
単眼の撮像装置は,入射光の光軸に対して斜め45度にハーフミラー面が向けられたハーフミラー18を備えている。入射光はレンズ11を通ってハーフミラー面に入射する。ハーフミラー面に入射した入射光はハーフミラー18をそのまま通過するとともに,ハーフミラー面において反射される。2つの方向に向けられた入射光が入射する位置に,CMOSセンサ1A,1Bがそれぞれ設けられている。CMOSセンサ1A,1Bは互いに上下反転して設けられるのは上述の通りである。CMOSセンサ1A,1Bのそれぞれによって同一の画角で被写体をそれぞれ撮像することができる。単眼の撮像装置の場合,上述した視差ずれは生じず,視差ずれの存在を起因とする移動体の誤検出も防止される。
The monocular imaging device includes a
また上述の実施例では,CMOSセンサ1A,1B自体を上下反転させて撮像装置に設けることによって,順方向走査と逆方向走査を実現しているが,CMOSセンサ1A,1B自体は上下反転させることなく撮像装置に設け,2つのCMOSセンサ1A,1Bにおける垂直走査の順番(方向)を,アドレス回路によって互いに逆方向を向くように制御してもよい。CMOSセンサ1A,1Bにおいて,垂直走査回路3が発生する行選択スイッチ・パルスの発生順序を決めるアドレス回路(図示略)によって,CMOSセンサ1Aからは,第N行,第N−1行,第N−2行,・・・,第2行,第1行,第0行の順番で各走査ラインのライン画像データを出力させ,CMOSセンサ1Bからは第0行,第1行,第2行,・・・,第N−2行,第N−1行,第N行の順番で各走査ラインのライン画像データを出力させればよい。
In the above-described embodiment, the
1,1A,1B CMOS(固体撮像素子)
2 画素部(領域)
2a フォトダイオード
6 カラーフィルタ
11A,11B レンズ
12A,12B 信号処理回路
14 メイン・メモリ
15 表示装置
17 動体検出回路
1,1A, 1B CMOS (Solid-state imaging device)
2 Pixel part (area)
2a Photodiode 6
Claims (15)
共通する撮像対象範囲を撮像可能に設けられ,かつ互いに異なる方向を走査方向とする2つの固体撮像素子,
上記2つの固体撮像素子のそれぞれの受光面上に形成されたカラーフィルタ,
上記2つの固体撮像素子から出力される第1走査画像データおよび第2走査画像データによって表される第1走査画像および第2走査画像の間の差分を算出して差分画像データを生成する差分画像データ生成手段,ならびに
上記差分画像データ生成手段によって生成された差分画像データを用いて上記撮像対象範囲内における動きの有無および動きの方向の少なくともいずれか一方を検出する動き検出手段,
を備える撮像装置。 A rolling shutter type solid that sequentially scans an imaging signal for each horizontal pixel in the vertical direction in a pixel region where a large number of photoelectric conversion elements are arranged in a horizontal direction and a vertical direction, and repeats the output of the imaging signal for each horizontal pixel. An imaging device provided with an imaging element,
Two solid-state imaging devices provided so as to be able to image a common imaging target range and having different directions as scanning directions;
Color filters formed on the respective light receiving surfaces of the two solid-state imaging devices,
A difference image for generating difference image data by calculating a difference between the first scan image and the second scan image represented by the first scan image data and the second scan image data output from the two solid-state imaging devices. Data detection means, and motion detection means for detecting at least one of the presence or absence of motion and the direction of motion within the imaging target range using the difference image data generated by the difference image data generation means,
An imaging apparatus comprising:
請求項1に記載の撮像装置。 The scanning directions of the two solid-state imaging devices are opposite to each other.
The imaging device according to claim 1.
請求項2に記載の撮像装置。 Two solid-state imaging devices having the same scanning direction are provided in a state where they are turned upside down.
The imaging device according to claim 2.
請求項2に記載の撮像装置。 An address circuit for controlling the scanning direction of the solid-state imaging device;
The imaging device according to claim 2.
請求項2に記載の撮像装置。 The two solid-state imaging devices capture the imaging target range from different viewpoints.
The imaging device according to claim 2.
請求項2に記載の撮像装置。 The two solid-state imaging devices capture the imaging target range from the same viewpoint.
The imaging device according to claim 2.
上記差分画像データによって表される差分画像に現れる画像形状にしたがって動きの有無および動きの方向の少なくともいずれか一方を検出する,
請求項2に記載の撮像装置。 The motion detection means includes
Detecting at least one of the presence or absence of movement and the direction of movement according to the image shape appearing in the difference image represented by the difference image data,
The imaging device according to claim 2.
水平方向への動きに応じて上記差分画像データによって表される差分画像に現れる水平方向の画像歪みにしたがって動きの有無および動きの方向の少なくともいずれか一方を検出する,
請求項2に記載の撮像装置。 The motion detection means includes
Detecting at least one of presence / absence of movement and direction of movement according to horizontal image distortion appearing in the difference image represented by the difference image data in accordance with movement in the horizontal direction;
The imaging device according to claim 2.
垂直方向への動きに応じて上記差分画像データによって表される差分画像に現れる垂直方向の画像拡大にしたがって動きの有無および動きの方向の少なくともいずれか一方を検出する,
請求項2に記載の撮像装置。 The motion detection means includes
Detecting at least one of the presence or absence of movement and the direction of movement according to the vertical image enlargement appearing in the difference image represented by the difference image data according to the movement in the vertical direction;
The imaging device according to claim 2.
水平方向および前後方向への動きに応じて上記差分画像データによって表される差分画像に現れる水平方向の画像歪みにしたがって動きの有無および動きの方向の少なくともいずれか一方を検出する,
請求項5に記載の撮像装置。 The motion detection means includes
Detecting at least one of presence / absence of movement and direction of movement according to horizontal image distortion appearing in the difference image represented by the difference image data in accordance with movement in the horizontal direction and front / rear direction;
The imaging device according to claim 5.
請求項2に記載の撮像装置。 Parallax deviation detecting means for detecting the presence or absence of parallax deviation based on a parallax deviation region appearing in the difference image represented by the difference image data,
The imaging device according to claim 2.
視差ずれの方向に応じて上記差分画像に現れる視差ずれ領域の位置の相違にしたがって視差ずれの有無および方向を検出する,
請求項11に記載の撮像装置。 The parallax deviation detecting means includes
Detecting the presence and direction of the parallax shift according to the difference in position of the parallax shift area appearing in the difference image according to the direction of the parallax shift;
The imaging device according to claim 11.
同一水平ラインの撮像信号が出力されるたびに,一方の固体撮像素子から出力された撮像信号と他方の固体撮像素子から出力された撮像信号を切換える信号切換え手段をさらに備える,
請求項2に記載の撮像装置。 Display image generating means for generating a display image for one frame by scanning both line images represented by imaging signals for each horizontal pixel output from each of the two solid-state imaging elements in opposite directions. And a signal switching means for switching between an imaging signal output from one solid-state imaging device and an imaging signal output from the other solid-state imaging device each time an imaging signal of the same horizontal line is output.
The imaging device according to claim 2.
上記重合わせ手段によって得られる重合わせ画像において,第1走査画像に含まれる移動体画像の重心位置と,第2走査画像における移動体画像の重心位置を算出する重心位置算出手段,
上記視差ずれ検出手段によって検出された視差ずれ方向に沿う方向における,上記2つの重心位置の距離を算出する重心距離算出手段,ならびに
上記重心距離算出手段によって算出された重心距離に応じて,上記重心距離が短くなる方向に第1走査画像および第2走査画像の少なくともいずれか一方を移動させる視差補正手段,
をさらに備えた請求項12に記載の撮像装置。 Superimposing means for superimposing the first scanned image represented by the first scanned image data and the second scanned image represented by the second scanned image data;
A center-of-gravity position calculating unit that calculates a center-of-gravity position of the moving body image included in the first scanning image and a center of gravity position of the moving-body image in the second scanning image in the overlapping image obtained by the overlapping unit;
The centroid distance calculating means for calculating the distance between the two centroid positions in the direction along the parallax deviation direction detected by the parallax deviation detecting means, and the centroid distance according to the centroid distance calculated by the centroid distance calculating means. Parallax correction means for moving at least one of the first scanned image and the second scanned image in a direction in which the distance becomes shorter;
The imaging device according to claim 12, further comprising:
上記撮像装置は,共通する撮像対象範囲を撮像可能に設けられ,かつ互いに異なる方向を走査方向とする2つの固体撮像素子,および上記2つの固体撮像素子のそれぞれの受光面上に形成されたカラーフィルタを備えており,
差分画像データ生成手段が,上記2つの固体撮像素子から出力される第1走査画像データおよび第2走査画像データによって表される第1走査画像および第2走査画像の間の差分を算出して差分画像データを生成し,
動き検出手段が,生成した差分画像データを用いて撮像対象範囲内における動きの有無および動きの方向の少なくともいずれか一方を検出する,
撮像装置の制御方法。 A rolling shutter type solid-state image pickup that sequentially scans an image pickup signal for each pixel in the horizontal direction in the vertical direction in a pixel region in which a large number of photoelectric conversion elements are arranged in the horizontal direction and the vertical direction, and repeats output of the image pickup signal for each pixel in the horizontal direction. A method for controlling an imaging device including an element,
The image pickup device is provided so as to be able to pick up a common image pickup target range, and has two solid-state image pickup elements whose scanning directions are different from each other, and a color formed on a light receiving surface of each of the two solid-state image pickup elements. With a filter,
The difference image data generation means calculates a difference between the first scan image and the second scan image represented by the first scan image data and the second scan image data output from the two solid-state image sensors, and calculates the difference. Generate image data,
The motion detection means detects at least one of the presence or absence of motion and the direction of motion within the imaging target range using the generated difference image data;
Control method of imaging apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010068222A JP5406768B2 (en) | 2010-03-24 | 2010-03-24 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010068222A JP5406768B2 (en) | 2010-03-24 | 2010-03-24 | Imaging apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011205215A JP2011205215A (en) | 2011-10-13 |
JP5406768B2 true JP5406768B2 (en) | 2014-02-05 |
Family
ID=44881434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010068222A Expired - Fee Related JP5406768B2 (en) | 2010-03-24 | 2010-03-24 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5406768B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5522078B2 (en) * | 2011-02-16 | 2014-06-18 | 株式会社Jvcケンウッド | Imaging apparatus and image distortion correction method for imaging apparatus |
JP6439412B2 (en) * | 2014-12-01 | 2018-12-19 | 株式会社ソシオネクスト | Image processing apparatus and image processing method |
JP6477193B2 (en) * | 2015-04-20 | 2019-03-06 | 株式会社ソシオネクスト | Image processing apparatus and image processing method |
JP2018121092A (en) | 2015-05-28 | 2018-08-02 | 株式会社ジャパンディスプレイ | Imaging display system |
JP2018082424A (en) | 2016-11-04 | 2018-05-24 | パナソニックIpマネジメント株式会社 | Image forming apparatus |
CN110574357B (en) * | 2017-03-31 | 2021-10-22 | 索尼半导体解决方案公司 | Imaging control apparatus, method for controlling imaging control apparatus, and moving body |
WO2019003771A1 (en) * | 2017-06-26 | 2019-01-03 | 日立オートモティブシステムズ株式会社 | Imaging device |
JP2019054360A (en) | 2017-09-14 | 2019-04-04 | セイコーエプソン株式会社 | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
JP2019114884A (en) | 2017-12-22 | 2019-07-11 | セイコーエプソン株式会社 | Detector, display device, detection method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008235958A (en) * | 2007-03-16 | 2008-10-02 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
JP5272916B2 (en) * | 2009-06-17 | 2013-08-28 | ペンタックスリコーイメージング株式会社 | Imaging device |
-
2010
- 2010-03-24 JP JP2010068222A patent/JP5406768B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011205215A (en) | 2011-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5406768B2 (en) | Imaging apparatus and control method thereof | |
US11405576B2 (en) | Image sensor and image-capturing device | |
JP5613843B2 (en) | Solid-state imaging device, imaging apparatus, and focusing control method | |
JP5850680B2 (en) | Imaging apparatus and control method thereof | |
JP6366251B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
US11546536B2 (en) | Image sensor with photoelectric conversion units arranged in different directions | |
JP5633181B2 (en) | Depth map output device | |
JP5608820B2 (en) | Imaging apparatus and focus control method | |
JP6372983B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
JP5526287B2 (en) | Imaging apparatus and imaging method | |
JP5378626B2 (en) | Imaging apparatus and operation control method thereof | |
JP2012133185A (en) | Imaging apparatus | |
JP2015148676A (en) | Imaging apparatus and method of controlling imaging apparatus | |
JP6700673B2 (en) | Imaging device, imaging system | |
JP6809562B2 (en) | Image sensor and image sensor | |
JP2012147087A (en) | Apparatus and method for generating image | |
WO2012053136A1 (en) | Stereoscopic image processing circuit and stereoscopic image capturing device | |
JP5984422B2 (en) | Imaging apparatus and imaging control method | |
JP5917205B2 (en) | Imaging device | |
JP2015022116A (en) | Imaging device and method for controlling the same | |
JP2013015674A (en) | Focus detector and image pickup apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130716 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131101 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |