JPH07177426A - Still image pickup device - Google Patents
Still image pickup deviceInfo
- Publication number
- JPH07177426A JPH07177426A JP6264957A JP26495794A JPH07177426A JP H07177426 A JPH07177426 A JP H07177426A JP 6264957 A JP6264957 A JP 6264957A JP 26495794 A JP26495794 A JP 26495794A JP H07177426 A JPH07177426 A JP H07177426A
- Authority
- JP
- Japan
- Prior art keywords
- image
- memory
- imaging
- image pickup
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Input (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、静止画像撮像装置に関
する。特に、本発明は、２つの撮像系を有し、一方は、
被写体の一部を拡大して取り込み、その画像から装置の
動き検出を行い、他方は、動き情報を基に取り込み画像
を補間して高精細な静止画を入力するようにした静止画
像撮像装置に関し、また、本発明は、ある時点で取り込
まれた画像を基準画像とし、この基準画像と以後順次取
り込まれる画像との差分情報を記憶して高精細な静止画
を入力するようにした静止画像撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a still image pickup device. In particular, the invention has two imaging systems, one of which
The present invention relates to a still image capturing apparatus which enlarges and captures a part of a subject, detects motion of the device from the image, and interpolates the captured image based on motion information to input a high-definition still image. Further, the present invention uses a picture captured at a certain time as a reference image, stores difference information between the reference image and images sequentially captured thereafter, and inputs a high-definition still image to capture a still image. Regarding the device.
【０００２】[0002]
【従来の技術】従来の高精細な静止画を入力する従来技
術としては、以下の〜のものがある。 ラインセンサを一方向に走査させて画像を入力する構
成のもの。 エリアセンサをｘ，ｙ方向に走査させて画像を入力す
る構成のもの（特開平３−２４０３７２号公報）。この
公報のものは、結像面上に結像された被写体像が、撮像
面移動手段により撮像手段の撮像面が結像面上を移動
し、各位置ごとに画像信号に変換され、画像信号出力手
段により、各位置ごとの画像信号が外部に出力されるも
のである。 エリアセンサをｘ，ｙ方向に１／Ｎ画素ピッチずつ微
小変位させ、画素補間によって見かけ上画素数をＮ倍に
して高精細化する構成のもの（特開昭５８−１９７９７
０号公報、特開昭５９−２２４８５号公報、特開昭６４
−６００７２号公報）。 手振れを利用して微小変位量した画像を複数枚取り込
み、さらに画像処理によって取り込んだ画像間の変位量
を検出し、その変位量をもとに画像補完することによっ
て高精細化する構成のもの。2. Description of the Related Art There are the following conventional techniques for inputting high-definition still images. A configuration in which a line sensor is scanned in one direction to input an image. A structure in which an area sensor is scanned in the x and y directions to input an image (JP-A-3-240372). According to this publication, an object image formed on an image formation surface is converted into an image signal at each position by moving the image pickup surface of the image pickup means on the image formation surface by the image pickup surface moving means. The image signal for each position is output to the outside by the output means. A structure in which the area sensor is finely displaced by 1 / N pixel pitch in the x and y directions to apparently increase the number of pixels by N times by pixel interpolation for high definition (Japanese Patent Laid-Open No. 58-19797).
0, JP-A-59-22485, JP-A-64
-60072). A structure that captures multiple images with a small amount of displacement using camera shake, detects the amount of displacement between the captured images by image processing, and complements the image based on the amount of displacement to achieve higher definition.
【０００３】前記特開昭５８−１９７９７０号公報の
「高解像度電子カメラ装置」は、撮像デバイスの位置が
画素の半分だけずれた２枚の画像を記録し、再生におい
て、これらの画像を組み換えて互に補間することによ
り、高解像度の画像を得るものである。The "high resolution electronic camera device" of the above-mentioned Japanese Patent Laid-Open No. 58-197970 records two images in which the position of the image pickup device is displaced by half a pixel, and recombines these images during reproduction. By interpolating with each other, a high-resolution image is obtained.
【０００４】また、特開昭５９−２２４８５号公報の
「撮像機構」は、固体撮像素子を結像面の水平方向に画
素列の１／２ピッチ分だけ変位せしめ、変位の前後にお
いて同一光電変換画素が隣接する異なる画素区画を受光
するように構成したものである。In Japanese Patent Laid-Open No. 59-22485, the "imaging mechanism" displaces the solid-state image sensor in the horizontal direction of the image plane by 1/2 pitch of the pixel row, and the same photoelectric conversion is performed before and after the displacement. The pixel is configured to receive light in different pixel sections adjacent to each other.
【０００５】さらに、特開昭６４−６００７２号公報の
「固体撮像装置」は、感度の変化やＳ／Ｎの劣化を招来
することなく高度像度を得ることができるように、単一
の感光部に対応して複数の電荷蓄積部を備え、複写体像
の結像位置を変化させると共に、この変化により得られ
た電荷を電荷蓄積部の各々に画像情報として蓄積するも
のである。Further, in the "solid-state image pickup device" of Japanese Patent Laid-Open No. 64-60072, a single photosensitivity is obtained so that a high degree of image resolution can be obtained without causing a change in sensitivity or deterioration of S / N. A plurality of charge accumulating portions are provided corresponding to the parts, the image forming position of the copy body image is changed, and the charges obtained by this change are accumulated as image information in each of the charge accumulating portions.
【０００６】[0006]
【発明が解決しようとする課題】前述のように、従来の
静止画像撮像装置においては、以下の〜に示す問題
点がある。 ラインセンサ、エリアセンサを走査させて画像を入力
する構成においては、センサを読み取り画面の大きさだ
け走査させるため、読み取り時間が長くなり、その間、
装置を完全に固定させなければならない。 エリアセンサを１／Ｎ画素ピッチずつ微小変位させる
構成においては、入力装置または撮像素子そのものに、
圧電素子などを利用した微小変化機構を組み込む必要が
あり、複雑で高価となるなどの問題点があった。 高精細化するために複数枚の画像を取り込むため、大
容量な画像メモリが必要になってくる。 本発明は、このような実情に鑑みなされたもので、ビデ
オムービーなどの手持ち撮影機器で障害となっていた手
持ち撮影時に生じる手振れなどの動きを逆に積極的に利
用することにより、特別な走査機構や微小変位機構を設
けることなく、高精細な静止画を入力する静止画像撮像
装置を提供することを目的としている。As described above, the conventional still image pickup device has the following problems (1) to (3). In the configuration in which the image is input by scanning the line sensor and the area sensor, the sensor is scanned by the size of the reading screen, so the reading time becomes long, and during that time,
The device must be completely fixed. In the configuration in which the area sensor is slightly displaced by 1 / N pixel pitch, the input device or the image pickup device itself is
It is necessary to incorporate a minute change mechanism using a piezoelectric element or the like, which is complicated and expensive. A large-capacity image memory is required to capture a plurality of images for high definition. The present invention has been made in view of the above circumstances, and by positively utilizing movements such as camera shake that occur during hand-held shooting, which has been an obstacle in hand-held shooting devices such as video movies, a special scanning is performed. It is an object of the present invention to provide a still image capturing device which inputs a high-definition still image without providing a mechanism or a minute displacement mechanism.
【０００７】また、本発明は、このような実情に鑑みな
されたもので、基準となる画像との差分のみを記憶して
処理することにより、少ないメモリ量で高精細な静止画
を入力する装置を提供することを目的としている。Further, the present invention has been made in view of such circumstances, and is an apparatus for inputting a high-definition still image with a small memory amount by storing and processing only a difference from a reference image. Is intended to provide.
【０００８】[0008]
【課題を解決するための手段】本発明は、上記目的を達
成するために、静止被写体を結像面上に結像させる第１
の画像結像手段と、同じ静止被写体を結像面上に結像さ
せる第２の画像結像手段と、前記第１の画像結像手段に
よって生成される結像面より小さい面積の撮像面を有
し、該結像面上に結像された静止被写体像を画像信号に
変換する第１の撮像手段と、前記第２の画像結像手段に
よって生成される結像面と同じ面積の撮像面を有し、該
結像面上に結像された静止被写体像を画像信号に変換す
る第２の撮像手段と、前記第１の撮像手段による撮像画
像から被写体に対する撮像手段の動き量を検出する動き
検出手段と、該動き検出手段で得られた情報を基に、前
記第２の撮像手段によって得られた撮像画像を補間する
画像処理手段と、補間画像を画像データとして外部へ出
力する画像データ出力手段とを備えたことを特徴とした
ものである。According to the present invention, in order to achieve the above object, a first subject is imaged on an image plane.
Image forming means, second image forming means for forming an image of the same stationary object on the image forming surface, and an image pickup surface having an area smaller than the image forming surface generated by the first image forming means. A first imaging means for converting a still subject image formed on the imaging surface into an image signal; and an imaging surface having the same area as the imaging surface generated by the second image imaging means. Second image pickup means for converting a still subject image formed on the image forming surface into an image signal, and the amount of movement of the image pickup means with respect to the subject is detected from the image taken by the first image pickup means. Motion detection means, image processing means for interpolating the captured image obtained by the second imaging means based on the information obtained by the motion detection means, and image data for outputting the interpolated image as image data to the outside. And output means.
【０００９】また、本発明は、上記目的を達成するため
に、静止被写体を結像面上に結像させる画像結像手段
と、この撮像手段によって連続して取り込まれる画像に
おいて、ある時点で取り込まれた画像を基準画像とし、
この基準画像を格納する画像メモリ手段と、画像メモリ
に格納された基準画像と以後順次取り込まれる画像との
輝度情報の差分を検出する画像間差分検出手段と、ここ
で得られた差分情報を格納する情報メモリ手段と、差分
情報を基に基準画像よりも高精細な画像を生成する画像
処理手段と、得られた差分情報、高精細画像を外部に出
力する手段とを備えたことを特徴としたものである。In order to achieve the above-mentioned object, the present invention further comprises an image forming means for forming an image of a stationary subject on an image forming surface, and an image continuously picked up by this image pickup means at a certain time. Image as a reference image,
An image memory means for storing the reference image, an inter-image difference detecting means for detecting a difference in luminance information between the reference image stored in the image memory and the images sequentially captured thereafter, and the difference information obtained here is stored. Information memory means, image processing means for generating a higher definition image than the reference image based on the difference information, and means for outputting the obtained difference information and the high definition image to the outside. It was done.
【００１０】[0010]
【作用】本発明による静止画像撮像装置は、まず、動き
検出手段は第１の撮像手段によって連続的に取り込まれ
る画像から、手振れによって生じる被写体像に対する第
２の撮像手段の動き量を検出し、第２の撮像手段によっ
て取り込まれる画像間にどの程度変位があるかという情
報を抽出する。この情報に基づき、画像処理手段は第２
の撮像手段で取り込まれた画像の画素間を補間し、より
高精細な静止画像を生成する。また、得られた画像は画
像信号出力手段によって外部へ画像データとして出力さ
れる。In the still image pickup device according to the present invention, first, the motion detection means detects the amount of movement of the second image pickup means with respect to the subject image caused by camera shake from the images continuously captured by the first image pickup means, Information about how much displacement is present between the images captured by the second imaging means is extracted. Based on this information, the image processing means is
By interpolating between the pixels of the image captured by the image capturing means, a higher-definition still image is generated. The obtained image is output to the outside as image data by the image signal output means.
【００１１】また、本発明による静止画像撮像装置は、
まず、差分情報検出手段は撮像手段によって連続的に取
り込まれる画像のある時点での画像を画像メモリに取り
込み、この画像を基準画像として以後連続して取り込ま
れる画像との差分を取る。連続して取り込まれる画像情
報は基準となった画像に対して手振れあるいは微小変動
機構によって生じた微小変位分しか変化してないから、
差分情報は非常に小さくできる。画像処理手段はこの差
分情報で撮像手段で取り込まれた基準画像の画素間を補
完し、より高精細な静止画像を生成する。また、得られ
た画像は画像信号出力手段によって外部へ画像データと
して出力する。The still image pickup device according to the present invention is
First, the difference information detecting means captures an image at a certain time point of the images continuously captured by the image capturing means into the image memory, and uses this image as a reference image to obtain the difference from the images continuously captured thereafter. Since the image information that is continuously captured changes only the minute displacement caused by camera shake or minute fluctuation mechanism with respect to the reference image,
The difference information can be made very small. The image processing means complements the pixels of the reference image captured by the imaging means with this difference information to generate a still image with higher definition. The obtained image is output to the outside as image data by the image signal output means.
【００１２】[0012]
【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による静止画像撮像装置の一実施
例を説明するための構成図で、図中、１，２は結像手
段、３，５は撮像素子駆動回路、４，６は撮像素子、
７，８は信号処理回路、９，１１はＡ／Ｄ変換回路、１
０はタイミング制御回路、１２，１６，１７はメモリ、
１３は画像処理回路、１４は動き検出回路、１５は画像
補間回路、１８は外部インターフェース部である。Embodiments will be described below with reference to the drawings. FIG. 1 is a block diagram for explaining an embodiment of a still image pickup apparatus according to the present invention. In the figure, reference numerals 1 and 2 denote image forming means, 3 and 5 denote image pickup element drive circuits, and 4 and 6 denote image pickup elements. ,
7, 8 are signal processing circuits, 9 and 11 are A / D conversion circuits, 1
0 is a timing control circuit, 12, 16 and 17 are memories,
Reference numeral 13 is an image processing circuit, 14 is a motion detection circuit, 15 is an image interpolation circuit, and 18 is an external interface unit.
【００１３】結像手段２によって得られる静止画像に対
して、Ｎ倍の画素数精度に高精細化を行なう場合の実施
例について、図１，図２，図３に基づいて説明する。結
像手段１は、光学レンズ、絞りなどにより構成され、撮
像素子４の撮像面に被写体からの入力光を結像する。ま
た、結像手段２は、光学レンズ、シャッタ、絞りなどに
より構成され、撮像素子６の撮像面に被写体からの入力
光を結像する。このとき、撮像素子６は被写体像全体を
取り込み、撮像素子４は被写体像の一部を拡大して取り
込む。そして、その倍率比がＮよりも大きくなるよう各
結像手段を設定しておく。An embodiment in which a still image obtained by the image forming means 2 is refined with N times the pixel number accuracy will be described with reference to FIGS. 1, 2 and 3. The image forming means 1 is composed of an optical lens, a diaphragm, and the like, and forms an image of the input light from the subject on the image pickup surface of the image pickup device 4. The image forming means 2 is composed of an optical lens, a shutter, a diaphragm, and the like, and forms an image of the input light from the subject on the image pickup surface of the image pickup device 6. At this time, the image sensor 6 captures the entire subject image, and the image sensor 4 magnifies and captures a part of the subject image. Then, each image forming unit is set so that the magnification ratio is larger than N.
【００１４】また、タイミング制御回路１０は、撮像素
子駆動回路３と撮像素子駆動回路５を常時イネーブルに
し、撮像素子４と撮像素子６は、撮像面上の被写体静画
像を連続して取り込んでいる。また、撮像素子駆動回路
３と撮像素子駆動回路５は同期して動いており、取り込
まれる画像は常に同時刻のものである。さらに、各撮像
素子は機械式シャッタあるいは撮像素子の電子式シャッ
タを用いて露光時間を充分短くすることにより、手持ち
撮影時に生じる振れが取り込み画像に影響を与えないよ
うにする。Further, the timing control circuit 10 always enables the image pickup element drive circuit 3 and the image pickup element drive circuit 5, and the image pickup element 4 and the image pickup element 6 continuously capture the still images of the subject on the image pickup surface. . Further, the image pickup device drive circuit 3 and the image pickup device drive circuit 5 move in synchronization with each other, and the captured images are always at the same time. Further, each image pickup device uses a mechanical shutter or an electronic shutter of the image pickup device to shorten the exposure time sufficiently so that shake caused during hand-held photography does not affect the captured image.
【００１５】以下、信号の流れに沿って各ブロックの動
作を説明していく。まず、撮像素子４は結像面の被写体
静止画像を光電変換しながら順次取り込んでいく。取り
込まれた画像は、撮像素子駆動回路３によって読み出さ
れ、信号処理回路７によって増幅、ガンマ補正、クラン
プ処理等が行われる。さらに、Ａ／Ｄ変換回路９によっ
てディジタルデータに変換される。この時、標本化の際
生じる折り返しひずみ（モアレ）を防ぐためのローパス
フィルタなどによる帯域制限処理は、高精細化のために
は逆効果となるため行なわない。タイミング制御回路１
０は、Ａ／Ｄ変換回路９の標本化パルス、メモリ１２の
書き込みタイミングを制御し、画像データを全てメモリ
１２に格納する。同様の処理によってメモリ１２には常
に連続する３フレームの画像データが格納される。The operation of each block will be described below along the flow of signals. First, the image pickup device 4 sequentially captures a subject still image on the image plane while photoelectrically converting it. The captured image is read by the image sensor drive circuit 3, and the signal processing circuit 7 performs amplification, gamma correction, clamp processing, and the like. Further, it is converted into digital data by the A / D conversion circuit 9. At this time, band limiting processing by a low-pass filter or the like for preventing aliasing distortion (moiré) that occurs during sampling is not performed because it has an adverse effect for high definition. Timing control circuit 1
0 controls the sampling pulse of the A / D conversion circuit 9 and the write timing of the memory 12, and stores all the image data in the memory 12. By the same process, the image data of three consecutive frames is always stored in the memory 12.
【００１６】また、動き検出回路１４は撮像装置の動き
情報を１画素単位で抽出する。このため、動き検出回路
１４はメモリ１２に格納されている連続する２フレーム
の画像間でマッチング処理を行う。マッチング処理は、
画像間の相関係数によっても良いし、高速化のために取
り込み画像を小ブロックに分割してブロックマッチング
を行っても良いし、また代表点を選びそれに対してマッ
チング点を求める代表点マッチングでも良い。このマッ
チング処理によって撮像装置の動き量が求められ、標本
点系列の変位量として画像補間回路１５に送られる。マ
ッチング処理が行われている間、撮像素子４からの取り
込み画像データはメモリ１２の別の領域に格納されてい
る。これらの制御はタイミング制御回路１０が行う。Further, the motion detection circuit 14 extracts the motion information of the image pickup device pixel by pixel. Therefore, the motion detection circuit 14 performs matching processing between images of two consecutive frames stored in the memory 12. The matching process is
It may be based on the correlation coefficient between images, or the captured image may be divided into small blocks for block matching to speed up processing, or representative point matching may be performed by selecting representative points and finding matching points for them. good. By this matching processing, the amount of movement of the image pickup device is obtained and sent to the image interpolation circuit 15 as the amount of displacement of the sample point series. While the matching process is being performed, the captured image data from the image sensor 4 is stored in another area of the memory 12. The timing control circuit 10 performs these controls.
【００１７】一方、撮像素子６によって取り込まれた画
像は、撮像素子駆動回路５によって読み出され、信号処
理回路８で増幅、ガンマ補正、クランプ処理等が行われ
る。さらに、Ａ／Ｄ変換回路１１によってディジタルデ
ータに変換され、画像処理回路１３でＮ倍の画素数に拡
大補間されてメモリ１６に格納される。格納された画像
が被写体に対する最初の画像データであるとき、タイミ
ング制御回路１０はメモリ１６の内容をそのままメモリ
１７へ転送する。それ以降の取り込み画像に対して、画
素補間回路１５が補間処理を行う。まず、メモリ１６に
格納された画像と既にメモリ１７に格納されている画像
から、動き検出回路１４の変位情報に応じて図２に示す
不均一標本点系列を生成する。すなわち、動き検出回路
１４は結像手段１に対して１画素の精度で変位量が求め
られるため、結像手段２に対しては１画素未満の精度と
なる。On the other hand, the image captured by the image pickup device 6 is read by the image pickup device drive circuit 5, and the signal processing circuit 8 performs amplification, gamma correction, clamp processing and the like. Further, it is converted into digital data by the A / D conversion circuit 11, enlarged and interpolated to N times the number of pixels by the image processing circuit 13, and stored in the memory 16. When the stored image is the first image data for the subject, the timing control circuit 10 transfers the contents of the memory 16 to the memory 17 as they are. The pixel interpolation circuit 15 performs an interpolation process on the subsequent captured images. First, the non-uniform sample point series shown in FIG. 2 is generated from the image stored in the memory 16 and the image already stored in the memory 17 according to the displacement information of the motion detection circuit 14. That is, the motion detection circuit 14 obtains the displacement amount with an accuracy of 1 pixel for the image forming means 1, and therefore has an accuracy of less than 1 pixel for the image forming means 2.
【００１８】次に、この不均一標本点系列を図３に示す
均一標本点系列に変換する。均一標本点系列に変換され
たデータは、メモリ１７の相当するアドレスにオーバー
ライトされていく。取り込み画像に対してこの処理を繰
り返すことによって、最初に取り込まれた画像の標本化
点間が順次補間され、より高精細な静止画像がメモリ１
７上に構成される。また、メモリ１７に格納された画像
データは外部インタフェース部１８によって外部へ出力
される。Next, this non-uniform sample point series is converted into the uniform sample point series shown in FIG. The data converted into the uniform sample point series is overwritten at the corresponding address in the memory 17. By repeating this process for the captured image, the sampling points of the first captured image are sequentially interpolated, and a still image of higher definition is stored in the memory 1.
Configured on 7. The image data stored in the memory 17 is output to the outside by the external interface unit 18.
【００１９】以上のように、手持ち撮影時の手振れによ
って生じる標本点の変位を利用することで、画素数の少
ない撮像素子でも簡単に高精細な画像が得られる。な
お、不均一標本点系列を均一標本点系列へ変換する手法
としては、以下のような手法がある。As described above, by utilizing the displacement of the sample point caused by the hand shake during hand-held photographing, a high-definition image can be easily obtained even with an image sensor having a small number of pixels. In addition, as a method of converting the nonuniform sample point series into the uniform sample point series, there are the following methods.
【００２０】以下、座標変換法について説明する。均一
標本点系列ｆ(ｎＴ)から波形ｆ(ｔ)を復元する場合、均
一標本点系列ｆ(ｎＴ)が帯域−ω0〜ω0に制限されるな
ら、標本化定理を用いて、以下の数１により復元するこ
とが出来る。The coordinate conversion method will be described below. When recovering the waveform f (t) from the uniform sampling point sequence f (nT), if the uniform sampling point sequence f (nT) is limited to the band −ω 0 to ω 0 , the following theorem is used using the sampling theorem. It can be restored by Equation 1.
【００２１】[0021]
【数１】 [Equation 1]
【００２２】不均一標本点系列ｆ(ｔn)から波形ｆ(ｔ)
を復元する場合、一対一かつ連続な座標変換関数γ(ｔ)
により、γ(ｔn)＝ｎＴかつｆ(γ-1(ｕ))が帯域−ω0〜
ω0に制限されるなら、以下の数２により復元すること
が出来る。The waveform f (t) is derived from the nonuniform sample point sequence f (t n ).
When restoring, the one-to-one and continuous coordinate transformation function γ (t)
Thus, γ (t n ) = nT and f (γ −1 (u)) is in the band −ω 0 ~
If it is limited to ω 0 , it can be restored by the following equation 2.
【００２３】[0023]
【数２】 [Equation 2]
【００２４】次に、他の実施例について、図面を参照し
て以下に説明する。図４は、本発明による静止画像撮像
装置の他の実施例を説明するための構成図で、図中、２
１は結像手段、２２は撮像素子、２３は撮像素子駆動
部、２４は信号処理部、２５はＡ／Ｄ変換回路、２６は
タイミング制御回路、２７，３０，３１はメモリ、２８
は動き検出部、２９は差分検出部、３２は画像処理部、
３３は画像データ出力部である。Next, another embodiment will be described below with reference to the drawings. FIG. 4 is a configuration diagram for explaining another embodiment of the still image pickup device according to the present invention.
1 is an image forming unit, 22 is an image sensor, 23 is an image sensor drive unit, 24 is a signal processing unit, 25 is an A / D conversion circuit, 26 is a timing control circuit, 27, 30, 31 are memories, 28
Is a motion detector, 29 is a difference detector, 32 is an image processor,
An image data output unit 33 is provided.
【００２５】結像手段２１によって得られる静止画像に
対して、手振れを利用して高精細化を行う場合の実施例
について、図４に基づいて説明する。結像手段２１は、
光学レンズ、絞りなどにより構成され、撮像素子２２の
撮像面に被写体からの入力光を結像する。An embodiment in which high definition is performed on a still image obtained by the image forming means 21 by using a camera shake will be described with reference to FIG. The image forming means 21 is
It is composed of an optical lens, a diaphragm, and the like, and forms an input light from a subject on the image pickup surface of the image pickup device 22.
【００２６】また、タイミング制御回路２６は、撮像素
子駆動部２３を常時イネーブルにし、撮像素子２２は、
撮像面上の被写体静画像を連続して取り込んでいる。さ
らに、撮像素子２２は機械式シャッタあるいは撮像素子
２２の電子式シャッタを用いて露光時間を充分短くする
ことにより、手持ち撮影時に生じる振れが取り込み画像
に影響を与えないようにする。Further, the timing control circuit 26 always enables the image pickup device driving section 23, and the image pickup device 22 is
The subject still images on the imaging surface are continuously captured. Further, the image pickup device 22 uses a mechanical shutter or an electronic shutter of the image pickup device 22 to sufficiently shorten the exposure time so that shake caused during hand-held photography does not affect the captured image.
【００２７】以下、信号の流れに沿って各ブロックの動
作を説明していく。まず、撮像素子２２は結像面の被写
体静止画像を光電変換しながら順次取り込んでいく。取
り込まれた画像は、撮像素子駆動部２３によって読み出
され、信号処理回路２４によって増幅、ガンマ補正、ク
ランプ処理等が行われる。さらに、Ａ／Ｄ変換回路２５
によってディジタルデータに変換される。この時、標本
化の際生じる折り返しひずみ（モアレ）を防ぐためのロ
ーパスフィルタなどによる帯域制限処理は、高精細化の
ためには逆効果となるため行なわない。タイミング制御
回路２６は、Ａ／Ｄ変換回路２５の標本化パルス、メモ
リの書き込みタイミングを制御し、あるタイミング（例
えば、ユーザーのシャッター指示など）で１画面分の画
像を基準画像として全てメモリ２７に格納する。The operation of each block will be described below along the flow of signals. First, the image pickup device 22 sequentially captures a subject still image on the image plane while photoelectrically converting it. The captured image is read by the image sensor driving unit 23, and the signal processing circuit 24 performs amplification, gamma correction, clamp processing, and the like. Furthermore, the A / D conversion circuit 25
Are converted into digital data by. At this time, band limiting processing by a low-pass filter or the like for preventing aliasing distortion (moiré) that occurs during sampling is not performed because it has an adverse effect for high definition. The timing control circuit 26 controls the sampling pulse of the A / D conversion circuit 25 and the writing timing of the memory, and at a certain timing (for example, a user's shutter instruction, etc.), an image for one screen is stored in the memory 27 as a reference image. Store.
【００２８】また、動き検出部２８は撮像装置の動き情
報を抽出する。このため、動き検出部２８は連続する２
フレームの画像間でマッチング処理を行う。マッチング
処理は、画像間の相関係数によっても良いし、高速化の
ために取り込み画像を小ブロックに分割してブロックマ
ッチングを行っても良いし、またこの実施例のようにメ
モリを少なくするために代表点を選びそれに対してマッ
チング点を求める代表点マッチングでも良い。このマッ
チング処理によって撮像装置の動き量が求められ、標本
点系列の変移量としてメモリ３０に格納される。Further, the motion detector 28 extracts motion information of the image pickup device. For this reason, the motion detector 28 has two consecutive
Matching processing is performed between frame images. The matching process may be performed by using a correlation coefficient between images, the captured image may be divided into small blocks for block matching for speeding up, and the memory may be reduced as in this embodiment. Alternatively, representative point matching may be performed in which a representative point is selected and a matching point is obtained. By this matching process, the amount of movement of the image pickup device is obtained and stored in the memory 30 as the amount of shift of the sample point series.
【００２９】マッチング処理が行われている間、撮像素
子２２からの取り込み画像データは差分検出部２９によ
ってメモリ２７に格納されている基準画像との差分が取
られる。この時、差分をとる画像情報は基準画像に対し
て手振れあるいは微小変動機構によって生じた微小変位
分の変化だけである。しかも、その変化量は光学系やセ
ンサー等の解像度特性により制御され、差分情報は非常
に小さくできる。例えば、光学系、センサーの総合した
限界空間周波数でのＭＴＦ値が２０〜３０であるとし、
変位量を１／２画素で考えると、特殊な圧縮手法を用い
る事なく約１／８圧縮が可能である。勿論、１／４、１
／３画素のように変位量が少なくなければ、更に高い圧
縮効果が得られる。While the matching process is being performed, the difference between the captured image data from the image pickup device 22 and the reference image stored in the memory 27 is calculated by the difference detection unit 29. At this time, the image information for which the difference is taken is only a change in the reference image due to camera shake or a minute displacement caused by a minute change mechanism. Moreover, the amount of change is controlled by the resolution characteristics of the optical system and the sensor, and the difference information can be made very small. For example, assume that the MTF value at the total limit spatial frequency of the optical system and the sensor is 20 to 30,
Considering the displacement amount with 1/2 pixel, about 1/8 compression is possible without using a special compression method. Of course, 1/4, 1
If the displacement amount is not so small as / 3 pixel, a higher compression effect can be obtained.
【００３０】この差分情報はメモリ３１に格納される。
これらの制御はタイミング制御回路２６が行う。一方、
順次取り込まれる画像に対してマッチング処理により変
位量が算出され、メモリ３０に格納されていく。しか
し、動き量（変位量）が希望するものでない場合（例え
ば動き量がゼロあるいは大きすぎる場合）、メモリ３
１、３０に書き込まれたデータを無効にする。即ち、新
しい差分データによってオーバーライトすることにす
る。This difference information is stored in the memory 31.
The timing control circuit 26 performs these controls. on the other hand,
The displacement amount is calculated by the matching process for the sequentially captured images and stored in the memory 30. However, if the amount of movement (the amount of displacement) is not what is desired (for example, if the amount of movement is zero or too large), the memory 3
The data written in 1 and 30 are invalidated. That is, the new difference data is used for overwriting.
【００３１】画像処理部３２はメモリ２７に格納された
基準画像とメモリ３０、３１に格納された差分情報、変
移情報によって、基準画像の標本化点間を順次補完し、
基準画像より高精細化な静止画像を生成する。The image processing unit 32 sequentially complements the sampling points of the reference image with the reference image stored in the memory 27 and the difference information and the displacement information stored in the memories 30 and 31,
A still image with higher definition than the reference image is generated.
【００３２】また、画像処理部３２が補完処理を行った
画像データは画像データ出力部３３によって外部へシー
ケンシャルに出力される。Further, the image data subjected to the complementing processing by the image processing section 32 is sequentially output to the outside by the image data output section 33.
【００３３】[0033]
【発明の効果】以上の説明から明らかなように、本発明
によると、ビデオムービーなどの手持ち撮影機器で障害
となっていた、手持撮影時に生じる手振れなどの動きを
逆に積極的に利用することで、画像取り込み時に装置を
完全に固定することなく高精細な静止画の入力が可能と
なる。また、特別な走査機構や微小変位機構を設ける必
要がないので、構成が簡単となり、小型化、低価格化が
行いやすくなる。As is apparent from the above description, according to the present invention, it is possible to positively utilize movements such as camera shake that occur during hand-held photography, which is an obstacle in hand-held photography equipment such as video movies. Thus, it is possible to input a high-definition still image without completely fixing the device when capturing an image. Further, since it is not necessary to provide a special scanning mechanism or a minute displacement mechanism, the structure is simplified, and it is easy to reduce the size and cost.
【００３４】また、本発明によると、連続する複数枚の
画像を使って高精細化を行う画像入力装置で問題となる
画像メモリの大容量化を回避することができ、少ないメ
モリ容量、簡単なメモリ構成で高精細化を行えるため、
小型化、低価格化が実現できる。Further, according to the present invention, it is possible to avoid an increase in the capacity of an image memory, which is a problem in an image input apparatus for achieving high definition by using a plurality of continuous images, a small memory capacity and a simple structure. Since high definition can be achieved with the memory configuration,
Miniaturization and price reduction can be realized.
【図１】本発明による静止画像撮像装置の一実施例を説
明するための構成図である。FIG. 1 is a configuration diagram for explaining an embodiment of a still image pickup device according to the present invention.
【図２】本発明における動き検出回路の検出結果から生
成される不均一標本点系列の例を示す図である。FIG. 2 is a diagram showing an example of a nonuniform sample point series generated from a detection result of a motion detection circuit according to the present invention.
【図３】図２における不均一標本点系列から変換される
均一標本点系列の例を示す図である。3 is a diagram showing an example of a uniform sampling point series converted from the non-uniform sampling point series in FIG.
【図４】本発明による静止画像撮像装置の他の実施例を
説明するための構成図である。FIG. 4 is a configuration diagram for explaining another embodiment of the still image pickup device according to the present invention.
１，２…結像手段、３，５…撮像素子駆動回路、４，６
…撮像素子、７，８…信号処理回路、９，１１…Ａ／Ｄ
変換回路、１０…タイミング制御回路、１２，１６，１
７…メモリ、１３…画像処理回路、１４…動き検出回
路、１５…画像補間回路、１８…外部インターフェース
部２１…結像手段、２２…撮像素子、２３…撮像素子駆
動部、２４…信号処理部、２５…Ａ／Ｄ変換回路、２６
…タイミング制御回路、２７，３０，３１…メモリ、２
８…動き検出部、２９…差分検出部、３２…画像処理
部、３３…画像データ出力部1, 2 ... Imaging means, 3, 5 ... Imaging element drive circuit, 4, 6
... Image sensor, 7, 8 ... Signal processing circuit, 9, 11 ... A / D
Conversion circuit, 10 ... Timing control circuit, 12, 16, 1
7 ... Memory, 13 ... Image processing circuit, 14 ... Motion detection circuit, 15 ... Image interpolation circuit, 18 ... External interface section 21 ... Image forming means, 22 ... Imaging element, 23 ... Imaging element driving section, 24 ... Signal processing section , 25 ... A / D conversion circuit, 26
... Timing control circuit, 27, 30, 31 ... Memory, 2
8 ... Motion detection unit, 29 ... Difference detection unit, 32 ... Image processing unit, 33 ... Image data output unit
Claims (2)
の画像結像手段と、同じ静止被写体を結像面上に結像さ
せる第２の画像結像手段と、前記第１の画像結像手段に
よって生成される結像面より小さい面積の撮像面を有
し、該結像面上に結像された静止被写体像を画像信号に
変換する第１の撮像手段と、前記第２の画像結像手段に
よって生成される結像面と同じ面積の撮像面を有し、該
結像面上に結像された静止被写体像を画像信号に変換す
る第２の撮像手段と、前記第１の撮像手段による撮像画
像から被写体に対する撮像手段の動き量を検出する動き
検出手段と、該動き検出手段で得られた情報を基に、前
記第２の撮像手段によって得られた撮像画像を補間する
画像処理手段と、補間画像を画像データとして外部へ出
力する画像データ出力手段とを備えたことを特徴とする
静止画像撮像装置。1. A first imaging device for imaging a stationary object on an imaging surface.
Image forming means, second image forming means for forming an image of the same stationary object on the image forming surface, and an image pickup surface having an area smaller than the image forming surface generated by the first image forming means. A first imaging means for converting a still subject image formed on the imaging surface into an image signal; and an imaging surface having the same area as the imaging surface generated by the second image imaging means. Second image pickup means for converting a still subject image formed on the image forming surface into an image signal, and the amount of movement of the image pickup means with respect to the subject is detected from the image taken by the first image pickup means. Motion detection means, image processing means for interpolating the captured image obtained by the second imaging means based on the information obtained by the motion detection means, and image data for outputting the interpolated image as image data to the outside. A still image pickup device, comprising: an output unit.
結像手段と、この撮像手段によって連続して取り込まれ
る画像において、ある時点で取り込まれた画像を基準画
像とし、この基準画像を格納する画像メモリ手段と、画
像メモリに格納された基準画像と以後順次取り込まれる
画像との輝度情報の差分を検出する画像間差分検出手段
と、ここで得られた差分情報を格納する情報メモリ手段
と、差分情報を基に基準画像よりも高精細な画像を生成
する画像処理手段と、得られた差分情報、高精細画像を
外部に出力する手段とを備えたことを特徴とする静止画
像撮像装置。2. An image forming means for forming an image of a stationary subject on an image forming surface, and an image continuously taken in by the image taking means, wherein an image taken at a certain time point is used as a reference image, and the reference image is used. Image memory means for storing, image-to-image difference detecting means for detecting a difference in luminance information between a reference image stored in the image memory and images sequentially captured thereafter, and information memory means for storing the difference information obtained here. And an image processing means for generating a higher definition image than the reference image based on the difference information, and a means for outputting the obtained difference information and the high definition image to the outside. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26495794A JP3218157B2 (en) | 1993-10-29 | 1994-10-28 | Still image pickup device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-272345 | 1993-10-29 | ||
| JP27234593 | 1993-10-29 | ||
| JP26495794A JP3218157B2 (en) | 1993-10-29 | 1994-10-28 | Still image pickup device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07177426A true JPH07177426A (en) | 1995-07-14 |
| JP3218157B2 JP3218157B2 (en) | 2001-10-15 |
Family
ID=26546759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26495794A Expired - Fee Related JP3218157B2 (en) | 1993-10-29 | 1994-10-28 | Still image pickup device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3218157B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6963361B1 (en) | 1998-02-24 | 2005-11-08 | Canon Kabushiki Kaisha | Image sensing method and apparatus capable of performing vibration correction when sensing a moving image |
-
1994
- 1994-10-28 JP JP26495794A patent/JP3218157B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6963361B1 (en) | 1998-02-24 | 2005-11-08 | Canon Kabushiki Kaisha | Image sensing method and apparatus capable of performing vibration correction when sensing a moving image |
| US7518635B2 (en) | 1998-02-24 | 2009-04-14 | Canon Kabushiki Kaisha | Method and apparatus for image sensing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3218157B2 (en) | 2001-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101350193B1 (en) | Taken-image signal-distortion compensation method, taken-image signal-distortion compensation apparatus, image taking method and image-taking apparatus | |
| US7876980B2 (en) | Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area | |
| JP2520581B2 (en) | Video camera | |
| JP2000341577A (en) | Device and method for correcting camera shake | |
| US6876386B1 (en) | Digital camera with downsampling and zoom processing and method of controlling operation of same | |
| US20020060741A1 (en) | Image capturing apparatus, method for capturing image and camera | |
| US7260271B2 (en) | Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus | |
| JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
| JP2011114486A (en) | Imaging device | |
| JP2000023024A (en) | Image input device | |
| JPH06292052A (en) | Still picture image pickup device | |
| JPH0865567A (en) | Image pickup device | |
| JP2696073B2 (en) | Television camera | |
| JP3218157B2 (en) | Still image pickup device | |
| JP2005027046A (en) | Image processor and image processing method | |
| JPH11155096A (en) | Image pickup device, computer readable storage medium and image processor | |
| JP2006135501A (en) | Imaging apparatus | |
| JPH11224324A (en) | Image signal processing method and device | |
| JPH01119177A (en) | Television signal processor | |
| JP3214036B2 (en) | Image recording apparatus, image reproducing apparatus, and image recording / reproducing apparatus | |
| EP0989746B1 (en) | Imaging apparatus having a high-speed imaging function with electronic zoom circuit | |
| JP3363309B2 (en) | Imaging equipment | |
| JPH07131692A (en) | Static image pickup device | |
| JP2003234941A (en) | Imaging apparatus | |
| JPH06261243A (en) | Highly precise still picture input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070803 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090803 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090803 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |