JPH1141509A - Image pickup device - Google Patents

Image pickup device

Info

Publication number
JPH1141509A
JPH1141509A JP9191326A JP19132697A JPH1141509A JP H1141509 A JPH1141509 A JP H1141509A JP 9191326 A JP9191326 A JP 9191326A JP 19132697 A JP19132697 A JP 19132697A JP H1141509 A JPH1141509 A JP H1141509A
Authority
JP
Japan
Prior art keywords
imaging
image
unit
images
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9191326A
Other languages
Japanese (ja)
Inventor
Tokuji Ishida
徳治 石田
Shinya Matsuda
伸也 松田
Masayuki Kamiyama
雅之 上山
Original Assignee
Minolta Co Ltd
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd, ミノルタ株式会社 filed Critical Minolta Co Ltd
Priority to JP9191326A priority Critical patent/JPH1141509A/en
Priority claimed from US09/114,138 external-priority patent/US6639625B1/en
Publication of JPH1141509A publication Critical patent/JPH1141509A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To form a composite image in an arbitrary range by compositing plural images by arbitrarily setting a range to pick up images through a picture formatting means and fetching the images while controlling the optical axis direction of an optical image pickup means. SOLUTION: A picture formatting part 67 sets the vertical and horizontal sizes of a picture to be displayed on a display part 75 so as to expand it in arbitrary magnification. According to the picture format set by the picture formatting part 67, the range to pick up images is set. An operation control part 64 operates the number of areas dividing the range to pick up images (the number of images to be fetched by a two-dimensional imaging device 12) and the central positions of the respective divided areas. Then, X and Y driving mechanisms 61 and 62 are controlled through a direction control part 63 so that the optical axis of an optical image pickup system 11 can be turned towards the centers of the respective divided areas. An image compositing part 74 composites the image data of respective areas fetched by and image fetching part 72 and forms high definition synthetic image data over all the range to pick up images.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】本発明は、複数のディジタル
画像を合成して1枚の高精細画像やワイド画像等を得る
撮像装置に関する。
[0001] 1. Field of the Invention [0002] The present invention relates to an imaging apparatus for synthesizing a plurality of digital images to obtain a single high-definition image or wide image.
【0002】[0002]
【従来の技術】従来より、ディジタル画像撮像装置を用
いて撮像した複数の画像を合成し、1枚の高精細画像や
ワイド画像を得る装置が知られている。図12に示す第
1の従来例では、撮像光学系101と2つの2次元撮像
素子102a,102bとの間にビームスプリッター1
03を設け、光束を2つに分割し、一方の2次元撮像素
子102aで例えば画像の右半分を取り込み、他方の2
次元撮像素子で画像の左半分を取り込む。そして、2つ
の2次元撮像素子102a,102bで取り込んだ2つ
の画像に相当するディジタル信号を処理して実質的に1
枚の合成画像を形成する。
2. Description of the Related Art Conventionally, there has been known an apparatus for synthesizing a plurality of images captured using a digital image capturing apparatus to obtain one high-definition image or a wide image. In a first conventional example shown in FIG. 12, a beam splitter 1 is provided between an imaging optical system 101 and two two-dimensional imaging elements 102a and 102b.
03, the light beam is split into two, and one two-dimensional image sensor 102a captures, for example, the right half of the image, and
The left half of the image is captured by the two-dimensional image sensor. Then, digital signals corresponding to the two images captured by the two two-dimensional image sensors 102a and 102b are processed to substantially
A composite image is formed.
【0003】図13に示す第2の従来例では、1つの2
次元撮像素子112を、いわゆるX−Y駆動装置113
に固定し、撮像光学系111のイメージサークル内で2
次元撮像素子112を移動させ、被撮像範囲(被写体)
100の異なった複数(例えば4箇所)の領域100a
〜100dについてそれぞれ画像を取り込み、各画像に
対応するディジタル信号を処理して1枚の合成画像を形
成する。
In the second conventional example shown in FIG.
A two-dimensional imaging device 112 is connected to a so-called XY driving device 113.
And within the image circle of the imaging optical system 111
The two-dimensional image sensor 112 is moved, and the imaging range (subject)
100 different plural (for example, four) regions 100a
Images are captured for each of to 100d, and a digital signal corresponding to each image is processed to form one composite image.
【0004】いずれの従来例の場合も、被写体を基準に
考えると、実質的に一定の範囲を複数の2次元撮像素子
で撮像することになり、2次元撮像素子の画素数が増え
たことと等価であり、高精細画像が得られる。一方、2
次元撮像素子を基準に考えると、異なる範囲の被写体の
画像を合成する(貼り合わせる)ことになり、実質的に
撮像光学系101,111の画角が広がった(焦点距離
が短くなった)ことと等価であり、ワイド画像が得られ
る。
[0004] In any of the conventional examples, when a subject is considered as a reference, a substantially constant range is imaged by a plurality of two-dimensional imaging elements, and the number of pixels of the two-dimensional imaging element is increased. It is equivalent and a high definition image is obtained. Meanwhile, 2
Considering the two-dimensional imaging device as a reference, images of subjects in different ranges are synthesized (combined), and the angle of view of the imaging optical systems 101 and 111 is substantially widened (the focal length is shortened). And a wide image is obtained.
【0005】[0005]
【発明が解決しようとする課題】しかしながら、上記第
1及び第2の従来例では、共に個々の2次元撮像素子1
02a,102b,112の撮像可能面積(画素部分の
面積)に比べてイメージサークルの大きな撮像光学系1
01,111を必要とし、撮像光学系101,111自
体も大きくなる。さらに、ビームスプリッター103や
X−Y駆動装置113等を収納するために、大型の暗箱
又は鏡胴が必要である。その結果、撮像装置全体が大型
になるという問題点を有していた。
However, in the above-mentioned first and second conventional examples, both of the two-dimensional
The imaging optical system 1 having a large image circle as compared with the imageable area (area of the pixel portion) of the pixels 02a, 102b, and 112.
01 and 111 are required, and the imaging optical systems 101 and 111 themselves become large. Furthermore, a large dark box or lens barrel is required to house the beam splitter 103, the XY driving device 113, and the like. As a result, there is a problem that the entire image pickup apparatus becomes large.
【0006】また、画像を合成して得られるワイド画像
も、実質的には撮像光学系101,111のイメージサ
ークル内に限られるため、撮像光学系101,111を
基準に考えると、標準サイズの画像が得られるに過ぎな
いという問題点を有していた。
Further, a wide image obtained by synthesizing images is also substantially limited to the image circle of the imaging optical systems 101 and 111. There was a problem that only an image could be obtained.
【0007】また、上記第1及び第2の従来例では、高
精細画像が必要でない場合でも常時画像合成が行われて
おり、画像合成のための処理時間や電力等をロスすると
いう問題点を有していた。
In the first and second conventional examples, even when a high-definition image is not required, image synthesis is always performed, which causes a problem that processing time and power for image synthesis are lost. Had.
【0008】さらに、第2の従来例では、X−Y駆動機
構113を用いて2次元撮像素子112を移動させなが
ら複数の画像を取り込むため、取り込まれた各画像の位
置(被撮像範囲のどの部分を取り込むか)は、X−Y駆
動装置113の位置決め精度に依存する。従って、もし
X−Y駆動装置113の位置決め精度が低いと、各領域
の画像の貼り合わせ部分で画素データの欠けや重複が発
生し、合成された画像のうち、貼り合わせ部分の鮮明度
が悪いという問題点を有していた。また、2次元撮像素
子112の移動中に、いわゆる「手ぶれ」等により撮像
装置が動くと、各画像の貼り合わせ部分近傍の広い範囲
で画素データの欠けや重複が発生し、画像の合成ができ
ず、結果的に撮像失敗となるという問題点を有してい
た。
Further, in the second conventional example, since a plurality of images are captured while moving the two-dimensional image sensor 112 using the XY drive mechanism 113, the position of each captured image (the position of the Whether the part is taken in) depends on the positioning accuracy of the XY driving device 113. Therefore, if the positioning accuracy of the XY driving device 113 is low, pixel data may be missing or duplicated at a portion where the image of each region is bonded, and the sharpness of the bonded portion of the combined image is poor. There was a problem that. In addition, if the imaging apparatus moves due to so-called “camera shake” while the two-dimensional imaging element 112 is moving, chipping or duplication of pixel data occurs in a wide range near a bonded portion of each image, so that images can be combined. However, there is a problem that the imaging fails as a result.
【0009】本発明は、上記従来例の問題を解決するた
めになされたものであり、複数の画像を合成して任意の
範囲の合成画像を形成することができ、画像の貼り合わ
せ精度が高く、「手ぶれ」の補正が可能な、小型軽量の
撮像装置を提供することを目的としている。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problem of the prior art. A plurality of images can be combined to form a combined image in an arbitrary range, and the image bonding accuracy is high. It is an object of the present invention to provide a small and lightweight imaging device capable of correcting "camera shake".
【0010】[0010]
【課題を解決するための手段】上記目的を達成するた
め、本発明の撮像装置は、撮像光学系と、撮像光学系の
焦点面近傍に設けられた2次元撮像素子と、撮像光学系
の光軸の方向を制御する方向制御手段と、2次元撮像素
子により取り込んだ複数の画像を合成し1枚の合成画像
を形成する画像合成手段と、撮像する被撮像範囲を設定
する画面フォーマット設定手段と、画面フォーマット設
定手段により設定された被撮像範囲から、2次元撮像素
子により取り込む画像の数及び画像を取り込む際の撮像
光学系の光軸の方向を演算し、演算結果に基づいて方向
制御手段、2次元撮像素子及び画像合成手段を制御する
動作制御手段とを具備する。
In order to achieve the above object, an image pickup apparatus according to the present invention comprises: an image pickup optical system; a two-dimensional image pickup device provided near a focal plane of the image pickup optical system; Direction control means for controlling the direction of the axis, image synthesizing means for synthesizing a plurality of images captured by the two-dimensional image sensor to form a single composite image, and screen format setting means for setting an imaging range to be imaged Calculating the number of images captured by the two-dimensional imaging device and the direction of the optical axis of the imaging optical system when capturing images from the imaging range set by the screen format setting unit, and a direction control unit based on the calculation result; An operation control unit for controlling the two-dimensional image pickup device and the image synthesizing unit;
【0011】すなわち、本発明の撮像装置は、画面フォ
ーマット設定手段により、被撮像範囲を任意に設定する
ことができるので、設定した画面フォーマットに基づい
て撮像光学系の光軸の方向を制御して2次元撮像素子に
よる画像の取り込み及び画像合成手段による画像の貼り
合わせを行うことにより、撮像光学系の画角よりも広い
画角を有する任意の範囲の画像が形成される。従って、
上記各従来例のような合成画像数の制限はなく、合成画
像の範囲(画角)を自由に設定することが可能である。
また、ユーザーは希望する画面フォーマットを設定する
だけで良く、撮像光学系の光軸の方向の制御や画像合成
等が自動的に行われる。
That is, the imaging apparatus of the present invention can arbitrarily set the imaging range by the screen format setting means, so that the direction of the optical axis of the imaging optical system is controlled based on the set screen format. By taking in the images by the two-dimensional image sensor and bonding the images by the image combining means, an image in an arbitrary range having an angle of view wider than the angle of view of the imaging optical system is formed. Therefore,
There is no limitation on the number of composite images as in the above-described conventional examples, and the range (angle of view) of the composite image can be freely set.
Further, the user only needs to set a desired screen format, and control of the direction of the optical axis of the imaging optical system, image synthesis, and the like are automatically performed.
【0012】また、画面フォーマット設定手段は、画面
の縦及び横をそれぞれ同じ任意の倍率に又はそれぞれ異
なった任意の倍率に拡大するように設定可能であること
が好ましい。例えば、画面の縦及び横をそれぞれ同じ任
意の倍率に拡大することにより、いわゆるズーミング効
果が得られる。また、例えば横方向の倍率を縦方向の倍
率よりも大きくすることにより、いわゆるパノラマ効果
が得られる。
It is preferable that the screen format setting means can be set so as to enlarge the vertical and horizontal directions of the screen to the same arbitrary magnification or different arbitrary magnifications respectively. For example, a so-called zooming effect can be obtained by enlarging the screen vertically and horizontally to the same arbitrary magnification. Further, for example, a so-called panoramic effect can be obtained by making the magnification in the horizontal direction larger than the magnification in the vertical direction.
【0013】また、2次元撮像素子の撮像可能面積は、
画像合成手段により合成される各画像の面積よりも広い
ことが好ましい。すなわち、2次元撮像素子の画素部分
の面積を、画像合成手段により張り合わされる各画像の
面積よりも若干大きくしておくことにより、貼り合わせ
る画像の位置をシフトさせることができ、各画像の貼り
合わせ部分の誤差を調整することが可能である。また、
ある画像を取り込んでから次の画像を取り込むまでの間
に、撮像装置が「手ぶれ」等により動いた場合、貼り合
わせる画像の位置をシフトさせることにより、実質的に
「手ぶれ」を補正することが可能である。
The imageable area of the two-dimensional image sensor is
It is preferable that the area is larger than the area of each image synthesized by the image synthesis means. That is, by making the area of the pixel portion of the two-dimensional image sensor slightly larger than the area of each image to be stuck by the image synthesizing means, the position of the image to be stuck can be shifted. It is possible to adjust the error of the matching part. Also,
If the image capturing apparatus moves due to “camera shake” between capturing one image and capturing the next image, it is possible to substantially correct “camera shake” by shifting the position of the image to be pasted. It is possible.
【0014】また、方向制御手段は、撮像光学系及び2
次元撮像素子を内蔵する撮像ユニットの筐体を所定方向
及び所定角度に駆動する駆動機構であることが好まし
い。または、方向制御手段は、撮像ユニットの光軸上に
設けられ、所定方向及び所定方向に駆動される可動ミラ
ーであることが好ましい。これら、いずれの場合も、撮
像光学系のイメージサークルは、少なくとも2次元撮像
素子の撮像可能領域をカバーできればよく、上記従来例
のような2次元撮像素子の撮像可能領域よりも大きなイ
メージサークルを有する撮像光学系は不要である。その
結果、撮像装置全体を小型軽量にすることが可能とな
る。
The direction control means includes an image pickup optical system and
It is preferable that the driving mechanism is a driving mechanism that drives a housing of an imaging unit having a two-dimensional imaging device in a predetermined direction and a predetermined angle. Alternatively, the direction control means is preferably a movable mirror provided on the optical axis of the imaging unit and driven in a predetermined direction and in a predetermined direction. In any of these cases, the image circle of the imaging optical system only needs to cover at least the imageable area of the two-dimensional image sensor, and has an image circle larger than the imageable area of the two-dimensional image sensor as in the above-described conventional example. No imaging optical system is required. As a result, it is possible to reduce the size and weight of the entire imaging device.
【0015】[0015]
【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION
(第1の実施形態)本発明の撮像装置の第1の実施形態
について図面を参照しつつ説明する。図1は第1の実施
形態に係る撮像装置の主要部の構成を示す斜視図、図2
はその初期状態における構成を示す断面図、図3はその
動作状態を断面図である。
(First Embodiment) A first embodiment of the imaging apparatus of the present invention will be described with reference to the drawings. FIG. 1 is a perspective view showing a configuration of a main part of the imaging apparatus according to the first embodiment, and FIG.
FIG. 3 is a cross-sectional view showing the configuration in the initial state, and FIG. 3 is a cross-sectional view showing the operation state.
【0016】図1〜図3に示すように、撮像ユニット1
0はその外面15の少なくとも一部分が球面である。ま
た、図2及び図3に示すように、撮像ユニット10の内
部には、撮像光学系11、CCD等の2次元撮像素子1
2、撮像光学系11の焦点距離や焦点位置を制御するた
めのレンズ駆動機構16等が設けられている。撮像光学
系11は2焦点レンズ又はズームレンズであり、最も短
い焦点距離(いわゆる広角端)を第1の焦点距離とし、
最も長い焦点距離(いわゆる望遠端)を第2の焦点距離
と呼ぶ。例えば、第2の焦点距離を第1の焦点距離の略
整数倍(例えば約2倍)とする。
As shown in FIG. 1 to FIG.
In the case of 0, at least a part of the outer surface 15 is a spherical surface. As shown in FIGS. 2 and 3, an imaging optical system 11 and a two-dimensional imaging device 1 such as a CCD are provided inside the imaging unit 10.
2. A lens driving mechanism 16 for controlling the focal length and the focal position of the imaging optical system 11 is provided. The imaging optical system 11 is a bifocal lens or a zoom lens, and the shortest focal length (so-called wide-angle end) is set as a first focal length,
The longest focal length (so-called telephoto end) is called a second focal length. For example, the second focal length is set to be approximately an integral multiple (for example, about twice) of the first focal length.
【0017】図2及び図3に示すように、筐体20は2
つの部分21及び22からなり、撮像ユニット10を収
納するための略球形の空間24を有する。筐体20の前
面には開口部23が形成され、開口部23から撮像ユニ
ット10の撮像光学系11の部分が外部に突出する。空
間24の凹球面と撮像ユニット10の外面15の凸球面
との間には、複数のボール26が設けられ、撮像ユニッ
ト10をその球の中心Oを通る任意の軸の周りに自転自
在に保持している。ここで、ボール26は、いわゆるボ
ールベアリングを構成し、撮像ユニット10の回転負荷
を軽減する。
As shown in FIG. 2 and FIG.
And has a substantially spherical space 24 for accommodating the imaging unit 10. An opening 23 is formed on the front surface of the housing 20, and a portion of the imaging optical system 11 of the imaging unit 10 projects outside from the opening 23. A plurality of balls 26 are provided between the concave spherical surface of the space 24 and the convex spherical surface of the outer surface 15 of the imaging unit 10, and hold the imaging unit 10 so as to be able to rotate around an arbitrary axis passing through the center O of the sphere. doing. Here, the ball 26 forms a so-called ball bearing, and reduces the rotational load of the imaging unit 10.
【0018】図1に示すように、撮像ユニット10頂上
部及び側部には、それぞれX駆動機構61及びY駆動機
構62が設けられている。X駆動機構61及びY駆動機
構62は、それぞれモータ31、ゴム等の弾性ローラ3
2、エンコーダ33等で構成され、弾性ローラ32が撮
像ユニット10の外面15の球面部分を転動することに
より、相対的に撮像ユニット10をX軸及びY軸を中心
として回転させる。各エンコーダ33による検出信号は
筐体20の内部に設けられた制御部60に入力され、撮
像ユニット10のX軸方向及びY軸方向の回転角(回転
量)が演算され、その結果撮像光学系11の光軸の方向
が特定される。
As shown in FIG. 1, an X drive mechanism 61 and a Y drive mechanism 62 are provided at the top and side of the imaging unit 10, respectively. The X drive mechanism 61 and the Y drive mechanism 62 are respectively a motor 31 and an elastic roller 3 such as rubber.
2. The image pickup unit 10 is constituted by an encoder 33 and the like, and the elastic roller 32 rolls on the spherical portion of the outer surface 15 of the image pickup unit 10 to relatively rotate the image pickup unit 10 around the X axis and the Y axis. A detection signal from each encoder 33 is input to a control unit 60 provided inside the housing 20, and the rotation angles (rotation amounts) of the imaging unit 10 in the X-axis direction and the Y-axis direction are calculated. As a result, the imaging optical system The directions of the eleven optical axes are specified.
【0019】図2及び図3に示すように、筐体20には
角速度センサ40及びスイッチパネル50が設けられて
いる。角速度センサ40は、2次元撮像素子12によ
り、ある画像を取り込んでから次の画像を取り込むまで
の間に、撮像装置全体が例えば「手ぶれ」等により移動
した場合に、移動方向及び移動量を検出する。後述する
ように、撮像装置の移動方向及び移動量の情報に基づい
て、いわゆる「手ぶれ」を補正することができる。スイ
ッチパネル50は、後述する標準撮像モードと高精細撮
像モードの切換スイッチ(図4に示すモード選択部6
6)、画像フォーマットの設定等のための入力装置(図
4に示す画面フォーマット設定部67)として機能す
る。なお、図4に示すように、撮像装置と一体的に又は
別個にフラッシュ発光装置70を設けても良い。
As shown in FIGS. 2 and 3, the housing 20 is provided with an angular velocity sensor 40 and a switch panel 50. The angular velocity sensor 40 detects the moving direction and the moving amount by the two-dimensional image pickup device 12 when the whole image pickup device moves due to, for example, “shake” between the time of taking a certain image and the time of taking the next image. I do. As will be described later, so-called “shake” can be corrected based on information on the moving direction and the moving amount of the imaging device. The switch panel 50 is provided with a switch (a mode selection unit 6 shown in FIG.
6) It functions as an input device (screen format setting unit 67 shown in FIG. 4) for setting an image format and the like. Note that, as shown in FIG. 4, a flash light emitting device 70 may be provided integrally with or separately from the imaging device.
【0020】次に、制御部60を含む主要部分のブロッ
ク構成を図4に示す。X駆動機構61及びY駆動機構6
2の各モータ31は、それぞれ方向制御部63からの制
御信号に従って正又は逆の方向に所定数(又は量)回転
駆動され、各エンコーダ33により検出されたモータ等
の回転数(又は量)は方向制御部63にフィードバック
される。その結果、撮像ユニット10の撮像光学系11
の光軸が所定の方向を向くように制御される。
FIG. 4 shows a block diagram of a main part including the control unit 60. X drive mechanism 61 and Y drive mechanism 6
Each of the motors 31 is driven by a predetermined number (or amount) of rotation in the forward or reverse direction according to a control signal from the direction control unit 63, and the number of rotations (or amount) of the motor or the like detected by each encoder 33 is This is fed back to the direction control unit 63. As a result, the imaging optical system 11 of the imaging unit 10
Is controlled so that the optical axis of the optical element faces a predetermined direction.
【0021】焦点距離制御部65は、撮像ユニット10
に設けられた撮像光学系11の焦点距離や焦点位置を制
御するためのレンズ駆動機構16を含む。焦点距離制御
部65は、動作制御部64からの制御信号に従って、撮
像光学系11の焦点距離等を変化させると共に、撮像光
学系11の重心位置情報及び焦点距離情報等を方向制御
部63及び動作制御部64等に出力する。
The focal length control unit 65 includes the image pickup unit 10
And a lens driving mechanism 16 for controlling the focal length and the focal position of the imaging optical system 11 provided in the camera. The focal length control unit 65 changes the focal length and the like of the imaging optical system 11 according to a control signal from the operation control unit 64, and also transmits the center-of-gravity position information and the focal length information of the imaging optical system 11 to the direction control unit 63 and the operation. Output to the control unit 64 and the like.
【0022】撮像装置の筐体20に設けられたスイッチ
パネル50は、モード選択部66、画面フォーマット設
定部67等として機能する。モード選択部66は、標準
の解像度で撮像する標準撮像モードと高解像度で撮像す
る高精細撮像モードの2つの撮像モードのいずれか一方
の撮像モードを選択するためのものである。また、画面
フォーマット設定部67は、表示部75に表示される画
面の縦及び横をそれぞれ同じ任意の倍率に又はそれぞれ
異なった任意の倍率に拡大するように設定するためのも
のである。
The switch panel 50 provided on the housing 20 of the imaging device functions as a mode selection unit 66, a screen format setting unit 67, and the like. The mode selection unit 66 selects one of two imaging modes, a standard imaging mode for imaging at a standard resolution and a high-definition imaging mode for imaging at a high resolution. Further, the screen format setting section 67 is for setting the height and width of the screen displayed on the display section 75 to be respectively enlarged to the same arbitrary magnification or to different arbitrary magnifications.
【0023】筐体20に設けられた角速度センサ40
は、2次元撮像素子12により、ある画像を取り込んで
から次の画像を取り込むまでの間における撮像素子(す
なわち、筐体20)のX軸方向及びY軸方向における加
速度等を検出し、検出した信号をぶれ信号処理部41に
出力する。ぶれ信号処理部41は、角速度センサ40か
らの信号に基づいてX軸方向及びY軸方向における移動
量を演算し、演算結果をぶれ量記憶部42に記憶すると
共に、動作制御部64に出力する。
An angular velocity sensor 40 provided on the housing 20
Detected the acceleration and the like in the X-axis direction and the Y-axis direction of the image sensor (that is, the housing 20) between the time when a certain image was captured and the time when the next image was captured by the two-dimensional image sensor 12. The signal is output to the shake signal processing unit 41. The blur signal processing unit 41 calculates the amount of movement in the X-axis direction and the Y-axis direction based on the signal from the angular velocity sensor 40, stores the calculation result in the blur amount storage unit 42, and outputs the calculation result to the operation control unit 64. .
【0024】動作制御部64は、モード選択部66によ
り選択された撮像モード及び画面フォーマット設定部6
7により設定された画面フォーマットに従い被撮像範囲
を設定すると共に、撮像光学系11の焦点距離(画角)
に応じて被撮像範囲を分割する数(2次元撮像素子12
により取り込む画像の数)及び分割した各領域の中心位
置を演算し、方向制御部63を介してX駆動機構61及
びY駆動機構62を制御する。また、「手ぶれ」等によ
る撮像装置の移動が生じた場合、ぶれ信号処理部41か
らの出力信号及び焦点距離制御部65からの焦点距離情
報に基づいて、X駆動機構61及びY駆動機構62の駆
動量を補正する。
The operation control section 64 is a section for setting the imaging mode and screen format setting section 6 selected by the mode selection section 66.
The imaging range is set in accordance with the screen format set by step 7 and the focal length (angle of view) of the imaging optical system 11 is set.
(The two-dimensional image sensor 12)
And the center position of each divided area is calculated, and the X drive mechanism 61 and the Y drive mechanism 62 are controlled via the direction control unit 63. Further, when the imaging apparatus is moved due to “camera shake” or the like, the X drive mechanism 61 and the Y drive mechanism 62 are controlled based on the output signal from the shake signal processing unit 41 and the focal length information from the focal length control unit 65. Correct the drive amount.
【0025】2次元撮像素子12は、画像取込部72か
らのクロック信号等に従って、各画素に蓄積された電荷
に対応するアナログ信号を画像取込部72に出力する。
画像取込部72は、2次元撮像素子12から取り込んだ
アナログ信号をディジタル信号に変換し、一旦画像記憶
部73に記憶させる。画像合成部74は、動作制御部6
4からの指示に従い、画像記憶部73に記憶されている
複数の画像データを貼り合わせ処理し、1枚の合成画像
データを形成する。形成した合成画像データを再度画像
記憶部73に記憶すると共に、NTSC信号などに再変
換してモニター表示装置等の表示部75に表示する。ま
た、動作制御部65は、必要に応じてフラッシュ制御部
71を制御し、2次元撮像素子12による画像取り込み
に同期してフラッシュ発光装置70を発光させる。
The two-dimensional image pickup device 12 outputs an analog signal corresponding to the electric charge accumulated in each pixel to the image capturing unit 72 according to a clock signal or the like from the image capturing unit 72.
The image capturing unit 72 converts an analog signal captured from the two-dimensional image sensor 12 into a digital signal, and temporarily stores the digital signal in the image storage unit 73. The image synthesizing unit 74 includes the operation control unit 6
In accordance with the instruction from Step 4, a plurality of pieces of image data stored in the image storage unit 73 are combined to form one piece of composite image data. The formed composite image data is stored again in the image storage unit 73, and is again converted into an NTSC signal or the like and displayed on the display unit 75 such as a monitor display device. Further, the operation control unit 65 controls the flash control unit 71 as necessary, and causes the flash light emitting device 70 to emit light in synchronization with the image capturing by the two-dimensional image sensor 12.
【0026】[0026]
【実施例1】次に、上記本発明の撮像装置の第1の実施
形態における動作の実施例1について説明する。実施例
1は、モード選択部66による標準撮像モードと高精細
撮像モードの切換に関する。なお、説明を簡単にするた
め、画面フォーマット設定部67により、画面は標準サ
イズが選択されているものとする。
First Embodiment Next, a description will be given of a first embodiment of the operation of the imaging apparatus according to the first embodiment of the present invention. The first embodiment relates to switching between the standard imaging mode and the high-definition imaging mode by the mode selection unit 66. For the sake of simplicity, it is assumed that the screen is set to the standard size by the screen format setting unit 67.
【0027】モード選択部66により標準撮像モードが
選択されている場合、動作制御部64は、焦点距離制御
部65を制御して、撮像光学系11の焦点距離を任意の
焦点距離の(撮像光学系11がズームレンズの場合、第
1の焦点距離及び第2の焦点距離に限定されない)に設
定し、被撮像範囲の画像を2次元撮像素子12の1回の
撮像動作により取り込む。
When the standard imaging mode is selected by the mode selection unit 66, the operation control unit 64 controls the focal length control unit 65 to change the focal length of the imaging optical system 11 to an arbitrary focal length (the imaging optical system). When the system 11 is a zoom lens, the focal length is not limited to the first focal length and the second focal length), and the image in the imaging range is captured by one imaging operation of the two-dimensional imaging device 12.
【0028】一方、高精細撮像モードが選択されている
場合、最初に動作制御部64は、焦点距離制御部65を
制御して、撮像光学系11の焦点距離を短い側の第1の
焦点距離に設定し、画像取込部72を制御して、図5
(a)に示すように、広い被撮像範囲の参照画像200
を2次元撮像素子12の1回の撮像動作により取り込
む。また、画像取込部72は取り込んだ画像データをA
/D変換し、画像記憶部73に記憶しておく。次に、動
作制御部64は、焦点距離制御部65を制御して、撮像
光学系11の焦点距離を長い側の第2の焦点距離(いわ
ゆる望遠側)に設定する。ここで、例えば第2の焦点距
離が第1の焦点距離の略2倍である場合、図5(b)に
示すように、方向制御部63は被撮像範囲を第1〜第4
の領域201〜204に分割して、撮像光学系11の光
軸が順次、分割された各領域201〜204の中心20
1a〜204aに向くように、X駆動機構61及びY駆
動機構62の各駆動量を演算する。さらに、動作制御部
64は画像取込部72を制御して、方向制御部63によ
る撮像ユニット10の駆動に連動して、第1の領域20
1から順に、2次元撮像素子12の撮像面上に拡大形成
された画像を取り込む。画像取込部72は、取り込んだ
各領域201〜204の画像データをA/D変換し、画
像記憶部73に記憶する。
On the other hand, when the high-definition imaging mode is selected, first, the operation control unit 64 controls the focal length control unit 65 to reduce the focal length of the imaging optical system 11 to the shorter first focal length. 5 and the image capturing unit 72 is controlled to
As shown in (a), the reference image 200 in the wide imaging range
Is captured by one imaging operation of the two-dimensional imaging element 12. Further, the image capturing section 72 converts the captured image data into A
/ D converted and stored in the image storage unit 73. Next, the operation control unit 64 controls the focal length control unit 65 to set the focal length of the imaging optical system 11 to the second focal length on the long side (the so-called telephoto side). Here, for example, when the second focal length is approximately twice the first focal length, as shown in FIG. 5B, the direction control unit 63 sets the imaging range to the first to fourth focal lengths.
And the optical axis of the imaging optical system 11 is sequentially shifted to the center 20 of each of the divided regions 201 to 204.
The drive amounts of the X drive mechanism 61 and the Y drive mechanism 62 are calculated so as to be directed to 1a to 204a. Further, the operation control unit 64 controls the image capturing unit 72, and interlocks with the driving of the imaging unit 10 by the direction control unit 63 so that the first area 20.
The images enlarged and formed on the image pickup surface of the two-dimensional image pickup device 12 are taken in order from 1. The image capturing unit 72 performs A / D conversion on the captured image data of the areas 201 to 204 and stores the data in the image storage unit 73.
【0029】画像合成部74は、画像記憶部73に記憶
しておいた参照画像200を参照しつつ、分割した第1
〜第4の領域201〜204の画像データを合成し、被
撮像範囲全体の高精細合成画像データを形成する。さら
に、合成画像データを画像記憶部73に記憶すると共に
表示部75に表示する。表示部75に表示された合成画
像は、実質的に2次元撮像素子12の約4倍の画素数を
有する2次元撮像素子で撮像したものと等価であり、高
精細画像が得られる。
The image synthesizing section 74 refers to the reference image 200 stored in the image storage section 73, and
To the fourth areas 201 to 204 to form high-definition combined image data of the entire imaging range. Further, the composite image data is stored in the image storage unit 73 and displayed on the display unit 75. The composite image displayed on the display unit 75 is substantially equivalent to an image captured by a two-dimensional image sensor having about four times the number of pixels of the two-dimensional image sensor 12, and a high-definition image is obtained.
【0030】参照画像200のデータのうち合成する第
1〜第4の領域201〜204の画像に対応する部分
は、それぞれ第1〜第4の領域201〜204の画像デ
ータと実質的に同じである(例えば、貼り合せ部分の走
査線に着目すれば、同じ明暗の周期性を有している)。
従って、参照画像200のデータと各領域201〜20
4の画像データを比較することにより、周期性が一致す
る部分を見つけ出すことができる。その結果、画像の貼
り合わせ部分における処理が容易になる。
The portions of the data of the reference image 200 corresponding to the images of the first to fourth regions 201 to 204 to be synthesized are substantially the same as the image data of the first to fourth regions 201 to 204, respectively. (For example, if attention is paid to the scanning line at the bonding portion, the light and dark have the same periodicity).
Accordingly, the data of the reference image 200 and the respective areas 201 to 20
By comparing the image data of Nos. 4 and 4, it is possible to find a portion having the same periodicity. As a result, the processing in the part where the images are bonded is facilitated.
【0031】なお、画像の貼り合わせ部分の誤差を考慮
して、撮像光学系11の第2の焦点距離を第1の焦点距
離の整数倍よりも若干短くする。または、2次元撮像素
子12の撮像可能面積(画素部分の面積)を、高精細撮
像モードにおいて画像合成部により合成される各画像2
01〜204の面積よりも広くする。いずれの場合で
も、例えば第1の領域201についてみると、2次元撮
像素子12により実際に得られる画像は、図2(b)に
おける一点鎖線12aで示すように第1の領域201よ
りも大きくなる。その結果、第1〜第4の領域201〜
204の画像の取り込み位置をシフトさせることがで
き、貼り合わせ部分の誤差を調整することができる。ま
た、2次元撮像素子12により、ある画像を取り込んで
から次の画像を取り込むまでの間に、撮像装置が「手ぶ
れ」等により動いた場合、上記参照画像を参照しつつ、
貼り合わせる第1〜第4の領域201〜204の画像取
り込みの位置をシフトさせることにより、実質的に「手
ぶれ」を補正することが可能である。
The second focal length of the image pickup optical system 11 is made slightly shorter than an integral multiple of the first focal length in consideration of an error in a portion where images are bonded. Alternatively, the image-capturable area (the area of the pixel portion) of the two-dimensional image pickup device 12 is set to each image 2 combined by the image combining unit in the high-definition imaging mode.
The area should be wider than 01 to 204. In any case, for example, regarding the first region 201, the image actually obtained by the two-dimensional imaging device 12 is larger than the first region 201 as shown by the dashed line 12a in FIG. . As a result, the first to fourth regions 201 to 201
The capturing position of the image 204 can be shifted, and the error of the bonded portion can be adjusted. In addition, when the imaging apparatus moves due to “camera shake” or the like between the capture of a certain image and the capture of the next image by the two-dimensional image sensor 12, while referring to the reference image,
By shifting the image capturing positions of the first to fourth regions 201 to 204 to be pasted, it is possible to substantially correct "camera shake".
【0032】[0032]
【実施例2】次に、上記本発明の撮像装置の第1の実施
形態における動作の実施例2について説明する。実施例
2は、画面フォーマット設定部67による任意の画面フ
ォーマットの設定のうち、標準撮像モードにおける撮像
光学系11の広角側の第1の焦点距離を超えた超ワイド
画像に関する。
Second Embodiment Next, a description will be given of a second embodiment of the operation of the imaging apparatus according to the first embodiment of the present invention. The second embodiment relates to an ultra-wide image that exceeds the first focal length on the wide-angle side of the imaging optical system 11 in the standard imaging mode among the settings of an arbitrary screen format by the screen format setting unit 67.
【0033】撮像光学系11の焦点距離を広角側の第1
の焦点距離に設定したときに得られる画角の約2倍の画
角を有する超ワイド画像を合成する場合を考える。動作
制御部64は、焦点距離制御部65を制御して、撮像光
学系11の焦点距離を短い側の第1の焦点距離に設定す
る。また、方向制御部63は、図6に示す被撮像範囲2
10を第1〜第4の領域211から214に分割すると
共に、撮像光学系11の光軸が分割された各領域211
〜214の中心211a〜214a及び中央の第5の領
域215の中心215aに向くように、X駆動機構61
及びY駆動機構62の各駆動量を演算する。さらに、動
作制御部64は画像取込部72を制御して、方向制御部
63による撮像ユニット10の駆動に連動して、第1の
領域211から第5の領域215の順に、2次元撮像素
子12の撮像面に形成された画像を取り込む。画像取込
部72は、取り込んだ各領域211〜215の画像デー
タをA/D変換し、画像記憶部73に記憶する。
The focal length of the imaging optical system 11 is set to the first wide-angle side.
Let us consider a case where an ultra-wide image having an angle of view approximately twice as large as the angle of view obtained when the focal length is set is synthesized. The operation control unit 64 controls the focal length control unit 65 to set the focal length of the imaging optical system 11 to the shorter first focal length. In addition, the direction control unit 63 controls the imaging range 2 shown in FIG.
10 is divided into first to fourth regions 211 to 214, and each region 211 where the optical axis of the imaging optical system 11 is divided.
The X drive mechanism 61 is directed to the centers 211a to 214a of the first to fourth 214 and the center 215a of the fifth fifth region 215 at the center.
And the respective drive amounts of the Y drive mechanism 62 are calculated. Further, the operation control unit 64 controls the image capturing unit 72, and interlocks with the driving of the imaging unit 10 by the direction control unit 63, and in the order from the first area 211 to the fifth area 215, the two-dimensional imaging device The image formed on the imaging surface 12 is captured. The image capturing unit 72 performs A / D conversion on the captured image data of the areas 211 to 215 and stores the converted image data in the image storage unit 73.
【0034】画像合成部74は、被撮像範囲210の中
央に位置するの第5の領域215の画像を参照画像とし
て、第1〜第4の領域211〜214の画像データを合
成し、被撮像範囲210全体の合成画像データを形成す
る。さらに、合成画像データを画像記憶部73に記憶す
ると共に表示部75に表示する。表示部75に表示され
た合成画像は、実質的に撮像光学系11の第1の焦点距
離が設定された場合に得られる画角の2倍の画角を有す
る撮像光学系で撮像したものと等価であり、超ワイド画
像が得られる。
The image synthesizing section 74 synthesizes image data of the first to fourth areas 211 to 214 using the image of the fifth area 215 located at the center of the imaging range 210 as a reference image, and The combined image data of the entire area 210 is formed. Further, the composite image data is stored in the image storage unit 73 and displayed on the display unit 75. The composite image displayed on the display unit 75 is obtained by the imaging optical system having an angle of view twice as large as the angle of view obtained when the first focal length of the imaging optical system 11 is set. It is equivalent and an ultra wide image is obtained.
【0035】なお、実施例2では、画面の縦及び横をそ
れぞれ同じ倍率に拡大する、いわゆるズーミングについ
て説明したが、図7に示すような、例えば横方向の倍率
を縦方向の倍率よりも大きくする場合や、図8に示すよ
うな縦方向の倍率を横方向の倍率よりも大きくするでも
同様である。ディジタルカメラの場合、カメラの縦横を
持ち替えることは困難であるので、図8に示す構成は、
被撮像範囲(被写体)が縦長の場合に有効である。
In the second embodiment, the so-called zooming in which the vertical and horizontal directions of the screen are enlarged to the same magnification has been described. However, as shown in FIG. 7, for example, the horizontal magnification is larger than the vertical magnification. The same applies to the case where the magnification in the vertical direction is larger than the magnification in the horizontal direction as shown in FIG. In the case of a digital camera, it is difficult to change the vertical and horizontal positions of the camera, so the configuration shown in FIG.
This is effective when the imaging range (subject) is vertically long.
【0036】また、2次元撮像素子12の画素部分12
aの面積を、画像合成部74により合成される各画像2
11〜214の面積よりも広くすることにより、第1〜
第4の領域201〜204の画像の取り込み位置をシフ
トさせることができ、貼り合わせ部分の誤差を調整する
ことができる。また、撮像装置が「手ぶれ」等により動
いた場合、上記第5の領域215の画像を参照画像をし
て、貼り合わせる第1〜第4の領域211〜214の画
像の取り込み位置をシフトさせることにより、実質的に
「手ぶれ」を補正することが可能である。
The pixel portion 12 of the two-dimensional image pickup device 12
The area of “a” is calculated for each image 2 synthesized by the image synthesis unit 74.
By making the area larger than 11 to 214,
The image capturing positions of the fourth regions 201 to 204 can be shifted, and the error of the bonded portion can be adjusted. In addition, when the imaging apparatus moves due to “camera shake” or the like, the image in the fifth area 215 is used as a reference image, and the capturing position of the image in the first to fourth areas 211 to 214 to be bonded is shifted. Thus, it is possible to substantially correct "camera shake".
【0037】[0037]
【実施例3】次に、上記本発明の撮像装置の第1の実施
形態における動作の実施例3について説明する。実施例
3は、画面フォーマット設定部67による任意の画面フ
ォーマットの設定のうち、高精細撮像モードにおけるズ
ーミングやワイド画像に関する。
Third Embodiment Next, a description will be given of a third embodiment of the operation of the imaging apparatus according to the first embodiment of the present invention. The third embodiment relates to zooming and a wide image in the high-definition imaging mode among the settings of an arbitrary screen format by the screen format setting unit 67.
【0038】まず、モード選択部66により高精細撮像
モードが選択されているので、動作制御部64は、焦点
距離制御部を制御して撮像光学系11の焦点距離を望遠
側の第2の焦点距離(ズームレンズの場合は、望遠側の
任意の焦点距離でもよい)に設定する。また、方向制御
部63は、画面フォーマット設定部67により設定され
た縦方向及び横方向の倍率に基づいて、被撮像範囲を所
定の数に分割する。例えば、図9(a)に示す場合、縦
方向及び横方向共に約1.7倍に設定されているので、
方向制御部63は、被撮像範囲を第1〜第4の領域20
1〜204の4つの領域に分割し、各領域201〜20
4の画像を部分的にオーバーラップさせながら合成する
ように、撮像光学系11の光軸が順次、分割された各領
域201〜204の中心201a〜204aを向くよう
に、X走査機構61及びY走査機構62を制御する。画
像合成の手順は実施例1の場合と同様である。図5
(b)に示す実施例1における高精細画像(縦方向及び
横方向とも約2倍)と比較すると、高精細撮像モードに
おいて望遠側にズーミングしたことになる。
First, since the high-definition imaging mode is selected by the mode selection unit 66, the operation control unit 64 controls the focal length control unit to change the focal length of the imaging optical system 11 to the second focal length on the telephoto side. Set to a distance (in the case of a zoom lens, any focal length on the telephoto side may be used). Further, the direction control unit 63 divides the imaging range into a predetermined number based on the magnification in the vertical direction and the horizontal direction set by the screen format setting unit 67. For example, in the case shown in FIG. 9A, since the vertical and horizontal directions are set to about 1.7 times,
The direction control unit 63 sets the imaging range to the first to fourth regions 20.
Each of the regions 201 to 20 is divided into four regions
The X-scanning mechanism 61 and the Y-scanning mechanism Y are so arranged that the optical axis of the imaging optical system 11 is sequentially directed to the centers 201a to 204a of the divided regions 201 to 204 so that the images of the four images are partially overlapped. The scanning mechanism 62 is controlled. The procedure of image composition is the same as in the first embodiment. FIG.
As compared with the high-definition image (in the vertical direction and the horizontal direction, about twice as large) in the first embodiment shown in FIG.
【0039】一方、図9(b)に示す場合、縦方向は約
1.7倍であるが、横方向は約2.7倍に設定されてい
るので、方向制御部63は、被撮像範囲を横方向に3列
縦方向に2段の合計6つの領域に分割し、第1〜第6の
領域201〜206の各画像を部分的にオーバーラップ
させながら合成するように、撮像光学系11の光軸が分
割された各領域201〜206の中心201a〜206
aを向くように、X走査機構61及びY走査機構62を
制御する。画像合成の手順は実施例1の場合と同様であ
る。この場合、高精細撮像モードにおいてワイド画像が
得られる。
On the other hand, in the case shown in FIG. 9B, the vertical direction is set to about 1.7 times, but the horizontal direction is set to about 2.7 times. Is divided into three regions in the horizontal direction and two regions in the vertical direction, for a total of six regions, and the images of the first to sixth regions 201 to 206 are synthesized while partially overlapping each other. Center 201a-206 of each area 201-206 where the optical axis of
The X scanning mechanism 61 and the Y scanning mechanism 62 are controlled so as to face a. The procedure of image composition is the same as in the first embodiment. In this case, a wide image is obtained in the high-definition imaging mode.
【0040】また、図9(c)に示す場合、縦方向及び
横方向共に、約2.7倍に設定されているので、方向制
御部63は、被撮像範囲を横方向に3列縦方向に3段の
合計9つの領域に分割し、第1〜第9の領域201〜2
09の各画像を部分的にオーバーラップさせながら合成
するように、撮像光学系11の光軸が分割された各領域
201〜209の中心201a〜209aを向くよう
に、X走査機構61及びY走査機構62を制御する。画
像合成の手順は実施例1の場合と同様である。この場
合、図5(b)に示す実施例1における高精細画像(縦
方向及び横方向とも約2倍)と比較すると、高精細撮像
モードにおいて広角側にズーミングしたことになる。
In the case shown in FIG. 9C, since the magnification is set to about 2.7 times in both the vertical and horizontal directions, the direction control unit 63 sets the imaging range in the horizontal direction by three columns in the vertical direction. Are divided into a total of nine areas in three stages, and the first to ninth areas 201 to 2
The X-scanning mechanism 61 and the Y-scanning so that the optical axes of the imaging optical system 11 face the centers 201a to 209a of the divided regions 201 to 209 so that the respective images 09 are partially overlapped and synthesized. The mechanism 62 is controlled. The procedure of image composition is the same as in the first embodiment. In this case, as compared with the high-definition image (approximately twice in both the vertical and horizontal directions) according to the first embodiment illustrated in FIG. 5B, zooming to the wide-angle side is performed in the high-definition imaging mode.
【0041】[0041]
【実施例4】次に、上記本発明の撮像装置の第1の実施
形態における動作の実施例4について説明する。実施例
4は、角速度センサ40からの出力信号を用いた「手ぶ
れ」補正に関する。
Fourth Embodiment Next, a description will be given of a fourth embodiment of the operation of the imaging apparatus according to the first embodiment of the present invention. The fourth embodiment relates to “camera shake” correction using an output signal from the angular velocity sensor 40.
【0042】例えば図5(b)に示すように、4つの領
域の画像を合成して1枚の合成画像を形成する場合を考
える。ディジタルカメラの場合、1つの領域の画像を撮
像するのに要する時間は約30msecとする。一般的
には、1つの領域の画像を取り込む間における画像の流
れ(いわゆる、銀塩フィルムを用いたスチルカメラにお
ける「手ぶれ」)は小さいと考えられる。もし、被撮像
範囲(被写体)が暗い場合、フラッシュ制御部71を制
御してフラッシュ発光装置70を発光させれば良い。2
次元撮像素子12により、ある領域の画像を取り込んで
から、X駆動機構61及びY駆動機構62を駆動して次
の領域の画像を取り込むまでに要する時間を50〜10
0msecとすると、4つの領域の画像をすべて取り込
むまでに0.3〜0.5secの時間を要する。ここ
で、撮像装置を手持ちで使用すると、その間に「手ぶ
れ」(ビデオカメラでいう「手ぶれ」と同じような概
念)が生じ、4つの領域の画像の位置関係がずれること
になる。
For example, as shown in FIG. 5B, consider a case where images of four areas are combined to form one combined image. In the case of a digital camera, the time required to capture an image of one area is about 30 msec. In general, it is considered that the flow of an image during capture of an image of one area (so-called “camera shake” in a still camera using a silver halide film) is small. If the imaging range (subject) is dark, the flash control unit 71 may be controlled to cause the flash light emitting device 70 to emit light. 2
The time required from capturing an image of a certain area by the two-dimensional image sensor 12 to driving the X drive mechanism 61 and the Y drive mechanism 62 to capture the image of the next area is 50 to 10 times.
If it is set to 0 msec, it takes 0.3 to 0.5 sec to capture all the images of the four regions. Here, when the imaging device is used by hand, “camera shake” (a concept similar to “camera shake” in a video camera) occurs during that time, and the positional relationship between the images in the four regions is shifted.
【0043】角速度センサ40は、「手ぶれ」が生じる
と、X軸方向及びY軸方向の加速度を検出し、ぶれ信号
処理部41は角速度センサ40の出力信号から「手ぶ
れ」が発生した方向及び移動量を演算し、「手ぶれ」の
方向及び移動量に対応する信号をぶれ量記憶部42に記
憶すると共に、動作制御部64に出力する。
When the "camera shake" occurs, the angular velocity sensor 40 detects accelerations in the X-axis direction and the Y-axis direction. The amount is calculated, and signals corresponding to the direction and the amount of movement of “shake” are stored in the shake amount storage unit 42 and output to the operation control unit 64.
【0044】図10において、第1の領域201の画像
を取り込んでから第2の領域202の画像を取り込むま
での間に「手ぶれ」Aが生じたとする。もし、あらかじ
め演算しておいた駆動量に従ってX駆動機構61及びY
駆動機構62を駆動すると、撮像光学系11の光軸は図
中一点鎖線で示した本来の第2の領域202の中心20
2aを向かず、図中実線で示した移動した第2の領域2
02’の中心202a’を向くことになる。そこで、動
作制御部64は、ぶれ信号処理部41からの手ぶれの方
向及び移動量に対応する信号を用いて手ぶれ方向とは逆
の方向の補正量Bを演算し、方向制御部63に出力す
る。方向制御部63は補正量Bにより補正した駆動量を
用いてX駆動機構61及びY駆動機構62を駆動する。
その結果、図中一点鎖線で示す本来の第2の領域202
とほぼ同じ領域の画像が、2次元撮像素子12により取
り込まれるので、合成された画像には見かけ上「手ぶ
れ」は生じていない。
In FIG. 10, it is assumed that "camera shake" A occurs between the time when the image of the first area 201 is captured and the time when the image of the second area 202 is captured. If the X drive mechanism 61 and Y
When the driving mechanism 62 is driven, the optical axis of the imaging optical system 11 is shifted to the center 20 of the original second area 202 indicated by a dashed line in the figure.
2a, which has not moved to the area 2a and has moved as shown by the solid line in the figure.
02 'at the center 202a'. Therefore, the operation control unit 64 calculates a correction amount B in a direction opposite to the camera shake direction using a signal corresponding to the camera shake direction and the movement amount from the camera shake signal processing unit 41 and outputs the correction amount B to the direction control unit 63. . The direction control unit 63 drives the X drive mechanism 61 and the Y drive mechanism 62 using the drive amount corrected by the correction amount B.
As a result, the original second region 202 indicated by a dashed line in the drawing
Since the image in the same region as that of the image is captured by the two-dimensional image pickup device 12, the synthesized image has no apparent "camera shake".
【0045】なお、上記実施例1〜3において記載した
ように、2次元撮像素子12の撮像可能領域12aが画
像合成部74により合成される各画像201、202・
・・の領域よりも広い場合、ぶれ信号処理部41からの
手ぶれの方向及び移動量に対応する信号を画像合成部7
4に出力し、移動した領域202の画像取り込み位置を
手ぶれ方向と逆の方向に移動量だけシフトさせることに
より、「手ぶれ」を補正することが可能である。
As described in the first to third embodiments, each of the images 201, 202,...
If the area is wider than the area, a signal corresponding to the direction and amount of movement of the camera shake from the camera shake signal processing unit 41 is output to the image synthesis unit 7.
4 and the image capture position of the moved area 202 is shifted by the amount of movement in the direction opposite to the camera shake direction, whereby "camera shake" can be corrected.
【0046】なお、上記各実施例においては、撮像光学
系11は少なくとも第1の焦点距離及び第2の焦点距離
を採り得る2焦点レンズ又はズームレンズとして説明し
たが、実施例2〜4に関しては単焦点レンズであっても
同様の効果を奏することは言うまでもない。
In each of the above embodiments, the imaging optical system 11 has been described as a bifocal lens or a zoom lens capable of taking at least a first focal length and a second focal length. It goes without saying that the same effect can be obtained even with a single focus lens.
【0047】(第2の実施形態)本発明の撮像装置の第
2の実施形態について図11を参照しつつ説明する。図
11は第2の実施形態に係る撮像装置の主要部の構成を
示す斜視図である。上記第1の実施形態では、撮像光学
系11と2次元撮像素子12を撮像ユニット10の内部
に設け、撮像ユニット10全体を駆動することにより撮
像光学系11の光軸の方向を制御したが、第2の実施形
態では、撮像光学系11及び2次元撮像素子12を撮像
装置本体(図示せず)に固定し、撮像光学系11の光軸
上に設けられたジンバル構造のミラー60をX駆動機構
61及びY駆動機構62によりX軸及びY軸を中心とし
て回転駆動するように構成したものである。従って、第
2の実施形態では、撮像光学系11の光軸の方向を制御
するメカニズムが異なるものの、制御方法は上記第1の
実施形態の場合と実質的に同じである。従って、第2の
実施形態における制御方法の説明を省略する。
(Second Embodiment) A second embodiment of the imaging apparatus according to the present invention will be described with reference to FIG. FIG. 11 is a perspective view illustrating a configuration of a main part of an imaging device according to the second embodiment. In the first embodiment, the imaging optical system 11 and the two-dimensional imaging device 12 are provided inside the imaging unit 10, and the direction of the optical axis of the imaging optical system 11 is controlled by driving the entire imaging unit 10. In the second embodiment, the imaging optical system 11 and the two-dimensional imaging device 12 are fixed to an imaging device main body (not shown), and a mirror 60 having a gimbal structure provided on the optical axis of the imaging optical system 11 is driven by X driving. The mechanism 61 and the Y drive mechanism 62 are configured to be driven to rotate about the X axis and the Y axis. Therefore, in the second embodiment, although the mechanism for controlling the direction of the optical axis of the imaging optical system 11 is different, the control method is substantially the same as that in the first embodiment. Therefore, description of the control method in the second embodiment will be omitted.
【0048】[0048]
【発明の効果】以上のように、本発明の撮像装置は、撮
像する被撮像範囲を画面フォーマット設定手段により設
定し、画面フォーマット設定手段により設定された被撮
像範囲から、2次元撮像素子により取り込む画像の数及
び画像を取り込む際の撮像光学系の光軸の方向を演算
し、演算結果に基づいて方向制御手段、2次元撮像素子
及び画像合成手段を制御するので、画面フォーマット設
定手段により設定した任意の範囲の被撮像範囲に基づい
て、撮像光学系の光軸の方向を制御して2次元撮像素子
による画像の取り込み及び画像合成手段による画像の貼
り合わせを行うことができ、例えば撮像光学系の画角よ
りも広い画角を有する任意の範囲の画像を形成すること
ができる。また、ユーザーは希望する画面フォーマット
を設定するだけで良く、撮像光学系の光軸の方向の制御
や画像合成等を自動的に行うことができる。
As described above, in the imaging apparatus according to the present invention, the imaging range to be imaged is set by the screen format setting means, and is taken in from the imaging range set by the screen format setting means by the two-dimensional imaging device. The number of images and the direction of the optical axis of the imaging optical system at the time of capturing the images are calculated, and the direction control unit, the two-dimensional imaging device, and the image synthesis unit are controlled based on the calculation results. The direction of the optical axis of the imaging optical system can be controlled based on an arbitrary range to be imaged, so that images can be captured by the two-dimensional imaging device and the images can be combined by the image combining unit. An image in an arbitrary range having an angle of view wider than the angle of view can be formed. Further, the user only needs to set a desired screen format, and can automatically control the direction of the optical axis of the imaging optical system and perform image synthesis.
【0049】また、画面フォーマット設定手段により、
画面の縦及び横をそれぞれ同じ任意の倍率に又はそれぞ
れ異なった任意の倍率に拡大するように設定可能とする
ことにより、例えば、画面の縦及び横をそれぞれ同じ任
意の倍率に拡大する、いわゆるズーミング効果や、例え
ば横方向の倍率を縦方向の倍率よりも大きくする、いわ
ゆるパノラマ効果を得ることができる。
Also, the screen format setting means
By making it possible to set the vertical and horizontal dimensions of the screen to the same arbitrary magnification or different arbitrary magnifications, for example, the vertical and horizontal dimensions of the screen are enlarged to the same arbitrary magnification, respectively, so-called zooming An effect or a so-called panoramic effect, for example, in which the horizontal magnification is larger than the vertical magnification, can be obtained.
【0050】また、2次元撮像素子の撮像可能面積(画
素部分の面積)を、画像合成手段により合成される各画
像の面積よりも広くすることにより、各画像の取り込み
位置をシフトさせることができ、貼り合わせ部分の誤差
を調整することができる。例えば、ある画像を取り込ん
でから次の画像を取り込むまでの間に、撮像装置が「手
ぶれ」等により動いた場合、上記参照画像を参照しつ
つ、貼り合わせる画像の取り込み位置をシフトさせるこ
とにより、実質的に「手ぶれ」を補正することができ
る。
Further, by making the imageable area of the two-dimensional image pickup device (the area of the pixel portion) larger than the area of each image synthesized by the image synthesizing means, the capturing position of each image can be shifted. In this way, it is possible to adjust the error of the bonded portion. For example, if the imaging device has moved due to `` shake '' between capturing a certain image and capturing the next image, by shifting the capturing position of the image to be pasted while referring to the reference image, Substantially, "camera shake" can be corrected.
【0051】また、方向制御手段として、撮像光学系及
び2次元撮像素子を内蔵する撮像ユニットの筐体を所定
方向及び所定角度に駆動する駆動機構、あるいは、撮像
ユニットの光軸上に設けられ、所定方向及び所定方向に
駆動される可動ミラーとすることにより、撮像光学系の
イメージサークルを、少なくとも2次元撮像素子の撮像
可能領域をカバーできる程度に小さくすることができ、
撮像装置全体を小型軽量にすることができる。
As a direction control means, a drive mechanism for driving a housing of an image pickup unit having a built-in image pickup optical system and a two-dimensional image pickup device in a predetermined direction and at a predetermined angle, or provided on an optical axis of the image pickup unit, By using the movable mirror driven in the predetermined direction and the predetermined direction, the image circle of the imaging optical system can be made small enough to cover at least the imageable area of the two-dimensional image sensor,
The entire imaging device can be reduced in size and weight.
【図面の簡単な説明】[Brief description of the drawings]
【図1】 本発明の撮像装置の第1の実施形態における
撮像ユニット及びその駆動機構の構成を示す斜視図であ
る。
FIG. 1 is a perspective view illustrating a configuration of an imaging unit and a driving mechanism thereof in a first embodiment of an imaging device of the present invention.
【図2】 本発明の撮像装置の第1の実施形態における
撮像ユニット及びその筐体の初期状態における構成を示
す断面図である。
FIG. 2 is a cross-sectional view showing an initial configuration of an imaging unit and its housing in the imaging apparatus according to the first embodiment of the present invention.
【図3】 本発明の撮像装置の第1の実施形態における
撮像ユニット及びその筐体の動作状態における構成を示
す断面図である。
FIG. 3 is a cross-sectional view illustrating a configuration of the imaging unit and its housing in an operation state according to the first embodiment of the imaging apparatus of the present invention.
【図4】 本発明の撮像装置の第1の実施形態における
制御部の構成を示すブロック図である。
FIG. 4 is a block diagram illustrating a configuration of a control unit according to the first embodiment of the imaging apparatus of the present invention.
【図5】 (a)は本発明の撮像装置の第1の実施形態
の実施例1における標準撮像モードにおける画像を示す
図、(b)はその高精細撮像モードにおける合成画像を
示す図である。
FIG. 5A is a diagram illustrating an image in a standard imaging mode in Example 1 of the first embodiment of the imaging apparatus of the present invention, and FIG. 5B is a diagram illustrating a composite image in the high-definition imaging mode. .
【図6】 本発明の撮像装置の第1の実施形態の実施例
2における超ワイド画像の合成方法の一例を示す図であ
る。
FIG. 6 is a diagram illustrating an example of a super wide image synthesizing method according to a second example of the first embodiment of the imaging apparatus of the present invention.
【図7】 本発明の撮像装置の第1の実施形態の実施例
2における横方向に長い画像の合成方法の一例を示す図
である。
FIG. 7 is a diagram illustrating an example of a method for synthesizing a horizontally long image in Example 2 of the imaging apparatus according to the first embodiment of the present invention.
【図8】 本発明の撮像装置の第1の実施形態の実施例
2における縦方向に長い画像の合成方法の一例を示す図
である。
FIG. 8 is a diagram illustrating an example of a method of synthesizing a vertically long image in Example 2 of the imaging apparatus according to the first embodiment of the present invention.
【図9】 (a)は本発明の撮像装置の第1の実施形態
の実施例3における高精細撮像モードにおける望遠側ズ
ーミング画像を示す図、(b)は高精細撮像モードにお
ける横方向に長いパノラマ画像を示す図、(c)は高精
細撮像モードにおける広角側ズーミング画像を示す図で
ある。
9A is a diagram illustrating a telephoto-side zoom image in a high-definition imaging mode in Example 3 of the imaging apparatus according to the first embodiment of the present invention, and FIG. 9B is a horizontally long image in the high-definition imaging mode. FIG. 3C is a diagram illustrating a panoramic image, and FIG. 3C is a diagram illustrating a wide-angle zoom image in a high-definition imaging mode.
【図10】 本発明の撮像装置の第1の実施形態の実施
例4における「手ぶれ」補正方法の一例を示す図であ
る。
FIG. 10 is a diagram illustrating an example of a “camera shake” correction method in Example 4 of the first embodiment of the imaging apparatus of the present invention.
【図11】 本発明の撮像装置の第2の実施形態におけ
る撮像ユニット及びその駆動機構の構成を示す斜視図で
ある。
FIG. 11 is a perspective view illustrating a configuration of an imaging unit and a driving mechanism thereof in a second embodiment of the imaging apparatus of the present invention.
【図12】 第1の従来例の撮像装置の構成を示す図で
ある。
FIG. 12 is a diagram illustrating a configuration of a first conventional imaging apparatus.
【図13】 第2の従来例の撮像装置の構成を示す斜視
図である。
FIG. 13 is a perspective view illustrating a configuration of a second conventional imaging apparatus.
【符号の説明】[Explanation of symbols]
10 :撮像ユニット 11 :撮像光学系 12 :2次元撮像素子 20 :筐体 40 :角速度センサ 41 :ぶれ信号処理部 42 :ぶれ量記憶部 50 :スイッチパネル 60 :制御部 61 :X駆動機構 62 :Y駆動機構 63 :方向制御部 64 :動作制御部 65 :焦点距離制御部 66 :モード選択部 67 :画面フォーマット設定部 70 :フラッシュ発光装置 71 :フラッシュ制御部 72 :画像取込部 73 :画像記憶部 74 :画像合成部 75 :表示部 200 :合成画像 201 :第1の領域 202 :第2の領域 203 :第3の領域 204 :第4の領域 Reference Signs List 10: imaging unit 11: imaging optical system 12: two-dimensional imaging device 20: housing 40: angular velocity sensor 41: blur signal processing unit 42: blur amount storage unit 50: switch panel 60: control unit 61: X drive mechanism 62: Y drive mechanism 63: direction control unit 64: operation control unit 65: focal length control unit 66: mode selection unit 67: screen format setting unit 70: flash light emitting device 71: flash control unit 72: image capture unit 73: image storage Unit 74: image combining unit 75: display unit 200: combined image 201: first region 202: second region 203: third region 204: fourth region

Claims (5)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 撮像光学系と、前記撮像光学系の焦点面
    近傍に設けられた2次元撮像素子と、前記撮像光学系の
    光軸の方向を制御する方向制御手段と、前記2次元撮像
    素子により取り込んだ複数の画像を合成し1枚の合成画
    像を形成する画像合成手段と、撮像する被撮像範囲を設
    定する画面フォーマット設定手段と、前記画面フォーマ
    ット設定手段により設定された被撮像範囲から、前記2
    次元撮像素子により取り込む画像の数及び画像を取り込
    む際の前記撮像光学系の光軸の方向を演算し、演算結果
    に基づいて前記方向制御手段、前記2次元撮像素子及び
    前記画像合成手段を制御する動作制御手段とを具備する
    撮像装置。
    An imaging optical system, a two-dimensional imaging device provided near a focal plane of the imaging optical system, a direction control unit for controlling a direction of an optical axis of the imaging optical system, and the two-dimensional imaging device. Image synthesizing means for synthesizing a plurality of images captured by the above to form one composite image, a screen format setting means for setting an imaging range to be imaged, and an imaging range set by the screen format setting means. 2 above
    The number of images captured by the two-dimensional imaging device and the direction of the optical axis of the imaging optical system when capturing the images are calculated, and the direction control unit, the two-dimensional imaging device, and the image combining unit are controlled based on the calculation result. An imaging device comprising an operation control unit.
  2. 【請求項2】 前記画面フォーマット設定手段は、画面
    の縦及び横をそれぞれ同じ任意の倍率に又はそれぞれ異
    なった任意の倍率に拡大するように設定可能であること
    を特徴とする請求項1記載の撮像装置。
    2. The screen format setting means according to claim 1, wherein said screen format setting means can be set so as to magnify the screen vertically and horizontally to the same arbitrary magnification or to different arbitrary magnifications. Imaging device.
  3. 【請求項3】 前記2次元撮像素子の撮像可能面積は、
    前記画像合成手段により合成される各画像の面積よりも
    広いことを特徴とする請求項1又は2記載の撮像装置。
    3. The image-capable area of the two-dimensional image sensor is:
    The imaging apparatus according to claim 1, wherein an area of each image combined by the image combining unit is larger than an area of each image combined.
  4. 【請求項4】 前記方向制御手段は、前記撮像光学系及
    び前記2次元撮像素子を内蔵する撮像ユニットの筐体を
    所定方向及び所定角度に駆動する駆動機構であることを
    特徴とする請求項1から3のいずれかに記載の撮像装
    置。
    4. The apparatus according to claim 1, wherein the direction control unit is a driving mechanism that drives a housing of an imaging unit including the imaging optical system and the two-dimensional imaging device in a predetermined direction and at a predetermined angle. 4. The imaging device according to any one of claims 1 to 3.
  5. 【請求項5】 前記方向制御手段は、前記撮像ユニット
    の光軸上に設けられ、所定方向及び所定方向に駆動され
    る可動ミラーであることを特徴とする請求項1から3の
    いずれかに記載の撮像装置。
    5. The apparatus according to claim 1, wherein the direction control means is a movable mirror provided on an optical axis of the imaging unit and driven in a predetermined direction and in a predetermined direction. Imaging device.
JP9191326A 1997-07-16 1997-07-16 Image pickup device Pending JPH1141509A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9191326A JPH1141509A (en) 1997-07-16 1997-07-16 Image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9191326A JPH1141509A (en) 1997-07-16 1997-07-16 Image pickup device
US09/114,138 US6639625B1 (en) 1997-07-16 1998-07-13 Image sensing device

Publications (1)

Publication Number Publication Date
JPH1141509A true JPH1141509A (en) 1999-02-12

Family

ID=16272701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9191326A Pending JPH1141509A (en) 1997-07-16 1997-07-16 Image pickup device

Country Status (1)

Country Link
JP (1) JPH1141509A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090821A (en) * 2000-09-20 2002-03-27 Sony Corp Imaging unit and method
KR100430543B1 (en) * 2001-05-23 2004-05-10 고나미 가부시끼가이샤 Automatic picture taking machine and method
JP2008083699A (en) * 2006-09-28 2008-04-10 Renbao Computer Industry Co Ltd Rotatable camera by single motor to actuate camera lens moved in panning or tilting
JP2009512396A (en) * 2005-10-16 2009-03-19 メディアポッド リミテッド ライアビリティ カンパニー Apparatus, system and method for enhancing the quality of digital video capture
US7724286B2 (en) 2004-05-19 2010-05-25 Sony Corporation Image pickup apparatus and image pickup method
JP2010130628A (en) * 2008-12-01 2010-06-10 Sharp Corp Imaging apparatus, image compositing device and image compositing method
JP2011528531A (en) * 2008-07-17 2011-11-17 イーストマン コダック カンパニー Zoom by capturing multiple images
JP2012088396A (en) * 2010-10-15 2012-05-10 Canon Inc Surveillance camera
CN105891998A (en) * 2016-06-07 2016-08-24 浙江大华技术股份有限公司 Multi-spectral video camera and method for synchronously calibrating optical axis of multi-spectral video camera
CN106338841A (en) * 2016-10-20 2017-01-18 深圳市立品光电有限公司 Method and apparatus for calibrating optical axis of optical lens of photographic module group

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090821A (en) * 2000-09-20 2002-03-27 Sony Corp Imaging unit and method
KR100430543B1 (en) * 2001-05-23 2004-05-10 고나미 가부시끼가이샤 Automatic picture taking machine and method
US7724286B2 (en) 2004-05-19 2010-05-25 Sony Corporation Image pickup apparatus and image pickup method
JP2009512396A (en) * 2005-10-16 2009-03-19 メディアポッド リミテッド ライアビリティ カンパニー Apparatus, system and method for enhancing the quality of digital video capture
JP2008083699A (en) * 2006-09-28 2008-04-10 Renbao Computer Industry Co Ltd Rotatable camera by single motor to actuate camera lens moved in panning or tilting
JP4546993B2 (en) * 2006-09-28 2010-09-22 仁寶電腦工業股▲ふん▼有限公司 Rotating camera with single motor to operate camera lens moving in pan or tilt
JP2011528531A (en) * 2008-07-17 2011-11-17 イーストマン コダック カンパニー Zoom by capturing multiple images
JP2010130628A (en) * 2008-12-01 2010-06-10 Sharp Corp Imaging apparatus, image compositing device and image compositing method
JP2012088396A (en) * 2010-10-15 2012-05-10 Canon Inc Surveillance camera
CN105891998A (en) * 2016-06-07 2016-08-24 浙江大华技术股份有限公司 Multi-spectral video camera and method for synchronously calibrating optical axis of multi-spectral video camera
CN105891998B (en) * 2016-06-07 2018-09-28 浙江大华技术股份有限公司 The optical axis synchronous calibration method of multispectral video camera and multispectral video camera
CN106338841A (en) * 2016-10-20 2017-01-18 深圳市立品光电有限公司 Method and apparatus for calibrating optical axis of optical lens of photographic module group

Similar Documents

Publication Publication Date Title
US6639625B1 (en) Image sensing device
US6002430A (en) Method and apparatus for simultaneous capture of a spherical image
US7382399B1 (en) Omniview motionless camera orientation system
JP4643773B2 (en) Electronic zoom image input method
JP2005311789A (en) Digital camera
US20020154912A1 (en) Image pickup apparatus
US5416557A (en) Camera apparatus having drift detecting unit
JP2000278602A (en) Image input method, image input device and recording medium
JP2020512581A (en) Camera with panoramic scanning range
JPH1141509A (en) Image pickup device
JP2011048283A (en) Photographed image composing device
JP4306341B2 (en) Image shooting device
JPH09322055A (en) Electronic camera system
JPH1141510A (en) Image pickup device
JPH1141504A (en) Image pickup device
JP2006115091A (en) Imaging device
US6876387B1 (en) Digital zoom-out processing apparatus
JPH07226873A (en) Automatic tracking image pickup unit
JP2003134375A (en) Image pickup system
JP2011176460A (en) Imaging apparatus
JP5434065B2 (en) Imaging device
JP2005099572A (en) Wide range photographing method and display method
JP2004194075A (en) Photographic system
JP2004056779A (en) Image inputting device
KR101873987B1 (en) A multiscale imaging system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041214