JPH0983855A - Image system and image processing method - Google Patents
Image system and image processing methodInfo
- Publication number
- JPH0983855A JPH0983855A JP7232174A JP23217495A JPH0983855A JP H0983855 A JPH0983855 A JP H0983855A JP 7232174 A JP7232174 A JP 7232174A JP 23217495 A JP23217495 A JP 23217495A JP H0983855 A JPH0983855 A JP H0983855A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- focus
- unit
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像システムおよ
び画像処理方法に係り、特に、ズーム、パン、ピント合
わせ等のカメラ操作を画像処理により電子的に行う画像
システムに適用して有効な技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image system and an image processing method, and more particularly to a technique effectively applied to an image system which electronically performs camera operations such as zooming, panning and focusing by image processing. .
【0002】[0002]
【従来の技術】近年、画像システムにおいて、ディジタ
ル画像処理技術の発達により、カメラで撮像した画像の
編集作業が容易に行えるようになっている。2. Description of the Related Art In recent years, with the development of digital image processing technology in image systems, it has become possible to easily edit images captured by a camera.
【0003】これら最近の画像編集では、画像合成やカ
ットなどの従来の作業だけでなくディジタル画像処理技
術を生かし、ズーム、パンなど、従来は機械的な操作で
あったレンズやカメラパラメータの変更まで行えるよう
になっている。In these recent image edits, not only the conventional work such as image composition and cutting, but also the digital image processing technique is utilized, and the lens and camera parameters such as zoom and pan, which are conventionally mechanical operations, can be changed. It can be done.
【0004】図8は、ズーム、パンなどの処理をディジ
タル画像処理技術を用いて行うようにした従来の画像シ
ステムの概略構成を示すブロック図である。FIG. 8 is a block diagram showing a schematic configuration of a conventional image system in which processing such as zooming and panning is performed by using a digital image processing technique.
【0005】図8において、1はカメラ、3は画像処理
部であり、図8に示す画像システムにおいては、カメラ
1で、被写体を撮影しその撮像画像をA/D変換器(図
示せず)により画像データに変換し、画像処理部3が、
当該画像データにディジタル画像処理を施してパン、ズ
ームなどの処理を行う。In FIG. 8, reference numeral 1 is a camera, and 3 is an image processing unit. In the image system shown in FIG. 8, the camera 1 photographs an object and the captured image is A / D converter (not shown). The image processing unit 3 converts the image data into
Digital image processing is performed on the image data to perform processing such as pan and zoom.
【0006】なお、前記従来の画像システムについて
は、下記文献(A)を参照されたい。Regarding the conventional image system, refer to the following document (A).
【0007】(A)日経ニューメディア別冊「通信・放
送融合へのシナリオ」、日経BP社、1994年(A) Nikkei New Media Separate Volume "Scenario for Communication / Broadcast Convergence", Nikkei BP, 1994
【0008】[0008]
【発明が解決しようとする課題】通常、カメラ1で撮影
したある瞬間の被写体の撮像画像は、その瞬間における
カメラ1のレンズの焦点位置によりピントの合う距離が
決まっている。Normally, in a captured image of a subject at a certain moment taken by the camera 1, the focusing distance is determined by the focal position of the lens of the camera 1 at that moment.
【0009】このため、例えば、カメラに近い被写体に
ピントを合わせた場合、背景となる遠方の撮像画像は焦
点のずれた画像となる。Therefore, for example, when a subject close to the camera is focused, a distant captured image serving as a background becomes an image with a defocus.
【0010】したがって、前記従来の画像システムで
は、画像処理部3でズーム機能を実現しても、カメラ1
のレンズのピントが合っている距離の被写体以外は焦点
のずれた画像としてしか生成できない。Therefore, in the conventional image system, even if the zoom function is realized by the image processing unit 3, the camera 1
Other than the subject at the distance where the lens is in focus, it can be generated only as an out-of-focus image.
【0011】もちろん、ズーム機能については、従来通
りカメラ1のレンズのピント調整により可能である。Of course, the zoom function can be achieved by adjusting the focus of the lens of the camera 1 as in the conventional case.
【0012】しかしながら、画像のピント調整は、カメ
ラ1のレンズ操作により行われていたため、カメラ1か
らのリアルタイムの画像データでしか、調整を行うこと
ができず、記憶された画像データでは焦点位置の変更を
行うことができないという問題点があった。However, since the focus adjustment of the image is performed by the lens operation of the camera 1, the adjustment can be performed only by the real-time image data from the camera 1, and the focus position of the stored image data can be changed. There was a problem that changes could not be made.
【0013】また、前記画像処理3に複数の表示端末装
置を通信回線を介して接続し、複数の表示端末装置でカ
メラ1で撮像した撮像画像を出力するようにした画像シ
ステムでは、ある表示端末装置は近景に焦点の合った撮
像画像を要求し、他の表示端末装置では遠景に焦点のあ
った撮像画像を要求された場合、両方の要求を満足する
ことができないという問題点があった。Further, in an image system in which a plurality of display terminal devices are connected to the image processing 3 via a communication line and the plurality of display terminal devices output the picked-up images by the camera 1, a certain display terminal is provided. When the device requests a captured image focused on a near view and another display terminal device requests a captured image focused on a distant view, both requirements cannot be satisfied.
【0014】この場合、画面中で被写体までの距離に関
係なく焦点を合わせるためには、レンズの絞りを小さく
すればよいが、画像が暗くなるという問題点があった。In this case, in order to focus on the screen irrespective of the distance to the subject, it is sufficient to reduce the lens diaphragm, but there is a problem that the image becomes dark.
【0015】また、合焦点位置以外の被写体を意識的に
ピントのはずれた画像としたい場合、この方法では実現
することができないという問題点があった。In addition, there is a problem that this method cannot be realized when the subject other than the in-focus position is intentionally made into an out-of-focus image.
【0016】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、撮像部
からの画像データを複数の表示端末装置で表示するよう
にした画像システムにおいて、それぞれの表示端末装置
で、合焦点位置の異なる画像データを自由に選択して、
画像処理でズーム機能を実現できる技術を提供すること
にある。The present invention has been made to solve the above-mentioned problems of the prior art, and an object of the present invention is to display image data from an image pickup unit on a plurality of display terminal devices. In, in each display terminal device, freely select image data with different in-focus position,
It is to provide a technology capable of realizing a zoom function by image processing.
【0017】また、本発明の他の目的は、撮像部からの
画像データを複数の表示端末装置で表示するようにした
画像システムの画像処理方法において、それぞれの表示
端末装置で、合焦点位置の異なる画像データを自由に選
択して、画像処理でズーム機能を実現する際に、最も適
した同一合焦点位置画像データを補間する技術を提供す
ることにある。Another object of the present invention is to provide an image processing method for an image system in which image data from an image pickup section is displayed on a plurality of display terminal devices, and the focus position of each display terminal device is changed. It is an object of the present invention to provide a technique for interpolating the most suitable in-focus position image data when the zoom function is realized by image processing by freely selecting different image data.
【0018】本発明の前記目的並びにその他の目的及び
新規な特徴は、本明細書の記載及び添付図面によって明
らかにする。The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
【0019】[0019]
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。SUMMARY OF THE INVENTION Among the inventions disclosed in the present application, the outline of a representative one will be briefly described.
It is as follows.
【0020】(1)被写体の画像データを生成する画像
撮像部と、前記画像撮像部からの画像データを処理する
画像処理部と、前記画像処理部で処理された画像データ
を複数の表示端末装置で表示するようにした画像システ
ムにおいて、前記撮像部が、それぞれ合焦点位置の異な
る同一被写体の撮像画像を撮影する撮像手段と、前記撮
像手段により撮影された合焦点位置が異なる複数の撮像
画像から合焦点位置毎に対応した複数の画像データを並
列生成する画像データ生成手段と、前記並列生成された
合焦点位置の異なる複数の画像データを、前記複数の表
示端末装置がそれぞれに独立に選択できる画像選択手段
とを備えることを特徴とする。(1) An image pickup unit for generating image data of a subject, an image processing unit for processing the image data from the image pickup unit, and a plurality of display terminal devices for the image data processed by the image processing unit. In the image system configured to display the image, the imaging unit is configured to include an imaging unit that captures captured images of the same subject with different in-focus positions, and a plurality of captured images that have different in-focus positions captured by the imaging unit. The image data generating means for parallelly generating a plurality of image data corresponding to each in-focus position and the plurality of image data with different in-focus positions generated in parallel can be independently selected by each of the plurality of display terminal devices. And an image selection unit.
【0021】(2)前記(1)の手段において、前記撮
像手段が、所定時間毎に焦点位置をシフトさせ、前記合
焦点位置の異なる同一被写体の撮像画像を時分割的に撮
影する撮像手段であることを特徴とする。(2) In the means of (1) above, the image pickup means shifts the focus position every predetermined time, and time-divisionally takes the imaged images of the same subject having different focus points. It is characterized by being.
【0022】(3)前記(2)の手段において、前記撮
像手段が、nフレーム(nは1以上の整数)毎、あるい
は、nフィールド毎に焦点位置をシフトさせることを特
徴とする。(3) In the means of (2), the image pickup means shifts the focal position every n frames (n is an integer of 1 or more) or every n fields.
【0023】(4)前記(2)または(3)の手段にお
ける画像処理方法において、所定時間毎に撮影された合
焦点位置の異なる複数の撮像画像から合焦点位置毎に対
応した複数の画像データを並列生成する際に、現時点の
画像データおよび現時点前の画像データから、時間的に
輝度変化の生じない静止領域、輝度変化が生じる動領
域、および、動物体の動きベクトルを検出し、前記検出
した静止領域、動領域、および、動きベクトルに基づ
き、現時点の同一合焦点位置の画像データを、現時点前
の同一合焦点位置の画像データまたは現時点後の同一合
焦点位置の画像データより生成することを特徴とする。(4) In the image processing method according to the means (2) or (3), a plurality of image data corresponding to each in-focus position from a plurality of picked-up images having different in-focus positions taken at predetermined time intervals. In parallel generation, from the image data at the present time and the image data before the current time, a static region in which the luminance change does not occur temporally, a moving region in which the luminance change occurs, and a motion vector of the moving object are detected, and the detection is performed. The image data of the same in-focus position at the present time is generated from the image data of the same in-focus position before the current time or the image data of the same in-focus position after the current time based on the static region, the moving region, and the motion vector Is characterized by.
【0024】前記(1)ないし(4)の手段によれば、
撮像部において、異なる合焦点位置に対応した画像デー
タを生成するようにしたので、例えば、広角で近景に焦
点を合わせた画像データと、望遠で遠景に焦点を合わせ
た画像データを、複数の表示端末装置で自由に選択で
き、画像処理でズーム機能を実現することが可能とな
る。According to the above means (1) to (4),
Since the image pickup unit is configured to generate image data corresponding to different in-focus positions, for example, a plurality of image data in which a near view is focused in a wide angle and image data in which a distant view is focused in a telephoto are displayed. It can be freely selected by the terminal device, and the zoom function can be realized by image processing.
【0025】[0025]
【発明の実施の形態】以下、本発明を図面を参照して詳
細に説明する。DETAILED DESCRIPTION OF THE INVENTION The present invention will be described in detail below with reference to the drawings.
【0026】なお、発明の実施の形態(実施例)を説明
するための全図において、同一機能を有するものは同一
符号を付け、その繰り返しの説明は省略する。In all of the drawings for explaining the embodiments (examples) of the invention, those having the same function are designated by the same reference numerals, and the repeated description thereof will be omitted.
【0027】[実施例1]図1は、本発明の一実施例
(実施例1)である画像システムの概略構成を示すブロ
ック図である。[Embodiment 1] FIG. 1 is a block diagram showing a schematic configuration of an image system which is an embodiment (Embodiment 1) of the present invention.
【0028】図1において、11,12はカメラ、2
1,22は入力選択部、31,32は画像処理部、4
1,42は表示端末装置、51,52は制御信号発生器
である。In FIG. 1, 11 and 12 are cameras and 2
Reference numerals 1 and 22 denote input selection units, 31 and 32 denote image processing units, 4
1, 42 are display terminal devices, and 51, 52 are control signal generators.
【0029】本実施例1の画像システムは、カメラ(1
1,12)、入力選択部(21,22)、および、画像
処理部(31,32)がセンタに配置され、通信回線を
介して、表示端末装置(41,42)と制御信号発生器
(51,52)とが画像処理部(31,32)に接続さ
れる画像システムである。The image system of the first embodiment includes a camera (1
1, 12), an input selection unit (21, 22), and an image processing unit (31, 32) are arranged in the center, and the display terminal device (41, 42) and the control signal generator ( 51, 52) is an image system connected to the image processing unit (31, 32).
【0030】ここで、カメラ(11,12)および、入
力選択部(21,22)が撮像部を構成する。Here, the cameras (11, 12) and the input selection sections (21, 22) constitute an image pickup section.
【0031】本実施例1の画像システムでは、2台のカ
メラ(11,12)で、同一被写体を撮影し、その撮影
された撮像画像をA/D変換器(図示せず)により画像
データに変換する。In the image system of the first embodiment, two cameras (11, 12) photograph the same subject, and the photographed image is converted into image data by an A / D converter (not shown). Convert.
【0032】その際、それぞれのカメラ(11,12)
のレンズの合焦点位置を異ならせることにより、合焦点
位置毎に対応した動画像データを並列生成する。At that time, each camera (11, 12)
By changing the in-focus position of the lens, the moving image data corresponding to each in-focus position is generated in parallel.
【0033】したがって、それぞれ合焦点位置の異なる
同一被写体の撮像画像を撮影する撮像手段と、合焦点位
置毎に対応した複数の画像データを並列生成する画像デ
ータ生成手段とは、この2台のカメラによる並列撮像に
より実現される。Therefore, the image pickup means for picking up the picked-up images of the same subject having different focal points and the image data generating means for parallelly generating a plurality of image data corresponding to the respective focal points are the two cameras. It is realized by parallel imaging by.
【0034】2台のカメラ(11,12)からの画像デ
ータは、表示端末装置(41,42)毎に設置された入
力選択部(21,22)に入力され、表示端末装置(4
1,42)側からの制御信号により表示側が要求する画
像データが選択される。The image data from the two cameras (11, 12) is input to the input selection section (21, 22) installed for each display terminal device (41, 42), and the display terminal device (4
The image data required by the display side is selected by the control signal from the (1, 42) side.
【0035】次に、画像処理部(31,32)が、当該
画像データにディジタル画像処理、例えば、入力画像の
部分拡大等を施してパン、ズームなどの処理を行う。Next, the image processing section (31, 32) performs digital image processing on the image data, for example, partial enlargement of the input image, and processing such as pan and zoom.
【0036】これらの処理後の画像データが、表示端末
装置(41,42)に表示される。The image data after these processes are displayed on the display terminal device (41, 42).
【0037】以上説明したように、本実施例によれば、
ズームやパンなどのほか、ピント位置変更も電子的に実
行され、従来機械的に行われていた全てのカメラ操作
を、複数の表示端末装置(41,42)で独立に電子的
処理で行うことが可能となる。As described above, according to this embodiment,
In addition to zooming, panning, etc., focus position changes are also performed electronically, and all camera operations that were conventionally performed mechanically are independently performed electronically on multiple display terminal devices (41, 42). Is possible.
【0038】[実施例2]図2は、本発明の他の実施例
(実施例2)である画像システムの概略構成を示すブロ
ック図である。[Embodiment 2] FIG. 2 is a block diagram showing a schematic configuration of an image system which is another embodiment (Embodiment 2) of the present invention.
【0039】図2において、1はカメラ、6は信号分配
部、21,22は入力選択部、31,32は画像処理
部、41,42は表示端末装置、51,52は制御信号
発生器、71,72はフレーム補間部である。In FIG. 2, 1 is a camera, 6 is a signal distributor, 21 and 22 are input selectors, 31 and 32 are image processors, 41 and 42 are display terminal devices, 51 and 52 are control signal generators, Reference numerals 71 and 72 are frame interpolation units.
【0040】本実施例2の画像システムは、カメラ1、
信号分配部6、フレーム補間部(71,72)、入力選
択部(21,22)、および、画像処理部(31,3
2)がセンタに配置され、通信回線を介して、表示端末
装置(41,42)と制御信号発生器(51,52)と
が画像処理部(31,32)に接続される画像システム
である。The image system of the second embodiment includes a camera 1,
The signal distribution unit 6, the frame interpolation unit (71, 72), the input selection unit (21, 22), and the image processing unit (31, 3)
2) is an image system which is arranged in the center, and a display terminal device (41, 42) and a control signal generator (51, 52) are connected to an image processing unit (31, 32) via a communication line. .
【0041】ここで、カメラ1、信号分配部6、フレー
ム補間部(71,72)、および、入力選択部(21,
22)が撮像部を構成する。Here, the camera 1, the signal distribution unit 6, the frame interpolation unit (71, 72), and the input selection unit (21,
22) constitutes an image pickup section.
【0042】本実施例1の画像システムでは、1台のカ
メラ1で、同一被写体を撮影し、その撮影された撮像画
像をA/D変換器(図示せず)により画像データに変換
する。In the image system of the first embodiment, one camera 1 photographs the same subject, and the photographed image thus photographed is converted into image data by an A / D converter (not shown).
【0043】その際、カメラ1で、1フレーム毎に合焦
点位置を異ならせて同一被写体を撮影し、合焦点位置毎
に対応した動画像データを時分割的に生成する。At this time, the camera 1 shoots the same subject while changing the in-focus position for each frame and time-divisionally generates moving image data corresponding to each in-focus position.
【0044】1台のカメラ1からの画像データは、信号
分配部6により、それぞれのフレーム補間部(71,7
2)に入力され、フレーム補間部(71,72)から、
カメラ1からの画像データおよびフレーム補間された画
像データが表示端末装置(41,42)毎に設置された
入力選択部(21,22)に入力される。The image data from one camera 1 is processed by the signal distributor 6 into the respective frame interpolators (71, 7).
2) is input to the frame interpolation unit (71, 72),
The image data from the camera 1 and the frame-interpolated image data are input to the input selection units (21, 22) installed for each display terminal device (41, 42).
【0045】そして、表示端末装置(41,42)側か
らの制御信号により表示側が要求する画像データが選択
される。Then, the image data required by the display side is selected by a control signal from the display terminal device (41, 42) side.
【0046】次に、画像処理部(31,32)が、入力
画像データにディジタル画像処理、例えば、入力画像の
部分拡大等を施してパン、ズームなどの処理を行う。Next, the image processing section (31, 32) performs digital image processing on the input image data, for example, partially enlarging the input image and performing processing such as pan and zoom.
【0047】これらの処理後の画像データが、表示端末
装置(41,42)に表示される。The image data after these processes are displayed on the display terminal device (41, 42).
【0048】図3は、本実施例2のカメラ1の概略構成
を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of the camera 1 of the second embodiment.
【0049】図3において、101はレンズ、102は
撮像素子、103はモータ、104は回転板である。In FIG. 3, 101 is a lens, 102 is an image sensor, 103 is a motor, and 104 is a rotating plate.
【0050】本実施例2の画像システムでは、1台のカ
メラ1で、1フレーム毎に合焦点位置を異ならせて同一
被写体を撮影するため、レンズ101と撮像素子102
との間で回転板104を回転させる。In the image system of the second embodiment, since the single camera 1 shoots the same subject by changing the in-focus position for each frame, the lens 101 and the image sensor 102 are used.
The rotating plate 104 is rotated between and.
【0051】図4は、図3に示す回転板104の平面図
であり、図4において、105は透明板である。FIG. 4 is a plan view of the rotary plate 104 shown in FIG. 3. In FIG. 4, 105 is a transparent plate.
【0052】この回転板104は、図4に示すように、
1/4円状の透明板105が点対象に配置された形状
で、透明板105のない位置にはなんら物体は存在しな
い。This rotating plate 104, as shown in FIG.
The transparent plate 105 having a shape of a quarter circle is arranged in a point object, and there is no object at a position where the transparent plate 105 is not present.
【0053】この回転板104を1フレームに90°ず
つ回転させると、透明板105を透過した光による像
と、透過しない光による像が1フレームおきに撮像され
ることになる。When the rotating plate 104 is rotated by 90 ° for each frame, an image of light transmitted through the transparent plate 105 and an image of light not transmitted are captured every other frame.
【0054】ここで、レンズの焦点距離fを25mm、
透明板105の厚さを0.8mm、屈折率を1.4とす
ると、透明板105を透過する場合と透過しない場合で
は、レンズ・撮像素子間の光路長が0.32mm異なる
ことになり、この結果、1フレームおきに合焦点位置の
異なる画像が撮像されることになる。Here, the focal length f of the lens is 25 mm,
Assuming that the thickness of the transparent plate 105 is 0.8 mm and the refractive index is 1.4, the optical path length between the lens and the image pickup element is different by 0.32 mm when the transparent plate 105 is transmitted and when it is not transmitted. As a result, images with different focus positions are captured every other frame.
【0055】この場合、光が透明板105を透過しない
場合の画像の焦点を無限遠に合わせると、透明板105
を透過した場合の画像の焦点はレンズから約2mの位置
に合うことになる。In this case, when the image is focused at infinity when light does not pass through the transparent plate 105, the transparent plate 105
When the light passes through, the image is focused at a position about 2 m from the lens.
【0056】前記カメラ1からの画像データは、信号分
配部6において合焦点位置の違いにより分配される。The image data from the camera 1 is distributed by the signal distribution unit 6 depending on the difference in the focus position.
【0057】この場合に、前記分配された信号は、1フ
レームおきの信号であるため、フレーム補間部(71,
72)において、抜けたフレームの画像を生成する。In this case, since the distributed signals are signals every other frame, the frame interpolator (71,
In 72), the image of the missing frame is generated.
【0058】図5は、図2に示すフレーム補間部(7
1,72)の処理手順を説明する図でである。FIG. 5 shows the frame interpolator (7
It is a figure explaining the processing procedure of (1, 72).
【0059】図5において、I(j)は入力画像デー
タ、In(j)およびIf(j)はそれぞれ近焦点画像
データおよび遠焦点画像データとして生成される出力画
像データである。In FIG. 5, I (j) is input image data, and In (j) and If (j) are output image data generated as near-focus image data and far-focus image data, respectively.
【0060】ここで、()内はフレーム番号を示してい
る。Here, the frame number is shown in parentheses.
【0061】図5では、n、n+2、・・フレームでは
遠方に焦点を合わせ、n−1、n+1、・・フレームで
はカメラ1の近傍に焦点を合わせて撮像した場合を示
す。FIG. 5 shows a case in which n, n + 2, ... Frames are focused far, and n-1, n + 1 ,.
【0062】この場合、近焦点画像データのn−1、n
+1、・・フレーム画像データは、入力画像データの同
フレーム画像データをそのままそのフレームの画像デー
タとする。In this case, n-1, n of the near focus image data
+1, ... For the frame image data, the same frame image data of the input image data is directly used as the image data of the frame.
【0063】一方、n、n+2、・・フレームにおいて
は、入力画像データにおける前記フレーム画像データ
と、1フレーム後の画像データより生成する。On the other hand, n, n + 2, ... Frames are generated from the frame image data in the input image data and the image data one frame later.
【0064】ただし、本実施例の画像データ生成処理方
法では、動き適応処理を行うため、現フレーム画像デー
タを用いて動き情報を得る。However, in the image data generation processing method of this embodiment, since motion adaptation processing is performed, motion information is obtained using the current frame image data.
【0065】図6は、図2に示すフレーム補間部(7
1,72)の画像データ生成処理方法を説明するための
図である。FIG. 6 shows a frame interpolating unit (7) shown in FIG.
It is a figure for explaining the image data generation processing method of (1, 72).
【0066】図6において、mは動物体領域、Sは静止
領域、Dは動領域である。In FIG. 6, m is a moving body region, S is a stationary region, and D is a moving region.
【0067】動領域を検出するために、入力画像データ
I(n)と入力画像データI(n−1)との差分を取
る。In order to detect the moving area, the difference between the input image data I (n) and the input image data I (n-1) is calculated.
【0068】ただし、差分を取る前には両画像データを
画面全体でぼけ状態を同程度にするため、ローパスフィ
ルタを予め掛けておく。However, before the difference is obtained, a low-pass filter is applied in advance so that both image data have the same blurring state on the entire screen.
【0069】生成されるべき近焦点画像データIn
(n)において、前記方法で求めた動領域D以外の領
域、即ち、静止領域Sについては、前フレームの入力画
像データI(n−1)の同一領域の画像データをコピー
して生成する。Near-focus image data In to be generated
In (n), the area other than the moving area D obtained by the above method, that is, the still area S is generated by copying the image data of the same area of the input image data I (n-1) of the previous frame.
【0070】次に、テンプレートマッチング法により、
動物体領域mおよび動物体の動きベクトルを求め、画像
データIn(n)でこの動ベクトルにより決定される位
置に入力画像データI(n−1)の動物体領域mをコピ
ーする。Next, by the template matching method,
The moving body region m and the moving body motion vector are obtained, and the moving body region m of the input image data I (n-1) is copied to the position determined by this moving vector in the image data In (n).
【0071】なお、テンプレートマッチング法とは、画
像データを8×8画素などのブロックに分割し、ブロッ
ク毎に次のフレーム画像データ上で移動させながら相関
を求め、相関が最も小さくなる位置に、そのブロックが
移動したと判断する手法であり、この手法により動物体
領域の求めることが可能である以上の方法により決定さ
れた現フレーム(第nフレーム)における静止領域Sと
前記動領域との差分領域(In(n)で点線で示す領
域)は、第nフレームで新たに表れた静止領域Sであ
り、前フレームの入力画像データI(n−1)において
はこの領域の静止画像データデータは存在しない。In the template matching method, the image data is divided into blocks of 8 × 8 pixels and the like, and the correlation is obtained while moving each block on the next frame image data. This is a method for determining that the block has moved, and the moving object area can be obtained by this method. Difference between the still area S and the moving area in the current frame (nth frame) determined by the above method. A region (region indicated by a dotted line In (n)) is a still region S newly appearing in the nth frame, and in the input image data I (n-1) of the previous frame, the still image data data of this region is not exist.
【0072】そこで、この領域については、1フレーム
後の入力画像データI(n+1)の同一領域のデータを
コピーして生成する。Therefore, this area is generated by copying the data of the same area of the input image data I (n + 1) after one frame.
【0073】このようにして生成されたフレーム画像デ
ータIn(n)は、前後のフレームで入力された近焦点
画像データより生成しているので、前後のフレーム画像
データと同一の焦点状態の画像データとなる。Since the frame image data In (n) thus generated is generated from the near-focus image data input in the preceding and succeeding frames, the image data in the same focus state as the preceding and following frame image data. Becomes
【0074】なお、前記説明では、近焦点画像データで
の欠落フレームの画像データの生成方法について説明し
たが、遠焦点画像データでの欠落フレームにおける画像
データについても同様な方法により生成することが可能
である。In the above description, the method of generating the image data of the missing frame in the near focus image data has been described, but the image data of the missing frame in the far focus image data can also be generated by the same method. Is.
【0075】図7は、図2に示すフレーム補間部(7
1,72)の一例の概略構成を示すブロック図である。FIG. 7 shows a frame interpolator (7) shown in FIG.
1, 72) is a block diagram showing a schematic configuration of an example.
【0076】図7において、711,712はフレーム
メモリ、713は加算器、714は差分器、715はテ
ンプレート手段、716は係数生成器である。In FIG. 7, 711 and 712 are frame memories, 713 is an adder, 714 is a difference unit, 715 is template means, and 716 is a coefficient generator.
【0077】図7に示すフレーム補間部(71,72)
においては、2つのフレームメモリ(711,712)
を遅延素子として用いて、入力画像データI(n−
1)、入力画像データI(n)、入力画像データI(n
+1)の3つの画像データを生成する。Frame interpolator (71, 72) shown in FIG.
In, two frame memories (711, 712)
Of the input image data I (n-
1), input image data I (n), input image data I (n
+1) three image data are generated.
【0078】また、差分器714で、入力画像データI
(n−1)と入力画像データI(n)との差分をとり静
止領域Sを検出し、さらに、テンプレート手段715
で、テンプレートマッチング法により動物体領域mと動
きベクトルを求める。Further, the input image data I
(N-1) and the input image data I (n) are taken to detect the stationary area S, and the template means 715 is further used.
Then, the moving object region m and the motion vector are obtained by the template matching method.
【0079】差分器714とテンプレート手段715と
からの出力信号を、係数生成器716に入力し、係数生
成器716で論理演算を行い、例えば、差分器714の
出力が0の場合には、C1=1、C2=0、C3=0の
ように、係数(C1〜C3)を求め、この係数にしたが
って、入力画像データI(n−1)、入力画像データI
(n)、入力画像データI(n+1)を切り替えながら
所望の出力信号を得る。The output signals from the difference unit 714 and the template means 715 are input to the coefficient generator 716, and the coefficient generator 716 performs a logical operation. For example, when the output of the difference unit 714 is 0, C1 = 1, C2 = 0, C3 = 0, the coefficients (C1 to C3) are obtained, and the input image data I (n-1) and the input image data I are calculated according to the coefficients.
(N), a desired output signal is obtained while switching the input image data I (n + 1).
【0080】なお、本実施例2では、1フレームごとに
焦点位置をシフトさせたが、任意のフレーム毎に焦点位
置をシフトさせてもよく、また、フレームの代わりにフ
ィールド毎に行ってもよい。In the second embodiment, the focus position is shifted every frame, but the focus position may be shifted every arbitrary frame, or it may be shifted field by field instead of frame. .
【0081】前記方法により生成された焦点位置の異な
る2つの画像データが、前記実施例1と同様に表示端末
装置(41,42)毎に設置された入力選択部(21,
22)に入力され、表示端末装置(41,42)側から
の制御信号により表示側が要求する画像データが選択さ
れる。Two image data having different focus positions generated by the above method are set in each input terminal unit (41, 42) in the same manner as in the first embodiment.
22) and the image data requested by the display side is selected by a control signal from the display terminal device (41, 42) side.
【0082】なお、前記実施例2では、合焦点位置を2
つの透明板105用いる回転板104の使用によりシフ
トさせたが、圧電素子やステップモータ等を用い撮像素
子を機械的に前後させてもよい。In the second embodiment, the focus position is set to 2
Although the shift is performed by using the rotary plate 104 including the one transparent plate 105, the image pickup element may be mechanically moved back and forth using a piezoelectric element, a step motor, or the like.
【0083】また、前記各実施例では、撮像部で、2つ
の合焦点位置に対応した画像データを生成すようにした
が、3つ以上の合焦点位置に対応した画像データを生成
することも可能である。Further, in each of the above-described embodiments, the image pickup unit generates image data corresponding to two in-focus positions, but it is also possible to generate image data corresponding to three or more in-focus positions. It is possible.
【0084】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。As described above, the invention made by the present inventor is:
Although the present invention has been specifically described based on the above-mentioned embodiments, the present invention is not limited to the above-mentioned embodiments, and it goes without saying that various modifications can be made without departing from the scope of the invention.
【0085】[0085]
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows.
【0086】(1)本発明によれば、撮像部からの画像
データを複数の表示端末装置で表示するようにした画像
システムにおいて、撮像部から異なる合焦点位置に対応
した画像データを出力し、異なる合焦点位置に対応した
画像データを複数の表示端末装置で自由に選択できるよ
うにしたので、画像処理でズーム機能を実現することが
可能となる。(1) According to the present invention, in the image system in which the image data from the image pickup unit is displayed on a plurality of display terminal devices, the image data corresponding to different in-focus positions is output from the image pickup unit, Since the image data corresponding to different focus positions can be freely selected by the plurality of display terminal devices, the zoom function can be realized by the image processing.
【0087】これにより、ズームやパンなどのほか、ピ
ント位置変更もディジタル画像処理で実行され、従来機
械的に行われていた全てのカメラ操作を、複数の表示端
末装置で独立に電子的処理で行うことが可能となり、画
像データの編集作業を容易にならしめることが可能であ
る。As a result, in addition to zooming, panning, etc., focus position change is also executed by digital image processing, and all camera operations conventionally performed mechanically can be independently electronically processed by a plurality of display terminal devices. It becomes possible to perform the editing work of the image data easily.
【0088】(2)本発明によれば、異なる合焦点位置
に対応した複数の画像データを生成するようにしたの
で、既に記憶された画像データに対しても焦点位置を変
更することが可能となる。(2) According to the present invention, since a plurality of image data corresponding to different in-focus positions are generated, it is possible to change the focus position even with respect to already stored image data. Become.
【0089】(3)本発明によれば、1台のカメラで、
時分割的に合焦点位置の異なる画像データを生成するよ
うにしたので、そのシステム構成が簡単になる。(3) According to the present invention, with one camera,
Since the image data having different in-focus positions are generated in a time division manner, the system configuration becomes simple.
【図1】本発明の一実施例(実施例1)である画像シス
テムの概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an image system that is an embodiment (Embodiment 1) of the present invention.
【図2】本発明の他の実施例(実施例2)である画像シ
ステムの概略構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of an image system which is another embodiment (second embodiment) of the present invention.
【図3】本実施例2のカメラ1の概略構成を示すブロッ
ク図である。FIG. 3 is a block diagram showing a schematic configuration of a camera 1 of a second embodiment.
【図4】図3に示す回転板104の平面図である。FIG. 4 is a plan view of a rotary plate 104 shown in FIG.
【図5】図2に示すフレーム補間部(71,72)の処
理手順を説明する図である。5 is a diagram illustrating a processing procedure of a frame interpolation unit (71, 72) shown in FIG.
【図6】図2に示すフレーム補間部(71,72)の画
像データ生成処理方法を説明するための図である。FIG. 6 is a diagram for explaining an image data generation processing method of the frame interpolation unit (71, 72) shown in FIG.
【図7】図2に示すフレーム補間部(71,72)の一
例の概略構成を示すブロック図である。7 is a block diagram showing a schematic configuration of an example of a frame interpolation unit (71, 72) shown in FIG.
【図8】ズーム、パンなどの処理をディジタル画像処理
技術を用いて行うようにした従来の画像システムの概略
構成を示すブロック図である。FIG. 8 is a block diagram showing a schematic configuration of a conventional image system in which processing such as zooming and panning is performed using a digital image processing technique.
1,11,12…カメラ、3,31,32…画像処理
部、6…信号分配部、21,22…入力選択部、41,
42…表示端末装置、51,52…制御信号発生器、7
1,72…フレーム補間部、101…レンズ、102…
撮像素子、103…モータ、104…回転板、105…
透明板、711,712…フレームメモリ、713…加
算器、714…差分器、715…テンプレート手段、7
16…係数生成器。1, 11, 12 ... Camera, 3, 31, 32 ... Image processing unit, 6 ... Signal distribution unit, 21, 22 ... Input selection unit, 41,
42 ... Display terminal device, 51, 52 ... Control signal generator, 7
1, 72 ... Frame interpolation unit, 101 ... Lens, 102 ...
Image sensor, 103 ... Motor, 104 ... Rotating plate, 105 ...
Transparent plate, 711, 712 ... Frame memory, 713 ... Adder, 714 ... Difference calculator, 715 ... Template means, 7
16 ... Coefficient generator.
Claims (4)
部と、前記画像撮像部からの画像データを処理する画像
処理部と、前記画像処理部で処理された画像データを複
数の表示端末装置で表示するようにした画像システムに
おいて、前記撮像部が、それぞれ合焦点位置の異なる同
一被写体の撮像画像を撮影する撮像手段と、前記撮像手
段により撮影された合焦点位置が異なる複数の撮像画像
から合焦点位置毎に対応した複数の画像データを並列生
成する画像データ生成手段と、前記並列生成された合焦
点位置の異なる複数の画像データを、前記複数の表示端
末装置がそれぞれに独立に選択できる画像選択手段とを
備えることを特徴とする画像システム。1. An image capturing unit for generating image data of a subject, an image processing unit for processing image data from the image capturing unit, and image data processed by the image processing unit in a plurality of display terminal devices. In the image system configured to display, the image pickup unit combines an image pickup unit that picks up picked-up images of the same subject having different focus positions and a plurality of picked-up images that have different focus positions taken by the image pickup unit. An image data generation unit that parallelly generates a plurality of image data corresponding to each focus position, and an image in which the plurality of display terminal devices can independently select the plurality of image data with different in-focus positions generated in parallel An image system comprising: a selection unit.
をシフトさせ、前記合焦点位置の異なる同一被写体の撮
像画像を時分割的に撮影する撮像手段であることを特徴
とする請求項1に記載された画像システム。2. The image pickup unit is an image pickup unit that shifts a focus position at predetermined time intervals and time-divisionally takes a picked-up image of the same subject having different in-focus positions. Imaging system described in.
上の整数)毎、あるいは、nフィールド毎に焦点位置を
シフトさせることを特徴とする請求項2に記載された画
像システム。3. The image system according to claim 2, wherein the image pickup means shifts the focal position every n frames (n is an integer of 1 or more) or every n fields.
像システムにおける画像処理方法において、所定時間毎
に撮影された合焦点位置の異なる複数の撮像画像から合
焦点位置毎に対応した複数の画像データを並列生成する
際に、現時点の画像データおよび現時点前の画像データ
から、時間的に輝度変化の生じない静止領域、輝度変化
が生じる動領域、および、動物体の動きベクトルを検出
し、前記検出した静止領域、動領域、および、動きベク
トルに基づき、現時点の同一合焦点位置の画像データ
を、現時点前の同一合焦点位置の画像データまたは現時
点後の同一合焦点位置の画像データより生成することを
特徴とする画像処理方法。4. The image processing method in the image system according to claim 2 or 3, wherein a plurality of captured images having different in-focus positions taken at predetermined time intervals are associated with each of the in-focus positions. When the image data is generated in parallel, from the image data at the current time point and the image data at the current time point, a static area in which the brightness does not change temporally, a moving area in which the brightness change occurs, and a motion vector of the moving object are detected, Based on the detected still area, moving area, and motion vector, image data at the same in-focus position at the current time is generated from image data at the same in-focus position before the current time or image data at the same in-focus position after the current time. An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7232174A JPH0983855A (en) | 1995-09-11 | 1995-09-11 | Image system and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7232174A JPH0983855A (en) | 1995-09-11 | 1995-09-11 | Image system and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0983855A true JPH0983855A (en) | 1997-03-28 |
Family
ID=16935170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7232174A Pending JPH0983855A (en) | 1995-09-11 | 1995-09-11 | Image system and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0983855A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007215015A (en) * | 2006-02-10 | 2007-08-23 | Canon Inc | Imaging apparatus and image pickup method |
JP2012217141A (en) * | 2011-03-29 | 2012-11-08 | Nikon Corp | Imaging device |
-
1995
- 1995-09-11 JP JP7232174A patent/JPH0983855A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007215015A (en) * | 2006-02-10 | 2007-08-23 | Canon Inc | Imaging apparatus and image pickup method |
JP4597063B2 (en) * | 2006-02-10 | 2010-12-15 | キヤノン株式会社 | Imaging apparatus and imaging method |
JP2012217141A (en) * | 2011-03-29 | 2012-11-08 | Nikon Corp | Imaging device |
US8872942B2 (en) | 2011-03-29 | 2014-10-28 | Nikon Corporation | Imaging device |
US9137481B2 (en) | 2011-03-29 | 2015-09-15 | Nikon Corporation | Imaging device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11838635B2 (en) | Dual aperture zoom digital camera | |
JP2959293B2 (en) | Imaging device | |
JP2017058660A (en) | Image tremor correction device, tilt correction device, image tremor correction device control method, tilt correction device control method | |
US6100927A (en) | Photographing apparatus having a blurring correcting apparatus | |
US6445416B1 (en) | Image pickup apparatus having electronic zoom function based on optical zooming focal length variation with time | |
JP2008306651A (en) | Imaging system and program | |
JP2018037857A (en) | Image processing system, image processing method and program | |
JP2007096588A (en) | Imaging device and method for displaying image | |
JPWO2017154366A1 (en) | Low pass filter control device, low pass filter control method, and imaging device | |
JPH07303207A (en) | Image pickup device | |
JPH10336494A (en) | Digital camera with zoom display function | |
JPH0937302A (en) | Stereoscopic image pickup device | |
JP3122099B2 (en) | Image synthesizing apparatus and image synthesizing method | |
JPH0983855A (en) | Image system and image processing method | |
JP2006025340A (en) | Wide angle imaging apparatus, imaging system, and control method thereof | |
JP3725606B2 (en) | Imaging device | |
JP7478006B2 (en) | Imaging device, control method thereof, and program | |
JP2019047145A (en) | Image processing system, imaging apparatus, control method and program of image processing system | |
JP2776426B2 (en) | Zooming method | |
JP4117041B2 (en) | Digital camera system | |
JPH0818842A (en) | Video camera | |
JP2005184865A (en) | Digital camera system | |
JP2023149478A (en) | Image pickup device, imaging apparatus, imaging apparatus control method, and program | |
JPH0937299A (en) | Stereoscopic image pickup device | |
JPH07170442A (en) | Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040203 |