JPH06121226A - Image pickup device, picture processing device and picture reproduction device - Google Patents

Image pickup device, picture processing device and picture reproduction device

Info

Publication number
JPH06121226A
JPH06121226A JP4270357A JP27035792A JPH06121226A JP H06121226 A JPH06121226 A JP H06121226A JP 4270357 A JP4270357 A JP 4270357A JP 27035792 A JP27035792 A JP 27035792A JP H06121226 A JPH06121226 A JP H06121226A
Authority
JP
Japan
Prior art keywords
image
memory
images
picture
recording medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4270357A
Other languages
Japanese (ja)
Other versions
JP3206139B2 (en
Inventor
Ryosuke Miyamoto
了介 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP27035792A priority Critical patent/JP3206139B2/en
Publication of JPH06121226A publication Critical patent/JPH06121226A/en
Application granted granted Critical
Publication of JP3206139B2 publication Critical patent/JP3206139B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)

Abstract

PURPOSE:To form an ultra-wide picture from a series of picture of panning image pickup. CONSTITUTION:A series of image pickup picture is sequentially stored in picture memories 20A, 20B. A motion detection circuit 26 detects a motion vector from the picture stored in the memories 20A, 20B. A memory control circuit 22 referes to the motion vector detected by the motion detection circuit 26 and extracts a new picture from the picture slow timewise stored in the memories 20A, 20B and stores the picture to an address of a relevant motion direction for idle addresses of a picture memory 20C. When the picture memory 20C is fully occupied, the picture is stored in a recording medium 24.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、光学像を電気信号に変
換する撮像装置に関し、また、複数の静止画像を合成し
て、よりワイドな静止画像を形成する画像処理装置に関
する。本発明はまた、このような画像情報を再生する画
像再生装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup device for converting an optical image into an electric signal, and also to an image processing device for synthesizing a plurality of still images to form a wider still image. The present invention also relates to an image reproducing device for reproducing such image information.

【0002】[0002]

【従来の技術】従来のアスペクト比3:4のモニタ以外
にアスペクト比9:16の横長のモニタが商品化され、
ビデオ・カメラや電子スチル・カメラでも、ワイドな画
像を得たいとする要求がある。
2. Description of the Related Art In addition to a conventional monitor having an aspect ratio of 3: 4, a horizontally long monitor having an aspect ratio of 9:16 has been commercialized,
Even video cameras and electronic still cameras have a demand for obtaining wide images.

【0003】このような要求に対しては、各種の方法が
提案されている。例えば、撮影画角を拡大するワイド・
コンバータ・レンズを撮影レンズ前面に装着して撮影す
る光学的な方法や、カメラをパンして一部を重複するよ
うに撮影した複数の静止画を画像編集装置上で、手作業
で合成する方法、撮影画面の上下をカット又はマスク
し、視覚的にワイド画面にする方法などがある。
To meet such demands, various methods have been proposed. For example, wide /
An optical method of shooting with a converter lens attached to the front of the shooting lens, or a method of manually combining multiple still images shot so that some of them overlap by panning the camera on an image editing device. There is a method of cutting or masking the top and bottom of the shooting screen to visually make a wide screen.

【0004】[0004]

【発明が解決しようとする課題】光学的な方法は、ワイ
ド・コンバータ・レンズを常時携帯しなければならな
い。また、手作業で合成編集する方法は、操作性が悪い
だけでなく、よほど熟練しないと画像の継ぎ目が不自然
なものになるという欠点がある。
The optical method must always carry a wide converter lens. In addition, the method of manually synthesizing and editing is not only poor in operability, but also has the drawback that the seams of images become unnatural unless it is highly skilled.

【0005】撮影画面の上下をカット又はマスクする方
法は、視覚的な効果に過ぎず、実質的に画角は拡大して
ない。
The method of cutting or masking the top and bottom of the photographic screen is merely a visual effect, and the angle of view is not substantially expanded.

【0006】また、モニタを縦横に並置したマルチスク
リーン構成の画像表示装置や、画像を非常に大きく表示
できる投射方式の高画質モニタも一般に利用されるよう
になってきており、表示画面の大きさに比べて、相対的
に近くで見る場合、解像度を高めないと、画像の粗さが
目立つ。これらの大画面表示に適した高解像度の画像を
簡易に得る手段が望まれている。
Further, an image display device having a multi-screen structure in which monitors are arranged side by side vertically and a high image quality monitor of a projection system capable of displaying a very large image have been generally used, and the size of the display screen has become widespread. Compared with, when the image is viewed relatively close, the roughness of the image becomes noticeable unless the resolution is increased. A means for easily obtaining a high-resolution image suitable for these large-screen displays is desired.

【0007】本発明は、一連の画像からよりワイドな静
止画を形成する撮像装置及び画像処理装置、並びに、こ
れらで得た超ワイド画を再生する画像再生装置を提示す
ることを目的とする。
An object of the present invention is to provide an image pickup apparatus and an image processing apparatus which form a still image wider than a series of images, and an image reproducing apparatus which reproduces an ultra wide image obtained by these.

【0008】[0008]

【課題を解決するための手段】本発明に係る撮像装置
は、一連の撮影画像を合成処理して、超ワイド画を夫々
部分的に構成する複数の静止画を形成し、記録媒体に記
録する撮像装置であって、光学像を電気信号に変換する
撮像手段と、少なくとも2画面分の記憶容量を具備し、
当該撮像手段による撮影画像を順次記憶する第1の画像
メモリ手段と、合成処理後の画像を記憶する第2の画像
メモリ手段と、当該第1の画像メモリ手段に記憶される
画像間の演算により時間的に遅い入力画像から新規な画
像部分を検出し、当該第2の画像メモリ手段に格納する
演算制御手段とを設け、合成処理により当該第2の画像
メモリ手段上で完成した画像を当該記録媒体に順次、記
録することを特徴とする。
An image pickup apparatus according to the present invention synthesizes a series of photographed images to form a plurality of still images each partially forming an ultra wide image, and records the still images on a recording medium. An image pickup device, comprising: image pickup means for converting an optical image into an electric signal; and a storage capacity for at least two screens,
By the first image memory means for sequentially storing the images taken by the imaging means, the second image memory means for storing the image after the combining process, and the calculation between the images stored in the first image memory means. An arithmetic control means for detecting a new image portion from the input image which is slow in time and storing it in the second image memory means is provided, and the image completed in the second image memory means by the combining process is recorded. It is characterized in that the data is sequentially recorded on the medium.

【0009】本発明に係る画像処理装置は、一連の入力
画像を合成処理することにより、超ワイド画を夫々部分
的に構成する複数の静止画を形成する画像処理装置であ
って、少なくとも2画面分の記憶容量を具備し、当該入
力画像を順次記憶する第1の画像メモリ手段と、合成処
理後の画像を記憶する第2の画像メモリ手段と、当該第
1の画像メモリ手段に記憶される画像間の演算により時
間的に遅い入力画像から新規な画像部分を検出し、当該
第2の画像メモリ手段に格納する演算制御手段とからな
ることを特徴とする。
An image processing apparatus according to the present invention is an image processing apparatus for forming a plurality of still images, each of which partially constitutes an ultra wide image, by synthesizing a series of input images, and has at least two screens. A first image memory means for storing the input images sequentially, a second image memory means for storing the image after the combining processing, and a first image memory means for storing the input images. It is characterized by comprising a calculation control means for detecting a new image portion from an input image which is delayed in time by calculation between images and storing it in the second image memory means.

【0010】本発明に係る画像再生装置は、1つの画像
情報を複数の部分画像に分割して記録する記録媒体の記
録情報を再生する画像再生装置であって、全体画像を表
示するモード、各部分画像を表示するモード、及び、2
以上の隣接する部分画像を合成し、指定部分を表示する
モードを具備することを特徴とする。
An image reproducing apparatus according to the present invention is an image reproducing apparatus for reproducing recorded information on a recording medium for recording one image information by dividing it into a plurality of partial images, and a mode for displaying an entire image, Mode for displaying partial images and 2
It is characterized by having a mode in which the above adjacent partial images are combined and a designated portion is displayed.

【0011】[0011]

【作用】上記手段により、画像間演算により継ぎ目を自
動検出するので、各静止画間の継ぎ目は自然なものにな
る。また、通常の大きさの静止画として記録媒体に記録
するので、任意の大きさの超ワイド画を形成できる。
By the above means, the seam between the still images is natural because the seam is automatically detected by the inter-image calculation. Moreover, since a still image of a normal size is recorded on the recording medium, an ultra wide image of an arbitrary size can be formed.

【0012】[0012]

【実施例】以下、図面を参照して本発明の実施例を説明
する。
Embodiments of the present invention will be described below with reference to the drawings.

【0013】図1は、本発明の一実施例のビデオ・カメ
ラの全体概略構成ブロック図を示す。10はズーミング
・レンズ及びフォーカシング・レンズを含む撮影レン
ズ、12は撮影レンズ10の光学像を電気信号に変換す
る撮像素子、14は撮像素子12のアナログ出力をサン
プル・ホールドするサンプル・ホールド(S/H)回
路、16はS/H回路14のアナログ出力をディジタル
信号に変換するA/D変換器、18はA/D変換器16
の出力にガンマ変換、色バランス調整、輝度/色差信号
への変換などの周知のカメラ信号処理を施すプロセス回
路である。
FIG. 1 is an overall schematic block diagram of a video camera according to an embodiment of the present invention. Reference numeral 10 is a taking lens including a zooming lens and a focusing lens, 12 is an image pickup device for converting an optical image of the taking lens 10 into an electric signal, and 14 is a sample hold (S / S) for sampling and holding an analog output of the image pickup device 12. H) circuit, 16 is an A / D converter that converts the analog output of the S / H circuit 14 into a digital signal, and 18 is an A / D converter 16
Is a process circuit that performs well-known camera signal processing such as gamma conversion, color balance adjustment, and conversion into a luminance / color difference signal on the output of.

【0014】20A,20B,20Cはそれぞれ1フィ
ールドの記憶容量を具備する画像メモリ、22は画像メ
モリ20A,20B,20Cの書き込み及び読み出しを
制御するメモリ制御回路である。本実施例では、この3
つの画像メモリ20A,20B,20Cを使って、ワイ
ド化した静止画を自動形成する。詳細は後述する。
Reference numerals 20A, 20B and 20C are image memories each having a storage capacity of one field, and 22 is a memory control circuit for controlling writing and reading of the image memories 20A, 20B and 20C. In this embodiment, this 3
A widened still image is automatically formed using one image memory 20A, 20B, 20C. Details will be described later.

【0015】24は撮影画像及び超ワイド画のために合
成処理した画像を記録する記録媒体である。例えば、光
磁気ディスク装置、光ディスク装置、ハード・ディスク
装置、フラッシュ・メモリなどの大容量固体メモリ装置
などからなる。
Reference numeral 24 is a recording medium for recording a photographed image and an image subjected to a combination process for an ultra wide image. For example, it comprises a magneto-optical disk device, an optical disk device, a hard disk device, a large-capacity solid-state memory device such as a flash memory, and the like.

【0016】26はメモリ制御回路22からの連続する
2フィールドの輝度信号から動きベクトルを検出する動
き検出回路であり、メモリ制御回路22からの2つの輝
度信号を帯域制限するフィルタ28、フィルタ28の2
つの出力をマッチング演算するマッチング回路30、及
びマッチング回路30のマッチング演算結果から動きベ
クトルを算出するベクトル演算回路32からなる。
Reference numeral 26 is a motion detection circuit for detecting a motion vector from the luminance signals of two consecutive fields from the memory control circuit 22, and includes a filter 28 and a filter 28 for band limiting the two luminance signals from the memory control circuit 22. Two
A matching circuit 30 that performs a matching operation on two outputs, and a vector operation circuit 32 that calculates a motion vector from the matching operation result of the matching circuit 30.

【0017】34はプロセス回路18の出力、即ち、撮
影画像を映像表示する電子ビュー・ファインダ(EV
F)、36は全体の動作タイミングを制御するタイミン
グ制御回路である。
Reference numeral 34 denotes an output of the process circuit 18, that is, an electronic view finder (EV) for displaying a photographed image as a video.
F) and 36 are timing control circuits for controlling the overall operation timing.

【0018】図2は、マッチング回路30におけるマッ
チング演算のテンプレートとベクトル方向パターンを示
す。図2において、中央に図示したものが、動きベクト
ルを検出するためのマッチング演算用のテンプレートで
あり、縦6、横8の48個からなる。1つのテンプレー
トを64×64画素とすると、512×384画素の領
域についてマッチングが行なわれる。
FIG. 2 shows a template and vector direction pattern of the matching calculation in the matching circuit 30. In FIG. 2, the template shown in the center is a template for matching calculation for detecting a motion vector, and is composed of 48 vertically 6 and 8 horizontally. If one template has 64 × 64 pixels, matching is performed on an area of 512 × 384 pixels.

【0019】また、図2で、矢印は動きベクトルの方向
を示す。図2では、8つの方向の動きベクトルを図示し
てある。各方向に対して、交差斜線を施した部分が、つ
なぎ目を検出するための領域であり、以下、この領域を
ベクトル方向パターンと称する。例えば、動きベクトル
が右方向と判断された場合には、右端の部分がベクトル
方向パターンとなり、右下と判断された場合には右端と
下端の部分がベクトル方向パターンとなる。
Further, in FIG. 2, the arrow indicates the direction of the motion vector. In FIG. 2, motion vectors in eight directions are illustrated. A crosshatched portion in each direction is a region for detecting a joint, and this region is hereinafter referred to as a vector direction pattern. For example, when the motion vector is determined to be in the right direction, the right end portion becomes the vector direction pattern, and when it is determined to be in the lower right portion, the right end portion and the lower end portion become the vector direction pattern.

【0020】以下、動作を説明するが、図1に示すカメ
ラを、図3に示すようにコ字状にパンすると仮定する。
図4、図5及び図6は全体として、動作フローチャート
を示す。図7は、メモリ20A,20B,20Cの状態
遷移を示す。図7で、空白は、有効な画像データが格納
されていないことを示し、右下がり又は左下がりの斜線
は有効な画像データが格納されていることを示し、交差
斜線は、動きベクトル演算の結果求められたベクトル方
向のパターンのメモリ上の位置を象徴的に示す。図7の
左側のS1〜S14は、図4、図5及び図6のステップ
番号に対応している。
The operation will be described below, but it is assumed that the camera shown in FIG. 1 is panned in a U shape as shown in FIG.
4, 5 and 6 show an operation flowchart as a whole. FIG. 7 shows state transitions of the memories 20A, 20B, 20C. In FIG. 7, a blank indicates that valid image data is not stored, a diagonal line to the lower right or the lower left indicates that valid image data is stored, and an intersecting diagonal line indicates the result of motion vector calculation. The position on the memory of the obtained vector direction pattern is symbolically shown. S1 to S14 on the left side of FIG. 7 correspond to the step numbers of FIGS. 4, 5 and 6.

【0021】撮像素子12は撮影レンズ10による光学
像を電気信号に変換する。撮像素子12の出力は、S/
H回路14及びA/D変換器16によりサンプル・ホー
ルド及びA/D変換され、プロセス回路18に入力す
る。プロセス回路18はA/D変換器16の出力をカメ
ラ信号処理し、輝度信号及び色差信号としてメモリ制御
回路22に出力する。
The image pickup device 12 converts an optical image from the taking lens 10 into an electric signal. The output of the image sensor 12 is S /
The H circuit 14 and the A / D converter 16 perform sample-holding and A / D conversion, and input to the process circuit 18. The process circuit 18 processes the output of the A / D converter 16 as a camera signal and outputs it to the memory control circuit 22 as a luminance signal and a color difference signal.

【0022】メモリ制御回路22は、プロセス回路18
から出力される最初のフィールドの画像データをメモリ
20Aにフリーズすると共に、記録媒体24に出力する
(S1,2)。記録媒体24は、メモリ制御回路22か
らの画像データを記録する。
The memory control circuit 22 is the process circuit 18
The image data of the first field output from the is frozen in the memory 20A and is output to the recording medium 24 (S1, 2). The recording medium 24 records the image data from the memory control circuit 22.

【0023】メモリ制御回路22は、プロセス回路18
から出力される2番目のフィールドの画像データをメモ
リ20Bにフリーズする(S3)。この時、同時に、メ
モリ制御回路22は、プロセス回路18からの画像デー
タ(メモリ20Bにフリーズした画像データ)と、メモ
リ20Aにフリーズされている画像データを動き検出回
路26に読み出し、フィールド間で画面全体の動きベク
トルを算出する(S4)。ここでは、図3に示すように
コ字状にパンするとしているので、図3の画面1−1
(メモリ20A)の右端の交差斜線部分がパターン検出
の領域となる(S5)。
The memory control circuit 22 is the process circuit 18
The image data of the second field output from the memory is frozen in the memory 20B (S3). At this time, at the same time, the memory control circuit 22 reads the image data from the process circuit 18 (image data frozen in the memory 20B) and the image data frozen in the memory 20A to the motion detection circuit 26, and the screen is displayed between fields. The entire motion vector is calculated (S4). Here, as shown in FIG. 3, it is assumed that panning is performed in a U shape, so that the screen 1-1 in FIG.
The cross-hatched portion at the right end of (memory 20A) is the pattern detection area (S5).

【0024】S1〜S5の動作を図7で説明すると、S
1ではメモリ20Aのみ画像データがあり、メモリ20
B,20Cは空である。S3でメモリ20Bに次フィー
ルドがフリーズされる。S4では、メモリ20A,20
Bに格納される画像が比較され、その結果、右方向に動
いていることが判明する。これにより、S5では、メモ
リ20Aにフリーズされる画像の右端と、メモリ20B
上の画像の真ん中やや左寄りに、同じパターン(交差斜
線)が検出される。
The operation of S1 to S5 will be described with reference to FIG.
1 has image data only in the memory 20A.
B and 20C are empty. At S3, the next field is frozen in the memory 20B. In S4, the memories 20A, 20
The images stored in B are compared and as a result it is found that they are moving to the right. As a result, in S5, the right edge of the image frozen in the memory 20A and the memory 20B
The same pattern (intersecting diagonal lines) is detected slightly to the left of the center of the image above.

【0025】次に、メモリ20B上で、メモリ20Aの
右端のパターンと同じパターンの領域(交差斜線)及び
これより右側(パン方向)の領域(右上がり斜線)のデ
ータをメモリ20Cの左端に転送する(S6)。
Next, on the memory 20B, the data of the area of the same pattern as the pattern on the right end of the memory 20A (intersecting diagonal lines) and the area on the right side (in the pan direction) of the pattern (upper right diagonal line) are transferred to the left edge of the memory 20C. Yes (S6).

【0026】3番目のフィールドをメモリ20Aにフリ
ーズし(S7)、今度は、メモリ20B,20A間で同
様に処理する。即ち、メモリ20Bにフリーズされた画
像に対して、メモリ20Aにフリーズされた画像の動き
ベクトルを演算し(S8)、メモリ20A,20Bにフ
リーズされている画像の継ぎ目となるパターンを検出し
(S9)、メモリ20Aから継ぎ目(交差斜線)と新し
い画像部分をメモリ20Cに、既存の画像に継ぐ位置に
転送する(S10)。
The third field is frozen in the memory 20A (S7), and this time the same processing is performed between the memories 20B and 20A. That is, with respect to the image frozen in the memory 20B, the motion vector of the image frozen in the memory 20A is calculated (S8), and the pattern serving as the joint of the images frozen in the memories 20A and 20B is detected (S9). ), The seam (intersecting diagonal line) and the new image portion are transferred from the memory 20A to the memory 20C at a position where they are connected to the existing image (S10).

【0027】即ち、図7に示すように、S9では、メモ
リ20A上で、メモリ20Bの右端の画像パターンと同
じパターンの領域(交差斜線)とその右側の領域のデー
タを、メモリ20Cの既存データの右側の空白部分に転
送する(S10)。メモリ20Cの空白部分が狭けれ
ば、メモリ20Cの空白部分を満たすだけのデータを画
像メモリ20Aからメモリ20Cに転送する。このと
き、メモリ20A上のどこまでをメモリ20Cに転送し
たかを記憶する。
That is, as shown in FIG. 7, in S9, the data in the area of the same pattern as the image pattern at the right end of the memory 20B (intersecting diagonal line) and the area on the right side of the memory 20A is replaced with the existing data in the memory 20C. (S10). If the blank portion of the memory 20C is narrow, data enough to fill the blank portion of the memory 20C is transferred from the image memory 20A to the memory 20C. At this time, how much of the memory 20A has been transferred to the memory 20C is stored.

【0028】メモリ20Cが一杯か否かを調べ(S1
1)、一杯であれば、記録媒体24に掃き出して記録し
(S12)、図示しないつなぎ撮りスイッチがオフの場
合には撮影を終了し(S13)、オンの場合には、メモ
リ20Aに残るデータをメモリ20Cに転送する(S1
4)。ここまでにおいて、2画面分の画像が記録媒体2
4に記録されたことになる。
It is checked whether or not the memory 20C is full (S1
1) If it is full, it is swept and recorded on the recording medium 24 (S12), and if the joint photographing switch (not shown) is off, photographing is terminated (S13), and if it is on, the data remaining in the memory 20A is stored. To the memory 20C (S1
4). Up to this point, the images of two screens are recorded on the recording medium 2.
It is recorded in 4.

【0029】メモリ20Cが一杯でない場合(S1
1)、又は、メモリ20Aのデータをメモリ20Cに転
送した後(S14)、次のフィールドをメモリ20Bに
フリーズし(S15)、メモリ20A,20B間のマッ
チング演算により動きベクトルを検出する(S16)。
先と同様に、メモリ20A上のベクトル方向のパターン
をメモリ20A,20Bから検出し(S17)、メモリ
20Bから所定データをメモリ20Cに転送する(S1
8)。
When the memory 20C is not full (S1
1) Or, after transferring the data of the memory 20A to the memory 20C (S14), the next field is frozen in the memory 20B (S15), and the motion vector is detected by the matching calculation between the memories 20A and 20B (S16). .
Similarly to the above, the pattern in the vector direction on the memory 20A is detected from the memories 20A and 20B (S17), and the predetermined data is transferred from the memory 20B to the memory 20C (S1).
8).

【0030】再度、メモリ20Cが一杯か否かを調べ
(S19)、一杯であれば、記録媒体24に掃き出して
記録し(S20)、図示しないつなぎ撮りスイッチがオ
フの場合には撮影を終了し(S21)、オンの場合に
は、メモリ20Aに残るデータをメモリ20Cに転送す
る(S22)。メモリ20Cが一杯でない場合(S1
9)、S7に戻って、上記動作を繰り返す。
It is again checked whether or not the memory 20C is full (S19). If the memory 20C is full, it is swept onto the recording medium 24 for recording (S20). If the joint photographing switch (not shown) is off, photographing is terminated. (S21) If it is on, the data remaining in the memory 20A is transferred to the memory 20C (S22). If the memory 20C is not full (S1
9) Return to S7 and repeat the above operation.

【0031】図8は、上記動作のタイミング図を示す。
図4、図5及び図6の各ステップが実行されるタイミン
グに、同じステップ番号を付してある。Vタイミング信
号は、フィールド信号の垂直同期信号に同期するタイミ
ング信号である。
FIG. 8 shows a timing diagram of the above operation.
The same step numbers are assigned to the timings at which the steps in FIGS. 4, 5 and 6 are executed. The V timing signal is a timing signal synchronized with the vertical synchronizing signal of the field signal.

【0032】最初のフィールドで、撮像素子12から光
電変換信号が読み出され、メモリ20Aにフリーズされ
(S1)、これと同時に、記録媒体24に記録される
(S2)。
In the first field, the photoelectric conversion signal is read from the image pickup device 12, frozen in the memory 20A (S1), and simultaneously recorded in the recording medium 24 (S2).

【0033】次のフィールドでも、撮像素子12からの
読み出しが行なわれ、今度はメモリ20Bにフリーズさ
れる(S3)。同時に、メモリ20Aに記憶される画像
データ(特に輝度データ)が読み出され(S4)、マッ
チング演算により動きベクトルが算出される(S4)。
撮像素子12からの次の読み出しの前に、検出した動き
方向の画像データをメモリ20Cにフリーズする(S
6)。
In the next field as well, reading from the image pickup device 12 is carried out, and this time it is frozen in the memory 20B (S3). At the same time, the image data (especially the brightness data) stored in the memory 20A is read (S4), and the motion vector is calculated by the matching calculation (S4).
Before the next reading from the image sensor 12, the image data of the detected movement direction is frozen in the memory 20C (S
6).

【0034】3つ目のフィールドで撮像素子12から読
み出された信号は、メモリ20Aにフリーズされる(S
7)。同時に、メモリ20Bに記憶される画像データ
(特に輝度データ)が読み出され(S8)、マッチング
演算により動きベクトルが算出される(S8)。撮像素
子12からの次の読み出しの前に、検出した動き方向の
画像データをメモリ20Cにフリーズする(S10)。
メモリ20Cが一杯になると、メモリ20Cの画像デー
タが記録媒体24に記録され(S12)、メモリ20A
の残存データがメモリ20Cに転送される(S14)。
The signal read from the image sensor 12 in the third field is frozen in the memory 20A (S
7). At the same time, the image data (especially the brightness data) stored in the memory 20B is read (S8), and the motion vector is calculated by the matching calculation (S8). Before the next reading from the image sensor 12, the image data of the detected movement direction is frozen in the memory 20C (S10).
When the memory 20C becomes full, the image data of the memory 20C is recorded on the recording medium 24 (S12), and the memory 20A
The remaining data of is transferred to the memory 20C (S14).

【0035】4つ目のフィールドでは、撮像素子12か
ら読み出された信号はメモリ20Bにフリーズされる
(S15)。同時に、メモリ20Aに記憶される画像デ
ータが読み出され(S16)、マッチング演算により動
きベクトルが算出される(S16)。撮像素子12から
の次の読み出しの前に、検出した動き方向の画像データ
をメモリ20Cにフリーズする(S18)。
In the fourth field, the signal read from the image sensor 12 is frozen in the memory 20B (S15). At the same time, the image data stored in the memory 20A is read (S16), and the motion vector is calculated by the matching calculation (S16). Before the next reading from the image sensor 12, the image data of the detected movement direction is frozen in the memory 20C (S18).

【0036】5つ目のフィールドでは、S7に戻り、先
の動作を繰り返す。
In the fifth field, the process returns to S7 and the previous operation is repeated.

【0037】このように、パン動作と共に、動き方向の
新規な画像をメモリ20Cにフリーズし、メモリ20C
が一杯になると記録媒体24に記録するという動作を繰
り返すことにより、記録媒体24には、パン方向で精確
に繋がる一連の静止画像を記録できる。右方向パンを主
に説明したが、左方向及び上下方向であっても同様であ
る。
In this way, with the pan operation, the new image in the moving direction is frozen in the memory 20C, and the memory 20C is frozen.
By repeating the operation of recording the image on the recording medium 24 when it becomes full, a series of still images can be recorded on the recording medium 24 that are accurately connected in the pan direction. Although the right pan has been mainly described, the same applies to the left and up and down directions.

【0038】上述のようにして、図3に示すように右、
下及び左のパンにより12枚の画像を記録媒体24に記
録してつなぎ撮りを終了したとする。このとき、1−1
〜1−6,2−1〜2−6という12個の画像位置アド
レスが完成する。この画像位置アドレスをつなぎ撮り終
了後に各々の画像データの先頭に記録する。
As described above, as shown in FIG.
It is assumed that 12 images are recorded on the recording medium 24 by the lower and left pans and the joint photographing is completed. At this time, 1-1
12 image position addresses of 1-6, 2-1 to 2-6 are completed. This image position address is recorded at the beginning of each image data after the joint photographing is completed.

【0039】次に、パン動作が遅い場合の動作を説明す
る。図9はメモリ20A,20B,20Cの遷移状態を
示し、図10はそのタイミング図を示す。
Next, the operation when the pan operation is slow will be described. FIG. 9 shows transition states of the memories 20A, 20B and 20C, and FIG. 10 shows a timing chart thereof.

【0040】先ず、最初のフィールド画像をメモリ20
Aにフリーズし(S1)、2つ目のフィールド画像をメ
モリ20Bにフリーズする(S3)。両者の画像から動
きを検出し、検出結果に基づき動き方向の新規な画像部
分をメモリ20Bからメモリ20Cに転送する(S
6)。メモリ20Aに次のフィールド画像をフリーズし
(S7)、メモリ20Bの画像との間で動きを検出し、
検出結果に基づき動き方向の新規な画像部分をメモリ2
0Aからメモリ20Cに転送する(S10)。
First, the first field image is stored in the memory 20.
A is frozen (S1) and the second field image is frozen in the memory 20B (S3). Motion is detected from both images, and a new image portion in the moving direction is transferred from the memory 20B to the memory 20C based on the detection result (S
6). Freeze the next field image in the memory 20A (S7), detect motion between the image in the memory 20B,
The memory 2 stores a new image part in the moving direction based on the detection result.
Transfer from 0A to the memory 20C (S10).

【0041】パンが遅いので、メモリ20Cには未だ余
裕があり、次のフィールドをメモリ20Bにフリーズし
(S15)、メモリ20Aの画像との間で動きを検出
し、検出結果に基づき動き方向の新規な画像部分をメモ
リ20Bからメモリ20Cに転送する(S18)。
Since the pan is slow, there is still room in the memory 20C, the next field is frozen in the memory 20B (S15), the motion is detected with the image in the memory 20A, and the motion direction is determined based on the detection result. The new image portion is transferred from the memory 20B to the memory 20C (S18).

【0042】この段階でも、メモリ20Cに余裕がある
ので、S7以降を繰り返す。メモリ20Cが一杯になれ
ば、記録媒体24に記録する。
Even at this stage, since there is a margin in the memory 20C, S7 and subsequent steps are repeated. When the memory 20C is full, it is recorded in the recording medium 24.

【0043】横方向のパンでは、本来、水平面内で横方
向にカメラを回動すべきであるが、手持ち撮影の場合、
どうしても水平面に対して斜めにパンしてしまう。そこ
で、次に斜め方向のパンの場合の動作を説明する。
For horizontal panning, the camera should be rotated horizontally in the horizontal plane, but in the case of handheld photography,
Inevitably pans diagonally to the horizontal plane. Therefore, next, the operation in the case of the diagonal pan will be described.

【0044】図11は、右上方向へのパンの際の動きベ
クトルと記録画像を示す。図11(a)は動き検出回路
26により検出された各フィールド毎の動き方向と量を
示す動きベクトル、同(b)は右斜めパンによる各フィ
ールドの画像を示す。図11(b)で、交差斜線部分
が、検出した動きベクトルに対応した動き方向のパター
ンとなる。
FIG. 11 shows a motion vector and a recorded image when panning in the upper right direction. FIG. 11A shows a motion vector indicating the motion direction and amount of each field detected by the motion detection circuit 26, and FIG. 11B shows an image of each field by right diagonal panning. In FIG. 11B, the cross hatched portion is a pattern in the motion direction corresponding to the detected motion vector.

【0045】図11(c)は、撮影開始時のフィールド
を基点として、右真横にパンしていると想定して各フィ
ールドの画像をつないだ画像である。斜線部分が、右斜
め上方向へのパンにより得られない画像部分であり、空
白部分が撮像素子12により得られる画像部分である。
FIG. 11C shows an image obtained by connecting the images of the respective fields on the assumption that the field at the start of photographing is the base point and the pan is performed right beside. The shaded portion is the image portion that cannot be obtained by panning to the upper right, and the blank portion is the image portion that is obtained by the image sensor 12.

【0046】図11(d)は、メモリ20C上で合成し
記録媒体24に記録する画像である。左右を向く矢印の
範囲は、1画面として記録される範囲である。交差斜線
部分は、隣の画面との継ぎ目であり、斜線部分が画像デ
ータの欠落した部分である。このようにして、4画面の
画像が順次、記録媒体24に記録される。
FIG. 11D shows an image which is combined on the memory 20C and recorded on the recording medium 24. The range of the arrow pointing to the left and right is the range recorded as one screen. The cross hatched portion is a joint with the adjacent screen, and the shaded portion is a portion where the image data is missing. In this way, the four screen images are sequentially recorded on the recording medium 24.

【0047】このとき、つなぎ撮りモードの終了をユー
ザが操作すると、電子ビュー・ファインダ34は、図1
2に示す表示となる。これにより、ユーザは今記録した
画像を確認できる。ここでも、斜線部分が画像データの
欠落部分であり、気に入らない場合には、今記録媒体2
4に記録したデータを無効にして又は後で消去すること
にして、パンをやり直せばよい。パンを正確に、例え
ば、同一平面内で行なえるように、逐次検出する動きベ
クトル(図11(a))を、電子ビュー・ファインダ3
4上に表示するのが好ましい。
At this time, when the user operates the end of the continuous shooting mode, the electronic view finder 34 is displayed in FIG.
The display shown in 2 is displayed. This allows the user to check the image just recorded. Again, the shaded portion is the missing portion of the image data, and if it does not suit you, the recording medium 2
The data recorded in 4 may be invalidated or erased later, and the pan may be redone. The electronic view finder 3 displays motion vectors (FIG. 11A) sequentially detected so that pan can be performed accurately, for example, in the same plane.
4 is preferably displayed.

【0048】また、図11(e)は、別のつなぎ方法に
よりメモリ20C上で合成して、記録媒体24に記録す
る画像である。ここでは、メモリ20C上で合成する際
に、データの欠落部分ができる限り発生しないように、
動き方向のパターンにそって継ぎ目を抽出し、このよう
に抽出した継ぎ目に従って各画面の画像を形成する。こ
のときには、画像データ記録後に画像位置アドレスを記
録する際に、動きベクトル・データも記録する必要があ
る。これにより、再生時に、斜め方向についても、自然
に各画像をつなぐことができる。
FIG. 11E shows an image which is combined on the memory 20C by another connecting method and is recorded on the recording medium 24. Here, when compositing on the memory 20C, the missing portion of the data is generated as much as possible,
A seam is extracted along the pattern of the movement direction, and an image of each screen is formed according to the seam thus extracted. At this time, when recording the image position address after recording the image data, it is necessary to also record the motion vector data. This allows each image to be naturally connected in the diagonal direction during reproduction.

【0049】上記実施例では、画像データの欠落部分が
発生した場合に、全く最初からパンをやり直さなければ
ならないが、補充的なパンにより欠落データを穴埋め又
は補充できれば便利である。即ち、図13に示すよう
に、電子ビュー・ファインダ34上につなぎ撮りの情報
を表示して、既存記録画像のデータ欠落部分を包含する
ように、符号40で示す領域の画像を撮像素子12で撮
影する。そして、マッチング演算によりデータ欠落部分
の継ぎ目を探し、欠落部分を補充する。
In the above embodiment, when the missing portion of the image data occurs, the pan must be redone from the beginning, but it is convenient if the missing data can be filled or supplemented by the supplementary pan. That is, as shown in FIG. 13, the information of the joint shot is displayed on the electronic view finder 34, and the image of the area indicated by the reference numeral 40 is captured by the image sensor 12 so as to include the data missing portion of the existing recorded image. Take a picture. Then, a matching operation is performed to search for a seam in the data missing portion, and the missing portion is supplemented.

【0050】このようにして継ぎ目が見つかり穴埋めが
終了すると、スルー画面が間欠表示となる。これを受け
て、ユーザは次のデータ欠落部分を補充できる方向にカ
メラをパンする。このようにして、順次、データ欠落部
分を補充する。
When the seam is found and the filling is completed in this way, the through screen is displayed intermittently. In response to this, the user pans the camera in a direction in which the next data missing portion can be supplemented. In this way, the data-missing portion is sequentially replenished.

【0051】上記実施例では、パンして撮影した画像を
つなぐ際に画像が部分的に欠落する様子を電子ビュー・
ファインダに表示するようにしたので、合成結果を予測
でき、超ワイドな画像の作成が容易になる。また、つな
ぎの状態を表示するので、ユーザの学習効果も期待でき
る。
In the above embodiment, an electronic view showing a state in which images are partially lost when the images shot by panning are connected.
Since it is displayed in the viewfinder, the composition result can be predicted, and an ultra-wide image can be easily created. In addition, since the connection state is displayed, the learning effect of the user can be expected.

【0052】撮影レンズの収差の影響でスムーズなつな
ぎが困難になると予想される場合には、予め、そのよう
な収差の影響を補正してから上述のつなぎ処理を行なう
ようにすればよい。つなぎの部分に動きのある被写体が
来たときには、メモリ上でデータを置き換えて、どちら
かのフィールドのデータとして固定すればよい。
If it is expected that smooth connection will be difficult due to the effect of the aberration of the taking lens, the effect of such aberration may be corrected in advance and then the above-mentioned connection processing may be performed. When a moving subject comes to the connecting portion, the data may be replaced in the memory and fixed as the data of either field.

【0053】次に、このように合成して記録媒体24に
記録した画像を再生する再生装置を説明する。図14
は、その一実施例の概略構成ブロック図を示す。50は
記録媒体24のように、超ワイド画となる複数の静止画
像が記録された記録媒体、52は記録媒体50の読み出
し、並びに画像メモリ54の書き込み及び読み出しを制
御するデータ制御回路、56はデータ制御回路52から
の画像データをモニタ出力用に処理するプロセス回路、
58はモニタ60を制御する表示制御回路、62は全体
を制御するシステム制御回路、64はシステム制御回路
62に所定の指示を入力する操作装置である。
Next, a reproducing apparatus for reproducing the image thus synthesized and recorded on the recording medium 24 will be described. 14
Shows a schematic block diagram of the embodiment. 50 is a recording medium such as the recording medium 24 in which a plurality of still images to be ultra wide images are recorded, 52 is a data control circuit that controls reading of the recording medium 50 and writing and reading of the image memory 54, and 56 is A process circuit for processing image data from the data control circuit 52 for monitor output,
Reference numeral 58 is a display control circuit for controlling the monitor 60, 62 is a system control circuit for controlling the whole, and 64 is an operating device for inputting a predetermined instruction to the system control circuit 62.

【0054】操作装置64の操作パネル面を図15に示
す。66は、表示モードの切換えを指示するMODEス
イッチ、68,70,72,74はスクロールや画面の
切り換えを指示する矢印キー、76は表示の設定の切換
えを指示するDispスイッチである。
The operation panel surface of the operation device 64 is shown in FIG. Reference numeral 66 is a MODE switch for instructing switching of display modes, 68, 70, 72, 74 are arrow keys for instructing scrolling or screen switching, and 76 is a Disp switch for instructing switching of display settings.

【0055】図16、図17及び図18に示すフローチ
ャートを参照して、図14に示す再生装置の再生動作を
説明する。
The reproducing operation of the reproducing apparatus shown in FIG. 14 will be described with reference to the flowcharts shown in FIGS. 16, 17 and 18.

【0056】先ず、データ制御回路52は、記録媒体5
0から、記録されている画像データの先頭に記録されて
いる画像位置アドレス・データを読み込む(S31)。
これにより、1枚のワイド画が何枚の静止画で構成され
ているかを知ることができる。ワイド画全体を表示する
には、適当な画素を間引く必要があり、システム制御回
路62はデータ制御回路52にその間引きのためのフィ
ルタを設定する。
First, the data control circuit 52 operates the recording medium 5
The image position address data recorded at the beginning of the recorded image data is read from 0 (S31).
As a result, it is possible to know how many still images make up one wide image. In order to display the entire wide image, it is necessary to thin out appropriate pixels, and the system control circuit 62 sets a filter for thinning out the data control circuit 52.

【0057】次に、データ制御回路52は記録媒体50
から順次、画像データを読み出し、上述のフィルタで間
引いた画像データを画像メモリ54に格納する(S3
2)。データ制御回路52は、画像メモリ54に格納さ
れた画像データを読み出し、プロセス回路56及び表示
制御回路58を介してモニタ60に印加する(S3
3)。即ち、プロセス回路56は、画像メモリ54に格
納される全体画像に所定の信号処理を施し、表示制御回
路58が、プロセス回路56の出力をモニタ60での映
像表示に適した信号に変換して、モニタ60に印加す
る。これが全体表示モードであり、図19に示すような
表示状態になる。図19では、全部で8枚の静止画から
なるワイド画を例示している。
Next, the data control circuit 52 operates the recording medium 50.
The image data is sequentially read out from and the image data thinned by the above-mentioned filter is stored in the image memory 54 (S3).
2). The data control circuit 52 reads out the image data stored in the image memory 54 and applies it to the monitor 60 via the process circuit 56 and the display control circuit 58 (S3).
3). That is, the process circuit 56 performs predetermined signal processing on the entire image stored in the image memory 54, and the display control circuit 58 converts the output of the process circuit 56 into a signal suitable for video display on the monitor 60. , Monitor 60. This is the whole display mode, and the display state is as shown in FIG. In FIG. 19, a wide image including a total of eight still images is illustrated.

【0058】MODEスイッチ66の操作により、表示
モードを変更できる(S35〜39)。即ち、MODE
スイッチ66のオン操作により、上述の全体表示モー
ド、超ワイド画の一部を大きく表示すると共に超ワイド
画の中での位置を表示する両方表示モード、及び、部分
画像のみを表示する部分表示モードが循環する。なお、
両方表示モードには、大きく表示する部分画像の画面内
で、再生画像をスクロール表示する第1の両方表示モー
ドDisp#1と、再生画像を切り換え表示する第2の
両方表示モードDisp#2がある。第1の両方表示モ
ードDisp#1の表示態様を図20に、第2の両方表
示モードDisp#2の表示態様を図21に示す。部分
表示する位置は、全体表示中で色又は特有パターン(図
20及び図21では斜線)により表示される。
The display mode can be changed by operating the MODE switch 66 (S35-39). That is, MODE
When the switch 66 is turned on, the above-mentioned whole display mode, both the display mode in which a part of the super wide image is displayed large and the position in the super wide image is displayed, and the partial display mode in which only the partial image is displayed Circulates. In addition,
The dual display mode includes a first dual display mode Disp # 1 for scrolling and displaying the reproduced image and a second dual display mode Disp # 2 for switching and displaying the reproduced image within the screen of the partially displayed large image. . FIG. 20 shows a display mode of the first dual display mode Disp # 1 and FIG. 21 shows a display mode of the second dual display mode Disp # 2. The position of partial display is displayed by color or a peculiar pattern (shaded lines in FIGS. 20 and 21) in the entire display.

【0059】MODEスイッチ66の最初のオン操作に
より(S34)、図20に示す両方表示モードDisp
#1になる(S35,36)。両方表示モードのモード
Disp#1では、矢印キー68,70,72,74に
応じて、再生画像をスクロール表示する(S43,4
5)。即ち、システム制御回路62は矢印キー68〜7
4の操作時間及び/又は押圧の強さに応じた移動命令を
データ制御回路52に指令し、データ制御回路52はこ
の移動命令に応じて、画像メモリ54に格納されている
画像データを当該画像メモリ54上で指定方向に移動す
ると共に、不足する画像データで必要なデータを記録媒
体50から読み出し、画像メモリ54に格納する。
When the MODE switch 66 is first turned on (S34), the dual display mode Disp shown in FIG.
It becomes # 1 (S35, 36). In the mode Disp # 1 of the both display mode, the reproduced image is scroll-displayed according to the arrow keys 68, 70, 72, 74 (S43, 4).
5). That is, the system control circuit 62 uses the arrow keys 68-7.
A command to move the image data stored in the image memory 54 is sent to the data control circuit 52 according to the operation time and / or the strength of the pressing. While moving in the specified direction on the memory 54, necessary data for the insufficient image data is read from the recording medium 50 and stored in the image memory 54.

【0060】両方表示モードでDispスイッチ74を
操作すると(S46)、モードDisp#1からモード
Disp#2、又はモードDisp#2からモードDi
sp#1に切り換わる(S47)。
When the Disp switch 74 is operated in the both display mode (S46), the mode Disp # 1 to the mode Disp # 2 or the mode Disp # 2 to the mode Di.
It is switched to sp # 1 (S47).

【0061】モードDisp#2では、矢印キー68,
70,72,74に応じて、再生画像を切換え表示する
(S43,44)。即ち、画像1−2を再生表示してい
るときに、矢印キー74をオンすると、データ制御回路
52は画像1−3のデータを記録媒体50から読み出し
て画像メモリ54に格納し、モニタ60の所定箇所に表
示されるようにする。
In the mode Disp # 2, the arrow keys 68,
The reproduced image is switched and displayed according to 70, 72, and 74 (S43, 44). That is, when the arrow key 74 is turned on while the image 1-2 is being reproduced and displayed, the data control circuit 52 reads the data of the image 1-3 from the recording medium 50 and stores the data in the image memory 54, and the data of the monitor 60 is displayed. Display it at a specified location.

【0062】両方表示モードになっている状態で、MO
DEスイッチ66が操作されると(S37)、両方表示
モードのときにモードDisp#1であれば全体表示モ
ードになり(S38)、両方表示モードのときにモード
Disp#2であれば、部分表示モードになる(S3
8,39)。
In both display modes, the MO
When the DE switch 66 is operated (S37), if the mode is Disp # 1 in the dual display mode, the whole display mode is set (S38), and if it is the mode Disp # 2 in the dual display mode, the partial display is displayed. Enter mode (S3
8, 39).

【0063】部分表示モードでは、超ワイド画の部分画
像のみを表示する。モニタ60における表示態様を図2
2に示す。部分表示モードでは、図18に示すように、
矢印キー68,70,72,74に応じて、再生画像を
スクロール表示する(S48,49)。図22に示すよ
うに、再生画像にスクロール可能な方向を示す矢印を重
畳表示する。例えば、画像1−1が表示されている場
合、モニタ画面に表示される矢印は右方向と下方向のみ
である。
In the partial display mode, only the partial image of the super wide image is displayed. The display mode on the monitor 60 is shown in FIG.
2 shows. In the partial display mode, as shown in FIG.
The reproduced image is scroll-displayed in accordance with the arrow keys 68, 70, 72, 74 (S48, 49). As shown in FIG. 22, an arrow indicating a scrollable direction is superimposed and displayed on the reproduced image. For example, when the image 1-1 is displayed, the arrows displayed on the monitor screen are only rightward and downward.

【0064】部分表示モードで、MODEスイッチ66
が操作されると(S50)、部分表示モードを抜け、両
方表示モードのモードDisp#2に復帰する。
In the partial display mode, the MODE switch 66
Is operated (S50), the partial display mode is exited, and the mode returns to the mode Disp # 2 in the dual display mode.

【0065】両方表示モードでは、図20及び図21に
示すように、部分画像の表示エリアの外側に全体内の位
置を示す画像を表示したが、所謂ピクチャー・イン・ピ
クチャーのように重畳表示してもよい。また、上記実施
例では、両方表示モードのモードdisp#2から部分
表示モードに移行するようにしたが、画像をスクロール
表示する点では、モードDisp#1と類似しており、
モードDisp#1から部分表示モードに移行するよう
にしてもよい。更には、ワークステーションやパーソナ
ル・コンピュータで利用されているウインドウ表示シス
テムを活用し、部分画像の表示エリアの大きさを拡大縮
小できるようにしてもよいことはいうまでもない。
In the both display mode, as shown in FIGS. 20 and 21, the image showing the position within the whole is displayed outside the display area of the partial image, but it is displayed in a superimposed manner like a so-called picture-in-picture. May be. Further, in the above-described embodiment, the mode disp # 2 in the both display mode is changed to the partial display mode, but in that the image is scroll-displayed, it is similar to the mode disp # 1,
The mode Disp # 1 may be switched to the partial display mode. Further, it goes without saying that the window display system used in a workstation or a personal computer may be utilized to enlarge or reduce the size of the display area of the partial image.

【0066】なお、記録媒体24には、画像情報を可逆
又は非可逆圧縮してから記録してもよいことは明らかで
ある。
It is obvious that image information may be recorded on the recording medium 24 after being reversibly or irreversibly compressed.

【0067】[0067]

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、複数の静止画から精確に継ぎ足さ
れた任意の大きさの超ワイド画を形成できる。画像処理
を使って自動的に継ぎ足していくので、継ぎ目に不自然
さが目立つことがない。特に、個々の静止画で充分な解
像度を具備するので、例えばマルチスクリーン用の映像
ソースとして利用価値が高い。専用モニタを用いずに、
既存の解像度のモニタを用いてこの超ワイド画を再生表
示できる。
As can be easily understood from the above description, according to the present invention, it is possible to form a super wide image of an arbitrary size which is accurately added from a plurality of still images. Since image processing is used to automatically add joints, unnaturalness does not stand out at the joints. In particular, since each still image has sufficient resolution, it is highly useful as a video source for multi-screens, for example. Without using a dedicated monitor
This ultra-wide image can be played back and displayed using a monitor with an existing resolution.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の一実施例の概略構成ブロック図であ
る。
FIG. 1 is a schematic block diagram of an embodiment of the present invention.

【図2】 本実施例でのマッチング・テンプレートとベ
クトル方向パターンである。
FIG. 2 shows a matching template and a vector direction pattern in this embodiment.

【図3】 パンの方向例である。FIG. 3 is an example of a pan direction.

【図4】 図1の動作フローチャートの一部である。FIG. 4 is a part of the operation flowchart of FIG.

【図5】 図1の動作フローチャートの一部である。5 is a part of the operation flowchart of FIG. 1. FIG.

【図6】 図1の動作フローチャートの一部である。6 is a part of the operation flowchart of FIG.

【図7】 メモリ20A,20B,20Cの遷移状態図
である。
FIG. 7 is a transition state diagram of memories 20A, 20B, and 20C.

【図8】 図7に対するタイミング図である。FIG. 8 is a timing diagram for FIG. 7.

【図9】 遅いパンに対するメモリ20A,20B,2
0Cの遷移状態図である。
FIG. 9: Memories 20A, 20B, 2 for slow pan
It is a transition state diagram of 0C.

【図10】 図9に対するタイミング図である。FIG. 10 is a timing diagram for FIG. 9.

【図11】 右斜め方向パンのときの動作説明図であ
る。
FIG. 11 is an explanatory diagram of the operation when panning to the right diagonal direction.

【図12】 電子ビュー・ファインダ34の表示であ
る。
FIG. 12 is a display of the electronic viewfinder 34.

【図13】 不足データを穴埋めする際の、電子ビュー
・ファインダ34の表示である。
FIG. 13 is a display of the electronic view finder 34 when filling in the insufficient data.

【図14】 再生装置の一実施例の概略構成ブロック図
である。
FIG. 14 is a schematic block diagram of an embodiment of a reproducing device.

【図15】 図14の操作装置64の操作パネル面を示
す図である。
15 is a diagram showing an operation panel surface of the operation device 64 of FIG.

【図16】 図14の動作フローチャートである。16 is an operation flowchart of FIG.

【図17】 図14のS41の詳細なフローチャートで
ある。
FIG. 17 is a detailed flowchart of S41 of FIG.

【図18】 図14のS40の詳細なフローチャートで
ある。
FIG. 18 is a detailed flowchart of S40 of FIG.

【図19】 全体表示モードでのモニタ画面60の表示
態様である。
FIG. 19 is a display mode of the monitor screen 60 in the whole display mode.

【図20】 両方表示モードのモードDisp#1のモ
ニタ画面60の表示態様である。
FIG. 20 is a display mode of the monitor screen 60 of the mode Disp # 1 in the both display mode.

【図21】 両方表示モードのモードDisp#2のモ
ニタ画面60の表示態様である。
FIG. 21 is a display mode of the monitor screen 60 of the mode Disp # 2 in the both display mode.

【図22】 部分表示モードのモニタ画面60の表示態
様である。
FIG. 22 is a display mode of the monitor screen 60 in the partial display mode.

【符号の説明】[Explanation of symbols]

10:撮影レンズ 12:撮像素子 14:サンプル・
ホールド回路 16:A/D変換器 18:プロセス回
路 20A,20B,20C:画像メモリ 22:メモ
リ制御回路 24:記録媒体 26:動き検出回路 2
8:フィルタ 30:マッチング回路 32:ベクトル
演算回路 34:電子ビュー・ファインダ 36:タイミング制御回路 50:記録媒体 52:デ
ータ制御回路 54:画像メモリ 56:プロセス回路
58:表示制御回路 60:モニタ 62:システム
制御回路 64:操作装置 66:MODEスイッチ
68,70,72,74:矢印キー 76:Dispス
イッチ
10: Photographic lens 12: Image sensor 14: Sample
Hold circuit 16: A / D converter 18: Process circuit 20A, 20B, 20C: Image memory 22: Memory control circuit 24: Recording medium 26: Motion detection circuit 2
8: Filter 30: Matching circuit 32: Vector operation circuit 34: Electronic view finder 36: Timing control circuit 50: Recording medium 52: Data control circuit 54: Image memory 56: Process circuit 58: Display control circuit 60: Monitor 62: System control circuit 64: Operating device 66: MODE switch
68, 70, 72, 74: Arrow keys 76: Disp switch

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 一連の撮影画像を合成処理して、超ワイ
ド画を夫々部分的に構成する複数の静止画を形成し、記
録媒体に記録する撮像装置であって、光学像を電気信号
に変換する撮像手段と、少なくとも2画面分の記憶容量
を具備し、当該撮像手段による撮影画像を順次記憶する
第1の画像メモリ手段と、合成処理後の画像を記憶する
第2の画像メモリ手段と、当該第1の画像メモリ手段に
記憶される画像間の演算により時間的に遅い入力画像か
ら新規な画像部分を検出し、当該第2の画像メモリ手段
に格納する演算制御手段とを設け、合成処理により当該
第2の画像メモリ手段上で完成した画像を当該記録媒体
に順次、記録することを特徴とする撮像装置。
1. An image pickup device for synthesizing a series of photographed images to form a plurality of still images each partially forming an ultra-wide image, and recording the image on a recording medium, wherein an optical image is converted into an electrical signal. An image pickup unit for conversion, a first image memory unit having a storage capacity for at least two screens, which sequentially stores images picked up by the image pickup unit, and a second image memory unit which stores the image after the combining process. , An arithmetic control means for detecting a new image portion from an input image which is delayed in time by an operation between images stored in the first image memory means and storing it in the second image memory means, An image pickup apparatus characterized in that images completed on the second image memory means by processing are sequentially recorded on the recording medium.
【請求項2】 合成画像情報と共に、各合成画像の画像
位置アドレス情報を記録媒体に記録する請求項1に記載
の撮像装置。
2. The image pickup apparatus according to claim 1, wherein the image position address information of each composite image is recorded together with the composite image information on a recording medium.
【請求項3】 一連の入力画像を合成処理することによ
り、超ワイド画を夫々部分的に構成する複数の静止画を
形成する画像処理装置であって、少なくとも2画面分の
記憶容量を具備し、当該入力画像を順次記憶する第1の
画像メモリ手段と、合成処理後の画像を記憶する第2の
画像メモリ手段と、当該第1の画像メモリ手段に記憶さ
れる画像間の演算により時間的に遅い入力画像から新規
な画像部分を検出し、当該第2の画像メモリ手段に格納
する演算制御手段とからなることを特徴とする画像処理
装置。
3. An image processing apparatus for forming a plurality of still images each partially forming an ultra-wide image by synthesizing a series of input images, and having a storage capacity of at least two screens. , A first image memory means for sequentially storing the input image, a second image memory means for storing the image after the compositing process, and a temporal operation by an operation between the images stored in the first image memory means. An image processing apparatus comprising: an arithmetic control unit that detects a new image portion from a slow input image and stores it in the second image memory unit.
【請求項4】 合成画像情報と共に、各合成画像の画像
位置アドレス情報を記録媒体に記録する請求項3に記載
の画像処理装置。
4. The image processing apparatus according to claim 3, wherein the image position address information of each composite image is recorded together with the composite image information on a recording medium.
【請求項5】 1つの画像情報を複数の部分画像に分割
して記録する記録媒体の記録情報を再生する画像再生装
置であって、全体画像を表示するモード、各部分画像を
表示するモード、及び、2以上の隣接する部分画像を合
成し、指定部分を表示するモードを具備することを特徴
とする画像再生装置。
5. An image reproducing apparatus for reproducing recorded information of a recording medium for recording one image information by dividing it into a plurality of partial images and recording the whole image, a mode for displaying each partial image, And an image reproducing apparatus comprising a mode of combining two or more adjacent partial images and displaying a designated portion.
JP27035792A 1992-10-08 1992-10-08 Image processing apparatus and method Expired - Fee Related JP3206139B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27035792A JP3206139B2 (en) 1992-10-08 1992-10-08 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27035792A JP3206139B2 (en) 1992-10-08 1992-10-08 Image processing apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001040312A Division JP3542563B2 (en) 2001-02-16 2001-02-16 Image playback method

Publications (2)

Publication Number Publication Date
JPH06121226A true JPH06121226A (en) 1994-04-28
JP3206139B2 JP3206139B2 (en) 2001-09-04

Family

ID=17485148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27035792A Expired - Fee Related JP3206139B2 (en) 1992-10-08 1992-10-08 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP3206139B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466262B1 (en) 1997-06-11 2002-10-15 Hitachi, Ltd. Digital wide camera
JP2005033735A (en) * 2003-07-11 2005-02-03 Sony Corp Image pickup device and method, image pickup system, and program
EP1530360A3 (en) * 2003-11-10 2005-06-08 Hewlett-Packard Development Company, L.P. Panoramic image formation
JP2009141630A (en) * 2007-12-05 2009-06-25 Canon Inc Image processor, its control method, and program
JP2010074685A (en) * 2008-09-22 2010-04-02 Sony Corp Image processor, imaging device, image processing method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466262B1 (en) 1997-06-11 2002-10-15 Hitachi, Ltd. Digital wide camera
JP2005033735A (en) * 2003-07-11 2005-02-03 Sony Corp Image pickup device and method, image pickup system, and program
EP1530360A3 (en) * 2003-11-10 2005-06-08 Hewlett-Packard Development Company, L.P. Panoramic image formation
US7746404B2 (en) 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
JP2009141630A (en) * 2007-12-05 2009-06-25 Canon Inc Image processor, its control method, and program
US8848034B2 (en) 2007-12-05 2014-09-30 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and program
JP2010074685A (en) * 2008-09-22 2010-04-02 Sony Corp Image processor, imaging device, image processing method, and program
US8421871B2 (en) 2008-09-22 2013-04-16 Sony Corporation Method and apparatus for image pickup and image processing

Also Published As

Publication number Publication date
JP3206139B2 (en) 2001-09-04

Similar Documents

Publication Publication Date Title
US7057658B1 (en) Digital camera capable of forming a smaller motion image frame
US5164833A (en) Electronic viewfinder
KR0148015B1 (en) Pip television system
JP2000244814A (en) Image compositing device and recording medium where image compositing method is recorded
JP3639637B2 (en) Electronic camera
JP3206139B2 (en) Image processing apparatus and method
JP3893416B2 (en) Electronic still camera and image data recording / reproducing method thereof
JP3403060B2 (en) Panoramic image capturing device and panoramic image generating device
JP3332942B2 (en) Electronic still camera
JP4529561B2 (en) Imaging apparatus, image composition method, and image composition program
JP3542563B2 (en) Image playback method
EP1496684A2 (en) Imaging apparatus, imaging method, imaging system, program
JPH10304227A (en) Electronic still camera
JPH0730788A (en) Video camera apparatus
JP3221004B2 (en) Video camera
JP3882270B2 (en) Imaging device and storage medium
JPH1141555A (en) Electronic still camera
JP3123576B2 (en) Video signal recording device
JP3269055B2 (en) Image synthesis photography device
JP2862273B2 (en) Video signal processing device
JP2669083B2 (en) Imaging device
JP4211324B2 (en) Video processing apparatus, video processing method, program and recording medium, and video processing system
JP3698799B2 (en) Imaging device
JP3224737B2 (en) Video judgment device
JPH05328200A (en) Longitudinal lateral direction conversion circuit

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010605

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090706

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090706

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees