JPH10178564A - Panorama image generator and recording medium - Google Patents

Panorama image generator and recording medium

Info

Publication number
JPH10178564A
JPH10178564A JP9269427A JP26942797A JPH10178564A JP H10178564 A JPH10178564 A JP H10178564A JP 9269427 A JP9269427 A JP 9269427A JP 26942797 A JP26942797 A JP 26942797A JP H10178564 A JPH10178564 A JP H10178564A
Authority
JP
Japan
Prior art keywords
image
means
images
divided
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9269427A
Other languages
Japanese (ja)
Inventor
Hiroyuki Akagi
Yoshihiro Kitamura
Mitsuaki Nakamura
三津明 中村
義弘 北村
宏之 赤木
Original Assignee
Sharp Corp
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP27432696 priority Critical
Priority to JP8-274326 priority
Application filed by Sharp Corp, シャープ株式会社 filed Critical Sharp Corp
Priority to JP9269427A priority patent/JPH10178564A/en
Publication of JPH10178564A publication Critical patent/JPH10178564A/en
Application status is Pending legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23238Control of image capture or reproduction to achieve a very large field of view, e.g. panorama
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

PROBLEM TO BE SOLVED: To provide a panorama image generator in which deterioration in the image quality due to deviation in the image or double exposure is less even with regard to the image including a parallax caused by a difference of the depth in the case of photographing when movement of a center of a lens of a camera is unavoidable for photographing a scene by the camera or the like. SOLUTION: A panorama image generator is provided with an image input device 101, a frame memory 102 that stores inputted divided images, an image position calculation part 106 that calculates a synthesis position of the divided images, an image parallax extract processing part 107 that extracts parallax information between images from the image including a parallax in an overlap area between adjacent divided images, an intermediate image production processing part 108 that produces plural intermediate images from the image including the parallax and an image synthesis processing part 109 that synthesizes a panorama image from the divided images. The image parallax extract processing part 107 corrects a deviation in the images in an overlap area and interpolates by the intermediate image produced by the intermediate image production processing part 108 to synthesize the panorama image.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、複数のスチルデジタル画像から、パノラマ画像を合成するパノラマ画像作成装置に関するものである。 BACKGROUND OF THE INVENTION The present invention provides a plurality of still digital images, to a panoramic image generating apparatus for synthesizing a panorama image.

【0002】 [0002]

【従来の技術】複数の互いにオーバーラップ領域を持つデジタル画像をつなぎ合わせ、パノラマ画像、或いは高精細(高解像度)画像を作成する方法としては、例えば、特開平3−182976号公報に開示されているような2つの特徴粒子を隣接画像間で抽出し、それらを結ぶ線を接合線として画像をつなぐ方法、或いは、特開平5−122606号公報に開示されているような濃度差が最小になるような領域で画像をつなぐ方法がある。 Joining the Related Art Digital image having a plurality of overlapping regions to each other, as a way to create a panoramic image or a high-definition (high resolution) image, for example, it is disclosed in Japanese Patent Laid-Open No. 3-182976 two characteristics particles like being extracted between the adjacent image, a method of combining images a line connecting them as a bonding wire, or density difference such as disclosed in Japanese Patent Laid-Open No. 5-122606 is minimized a method of combining images with regions like. また、画像を接合する際に、接合線のように線で結ぶのではなく、接合線周辺において両画像の濃度変化が不連続にならないように色調の平滑化を行なう方法が東京大学出版会発行の画像解析ハンドブック466頁に記載されている。 Also, in joining the images, a method is published University of Tokyo Press performed instead of connecting a line, the smoothing of color as changes in the concentration of both images in the peripheral joining line is not discontinuous as bondline It is described in the Handbook of image analysis 466 pp.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、デジタル画像の撮影において、手持ちによるパン撮影する場合、三脚を用いてパン撮影する場合、或いは複数のカメラによりオーバラップを持つように設置し撮影する場合などがある。 [SUMMARY OF THE INVENTION However, in the photographing of a digital image, if the panning photographing by hand, if pan taken with a tripod, or by a plurality of cameras such as when installing taken to have the overlap there is. 手持ちによるパン撮影や、複数のカメラでの撮影では、図4に示すように、カメラのレンズ位置が移動する。 Or Pan photographing by hand, in the shooting of a plurality of cameras, as shown in FIG. 4, the lens position of the camera is moved. また、多くのカメラと三脚の組合せにおいても回転中心とカメラのレンズ中心が一致しないので多少のレンズの移動が生じる。 Also, the movement of some lenses the lens center of the rotation center and the camera do not match even the combination of a number of cameras and tripod occur. これらのレンズ位置の相違は、撮像画像において被写体の奥行きの違いに起因する視差を生じさせるため、図5に見られるように画像内の被写体の奥行きが違う部分においてパン方向側に、一方では写っているが、他方には写っていないような部分が生じることや、撮影に時間的ずれがあるために移動する物体が撮影された場合にも、オーバーラップ内の画像は一致しない。 The difference of these lens position, to produce a parallax caused by the difference in the depth of the subject in the captured image, in the pan direction side in the depth are different portions of the subject in the image as seen in FIG. 5, whereas reflected in and which, it and the optionally not such a portion reflected is generated in the other hand, when the moving object because of the time lag in imaging is captured also, images in the overlap does not match.

【0004】従来の画像接合技術では、接合線を直線や、幅を持った直線で接合していたが、前記のような画像間に差があるような場合には、うまく合成出来ない場合が多い。 [0004] In the conventional image joining techniques, lines and the bonding wire, had been joined by a straight line having a width, in the above case there is an image difference between like may be unable to successfully synthesize many. 特に、一部は自然につながっていても、視差の生じている部分や、移動物体を含んでいる箇所においては、接合線上でのずれや、2重写りが生じ、接合したパノラマ画像の品質を著しく低下させる原因となっている。 In particular, even some have led to natural, or partially occurring parallax, the locations that contain moving objects, and displacement in the bonding line, double image occurs, the quality of the joined panoramic image It is responsible for significantly reduced.

【0005】本発明は、以上のような従来技術の問題点を解決するため、カメラなどで風景を撮影する際、カメラのレンズ中心が移動が避けられない場合の撮影においては、奥行きの違いによって生じる視差を含む画像に対しても、画像のズレや2重写りによる画質の低下が少ないパノラマ画像作成装置を提供する。 [0005] The present invention is to solve the above described problems of the prior art, when photographing a landscape camera, etc., in the shooting when the lens center of the camera is inevitably moving, the difference in depth even for images that contain the resulting parallax, provide reduced less panoramic image creating apparatus in image quality due to misalignment and double image of the image. また、カメラのレンズ中心が移動が避けられない場合や、動物体を含むことが避けられない場合の撮影においては、奥行きの違いによって生じる視差や、動物体を含む画像に対しても、 Further, and when the lens center of the camera is inevitably moving in the shooting in the case where it is unavoidable to include a moving object, the disparity and caused by the difference in depth, even for an image including a moving object,
画像のズレや2重写りによる画質の低下が少ないパノラマ画像作成装置を提供する。 Providing a panoramic image creating device decreases less in image quality due to misalignment and double image of the image.

【0006】 [0006]

【課題を解決するための手段】本発明の請求項1に係るパノラマ画像作成装置は、複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのパノラマ画像作成装置であって、前記撮像手段と、前記撮像手段から入力された分割画像を記憶する記憶手段と、前記撮像手段に対して前記分割画像の取り込みを指示すると共に、前記記憶手段に対しては、前記取り込まれた分割画像の記憶先アドレスを指示する画像入力処理手段と、前記分割画像の合成位置を計算する画像位置計算手段と、隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から、画像間の視差情報を抽出する視差情報抽出手段と、前記オーバ Panoramic image creating device according to claim 1 SUMMARY OF THE INVENTION The present invention, by a plurality of image pickup means or the image pickup means and moving a plurality of times, and the overlapped portion of the captured image photographed, a panoramic image creating apparatus for creating a panoramic image by joining the divided images obtained, and the imaging means, storage means for storing the divided image input from the imaging unit, said imaging It instructs the uptake of the divided images to means for the said storage means, image input processing means for instructing the storage address of the captured image segment to calculate the combined position of the divided image an image position calculation unit, from the overlap including a parallax in the area image between the divided images adjacent parallax information extracting means for extracting parallax information between images, the over- ラップ領域内の視差を含んだ画像から複数の中間画像を作成する中間画像作成手段と、前記分割画像からパノラマ画像を合成する画像合成手段とを備え、前記オーバーラップ領域の画像のずれを前記視差情報抽出手段で補正すると共に、前記中間画像作成手段で作成した中間画像で補間してパノラマ画像を合成することを特徴とする。 Comprising an intermediate image generating means for generating a plurality of intermediate images from an image including a parallax lap region, and an image synthesizing means for synthesizing a panoramic image from the divided image, the deviation of the image of the overlap region parallax It is corrected by the information extraction means, characterized by synthesizing a panoramic image by interpolating an intermediate image created in the intermediate image creating unit.

【0007】本発明の請求項2に係るパノラマ画像作成装置は、複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのパノラマ画像作成装置であって、前記撮像手段と、前記撮像手段から入力された分割画像を記憶する記憶手段と、前記撮像手段に対して前記分割画像の取り込みを指示すると共に、前記記憶手段に対しては、前記取り込まれた分割画像の記憶先アドレスを指示する画像入力処理手段と、前記分割画像の合成位置を計算する画像位置計算手段と、隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から、画像間の視差情報を抽出する視差情報抽出手段と、前記視差情報抽出手段によっ [0007] panoramic image creation device according to claim 2 of the present invention, a plurality of image pickup means or the image pickup means to move several times, photographed the overlapped portion of the captured image, resulting a panoramic image creating apparatus for creating a panoramic image by joining a divided image, a storage means for storing said image pickup means, the divided image input from the imaging unit, the division with respect to the image pickup means instructs the image capture, for the storage unit, and an image input processing means for instructing the storage address of the captured image segment image position calculating means for calculating the combined position of the divided image, from the divided image between the overlap including a parallax in the area image adjacent, the parallax information extracting means for extracting parallax information between images, depending on the disparity information extracting unit 得られた奥行き情報に基づいて、前記オーバーラップ領域の画像の撮像手段に最も近い被写体の輪郭上に接合線を設定する接合線決定手段と、前記分割画像からパノラマ画像を合成する画像合成手段とを備え、前記オーバーラップ領域の画像のずれを前記視差情報抽出手段で補正すると共に、前記接合線決定手段によって求められた接合線に基づいて、分割画像を接合することを特徴とする。 Based on the obtained depth information, a joint line determining means for setting the joining line to the nearest object on the contour to the imaging means of the image of the overlap region, and an image synthesizing means for synthesizing a panoramic image from the divided image the provided, the deviation of the image of the overlap region is corrected by the disparity information extracting unit, based on the joint line determined by the joint line determining means, characterized by joining the divided images.

【0008】本発明の請求項3に係るパノラマ画像作成装置は、請求項2に係るパノラマ画像作成装置において、前記接合線決定手段は、前記オーバーラップ領域の画像の撮像手段に最も近い被写体のオーバーラップ領域側の画像端に最も近い輪郭に接合線を設定することを特徴とする。 [0008] panoramic image creation device according to claim 3 of the present invention, the panoramic image creating device according to claim 2, wherein the joint line determining means closest subject over the imaging means of the image of the overlap region and setting the joining line to the nearest contour image edge of the lap region side. 本発明の請求項4に係るパノラマ画像作成装置は、請求項2又は、請求項3に係るパノラマ画像作成装置において、前記接合線決定手段は、前記オーバーラップ領域内において、接合線決定時における基準画像の選択と、前記接合線決定方法の組み合わせによる複数の接合線の中から最適な接合線を選出して分割画像を接合することを特徴とする。 Panoramic image creating device according to claim 4 of the present invention, according to claim 2 or, in the panoramic image creating apparatus according to claim 3, wherein the joint line determining means, in the overlap region, the reference at the time of bonding lines determined and selection of the image, characterized by joining the divided image by selecting an optimal joint line from a plurality of bonding lines by the combination of the joining line determination method.

【0009】本発明の請求項5に係る記録媒体は、複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのプログラムであり、画像入力処理手段は撮像手段に対して指示して分割画像の取り込みを行わせると共に、記憶手段に対して記憶先アドレスを指示して取り込まれた前記分割画像を記憶手段に記憶させ、画像位置計算手段には前記分割画像の合成位置を計算させ、視差情報抽出手段には隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から画像間の視差情報を抽出させ、中間画像作成手段には前記オーバーラップ領域内の視差を含んだ画像から複数の中間画像を作成させ、 [0009] recording medium according to claim 5 of the present invention, a plurality of image pickup means or the image pickup means to move several times, photographed the overlapped portion of the captured image, resulting divided images the by joining a program for creating a panoramic image, the image input processing means causes the incorporation of the divided images and instructs the image pickup means, incorporated instructs the storage destination address to the storage means the divided image is stored in a storage means which, in the image position calculating means to calculate a composition position of the divided image, including the disparity within the overlap region between the divided images adjacent to the parallax information extracting means to extract parallax information between the images from the image, the intermediate image creating unit to create a plurality of intermediate images from an image including a parallax of the overlap region,
画像合成手段には前記分割画像からパノラマ画像を合成させ、その際、前記視差情報抽出手段において前記オーバーラップ領域の画像のずれを補正すると共に、前記中間画像作成手段で作成した中間画像で補間してパノラマ画像を合成する動作を実行させるプログラムを格納したものである。 The image synthesizing means to synthesize a panoramic image from the divided image, whereby, while correcting the deviation of the image of the overlap region in the parallax information extracting means, interpolating an intermediate image created in the intermediate image creating unit Te is obtained by storing a program for executing the operation for synthesizing a panoramic image.

【0010】本発明の請求項6に係る記録媒体は、複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのプログラムであり、画像入力処理手段は撮像手段に対して指示して分割画像の取り込みを行わせると共に、記憶手段に対して記憶先アドレスを指示して取り込まれた前記分割画像を記憶手段に記憶させ、画像位置計算手段には前記分割画像の合成位置を計算させ、視差情報抽出手段には隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から画像間の視差情報を抽出させ、接合線決定手段には前記視差情報抽出手段によって得られた奥行き情報に基づいて、前記オーバーラップ領域の画像の撮像 [0010] recording medium according to claim 6 of the present invention, a plurality of image pickup means or the image pickup means to move several times, photographed the overlapped portion of the captured image, resulting divided images the by joining a program for creating a panoramic image, the image input processing means causes the incorporation of the divided images and instructs the image pickup means, incorporated instructs the storage destination address to the storage means the divided image is stored in a storage means which, in the image position calculating means to calculate a composition position of the divided image, including the disparity within the overlap region between the divided images adjacent to the parallax information extracting means image is extracted parallax information between images from the joint line determining means based on the depth information obtained by the disparity information extracting unit, captured images of the overlap region 段に最も近い被写体の輪郭上に接合線を設定させ、画像合成手段には前記分割画像からパノラマ画像を合成させ、その際、前記視差情報抽出手段において前記オーバーラップ領域の画像のずれを補正すると共に、前記接合線決定手段によって求められた接合線に基づいて、分割画像を接合することでパノラマ画像を合成する動作を実行させるプログラムを格納したものである。 To set a bonding wire on the contour of the nearest object to the stage, the image synthesizing means to synthesize a panoramic image from the divided image, whereby, to correct the deviation of the image of the overlap region in the parallax information extracting means with, based on the joint line determined by the joint line determining means, it is obtained by storing a program for executing the operation for synthesizing a panoramic image by joining the divided images.

【0011】 [0011]

【発明の実施の形態】以下、本発明の実施の形態について、図面を参照しながら説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. 図1は、本発明の請求項1に係る実施形態の一実施例を示すブロック図である。 Figure 1 is a block diagram showing an example of an embodiment according to a first aspect of the present invention. 101は画像入力装置、102はフレームメモリ、 101 image input device, 102 a frame memory,
103は画像出力装置、104は画像入力処理部、10 103 the image output device, 104 an image input processing unit, 10
5は画像前処理部、106は画像位置計算部、107は画像視差抽出処理部、108は中間画像生成処理部、1 5 image preprocessing unit, 106 image position calculation unit, 107 image parallax extraction processing section, 108 is an intermediate image generation processing unit, 1
09は画像合成処理部、110は画像出力処理部、11 09 image synthesis processing unit, 110 is an image output processing unit, 11
1はタイミング制御部、112はRAMである。 1 timing controller, 112 is a RAM. 図3 Figure 3
は、前記RAM112の一構成例を示す図である。 Is a diagram showing an example of the configuration of the RAM 112. ここで、前記RAM112は以下の説明にあるいくつかの処理により、所定のアドレスから情報を得たり、各処理により発生した情報を格納する場所である。 Here, the RAM112 by several processing in the following description, or obtain information from a predetermined address, a place to store the information generated by each processing.

【0012】図8は、本発明の請求項1に係る実施形態の処理の手順を示す図である。 [0012] Figure 8 is a diagram illustrating a processing procedure of the embodiment according to a first aspect of the present invention.

【0013】以下、図1を用いて本発明の請求項1に係る実施形態に関する内容を説明する。 [0013] Hereinafter, describing the contents of an embodiment according to a first aspect of the present invention with reference to FIG.

【0014】全体のシステムが起動するとタイミング制御部111は、画像入力処理部104、画像前処理部1 [0014] When the entire system is activated the timing control unit 111, image input processing unit 104, image pre-processing unit 1
05、画像位置計算部106、画像視差抽出処理部10 05, the image position calculating unit 106, an image disparity extraction unit 10
7、中間画像生成処理部108、画像合成処理部10 7, the intermediate image generation processing unit 108, image synthesizing processing unit 10
9、画像出力処理部110に対してリセット信号を送る。 9, and sends a reset signal to the image output processing section 110.

【0015】前記各ブロックにおける処理は、タイミング制御部111からの開始信号を受信するまで待ち状態に入る。 [0015] The processing in each block enters a wait state until it receives a start signal from the timing control unit 111. まず、タイミング制御部111は、入力画像をフレームメモリ102へ格納するために画像入力処理部104へ開始信号を出し、画像入力処理部104からの終了信号を受けるまで待ち状態に入る。 First, the timing control unit 111, issues a start signal to the image input processing unit 104 to store the input image into the frame memory 102, enters a wait state until it receives an end signal from the image input processor 104.

【0016】画像入力処理部104は、タイミング制御部111から開始信号を受けると、画像入力装置101 The image input processor 104 receives the start signal from the timing control unit 111, an image input device 101
に対し、画像をフレームメモリ102に転送する処理を行なう。 Hand, performs a process of transferring the image to the frame memory 102. もし、オンラインで画像の合成を行なう時は画像入力装置101は、画像入力手段と、画像入力手段から得られるアナログ画像信号をデジタル画像信号に変換するためのA/D変換手段からなり、画像入力処理部1 If the image input device 101 when performing image synthesis online, made from the A / D conversion means for converting an image input unit, an analog image signal obtained from the image input means into digital image signals, the image input processing unit 1
04からの信号により画像の撮像とアナログ画像信号のA/D変換手段により、デジタル画像信号に変換し、フレームメモリ102の所定のアドレスに転送する処理となる。 The A / D converter of the imaging and analog image signals of the image by a signal from 04 is converted into a digital image signal, a processing for transferring a predetermined address in the frame memory 102. オフラインでの画像の合成の場合は、画像入力装置101は画像の記憶装置に当たり、画像入力処理部1 For the synthesis of images offline, the image input device 101 hits the storage device of the image, the image input processing unit 1
04は、画像入力装置101に記憶されている画像信号をフレームメモリ102の所定のアドレスに転送する処理となる。 04 is a process of transferring the image signal stored in the image input apparatus 101 to a predetermined address in the frame memory 102. 画像入力処理部104は、全ての画像をフレームメモリ102への転送が完了すると、画像入力枚数や、それぞれの格納アドレスを順次RAM112の所定アドレスに書き込む。 Image input processing unit 104 writes when the transfer of all the images in the frame memory 102 completed, and the image input sheets, sequentially RAM112 predetermined address each storage address. その後、画像入力処理部104 Thereafter, the image input processing unit 104
は、タイミング制御部111に対して画像入力処理の終了を通知する終了信号を送信して処理を終了する。 Terminates the transmission and process completion signal notifying the completion of the image input processing to the timing control unit 111.

【0017】タイミング制御部111は、入力画像のフレームメモリへの転送の終了信号を受信すると、画像前処理部105へ開始信号を送信し、画像前処理部105 [0017] The timing controller 111 receives the completion signal transfer to the frame memory of the input image, and sends a start signal to the image pre-processing unit 105, image pre-processing unit 105
からの終了信号を受けるまで待ち状態に入る。 A wait state until it receives a termination signal from entering.

【0018】画像前処理部105は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1にセットする。 The image pre-processing unit 105 receives the start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, and sets the counter k to 1. 次にカウンタkに対応した画像I(k)のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の所定の画像を読み出す(図8(イ)、(ロ)を参照)。 Then read the address of the frame memory 102 of the image I corresponding to the counter k (k) from the RAM 112, reads out the predetermined image in the frame memory 102 from the address (FIG. 8 (b), see (b)) . 読み込んだ画像I(k)に対して、該画像に対する既知の歪みを除去する処理を行なう。 Relative read image I (k), performs a process of removing a known distortion for the image. それには、例えば、撮像系のレンズの持つ収差補正などがある。 These include, for example, there is such aberration correction with the imaging system of the lens. それを除去した画像を再度、フレームメモリ102の同一のアドレスに書き出す。 An image obtained by removing it again, writes to the same address in the frame memory 102. その後、カウンタkを1増やし、カウンタkと画像枚数とを比較する。 Thereafter, the counter k is incremented by 1, and compares the counter k and the number of images. カウンタkが画像枚数以下ならば、次の画像の前処理を行なう。 If the counter k is the number of images below, it performs pre-processing of the next image. カウンタkが画像枚数より大ならば、画像前処理部105は、タイミング制御部111に対して画像前処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is larger than the number of images, image pre-processing unit 105 terminates the transmission and process completion signal notifying the completion of the image pre-processing to the timing control unit 111.

【0019】タイミング制御部111は、画像前処理部105からの終了信号を受信すると、画像位置計算部1 The timing controller 111 receives the completion signal from the image pre-processing unit 105, an image position calculation unit 1
06へ開始信号を送信し、画像位置計算部106からの終了信号を受けるまで待ち状態に入る。 It transmits a start signal to the 06, enters a wait state until it receives an end signal from the image position calculating unit 106.

【0020】画像位置計算部106は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1にセットする。 The image position calculating unit 106 receives the start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, and sets the counter k to 1. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の所定の画像I(k)の内、図9(a)及び図9(b)に示すようなパターンマッチングの参照領域となる部分(rx0,ry Then the address of the frame memory 102 of the image corresponding to the counter k read from the RAM 112, among the predetermined image I in the frame memory 102 from the address (k), FIG. 9 (a) and FIG. 9 (b) portion that becomes the pattern matching of the reference region as shown (rx0, ry
0)−(rx1,ry1)を読み出す。 0) - read the (rx1, ry1).

【0021】さらに、その画像に隣接する画像I(k+ [0021] In addition, the image I (k adjacent to the image +
1)の探索領域(sx0,sy0)−(sx1,sy1)を同様に読み出す。 1) of the search area (sx0, sy0) - (sx1, sy1) reads similarly. 探索領域については、画像間の位置関係がある程度分かっている場合、つまり、位置関係を一定にするように撮像されたか、或いは、撮像後、大まかな位置関係を外部から与えられている場合には、その情報により、探索領域を限定して読み出し、また、位置関係が未定の場合には、画像の全領域を探索領域として読み出す。 For search area when the position relationship between the images is known to some extent, that is, whether captured to the positional relation constant or, after imaging, if given a rough positional relationship externally by the information read by limiting the search area, and when the pending positional relationship reads the entire region of the image as a search area.

【0022】読み込んだそれぞれの画像の参照領域、探索領域をもとにパターンマッチングを行ない、参照領域の画像信号が、探索領域内でのマッチングする位置、つまり、参照領域との相関値が最も高い位置(mx0,my0) The reference region of each image read, performs pattern matching the search area on the basis of the image signal of the reference region, the position of matching within the search area, i.e., the correlation value of the reference region is the highest position (mx0, my0)
を求める。 The seek. 相関値は、例えば下式で計算を行なう。 Correlation value, for example, performs the calculation by the following formula.

【0023】 [0023]

【数1】 [Number 1]

【0024】ここで、R areaは参照領域、R(x,y) [0024] Here, R area reference area, R (x, y)
は参照領域の座標(x,y)における輝度値、S(x, Luminance value at the coordinates of the reference region (x, y) is, S (x,
y)は探索領域の座標(x,y)における輝度値、(of y) is the luminance value at the coordinates of the search area (x, y), (of
fset x ,offset y )は探索画像の原点(0,0)からのオフセットである。 fset x, offset y) is the offset from the origin of the search image (0,0). ここで求めたマッチング位置(mx0,m Here obtained matching position (mx0, m
y0)は、図9(c)に示すように元の画像から切り出した参照領域、探索領域のそれぞれの画像における位置なので、以下の式で補正を行ない、元画像における画像間のずれ量(x move ,y move )を求める。 y0), the reference region extracted from the original image as shown in FIG. 9 (c), since the positions in each image in the search area, subjected to correction by the following equation, the deviation amount between the images in the original image (x move, determine the y move).

【0025】 [0025]

【数2】 [Number 2]

【0026】以上により、画像間のずれ量(平行移動量)が計算出来る。 The [0026] above, the deviation amount between the images (parallel movement amount) can be calculated.

【0027】また、必要ならば、図9(d)及び図9 Further, if necessary, FIG. 9 (d) and 9
(e)のように2個以上の参照領域を設けることで、参照領域間の距離とマッチング領域間の距離の変化から画像のスケールの変化、参照領域とマッチング領域のなす方向差により相対的な回転角度なども、求められる。 By providing the two or more reference areas, as (e), the change of the scale changes from an image of the distance between the distance and the matching area between the reference area, relative by forming direction difference between the reference area and the matching area such as the angle of rotation is also obtained. 例えば、複数の参照領域の中心を通るベクトルVr、マッチング領域の中心を通るベクトルをVmとした場合、スケールの変化、回転角度は以下の式によって求められる。 For example, the vector Vr through the center of the plurality of reference regions, when the Vm vector passing through the center of the matching area, the change of the scale, rotation angle is determined by the following equation.

【0028】 [0028]

【数3】 [Number 3]

【0029】この場合、画像I(k)に対するスケールS(k)、回転角度θ(k)から、画像I(k+1)を1/Sk倍、−θ(k)だけ回転したものを改めてフレームバッファの元の画像I(k+1)のアドレスに書き出す。 [0029] In this case, the scale S to the image I (k) (k), the rotation angle θ from (k), the image I a (k + 1) 1 / Sk multiplied, re frame buffer those rotated by - [theta] (k) write to the address of the original image I (k + 1). さらに求めた平行移動量をカウンタkに対応したRAM112の所定の位置に書き込む。 Writing further amount of translation calculated in place of the RAM112 corresponding to the counter k. 以上の処理を行なった後、カウンタkを1増やし、カウンタkと画像枚数との比較を行なう。 After performing the above processing, the counter k is incremented by 1, it is compared with the counter k and the number of images. カウンタkが画像枚数より小ならば、次の画像位置の計算処理を行なう。 If the counter k is smaller than the number of images, it performs calculation processing of the next image position. カウンタkが画像枚数に等しいか大ならば、画像位置計算部106は、 If either the large counter k is equal to the number of images, the image position calculating unit 106,
タイミング制御部111に対して画像位置計算処理の終了を通知する終了信号を送信して処理を終了する。 It terminates the transmission and process completion signal notifying the completion of the image position calculating processing to the timing control unit 111.

【0030】タイミング制御部111は、画像位置計算部106からの終了信号を受信すると、画像視差抽出部107へ開始信号を送信し、画像視差抽出処理部107 The timing controller 111 receives the completion signal from the image position calculating unit 106 transmits a start signal to the image parallax extracting unit 107, an image disparity extracting unit 107
からの終了信号を受けるまで待ち状態に入る。 A wait state until it receives a termination signal from entering.

【0031】画像視差抽出処理部107は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1にセットする。 The image disparity extracting unit 107 receives the start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, and sets the counter k to 1. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の画像を読み出す。 Then read the address of the frame memory 102 of the image corresponding to the counter k from RAM 112, reads the image in the frame memory 102 from the address. これを画像I(k)と呼ぶ。 This is referred to as the image I (k). さらに、その画像に隣接する(カウンタk+1に対応する)画像を読み出す。 Furthermore, (corresponding to the counter k + 1) adjacent to the image reading image. この画像を画像I(k+1)と呼ぶ。 This image is referred to as image I (k + 1). その後、画像位置計算部106で求めた平行移動量をRAM112 Thereafter, a parallel movement amount calculated by the image position calculation unit 106 RAM 112
より読み出し、画像I(k)と画像I(k+1)がオーバーラップする領域を画像I(k)、画像I(k+1) More reading, image I (k) and picture image I (k + 1) image region overlap I (k), picture image I (k + 1)
についてそれぞれ求める。 Ask each about.

【0032】そして、画像I(k)のオーバーラップ部分を分割し、それぞれを参照領域とし、画像I(k+ [0032] Then, by dividing the overlapping portion of the image I (k), and respectively the reference area, image I (k +
1)から対応する位置をパターンマッチングの手法を用いて探索する。 Searching using a technique corresponding position pattern matching from 1). この際、探索を行なうのは視差による画像間のずれであるので、探索は横方向のみから行なえば良い。 At this time, since the carry out search is the displacement between the images by parallax, the search may be performed only from the lateral direction. このずれ量は、視差による物体の見かけ上の動き量であり、それは、奥行きに起因しているため、ずれの方向や、ずれ量から、参照領域内の物体の奥行きが推定出来る(図10を参照)。 This shift amount is the amount of movement of the apparent object by parallax, it is because it is due to the depth, and direction of the deviation, from the deviation amount, the depth of the object in the reference area can be estimated (Figure 10 reference).

【0033】また、ある奥行きの距離の点を一致させた場合、同一幅のオーバーラップ内でも、視差の関係上、 Further, when the matched points of the distance of a certain depth, even in the overlap of the same width, parallax on relationships,
ある点よりカメラに近い物体ほど左側へのずれ量が大きく、ある点よりカメラから遠いほど右側へのずれ量が大きくなる。 An object as large amount of deviation to the left close to the camera than the point, the deviation amount of the more distant from one camera from a point right increases. ここで、ある距離の点というのは、画像位置計算部106で求めた平行移動量に対応する距離になるが、ここで求めたオーバーラップ内のずれ量をもとに補正を加えても良い。 Here, because the point of a certain distance becomes a distance corresponding to the amount of translation calculated by the image position calculation unit 106, where it may be added to correct on the basis of the shift amount in the overlap obtained . 例えば、画像中最も奥行きの深い場所で合わせるのならば、基準値をずれ量の最小値とし、 For example, if the match in most depth deep location in the image, the minimum value of the amount of deviation of the reference value,
また、画像中最も奥行きの浅い場所で合わせるのならば、基準値をずれ量の最大値とし、また、ずれ量の平均を基準値としても良い。 Also, if the match in shallower most depth in an image, the maximum value of the amount of deviation of the reference value, or may be used as a reference value an average shift amount. 求めた基準値分だけRAM11 Only reference value amount obtained RAM11
2内の平行移動量を加え、また、今求めたオーバーラップ領域内の各ずれ量を基準値と差をとり、補正する。 The amount of parallel movement in the two addition, also takes a reference value and the difference between the respective shift amounts of the overlap area obtained now corrected. そうすることで、基準値としたずれ量が0に補正出来る。 In doing so, reference values ​​and the deviation amount can be corrected to 0.

【0034】この処理においては、正確な奥行きは求めず、奥行きの差に伴う視差、つまり画素間のずれ量自体を、領域毎、或いは画素毎にRAM112に格納しておく。 [0034] In this process, the precise depth is not determined, the parallax due to the difference in depth, that is, the displacement amount itself between pixels, storing each area, or for each pixel in the RAM 112.

【0035】図6は、視差抽出を行なうためのマッチングの様子を示した図である。 [0035] FIG. 6 is a diagram showing a state of matching for performing parallax extraction.

【0036】画像(A)の桝目は分割された参照領域に当たり、領域内の丸印は領域中心を示す。 The squares of the image (A) strikes the divided reference regions, circles in the region indicates the region center. 画像(B)中の枠はオーバーラップ領域を示し、丸印は画像(A)の参照領域中心を示す丸印に対応するもので、そこから伸びる矢印は、マッチングによるずれの方向と、ずれ量を示している。 Frame in the image (B) shows the overlap region, the circles corresponds to the circle showing the reference area center of the image (A), the arrow extending therefrom, and direction of the deviation by matching the shift amount the shows. ここで、画像が図6のように右側の画像が左側の画像を撮影した位置より右の位置で撮影されたものならば、右方向へのずれは大きければ大きいほど奥行きが深く、左方向へのずれはずれ量が大きければ大きいほど奥行きが浅いことが言える。 Here, if those images were taken in the right position from the position where the right side of the image has been captured image of the left as shown in FIG. 6, the deviation in the right direction is deep depth larger, to the left it can be said that the larger the deviation off the amount of depth is shallow. このずれ量を左方向を正にとり、画素の輝度値として示したのが画像(C)である。 Takes this deviation amount leftward positively, that shown as the luminance value of the pixel is an image (C). 暗い部分ほど視差が小さく、つまり奥行きが深く、明るい部分ほど視差が大きく、つまり奥行きが浅いことを示す。 Parallax smaller dark areas, i.e. depth deep, large parallax brighter portion, i.e. indicating that the depth is shallower. また、参照領域をさらに小さくすることにより、より細かな視差抽出が可能になる(図8(ハ)、 Moreover, by further reducing the reference area, enabling finer disparity extraction (FIG. 8 (c),
(ニ)を参照)。 See (d)).

【0037】同様にして、画像I(k+1)を参照側、 [0037] Similarly, the reference side image I (k + 1),
画像I(k)を探索側として奥行き抽出を行なう。 Image I (k) is performed depth extracted as the search side. 画像I(k+1)の視差抽出結果も同様にRAM112に格納しておく。 Parallax extraction result of the picture image I (k + 1) is stored similarly in the RAM112 also.

【0038】画像I(k)、画像I(k+1)の奥行き抽出処理が終わったら、カウンタkを1増やし、カウンタkと画像枚数とを比較する。 The image I (k), When the depth extraction processing picture image I (k + 1) is completed, the counter k is incremented by 1, and compares the counter k and the number of images. カウンタkが画像枚数より小ならば、画像I(k)、画像I(k+1)に対する奥行き抽出処理を行なう。 If the counter k is smaller than the number of images, the image I (k), performing the depth extraction processing on the image I (k + 1). カウンタkが画像枚数以上ならば、画像視差抽出処理部107は、タイミング制御部111に対して画像視差抽出処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is the number of images or image disparity extracting unit 107 ends the transmission and process completion signal notifying the completion of image parallax sampling and processing the timing control unit 111.

【0039】タイミング制御部111は、画像視差抽出処理部107からの終了信号を受信すると、中間画像生成部108へ開始信号を送信し、中間画像生成部108 The timing controller 111 receives the completion signal from the image parallax sampling and processing unit 107 transmits a start signal to the intermediate image generation section 108, an intermediate image generation section 108
からの終了信号を受けるまで待ち状態に入る。 A wait state until it receives a termination signal from entering.

【0040】中間画像生成処理部108は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1にセットする。 The intermediate image generation processing unit 108 receives the start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, and sets the counter k to 1. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の画像I Then read the address of the frame memory 102 of the image corresponding to the counter k from RAM 112, the image I in the frame memory 102 from the address
(k)を読み出す。 Read the (k). さらに、その画像に隣接する(カウンタk+1に対応する)画像I(k+1)を読み出す。 Further, it reads out adjacent to the image (corresponding to the counter k + 1) image I (k + 1).
その後、画像位置計算部106で求めた平行移動量をR Thereafter, a parallel movement amount calculated by the image position calculation unit 106 R
AM112より読み出し、画像I(k)のオーバラップ領域、画像I(k+1)のオーバーラップ領域をそれぞれ求める。 Read from AM112, determine overlap regions of the image I (k), the overlap area of ​​the picture image I (k + 1), respectively.

【0041】中間画像(Intermidiate Image)とは、視点の違う位置から撮像した2枚の画像から、その両視点の中間である位置で撮像される画像を計算により作成される画像である。 [0041] The intermediate image (Intermidiate Image), the two images captured from the position of different viewpoints, an image created by calculating the image captured at an intermediate at a position of the both viewpoints. 画像I(k)を撮像した位置を撮像位置T kとする。 The positions captured image I (k) is an imaging position T k. ここでは、オーバーラップ内の画像を領域内で水平方向にn−1に分けそれぞれ左から、撮像位置T kと撮像位置T k+1を1:n−1に内分する位置から、2:n−2,…,n−1:1に内分する撮像位置から撮像される中間画像II k (l),l=1,2,…, Here, the image divided from the left, respectively n-1 in the horizontal direction in the region of the overlap, the image pickup position T k and the imaging position T k + 1 1: from a position which internally divides the n-1, 2: n-2, ..., n- 1: the intermediate image II k imaged from the imaging position which internally divides 1 (l), l = 1,2 , ...,
n−1を以下の方法で作成する。 The n-1 to create in the following way.

【0042】撮像位置T kと撮像位置T k+1をl:n−l [0042] an imaging position T k and the imaging position T k + 1 l: n- l
に内分する位置での中間画像生成における中間画像の作成方法を示す。 It shows how to create an intermediate image in the intermediate image generation at a position which internally divides. 視差抽出処理部107で求めた画像I Image I obtained by the disparity extracting unit 107
(k)と画像I(k+1)の画像間のずれずれ量を、各画素、或いは領域毎に、RAM112から読み出す。 The deviation amount of deviation between the images of the (k) and image I (k + 1), each pixel, or for each region is read from the RAM 112.

【0043】図7(A)及び図7(B)に示すように画像I(k)の画像I(k+1)とのオーバーラップ領域R1(rx0,ry0)−(rx1,ry1)内の任意の点をP1とし、点P1の座標を(x1,y1)、点P1での輝度値をD [0043] FIG. 7 (A) and FIG. 7 overlap area between the image I of the image I (k) as shown in (B) (k + 1) R1 (rx0, ry0) - (rx1, ry1) in any of the point and P1, the coordinates of the point P1 (x1, y1), the luminance value at the point P1 D
(P1)、点P1でのずれ量をM(P1)(図7(A) (P1), the shift amount at the point P1 M (P1) (FIG. 7 (A)
の矢印)とし、画像I(k+1)の画像I(k)とのオーバーラップ領域R2(rx2,ry2)−(rx3,ry3)内の任意の点をP2とし、点P2の座標を(x2,y2)、点P And arrows) and the overlap region of the image I (k) of the image I (k + 1) R2 (rx2, ry2) - (rx3, any point of the P2 in ry3), the coordinates of the point P2 (x2, y2), a point P
2での輝度値をD(P2)、点P2でのずれ量をM(P The luminance value at 2 D (P2), the shift amount at the point P2 M (P
2)(図7(B)の矢印)とする。 2) the arrow (FIG. 7 (B)).

【0044】まず画像I(k)を基準にした中間画像I [0044] First intermediate image I that image I (k) is a reference
k (l)図7(C)を作成する。 Creating a I k (l) FIG. 7 (C). オーバーラップ領域R1内の各点P1(x,y),rx0≦x≦rx1,ry0≦y Each point within the overlap region R1 P1 (x, y), rx0 ≦ x ≦ rx1, ry0 ≦ y
≦ry1に対し、中間画像II k (l)上の点(x+M(P ≦ respect ry1, points on the intermediate image II k (l) (x + M (P
1)*l/n−rx0,y−ry0)の輝度値をD(P1)とする。 1) * l / n-rx0, the luminance value of the y-ry0) and D (P1).

【0045】画像I(k)のみで中間画像II k (l) The image I (k) only the intermediate image II k (l)
を作成した場合、画素毎の視差の違いによるずれ量の違いにより、中間画像のある部分では、複数の画素の輝度値が書き込まれることになったり、図7(C)の黒画素部分のような未定義画素が生じる場合がある。 When you create a, the difference in shift amount due to a difference in parallax for each pixel, a portion of the intermediate image, or become the luminance values ​​of a plurality of pixels are written, as the black pixel portion of FIG. 7 (C) sometimes undefined pixels such occurs. 中間画像の生成中、輝度値が既に書き込まれている場合には、ずれ量M(P1)の大きい画素の輝度値を優先する。 During the generation of the intermediate image, if the brightness value has already been written, priority is given to the luminance value of the pixel having a large displacement amount M (P1). なぜならば、ずれ量M(P1)が大きければ大きいほどカメラに近い物体であり、それより奥の物体や背景の輝度値が来るのは不自然だからである。 The reason, is an object close to the camera the larger the deviation amount M (P1), is because it is unnatural than the luminance value of the back of the object and the background it comes.

【0046】また、未定義画素については、以下のように画像I(k+1)から作成した中間画像II [0046] Also, the undefined pixel, the intermediate image II created from picture image I (k + 1) as follows
k+1 (l)でそれを補間する。 interpolating it with k + 1 (l).

【0047】中間画像II k (l)の作成と同様に画像I(k+1)を基準にした中間画像II k '(l)図7 The intermediate image and the intermediate image II k (l) creation as well as picture image I (k + 1) on the basis II k '(l) 7
(D)を作成する。 To create a (D).

【0048】オーバーラップ領域R2内の各点P2 [0048] Each point of the overlap region in the R2 P2
(x,y),rx2≦x≦rx3,ry2≦y≦ry3に対し、中間画像II k '(l)上の点(x+M(P2)*(n− (X, y), with respect to rx2 ≦ x ≦ rx3, ry2 ≦ y ≦ ry3, the intermediate image II k '(l) on the point (x + M (P2) * (n-
l)/n−rx0,y−ry0)の輝度値をD(P2)とする。 The luminance value of l) / n-rx0, y-ry0) and D (P2). ただし、先に述べたように輝度値が既に書き込まれている場合には、ずれ量M(P1)の大きい画素の輝度値を優先する。 However, when the luminance value as mentioned above has already been written, priority is given to the luminance value of the pixel having a large displacement amount M (P1). その後、画像I(k+1)とその画素毎のずれ量から作成したII k '(l)を用いて、画像I Thereafter, picture image I (k + 1) and II k created from the deviation amount of the each pixel 'using (l), the image I
(k)とその画素毎のずれ量から作成したII k (l) (K) and II k created from the deviation amount of the each pixel (l)
における未定義画素について、対応するII k '(l)の画素により補間する。 For undefined pixels in, interpolated by the pixel of the corresponding II k '(l).

【0049】最後に、中間画像に輝度値が書き込まれていない箇所が存在した場合には、周囲の書き込まれている輝度値により補間を行なう。 [0049] Finally, when the portion where no luminance value is written to the intermediate image exists, the interpolation by the luminance values ​​written the surrounding. 図14は補間の様子を示したものである。 Figure 14 shows the state of interpolation. 1つ1つの四角が1つの画素にあたり、中心に丸印の入ったものが未定義の画素である。 One single square Upon one pixel is undefined pixel objects containing circle centered.
今、太線で囲まれた未定義画素の輝度値を、太い破線で囲まれた8近傍の内、既に定義されている画素、図14 Now, the luminance values ​​of the undefined pixels surrounded by a bold line, among the 8 neighborhood surrounded by a thick broken line, the pixels that have already been defined, FIG. 14
中では、中心に三角の印が入った画素の平均とする。 In medium, the average of the pixel that contains the triangle mark at the center. 以上の操作を未定義画素全てについて繰り返す。 Repeated for the undefined pixels all above operations. もし、8 If, 8
近傍の画素が全て未定義ならば、他の未定義画素の補間が終わった後、再度補間操作を行ない、未定義画素がなくなるまで繰り返す。 If neighboring pixels are all undefined, after the end of the interpolation of other undefined pixels, it performs interpolation operation is repeated again until the undefined pixel is eliminated.

【0050】また、8近傍の既に定義されている画素の数が多い未定義画素から補間を行なえば、より品質の良い補間画像が得られる。 [0050] Further, by performing an interpolation from the previously undefined pixel having a large number of pixels that are defined in the eight neighboring, better quality interpolated image is obtained. 以上で中間画像II k (l)は生成されるが、合成に用いる領域は(dx*(l−1), The area intermediate image II k (l) is produced, used for the synthesis above (dx * (l-1) ,
0)−(dx*l,(ry1−ry0))である。 0) - (dx * l, (ry1-ry0) a). そのため、その部分のみをフレームメモリ102に書き込み、画像I Therefore, write only that portion to the frame memory 102, the image I
(k)と画像I(k+1)とのオーバーラップ領域でのl:n−lの中間画像生成を終える。 l of the overlap region of (k) and image I (k + 1): terminate an intermediate image generation of n-l.

【0051】l=1,…,9までの前記中間画像作成処理を行なったら、RAM112に作成した中間画像の枚数を所定アドレスに書き込み、カウンタkを1増やし、 [0051] l = 1, ..., Then proceed the intermediate image creating process to 9, writes the number of the intermediate image created in the RAM112 at a predetermined address, the counter k is incremented by 1,
カウンタkと画像枚数とを比較する。 Comparing the counter k and the number of images. カウンタkが画像枚数より小ならば、更新したカウンタに相当する画像に対する前記中間画像処理を行なう。 If the counter k is smaller than the number of images, it performs the intermediate image processing on the image corresponding to the updated counter. カウンタkが画像枚数と等しいならば、中間画像生成処理部108は、タイミング制御部111に対して中間画像生成処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is equal to the number of images, the intermediate image generation processing unit 108 terminates the process by sending a termination signal for notifying the completion of the intermediate image generation processing to the timing control unit 111.

【0052】タイミング制御部111は、中間画像生成処理部109からの終了信号を受信すると、画像合成処理部109へ開始信号を送信し、画像合成処理部109 [0052] The timing controller 111 receives the completion signal from the intermediate image generation processing unit 109 transmits a start signal to the image synthesis processing unit 109, an image synthesis processing unit 109
からの終了信号を受けるまで待ち状態に入る。 A wait state until it receives a termination signal from entering.

【0053】画像合成処理部109は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1にセットする。 [0053] Image composition processing unit 109 receives the start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, and sets the counter k to 1. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の画像I Then read the address of the frame memory 102 of the image corresponding to the counter k from RAM 112, the image I in the frame memory 102 from the address
(k)を読み出す。 Read the (k).

【0054】カウンタkが1の場合には、画像I(k) [0054] If the counter k is 1, the image I (k)
をフレームメモリ102の出力画像領域の所定位置に書き込む。 The writing in a predetermined position of the output image area of ​​the frame memory 102.

【0055】カウンタkが1より大きい場合には、画像I(k−1)とのずれ量M(k)をRAM112から呼び出す。 [0055] If the counter k is greater than 1, it calls shift amount between the image I (k-1) M (k) of the RAM 112. 画像I(k−1)とのオーバラップ領域R k (r Overlap region R k (r between the image I (k-1)
x0,ry0)−(rx1,ry1)を計算する。 x0, ry0) - (rx1, ry1) is calculated. また、中間画像生成処理部108で作成した画像I(k−1)と画像I The image created by the intermediate image generation processing unit 108 I (k-1) and the image I
(k)に対する中間画像枚数nをRAM112から呼び出す。 Call the intermediate image number n from RAM112 for (k). 中間画像II k (i),i=1,…,nの張り付け位置をP iとした場合、位置P iは、 Intermediate image II k (i), i = 1, ..., if the stuck position of n was P i, the position P i is

【0056】 [0056]

【数4】 [Number 4]

【0057】で計算出来、中間画像II k (i),i= [0057] can be calculated, the intermediate image II k (i), i =
1,…,nを合成画像メモリ位置P iにコピーする。 1, ..., copies the n in the composite image memory position P i. 次に、位置(Σ k i=1 M(i)+rx1,ry1)以降に画像I Then, the position (Σ k i = 1 M ( i) + rx1, ry1) subsequent to the image I
(k)のx座標rx1の右以降の部分をコピーする(図8 (K) to copy right remainder of x-coordinate rx1 (Figure 8
(ホ)、(ヘ)を参照)。 (E), see (f)).

【0058】以上の処理が終わったら、カウンタkを1 [0058] When you have finished the above process, the counter k 1
増やし、カウンタkと画像枚数とを比較する。 Increase compares the counter k and the number of images. カウンタkが画像枚数以下ならば、更新した画像I(k)に対する前記処理を続けて行なう。 If the counter k is the number of images following, continue the processing for the updated image I (k). カウンタkが画像枚数より大ならば、画像合成処理部109は、タイミング制御部111に対して画像合成処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is larger than the number of images, the image synthesis processing unit 109 ends the transmission and process completion signal notifying the completion of image combining processing to the timing control unit 111.

【0059】タイミング制御部111は、画像合成処理部109からの終了信号を受信すると、画像出力処理部110へ開始信号を送信し、画像出力処理部110からの終了信号を受けるまで待ち状態に入る。 [0059] The timing controller 111 receives the completion signal from the image synthesis processing unit 109 transmits a start signal to the image output processing unit 110 enters a wait state until it receives an end signal from the image output processing unit 110 . 画像出力処理部110は、タイミング制御部111からの開始信号を受けとると、RAM112からフレームメモリ102内の出力画像アドレスを読み出す。 Image output processing unit 110, upon receiving the start signal from the timing control unit 111 reads the output image address in the frame memory 102 from the RAM 112. 次に、画像出力装置1 Next, the image output device 1
03へ画像出力を開始するための開始信号を送り、出力画像信号をフレームメモリ102から順次読み出し、画像出力装置103に出力する。 03 sends a start signal for starting an image output to sequentially reads out and outputs to the image output apparatus 103 an output image signal from the frame memory 102. 出力画像を画像出力装置103から出力し終わると、画像出力処理部110は、 When finished outputting an output image from the image output apparatus 103, the image output processing unit 110,
タイミング制御部111に対して画像出力処理の終了を通知する終了信号を送信して処理を終了する。 It terminates the transmission and process completion signal notifying the completion of the image output processing to the timing control unit 111.

【0060】タイミング制御部111は、画像出力処理部110からの終了信号を受信すると全てを終了する。 [0060] The timing control unit 111 terminates all receives the end signal from the image output processing section 110.

【0061】以上の一連の処理の流れにより、2つの画像のオーバーラップ内の被写体間の視差の違いは、中間画像の作成により、軽減され、出来上がった合成画像は、視差の違いが存在した部分においても従来のように、ずれたり、2重になって合成されたりすることが、 [0061] Through a series of the processing flow described above, the difference in parallax between subject within the overlap of the two images, the creation of an intermediate image, is reduced, resulting composite image, the parallax difference exists portion also as in the prior art, the deviation or, that becomes doubly or synthesized in,
なくなる。 No. 当然のことながら、中間画像の作成数、つまり、オーバーラップ内の分割数を多くすることで、より自然なパノラマ画像が得られる。 Of course, the number create intermediate images, that is, by increasing the division number in the overlap, more natural panorama image can be obtained. また、本発明の請求項1に係る実施形態において、視差によりずれ量の違う被写体を同一幅のオーバーラップで合成するため、カメラに近いものはより幅が狭く合成され、遠いものは幅広に合成される。 Further, in the embodiment according to claim 1 of the present invention, for synthesizing the object with different shift amount in the overlap of the same width by parallax, close to the camera more width is narrowed synthesized distant ones wider synthesized It is. カメラに近い部分を自然にしたい場合は、 If you want to a part close to the camera in nature,
画像視差抽出処理部107において、カメラに近い物体のずれ量を基準値として、全体のずれ量を補正すれば良い。 The image disparity extracting unit 107, as a reference value the amount of deviation of an object close to the camera, may be corrected total shift amount. また、カメラに遠い部分を自然にしたい場合は、画像視差抽出処理部107において、カメラに遠い物体のずれ量を基準値として、全体のずれ量を補正すれば良い。 Also, if you want a portion distant to the camera naturally, the image parallax extraction processing section 107, as a reference value the amount of deviation of distant objects in the camera, may be corrected total shift amount.

【0062】以上、ここで挙げた実施例は本発明の請求項1に係る実施形態の一例であり、本発明の主旨を変えない限り、本実施例の内容に限定されるものではない。 [0062] above, examples mentioned here is an example of embodiment according to claim 1 of the present invention, as long as they do not materially alter the gist of the present invention, but is not limited to the contents of this embodiment.

【0063】図2は、本発明の請求項2に係る実施形態の一実施例を示すブロック図である。 [0063] Figure 2 is a block diagram showing an example of an embodiment according to claim 2 of the present invention.

【0064】101は画像入力装置、102はフレームメモリ、103は画像出力装置、104は画像入力処理部、105は画像前処理部、106は画像位置計算部、 [0064] 101 is an image input device, 102 denotes a frame memory, 103 is an image output device, 104 an image input processing unit, 105 image preprocessing unit, 106 image position calculating unit,
107'は画像視差抽出処理部、108'は接合線決定処理部、109'は画像合成処理部、110は画像出力処理部、111はタイミング制御部、112はRAMである。 107 'is the image parallax extraction processing section, 108' joint line determining unit, 109 'an image synthesis processing unit, 110 is an image output processing unit, 111 is a timing controller, 112 is a RAM.

【0065】図11は、本発明の請求項2に係る実施形態の処理の手順を示す図である。 [0065] Figure 11 is a diagram illustrating a processing procedure of the embodiment of the second aspect of the present invention.

【0066】以下、図2を用いて本発明の請求項2に係る実施形態に関する内容を説明する。 [0066] Hereinafter, describing the contents of an embodiment according to claim 2 of the present invention with reference to FIG.

【0067】画像入力処理部104、画像前処理部10 [0067] The image input processing unit 104, image pre-processing unit 10
5、画像位置計算部106の各機能と、画像位置計算部106までの処理は、本発明の請求項1に係る実施形態と同じ処理を行なうので、詳細は省略する。 5, each function of the image position calculating unit 106, processing up to the image position calculating unit 106, because the same process as the embodiment according to claim 1 of the present invention, details are omitted.

【0068】タイミング制御部111は、画像位置計算部106からの終了信号を受信すると、画像視差抽出処理部107'へ開始信号を送信し、画像視差抽出処理部107'からの終了信号を受けるまで待ち状態に入る。 [0068] The timing controller 111 receives the completion signal from the image position calculation unit 106, 'then sends a start signal to the image parallax sampling and processing unit 107' image parallax extraction processing unit 107 until receiving an end signal from the enter the wait state.

【0069】画像視差抽出処理部107'は、タイミング制御部111から開始信号を受けると、RAM112 [0069] Image parallax extraction processing unit 107 'receives a start signal from the timing control unit 111, RAM 112
から処理すべき画像枚数を読み出し記憶し、カウンタk It reads and stores the number of images to be processed from the counter k
を1にセットする。 A is set to 1. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の画像I(k)を読み出す。 Then read the address of the frame memory 102 of the image corresponding to the counter k from RAM 112, reads out the image I (k) in the frame memory 102 from the address. さらに、その画像に隣接する(カウンタk+1に対応する)画像I(k+1)を読み出す。 Further, it reads out adjacent to the image (corresponding to the counter k + 1) image I (k + 1). その後、画像位置計算部106で求めた平行移動量をRAM112より読み出し、画像I(k)のオーバラップ領域、画像I(k+1)のオーバーラップ領域をそれぞれ求める。 Then, seek read the amount of translation calculated by the image position calculation unit 106 from the RAM 112, the overlap area of ​​the image I (k), the overlap area of ​​the picture image I (k + 1), respectively.

【0070】そして、画像I(k)のオーバーラップ部分を分割し、それぞれを参照領域とし、画像I(k+ [0070] Then, by dividing the overlapping portion of the image I (k), and respectively the reference area, image I (k +
1)から対応する位置をパターンマッチングの手法を用いて探索する。 Searching using a technique corresponding position pattern matching from 1). この際、探索を行なうのは視差による画像間のずれであるので、探索は横方向のみから行なえば良い。 At this time, since the carry out search is the displacement between the images by parallax, the search may be performed only from the lateral direction. このずれ量は視差による物体の見かけ上の動き量であり、それは奥行きに起因しているため、ずれの方向や、ずれ量から、参照領域内の物体の奥行きが推定出来る。 This shift amount is the amount of movement of the object apparent by parallax, because it is due to the depth, and direction of the deviation, from the deviation amount, the depth of the object in the reference area can be estimated. また、ある距離の点を一致させた場合、同一幅のオーバーラップ内でも、視差の関係上、ある点よりカメラに近い物体ほど左側へのずれ量が大きく、ある点よりカメラから遠いほど右側へのずれ量が大きくなる。 Also, when the match point of a certain distance, even in the overlap of the same width, the relationship between parallax, large displacement amount to the left as the object is close to a camera from the point, the farther from the camera than a point right the amount of deviation becomes larger.

【0071】ここで、求めた領域、或いは画素の中で、 [0071] In this case, the determined area, or in pixels,
最も奥行きのあるものを求め、つまり、左方向を正とした場合、最も小さいずれ量を持つ領域と、そこにおけるずれ量を各領域、或いは画素間の距離から引き、画像位置計算部106で求めた平行移動量に加えることで、画像のずれを画像内部で最も奥行きのある部分を基準のずれとする。 Most depth determined what, that is, when the left direction is positive, pulling the region with the smallest shift amount, a shift amount in which the distance between the respective regions, or pixel, determined by the image position calculation unit 106 It was by adding the translation amount, the most depth of partial misalignment of the images within the image and the deviation of the reference. それに伴いRAM112内の平行移動量、オーバーラップ領域内の各ずれ量も補正しておく。 Translation amount in RAM112 with it, the shift amount of the overlap region should be corrected. 同様にして、画像I(k+1)を参照側、画像I(k)を探索側として視差抽出を行なう。 Similarly, referencing the image I (k + 1), performs the parallax extracted image I a (k) as the search side. 画像I(k+1)の視差抽出結果も同様にRAM112に格納しておく。 Parallax extraction result of the picture image I (k + 1) is stored similarly in the RAM112 also.

【0072】画像I(k)、画像I(k+1)の視差抽出処理が終わったら、カウンタkを1増やし、カウンタkと画像枚数とを比較する。 [0072] Image I (k), When parallax extraction process picture image I (k + 1) is completed, the counter k is incremented by 1, and compares the counter k and the number of images. カウンタkが画像枚数より小ならば、画像I(k)、画像I(k+1)に対する視差抽出処理を行なう。 If the counter k is smaller than the number of images, the image I (k), performing parallax extraction processing on the image I (k + 1). カウンタkが画像枚数以上ならば、画像視差抽出処理部107'は、タイミング制御部111に対して画像視差抽出処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is the number of images or image disparity extracting unit 107 'completes the transmission and process completion signal notifying the completion of image parallax sampling and processing the timing control unit 111.

【0073】タイミング制御部111は、画像視差抽出処理部107'からの終了信号を受信すると、接合線決定処理部108'へ開始信号を送信し、接合線決定処理部108'からの終了信号を受けるまで待ち状態に入る。 [0073] The timing controller 111 'receives the end signal from, joint line determining section 108' image disparity extracting unit 107 sends a start signal to the end signal from the joint line determining section 108 ' enter the wait state to receive.

【0074】接合線決定処理部108'は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1にセットする。 [0074] joint line determination processing unit 108 'receives a start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, and sets the counter k to 1. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の画像I Then read the address of the frame memory 102 of the image corresponding to the counter k from RAM 112, the image I in the frame memory 102 from the address
(k)を読み出す。 Read the (k). さらに、その画像に隣接する(カウンタk+1に対応する)画像I(k+1)を読み出す。 Further, it reads out adjacent to the image (corresponding to the counter k + 1) image I (k + 1).
その後、画像視差抽出処理部107'で求めた画像I Thereafter, the image I obtained by the image parallax sampling and processing unit 107 '
(k)、画像I(k+1)の視差量をRAM112より読み出す。 (K), the parallax amount of the picture image I (k + 1) is read out from the RAM 112.

【0075】ここで請求項2、3、4における画像I [0075] Image I in claim 2, 3, 4, where
(k)からの接合線を求める方法を各々図11、12、 Each diagram 11,12 a method for determining a joint line from (k),
13を用いて説明する。 It will be described with reference to the 13. 画像視差抽出処理部107'により、画像I(k)(図11(a))と画像I(k+ The image disparity extracting unit 107 ', image I (k) (FIG. 11 (a)) and the image I (k +
1)(図11(b))から求めた画像I(k)に対する視差画像(図11(c))から、画像右端からみて画像の視差がより大きくなるように変化する点、つまり下式を満たす点を抽出する。 1) from (parallax image for k) (FIG. 11 (c) (FIG. 11 (b)) the image I obtained from) that changes as the parallax of the image becomes larger when viewed from the image right end, that is the formula to extract a point to meet.

【0076】 [0076]

【数5】 [Number 5]

【0077】ここで、E(x,y)は画像の座標(x, [0077] Here, E (x, y) coordinates of the image (x,
y)における視差の量、Thresholdは適当な閾値である。 The amount of parallax at y), Threshold is a suitable threshold. 図11(e)における画像内の白い丸印に当たる。 Figure 11 corresponds to the white circles in the image in (e).
これらの点列は、被写体の右側の輪郭線を示し、画像I Column These points indicate the right of the contour line of the object, the image I
(k+1)上において対応する位置の左側では、画像I (K + 1) at the left side of the corresponding position in the image I
(k)の見えていない部分が見えていることになり、これらの点付近の、特に左側では、画像I(k)、I(k Visible not part of (k) will be the visible, near these points, especially in the left, the image I (k), I (k
+1)の間の差が大きい。 The difference between the +1) is large. また、これらの点の右側付近においては、両方の画像で同じものが見えているため、 Also, since in the right vicinity of these points, the same in both images are visible,
画像I(k)、I(k+1)の差は小さいことになる。 Image I (k), the difference of I (k + 1) becomes small things.

【0078】請求項2における接合線の抽出方法は、以上を考慮して、求めた視差変化の大きい点列から、なるべく同一の視差をもつ点を抽出し、つまり、カメラに近く、同一の物体の輪郭線を抽出し、それを接合線とする方法である。 [0078] The extraction method of joint line in claim 2, in consideration of the above, from a large sequence of points parallax variation obtained, extracted points as possible with the same parallax, that is, close to the camera, the same object and the extracted contour line, a way to do it and the bonding wire. また、図11(e)のように上下にそれらの視差変化の大きい箇所がない場合はそれらに、最も近い輪郭線の端から画像の上端又は、下端に下ろした線を接合線とする。 Also, if there is no vertical large portion of their parallax changes as shown in FIG. 11 (e) in their upper end of the image from the edge of the nearest contour or to a line drawn at the lower end and the bonding wire.

【0079】請求項3における接合線の抽出方法は、同様に求めた視差変化の大きい点列で、オーバーラップ領域内でのある閾値Thresholdを越える最もオーバーラップ領域側の画像端に近い点列、つまりここでは最も右側の点列を結ぶ線を接合線L(k)とする方法である(図12(i)を参照)。 [0079] The extraction method of joint line in claim 3, likewise a large sequence of points parallax changes found, most overlap region side point sequence near the image edge of exceeding a certain threshold value Threshold in the overlap region, that here a method for the line connecting the point sequence rightmost and joint line L (k) (see Figure 12 (i)).

【0080】請求項4における接合線の抽出方法は、以下の通りである。 [0080] The extraction method of joint line in claim 4 is as follows. 前記請求項2及び請求項3における接合線の抽出方法は、画像I(k+1)を基準にして、左から右への視差変化の大きい点列を求めることにより、 The extraction method of the bonding wire in the claims 2 and 3, based on the image I (k + 1), by obtaining a large sequence of points parallax changes from left to right,
同様に適応出来る。 Similarly, adaptation can be. すなわち、2つの方法で画像I That is, the image I in two ways
(k)、画像I(k+1)から接合線を求めることにより、複数の接合線の候補が求められる。 (K), by obtaining the joint line from the image I (k + 1), a plurality of candidates for the joining line is determined. 閾値Threshold Threshold Threshold
の値を変更することで更に複数の接合線の候補が得られる。 Candidates further by changing the values ​​plurality of bonding lines is obtained. それらをL i (k),i=1,2,…とする(図1 They L i (k), i = 1,2, ... to (FIG. 1
3(I)、(II)を参照)。 3 (I), see (II)).

【0081】接合線候補L i (k),i=1,2,…で最も最適なのものは、以下の値が最も小さくなる接合線となる。 [0081] junction line candidate L i (k), i = 1,2, are ... the most optimal ones, the following value is a smallest joint line.

【0082】 [0082]

【数6】 [6]

【0083】ここで、Cは接合線L i (k)上の経路で、L i (k)(x,y)は画像I(k)における接合線L i (k)上の点(x,y)での輝度値(或いは、R [0083] Here, C is a path on the joint line L i (k), L i (k) (x, y) joint line in the image I (k) is L i (k) on the point (x, luminance value at y) (Alternatively, R
GBのそれぞれの値のベクトル)、L i '(k) Vector of each of the value of GB), L i '(k )
(x',y')は画像I(k+1)における接合線L i (X ', y') joint line in the image I (k + 1) L i
(k)上の画像I(k)における点(x,y)に対応する点(x',y')上での輝度値(或いは、RGBのそれぞれの値のベクトル)である。 (K) point in the image I (k) of the (x, y) point corresponding to (x ', y') is the luminance value on (or vector of the respective values ​​of RGB). 上式を最小にする接合線候補L i (k)を求め、それを接合線とする(図13 Seeking joint line candidate L i of the above equation to the minimum (k), to it a junction line (13
(III)を参照)。 (III) see). 以上のように求めた接合線L Joint line L calculated as above
(k)を、RAM112の所定アドレスに順次書き出して終了する。 A (k), and ends sequentially write to a predetermined address of the RAM112.

【0084】画像I(k)、画像I(k+1)の接合線決定処理が終わったら、カウンタkを1増やし、カウンタkと画像枚数とを比較する。 [0084] Image I (k), When joint line determining process picture image I (k + 1) is completed, the counter k is incremented by 1, and compares the counter k and the number of images. カウンタkが画像枚数より小ならば、画像I(k)、画像I(k+1)に対する接合線決定処理を行なう。 If the counter k is smaller than the number of images, the image I (k), performing joint line determination processing on the image I (k + 1). カウンタkが画像枚数以上ならば、接合線決定処理部108'は、タイミング制御部111に対して接合線決定処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is the number of images or more, the bonding wire determination processing unit 108 ', terminates the transmission and process completion signal notifying the completion of the joint line determining process with respect to the timing control unit 111.

【0085】タイミング制御部111は、接合線決定処理部108'からの終了信号を受信すると、画像合成処理部109'へ開始信号を送信し、画像合成処理部10 [0085] The timing controller 111 'receives the end signal from the image synthesis processing unit 109' joint line determining section 108 transmits a start signal to the image synthesis processing unit 10
9'からの終了信号を受けるまで待ち状態に入る。 It enters a wait state until it receives a termination signal from the 9 '.

【0086】画像合成処理部109'は、タイミング制御部111から開始信号を受けると、RAM112から処理すべき画像枚数を読み出し記憶し、カウンタkを1 [0086] Image composition processing unit 109 'receives a start signal from the timing control unit 111, reads and stores the number of images to be processed from the RAM 112, the counter k 1
にセットする。 It is set to. 次にカウンタkに対応した画像のフレームメモリ102内のアドレスをRAM112から読み出し、該アドレスからフレームメモリ102内の画像I Then read the address of the frame memory 102 of the image corresponding to the counter k from RAM 112, the image I in the frame memory 102 from the address
(k)を読み出す。 Read the (k). カウンタkが1の場合には、画像I If the counter k is 1, the image I
(k)をフレームメモリ102の出力画像領域の所定位置に書き込む。 (K) is written to a predetermined position of the output image area of ​​the frame memory 102.

【0087】カウンタkが1より大きい場合には、画像I(k−1)との平行移動量M(k)と接合線L(k− [0087] If the counter k is greater than 1, the image I (k-1) the amount of translation M joint line (k) and the L (k-
1)をRAM112から呼び出す。 Call 1) from RAM112.

【0088】画像I(k)をおく位置は、 [0088] put the image I (k) position,

【0089】 [0089]

【数7】 [Equation 7]

【0090】により得られる。 [0090] The obtained. また接合線も、P k-1だけずらした位置に補正する。 The joint line may be corrected to a position shifted by P k-1.

【0091】画像I(k)を合成メモリへコピーする際、以下の条件で行ない、画像を合成する。 [0091] When copying image I a (k) to the synthesis memory, carried out under the following conditions, to synthesize the image.

【0092】・接合線L k-1より左になる画素は書き込まない。 [0092] - the pixels are not written to be left from the joint line L k-1. ・接合線L k-1の右wドット分は濃度平滑によって画像I(k)とのスムージングを行なう。 · Right w dots bondline L k-1 performs smoothing the image I (k) by concentration smoothing. ・接合線L k-1の右wドット以降は画素をそのまま書き込む。 And joining line right w dot subsequent L k-1 writes the pixel as it is.

【0093】ここで、wは適当な定数値である。 [0093] In this case, w is an appropriate constant value. このw This w
ドットで濃度平滑を行なうことで、接合がより自然になる。 By performing density smoothing dot, bonding becomes more natural. 図11においては、図11(h)のようにマスクをかけ、濃度平滑化を行なう領域を設け、図11(g)との合成により、図11(i)のような合成画像を生成することになる。 In Figure 11, masked as shown in FIG. 11 (h), provided the area for concentration smoothing, by synthesis and FIG 11 (g), to produce a composite image as shown in FIG. 11 (i) become.

【0094】以上の処理が終わったら、カウンタkを1 [0094] When you have finished the above process, the counter k 1
増やし、カウンタkと画像枚数とを比較する。 Increase compares the counter k and the number of images. カウンタkが画像枚数以下ならば、更新した画像I(k)に対する前記処理を続けて行なう。 If the counter k is the number of images following, continue the processing for the updated image I (k). カウンタkが画像枚数より大ならば、画像合成処理部109'は、タイミング制御部111に対して画像合成処理の終了を通知する終了信号を送信して処理を終了する。 If the counter k is larger than the number of images, the image synthesis processing section 109 'completes the transmission and process completion signal notifying the completion of image combining processing to the timing control unit 111.

【0095】タイミング制御部111は、画像合成処理部109'からの終了信号を受信すると、画像出力処理部110へ開始信号を送信し、画像出力処理部110からの終了信号を受けるまで待ち状態に入る。 [0095] The timing controller 111 receives the completion signal from the image synthesis processing unit 109 ', and transmits a start signal to the image output processing unit 110, a wait state until it receives an end signal from the image output processing unit 110 enter.

【0096】画像出力処理部110は、タイミング制御部111からの開始信号を受けとると、RAM112からフレームメモリ102内の出力画像アドレスを読み出す。 [0096] The image output processing unit 110, upon receiving the start signal from the timing control unit 111 reads the output image address in the frame memory 102 from the RAM 112. 次に、画像出力装置103へ画像出力を開始するための開始信号を送り、出力画像信号をフレームメモリ1 Next, it sends a start signal for starting an image output to the image output apparatus 103, a frame memory 1 outputs image signals
02から順次読み出し、画像出力装置103に出力する。 Sequentially read out from the 02, and outputs to the image output apparatus 103. 出力画像を画像出力装置103から出力し終わると、画像出力処理部110は、タイミング制御部111 When finished outputting an output image from the image output apparatus 103, the image output processing unit 110, the timing control unit 111
に対して画像出力処理の終了を通知する終了信号を送信して処理を終了する。 It terminates the transmission and process completion signal notifying the completion of the image output processing to.

【0097】タイミング制御部111は、画像出力処理部110からの終了信号を受信することで全てを終了する。 [0097] The timing control unit 111 terminates all by receiving an end signal from the image output processing section 110.

【0098】以上の一連の処理の流れにより、2枚の画像のオーバーラップ領域内の視差の違いは、カメラに近い被写体ほど大きく、そこで合成が行なわれるとずれや、2重になる原因となるが、カメラに近い被写体での輪郭上に接合線を設けることにより、視差が大きく違う部分で接合することが少なくなり、接合画像は、従来よりも自然になり、品質が向上する。 [0098] Through a series of the processing flow described above, the difference in parallax in the overlap region of the two images, large enough subject close to the camera, so where the synthesis is performed misalignment or cause to be doubly but by providing a joint line on the contour at the object close to the camera, it is less to be joined at the portion where the parallax big difference, joining images than conventional will naturally improve the quality.

【0099】また、本発明の請求項2、3、4に係る実施形態では、画像中に動物体を含む画像であっても、視差抽出において、それが視差として現れるために、同様に高品質に接合が可能になる。 [0099] In the embodiment according to claim 2, 3, 4 of the present invention, even an image including a moving object in the image, the parallax extraction, because it appears as a disparity, similarly high quality junction is made possible. 以上、ここで挙げた実施例は本発明の請求項2、3、4に係る実施例の一例であり、本発明の主旨を変えない限り、実施例の内容に限定されるものではない。 Above, examples mentioned here is an example of embodiment according to claim 2, 3, 4 of the present invention, as long as they do not materially alter the gist of the present invention, not intended to be limited to the examples.

【0100】また、本発明のパノラマ画像作成装置において、一連のパノラマ画像を作成する処理を実現するプログラムは、フロッピーディスク、ハードディスク、磁気テープ、CD−ROM/光ディスク/光磁気ディスク、MD等のメディア、及びROM/RAMメモリ等の記録媒体に格納される以下の内容である。 [0100] Further, in the panoramic image producing apparatus of the present invention, a program for realizing the process of creating a series of panoramic images, a floppy disk, hard disk, magnetic tape, CD-ROM / disc / optical disk media such as MD , and the contents of the following to be stored in a recording medium such as a ROM / RAM memory.

【0101】格納されるプログラム内容の一例としては、複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影して得られた分割画像を、画像入力処理手段は撮像手段に対して指示して取り込みを行わせると共に、記憶手段に対して記憶先アドレスを指示して取り込まれた前記分割画像を記憶手段に記憶させ、画像位置計算手段には前記分割画像の合成位置を計算させ、視差情報抽出手段には隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から画像間の視差情報を抽出させ、中間画像作成手段には前記オーバーラップ領域内の視差を含んだ画像から複数の中間画像を作成させ、画像合成手段には前記分割画像からパノラマ画像を合成させ、その際、前記視差情報抽出 [0102] As an example of a program content to be stored, a plurality of image pickup means or the image pickup means and moving a plurality of times, the divided images obtained by photographing a part of the overlapped in the captured image, together with the image input processing unit to perform uptake instructs the imaging means, the divided image is stored in the storage means incorporated instructs the storage destination address to the storage unit, the image position calculating means the combined position of the divided image is calculated, and the disparity information extracting unit to extract a disparity information between the images from the divided images between the overlap including a parallax in the area image adjacent to the intermediate image creating unit wherein to create a plurality of intermediate images from an image including a parallax in the overlap region, the image synthesizing means to synthesize a panoramic image from the divided image, time, extracting the parallax information 段において前記オーバーラップ領域の画像のずれを補正すると共に、前記中間画像作成手段で作成した中間画像で補間してパノラマ画像を合成する動作を実行させるものである。 Together to correct the deviation of the image of the overlap region in the stage, it is intended to execute the operation for synthesizing a panoramic image by interpolating an intermediate image created in the intermediate image creating unit.

【0102】また、格納されるプログラム内容の別の一例としては、複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影して得られた分割画像を、画像入力処理手段は撮像手段に対して指示して取り込みを行わせると共に、 [0102] As another example of the program contents stored by a plurality of image pickup means or the image pickup means and moving a plurality of times, obtained by photographing a part of the overlapped captured image the divided images, the image input processing unit to perform uptake instructs the imaging means,
記憶手段に対して記憶先アドレスを指示して取り込まれた前記分割画像を記憶手段に記憶させ、画像位置計算手段には前記分割画像の合成位置を計算させ、視差情報抽出手段には隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から画像間の視差情報を抽出させ、接合線決定手段には前記視差情報抽出手段によって得られた奥行き情報に基づいて、前記オーバーラップ領域の画像の撮像手段に最も近い被写体の輪郭上に接合線を設定させ、画像合成手段には前記分割画像からパノラマ画像を合成させ、その際、前記視差情報抽出手段において前記オーバーラップ領域の画像のずれを補正すると共に、前記接合線決定手段によって求められた接合線に基づいて、分割画像を接合することでパノラマ画像を合成する動作を実行 The divided images captured by instructing the storage destination address to the storage means is stored in the storage means, the image position calculating means to calculate a composition position of the divided image, the adjacent the disparity information extracting unit to extract parallax information between images from overlapping containing parallax area image between divided images, the joining line determining means based on the depth information obtained by the disparity information extracting unit, of the overlap region to set a bonding wire to the nearest object on the contour to the imaging means of the image, the image synthesizing means to synthesize a panoramic image from the divided image, the deviation of this time, the overlap region of the image in the parallax information extracting means It is corrected, and based on the joint line determined by the joint line determining means, performing the operations for synthesizing a panoramic image by joining the divided images せるものである。 It is intended to.

【0103】尚、ここで挙げた内容例は本発明の請求項5、6に係る実施例の一例であり、本発明の主旨を変えない限り、上記内容に限定されるものではない。 [0103] The contents example given here is an example of embodiment according to claim 5, 6 of the present invention, as long as they do not materially alter the gist of the present invention, is not limited to the above disclosure.

【0104】以上、本発明におけるプログラムは、上記記録媒体を用いることで、パーソナルコンピュータ、携帯情報端末、カメラ一体型画像処理装置などの各種情報機器においても使用出来るものである。 [0104] above, the program of the present invention, by using the above recording medium, a personal computer, a portable information terminal, in which can be used in various information devices such as camera-integrated image processing apparatus.

【0105】 [0105]

【発明の効果】以上のように本発明のパノラマ画像作成装置では、各請求項において以下の効果が得られる。 Panoramic image creating apparatus of the present invention as described above, according to the present invention, the following effects can be obtained in each claim.

【0106】本発明の請求項1及び請求項5においては、被写体の奥行きに起因する視差を画像間のオーバラップ内で計算により求め、それをもとに画像の取られた位置を補間する中間画像を用いてオーバーラップ内の画像を補間することにより、被写体の奥行きによる視差がある場合においても、従来より自然なパノラマ画像が生成出来る効果が得られる。 [0106] In claims 1 and 5 of the present invention obtains by calculation the parallax due to the depth of the object in the overlap between images, to interpolate the position it was taken of the original to the image intermediate by interpolating the image within the overlap with the image, even when there is a disparity caused by the depth of the object, conventionally natural panorama image can be generated effect.

【0107】本発明の請求項2及び請求項6においては、被写体の奥行きに起因する視差や、動物体を画像間のオーバラップ内で計算により求め、それをもとに両画像間での物体の奥行きの差が大きい場所を含まないような画像のラインを接合ラインとして用いることにより、 [0107] In claims 2 and 6 of the present invention, the object of parallax and due to the depth of the object, determined by calculation a moving object in the overlap between images, in between the two images based on it by using the line of the image that does not contain a large difference location of depth as a joining line,
被写体の奥行きによる視差がある場合や、動物体を含む場合においても、従来より品質が良く、歪みの少ない自然なパノラマ画像が生成出来る効果が得られる。 And if there is a disparity caused by the depth of the object, even if it contains an animal body, than the quality is good conventional, less natural panorama image can be generated effect distortion can be obtained.

【0108】本発明の請求項3においては、近くの被写体が複雑な形状である場合など、前記請求項2の発明では、接合線がうまく求められない場合でも、比較的近い被写体の集合の輪郭で接合線を設けることで、品質が良く、歪みの少ない自然なパノラマ画像が生成出来る効果が得られる。 [0108] In claim 3 of the present invention, such as when near a subject is a complex shape, in the invention of claim 2, even when the bonding wire is not required well, a set of relatively close object contour in by providing the joint line, good quality, low natural panorama image can be generated effect distortion can be obtained.

【0109】本発明の請求項4においては、オーバーラップ内の被写体の位置によっては、前記請求項2及び請求項3の発明で、基準とする画像を常に1方向に固定してはうまくいかない場合があり、その場合、基準とする画像の選択と、前記請求項2及び請求項3の発明での接合線決定方法の組み合わせによって作成される複数の接合線の候補を選び出し、それらの中から、接合線上での画像間の差が最も小さくなる最適な接合線を選び出すことにより、より安定に品質が良く、歪みの少ない自然なパノラマ画像が生成出来る効果が得られる。 In [0109] Claim 4 of the present invention, the position of the subject in the overlap, the invention of claims 2 and 3, if the image to be a reference does not work always fixed in one direction There, in that case, I picked and the choice of images as a reference, the candidate of claim 2 and a plurality of bonding lines created by the combination of the joint line determining method of the present invention set forth in claim 3, among them, joining by picking the optimal bonding lines the difference between the images in line is minimized, more stable good quality, less natural panorama image can be generated effect distortion can be obtained.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の請求項1における実施形態の一実施例を説明するブロック図である。 1 is a block diagram illustrating an example of an embodiment in the first aspect of the present invention.

【図2】本発明の請求項2における実施形態の一実施例を説明するブロック図である。 2 is a block diagram illustrating an example of an embodiment in claim 2 of the present invention.

【図3】本発明の請求項1における実施形態でのRAM [Figure 3] RAM of the embodiment of the first aspect of the present invention
の一構成例を示した説明図である。 Examples of the configuration of an explanatory view showing the.

【図4】カメラの移動、或いは、複数のカメラによるオーバーラップ領域を持たせた画像撮影の様子を示した説明図である。 [4] The camera movement, or is an explanatory view showing how the image was no overlapping area by a plurality of cameras imaging.

【図5】図4で撮影された画像であって、奥行きの違いによってオーバーラップ内の画像が一致しないことを示した説明図である。 [5] A captured image in FIG. 4 is an explanatory view images in the overlap showed that do not match due to differences in depth.

【図6】視差抽出を行なうためのマッチングの様子を示した説明図である。 6 is an explanatory view showing how matching for performing parallax extraction.

【図7】中間画像の作成の様子を示した説明図である。 7 is an explanatory view showing how the creation of an intermediate image.

【図8】本発明の請求項1における実施形態の処理の手順を示した説明図である。 8 is an explanatory view showing a procedure of processing according to the embodiment of claim 1 of the present invention.

【図9】本発明の請求項1及び請求項2において画像位置を求める様子を示した説明図である。 9 is an explanatory view showing how to determine the image positions in claim 1 and claim 2 of the present invention.

【図10】画像間のマッチングのずれ量とカメラからの奥行きとの関係を示した説明図である。 10 is an explanatory view showing the relationship between the depth from the matching deviation amount and the camera between images.

【図11】本発明の請求項2における実施形態の処理の手順を示した説明図である。 11 is an explanatory view showing a procedure of processing according to the embodiment of the second aspect of the present invention.

【図12】本発明の請求項3における接合線の決定の様子を示した説明図である。 12 is an explanatory view showing how the determination of joint line in claim 3 of the present invention.

【図13】本発明の請求項4における接合線の決定の様子を示した説明図である。 13 is an explanatory view showing how the determination of joint line in claim 4 of the present invention.

【図14】未定義画素の周囲からの補間方法の様子を示した説明図である。 14 is an explanatory view showing how the interpolation method from the surrounding undefined pixel.

【符号の説明】 DESCRIPTION OF SYMBOLS

101 画像入力装置 102 フレームメモリ 103 画像出力装置 104 画像入力処理部 105 画像前処理部 106 画像位置計算部 107 画像視差抽出処理部 108 中間画像生成処理部 109 画像合成処理部 110 画像出力処理部 111 タイミング制御部 112 RAM 107' 画像視差抽出処理部 108' 接合線決定処理部 109' 画像合成処理部 101 image input device 102 frame memory 103 the image output apparatus 104 image input unit 105 image preprocessing unit 106 the image position calculating unit 107 image parallax extraction processing unit 108 intermediate image generation processing unit 109 image synthesis processing unit 110 an image output processing unit 111 timing control unit 112 RAM 107 'image disparity extracting unit 108' joint line determining section 109 'the image synthesis processing unit

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのパノラマ画像作成装置であって、 前記撮像手段と、 前記撮像手段から入力された分割画像を記憶する記憶手段と、 前記撮像手段に対して前記分割画像の取り込みを指示すると共に、前記記憶手段に対しては、前記取り込まれた分割画像の記憶先アドレスを指示する画像入力処理手段と、 前記分割画像の合成位置を計算する画像位置計算手段と、 隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から、画像間の視差情報を抽出する視差情報抽出手段と、 前記オーバーラップ領域内の視差を含んだ画像から複数の中間画像を作成す The method according to claim 1 a plurality of image pickup means or the image pickup means and moving a plurality of times, a part of the captured image captured by overlapping, by joining the divided images obtained for creating panoramic images a panoramic image producing apparatus, said image pickup means, storage means for storing the divided image input from the imaging unit, instructs the uptake of the divided images to the image pickup means, in said storage means is for an image input processing means for instructing the storage address of the captured image segment image position calculating means for calculating the combined position of the divided image, the overlap area between the divided images adjacent from an image including a parallax, to create a parallax information extracting means for extracting parallax information, a plurality of intermediate images from the containing parallax within the overlap region image between images る中間画像作成手段と、 前記分割画像からパノラマ画像を合成する画像合成手段とを備え、 前記オーバーラップ領域の画像のずれを前記視差情報抽出手段で補正すると共に、前記中間画像作成手段で作成した中間画像で補間してパノラマ画像を合成することを特徴とするパノラマ画像作成装置。 Comprising an intermediate image creating unit, and an image synthesizing means for synthesizing a panoramic image from the divided image that, the displacement of the image of the overlap region is corrected by the disparity information extracting unit, created in the intermediate image creating unit panoramic image creating apparatus characterized by synthesizing a panoramic image by interpolating an intermediate image.
  2. 【請求項2】 複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのパノラマ画像作成装置であって、 前記撮像手段と、 前記撮像手段から入力された分割画像を記憶する記憶手段と、 前記撮像手段に対して前記分割画像の取り込みを指示すると共に、前記記憶手段に対しては、前記取り込まれた分割画像の記憶先アドレスを指示する画像入力処理手段と、 前記分割画像の合成位置を計算する画像位置計算手段と、 隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から、画像間の視差情報を抽出する視差情報抽出手段と、 前記視差情報抽出手段によって得られた奥行き情報に基づいて、前記オーバ By wherein a plurality of image pickup means or the image pickup means and moving a plurality of times, a part of the captured image captured by overlapping, by joining the divided images obtained for creating panoramic images a panoramic image producing apparatus, said image pickup means, storage means for storing the divided image input from the imaging unit, instructs the uptake of the divided images to the image pickup means, in said storage means is for an image input processing means for instructing the storage address of the captured image segment image position calculating means for calculating the combined position of the divided image, the overlap area between the divided images adjacent from an image including a parallax, parallax information extracting means for extracting parallax information between images, based on the depth information obtained by the disparity information extracting unit, the over- ーラップ領域の画像の撮像手段に最も近い被写体の輪郭上に接合線を設定する接合線決定手段と、 前記分割画像からパノラマ画像を合成する画像合成手段とを備え、 前記オーバーラップ領域の画像のずれを前記視差情報抽出手段で補正すると共に、前記接合線決定手段によって求められた接合線に基づいて、分割画像を接合することを特徴とするパノラマ画像作成装置。 Comprising a joining line determining means for setting a joint line on the object contour closest to the imaging means of the image of Rappu region, and an image synthesizing means for synthesizing a panoramic image from the divided image, image shift of the overlap region It is corrected by the disparity information extracting means, based on the joint line determined by the joint line determining means, a panoramic image creating apparatus characterized by joining the divided images.
  3. 【請求項3】 請求項2記載のパノラマ画像作成装置において、 前記接合線決定手段は、前記オーバーラップ領域の画像の撮像手段に最も近い被写体のオーバーラップ領域側の画像端に最も近い輪郭に接合線を設定することを特徴とするパノラマ画像作成装置。 3. A panoramic image producing apparatus according to claim 2, wherein said joining line determining means, joined to the nearest contour overlap region side of the image edge closest object to the imaging means of the image of the overlap region panoramic image creating apparatus characterized by setting the line.
  4. 【請求項4】 請求項2又は、請求項3記載のパノラマ画像作成装置において、 前記接合線決定手段は、前記オーバーラップ領域内において、接合線決定時における基準画像の選択と、前記接合線決定方法の組み合わせによる複数の接合線の中から、最適な接合線を選出して分割画像を接合することを特徴とするパノラマ画像作成装置。 4. The method of claim 2 or, in the panoramic image creating apparatus according to claim 3, wherein the joining line determining means, in the overlap region, and the selection of the reference image at the time of bonding lines determined, determining the welding line from a plurality of bonding lines by a combination of methods, the panoramic image creating apparatus characterized by joining the divided image by selecting an optimum bonding lines.
  5. 【請求項5】 複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのプログラムであり、 画像入力処理手段は撮像手段に対して指示して分割画像の取り込みを行わせると共に、記憶手段に対して記憶先アドレスを指示して取り込まれた前記分割画像を記憶手段に記憶させ、 画像位置計算手段には前記分割画像の合成位置を計算させ、 視差情報抽出手段には隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から画像間の視差情報を抽出させ、 中間画像作成手段には前記オーバーラップ領域内の視差を含んだ画像から複数の中間画像を作成させ、 画像合成手段には前記分割画像からパノラマ画像を合 By wherein a plurality of image pickup means or the image pickup means and moving a plurality of times, a part of the captured image captured by overlapping, by joining the divided images obtained for creating panoramic images a program, the image input processing means causes the incorporation of the divided images and instructs the imaging means, the divided image captured by instructing the storage destination address to the storage means in the storage means storing is, in the image position calculating means to calculate a composition position of the divided image, to extract the disparity information between the images from the containing parallax within the overlap region between the divided images adjacent images in parallax information extracting means , the intermediate image creating unit to create a plurality of intermediate images parallax from an image including the said overlap area, if the panoramic image from the divided image in the image synthesizing means させ、 その際、前記視差情報抽出手段において前記オーバーラップ領域の画像のずれを補正すると共に、前記中間画像作成手段で作成した中間画像で補間してパノラマ画像を合成する動作を実行させるプログラムを格納した記録媒体。 Is allowed, whereby, while correcting the deviation of the image of the overlap region in the parallax information extracting means, storing a program for executing the operation for synthesizing a panoramic image by interpolating an intermediate image created in the intermediate image creating unit the recording medium.
  6. 【請求項6】 複数の撮像手段により、或いは、撮像手段を複数回移動して、撮像画像の一部をオーバーラップさせて撮影し、得られた分割画像をつなぎ合わせてパノラマ画像を作成するためのプログラムであり、 画像入力処理手段は撮像手段に対して指示して分割画像の取り込みを行わせると共に、記憶手段に対して記憶先アドレスを指示して取り込まれた前記分割画像を記憶手段に記憶させ、 画像位置計算手段には前記分割画像の合成位置を計算させ、 視差情報抽出手段には隣接する前記分割画像間のオーバーラップ領域内の視差を含んだ画像から画像間の視差情報を抽出させ、 接合線決定手段には前記視差情報抽出手段によって得られた奥行き情報に基づいて、前記オーバーラップ領域の画像の撮像手段に最も近い被写体の輪郭上に By 6. plurality of imaging means, or the image pickup means to move a plurality of times, a part of the captured image captured by overlapping, by joining the divided images obtained for creating panoramic images a program, the image input processing means causes the incorporation of the divided images and instructs the imaging means, the divided image captured by instructing the storage destination address to the storage means in the storage means storing is, in the image position calculating means to calculate a composition position of the divided image, to extract the disparity information between the images from the containing parallax within the overlap region between the divided images adjacent images in parallax information extracting means , the welding line determining means based on the depth information obtained by the disparity information extracting unit, the overlap on the image closest object contours imaging unit area 合線を設定させ、 画像合成手段には前記分割画像からパノラマ画像を合成させ、 その際、前記視差情報抽出手段において前記オーバーラップ領域の画像のずれを補正すると共に、前記接合線決定手段によって求められた接合線に基づいて、分割画像を接合することでパノラマ画像を合成する動作を実行させるプログラムを格納した記録媒体。 A slip line is set, the image synthesizing means to synthesize a panoramic image from the divided image, whereby, while correcting the deviation of the image of the overlap region in the parallax information extracting means, determined by the joint line determining means was based on the joint line, the recording medium storing a program for executing the operation for synthesizing a panoramic image by joining the divided images.
JP9269427A 1996-10-17 1997-10-02 Panorama image generator and recording medium Pending JPH10178564A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP27432696 1996-10-17
JP8-274326 1996-10-17
JP9269427A JPH10178564A (en) 1996-10-17 1997-10-02 Panorama image generator and recording medium

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP9269427A JPH10178564A (en) 1996-10-17 1997-10-02 Panorama image generator and recording medium
EP97117985A EP0837428B1 (en) 1996-10-17 1997-10-16 Picture image forming apparatus
DE69713243A DE69713243D1 (en) 1996-10-17 1997-10-16 Image forming apparatus
US08/951,713 US6005987A (en) 1996-10-17 1997-10-16 Picture image forming apparatus
DE69713243T DE69713243T2 (en) 1996-10-17 1997-10-16 Image forming apparatus

Publications (1)

Publication Number Publication Date
JPH10178564A true JPH10178564A (en) 1998-06-30

Family

ID=26548762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9269427A Pending JPH10178564A (en) 1996-10-17 1997-10-02 Panorama image generator and recording medium

Country Status (4)

Country Link
US (1) US6005987A (en)
EP (1) EP0837428B1 (en)
JP (1) JPH10178564A (en)
DE (2) DE69713243T2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587597B1 (en) 1999-01-21 2003-07-01 Nec Corporation Image input method, image input apparatus, and recording medium
JP2007104583A (en) * 2005-10-07 2007-04-19 Fujifilm Corp Photographing apparatus
US7324135B2 (en) 2002-10-15 2008-01-29 Seiko Epson Corporation Panoramic composition of multiple image data
JP2008252716A (en) * 2007-03-30 2008-10-16 Nikon Corp Imaging device
KR101030435B1 (en) 2009-08-07 2011-04-20 포항공과대학교 산학협력단 Method of generating mosaic image in realtime using images on which parallax and moving object exist
KR101065339B1 (en) 2008-07-02 2011-09-16 삼성전자주식회사 Portable terminal and method for taking divide shot thereamong
JP2012182582A (en) * 2011-02-28 2012-09-20 Olympus Imaging Corp Imaging apparatus
CN102694972A (en) * 2011-03-24 2012-09-26 卡西欧计算机株式会社 Device and method including function for reconstituting image
JP2013183353A (en) * 2012-03-02 2013-09-12 Toshiba Corp Image processor
JP2014149798A (en) * 2013-02-04 2014-08-21 Casio Comput Co Ltd Image processor, imaging device, imaging processing method and program
CN104255026A (en) * 2012-05-11 2014-12-31 索尼公司 The image processing apparatus and an image processing method
US9652856B2 (en) 2014-08-12 2017-05-16 Ricoh Company, Ltd. Image processing system, image processing apparatus, and image capturing system
JP2018142963A (en) * 2018-03-27 2018-09-13 パナソニックIpマネジメント株式会社 Image processing system, image processing device, and image processing method

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1221488A (en) 1996-05-10 1999-06-30 应用科学模拟公司 Luminance-priority color sensor
US6069714A (en) 1996-12-05 2000-05-30 Applied Science Fiction, Inc. Method and apparatus for reducing noise in electronic film development
US6442301B1 (en) 1997-01-06 2002-08-27 Applied Science Fiction, Inc. Apparatus and method for defect channel nulling
US6017688A (en) 1997-01-30 2000-01-25 Applied Science Fiction, Inc. System and method for latent film recovery in electronic film development
US6380539B1 (en) 1997-01-30 2002-04-30 Applied Science Fiction, Inc. Four color trilinear CCD scanning
JPH114398A (en) * 1997-06-11 1999-01-06 Hitachi Ltd Digital wide camera
US6215914B1 (en) * 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
US6611629B2 (en) * 1997-11-03 2003-08-26 Intel Corporation Correcting correlation errors in a composite image
DE19855885A1 (en) * 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Image processing method for digital photographic copier providing photographic prints
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
JPH11205648A (en) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd Image synthesizing device
JP2002503066A (en) 1998-02-04 2002-01-29 アプライド、サイエンス、フィクション、インコーポレーテッド Multiple linear array sensor having an infrared line
DE69903030T2 (en) 1998-02-23 2003-07-31 Applied Science Fiction Inc Progressive area-scanning-in electronic film development
EP1062636A1 (en) 1998-03-13 2000-12-27 Applied Science Fiction, Inc. Image defect correction method
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
US6674485B2 (en) 1998-08-31 2004-01-06 Hitachi Software Engineering Co., Ltd. Apparatus and method for image compositing
US6384936B1 (en) * 1998-10-26 2002-05-07 Hewlett-Packard Company Printer effort reduction through caching and reduction
US6594041B1 (en) 1998-11-20 2003-07-15 Applied Science Fiction, Inc. Log time processing and stitching system
US6437358B1 (en) 1999-02-04 2002-08-20 Applied Science Fiction, Inc. Apparatus and methods for capturing defect data
US6404516B1 (en) 1999-02-22 2002-06-11 Applied Science Fiction, Inc. Parametric image stitching
US6781620B1 (en) 1999-03-16 2004-08-24 Eastman Kodak Company Mixed-element stitching and noise reduction system
TW495389B (en) 1999-06-29 2002-07-21 Applied Science Fiction Inc Slot coater device for applying developer to film for electronic film development
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
EP1232418B1 (en) 1999-08-17 2004-10-13 Eastman Kodak Company Method and system for using calibration patches in electronic film processing
AT450840T (en) * 1999-08-20 2009-12-15 Yissum Res Dev Co System and method for correcting a recorded image by a mobile camera mosaikaehnlichen
CN1375161A (en) 1999-09-16 2002-10-16 应用科学小说公司 Method and system for altering defects in a digital image
US6498867B1 (en) 1999-10-08 2002-12-24 Applied Science Fiction Inc. Method and apparatus for differential illumination image-capturing and defect handling
AU1962701A (en) 1999-10-08 2001-04-23 Applied Science Fiction, Inc. System and method for correcting defects in digital images through selective fill-in from surrounding areas
US6924911B1 (en) 1999-10-12 2005-08-02 Eastman Kodak Company Method and system for multi-sensor signal detection
US6711302B1 (en) 1999-10-20 2004-03-23 Eastman Kodak Company Method and system for altering defects in digital image
US6683995B2 (en) 1999-12-23 2004-01-27 Eastman Kodak Company Method and apparatus for correcting large defects in digital images
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US6704458B2 (en) 1999-12-29 2004-03-09 Eastman Kodak Company Method and apparatus for correcting heavily damaged images
US7164511B2 (en) * 1999-12-29 2007-01-16 Eastman Kodak Company Distinguishing positive and negative films system and method
US6788335B2 (en) 1999-12-30 2004-09-07 Eastman Kodak Company Pulsed illumination signal modulation control & adjustment method and system
US6554504B2 (en) 1999-12-30 2003-04-29 Applied Science Fiction, Inc. Distributed digital film processing system and method
US6813392B2 (en) 1999-12-30 2004-11-02 Eastman Kodak Company Method and apparatus for aligning multiple scans of the same area of a medium using mathematical correlation
US6720560B1 (en) 1999-12-30 2004-04-13 Eastman Kodak Company Method and apparatus for scanning images
US6447178B2 (en) 1999-12-30 2002-09-10 Applied Science Fiction, Inc. System, method, and apparatus for providing multiple extrusion widths
AU2743701A (en) 1999-12-30 2001-07-16 Applied Science Fiction, Inc. System and method for digital film development using visible light
JP2003519410A (en) 1999-12-30 2003-06-17 アプライド、サイエンス、フィクシャン、インク Improved systems and methods for developing a digital film using visible light
US6862117B1 (en) 1999-12-30 2005-03-01 Eastman Kodak Company Method and apparatus for reducing the effect of bleed-through on captured images
US6707557B2 (en) 1999-12-30 2004-03-16 Eastman Kodak Company Method and system for estimating sensor dark current drift and sensor/illumination non-uniformities
WO2001050197A1 (en) 1999-12-30 2001-07-12 Applied Science Fiction, Inc. System and method for digital color dye film processing
US6475711B1 (en) 1999-12-31 2002-11-05 Applied Science Fiction, Inc. Photographic element and digital film processing method using same
US6664034B2 (en) 1999-12-31 2003-12-16 Eastman Kodak Company Digital film processing method
WO2001057594A2 (en) 2000-02-03 2001-08-09 Applied Science Fiction Film processing solution cartridge and method for developing and digitizing film
US6619863B2 (en) 2000-02-03 2003-09-16 Eastman Kodak Company Method and system for capturing film images
AU3669401A (en) 2000-02-03 2001-12-17 Applied Science Fiction Method and system for self-service film processing
US6865289B1 (en) * 2000-02-07 2005-03-08 Canon Kabushiki Kaisha Detection and removal of image occlusion errors
US8407595B1 (en) 2000-02-11 2013-03-26 Sony Corporation Imaging service for automating the display of images
US7810037B1 (en) 2000-02-11 2010-10-05 Sony Corporation Online story collaboration
US7262778B1 (en) 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
EP1471482B1 (en) * 2000-02-29 2009-02-11 Panasonic Corporation Image pickup system and vehicle-mounted-type sensor system
US7343053B2 (en) 2001-06-27 2008-03-11 Microsoft Corporation Transform table for ink sizing and compression
US7397949B2 (en) 2000-06-21 2008-07-08 Microsoft Corporation Serial storage of ink and its properties
US7006711B2 (en) 2000-06-21 2006-02-28 Microsoft Corporation Transform table for ink sizing and compression
JP2002112992A (en) * 2000-06-30 2002-04-16 Canon Inc Apparatus and method for processing signal, and imaging device
WO2002025929A1 (en) * 2000-09-22 2002-03-28 Applied Science Fiction Multiple-orientation image defect detection and correction
AU9302101A (en) * 2000-09-22 2002-04-02 Applied Science Fiction Lens focusing device, system and method for use with multiple light wavelengths
JP2004523793A (en) 2001-02-09 2004-08-05 イーストマン コダック カンパニー Method of processing digital film processing liquid and digital film
JP3472273B2 (en) * 2001-03-07 2003-12-02 キヤノン株式会社 Image reproducing apparatus and an image processing apparatus and method
US6987892B2 (en) * 2001-04-19 2006-01-17 Eastman Kodak Company Method, system and software for correcting image defects
DE10126790A1 (en) * 2001-06-01 2003-01-02 Micronas Munich Gmbh Method and apparatus for displaying at least two images in an overall image
WO2003005303A2 (en) * 2001-07-02 2003-01-16 Matchlight Software, Inc. System and method for discovering and categorizing attributes of a digital image
JP4046957B2 (en) * 2001-07-05 2008-02-13 キヤノン株式会社 Imaging apparatus and a control method thereof, an information processing apparatus and method, and storage medium
US6805501B2 (en) 2001-07-16 2004-10-19 Eastman Kodak Company System and method for digital film development using visible light
US6707473B2 (en) 2001-08-01 2004-03-16 Microsoft Corporation Dynamic rendering of ink strokes with transparency
US7168038B2 (en) * 2001-08-01 2007-01-23 Microsoft Corporation System and method for scaling and repositioning drawings
US6770863B2 (en) * 2001-10-26 2004-08-03 Agilent Technologies, Inc. Apparatus and method for three-dimensional relative movement sensing
JP3739693B2 (en) * 2001-11-09 2006-01-25 本田技研工業株式会社 Image recognition device
CN1312908C (en) 2002-04-17 2007-04-25 精工爱普生株式会社 Digital camera
JP2004015286A (en) 2002-06-05 2004-01-15 Seiko Epson Corp Digital camera
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
WO2004014067A1 (en) * 2002-08-01 2004-02-12 Seiko Epson Corporation Digital camera
AU2003246268A1 (en) * 2002-08-09 2004-02-25 Sharp Kabushiki Kaisha Image combination device, image combination method, image combination program, and recording medium containing the image combination program
US8994822B2 (en) 2002-08-28 2015-03-31 Visual Intelligence Lp Infrastructure mapping system and method
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
US8483960B2 (en) 2002-09-20 2013-07-09 Visual Intelligence, LP Self-calibrated, remote imaging and data processing system
US7215362B2 (en) * 2002-10-31 2007-05-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Auto-calibration of multi-projector systems
JP3945430B2 (en) * 2003-03-19 2007-07-18 コニカミノルタホールディングス株式会社 Measurement method and an imaging apparatus of an object by the image
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
WO2005065085A2 (en) * 2003-12-21 2005-07-21 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
US7609290B2 (en) * 2005-01-28 2009-10-27 Technology Advancement Group, Inc. Surveillance system and method
WO2007031248A2 (en) * 2005-09-12 2007-03-22 Trimble Jena Gmbh Surveying instrument and method of providing survey data using a surveying instrument
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
FR2897163B1 (en) * 2006-02-08 2008-04-11 Thales Sa Process for the geo-location of one or more target
US8417060B2 (en) * 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
US20080065754A1 (en) * 2006-08-17 2008-03-13 Benhase Linda V System And Method For Dynamic Picture Generation In A Web Or Java Application
US7630367B2 (en) * 2006-09-01 2009-12-08 Wipro Limited Approach for fast IP address lookups
US8275215B2 (en) * 2007-05-08 2012-09-25 Arcsoft (Shanghai) Technology Company, Ltd Merging images
US8203764B2 (en) * 2007-06-27 2012-06-19 Lexmark International, Inc. Phased illumination method for image capture system
US8164600B2 (en) * 2007-12-06 2012-04-24 Barco Nv Method and system for combining images generated by separate sources
KR101473215B1 (en) * 2008-04-18 2014-12-17 삼성전자주식회사 Panoramic image generation apparatus and method
TWI408947B (en) 2009-02-13 2013-09-11 Mstar Semiconductor Inc Image adjusting apparatus and image adjusting method
JP5235798B2 (en) * 2009-06-22 2013-07-10 富士フイルム株式会社 Photographing apparatus and control method thereof
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment
US8385689B2 (en) * 2009-10-21 2013-02-26 MindTree Limited Image alignment using translation invariant feature matching
US9237294B2 (en) 2010-03-05 2016-01-12 Sony Corporation Apparatus and method for replacing a broadcasted advertisement based on both heuristic information and attempts in altering the playback of the advertisement
WO2011115142A1 (en) * 2010-03-19 2011-09-22 Okiセミコンダクタ株式会社 Image processing device, method, program and storage medium
WO2011159401A1 (en) * 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US8723946B2 (en) * 2010-09-16 2014-05-13 Honda Motor Co., Ltd. Workpiece inspecting apparatus and workpiece inspecting method
JP5696419B2 (en) * 2010-09-30 2015-04-08 カシオ計算機株式会社 An image processing apparatus and method, and program
US9832528B2 (en) 2010-10-21 2017-11-28 Sony Corporation System and method for merging network-based content with broadcasted programming content
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US8861890B2 (en) 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
TWI437476B (en) * 2011-02-24 2014-05-11 Au Optronics Corp Interactive stereo display system and method for calculating three dimensional coordinate
JP5561214B2 (en) * 2011-03-15 2014-07-30 オムロン株式会社 An image processing apparatus and an image processing program
JP2012222674A (en) * 2011-04-12 2012-11-12 Sony Corp Image processing apparatus, image processing method, and program
EP2726937B1 (en) 2011-06-30 2019-01-23 Nokia Technologies Oy Method, apparatus and computer program product for generating panorama images
US9076215B2 (en) * 2011-11-28 2015-07-07 Panasonic Intellectual Property Management Co., Ltd. Arithmetic processing device
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
GB2506411A (en) * 2012-09-28 2014-04-02 Omg Plc Determination of position from images and associated camera positions
NL2010213C (en) * 2013-01-31 2014-08-04 Lely Patent Nv Camera system, animal related system therewith, and method to create 3d camera images.
DE102013211271A1 (en) * 2013-06-17 2014-12-18 Robert Bosch Gmbh System and method for joining together by a plurality of optical sensors recorded images
DE102014213536A1 (en) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Integration of sub-images to an image of an environment of a means
JP2016109813A (en) * 2014-12-04 2016-06-20 キヤノン株式会社 Image display system, control device, control method and program
US20160295108A1 (en) * 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
US9875548B2 (en) * 2015-12-18 2018-01-23 Ricoh Co., Ltd. Candidate list generation
GB201620037D0 (en) * 2016-11-28 2017-01-11 Nokia Technologies Oy Imaging device and method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3646336A (en) * 1964-09-04 1972-02-29 Itek Corp Correlation unit
US4602857A (en) * 1982-12-23 1986-07-29 James H. Carmel Panoramic motion picture camera and method
JPH03182976A (en) * 1989-12-11 1991-08-08 Sumitomo Metal Ind Ltd Joining method for digital picture
JP3045763B2 (en) * 1990-11-22 2000-05-29 旭光学工業株式会社 Camera system
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
US5465163A (en) * 1991-03-18 1995-11-07 Canon Kabushiki Kaisha Image processing method and apparatus for processing oversized original images and for synthesizing multiple images
JPH05122606A (en) * 1991-10-30 1993-05-18 Matsushita Electric Ind Co Ltd Method and device for synthesizing image
JP3238755B2 (en) * 1992-08-21 2001-12-17 富士通株式会社 Hologram creation and the stereoscopic display method, and a stereoscopic display device
US5452105A (en) * 1992-11-19 1995-09-19 Sharp Kabushiki Kaisha Joint-portion processing device for image data for use in an image processing apparatus
FR2698699B1 (en) * 1992-11-30 1994-12-30 Peugeot A method of edge detection in a mobile stage and a device for carrying Óoeuvre this method.
EP0605045B1 (en) * 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Image processing method and apparatus for generating one image from adjacent images
DE69411849D1 (en) * 1993-10-20 1998-08-27 Philips Electronics Nv A method for processing luminance level in a composite image, and image processing system for use of this method
US5764871A (en) * 1993-10-21 1998-06-09 Eastman Kodak Company Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
JPH09265056A (en) * 1995-07-14 1997-10-07 Pioneer Electron Corp Stereoscopic picture display device
CA2184561C (en) * 1995-09-12 2001-05-29 Yasuyuki Michimoto Object detecting apparatus in which the position of a planar object is estimated by using hough transform
WO1998034195A1 (en) * 1997-01-30 1998-08-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587597B1 (en) 1999-01-21 2003-07-01 Nec Corporation Image input method, image input apparatus, and recording medium
US7324135B2 (en) 2002-10-15 2008-01-29 Seiko Epson Corporation Panoramic composition of multiple image data
JP2007104583A (en) * 2005-10-07 2007-04-19 Fujifilm Corp Photographing apparatus
JP2008252716A (en) * 2007-03-30 2008-10-16 Nikon Corp Imaging device
KR101065339B1 (en) 2008-07-02 2011-09-16 삼성전자주식회사 Portable terminal and method for taking divide shot thereamong
KR101030435B1 (en) 2009-08-07 2011-04-20 포항공과대학교 산학협력단 Method of generating mosaic image in realtime using images on which parallax and moving object exist
JP2012182582A (en) * 2011-02-28 2012-09-20 Olympus Imaging Corp Imaging apparatus
JP2012205015A (en) * 2011-03-24 2012-10-22 Casio Comput Co Ltd Image processor and image processing method, and program
CN102694972A (en) * 2011-03-24 2012-09-26 卡西欧计算机株式会社 Device and method including function for reconstituting image
JP2013183353A (en) * 2012-03-02 2013-09-12 Toshiba Corp Image processor
CN104255026A (en) * 2012-05-11 2014-12-31 索尼公司 The image processing apparatus and an image processing method
JP2014149798A (en) * 2013-02-04 2014-08-21 Casio Comput Co Ltd Image processor, imaging device, imaging processing method and program
US9652856B2 (en) 2014-08-12 2017-05-16 Ricoh Company, Ltd. Image processing system, image processing apparatus, and image capturing system
JP2018142963A (en) * 2018-03-27 2018-09-13 パナソニックIpマネジメント株式会社 Image processing system, image processing device, and image processing method

Also Published As

Publication number Publication date
DE69713243D1 (en) 2002-07-18
US6005987A (en) 1999-12-21
DE69713243T2 (en) 2003-01-23
EP0837428A3 (en) 2000-01-05
EP0837428B1 (en) 2002-06-12
EP0837428A2 (en) 1998-04-22

Similar Documents

Publication Publication Date Title
CN102668537B (en) Multocular image pickup apparatus and multocular image pickup method
US7215364B2 (en) Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
CN100380915C (en) Image processing apparatus and image processing method
JP3192875B2 (en) Image composition method and an image synthesizing apparatus
JP4551018B2 (en) Image coupling device
US20060132628A1 (en) Image data processing apparatus and electronic camera
KR101036787B1 (en) Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device
US20020126890A1 (en) Adaptive image combination according to image sensing condition
KR101342638B1 (en) An image processing apparatus, image processing method, and program
CN101616260B (en) Signal processing apparatus, signal processing method
US6434280B1 (en) System and method for generating super-resolution-enhanced mosaic images
US7773819B2 (en) Image processing apparatus
EP1538562A1 (en) Generation of still image from a plurality of frame images
KR100929085B1 (en) An image processing apparatus, image processing method and a computer program storage medium
US6571022B2 (en) Image processing apparatus for generating a single image of an object using overlapping partial images
KR100924411B1 (en) Image processing apparatus, image processing method, and storage medium
JP4136044B2 (en) Image processing apparatus and image processing method
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
JP4487775B2 (en) Panorama stitching processing of a plurality of image data
EP0837428B1 (en) Picture image forming apparatus
JP4882956B2 (en) Image processing apparatus and image processing method
JP3590631B2 (en) Method and apparatus for creating a high resolution still image using a plurality of images
US7406213B2 (en) Image processing apparatus and method, and computer program
JP4561845B2 (en) The imaging device and an image processing program
WO2012032412A2 (en) Stereoscopic (3d) panorama creation on handheld device