JP4654817B2 - Multiple image synthesis method and a plurality image synthesizer - Google Patents

Multiple image synthesis method and a plurality image synthesizer

Info

Publication number
JP4654817B2
JP4654817B2 JP2005217884A JP2005217884A JP4654817B2 JP 4654817 B2 JP4654817 B2 JP 4654817B2 JP 2005217884 A JP2005217884 A JP 2005217884A JP 2005217884 A JP2005217884 A JP 2005217884A JP 4654817 B2 JP4654817 B2 JP 4654817B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005217884A
Other languages
Japanese (ja)
Other versions
JP2007036741A (en )
Inventor
睦裕 山中
Original Assignee
パナソニック電工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、同一の被写体を含み、時系列的(時間軸方向に連続的)に撮像された複数の画像の合成を行う複数画像合成方法及び複数画像合成装置に関するものである。 The present invention relates to same includes the subject, time series multiple image synthesis method and a plurality image synthesizer for synthesizing (time axis direction continuously) a plurality of captured images.

平滑化フィルタを施すことで信号に含まれるランダムノイズ成分が減衰することに着目し、動画を構成する各々の静止画像を時間軸方向に積算して、SN比を改善し、実質的に撮像感度を向上させる画像合成方法が従来から提供されている。 Noting that the random noise component included in the signal by applying a smoothing filter is attenuated, by integrating each of the still images constituting the moving image in the time axis direction, the SN ratio is improved, substantially imaging sensitivity image composition method of improving are conventionally provided. またこの方法には、出力画像を画像合成処理の一方の入力画像とし、新規に取得した画像を他方の入力画像とし、両入力画像を平均処理する処理方法が効率的であるため用いられている。 Also in this process, the output image and one input image in the image synthesis processing, an image newly acquired by the other input image, processing method of averaging both input images are used because it is efficient . この方法は数学的には無限インパルス応答関数としてよく知られている処理方法である。 This method is a process method is mathematically well known as an infinite impulse response function. そしてこの処理方法による高感度化手法と、動作を構成する静止画像を二次元的に拡大して望遠効果を得る手法を、共通の記憶手段を切替え利用して実現した映像信号処理装置が提供されている(例えば特許文献1)。 And the high sensitivity method by this processing method, the method of obtaining the telephoto effect still image by enlarging two-dimensionally a constituting the operation, common video signal processing apparatus realized by utilizing switching the storage means is provided and are (for example, Patent Document 1).

また露光量の異なる複数の画像を連続取得して、暗い部分の再現に適した画像と明るい部分の再現に適した画像とを組み合わせることで見掛け上のダイナミックレンジの拡大を実現する合成処理方法も従来からあり、この見掛け上のダイナミックレンジの拡大を実現する方法と撮像装置の変位による画像間の動きを補正する方法を併用して画像合成を行う撮像画面合成装置が提供されている(例えば特許文献2)。 The continuously acquire a plurality of images with different exposure amounts, or synthetic processing method for realizing the apparent expansion of the dynamic range of by combining the image suitable for reproduction of images and bright portion suitable for reproduction of dark areas are conventional, displacement in combination of the method of correcting for motion between images (e.g. patent imaging screen combining device is provided for performing image synthesis by the method and imaging apparatus that realizes enlargement of the dynamic range of this apparent Document 2).

更に特許文献1に開示されている映像信号処理装置と同じ原理によりノイズ低減処理を、画像を複数のブロックに分割しブロック毎に動きベクトルを算出して位置補正を行うことで実施している映像信号処理装置も提供されている(例えば特許文献3)。 Images being carried out for a further noise reduction processing by the same principle as the video signal processing apparatus disclosed in Patent Document 1, an image by performing the positional correction by calculating a motion vector to each block divided into a plurality of blocks the signal processing apparatus is also provided (for example, Patent Document 3).
特許第2781936号公報(段落0084,0085) Patent No. 2781936 Publication (paragraphs 0084,0085) 特許第3110797号公報(段落0019〜0022) Patent No. 3110797 Publication (paragraphs 0019 to 0022) 特開2000−13643号公報(段落0043,0044) JP 2000-13643 JP (paragraphs 0043,0044)

ところで、上述の無限インパルス応答関数では、過去の情報が減衰しながらも残るので、この無限インパルス応答関数を用いる画像合成を特許文献1に開示されている映像信号処理装置のように行うと、画枠に対して動いている被写体には尾を引くような残像が発生する。 Incidentally, in the infinite impulse response function described above, since the past information remains even while attenuating and performs image synthesis using the infinite impulse response function as a video signal processing apparatus disclosed in Patent Document 1, image the subject is moving relative to the frame afterimage like a trail occurs. このような例に限らず、時系列的に得られる複数の画像を用いて合成して新たな画像を生成する際には、被写体の動きにより何らかの不具合が生じるという課題があった。 Is not limited to such an example, when generating a new image by combining with a time series a plurality of images obtained has a problem that some trouble is caused by movement of the object.

また特許文献2に開示されている撮像画面合成装置では、画面全体を代表する一つの動きベクトルにより動き補正を行っているので、異なる方向に移動する複数の被写体がある場合や、回転や拡大縮小などの変形を伴う場合に配置を補正しきれないという課題があった。 In the imaging screen synthesis apparatus disclosed in Patent Document 2, since performs motion compensation by one motion vector representing the entire screen, or if there are multiple objects moving in different directions, rotation and scaling there is a problem that can not be corrected placement when accompanied by deformation such as.

また特許文献3に開示されている映像信号処理装置のように、動きベクトルを求める点を細かく増やしていくと、画像上の各画素の動きベクトルを求めることができるものの、処理時間の増大や局所的な精度低下という問題があり、また処理対象部分の動きベクトルを求めれば動き補正の効果が改善されるものの、被写体の移動により影となる部分や誤った動きベクトルが算出された部分が破綻してしまうという課題があった。 Also, as the video signal processing apparatus disclosed in Patent Document 3, when gradually increasing finely point of obtaining a motion vector, but the motion vector of each pixel in the image can be obtained, increasing or local processing time specific there is a problem that the accuracy decreases, also despite the effect of the movement by obtaining a motion vector of the processing target portion corrected is improved, shadows become part and erroneous motion portion vector is calculated collapsed by the movement of the object there is a problem that.

本発明は、上述の課題に鑑みて為されたもので、その目的とするところは複雑な被写体の移動があっても残像などの不具合を低減でき、また動き補正が対応できないような画像の変化が生じた場合の画像の破綻を防止できる複数画像合成方法及び複数画像合成装置を提供することにある。 The present invention has been made in view of the problems described above, even if the there is movement of the complex object and its object can be reduced problems such as afterimage, also changes in the image such that motion compensation can not cope and to provide a plurality image synthesis method and a plurality image synthesizing device capable of preventing the collapse of the image when produced.

上述の目的を達成するために、請求項1の複数画像合成方法の発明では、時系列的に撮像された同一の被写体を含む複数の画像の間で、画素値の重み付き平均処理を行う複数画像合成方法であって、合成に使用される第一の画像と合成に使用される別の第二の画像との間で被写体の動きベクトルの候補を複数算出し、画像の一部であって1以上の画素からなる処理単位毎に、第二の画像において現時点の処理対象となっている処理単位に含まれる画素の値を基準として、第一の画像において第二の画像の処理単位の対応位置から複数の動きベクトルの候補にて位置補正された複数の処理単位に含まれる画素の値との差の絶対値を該処理単位を含む領域について積算し、該積算値を評価値として求め、何れの評価値も所定の閾値を超えた場合に More in order to achieve the above object, the invention multiple image synthesizing method according to claim 1, among a plurality of images including a time series identical subject captured, performing weighted averaging of the pixel values an image synthesizing method, a candidate of the object motion vector between the different second image to be used for the synthesis and the first image to be used in the synthesis plurality calculated, a part of the image for each processing unit consisting of one or more pixels, the values ​​of the pixels as a reference included in the processing unit has a current processing target in the second image, corresponding processing units of the second image in the first image the absolute value of the difference between the values of pixels included in the plurality of processing units located corrected by a plurality of motion vectors of the candidate from the position by integrating the area including the processing unit obtains the integrated value as an evaluation value, If any of the evaluated value also exceeds a predetermined threshold value 該処理単位では第二の画像の該処理単位に含まれる各画素の値を合成処理結果として採用し、 評価値の少なくとも一つが該閾値以下となった場合には該処理単位では第二の画像の該処理単位に含まれる各画素の値と、最も評価値が小さい位置補正後の第一の画像上の処理単位に含まれる各画素の値とにより重み付き平均処理を行うことを特徴とする。 In the processing unit adopts the value of each pixel included in the processing unit of the second image as a composite processing result, in the processing unit when at least one of the evaluation value is equal to or less than the threshold value a second image and carrying out the value of each pixel included in the processing unit, the value of each pixel included in the processing unit on the most evaluation value is smaller position corrected first image the weighted average processing .

請求項1の複数画像合成方法の発明によれば、単独の動きベクトルによる補正では対応できないような複雑な被写体の移動があっても残像などの不具合を低減でき、また動き補正が対応できないような画像の変化が生じた場合の画像の破綻を防止できる。 According to the invention multiple image synthesizing method according to claim 1, even if the movement of complex objects which can not be supported by the correction by a single motion vector can be reduced problems such as afterimages and such that motion compensation can not cope the collapse of the image when the change in the image has occurred can be prevented.

請求項2の複数画像合成方法の発明では、請求項1の発明において、前記重み付平均処理を行う場合には、前記処理単位での前記評価値が大きくなるほど前記第二の画像の加算割合が大きくなるように処理単位ごとに加算割合を設定する前記重み付き平均処理を施すことを特徴とする。 In the invention multiple image synthesizing method according to claim 2, characterized in that in the invention of claim 1, when performing the averaging process with weights, addition ratio of the evaluation value is larger as the second image in the processing unit and characterized by applying said weighted average processing for setting the addition ratio for each processing unit to be larger.

請求項2の複数画像合成方法の発明によれば、 単独の動きベクトルによる補正では対応できないような複雑な被写体の移動があっても残像などの不具合を低減でき、また動き補正が対応できないような画像の変化が生じた場合の画像の破綻を防止でき、特に隣接する処理単位の処理の違いにより処理単位の境界が目立ったり、突発的なノイズにより部分的に誤った選択が為された場合の孤立した処理単位での違和感が生じたりする不具合を低減できる。 According to the invention multiple image synthesizing method according to claim 2, even if the movement of complex objects which can not be supported by the correction by a single motion vector can be reduced problems such as afterimages and such that motion compensation can not cope It prevents collapse of the image when the change in the image occurs, in particular or conspicuous boundary processing units due to differences in the processing of neighboring processing units, when the selected erroneous partially by unexpected noise is made discomfort in the isolated processing unit can be reduced a problem that or cause.

請求項3の複数画像合成方法の発明では、請求項1又は2の発明において、 前記動きベクトルの候補の一つは撮像装置自体の姿勢情報から決定されることを特徴とする。 In the invention multiple image synthesizing method according to claim 3, in the invention of claim 1 or 2, one of candidates for the motion vector is being determined from the posture information of the imaging apparatus itself.

請求項3の複数画像合成方法の発明によれば、 撮像手段の姿勢の変位をも加味することができる。 According to the invention multiple image synthesizing method according to claim 3, it is possible to also considered the displacement of the attitude of the imaging means.

請求項の複数画像合成方法の発明では、請求項1乃至の何れかの発明において、前記第一の画像と前記第二の画像との各々に設定した輝度レベル測定領域における画素値を参照して輝度レベル補正を行ってから、第一の画像と第二の画像とにおいて前記処理単位における画素値の差を求めることを特徴とする。 In the invention multiple image synthesizing method according to claim 4, referred to in any one of the claims 1 to 3, the pixel values in the luminance level measurement area set in each of said first image and said second image after performing brightness level correction by, and obtains the difference of pixel values ​​in said processing unit in the first image and the second image.

請求項の発明によれば、輝度変動を評価前に補正するため動きベクトルの候補の評価を輝度変動の影響を受けることなく行える。 According to the invention of claim 4, it performed without being affected by luminance change the evaluation of candidate motion vectors for correcting before evaluating the brightness variation.

請求項の複数画像合成装置の発明では、時系列的に撮像された同一の被写体を含む複数の画像の間で、画素値の重み付き平均処理を行う複数画像合成方法であって、合成に使用される第一の画像と合成に使用される別の第二の画像との間で被写体の動きベクトルの候補を複数算出する手段と、画像の一部であって1以上の画素からなる処理単位毎に、第二の画像において現時点の処理対象となっている処理単位に含まれる画素の値を基準として、第一の画像において第二の画像の処理単位の対応位置から複数の動きベクトルの候補にて位置補正された複数の処理単位に含まれる画素の値との差の絶対値を該処理単位を含む領域について積算し、該積算値を評価値として求める手段と、何れの評価値も所定の閾値を超えた場合には該処理単位 In the invention multiple image synthesizing apparatus according to claim 5, time series among a plurality of images including the same subject captured, a plurality image synthesis method for performing weighted average processing of the pixel values, the synthesis process consisting of a part in a by one or more pixels of the unit and an image calculates a plurality of candidate motion vectors of the object in front of another second image used in the synthesis a first image used for each unit, based on the values ​​of the pixels included in the processing unit has a current processing target in the second image, the plurality of motion vectors from the corresponding position of the processing unit of the second image in the first image the absolute value of the difference between the values of pixels included in the plurality of processing units located corrected by candidate integrates the area including the processing unit, means for determining the integrated value as an evaluation value, none of the evaluation value the processing unit if it exceeds a predetermined threshold value は第二の画像の該処理単位に含まれる各画素の値を合成処理結果として採用し、 評価値の少なくとも一つが該閾値以下となった場合には該処理単位では第二の画像の該処理単位に含まれる各画素の値と、最も評価値が小さい位置補正後の第一の画像上の処理単位に含まれる各画素の値とにより重み付き平均処理を行う画像合成手段とを備えていることを特徴とする。 Adopts the value of each pixel included in the processing unit of the second image as a composite processing result, the processing of the second image in the processing unit when at least one of the evaluation value is equal to or less than the threshold value comprises a value of each pixel included in the unit, and an image synthesizing means for performing weighted average processing by the value of each pixel included in the processing unit on the most evaluation value is smaller position corrected first image it is characterized in.

請求項の発明によれば、複雑な被写体の移動があっても残像などの不具合を低減でき、また動き補正が対応できないような画像の変化が生じた場合の画像の破綻を防止できる複数画像合成装置を提供できる。 According to the invention of claim 5, a plurality of images which can prevent the collapse of the image when the can also reduce problems such as afterimages if there is movement of the complex object, also changes in the image such that motion compensation can not cope occurs it is possible to provide a synthesis device.

請求項の複数画像合成装置の発明では、請求項の発明において、前記画像合成手段は、前記重み付平均処理を行う場合には、前記処理単位での前記評価値が大きくなるほど前記第二の画像の加算割合が大きくなるように処理単位ごとに加算割合を設定する重み付き平均処理を施すことを特徴とする。 In the invention multiple image synthesizing apparatus according to claim 6, characterized in that in the invention of claim 5, wherein the image synthesizing means, when performing the weighting averaging process, the second as the evaluation value in the processing units is increased and characterized by applying a weighted average process to set the addition ratio for each processing unit addition ratio of the image such increases.

請求項の発明によれば、単独の動きベクトルによる補正では対応できないような複雑な被写体の移動があっても残像などの不具合を低減でき、また動き補正が対応できないような画像の変化が生じた場合の画像の破綻を防止でき、特に隣接する処理単位の処理の違いにより処理単位の境界が目立ったり、突発的なノイズにより部分的に誤った選択が為された場合の孤立した処理単位での違和感が生じたりする不具合を低減できる複数画像合成装置を提供できる。 According to the invention of claim 6, even if the movement of complex objects which can not be supported by the correction by a single motion vector can be reduced problems such as afterimages, also caused a change in the image such that motion compensation can not cope prevents collapse of the image when the, in particular or conspicuous boundary processing units due to differences in the processing of neighboring processing units, in isolated processing units when sudden selected erroneous partially by noise is made can provide multiple image synthesizing apparatus capable of reducing a problem that the discomfort or cause.

本発明の複数画像合成方法及び複数画像合成装置は、単独の動きベクトルによる補正では対応できないような複雑な被写体の移動があっても残像などの不具合を低減でき、また動き補正が対応できないような画像の変化が生じた場合の画像の破綻を防止できるという効果がある。 Multiple image synthesis method and a plurality image synthesis apparatus of the present invention, even when the movement of complex objects which can not be supported by the correction by a single motion vector can be reduced problems such as afterimages and such that motion compensation can not cope there is an effect that the collapse of the image when the change in the image has occurred can be prevented.

以下本発明を実施形態により説明する。 Hereinafter will be described by the present invention embodiment.
(実施形態1) (Embodiment 1)
本実施形態の撮像装置は図1(b)に示すように建築物の天井等に取り付けられ、被写体Mnを含む所定撮影領域を時系列的に連続撮像する撮像手段1と、この撮像手段1で撮像された動画を取り込んで画像合成を行う画像合成処理部2とで構成され、画像合成処理部2からの出力画像を表示する画像表示手段3が接続される。 Imaging apparatus of this embodiment is attached to a ceiling or the like of a building as shown in FIG. 1 (b), the imaging unit 1 in a time series continuity imaging the predetermined imaging area including the object Mn, in the imaging device 1 It is constituted by an image synthesis processing unit 2 which performs image synthesis takes in captured video image display unit 3 for displaying an output image from the image synthesis processing unit 2 is connected.

画像合成処理部2は、図1(a)に示すように出力画像を保存する画像記憶手段4と、画像記憶手段4で保存している保存画像(第一の画像)と撮像手段1で得られる動画を構成する複数の静止画像の内最も最新の取得画像(第二の画像)との画像合成を行う画像合成手段5と、撮像手段1の姿勢を制御する姿勢制御手段6と、撮像手段1の撮像条件を制御する撮像条件制御手段7と、姿勢制御手段6からの撮像手段1の姿勢情報と撮像条件制御手段7からの条件情報とから画像での動きベクトルに換算する画像動き換算手段8と、画像上の対象被写体領域を参照して動きベクトル測定点を設定し、取得画像と保存画像との間で動きベクトルを算出する画像動き算出手段9と、対象被写体領域を設定するための動体検出手段10及び顔検出手 Image synthesis processing unit 2 is obtained in FIG. 1 and the image storage means 4 for storing the output image (a), the image storage image storing means is stored at 4 (first image) and the image pickup means 1 the most recent acquired image among the plurality of still images constituting a moving image to be the image synthesizing means 5 that performs image synthesis of the (second image), and attitude control means 6 for controlling the attitude of the imaging unit 1, the imaging means and imaging condition control means 7 for controlling the first imaging condition, an image motion conversion means for converting from the condition information from the attitude information and the imaging condition control means 7 of the image pickup means 1 from the attitude control means 6 to the motion vector in the image 8, with reference to the target object region in the image to set the motion vector measurement points, an image motion calculation means 9 for calculating a motion vector between the acquired image and the stored image, for setting the target subject area moving object detection means 10 and the face detection hand 11とで構成される。 11 to be composed of.

ここで画像合成処理部2を構成する各手段は、マイクロコンピュータにおいてプログラムを実行することで実現される機能で構成しても良く、またハードウェア構成により個々に独立する形で構成しても良い。 Wherein each means constituting the image synthesis processing section 2 may be constituted by functions implemented by executing the program in the microcomputer, or may be constructed in the form of separate individually by the hardware configuration . また画像合成処理部2は図1(b)に示すように撮像手段1とは別体となっているが、撮像手段1と一体となって撮像装置を構成しても良い。 The image synthesis processing section 2 is made separate from the imaging device 1, as shown in FIG. 1 (b), but may be configured an imaging device together with the image pickup means 1. 更に画像表示手段3をも一体に組み込んで撮像装置を構成しても良い。 It may further constitute an imaging device incorporated integrally also an image display unit 3.

次に画像合成処理部2の各手段の動作について説明する。 Next the operation of the respective means of the image synthesis processing unit 2.

まず動体検出手段10は、例えば取得画像と合成対象となる保存画像との差分画像を作成して変化領域を抽出し、この変化領域を2値化して近接距離の変化領域同士を一つにまとめる外接矩形を生成して統合領域とし、この統合領域毎に、取得画像と保存画像間の濃淡パターンマッチングを行い、類似度が低い統合領域を動体候補として図2(a)のように抽出して画像動き算出手段9に被写体領域情報として与えるものである。 First moving object detection means 10, for example by creating a difference image between stored image to be acquired image composited extracts a change area, summarized changes between regions close distance to this change area is binarized into one generates a circumscribed rectangle as the integrated area for each the consolidated region performs shading pattern matching between the acquired image stored images, are extracted as shown in FIG. 2 (a) a low degree of similarity combined area as the moving object candidate it is one that confers a subject region information to the image movement calculating means 9.

一方顔検出手段11は、例えば画像データから生成したカラーヒストグラムと、予め作成している顔部分のテンプレートヒストグラムとを比較して顔の部分の領域を決定する方法等公知の技術を用いて顔領域を抽出するもので、この顔領域情報を画像動き算出手段9に与える。 Meanwhile the face detection means 11, for example, a color histogram generated from the image data, a face area using known techniques such as methods for determining the area of ​​the portion of the face by comparing the template histogram of the face portion is created in advance extracts a, gives the facial area information to the image movement calculating means 9.

画像動き算出手段9は、動体検出手段10により検出された動体(対象被写体領域)に対して動きベクトル測定点を複数設定するのである。 Image motion calculation unit 9 is to set a plurality of motion vector measurement points for the moving object detected by the moving object detection unit 10 (target object region). ここで、被写体Mnが物品の場合は、撮像画像の枠内で移動したとしても変形を伴うことはないが、被写体Mnが人の場合は手足等に部分的な移動や変形を伴うことがあり、これらの影響を避けて人の全体的な動きを測定するためには、顔や胴体の動きを測定する必要があるので、画像動き算出手段9は動体として設定された領域(図2(a)において破線で示す外接矩形の領域)の上半部に密となるように動きベクトル測定点(図2(a)において□で示す)を設定し、各動きベクトル測定点における動きベクトルをブロックマッチング法により図2(b)の「→」で示すように求める。 Here, if the subject Mn of the article, but is not accompanied by deformation even when moved in the frame of the captured image, if the subject Mn of people may be accompanied by partial movement or deformation limb etc. , in order to measure the overall movement of a person to avoid these effects, it is necessary to measure the face and torso movements, the image motion calculation unit 9 has been set as the moving object region (Fig. 2 (a ) sets the half motion vector measurement points so as to close on the circumscribed rectangular area) indicated by a broken line (indicated by □ in FIG. 2 (a)) in the block matching motion vector at each motion vector measurement point by law determined as shown by "→" in FIG. 2 (b).

更にこれら求めた動きベクトルから代表値を求める。 Further obtains a representative value from these calculated motion vector. この代表値の求め方は、例えば求めた動きベクトルにおいて過半数以上等しい動きベクトルを代表値の動きベクトルM1とする。 Determination of the representative value, equal motion vectors more than half the motion vector M1 of the representative value in the motion vector, for example obtained. 尚本実施形態では後述するように複数の動きベクトルを扱うので、代表値を唯一のものと限定せず、複数の動作ベクトル測定値を画像合成手段5へ出力するようにしても良い。 Note In this embodiment, since the handle multiple motion vectors, as described below, without limiting the representative value and only one may be output a plurality of motion vectors measured value to the image synthesizing unit 5.

画像動き算出手段9は、この顔領域(図2(c)の破線で示す矩形内)に対して目、耳、鼻など陰影のある各部位に対応するように図示するように動きベクトル測定点(図2(c)において□で示す)を設定し、各動きベクトル測定点の動きベクトルをブロックマッチング法により図2(d)に「→」で示すように測定する。 Image motion calculation means 9, the eyes against the face area (the rectangle shown by a broken line in FIG. 2 (c)), the ear, the motion vector measurement points as shown so as to correspond to each site of shading nose, etc. set (□ shown in in FIG. 2 (c)), measured as indicated by "→" in FIG. 2 (d) a motion vector of each motion vector measurement points by the block matching method. この場合口周辺は言葉を発生する際に変形するので、口周辺の動きベクトル測定点は密に設定する必要があるが、顔全体の変位を求める場合には口周辺は重要ではないので、口周辺には動きベクトル測定点を設定しなくても良い。 Since deformation at the time of this opening surrounding generates a word, but the motion vector measurement points around the mouth has to be set tightly, since the mouth around is not important when determining the displacement of the entire face, mouth it is not necessary to set the motion vector measurement point in the surrounding area. 各動きベクトル測定点においては、顔領域の抽出の手法により目、耳、鼻などの顔部品を認識することで正確な位置を求めることができる。 In each motion vector measurement points, it is possible to determine the exact position to recognize a face part such as techniques by eyes, ears, nose extraction of the face region. 要求される設定位置精度次第では予め顔形状の統計情報から顔輪郭に対する各顔部品の相対位置を求めておき、それを顔輪郭となる矩形に幾何的に適用しても良い。 Depending setting positional accuracy required to previously obtain relative positions of each face part with respect to the face contour from pre face shape statistics, it may be geometrically applicable to rectangular as a face outline.

図2(d)は、対象被写体領域(顔領域)に設定した各動きベクトル測定点で求めた動きベクトルの分布M2(x、y)<以下動きベクトルM2という>を示しており、口の変形部分を除いて顔を変形のない剛体と仮定すると、取得画像と、保存画像との顔の動きは、一次変換で近似することができる。 FIG. 2 (d), the distribution M2 of the motion vectors obtained in each motion vector measurement point set in the target object region (face region) (x, y) shows the <hereinafter referred motion vector M2>, deformation of the mouth assuming rigid without deforming the face except for the part, and acquires image, the motion of the face of the storage image can be approximated by a linear transformation. しかし図示するように口の周辺で動きが一様でない状態に対応するためにはデータをマッピングする等の処理が必要となる。 However, to move around the mouth as illustrated corresponds to a state not uniform becomes necessary processing such as mapping data.

撮像手段1は図3に示すようにモータのような駆動手段(図示せず)が姿勢制御手段6により制御されることで、水平方向(パン)Hと垂直方向(チルト)Vの姿勢が制御されるが、画像動き換算手段8は姿勢制御手段6から撮像手段1の姿勢情報を取り込み、画像合成に使用される各画像の取得時の相対的な振れ角θを測定する。 Imaging means 1 (not shown) driving means such as a motor, as shown in FIG. 3 that is controlled by the attitude control unit 6, a horizontal direction (pan) H and a vertical direction (tilt) orientation of the V control but it is the image motion conversion means 8 captures the orientation information of the imaging unit 1 from the attitude control means 6, for measuring the relative deflection angle θ at the time of acquisition of each image to be used for image synthesis. 勿論撮像カメラの姿勢制御が為されない場合には姿勢情報として変位ゼロが採用される。 Zero displacement is employed as the posture information when the course attitude control of the imaging camera is not performed. 画像動き換算手段8は上述のように求めた振れ角θを、撮像条件制御手段7から得る撮像手段1の光学系の焦点距離lからなる条件情報を用いて動きベクトルに換算する。 The image motion conversion means 8 deflection angle θ determined as described above, is converted into a motion vector using the condition information consisting of the focal length l of the optical system of the imaging device 1 obtained from the imaging condition control means 7. 図4(a)、(b)は換算例を示しており、この図では事象を判り易くするために、画像における中心からの座標をxのみで表し、上述の振れ角θと、上述の焦点距離lとを用いて取得画像と保存画像との撮影時刻のずれによる結像面α上での像の移動量Δxを、Δx=[(l +x )/l]tanθと定義し、必要に応じて姿勢制御手段6からの歪曲情報も加えて動きベクトル分布M3(x,y)<動きベクトルM3という>を設定する。 FIG. 4 (a), the shows the (b) is converted example, in order to facilitate understanding of the events in this figure, represents the coordinates of the center of the image only on x, the deflection angle θ of the above, the focus of the above distance l and the acquired image using the movement amount [Delta] x of the image of by above image plane α deviation of capture time of the stored images, Δx = [(l 2 + x 2) / l] is defined as tan .theta, requires also added distortion information from the attitude control means 6 sets the motion vector distribution M3 (x, y) <called motion vector M3> in according to.

画像合成手段5は、取得画像と保存画像との間で画像上同一座標の画素値をm:nの重み付け平均を求め、この平均した画素値による画像を合成画像として出力し、この出力した合成画像を画像記憶手段2に記憶させ、撮影手段1から取得する新たな画像と処理する際に新たな保存画像として用いる。 Image synthesis means 5, the image on the pixel values ​​at the same coordinates between the acquired image and the stored images m: n weighted average calculated for, and outputs the image by the average pixel value as a composite image, and the output synthesized image is stored in the image storage means 2, is used as a new stored image when processing a new image acquired from the imaging unit 1. この一連の処理は図5に示す無限長インパルス応答IIRフィルタとして示すことができ、このフィルタが平滑化フィルタとして作用してノイズの低減が図れる。 This series of processes can be shown as an infinite impulse response IIR filter shown in FIG. 5, this filter can be reduced in noise by acting as a smoothing filter. ところで、時系列的に取得された個々の画像の、最新の合成画像における加算割合は図6に示すようになり、動く被写体では過去の情報が尾を引くように残るため、ぶれが生じる。 Incidentally, the time series obtained individual images, addition ratio in the latest composite image is as shown in FIG. 6, in moving subject to remain as historical information tailing, blur occurs. 尚図6中左端の棒グラフが新規に撮影した取得画像を、その右隣りから右方向に過去に遡る形で取得された画像のバーを示し、この画像のバーの長さが最新の合成画像、つまり保存画像における加算割合を示す。 The image obtained Naozu 6 left end of the bar is taken to a new, show the bar image acquired in a manner which dates back to the past in the right direction from the right side, the bar length is the latest of the composite image of the image, That shows the addition ratio in the stored image.

そこで画像合成手段5は、画像動き算出手段9からの動きベクトルM1,動きベクトルM2と、画像動き換算手段8からの動きベクトルM3とを動きベクトル候補として用いて動き補正を行う。 Therefore the image synthesis unit 5, the motion vector M1 from the image motion calculation unit 9, a motion vector M2, performs motion compensation using as a vector candidate motion a motion vector M3 from the image motion converting means 8.

図7は動き補正の原理を示す図であって、図7(a)に示す保存画像と、図7(b)の取得画像とでは時間経過により撮像された被写体Mnには動きがある。 Figure 7 is a diagram showing the principle of motion compensation, a stored image shown in FIG. 7 (a), the subject Mn of at the acquired images taken by the elapsed time shown in FIG. 7 (b) there is movement. ここで図8(d)に示すように取得画像上に1以上の画素からなる処理単位(図8(d)で示す□)を設定し、被写体Mnが人であって、移動する人の胴体に対応する処理単位では取得画像(図8(d))から動体検出によって求めた動きベクトルM1により動きを補正した保存画像において取得画像との類似性が高いので、動きベクトルM1が適用される(図8(c))。 Here Set FIG 8 (d) consisting of one or more pixels on the acquired image as shown in the processing unit (□ shown in FIG. 8 (d)), a subject Mn of human body of the person to be moved due to the high similarity between the acquired image in the stored image with the corrected motion by the motion vector M1 determined by the moving object detection from the acquired image (FIG. 8 (d)) in the processing unit corresponding to the motion vector M1 is applied ( Figure 8 (c)). また移動する人の顔に対応する処理単位では顔検出により求められた動きベクトルM2により動き補正された保存画像において取得画像との類似性が高いので動きベクトルM2が適用される(図8(b))。 The motion vector M2 there is a high similarity between the acquired image in the stored image that is motion compensation is applied by the motion vector M2 which a processing unit corresponding to the human face obtained by the face detection to move (FIG. 8 (b )). 更に背景に対応する処理単位では撮像手段1の変位により求められた動きベクトルM3により動き補正された保存画像において、取得画像との類似性が高いので、動きベクトルM3による動き補正が適用される。 In saved image motion compensation by the motion vector M3 determined by the displacement of the imaging device 1 is further a processing unit corresponding to the background, because of the high similarity between the acquired image is applied motion compensation by the motion vector M3.

次に画像合成手段5は画像合成する前に上述のように動き補正後の補正画像と取得画像の類似性を評価する処理を行う。 Then the image synthesis unit 5 performs a process of evaluating the similarity of the corrected image and the acquired image after motion compensation, as described above before the image composition.

この場合に補正画像と取得画像との間の画素値の差の絶対値を上述の処理単位内若しくはその処理単位の近傍において積算してブロックマッチングエラーを求めて評価するか、或いは空間差分画像において同様にブロックマッチングエラーを求めて評価する。 Or evaluating seeking block matching error absolute value of the difference between the pixel values ​​by integrating in the vicinity of the processing units in the or a processing unit described above between the corrected image and the acquired image in this case, or in the spatial difference image Similarly evaluate seeking block matching error. この場合ブロックマッチングエラーでは、値が大きくなる程類似性が低くなる。 In this case the block matching error, similarity higher the value increases decreases.

このようにして類似性を評価する処理を経て、その評価結果に基づいて合成時における保存画像と取得画像の画素値の加算割合を決定して、画像合成を行うのである。 Through the process of evaluating the thus similarity, to determine the addition ratio of the pixel value of the stored image and the acquired image at the time of synthesis on the basis of the evaluation result is to perform image combining. ここで加算値の割合の決定は、例えば動きベクトルM1によって動き補正を行った保存画像に対する類似性の評価値と、動きベクトルM2によって動き補正を行った保存画像に対する類似性の評価値とを比較し、動きベクトルM1側の類似性が高い場合には取得画像と動きベクトルM1で補正した保存画像とを1:3の割合で重み付き平均をとる(図9の(I)参照)。 Wherein the determination of the ratio of the sum is compared, for example, the evaluation value of the similarity to the stored image subjected to motion compensation by the motion vector M1, and the evaluation value of the similarity to the stored image subjected to motion compensation by the motion vector M2 and, the stored image in the case of high similarity of motion vectors M1 side corrected by acquiring the image and the motion vector M1 1: taking a weighted average at a rate of 3 (see (I) in FIG. 9). また動きベクトルM2側の類似性が高い場合には取得画像と動きベクトルM2で動き補正した保存画像とを1:3の割合で重み付き平均をとる(図9の(II)参照) Also the stored images when the high similarity of motion vectors M2 side and the motion compensation in the acquired image and motion vector M2 1: taking a weighted average at a rate of 3 ((II) see in Figure 9). また何れの評価値も予め設定している所定の閾値を超えなかった場合には保存画像の画素値は使用せず、取得画像の画素値がそのまま適用される(図9の(III)参照)。 The pixel values ​​of the stored image if not exceed the predetermined threshold value that is set in advance any of the evaluation value is not used, the pixel values ​​of the acquired image is directly applied (in FIG. 9 (III) see) .
(実施形態2) (Embodiment 2)
図10(a)は本実施形態における、評価の結果と画像の加算割合の関係を表す図である。 10 (a) is in this embodiment, is a graph showing a relationship between the addition ratio of the result and the image of the evaluation. 実施形態1では閾値を境にして保存画像の画素値の割合がゼロと3/4と二者から択一するようになっていたが、本実施形態では類似性の評価値に応じて保存画像の画素値の割合を段階的に変更する。 The proportion of the pixel values ​​of the stored image to the boundary of the threshold in the first embodiment was adapted to selectively from zero and 3/4 the two parties, save image in accordance with the evaluation value of the similarity in the embodiment changing the ratio of the pixel value stepwise. 尚図10(a)の各画像の割合の区分は、図10(b)に示す動き補正無しの保存画像(i)、動き補正有りの保存画像(iii) 、新規の取得画像(ii)に基づく。 Division ratio of each image Naozu. 10 (a), a stored image without motion compensation shown in FIG. 10 (b) (i), motion compensation there the stored image (iii), the new capture image (ii) based.

尚本実施形態は図1における画像合成手段で5の画素値の演算方法が異なる他は、実施形態1と同じである。 Note that the present embodiment except that a method of calculating the fifth pixel values ​​in the image synthesizing means is different in FIG. 1, it is the same as the first embodiment. これにより、隣接する処理単位の処理の違いにより処理単位の境界が目立ったり、突発的なノイズにより部分的に誤った選択が為された場合の孤立した処理単位での違和感が生じたりする不具合を低減できる。 Thereby, or conspicuous boundary differences by the processing unit of processing of the processing units adjacent, unexpected noise by a malfunction of or cause isolated discomfort in the processing units were when partially wrong selection is made It can be reduced.

尚図10(a)では加算割合を段階的に設定しているが、画素値の計算方法によっては連続的な値を設定しても良い。 Naozu 10 (a) In has been set stepwise addition ratio may be set to continuous values ​​by the calculation method of the pixel values.

また保存画像、取得画像の各々に設定した輝度レベル測定領域における画素値を参照して輝度レベル補正を行い、この輝度レベル補正後、動きベクトルの候補を評価するようにしても良い。 The stored image, performs luminance level correction with reference to the pixel values ​​in the luminance level measurement regions set in each acquired image, after the brightness level correction, may be evaluated candidate motion vectors.
(実施形態3) (Embodiment 3)
本実施形態の撮影装置は、図11(b)に示すように撮像手段1及び画像処理部2を可搬型の筐体12に一体的に組み込んで構成されたもので、筐体12を使用者Uが手に持って任意の方向に向けられる構成となっており、撮像手段1の姿勢を変化させる姿勢制御手段は有しないが、図11(a)に示すように姿勢制御手段の代わりに撮像手段1の変位測定手段13が備えられている以外は図2にある実施形態1と同じである。 Imaging device of this embodiment has been constructed by incorporating integrally with the housing 12 of the imaging unit 1 and the image processing unit 2 of the portable as shown in FIG. 11 (b), a housing 12 user U has a structure that is directed in any direction in his hand, no attitude control means for changing the attitude of the imaging means 1, instead of the attitude control means, as shown in FIG. 11 (a), except that the displacement measuring means 13 of the imaging unit 1 is provided is the same as that of the embodiment 1 in FIG. 変位測定手段13は角速度センサ(図示せず)により合成に使用される画像の取得時点での光学系光軸の角度を測定するもので、必要であれば加速度センサを設け同じく相対位置を測定する。 Displacement measuring means 13 measures the angle of the optical axis of the optical system at the time of obtaining the image used for the synthesis by the angular velocity sensor (not shown), measuring the same relative position providing the acceleration sensor if necessary . 建造物や三脚などに固定されていて向きの変わらない撮像装置では変位測定手段13は不要で、変位測定手段13の出力に代わる情報として変位ゼロが採用される。 Buildings and displacement measuring means 13 in the imaging apparatus such as be fixed tripod unchanging orientation is not required and zero displacement is employed as the information in place of the output of the displacement measuring means 13.

この変位情報の利用方法は実施形態1における姿勢制御手段6から出力される撮像手段1の変位情報と同じである。 How to Use This displacement information is the same as the displacement information of the imaging unit 1 to be output from the attitude control means 6 in the first embodiment.

尚その他の構成は実施形態1と同じであるので同じ構成要素に同じ符号を付して説明は省略する。 Note The other configuration is the same as the first embodiment are designated by the same reference numerals to the same components are omitted.

(a)は実施形態1の回路構成図、(b)は実施形態1の使用例図である。 (A) is a circuit diagram of the first embodiment, (b) is an example diagram used in the first embodiment. (a)は実施形態1の対象被写体領域の動きベクトル測定点の設定例図、(b)は実施形態1の対象被写体領域の各動きベクトル測定点の測定結果図、(c)は実施形態1の顔領域の動きベクトル測定点の設定例図、(d)は実施形態1の顔領域の各動きベクトル測定点の測定結果図である。 (A) the example configuration diagram of the motion vector measurement point of the target object region embodiment 1, (b) the measurement result diagram of each motion vector measurement point of the target object region embodiment 1, (c) the embodiment 1 example setting of the face area of ​​the motion vector measurement point view, the measurement results diagram of each motion vector measurement point (d) of the face region according to the first embodiment. 実施形態1に用いる撮像手段の姿勢制御の説明図である。 It is an illustration of attitude control of the imaging means used in the embodiment 1. 実施形態1に用いる撮像手段の動きベクトル換算例の説明図である。 It is an explanatory diagram of the motion vector conversion of the imaging unit used in the first embodiment. 実施形態1の画像合成手段の処理動作に対応した無限長インパルス応答IIRフィルタの等価回路図である。 It is an equivalent circuit diagram of the infinite impulse response IIR filter corresponding to the processing operation of the image synthesizing means according to the first embodiment. 実施形態1における合成画像の保存画像と取得画像の加算割合の説明図である。 It is an illustration of the addition ratio of the stored image and the acquired image of the composite image in the first embodiment. 実施形態1における動き補正の原理説明図である。 Diagram for explaining the principle of motion compensation in the first embodiment. 実施形態1における動き補正と各動きベクトルとの関係説明図である。 It is a relationship diagram of the motion compensation and the motion vectors in the first embodiment. 実施形態2の動きベクトルによる補正の類似性と合成画像における保存画像と取得画像の割合の説明図である。 It is an illustration of the proportion of stored image and acquires image in the correction of the similarity between the synthesized image by the motion vector of the second embodiment. 実施形態2の動きベクトルによる補正の類似性と合成画像における保存画像と取得画像の割合の説明図である。 It is an illustration of the proportion of stored image and acquires image in the correction of the similarity between the synthesized image by the motion vector of the second embodiment. (a)は実施形態3の使用例図、(b)は実施形態3の回路構成図である。 (A) Examples The view of the embodiment 3, (b) is a circuit diagram of the third embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

1 撮像カメラ2 画像合成処理部3 画像表示手段4 画像記憶手段5 画像合成手段6 姿勢制御手段7 撮像条件制御手段8 画像動き換算手段9 画像動き算出手段10 動体検出手段11 顔検出手段Mn 被写体 1 imaging camera 2 image synthesis processing unit 3 image display unit 4 image storage means 5 the image synthesizing unit 6 attitude control means 7 imaging condition control means 8 image motion converting means 9 image movement calculating means 10 moving object detection means 11 face detecting means Mn subject

Claims (6)

  1. 時系列的に撮像された同一の被写体を含む複数の画像の間で、画素値の重み付き平均処理を行う複数画像合成方法であって、 Time series among a plurality of images including the same subject captured, a plurality image synthesis method for performing weighted average processing of the pixel value,
    合成に使用される第一の画像と合成に使用される別の第二の画像との間で被写体の動きベクトルの候補を複数算出し、 The candidate of the object motion vector between the different second image to be used for the synthesis and the first image to be used in the synthesis plurality calculated,
    画像の一部であって1以上の画素からなる処理単位毎に、第二の画像において現時点の処理対象となっている処理単位に含まれる画素の値を基準として、第一の画像において第二の画像の処理単位の対応位置から複数の動きベクトルの候補にて位置補正された複数の処理単位に含まれる画素の値との差の絶対値を該処理単位を含む領域について積算し、該積算値を評価値として求め、 A part of the image for each processing unit consisting of one or more pixels, the values ​​of the pixels as a reference included in the processing unit has a current processing target in the second image, first in a first image two the absolute value of the difference between the value of a pixel included from the corresponding positions in a plurality of processing units located corrected by a plurality of candidate motion vectors of the processing unit of an image by integrating the area including the processing units, the accumulated determine the value as an evaluation value,
    何れの評価値も所定の閾値を超えた場合には該処理単位では第二の画像の該処理単位に含まれる各画素の値を合成処理結果として採用し、 評価値の少なくとも一つが該閾値以下となった場合には該処理単位では第二の画像の該処理単位に含まれる各画素の値と、最も評価値が小さい位置補正後の第一の画像上の処理単位に含まれる各画素の値とにより重み付き平均処理を行うことを特徴とする複数画像合成方法。 Any evaluation value also in the processing units in the case of exceeding a predetermined threshold value is adopted the value of each pixel included in the processing unit of the second image as a composite processing result, at least one evaluation value is less than the threshold value and in the processing units when it becomes of the pixels included in the processing unit on the first image and the value of each pixel, best evaluation value is smaller position corrected included in the processing unit of the second image multiple image composition method and performing weighted average processing by the value.
  2. 前記重み付平均処理を行う場合には、前記処理単位での前記評価値が大きくなるほど前記第二の画像の加算割合が大きくなるように処理単位ごとに加算割合を設定する重み付き平均処理を施すことを特徴とする請求項1記載の複数画像合成方法。 When performing the weighting averaging process, performs the evaluation value becomes large as the weighted average processing the addition ratio of the second image to set the addition ratio for each processing unit so as to increase in the processing unit multiple image composition method according to claim 1, wherein a.
  3. 前記動きベクトルの候補の一つは撮像装置自体の姿勢情報から決定されることを特徴とする請求項1又は2記載の複数画像合成方法。 Multiple image composition method according to claim 1 or 2, wherein a candidate of the motion vector is being determined from the posture information of the imaging apparatus itself.
  4. 前記第一の画像と前記第二の画像との各々に設定した輝度レベル測定領域における画素値を参照して輝度レベル補正を行ってから、第一の画像と第二の画像とにおいて前記処理単位における画素値の差を求めることを特徴とする請求項1乃至3の何れか記載の複数画像合成方法。 After performing brightness level correction with reference to the pixel values in the luminance level measurement area set in each of said second image and the first image, the first image and the processing unit in a second image multiple image composition method of any of claims 1 to 3, characterized in that for obtaining a difference of the pixel values in the.
  5. 時系列的に撮像された同一の被写体を含む複数の画像の間で、画素値の重み付き平均処理を行う複数画像合成方法であって、 Time series among a plurality of images including the same subject captured, a plurality image synthesis method for performing weighted average processing of the pixel value,
    合成に使用される第一の画像と合成に使用される別の第二の画像との間で被写体の動きベクトルの候補を複数算出する手段と、 Means calculates a plurality of candidate motion vectors of the object in front of another second image to be used for the synthesis and the first image to be used in the synthesis,
    画像の一部であって1以上の画素からなる処理単位毎に、第二の画像において現時点の処理対象となっている処理単位に含まれる画素の値を基準として、第一の画像において第二の画像の処理単位の対応位置から複数の動きベクトルの候補にて位置補正された複数の処理単位に含まれる画素の値との差の絶対値を該処理単位を含む領域について積算し、該積算値を評価値として求める手段と、 A part of the image for each processing unit consisting of one or more pixels, the values of the pixels as a reference included in the processing unit has a current processing target in the second image, first in a first image two the absolute value of the difference between the value of a pixel included from the corresponding positions in a plurality of processing units located corrected by a plurality of candidate motion vectors of the processing unit of an image by integrating the area including the processing units, the accumulated It means for determining the value as an evaluation value,
    何れの評価値も所定の閾値を超えた場合には該処理単位では第二の画像の該処理単位に含まれる各画素の値を合成処理結果として採用し、評価値の少なくとも一つが該閾値以下となった場合には該処理単位では第二の画像の該処理単位に含まれる各画素の値と、最も評価値が小さい位置補正後の第一の画像上の処理単位に含まれる各画素の値とにより重み付き平均処理を行う画像合成手段とを備えていることを特徴とする複数画像合成装置 Any evaluation value also in the processing units in the case of exceeding a predetermined threshold value is adopted the value of each pixel included in the processing unit of the second image as a composite processing result, at least one evaluation value is less than the threshold value and in the processing units when it becomes of the pixels included in the processing unit on the first image and the value of each pixel, best evaluation value is smaller position corrected included in the processing unit of the second image multiple image synthesizing apparatus characterized by and an image synthesizing means for performing weighted average processing by the value.
  6. 前記画像合成手段は、前記重み付平均処理を行う場合には、前記処理単位での前記評価値が大きくなるほど前記第二の画像の加算割合が大きくなるように処理単位ごとに加算割合を設定する重み付き平均処理を施すことを特徴とする請求項5記載の複数画像合成装置。 The image synthesizing means, when performing an average processing with the weights sets the addition ratio for each processing unit as addition ratio of the evaluation value is larger as the second image is increased in the processing unit multiple image synthesizing apparatus according to claim 5, wherein applying the weighted mean process.
JP2005217884A 2005-07-27 2005-07-27 Multiple image synthesis method and a plurality image synthesizer Active JP4654817B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005217884A JP4654817B2 (en) 2005-07-27 2005-07-27 Multiple image synthesis method and a plurality image synthesizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005217884A JP4654817B2 (en) 2005-07-27 2005-07-27 Multiple image synthesis method and a plurality image synthesizer

Publications (2)

Publication Number Publication Date
JP2007036741A true JP2007036741A (en) 2007-02-08
JP4654817B2 true JP4654817B2 (en) 2011-03-23

Family

ID=37795430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005217884A Active JP4654817B2 (en) 2005-07-27 2005-07-27 Multiple image synthesis method and a plurality image synthesizer

Country Status (1)

Country Link
JP (1) JP4654817B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5445235B2 (en) * 2010-03-09 2014-03-19 ソニー株式会社 Image processing apparatus, image processing method, and program
JP5687553B2 (en) 2011-04-25 2015-03-18 オリンパス株式会社 Image synthesizing apparatus, an image synthesizing method, and an image synthesizing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103252A (en) * 1991-10-09 1993-04-23 Sanyo Electric Co Ltd Pan tilt processing circuit for jiggle correcting camera
JPH08251474A (en) * 1995-03-15 1996-09-27 Canon Inc Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device
JPH1051787A (en) * 1996-08-01 1998-02-20 Sharp Corp Motion vector detector
JP2000092378A (en) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd Image pickup device
JP2002333645A (en) * 2001-05-10 2002-11-22 Canon Inc Image blur correction device and camera
JP2004015376A (en) * 2002-06-06 2004-01-15 Canon Inc Apparatus for preventing image shake and camera
WO2004077820A1 (en) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co. Ltd. Image pickup processing method and image pickup apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05103252A (en) * 1991-10-09 1993-04-23 Sanyo Electric Co Ltd Pan tilt processing circuit for jiggle correcting camera
JPH08251474A (en) * 1995-03-15 1996-09-27 Canon Inc Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device
JPH1051787A (en) * 1996-08-01 1998-02-20 Sharp Corp Motion vector detector
JP2000092378A (en) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd Image pickup device
JP2002333645A (en) * 2001-05-10 2002-11-22 Canon Inc Image blur correction device and camera
JP2004015376A (en) * 2002-06-06 2004-01-15 Canon Inc Apparatus for preventing image shake and camera
WO2004077820A1 (en) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co. Ltd. Image pickup processing method and image pickup apparatus

Also Published As

Publication number Publication date Type
JP2007036741A (en) 2007-02-08 application

Similar Documents

Publication Publication Date Title
US6819778B2 (en) Method and system for tracking a fast moving object
US7742077B2 (en) Image stabilization system and method for a video camera
US20080030587A1 (en) Still image stabilization suitable for compact camera environments
US20070189386A1 (en) Image generation apparatus and image generation method
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
US7619656B2 (en) Systems and methods for de-blurring motion blurred images
US20060152590A1 (en) Image processor
US20060078214A1 (en) Image processing based on direction of gravity
US20060078215A1 (en) Image processing based on direction of gravity
US20060078162A1 (en) System and method for stabilized single moving camera object tracking
US20060045311A1 (en) Moving-object height determining apparatus
WO2005024723A1 (en) Image combining system, image combining method, and program
US8417059B2 (en) Image processing device, image processing method, and program
US20070132856A1 (en) Image processing apparatus, image-pickup apparatus, and image processing method
US20090028462A1 (en) Apparatus and program for producing a panoramic image
US20100148066A1 (en) Thermal imaging camera for taking thermographic images
US20120307000A1 (en) Image Registration Using Sliding Registration Windows
US7859568B2 (en) Image capturing processing method and system for performing roll correction
US20060269155A1 (en) Continuous extended range image processing
US7333132B2 (en) Corrected image generating apparatus and corrected image generating program storage medium
JP2005043570A (en) Projector
US20100027844A1 (en) Moving object recognizing apparatus
US20090263044A1 (en) Image generation apparatus and image generation method
US20090128700A1 (en) Image processing apparatus and image processing method
CN1402551A (en) Apparatus and method for automatically tracking mobile object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3