WO2007074605A1 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents

画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 Download PDF

Info

Publication number
WO2007074605A1
WO2007074605A1 PCT/JP2006/323825 JP2006323825W WO2007074605A1 WO 2007074605 A1 WO2007074605 A1 WO 2007074605A1 JP 2006323825 W JP2006323825 W JP 2006323825W WO 2007074605 A1 WO2007074605 A1 WO 2007074605A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
partial motion
motion vector
processing method
image
Prior art date
Application number
PCT/JP2006/323825
Other languages
English (en)
French (fr)
Inventor
Shigeru Doida
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to DE602006020341T priority Critical patent/DE602006020341D1/de
Priority to EP06833629A priority patent/EP1968308B1/en
Priority to US12/084,642 priority patent/US8482619B2/en
Priority to JP2007551871A priority patent/JPWO2007074605A1/ja
Publication of WO2007074605A1 publication Critical patent/WO2007074605A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Definitions

  • Image processing method image processing program, image processing apparatus, and imaging apparatus
  • the present invention relates to an image processing method applied to a digital camera, image processing software, etc.
  • the present invention relates to an image processing program.
  • the present invention also relates to an image processing apparatus applied to a digital camera or the like, and an imaging apparatus such as a digital camera.
  • Shake correction by digital processing is to detect motion vectors of continuously shot images and align and synthesize the images accordingly.
  • a motion vector detection method there is a method in which each block force motion vector (partial motion vector) of a plurality of images is searched, and one motion vector of the entire image is obtained based on these partial motion vectors (Patent Document 1, Patent). (See Reference 2, etc.)
  • each of the partial motion vectors is erroneously detected, it is desirable to evaluate each of the partial motion vectors and correct (vector correction) as necessary.
  • the vector correction method is also disclosed in Patent Document 2, in which each partial motion vector is compared with surrounding partial motion vectors, and if it is extremely different, the method The value of the partial motion vector is replaced with the same value as the surrounding partial motion vector.
  • Patent Document 1 Japanese Patent Laid-Open No. 7-38800
  • Patent Document 2 Japanese Patent Laid-Open No. 7-231446
  • the present invention provides an image processing method capable of legitimately evaluating a partial motion vector.
  • An object is to provide an image processing program, an image processing apparatus, and an imaging apparatus. Means for solving the problem
  • the image processing method of the present invention is an image processing method for detecting a motion between a plurality of images, and a search for searching for each block force partial motion vector in the image based on the feature amount of the image. And a calculation procedure for calculating one or a plurality of evaluation values from the searched partial motion vector, wherein one of the evaluation values is a trial alignment of the search source block with the partial motion vector. It is characterized by the positioning accuracy when
  • the alignment accuracy may be the alignment accuracy when a part of the search source block is experimentally aligned with the partial motion vector.
  • the image processing method of the present invention may further include a correction procedure for correcting the partial motion vector based on the evaluation value.
  • the partial motion vector subjected to the correction and the surrounding partial motion vectors are relatively evaluated with the evaluation value, and the partial motion vector value that is highly evaluated among the partial motion vectors is used. You can correct the value of the partial motion vector that was corrected.
  • another one of the evaluation values is an edge amount included in a search block of the partial motion vector, and in the relative evaluation, the partial motion vector that is the correction target, and The remaining partial motion vectors may be ranked according to the alignment accuracy after removing those having a small edge amount from the peripheral partial motion vectors.
  • the correction procedure uses the partial motion vector regardless of the evaluation value of the partial motion vector. It is also possible to correct the horizontal component and the vertical component of the horizontal component and the vertical component of the partial motion vector adjacent in the vertical direction and the vertical component of the partial motion vector adjacent in the horizontal direction, respectively.
  • the calculation procedure and the correction procedure related to the entire partial motion vector may be repeated a plurality of times.
  • the image processing method of the present invention may further include a combining procedure for aligning and combining the plurality of images based on the corrected partial motion vector.
  • An image processing program according to the present invention causes a computer to execute the image processing method according to any of the present invention.
  • the image processing apparatus of the present invention is characterized in that it includes an arithmetic means for executing the image processing method according to any of the present invention.
  • the imaging apparatus of the present invention includes an imaging unit that continuously captures an image of a subject and acquires a plurality of images, and the image processing apparatus of the present invention.
  • an image processing method, an image processing program, an image processing device, and an imaging device that can legitimately evaluate a partial motion vector are realized.
  • FIG. 1 is a block diagram showing a configuration of an electronic still camera of an embodiment.
  • FIG. 2 is a flowchart showing a flow of camera shake correction processing.
  • FIG. 3 is a diagram illustrating step S3.
  • FIG. 4 is a diagram illustrating step S4.
  • FIG. 5 is a diagram for explaining an evaluation value A.
  • FIG. 6 is a diagram for explaining an evaluation value B.
  • FIG. 7 is a diagram for explaining a case where a vector correction target is located at the center of an image.
  • FIG. 8 is a diagram for explaining a case where a vector correction target is located at an edge of an image.
  • FIG. 9 is a diagram for explaining a case where the vector correction target is located at four corners of an image.
  • FIG. 10 is a diagram for explaining the vector correction method in detail (in the case of the center of the image).
  • FIG. 11 is a diagram for explaining the vector correction method in detail (in the case of four corners of an image).
  • FIG. 12 is a diagram showing a modified example of the alignment target.
  • the present embodiment is an embodiment of an electronic still camera with a camera shake correction function.
  • FIG. 1 is a block diagram showing the configuration of an electronic still camera.
  • the electronic still camera 10 includes an image sensor 12, a signal processing circuit 13, a memory 14, a compression / expansion circuit 15, a recording unit 16, an image processing circuit 17, and the like.
  • the photographing lens 11 attached to the electronic still camera 10 forms an image of a subject on the image sensor 12.
  • the image sensor 12 captures an image of the subject and acquires an image.
  • the image is processed in the signal processing circuit 13 and then temporarily stored in the memory 14 ⁇ .
  • the image processing circuit 17 performs image processing on the image, and the image after the image processing is compressed by the compression / decompression circuit 15 and then recorded on the recording unit 16.
  • the image pickup device 12 when the electronic still camera 10 is set in the camera shake correction mode, the image pickup device 12 has an appropriate exposure time, or 2 X under n steps and a minute time interval with respect to a preset exposure time. Acquire n images.
  • the image processing circuit 17 inputs the plurality of images and executes a camera shake correction process to obtain a corrected image.
  • the corrected image is recorded in the recording unit 16 via the compression / expansion circuit 15.
  • FIG. 2 is a flowchart showing the flow of the camera shake correction process.
  • the image processing circuit 17 performs edge extraction from each of the images (step S2), and based on the acquired edge images, the plurality of images The partial motion vector of each block is searched (step S3).
  • the image processing circuit 17 calculates an evaluation value of each partial motion vector (step S4), and performs vector correction (step S5). These steps S3 and S4 are repeated a predetermined number of times (see step S6).
  • step S4 the evaluation value calculation (step S4) and the vector correction (step S5) are not necessarily executed in series but may be executed in parallel. Incidentally, although details will be described later, not all evaluation values are necessarily required for vector correction! /, So only the evaluation values required at that time are calculated appropriately while performing vector correction. It is good to do.
  • the image processing circuit 17 aligns and combines a plurality of images based on the finally obtained partial motion vector (step S7), and outputs the combined image as a corrected image (step S7). S 8).
  • step S3, step S4, step S5, and step S7 will be described in detail.
  • the number of images is two.
  • FIG. 3 is a diagram illustrating step S3.
  • each of the two edge images is divided into a plurality of blocks R 1, R 2,.
  • R 1, R 2 is the edge image
  • the total number of divisions is 24 in the vertical direction and 4 in the horizontal direction.
  • the partial motion vector of the i-th block R is denoted by V with the same subscript as that block.
  • various known search methods such as block matching can be applied.
  • the searched partial motion vectors V 1, V 2,..., V include those with low search accuracy.
  • FIG. 4 is a diagram illustrating step S4. In this step, partial motion vectors V and V
  • the two evaluation values are A and B, and the i-th
  • FIG. 5 is a diagram illustrating the evaluation value A.
  • Evaluation value A is the alignment accuracy when block R, which is the search source for partial motion vector V, is experimentally aligned with partial motion vector V.
  • this alignment target is the block R of the image before edge extraction, which is not the block R of the edge image.
  • Coordinate deviation is given by V. Then, as the alignment accuracy, a correlation value (for example, the sum of absolute values of pixel value differences) between the lines L, L, L i 1 2 3 and the lines L ′, L ′, L ′ is calculated.
  • a correlation value for example, the sum of absolute values of pixel value differences
  • FIG. 6 is a diagram illustrating the evaluation value B.
  • the evaluation value B is the edge amount of the block R ; from which the partial motion vector V ; is searched. Only the block R of either one of the two edge images can be extracted!
  • the evaluation value B is calculated by calculating the sum of the absolute values of the two components and calculating the evaluation value B as If you do.
  • an evaluation value indicating the edge amount of block R can be obtained, other calculation methods can be applied.
  • the search source block of the partial motion vector V is in contact with any edge of the image.
  • the search source block of the partial motion vector V is located at the four corners of the image.
  • evaluation values B, B, B, B, B of five partial motion vectors V, V, V, V, V including the vector correction target are obtained.
  • Reference i i + 1 i-1 i-6 i + 6 i i + 1 i-1 i-6 i + 6 and the average value B is calculated. Then, using it as a threshold, the five evaluation values B, B, B
  • the three partial motion vectors V, V, V are reliable i i + 1 i + 6
  • the evaluation values A, A,, of the partial motion vectors V, V, V i i + 1 i determined to be reliable are referred to and evaluated. Compare the values A, A, ⁇ . And review
  • the partial motion vector with the lowest value A is judged to have the highest reliability.
  • the partial motion vector V is determined to have the highest reliability.
  • the evaluation value A (alignment accuracy when experimentally aligned) is used for the reliability evaluation of the partial motion vectors, so the partial motion vectors are majority. Regardless of whether it is present or not. Therefore, vector correction will not fail.
  • the Y component of the partial motion vector V that is the vector correction target is the Y component of the partial motion vector V adjacent in the X direction.
  • the X component of the partial motion vector V is the partial motion adjacent in the Y direction. Is replaced by the X component V of the vector V.
  • Each of the image blocks R 1, R 2,--R is aligned and synthesized. According to this 1
  • Sheet of corrected images is completed. At the time of this composition, the necessary part of the image is subjected to pixel interpolation.
  • the searched partial motion vector is vector-corrected based on the above-described evaluation value ⁇ (alignment accuracy when experimentally aligned). Will never fail. As a result, image alignment accuracy, that is, camera shake correction accuracy is increased.
  • step S4 and S5 vector correction based on the evaluation value A (steps S4 and S5) is repeated, so that the camera shake correction accuracy can be further improved.
  • the individual partial motion vectors are corrected in the correct direction regardless of the majority or the minority. Therefore, when the vector correction is repeated, the partial motion vector image is displayed on the partial motion vector image. Distribution force S converges toward its true value.
  • the number of force lines may be changed in which the alignment target at the time of calculating the evaluation value A is the representative three lines in the block. Moreover, it is good also as a partial area
  • the shape of the partial area is, for example, sufficient as shown in FIG. Various shapes such as letter shape, X shape, and even L shape are possible. Furthermore, instead of using a partial area of a block, a block obtained by low-resolution conversion may be used.
  • the number of repetitions of vector correction (steps S4 and S5) is set in advance, but the image processing circuit 17 may make a self-determination. In that case, the image processing circuit 17 may determine the end of repetition when the number of partial motion vectors to be replaced becomes equal to or less than a threshold value.
  • step S4 and S5 it is not necessary to set the same determination criterion for each vector correction (steps S4 and S5) and may be appropriately changed.
  • vector correction (steps S4 and S5) is repeated.
  • the repetition may be omitted.
  • edge information is extracted as a feature amount of an image when searching for a partial motion vector (step S2), but feature amounts other than the edge information may be extracted.
  • an averaging process for smoothing the distribution of the partial motion vectors may be performed prior to the positioning synthesis (step S7).
  • the averaging process must be set to an appropriate strength so that the distribution of partial motion vectors is not too flat.
  • the camera shake correction process is executed by the electronic still camera circuit (image processing circuit 17). However, part or all of the camera shake correction process is performed by other imaging devices such as a video camera, You may make an image input device, a computer, etc. perform.
  • a computer executes a process, a program for executing the process may be prepared and installed on the computer.

Abstract

　本発明は、複数の画像の動きを検出する際に、画像中のブロックから探索された部分動きベクトルを正当に評価することが可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。そのために、本発明の画像処理方法は、複数の画像間の動きを検出する画像処理方法であって、前記画像の特徴量に基づき、前記画像中の各ブロックから部分動きベクトルを探索する探索手順と、前記探索された前記部分動きベクトルから１又は複数の評価値を算出する算出手順とを含み、前記評価値の１つを、前記部分動きベクトルでその探索元ブロックを試験的に位置合わせしたときの位置合わせ精度とする。

Description

明 細 書
画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 技術分野
[0001] 本発明は、ディジタルカメラ、画像処理ソフトウェアなどに適用される画像処理方法
、画像処理プログラムに関する。また、本発明は、ディジタルカメラなどに適用される 画像処理装置、ディジタルカメラなどの撮像装置に関する。
背景技術
[0002] ディジタル処理による手振れ補正は、連続して撮影された画像の動きベクトルを検 出し、それに応じて画像を位置合わせ合成するものである。
動きベクトルの検出方法としては、複数の画像の各ブロック力 動きベクトル (部分 動きベクトル)を探索し、それら部分動きベクトルに基づき画像全体の動きベクトル 1 つを求めるものがある（特許文献 1,特許文献 2などを参照)。
[0003] 但し、部分動きベクトルの中には、誤検出されたものも混在するので、部分動きべク トルの各々を評価し、必要に応じて補正 (ベクトル補正）しておくことが望ましい。 因みに、ベクトル補正方法は、特許文献 2にも開示されており、そこでは、各部分動 きベクトルを周辺の部分動きベクトルと比較し、仮に、それが極端に異なっていた場 合には、その部分動きベクトルの値を周辺の部分動きベクトルと同じ値に置き換えて いる。
特許文献 1：特開平 7— 38800号公報
特許文献 2：特開平 7— 231446号公報
発明の開示
発明が解決しょうとする課題
[0004] しかし、このベクトル補正方法では、少数派の部分動きベクトルを多数派の部分動 きベクトルに近づけているに過ぎないので、部分動きベクトルの分布を滑らかにする ことはできるものの、仮に、正確に検出された部分動きベクトルが少数だった場合は、 多くの部分動きベクトルが誤った方向へ補正されることになる。
そこで本発明は、部分動きベクトルを正当に評価することが可能な画像処理方法、 画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。 課題を解決するための手段
[0005] 本発明の画像処理方法は、複数の画像間の動きを検出する画像処理方法であつ て、前記画像の特徴量に基づき、前記画像中の各ブロック力 部分動きベクトルを探 索する探索手順と、前記探索された前記部分動きベクトルから 1又は複数の評価値 を算出する算出手順とを含み、前記評価値の 1つは、前記部分動きベクトルでその 探索元ブロックを試験的に位置合わせしたときの位置合わせ精度であることを特徴と する。
[0006] なお、前記位置合わせ精度は、前記部分動きベクトルでその探索元ブロックの一部 を試験的に位置合わせしたときの位置合わせ精度であってもよ 、。
また、本発明の画像処理方法は、前記評価値に基づき前記部分動きベクトルを補 正する補正手順をさらに含んでもよい。
また、前記補正手順では、前記補正の対象となった部分動きベクトルと、その周辺 の部分動きベクトルとを前記評価値で相対評価し、そのうち高評価を得た部分動きべ タトルの値で、前記補正の対象となった部分動きベクトルの値を補正してもよ 、。
[0007] また、前記評価値の他の 1つは、前記部分動きベクトルの探索元ブロックに含まれ るエッジ量であり、前記相対評価では、前記補正の対象となった部分動きベクトルと、 その周辺の部分動きベクトルとのうち前記エッジ量が小さ 、ものを排除してから、残り の部分動きベクトルを前記位置合わせ精度で順位付けしてもよい。
また、前記補正の対象となった部分動きベクトルの探索元ブロックが前記画像の隅 に位置していた場合は、前記補正手順では、前記部分動きベクトルの前記評価値に 拘わらず、その部分動きベクトルの水平成分と垂直成分とを、その垂直方向に隣接 する部分動きベクトルの水平成分と、その水平方向に隣接する部分動きベクトルの垂 直成分とでそれぞれ補正してもよ 、。
[0008] また、前記部分動きベクトルの全体に関する前記算出手順及び前記補正手順は複 数回繰り返されてもよい。
また、本発明の画像処理方法は、前記補正後の前記部分動きベクトルに基づき前 記複数の画像を位置合わせして合成する合成手順を更に含んでもよい。 また、本発明の画像処理プログラムは、本発明の何れかに記載の画像処理方法を コンピュータに実行させることを特徴とする。
[0009] また、本発明の画像処理装置は、本発明の何れかに記載の画像処理方法を実行 する演算手段を備えたことを特徴とする。
また、本発明の撮像装置は、被写体を連続的に撮像して複数の画像を取得する撮 像手段と、本発明の画像処理装置とを備えたことを特徴とする。
発明の効果
[0010] 本発明によれば、部分動きベクトルを正当に評価することが可能な画像処理方法、 画像処理プログラム、画像処理装置、及び撮像装置が実現する。
図面の簡単な説明
[0011] [図 1]実施形態の電子スチルカメラの構成を示すブロック図である。
[図 2]手振れ補正処理の流れを示すフローチャートである。
[図 3]ステップ S3を説明する図である。
[図 4]ステップ S4を説明する図である。
[図 5]評価値 Aを説明する図である。
[図 6]評価値 Bを説明する図である。
[図 7]ベクトル補正の対象が画像の中央に位置する場合を説明する図である。
[図 8]ベクトル補正の対象が画像の端部に位置する場合を説明する図である。
[図 9]ベクトル補正の対象が画像の四隅に位置する場合を説明する図である。
[図 10]ベクトル補正方法を詳しく説明する図である (画像中央の場合)。
[図 11]ベクトル補正方法を詳しく説明する図である (画像四隅の場合)。
[図 12]位置合わせ対象の変形例を示す図である。
発明を実施するための最良の形態
[0012] 以下、本発明の実施形態を説明する。本実施形態は、手振れ補正機能付きの電子 スチルカメラの実施形態である。
図 1は、電子スチルカメラの構成を示すブロック図である。図 1に示すとおり、電子ス チルカメラ 10には、撮像素子 12、信号処理回路 13、メモリ 14、圧縮'伸張回路 15、 記録部 16、画像処理回路 17などが配置される。 [0013] 電子スチルカメラ 10に装着された撮影レンズ 11は、撮像素子 12上に被写体の像 を形成する。撮像素子 12は、その被写体の像を撮像して画像を取得する。その画像 は、信号処理回路 13において処理された後、メモリ 14^ ^一時的に格納される。画像 処理回路 17は、その画像に対し画像処理を施し、画像処理後の画像は、圧縮'伸張 回路 15にお ヽて圧縮処理が施された後、記録部 16にお ヽて記録される。
[0014] ここで、電子スチルカメラ 10が手振れ補正モードに設定されているときには、撮像 素子 12は、適正露光時間、又は予め設定された露光時間に対して n段アンダーかつ 微小時間間隔で 2 X n枚の画像を取得する。画像処理回路 17は、それら複数枚の画 像を入力し、手振れ補正処理を実行して補正画像を取得する。その補正画像が、圧 縮 ·伸張回路 15を介して記録部 16に記録される。
[0015] 次に、画像処理回路 17による手振れ補正処理の全体の流れを説明する。
図 2は、手振れ補正処理の流れを示すフローチャートである。図 2に示すとおり、画 像処理回路 17は、複数枚の画像を入力すると (ステップ S1)、それら画像の各々から エッジ抽出を行い (ステップ S2)、取得したエッジ画像に基づき、複数枚の画像の各 ブロックの部分動きベクトルを探索する (ステップ S3)。
[0016] その後、画像処理回路 17は、各部分動きベクトルの評価値を算出し (ステップ S4) 、ベクトル補正を行う（ステップ S 5)。これらステップ S3, S4の処理は、予め決められ た回数だけ繰り返される (ステップ S6参照)。
なお、評価値算出 (ステップ S4)及びベクトル補正 (ステップ S 5)は、直列に実行さ れるとは限らず、並列に実行されてもよい。因みに、詳細は後述するが、ベクトル補正 にお 、て全ての評価値が必要になるとは限らな!/、ので、ベクトル補正を実行しつつ、 その際に必要となった評価値のみを適宜算出することとしてもよい。
[0017] その後、画像処理回路 17は、最終的に得られた部分動きベクトルに基づき、複数 枚の画像を位置合わせ合成し (ステップ S 7)、合成後の画像を補正画像として出力 する（ステップ S 8)。
次に、ステップ S3,ステップ S4,ステップ S5,ステップ S7を詳細に説明する。ここで は、簡単のため、画像の枚数を 2とする。
[0018] (ステップ S3) 図 3は、ステップ S3を説明する図である。本ステップでは、 2枚のエッジ画像の各々 力 図 3に示すとおり、複数のブロック R , R ,…〖こ分割される。ここでは、エッジ画像
1 2
の分割数を、縦方向 6、横方向 4の合計 24とする。
続いて、ブロック R , R , · ··, R の各々から、部分動きベクトルが探索される。以下
1 2 24
、 i番目のブロック Rの部分動きベクトルを、そのブロックと同じ添え字を付して Vとおく 。この探索には、ブロックマッチングなど様々な公知の探索手法が適用可能である。 但し、探索された部分動きベクトル V , V , · ··, V には、探索精度の低いものも混在
1 2 24
していると考えられる。
[0019] (ステップ S4)
図 4は、ステップ S4を説明する図である。本ステップでは、部分動きベクトル V , V
1 2
，…， V の評価値が 2つずつ算出される。ここでは、 2つの評価値を A, Bとおき、 i番
24
目の部分動きベクトル Vの評価値を、それと同じ添え字を付して A , Bとおく。
[0020] 図 5は、評価値 Aを説明する図である。
評価値 Aは、部分動きベクトル Vの探索元となったブロック Rを、その部分動きべク トル Vで試験的に位置合わせしたときの位置合わせ精度である。
但し、この位置合わせの対象は、エッジ画像のブロック Rではなぐエッジ抽出前の 画像のブロック Rである。また、ここでは、位置合わせ精度さえ算出できればよいので 、試験的な位置合わせは、演算量を抑えるため、ブロック Rの一部、例えば、両端及 び中央の代表 3ライン L , L , Lのみについて行われる。
1 2 3
[0021] したがって、評価値 Aの算出では、例えば、 2枚の画像の一方のブロック Rの代表 3 ライン L , L , Lを抽出すると共に、 2枚の画像の他方の同じブロック Rの代表 3ライン
1 2 3 i
L ', L ', L 'を抽出する。このとき、試験的な位置合わせをするため、ライン L , L , L
1 2 3 1 2 の抽出元領域 Eと、ライン L ' , L ' , L 'の抽出元領域 Eと間には、部分動きベクトル
3 i 1 2 3 i
Vの分だけ座標ずれが与えられる。そして、位置合わせ精度として、ライン L , L , L i 1 2 3 とライン L ', L ', L 'との相関値 (例えば、画素値の差の絶対値の総和）を算出し、そ
1 2 3
れを評価値 Aとおけばよい。この評価値 Aが低いほど、部分動きベクトル Vの信頼性 を高いとみなせる。
[0022] 図 6は、評価値 Bを説明する図である。 評価値 B;は、部分動きベクトル V;の探索元となったブロック R;のエッジ量である。ェ ッジ量抽出の対象は、 2枚のエッジ画像の何れか一方のブロック Rのみでよ!/、。
例えば、エッジ画像が縦方向のエッジ成分と横方向のエッジ成分との 2成分力 な る場合、評価値 Bの算出では、それら 2成分の絶対値の総和を算出し、それを評価 値 Bとすればょ 、。この評価値 Bが高 、ほど、部分動きベクトル V;の信頼性を高 、と みなせる。なお、ブロック Rのエッジ量を示す評価値が得られるのであれば、他の算 出方法を適用することも可能である。
[0023] (ステップ S 5)
本ステップでは、評価値 A, Bに基づき、部分動きベクトル V , V , · ··, V の各々を
1 2 24 ベクトル補正する。
但し、図 7中に強調して示した部分動きベクトル Vをベクトル補正する場合、その補
8
正には、太線で囲ったとおり、その周辺の部分動きベクトル V , V , V , V を関係さ
7 2 9 14 せる。因みに、部分動きベクトル Vの探索元ブロックは、画像の端部の何れにも接し
8
ていないので、周辺の部分動きベクトルの数は、 4となる。これと同じこと力 部分動き ベクトル V〜V , V 〜V をベクトル補正する場合にも当てはまる。
9 11 14 17
[0024] 一方、図 8中に強調して示した部分動きベクトル Vをベクトル補正する場合、その補
7
正には、太線で囲ったとおり、その周辺の部分動きベクトル V , V , V を関係させる
1 8 13
。因みに、部分動きベクトル Vの探索元ブロックは、画像の一端に接するので、周辺
7
の部分動きベクトルの数は、 3となる。これと同じことが、部分動きベクトル V〜V， V
2 5 12
, V , V , V 〜v をベクトル補正する場合にも当てはまる。
8 13 20 23
[0025] また、図 9中に強調して示した部分動きベクトル Vをベクトル補正する場合、その補
1
正には、太線で囲ったとおり、その周辺の部分動きベクトル V , Vを関係させる。因
2 7
みに、部分動きベクトル Vの探索元ブロックは、画像の四隅に位置するので、周辺の
1
部分動きベクトルの数は、 2となる。これと同じことが、部分動きベクトル V , V , V を
6 19 24 ベクトル補正する場合にも当てはまる。
[0026] 次に、図 10を参照してベクトル補正の対象が画像中央に位置する場合（図 7参照） のベクトル補正方法を詳しく説明する。因みに、ベクトル補正の対象が画像の一端に 接していた場合（図 8参照）は、この方法において周辺の部分動きベクトルの数が 1つ 少なくなるだけなので、説明を省略する。
このベクトル補正では、先ず、図 10 (A)に示すように、ベクトル補正の対象を含む 5 つの部分動きベクトル V , V , V , V , V の評価値 B , B , B , B , B を参照 i i+1 i-1 i-6 i+6 i i+1 i- 1 i-6 i+6 し、それらの平均値 Bを算出する。そして、それを閾値とし、 5つの評価値 B , B , B
A i i+1 i
, B , B の各々を比較し、閾値以上となったものに対応する部分動きベクトルを、
-1 i-6 i+6
信頼性有りと判断し、閾値未満となったものに対応する部分動きべ外ルを、信頼性 無しと判断して排除する。ここでは、 3つの部分動きベクトル V , V , V が信頼性有 i i+1 i+6
りと判断されたとする。
[0027] 次に、図 10 (B)に示すように、信頼性有りと判断された部分動きベクトル V , V , V i i+1 i の評価値 A , A , Α を参照し、それら評価値 A , A , Α を比較する。そして、評
+6 i i+1 i+6 i i+1 i+6
価値 Aの最も低力つた部分動きベクトルを、信頼性最高と判断する。ここでは、部分 動きベクトル V が信頼性最高と判断されたとする。
i+1
次に、図 10 (C)に示すように、信頼性最高と判断された部分動きベクトル V の値 i+1 を参照し、ベクトル補正の対象である部分動きベクトル Vの値を、その部分動きべタト ル V の値に置換する。これによつて、部分動きベクトル Vのベクトル補正は完了であ i+1 i
る。因みに、ベクトル補正の対象である部分動きベクトル Vの信頼性が最高と判断さ れた場合には、ベクトル補正が不要となる。
[0028] 以上のベクトル補正方法では、部分動きベクトルの信頼性評価に前述した評価値 A (試験的に位置合わせしたときの位置合わせ精度)を利用するので、部分動きべク トルが多数派であるか否かに拘わらず、正当に評価される。したがって、ベクトル補正 に失敗することも無い。
次に、図 11を参照してベクトル補正の対象が画像の四隅に位置する場合（図 9参 照）のベクトル補正方法を詳しく説明する。このベクトル補正は、他のベクトル補正が 完了した後に行われる。ここでは、代表して 1番目の部分動きベクトル Vのベクトル補
1
正を説明する。
[0029] このベクトル補正は、評価値 A, Bを参照することなく行われる。ベクトル補正の対象 である部分動きベクトル Vの Y成分は、 X方向に隣接する部分動きベクトル Vの Y成
1 2 分 V に置換される。また、部分動きベクトル Vの X成分は、 Y方向に隣接する部分動 きベクトル Vの X成分 V に置換される。
7 7X
(ステップ S 7)
本ステップでは、ベクトル補正後の部分動きベクトル V , V , - --V に応じて、 2枚の
1 2 24
画像のブロック R , R , - --R の各々が位置合わせされ、合成される。これによつて、 1
1 2 24
枚の補正画像が完成する。この合成の際には、画像の必要な箇所が画素補間される
[0030] このように、画像の位置合わせをブロック毎に行えば、ベクトル補正後の部分動きべ タトル V , V , - --V の全てが有効利用されることになり、 2枚の画像間の動きに回転
1 2 24
成分が生じて 、た場合や、拡大 Ζ縮小成分が生じて 、た場合などにも対処できる。 また、ベクトル補正後の部分動きベクトル V , V , - -·ν の各々は、周辺の部分動き
1 2 24
ベクトルとの整合がとれているので、補正後の画像上ではブロック間の継ぎ目は殆ど 目立たな ヽ (ステップ S7終了）。
[0031] 以上、本実施形態の手振れ補正処理では、探索された部分動きベクトルを、前述し た評価値 Α (試験的に位置合わせしたときの位置合わせ精度）に基づきベクトル補正 するので、ベクトル補正に失敗することは無い。その結果、画像の位置合わせ精度、 すなわち手振れ補正精度は、高まる。
また、本実施形態の手振れ補正処理では、評価値 Aに基づくベクトル補正 (ステツ プ S4, S5)が繰り返されるので、手振れ補正精度をより高めることができる。
[0032] すなわち、本実施形態のベクトル補正方法では、多数派'小数派に拘わらず個々 の部分動きベクトルが正しい方向へ補正されるので、ベクトル補正を繰り返すと、部 分動きベクトルの画像上の分布力 S、その真値に向けて収束する。
因みに、特許文献 2のベクトル補正方法では、少数派の部分動きベクトルが多数派 の部分動きベクトルに近づく傾向にあるので、ベクトル補正を繰り返してしまうと、部分 動きベクトルの画像上の分布力 S、その真値に拘わらず平坦ィ匕される傾向にあった。
[0033] (その他）
なお、本実施形態の手振れ補正処理では、評価値 Aの算出時における位置合わ せ対象を、ブロック中の代表 3ラインとした力 ラインの本数を代えてもよい。また、異 なる形状の部分領域としてもよい。部分領域の形状は、例えば、図 12に示すような十 字状、 X字状や、さらには L字状など、様々な形状にすることが可能である。さらには 、ブロックの部分領域を用いる代わりに、ブロックを低解像度変換したものを用いても よい。
[0034] また、本実施形態の手振れ補正では、ベクトル補正 (ステップ S4, S5)の繰り返し回 数が予め設定されていたが、画像処理回路 17が自己判断してもよい。その場合、画 像処理回路 17は、置換される部分動きベクトルの個数が閾値以下となった時点で、 繰り返し終了の判断をすればよい。
また、本実施形態の手振れ補正処理では、各回のベクトル補正 (ステップ S4, S5) の判断基準を、全く同じに設定する必要は無ぐ適当に変更しても構わない。
[0035] また、本実施形態の手振れ補正処理では、ベクトル補正 (ステップ S4, S5)が繰り 返されたが、補正精度よりも演算量低減を優先させる場合は、繰り返しを省略しても よい。
また、本実施形態の手振れ補正処理では、部分動きベクトルの探索に当たり、画像 の特徴量としてエッジ情報を抽出したが (ステップ S2)、エッジ情報以外の他の特徴 量を抽出してもよい。
[0036] また、本実施形態の手振れ補正処理では、位置合わせ合成 (ステップ S7)に先立 ち、部分動きベクトルの分布を滑らかにするための平均化処理が行われてもよい。伹 し、平均化処理は、部分動きベクトルの分布が平坦化され過ぎないよう、適切な強度 に設定される必要がある。
また、本実施形態では、手振れ補正処理を電子スチルカメラの回路 (画像処理回 路 17)に実行させたが、手振れ補正処理の一部又は全部を、ビデオカメラなどの他 の撮像装置、各種の画像入力装置、コンピュータなどに実行させてもよい。なお、コ ンピュータに処理を実行させる場合、その処理を実行させるためのプログラムを用意 し、それをコンピュータにインストールすればよい。

Claims

請求の範囲
[1] 複数の画像間の動きを検出する画像処理方法であって、
前記画像の特徴量に基づき、前記画像中の各ブロック力 部分動きベクトルを探索 する探索手順と、
前記探索された前記部分動きベクトルから 1又は複数の評価値を算出する算出手 順とを含み、
前記評価値の 1つは、
前記部分動きベクトルでその探索元ブロックを試験的に位置合わせしたときの位置 合わせ精度である
ことを特徴とする画像処理方法。
[2] 請求項 1に記載の画像処理方法において、
前記位置合わせ精度は、
前記部分動きベクトルでその探索元ブロックの一部を試験的に位置合わせしたとき の位置合わせ精度である
ことを特徴とする画像処理方法。
[3] 請求項 1又は請求項 2に記載の画像処理方法にお 、て、
前記評価値に基づき前記部分動きベクトルを補正する補正手順をさらに含む ことを特徴とする画像処理方法。
[4] 請求項 3に記載の画像処理方法において、
前記補正手順では、
前記補正の対象となった部分動きベクトルと、その周辺の部分動きベクトルとを前記 評価値で相対評価し、そのうち高評価を得た部分動きベクトルの値で、前記補正の 対象となった部分動きベクトルの値を補正する
ことを特徴とする画像処理方法。
[5] 請求項 4に記載の画像処理方法において、
前記評価値の他の 1つは、
前記部分動きベクトルの探索元ブロックに含まれるエッジ量であり、
前記相対評価では、 前記補正の対象となった部分動きベクトルと、その周辺の部分動きベクトルとのうち 前記エッジ量が小さいものを排除してから、残りの部分動きベクトルを前記位置合わ せ精度で順位付けする
ことを特徴とする画像処理方法。
[6] 請求項 3〜請求項 5の何れか一項に記載の画像処理方法にお 、て、
前記補正の対象となった部分動きベクトルの探索元ブロックが前記画像の隅に位 置していた場合は、
前記補正手順では、
前記部分動きベクトルの前記評価値に拘わらず、その部分動きベクトルの水平成 分と垂直成分とを、その垂直方向に隣接する部分動きベクトルの水平成分と、その水 平方向に隣接する部分動きベクトルの垂直成分とでそれぞれ補正する
ことを特徴とする画像処理方法。
[7] 請求項 3〜請求項 6の何れか一項に記載の画像処理方法にお 、て、
前記部分動きベクトルの全体に関する前記算出手順及び前記補正手順を、複数 回繰り返す
ことを特徴とする画像処理方法。
[8] 請求項 3〜請求項 7の何れか一項に記載の画像処理方法にお 、て、
前記補正後の前記部分動きベクトルに基づき前記複数の画像を位置合わせして合 成する合成手順を更に含む
ことを特徴とする画像処理方法。
[9] 請求項 1〜請求項 8の何れか一項に記載の画像処理方法をコンピュータに実行さ せる
ことを特徴とする画像処理プログラム。
[10] 請求項 1〜請求項 8の何れか一項に記載の画像処理方法を実行する演算手段を 備えた
ことを特徴とする画像処理装置。
[11] 被写体を連続的に撮像して複数の画像を取得する撮像手段と、
請求項 10に記載の画像処理装置と を備えたことを特徴とする撮像装置。
PCT/JP2006/323825 2005-12-26 2006-11-29 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 WO2007074605A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE602006020341T DE602006020341D1 (de) 2005-12-26 2006-11-29 Bildverarbeitungsverfahren, bildverarbeitungsprogramm, bildverarbeitungseinrichtung und bildgebungseinrichtung
EP06833629A EP1968308B1 (en) 2005-12-26 2006-11-29 Image processing method, image processing program, image processing device, and imaging device
US12/084,642 US8482619B2 (en) 2005-12-26 2006-11-29 Image processing method, image processing program, image processing device, and imaging device for image stabilization
JP2007551871A JPWO2007074605A1 (ja) 2005-12-26 2006-11-29 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005372182 2005-12-26
JP2005-372182 2005-12-26

Publications (1)

Publication Number Publication Date
WO2007074605A1 true WO2007074605A1 (ja) 2007-07-05

Family

ID=38217826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323825 WO2007074605A1 (ja) 2005-12-26 2006-11-29 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置

Country Status (5)

Country Link
US (1) US8482619B2 (ja)
EP (1) EP1968308B1 (ja)
JP (1) JPWO2007074605A1 (ja)
DE (1) DE602006020341D1 (ja)
WO (1) WO2007074605A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011077659A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
JP2018129738A (ja) * 2017-02-10 2018-08-16 富士フイルム株式会社 画像処理装置、方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8368047B2 (en) * 2009-10-27 2013-02-05 University Of Seoul Industry Cooperation Foundation Semiconductor device
FR2959376A1 (fr) * 2010-04-22 2011-10-28 France Telecom Procede de traitement d'une information de mouvement, procedes de codage et de decodage, dispositifs, signal et programme d'ordinateur correspondants
US8922648B2 (en) 2010-08-26 2014-12-30 Honda Motor Co., Ltd. Rotation cancellation for moving obstacle detection
US20160012587A1 (en) * 2013-03-06 2016-01-14 Quynh A. Truong System and method for non-invasive determination of cardiac activation patterns
CN112492249B (zh) * 2019-09-11 2024-04-09 瑞昱半导体股份有限公司 图像处理方法及电路

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180370A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
JPH07123406A (ja) * 1993-10-22 1995-05-12 Canon Inc 動きベクトル検出装置
JPH0973540A (ja) * 1995-09-04 1997-03-18 Sharp Corp 動きベクトル算出装置
JPH10134193A (ja) * 1996-10-31 1998-05-22 Oki Electric Ind Co Ltd 移動ベクトル算出方法及び装置
JP2000244851A (ja) * 1999-02-18 2000-09-08 Canon Inc 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2005301984A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
JP2940762B2 (ja) 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JP3418799B2 (ja) 1994-02-21 2003-06-23 富士通株式会社 動きベクトル補正制御方式
JPH0993585A (ja) 1995-09-22 1997-04-04 Sony Corp 動きベクトル検出装置及び動きベクトル検出方法
US6804419B1 (en) 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
WO2002056589A1 (en) * 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
KR100457517B1 (ko) * 2002-02-19 2004-11-17 삼성전자주식회사 프레임 레이트 변환장치 및 그 방법
JP4206730B2 (ja) 2002-11-20 2009-01-14 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180370A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
JPH07123406A (ja) * 1993-10-22 1995-05-12 Canon Inc 動きベクトル検出装置
JPH0973540A (ja) * 1995-09-04 1997-03-18 Sharp Corp 動きベクトル算出装置
JPH10134193A (ja) * 1996-10-31 1998-05-22 Oki Electric Ind Co Ltd 移動ベクトル算出方法及び装置
JP2000244851A (ja) * 1999-02-18 2000-09-08 Canon Inc 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2005301984A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1968308A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011077659A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
US8723965B2 (en) 2009-12-22 2014-05-13 Panasonic Corporation Image processing device, imaging device, and image processing method for performing blur correction on an input picture
JP5499050B2 (ja) * 2009-12-22 2014-05-21 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
JP2018129738A (ja) * 2017-02-10 2018-08-16 富士フイルム株式会社 画像処理装置、方法およびプログラム
US10672108B2 (en) 2017-02-10 2020-06-02 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program

Also Published As

Publication number Publication date
US20100027661A1 (en) 2010-02-04
EP1968308A1 (en) 2008-09-10
US8482619B2 (en) 2013-07-09
EP1968308B1 (en) 2011-02-23
DE602006020341D1 (de) 2011-04-07
JPWO2007074605A1 (ja) 2009-06-04
EP1968308A4 (en) 2010-03-17

Similar Documents

Publication Publication Date Title
WO2007074605A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP3770271B2 (ja) 画像処理装置
JP4815807B2 (ja) Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JPH1093808A (ja) 画像合成装置および方法
US10142541B2 (en) Image processing apparatus, imaging apparatus, and control method of image processing apparatus
WO2012137621A1 (ja) 画像処理方法及び装置
JP2010211255A (ja) 撮像装置、画像処理方法及びプログラム
US20080219574A1 (en) Image processing apparatus and image processing method
JP5449980B2 (ja) 動き補正装置およびその方法
JP5082856B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP6388507B2 (ja) 画像処理装置
WO2021220336A1 (ja) 画像検査装置および画像検査方法
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JPWO2013011797A1 (ja) 劣化復元システム、劣化復元方法およびプログラム
JP2005182098A (ja) 合成画像を生成・表示する装置及び方法
JP2005309782A (ja) 画像処理装置
JP4121605B2 (ja) 撮像画像複合歪み検出装置
JP2006311059A (ja) 動きベクトル検出回路及びその検出方法並びにブレ補正装置
JP6074198B2 (ja) 画像処理装置及び画像処理方法
JP4286301B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP2008048459A (ja) 画像合成装置
JP3903358B2 (ja) 動きベクトルの評価方法および装置
JP2008258980A (ja) 画像情報処理装置および画像傾斜角度算出方法
WO2023223508A1 (ja) 映像処理装置、映像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006833629

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12084642

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2007551871

Country of ref document: JP

Kind code of ref document: A