WO2018230016A1 - 移動体観測方法 - Google Patents

移動体観測方法 Download PDF

Info

Publication number
WO2018230016A1
WO2018230016A1 PCT/JP2017/045949 JP2017045949W WO2018230016A1 WO 2018230016 A1 WO2018230016 A1 WO 2018230016A1 JP 2017045949 W JP2017045949 W JP 2017045949W WO 2018230016 A1 WO2018230016 A1 WO 2018230016A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
image
time
moving body
extracted
Prior art date
Application number
PCT/JP2017/045949
Other languages
English (en)
French (fr)
Inventor
京雨 胡
忠弘 中島
肇 坂野
信一郎 園田
Original Assignee
株式会社Ihi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ihi filed Critical 株式会社Ihi
Priority to EP17914065.2A priority Critical patent/EP3640887A4/en
Priority to RU2019143682A priority patent/RU2737193C1/ru
Priority to JP2019525049A priority patent/JP6737403B2/ja
Publication of WO2018230016A1 publication Critical patent/WO2018230016A1/ja
Priority to US16/675,296 priority patent/US20200074644A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/24—Guiding or controlling apparatus, e.g. for attitude control
    • B64G1/242—Orbits and trajectories
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G3/00—Observing or tracking cosmonautic vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Definitions

  • the present disclosure relates to a method of observing a moving object that is affected by fluctuations and the like.
  • an apparatus such as a CCD camera captures an object as an observation target (hereinafter, referred to as “moving object”) that moves according to a predetermined physical law (for example, at a constant speed), for example, a moving object
  • a predetermined physical law for example, at a constant speed
  • the moving object is buried in background noise, making it difficult to find out.
  • the speed of the moving body is unknown, even if exposure is performed for a long time, the camera can not be moved to the moving body. As a result, the moving object flows in the field of view and can not be projected.
  • Patent Document 1 proposes a moving object detection method for removing noise using a plurality of images acquired in time series.
  • the following processing is performed for each of a plurality of continuous image sequences using a large number of images captured at a constant interval.
  • A Assuming that the moving body is moving at a constant velocity at a certain speed, shift the image at that assumed speed and overlap, find a slightly bright part common to the data at the same location, and find the S / N ratio (signal Noise ratio).
  • B The assumed speed is changed over the entire range of the speed range of the moving object, the process of (a) is repeated, and the speed and position when a bright point is found are acquired as a detection result.
  • C From the results obtained by the above processes (a) and (b) for each image sequence, those which are not inconsistent with each other (the position and velocity are not discontinuous) are integrated as the same moving body.
  • the moving object detection method of Patent Document 1 described above is a method using a so-called superposition method, and can detect the position of the moving object using a large number of images.
  • this method can not grasp the trajectory and behavior of the moving object. For example, even in the case of using N images in the superposition method, it is possible to only detect the position of the moving object in the nth (n ⁇ N) image, and the remaining (N ⁇ 1) It is not possible to detect the position of the mobile in a single image. Therefore, when the superposition method is used, only very sparse information can be obtained with respect to time.
  • the present disclosure has been made in view of the problems described above, and it is an object of the present disclosure to provide a moving object observation method capable of detecting a moving object with high accuracy using a superposition method.
  • One aspect of the present disclosure is a moving object observation method, which acquires a plurality of time-series images captured at predetermined time intervals, and estimates the moving object in the time-series image based on estimated movement of the moving object.
  • the position is determined, and an image including the estimated position of the moving object is extracted as an extracted image from a plurality of images of the time-series images, and the plurality of extracted images are extracted so that the reference points of the moving object coincide.
  • a template image is generated by overlapping, and template matching is performed on the at least one of the time-series images using the template image.
  • the gist of the present invention includes specifying the position of the moving body.
  • the reference point of the moving body in the superposition of the extracted images may be the estimated position of the moving body.
  • Each pixel value of the template image may be set to any one of an average pixel value, a median, and a mode value of corresponding pixels in the plurality of extracted images.
  • the moving object observation method further comprises binarizing each pixel value in a plurality of time-series images or a plurality of extracted images, and calculating a gravity center of the moving object in each binarized extracted image. May be included.
  • the reference point of the moving body in the superposition of the extracted images may be the binarized center of gravity of the moving body.
  • the mobile object may be a microorganism on earth orbit or in liquid.
  • FIG. 1 is a block diagram of a mobile observation device according to an embodiment of the present disclosure. It is a flowchart of the moving body observation method which concerns on this embodiment. It is a figure for demonstrating each step of the moving body observation method which concerns on this embodiment.
  • Is an example of the intensity distribution of the image obtained by the mobile monitoring method according to the present embodiment (a) shows the intensity distribution of the single extracts image shows the intensity distribution of (b) is a template image Q T .
  • FIG. 5 is a flowchart according to a first modification of the present embodiment.
  • FIG. 6 is a flowchart according to a second modification of the present embodiment.
  • FIG. 1 is a block diagram of a mobile observation device according to the present embodiment.
  • the mobile object observation device 10 includes an observation unit 20 and a control unit 30.
  • the observation unit 20 includes an optical system 21 and an imaging unit 22.
  • the optical system 21 forms an optical image including the moving object P to be observed, and is, for example, a telescope or a microscope.
  • the imaging unit 22 acquires an optical image generated by the optical system 21 as image data, and is, for example, a CCD camera.
  • the control unit 30 includes a CPU (calculation unit) 31, a storage unit 32, and an input / output unit (I / O) 33.
  • the CPU 31 executes various operations using, for example, a program or data stored in the storage unit 32.
  • the storage unit 32 stores the program according to the present embodiment and various data, and is configured by a semiconductor memory, a hard disk drive (HDD), or the like.
  • the storage unit 32 also stores the image data sent from the observation unit 20.
  • the input / output unit 33 communicates data, commands, and the like with an external device, and is connected to the imaging unit 22 of the observation unit 20 in the present embodiment. Therefore, the image data acquired by the imaging unit 22 is stored in the storage unit 32 through the communication between the imaging unit 22 and the input / output unit 33, and is used for the calculation of the CPU 31.
  • FIG. 2 is a flowchart of the mobile observation method according to the present embodiment.
  • FIG. 3 is a figure for demonstrating each step of the mobile body observation method based on this embodiment.
  • the moving body observation method according to the present embodiment includes an image acquisition step (step S10), a position estimation step (step S20), an image extraction step (step S30), and a template generation step (step S30).
  • Step S40) and a position specifying step (step S50) are included.
  • the mobile object P to be observed is, for example, debris on the earth's orbit.
  • artificial satellites for various purposes such as military satellites, communication satellites, scientific satellites, observation satellites, navigation satellites, etc. are orbiting. When these satellites break down and become nonfunctional or end their lifetime, they are left on the orbit as they are and move on the orbit (also referred to as space debris or space debris). It is often In addition, debris such as rockets used to launch artificial satellites is also left on orbit as debris.
  • the observation object in this embodiment is not limited to the above-mentioned debris. That is, the moving object observation method can be applied to an object which causes fluctuation in the shape on the image acquired at a predetermined time interval as an observation object. Therefore, the mobile body P may be, for example, a microorganism (for example, a stationary microorganism) in a liquid such as a drug. In this case, a microscope is used as the optical system 21.
  • the cause of the fluctuation may be that the moving object is at a long distance, that the size of the moving object is small, or that the brightness of the moving object is weak.
  • the observation unit 20 of the mobile object observation device 10 captures a plurality of (for example, N) images including the mobile object P at predetermined time intervals, and the control unit of the mobile object observation device 10
  • the time series images F 1 to F N are input to the T.30 (storage unit 32).
  • time-series images F n after the acquisition of the time-series images F n, for each time-series images F n, it may be subjected to a treatment for removing the bright pixel of star like that can cause false detection.
  • noise components due to the stars included in the image signal can be removed by translating the respective images in parallel according to the movement direction and movement amount of the stars and superimposing them, and subtracting the pixel values of the overlapped same pixels.
  • the estimated motion can be expressed as Equation 1 below. ...
  • Equation 1 PosX (k) X coordinate of the estimated position L k of the mobile P is in the time-series images F k (frame number k), PosY (k) the estimated position of the mobile P is in the time-series images F k L k Of the velocity of the mobile object P on the time-series image F n , VelY is a Y-direction component of the velocity of the mobile object P on the time-series image F n , k is less than or equal to N but not n Indicates a positive integer.
  • PosX (n) and PosY (n) are respectively the X coordinate and the Y coordinate of the estimated position L n of the moving object P in the time-series image F n , and are selected from any of the acquired time-series images.
  • the estimated position L n may be referred to from the observation history of the moving object P stored in the storage unit 32, or may be calculated again along with the estimated moving speed of the moving object P. In the latter case, for example, the images are superimposed while sequentially changing the estimated movement speed of the moving body P in the range of (-VelX, -VelY) to (VelX, VelY), and The velocity at which the degree of coincidence of C. becomes high is set as the estimated moving velocity, and the candidate is set as the moving object P.
  • Equation 2 Assuming that the moving object P is in a circular motion, the estimated motion can be expressed as in the following Equation 2 or Equation 3. Note that these circular motions indicate circular orbits with small curvatures in which either the X direction or the Y direction can be approximated as a straight line.
  • A indicates the X coordinate of the center of the circular orbit
  • B indicates the Y coordinate of the center of the circular orbit.
  • Formula 2 shows the case of VelX ⁇ VelY
  • Formula 3 shows the case of VelX> VelY. ... (Equation 2) ... (Equation 3)
  • the size of the extracted image Q n is arbitrary as long as it is smaller than the size of the time-series image F n .
  • the number of time-series images F n to be extracted is an arbitrary number. The higher this number is increased, increasing the reliability of the shape of the moving object P in the template image Q T to be described later. On the other hand, as the number increases, the processing speed of the control unit 30 decreases. Therefore, it is desirable that the number of time-series images used for extraction be an appropriate value in consideration of these circumstances.
  • the extracted image Q n is cut out from all the acquired N images.
  • template generation step (step S40) the reference point of the moving object P to generate a template image Q T by superimposing a plurality of extracted images Q n to match.
  • the reference point is, for example, an estimated position L n on the extracted image Q n . Since the estimated position L n is already obtained at a position estimation step (step S20), the control unit 30 without performing a new calculation process can generate a template image Q T.
  • Template image Q T is generated by calculating an average value of pixel values of the extracted image Q n. For example, when the extracted image Q n is an image of M x ⁇ M y size, each pixel value T (i, j) of the template image Q T is calculated by the following Equation 4. ...
  • T Qn (i, j) is a pixel value at position (i, j) on the extracted image Q n . That is, the intensity distribution of pixels indicating mobile P (that is, mobile P T ) in the template image Q T is that of the pixels that represent mobile P (that is, mobile P 1 to P N ) in the extracted images Q 1 to Q N. It is the average of the intensity distribution.
  • Template image Q T shows a state in which the suppressing such change in shape. That is, the mobile P T in the template image Q T has an "average" shape obtained from the mobile P 1 ⁇ P N in the extraction image Q 1 ⁇ Q N. For example, individual shape changes appearing in the extracted images Q 1 to Q N are equalized in the template image Q T and appear as low-intensity “blur” in the outline of the moving body PT . Meanwhile, a shape common to mobile P 1 ⁇ P N is remains as template image Q T.
  • the mobile P T will include a bright portion indicating a shape common to mobile P 1 ⁇ P N, and a dark portion indicating not common shape the mobile P 1 ⁇ P N. Accordingly, the mobile P T is able to have a shape close to the original shape of the moving object P, the template image Q T will have high reliability as a template.
  • each pixel value of the template image Q T is the average value of each pixel value of the extracted image Q 1 ⁇ Q N. Accordingly, random noise that has appeared in each of the extracted image Q 1 ⁇ Q N is reduced in the template image Q T, improved S / N ratio (signal-noise ratio).
  • 4 (a) shows the intensity distribution of the single extracts image Q n
  • FIG. 4 (b) shows the intensity distribution of the template image Q T.
  • high-intensity parts seen at the center of the intensity distribution indicate mobile bodies P n and mobile bodies P T , respectively.
  • random noise appears around the mobile object P n .
  • FIG. 4A random noise appears around the mobile object P n .
  • the random noise seen in FIG. 4A is significantly reduced around the mobile object PT . Further, due to the reduction of the random noise, the variation in intensity indicating the outline of the moving body PT is also smaller than the intensity indicating the outline of the moving body P n . This also contributes to high reliability as a template.
  • a template matching is applied to at least one of the time-series images F 1 to F N by performing template matching using the template image Q T.
  • the position of the mobile body P in is identified.
  • This template matching is performed around the estimated position L n obtained in the position estimation step (step S20) (a predetermined area including the estimated position L n ).
  • the image to which template matching is applied may be an image including the estimated position L n which is newly extracted (cut out) from the extracted image Q n and the time-series image F n .
  • the same result is obtained because the mobile object P (P n ) and the pixel value indicating the periphery thereof are the same.
  • the time-series image F n is used as an image to which template matching is applied.
  • the similarity of the template image Q T and the time-series image F n is, for example, can be evaluated by a zero mean normalized cross-correlation value R ZNCC shown in Equation 5.
  • the average pixel value of the template image Q T is obtained by Equation 6
  • the average pixel value of the time-series image F n is obtained by Equation 7.
  • M x and M y are the number of pixels indicating the width and height of the template image Q T , respectively.
  • This template matching, time-series images F n-in position of the moving body P n that most approximates the template image Q T, the time-series images F formal position of the moving body P within the n L Sn (n 1 ⁇ N Identify as).
  • the estimated position Ln mobile P n in series images F n is corrected to a particular location L Sn by template matching.
  • the position L Sn of the identified mobile object P n is stored in the storage unit 32 (see FIG. 1).
  • the template image Q T is used as a comparison reference for the template matching.
  • the template image Q T is generated based on the so-called superposition method at a plurality of extracted images Q n of a plurality of time-series image F n. Therefore, even if the shape of the moving object P n to be compared is constantly changing due to the influence of such fluctuation, the shape of the moving object P T in the template image Q T, whereas this change is not easily reflected The shape common to the mobile body P n is strongly reflected.
  • the template image Q T has high reliability as a template, when it is possible to accurately identify the position L Sn mobile P n in the sequence image F n. That is, according to the present embodiment, the moving object P can be detected with high accuracy by using the superposition method.
  • the position L Sn of the mobile object P n is specified (corrected) in each of the time-series images F n . Therefore, by connecting the position of the mobile object P in each image, it is possible to grasp the trajectory and behavior of the mobile object P to be observed. That is, even when the superposition method is used, dense information can be obtained on the position of the mobile object P within the observation time.
  • Each pixel value of the template image Q T is in a plurality of extracted images Qn to be used in generating a template image Q T, the median of the intensity of the corresponding pixel (pixel value) or may be the mode.
  • FIG. 5 is a flowchart according to a first modification of the present embodiment.
  • the moving body observation method may include a binarization step (step S60) and a gravity center calculation step (step S70). Each step is performed by the mobile observation device 10 shown in FIG.
  • Ru for example, a value that is a predetermined multiple of the value of background noise derived from the observation history can be applied.
  • a binarized extracted image Q n is obtained.
  • the barycenter calculation step (step S70) the barycenter of the moving object P n in each binarized time-series image F n or each extracted image Q n is calculated.
  • the plurality of centroids obtained in the centroid calculation step (step S70) are used as reference points of the moving object P n in the superposition of the extracted images Q n . That is, in the template generation step (step S40), by superimposing the extracted image Q n as the center of gravity matches the template image Q T is generated. Thereafter, the position specifying step (step S50) is performed using each binarized image.
  • FIG. 6 is a flowchart according to a second modification of the present embodiment.
  • the moving body observation method may include a binarization step (step S60) according to the first modification and a fitting step (step S80). Similar to the first modification, each step according to the second modification is also executed by the mobile object observation device 10 shown in FIG.
  • the binarized extracted image Q n is obtained in the binarization step (step S60). Then, in the fitting step (step S80), fitting a normal function to two one-dimensional distributions obtained by integrating the pixel distribution of the moving object P n in each of the binarized extracted images Q n in predetermined two directions. The position (maximum luminance position) of the maximum luminance of the mobile object P n is calculated.
  • each pixel of the extracted image Q n is classified into a pixel having a pixel value of 1 indicating a moving object P n and a pixel having a pixel value indicating a background of the moving object P n of 0. It is done. Therefore, in the fitting step (step S80), for these two-dimensional distributions, a one-dimensional distribution in the X direction integrated in the Y direction is calculated, and a one-dimensional distribution in the Y direction integrated in the X direction is calculated. By fitting a normal function to these two one-dimensional distributions, the position (maximum luminance position) of the maximum luminance of the mobile object P n is calculated.
  • the plurality of maximum luminance positions obtained in the fitting step (step S80) are used as reference points of the moving object P n in the superposition of the extracted images Q n . That is, in the template generation step (step S40), by superimposing the extracted image Q n as the maximum luminance position coincides, the template image Q T is generated. Thereafter, the position specifying step (step S50) is performed using each binarized image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

移動体観測方法は、所定の時間間隔で撮影された複数の時系列画像Ｆｎを取得し（ステップＳ１０）、移動体Ｐの推定運動に基づいて、時系列画像Ｆｎにおける移動体Ｐの推定位置Ｌｎを求め（ステップＳ２０）、時系列画像Ｆｎのうちの複数の画像から、移動体Ｐの推定位置Ｌｎを含む画像を抽出画像Ｑｎとして抽出し（ステップＳ３０）、移動体Ｐの基準点が一致するように複数の抽出画像Ｑｎを重ね合わせることによってテンプレート画像ＱＴを生成し（ステップＳ４０）、時系列画像Ｆｎの少なくとも１つに対してテンプレート画像ＱＴを用いたテンプレートマッチングを行うことで、時系列画像Ｆｎのそれぞれにおける移動体Ｐの位置ＬＳｎを特定する（ステップＳ５０）ことを含む。

Description

移動体観測方法
　本開示は、揺らぎ等の影響を伴う移動体の観測方法に関する。
　従来、ＣＣＤカメラ等の機器が、所定の物理法則に則って（例えば一定の速度で）移動する観測対象としての物体（以下、「移動体」と称する。）を撮影するとき、例えば、移動体が遠距離にある場合、移動体の大きさが小さい場合、移動体の明るさが微弱な場合には、移動体が背景のノイズに埋もれてしまい、見つけ出すことが困難であった。特に、移動体の速度が不明なため、長期間露光を行なっても、移動体に合わせてカメラの向きを動かすことができなかった。そのため、移動体が視野内で流れてしまい、映し出すことができなかった。
　かかる問題点に対して、特許文献１は、時系列で取得した複数枚の画像を用いてノイズを除去する移動体検出方法を提案している。この方法では、一定の間隔で撮影した多数の画像を利用し、複数の連続した画像列毎に以下の処理を行っている。（ａ）ある速度で移動体が等速度運動していると仮定し、その仮定速度で画像をずらしながら重ね合わせ、同じ場所のデータに共通した僅かに明るい部分を見つけ出し、Ｓ／Ｎ比（信号雑音比）を向上させる。（ｂ）想定される移動体の速度範囲の全域に渡って仮定速度を変化させて前記（ａ）の処理を繰り返し行い、明るい点が見つかった際の速度及び位置を検出結果として取得する。（ｃ）画像列毎に前記（ａ）及び（ｂ）の処理により得られた結果から、それらが互いに矛盾しない（位置・速度が不連続でない）ものを同じ移動体であるとして統合する。
特開２０１４－５１２１１号公報
　上述した特許文献１の移動体検出方法はいわゆる重ね合わせ法を用いた手法であり、多数の画像を用いて移動体の位置を検出することができる。しかしながら、この方法は、移動体の軌跡や挙動を把握することができない。例えば、重ね合わせ法において、Ｎ枚の画像を用いた場合であっても、ｎ枚目（ｎ＜Ｎ）の画像における移動体の位置を検出することができるだけであって、残りの（Ｎ－１）枚の画像における移動体の位置を検出することができない。したがって、重ね合わせ法を用いた場合には、時間に対して非常に疎な情報しか得ることができない。
　本開示は、上述した問題点に鑑みて創案されたものであり、重ね合わせ法を用いて移動体を精度良く検出することが可能な移動体観測方法を提供することを目的とする。
　本開示の一態様は移動体観測方法であって、所定の時間間隔で撮影された複数の時系列画像を取得し、移動体の推定運動に基づいて、前記時系列画像における前記移動体の推定位置を求め、前記時系列画像のうちの複数の画像から、前記移動体の前記推定位置を含む画像を抽出画像として抽出し、前記移動体の基準点が一致するように複数の前記抽出画像を重ね合わせることによってテンプレート画像を生成し、前記時系列画像のうちの少なくとも１つの画像に対して前記テンプレート画像を用いたテンプレートマッチングを行うことで、前記時系列画像のうちの前記少なくとも１つの画像における前記移動体の位置を特定することを含むことを要旨とする。
　前記抽出画像の重ね合わせにおける前記移動体の前記基準点は、前記移動体の前記推定位置でもよい。
　前記テンプレート画像の各画素値は、複数の前記抽出画像において対応する画素の平均画素値、中央値及び最頻値のうちの何れかに設定されていてもよい。
　前記移動体観測方法は、複数の前記時系列画像または複数の前記抽出画像中の各画素値を二値化し、二値化された各前記抽出画像における前記移動体の重心を算出することを更に含んでもよい。この場合、前記抽出画像の重ね合わせにおける前記移動体の前記基準点は、二値化された前記移動体の前記重心でもよい。
　前記移動体観測方法は、複数の前記時系列画像または複数の前記抽出画像中の各画素値を二値化し、二値化された各前記抽出画像における前記移動体の画素分布を所定の二方向に積算した２つの一次元分布に正規関数のフィッティングを行うことで前記移動体の最大輝度位置を算出すること、を更に含んでもよい。この場合、前記抽出画像の重ね合わせにおける前記移動体の前記基準点は、前記移動体の前記最大輝度位置であってもよい。
　前記移動体は、地球軌道上のデブリ又は液体中の微生物であってもよい。
　本開示によれば、重ね合わせ法を用いて移動体を精度良く検出することが可能な移動体観測方法を提供することができる。
本開示の一実施形態に係る移動体観測装置のブロック図である。 本実施形態に係る移動体観測方法のフローチャートである。 本実施形態に係る移動体観測方法の各ステップを説明するための図である。 本実施形態に係る移動体観測方法によって得られた画像の強度分布の一例であり、（ａ）は一枚の抽出画像の強度分布を示し、（ｂ）はテンプレート画像ＱＴの強度分布を示す。 図５は本実施形態の第１変形例に係るフローチャートである。 図６は本実施形態の第２変形例に係るフローチャートである。
　以下、本開示の実施形態について図面を参照して説明する。図１は、本実施形態に係る移動体観測装置のブロック図である。この図に示すように、移動体観測装置１０は、観測部２０と、制御部３０とを備えている。観測部２０は、光学系２１と、撮像部２２とを備えている。光学系２１は、観測対象である移動体Ｐを含む光学像を形成するものであり、例えば望遠鏡や顕微鏡である。撮像部２２は光学系２１によって生成された光学像を画像データとして取得するものであり、例えばＣＣＤカメラである。制御部３０は、ＣＰＵ（演算部）３１と、記憶部３２と、入出力部（Ｉ／Ｏ）３３とを備えている。ＣＰＵ３１は、例えば、記憶部３２に記憶されたプログラムやデータ等を用いて種々の演算を実行する。記憶部３２は、本実施形態に係るプログラムや種々のデータを記憶するものであり、半導体メモリやハードディスクドライブ（ＨＤＤ）などで構成される。例えば、記憶部３２は、観測部２０から送られてきた画像データも記憶する。入出力部３３は、外部機器との間でデータや指令等の通信を行うものであり、本実施形態では、観測部２０の撮像部２２に接続している。従って、撮像部２２によって取得された画像データは、撮像部２２と入出力部３３の通信を介して記憶部３２に記憶され、ＣＰＵ３１の演算に用いられる。
　図２は、本実施形態に係る移動体観測方法のフローチャートである。図３は本実施形態に係る移動体観測方法の各ステップを説明するための図である。これらの図に示すように、本実施形態に係る移動体観測方法は、画像取得ステップ（ステップＳ１０）と、位置推定ステップ（ステップＳ２０）と、画像抽出ステップ（ステップＳ３０）と、テンプレート生成ステップ（ステップＳ４０）と、位置特定ステップ（ステップＳ５０）とを含む。
　観測対象である移動体Ｐは、例えば、地球軌道上のデブリである。地球軌道上には、軍事衛星、通信衛星、科学衛星、観測衛星、航行衛星等、種々の目的の人工衛星が周回している。これらの人工衛星は、故障して機能しなくなったり、役目を終えて寿命に達したりした場合には、そのまま軌道上に放置され、軌道上を移動するデブリ（宇宙ごみ、スペースデブリとも言う。）となることが多い。また、人工衛星等の打ち上げに使用したロケット等の残骸もデブリとして軌道上に放置されている。
　現在、軌道上を周回しているデブリは、数千個以上にも及び、自然衝突により個数が増加する自己増殖の段階に突入している。このデブリは、現在使用中の人工衛星の軌道周回中や人工衛星等の打ち上げ時に衝突する可能性があることから、高精度な観測方法が求められている。
　なお、本実施形態における観察対象は、上述のデブリに限定されない。即ち、移動体観測方法は、所定の時間間隔で取得された画像上の形状に揺らぎが生じる物体を観測対象として適用できる。従って、移動体Ｐは、例えば、薬剤などの液体中の微生物（例えば静止した微生物）であってもよい。この場合、光学系２１として顕微鏡が用いられる。なお、揺らぎの原因は、移動体が遠距離にあること、移動体の大きさが小さいこと、或いは、移動体の明るさが微弱であること、などが挙げられる。
　画像取得ステップ（ステップＳ１０）では、所定の時間間隔で撮影された、移動体Ｐを含む複数（例えばＮ枚）の時系列画像Ｆｎ（ｎ＝１～Ｎ）を取得する。本実施形態では、移動体観測装置１０の観測部２０が、所定の時間間隔で移動体Ｐを含む像を複数枚（例えばＮ枚）撮影し、その画像データを移動体観測装置１０の制御部３０（記憶部３２）に時系列画像Ｆ１～ＦＮとして入力する。
　なお、各時系列画像Ｆｎの取得後、各時系列画像Ｆｎに対して、誤検出の原因となり得る恒星等の明るい画素を除去する処理を行ってもよい。例えば、恒星の移動方向及び移動量に応じて各画像を平行移動させて重ね合わせ、重なった同一画素の画素値を差し引くことで、画像信号に含まれる恒星によるノイズ成分を除去することができる。
　位置推定ステップ（ステップＳ２０）では、移動体Ｐの推定運動に基づいて、時系列画像Ｆｎ（ｎ＝１～Ｎ）における移動体Ｐの推定位置Ｌｎ（ｎ＝１～Ｎ）を求める。例えば、移動体Ｐが等速直線運動をしていると仮定すれば、その推定運動は以下の数式１のように表現することができる。
Figure JPOXMLDOC01-appb-M000001
 ・・・（数式１）
ここで、ＰｏｓＸ（ｋ）は時系列画像Ｆｋ（フレーム番号ｋ）における移動体Ｐの推定位置ＬｋのＸ座標、ＰｏｓＹ（ｋ）は時系列画像Ｆｋにおける移動体Ｐの推定位置ＬｋのＹ座標、ＶｅｌＸは時系列画像Ｆｎ上の移動体Ｐの速度のＸ方向成分、ＶｅｌＹは時系列画像Ｆｎ上の移動体Ｐの速度のＹ方向成分、ｋはＮ以下でｎ以外の正の整数、を示している。ＰｏｓＸ（ｎ）及びＰｏｓＹ（ｎ）は、それぞれ時系列画像Ｆｎにおける移動体Ｐの推定位置ＬｎのＸ座標及びＹ座標であり、取得した時系列画像のうちの何れかから選択される。なお、推定位置Ｌｎは記憶部３２に記憶された移動体Ｐの観測履歴から参照されてもよく、移動体Ｐの推定移動速度と共に改めて算出してもよい。後者の場合、例えば、移動体Ｐの推定移動速度を（－ＶｅｌＸ，－ＶｅｌＹ）～（ＶｅｌＸ，ＶｅｌＹ）の範囲で順次変えながら各画像を重ね合わせ、各画像上の移動体Ｐの候補の互いの一致度が高くなった時の速度を推定移動速度とし、当該候補を移動体Ｐとして設定する。
　移動体Ｐが円運動をしていると仮定すれば、その推定運動は以下の数式２又は数式３のように表現することができる。なお、これらの円運動は、Ｘ方向又はＹ方向の何れかの方向が直線に近似できる曲率の小さい円軌道を示している。ここで、Ａは前記円軌道の中心のＸ座標、Ｂは前記円軌道の中心のＹ座標を示している。また、数式２はＶｅｌＸ≦ＶｅｌＹの場合を示し、数式３はＶｅｌＸ＞ＶｅｌＹの場合を示している。
Figure JPOXMLDOC01-appb-M000002
 ・・・（数式２）
Figure JPOXMLDOC01-appb-M000003
 ・・・（数式３）
　なお、移動体Ｐの推定運動は、上述した等速直線運動や円運動に限定されるものではなく、観測対象に合わせて任意に変更することができる。
　画像抽出ステップ（ステップＳ３０）では、時系列画像Ｆｎ（ｎ＝１～Ｎ）から、移動体Ｐの推定位置Ｌｎを含む画像を抽出画像Ｑｎとして抽出する（切り出す）。抽出画像Ｑｎのサイズは、時系列画像Ｆｎのサイズよりも小さい限り任意である。抽出対象である時系列画像Ｆｎの枚数は任意の複数である。この枚数が増えるほど、後述のテンプレート画像ＱＴにおける移動体Ｐの形状の信頼性が高まる。その一方で、この枚数が増えるほど、制御部３０の処理速度が低下する。従って、抽出に用いられる時系列画像の枚数は、これらの事情を考慮した適当な値が望ましい。本実施形態では、説明の便宜上、取得したＮ枚の画像の全てから抽出画像Ｑｎを切り出すものとする。
　テンプレート生成ステップ（ステップＳ４０）では、移動体Ｐの基準点が一致するように複数の抽出画像Ｑｎを重ね合わせることによってテンプレート画像ＱＴを生成する。基準点とは、例えば、抽出画像Ｑｎ上の推定位置Ｌｎである。推定位置Ｌｎは既に位置推定ステップ（ステップＳ２０）で得られているため、制御部３０は新たな演算処理を行うことなく、テンプレート画像ＱＴを生成できる。テンプレート画像ＱＴは、各抽出画像Ｑｎの画素値の平均値を算出することで生成される。例えば、抽出画像ＱｎがＭｘ×Ｍｙサイズの画像である場合、テンプレート画像ＱＴの各画素値Ｔ（ｉ，ｊ）は、次の数式４によって算出される。
Figure JPOXMLDOC01-appb-M000004
 ・・・（数式４）
ここで、ＴＱｎ（ｉ，ｊ）は抽出画像Ｑｎ上の位置（ｉ，ｊ）における画素値である。つまり、テンプレート画像ＱＴにおける移動体Ｐ（即ち移動体ＰＴ）を示す画素の強度分布は、抽出画像Ｑ１～ＱＮにおける移動体Ｐ（即ち移動体Ｐ１～ＰＮ）を示す画素の強度分布の平均である。
　図３に示すように、抽出画像Ｑ１～ＱＮにおける移動体Ｐ１～ＰＮの形状は、大気等に起因する揺らぎの影響を受けて絶えず変化する。テンプレート画像ＱＴは、このような形状変化を抑制した状態を示す。即ち、テンプレート画像ＱＴにおける移動体ＰＴは、抽出画像Ｑ１～ＱＮにおける移動体Ｐ１～ＰＮから得られた「平均的な」形状をもつ。例えば、抽出画像Ｑ１～ＱＮに現れる個別の形状変化がテンプレート画像ＱＴでは均され、移動体ＰＴの輪郭において強度の低い「ボケ」として現れる。一方、移動体Ｐ１～ＰＮに共通する形状はテンプレート画像ＱＴにそのまま残る。換言すれば、移動体ＰＴには、移動体Ｐ１～ＰＮに共通する形状を示す明るい部分と、移動体Ｐ１～ＰＮに共通しない形状を示す暗い部分とを含むことになる。これにより、移動体ＰＴが移動体Ｐの本来の形状に近い形状を有することができ、テンプレート画像ＱＴはテンプレートとしての高い信頼性をもつことになる。
　上述の通り、テンプレート画像ＱＴの各画素値は、抽出画像Ｑ１～ＱＮの各画素値の平均値である。従って、抽出画像Ｑ１～ＱＮのそれぞれに現れていたランダムノイズが、テンプレート画像ＱＴでは低減され、Ｓ／Ｎ比（信号雑音比）が向上する。図４（ａ）は、一枚の抽出画像Ｑｎの強度分布を示し、図４（ｂ）は、テンプレート画像ＱＴの強度分布を示す。図４（ａ）及び図４（ｂ）において強度分布の中央に見える強度の高い部分がそれぞれ移動体Ｐｎ及び移動体ＰＴを示す。図４（ａ）に示すように、移動体Ｐｎの周囲にはランダムノイズが現れている。一方、図４（ｂ）に示すように、移動体ＰＴの周囲では図４（ａ）で見られたランダムノイズが著しく減少している。また、ランダムノイズの減少によって、移動体ＰＴの輪郭を示す強度のバラつきも移動体Ｐｎの輪郭を示す強度に比べて少なくなっている。これもテンプレートとしての高い信頼性に寄与する。
　位置特定ステップ（ステップＳ５０）では、時系列画像Ｆ１～ＦＮのうちの少なくとも１つの画像に対してテンプレート画像ＱＴを用いたテンプレートマッチングを行うことで、テンプレートマッチングが適用された時系列画像における移動体Ｐの位置を特定する。このテンプレートマッチングは、位置推定ステップ（ステップＳ２０）で得られた推定位置Ｌｎの周り（推定位置Ｌｎを含む所定の領域）で行われる。なお、テンプレートマッチングが適用される画像は、抽出画像Ｑｎ、時系列画像Ｆｎから新たに抽出される（切り出される）、推定位置Ｌｎを含む画像でもよい。何れの場合も、移動体Ｐ（Ｐｎ）とその周囲を示す画素値は同一なので、同一の結果が得られる。以下、説明の便宜上、テンプレートマッチングを適用する画像として時系列画像Ｆｎを用いるものとする。
　テンプレートマッチングにおいて、テンプレート画像ＱＴと時系列画像Ｆｎの類似度は、例えば、数式５に示したゼロ平均正規化相互相関値ＲＺＮＣＣによって評価することができる。なお、数式５中における、テンプレート画像ＱＴの平均画素値は数式６によって得られ、時系列画像Ｆｎ（或いはテンプレートマッチングのために抽出された画像）の平均画素値は数式７によって得られる。
Figure JPOXMLDOC01-appb-M000005
 ・・・（数式５）
Figure JPOXMLDOC01-appb-M000006
 ・・・（数式６）
Figure JPOXMLDOC01-appb-M000007
 ・・・（数式７）
ここで、Ｍｘ及びＭｙは、それぞれテンプレート画像ＱＴの幅及び高さを示す画素数である。Ｎｘ及びＮｙは、それぞれ時系列画像Ｆｎの幅及び高さを示す画素数である。（ｉ，ｊ）は各画像中の座標（ただし、０≦ｉ≦Ｍｘ－１、０≦ｊ≦Ｍｙ－１）である。Ｔ（ｉ，ｊ）はテンプレート画像ＱＴの画素値（強度、輝度値）である。Ｔ－（数式上はＴの上にマクロン（バー））はテンプレート画像ＱＴの平均画素値（平均強度、平均輝度値）である。Ｉ（ｉ，ｊ）は時系列画像Ｆｎの画素値（強度、輝度値）である。Ｉ－（数式上はＩの上にマクロン（バー））は時系列画像Ｆｎの平均画素値（平均強度、平均輝度値）である。
　このテンプレートマッチングにより、時系列画像Ｆｎ内でテンプレート画像ＱＴと最も近似した移動体Ｐｎの位置を、時系列画像Ｆｎ内における移動体Ｐの正式な位置ＬＳｎ（ｎ＝１～Ｎ）として特定する。換言すれば、時系列画像Ｆｎにおける移動体Ｐｎの推定位置Ｌｎを、テンプレートマッチングによって特定位置ＬＳｎに修正する。特定された移動体Ｐｎの位置ＬＳｎは、記憶部３２（図１参照）に保存される。
　本実施形態では、テンプレート画像ＱＴがテンプレートマッチングの比較基準として用いられる。上述の通り、テンプレート画像ＱＴは、複数の時系列画像Ｆｎのうちの複数の抽出画像Ｑｎから所謂重ね合わせ法に基づいて生成される。従って、比較対象である移動体Ｐｎの形状が揺らぎ等の影響を受けて絶えず変化している場合でも、テンプレート画像ＱＴにおける移動体ＰＴの形状には、この変化が反映されにくくなる一方で、移動体Ｐｎに共通する形状が強く反映される。従って、テンプレート画像ＱＴはテンプレートとしての高い信頼性をもち、時系列画像Ｆｎにおける移動体Ｐｎの位置ＬＳｎを正確に特定することが可能になる。即ち、本実施形態によれば、重ね合わせ法を用いて移動体Ｐを精度良く検出することができる。
　上述の通り、本実施形態によれば、時系列画像Ｆｎのそれぞれにおいて移動体Ｐｎの位置ＬＳｎが特定（修正）される。したがって、各画像における移動体Ｐの位置を繋ぎ合わせることにより、観測対象である移動体Ｐの軌跡や挙動を把握することができる。つまり、重ね合わせ法を用いた場合でも、観測時間内の移動体Ｐの位置について密な情報を得ることができる。
　なお、テンプレート画像ＱＴの各画素値は、テンプレート画像ＱＴの生成に用いられる複数の抽出画像Ｑｎにおいて、対応する画素の強度（画素値）の中央値或いは最頻値でもよい。
　また、本実施形態に係る移動体観測方法は、次の処理を含んでもよい。図５は本実施形態の第１変形例に係るフローチャートである。図５に示すように、移動体観測方法は、二値化ステップ（ステップＳ６０）と、重心算出ステップ（ステップＳ７０）とを含んでもよい。各ステップは、図１に示す移動体観測装置１０によって実行される。
　二値化ステップ（ステップＳ６０）では、時系列画像Ｆｎ（ｎ＝１～Ｎ）或いは抽出画像Ｑｎ（ｎ＝１～Ｎ）中の各画素値が所定の閾値を用いて二値化される。閾値には、例えば観測履歴に由来するバックグランドノイズの値の所定倍の値などが適用できる。二値化ステップ（ステップＳ６０）では、二値化された抽出画像Ｑｎが得られる。そして、重心算出ステップ（ステップＳ７０）では、二値化された各時系列画像Ｆｎまたは各抽出画像Ｑｎにおける移動体Ｐｎの重心が算出される。
　第１変形例におけるテンプレート生成ステップ（ステップＳ４０）は、重心算出ステップ（ステップＳ７０）で得られた複数の重心を、各抽出画像Ｑｎの重ね合わせにおける移動体Ｐｎの基準点として用いる。即ち、テンプレート生成ステップ（ステップＳ４０）では、重心が一致するように各抽出画像Ｑｎを重ね合わせることで、テンプレート画像ＱＴが生成される。その後、二値化された各画像を用いて位置特定ステップ（ステップＳ５０）が実行される。
　図６は本実施形態の第２変形例に係るフローチャートである。図６に示すように、移動体観測方法は、第１変形例に係る二値化ステップ（ステップＳ６０）と、フィッティングステップ（ステップＳ８０）とを含んでもよい。第１変形例と同じく、第２変形例に係る各ステップも、図１に示す移動体観測装置１０によって実行される。
　上述の通り、二値化ステップ（ステップＳ６０）では二値化された抽出画像Ｑｎが得られる。そして、フィッティングステップ（ステップＳ８０）では、二値化された各抽出画像Ｑｎにおける移動体Ｐｎの画素分布を所定の二方向に積算した２つの一次元分布に正規関数のフィッティングを行うことで移動体Ｐｎの最大輝度の位置（最大輝度位置）を算出する。
　二値化ステップ（ステップＳ６０）によって、抽出画像Ｑｎの各画素は、移動体Ｐｎを示す画素値が１の画素と、移動体Ｐｎの背景を示す画素値が０の画素とに分類されている。そこで、フィッティングステップ（ステップＳ８０）では、これらの二次元分布に対して、Ｙ方向に積算したＸ方向の一次元分布を算出すると共に、Ｘ方向に積算したＹ方向の一次元分布を算出する。これらの２つの一次元分布に正規関数のフィッティングを行うことで移動体Ｐｎの最大輝度の位置（最大輝度位置）を算出する。
　第２変形例におけるテンプレート生成ステップ（ステップＳ４０）は、フィッティングステップ（ステップＳ８０）で得られた複数の最大輝度位置を、各抽出画像Ｑｎの重ね合わせにおける移動体Ｐｎの基準点として用いる。即ち、テンプレート生成ステップ（ステップＳ４０）では、最大輝度位置が一致するように各抽出画像Ｑｎを重ね合わせることで、テンプレート画像ＱＴが生成される。その後、二値化された各画像を用いて位置特定ステップ（ステップＳ５０）が実行される。
　なお、本開示は上述の実施形態に限定されず、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内でのすべての変更を含む。

Claims (6)

  1. 　所定の時間間隔で撮影された複数の時系列画像を取得し、
    　移動体の推定運動に基づいて、前記時系列画像における前記移動体の推定位置を求め、
    　前記時系列画像のうちの複数の画像から、前記移動体の前記推定位置を含む画像を抽出画像として抽出し、
    　前記移動体の基準点が一致するように複数の前記抽出画像を重ね合わせることによってテンプレート画像を生成し、
    　前記時系列画像のうちの少なくとも１つの画像に対して前記テンプレート画像を用いたテンプレートマッチングを行うことで、前記時系列画像のうちの前記少なくとも１つの画像における前記移動体の位置を特定する
    ことを含む移動体観測方法。
  2. 　前記抽出画像の重ね合わせにおける前記移動体の前記基準点は、前記移動体の前記推定位置である、
    請求項１に記載の移動体観測方法。
  3. 　前記テンプレート画像の各画素値は、複数の前記抽出画像において対応する画素の平均画素値、中央値及び最頻値のうちの何れかに設定される、
    請求項２に記載の移動体観測方法。
  4. 　複数の前記時系列画像または複数の前記抽出画像中の各画素値を二値化し、
    　二値化された各前記抽出画像における前記移動体の重心を算出する
    ことを更に含み、
    　前記抽出画像の重ね合わせにおける前記移動体の前記基準点は、二値化された前記移動体の前記重心である、
    請求項１に記載の移動体観測方法。
  5. 　複数の前記時系列画像または複数の前記抽出画像中の各画素値を二値化し、
    　二値化された各前記抽出画像における前記移動体の画素分布を所定の二方向に積算した２つの一次元分布に正規関数のフィッティングを行うことで前記移動体の最大輝度位置を算出する
    ことを更に含み、
    　前記抽出画像の重ね合わせにおける前記移動体の前記基準点は、前記移動体の前記最大輝度位置である、
    請求項１に記載の移動体観測方法。
  6. 　前記移動体は、地球軌道上のデブリ又は液体中の微生物である、
    請求項１に記載の移動体観測方法。
PCT/JP2017/045949 2017-06-13 2017-12-21 移動体観測方法 WO2018230016A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17914065.2A EP3640887A4 (en) 2017-06-13 2017-12-21 MOBILE BODY OBSERVATION PROCESS
RU2019143682A RU2737193C1 (ru) 2017-06-13 2017-12-21 Способ наблюдения за движущимся телом
JP2019525049A JP6737403B2 (ja) 2017-06-13 2017-12-21 移動体観測方法
US16/675,296 US20200074644A1 (en) 2017-06-13 2019-11-06 Moving body observation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-115833 2017-06-13
JP2017115833 2017-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/675,296 Continuation US20200074644A1 (en) 2017-06-13 2019-11-06 Moving body observation method

Publications (1)

Publication Number Publication Date
WO2018230016A1 true WO2018230016A1 (ja) 2018-12-20

Family

ID=64659087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045949 WO2018230016A1 (ja) 2017-06-13 2017-12-21 移動体観測方法

Country Status (5)

Country Link
US (1) US20200074644A1 (ja)
EP (1) EP3640887A4 (ja)
JP (1) JP6737403B2 (ja)
RU (1) RU2737193C1 (ja)
WO (1) WO2018230016A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026706A1 (ja) * 2021-08-27 2023-03-02 京セラ株式会社 画像処理装置及び画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4129834A4 (en) * 2020-03-25 2023-05-17 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND COMPUTER READABLE STORAGE MEDIUM

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022929A (ja) * 1999-07-07 2001-01-26 Meidensha Corp 群体微生物検出方法および装置
JP2004205366A (ja) * 2002-12-25 2004-07-22 Japan Science & Technology Agency 高倍率顕微観測装置
JP2008113071A (ja) * 2006-10-27 2008-05-15 Matsushita Electric Works Ltd 自動追尾装置
JP2012056517A (ja) * 2010-09-10 2012-03-22 Ihi Corp スペースデブリ検出方法
JP2014051211A (ja) 2012-09-07 2014-03-20 Ihi Corp 移動体検出方法
JP2014102608A (ja) * 2012-11-19 2014-06-05 Ihi Corp ３次元物体認識装置および３次元物体認識方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP5983209B2 (ja) * 2012-09-07 2016-08-31 株式会社Ihi 移動体検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022929A (ja) * 1999-07-07 2001-01-26 Meidensha Corp 群体微生物検出方法および装置
JP2004205366A (ja) * 2002-12-25 2004-07-22 Japan Science & Technology Agency 高倍率顕微観測装置
JP2008113071A (ja) * 2006-10-27 2008-05-15 Matsushita Electric Works Ltd 自動追尾装置
JP2012056517A (ja) * 2010-09-10 2012-03-22 Ihi Corp スペースデブリ検出方法
JP2014051211A (ja) 2012-09-07 2014-03-20 Ihi Corp 移動体検出方法
JP2014102608A (ja) * 2012-11-19 2014-06-05 Ihi Corp ３次元物体認識装置および３次元物体認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3640887A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026706A1 (ja) * 2021-08-27 2023-03-02 京セラ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP3640887A4 (en) 2021-03-17
RU2737193C1 (ru) 2020-11-25
JPWO2018230016A1 (ja) 2020-04-09
JP6737403B2 (ja) 2020-08-05
EP3640887A1 (en) 2020-04-22
US20200074644A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7297018B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN109086734B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
CN106524909B (zh) 三维图像采集方法及装置
US9911204B2 (en) Image processing method, image processing apparatus, and recording medium
WO2017103068A1 (en) Method and apparatus for determining spacecraft attitude by tracking stars
US8582810B2 (en) Detecting potential changed objects in images
JP2023120281A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
US10713516B2 (en) System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
WO2018230016A1 (ja) 移動体観測方法
Ham et al. Hand waving away scale
US11354881B2 (en) System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
CN110728249B (zh) 目标行人的跨摄像机识别方法、装置及系统
US9824455B1 (en) Detecting foreground regions in video frames
US9842402B1 (en) Detecting foreground regions in panoramic video frames
JP2017016356A5 (ja)
JP6840968B2 (ja) 形状推定方法、形状推定装置および形状推定プログラム
JP6080487B2 (ja) 移動天体検出装置およびその制御方法
CN111238829A (zh) 移动状态的确定方法、装置、计算机设备和存储介质
RU2681703C1 (ru) Способ обнаружения отрезка прямой
JP4274038B2 (ja) 画像処理装置および画像処理方法
JP2014085721A (ja) 移動天体検出装置およびその制御方法
Taleb et al. Stars Detection and Localisation Improvement Based on Image Processing
CN110567728B (zh) 用户拍摄意图的识别方法、装置及设备
CN108414195B (zh) 待测光源发射器的检测方法、装置、系统及存储装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17914065

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525049

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017914065

Country of ref document: EP

Effective date: 20200113