WO2018105290A1 - 画像センサ - Google Patents

画像センサ Download PDF

Info

Publication number
WO2018105290A1
WO2018105290A1 PCT/JP2017/040037 JP2017040037W WO2018105290A1 WO 2018105290 A1 WO2018105290 A1 WO 2018105290A1 JP 2017040037 W JP2017040037 W JP 2017040037W WO 2018105290 A1 WO2018105290 A1 WO 2018105290A1
Authority
WO
WIPO (PCT)
Prior art keywords
control signal
trajectory
image sensor
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/040037
Other languages
English (en)
French (fr)
Inventor
小林　正嗣
井上　諭
堀江　陽介
能勢　敦
光夫 大山田
佐伯　隆司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018554870A priority Critical patent/JP7100590B2/ja
Publication of WO2018105290A1 publication Critical patent/WO2018105290A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This technology relates to image sensors. Specifically, the present invention relates to an image sensor for controlling a control target device using captured image data.
  • an image processing apparatus that captures an image of an object at predetermined intervals and generates an image representing the locus of the object based on these images is known.
  • an image processing apparatus that obtains a trajectory of an object from when the first image is photographed until the second image is photographed, and interpolates the trajectory using the obtained trajectory (for example, a patent).
  • an interpolation process is performed in order to obtain an object locus from an image of an object photographed at predetermined intervals.
  • a processing speed of about 30 to 120 fps (frames / second) is generally sufficient, but that is not sufficient for advanced control. Therefore, even though the trajectory of the obtained object can be drawn, it is difficult to use it for controlling other devices. That is, it is difficult to control other devices in real time based on the trajectory of the object generated by the interpolation process.
  • the present technology has been created in view of such a situation, and an object of the present technology is to control an apparatus based on a trajectory of an object using high-speed image data different from low-speed image data for display.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology is an imaging device that captures an object and generates frames of image data arranged in time series, and the above-described frame. Generate a difference between a binarization processing unit that performs binarization processing on each to generate a binarized frame and the binarized frame adjacent to the time series, and includes the difference in the binarized frame
  • a tracking processing unit that tracks a change in the position of the target object, a moment generation unit that calculates a moment of the target object included in the binarized frame based on a result of the tracking processing unit, and the moment generation unit
  • a center-of-gravity position generation unit that generates a center-of-gravity position of the object included in the binarized frame based on the moment generated by
  • a trajectory generator that predicts and generates a trajectory of the object based on the position of the center of gravity of the object, and a control that supplies a control signal to the control target device based on
  • the trajectory generation unit predicts a trajectory of the distance to the object
  • the control signal supply unit includes the control signal when the predicted distance satisfies a predetermined condition. May be supplied. This brings about the effect
  • control signal may be a control signal for controlling the operation of the buffer member. This brings about the effect
  • control signal may be a control signal for controlling the operation of the warning device. This brings about the effect
  • the trajectory generation unit predicts a trajectory of the trajectory of the object, and the control signal supply unit supplies the control signal for displaying the predicted trajectory. It may be. This brings about the effect
  • the trajectory generation unit predicts a flight distance of the object, and the control signal supply unit supplies the control signal for displaying the predicted flight distance. It may be. This brings about the effect
  • the trajectory generation unit predicts the arrival position of the object, and the control signal supply unit supplies the control signal for displaying the predicted arrival position. It may be. As a result, the predicted arrival position is displayed.
  • control signal supply unit may supply the control signal for outputting a sound signal corresponding to the predicted arrival position. This brings about the effect
  • an optical element that supplies an image including the object to the imaging element may be further provided, and the control signal may be a control signal that controls the operation of the optical element.
  • control signal may be a control signal that is displayed by replacing a part of the frame with a predetermined image. This brings about the effect
  • the apparatus can be controlled based on the trajectory of the object based on the high-speed image data different from the low-speed image data for display.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • 18 is a flowchart illustrating an example of an image superimposition processing procedure in a sixth application example of the embodiment of the present technology. It is a figure showing an example of distance calculation in the 7th example of application of an embodiment of this art. It is a figure which shows the aspect of the object tracking in the 7th application example of embodiment of this technique. It is a figure which shows the aspect of the distance calculation in the 7th application example of embodiment of this technique. 24 is a flowchart illustrating an example of a distance calculation processing procedure according to a seventh application example of the embodiment of the present technology.
  • Embodiment configuration example of control system
  • First application example example of buffer member control
  • Second application example sphere simulation example 4
  • Third application example example of on-site announcement
  • Fourth application example example of volcanic bomb warning
  • Fifth application example example of tracking imaging
  • Sixth application example example of image superimposition
  • Seventh application example (distance calculation example)
  • FIG. 1 is a diagram illustrating a configuration example of a control system according to an embodiment of the present technology.
  • the image processing system in this embodiment includes an image sensor 100, a display device 320, and a control target device 330.
  • the image sensor 100 captures an object including the object, predicts the locus of the object, and controls the control target device 330 based on the locus of the object.
  • the operation input device 310 receives an operation input from the outside.
  • the display device 320 displays information obtained by the image sensor 100.
  • the control target device 330 is a device controlled by the image sensor 100.
  • the image sensor 100 includes an imaging unit 110, a filter processing unit 120, a binarization processing unit 130, a tracking processing unit 140, a moment generation unit 150, a centroid position generation unit 160, a totalization processing unit 210, and a control.
  • the imaging unit 110 is an imaging element that images a subject including a target object.
  • the imaging unit 110 generates frames of image data arranged in time series at a predetermined frame rate.
  • a high frame rate of 1000 frames per second (1000 fps) or more is assumed as the frame rate. It is not necessary for all the frames of image data captured by the imaging unit 110 to be supplied to the outside of the image sensor 100.
  • the image data with a high frame rate is intended for the control described below, and a frame rate lower than this is sufficient for display. In other words, it is possible to effectively utilize the bandwidth of the image sensor 100 by keeping high frame rate image data as a reference in the image sensor 100.
  • the imaging unit 110 is an example of an imaging element described in the claims.
  • the object is an object that widely includes non-living objects as well as living things such as people and animals.
  • the filter processing unit 120 performs a filtering process on each frame of image data captured by the imaging unit 110.
  • the filter processing in the filter processing unit 120 for example, noise removal processing using a moving average filter or median filter, contour detection processing using a Sobel filter, edge detection using a Laplacian filter, or the like is assumed.
  • the number of objects included in the image can be calculated by obtaining the Euler number of the image by the filter processing unit 120.
  • the Euler number is the number of components minus the number of holes.
  • the binarization processing unit 130 performs binarization processing on each of the frames subjected to the filter processing by the filter processing unit 120.
  • the binarization processing unit 130 binarizes the image data based on luminance and color histogram information included in the image data of each frame, and generates a binarized frame including the binarized data.
  • the tracking processing unit 140 detects an object included in the binarized frame by generating a difference between frames adjacent in time series for the binarized frame generated by the binarization processing unit 130. , To track changes in the position of the object. When detecting an object, it is possible to designate a specific region in the image as a measurement target.
  • the moment generation unit 150 calculates the moment of the two-variable function in the binarized frame based on the result of the tracking processing unit 140.
  • the 0th-order moment represents the amount of change in the area of the object included in the binarized frame, and is a value that is invariant to image rotation and enlargement / reduction.
  • the center-of-gravity position generation unit 160 generates the center-of-gravity position of the target object included in the binarized frame based on the moment generated by the moment generation unit 150.
  • a value obtained by dividing the respective primary moments in the horizontal direction and the vertical direction by the zeroth moment represents the position of the center of gravity.
  • the tally processing unit 210 performs tally processing based on various data obtained by the image sensor 100, and generates a trajectory of the object. As shown in the application example below, the totalization processing unit 210 performs necessary processing according to the application that operates.
  • the control unit 220 performs operation control on each unit of the image sensor 100.
  • the interface 230 serves as an interface with the outside. In this example, the interface 230 is connected to the control target device 330 and supplies a control signal to the control target device 330.
  • the interface 230 is connected to the display device 320 and causes the display device 320 to display information obtained by the image sensor 100.
  • the aggregation processing unit 210 is an example of a trajectory generation unit described in the claims.
  • the output from the center-of-gravity position generation unit 160 clearly shows the route through which the output is supplied to the totalization processing unit 210 and the control unit 220.
  • a route for supplying data may be provided as necessary.
  • the trajectory of the object can be predicted, and the control target device can be controlled based on the predicted trajectory. Further, it is not necessary to process the image in the subsequent stage, and control can be performed in real time using only the calculation result.
  • FIG. 2 is a diagram illustrating an example of control of the buffer member in the first application example of the embodiment of the present technology.
  • the image sensor 100 is provided around the protection target, imaging is performed, the trajectory of the target is predicted, and the predicted trajectory is obtained. Based on this, the buffer member is controlled. Thereby, the protection object can be protected by the buffer member against the danger approaching the protection object.
  • the protection target 511 is, for example, a building, and a buffer member 512 is provided on the surrounding fence.
  • An image sensor 513 as an example of the image sensor 100 is provided on the fence.
  • the image sensor 513 detects the moving object 514 as a collision prediction target, and determines whether or not the moving object 514 collides with the protection target 511. Identify.
  • a warning is given to brake the moving object 514 at the position P1.
  • a warning lamp is provided on the fence and the warning is performed by lighting the warning lamp.
  • control is performed to inflate the buffer member 512 at the timing when the moving object 514 reaches the position P2 to enter the defense state.
  • the protection target 515 is a human.
  • a human bears the buffer member 516 and the image sensor 517 on the back.
  • the buffer member 516 is controlled to be inflated to be in a protective state.
  • a normal automobile airbag is activated when it is actually subjected to an impact due to a collision, and cannot be protected in advance. There is also the possibility of injury from the sudden bulge itself. According to the buffer member of this example, such inconvenience can be avoided. Moreover, since the buffer member of this example is not an acceleration sensor but an image sensor, it can be installed on a protected object that does not move.
  • FIG. 3 is a diagram illustrating another example of the control of the buffer member in the first application example of the embodiment of the present technology.
  • the protection target is a human and the collision prediction target is the ground.
  • FIG. 3a it is assumed that a person holds the shock-absorbing member 521 in front, and an image sensor 522 for imaging the front is attached to the head. At this time, when the person to be protected falls forward, if the image sensor 522 predicts a collision with the ground, the buffer member 521 is controlled to be inflated to be in a protective state.
  • FIG. 3b it is assumed that a human carries the shock-absorbing member 523 on the back, and an image sensor 524 that captures the rear is mounted on the head. At this time, when the human being to be protected falls backward, if the image sensor 524 predicts a collision with the ground, the buffer member 523 is controlled to be inflated to be in a protective state.
  • FIG. 3c it is assumed that a buffer member is spread on the ground and an image sensor 526 that captures the person is arranged at a place where the person is working at a high place. At this time, when a human being to be protected falls, if the image sensor 526 predicts a collision with the ground, control is performed so that the buffer member 525 at the predicted drop position is inflated to be in a protective state.
  • the image sensor may be mounted on the protection target itself, or may be disposed at a position where the movement of the protection target can be observed.
  • the buffer member may be attached to the protection target itself, or may be disposed at a position where a collision of the protection target is predicted.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure for controlling the buffer member in the first application example of the embodiment of the present technology.
  • image data for predicting danger is acquired (step S811).
  • This image data may be the observation of the collision prediction target from the protection target side, or may be the observation of both the protection target and the collision prediction target.
  • One of the images is picked up by the image pickup unit 110, and image data is acquired.
  • the acquired image data constitutes a time-series frame. As described above, a high frame rate of 1000 fps or higher is assumed as the frame rate, and thereby, a collision between the protection target and the collision prediction target can be accurately predicted.
  • the noise is removed (noise reduction) from the acquired frames by the filter processing unit 120 (step S812).
  • processing is selected in accordance with an instruction from the operation input device 310 (step S813).
  • the binarization processing unit 130 performs binarization based on the histogram of the image in the frame, and detects the target (step S815). Then, the difference between frames adjacent in time series is generated by the tracking processing unit 140, and the detected target is tracked (target tracking) (step S816). Further, moment calculation is performed on the target by the moment generator 150 (step S817).
  • the movement amount of the target is calculated by the gravity center position generation unit 160 (step S818). Further, based on the calculated moment, the total processing unit 210 calculates the target moving direction (step S818). The calculated amount and direction of movement of the target are displayed on the display device 320 via the interface 230 (step S819).
  • step S813 When a plurality of targets are instructed (step S813: Yes), a distance calculation using a plurality of parallaxes is performed (step S814). At this time, the coordinate position of each target is acquired, and target detection in step S815 is performed.
  • Step S821 Based on the calculated amount and direction of movement of the target, a trajectory of the distance between the protection target and the collision prediction target is predicted, and an operation is performed to determine whether or not a collision occurs between them (Ste S821).
  • a predetermined expected value is exceeded
  • the fact of collision determination is displayed on the display device 320 via the interface 230, and control is performed to inflate the buffer member to enter the protective state (step S825).
  • the display device 320 displays a notice of prior warning determination via the interface 230 and is controlled to generate a warning sound, for example (step S824).
  • the value does not approximate the expected value and does not exceed the expected value, such warning is not performed (step S823).
  • the trajectory of the distance between the protection target and the collision prediction target is calculated based on the movement amount and movement direction of the target.
  • the buffer member can be controlled.
  • warning display can be controlled by the same determination.
  • FIG. 5 is a diagram illustrating an example of a sphere simulation in the second application example of the embodiment of the present technology.
  • an image of a sphere to be observed is captured by the image sensor 100, and the movement amount and movement direction of the sphere are calculated. Thereby, the trajectory of the sphere can be predicted.
  • the mobile terminal 533 images the player 531 hitting the ball 532.
  • the portable terminal 533 includes the image sensor 100, and imaging is performed by the imaging unit 110.
  • Target tracking and moment calculation are performed based on the captured image, and the amount and direction of movement of the ball 532 are calculated. Thereby, the trajectory of the sphere is predicted, and the flight distance of the ball 532 is predicted.
  • the flight distance predicted in this way is displayed as the estimated flight distance 534 on the display unit of the portable terminal 533.
  • the example in which the estimated flight distance is displayed has been described.
  • the speed and rotation direction of the ball 532 may be displayed.
  • a marker is attached to the ball 532, and the state of rotation can be observed by tracking the marker.
  • FIG. 6 is a diagram illustrating an example of a trajectory of a sphere in the second application example of the embodiment of the present technology.
  • the space between the spheres is about 140 cm between adjacent frames, and it is difficult to predict the trajectory of the sphere. is there.
  • the distance between the spheres between adjacent frames is about 4.2 cm, and the trajectory of the sphere can be accurately predicted.
  • the example of the sphere simulation can be used for, for example, baseball batting measurement, tennis serve measurement, and soccer free kick measurement in addition to the above-described simulation golf.
  • baseball batting measurement e.g., baseball batting measurement
  • tennis serve measurement e.g., tennis serve measurement
  • soccer free kick measurement e.g., soccer free kick measurement
  • the high frame rate of the present embodiment not only the confirmation of the form but also the speed of the hit ball, the estimated flight distance, the rotation direction, etc. can be observed simultaneously from the side of the player.
  • FIG. 7 is a flowchart showing an example of the processing procedure of the sphere simulation in the second application example of the embodiment of the present technology.
  • image data is acquired by imaging a sphere that is a measurement target by the imaging unit 110 (step S831).
  • the acquired image data constitutes a time-series frame.
  • Noise is removed from each acquired frame by the filter processing unit 120 (step S832).
  • binarization is performed by the binarization processing unit 130 based on the color and brightness of the image in the frame (step S833).
  • the marker is detected. If no marker is attached, the entire sphere is detected.
  • a region is set for the detected marker (step S834), and a difference between frames adjacent in time series in the region is generated by the tracking processing unit 140. Thereby, tracking of the marker (target tracking) is performed in the set region (step S835). Further, moment calculation is performed by the moment generator 150 for the marker (step S836).
  • the movement amount of the marker is calculated by the centroid position generation unit 160 (step S837).
  • the totalization processing unit 210 calculates the movement direction of the marker (step S837).
  • the calculated marker movement amount and direction are displayed on the display device 320 via the interface 230 (step S838).
  • processing is selected in accordance with an instruction from the operation input device 310 (step S839), and when the rotation rate is calculated, the rotation rate of the marker is calculated in the aggregation processing unit 210 (step S841).
  • the calculated rotation rate of the marker is displayed on the display device 320 via the interface 230 (step S842).
  • the marker trajectory and the estimated flight distance are predicted (step S843).
  • the sphere trajectory is predicted based on the movement amount and the movement direction of the sphere, thereby estimating the sphere. Distance can be predicted.
  • FIG. 8 is a diagram illustrating an example of an in-field announcement in the third application example of the embodiment of the present technology.
  • a camera 541 including the image sensor 100 is installed in each place of the venue (ballpark), and a speaker 542 is installed in the vicinity of the camera 541.
  • control is performed so as to output an announcement for calling attention from the speaker 542 near the falling point.
  • FIG. 9 is a diagram illustrating a mode of predicting the intrusion of the ball into the passenger seat in the third application example of the embodiment of the present technology.
  • a fence 543 is provided between the ground and the audience seat. If the position is lower than the fence 543, the ball hits the fence 543 and falls to the ground. However, if the ball exceeds this fence 543, it may fall into the audience seat and hit the audience, causing injury.
  • the camera 541 follows the ball at a high frame rate, predicts the trajectory of the ball, and quickly catches the ball likely to exceed the fence 543 before the fence 543 is exceeded.
  • the camera 541 since the speaker 542 that plays the announcement can be limited to the vicinity of the fall point, the range can be narrowed down to perform appropriate alerting. Moreover, this can avoid making the fence 543 unnecessarily high, and can suppress a reduction in the presence of the stadium.
  • FIG. 10 is a diagram illustrating a system configuration example according to the third application example of the embodiment of the present technology.
  • cameras 541 including the image sensor 100 are installed at various locations on the fence 543, and information obtained by the image sensor 100 is supplied to the control device 545.
  • a control signal is supplied from the control device 545 to the speaker 542 so as to output a warning announcement.
  • FIG. 11 is a flowchart illustrating an example of a processing procedure for in-place announcement in the third application example of the embodiment of the present technology.
  • image data is acquired by imaging a ball that is a measurement target by the imaging unit 110 (step S851).
  • the acquired image data constitutes a time-series frame.
  • Noise is removed from each acquired frame by the filter processing unit 120 (step S852).
  • the binarization processing unit 130 performs binarization based on the color and brightness of the image in the frame, and the target ball is detected (step S853).
  • step S854 The difference between adjacent frames in time series is generated by the tracking processing unit 140 for the detected ball, and the ball is tracked (target tracking) (step S854). Further, moment calculation is performed on the ball by the moment generator 150 (step S855). As a result, if a motion is detected, the following processing from step S857 is performed, and if no motion is detected, the processing from step S851 is repeated.
  • the total processing unit 210 calculates the distance between the camera 541 and the ball (step S857). Further, the totaling processing unit 210 determines the moving direction and locus of the ball (step S858). Furthermore, according to the position of the ball, the totalization processing unit 210 determines whether it is a foul ball or a home run (step S859). Based on these pieces of information, a control signal is supplied from the control unit 220 via the interface 230 so as to output a warning announcement to the speaker 542, and an automatic announcement is reproduced (step S861).
  • the ball trajectory is predicted to estimate the ball falling point, and an in-field announcement corresponding to the situation It can be performed.
  • FIG. 12 is a diagram illustrating an example of a volcanic bomb warning in the fourth application example of the embodiment of the present technology.
  • the volcanic crater to be observed is imaged by the image sensor 100 as shown in FIG.
  • a warning such as an evacuation recommendation is given with the estimated fall point as a dangerous area.
  • a volcanic bomb can be captured at a high frame rate, the size and moving speed of the volcanic bomb can be measured, and its reach can be estimated.
  • FIG. 13 is a flowchart showing an example of a volcanic bomb warning processing procedure in the fourth application example of the embodiment of the present technology.
  • calibration is performed so that appropriate imaging is performed.
  • Image data is acquired by imaging the volcano crater to be observed by the imaging unit 110 (step S871).
  • the acquired image data constitutes a time-series frame.
  • Each acquired frame is subjected to correction such as contrast by the filter processing unit 120 (step S872). Thereby, the influence by weather and time can be relieved.
  • the binarization processing unit 130 performs binarization based on the color and luminance of the image in the frame, and a difference between frames adjacent in time series is generated by the tracking processing unit 140 to extract a moving object (step) S873).
  • moment calculation is performed by the moment generation part 150, and the vector of the area and movement amount is measured (step S874).
  • step S875 Whether or not a volcanic bomb has been generated is determined from the measured area of the moving object and the vector of the moving amount (step S875). If it is determined that a volcanic bomb has been generated (step S875: Yes), the processing after step S876 is performed. When it is determined that no volcanic bomb has been generated (step S875: No), the processing after step S871 is repeated.
  • the total processing unit 210 estimates the mass of the volcanic bomb (step S876). Further, the reach of the volcanic bomb is estimated based on the measured area of the moving object and the vector of the movement amount (step S877). And alert information is produced
  • the fall point of the volcanic bomb is estimated, and the warning regarding the reach is given. Information can be generated.
  • FIG. 14 is a diagram illustrating an example of tracking imaging in the fifth application example of the embodiment of the present technology.
  • a lens driving actuator 552 is provided in the lens portion of the camera 550 including the image sensor 100.
  • an automatic tracking button 551 for controlling the lens driving actuator 552 is provided. While the automatic tracking button 551 is pressed, the lens driving actuator 552 is controlled so that the object detected as the target is fixedly captured in the screen. Since the camera 550 is gripped by the photographer, camera shake or the like often occurs and the target position is not constant. According to this embodiment, such a target is captured at a fixed position and imaged. Can do.
  • FIG. 15 is a diagram illustrating an aspect of tracking imaging in the fifth application example of the embodiment of the present technology.
  • a ball is captured as a target during a soccer game is shown.
  • a detection frame 553 is displayed around the ball. This indicates that the image sensor 100 can recognize the ball.
  • the automatic tracking button 551 is pressed while the detection frame 553 is displayed, the movement of the ball is tracked by the tracking processing unit 140 and the moment calculation is performed by the moment generating unit 150. Then, based on the calculated moment, the movement amount of the ball is calculated by the gravity center position generation unit 160. Also, the ball movement direction 554 is calculated in the totalization processing unit 210 based on the calculated moment. The aggregation processing unit 210 predicts the ball trajectory from the calculated movement amount and movement direction of the ball.
  • the control unit 220 supplies control information to the lens driving actuator 552 in accordance with the predicted trajectory of the ball. With this control information, the lens driving actuator 552 is driven to move the lens. At this time, if the camera moves, the position of the center of gravity of the camera shifts, so control information is further fed back from the control unit 220 to the lens driving actuator 552. Thereby, the lens is moved by driving the lens driving actuator 552, and imaging is performed so that the position of the ball becomes a fixed position in the screen.
  • the lens is an example of an optical element described in the claims.
  • trajectory prediction may be performed for about several frames.
  • FIG. 16 is a diagram illustrating another aspect of the tracking imaging in the fifth application example of the embodiment of the present technology.
  • the zoom mode is assumed as the imaging mode.
  • the detection of the face is performed together with the detection of the ball.
  • a detection frame 558 is displayed around the ball, and a detection frame 559 is displayed around the face.
  • FIG. 17 is a flowchart illustrating an example of a tracking imaging process procedure according to the fifth application example of the embodiment of the present technology.
  • the flowchart on the left represents the processing procedure of the camera 550 main body
  • the flowchart on the right represents the processing procedure of the image sensor 100.
  • step S731: Yes When the camera 550 starts imaging, the image sensor 100 is activated. When the power of the image sensor 100 is off (step S731: Yes), the operation of the image sensor 100 is not performed. When the image sensor 100 is powered on (step S731: No), the process waits until a target is designated by the camera 550 (step S732).
  • the camera 550 performs imaging and display in the monitoring mode (step S711).
  • a target to be tracked is designated (step S712).
  • a ball is designated as a target in a soccer game.
  • target detection starts step S713: Yes
  • the coordinates of the target are notified to the image sensor 100 (step S714).
  • the target tracking fails step S715: No
  • the target is detected again (step S713).
  • step S732 When the target is specified and its coordinates are notified (step S732: Yes), the image sensor 100 detects the target. If the detection is successful (step S733: Yes), the image sensor 100 returns a detection response to the camera 550 (step S734). In addition, even if the detection is successful, if the subsequent target tracking fails (step S735: No), a notification that the tracking is not performed is returned to the camera 550 (step S738), and the target is detected again. (Step S733).
  • the camera 550 waits for the automatic tracking button 551 to be pressed when it receives a notification of target detection or a notification that it is out of tracking from the image sensor 100 (step S716: Yes).
  • the automatic tracking button 551 starts to be pressed (step S717: Yes)
  • the image sensor 100 is instructed to perform tracking control (step S718).
  • the pressing of the automatic tracking button 551 is completed (step S719: Yes)
  • the image sensor 100 is instructed to control tracking (step S721).
  • step S736 Upon receiving control related to tracking from the camera 550 (step S736: Yes), the image sensor 100 predicts the trajectory of the ball and controls the lens driving actuator 552 based on the predicted trajectory (step S737). Meanwhile, target tracking is repeated (step S735).
  • the camera 550 repeats the target tracking (step S715) until the mode is switched (step S722).
  • the process returns to the target designation unless the power is turned off (step S712).
  • the target locus is predicted, and thus the lens driving actuator 552 is driven based on the predicted locus. Control. Thereby, it is possible to take an image so that the position of the ball becomes a fixed position in the screen.
  • FIG. 18 is a diagram illustrating an example of image superposition in the sixth application example of the embodiment of the present technology.
  • an original image is captured by the image sensor 100.
  • a part to be superimposed is detected in the original image, and another image is superimposed on the part.
  • the superimposed image can be supplied as necessary.
  • FIG. 18a shows an example in which the advertisement portion described in the player's uniform is replaced with another advertisement during a soccer game as an example. It is assumed that the company name 561 of “P Shoji” is described as an advertisement on the player's uniform on the spot. Since this is physical, it does not change itself. The on-site camera takes a picture of this state as it is.
  • the captured images will be broadcast to various locations through broadcasting station equipment.
  • the company name or brand name corresponding to the advertising contract is superimposed on the advertisement part of the photographed image.
  • the company name “Q industry” is superimposed on “P trading”, and the superimposed image is broadcast.
  • the company name 562 of “Q industry” appears as an advertisement on the player's uniform displayed on the television.
  • FIG. 19 is a diagram illustrating an example of image superimposition timing in the sixth application example of the embodiment of the present technology.
  • 30 fps is assumed as the frame rate of the broadcasting camera.
  • 1000 fps is assumed as a frame rate of a high-speed camera including the image sensor 100 of the present embodiment.
  • target tracking is performed using the advertisement portion that is the target of superimposition in the image captured by the high-speed camera as the tracking target.
  • the coordinate position and shape of an advertisement part are recognized.
  • a new advertisement texture is generated, and the generated texture is pasted on the advertisement part of the frame of the broadcast camera. Since the frame rate of the high-speed camera is sufficiently faster than the frame rate of the broadcast camera, after performing these processes on the frame of the high-speed camera, the frame can be superimposed on the frame of the broadcast camera.
  • FIG. 20 is a flowchart illustrating an example of an image superimposition processing procedure in the sixth application example of the embodiment of the present technology.
  • image data is acquired by the image sensor 100 (step S881).
  • the acquired image data constitutes a time-series frame.
  • Noise is removed from each acquired frame by the filter processing unit 120 (step S882).
  • the binarization processing unit 130 performs binarization based on the color and luminance of the image in the frame, and detects a marker to be superimposed (step S883).
  • An area is set for the detected marker (step S884), and a difference between frames adjacent in time series in the area is generated by the tracking processing unit 140.
  • marker tracking target tracking
  • moment calculation is performed on the marker by the moment generator 150 (step S886).
  • processing is selected in accordance with an instruction from the operation input device 310 (step S887).
  • the superimposed video is output through the interface 230 (step S889).
  • the original video is output via the interface 230 without performing the superimposing process (step S889).
  • the locus of the superimposition target is predicted to superimpose and replace the image at the superimposition target position. Can do.
  • FIG. 21 is a diagram illustrating an example of distance calculation in the seventh application example of the embodiment of the present technology.
  • object tracking used in motion capture or the like has been performed using a plurality of cameras in order to accurately measure a three-dimensional movement. Therefore, the system is large and expensive. Therefore, in order to perform distance calculation using the control system in the present embodiment, an image of the object to be measured is captured by the image sensor 100, and the distance of the object is calculated.
  • the tracking target object 571 is arranged at a predetermined coordinate position (0, 0), and the distance and area at that time are recorded as the reference distance and the reference area. Thereafter, tracking is performed on the object 571, the center of gravity (x, y) and the area s of the object 571 are calculated, and the distance z is calculated from the area and the result of calibration by the following equation.
  • Distance z reference distance ⁇ (area s / reference area) 1/2
  • FIG. 22 is a diagram illustrating an aspect of object tracking in the seventh application example of the embodiment of the present technology.
  • a high frame rate of 1000 fps or more is assumed as the frame rate captured by the image sensor 100, the amount of motion in units of frames is very small.
  • tracking can be performed with a simple mechanism by localizing the detection range and obtaining the area and the center of gravity in the range.
  • the vicinity of the center of gravity 573 of the object 572 in the previous frame is set as a detection target frame 574.
  • one side (width and height) of the detection range is expressed by the following equation.
  • ⁇ is a search range coefficient.
  • One side of the detection range (0th moment of the previous frame) 1/2 ⁇ ⁇
  • the binarization processing unit 130 When the tracking processing unit 140 detects the object 575 in the next frame in the detection target frame 574, the binarization processing unit 130 performs binarization processing. As a result, “1” is indicated as the bitmap I (x, y) at the position (x, y) of the object 575, and “0” is indicated at other positions.
  • center-of-gravity position generation unit 160 Based on the moment generated in this way, the center-of-gravity position generation unit 160 generates the coordinates of the center-of-gravity position by the following expression.
  • Center of gravity x coordinate horizontal first moment / zero order moment
  • Center of gravity y coordinate vertical first moment / zero order moment
  • FIG. 23 is a diagram illustrating an aspect of distance calculation in the seventh application example of the embodiment of the present technology.
  • the distance can be calculated from the area obtained by the camera 561 by calibrating the relationship between the distance and the area at the reference position in advance.
  • the area A0 at the reference position is set as the reference area, and the distance D0 at that time is set as the reference distance.
  • FIG. 24 is a flowchart illustrating an example of a distance calculation processing procedure according to the seventh application example of the embodiment of the present technology. It is assumed that calibration is performed as a precondition for the distance calculation.
  • image data is acquired by the image sensor 100 (step S891).
  • the acquired image data constitutes a time-series frame.
  • Noise is removed from each acquired frame by the filter processing unit 120 (step S892).
  • the binarization processing unit 130 performs binarization based on the color and luminance of the image in the frame, and detects a marker to be superimposed (step S893).
  • An area is set for the detected marker (step S 894), and a difference between frames adjacent in time series in the area is generated by the tracking processing unit 140. Thereby, tracking of the marker (target tracking) is performed in the set region (step S895).
  • moment calculation is performed for the marker by the moment generator 150 (step S896). Based on the calculated moment, the movement amount of the marker is calculated by the centroid position generation unit 160 (step S897).
  • the process is selected according to the instruction from the operation input device 310 (step S898), and when the distance is calculated, the distance is calculated in the totalization processing unit 210 (step S899).
  • the calculated distance is displayed on the display device 320 via the interface 230, for example.
  • the distance to the object can be calculated by predicting the trajectory of the object assuming a high frame rate of 1000 fps or more as the frame rate.
  • the object trajectory is predicted by imaging the object at a high frame rate and performing image processing in the image sensor 100, and the prediction result thereof.
  • the control target device 330 can be controlled based on the above.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • an image sensor that images a target and generates frames of image data arranged in time series;
  • a binarization processing unit that performs binarization processing on each of the frames to generate a binarized frame;
  • a tracking processing unit that generates a difference between the binarized frames adjacent to each other in time series and tracks a change in the position of the object included in the binarized frame;
  • a moment generation unit that calculates a moment of the object included in the binarized frame based on a result of the tracking processing unit;
  • a center-of-gravity position generation unit that generates a center-of-gravity position of the object included in the binarized frame based on the moment generated by the moment generation unit;
  • a trajectory generator that predicts and generates a trajectory of the object based on the barycentric position of the object generated by the centroid position generator;
  • An image sensor comprising: a control signal supply unit configured to supply a control signal to the control target device based on the trajectory of the
  • the trajectory generation unit predicts a trajectory of the distance to the object, The image sensor according to (1), wherein the control signal supply unit supplies the control signal when the predicted distance satisfies a predetermined condition.
  • the control signal is a control signal for controlling the operation of the buffer member.
  • the control signal is a control signal for controlling the operation of the warning device.
  • the trajectory generator predicts a trajectory of the trajectory of the object, The image sensor according to any one of (1) to (4), wherein the control signal supply unit supplies the control signal for displaying the predicted trajectory.
  • the trajectory generator predicts the flight distance of the object, The image sensor according to (5), wherein the control signal supply unit supplies the control signal for displaying the predicted flight distance.
  • the locus generation unit predicts the arrival position of the object, The image sensor according to (5), wherein the control signal supply unit supplies the control signal for displaying the predicted arrival position.
  • the image sensor according to (7), wherein the control signal supply unit supplies the control signal for outputting an audio signal corresponding to the predicted arrival position.
  • (9) further comprising an optical element that supplies an image including the object to the image sensor;
  • the image sensor according to any one of (1) to (8), wherein the control signal is a control signal for controlling an operation of the optical element.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

表示のための低速画像データとは異なる高速画像データによる対象物の軌跡に基づいて装置の制御を行う。　撮像素子は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する。二値化処理部は、フレームの各々に対して二値化処理を行って二値化フレームを生成する。トラッキング処理部は、時系列に隣接する二値化フレームの間の差分を生成して二値化フレームに含まれる対象物の位置の変化を追跡する。モーメント生成部は、二値化フレームのモーメントを算出する。重心位置生成部は、二値化フレームに含まれる対象物の重心位置を生成する。軌跡生成部は、対象物の軌跡を予測して生成する。制御信号供給部は、対象物の軌跡に基づいて制御対象装置に制御信号を供給する。

Description

画像センサ
　本技術は、画像センサに関する。詳しくは、撮像された画像データを利用して制御対象装置の制御を行うための画像センサに関する。
　従来、物体の画像を所定の間隔毎に撮影して、それらの画像に基づいて物体の軌跡を表す画像を生成する画像処理装置が知られている。例えば、第１画像が撮影されてから第２画像が撮影されるまでの間における物体の軌跡を求め、その求めた軌跡を用いて軌跡を補間する画像処理装置が提案されている（例えば、特許文献１参照。）。
特開２０１５－０８７９０４号公報
　上述の従来技術では、所定の間隔毎に撮影された物体の画像から物体の軌跡を求めるために補間処理を行っている。画像を表示するためには、一般に３０乃至１２０ｆｐｓ（フレーム／秒）程度の処理速度で足りるが、高度な制御を行うためにはそれでは不十分である。そのため、求められた物体の軌跡を描画することはできても、それを他の装置の制御に利用することが難しい。すなわち、補間処理により生成された物体の軌跡に基づいて、他の装置に対してリアルタイムに制御を行うことは困難である。
　本技術はこのような状況に鑑みて生み出されたものであり、表示のための低速画像データとは異なる高速画像データによる対象物の軌跡に基づいて装置の制御を行うことを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、上記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、時系列に隣接する上記二値化フレームの間の差分を生成して上記二値化フレームに含まれる上記対象物の位置の変化を追跡するトラッキング処理部と、上記トラッキング処理部による結果に基づいて上記二値化フレームに含まれる上記対象物のモーメントを算出するモーメント生成部と、上記モーメント生成部によって生成された上記モーメントに基づいて上記二値化フレームに含まれる上記対象物の重心位置を生成する重心位置生成部と、上記重心位置生成部によって生成された上記対象物の重心位置に基づいて上記対象物の軌跡を予測して生成する軌跡生成部と、上記軌跡生成部によって生成された上記対象物の軌跡に基づいて制御対象装置に制御信号を供給する制御信号供給部とを具備する画像センサである。これにより、予測された対象物の軌跡に基づいて制御対象装置を制御するという作用をもたらす。
　また、この第１の側面において、上記軌跡生成部は、上記対象物との距離の軌跡を予測し、上記制御信号供給部は、上記予測された距離が所定の条件を満たす場合に上記制御信号を供給するようにしてもよい。これにより、予測された距離に応じて制御対象装置を制御するという作用をもたらす。
　また、この第１の側面において、上記制御信号は、緩衝部材の動作を制御する制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて緩衝部材の動作を制御するという作用をもたらす。
　また、この第１の側面において、上記制御信号は、警告装置の動作を制御する制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて警告装置の動作を制御するという作用をもたらす。
　また、この第１の側面において、上記軌跡生成部は、上記対象物の弾道の軌跡を予測し、上記制御信号供給部は、上記予測された軌跡を表示するための上記制御信号を供給するようにしてもよい。これにより、予測された対象物の軌跡を表示するという作用をもたらす。
　また、この第１の側面において、上記軌跡生成部は、上記対象物の飛距離を予測し、上記制御信号供給部は、上記予測された飛距離を表示するための上記制御信号を供給するようにしてもよい。これにより、予測された飛距離を表示するという作用をもたらす。
　また、この第１の側面において、上記軌跡生成部は、上記対象物の到達位置を予測し、上記制御信号供給部は、上記予測された到達位置を表示するための上記制御信号を供給するようにしてもよい。これにより、予測された到達位置を表示するという作用をもたらす。
　また、この第１の側面において、上記制御信号供給部は、上記予測された到達位置に応じた音声信号を出力するための上記制御信号を供給するようにしてもよい。これにより、予測された到達位置に応じた音声信号を出力するという作用をもたらす。
　また、この第１の側面において、上記撮像素子に上記対象物を含む画像を供給する光学素子をさらに具備し、上記制御信号は、上記光学素子の動作を制御する制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて光学素子の動作を制御するという作用をもたらす。
　また、この第１の側面において、上記制御信号は、上記フレームの一部を所定の画像に置換して表示させる制御信号であってもよい。これにより、予測された対象物の軌跡に基づいて画像を置換するという作用をもたらす。
　本技術によれば、表示のための低速画像データとは異なる高速画像データによる対象物の軌跡に基づいて装置の制御を行うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における制御システムの一構成例を示す図である。 本技術の実施の形態の第１の適用例における緩衝部材の制御の例を示す図である。 本技術の実施の形態の第１の適用例における緩衝部材の制御の他の例を示す図である。 本技術の実施の形態の第１の適用例における緩衝部材の制御の処理手順例を示す流れ図である。 本技術の実施の形態の第２の適用例における球体シミュレーションの例を示す図である。 本技術の実施の形態の第２の適用例における球体の軌跡の例を示す図である。 本技術の実施の形態の第２の適用例における球体シミュレーションの処理手順例を示す流れ図である。 本技術の実施の形態の第３の適用例における場内アナウンスの例を示す図である。 本技術の実施の形態の第３の適用例におけるボールの客席への侵入を予測する態様を示す図である。 本技術の実施の形態の第３の適用例におけるシステム構成例を示す図である。 本技術の実施の形態の第３の適用例における場内アナウンスの処理手順例を示す流れ図である。 本技術の実施の形態の第４の適用例における火山弾警報の例を示す図である。 本技術の実施の形態の第４の適用例における火山弾警報の処理手順例を示す流れ図である。 本技術の実施の形態の第５の適用例における追跡撮像の例を示す図である。 本技術の実施の形態の第５の適用例における追跡撮像の態様を示す図である。 本技術の実施の形態の第５の適用例における追跡撮像の他の態様を示す図である。 本技術の実施の形態の第５の適用例における追跡撮像の処理手順例を示す流れ図である。 本技術の実施の形態の第６の適用例における画像重畳の例を示す図である。 本技術の実施の形態の第６の適用例における画像重畳のタイミング例を示す図である。 本技術の実施の形態の第６の適用例における画像重畳の処理手順例を示す流れ図である。 本技術の実施の形態の第７の適用例における距離算出の例を示す図である。 本技術の実施の形態の第７の適用例におけるオブジェクトトラッキングの態様を示す図である。 本技術の実施の形態の第７の適用例における距離算出の態様を示す図である。 本技術の実施の形態の第７の適用例における距離算出の処理手順例を示す流れ図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．実施の形態（制御システムの構成例）
　２．第１の適用例（緩衝部材の制御の例）
　３．第２の適用例（球体シミュレーションの例）
　４．第３の適用例（場内アナウンスの例）
　５．第４の適用例（火山弾警報の例）
　６．第５の適用例（追跡撮像の例）
　７．第６の適用例（画像重畳の例）
　８．第７の適用例（距離算出の例）
　＜１．実施の形態＞
　図１は、本技術の実施の形態における制御システムの一構成例を示す図である。この実施の形態における画像処理システムは、画像センサ１００と、表示装置３２０と、制御対象装置３３０とを備える。
　画像センサ１００は、対象物を含む被写体を撮像して、対象物の軌跡を予測し、その対象物の軌跡に基づいて制御対象装置３３０を制御するものである。操作入力装置３１０は、外部からの操作入力を受け付けるものである。表示装置３２０は、画像センサ１００によって得られた情報を表示するものである。制御対象装置３３０は、画像センサ１００によって制御される装置である。
　画像センサ１００は、撮像部１１０と、フィルタ処理部１２０と、二値化処理部１３０と、トラッキング処理部１４０と、モーメント生成部１５０と、重心位置生成部１６０と、集計処理部２１０と、制御部２２０と、インターフェース２３０とを備える。
　撮像部１１０は、対象物を含む被写体を撮像する撮像素子である。この撮像部１１０は、所定のフレームレートにより、時系列に並ぶ画像データのフレームを生成する。ここで、フレームレートとしては、１秒当たり１０００フレーム（１０００ｆｐｓ）以上の高フレームレートを想定する。この撮像部１１０によって撮像された画像データのフレームは、その全てが画像センサ１００の外部に供給される必要はない。高フレームレートの画像データは以下に説明する制御を目的としたものであり、表示のためにはこれよりも低いフレームレートで十分である。すなわち、高フレームレートの画像データを画像センサ１００内の参照に留めることにより、画像センサ１００のバンド幅を有効に活用することが可能となる。なお、撮像部１１０は、特許請求の範囲に記載の撮像素子の一例である。また、対象物は、人物や動物などの生物のみならず、非生物を広く含むオブジェクトである。
　フィルタ処理部１２０は、撮像部１１０によって撮像された画像データのフレームの各々に対してフィルタ処理を施すものである。このフィルタ処理部１２０におけるフィルタ処理としては、例えば、移動平均フィルタやメディアンフィルタなどによるノイズ除去処理、Ｓｏｂｅｌフィルタなどによる輪郭検出処理、ラプラシアンフィルタなどによるエッジ検出などが想定される。また、このフィルタ処理部１２０によって画像のオイラー数を求めることにより、画像に含まれる対象物の個数を算出することも可能である。オイラー数とは、成分数から孔の数を引いた数である。
　二値化処理部１３０は、フィルタ処理部１２０によってフィルタ処理の施されたフレームの各々に対して二値化処理を行うものである。この二値化処理部１３０は、各フレームの画像データに含まれる輝度や色のヒストグラム情報に基づいてその画像データを二値化して、二値化データからなる二値化フレームを生成する。
　トラッキング処理部１４０は、二値化処理部１３０によって生成された二値化フレームについて、時系列に隣接するフレーム間の差分を生成することにより、二値化フレームに含まれる対象物を検出して、その対象物の位置の変化を追跡するものである。対象物の検出の際には、画像における特定の領域を測定対象として指定することが可能である。
　モーメント生成部１５０は、トラッキング処理部１４０による結果に基づいて、二値化フレームにおける２変数関数のモーメントを算出するものである。０次モーメントは、その二値化フレームに含まれる対象物の面積の変化量を表し、画像の回転や拡大縮小に対して不変な値である。
　重心位置生成部１６０は、モーメント生成部１５０によって生成されたモーメントに基づいて、二値化フレームに含まれる対象物の重心位置を生成するものである。水平方向および垂直方向の各１次モーメントをそれぞれ０次モーメントで除算した値が、重心位置を表す。
　集計処理部２１０は、画像センサ１００によって得られた各種データに基づいて集計処理を行って、対象物の軌跡を生成するものである。この集計処理部２１０は、以下の適用例に示すように、動作するアプリケーションに応じて必要な処理を行う。制御部２２０は、画像センサ１００の各部に対する動作制御を行うものである。インターフェース２３０は、外部とのインターフェースを司るものである。この例では、インターフェース２３０は制御対象装置３３０と接続して、制御対象装置３３０に制御信号を供給する。また、インターフェース２３０は表示装置３２０と接続して、画像センサ１００によって得られた情報を表示装置３２０に表示させる。なお、集計処理部２１０は、特許請求の範囲に記載の軌跡生成部の一例である。
　なお、この図においては、重心位置生成部１６０からの出力が集計処理部２１０および制御部２２０に供給される経路を明示しているが、画像センサ１００の各部から集計処理部２１０に対して各種データを供給する経路が必要に応じて設けられてもよい。
　このように構成することにより、対象物の軌跡を予測して、その予測された軌跡に基づいて制御対象装置を制御することができる。また、後段において画像を処理する必要がなく、演算結果のみを利用してリアルタイムに制御を行うことができる。
　＜２．第１の適用例＞
　図２は、本技術の実施の形態の第１の適用例における緩衝部材の制御の例を示す図である。本実施の形態における制御システムを用いて緩衝部材の制御を行うためには、保護対象の周囲に画像センサ１００を設けて撮像を行い、対象物の軌跡を予測して、その予測された軌跡に基づいて緩衝部材を制御する。これにより、保護対象に迫る危険に対して、緩衝部材によって保護対象を保護することができる。
　図２におけるａでは、保護対象５１１は例えば建造物であり、その周囲の柵に緩衝部材５１２が設けられている。柵には画像センサ１００の一例としての画像センサ５１３が設けられている。この保護対象５１１にオートバイや自動車などの移動物体５１４が近付いてきた場合、画像センサ５１３はこの移動物体５１４を衝突予測対象として検出して、移動物体５１４が保護対象５１１に衝突するか否かの識別を行う。
　移動物体５１４の移動速度および移動方向から衝突の危険があると判断した場合には、位置Ｐ１において移動物体５１４に対してブレーキをかけるよう警告を行う。例えば、柵に警告ランプを設けて、その警告ランプを点灯させるなどの方法により警告を行う。また、移動速度が減速せず、物理的に衝突を回避できないと判断した場合には、移動物体５１４が位置Ｐ２に到達したタイミングで緩衝部材５１２を膨らませて防御状態にするよう制御する。
　図２におけるｂでは、保護対象５１５は人間である。この例では、人間が背面に緩衝部材５１６および画像センサ５１７を背負うことを想定している。このとき、移動物体５１８が保護対象５１５の背面から迫ってきた場合に、画像センサ５１７が衝突を予測すると、緩衝部材５１６を膨らませて防御状態にするよう制御する。
　これに対し、通常の自動車のエアバッグは、実際に衝突により衝撃を受けた際に作動するようになっており、事前保護を行うことができない。また、その急激な膨らみそのものによる怪我の可能性もある。この例の緩衝部材によれば、そのような不都合は避けることができる。また、この例の緩衝部材は、加速度センサではなく、画像センサによるものであるため、移動しない保護対象の方に設置することができる。
　図３は、本技術の実施の形態の第１の適用例における緩衝部材の制御の他の例を示す図である。この例では、保護対象は人間であり、衝突予測対象は地面である。
　図３におけるａでは、人間が緩衝部材５２１を正面に抱えるとともに、前方を撮像する画像センサ５２２を頭部に装着することを想定している。このとき、保護対象である人間が前方に倒れた場合に、画像センサ５２２が地面への衝突を予測すると、緩衝部材５２１を膨らませて防御状態にするよう制御する。
　図３におけるｂでは、人間が緩衝部材５２３を背面に背負うとともに、後方を撮像する画像センサ５２４を頭部に装着することを想定している。このとき、保護対象である人間が後方に倒れた場合に、画像センサ５２４が地面への衝突を予測すると、緩衝部材５２３を膨らませて防御状態にするよう制御する。
　図３におけるｃでは、人間が高所作業を行っている場所において、地面に緩衝部材を敷き詰めるとともに、その人間を撮像する画像センサ５２６を配置することを想定している。このとき、保護対象である人間が落下した場合に、画像センサ５２６が地面への衝突を予測すると、その予測された落下位置の緩衝部材５２５を膨らませて防御状態にするよう制御する。
　このように、この例において、画像センサは保護対象自身に装着してもよく、また、保護対象の動きを観察できる位置に配置してもよい。同様に、緩衝部材は保護対象自身に装着してもよく、また、保護対象の衝突が予測される位置に配置されてもよい。
　図４は、本技術の実施の形態の第１の適用例における緩衝部材の制御の処理手順例を示す流れ図である。
　まず、危険を予測するための画像データが取得される（ステップＳ８１１）。この画像データは、保護対象の側から衝突予測対象を観察したものでもよく、また、保護対象と衝突予測対象の両者を観察したものでもよい。いずれかの画像が撮像部１１０によって撮像されて、画像データが取得される。取得された画像データは、時系列のフレームを構成する。上述のように、フレームレートとしては、１０００ｆｐｓ以上の高フレームレートを想定しており、これにより、保護対象と衝突予測対象との間の衝突を正確に予測することができる。
　取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去（ノイズリダクション）される（ステップＳ８１２）。
　その後、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８１３）。単数ターゲットが指示された場合には（ステップＳ８１３：Ｎｏ）、二値化処理部１３０によってフレームにおける画像のヒストグラムによる二値化が行われて、ターゲットが検出される（ステップＳ８１５）。そして、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、検出されたターゲットの追跡（ターゲットトラッキング）が行われる（ステップＳ８１６）。また、そのターゲットについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８１７）。
　演算されたモーメントに基づいて、ターゲットの移動量が重心位置生成部１６０によって算出される（ステップＳ８１８）。また、演算されたモーメントに基づいて、集計処理部２１０においてターゲットの移動方向が算出される（ステップＳ８１８）。算出されたターゲットの移動量および移動方向は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８１９）。
　複数ターゲットが指示された場合には（ステップＳ８１３：Ｙｅｓ）、複数の視差による距離演算がおこなわれる（ステップＳ８１４）。このとき、各ターゲットの座標位置が取得され、ステップＳ８１５におけるターゲット検出が行われる。
　算出されたターゲットの移動量および移動方向に基づいて、保護対象と衝突予測対象との間の距離の軌跡を予測し、両者の間に衝突が発生するか否かを判断する演算が行われる（ステップＳ８２１）。演算の結果、所定の期待値を超える場合には、インターフェース２３０を介して表示装置３２０に衝突判定の旨が表示され、緩衝部材を膨らませて防御状態にするよう制御される（ステップＳ８２５）。また、期待値を超えないものの、期待値に近似する場合には、インターフェース２３０を介して表示装置３２０に事前警告判定の旨が表示され、例えば警告音等を発生するよう制御される（ステップＳ８２４）。また、期待値に近似せず、期待値を超えない場合には、そのような警告は行われない（ステップＳ８２３）。
　これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
　このように、この第１の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、ターゲットの移動量および移動方向に基づいて保護対象と衝突予測対象との間の距離の軌跡を予測することにより、緩衝部材の制御を行うことができる。また、同様の判断により、警告表示の制御も行うことができる。
　＜３．第２の適用例＞
　図５は、本技術の実施の形態の第２の適用例における球体シミュレーションの例を示す図である。本実施の形態における制御システムを用いて球体シミュレーションを行うためには、観測対象である球体の画像を画像センサ１００により撮像し、球体の移動量および移動方向などを算出する。これにより、球体の軌跡を予測することができる。
　例えば、シミュレーションゴルフの場合、プレーヤ５３１がボール５３２を打つ様子を携帯端末５３３によって撮像する。この携帯端末５３３には画像センサ１００が含まれており、その撮像部１１０によって撮像が行われる。撮像された画像に基づいてターゲットトラッキングやモーメント演算が行われ、ボール５３２の移動量および移動方向などが算出される。これにより、球体の軌跡が予測され、ボール５３２の飛距離が予測される。このようにして予測された飛距離は、携帯端末５３３の表示部に推定飛距離５３４として表示される。
　この例では、推定飛距離を表示する例について説明したが、例えば、ボール５３２の速度や回転方向などを表示するようにしてもよい。ボール５３２の回転を計測するためには、ボール５３２にマーカを付して、このマーカを追跡することにより、回転の状態を観察することができる。
　図６は、本技術の実施の形態の第２の適用例における球体の軌跡の例を示す図である。
　例えば、時速１５０ｋｍで球体が投球された場合、従来のカメラのように３０ｆｐｓで球体を観察すると、隣接するフレーム間では球体の間隔が約１４０ｃｍ空いてしまい、球体の軌跡を予測することは困難である。これに対し、この実施の形態では１０００ｆｐｓ以上の高フレームレートを想定することにより、隣接するフレーム間の球体の間隔は約４．２ｃｍとなり、球体の軌跡を緻密に予測することができる。
　すなわち、投球の初期段階で高精度な移動速度を割り出して、初期動作による球体の軌跡を予測することができる。また、軌跡の途中において、垂直方向の移動量の有無を判断することにより、頂点に達しているか否かを認識して、その後に下降することを予測することができる。
　この球体シミュレーションの例は、上述のシミュレーションゴルフの他に、例えば野球のバッティングの測定、テニスのサーブの測定、サッカーのフリーキックの測定に用いることができる。本実施の形態の高フレームレートを想定することにより、フォームの確認だけでなく、打球の速度、推定飛距離、回転方向などをプレーヤの横側から同時に観測することができる。
　図７は、本技術の実施の形態の第２の適用例における球体シミュレーションの処理手順例を示す流れ図である。
　まず、撮像部１１０によって測定対象である球体を撮像することによって画像データが取得される（ステップＳ８３１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８３２）。
　そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われる（ステップＳ８３３）。ここでは、球体にマーカを付したことを想定して、そのマーカを検出する。なお、マーカを付していない場合には、球体全体を検出する。
　検出されたマーカに対して領域が設定されて（ステップＳ８３４）、その領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される。これにより、設定された領域においてマーカの追跡（ターゲットトラッキング）が行われる（ステップＳ８３５）。また、そのマーカについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８３６）。
　演算されたモーメントに基づいて、マーカの移動量が重心位置生成部１６０によって算出される（ステップＳ８３７）。また、演算されたモーメントに基づいて、集計処理部２１０においてマーカの移動方向が算出される（ステップＳ８３７）。算出されたマーカの移動量および移動方向は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８３８）。
　また、操作入力装置３１０からの指示に従って処理が選択され（ステップＳ８３９）、回転率を算出する場合には、集計処理部２１０においてマーカの回転率が算出される（ステップＳ８４１）。算出されたマーカの回転率は、インターフェース２３０を介して表示装置３２０に表示される（ステップＳ８４２）。
　そして、算出されたマーカの移動量および移動方向（回転率が算出された場合には、さらに回転率）に基づいて、マーカの軌跡および推定飛距離の予測演算が行われる（ステップＳ８４３）。
　これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
　このように、この第２の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、球体の移動量および移動方向などに基づいて球体の軌跡を予測することにより、球体の推定飛距離を予測することができる。
　＜４．第３の適用例＞
　図８は、本技術の実施の形態の第３の適用例における場内アナウンスの例を示す図である。本実施の形態における制御システムを用いて場内アナウンスを行うためには、会場（球場）の各所に画像センサ１００を含むカメラ５４１を設置するとともに、カメラ５４１の近辺にスピーカ５４２を設置する。カメラ５４１によってボールの行方を追って、ホームランやファールボールとなったボールが客席に侵入することが予測された場合、その落下地点付近のスピーカ５４２から注意を喚起するアナウンスを出力するよう制御を行う。
　図９は、本技術の実施の形態の第３の適用例におけるボールの客席への侵入を予測する態様を示す図である。球場においてはグラウンドと客席の間にはフェンス５４３が設けられる。このフェンス５４３よりも低い位置であれば、ボールはフェンス５４３に当ってグラウンドに落下する。しかし、このフェンス５４３をボールが超えた場合、客席内に落下して、観客に当って怪我を負わせてしまうおそれがある。
　本実施の形態では、カメラ５４１によって高フレームレートでボールの行方を追って、ボールの軌跡を予測して、フェンス５４３を超えそうなボールを、フェンス５４３を超える前に素早く捉える。これにより、観客に対して注意喚起のアナウンスを流して、不慮の怪我を回避することができる。アナウンスを流すスピーカ５４２は落下地点付近に限定することができるため、範囲を絞って適格な注意喚起を行うことができる。また、これにより、フェンス５４３を不必要に高くすることを避け、球場における臨場感の低下を抑制することができる。
　図１０は、本技術の実施の形態の第３の適用例におけるシステム構成例を示す図である。この例では、フェンス５４３の上部の各所に画像センサ１００を含むカメラ５４１を設置して、画像センサ１００によって得られた情報を制御装置５４５に供給する。そして、客席へのボール侵入が予測される場合には、制御装置５４５からスピーカ５４２に、注意喚起のアナウンスを出力するよう制御信号が供給される。
　なお、カメラ５４１には、ボールが当たった際の衝撃を緩めるために保護カバー５４４を設けることが望ましい。
　図１１は、本技術の実施の形態の第３の適用例における場内アナウンスの処理手順例を示す流れ図である。
　まず、撮像部１１０によって測定対象であるボールを撮像することによって画像データが取得される（ステップＳ８５１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８５２）。
　そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われて、ターゲットとなるボールが検出される（ステップＳ８５３）。
　検出されたボールに対して、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、ボールの追跡（ターゲットトラッキング）が行われる（ステップＳ８５４）。また、そのボールについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８５５）。その結果、動きが検出された場合には以下のステップＳ８５７以降の処理が行われ、動きが検出されない場合にはステップＳ８５１以降の処理を繰り返す。
　演算されたモーメントに基づいて、集計処理部２１０においてカメラ５４１とボールの距離が演算される（ステップＳ８５７）。また、集計処理部２１０において、ボールの移動方向および軌跡が判定される（ステップＳ８５８）。さらに、ボールの位置に応じて、集計処理部２１０においてファールボールかホームランかの区別が判定される（ステップＳ８５９）。これらの情報に基づいて、制御部２２０からインターフェース２３０を介して、スピーカ５４２に注意喚起のアナウンスを出力するよう制御信号が供給され、自動アナウンスが再生される（ステップＳ８６１）。
　これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
　このように、この第３の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、ボールの軌跡を予測することにより、ボールの落下地点を推定して、状況に応じた場内アナウンスを行うことができる。
　＜５．第４の適用例＞
　図１２は、本技術の実施の形態の第４の適用例における火山弾警報の例を示す図である。本実施の形態における制御システムを用いて火山弾警報を行うためには、同図のように、観測対象となる火山の噴火口を画像センサ１００により撮像する。そして、火山弾が発生した場合に、その火山弾の行方を追って、火山弾の軌跡を予測して、落下地点を推定する。この推定された落下地点を危険エリアとして、避難勧告などの警告を行う。
　通常の望遠カメラでは、観測画像から噴煙を認識することは可能であるが、火山弾の到達範囲を予測することは困難である。本実施の形態の例では、高フレームレートで火山弾を捉えて、火山弾のサイズおよび移動速度を計測し、その到達範囲を推測することができる。
　図１３は、本技術の実施の形態の第４の適用例における火山弾警報の処理手順例を示す流れ図である。なお、画像センサ１００の設置時には、適切な撮像が行われるようキャリブレーションが行われる。
　撮像部１１０によって観測対象である火山の噴火口を撮像することによって画像データが取得される（ステップＳ８７１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、コントラスト等の補正が行われる（ステップＳ８７２）。これにより、天候や時刻による影響を緩和することができる。
　そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われ、時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成されて、動体が抽出される（ステップＳ８７３）。抽出された動体については、モーメント生成部１５０によってモーメント演算が行われ、その面積や移動量のベクトルが計測される（ステップＳ８７４）。
　計測された動体の面積や移動量のベクトルから、火山弾が発生したか否かが判断される（ステップＳ８７５）。火山弾が発生したと判断された場合には（ステップＳ８７５：Ｙｅｓ）、ステップＳ８７６以降の処理が行われる。火山弾が発生していないと判断された場合には（ステップＳ８７５：Ｎｏ）、ステップＳ８７１以降の処理が繰り返される。
　計測された動体の面積に基づいて、集計処理部２１０において火山弾の質量が推定される（ステップＳ８７６）。また、計測された動体の面積や移動量のベクトルに基づいて、火山弾の到達範囲が推定される（ステップＳ８７７）。そして、この推定された到達範囲に関して、警戒情報を生成して（ステップＳ８７８）、関係機関にその警戒情報を発報する（ステップＳ８７９）。
　これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
　このように、この第４の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、火山弾の軌跡を予測することにより、火山弾の落下地点を推定して、到達範囲に関する警戒情報を生成することができる。
　＜６．第５の適用例＞
　図１４は、本技術の実施の形態の第５の適用例における追跡撮像の例を示す図である。本実施の形態における制御システムを用いて追跡撮像を行うために、画像センサ１００を含むカメラ５５０のレンズ部分にレンズ駆動アクチュエータ５５２を設ける。また、このレンズ駆動アクチュエータ５５２を制御するための自動追跡ボタン５５１を設ける。自動追跡ボタン５５１が押下されている間は、ターゲットとして検出された対象物を画面内に固定して捉えるようにレンズ駆動アクチュエータ５５２が制御される。カメラ５５０は、撮影者によって把持されるため、手振れ等が生じてターゲットの位置が一定にならないことが多いが、この実施の形態によればそのようなターゲットを固定した位置に捉えて撮像することができる。
　図１５は、本技術の実施の形態の第５の適用例における追跡撮像の態様を示す図である。ここでは、一例として、サッカーの試合中にボールをターゲットとして捉える場合の例を示す。
　通常の撮像モードからスポーツモードに変更すると、ボールの周辺には検出枠５５３が表示される。これは、画像センサ１００によってボールを認識できていることを示している。検出枠５５３が表示されている状態において、自動追跡ボタン５５１が押下されると、トラッキング処理部１４０によってボールの動きが追跡され、モーメント生成部１５０によってモーメント演算が行われる。そして、演算されたモーメントに基づいて、ボールの移動量が重心位置生成部１６０によって算出される。また、演算されたモーメントに基づいて、集計処理部２１０においてボールの移動方向５５４が算出される。集計処理部２１０は、算出されたボールの移動量および移動方向からボールの軌跡を予測する。
　制御部２２０は、予測されたボールの軌跡に合わせて、レンズ駆動アクチュエータ５５２に制御情報を供給する。この制御情報によりレンズ駆動アクチュエータ５５２が駆動されてレンズが動く。このとき、カメラが移動すると、カメラの重心位置がずれるため、制御部２２０からレンズ駆動アクチュエータ５５２にさらに制御情報がフィードバックされる。これにより、レンズ駆動アクチュエータ５５２の駆動によってレンズが動いて、ボールの位置が画面内の固定した位置になるように撮像が行われる。なお、レンズは、特許請求の範囲に記載の光学素子の一例である。
　なお、この例では、自動追跡ボタン５５１が押下された際のボールの表示位置を維持することを想定したが、自動追跡ボタン５５１が押下された際にボールの表示位置を中央に移動し、その後、その中央位置に維持するようにしてもよい。また、ボールの軌跡は急峻に変化しないように、フィルタ処理部１２０においてローパスフィルタをかけるようにしてもよい。また、ボールの追跡が瞬間的に外れた場合には、数フレーム程度については軌道予測を行ってもよい。
　図１６は、本技術の実施の形態の第５の適用例における追跡撮像の他の態様を示す図である。ここでは、撮像モードとして、ズームモードを想定する。このズームモードにおいては、ボールの検出とともに、顔の検出も行うものとする。同図では、画面５５５において、ボールの周辺には検出枠５５８が表示され、顔の周辺には検出枠５５９が表示されたものとしている。
　ズームイン枠５５７に検出枠５５８および５５９が入ると、拡大（ズームイン）動作が行われる。一方、ズームアウト枠５５６から検出枠５５８または５５９の少なくとも一方が外れると、縮小（ズームアウト）動作が行われる。これにより、検出枠５５８および５５９両方が必ず画面５５５内に入るように、ズームインまたはズームアウト動作が行われる。
　図１７は、本技術の実施の形態の第５の適用例における追跡撮像の処理手順例を示す流れ図である。同図において、左側の流れ図はカメラ５５０本体の処理手順を表し、右側の流れ図は画像センサ１００の処理手順を表す。
　カメラ５５０において撮像が開始すると、画像センサ１００が起動される。画像センサ１００の電源がオフになっている場合には（ステップＳ７３１：Ｙｅｓ）、画像センサ１００の動作は行われない。画像センサ１００の電源がオンになっている場合には（ステップＳ７３１：Ｎｏ）、カメラ５５０においてターゲットが指定されるまで待機する（ステップＳ７３２）。
　カメラ５５０では、モニタリングモードによる撮像および表示が行われる（ステップＳ７１１）。このモニタリングモードにおいて追跡の対象となるターゲットが指定される（ステップＳ７１２）。例えば、サッカーの試合においてボールがターゲットとして指定される。ターゲットの検出が開始すると（ステップＳ７１３：Ｙｅｓ）、そのターゲットの座標が画像センサ１００に通知される（ステップＳ７１４）。ターゲットトラッキングに失敗した場合には（ステップＳ７１５：Ｎｏ）、再びターゲットの検出を行う（ステップＳ７１３）。
　ターゲットが指定されてその座標が通知されると（ステップＳ７３２：Ｙｅｓ）、画像センサ１００はそのターゲットを検出する。検出に成功すると（ステップＳ７３３：Ｙｅｓ）、画像センサ１００は検出レスポンスをカメラ５５０に返す（ステップＳ７３４）。また、検出に成功しても、その後のターゲットトラッキングに失敗した場合には（ステップＳ７３５：Ｎｏ）、トラッキングから外れた旨の通知をカメラ５５０に返して（ステップＳ７３８）、再びターゲットの検出を行う（ステップＳ７３３）。
　カメラ５５０は、画像センサ１００からターゲット検出の通知またはトラッキングから外れた旨の通知を受けると（ステップＳ７１６：Ｙｅｓ）、自動追跡ボタン５５１の押下を待つ。そして、自動追跡ボタン５５１の押下が開始すると（ステップＳ７１７：Ｙｅｓ）、追跡の制御を画像センサ１００に指示する（ステップＳ７１８）。自動追跡ボタン５５１の押下が終了すると（ステップＳ７１９：Ｙｅｓ）、追跡を終了する制御を画像センサ１００に指示する（ステップＳ７２１）。
　画像センサ１００は、カメラ５５０から追跡に関する制御を受けると（ステップＳ７３６：Ｙｅｓ）、ボールの軌跡を予測して、この予測された軌跡に基づいてレンズ駆動アクチュエータ５５２を制御する（ステップＳ７３７）。その間、ターゲットトラッキングを繰り返す（ステップＳ７３５）。
　カメラ５５０は、モード切替が行われるまで（ステップＳ７２２）、ターゲットトラッキングを繰り返す（ステップＳ７１５）。モード切替が行われると（ステップＳ７２２：Ｙｅｓ）、電源オフでなければターゲットの指定に戻る（ステップＳ７１２）。
　このように、この第５の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、ターゲットの軌跡を予測することにより、その予測された軌跡に基づいてレンズ駆動アクチュエータ５５２の駆動を制御する。これにより、ボールの位置が画面内の固定した位置になるように撮像することができる。
　＜７．第６の適用例＞
　図１８は、本技術の実施の形態の第６の適用例における画像重畳の例を示す図である。本実施の形態における制御システムを用いて画像重畳を行うためには、元画像を画像センサ１００により撮像する。そして、元画像において重畳対象となる部分を検出して、その部分に他の画像を重畳する。これにより、必要に応じて重畳された画像を供給することができる。
　図１８におけるａでは、一例として、サッカーの試合中に選手のユニフォームに記載されている広告部分を他の広告に置換する場合の例を示す。現場の選手のユニフォームには「Ｐ商事」の企業名５６１が広告として記載されているものとする。これは物理的なものであるため、それ自体は変化しない。現場のカメラは、この状態の様子をそのまま撮影する。
　撮影された画像は、放送局の設備を通じて各地に放送される。その際、撮影された画像の広告部分に対して、広告契約に応じた企業名やブランド名が重畳される。例えば、図１８におけるｂのように、「Ｐ商事」の上に「Ｑ産業」の企業名が重畳され、その重畳された画像が放送される。これにより、テレビに表示される選手のユニフォームには、「Ｑ産業」の企業名５６２が広告として記載されているように映る。
　図１９は、本技術の実施の形態の第６の適用例における画像重畳のタイミング例を示す図である。ここでは、放送用カメラのフレームレートとして３０ｆｐｓを想定する。一方、本実施の形態の画像センサ１００を備える高速カメラのフレームレートとして１０００ｆｐｓを想定する。
　この場合、高速カメラによって撮像された画像において重畳対象である広告部分をトラッキング対象物としてターゲットトラッキングを行う。これにより、広告部分の座標位置および形状が認識される。そして、新たな広告のテクスチャを生成して、その生成されたテクスチャを放送用カメラのフレームの広告部分に張り付ける。高速カメラのフレームレートは放送用カメラのフレームレートよりも十分に速いため、高速カメラのフレームについてこれらの処理を行った後に、放送用カメラのフレームに対して重畳を行うことができる。
　図２０は、本技術の実施の形態の第６の適用例における画像重畳の処理手順例を示す流れ図である。
　まず、画像センサ１００により画像データが取得される（ステップＳ８８１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８８２）。
　そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われて、重畳対象であるマーカが検出される（ステップＳ８８３）。検出されたマーカに対して領域が設定されて（ステップＳ８８４）、その領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される。これにより、設定された領域においてマーカの追跡（ターゲットトラッキング）が行われる（ステップＳ８８５）。また、そのマーカについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８８６）。
　また、操作入力装置３１０からの指示に従って処理が選択される（ステップＳ８８７）。重畳映像を出力する場合には、集計処理部２１０において重畳処理が行った後に（ステップＳ８８８）、インターフェース２３０を介してその重畳映像を出力する（ステップＳ８８９）。一方、オリジナル映像を出力する場合には、重畳処理を行うことなくインターフェース２３０を介してオリジナル映像を出力する（ステップＳ８８９）。
　これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
　このように、この第６の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、重畳対象の軌跡を予測することにより、その重畳対象の位置の画像を重畳して置換することができる。
　＜８．第７の適用例＞
　図２１は、本技術の実施の形態の第７の適用例における距離算出の例を示す図である。従来、モーションキャプチャ等で使われるオブジェクトトラッキングは、３次元での動きを正確に測定するために複数のカメラを用いて行われていた。そのため、システムとしては大掛かりで高価なものとなっていた。そこで、本実施の形態における制御システムを用いて距離算出を行うために、測定対象である対象物の画像を画像センサ１００により撮像し、対象物の距離を算出する。
　この例において距離を算出するためには、予めキャリブレーションを行う必要がある。すなわち、ある決められた座標位置（０，０）に、トラッキング対象のオブジェクト５７１を配置し、そのときの距離および面積を基準距離および基準面積として記録する。その後、オブジェクト５７１についてトラッキングを行い、そのオブジェクト５７１の重心位置（ｘ，ｙ）と面積ｓを算出し、その面積とキャリブレーションの結果から、次式により距離ｚを算出する。
　　距離ｚ＝基準距離×（面積ｓ／基準面積）1/2
　図２２は、本技術の実施の形態の第７の適用例におけるオブジェクトトラッキングの態様を示す図である。この例では、画像センサ１００により撮像されるフレームレートとして１０００ｆｐｓ以上の高フレームレートを想定するため、フレーム単位の動き量は微少となる。これを前提に、検出範囲を局所化し、その範囲での面積と重心位置を求めることにより、簡易な仕組みでトラッキングを行うことができる。
　前フレームにおけるオブジェクト５７２の重心位置５７３を中心として、その近傍を検出対象枠５７４として設定する。このとき、検出範囲の一辺（幅および高さ）は、次式により表される。ただし、αは探索範囲係数である。
　　検出範囲の一辺＝（前フレームの０次モーメント）1/2×α
　トラッキング処理部１４０によって、検出対象枠５７４において、次フレームにおけるオブジェクト５７５が検出されると、二値化処理部１３０によって二値化処理が行われる。これにより、オブジェクト５７５の位置（ｘ，ｙ）にはビットマップＩ（ｘ，ｙ）として「１」が、それ以外の位置には「０」が示される。このビットマップＩ（ｘ，ｙ）に基づいて、モーメント生成部１５０において次式のようにモーメント演算が行われる。
　　０次モーメント（面積）＝ΣΣＩ（ｘ，ｙ）
　　水平１次モーメント＝ΣΣｘ×Ｉ（ｘ，ｙ）
　　垂直１次モーメント＝ΣΣｙ×Ｉ（ｘ，ｙ）
ただし、上式におけるΣΣは、水平方向および垂直方向の総和演算を表す。
　このようにして生成されたモーメントに基づいて、重心位置生成部１６０において重心位置の座標が次式により生成される。
　　重心ｘ座標＝水平１次モーメント／０次モーメント
　　重心ｙ座標＝垂直１次モーメント／０次モーメント
　図２３は、本技術の実施の形態の第７の適用例における距離算出の態様を示す図である。上述のように、この例では、予め基準位置における距離と面積の関係をキャリブレーションしておくことにより、カメラ５６１により得られた面積から距離を算出することができる。
　ここで、基準位置における面積Ａ０を基準面積として、そのときの距離Ｄ０を基準距離とする。オブジェクトトラッキングを行った際に、面積Ａ１が得られた場合、その距離Ｄ１は次式により算出される。
　　Ｄ１＝Ｄ０×（Ａ１／Ａ０）1/2
　同様に、オブジェクトトラッキングを行った際に、面積Ａ２が得られた場合、その距離Ｄ２は次式により算出される。
　　Ｄ２＝Ｄ０×（Ａ２／Ａ０）1/2
　図２４は、本技術の実施の形態の第７の適用例における距離算出の処理手順例を示す流れ図である。なお、この距離算出の前提として、キャリブレーションが行われているものとする。
　まず、画像センサ１００により画像データが取得される（ステップＳ８９１）。取得された画像データは、時系列のフレームを構成する。取得された各フレームは、フィルタ処理部１２０によって、ノイズが除去される（ステップＳ８９２）。
　そして、二値化処理部１３０によってフレームにおける画像の色および輝度による二値化が行われて、重畳対象であるマーカが検出される（ステップＳ８９３）。検出されたマーカに対して領域が設定されて（ステップＳ８９４）、その領域において時系列に隣接するフレーム間の差分がトラッキング処理部１４０によって生成される。これにより、設定された領域においてマーカの追跡（ターゲットトラッキング）が行われる（ステップＳ８９５）。
　また、そのマーカについて、モーメント生成部１５０によってモーメント演算が行われる（ステップＳ８９６）。　演算されたモーメントに基づいて、マーカの移動量が重心位置生成部１６０によって算出される（ステップＳ８９７）。
　また、操作入力装置３１０からの指示に従って処理が選択され（ステップＳ８９８）、距離算出を行う場合には、集計処理部２１０において距離が算出される（ステップＳ８９９）。算出された距離は、例えば、インターフェース２３０を介して表示装置３２０に表示される。
　これらの処理は、時系列に並ぶ画像データのフレームのそれぞれについて繰り返し行われる。
　このように、この第７の適用例では、フレームレートとして１０００ｆｐｓ以上の高フレームレートを想定して、オブジェクトの軌跡を予測することにより、オブジェクトとの間の距離を算出することができる。
　ここまで説明したように、本技術の実施の形態によれば、対象物を高フレームレートにより撮像して画像センサ１００内で画像処理することにより、対象物の軌跡を予測して、その予測結果に基づいて制御対象装置３３０を制御することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
　前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
　時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と、
　前記トラッキング処理部による結果に基づいて前記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部と、
　前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部と、
　前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物の軌跡を予測して生成する軌跡生成部と、
　前記軌跡生成部によって生成された前記対象物の軌跡に基づいて制御対象装置に制御信号を供給する制御信号供給部と
を具備する画像センサ。
（２）前記軌跡生成部は、前記対象物との距離の軌跡を予測し、
　前記制御信号供給部は、前記予測された距離が所定の条件を満たす場合に前記制御信号を供給する
前記（１）に記載の画像センサ。
（３）前記制御信号は、緩衝部材の動作を制御する制御信号である前記（２）に記載の画像センサ。
（４）前記制御信号は、警告装置の動作を制御する制御信号である前記（２）に記載の画像センサ。
（５）前記軌跡生成部は、前記対象物の弾道の軌跡を予測し、
　前記制御信号供給部は、前記予測された軌跡を表示するための前記制御信号を供給する
前記（１）から（４）のいずれかに記載の画像センサ。
（６）前記軌跡生成部は、前記対象物の飛距離を予測し、
　前記制御信号供給部は、前記予測された飛距離を表示するための前記制御信号を供給する
前記（５）に記載の画像センサ。
（７）前記軌跡生成部は、前記対象物の到達位置を予測し、
　前記制御信号供給部は、前記予測された到達位置を表示するための前記制御信号を供給する
前記（５）に記載の画像センサ。
（８）前記制御信号供給部は、前記予測された到達位置に応じた音声信号を出力するための前記制御信号を供給する
前記（７）に記載の画像センサ。
（９）前記撮像素子に前記対象物を含む画像を供給する光学素子をさらに具備し、
　前記制御信号は、前記光学素子の動作を制御する制御信号である
前記（１）から（８）のいずれかに記載の画像センサ。
（１０）前記制御信号は、前記フレームの一部を所定の画像に置換して表示させる制御信号である前記（１）から（９）のいずれかに記載の画像センサ。
　１００　画像センサ
　１１０　撮像部
　１２０　フィルタ処理部
　１３０　二値化処理部
　１４０　トラッキング処理部
　１５０　モーメント生成部
　１６０　重心位置生成部
　２１０　集計処理部
　２２０　制御部
　２３０　インターフェース
　３１０　操作入力装置
　３２０　表示装置
　３３０　制御対象装置
　５１１、５１５　保護対象
　５１２、５１６、５２１、５２３、５２５　緩衝部材
　５１３、５１７、５２２、５２４、５２６　画像センサ
　５１４、５１８　移動物体
　５３１　プレーヤ
　５３２　ボール
　５３３　携帯端末
　５３４　推定飛距離
　５４１、５５０、５６１　カメラ
　５４２　スピーカ
　５４３　フェンス
　５４４　保護カバー
　５４５　制御装置
　５５１　自動追跡ボタン
　５５２　レンズ駆動アクチュエータ

Claims (10)

  1. 　対象物を撮像して時系列に並ぶ画像データのフレームを生成する撮像素子と、
    　前記フレームの各々に対して二値化処理を行って二値化フレームを生成する二値化処理部と、
    　時系列に隣接する前記二値化フレームの間の差分を生成して前記二値化フレームに含まれる前記対象物の位置の変化を追跡するトラッキング処理部と、
    　前記トラッキング処理部による結果に基づいて前記二値化フレームに含まれる前記対象物のモーメントを算出するモーメント生成部と、
    　前記モーメント生成部によって生成された前記モーメントに基づいて前記二値化フレームに含まれる前記対象物の重心位置を生成する重心位置生成部と、
    　前記重心位置生成部によって生成された前記対象物の重心位置に基づいて前記対象物の軌跡を予測して生成する軌跡生成部と、
    　前記軌跡生成部によって生成された前記対象物の軌跡に基づいて制御対象装置に制御信号を供給する制御信号供給部と
    を具備する画像センサ。
  2. 　前記軌跡生成部は、前記対象物との距離の軌跡を予測し、
    　前記制御信号供給部は、前記予測された距離が所定の条件を満たす場合に前記制御信号を供給する
    請求項１記載の画像センサ。
  3. 　前記制御信号は、緩衝部材の動作を制御する制御信号である請求項２記載の画像センサ。
  4. 　前記制御信号は、警告装置の動作を制御する制御信号である請求項２記載の画像センサ。
  5. 　前記軌跡生成部は、前記対象物の弾道の軌跡を予測し、
    　前記制御信号供給部は、前記予測された軌跡を表示するための前記制御信号を供給する
    請求項１記載の画像センサ。
  6. 　前記軌跡生成部は、前記対象物の飛距離を予測し、
    　前記制御信号供給部は、前記予測された飛距離を表示するための前記制御信号を供給する
    請求項５記載の画像センサ。
  7. 　前記軌跡生成部は、前記対象物の到達位置を予測し、
    　前記制御信号供給部は、前記予測された到達位置を表示するための前記制御信号を供給する
    請求項５記載の画像センサ。
  8. 　前記制御信号供給部は、前記予測された到達位置に応じた音声信号を出力するための前記制御信号を供給する
    請求項７記載の画像センサ。
  9. 　前記撮像素子に前記対象物を含む画像を供給する光学素子をさらに具備し、
    　前記制御信号は、前記光学素子の動作を制御する制御信号である
    請求項１記載の画像センサ。
  10. 　前記制御信号は、前記フレームの一部を所定の画像に置換して表示させる制御信号である請求項１記載の画像センサ。
PCT/JP2017/040037 2016-12-07 2017-11-07 画像センサ Ceased WO2018105290A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018554870A JP7100590B2 (ja) 2016-12-07 2017-11-07 画像センサ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016237176 2016-12-07
JP2016-237176 2016-12-07

Publications (1)

Publication Number Publication Date
WO2018105290A1 true WO2018105290A1 (ja) 2018-06-14

Family

ID=62492252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040037 Ceased WO2018105290A1 (ja) 2016-12-07 2017-11-07 画像センサ

Country Status (2)

Country Link
JP (1) JP7100590B2 (ja)
WO (1) WO2018105290A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062272A (zh) * 2019-04-30 2019-07-26 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
WO2020075230A1 (ja) * 2018-10-10 2020-04-16 株式会社ウフル 野球場被弾アラートシステム、方法、プログラム及び座席
JP2021108015A (ja) * 2019-12-27 2021-07-29 楽天グループ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2021108017A (ja) * 2019-12-27 2021-07-29 楽天グループ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022034245A1 (en) * 2020-08-14 2022-02-17 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
US11335013B2 (en) 2020-08-14 2022-05-17 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916863A (ja) * 1995-06-27 1997-01-17 Toshiba Corp 監視制御装置
JP2001521403A (ja) * 1996-02-12 2001-11-06 ゴルフ エイジ テクノロジーズ，インコーポレイテッド ゴルフ練習場距離判定装置および方法
JP2002543503A (ja) * 1999-04-23 2002-12-17 シーメンス アクチエンゲゼルシヤフト シーン内の物体の位置を求めるための方法および装置
JP2004145669A (ja) * 2002-10-24 2004-05-20 Sharp Corp 移動検出方法、制御方法、移動検出装置、制御装置及びコンピュータプログラム
JP2008160436A (ja) * 2006-12-22 2008-07-10 Olympus Imaging Corp 撮像装置
JP2008219489A (ja) * 2007-03-05 2008-09-18 Nippon Hoso Kyokai <Nhk> 映像オブジェクトの軌跡画像合成装置およびそのプログラム
JP2010005267A (ja) * 2008-06-30 2010-01-14 Mitsubishi Electric Engineering Co Ltd ゴルフ場の安全管理システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916863A (ja) * 1995-06-27 1997-01-17 Toshiba Corp 監視制御装置
JP2001521403A (ja) * 1996-02-12 2001-11-06 ゴルフ エイジ テクノロジーズ，インコーポレイテッド ゴルフ練習場距離判定装置および方法
JP2002543503A (ja) * 1999-04-23 2002-12-17 シーメンス アクチエンゲゼルシヤフト シーン内の物体の位置を求めるための方法および装置
JP2004145669A (ja) * 2002-10-24 2004-05-20 Sharp Corp 移動検出方法、制御方法、移動検出装置、制御装置及びコンピュータプログラム
JP2008160436A (ja) * 2006-12-22 2008-07-10 Olympus Imaging Corp 撮像装置
JP2008219489A (ja) * 2007-03-05 2008-09-18 Nippon Hoso Kyokai <Nhk> 映像オブジェクトの軌跡画像合成装置およびそのプログラム
JP2010005267A (ja) * 2008-06-30 2010-01-14 Mitsubishi Electric Engineering Co Ltd ゴルフ場の安全管理システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075230A1 (ja) * 2018-10-10 2020-04-16 株式会社ウフル 野球場被弾アラートシステム、方法、プログラム及び座席
CN110062272B (zh) * 2019-04-30 2021-09-28 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
US11900614B2 (en) 2019-04-30 2024-02-13 Tencent Technology (Shenzhen) Company Limited Video data processing method and related apparatus
CN110062272A (zh) * 2019-04-30 2019-07-26 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
JP7083334B2 (ja) 2019-12-27 2022-06-10 楽天グループ株式会社 画像処理装置、画像処理方法、及びプログラム
JP7083332B2 (ja) 2019-12-27 2022-06-10 楽天グループ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2021108017A (ja) * 2019-12-27 2021-07-29 楽天グループ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2021108015A (ja) * 2019-12-27 2021-07-29 楽天グループ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022034245A1 (en) * 2020-08-14 2022-02-17 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
US11335013B2 (en) 2020-08-14 2022-05-17 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
US11557044B2 (en) 2020-08-14 2023-01-17 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
KR20230038584A (ko) * 2020-08-14 2023-03-20 탑골프 스웨덴 에이비 가상 시간 동기화를 이용한 3차원 객체 추적 이전에 2차원 이미지 데이터의 움직임 기반 전처리
AU2021326016B2 (en) * 2020-08-14 2023-04-13 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
CN116157836A (zh) * 2020-08-14 2023-05-23 涛普高尔夫瑞典公司 在利用虚拟时间同步的三维目标跟踪之前对二维图像数据的基于运动的预处理
KR102625119B1 (ko) 2020-08-14 2024-01-12 탑골프 스웨덴 에이비 가상 시간 동기화를 이용한 3차원 객체 추적 이전에 2차원 이미지 데이터의 움직임 기반 전처리
CN116157836B (zh) * 2020-08-14 2024-05-14 涛普高尔夫瑞典公司 在利用虚拟时间同步的三维目标跟踪之前对二维图像数据的基于运动的预处理
US12322122B2 (en) 2020-08-14 2025-06-03 Topgolf Sweden Ab Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization

Also Published As

Publication number Publication date
JPWO2018105290A1 (ja) 2019-10-24
JP7100590B2 (ja) 2022-07-13

Similar Documents

Publication Publication Date Title
JP7100590B2 (ja) 画像センサ
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
US20160370239A1 (en) Body Motion Assessment Using Image Analysis
CN103106404A (zh) 设备、方法和系统
JP2017531979A (ja) スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法
KR20190005765A (ko) 화상 처리장치, 화상 처리방법 및 프로그램
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
CN108156450A (zh) 用于校准摄像机的方法、校准设备、校准系统以及机器可读的存储介质
NL2012399A (en) Autonomous camera system for capturing sporting events.
US9589332B2 (en) Camera movement correction apparatus, method and system
US9990857B2 (en) Method and system for visual pedometry
JP2011071932A (ja) 車両周辺監視装置
JP2013093865A (ja) 車両周辺監視装置
US8885886B2 (en) Method and apparatus and program
US20080068463A1 (en) system and method for graphically enhancing the visibility of an object/person in broadcasting
CN120220230A (zh) 一种多模态跌倒检测方法、装置及设备
US20240037843A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
CN112911203B (zh) 获取目标轨迹的摄像机
JPWO2019021973A1 (ja) 端末装置、危険予測方法、プログラム
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
KR101117235B1 (ko) 교통사고 인식 장치 및 방법
KR102621481B1 (ko) 영상 누적을 이용한 궤적표시 방법
KR101019847B1 (ko) 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치
JP2025040981A (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17877405

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018554870

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17877405

Country of ref document: EP

Kind code of ref document: A1