WO2013100240A1 - 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치 - Google Patents

광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치 Download PDF

Info

Publication number
WO2013100240A1
WO2013100240A1 PCT/KR2011/010384 KR2011010384W WO2013100240A1 WO 2013100240 A1 WO2013100240 A1 WO 2013100240A1 KR 2011010384 W KR2011010384 W KR 2011010384W WO 2013100240 A1 WO2013100240 A1 WO 2013100240A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
image information
camera
mode
Prior art date
Application number
PCT/KR2011/010384
Other languages
English (en)
French (fr)
Inventor
권기환
성용원
Original Assignee
주식회사 앤비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 앤비젼 filed Critical 주식회사 앤비젼
Publication of WO2013100240A1 publication Critical patent/WO2013100240A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an image capturing method and apparatus of a stereo vision system capable of adjusting the amount of light, and more particularly, to a camera having low performance by grabbing an intersection image using a plurality of cameras in a stereo vision system.
  • the present invention relates to an image capturing method and a device of a stereo vision system capable of adjusting the amount of light to obtain an effect of a high performance camera.
  • the present invention in order to obtain information about the physical characteristics of the subject in the stereo vision system, by obtaining the predictive image information based on the image information obtained by grabbing the intersection image using a plurality of cameras,
  • the present invention relates to an image capturing method and a device of a stereo vision system capable of controlling an amount of light capable of capturing an image efficiently using a camera.
  • the present invention by adjusting the amount of light according to the distance from the image photographing apparatus to the subject in the stereo vision system, even if a difference in illumination occurs according to the distance to compensate for this to obtain accurate information about the physical characteristics of the subject
  • the present invention relates to an image capturing method and a device of a stereo vision system capable of adjusting the amount of light.
  • the present invention in the stereo vision system by grabbing the intersection image using a plurality of cameras, by using a low-performance camera to shoot a moving image of a stereo vision system capable of adjusting the amount of light that can be taken in close proximity to a fast moving subject And to the apparatus.
  • imaging devices including digital cameras such as DSLR (Digital Single Lens Reflex) have been widely used by the majority of consumers, and due to the development of related technologies, low cost imaging devices have been widely used. .
  • DSLR Digital Single Lens Reflex
  • One of the objectives of the image capturing apparatus is to find or recognize a subject from the acquired image information, which cannot be implemented using a single camera, but requires at least two cameras and is used to implement the technique.
  • This is a stereo vision system (SVS).
  • Stereo vision system is an application field of computer vision for realizing human visual system, and it means an imaging system obtained by two cameras composed of left and right, which is used for auto parking and unmanned driving system of automobiles in industry.
  • the movement and speed of a player may be checked, or in a game such as baseball, golf, and soccer, which uses a ball, the movement speed and direction of a ball, which is a subject, may be checked based on the acquired image information. Can be used.
  • the conventional imaging method of the stereo vision system is a camera speed that indicates the speed at which the film is shot through the camera's exposure apparatus when the subject moves at a very high speed or when shooting the image at a very close distance to the subject. If the camera speed is high, the price is very expensive, so it is very difficult to implement a stereo vision system using such a camera. Therefore, there is a demand for a method capable of implementing the same stereo vision system as a high performance camera by using a low performance camera.
  • the present invention was devised to solve the above problems, and the two cameras used in the stereo vision system are not time-synchronized, and the image is obtained by grabbing an image of a subject at an intersection with a predetermined time difference, thereby obtaining a price. It is an object of the present invention to provide a method and apparatus for imaging a stereo vision system capable of adjusting the amount of light to implement a stereo vision system similar to a high performance camera using a camera having a relatively low camera speed.
  • Still another object of the present invention is to adjust the amount of light according to the distance between the image photographing apparatus and the subject, so that the amount of light capable of obtaining accurate information about the physical characteristics of the subject despite the difference in illumination that may occur according to the distance.
  • An object of the present invention is to provide a method and apparatus for photographing an adjustable stereo vision system.
  • Still another object of the present invention is to obtain predictive image information based on image information obtained from a plurality of cameras included in the stereo vision system, through which the image capturing method of the stereo vision system that can determine the physical characteristics of the subject And provision of the device.
  • the present invention provides the following effects and advantages.
  • the two cameras used in the stereo vision system are not time-synchronized and acquire image information by grabbing an image of a subject at an intersection with a predetermined time difference.
  • the same stereo vision system as a camera can be implemented.
  • the prediction image information is obtained based on the image information obtained from the plurality of cameras included in the stereo vision system, and through this, the physical characteristics of the subject may be checked, thereby increasing the accuracy of the prediction image information.
  • 1 is a view for explaining a stereo vision system.
  • FIG. 2 is a diagram illustrating a method of installing a camera in a stereo vision system.
  • FIG. 3 is a diagram illustrating a sequence of grabbing an image by a camera in a general stereo vision system.
  • FIG. 4 is a block diagram showing the configuration of a stereo vision imaging apparatus according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a specific configuration, additional configuration, and function of each component of the image photographing apparatus shown in FIG. 4.
  • FIG. 6 is a diagram illustrating a method of measuring a distance from an image photographing apparatus to a subject according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a process of adjusting an amount of light according to a distance from an image photographing apparatus to a subject by an image photographing apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a sequence of grabbing an image by a camera in an image photographing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an image photographed in a second mode using an image photographing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a method of estimating an image using an image photographed in a second mode using an image photographing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 11 is a flowchart schematically illustrating a process of adjusting a light amount of an illumination unit by using an image photographing apparatus according to an exemplary embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a sensing device for a virtual golf simulation including an image photographing apparatus according to an embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a configuration of a sensing device for a virtual golf simulation shown in FIG. 12.
  • FIG. 14 is a diagram illustrating a process of detecting whether a user hits a ball, which is a subject, by a hit detection unit of a sensing device according to an embodiment of the present invention.
  • the image photographing apparatus of the stereo vision system includes a first camera and a second camera for capturing image information by photographing a subject in a first mode, and an illumination unit for generating a flash when photographing.
  • a motion detector determining whether the subject is stationary based on the acquired image information;
  • a distance information obtaining unit obtaining distance information indicating a distance from the image capturing unit to the subject based on the obtained image information when it is determined that the subject is stationary;
  • an illumination controller for adjusting the amount of light of the illumination unit based on the distance information.
  • the present invention may further include a mode converting unit for converting the photographing mode of the image capturing unit to the second mode when it is determined that the subject is stationary.
  • the first mode and the second camera is time-synchronized to grab the image of the subject to obtain image information
  • the second mode is the first camera and the second camera is a predetermined time
  • the image information may be obtained by grabbing an image of an intersection subject with a difference.
  • the present invention is characterized in that the first mode to grab the image at a low speed and the second mode to grab the image at a high speed.
  • the present invention may further include a camera controller, wherein the first camera and the second camera acquire image information in a second mode according to a control signal from the camera controller.
  • the present invention may further include a hit detection unit for detecting whether the subject is hit by the user based on the image information acquired in the second mode.
  • the present invention may further include a database storing image information obtained from the first camera and the second camera.
  • an image is obtained by checking a hitting point, extracting image information before and after the hitting point from the database, and obtaining predicted image information based on the image information. Characterized in that it further comprises an estimator.
  • the image estimating unit obtains first predictive image information by using first image information and second image information obtained from the first camera, and third image information obtained from the second camera. It is done.
  • the first image information and the second image information indicate an image of a continuous frame obtained from the first camera
  • the third image information includes the first image information and the second image information from a second camera. It characterized in that the frame obtained in between.
  • the present invention may further include an image processor which acquires physical characteristics of the subject based on the image information before and after the hitting time and the predicted image information.
  • the present invention may further include an illuminance obtaining unit which obtains illuminance information indicating intensity of illuminance of the space in which the image photographing unit is located.
  • the illumination control unit is characterized in that for adjusting the amount of light of the illumination unit based on the distance information and illuminance information.
  • an image capturing method of a stereovision system includes determining whether a subject is stopped based on the obtained image information; If it is determined that the subject is stationary, obtaining distance information indicating a distance from the image capturing unit to the subject based on the acquired image information; And adjusting an amount of light of the lighting unit based on the distance information.
  • the present invention may further include converting the shooting mode to the second mode when it is determined that the subject is stationary.
  • the present invention may further include detecting whether the subject is hit by the user based on the image information acquired in the second mode to acquire the image information in the second mode according to a control signal from the camera controller. Characterized in that.
  • the method when the subject is detected as being hit by a user, the method may include checking a hitting point, extracting image information before and after the hitting point from a database, and obtaining predicted image information based on the image information. It further comprises.
  • information is a term that includes values, parameters, coefficients, elements, and the like, and in some cases, the meaning may be interpreted differently.
  • the invention is not limited to this.
  • 1 is a view for explaining a stereo vision system.
  • a person may recognize an object in three dimensions because the right eye and the left eye recognize different images.
  • Images of the retina obtained by the binocular are obtained by synthesizing each other in the brain 100, which is obtained by the minute difference of the images obtained by the binocular.
  • the image obtained by such a minute difference is transmitted to the processing part of the brain through the optic nerve of the retina, and the transmitted electrical signal finds characteristics through various processing processes of the brain and compares it with the information stored in the brain. Will be recognized.
  • the stereo vision system includes a camera 110 corresponding to the human eye and a computer 120 corresponding to the human visual system.
  • FIG. 2 is a diagram illustrating a method of installing a camera in a stereo vision system.
  • a method of installing a camera in a stereo vision system may be divided into sequential and simultaneous methods.
  • the sequential method is a method of inputting images in order using one camera without installing cameras at the same time.
  • the simultaneous method is to install both cameras to acquire images at the same time is a method commonly used in current stereo vision system.
  • Synchronous type is divided into (a) Parallel Camera Setup and (b) Crossing Camera Setup depending on the camera configuration, which is classified according to how the optical axis of the camera is configured.
  • Parallel expressions are parallel to the vertical or horizontal, and cross expressions are close to the human eye structure by making the camera's optical axis coincide.
  • the parallel installation method has the advantage of easy distance measurement, but it has the disadvantage that it is impossible to make a high quality stereoscopic image because there is no parallax adjustment function of the stereoscopic image. It has the advantage of being possible.
  • FIG. 3 is a diagram illustrating a sequence of grabbing an image by a camera in a general stereo vision system.
  • grabbing of an image in a typical stereo vision system is based on an intersection of time-synchronized images taken by two different cameras based on four frames.
  • an image of 450 frames per second may be uniformly acquired through each camera.
  • the distance and direction of the photographed subject may be checked using the acquired time-synchronized image.
  • FIG. 4 is a block diagram showing a configuration of a stereo vision imaging apparatus according to an embodiment of the present invention
  • Figure 5 is a detailed configuration and additional configuration and the function of each component of the image recording apparatus shown in FIG. The block diagram shown.
  • the stereo non-dedicated image photographing apparatus 400 includes an image capturing unit 405, an image analyzing unit 410, a controller 425, and an image processor 435. do.
  • the image capturing unit 405 includes a plurality of cameras 415 and an illuminating unit 420 including at least one light that causes glare during capturing to configure a stereo vision system.
  • the general stereo vision imaging apparatus is configured to continuously capture an image of a subject in time synchronization with one or more frame units at a constant shooting speed regardless of the state of the subject.
  • the image capturing apparatus 400 converts the shooting mode from the first mode to the second mode according to the state of the subject. In particular, in the second mode, each camera captures an image of the subject at the intersection, and acquires the second mode. And predicting image information based on the received image information.
  • the first mode and the second mode are classified into a photographing speed, a grab sequence, and the like. That is, in the first mode, a plurality of cameras 415 constituting a stereo vision system having a low shooting speed and time-synchronizing grab an image of a subject, and in the second mode, the shooting speed is high and the plurality of cameras 415 are predetermined. Grab the image of the subject at the intersection with the time difference of.
  • the image may be taken at a low shooting speed.
  • the image when photographing the movement of a subject with an image photographing device composed of two cameras having a speed of 450 fps, in a ready section, the image is captured in a first mode (eg, grabbing the image of the subject by synchronizing time at a low speed such as 30 fps).
  • the image In the play section, the image is grabbed using the second camera (e.g., grab the image using the second camera (Camera # 2) after 1/900 seconds). If you are shooting a video, you can use the two cameras with a speed of 450fps in the play section where you need to record a video at high speed. Even if you are ready to shoot a lot of unnecessary images in the ready section can reduce the load on the system.
  • the image analyzing unit 410 determines whether the subject is stationary based on the image acquired from the image capturing unit 405, and when it is determined that the subject is stationary, the distance from the image capturing unit 405 to the subject. Obtain distance information indicating.
  • the control unit 425 more specifically, the lighting control unit 430 adjusts the amount of light of the lighting unit 420 based on the distance information.
  • the controller 425 causes the image capturing unit 405 to grab an image in a second mode, that is, the camera 415. Controls to grab the image of the subject at the intersection with a predetermined time difference at a high speed, and controls the illumination unit 420 to operate when the camera 415 grabs the image.
  • FIG. 4 A detailed configuration of the image capturing apparatus 400 illustrated in FIG. 4 and a function of each component will be described with reference to FIG. 5.
  • the information flow is performed in the first mode in the image capturing unit 405-> image analyzing unit 410-> mode converting unit ( 460)-> the controller 425, in the second mode, in the order of the image capturing unit 405-> image analyzing unit 410-> image estimating unit 455-> image processing unit 435 Is done.
  • the controller 440 includes the camera controller 440 and the lighting controller 430 to control the plurality of cameras 415 and the lighting unit 420.
  • the image capturing unit 405 grabs an image in the first mode or the second mode according to the signal of the camera controller 440, and the lighting unit 420 is configured to control the plurality of cameras 415 according to the signal of the lighting controller 430. Provide lighting at the speed of grabbing the image.
  • the image analyzer 410 determines that the motion detector 465 determines whether the subject is stationary based on the image information acquired by the image capturer 405 in the first mode, and the image capturer 405 moves to the second mode.
  • a hit detection unit 470 detects whether or not the subject is hit by the user based on the acquired image information.
  • the mode converter 460 converts the photographing mode of the image capturing unit 405 from the first mode to the second mode, and controls the camera controller (
  • the control unit 440 controls the image capturing unit 405 to capture an image in the second mode according to the signal of the mode converter 460.
  • the distance information acquirer 445 acquires distance information indicating the distance from the image photographing unit 405 to the subject, and acquires illuminance.
  • the unit 450 obtains illuminance information indicating the intensity of illuminance of the space where the image capturing unit 405 is located, and the lighting controller 430 adjusts the illuminance of the illuminator 420 based on the distance information or the illuminance information. do.
  • the camera controller 440 When the shooting mode is converted to the second mode, the camera controller 440 has two cameras having a speed of 450 fps so that the camera controller 440 grabs the image using the first camera (Camera # 1) 1/900 seconds later.
  • the grab of the image using the second camera (Camera # 2) is controlled, and the lighting controller 430 may control the lighting unit to provide an optical environment in which the camera can capture the image at a speed of 900 fps.
  • the image capturing unit 405 acquires image information in a second mode according to a signal from the camera controller 440. That is, the first camera (eg, the camera located on the left side) and the second camera (eg, the camera located on the right side) of the image capturing unit 405 acquire image information by capturing an intersection image at a predetermined time difference.
  • the image information acquired in the second mode is not information about an image captured by time synchronization (that is, the intersection of image information acquired through the first camera and the second camera does not occur). Information regarding physical characteristics of the subject, such as 3D information, cannot be obtained based on the corresponding image information.
  • the hit detection unit 470 detects whether the subject has been hit by the user based on the image information acquired in the second mode, and the image estimator 455, when the subject is hit by the user, By checking the hitting point, image information before and after the hitting point is obtained from the image capturing unit 405 or a database (not shown) to obtain predictive image information based on the image information.
  • the image estimator 455 obtains first prediction image information by using first image information and second image information obtained from the first camera, and third image information obtained from the second camera. .
  • the first image information and the second image information represent an image of a continuous frame obtained from the first camera
  • the third image information is provided between the first image information and the second image information from a second camera.
  • the image of the acquired frame is shown.
  • the image capturing apparatus includes a grabber (not shown) for digitizing the electric image signal captured by the image capturing unit 405 and image information obtained from the image capturing unit 405 and the image estimating unit 455. It may further include a database (not shown) for storing the obtained prediction image information.
  • the image processor 435 acquires information on a physical characteristic of the subject using image information obtained from the image capturing unit 405, predictive image information obtained from the image estimating unit 455, or information stored in a database. For example, when a moving subject is photographed using the image capturing unit 405, the image processing unit 435 may acquire information about a distance to the subject, a speed and a direction of the subject, and the like using the information.
  • FIG. 6 is a diagram illustrating a method of measuring a distance from an image photographing apparatus to a subject according to an embodiment of the present invention
  • FIG. 7 is a view illustrating an image photographing apparatus according to an embodiment of the present invention from an image photographing apparatus to a subject. It is a figure which shows the process of adjusting the quantity of light according to distance.
  • the distance H from the image photographing apparatus to the subject in the parallel stereo camera can be obtained from Equation 1.
  • the distance H from the image photographing apparatus to the subject in the crossover stereo camera may be obtained from Equation 2.
  • the amount of light of the illumination may be adjusted according to the distances d1 and d2 from the image photographing apparatus 400 (specifically, the image capturing unit) to the subject.
  • the distances d1 and d2 and the amount of light of the illumination may be proportionally increased or may be configured to set an optimized amount of light according to the distances d1 and d2.
  • the present invention proposes a method for efficiently capturing an image by changing the photographing mode of the image capturing unit according to whether or not the subject is stationary.
  • the operation of the image photographing apparatus according to the embodiment of the present invention will be described with reference to FIG. 8.
  • FIG. 8 is a diagram illustrating a sequence of grabbing an image by a camera in an image photographing apparatus according to an exemplary embodiment of the present invention.
  • the image capturing apparatus 400 divides the ready section and the play section based on whether the subject is stationary, and captures the image in the first mode in the ready section, and the play section. In this case, the image is captured in the second mode.
  • the video is grabbed at a low speed (e.g., 30 fps recording speed) and the video is synchronized at a high speed (e.g., 450 fps recording speed) in the play section. Grab to obtain image information.
  • a low speed e.g., 30 fps recording speed
  • a high speed e.g., 450 fps recording speed
  • the ready section grabs images at a low speed.
  • the second camera (camera # 2) is configured to operate 1 / 2N seconds after the first camera (camera # 1) is activated. In this case, an effect of photographing an image using a camera having a performance of 2N fps can be obtained.
  • FIG. 9 is a diagram illustrating an image photographed in a second mode using an image photographing apparatus according to an exemplary embodiment of the present invention.
  • an image photographed in the above-described second mode using the image capturing apparatus 400 is a first camera camera # 1 and a second camera camera # 2. ) Obtains the intersection image.
  • FIG. 10 is a diagram illustrating a method of estimating an image using an image photographed in a second mode using an image photographing apparatus according to an exemplary embodiment of the present invention.
  • Images captured in the second mode using the image capturing apparatus 400 according to an exemplary embodiment of the present invention cannot directly obtain time-synchronized images because they grab an intersection image using two cameras.
  • the first predicted image is obtained by using the image (frame # 1_1) acquired in the first frame of the first camera (camera # 1) and the image (frame # 1_2) acquired in the second frame.
  • the image (P_frame # 1_1) can be obtained, the same image obtained in the second frame of the first camera (camera # 1) (frame # 1_2) and the image obtained in the third frame (frame # 1_3), a second predicted image P_frame # 1_2 may be obtained.
  • the image capturing apparatus 400 acquires the image (frame # 1_1) and the second frame obtained from the first frame of the first camera (camera # 1).
  • the first predicted image (P_frame # 1_1) using three images including not only the image (frame # 1_2) acquired from the image but also the image (frame # 2_1) obtained from the first frame of the second camera (camera # 2). ).
  • Prediction of an image using three images in the image capturing apparatus 400 may be implemented using various methods. For example, a method of estimating an image by using a difference between a previous image and a current image or dividing a single image into blocks may be used.
  • a method of estimating an image by using a difference between a previous image and a current image or dividing a single image into blocks may be used.
  • One of ordinary skill in the art may understand the image capturing apparatus of the present invention that estimates an image in addition to the above-described method.
  • FIG. 11 is a flowchart schematically illustrating a process of adjusting a light amount of an illumination unit by using an image photographing apparatus according to an exemplary embodiment of the present invention.
  • a subject is photographed in a first mode to acquire image information (S1100), and it is determined whether a subject is stopped based on the image information (S1110).
  • the image photographing apparatus according to the present invention can be used in various industrial fields and sports fields.
  • an embodiment of the present invention for implementing a sensing device for a virtual golf simulation using the image photographing apparatus according to the present invention.
  • FIG. 12 illustrates a sensing device for a virtual golf simulation including an image photographing apparatus according to an embodiment of the present invention
  • FIG. 13 is a block diagram illustrating a configuration of a sensing device for a virtual golf simulation shown in FIG. 12.
  • a sensing device 1200 for sensing a user hitting a ball and an image of a virtual golf course are implemented, and a virtual golf course is generated according to a sensing result of the sensing device 1200.
  • a simulation image for the trajectory of the ball is configured to include a simulator (not shown) that proceeds the virtual golf simulation.
  • a batter 1220 for allowing a user to swing a golf is provided at a bottom of a golf booth that provides a predetermined size of space, and at one side of the batter 1220.
  • the batting mat 1225 is provided so that the user can hit the ball placed on the batting mat 1225 at the plate 1220 by the golf swing, and the screen is provided at the front to receive the image information from the simulator. And to project the image onto the screen.
  • the sensing device 1200 includes an image capturing unit 1230 including a plurality of cameras 1205 and 1210 and an illumination unit 1215, and the image.
  • Image of the virtual golf course by receiving information and image information according to the sensing result from the sensing processor 1235 and the sensing processor 1235 to extract the physical characteristics of the moving ball by processing the image taken from the photographing unit 1230
  • image processing unit 1285 for performing a predetermined image processing for realizing a simulation image of a trajectory of a ball unfolding in a virtual golf course, and outputting image information received from the image processing unit 1285 on a screen.
  • Database 1295 for storing image information acquired from the image capturing unit 1230, the image processing unit 1285, the image output unit 1290 and the data for viewing.
  • the image controller 1280 controls an operation of the database 1295 or the like.
  • the image capturing unit 1230 may constitute a stereo vision system by including two cameras which are time-synchronized, but by using a low-cost camera to shoot a golf ball moving at high speed in close proximity to the physical characteristics of the ball (eg, the speed of the ball). In order to extract the moving direction of the ball, the rotation of the ball, etc.), as described above, it may be configured to snap the image by using two cameras at the intersection.
  • the sensing processor 1235 receives the image obtained through the image capturing unit 1230 in a frame unit and collects the grabber 1255 and the image transmitted from the grabber 1255 to determine whether the subject is still.
  • the motion detecting unit 1300 to determine, when it is determined that the subject is stationary, a distance information acquisition unit 1320 to obtain distance information indicating a distance from the image capturing unit 1230 to the subject, based on the distance information
  • the lighting controller 1250 to adjust the amount of light of the lighting unit 1215, and when it is determined that the subject is stationary, the mode converting unit 1310 to convert the photographing mode of the image capturing unit 1230 to the second mode.
  • the blow detection unit 1260 By receiving and processing the image transmitted from the grabber (1255) by the blow detection unit 1260, the blow detection unit 1260 to detect whether the blow is ready or whether the blow was made by the user
  • the image estimator 1265 extracts image information before and after the hitting point from the database 1295 by acquiring the hitting time point, and obtains predicted image information based on the image information. Acquired from the ball image processor 1270 and the image information and image estimator 1265 obtained from the ball image processor 1270 and the image capturing unit 1230, which extract physical properties of a ball, which is a subject, based on before and after image information and the predicted image information.
  • the two-dimensional information of each camera in the image capturing unit 1230 is converted into three-dimensional information, or on the contrary, the three-dimensional information obtained by matching and extracting information about a plurality of cameras with each other is two-dimensional information.
  • a transform unit 1275 for inversely transforming the circuit.
  • the image processor 1285 performs a predetermined image processing for implementing an image of a virtual golf course or a simulation image of a trajectory of a ball unfolding in a virtual golf course, and the image output unit 1290 performs the image.
  • the image information received from the processor 1285 is output on the screen to be visually recognized by the user, and the database 1295 stores all data related to the sensing device 1200.
  • FIG. 14 is a diagram illustrating a process of detecting whether a user hits a ball, which is a subject, by a hit detection unit of a sensing device according to an embodiment of the present invention.
  • the hit detection unit 1260 sets up and separates a hitting area from a source image of several frames, and then finds a ball therefrom.
  • an area corresponding to the hitting mat 1225 is used as a hitting area. Set it. In this way, by separating the hitting area and finding the ball only in it, it is much faster and more accurate to find the ball than finding the ball throughout the source image.
  • the process of finding the ball by the hit detection unit 1260 may be performed by various methods. For example, the ball template preset as a reference image of the ball and a predetermined object stored in the hit area may be analyzed by analyzing the degree of similarity. If the level is similar, the specific object may be determined to be a ball.
  • a sensing area 1400 having a predetermined size can be set such that one ball is freely included around the sensed ball, and whether the ball exists in the sensing area 1400. It can be determined whether or not the user hit.
  • the hit detection unit 1260 detects that the ball, which is the subject, is hit by the user, the hit detection unit 1260 examines an image of a plurality of frames received before the detected time point, and the exact time point at which the ball starts to move. That is, the impact time point is determined, and image information of a plurality of frames before and after the impact time point is stored in the database 1295, and the image information is transmitted to the image estimator 1265, and the image estimator 1265 is based on the image information. Acquire predictive image information.
  • the ball image processor 1270 may adjust the speed, direction, and rotation of the ball moving based on the image information before and after the impact point received from the hit detection unit 1260 and the predicted image information received from the image estimator 1265.
  • the physical property information of the containing ball is calculated.
  • the physical property information of the ball obtained through the ball image processor 1270 is transferred to a simulator (not shown), and the simulator outputs a simulation image of moving the ball in a virtual golf course based on the image output unit 1290. By outputting through the virtual golf simulation proceeds.
  • two cameras used in a stereo vision system are not time-synchronized, and grab an image of a subject at an intersection with a predetermined time difference to obtain image information, so that a camera having a relatively low cost and a low speed camera
  • the present invention can provide a method and apparatus for imaging a stereovision system capable of implementing a stereo vision system similar to a camera having good performance.
  • the present invention can provide an image capturing method and apparatus for a stereo vision system capable of capturing an image efficiently by reducing the load on the system by switching the photographing mode according to the state of the subject.
  • the present invention can provide an image capturing method and apparatus for a stereo vision system that can accurately obtain the physical characteristics of the subject despite the difference in illumination by adjusting the amount of light according to the distance between the image capturing apparatus and the subject.
  • the present invention also provides a method and apparatus for photographing a stereo vision system that can obtain predictive image information based on image information obtained from a plurality of cameras included in a stereovision system, and thereby confirm physical characteristics of a subject. Can provide.
  • the present invention can be applied to adjust the amount of light according to the distance to the subject in the stereo vision system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치에 관한 것으로, 제1 모드로 피사체를 촬영하여 영상정보를 획득하는 제1 카메라 및 제2 카메라와 촬영시 섬광을 일으키는 조명부를 포함하는 영상 촬영부; 상기 획득된 영상정보에 기초하여 피사체의 정지 여부를 판단하는 영상 분석부; 피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부의 촬영모드를 제2 모드로 변환하는 모드 변환부; 및 상기 제1 카메라와 제2 카메라가 제2 모드로 영상정보를 획득하도록 제어하는 카메라 제어부를 포함하되, 상기 영상 분석부는 상기 제2 모드로 획득된 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 타격감지부를 더 포함하는 것을 특징으로 한다. 본 발명에 따르면, 스테레오 비전 시스템에 포함된 복수의 카메라로부터 획득한 영상정보를 기초로 예측 영상정보를 획득하고, 이를 통해 피사체의 물리적 특성 등을 확인하므로 예측 영상정보의 정확성을 높일 수 있다.

Description

광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치
본 발명은 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치에 관한 것으로, 더 상세하게는 스테레오 비전 시스템에 있어서 복수의 카메라를 이용하여 교차로 영상을 그랩(grab)함으로써, 성능이 낮은 카메라를 이용하여 성능이 높은 카메라의 효과를 얻을 수 있는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치에 관한 것이다.
또한, 본 발명은 스테레오 비전 시스템에 있어서 피사체의 물리적 특성에 관한 정보를 획득하기 위해, 복수의 카메라를 이용하여 교차로 영상을 그랩하여 획득한 영상정보를 기초로 예측 영상정보를 획득함으로써, 성능이 낮은 카메라를 이용하여 효율적으로 영상을 촬영할 수 있는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치에 관한 것이다.
또한, 본 발명은 스테레오 비전 시스템에 있어서 영상촬영장치로부터 피사체까지의 거리에 따라 조명의 광량을 조절함으로써, 상기 거리에 따라 조명의 차이가 발생하더라도 이를 보완하여 피사체의 물리적 특성에 관한 정확한 정보를 획득할 수 있는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치에 관한 것이다.
또한, 본 발명은 스테레오 비전 시스템에 있어서 복수의 카메라를 이용하여 교차로 영상을 그랩함으로써, 성능이 낮은 카메라를 이용하여 고속으로 움직이는 피사체를 근접에서 촬영할 수 있는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치에 관한 것이다.
정지하거나 움직이는 피사체를 촬영함으로써 획득된 영상 정보를 이용하여, 피사체의 물리적 정보(예컨대, 피사체의 속도, 방향, 회전 등)를 획득하는 영상촬영장치가 다수 소개되고 있다.
특히, 최근에는 DSLR(Digital Single Lens Reflex) 등의 디지털카메라를 포함한 영상촬영장치가 대다수의 소비자들에게 널리 사용되고 있으며, 관련 기술의 발달로 성능이 매우 우수하면서 저가인 영상촬영장치가 널리 보급되고 있다.
영상촬영장치의 목적 중에 하나는 획득된 영상 정보로부터 피사체를 찾아내거나 인식하는 것이라 할 수 있는데, 이는 하나의 카메라를 이용해서는 구현될 수 없고 적어도 2개 이상의 카메라가 필요하며 이를 구현하기 위해 이용되는 기술이 스테레오 비전 시스템(SVS; Stereo Vision System)이다.
스테레오 비전 시스템은 인간의 시각체계를 구현하기 위한 컴퓨터 비전의 적용 분야로 좌ㆍ우측으로 구성된 2대의 카메라에 의해 얻어지는 영상 시스템을 의미하며, 이는 산업분야에서 자동차의 자동주차 및 무인 주행 시스템에 이용될 수 있을 뿐만 아니라 운동 경기에서는 선수의 움직임 및 속도 등을 확인하거나 볼(ball)을 이용하는 야구, 골프, 축구 등의 경기에서는 획득된 영상 정보에 기초하여 피사체인 볼의 이동 속도, 방향 등을 확인하는데 이용될 수 있다.
종래의 스테레오 비전 시스템의 영상촬영방법은, 피사체가 매우 빠른 속도로 이동하거나 피사체와 매우 근접한 거리에서 영상을 촬영할 경우에는, 필름이 카메라의 노출 장치를 통과하여 촬영되는 속도를 나타내는 카메라 속도(camera speed)가 매우 높아야 하나 카메라 속도가 높을 경우, 가격이 매우 비싸지므로 이러한 카메라를 이용하여 스테레오 비전 시스템을 구현하기는 매우 어렵다. 따라서 성능이 낮은 저가의 카메라를 이용하여, 성능이 좋은 카메라와 동일한 스테레오 비전 시스템을 구현할 수 있는 방법이 요구되고 있다.
또한, 피사체인 공에 매우 근접하여 영상을 촬영할 경우, 영상촬영장치와 피사체의 거리에 따른 미세한 조명의 차이에도 공의 물리적 특성을 정확히 추출할 수 없게 된다. 따라서 영상촬영장치와 피사체의 거리에 따른 조명의 차이를 보완할 수 있는 방법이 요구되고 있다.
또한, 정지해 있던 피사체가 이동하는 장면을 촬영하는 경우, 예컨대 골프선수가 필드 위에 정지해 있는 공을 타격하는 경우, 야구경기에서 투수가 글러브 속에 있는 야구공을 포수에게 던지는 경우 등과 같은 장면을 촬영하는 경우에는 지속적으로 높은 카메라 속도로 영상을 촬영할 경우, 불필요한 영상을 분석, 저장하게 되므로 시스템의 부하를 증가시킬 수 있다. 따라서 피사체의 상태에 따라 영상촬영장치의 촬영모드를 변환할 수 있는 방법이 요구되고 있다.
또한, 스테레오 비전 시스템을 이용하여 피사체의 물리적 특성에 관한 정보를 획득하기 위해서는, 복수의 카메라가 시간 동기화하여 피사체의 영상을 그랩하여야 하므로 초고속으로 이동하는 피사체를 근접 촬영하여 피사체의 물리적 특성에 관한 정보를 획득하는 것은 매우 어렵다. 따라서 스테레오 비전 시스템을 구성하는 복수의 카메라가 시간 동기화하여 피사체의 영상을 그랩하지 않더라도 피사체의 물리적 특성에 관한 정보를 획득할 수 있는 방법이 요구되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 스테레오 비전 시스템에 이용되는 2개의 카메라가 시간 동기화되지 않고 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하여 영상정보를 획득함으로써, 가격이 비교적 저렴한 카메라 속도가 낮은 카메라를 이용하여 성능이 좋은 카메라와 유사한 스테레오 비전 시스템을 구현할 수 있는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 장치의 제공을 그 목적으로 한다.
본 발명의 또 다른 목적은, 영상촬영장치와 피사체까지의 거리에 따라 광량을 조절함으로써, 상기 거리에 따라 발생할 수 있는 조명의 차이에도 불구하고 피사체의 물리적 특성에 관한 정확한 정보를 획득할 수 있는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 장치의 제공을 그 목적으로 한다.
본 발명의 또 다른 목적은, 스테레오 비전 시스템에 포함된 복수의 카메라로부터 획득한 영상정보를 기초로 예측 영상정보를 획득하고, 이를 통해 피사체의 물리적 특성 등을 확인할 수 있는 스테레오 비전 시스템의 영상촬영방법 및 장치의 제공을 그 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있다.
본 발명은 다음과 같은 효과와 이점을 제공한다.
우선, 스테레오 비전 시스템에 이용되는 2개의 카메라가 시간 동기화되지 않고 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하여 영상정보를 획득함으로써, 가격이 비교적 저렴한 카메라 속도가 낮은 카메라를 이용하여 성능이 좋은 카메라와 동일한 스테레오 비전 시스템을 구현할 수 있다.
둘째, 피사체의 상태에 따라 촬영모드를 변환함으로써, 시스템의 부하를 줄이고 효율적으로 영상을 촬영할 수 있는 스테레오 비전 시스템을 구현할 수 있다.
셋째, 영상촬영장치와 피사체의 거리에 따라 광량을 조절함으로써, 조명의 차이에도 불구하고 피사체의 물리적 특성을 정확히 획득할 수 있는 스테레오 비전 시스템을 구현할 수 있다.
넷째, 스테레오 비전 시스템에 포함된 복수의 카메라로부터 획득한 영상정보를 기초로 예측 영상정보를 획득하고, 이를 통해 피사체의 물리적 특성 등을 확인하므로 예측 영상정보의 정확성을 높일 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있다.
도 1은 스테레오 비전 시스템을 설명하기 위한 도면이다.
도 2는 스테레오 비전 시스템에서 카메라를 설치하는 방법을 나타내는 도면이다.
도 3은 일반적인 스테레오 비전 시스템에서 카메라에 의해 영상이 그랩되는시퀀스를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 스테레오 비전용 영상촬영장치의 구성을 나타내는 블록도이다.
도 5는 도 4에 도시된 영상촬영장치의 구체적인 구성 및 추가적인 구성과 각 구성요소들의 기능에 관하여 나타낸 블록도이다.
도 6은 본 발명의 일실시예에 따른 영상촬영장치로부터 피사체까지의 거리를 측정하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 영상촬영장치가 영상촬영장치로부터 피사체까지의 거리에 따라 광량을 조절하는 과정을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 영상촬영장치에서 카메라에 의해 영상이 그랩되는 시퀀스를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 영상촬영장치를 이용하여 제2 모드로 촬영된 영상을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 영상촬영장치를 이용하여 제2 모드로 촬영된 영상을 이용하여 영상을 추정하는 방법을 나타내는 도면이다.
도 11은 본 발명의 일실시예에 따른 영상촬영장치를 이용하여 조명부의 광량을 조절하는 과정을 개략적으로 도시한 흐름도이다.
도 12는 본 발명의 일실시예에 따른 영상촬영장치를 포함한 가상 골프 시뮬레이션을 위한 센싱장치를 나타내는 도면이다.
도 13은 도 12에 도시된 가상 골프 시뮬레이션을 위한 센싱장치의 구성을 나타내는 블록도이다.
도 14는 본 발명의 일실시예에 따른 센싱장치의 타격 감지부에 의해 사용자가 피사체인 볼을 타격하였는지 여부를 감지하는 과정을 나타낸 도면이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 스테레오 비전 시스템의 영상촬영장치는, 제1 모드로 피사체를 촬영하여 영상정보를 획득하는 제1 카메라 및 제2 카메라와 촬영시 섬광을 일으키는 조명부를 포함하는 영상 촬영부; 상기 획득된 영상정보에 기초하여 피사체의 정지 여부를 판단하는 움직임 감지부; 피사체가 정지된 것으로 판단된 경우, 상기 획득된 영상정보에 기초하여 상기 영상 촬영부로부터 피사체까지의 거리를 나타내는 거리정보를 획득하는 거리정보 획득부; 및 상기 거리정보에 기초하여 상기 조명부의 광량을 조절하는 조명 제어부를 포함하는 것을 특징으로 한다.
본 발명은, 피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부의 촬영모드를 제2 모드로 변환하는 모드 변환부를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 제1 모드는 상기 제1 카메라와 제2 카메라가 시간 동기화하여 피사체의 영상을 그랩하여 영상정보를 획득하고, 상기 제2 모드는 상기 제1 카메라와 제2 카메라가 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하여 영상정보를 획득하는 것을 특징으로 한다.
본 발명은, 상기 제1 모드는 저속으로 영상을 그랩하고 상기 제2 모드는 고속으로 영상을 그랩하는 것을 특징으로 한다.
본 발명은, 카메라 제어부를 더 포함하되, 상기 제1 카메라와 제2 카메라는 상기 카메라 제어부로부터의 제어신호에 따라 제2 모드로 영상정보를 획득하는 것을 특징으로 한다.
본 발명은, 상기 제2 모드로 획득된 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 타격 감지부를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 제1 카메라와 제2 카메라로부터 획득한 영상정보를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 한다.
본 발명은, 피사체가 사용자에 의해 타격이 이루어진 것으로 감지된 경우, 타격시점을 확인하여, 타격 시점 전/후의 영상정보를 상기 데이터베이스로부터 추출하여, 상기 영상정보를 기초로 예측 영상정보를 획득하는 영상 추정부를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 영상 추정부는 상기 제1 카메라로부터 획득한 제1 영상 정보 및 제2 영상 정보와 상기 제2 카메라로부터 획득한 제3 영상 정보를 이용하여, 제1 예측 영상 정보를 획득하는 것을 특징으로 한다.
본 발명은, 상기 제1 영상정보와 제2 영상정보는 상기 제1 카메라로부터 획득한 연속된 프레임의 영상을 나타내고, 상기 제3 영상정보는 제2 카메라부터 상기 제1 영상정보와 제2 영상정보 사이에 획득한 프레임을 나타내는 것을 특징으로 한다.
본 발명은, 상기 타격 시점 전/후의 영상정보 및 상기 예측 영상정보에 기초하여 피사체의 물리적 특성을 획득하는 영상 처리부를 더 포함하는 것을 특징으로 한다.
본 발명은, 상기 영상 촬영부가 위치한 공간의 조도의 세기를 나타내는 조도정보를 획득하는 조도 획득부를 더 포함하는 것을 특징으로 한다.
본 발명은 상기 조명 제어부는 상기 거리정보 및 조도정보에 기초하여 상기 조명부의 광량을 조절하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 스테레오비전 시스템의 영상촬영방법은, 상기 획득된 영상정보에 기초하여 피사체의 정지 여부를 판단하는 단계; 피사체가 정지된 것으로 판단된 경우, 상기 획득된 영상정보에 기초하여 영상 촬영부로부터 피사체까지의 거리를 나타내는 거리정보를 획득하는 단계; 및 상기 거리정보에 기초하여 조명부의 광량을 조절하는 단계를 포함하는 것을 특징으로 한다.
본 발명은, 피사체가 정지된 것으로 판단된 경우, 촬영모드를 제2 모드로 변환하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은, 카메라 제어부로부터의 제어신호에 따라 제2 모드로 영상정보를 획득하는 상기 제2 모드로 획득된 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은, 피사체가 사용자에 의해 타격이 이루어진 것으로 감지된 경우, 타격시점을 확인하여, 타격 시점 전/후의 영상정보를 데이터베이스로부터 추출하여, 상기 영상정보를 기초로 예측 영상정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
특히, 본 명세서에서 정보(information)란, 값(values), 파라미터(parameters), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 그 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다.
도 1은 스테레오 비전 시스템을 설명하기 위한 도면이다.
도 1a을 참조하면, 사람이 물체를 입체적으로 인식할 수 있는 것은 오른쪽 눈과 왼쪽 눈이 각각 다른 영상을 인식하기 때문이다. 양안에 의해 얻어진 망막의 영상이 뇌(100)에서 서로 합성됨으로써 얻어지게 되며, 이는 양안에 의해 취득된 영상의 미세한 차에 의해 얻어진다. 이러한 미세한 차이로 취득된 영상이 망막의 시신경을 통해 뇌의 처리 부분에 전달되고, 전달된 전기적 신호는 뇌의 여러 가지 처리 과정을 통해 특징을 찾아내고, 뇌에 기억되어 있는 정보와 비교하여 대상 물체를 인식하게 된다.
도 1b를 참조하면, 사람이 양안을 통해 대상물체를 인식하는 과정을 컴퓨터 비전에 도입한 것이 스테레오 비전 시스템(stereovision system)이다. 따라서 스테레오 비전 시스템은 사람의 눈에 해당하는 카메라(110) 및 사람의 시각체계에 해당하는 컴퓨터(120)를 포함한다.
도 2는 스테레오 비전 시스템에서 카메라를 설치하는 방법을 나타내는 도면이다.
도 2를 참조하면, 스테레오 비전 시스템에서 카메라를 설치하는 방법은 크게 순차식과 동시식으로 나눌 수 있다. 순차식은 카메라를 동시에 설치하지 않고 하나의 카메라를 이용하여 순서에 따라 영상을 입력하는 방식이다.
한편, 동시식은 두 개의 카메라를 모두 설치하여 동시에 영상을 취득하는 것으로 현재 스테레오 비전 시스템에서 일반적으로 사용하고 있는 방법이다. 동시식은 카메라의 구성에 따라 다시 (a) 평행식(Parallel Camera Setup)과 (b) 교차식(Crossing Camera Setup)으로 나누어지는데, 이는 카메라의 광축을 어떻게 구성하느냐에 따른 분류이다. 평행식은 수직 또는 수평으로 평행한 것을 말하며, 교차식은 카메라의 광축이 일치하는 곳을 만드는 방법으로 사람의 눈 구조와 가깝다.
평행식 설치법은 거리 측정이 용이하다는 장점이 있으나, 입체 영상의 시차 조절 기능이 없어 양질의 입체 영상을 만들 수 없다는 단점을 가지며, 교차식 설치법은 평행식에 비해 고속 움직임을 갖는 물체의 거리 측정이 가능하다는 장점을 갖는다.
도 3은 일반적인 스테레오 비전 시스템에서 카메라에 의해 영상이 그랩되는시퀀스를 나타내는 도면이다.
도 3에 도시된 바와 같이, 4개의 프레임(frame)을 기준으로, 일반적인 스테레오 비전 시스템에서의 영상의 그랩은 두 대의 다른 카메라에서 찍은 시간 동기화된 영상의 교집합 부분에서 이루어진다.
예컨대, 도 3에 도시된 바와 같이 450fps(frame per second)의 촬영속도를 갖는 두 대의 카메라로 영상을 촬영할 경우, 각 카메라를 통해 초당 450프레임의 영상을 일정하게 획득할 수 있으며, 각 카메라를 통해 획득한 시간 동기화된 영상을 이용하여 촬영된 피사체의 거리, 방향 등을 확인할 수 있다.
그러나 만약 고속의 움직임을 갖는 피사체를 매우 근접하여 촬영하기 위해서는 더 높은 성능을 갖는 카메라가 필요할 수밖에 없으며, 예컨대 900fps의 성능을 갖는 카메라 두 대를 이용하여 피사체를 촬영하여야 한다면, 카메라의 가격 등이 매우 비싸서 스테레오 비전 시스템을 구성하는 것이 어려울 수밖에 없다.
따라서 고속의 움직임을 갖는 피사체를 근접 촬영하기 위해, 고가의 카메라를 사용하지 않고 저가의 카메라를 이용하여 스테레오 비전 시스템을 구성할 수 있는 방법이 요구된다.
또한, 고속의 움직임을 갖는 피사체를 촬영하여 획득한 영상정보에 기초하여 피사체의 물리적 특성에 관한 정보를 획득할 경우, 최대한 근접하여 촬영하여야 더 정확한 정보를 획득할 수 있다. 그러나 고속의 움직임을 갖는 피사체를 근접 촬영할 경우, 영상촬영장치로부터 피사체까지의 거리에 따라 발생하는 미세한 조명의 차이에도 정확한 정보를 획득할 수 없게 된다.
따라서 영상촬영장치로부터 피사체까지의 거리에 따라 발생하는 조명의 차이를 보완할 수 있는 방법이 요구된다.
도 4는 본 발명의 일실시예에 따른 스테레오 비전용 영상촬영장치의 구성을 나타내는 블록도이며, 도 5는 도 4에 도시된 영상촬영장치의 구체적인 구성 및 추가적인 구성과 각 구성요소들의 기능에 관하여 나타낸 블록도이다.
도 4에 도시된 바와 같이, 본 발명에 따른 스테레오 비전용 영상촬영장치(400)는 영상 촬영부(405), 영상 분석부(410), 제어부(425) 및 영상 처리부(435)를 포함하여 구성된다. 또한, 상기 영상 촬영부(405)는 스테레오 비전 시스템을 구성하기 위해 복수의 카메라(415)와 촬영시 섬광을 일으키는 적어도 하나 이상의 조명을 포함하는 조명부(420)를 포함한다.
도 3을 참조하여 상술한 바와 같이, 일반적인 스테레오 비전용 영상촬영장치는 피사체의 상태와 무관하게 일정한 촬영속도로 하나 이상의 프레임 단위로 시간 동기화하여 연속적으로 피사체의 영상을 촬영하도록 구성되어 있으나, 본 발명에 따른 영상촬영장치(400)는 피사체의 상태에 따라 촬영모드를 제1 모드에서 제2 모드로 변환하고, 특히 제2 모드에서는 각 카메라가 교차로 피사체의 영상을 촬영하며, 상기 제2 모드로 획득된 영상정보에 기초하여 예측 영상정보를 획득하는 것을 특징으로 한다.
여기서, 제1 모드와 제2 모드는 촬영속도, 그랩시퀀스 등으로 구별된다. 즉, 제1 모드는 촬영속도가 낮고 스테레오 비전 시스템을 구성하는 복수의 카메라(415)가 시간 동기화하여 피사체의 영상을 그랩하며, 제2 모드는 촬영속도가 높고 상기 복수의 카메라(415)가 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩한다.
만약, 정지해 있는 피사체가 움직이는 장면을 근접하여 촬영할 경우, 피사체가 정지상태에서 움직이기 시작한 시점부터(이하, “플레이(PLAY) 구간”이라 함)는 높은 촬영 속도로 영상을 촬영할 필요가 있지만, 상기 피사체가 움직이기 시작하기 전 시점(즉, 정지상태가 되는 시점) 까지(이하, “레디(READY) 구간”이라 함)는 낮은 촬영 속도로 영상을 촬영하더라도 무방하다.
따라서 예컨대, 450fps의 속도를 갖는 두 대의 카메라로 이루어진 영상촬영장치로 피사체의 움직임을 촬영할 경우, 레디 구간에서는 제1 모드(예컨대, 30fps와 같은 낮은 속도로 시간 동기화하여 피사체의 영상을 그랩)로 영상을 촬영하고, 플레이 구간에서는 제2 모드(예컨대, 첫 번째 카메라(Camera #1)를 이용한 영상의 그랩이 이루어지고 1/900초 후에 두 번째 카메라(Camera #2)를 이용하여 영상을 그랩)로 영상을 촬영한다면, 빠른 속도로 영상을 촬영할 필요가 있는 플레이 구간에서는 450fps의 속도를 갖는 두 대의 카메라를 이용하여 900fps의 속도를 갖는 카메라로 촬영한 효과를 얻을 수 있을 뿐만 아니라 낮은 속도로 영상을 촬영하더라도 무방한 레디 구간에서는 불필요하게 많은 영상을 촬영함으로써 발생하는 시스템의 부하를 줄일 수 있다.
영상 분석부(410)는 영상 촬영부(405)로부터 획득한 영상에 기초하여, 피사체의 정지 여부를 판단하고, 피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부(405)로부터 피사체까지의 거리를 나타내는 거리정보를 획득한다.
제어부(425), 더 구체적으로는 조명 제어부(430)는 상기 거리정보에 기초하여 상기 조명부(420)의 광량을 조절한다.
또한, 제어부(425)는 상기 영상 분석부(410)의 판단결과, 피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부(405)가 제2 모드로 영상을 그랩하도록, 즉 상기 카메라(415)가 빠른 속도로 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하도록 제어하는 한편, 상기 카메라(415)가 영상을 그랩할 때 조명부(420)가 동작할 수 있도록 제어하는 역할을 수행한다.
상기 제2 모드로 영상을 촬영하는 경우에는, 서로 다른 위치에서 피사체를 촬영하기 때문에 촬영된 영상으로부터 3D 정보를 추출하기 위해서는 각 카메라의 앞/뒤 영상을 추출하여 중간의 빈 영상을 추정하는 과정이 추가적으로 요구된다.
도 5를 참조하여 도 4에 도시된 영상촬영장치(400)에 관한 구체적인 구성과 각 구성요소의 기능에 관하여 설명한다.
도 4 및 도 5에 도시된 바와 같이, 본 발명에 따른 영상촬영장치(400)에서 정보의 흐름은 제1 모드에서는 영상 촬영부(405) -> 영상 분석부(410) -> 모드 변환부(460) -> 제어부(425)의 순서로 이루어지며, 제2 모드에서는 영상 촬영부(405) -> 영상 분석부(410) -> 영상 추정부(455) -> 영상 처리부(435)의 순서로 이루어진다.
제어부(440)는 카메라 제어부(440) 및 조명 제어부(430)를 포함하여 복수의 카메라(415) 및 조명부(420)를 제어한다.
영상 촬영부(405)는 카메라 제어부(440)의 신호에 따라 제1 모드 또는 제2 모드로 영상을 그랩하며, 조명부(420)는 조명 제어부(430)의 신호에 따라 복수의 카메라(415)가 영상을 그랩하는 속도에 맞춰 조명을 제공한다.
영상 분석부(410)는 영상 촬영부(405)가 제1 모드로 획득한 영상정보에 기초하여 피사체의 정지 여부를 판단하는 움직임 감지부(465)와 영상 촬영부(405)가 제2 모드로 획득한 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 타격 감지부(470)를 포함한다.
움직임 감지부(465)의 판단결과, 피사체가 정지된 것으로 판단된 경우, 모드 변환부(460)는 영상 촬영부(405)의 촬영모드를 제1 모드에서 제2 모드로 변환하며, 카메라 제어부(440)는 모드 변환부(460)의 신호에 따라 영상 촬영부(405)가 제2 모드로 영상을 촬영하도록 제어한다.
또한, 움직임 감지부(465)의 판단결과, 피사체가 정지된 것으로 판단된 경우, 거리정보 획득부(445)는 영상 촬영부(405)로부터 피사체까지의 거리를 나타내는 거리정보를 획득하고, 조도 획득부(450)는 영상 촬영부(405)가 위치한 공간의 조도의 세기를 나타내는 조도정보를 획득하며, 조명 제어부(430)는 상기 거리정보 또는 조도정보에 기초하여 상기 조명부(420)의 조도를 조절한다.
촬영 모드가 제2 모드로 변환된 경우, 카메라 제어부(440)는 450fps의 속도를 갖는 두 대의 카메라에 있어, 첫 번째 카메라(Camera #1)를 이용한 영상의 그랩이 이루어지고 1/900초 후에 두 번째 카메라(Camera #2)를 이용한 영상의 그랩이 이루어지도록 제어하고, 조명 제어부(430)는 900fps의 속도로 카메라가 영상을 촬영할 수 있는 광학적 환경이 제공되도록 조명부를 제어할 수 있다.
또한, 카메라 제어부(440)의 신호에 따라 영상 촬영부(405)는 제2 모드로 영상정보를 획득한다. 즉, 영상 촬영부(405)의 제1 카메라(예컨대, 좌측에 위치한 카메라) 및 제2 카메라(예컨대, 우측에 위치한 카메라)는 소정의 시간 차를 두고 교차로 영상을 촬영하여 영상 정보를 획득한다. 그러나 상술한 바와 같이, 상기 제2 모드로 획득된 영상 정보는 시간 동기화하여 촬영된 영상에 관한 정보가 아니므로(즉, 상기 제1 카메라 및 제2 카메라를 통해 획득된 영상 정보는 교집합이 발생하지 않음), 해당 영상 정보를 기초로 3D 정보와 같은 피사체의 물리적 특성에 관한 정보를 획득할 수 없다.
정지해 있는 피사체가 움직이는 장면을 촬영하여, 상기 피사체의 이동 속도, 방향, 회전 등의 물리적 정보를 획득하기 위해서는 피사체가 정지상태에서 움직이기 시작한 시점(예컨대, 사용자의 타격에 의해 피사체가 움직인 경우에는 “타격시점”으로 볼 수 있음) 전/후의 영상 정보를 획득할 필요가 있다.
타격 감지부(470)는 상기 제2 모드로 획득된 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하고, 영상 추정부(455)는 피사체가 사용자에 의해 타격이 이루어진 경우, 타격시점을 확인하여 타격시점 전/후의 영상정보를 영상 촬영부(405) 또는 데이터베이스(미도시)로부터 획득하여, 상기 영상정보를 기초로 예측 영상정보를 획득한다.
구체적으로는, 영상 추정부(455)는 상기 제1 카메라로부터 획득한 제1 영상 정보 및 제2 영상 정보와 상기 제2 카메라로부터 획득한 제3 영상 정보를 이용하여 제1 예측 영상정보를 획득한다.
한편, 상기 제1 영상정보와 제2 영상정보는 상기 제1 카메라로부터 획득한 연속된 프레임의 영상을 나타내고, 상기 제3 영상정보는 제2 카메라로부터 상기 제1 영상정보와 제2 영상정보 사이에 획득한 프레임의 영상을 나타낸다. 영상 추정부(455)가 예측 영상정보를 획득하는 과정에 관한 상세한 설명은 도 10을 참조하여 후술한다.
본 발명에 따른 영상촬영장치는 영상 촬영부(405)에 의해 촬영된 전기적인 영상신호를 디지털화하는 그래버(미도시) 및 영상 촬영부(405)로부터 획득한 영상 정보 및 영상 추정부(455)로부터 획득한 예측 영상정보를 저장하는 데이터베이스(미도시)를 추가적으로 포함할 수 있다.
영상 처리부(435)는 영상 촬영부(405)로부터 획득한 영상 정보, 영상 추정부(455)로부터 획득한 예측 영상정보 또는 데이터베이스에 저장된 정보를 이용하여 피사체의 물리적 특성에 관한 정보 등을 획득한다. 예컨대, 영상 촬영부(405)를 이용하여 움직이는 피사체를 촬영한 경우, 영상 처리부(435)는 상기 정보를 이용하여 해당 피사체까지의 거리, 피사체의 속도 및 방향 등에 관한 정보를 획득할 수 있다.
도 6은 본 발명의 일실시예에 따른 영상촬영장치로부터 피사체까지의 거리를 측정하는 방법을 나타낸 도면이고, 도 7은 본 발명의 일실시예에 따른 영상촬영장치가 영상촬영장치로부터 피사체까지의 거리에 따라 광량을 조절하는 과정을 나타내는 도면이다.
도 6a를 참조하면, 평행식 스테레오 카메라에 있어서 영상촬영장치로부터 피사체까지의 거리(H)는 [수학식 1]로부터 구할 수 있다.
수학식 1
Figure PCTKR2011010384-appb-M000001
도 6b를 참조하면, 교차식 스테레오 카메라에 있어서 영상촬영장치로부터 피사체까지의 거리(H)는 [수학식 2]로부터 구할 수 있다.
수학식 2
Figure PCTKR2011010384-appb-M000002
도 7을 참조하면, 영상촬영장치(400)(구체적으로는, 영상 촬영부)로부터 피사체까지의 거리(d1, d2)에 따라 조명의 광량이 조절될 수 있음을 보여주고 있다. 상기 거리(d1, d2)와 조명의 광량은 비례적으로 증가하거나 거리(d1, d2)에 따른 최적화된 조명의 광량을 설정하도록 구성될 수도 있다.
도 3에 도시된 바와 같이, 각 프레임에서 첫 번째 카메라(camera #1)와 두 번째 카메라(camera #2)가 시간 동기화하여 일정하게 빠른 속도로 영상을 촬영할 경우, 불필요하게 촬영되는 영상이 증가하여 시스템의 부하를 증가시킨다.
본 발명은 피사체의 정지 여부에 따라 영상 촬영부의 촬영모드를 변환함으로써 효율적으로 영상을 촬영할 수 있는 방법을 제안한다. 이하, 도 8을 참조하여 본 발명의 실시예에 따른 영상촬영장치의 동작에 대해 설명한다.
도 8은 본 발명의 실시예에 따른 영상촬영장치에서 카메라에 의해 영상이 그랩되는 시퀀스를 나타내는 도면이다.
도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 영상촬영장치(400)는 피사체의 정지 여부를 기준으로 레디 구간과 플레이 구간으로 나눠서 레디 구간에서는 제1 모드로 영상을 촬영하고, 플레이 구간에서는 제2 모드로 영상을 촬영하는 것을 특징으로 한다.
즉, 레디 구간에서는 저속으로(예컨대, 30fps의 촬영속도) 시간 동기화하여 영상을 그랩하고, 플레이 구간에서는 고속으로(예컨대, 450fps의 촬영속도) 복수의 카메라가 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하여 영상정보를 획득한다.
N fps(frame per second) (N > 0, 여기서, N은 카메라 속도를 의미함)의 성능을 갖는 두 대의 카메라를 이용하여 영상을 촬영할 경우, 레디 구간에서는 낮은 속도로 일정하게 영상을 그랩하고, 플레이 구간에서는 첫 번째 카메라(camera #1)가 작동한 후 1/2N초 후에 두 번째 카메라(camera #2)가 작동하도록 구성을 한다. 이 경우, 2N fps의 성능을 갖는 카메라를 이용하여 영상을 촬영하는 효과를 얻을 수 있다.
또한, 도 8에 도시된 바와 같이, 레디 구간과 플레이 구간에서 촬영모드를 제1 모드와 제2 모드로 나눠서 영상을 촬영할 경우, 불필요한 영상을 촬영함으로써 시스템의 부하가 증가하는 것을 막거나 줄일 수 있다.
도 9는 본 발명의 실시예에 따른 영상촬영장치를 이용하여 제2 모드로 촬영된 영상을 나타내는 도면이다.
도 9에 도시된 바와 같이, 본 발명의 실시예에 따른 영상촬영장치(400)를 이용하여 상술한 제2 모드로 촬영된 영상은 첫 번째 카메라(camera #1)와 두 번째 카메라(camera #2)가 교차로 영상을 획득한다.
이 경우, 두 카메라의 영상의 교집합 부분이 발생하지 않으므로, 피사체의 3D 정보 등을 획득하는 것이 불가능하다. 따라서 교차로 획득된 영상을 이용하여 각 카메라의 획득된 영상 사이의 영상을 획득하는 과정이 필요하다.
도 10은 본 발명의 실시예에 따른 영상촬영장치를 이용하여 제2 모드로 촬영된 영상을 이용하여 영상을 추정하는 방법을 나타내는 도면이다.
본 발명의 실시예에 따른 영상촬영장치(400)를 이용하여 제2 모드로 촬영된 영상은 두 대의 카메라를 이용하여 교차로 영상을 그랩하기 때문에 직접적으로 시간 동기화된 영상을 획득할 수 없다.
따라서 도 10에 도시된 바와 같이, 첫 번째 카메라(camera #1)의 첫 번째 프레임에서 획득한 영상(frame #1_1)과 두 번째 프레임에서 획득한 영상(frame #1_2)을 이용하여 첫 번째 예측된(Predicted) 영상(P_frame #1_1)을 획득할 수 있고, 동일한 방식으로 첫 번째 카메라(camera #1)의 두 번째 프레임에서 획득한 영상(frame #1_2)과 세 번째 프레임에서 획득한 영상(frame #1_3)을 이용하여 두 번째 예측된 영상(P_frame #1_2)을 획득할 수 있다.
한편, 상술한 방법을 이용하여, 고속으로 움직이는 피사체(예컨대 골프경기에서 골프공의 움직임, 야구경기에서 야구공의 움직임 등)의 영상을 추정할 경우에는, 골프공 또는 야구공의 속도, 방향, 회전 등을 예측하는 것이 매우 어려우며 그 정확성이 매우 낮을 수 밖에 없다.
따라서 본 발명의 일실시예에 따른 영상촬영장치(400)는 예측된 영상의 정확성을 높이기 위해, 첫 번째 카메라(camera #1)의 첫 번째 프레임에서 획득한 영상(frame #1_1)과 두 번째 프레임에서 획득한 영상(frame #1_2) 뿐만 아니라 두 번째 카메라(camera #2)의 첫 번째 프레임에서 획득한 영상(frame #2_1)을 포함하는 3개의 영상을 이용하여 첫 번째 예측된 영상(P_frame #1_1)을 획득한다.
즉, 도 2a의 평행식 스테레오 카메라인 경우, 첫 번째 카메라(camera #1)를 이용하여 촬영한 영상과 두 번째 카메라(camera #2)를 이용하여 촬영한 영상은 x, y, z좌표 상에서 두 개의 좌표값이 동일하며, 도 2b의 교차식 스테레오 카메라인 경우, 한 개의 좌표값이 동일하다. 따라서 상술한 바와 같이 두 개의 영상(frame #1_1, frame #1_2)을 이용하는 것보다는 세 개의 영상(frame #1_1, frame #1_2, frame #2_1)을 이용하는 것이 예측된 영상(P_frame #1_1)의 정확성을 높일 수 있다.
본 발명의 일실시예에 따른 영상촬영장치(400)에서 세 개의 영상을 이용하여 영상을 예측하는 것은 다양한 방법을 이용하여 구현이 가능하다. 예컨대, 이전 영상과 현재 영상의 차를 이용하거나, 하나의 영상을 블록으로 나누어 피사체의 움직임을 통해 영상을 추정하는 방법 등을 이용할 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 방법 이외에 영상을 추정하는 본 발명의 영상촬영장치에 대해 이해할 수 있을 것이다.
도 11은 본 발명의 일실시예에 따른 영상촬영장치를 이용하여 조명부의 광량을 조절하는 과정을 개략적으로 도시한 흐름도이다.
도 11을 참조하면, 먼저 제1 모드로 피사체를 촬영하여 영상정보를 획득하고(S1100), 상기 영상정보에 기초하여 피사체의 정지여부를 판단한다(S1110).
판단 결과, 피사체가 정지된 것으로 판단된 경우(S1120), 상기 영상정보에 기초하여 영상촬영장치로부터 피사체까지의 거리를 나타내는 거리정보를 획득하고(S1130), 피사체가 정지된 것으로 판단되지 않은 경우(S1120), 상기 영상정보에 기초하여 피사체의 정지여부를 다시 판단한다(S1110). 이어, 상기 거리정보에 기초하여 조명부의 광량을 조절한다(S1140).
전술한 것처럼, 본 발명에 따른 영상촬영장치는 다양한 산업분야 및 스포츠 분야 등에 이용될 수 있다. 이하에서는, 본 발명에 따른 영상촬영장치를 이용하여 가상 골프 시뮬레이션을 위한 센싱장치를 구현한 본 발명의 일실시예를 설명한다.
도 12는 본 발명의 일실시예에 따른 영상촬영장치를 포함한 가상 골프 시뮬레이션을 위한 센싱장치를 나타내고, 도 13은 도 12에 도시된 가상 골프 시뮬레이션을 위한 센싱장치의 구성을 나타내는 블록도이다.
일반적으로, 가상 골프 시뮬레이션을 위해서는 사용자가 볼을 타격하는 것을 센싱하기 위한 센싱장치(1200)와, 가상의 골프코스에 관한 영상을 구현하며 상기 센싱장치(1200)의 센싱 결과에 따라 가상의 골프코스에서 볼의 궤적에 대한 시뮬레이션 영상을 제공하도록 하여 가상 골프 시뮬레이션을 진행하는 시뮬레이터(미도시)를 포함하도록 구성된다.
도 12에 도시된 바와 같이, 가상 골프 시뮬레이션 장치는, 소정 크기의 공간을 제공하는 골프 부스의 바닥에 사용자가 골프 스윙을 할 수 있는 타석(1220)이 마련되고, 상기 타석(1220)의 일측에는 타격매트(1225)가 마련되어 사용자는 타석(1220)에서 타격매트(1225)에 놓인 볼을 골프 스윙에 의해 타격할 수 있도록 하며, 전방에는 스크린이 마련되어 시뮬레이터로부터 영상 정보를 받은 영상출력을 위한 장치가 스크린 상에 영상을 투영시키도록 구성될 수 있다.
도 12 및 도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 센싱장치(1200)는 복수개의 카메라(1205, 1210)와 조명부(1215)를 포함하는 영상 촬영부(1230) 및 상기 영상 촬영부(1230)로부터 촬영한 영상을 처리하여 움직이는 볼의 물리적 특성을 추출하는 센싱 처리부(1235) 및 센싱 처리부(1235)로부터 센싱 결과에 따른 정보 및 영상정보를 전달받아 가상의 골프코스에 관한 영상이나 가상의 골프코스에서 펼쳐지는 볼의 궤적에 대한 시뮬레이션 영상 등을 구현하기 위한 소정의 영상 처리를 하는 영상 처리부(1285), 상기 영상 처리부(1285)로부터 전달받은 영상 정보를 스크린 상에 출력하여 사용자가 볼 수 있도록 하는 영상 출력부(1290), 영상 촬영부(1230)로부터 획득한 영상 정보 등을 저장하는 데이터베이스(1295) 및 상기 영상 처리부(1285), 영상 출력부(1290) 및 데이터베이스(1295) 등의 동작을 제어하는 영상 제어부(1280)를 포함한다.
영상 촬영부(1230)는 시간 동기화된 두 개의 카메라를 포함하여 스테레오 비전 시스템을 구성할 수도 있으나 저가의 카메라를 이용하여 고속으로 움직이는 골프공을 가까이에서 촬영하여 볼의 물리적 특성(예컨대, 볼의 속도, 볼의 이동 방향, 볼의 회전 등)을 추출하기 위해서는 상술한 바와 같이 교차로 두 개의 카메라를 이용하여 영상을 스냅하도록 구성될 수 있다.
센싱 처리부(1235)는 상기 영상 촬영부(1230)를 통해 획득한 영상을 프레임 단위로 순차적으로 입수하여 수집하는 그래버(1255), 상기 그래버(1255)로부터 전송되는 영상을 전달받아 피사체의 정지 여부를 판단하는 움직임 감지부(1300), 피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부(1230)로부터 피사체까지의 거리를 나타내는 거리정보를 획득하는 거리정보 획득부(1320), 상기 거리정보에 기초하여 조명부(1215)의 광량을 조절하는 조명 제어부(1250), 피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부(1230)의 촬영모드를 제2 모드로 변환하는 모드 변환부(1310), 상기 그래버(1255)로부터 전송되는 영상을 전달받아 처리함으로써 타격 준비 완료 여부 및 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 타격 감지부(1260), 상기 타격 감지부(1260)에 의해 타격이 감지된 경우, 타격 시점을 확인하여 타격 시점 전/후의 영상정보를 상기 데이터베이스(1295)로부터 추출하여, 상기 영상정보를 기초로 예측 영상정보를 획득하는 영상 추정부(1265), 상기 타격 시점 전/후의 영상정보 및 상기 예측 영상정보에 기초하여 피사체인 볼의 물리적 특성을 추출하는 볼 영상 처리부(1270) 및 상기 영상 촬영부(1230)로부터 획득한 영상 정보 및 영상 추정부(1265)로부터 획득한 예측 영상정보를 서로 매칭하여 영상 촬영부(1230) 내의 각각의 카메라에 대한 2차원 정보를 3차원 정보로 변환하거나, 반대로 복수개의 카메라에 대한 정보를 서로 매칭하여 추출한 3차원 정보를 2차원 정보로 역변환하는 변환부(1275)를 포함하여 구성된다.
영상 처리부(1285)는 가상의 골프코스에 관한 영상이나 가상의 골프코스에서 펼쳐지는 볼의 궤적에 대한 시뮬레이션 영상 등을 구현하기 위한 소정의 영상 처리를 수행하며, 영상 출력부(1290)는 상기 영상 처리부(1285)로부터 전달받은 영상 정보를 스크린 상에 출력하여 사용자가 시각적으로 인식할 수 있도록 하며, 데이터베이스(1295)는 센싱장치(1200)와 관련된 모든 데이터를 저장한다.
도 14는 본 발명의 일실시예에 따른 센싱장치의 타격 감지부에 의해 사용자가 피사체인 볼을 타격하였는지 여부를 감지하는 과정을 나타낸 도면이다.
도 14a에 도시된 바와 같이, 타격 감지부(1260)는 여러 프레임의 소스 영상에서 타격 영역을 설정하여 분리한 후 그로부터 볼을 찾는데, 일반적으로는 타격매트(1225)에 해당하는 영역을 타격영역으로 설정한다. 이처럼, 타격영역을 분리하여 그 안에서만 볼을 찾음으로써 소스 영상 전체에서 볼을 찾는 것보다 훨씬 빠르고 정확하게 볼을 찾을 수 있다.
타격 감지부(1260)가 볼을 찾는 과정은 다양한 방법에 의해 수행될 수 있으며, 예컨대 볼에 대한 기준 이미지로서 미리 설정되어 저장된 볼 템플릿과 타격영역 내에 존재하는 특정 객체가 서로 유사한 정도를 분석하여 일정 수준 이상으로 유사한 경우에는 상기 특정 객체를 볼로 판단할 수 있다.
도 14b에 도시된 바와 같이, 감지된 볼을 중심으로 볼 하나 정도가 여유 있게 포함될 수 있는 정도의 소정 크기의 감지영역(1400)을 설정하고, 상기 감지영역(1400) 내에 볼이 존재하는지 여부를 통해 사용자가 타격을 했는지 여부를 판단할 수 있다.
즉, 도 14b에 도시된 상태에서 도 14c에 도시된 바와 같이 감지영역(1400) 내에 볼이 존재하지 않게 된 것을 감지함으로써 사용자가 타격을 했는지 여부를 판단할 수 있다. 타격 감지부(1260)가 피사체인 볼이 사용자에 의해 타격이 이루어진 것으로 감지한 경우, 타격 감지부(1260)는 감지된 시점 이전에 입수된 복수 프레임의 영상을 조사하여 볼이 움직이기 시작한 정확한 시점, 즉 임팩트 시점을 파악하고, 임팩트 시점 전/후의 복수 프레임의 영상 정보를 데이터베이스(1295)에 저장하는 한편, 영상 추정부(1265)로 전송하고 영상 추정부(1265)는 상기 영상 정보를 기초로 예측 영상정보를 획득한다.
볼 영상 처리부(1270)는 타격 감지부(1260)로부터 전송받은 임팩트 시점 전/후의 영상정보와 영상 추정부(1265)로부터 전송받은 예측 영상정보에 기초하여 운동하는 볼의 속도, 방향, 회전 등을 포함하는 볼의 물리적 특성 정보를 산출한다.
상기 볼 영상 처리부(1270)를 통해 획득된 볼의 물리적 특성 정보는 시뮬레이터(미도시)로 전달되고, 시뮬레이터는 이를 기초로 가상의 골프코스에서 볼이 이동하는 시뮬레이션 영상을 영상 출력부(1290)를 통해 출력함으로써 가상 골프 시뮬레이션이 진행된다.
상술한 바와 같이, 본 발명은 스테레오 비전 시스템에 이용되는 2개의 카메라가 시간 동기화되지 않고 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하여 영상정보를 획득함으로써, 가격이 비교적 저렴한 카메라 속도가 낮은 카메라를 이용하여 성능이 좋은 카메라와 유사한 스테레오 비전 시스템을 구현할 수 있는 스테레오비전 시스템의 영상촬영방법 및 장치를 제공할 수 있다.
또한, 본 발명은 피사체의 상태에 따라 촬영모드를 변환함으로써, 시스템의 부하를 줄이고 효율적으로 영상을 촬영할 수 있는 스테레오 비전 시스템의 영상촬영방법 및 장치를 제공할 수 있다.
또한, 본 발명은 영상촬영장치와 피사체의 거리에 따라 광량을 조절함으로써, 조명의 차이에도 불구하고 피사체의 물리적 특성을 정확히 획득할 수 있는 스테레오 비전 시스템의 영상촬영방법 및 장치를 제공할 수 있다.
또한, 본 발명은 스테레오비전 시스템에 포함된 복수의 카메라로부터 획득한 영상정보를 기초로 예측 영상정보를 획득하고, 이를 통해 피사체의 물리적 특성 등을 확인할 수 있는 스테레오 비전 시스템의 영상촬영방법 및 장치를 제공할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 스테레오 비전 시스템에 있어서 피사체까지의 거리에 따라 광량을 조절하는데 적용될 수 있다.

Claims (17)

  1. 제1 모드로 피사체를 촬영하여 영상정보를 획득하는 제1 카메라 및 제2 카메라와 촬영시 섬광을 일으키는 조명부를 포함하는 영상 촬영부;
    상기 획득된 영상정보에 기초하여 피사체의 정지 여부를 판단하는 움직임 감지부;
    피사체가 정지된 것으로 판단된 경우, 상기 획득된 영상정보에 기초하여 상기 영상 촬영부로부터 피사체까지의 거리를 나타내는 거리정보를 획득하는 거리정보 획득부; 및
    상기 거리정보에 기초하여 상기 조명부의 광량을 조절하는 조명 제어부를 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  2. 제 1 항에 있어서,
    피사체가 정지된 것으로 판단된 경우, 상기 영상 촬영부의 촬영모드를 제2 모드로 변환하는 모드 변환부를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  3. 제 2 항에 있어서,
    상기 제1 모드는 상기 제1 카메라와 제2 카메라가 시간 동기화하여 피사체의 영상을 그랩하여 영상정보를 획득하고, 상기 제2 모드는 상기 제1 카메라와 제2 카메라가 소정의 시간 차이를 두고 교차로 피사체의 영상을 그랩하여 영상정보를 획득하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  4. 제 2 항에 있어서,
    상기 제1 모드는 저속으로 영상을 그랩하고 상기 제2 모드는 고속으로 영상을 그랩하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  5. 제 2 항에 있어서,
    카메라 제어부를 더 포함하되,
    상기 제1 카메라와 제2 카메라는 상기 카메라 제어부로부터의 제어신호에 따라 제2 모드로 영상정보를 획득하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  6. 제 5 항에 있어서,
    상기 제2 모드로 획득된 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 타격 감지부를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  7. 제 6 항에 있어서,
    상기 제1 카메라와 제2 카메라로부터 획득한 영상정보를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  8. 제 7 항에 있어서,
    피사체가 사용자에 의해 타격이 이루어진 것으로 감지된 경우, 타격시점을 확인하여, 타격 시점 전/후의 영상정보를 상기 데이터베이스로부터 추출하여, 상기 영상정보를 기초로 예측 영상정보를 획득하는 영상 추정부를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  9. 제 8 항에 있어서,
    상기 영상 추정부는 상기 제1 카메라로부터 획득한 제1 영상 정보 및 제2 영상 정보와 상기 제2 카메라로부터 획득한 제3 영상 정보를 이용하여, 제1 예측 영상 정보를 획득하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  10. 제 9 항에 있어서,
    상기 제1 영상정보와 제2 영상정보는 상기 제1 카메라로부터 획득한 연속된 프레임의 영상을 나타내고, 상기 제3 영상정보는 제2 카메라부터 상기 제1 영상정보와 제2 영상정보 사이에 획득한 프레임을 나타내는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  11. 제 8 항에 있어서,
    상기 타격 시점 전/후의 영상정보 및 상기 예측 영상정보에 기초하여 피사체의 물리적 특성을 획득하는 영상 처리부를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  12. 제 1 항에 있어서,
    상기 영상 촬영부가 위치한 공간의 조도의 세기를 나타내는 조도정보를 획득하는 조도 획득부를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  13. 제 12 항에 있어서,
    상기 조명 제어부는 상기 거리정보 및 조도정보에 기초하여 상기 조명부의 광량을 조절하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영장치.
  14. 제1 모드로 피사체를 촬영하여 영상정보를 획득하는 단계;
    상기 획득된 영상정보에 기초하여 피사체의 정지 여부를 판단하는 단계;
    피사체가 정지된 것으로 판단된 경우, 상기 획득된 영상정보에 기초하여 영상 촬영부로부터 피사체까지의 거리를 나타내는 거리정보를 획득하는 단계; 및
    상기 거리정보에 기초하여 조명부의 광량을 조절하는 단계를 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법.
  15. 제 14 항에 있어서,
    피사체가 정지된 것으로 판단된 경우, 촬영모드를 제2 모드로 변환하는 단계를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법.
  16. 제 15 항에 있어서,
    카메라 제어부로부터의 제어신호에 따라 제2 모드로 영상정보를 획득하는 단계; 및
    상기 제2 모드로 획득된 영상정보에 기초하여 피사체가 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 단계를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법.
  17. 제 16 항에 있어서,
    피사체가 사용자에 의해 타격이 이루어진 것으로 감지된 경우, 타격시점을 확인하여, 타격 시점 전/후의 영상정보를 데이터베이스로부터 추출하여, 상기 영상정보를 기초로 예측 영상정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법.
PCT/KR2011/010384 2011-12-29 2011-12-30 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치 WO2013100240A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110145881A KR101230346B1 (ko) 2011-12-29 2011-12-29 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치
KR10-2011-0145881 2011-12-29

Publications (1)

Publication Number Publication Date
WO2013100240A1 true WO2013100240A1 (ko) 2013-07-04

Family

ID=47898985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/010384 WO2013100240A1 (ko) 2011-12-29 2011-12-30 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR101230346B1 (ko)
WO (1) WO2013100240A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113510B2 (en) * 2013-10-14 2015-08-18 I/P Solutions, Inc. Dimmer for sport simulation environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961128B1 (ko) * 2009-11-17 2010-06-07 프림포주식회사 공의 진행 예측 시스템
KR20110055233A (ko) * 2009-11-19 2011-05-25 코디텍(주) 줌연동 광량 조절 적외선 조명장치
KR101048090B1 (ko) * 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961128B1 (ko) * 2009-11-17 2010-06-07 프림포주식회사 공의 진행 예측 시스템
KR20110055233A (ko) * 2009-11-19 2011-05-25 코디텍(주) 줌연동 광량 조절 적외선 조명장치
KR101048090B1 (ko) * 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Also Published As

Publication number Publication date
KR101230346B1 (ko) 2013-02-06

Similar Documents

Publication Publication Date Title
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2017123041A1 (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
WO2021091021A1 (ko) 화재 검출 시스템
WO2017204596A1 (ko) 얼굴 윤곽 보정 방법 및 장치
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2021101053A1 (ko) 상품 인식을 위한 데이터 취득 시스템
WO2012128574A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
WO2011005056A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
WO2016002986A1 (ko) 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
WO2013081435A1 (ko) 3d 영상 표시 장치 및 방법
EP3320676A1 (en) Image capturing apparatus and method of operating the same
WO2016036059A1 (en) Photographing apparatus and photographing method
WO2011035560A1 (zh) 立体数码成像同步装置和方法
WO2022039323A1 (ko) 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법
WO2014109546A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2017135690A1 (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
WO2018030795A1 (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2013073791A1 (en) Digital photographing apparatus and method of controlling continuous photographing thereof
WO2013100240A1 (ko) 광량 조절이 가능한 스테레오 비전 시스템의 영상촬영방법 및 그 장치
WO2012165718A1 (ko) 아이 트래킹을 이용한 컨버전스 자동 조절 장치 및 그 방법
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11878810

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11878810

Country of ref document: EP

Kind code of ref document: A1