WO2019146903A1 - Apparatus and method for providing image of wrap-around view by using distance information - Google Patents

Apparatus and method for providing image of wrap-around view by using distance information Download PDF

Info

Publication number
WO2019146903A1
WO2019146903A1 PCT/KR2018/015370 KR2018015370W WO2019146903A1 WO 2019146903 A1 WO2019146903 A1 WO 2019146903A1 KR 2018015370 W KR2018015370 W KR 2018015370W WO 2019146903 A1 WO2019146903 A1 WO 2019146903A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional model
distance information
robot
unit
Prior art date
Application number
PCT/KR2018/015370
Other languages
French (fr)
Korean (ko)
Inventor
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2019146903A1 publication Critical patent/WO2019146903A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Definitions

  • the present invention relates to an image providing apparatus, and more particularly, to an apparatus and method for providing a wraparound view image using distance information that minimizes image distortion by reflecting distance information to a wraparound view.
  • a robot is a mechanical device that can perform operations such as manipulation or movement by automatic control, and is used for various tasks on behalf of human being.
  • the robot industry has been developed rapidly, and researches on industrial / special work robots are being expanded to research on robots that are intended to help human work such as home and educational robots and to give pleasure to authorized lives.
  • Most of these robots are small-sized mobile robots because they perform work in human living environment.
  • an embodiment of the present invention is to provide an observation time control apparatus for a robot that can reconstruct a time point at which a moving object is viewed according to the velocity of the moving object.
  • a wraparound view image providing apparatus using distance information includes a camera unit for photographing an image in all directions, a sensor unit for measuring distance information in all directions, Dimensional space modeled using the distance information, and generates a wrap around view by mapping the image to the generated three-dimensional model.
  • the controller may generate a two-dimensional model in which a two-dimensional space is modeled using the distance information, and determine whether the distance information is less than a predetermined radius edge modeling unit for generating a three-dimensional model by creating a wall surface perpendicular to the points of the three-dimensional model, point matching for matching points included in the three-dimensional model with points for projection information on which the image is projected, And an image mapping unit for projecting the image on the three-dimensional model matched with the points to perform image mapping.
  • the three-dimensional modeling unit may generate the two-dimensional model by connecting points neighboring clockwise or counterclockwise with respect to a point closest to 0 ° among the point information included in the distance information do.
  • the three-dimensional modeling unit forms the wall surface by connecting four points existing in a vertical direction with respect to two neighboring edge points of the edge points.
  • the point matching unit preferentially points-matches the edge points of the three-dimensional model among the points included on the three-dimensional model.
  • the control unit may further include an image processing unit for removing distortion of the image photographed from the camera unit and cutting or converting an unnecessary image.
  • a moving object monitoring system is a moving object monitoring system that includes a moving object that performs movement and predetermined operations, a wraparound view image providing device that is installed in the moving object and creates a wraparound view of the moving object, And a user terminal for monitoring the moving object by outputting a wraparound view
  • the wraparound view image providing apparatus comprises: a camera section for capturing an image in all directions; a sensor section for measuring distance information in all directions; A controller for generating a three-dimensional model in which a three-dimensional space is modeled using the distance information measured from the sensor unit, and mapping the image to the generated three-dimensional model to generate a wraparound view .
  • the user terminal generates a control signal for controlling movement and operation of the moving object, and transmits the generated control signal to the moving object to remotely control the moving object.
  • the controller may generate a two-dimensional model in which a two-dimensional space is modeled using the distance information, and determine whether the distance information is less than a predetermined radius edge modeling unit for generating a three-dimensional model by creating a wall surface perpendicular to the points of the three-dimensional model, point matching for matching points included in the three-dimensional model with points for projection information on which the image is projected, And an image mapping unit for projecting the image on the three-dimensional model matched with the points to perform image mapping.
  • the three-dimensional modeling unit may generate the two-dimensional model by connecting points neighboring clockwise or counterclockwise with respect to a point closest to 0 ° among the point information included in the distance information do.
  • the three-dimensional modeling unit forms the wall surface by connecting four points existing in a vertical direction with respect to two neighboring edge points of the edge points.
  • the point matching unit preferentially points-matches the edge points of the three-dimensional model among the points included on the three-dimensional model.
  • the control unit may further include an image processing unit for removing distortion of the image photographed from the camera unit and cutting or converting an unnecessary image.
  • a method for providing a wraparound view image using distance information is characterized in that the wraparound view image providing apparatus captures images in all directions and measures distance information to collect information, Generating a three-dimensional model in which a three-dimensional space is modeled using the measured distance information, and generating a wraparound view by mapping the image to the generated three-dimensional model by the wraparound view image providing apparatus .
  • An apparatus and method for providing a wraparound view image using distance information can model a three-dimensional space using distance information and generate a wraparound view by projecting an image in a modeled three-dimensional space.
  • observation time point control apparatus for a robot can reconstruct and display a viewpoint of a moving object according to the velocity of the moving object.
  • FIG. 1 is a block diagram illustrating a moving object monitoring system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a wraparound view image providing apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram for explaining the control unit of FIG.
  • FIG. 4 is a view for explaining a three-dimensional modeling unit of FIG. 3.
  • FIG. 4 is a view for explaining a three-dimensional modeling unit of FIG. 3.
  • FIG. 5 is a diagram for explaining the point matching unit of FIG.
  • FIG. 6 is a view for explaining the image mapping unit of FIG. 3.
  • FIG. 6 is a view for explaining the image mapping unit of FIG. 3.
  • FIG. 7 is a view for explaining a wraparound view and a conventional wraparound view according to an embodiment of the present invention.
  • FIG 8 is a view for explaining a wraparound view and a conventional wraparound view according to another embodiment of the present invention.
  • FIG. 9 is a view for explaining a wraparound view according to another embodiment of the present invention.
  • FIG. 10 is a view for explaining a method of providing a wraparound view image according to an embodiment of the present invention.
  • FIG. 11 is a block diagram illustrating an apparatus for controlling the time of observation of a robot according to an embodiment of the present invention.
  • 12A and 12B are views illustrating a plurality of cameras disposed in a robot of the observation point-of-view control apparatus of the robot shown in Fig.
  • FIG. 13 is a diagram illustrating an example of the surround view according to an observation time point provided by the observation time point control apparatus of the robot shown in FIG.
  • FIG. 14 is a diagram illustrating control of a virtual camera in a virtual camera control unit of the observation point-in-time control apparatus of the robot shown in FIG.
  • FIG. 1 is a block diagram illustrating a moving object monitoring system according to an embodiment of the present invention.
  • a mobile object monitoring system 400 allows a user to remotely control a mobile object 200 through a user terminal 300. To this end, the mobile object monitoring system 400 provides a wrap around view of the mobile object 200 to the user terminal 300.
  • the moving object monitoring system 400 includes a wrap around view image providing apparatus 500 (hereinafter referred to as an "image providing apparatus"), a moving object 200 and a user terminal 300.
  • the mobile 200 moves and performs predetermined operations.
  • the moving object 200 may autonomously perform movement and operation according to a predetermined algorithm, or may be remotely controlled according to an external control signal.
  • the mobile unit 200 may be a mobile robot, but is not limited thereto, and may be an industrial / special-purpose robot, a vehicle such as an automobile, a specially equipped car, and the like.
  • the image providing apparatus 500 is installed in the moving object 200 and generates a wrap around view of the moving object 200 in real time.
  • the image providing apparatus 500 may be installed at an upper portion of the moving object 200.
  • the image providing apparatus 500 minimizes image distortion generated in the existing wraparound view by reflecting the spatial information in the process of creating the wraparound view. Accordingly, the image providing apparatus 500 allows the generated wraparound view to have a high sync rate with the actual image.
  • the user terminal 300 receives the data of the wraparound view generated from the image providing apparatus 500 and outputs the received wraparound view to monitor the mobile 200.
  • the user terminal 300 includes a display capable of outputting an image.
  • the user terminal 300 generates a control signal for controlling the moving object 200 and transmits the generated control signal to the moving object 200 to remotely control the moving object 200. That is, after confirming the wraparound view output to the user terminal 300, the user inputs a user input to the user terminal 300 to generate a control signal so that the user can operate the current state of the mobile terminal 200 have. Accordingly, the mobile unit 200 can perform a desired movement and operation of the user.
  • the user terminal 300 may be a smart phone, a tablet PC, a handheld computer, a laptop, a desktop, or the like.
  • the moving object monitoring system 400 can establish a communication network 450 between the image providing apparatus 500, the moving object 200 and the user terminal 300 to communicate with each other.
  • the communication network 450 may be composed of a backbone network and a subscriber network.
  • the backbone network may be composed of one or a plurality of integrated networks of X.25 network, Frame Relay network, ATM network, MPLS (Multi Protocol Label Switching) network and GMPLS (Generalized Multi Protocol Label Switching) network.
  • the subscriber network may be a fiber to the home (FTTH), an asymmetric digital subscriber line (ADSL), a cable network, a zigbee, a bluetooth, a wireless LAN (IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n ), Wireless Hart (ISO / IEC62591-1), ISA100.11a (ISO / IEC 62734), Constrained Application Protocol (COAP), Multi-Client Publish / Subscribe Messaging (MQTT), Wireless Broadband (WIBRO) HSDPA (High Speed Downlink Packet Access), 4G, and 5G, the next generation communication network.
  • the communication network 450 may be an Internet network and may be a mobile communication network.
  • FIG. 2 is a block diagram illustrating a wraparound view image providing apparatus according to an embodiment of the present invention.
  • the image providing apparatus 500 includes a camera unit 10, a sensor unit 30, and a control unit 50, and further includes a communication unit 70 and a storage unit 90 .
  • the camera unit 10 captures an image in all directions.
  • the camera unit 10 takes an image of a predetermined radius.
  • the camera unit 10 includes a plurality of cameras for photographing images in different directions with the moving object 200 as a center. Therefore, the camera unit 10 can collect a plurality of images.
  • the camera may include a lens and an optical sensor.
  • the optical sensor captures an image through a lens, and converts an optical image signal, which is a photographed image, into an electrical image signal.
  • the optical sensor may be a charge coupled device (CCD) sensor.
  • the sensor unit 30 measures distance information in all directions.
  • the sensor unit 30 measures distance information for a predetermined radius.
  • the sensor unit 30 includes a plurality of sensors for measuring distance information in different directions about the mobile object 200.
  • the sensor may be a sensor for measuring distance information, and preferably an infrared sensor, an ultrasonic sensor, or the like.
  • the control unit 50 generates a three-dimensional model in which the three-dimensional space is modeled by using the distance information measured from the sensor unit 30.
  • the control unit 50 generates a wraparound view by image-mapping the photographed image from the camera unit 10 to the generated three-dimensional model. Accordingly, the controller 50 does not simply create a wraparound view through image registration as in the conventional wraparound view, but also minimizes image distortion caused by image registration by reflecting spatial information.
  • control unit 50 since the control unit 50 has a plurality of images taken from the camera unit 10, the control unit 50 performs image processing of matching a plurality of images to one image.
  • the controller 50 may remove distortion included in each of the plurality of images before cutting out the plurality of images into one image, and may cut or convert the image of unnecessary parts to extract only necessary images.
  • the communication unit 70 performs communication with the user terminal 300.
  • the communication unit 70 transmits the data of the wraparound view to the user terminal 300.
  • the communication unit 70 may receive a control signal for controlling the generation of the wrap around view from the user terminal 300.
  • the communication unit 70 may receive a control signal including a command to create a wrap around view from the user terminal 300, or receive a control signal including an instruction to not create a wrap around view. If the communication unit 70 receives the control signal from the user terminal 300, the control unit 50 can control the generation of the wraparound view according to the control signal. On the other hand, the controller 50 can basically generate a wraparound view when the mobile 200 is operated.
  • the storage unit 90 stores a plurality of images photographed by the camera unit 10.
  • the storage unit 90 stores distance information measured by the sensor unit 30.
  • the storage unit 90 stores a wraparound view.
  • the storage unit 90 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) (Random Access Memory), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) A magnetic disk, and / or an optical disk.
  • FIG. 3 is a block diagram for explaining the control unit of FIG. 2
  • FIG. 4 is a view for explaining a three-dimensional modeling unit of FIG. 3
  • FIG. 5 is a view for explaining the point matching unit of FIG. 3
  • 3 is an explanatory diagram of an image mapping unit.
  • control unit 50 includes a three-dimensional modeling unit 51, a point matching unit 53, and an image mapping unit 55, and further includes an image processing unit 57.
  • the three-dimensional modeling unit 51 generates a two-dimensional model in which the two-dimensional space is modeled using the distance information.
  • the two-dimensional model may be the bottom surface on which the three-dimensional model is generated.
  • the three-dimensional modeling unit 51 creates a three-dimensional model by creating a wall surface perpendicular to the edge points of the points in the generated two-dimensional model, the distance information being shorter than a predetermined radius.
  • the three-dimensional modeling unit 51 may determine that there is a wall surface at the corresponding position as the location of the edge points is shorter than the radius supported by the sensor.
  • the three-dimensional modeling unit 51 creates a two-dimensional model by connecting points neighboring clockwise or counterclockwise with respect to a point nearest to 0 degrees among the point information included in the distance information . That is, the three-dimensional modeling unit 51 generates a two-dimensional model based on the point closest to 0 °, so that the two-dimensional model can be a plane parallel to the ground.
  • the three-dimensional modeling unit 51 generates four vertexes on the two-dimensional model on the basis of two neighboring edge points (P 0 , P 1 ) among the edge points on the generated two-
  • the points P 0_top , P 0_bottom , P 1_top , and P 1_bottom are connected to form a wall (FIG. 4).
  • the three-dimensional modeling unit 51 generates the three-dimensional model by repeatedly making the wall surface at the edge points existing on the two-dimensional model.
  • the point matching unit 53 matches the points included in the three-dimensional model generated by the three-dimensional modeling unit 51 and the points of the projection information on which the image photographed from the camera unit 10 is projected, So that the information is reflected in the three-dimensional model (Fig. 5 (a) and Fig. 5 (b)).
  • the projection information means a position value at which the image is projected.
  • This point matching may be a pre-calibration performed prior to mapping the image to the three-dimensional model.
  • the point matching unit 53 firstly points-matches the edge points of the three-dimensional model among the points included on the three-dimensional model, and then the entire spatial information is reflected first, and then the remaining spatial information is reflected, Can be achieved.
  • the point matching unit 53 reflects the projection information M 0 on the three-dimensional model M r (FIGS. 6 (a) and 6 (b)). That is, the point matching unit 53 matches the projection information having a shape different from the three-dimensional model to the three-dimensional model so as to correspond to the reference point O on the basis of the reference point O so that the projection error that can be generated when a later image is projected .
  • point matching unit 53, and matching points the P 1 point P 1 'P 0 which is of the pointer in the three-dimensional model for P 0 point of the projection information corresponding and matching points, P 2 Point to the P < 2 >'point.
  • the image mapping unit 55 projects images corresponding to the points existing on the point-matched three-dimensional model from the point matching unit 53 and performs image mapping.
  • the image mapping unit 55 can perform image mapping of an image using the pair of points obtained in the point matching process. That is, the image mapping unit 55 can determine which area of the 3D model is the bottom area or the wall area through point matching, and project the corresponding image. For example, the image mapping unit 55 projects an image corresponding to P 0 point of the image (M 0) in one of the pointer of the 3-D model P 0 'points corresponding thereto, and the image corresponding to P 1 point To a point P 1 '.
  • the image processing unit 57 performs image processing for eliminating distortion of an image photographed from the camera unit 10 and cutting or converting an unnecessary portion of the image.
  • the image may be a plurality of images as they are collected from a plurality of cameras.
  • the image processing unit 57 matches a plurality of images subjected to image processing into one image.
  • FIG. 7 is a view for explaining a wraparound view and a conventional wraparound view according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a wraparound view and a conventional wraparound view according to another embodiment of the present invention.
  • FIG. 9 is a view for explaining a wraparound view according to another embodiment of the present invention.
  • 7A is a view showing a conventional wraparound view to which no spatial information is applied
  • FIG. 7B is a view showing a wraparound view of the present invention to which spatial information is applied
  • FIG. 8 FIG. 8A is a view showing a conventional wraparound view in which spatial information is not applied in various directions
  • FIG. 8B is a view showing various aspects of the wraparound view of the present invention to which spatial information is applied.
  • the image providing apparatus 500 generates a wraparound view including spatial information.
  • the image providing apparatus 500 can minimize the image distortion that occurs when the image is projected onto the conventional half-circle model by projecting the image on the three-dimensional model.
  • the wraparound view of the present invention and the conventional wraparound view are compared and analyzed.
  • the wraparound view of the present invention clearly projects the bottom surface and the wall surface by projecting the image on the three-dimensional model in which the bottom surface and the wall surface are distinguished.
  • the wraparound view of the present invention can project an image based on the same structure as the actual structure, minimizing image distortion, and maximizing the stereoscopic effect of the image.
  • the conventional wraparound view projects an image to a semicircular model, so that the floor surface and the wall surface are blurred. That is, in the conventional wraparound view, an image is projected on the basis of a semi-circular structure different from the actual structure, so that image distortion occurs and the stereoscopic effect of the image is lowered.
  • FIG. 10 is a view for explaining a method of providing a wraparound view image according to an embodiment of the present invention.
  • the wraparound view image providing method can maximize the stereoscopic effect and minimize image distortion by applying spatial information to the wraparound view.
  • step S110 the image providing apparatus 500 photographs an image for all directions and measures distance information for all directions.
  • the image providing apparatus 500 collects image and distance information for a predetermined radius. At this time, the image providing apparatus 500 can collect images and distance information of different directions about the mobile object 200.
  • step S130 the image providing apparatus 500 generates a three-dimensional model in which the three-dimensional space is modeled using the distance information measured in step S110.
  • the image providing apparatus 500 creates a two-dimensional model by connecting neighboring points in the clockwise direction or the counterclockwise direction with respect to a point nearest to 0 ° among the point information included in the distance information.
  • the image providing apparatus 500 connects the four points located above and below the predetermined height in the vertical direction with respect to two neighboring edge points among the edge points existing on the generated two-dimensional model to produce a wall surface.
  • the image providing apparatus 500 repeatedly creates the wall surface at the edge points existing on the two-dimensional model to generate the three-dimensional model.
  • the image providing apparatus 500 In operation S150, the image providing apparatus 500 generates a wraparound view by projecting the image on the three-dimensional model generated in operation S130.
  • the image providing apparatus 500 projects an image corresponding to points existing on the three-dimensional model to perform image mapping.
  • the image providing apparatus 500 may process the image photographed in step S110 between steps S110 and S150.
  • the image providing apparatus 500 performs image processing that removes image distortion and cuts or converts an unnecessary portion of the image.
  • the image providing apparatus 500 matches a plurality of image-processed images into one image. Accordingly, the image providing apparatus 500 can pre-process the image projected on the three-dimensional model, thereby improving the quality of the wraparound view finally generated.
  • FIG. 11 is a block diagram illustrating an apparatus for controlling the time of observation of a robot according to an embodiment of the present invention.
  • the observation time control apparatus 100 of the robot includes a display unit 110, a virtual camera control unit 120, and a control unit 130.
  • the display unit 110 is connected to a robot including a plurality of cameras, and displays an overview view including a robot object corresponding to the robot, which is generated through a plurality of cameras.
  • a plurality of cameras can acquire an image at each time point.
  • the surround view may be generated in the robot or virtual camera control unit 120 through matching of corresponding direction images received from a plurality of cameras.
  • the surround view may be generated based on at least two of the images obtained through the plurality of cameras or a plurality of images. At least two images may correspond to the default image or an image set by the robot's remote controller.
  • the surround view can be generated based on a series of images synthesized according to temporal associations between images. For example, the surround view may be generated based on a series of images, such as 360 degrees of image of the robot object around the robot object.
  • the display portion 110 may display a task guide in the surround view.
  • the task guideline can be set to a certain radius from the robot object.
  • the virtual camera control unit 120 controls a virtual camera that generates a viewing point of view of a robot object on the surround view according to the moving speed of the robot.
  • the moving speed of the robot can be obtained through the speed sensor installed in the robot.
  • the observation point corresponds to the viewpoint of the robot object and the robot object.
  • the virtual camera is a device that does not actually exist, and can reconstruct an observing point of looking at a robot object according to the moving speed of the robot, thereby providing an around view.
  • the virtual camera control unit 120 can move the virtual camera that generates the observation point of the robot object in the direction opposite to the movement of the robot as the moving speed of the robot increases. In one embodiment, the virtual camera control unit 120 moves the virtual camera, which generates the observation point of the robot object when the robot advances, to the rear of the robot, and generates the observation point of the robot object when the robot is backward. To the front of the robot.
  • the remote controller can control the movement of the robot by recognizing the working environment on the basis of the observation points of the front and rear robot objects.
  • the virtual camera control unit 120 can move the virtual camera along the curved surface between the upper position of the robot object and the rear position of the robot object.
  • the curved surface may correspond to a part of the arc formed as an ellipse around the robot.
  • the virtual camera control unit 120 moves the virtual camera to an upper position of the robot object, and generates an ambient view based on the images acquired through the plurality of cameras, Can be reconfigured into an around view of.
  • the virtual camera control unit 120 moves the virtual camera to the rear position of the robot object along the curved surface to move the generated surround view based on the images obtained through the plurality of cameras to the rear And can be reconfigured into an around view at the location point.
  • the virtual camera control unit 120 can adjust the position of the robot object to one focus of the ellipse, move the virtual camera from the upper side to the rear side along the curved surface of the ellipse, and maintain the size of the robot object by controlling the magnification of the virtual camera.
  • the virtual camera control unit 120 can increase the magnification of the virtual camera and maintain the size of the robot object by moving the virtual camera from the upper position of the ellipse to the rear position along the curved surface.
  • the control unit 130 may control the overall operation of the observation point control apparatus 100 of the robot and may control the operation and data flow between the display unit 110 and the virtual camera control unit 120.
  • 12A and 12B are views illustrating a plurality of cameras disposed in a robot of the observation point-of-view control apparatus of the robot shown in Fig.
  • a plurality of cameras 210-1, 210-2, 210-3, and 210-4 pick up images of the periphery of the robot object 10 at a plurality of points of time, respectively, Images are generated.
  • the plurality of cameras 210-1, 210-2, 210-3, and 210-4 may receive power when the robot is driven, and may sweep the robot object 10 around the robot object.
  • the plurality of viewpoints may vary depending on the size of the robot.
  • the plurality of cameras 210-1, 210-2, 210-3, and 210-4 may be disposed on each of the front, rear, and both sides of the robot so as to surround the robot object 10 As shown in Fig.
  • the plurality of cameras 210-1, 210-2, 210-3, and 210-4 can capture images of the robot object 10 around the robot object 10 at 190 degrees.
  • the plurality of cameras 210-1, 210-2, 210-3, and 210-4 can be moved up and down or left and right respectively by the remote controller of the robot.
  • the observation time control apparatus 100 of the robot performs image interpolation based on image pixels within a predetermined radius So that the surround view can be displayed.
  • FIG. 13 is a diagram illustrating an example of the surround view according to an observation time point provided by the observation time point control apparatus of the robot shown in FIG.
  • the virtual camera control unit 120 sets the position of the robot object 10 to one focus of the ellipse, and moves the virtual camera along the curved surface of the ellipse to the upper (Fig. 3 (a)).
  • the virtual camera control unit 120 moves the virtual camera along the curved surface of the ellipse from the upper position to the rear position of the robot object 10, and when the moving speed of the robot corresponds to the maximum speed
  • the virtual camera can be moved to the rear position of the robot object 10 along the curved surface of the ellipse (corresponding to (b) of FIG. 3).
  • the virtual camera control unit 120 can reconstruct the surround view based on the point of view based on the position of the virtual camera on the curved surface of the ellipse. That is, the surround view can be variably generated according to the moving speed of the robot.
  • FIG. 14 is a diagram illustrating control of a virtual camera in a virtual camera control unit of the observation point-in-time control apparatus of the robot shown in FIG.
  • the virtual camera control unit 120 adjusts the position of the robot object 10 to one focus of the ellipse and moves the virtual camera from the upper position 410 to the rear position 420 along the curved surface of the ellipse have. Since the distance between the robot object 10 and the virtual camera is increased when the virtual camera is disposed at the rear position 420 of the ellipse than when the virtual camera is disposed at the upper position 410 of the ellipse, You can reconfigure the surrounding view by increasing the magnification. The surround view at the same magnification can display the size of the robot object 10 smaller when the virtual camera is located at the rear position 420 than when the virtual camera is located at the upper position 410 of the ellipse.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are an apparatus and a method for providing an image of a wrap-around view by using distance information. An apparatus for providing an image of a wrap-around view, of the present invention, comprises: a camera unit for capturing an omnidirectional image; a sensor unit for measuring omnidirectional distance information; and a control unit for generating a three-dimensional model, in which a three-dimensional space is modeled, by using the distance information measured by the sensor unit, and for generating a wrap-around view by image-mapping images onto the generated three-dimensional model. In addition, an observation point control device for a robot comprises: a display unit connected to a robot, which includes a plurality of cameras, and displaying an around view, which is generated through the plurality of cameras and includes a robot object corresponding to the robot; and a virtual camera control unit for controlling a virtual camera for generating an observation point from which the robot object on the around view is viewed according to the moving speed of the robot. Therefore, a point from which a moving body is viewed according to the speed of the moving body is reconfigured so as to be displayable.

Description

거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법Apparatus and method for providing a wraparound view image using distance information
본 발명은 영상제공장치에 관한 것으로, 더욱 상세하게는 랩어라운드뷰에 거리정보를 반영하여 영상의 왜곡을 최소화하는 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법에 관한 것이다.The present invention relates to an image providing apparatus, and more particularly, to an apparatus and method for providing a wraparound view image using distance information that minimizes image distortion by reflecting distance information to a wraparound view.
로봇(robot)은 자동 조절에 의해 조작이나 이동 등의 일을 수행할 수 있는 기계 장치로써, 인간을 대신하여 여러 작업에 이용되고 있다. 그 동안 로봇 산업은 급속도로 발전해왔으며, 산업용/특수 작업용 로봇에 대한 연구에서 가정용, 교육용 로봇과 같이 인간의 작업을 돕고 인가의 생활에 즐거움을 주는 목적으로 만들어지는 로봇에 대한 연구로 확대되고 있다. 이러한 로봇들은 인간 생활환경 안에서 작업을 수행하기 때문에, 주로 작은 크기의 이동 로봇(mobile robot)들이 대부분이다.A robot is a mechanical device that can perform operations such as manipulation or movement by automatic control, and is used for various tasks on behalf of human being. In the meantime, the robot industry has been developed rapidly, and researches on industrial / special work robots are being expanded to research on robots that are intended to help human work such as home and educational robots and to give pleasure to authorized lives. Most of these robots are small-sized mobile robots because they perform work in human living environment.
이러한 이동 로봇의 주행에 관한 연구는 로봇 분야에서 매우 중요한 연구 분야 중 하나이다. 종래에는 이동 로봇에 대한 연구가 특정 영역에서 고정되는 형태 또는 미리 정형화된 경로로 이동하는 형태의 로봇에 대해 주로 행해졌다. 하지만 사용자의 제어를 통해 로봇을 이동시키는 기술에 대한 연구가 점차 활성화되고 있다.(한국공개특허공보 제10-2017-0022508호)Research on the travel of such a mobile robot is one of the most important research fields in the field of robots. Conventionally, research on a mobile robot has been mainly performed on a robot that is fixed in a specific area or moves in a predetermined path. However, research on the technique of moving the robot through the control of the user has been gradually activated (Korean Patent Laid-Open No. 10-2017-0022508).
종래의 로봇을 원격제어하는 경우, 한정된 시야각을 통한 원격제어만 가능하였다. 이를 극복하려고 많은 연구가 시도되었으며, 전체의 시각을 볼 수 있는 전방향 카메라 또는 어안렌즈를 사용하는 광각 카메라 등이 연구되었다. When a conventional robot is remotely controlled, only remote control through a limited viewing angle is possible. Many studies have been attempted to overcome this problem, and an omnidirectional camera or a wide-angle camera using a fish-eye lens has been studied.
그러나 이러한 시도들은 각각 왜곡된 영상을 제공하여 훈련이나 경험을 통해서만 숙련된 조작법을 익힐 수 있어 조작에 어려움이 있다. 특히, 종래의 로봇을 원격 제어할 경우, 제공되는 영상을 통해 장애물을 인식하기에는 많은 수의 센서가 필요하고, 사용자의 시각으로 장애물을 인식하는 경우에는 제공되는 화면의 해상도에 따라 정확한 인식이 어려운 실정이다.However, these attempts have difficulty in manipulation because they provide distorted images and can be learned only by skilled operators through training or experience. In particular, when a conventional robot is remotely controlled, a large number of sensors are required to recognize the obstacle through the provided image. In the case of recognizing the obstacle at the user's view, it is difficult to accurately recognize the obstacle according to the resolution of the provided screen. to be.
한편, 종래에는 로봇을 비가시권(직접 육안으로 보이지 않는 지역)에서 원격 제어할 때 단순히 2D(Dimensional) 또는 3D 카메라 시각에서 제공하는 영상만 사용하여 주변환경을 직관적으로 인식하였다. 단순 카메라를 통한 원격지 영상 정보 전달은 시인성 문제 및 이로 인한 직관적 원격에 대처할 수 없는 문제가 있다.Conventionally, when the robot is remotely controlled from an invisible region (a region not directly visible to the user), only the image provided from the 2D (Dimensional) or 3D camera view is recognized intuitively. The transfer of the remote image information through the simple camera has a problem that the visibility problem and the intuitive remote due to it can not be coped with.
본 발명이 이루고자 하는 기술적 과제는 랩어라운드뷰(wrap around view)의 영상 왜곡을 최소화하는 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법을 제공하는데 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for providing a wrap around view image using distance information that minimizes image distortion of a wrap around view.
또한, 본 발명의 일 실시예는 이동체의 속도에 따라 이동체를 바라보는 시점을 재구성하여 디스플레이할 수 있는 로봇의 관측 시점 제어 장치를 제공하고자 한다.In addition, an embodiment of the present invention is to provide an observation time control apparatus for a robot that can reconstruct a time point at which a moving object is viewed according to the velocity of the moving object.
상기 목적을 달성하기 위해, 본 발명에 따른 거리정보를 이용한 랩어라운드뷰 영상제공장치는 전방향에 대한 영상을 촬영하는 카메라부, 전방향에 대한 거리정보를 측정하는 센서부 및 상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부를 포함한다.In order to achieve the above object, a wraparound view image providing apparatus using distance information according to the present invention includes a camera unit for photographing an image in all directions, a sensor unit for measuring distance information in all directions, Dimensional space modeled using the distance information, and generates a wrap around view by mapping the image to the generated three-dimensional model.
또한 상기 제어부는, 상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 포인트 매칭부 및 상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부를 포함하는 것을 특징으로 한다.Also, the controller may generate a two-dimensional model in which a two-dimensional space is modeled using the distance information, and determine whether the distance information is less than a predetermined radius edge modeling unit for generating a three-dimensional model by creating a wall surface perpendicular to the points of the three-dimensional model, point matching for matching points included in the three-dimensional model with points for projection information on which the image is projected, And an image mapping unit for projecting the image on the three-dimensional model matched with the points to perform image mapping.
또한 상기 3차원 모델링부는, 상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 한다.The three-dimensional modeling unit may generate the two-dimensional model by connecting points neighboring clockwise or counterclockwise with respect to a point closest to 0 ° among the point information included in the distance information do.
또한 상기 3차원 모델링부는, 상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 한다.The three-dimensional modeling unit forms the wall surface by connecting four points existing in a vertical direction with respect to two neighboring edge points of the edge points.
또한 상기 포인트 매칭부는, 상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 한다.The point matching unit preferentially points-matches the edge points of the three-dimensional model among the points included on the three-dimensional model.
또한 상기 제어부는, 상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부를 더 포함하는 것을 특징으로 한다.The control unit may further include an image processing unit for removing distortion of the image photographed from the camera unit and cutting or converting an unnecessary image.
본 발명에 따른 이동체 모니터링 시스템은 이동 및 기 설정된 작업을 수행하는 이동체, 상기 이동체에 설치되고, 상기 이동체의 랩어라운드뷰를 생성하는 랩어라운드뷰 영상제공장치 및 상기 랩어라운드뷰 영상제공장치로부터 생성된 랩어라운드뷰를 출력하여 상기 이동체를 모니터링하는 사용자단말을 포함하되, 상기 랩어라운드뷰 영상제공장치는, 전방향에 대한 영상을 촬영하는 카메라부, 전방향에 대한 거리정보를 측정하는 센서부 및 상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부를 포함하는 것을 특징으로 한다.A moving object monitoring system according to the present invention is a moving object monitoring system that includes a moving object that performs movement and predetermined operations, a wraparound view image providing device that is installed in the moving object and creates a wraparound view of the moving object, And a user terminal for monitoring the moving object by outputting a wraparound view, wherein the wraparound view image providing apparatus comprises: a camera section for capturing an image in all directions; a sensor section for measuring distance information in all directions; A controller for generating a three-dimensional model in which a three-dimensional space is modeled using the distance information measured from the sensor unit, and mapping the image to the generated three-dimensional model to generate a wraparound view .
또한 상기 사용자단말은, 상기 이동체의 이동 및 작업을 제어하는 제어신호를 생성하고, 상기 생성된 제어신호를 상기 이동체에 전송하여 상기 이동체를 원격제어하는 것을 특징으로 한다.In addition, the user terminal generates a control signal for controlling movement and operation of the moving object, and transmits the generated control signal to the moving object to remotely control the moving object.
또한 상기 제어부는, 상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 포인트 매칭부 및 상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부를 포함하는 것을 특징으로 한다.Also, the controller may generate a two-dimensional model in which a two-dimensional space is modeled using the distance information, and determine whether the distance information is less than a predetermined radius edge modeling unit for generating a three-dimensional model by creating a wall surface perpendicular to the points of the three-dimensional model, point matching for matching points included in the three-dimensional model with points for projection information on which the image is projected, And an image mapping unit for projecting the image on the three-dimensional model matched with the points to perform image mapping.
또한 상기 3차원 모델링부는, 상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 한다.The three-dimensional modeling unit may generate the two-dimensional model by connecting points neighboring clockwise or counterclockwise with respect to a point closest to 0 ° among the point information included in the distance information do.
또한 상기 3차원 모델링부는, 상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 한다.The three-dimensional modeling unit forms the wall surface by connecting four points existing in a vertical direction with respect to two neighboring edge points of the edge points.
또한 상기 포인트 매칭부는, 상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 한다.The point matching unit preferentially points-matches the edge points of the three-dimensional model among the points included on the three-dimensional model.
또한 상기 제어부는, 상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부를 더 포함하는 것을 특징으로 한다.The control unit may further include an image processing unit for removing distortion of the image photographed from the camera unit and cutting or converting an unnecessary image.
본 발명에 따른 거리정보를 이용한 랩어라운드뷰 영상제공방법은 랩어라운드뷰 영상제공장치가 전방향에 대한 영상을 촬영하고, 거리정보를 측정하여 정보를 수집하는 단계, 상기 랩어라운드뷰 영상제공장치가 상기 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하는 단계 및 상기 랩어라운드뷰 영상제공장치가 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 단계를 포함한다.A method for providing a wraparound view image using distance information according to the present invention is characterized in that the wraparound view image providing apparatus captures images in all directions and measures distance information to collect information, Generating a three-dimensional model in which a three-dimensional space is modeled using the measured distance information, and generating a wraparound view by mapping the image to the generated three-dimensional model by the wraparound view image providing apparatus .
또한 상기 3차원 모델을 생성하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에, 상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 단계를 더 포함하는 것을 특징으로 한다.And matching the points included in the 3D model with points corresponding to the projection information to which the image is projected, between the step of generating the 3D model and the step of generating the wrap around view .
또한 상기 정보를 수집하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에, 상기 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르고 변환하여 필요한 영상을 추출하는 단계를 더 포함하는 것을 특징으로 한다.Further comprising the step of removing distortion of the photographed image and cutting out an unnecessary part of the image and extracting a necessary image between the step of collecting the information and the step of creating the wraparound view, do.
본 발명의 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법은 거리정보를 이용하여 3차원 공간을 모델링하고, 모델링된 3차원 공간에 영상을 투영하여 랩어라운드뷰를 생성할 수 있다.An apparatus and method for providing a wraparound view image using distance information according to the present invention can model a three-dimensional space using distance information and generate a wraparound view by projecting an image in a modeled three-dimensional space.
이를 통해, 랩어라운드뷰에 공간적 정보가 반영되어 입체감을 극대화하는 한편 영상의 왜곡을 최소화할 수 있다. As a result, spatial information is reflected in the wraparound view, thereby maximizing the stereoscopic effect and minimizing image distortion.
또한, 본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치는 이동체의 속도에 따라 이동체를 바라보는 시점을 재구성하여 디스플레이할 수 있다.In addition, the observation time point control apparatus for a robot according to an embodiment of the present invention can reconstruct and display a viewpoint of a moving object according to the velocity of the moving object.
도 1은 본 발명의 실시예에 따른 이동체 모니터링 시스템을 설명하기 위한 구성도이다.1 is a block diagram illustrating a moving object monitoring system according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 랩어라운드뷰 영상제공장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating a wraparound view image providing apparatus according to an embodiment of the present invention.
도 3은 도 2의 제어부를 설명하기 위한 블록도이다.3 is a block diagram for explaining the control unit of FIG.
도 4는 도 3의 3차원 모델링부를 설명하기 위한 도면이다.FIG. 4 is a view for explaining a three-dimensional modeling unit of FIG. 3. FIG.
도 5는 도 3의 포인트 매칭부를 설명하기 위한 도면이다.5 is a diagram for explaining the point matching unit of FIG.
도 6은 도 3의 이미지 매핑부를 설명하기 위한 도면이다.FIG. 6 is a view for explaining the image mapping unit of FIG. 3. FIG.
도 7은 본 발명의 일 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이다.7 is a view for explaining a wraparound view and a conventional wraparound view according to an embodiment of the present invention.
도 8은 본 발명의 다른 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이다.8 is a view for explaining a wraparound view and a conventional wraparound view according to another embodiment of the present invention.
도 9는 본 발명의 또 다른 실시예에 따른 랩어라운드뷰를 설명하기 위한 도면이다.9 is a view for explaining a wraparound view according to another embodiment of the present invention.
도 10은 본 발명의 실시예에 따른 랩어라운드뷰 영상제공방법을 설명하기 위한 도면이다.10 is a view for explaining a method of providing a wraparound view image according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치를 설명하는 블록도이다.11 is a block diagram illustrating an apparatus for controlling the time of observation of a robot according to an embodiment of the present invention.
[규칙 제91조에 의한 정정 13.02.2019]　
도 12a 및 도 12b는 도 11에 있는 로봇의 관측 시점 제어 장치의 로봇에 배치된 복수의 카메라들을 예시하는 도면이다.[Correction according to Rule 91. 13.02.2019]
12A and 12B are views illustrating a plurality of cameras disposed in a robot of the observation point-of-view control apparatus of the robot shown in Fig.
도 13은 도 11에 있는 로봇의 관측 시점 제어 장치에서 제공하는 관측 시점에 따른 어라운드 뷰를 예시하는 도면이다.FIG. 13 is a diagram illustrating an example of the surround view according to an observation time point provided by the observation time point control apparatus of the robot shown in FIG.
도 14는 도 11에 있는 로봇의 관측 시점 제어 장치의 가상 카메라 제어부에서 가상 카메라를 제어하는 것을 예시하는 도면이다.FIG. 14 is a diagram illustrating control of a virtual camera in a virtual camera control unit of the observation point-in-time control apparatus of the robot shown in FIG.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals as used in the appended drawings denote like elements, unless indicated otherwise. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather obvious or understandable to those skilled in the art.
도 1은 본 발명의 실시예에 따른 이동체 모니터링 시스템을 설명하기 위한 구성도이다.1 is a block diagram illustrating a moving object monitoring system according to an embodiment of the present invention.
도 1을 참조하면, 이동체 모니터링 시스템(400)은 사용자가 사용자단말(300)을 통해 원격으로 이동체(200)를 제어할 수 있도록 한다. 이를 위해, 이동체 모니터링 시스템(400)은 이동체(200)의 랩어라운드뷰를 사용자단말(300)에 제공한다. 이동체 모니터링 시스템(400)은 랩어라운드뷰 영상제공장치(500)(이하, “영상제공장치”라 함), 이동체(200) 및 사용자단말(300)을 포함한다.Referring to FIG. 1, a mobile object monitoring system 400 allows a user to remotely control a mobile object 200 through a user terminal 300. To this end, the mobile object monitoring system 400 provides a wrap around view of the mobile object 200 to the user terminal 300. The moving object monitoring system 400 includes a wrap around view image providing apparatus 500 (hereinafter referred to as an "image providing apparatus"), a moving object 200 and a user terminal 300.
이동체(200)는 이동 및 기 설정된 작업을 수행한다. 이동체(200)는 기 설정된 알고리즘에 따라 이동 및 작업을 자율적으로 수행하거나, 외부의 제어신호에 따라 원격제어가 될 수 있다. 여기서, 이동체(200)는 이동 로봇일 수 있으나, 이에 한정하지 않으며 산업용/특수 작업용 로봇이거나 자동차, 특장차 등과 같은 차량일 수 있다.The mobile 200 moves and performs predetermined operations. The moving object 200 may autonomously perform movement and operation according to a predetermined algorithm, or may be remotely controlled according to an external control signal. Here, the mobile unit 200 may be a mobile robot, but is not limited thereto, and may be an industrial / special-purpose robot, a vehicle such as an automobile, a specially equipped car, and the like.
영상제공장치(500)는 이동체(200)에 설치되고, 이동체(200)의 랩어라운드뷰를 실시간 생성한다. 바람직하게는, 영상제공장치(500)는 이동체(200)의 상부에 설치될 수 있다. 영상제공장치(500)는 랩어라운드뷰를 생성하는 과정에서 공간적 정보가 반영되어 기존의 랩어라운드뷰에서 발생되는 영상 왜곡을 최소화한다. 이를 통해, 영상제공장치(500)는 생성된 랩어라운드뷰가 실제 영상과 높은 싱크율을 가질 수 있도록 한다.The image providing apparatus 500 is installed in the moving object 200 and generates a wrap around view of the moving object 200 in real time. Preferably, the image providing apparatus 500 may be installed at an upper portion of the moving object 200. The image providing apparatus 500 minimizes image distortion generated in the existing wraparound view by reflecting the spatial information in the process of creating the wraparound view. Accordingly, the image providing apparatus 500 allows the generated wraparound view to have a high sync rate with the actual image.
사용자단말(300)은 영상제공장치(500)로부터 생성된 랩어라운드뷰의 데이터를 수신하고, 수신된 랩어라운드뷰를 출력하여 이동체(200)를 모니터링한다. 이를 위해, 사용자단말(300)은 영상을 출력할 수 있는 디스플레이를 포함한다. 사용자단말(300)은 이동체(200)를 제어하는 제어신호를 생성하고, 생성된 제어신호를 이동체(200)에 전송하여 이동체(200)를 원격제어한다. 즉, 사용자는 사용자단말(300)로 출력되는 랩어라운드뷰를 확인한 후, 현재 이동체(200)의 상황에 맞는 동작을 할 수 있도록 사용자단말(300)에 사용자입력을 입력시켜 제어신호를 생성할 수 있다. 이를 통해, 이동체(200)는 사용자가 원하는 이동 및 동작을 수행할 수 있다. 여기서, 사용자단말(300)은 스마트폰(smartphone), 태블릿PC(tabletPC), 핸드헬드(handheld) 컴퓨터, 랩톱(laptop), 데스크톱(desktop) 등일 수 있다. The user terminal 300 receives the data of the wraparound view generated from the image providing apparatus 500 and outputs the received wraparound view to monitor the mobile 200. To this end, the user terminal 300 includes a display capable of outputting an image. The user terminal 300 generates a control signal for controlling the moving object 200 and transmits the generated control signal to the moving object 200 to remotely control the moving object 200. That is, after confirming the wraparound view output to the user terminal 300, the user inputs a user input to the user terminal 300 to generate a control signal so that the user can operate the current state of the mobile terminal 200 have. Accordingly, the mobile unit 200 can perform a desired movement and operation of the user. The user terminal 300 may be a smart phone, a tablet PC, a handheld computer, a laptop, a desktop, or the like.
이동체 모니터링 시스템(400)은 영상제공장치(500), 이동체(200) 및 사용자단말(300) 사이에 통신망(450)을 구축하여 서로 간에 통신을 수행할 수 있다. 통신망(450)은 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), COAP(Constrained Application Protocol), MQTT(Multi-Client Publish/Subscribe Messaging), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G 및 차세대 통신망인 5G일 수 있다. 일부 실시예로, 통신망(450)은 인터넷망일 수 있고, 이동 통신망일 수 있다.The moving object monitoring system 400 can establish a communication network 450 between the image providing apparatus 500, the moving object 200 and the user terminal 300 to communicate with each other. The communication network 450 may be composed of a backbone network and a subscriber network. The backbone network may be composed of one or a plurality of integrated networks of X.25 network, Frame Relay network, ATM network, MPLS (Multi Protocol Label Switching) network and GMPLS (Generalized Multi Protocol Label Switching) network. The subscriber network may be a fiber to the home (FTTH), an asymmetric digital subscriber line (ADSL), a cable network, a zigbee, a bluetooth, a wireless LAN (IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n ), Wireless Hart (ISO / IEC62591-1), ISA100.11a (ISO / IEC 62734), Constrained Application Protocol (COAP), Multi-Client Publish / Subscribe Messaging (MQTT), Wireless Broadband (WIBRO) HSDPA (High Speed Downlink Packet Access), 4G, and 5G, the next generation communication network. In some embodiments, the communication network 450 may be an Internet network and may be a mobile communication network.
도 2는 본 발명의 실시예에 따른 랩어라운드뷰 영상제공장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating a wraparound view image providing apparatus according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 영상제공장치(500)는 카메라부(10), 센서부(30) 및 제어부(50)를 포함하고, 통신부(70) 및 저장부(90)를 더 포함한다.1 and 2, the image providing apparatus 500 includes a camera unit 10, a sensor unit 30, and a control unit 50, and further includes a communication unit 70 and a storage unit 90 .
카메라부(10)는 전방향에 대한 영상을 촬영한다. 카메라부(10)는 기 설정된 반경에 대한 영상을 촬영한다. 이 때, 카메라부(10)는 이동체(200)를 중심으로 서로 다른 방향의 영상을 촬영하는 복수의 카메라를 포함한다. 따라서, 카메라부(10)는 복수의 영상을 수집할 수 있다. 카메라는 렌즈 및 광학 센서를 포함할 수 있다. 광학 센서는 렌즈를 통해 영상을 촬영하고, 촬영된 영상인 광학적 화상 신호를 전기적 화상 신호로 변환한다. 광학 센서는 CCD(charge coupled device) 센서일 수 있다. The camera unit 10 captures an image in all directions. The camera unit 10 takes an image of a predetermined radius. At this time, the camera unit 10 includes a plurality of cameras for photographing images in different directions with the moving object 200 as a center. Therefore, the camera unit 10 can collect a plurality of images. The camera may include a lens and an optical sensor. The optical sensor captures an image through a lens, and converts an optical image signal, which is a photographed image, into an electrical image signal. The optical sensor may be a charge coupled device (CCD) sensor.
센서부(30)는 전방향에 대한 거리정보를 측정한다. 센서부(30)는 기설정된 반경에 대한 거리정보를 측정한다. 이 때, 센서부(30)는 이동체(200)를 중심으로 서로 다른 방향의 거리정보를 측정하는 복수의 센서를 포함한다. 센서는 거리정보를 측정하는 센서일 수 있으며, 바람직하게는 적외선 센서, 초음파 센서 등을 포함할 수 있다.The sensor unit 30 measures distance information in all directions. The sensor unit 30 measures distance information for a predetermined radius. At this time, the sensor unit 30 includes a plurality of sensors for measuring distance information in different directions about the mobile object 200. [ The sensor may be a sensor for measuring distance information, and preferably an infrared sensor, an ultrasonic sensor, or the like.
제어부(50)는 센서부(30)로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성한다. 제어부(50)는 생성된 3차원 모델에 카메라부(10)로부터 촬영된 영상을 이미지 매핑하여 랩어라운드뷰를 생성한다. 이를 통해, 제어부(50)는 기존의 랩어라운드뷰와 같이 단순히 영상 정합을 통한 랩어라운드뷰를 생성한 것이 아니라, 공간적 정보가 반영되어 영상 정합에서 발생되는 영상의 왜곡을 최소화시킨다. The control unit 50 generates a three-dimensional model in which the three-dimensional space is modeled by using the distance information measured from the sensor unit 30. The control unit 50 generates a wraparound view by image-mapping the photographed image from the camera unit 10 to the generated three-dimensional model. Accordingly, the controller 50 does not simply create a wraparound view through image registration as in the conventional wraparound view, but also minimizes image distortion caused by image registration by reflecting spatial information.
또한, 제어부(50)는 카메라부(10)부터 촬영된 영상이 복수개이므로, 복수의 영상을 하나의 영상으로 정합하는 영상처리를 한다. 제어부(50)는 복수의 영상을 하나의 영상으로 정합하기 전, 복수의 영상 각각에 포함된 왜곡을 제거하고, 불필요한 부분에 대한 영상을 자르거나, 변환하여 필요한 영상만을 추출할 수 있다.In addition, since the control unit 50 has a plurality of images taken from the camera unit 10, the control unit 50 performs image processing of matching a plurality of images to one image. The controller 50 may remove distortion included in each of the plurality of images before cutting out the plurality of images into one image, and may cut or convert the image of unnecessary parts to extract only necessary images.
통신부(70)는 사용자단말(300)과의 통신을 수행한다. 통신부(70)는 사용자단말(300)로 랩어라운드뷰의 데이터를 전송한다. 통신부(70)는 사용자단말(300)로부터 랩어라운드뷰의 생성을 제어하는 제어신호를 수신할 수 있다. 예를 들면, 통신부(70)는 사용자단말(300)로부터 랩어라운드뷰를 생성하라는 명령이 포함된 제어신호를 수신받거나, 랩어라운드뷰를 생성하지 말라는 명령이 포함된 제어신호를 수신받을 수 있다. 만약 통신부(70)가 사용자단말(300)로부터 제어신호를 수신하면, 제어부(50)는 제어신호에 따라 랩어라운드뷰의 생성을 제어할 수 있다. 한편, 제어부(50)는 기본적으로 이동체(200)가 동작되면 랩어라운드뷰를 생성할 수 있다.The communication unit 70 performs communication with the user terminal 300. The communication unit 70 transmits the data of the wraparound view to the user terminal 300. The communication unit 70 may receive a control signal for controlling the generation of the wrap around view from the user terminal 300. [ For example, the communication unit 70 may receive a control signal including a command to create a wrap around view from the user terminal 300, or receive a control signal including an instruction to not create a wrap around view. If the communication unit 70 receives the control signal from the user terminal 300, the control unit 50 can control the generation of the wraparound view according to the control signal. On the other hand, the controller 50 can basically generate a wraparound view when the mobile 200 is operated.
저장부(90)는 카메라부(10)로부터 촬영된 복수의 영상이 저장된다. 저장부(90)는 센서부(30)로부터 측정된 거리정보가 저장된다. 저장부(90)는 랩어라운드뷰가 저장된다. 저장부(90)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. The storage unit 90 stores a plurality of images photographed by the camera unit 10. The storage unit 90 stores distance information measured by the sensor unit 30. [ The storage unit 90 stores a wraparound view. The storage unit 90 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) (Random Access Memory), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) A magnetic disk, and / or an optical disk.
도 3은 도 2의 제어부를 설명하기 위한 블록도이고, 도 4는 도 3의 3차원 모델링부를 설명하기 위한 도면이며, 도 5는 도 3의 포인트 매칭부를 설명하기 위한 도면이고, 도 6은 도 3의 이미지 매핑부를 설명하기 위한 도면이다.3 is a block diagram for explaining the control unit of FIG. 2, FIG. 4 is a view for explaining a three-dimensional modeling unit of FIG. 3, FIG. 5 is a view for explaining the point matching unit of FIG. 3, 3 is an explanatory diagram of an image mapping unit.
도 2 내지 도 6을 참조하면, 제어부(50)는 3차원 모델링부(51), 포인트 매칭부(53) 및 이미지 매핑부(55)를 포함하고, 영상처리부(57)을 더 포함한다.2 to 6, the control unit 50 includes a three-dimensional modeling unit 51, a point matching unit 53, and an image mapping unit 55, and further includes an image processing unit 57.
3차원 모델링부(51)는 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성한다. 여기서, 2차원 모델은 3차원 모델을 생성하는데 기초가 되는 바닥면일 수 있다. 3차원 모델링부(51)는 생성된 2차원 모델에 존재하는 포인트들 중 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성한다. 여기서, 3차원 모델링부(51)는 에지 포인트들이 위치하는 곳이 센서가 지원하는 반경보다 짧게 측정됨에 따라 해당 위치에 벽면이 있다고 판단할 수 있다. The three-dimensional modeling unit 51 generates a two-dimensional model in which the two-dimensional space is modeled using the distance information. Here, the two-dimensional model may be the bottom surface on which the three-dimensional model is generated. The three-dimensional modeling unit 51 creates a three-dimensional model by creating a wall surface perpendicular to the edge points of the points in the generated two-dimensional model, the distance information being shorter than a predetermined radius. Here, the three-dimensional modeling unit 51 may determine that there is a wall surface at the corresponding position as the location of the edge points is shorter than the radius supported by the sensor.
상세하게는, 3차원 모델링부(51)는 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 2차원 모델을 생성한다. 즉, 3차원 모델링부(51)는 0°에 가장 가까운 포인트를 기초로 2차원 모델을 생성함으로써, 2차원 모델은 지면과 평행한 평면일 수 있다. 3차원 모델링부(51)는 생성된 2차원 모델 상에 존재하는 에지 포인트들 중 이웃하는 두 개의 에지 포인트(P0, P1)를 기준으로 수직방향에 일정한 높이 위 및 아래에 존재하는 4개의 포인트(P0_top, P0_bottom, P1_top, P1_bottom)를 연결하여 벽면을 만든다(도 4). 3차원 모델링부(51)는 2차원 모델 상에 존재하는 에지 포인트들에서 벽면을 반복적으로 만들어 3차원 모델을 생성한다. More specifically, the three-dimensional modeling unit 51 creates a two-dimensional model by connecting points neighboring clockwise or counterclockwise with respect to a point nearest to 0 degrees among the point information included in the distance information . That is, the three-dimensional modeling unit 51 generates a two-dimensional model based on the point closest to 0 °, so that the two-dimensional model can be a plane parallel to the ground. The three-dimensional modeling unit 51 generates four vertexes on the two-dimensional model on the basis of two neighboring edge points (P 0 , P 1 ) among the edge points on the generated two- The points P 0_top , P 0_bottom , P 1_top , and P 1_bottom are connected to form a wall (FIG. 4). The three-dimensional modeling unit 51 generates the three-dimensional model by repeatedly making the wall surface at the edge points existing on the two-dimensional model.
포인트 매칭부(53)는 3차원 모델링부(51)로부터 생성된 3차원 모델 상에 포함된 포인트들과 카메라부(10)로부터 촬영된 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하여 공간적 정보가 3차원 모델에 반영되도록 한다(도 5(a), 도 5(b)). 여기서, 투영정보는 영상이 투영되는 위치값을 의미한다. 이러한 포인트 매칭은 영상을 3차원 모델에 매핑하기 전에 수행되는 사전 캘리브레이션일 수 있다. 이 때, 포인트 매칭부(53)는 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하여 전체적인 공간적 정보가 먼저 반영된 후, 나머지 공간적 정보가 반영되도록 하여 빠르게 포인트 매칭이 이루어지도록 할 수 있다.The point matching unit 53 matches the points included in the three-dimensional model generated by the three-dimensional modeling unit 51 and the points of the projection information on which the image photographed from the camera unit 10 is projected, So that the information is reflected in the three-dimensional model (Fig. 5 (a) and Fig. 5 (b)). Here, the projection information means a position value at which the image is projected. This point matching may be a pre-calibration performed prior to mapping the image to the three-dimensional model. At this time, the point matching unit 53 firstly points-matches the edge points of the three-dimensional model among the points included on the three-dimensional model, and then the entire spatial information is reflected first, and then the remaining spatial information is reflected, Can be achieved.
상세하게는, 포인트 매칭부(53)는 투영정보(M0)를 3차원 모델(Mr)에 반영한다(도 6(a), 도 6(b)). 즉, 포인트 매칭부(53)는 3차원 모델에 3차원 모델과 다른 형태를 가지는 투영정보를 기준점(O)을 기준으로 대응되게 매칭함으로써, 추후 영상을 투영하였을 때 발생될 수 있는 투영 오차를 미연에 방지할 수 있다. 예를 들면, 포인트 매칭부(53)는 투영정보의 P0포인트를 3차원 모델의 포인터들 중 이에 대응되는 P0'포인트에 매칭하고, P1포인트를 P1'포인트에 매칭하며, P2포인트를 P2'포인트에 매칭할 수 있다.Specifically, the point matching unit 53 reflects the projection information M 0 on the three-dimensional model M r (FIGS. 6 (a) and 6 (b)). That is, the point matching unit 53 matches the projection information having a shape different from the three-dimensional model to the three-dimensional model so as to correspond to the reference point O on the basis of the reference point O so that the projection error that can be generated when a later image is projected . For example, point matching unit 53, and matching points, the P 1 point P 1 'P 0 which is of the pointer in the three-dimensional model for P 0 point of the projection information corresponding and matching points, P 2 Point to the P < 2 >'point.
이미지 매핑부(55)는 포인트 매칭부(53)로부터 포인트 매칭된 3차원 모델 상에 존재하는 포인트들과 대응되는 영상을 투영하여 이미지 매핑을 한다. 이미지 매핑부(55)는 포인트 매칭 과정에서 얻은 포인트 쌍들을 이용하여 영상의 이미지 매핑을 할 수 있다. 즉, 이미지 매핑부(55)는 포인트 매칭을 통해 3차원 모델 중 어느 영역이 바닥 영역이고, 벽면 영역인지를 판단하여 해당 영상을 투영할 수 있다. 예를 들면, 이미지 매핑부(55)는 영상(M0)의 P0포인트에 해당하는 영상을 3차원 모델의 포인터들 중 이에 대응되는 P0'포인트에 투영하고, P1포인트에 해당하는 영상을 P1'포인트에 투영할 수 있다.The image mapping unit 55 projects images corresponding to the points existing on the point-matched three-dimensional model from the point matching unit 53 and performs image mapping. The image mapping unit 55 can perform image mapping of an image using the pair of points obtained in the point matching process. That is, the image mapping unit 55 can determine which area of the 3D model is the bottom area or the wall area through point matching, and project the corresponding image. For example, the image mapping unit 55 projects an image corresponding to P 0 point of the image (M 0) in one of the pointer of the 3-D model P 0 'points corresponding thereto, and the image corresponding to P 1 point To a point P 1 '.
영상처리부(57)는 카메라부(10)로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리를 한다. 여기서, 영상은 복수의 카메라로부터 수집됨에 따라 복수의 영상일 수 있다. 영상처리부(57)는 영상처리된 복수의 영상을 하나의 영상으로 정합한다. The image processing unit 57 performs image processing for eliminating distortion of an image photographed from the camera unit 10 and cutting or converting an unnecessary portion of the image. Here, the image may be a plurality of images as they are collected from a plurality of cameras. The image processing unit 57 matches a plurality of images subjected to image processing into one image.
도 7은 본 발명의 일 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이고, 도 8은 본 발명의 다른 실시예에 따른 랩어라운드뷰 및 종래의 랩어라운드뷰를 설명하기 위한 도면이며, 도 9는 본 발명의 또 다른 실시예에 따른 랩어라운드뷰를 설명하기 위한 도면이다. 여기서, 도 7(a)은 공간정보가 적용되지 않은 종래의 랩어라운드뷰를 도시한 도면이고, 도 7(b)은 공간정보가 적용된 본 발명의 랩어라운드뷰를 도시한 도면이며, 도 8(a)은 공간정보가 적용되지 않은 종래의 랩어라운드뷰를 다양한 방향으로 도시한 도면이고, 도 8(b)은 공간정보가 적용된 본 발명의 랩어라운드뷰를 다양한 방향으로 도시한 도면이다. FIG. 7 is a view for explaining a wraparound view and a conventional wraparound view according to an embodiment of the present invention. FIG. 8 is a view for explaining a wraparound view and a conventional wraparound view according to another embodiment of the present invention. And FIG. 9 is a view for explaining a wraparound view according to another embodiment of the present invention. 7A is a view showing a conventional wraparound view to which no spatial information is applied, FIG. 7B is a view showing a wraparound view of the present invention to which spatial information is applied, and FIG. 8 FIG. 8A is a view showing a conventional wraparound view in which spatial information is not applied in various directions, and FIG. 8B is a view showing various aspects of the wraparound view of the present invention to which spatial information is applied.
도 2, 도 7 내지 도 9를 참조하면, 영상제공장치(500)는 공간정보를 포함하는 랩어라운드뷰를 생성한다. 즉, 영상제공장치(500)는 3차원 모델에 영상을 투영함으로써, 종래의 반원구 모델에 영상을 투영하면서 발생되던 영상 왜곡을 최소화할 수 있다. 이하, 본 발명의 랩어라운드뷰와 종래의 랩어라운드뷰를 비교 분석한다.Referring to FIGS. 2 and 7 to 9, the image providing apparatus 500 generates a wraparound view including spatial information. In other words, the image providing apparatus 500 can minimize the image distortion that occurs when the image is projected onto the conventional half-circle model by projecting the image on the three-dimensional model. Hereinafter, the wraparound view of the present invention and the conventional wraparound view are compared and analyzed.
본 발명의 랩어라운드뷰는 바닥면과 벽면이 구분되게 만들어진 3차원 모델에 영상을 투영하여 바닥면과 벽면이 명확하게 구분된다. 이를 통해, 본 발명의 랩어라운드뷰는 실제 구조와 동일한 구조를 기초로 영상을 투영하여 영상 왜곡을 최소화하고, 영상의 입체감을 극대화할 수 있다. The wraparound view of the present invention clearly projects the bottom surface and the wall surface by projecting the image on the three-dimensional model in which the bottom surface and the wall surface are distinguished. Thus, the wraparound view of the present invention can project an image based on the same structure as the actual structure, minimizing image distortion, and maximizing the stereoscopic effect of the image.
이에 반해, 종래의 랩어라운드뷰는 반원구 모델에 영상을 투영하여 바닥면과 벽면이 모호하게 구분된다. 즉, 종래의 랩어라운드뷰는 실제 구조와 다른 반원구 구조를 기초로 영상을 투영함으로써, 영상 왜곡이 발생하고, 영상의 입체감이 낮아진다.On the other hand, the conventional wraparound view projects an image to a semicircular model, so that the floor surface and the wall surface are blurred. That is, in the conventional wraparound view, an image is projected on the basis of a semi-circular structure different from the actual structure, so that image distortion occurs and the stereoscopic effect of the image is lowered.
도 10은 본 발명의 실시예에 따른 랩어라운드뷰 영상제공방법을 설명하기 위한 도면이다.10 is a view for explaining a method of providing a wraparound view image according to an embodiment of the present invention.
도 1 및 도 10을 참조하면, 랩어라운드뷰 영상제공방법은 랩어라운드뷰에 공간정보를 적용시켜 입체감을 극대화하는 한편 영상의 왜곡을 최소화할 수 있다. Referring to FIGS. 1 and 10, the wraparound view image providing method can maximize the stereoscopic effect and minimize image distortion by applying spatial information to the wraparound view.
S110단계에서, 영상제공장치(500)는 전방향에 대한 영상을 촬영하고, 전방향에 대한 거리정보를 측정한다. 영상제공장치(500)는 기 설정된 반경에 대한 영상 및 거리정보를 수집한다. 이 때, 영상제공장치(500)는 이동체(200)를 중심으로 서로 다른 방향의 영상 및 거리정보를 수집할 수 있다.In step S110, the image providing apparatus 500 photographs an image for all directions and measures distance information for all directions. The image providing apparatus 500 collects image and distance information for a predetermined radius. At this time, the image providing apparatus 500 can collect images and distance information of different directions about the mobile object 200.
S130단계에서, 영상제공장치(500)는 S110단계에서 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성한다. 영상제공장치(500)는 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 2차원 모델을 생성한다. 영상제공장치(500)는 생성된 2차원 모델 상에 존재하는 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 일정한 높이 위 및 아래에 존재하는 4개의 포인트를 연결하여 벽면을 만든다. 영상제공장치(500)는 2차원 모델 상에 존재하는 에지 포인트들에서 벽면을 반복적으로 만들어 3차원 모델을 생성한다. In step S130, the image providing apparatus 500 generates a three-dimensional model in which the three-dimensional space is modeled using the distance information measured in step S110. The image providing apparatus 500 creates a two-dimensional model by connecting neighboring points in the clockwise direction or the counterclockwise direction with respect to a point nearest to 0 ° among the point information included in the distance information. The image providing apparatus 500 connects the four points located above and below the predetermined height in the vertical direction with respect to two neighboring edge points among the edge points existing on the generated two-dimensional model to produce a wall surface. The image providing apparatus 500 repeatedly creates the wall surface at the edge points existing on the two-dimensional model to generate the three-dimensional model.
S150단계에서, 영상제공장치(500)는 S130단계에서 생성된 3차원 모델에 영상을 투영하여 랩어라운드뷰를 생성한다. 영상제공장치(500)는 3차원 모델 상에 존재하는 포인트들과 대응되는 영상을 투영하여 이미지 매핑을 한다. In operation S150, the image providing apparatus 500 generates a wraparound view by projecting the image on the three-dimensional model generated in operation S130. The image providing apparatus 500 projects an image corresponding to points existing on the three-dimensional model to perform image mapping.
한편, 영상제공장치(500)는 S110단계 및 S150단계 사이에, S110단계에서 촬영된 영상을 영상처리할 수 있다. 영상제공장치(500)는 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리를 한다. 또한 영상제공장치(500)는 영상처리된 복수의 영상을 하나의 영상으로 정합한다. 이를 통해, 영상제공장치(500)는 3차원 모델에 투영되는 영상을 전처리할 수 있으며, 이를 통해 최종적으로 생성하는 랩어라운드뷰의 품질을 향상시킬 수 있다.Meanwhile, the image providing apparatus 500 may process the image photographed in step S110 between steps S110 and S150. The image providing apparatus 500 performs image processing that removes image distortion and cuts or converts an unnecessary portion of the image. In addition, the image providing apparatus 500 matches a plurality of image-processed images into one image. Accordingly, the image providing apparatus 500 can pre-process the image projected on the three-dimensional model, thereby improving the quality of the wraparound view finally generated.
도 11은 본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치를 설명하는 블록도이다.11 is a block diagram illustrating an apparatus for controlling the time of observation of a robot according to an embodiment of the present invention.
도 11을 참조하면, 로봇의 관측 시점 제어 장치(100)는 디스플레이부(110), 가상 카메라 제어부(120) 및 제어부(130)를 포함한다.Referring to FIG. 11, the observation time control apparatus 100 of the robot includes a display unit 110, a virtual camera control unit 120, and a control unit 130.
디스플레이부(110)는 복수의 카메라들을 포함하는 로봇과 연결되고, 복수의 카메라들을 통해 생성되며 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이한다. 복수의 카메라들은 각각의 시점에서 이미지를 획득할 수 있다. The display unit 110 is connected to a robot including a plurality of cameras, and displays an overview view including a robot object corresponding to the robot, which is generated through a plurality of cameras. A plurality of cameras can acquire an image at each time point.
어라운드 뷰는 복수의 카메라들로부터 수신된 해당 방향 이미지들의 정합을 통해 로봇 또는 가상 카메라 제어부(120)에서 생성될 수 있다. 어라운드 뷰는 복수의 카메라들을 통해 획득된 이미지들 중 적어도 두 개의 이미지들 또는 복수의 이미지들을 기초로 생성될 수 있다. 적어도 두 개의 이미지들은 기본 설정된 이미지에 해당하거나 또는 로봇의 원격 조종자에 의해 설정된 이미지에 해당할 수 있다. 어라운드 뷰는 이미지들 간의 시간적 연관 관계에 따라 합성된 일련의 이미지를 기초로 생성될 수 있다. 예를 들어, 어라운드 뷰는 로봇 객체를 기준으로 로봇 객체의 주위를 360도로 촬상한 것과 같은 일련의 이미지를 기초로 생성될 수 있다.The surround view may be generated in the robot or virtual camera control unit 120 through matching of corresponding direction images received from a plurality of cameras. The surround view may be generated based on at least two of the images obtained through the plurality of cameras or a plurality of images. At least two images may correspond to the default image or an image set by the robot's remote controller. The surround view can be generated based on a series of images synthesized according to temporal associations between images. For example, the surround view may be generated based on a series of images, such as 360 degrees of image of the robot object around the robot object.
일 실시예에서, 디스플레이부(110)는 어라운드 뷰에 작업 가이드라인을 표시할 수 있다. 작업 가이드라인은 로봇 객체로부터 일정 반경까지 설정될 수 있다.In one embodiment, the display portion 110 may display a task guide in the surround view. The task guideline can be set to a certain radius from the robot object.
가상 카메라 제어부(120)는 로봇의 이동 속도에 따라 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어한다. 로봇의 이동 속도는 로봇에 설치된 속도 센서를 통해 획득할 수 있다. 관측 시점은 로봇 객체 및 로봇 객체를 중심으로 바라보는 영상 시점에 해당한다. 가상 카메라는 실제로 존재하지 않는 장치로, 로봇의 이동 속도에 따라 로봇 객체를 바라보는 관측 시점을 재구성하여 어라운드 뷰를 제공할 수 있다.The virtual camera control unit 120 controls a virtual camera that generates a viewing point of view of a robot object on the surround view according to the moving speed of the robot. The moving speed of the robot can be obtained through the speed sensor installed in the robot. The observation point corresponds to the viewpoint of the robot object and the robot object. The virtual camera is a device that does not actually exist, and can reconstruct an observing point of looking at a robot object according to the moving speed of the robot, thereby providing an around view.
가상 카메라 제어부(120)는 로봇의 이동 속도가 증가할수록 로봇 객체의 관측 시점을 생성하는 가상 카메라를 로봇의 이동 반대 방향으로 이동시킬 수 있다. 일 실시예에서, 가상 카메라 제어부(120)는 로봇이 전진하는 경우 로봇 객체의 관측 시점을 생성하는 가상 카메라를 로봇의 후방으로 이동시키고, 로봇이 후진하는 경우 로봇 객체의 관측 시점을 생성하는 가상 카메라를 로봇의 전방으로 이동시킬 수 있다. 원격 조종자는 전방 및 후방 각각의 로봇 객체의 관측 시점을 기초로 작업 환경을 인식하여 로봇의 이동을 제어할 수 있다.The virtual camera control unit 120 can move the virtual camera that generates the observation point of the robot object in the direction opposite to the movement of the robot as the moving speed of the robot increases. In one embodiment, the virtual camera control unit 120 moves the virtual camera, which generates the observation point of the robot object when the robot advances, to the rear of the robot, and generates the observation point of the robot object when the robot is backward. To the front of the robot. The remote controller can control the movement of the robot by recognizing the working environment on the basis of the observation points of the front and rear robot objects.
가상 카메라 제어부(120)는 가상 카메라를 곡면을 따라 로봇 객체의 상위 위치와 로봇 객체의 후방 위치 간에 이동시킬 수 있다. 곡면은 로봇을 중심으로 타원으로 형성된 호의 일부에 해당할 수 있다. 예를 들어, 가상 카메라 제어부(120)는 로봇의 이동 속도가 0인 경우 가상 카메라를 로봇 객체의 상위 위치로 이동시켜 복수의 카메라들을 통해 획득된 이미지를 기초로 생성된 어라운드 뷰를 상위 위치 시점에서의 어라운드 뷰로 재구성할 수 있다. 다른 예를 들어, 가상 카메라 제어부(120)는 로봇의 이동 속도가 증가하면 곡면을 따라 가상 카메라를 로봇 객체의 후방 위치로 이동시켜 복수의 카메라들을 통해 획득된 이미지를 기초로 생성된 어라운드 뷰를 후방 위치 시점에서의 어라운드 뷰로 재구성할 수 있다.The virtual camera control unit 120 can move the virtual camera along the curved surface between the upper position of the robot object and the rear position of the robot object. The curved surface may correspond to a part of the arc formed as an ellipse around the robot. For example, when the moving speed of the robot is 0, the virtual camera control unit 120 moves the virtual camera to an upper position of the robot object, and generates an ambient view based on the images acquired through the plurality of cameras, Can be reconfigured into an around view of. For example, when the moving speed of the robot increases, the virtual camera control unit 120 moves the virtual camera to the rear position of the robot object along the curved surface to move the generated surround view based on the images obtained through the plurality of cameras to the rear And can be reconfigured into an around view at the location point.
가상 카메라 제어부(120)는 로봇 객체의 위치를 타원의 일 초점으로 맞추고 가상 카메라를 타원의 곡면을 따라 상위에서 후방으로 이동시키며, 가상 카메라의 배율을 제어하여 로봇 객체의 크기를 유지할 수 있다. 가상 카메라 제어부(120)는 가상 카메라를 타원의 상위 위치에서 곡면을 따라 후방 위치로 이동시키면 가상 카메라의 배율을 증가하여 로봇 객체의 크기를 유지할 수 있다.The virtual camera control unit 120 can adjust the position of the robot object to one focus of the ellipse, move the virtual camera from the upper side to the rear side along the curved surface of the ellipse, and maintain the size of the robot object by controlling the magnification of the virtual camera. The virtual camera control unit 120 can increase the magnification of the virtual camera and maintain the size of the robot object by moving the virtual camera from the upper position of the ellipse to the rear position along the curved surface.
제어부(130)는 로봇의 관측 시점 제어 장치(100)의 전체적인 동작을 제어하고, 디스플레이부(110) 및 가상 카메라 제어부(120) 간의 동작 및 데이터 흐름을 제어할 수 있다.The control unit 130 may control the overall operation of the observation point control apparatus 100 of the robot and may control the operation and data flow between the display unit 110 and the virtual camera control unit 120.
[규칙 제91조에 의한 정정 13.02.2019]　
도 12a 및 도 12b는 도 11에 있는 로봇의 관측 시점 제어 장치의 로봇에 배치된 복수의 카메라들을 예시하는 도면이다.[Correction according to Rule 91. 13.02.2019]
12A and 12B are views illustrating a plurality of cameras disposed in a robot of the observation point-of-view control apparatus of the robot shown in Fig.
[규칙 제91조에 의한 정정 13.02.2019]　
도 12a 및 도 12b를 참조하면, 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 복수의 시점들에서 로봇 객체(10)의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성한다. 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 로봇이 구동될 때 전원을 공급받아 로봇 객체(10)의 주위를 쵤상할 수 있다. 복수의 시점들은 로봇의 크기에 따라 달라질 수 있다. 예를 들어, 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 로봇의 전방, 후방 및 양 측방들 각각에 배치되어 각각의 시점에서 로봇 객체(10)의 주위를 촬상할 수 있다. 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 각각의 시점에서 로봇 객체(10) 주위를 190도로 촬상할 수 있다.[Correction according to Rule 91. 13.02.2019]
12A and 12B, a plurality of cameras 210-1, 210-2, 210-3, and 210-4 pick up images of the periphery of the robot object 10 at a plurality of points of time, respectively, Images are generated. The plurality of cameras 210-1, 210-2, 210-3, and 210-4 may receive power when the robot is driven, and may sweep the robot object 10 around the robot object. The plurality of viewpoints may vary depending on the size of the robot. For example, the plurality of cameras 210-1, 210-2, 210-3, and 210-4 may be disposed on each of the front, rear, and both sides of the robot so as to surround the robot object 10 As shown in Fig. The plurality of cameras 210-1, 210-2, 210-3, and 210-4 can capture images of the robot object 10 around the robot object 10 at 190 degrees.
일 실시예에서, 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 로봇의 원격 조종자에 의해 상하 또는 좌우로 각각 움직일 수 있다.In one embodiment, the plurality of cameras 210-1, 210-2, 210-3, and 210-4 can be moved up and down or left and right respectively by the remote controller of the robot.
로봇의 관측 시점 제어 장치(100)는 복수의 카메라들(210-1, 210-2, 210-3, 210-4)로부터 획득된 이미지 중 일부가 깨지면 일정 반경 이내에 있는 이미지 픽셀을 기초로 이미지 보간(Interpolation)을 수행하여 어라운드 뷰를 디스플레이하도록 할 수 있다.When a part of the images acquired from the plurality of cameras 210-1, 210-2, 210-3 and 210-4 is broken, the observation time control apparatus 100 of the robot performs image interpolation based on image pixels within a predetermined radius So that the surround view can be displayed.
도 13은 도 11에 있는 로봇의 관측 시점 제어 장치에서 제공하는 관측 시점에 따른 어라운드 뷰를 예시하는 도면이다.FIG. 13 is a diagram illustrating an example of the surround view according to an observation time point provided by the observation time point control apparatus of the robot shown in FIG.
도 13을 참조하면, 가상 카메라 제어부(120)는 로봇의 이동 속도가 0인 경우 로봇 객체(10)의 위치를 타원의 일 초점으로 맞추고 가상 카메라를 타원의 곡면을 따라 로봇 객체(10)의 상위 위치로 이동시킬 수 있다(도 3의 (a)에 해당). 가상 카메라 제어부(120)는 로봇의 이동 속도가 점차적으로 증가하면 가상 카메라를 타원의 곡면을 따라 로봇 객체(10)의 상위 위치에서 후방 위치 방향으로 이동시키고 로봇의 이동 속도가 최고 속도에 해당하는 경우 가상 카메라를 타원의 곡면을 따라 로봇 객체(10)의 후방 위치로 이동시킬 수 있다(도 3의 (b)에 해당).13, when the moving speed of the robot is 0, the virtual camera control unit 120 sets the position of the robot object 10 to one focus of the ellipse, and moves the virtual camera along the curved surface of the ellipse to the upper (Fig. 3 (a)). When the moving speed of the robot gradually increases, the virtual camera control unit 120 moves the virtual camera along the curved surface of the ellipse from the upper position to the rear position of the robot object 10, and when the moving speed of the robot corresponds to the maximum speed The virtual camera can be moved to the rear position of the robot object 10 along the curved surface of the ellipse (corresponding to (b) of FIG. 3).
가상 카메라 제어부(120)는 타원의 곡면 상에 있는 가상 카메라의 위치에 따라 해당 시점을 기준으로 어라운드 뷰를 재구성할 수 있다. 즉, 어라운드 뷰는 로봇의 이동 속도에 따라 가변적으로 생성될 수 있다.The virtual camera control unit 120 can reconstruct the surround view based on the point of view based on the position of the virtual camera on the curved surface of the ellipse. That is, the surround view can be variably generated according to the moving speed of the robot.
도 14는 도 11에 있는 로봇의 관측 시점 제어 장치의 가상 카메라 제어부에서 가상 카메라를 제어하는 것을 예시하는 도면이다.FIG. 14 is a diagram illustrating control of a virtual camera in a virtual camera control unit of the observation point-in-time control apparatus of the robot shown in FIG.
도 14를 참조하면, 가상 카메라 제어부(120)는 로봇 객체(10)의 위치를 타원의 일 초점으로 맞추고 가상 카메라를 타원의 곡면을 따라 상위 위치(410)에서 후방 위치(420)로 이동시킬 수 있다. 가상 카메라 제어부(120)는 가상 카메라가 타원의 상위 위치(410)에 배치된 경우보다 타원의 후방 위치(420)에 배치된 경우에 로봇 객체(10)와 가상 카메라 간의 거리가 멀어지므로 가상 카메라의 배율을 증가하여 어라운드 뷰를 재구성할 수 있다. 동일한 배율에서의 어라운드 뷰는 가상 카메라가 타원의 상위 위치(410)에 위치한 경우보다 후방 위치(420)에 위치한 경우에 로봇 객체(10)의 크기를 작게 표시할 수 있다. Referring to FIG. 14, the virtual camera control unit 120 adjusts the position of the robot object 10 to one focus of the ellipse and moves the virtual camera from the upper position 410 to the rear position 420 along the curved surface of the ellipse have. Since the distance between the robot object 10 and the virtual camera is increased when the virtual camera is disposed at the rear position 420 of the ellipse than when the virtual camera is disposed at the upper position 410 of the ellipse, You can reconfigure the surrounding view by increasing the magnification. The surround view at the same magnification can display the size of the robot object 10 smaller when the virtual camera is located at the rear position 420 than when the virtual camera is located at the upper position 410 of the ellipse.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

Claims (19)

  1. 전방향에 대한 영상을 촬영하는 카메라부;A camera unit for capturing an image in all directions;
    전방향에 대한 거리정보를 측정하는 센서부; 및A sensor unit for measuring distance information on all directions; And
    상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부;A control unit for generating a three-dimensional model in which a three-dimensional space is modeled using the distance information measured from the sensor unit, and mapping the image to the generated three-dimensional model to generate a wraparound view;
    를 포함하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.The wraparound view image providing apparatus using the distance information.
  2. 제 1항에 있어서,The method according to claim 1,
    상기 제어부는,Wherein,
    상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부;Dimensional model is generated using the distance information, and the distance information of the points on the generated two-dimensional model is compared with edge points measured shorter than a predetermined radius A three-dimensional modeling unit for creating a three-dimensional model by making vertical walls;
    상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 포인트 매칭부; 및A point matching unit for matching the points included in the three-dimensional model with points corresponding to the projection information on which the image is projected; And
    상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부;An image mapping unit for projecting the image on the three-dimensional model matched with the points to perform image mapping;
    를 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.Wherein the distance information includes at least one of a distance and a distance.
  3. 제 2항에 있어서,3. The method of claim 2,
    상기 3차원 모델링부는,The three-
    상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.Wherein the two-dimensional model is generated by connecting neighboring points clockwise or counterclockwise with respect to a point closest to the angle of 0 degrees among the point information included in the distance information. View image providing apparatus.
  4. 제 2항에 있어서,3. The method of claim 2,
    상기 3차원 모델링부는,The three-
    상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치. Wherein the wall surface is formed by connecting four points existing in a vertical direction with reference to two neighboring edge points of the edge points.
  5. 제 2항에 있어서,3. The method of claim 2,
    상기 포인트 매칭부는,The point-
    상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치. Wherein the edge points of the three-dimensional model among the points included on the three-dimensional model are preferentially point-matched.
  6. 제 2항에 있어서,3. The method of claim 2,
    상기 제어부는,Wherein,
    상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부;An image processing unit for removing distortion of an image photographed by the camera unit and cutting or converting an unnecessary part of the image;
    를 더 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치. Further comprising a distance information acquisition unit for acquiring distance information of the wrap around view image.
  7. 이동 및 기 설정된 작업을 수행하는 이동체;A moving body that performs movement and predetermined operations;
    상기 이동체에 설치되고, 상기 이동체의 랩어라운드뷰를 생성하는 랩어라운드뷰 영상제공장치; 및A wrap around view image providing device installed in the moving object and generating a wrap around view of the moving object; And
    상기 랩어라운드뷰 영상제공장치로부터 생성된 랩어라운드뷰를 출력하여 상기 이동체를 모니터링하는 사용자단말;을 포함하되,And a user terminal for outputting a wrap around view generated from the wraparound view video providing device and monitoring the moving object,
    상기 랩어라운드뷰 영상제공장치는,The wrap around view image providing apparatus includes:
    전방향에 대한 영상을 촬영하는 카메라부;A camera unit for capturing an image in all directions;
    전방향에 대한 거리정보를 측정하는 센서부; 및A sensor unit for measuring distance information on all directions; And
    상기 센서부로부터 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하고, 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 제어부;A control unit for generating a three-dimensional model in which a three-dimensional space is modeled using the distance information measured from the sensor unit, and mapping the image to the generated three-dimensional model to generate a wraparound view;
    를 포함하는 것을 특징으로 하는 이동체 모니터링 시스템.Wherein the mobile body monitoring system comprises:
  8. 제 7항에 있어서,8. The method of claim 7,
    상기 사용자단말은,The user terminal comprises:
    상기 이동체의 이동 및 작업을 제어하는 제어신호를 생성하고, 상기 생성된 제어신호를 상기 이동체에 전송하여 상기 이동체를 원격제어하는 것을 특징으로 하는 이동체 모니터링 시스템.And generates a control signal for controlling movement and operation of the moving object, and transmits the generated control signal to the moving object to remotely control the moving object.
  9. 제 7항에 있어서,8. The method of claim 7,
    상기 제어부는,Wherein,
    상기 거리정보를 이용하여 2차원 공간이 모델링된 2차원 모델을 생성하고, 상기 생성된 2차원 모델 상에 존재하는 포인트들 중 상기 거리정보가 기 설정된 반경보다 짧게 측정된 에지(edge) 포인트들과 수직을 이루는 벽면을 만들어 3차원 모델을 생성하는 3차원 모델링부;Dimensional model is generated using the distance information, and the distance information of the points on the generated two-dimensional model is compared with edge points measured shorter than a predetermined radius A three-dimensional modeling unit for creating a three-dimensional model by making vertical walls;
    상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 포인트 매칭부; 및A point matching unit for matching the points included in the three-dimensional model with points corresponding to the projection information on which the image is projected; And
    상기 포인트들이 매칭된 3차원 모델 상에 상기 영상을 투영하여 이미지 매핑하는 이미지 매핑부;An image mapping unit for projecting the image on the three-dimensional model matched with the points to perform image mapping;
    를 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.Wherein the distance information includes at least one of a distance and a distance.
  10. 제 9항에 있어서,10. The method of claim 9,
    상기 3차원 모델링부는,The three-
    상기 거리정보에 포함된 포인트 정보 중 각도가 0°에 가장 가까운 포인트를 기준으로 시계방향 또는 반시계방향으로 이웃한 포인트를 연결하여 상기 2차원 모델을 생성하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치.Wherein the two-dimensional model is generated by connecting neighboring points clockwise or counterclockwise with respect to a point closest to the angle of 0 degrees among the point information included in the distance information. View image providing apparatus.
  11. 제 9항에 있어서,10. The method of claim 9,
    상기 3차원 모델링부는,The three-
    상기 에지 포인트들 중 이웃하는 두 개의 에지 포인트를 기준으로 수직방향에 존재하는 4개의 포인트를 연결하여 상기 벽면을 만드는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치. Wherein the wall surface is formed by connecting four points existing in a vertical direction with reference to two neighboring edge points of the edge points.
  12. 제 9항에 있어서,10. The method of claim 9,
    상기 포인트 매칭부는,The point-
    상기 3차원 모델 상에 포함된 포인트들 중 3차원 모델의 에지 포인트들을 우선적으로 포인트 매칭하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치. Wherein the edge points of the three-dimensional model among the points included on the three-dimensional model are preferentially point-matched.
  13. 제 9항에 있어서,10. The method of claim 9,
    상기 제어부는,Wherein,
    상기 카메라부로부터 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르거나, 변환하는 영상처리부;An image processing unit for removing distortion of an image photographed by the camera unit and cutting or converting an unnecessary part of the image;
    를 더 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공장치. Further comprising a distance information acquisition unit for acquiring distance information of the wrap around view image.
  14. 랩어라운드뷰 영상제공장치가 전방향에 대한 영상을 촬영하고, 거리정보를 측정하여 정보를 수집하는 단계;A step of capturing images in all directions by a wrap around view image providing apparatus and measuring distance information to collect information;
    상기 랩어라운드뷰 영상제공장치가 상기 측정된 거리정보를 이용하여 3차원 공간이 모델링된 3차원 모델을 생성하는 단계; 및Generating a three-dimensional model in which the wraparound view image providing apparatus models the three-dimensional space using the measured distance information; And
    상기 랩어라운드뷰 영상제공장치가 상기 생성된 3차원 모델에 상기 영상을 이미지 매핑하여 랩어라운드뷰를 생성하는 단계;Generating a wrap around view by mapping the image to the generated three-dimensional model by the wrap around view image providing apparatus;
    를 포함하는 거리정보를 이용한 랩어라운드뷰 영상제공방법.And the distance information including the distance information.
  15. 제 14항에 있어서,15. The method of claim 14,
    상기 3차원 모델을 생성하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에,Between the step of generating the three-dimensional model and the step of creating the wraparound view,
    상기 3차원 모델 상에 포함된 포인트들과 상기 영상이 투영되는 투영정보에 대한 포인트들이 대응되도록 매칭하는 단계;Matching the points included in the 3D model with points corresponding to the projection information on which the image is projected;
    를 더 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공방법.And generating a wraparound view image using the distance information.
  16. 제 14항에 있어서,15. The method of claim 14,
    상기 정보를 수집하는 단계 및 상기 랩어라운드뷰를 생성하는 단계 사이에,Between collecting the information and creating the wraparound view,
    상기 촬영된 영상의 왜곡을 제거하고, 불필요한 부분의 영상을 자르고 변환하여 필요한 영상을 추출하는 단계;Removing distortion of the photographed image, cutting out an unnecessary portion of the image, and extracting a necessary image;
    를 더 포함하는 것을 특징으로 하는 거리정보를 이용한 랩어라운드뷰 영상제공방법.And generating a wraparound view image using the distance information.
  17. 복수의 카메라들을 포함하는 로봇과 연결되고, 상기 복수의 카메라들을 통해 생성되며 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부; 및A display unit connected to a robot including a plurality of cameras, the display unit including a robot object generated by the plurality of cameras and corresponding to the robot; And
    상기 로봇의 이동 속도에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함하는 로봇의 관측 시점 제어 장치.And a virtual camera control unit for controlling a virtual camera to generate an observation time of looking at a robot object on the surround view according to the moving speed of the robot.
  18. 제17항에 있어서, 상기 어라운드 뷰는18. The method of claim 17, wherein the surround view
    상기 복수의 카메라들로부터 수신된 해당 방향 이미지들의 정합을 통해 상기 로봇 또는 상기 가상 카메라 제어부에서 생성되는 것을 특징으로 하는 로봇의 관측 시점 제어 장치.Wherein the controller is generated in the robot or the virtual camera controller through matching of corresponding direction images received from the plurality of cameras.
  19. 복수의 카메라들을 포함하는 로봇;A robot including a plurality of cameras;
    상기 복수의 카메라들을 통해 생성되고 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부; 및A display unit for displaying an overview view generated by the plurality of cameras and including a robot object corresponding to the robot; And
    상기 로봇의 이동 속도에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함하는 로봇의 관측 시점 제어 장치.And a virtual camera control unit for controlling a virtual camera to generate an observation time of looking at a robot object on the surround view according to the moving speed of the robot.
PCT/KR2018/015370 2018-01-25 2018-12-06 Apparatus and method for providing image of wrap-around view by using distance information WO2019146903A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0009300 2018-01-25
KR1020180009300A KR102015099B1 (en) 2018-01-25 2018-01-25 Apparatus and method for providing wrap around view monitoring using dis information

Publications (1)

Publication Number Publication Date
WO2019146903A1 true WO2019146903A1 (en) 2019-08-01

Family

ID=67394980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015370 WO2019146903A1 (en) 2018-01-25 2018-12-06 Apparatus and method for providing image of wrap-around view by using distance information

Country Status (2)

Country Link
KR (1) KR102015099B1 (en)
WO (1) WO2019146903A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766692A (en) * 2019-11-05 2020-02-07 北京智拓视界科技有限责任公司 Method, terminal and computer-readable storage medium for detecting protrusion in intestinal tract
US20220191463A1 (en) * 2020-12-16 2022-06-16 Korea Electronics Technology Institute Apparatus and method for providing wrap-around view based on 3d distance information

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837419B (en) * 2021-03-04 2022-06-24 浙江商汤科技开发有限公司 Point cloud model construction method, device, equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134469A (en) * 2013-05-14 2014-11-24 고려대학교 산학협력단 Remote navigation system of mobile robot using augmented reality technology
KR20160094168A (en) * 2015-01-30 2016-08-09 전자부품연구원 Apparatus of controlling observation view of robot
KR20160144645A (en) * 2015-06-09 2016-12-19 엘지전자 주식회사 Apparatus for prividing around view and vehicle including the same
KR20170020210A (en) * 2015-08-14 2017-02-22 삼성전자주식회사 Method and apparatus for constructing three dimensional model of object
KR20170078005A (en) * 2015-12-29 2017-07-07 전자부품연구원 Around view genegation method and apparatus performing the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101860610B1 (en) 2015-08-20 2018-07-02 엘지전자 주식회사 Display Apparatus and Vehicle Having The Same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134469A (en) * 2013-05-14 2014-11-24 고려대학교 산학협력단 Remote navigation system of mobile robot using augmented reality technology
KR20160094168A (en) * 2015-01-30 2016-08-09 전자부품연구원 Apparatus of controlling observation view of robot
KR20160144645A (en) * 2015-06-09 2016-12-19 엘지전자 주식회사 Apparatus for prividing around view and vehicle including the same
KR20170020210A (en) * 2015-08-14 2017-02-22 삼성전자주식회사 Method and apparatus for constructing three dimensional model of object
KR20170078005A (en) * 2015-12-29 2017-07-07 전자부품연구원 Around view genegation method and apparatus performing the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766692A (en) * 2019-11-05 2020-02-07 北京智拓视界科技有限责任公司 Method, terminal and computer-readable storage medium for detecting protrusion in intestinal tract
CN111127314A (en) * 2019-11-05 2020-05-08 北京智拓视界科技有限责任公司 Method, apparatus and storage medium for three-dimensional data planarization of brain
WO2021088868A1 (en) * 2019-11-05 2021-05-14 北京智拓视界科技有限责任公司 Method and terminal for detecting protrusion in intestinal tract, and computer-readable storage medium
US20220191463A1 (en) * 2020-12-16 2022-06-16 Korea Electronics Technology Institute Apparatus and method for providing wrap-around view based on 3d distance information

Also Published As

Publication number Publication date
KR102015099B1 (en) 2019-10-21
KR20190090515A (en) 2019-08-02

Similar Documents

Publication Publication Date Title
WO2019146903A1 (en) Apparatus and method for providing image of wrap-around view by using distance information
US11681834B2 (en) Test cell presence system and methods of visualizing a test environment
WO2011139070A2 (en) Method and apparatus for recognizing location of user
WO2014069812A1 (en) Camera control method, and camera control device for same
WO2016048020A1 (en) Image generating apparatus and method for generation of 3d panorama image
WO2011074721A1 (en) Image processing device and method for matching images obtained from a plurality of wide-angle cameras
CN103650485A (en) Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method
WO2012060564A1 (en) 3d camera
WO2018101652A1 (en) Device for providing realistic media image
CN111818304B (en) Image fusion method and device
WO2010143788A1 (en) Monitoring system using dual cameras and method thereof
CN110045832A (en) Immersion safety education experience system and method based on AR interaction
US20220191463A1 (en) Apparatus and method for providing wrap-around view based on 3d distance information
JP3247307B2 (en) Information provision system
WO2018155742A1 (en) Real-time monitoring system through synthesis of multiple camera inputs
WO2013025011A1 (en) Method and system for body tracking for recognizing gestures in a space
JPWO2013014872A1 (en) Image conversion apparatus, camera, video system, image conversion method, and recording medium recording program
WO2019216572A1 (en) Image providing method for portable terminal, and apparatus using same
JP2010213249A (en) Video camera imaging apparatus
WO2024104439A1 (en) Image frame interpolation method and apparatus, device, and computer readable storage medium
JP5506656B2 (en) Image processing device
JPH09114979A (en) Camera system
WO2019127287A1 (en) First smart device and connection method therefor and apparatus having storage function
WO2022098164A1 (en) Electronic device and control method of electronic device
JPWO2020039897A1 (en) Station monitoring system and station monitoring method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902368

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902368

Country of ref document: EP

Kind code of ref document: A1