WO2021006459A1 - 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
WO2021006459A1
WO2021006459A1 PCT/KR2020/003661 KR2020003661W WO2021006459A1 WO 2021006459 A1 WO2021006459 A1 WO 2021006459A1 KR 2020003661 W KR2020003661 W KR 2020003661W WO 2021006459 A1 WO2021006459 A1 WO 2021006459A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
electronic device
information
cameras
driving
Prior art date
Application number
PCT/KR2020/003661
Other languages
English (en)
French (fr)
Inventor
민준홍
노경식
이소희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021006459A1 publication Critical patent/WO2021006459A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • Various embodiments disclosed in the present document relate to electronic devices and methods, and to a computer-readable recording medium, and more particularly, to reconstructing a stereo image using a plurality of cameras.
  • Multi-view stereo is a technique for producing a 3D image through a plurality of images captured at different locations.
  • MVS is used in a wide range of fields such as 3D mapping, autonomous driving, augmented reality, and 3D printing. Unlike laser scanning, which requires relatively expensive hardware, it is possible to construct a 3D imaging system inexpensively because it uses multiple MVS cameras.
  • Conventional methods of finding out the photographing position and posture of a camera include a method of using SfM (Structure from Motion) technology and a method of performing pre-calibration.
  • SfM Structure from Motion
  • Various embodiments disclosed in this document are intended to provide an apparatus and method capable of easily and accurately detecting a photographing position and posture of a camera.
  • An electronic device includes a body having a moving part, a vision device for collecting environmental information by scanning the surrounding environment, a gripping part for gripping cameras, and the gripping part for the body part.
  • a driving unit including a robot arm that is moved and installed on the body, at least one memory, a communication module for performing communication with an external electronic device, and operatively connected to the vision device, a driving unit, at least one memory, and a communication module
  • the processor may include a processor, wherein the processor selects a camera installation location using the environment information, operates the moving part and the driving part so that the cameras are respectively installed at the camera installation location, and when installing the cameras , External information including position information and attitude information of installed cameras is obtained by using driving information including movement displacement information of the body portion and driving displacement information of the driving unit, and the obtained external information is stored in the memory. And transmits the external information to the external electronic device through the communication module.
  • a computer-readable recording medium in which a program executable in an electronic device according to various embodiments of the present disclosure is recorded is a vision device of the electronic device so that the processor of the electronic device collects environmental information when the program is executed.
  • a robot arm installed on the body of the electronic device by operating and selecting a camera installation location using the environmental information, moving the gripping part and the gripping part so that the gripping part of the driving part of the electronic device grips the camera
  • Operating a driving unit comprising a, and operating a moving unit for moving the body of the electronic device so that the camera is installed at the camera installation position and the driving unit of the electronic device, when the camera is installed, the body of the electronic device It stores driving information including negative movement displacement information and driving displacement information of a driving unit of the electronic device, and external information including position information and posture information of a camera installed using the driving information is stored in a memory of the electronic device. It may contain instructions to save.
  • a stereo image restoration method includes an operation of collecting environmental information through a vision device, an operation of selecting a camera installation location using the environmental information, and a holding unit and the holding unit of the electronic device. And an operation of gripping the camera by a driving unit of the electronic device including a robot arm installed on the body of the electronic device, a moving unit moving the body of the electronic device, and a driving unit of the electronic device.
  • An operation of generating a three-dimensional image using an image processing unit that generates a three-dimensional image using internal information including a focal length, a main point, and an asymmetry coefficient of the camera may be
  • external coefficients of a camera for reconstructing a stereo image may be obtained without a calibration process.
  • cameras can be conveniently installed even in spaces that are difficult to access due to space constraints or dangers, and stereo image restoration can be performed through this.
  • FIGS. 1A to 1C are diagrams of a stereo image restoration apparatus according to various embodiments disclosed in this document.
  • FIG. 2 is a block diagram of an electronic device, a camera, and an image processing unit.
  • FIGS. 1A to 1C are diagrams of the camera shown in FIGS. 1A to 1C.
  • FIG. 4 is a flowchart of an instruction processed by a processor when a program stored in a computer-readable recording medium is executed according to various embodiments disclosed in this document.
  • FIG. 5 is a diagram illustrating a process of installing a camera.
  • FIG. 6 is a view showing a state in which a camera installed at the camera installation position takes a picture.
  • a or B “at least one of A and B”, “at least one of A or B,” “A, B or C,” “at least one of A, B and C,” and “B
  • Each of the phrases such as ", or at least one of C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other corresponding components, and the components may be referred to in other aspects (eg, importance or Order) is not limited.
  • Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components can be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium that can be read by a machine (for example, an electronic device (stereo image restoration method 01)) (for example, an internal memory (stereo image restoration method 36) or an external memory ( It may be implemented as software (eg, a program (stereo image restoration method 40)) including one or more instructions stored in the stereo image restoration method 38)).
  • a processor e.g., a processor (stereo image restoration method 20)
  • a device e.g., an electronic device (stereo image restoration method 01)
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transient only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic wave), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a method according to various embodiments disclosed in the present document may be included in a computer program product and provided.
  • Computer program products can be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or two user devices (e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component eg, a module or program of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. , Or one or more other actions may be added.
  • the electronic device 100 may include a body part 110, a vision device 120, and a driving part 130 and 140.
  • the body portion 110 supports each of the components of the electronic device 100.
  • the shape of the body portion 110 shown in FIG. 1A is only an example of the body portion 110 according to various embodiments.
  • the body portion 110 may be deformed into various shapes capable of supporting each of the components of the electronic device 100.
  • the body portion 110 may include a mounting portion 112 on which the cameras 300 can be mounted.
  • a coil for wireless charging to which current is supplied may be disposed on the inner surface of the mounting part 112. In this case, wireless charging may be performed while the cameras 300 are mounted on the mounting unit 112.
  • the body portion 110 may include a moving portion 111 that moves the body portion 110 with respect to the ground.
  • the moving part 111 may be a wheel 111 that is rotatably installed on the body part 110.
  • the moving part 111b may be an endless track 111b which is rotatably installed on the body part 110.
  • the moving part 111b in the form of an endless track can effectively move the body part 110.
  • the moving part 111c may be a rail wheel 111c that moves the body part 110 along the fixed rail.
  • the moving portion 111c in the form of a rail wheel may be effective.
  • the moving part (not shown) may be a rotating blade.
  • the moving part may be a quadrotor composed of four rotating blades. In this case, the body portion 110 can move three-dimensionally in space.
  • the driving units 130 and 140 may include a gripping unit 140 and a robot arm 130.
  • the robot arm 130 may be installed directly on the body portion 110 or may be installed to be connected to the body portion 110 through another configuration.
  • the robot arm 130 may include a plurality of joints 132 respectively connecting the plurality of arm frames 131 and the plurality of arm frames 131.
  • the joint 132 can freely change the angle and distance between the connected arm frames 131.
  • the robot arm 130 composed of the plurality of joints 132 and the arm frame 131 may have 6 degrees of freedom.
  • 6 degrees of freedom means that the robot arm 130 has positional freedom in the X, Y, and Z directions and rotation and tilt degrees of freedom in the roll, pitch, and yaw directions.
  • at least one of the plurality of joints 132 may connect the robot arm 130 and the body portion 110.
  • At least one of the plurality of joints 132 may be provided with an external force detection sensor (not shown) to measure an external force applied to the robot arm 130.
  • the gripping part 140 is coupled to the end of the robot arm 130. According to various embodiments, the gripping part 140 may be connected to the robot arm 130 through the joint 132.
  • the gripper 140 may grip the camera 300.
  • the gripping part 140 may be a pair of tongs, as shown in FIG. 1A.
  • the gripping portion may be a protrusion inserted into a groove portion of the camera.
  • the gripping part When the gripping part is advanced and inserted into the groove of the camera, the gripping part grips the camera, and the gripping part retracts and discharges from the groove of the camera, so that the gripping part can perform an operation of placing the camera.
  • the gripping unit may be modified into various configurations capable of gripping and placing the camera.
  • the shape of the gripping part may correspond to the shape of the gripping groove 340 of the camera to be described later.
  • an external force sensor (not shown) may be provided in the gripping part 140 to measure an external force applied to the gripping part 140.
  • the vision device 120 scans the surrounding environment to collect environment information, and enables the moving unit 111 and the driving units 130 and 140 to recognize the surrounding environment and perform an appropriate operation.
  • the vision device 120 collects surrounding information so that the electronic device 100 according to various embodiments disclosed in the present document can autonomously drive and operate autonomously.
  • the vision device 120 may be installed on at least one of the body portion 110 and the driving portions 130 and 140. When the vision device 120 is installed in the driving units 130 and 140, the operation of the driving units 130 and 140 and the scanning of the surrounding environment by the vision device 120 may be linked.
  • the vision device 120 may include an image sensor that receives light and converts it into an electronic signal, such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS). According to various embodiments, the vision device 120 may include a sensor that senses infrared rays or ultraviolet rays, or detects heat, sound, and the like. In some cases, the vision device 120 may be a configuration capable of detecting the surrounding environment, such as a laser distance meter or a 3D scanner.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • 3D maps can be created.
  • the camera installation location may be selected through environmental information collected through the vision device 120.
  • the communication module 150 communicates with an external electronic device.
  • the external electronic device may be a camera 300 installed by the electronic device 100 according to various embodiments disclosed in the original document and an image processing unit 230 that generates a 3D image.
  • the communication module 150 may transmit and receive information through wired or wireless communication.
  • various wireless communication protocols may be used.
  • the wireless communication protocol may include a short-range communication protocol such as Zigbee, Bluetooth, and Near Field Communication (NFC), and a long-distance communication protocol such as Wireless Fidelity (Wi-Fi) and a Local Area Network (LAN).
  • FIG. 2 is a block diagram of an electronic device, a camera, and an image processing unit.
  • the processor 210 may operate the moving unit 111 and the driving units 130 and 140.
  • the processor 210 may be embedded in the electronic device 100 according to various embodiments disclosed in this document. In some cases, the processor 210 is configured separately from the electronic device 100, and the processor 210 and the electronic device 100 may exchange information through the communication module 150.
  • the processor 210 uses the driving information of the moving unit 111 and the driving units 130, 140 to include location information and posture information of the camera 300. External information is collected and stored in the memory 220.
  • the memory 220 may be built-in or separately configured in the electronic device 100 according to various embodiments disclosed in this document.
  • the electronic device 100 may receive an identification number of the camera 300 and an image captured by the camera 300 from the camera 300.
  • the image processing unit 230 may process information and perform an operation.
  • the image processing unit 230 includes the identification number of the camera 300 received from the camera 300 and the internal information of the camera 300 including the focal length, the main point, and the asymmetry coefficient of the camera 300 corresponding to the identification number.
  • a 3D image is generated using the image captured by the cameras 300 and external information of the cameras 300 stored in the memory 220.
  • the image processing unit 230 may be embedded in the electronic device 100. In some cases, the image processing unit 230 may be configured separately and may generate a 3D image by receiving information from the electronic device 100 according to various embodiments disclosed in this document through wired or wireless communication. In some cases, the image processing unit 230 may directly receive an identification number of the camera 300 and an image captured by the camera 300 from the camera 300.
  • the camera 300 includes a lens and an image sensor that converts light condensed by the lens into an electronic signal, a photographing unit 310 that can be configured with a processor that generates an image through the converted electronic signal, and the identification of the camera 300
  • a communication unit 320 that transmits a number and a photographed image and receives an operation command of the camera 300, and an installation unit 330 that fixes the camera 300 so that the camera 300 can be installed at the camera installation position.
  • It may be formed to include a gripping groove 340 formed so that the camera 300 can be gripped by the gripping part 140.
  • the positions of the gripping groove 340 and the photographing unit 310 of the camera 300 are absolutely fixed.
  • the gripping groove 340 may be disposed on the lower side of the photographing unit 310.
  • the gripping groove 340 may have a rectangular concave groove shape as illustrated in FIG. 3.
  • the shape of the gripping groove 340 may correspond to the shape of the gripping part 140 of the driving parts 130 and 140.
  • the gripping unit 140 according to various embodiments may be a pair of tongs.
  • the end shape of each forceps may be formed to correspond to be inserted into the gripping groove 340.
  • the gripping part 140 may grip the camera 300 using the gripping groove 340. As a result, the camera 300 may always be gripped by the gripping unit 140 in the same direction.
  • the installation unit 330 fixes the camera 300 installed at the camera installation position by the moving unit 111 and the driving units 130 and 140 to the camera installation position.
  • the installation unit 330 may be a pneumatic adsorption plate fixing the camera 300 through pneumatic pressure.
  • the installation part 330 may be formed of an adhesive material to attach the camera 300 to the camera installation position.
  • the installation part 330 may be formed of a magnetic material to fix the camera 300 by magnetic force at the camera installation position.
  • the installation unit 330 may be changed to various configurations capable of fixing the camera 300 to the camera installation position.
  • the written program is a computer-readable recording It may be implemented as computer-readable code on a medium.
  • the computer-readable recording medium includes all types of storage devices storing data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices.
  • the computer-readable recording medium can be distributed over a computer system connected through a network, and stored and executed as computer-readable codes in a distributed manner.
  • FIG. 4 is a flowchart of instructions processed by a processor when executing a program stored in a computer-readable recording medium according to various embodiments disclosed in this document
  • FIG. 5 is a diagram for explaining a process of installing the camera 300
  • FIG. 6 is a view showing a state in which the camera 300 installed at the camera installation position is photographed.
  • the processor 210 may collect environmental information by operating the vision device 120 to scan the surrounding environment (410 ). As described above, the vision device 120 may generate a 3D map around the electronic device 100 by applying the SLAM method. Through this method, the processor 210 collects environmental information around the electronic device 100 through the vision device 120.
  • the processor 210 may select a camera installation location using environmental information obtained through the vision device 120 (420).
  • the environment information may include location information such as distance and height of the target point, information about obstacles existing between the target point and the electronic device 100, and information such as flatness and material of the target point.
  • the processor 210 may select a camera installation location by comprehensively considering such information. For example, the processor 210 may select a camera installation location using fuzzy logic.
  • the processor 210 may assign values from 1 to 5 to each of the pieces of information and select the camera installation location in the order of the highest sum of the values.
  • a weight may be assigned to the numerical value of the information.
  • the installation unit 330 uses pneumatic pressure, a high weight may be given to the flatness of the target point.
  • a high weight may be given to the flatness of the target point.
  • filtering may be performed in a case where the material of the target point is metal, and the camera installation location may be selected.
  • the processor 210 may select an optimal camera installation location through various logic controls.
  • the processor 210 may operate the driving units 130 and 140 so that the gripping unit 140 can grip the camera 300 (430).
  • the processor 210 may be interlocked with the vision device 120 to approach the gripper 140 to a position in which the camera 300 is mounted.
  • the position at which the camera 300 is mounted is input to the processor 210 in advance, and the processor 210 controls the driving units 130 and 140 according to the value so that the gripper 140 is ) Can be accessed.
  • the gripping unit 140 may grip the camera 300 by using the gripping groove 340 of the camera 300.
  • the processor 210 may install the camera 300 at the camera installation position by operating the moving unit 111 and the driving units 130 and 140 (440).
  • the moving part 111 may move the body part 110 to a position close to the camera installation position.
  • the robot arm 130 and the gripping part 140 of the driving units 130 and 140 may move the camera 300 to the camera installation position.
  • the processor 210 feeds back an external force value measured by an external force detection sensor provided in the driving units 130 and 140, and excessive force is applied to the camera 300 while the camera 300 is installed at the camera installation position. You can avoid losing.
  • the processor 210 may apply a force of an installation stability value to the camera 300 in a direction different from the direction in which the camera 300 is installed by operating the driving units 130 and 140.
  • the driving units 130 and 140 may apply a force to the camera 300 in a front direction or a rear direction based on FIG. 3.
  • the processor 210 may determine that the camera 300 is normally attached.
  • the processor 210 may store driving information by driving the moving unit 111 and the driving units 130 and 140 during the installation process of the camera 300 in the memory 220 (450 ).
  • the driving information may include movement displacement information of the body portion 110 and driving displacement information of the driving units 130 and 140.
  • the processor 210 may obtain external information (extrinsic) including position information and posture information of the camera 300 installed at the camera installation location through the driving information stored in the memory 220 and store it in the memory 220 ( 460).
  • the initial point of the gripping unit 140 may be set as a reference coordinate on a world coordinate system or a local coordinate system.
  • the coordinates (positions) of the gripping parts 140 and the three-axis (roll, pitch, yaw) angles ( Posture) can be obtained.
  • the gripping part 140 grips the camera 300 through the gripping groove 340 of the camera 300, the gripping part 140 can always grip the camera 300 in the same direction. That is, the gripping unit 140 and the camera 300 always have the same relative coordinates and relative angles. When the position and posture of the gripping part 140 is obtained, the position and posture of the camera 300 may be obtained from this.
  • Position information and posture information of the camera 300 installed at the camera installation position are information constituting external information of the camera 300. This information is the most essential information to reconstruct a stereo image.
  • the electronic device 100 uses regular kinematic information of the moving unit 111 and the driving units 130 and 140 in the process of installing the camera 300 to provide external information of the camera 300. Can be collected. Through this, while installing the camera 300 for restoring a stereo image, it is possible to find out external information of the camera 300, which is key information for restoring a stereo image. Since external information of the camera 300 is acquired at the same time as the camera 300 is installed, there is an advantage in that it is possible to perform a simple and quick operation compared to the existing method.
  • the stereo image restoration method has an advantage of being fast and convenient because it can omit a separate step such as calibration for finding external information of the camera 300.
  • external information of the camera 300 may be found even when the surface of the restoration object is smooth and it is difficult to extract the feature points compared to SfM (Structure from Motion) which restores a stereo image by extracting the feature points of the restoration target.
  • SfM Structure from Motion
  • the restored stereo image is provided as a streaming service so that users can view the scene in real time at their desired point in time without going directly to the performance hall or sports venue.
  • Free-view relay may also be possible. Since the installation process of the camera 300 is performed without human intervention through the electronic device 100, the camera 300 can be easily installed even in a dangerous work area that is difficult for a person to access. When the electronic device 100 is manufactured to be small, the camera 300 can be installed even in a narrow space by minimizing space restrictions. As described above, according to various embodiments disclosed in this document, it is possible to restore a stereo image by installing the camera 300 even in a poor environment.
  • a plurality of cameras 300 may be installed at the camera installation positions. If necessary, an additional operation may be performed to remove an error of external information of the camera 300.
  • the processor 210 moves the electronic device 100 to a central portion where the cameras 300 are installed.
  • the cameras 300 photograph the electronic device 100, and the SfM method may be applied by extracting common feature points from images of the electronic device 100 photographed by the cameras 300. In this way, in some cases, the SfM method can be used as an auxiliary means to improve the accuracy of collected external information.
  • the processor 210 receives the identification number of the camera 300 and the image captured by the camera 300 from the communication unit 320 of the camera 300, and includes internal information (intrinsic) of the camera 300 and memory. It is possible to generate a stereo image through the image processing unit 230 by synthesizing external information of the camera 300 stored in 220. The process of generating the stereo image by the image processing unit 230 will be briefly described as follows.
  • the internal information K of the camera 300 is a unique value determined by the specifications of the camera 300 and can be obtained through pre-calibration. In general, the K value remains constant unless an external physical shock is applied.
  • the required matrix (E) is a matrix representing the geometric relationship between matching pairs on the normalized image plane.
  • the required matrix E is represented by R[t]x.
  • [t]x denotes a vector cross product with the location information t of the camera 300 expressed as a vector.
  • a Fundamental Matrix (F) can also be obtained.
  • the basic matrix F is a matrix expressing a geometric relationship between actual pixel coordinates of two images including the internal information K of the camera 300.
  • the basic matrix F is a matrix representing a geometric relationship between the image coordinates of actual pixels
  • a stereo image can be reconstructed by using an image captured by two adjacent cameras 300 and the base matrix F.
  • individual pixels of the stereo image can be converted into three-dimensional coordinates in world space.
  • all pixels of an image can be transformed into a set of three-dimensional coordinate points commonly called a point cloud.
  • a final three-dimensional point cloud can be obtained.
  • This point cloud can be directly rendered to represent a three-dimensional space, or a three-dimensional space can be represented after a surface rendering process using a polygon mesh technique or the like. It can also be modeled by transforming it into a three-dimensional voxel space.
  • the processor 210 may retrieve the cameras 300 installed at the camera installation locations by operating the moving unit 111 and the driving unit 130. Basically, since the location where the cameras 300 are installed is known, the electronic device 100 may approach the location where the cameras 300 are installed to perform a task of recovering the camera 300. In some cases, the vision device 120 may scan the surrounding environment to re-detect the position of the camera 300. At this time, in order to perform the collection of the camera 300 more precisely, the processor 210 causes the collection target camera 300 to take a picture of the gripping unit 140 of the electronic device 100 approaching the recovery target camera 300. can do. When the collection target camera 300 uses the image captured by the gripping unit 140, the processor 210 can more accurately estimate the relative position and posture of the gripping unit 140 and the collection target camera 300 Do.
  • the electronic device 100 automatically retrieves the installed cameras 300, so that human intervention is not required even during the dismantling operation. Since the electronic device 100 automatically performs the installation and disassembly, it is possible to continuously obtain a stereo image while moving places repeatedly.
  • the stereo image restoration method may include the following operations.
  • an operation of collecting environmental information may be performed through the vision device 120.
  • an operation of selecting a camera installation location may be performed using environmental information.
  • a driving unit 130 including a robot arm installed on the body unit 110 and moving the gripping unit 140 and the gripping unit 140 may perform an operation of gripping the camera 300.
  • the moving part that moves the body part 110 and the driving part 130 may perform an operation of installing the camera 300 at the camera installation position.
  • an operation of storing driving information including movement displacement information of the body portion 110 and driving displacement information of the driving unit 130 may be performed.
  • An operation of storing external information including position information and posture information of the installed camera 300 may be performed using the driving information.
  • An operation of generating a 3D image may be performed by using an image processing unit that generates a 3D image using the included internal information.
  • the moving unit and the driving unit 130 may perform an operation of recovering the cameras 300 installed at the camera installation position.
  • the collection target camera 300 captures the holding unit 140 of the driving unit 130 through an image of the holding unit 140 and the collection The relative posture of the target camera 300 may be estimated and the cameras 300 may be retrieved using this.
  • the operation of gripping the camera 300 may be performed by the gripping portion 140 formed in a shape corresponding to the gripping groove formed in the camera 300.
  • An electronic device includes a body having a moving part, a vision device for collecting environmental information by scanning the surrounding environment, a gripping part for gripping cameras, and moving the gripping part with respect to the body part.
  • a driving unit including a robot arm installed on the body, at least one memory, a communication module performing communication with an external electronic device, and the vision device, the driving unit, at least one memory, and operably connected to the communication module
  • a processor may be included, and the processor may select a camera installation location using the environment information, and operate the moving part and the driving part so that the cameras are respectively installed at the camera installation location, and the camera When installing, it is possible to obtain external information including position information and posture information of installed cameras using driving information including movement displacement information of the body portion and driving displacement information of the driving unit, respectively, and the external information It may be stored in the memory, and the external information may be transmitted to the external electronic device through the communication module.
  • the processor may operate the moving part and the driving part to respectively collect the cameras installed in the camera installation position.
  • the robot arm of the driving unit may include a plurality of joints
  • the driving unit may further include an external force detection sensor installed on at least one of the plurality of joints and the gripping unit of the robot arm.
  • the processor controls to apply a force of a preset installation stability value to the camera in a direction different from the installation direction of the camera in which the driving unit is installed in a state in which the cameras are respectively installed at the camera installation positions, and the installation of the camera If the state is maintained, it can be determined that the installation of the camera is complete.
  • the vision device may be installed on at least one of the body portion and the driving portion.
  • the holding portion of the driving unit may be formed in a shape in which a portion in contact with the camera corresponds to a holding groove formed in the camera.
  • the communication module may receive identification numbers of cameras installed at the camera installation location and images captured by the cameras.
  • the processor when collecting the cameras, estimates the relative posture of the gripping part and the recovery target camera through an image captured by the gripping part of the driving part by the collecting target camera, and using this, the moving part and the driving part You can make it work.
  • the image captured by the cameras, the identification number of each of the cameras, external information of the camera corresponding to the identification number, and internal information including the focal length, main point, and asymmetry coefficient of the camera corresponding to the identification number are used.
  • an image processing unit for generating a 3D image may be further included.
  • the processor controls the moving part of the body part so that the body part is located at the angle of view of the cameras installed at the camera installation position, and the image processing part extracts a common feature point from the image captured by the cameras and uses the same.
  • the image processing part extracts a common feature point from the image captured by the cameras and uses the same.
  • a computer-readable recording medium in which a program executable in an electronic device according to various embodiments disclosed in this document is recorded is a vision device of the electronic device such that a processor of the electronic device collects light information when the program is executed.
  • a robot arm installed on the body of the electronic device by operating and selecting a camera installation location using environmental information, moving the gripping part and the gripping part so that the gripping part of the driving part of the electronic device grips the camera
  • Operating a driving unit comprising a, and operating a moving unit for moving the body of the electronic device so that the camera is installed at the camera installation position and the driving unit of the electronic device, when the camera is installed, the body of the electronic device It stores driving information including negative movement displacement information and driving displacement information of a driving unit of the electronic device, and external information including position information and posture information of a camera installed using the driving information is stored in a memory of the electronic device. It may contain instructions to save.
  • the program when executed, the processor of the electronic device, the image captured by the cameras, the identification number of each of the cameras, external information of the camera corresponding to the identification number, and the focus of the camera corresponding to the identification number.
  • An instruction for generating a three-dimensional image using an image processing unit that generates a three-dimensional image using internal information including a distance, a main point, and an asymmetry coefficient may be further included.
  • the program may further include an instruction for the processor of the electronic device to operate the moving part of the electronic device and the driving part of the electronic device so that cameras installed at the camera installation position are retrieved when executed.
  • the program when executed, causes the processor of the electronic device to photograph the gripping part of the driving part of the electronic device through the collection target camera, and the collection target camera photographed the gripping part of the driving part of the electronic device.
  • the method may further include an instruction for estimating a relative posture between the gripping unit and the camera to be retrieved, and for retrieving the cameras by using this.
  • the driving unit of the electronic device may further include an instruction for controlling a driving unit of the electronic device by feeding back an external force value sensed by an external force sensor of the electronic device installed in at least one of the joint and the gripping unit.
  • the program when executed, the processor of the electronic device in a direction different from the installation direction of the camera installed through the driving unit of the electronic device in a state in which the camera is installed at the camera installation position, an installation stability value preset in the camera When a force of is applied and the installation state of the camera is maintained, an instruction for determining that the installation of the camera is normal may be further included.
  • the processor of the electronic device when the program is executed, the processor of the electronic device is positioned at the angle of view of the cameras installed at the camera installation location, and the body of the electronic device is located, and a common feature point is extracted from the image captured by the cameras and is used. It may further include instructions for supplementing each of the external information of the cameras.
  • a stereo image restoration method includes an operation of collecting environmental information through a vision device, an operation of selecting a camera installation location using the environmental information, and An operation of moving and gripping the camera by a driving unit of the electronic device including a robot arm installed on the body of the electronic device, a moving unit moving the body of the electronic device and a driving unit of the electronic device to move the camera
  • a driving unit of the electronic device including a robot arm installed on the body of the electronic device, a moving unit moving the body of the electronic device and a driving unit of the electronic device to move the camera
  • the operation of recovering cameras installed at the camera installation position may be further included in the moving unit of the electronic device and the driving unit of the electronic device.
  • the operation of gripping the camera may be performed by a gripping portion of the electronic device formed in a shape corresponding to a gripping groove formed in the camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 문서에 개시된 다양한 실시 예에 따른 전자 장치는, 이동부를 구비하는 몸체부, 주변 환경을 스캔하여 환경 정보를 수집하는 비전장치, 카메라들을 파지하는 파지부, 및 상기 파지부를 상기 몸체부에 대해 이동시키고 상기 몸체부에 설치되는 로봇 암을 포함하는 구동부, 적어도 하나의 메모리, 외부 전자 장치와 통신을 수행하는 통신 모듈 및 상기 비전장치, 구동부, 적어도 하나의 메모리, 및 통신 모듈과 동작적으로 연결되는 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 환경 정보를 이용하여 카메라 설치 위치를 선정하고, 상기 카메라들이 상기 카메라 설치 위치에 각각 설치되도록 상기 이동부와 구동부를 작동시키고, 상기 카메라들을 설치할 때, 상기 몸체부의 이동 변위 정보와 상기 구동부의 구동 변위 정보를 포함하는 구동 정보를 이용하여 설치되는 카메라들의 위치 정보와 자세 정보를 포함하는 외부 정보를 각각 획득하고, 상기 획득한 외부 정보를 상기 메모리에 저장하고, 상기 통신 모듈을 통해 상기 외부 정보를 상기 외부 전자 장치로 송신할 수 있다. 이 밖에도 다양한 실시 예가 가능할 수 있다.

Description

전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
본 문서에 개시된 다양한 실시 예들은 전자 장치 및 방법 그리고 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 특히 복수의 카메라를 이용하여 스테레오 영상을 복원하는 것에 관한 것이다.
다중 시점 스테레오(Multi-view stereo; MVS) 는 서로 다른 위치에서 촬영된 복수의 영상을 통해서 3차원 영상을 제작하는 기법이다. MVS는 삼차원 매핑, 자율주행, 증강현실, 3D 프린팅 등 광범위한 분야에서 사용된다. 상대적으로 비싼 하드웨어를 요구하는 레이저 스캐닝과 달리 MVS 복수의 카메라를 이용하므로 저렴하게 삼차원 영상시스템을 구축할 수 있다.
한편, MVS를 통해 3차원 영상을 제작하기 위해서는 복수의 카메라의 촬영 위치 및 자세 정보를 알아내야 한다.
카메라의 촬영 위치 및 자세를 알아내는 종래의 방법으로 크게 SfM(Structure from Motion) 기술을 이용하는 방법과 사전 캘리브레이션을 수행하는 방법을 들 수 있다.
SfM의 경우, 카메라의 촬영 위치 및 자세를 정밀하게 측정하기 어렵다는 단점이 있고, 캘리브레이션은 매 촬영마다 캘리브레이션을 수행해야하기 때문에 번거롭다는 단점이 있다.
본 문서에 개시된 다양한 실시 예들은 카메라의 촬영 위치 및 자세를 간편하고 정확하게 검출할 수 있는 장치 및 방법을 제공하기 위한 것이다.
본 문서에 개시된 다양한 실시 예에 따른 전자 장치는, 이동부를 구비하는 몸체부, 주변 환경을 스캔하여 환경 정보를 수집하는 비전장치, 카메라들을 파지하는 파지부, 및 상기 파지부를 상기 몸체부에 대해 이동시키고 상기 몸체부에 설치되는 로봇 암을 포함하는 구동부, 적어도 하나의 메모리, 외부 전자 장치와 통신을 수행하는 통신 모듈 및 상기 비전장치, 구동부, 적어도 하나의 메모리, 및 통신 모듈과 동작적으로 연결되는 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 환경 정보를 이용하여 카메라 설치 위치를 선정하고, 상기 카메라들이 상기 카메라 설치 위치에 각각 설치되도록 상기 이동부와 구동부를 작동시키고, 상기 카메라들을 설치할 때, 상기 몸체부의 이동 변위 정보와 상기 구동부의 구동 변위 정보를 포함하는 구동 정보를 이용하여 설치되는 카메라들의 위치 정보와 자세 정보를 포함하는 외부 정보를 각각 획득하고, 상기 획득한 외부 정보를 상기 메모리에 저장하고, 상기 통신 모듈을 통해 상기 외부 정보를 상기 외부 전자 장치로 송신할 수 있다.
본 문서에 개시된 다양한 실시 예에 따른 전자 장치에서 실행 가능한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 상기 프로그램이 실행 시에, 전자 장치의 프로세서가, 환경 정보를 수집하도록 상기 전자 장치의 비전장치를 작동시키고, 상기 환경 정보를 이용하여 카메라 설치 위치를 선정하고, 상기 전자 장치의 구동부의 파지부가 카메라를 파지하도록 상기 파지부와 상기 파지부를 이동시키고 상기 전자 장치의 몸체부에 설치되는 로봇 암을 포함하는 구동부를 작동시키고, 상기 카메라가 상기 카메라 설치 위치에 설치되도록 상기 전자 장치의 몸체부를 이동시키는 이동부와 상기 전자 장치의 구동부를 작동시키고, 상기 카메라가 설치될 때, 상기 전자 장치의 몸체부의 이동 변위 정보와 상기 전자 장치의 구동부의 구동 변위 정보를 포함하는 구동 정보를 저장하고, 상기 구동 정보를 이용하여 설치되는 카메라의 위치 정보와 자세 정보를 포함하는 외부 정보를 상기 전자 장치의 메모리에 저장하는 인스트럭션을 포함할 수 있다.
본 문서에 개시된 다양한 실시 예에 따른 스테레오 영상 복원 방법은, 비전장치를 통해 환경 정보를 수집하는 동작, 상기 환경 정보를 이용하여 카메라 설치 위치를 선정하는 동작, 상기 전자 장치의 파지부와 상기 파지부를 이동시키고, 상기 전자 장치의 몸체부에 설치되는 로봇 암을 포함하는 상기 전자 장치의 구동부가 카메라를 파지하는 동작, 상기 전자 장치의 몸체부를 이동시키는 이동부와 상기 전자 장치의 구동부가 상기 카메라를 상기 카메라 설치 위치에 설치하는 동작, 상기 카메라가 설치될 때, 상기 전자 장치의 몸체부의 이동 변위 정보와 상기 전자 장치의 구동부의 구동 변위 정보를 포함하는 구동 정보를 저장하는 동작, 상기 구동 정보를 이용하여 설치된 카메라의 위치 정보와 자세 정보를 포함하는 외부 정보를 저장하는 동작 및 카메라들이 촬영한 화상과 상기 카메라들 각각의 식별번호와 상기 식별번호에 대응되는 카메라의 외부 정보와 상기 식별번호에 대응되는 카메라의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부 이용하여 삼차원 영상을 생성하는 동작을 포함할 수 있다.
본 문서에 개시된의 다양한 실시 예에 따르면, 캘리브레이션 과정 없이 스테레오 영상 복원을 위한 카메라의 외부 계수를 구할 수 있다.
또한, 공간상의 제약이나 위험성 때문에 사람이 접근하기 어려운 공간에서도 카메라들을 간편하게 설치할 수 있고 이를 통해 스테레오 영상 복원을 수행할 수 있다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1a 내지 도 1c는 본 문서에 개시된 다양한 실시예에 따른 스테레오 영상복원 장치의 도면이다.
도 2는, 전자 장치와 카메라와 영상 처리부의 블록도이다.
도 3은, 도 1a 내지 도 1c에 도시된 카메라의 도면이다.
도 4는 본 문서에 개시된 다양한 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체에 저장된 프로그램 실행 시 프로세서가 처리하는 인스트럭션의 순서도이다.
도 5는 카메라를 설치하는 과정을 설명하기 위한 도면이다.
도 6은 카메라 설치 위치에 설치된 카메라가 촬영하는 모습을 도시한 도면이다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “ B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(스테레오 영상 복원 방법01)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(스테레오 영상 복원 방법36) 또는 외장 메모리(스테레오 영상 복원 방법38))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(스테레오 영상 복원 방법40))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(스테레오 영상 복원 방법01))의 프로세서(예: 프로세서(스테레오 영상 복원 방법20))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 1a 내지 도 1c는 본 문서에 개시된 전자 장치(100)의 다양한 실시 예를 설명하기 위한 도면이다. 본 문서의 다양한 실시 예들에 따르면, 전자 장치(100)는 몸체부(110)와 비전장치(120)와 구동부(130, 140)를 포함하여 이루어질 수 있다.
몸체부(110)는 전자 장치(100)의 각 구성들을 지지한다. 도 1a에 도시된 몸체부(110)의 형태는 다양한 실시 예에 따른 몸체부(110)의 한 예시에 불과하다. 몸체부(110)는 전자 장치(100)의 각 구성들을 지지할 수 있는 다양한 모양으로 변형될 수 있다. 몸체부(110)는 카메라(300)들이 거치될 수 있는 거치부(112)를 구비할 수 있다. 다양한 실시 예에 따르면, 거치부(112) 내면에는 전류가 공급되는 무선 충전용 코일이 배치될 수 있다. 이 경우, 카메라(300)들이 거치부(112)에 거치된 상태에서 무선 충전이 수행될 수 있다. 몸체부(110)는 몸체부(110)를 지면에 대해 이동시키는 이동부(111)를 구비할 수 있다.
도 1a에 도시된 것과 같이, 이동부(111)는 몸체부(110)에 회전 가능하게 설치되는 바퀴(111)가 될 수 있다. 도 1b에 도시된 것과 같이, 이동부(111b)는 몸체부(110)에 회전 가능하게 설치되는 무한 궤도(111b)가 될 수 있다. 지면의 모양이 일정하지 않은 경우 무한 궤도 형태의 이동부(111b)는 몸체부(110)를 효과적으로 이동시킬 수 있다. 도 1c에 도시된 것과 같이, 이동부(111c)는 고정 레일을 따라 몸체부(110)를 이동1시키는 레일 바퀴(111c)가 될 수 있다. 정해진 공간에서 몸체부(110)를 반복적으로 이동시키는 경우에 레일 바퀴 형태의 이동부(111c)가 효과적일 수 있다. 경우에 따라서는, 이동부(미도시)는 회전날개일 수 있다. 예컨대, 이동부는 네 개의 회전날개로 구성되는 쿼드로터(quadrotor)일 수 있다. 이 경우, 몸체부(110)는 공간 상에서 3차원적으로 움직일 수 있다.
구동부(130, 140)는 파지부(140)와 로봇 암(130)을 포함하여 이루어질 수 있다.
로봇 암(130)은 몸체부(110)에 직접 설치되거나, 다른 구성을 통해 몸체부(110)와 연결되도록 설치될 수 있다. 로봇 암(130)은 복수의 암 프레임(131)과 복수의 암 프레임(131)을 각각 연결하는 복수의 관절(132)을 포함할 수 있다. 관절(132)은 연결된 암 프레임(131) 사이의 각도와 거리를 자유롭게 변경시킬 수 있다. 복수의 관절(132)과 암 프레임(131)으로 구성된 로봇 암(130)은 6 자유도를 가질 수 있다. 여기서 6 자유도는 로봇 암(130)이 X, Y, Z 방향의 위치 자유도와 롤(Roll), 피치(Pitch), 요(Yaw) 방향의 회전 및 기울기 자유도를 갖는다는 것을 의미한다. 다양한 실시 예에 따르면, 복수의 관절(132) 중 적어도 하나는 로봇 암(130)과 몸체부(110)를 연결시킬 수 있다. 복수의 관절(132) 중 적어도 하나에는 로봇 암(130)에 가해지는 외력을 측정할 수 있도록 외력 감지 센서(미도시)가 구비될 수 있다.
파지부(140)는 로봇 암(130)의 말단에 결합된다. 다양한 실시 예에 따르면, 파지부(140)는 관절(132)을 통해 로봇 암(130)과 연결될 수 있다. 파지부(140)는 카메라(300)를 파지할 수 있다. 예를 들어, 파지부(140)는 도 1a에 도시된 것과 같이, 한 쌍의 집게일 수 있다. 상호 진퇴하는 한 쌍의 집게로 파지부(140)를 구성하여 집게의 전진으로 카메라(300)를 파지하고, 집게의 후진으로 카메라(300)를 놓는 동작을 수행할 수 있다. 다양한 실시 예에 따르면, 파지부는 카메라의 홈 부분에 삽입되는 돌기일 수 있다. 파지부가 카메라의 홈 부분으로 전진하여 삽입됨으로써 파지부가 카메라를 파지하고, 파지부가 카메라의 홈 부분에서 후퇴하여 배출됨으로써 파지부가 카메라를 놓는 동작을 수행할 수 있다. 이 밖에도 파지부는 카메라를 파지하고 놓을 수 있는 다양한 구성으로 변형될 수 있다. 파지부의 형태는 후술하는 카메라의 파지홈(340)의 모양과 대응될 수 있다. 다양한 실시 예에 의하면, 파지부(140)에는 파지부(140)에 가해지는 외력을 측정할 수 있도록 외력 감지 센서(미도시)가 구비될 수 있다.ㅏ
비전장치(120)는 주변 환경을 스캔하여 환경 정보를 수집하고 이동부(111)와 구동부(130, 140)가 주변 환경을 인식하고 적절한 동작을 수행할 수 있도록 한다. 비전장치(120)는 본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)가 자율 주행 및 자율 동작할 수 있도록 주변 정보를 수집한다. 비전장치(120)는 몸체부(110)와 구동부(130, 140) 중 적어도 하나에 설치될 수 있다. 비전장치(120)가 구동부(130, 140)에 설치된 경우에는, 구동부(130, 140)의 작동과 비전장치(120)에 의한 주변 환경 스캔이 연동될 수 있다.
비전장치(120)는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같이 빛을 수신하여 전자 신호로 변환하는 이미지 센서를 포함할 수 있다. 다양한 실시 예에 따르면 비전장치(120)는 적외선이나 자외선을 감지하거나 열, 소리 등을 감지하는 센서를 포함할 수 있다. 경우에 따라서는 비전장치(120)는 레이저 거리 측정기나 3차원 스캐너와 같이 주변 환경을 감지할 수 있는 구성일 수 있다.
비전장치(120)를 통해 수집된 주변 정보를 이용하여 SLAM(Simultaneous Localization And Mapping)을 적용하여 로컬 좌표 상 혹은 월드 좌표 상의 몸체부(110)나 구동부(130, 140)의 위치를 구하고 주변의 개략적인 3차원 지도를 생성할 수 있다. 비전장치(120)를 통해 수집되는 환경 정보를 통해 카메라 설치 위치를 선정할 수 있다.
통신 모듈(150)은 외부 전자 장치와 통신을 수행한다. 외부 전자 장치는 전본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)에 의해 설치되는 카메라(300) 및 3차원 영상을 생성하는 영상 처리부(230)가 될 수 있다. 통신 모듈(150)은 유, 무선 통신을 통해 정보를 송, 수신할 수 있다. 무선 통신의 경우에는 다양한 무선 통신 프로토콜이 동원될 수 있다. 여기서 무선 통신 프로토콜은 Zigbee, 블루투스(Bluetooth), NFC(Near Field Communication)와 같은 근거리 통신 프로토콜과 WiFi(Wireless Fidelity), LAN(Local Area Network)같은 원거리 통신 프로토콜을 포함할 수 있다.
도 2는, 전자 장치와 카메라와 영상 처리부의 블록도이다.
프로세서(210)는 이동부(111)와 구동부(130, 140)를 작동시킬 수 있다. 프로세서(210)는 본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)에 내장될 수 있다. 경우에 따라서는, 프로세서(210)는 전자 장치(100)와 별개로 구성되고 프로세서(210)와 전자 장치(100)는 통신 모듈(150)을 통해 정보를 주고 받을 수 있다. 프로세서(210)는 전자 장치(100)가 카메라(300)를 설치할 때, 이동부(111)와 구동부(130, 140)의 구동 정보를 이용하여 카메라(300)의 위치 정보와 자세 정보를 포함하는 외부 정보를 수집하여 메모리(220)에 저장한다. 메모리(220)는 본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)에 내장되거나 별개로 구성될 수 있다. 전자 장치(100)는 카메라(300)로부터 카메라(300)의 식별번호와 카메라(300)가 촬영한 화상을 수신할 수 있다.
영상 처리부(230)는 정보를 처리하고 연산을 수행할 수 있다. 영상 처리부(230)는 카메라(300)로부터 수신되는 카메라(300)의 식별번호와 그 식별번호에 해당하는 카메라(300)의 초점거리, 주점, 비대칭계수를 포함하는 카메라(300)의 내부 정보와 카메라(300)들이 촬영한 화상과 메모리(220)에 저장된 카메라(300)들의 외부 정보를 이용하여 3차원 영상을 생성한다. 영상 처리부(230)는 전자 장치(100)에 내장될 수 있다. 경우에 따라서 영상 처리부(230)는 별개로 구성되고 유, 무선 통신을 통해 본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)로부터 정보를 수신하여 3차원 영상을 생성할 수도 있다. 경우에 따라서 영상 처리부(230)는 카메라(300)로부터 카메라(300)의 식별번호와 카메라(300)가 촬영한 화상을 직접 수신할 수도 있다.
도 3은 본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)를 통해 설치되는 카메라(300)를 도시한 도면이다. 카메라(300)는 렌즈와 렌즈로 집광된 빛을 전자 신호로 변환하는 이미지 센서와 변환된 전자 신호를 통해 이미지를 생성하는 프로세서로 구성될 수 있는 촬영부(310)와, 카메라(300)의 식별번호와 촬영된 화상을 전송하고 카메라(300)의 동작 명령을 수신하는 통신부(320)와, 카메라 설치 위치에 카메라(300)가 설치될 수 있도록 카메라(300)를 고정시키는 설치부(330)와, 파지부(140)에 의해 카메라(300)가 파지될 수 있도록 형성된 파지홈(340)을 포함하여 이루어질 수 있다.
카메라(300)의 파지홈(340)과 촬영부(310)의 위치는 절대적으로 고정된다. 예를 들어, 도 3에 도시된 것과 같이, 파지홈(340)은 촬영부(310)에 대하여 하단 측면에 배치될 수 있다. 다양한 실시 예에 따르면 파지홈(340)은 도 3에 도시된 것과 같이 직사각형 모양의 오목한 홈 형태일 수 있다. 파지홈(340)의 형태는 구동부(130, 140)의 파지부(140)의 형상과 대응될 수 있다. 앞에서 설명한 것과 같이, 다양한 실시 예에 따른 파지부(140)는 한 쌍의 집게일 수 있다. 각 집게의 말단 모양은 파지홈(340)에 삽입될 수 있도록 대응되어 형성될 수 있다. 파지부(140)는 파지홈(340)을 이용하여 카메라(300)를 파지할 수 있다. 그 결과, 카메라(300)는 항상 동일한 방향으로 파지부(140)에 의해 파지될 수 있다.
설치부(330)는 이동부(111)와 구동부(130, 140)에 의해 카메라 설치 위치에 설치된 카메라(300)를 카메라 설치 위치에 고정시킨다. 다양한 실시 예에 따르면, 설치부(330)는 공압을 통해 카메라(300)를 고정시키는 공압 흡착판이 될 수 있다. 다양한 실시 예에 따르면, 설치부(330)는 점착성 재질로 형성되어 카메라(300)를 카메라 설치 위치에 부착시킬 수 있다. 다양한 실시 예에 따르면, 설치부(330)는 자성을 띈 재질로 형성되어 카메라 설치 위치에 카메라(300)를 자력으로 고정시킬 수 있다. 이 밖에도 설치부(330)는 카메라(300)를 카메라 설치 위치에 고정할 수 있는 다양한 구성으로 변경될 수 있다.
본 문서에 개시된 다양한 실시 예에 따르면, 영상 복원 작동을 수행하기 위해 전자 장치(100)를 작동시키고 제어하는 프로세서(210)를 구동하는 프로그램으로 작성될 수 있고, 작성된 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 4는 본 문서에 개시된 다양한 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체에 저장된 프로그램 실행 시 프로세서가 처리하는 인스트럭션의 순서도이고, 도 5는 카메라(300)를 설치하는 과정을 설명하기 위한 도면이고, 도 6은 카메라 설치 위치에 설치된 카메라(300)가 촬영하는 모습을 도시한 도면이다.
도 4를 참조하면, 프로세서(210)는 비전장치(120)를 작동시켜 주변 환경을 스캔함으로써 환경 정보를 수집할 수 있다(410). 상술한 바와 같이, 비전장치(120)는 SLAM 방식을 적용하여 전자 장치(100) 주변의 3차원 지도를 생성할 수 있다. 이와 같은 방법을 통해 프로세서(210)는 비전장치(120)를 통해 전자 장치(100) 주변의 환경 정보를 수집한다.
다음으로, 프로세서(210)는 비전장치(120)를 통해 얻은 환경 정보를 이용하여 카메라 설치 위치를 선정할 수 있다(420). 환경 정보는 대상 지점의 거리, 높이와 같은 위치 정보와 대상 지점과 전자 장치(100) 사이에 존재하는 장애물 정보와 대상 지점의 평평도, 재질과 같은 정보를 포함할 수 있다. 프로세서(210)는 이러한 정보들을 종합적으로 고려하여 카메라 설치 위치를 선정할 수 있다. 예를 들어, 프로세서(210)는 퍼지 논리(Fuzzy Logic)을 이용하여 카메라 설치 위치를 선정할 수 있다. 프로세서(210)는 각 정보들에 1-5까지의 수치를 부여하고 수치의 합이 높은 순으로 카메라 설치 위치를 선정할 수 있다. 또한, 앞에서 설명한 카메라(300)의 설치부(330)의 종류에 따라 정보의 수치에 가중치를 부여할 수 있다. 예를 들어, 설치부(330)가 공압을 이용하는 경우에는 대상 지점의 평평도에 높은 가중치를 부여할 수 있다. 설치부(330)가 자성을 띄는 재질로 형성된 경우에는 대상 지점의 재질이 금속인 경우로 필터링을 수행하여 카메라 설치 위치를 선정할 수 있다. 이 밖에도 프로세서(210)는 다양한 논리 제어를 통해 최적의 카메라 설치 위치를 선정할 수 있다.
카메라(300)의 설치 위치가 선정되면, 프로세서(210)는 구동부(130, 140)를 작동시켜 파지부(140)가 카메라(300)를 파지할 수 있도록 할 수 있다(430). 프로세서(210)는 비전장치(120)와 연동되어 카메라(300)가 거치된 위치로 파지부(140)를 접근시킬 수 있다. 경우에 따라서는, 카메라(300)가 거치된 위치가 프로세서(210)에 미리 입력되어 있어 그 값에 따라 프로세서(210)가 구동부(130, 140)를 제어하여 파지부(140)가 카메라(300)에 접근될 수 있다.
도 5에 도시된 것과 같이, 파지부(140)는 카메라(300)의 파지홈(340)을 이용하여 카메라(300)를 파지할 수 있다. 이 경우 상술한 바와 같이, 파지부(14)와 카메라(300)의 상대 위치가 고정된다. 프로세서(210)는 이동부(111)와 구동부(130, 140)를 작동시켜 카메라(300)를 카메라 설치 위치에 설치할 수 있다(440). 도 5에 도시된 것과 같이, 이동부(111)는 몸체부(110)를 카메라 설치 위치에 근접한 위치로 이동시킬 수 있다. 구동부(130, 140)의 로봇 암(130)과 파지부(140)가 카메라(300)를 카메라 설치 위치로 이동시킬 수 있다. 이 때, 프로세서(210)는 구동부(130, 140)에 구비된 외력 감지 센서가 측정한 외력 값을 피드백하여 카메라(300)가 카메라 설치 위치에 설치되는 과정에서 카메라(300)에 과도한 힘이 가해지지 않도록 할 수 있다.
카메라(300)가 카메라 설치 위치에 고정되면, 카메라(300) 설치 상태를 검사할 수 있다. 프로세서(210)는 구동부(130, 140)를 작동시켜 카메라(300)를 설치시킨 방향과 다른 방향으로 카메라(300)에 설치 안정 값의 힘을 가할 수 있다. 예를 들어, 구동부(130, 140)는 도 3을 기준으로 정면 방향이나 배면 방향으로 카메라(300)에 힘을 가할 수 있다. 미리 설정된 설치 안정 값의 힘에도 카메라(300)가 카메라 설치 위치에 고정된 경우에 프로세서(210)는 카메라(300)가 정상적으로 부착된 것으로 판정할 수 있다.
프로세서(210)는 카메라(300)의 설치 과정에서의 이동부(111)와 구동부(130, 140) 구동에 의한 구동 정보를 메모리(220)에 저장할 수 있다(450). 구동 정보는 몸체부(110)의 이동 변위 정보와 구동부(130, 140)의 구동 변위 정보를 포함할 수 있다. 프로세서(210)는 메모리(220)에 저장된 이 구동 정보를 통해 카메라 설치 위치에 설치된 카메라(300)의 위치 정보와 자세 정보를 포함하는 외부 정보(extrinsic)를 구하여 메모리(220)에 저장할 수 있다(460). 예를 들어, 파지부(140)의 초기 지점을 월드 좌표계나 로컬 좌표계 상의 기준 좌표로 설정할 수 있다. 몸체부(110)의 이동 변위 정보와 구동부(130, 140)의 구동 변위 정보를 이용하면, 파지부(140)의 좌표(위치)와 그 좌표에서의 3축(롤, 피치, 요) 각도(자세)를 구할 수 있다.
상술한 바와 같이, 파지부(140)는 카메라(300)의 파지홈(340)을 통해 카메라(300)를 파지하므로 파지부(140)는 항상 같은 방향으로 카메라(300)를 파지할 수 있다. 즉, 파지부(140)와 카메라(300)는 항상 동일한 상대 좌표와 상대 각도를 갖는다. 파지부(140)의 위치와 자세를 구하면, 이로부터 카메라(300)의 위치와 자세를 구할 수 있다.
카메라 설치 위치에 설치된 카메라(300)의 위치 정보와 자세 정보는 카메라(300)의 외부 정보를 구성하는 정보이다. 이 정보는 스테레오 영상을 복원하는데 가장 핵심적인 정보이다. 본 문서에 개시된 다양한 실시 예에 따른 전자 장치(100)는 카메라(300)를 설치하는 과정에서 이동부(111)와 구동부(130, 140)의 정기구학 정보를 활용하여 카메라(300)의 외부 정보를 수집할 수 있다. 이를 통해, 스테레오 영상을 복원하기 위한 카메라(300)를 설치하는 동시에 스테레오 영상 복원의 핵심 정보인 카메라(300)의 외부 정보를 알아내는 것이 가능하다. 카메라(300)의 설치와 동시에 카메라(300)의 외부 정보를 취득하므로 기존 방식 대비 간편하고 빠른 작업 수행이 가능한 장점이 있다.
본 문서에 개시된 다양한 실시 예에 따른 스테레오 영상 복원 방법은 카메라(300)의 외부 정보를 알아내기 위한 캘리브레이션과 같은 별도의 단계를 생략할 수 있어 빠르고 간편한 장점이 있다. 또한, 복원 대상의 특징점을 추출하여 스테레오 영상을 복원하는 SfM(Structure from Motion)과 비교하여 복원 대상의 표면이 매끄러워 특징점을 추출하기 어려운 경우에도 카메라(300)의 외부 정보를 알아낼 수 있다. 게다가, 외부 정보 계산 과정에서 수학적 가정이 개입하는 SfM 방식에 비해 정밀하게 카메라(300)의 외부 정보를 취득하는 것이 가능하다.
공연장이나 스포츠 경기장에 본 문서에 개시된 다양한 실시 예를 적용하면복원된 스테레오 영상을 스트리밍 서비스로 제공하여 사용자가 공연장이나 스포츠 경기장에 직접 가지 않고 자신이 원하는 시점에서 실시간으로 해당 장면을 볼 수 있는 이른 바 자유시점 중계도 가능할 수 있다. 카메라(300)의 설치 과정은 전자 장치(100)를 통해 사람의 개입 없이 이루어지므로, 사람이 접근하기 어려운 위험한 작업 영역에도 쉽게 카메라(300)를 설치할 수 있다. 전자 장치(100)를 작게 제작하는 경우에는 공간 상의 제약을 최소화하여 좁은 공간에도 카메라(300)들을 설치할 수 있다. 이와 같이, 본 문서에 개시된 다양한 실시 예에 따르면, 열악한 환경에도 카메라(300)를 설치하여 스테레오 영상을 복원하는 것이 가능하다.
이와 같은 과정을 반복하여 도 6에 도시된 것과 같이, 복수의 카메라(300)를 카메라 설치 위치에 설치할 수 있다. 필요에 따라서는 카메라(300)의 외부 정보의 오차를 제거하기 위해 추가적인 동작을 수행할 수 있다. 예를 들어, 프로세서(210)는 전자 장치(100)를 카메라(300)들이 설치된 중앙 부분으로 이동시킨다. 다음으로, 카메라(300)들이 전자 장치(100)를 촬영하고, 각 카메라(300)들이 촬영한 전자 장치(100)의 이미지들에서 공통의 특징점을 추출하여 SfM 방식을 적용할 수 있다. 이와 같이, 경우에 따라서는 수집한 외부 정보의 정확성을 향상시키는 보조적인 수단으로 SfM 방식을 사용할 수 있다.
프로세서(210)는 카메라(300)의 통신부(320)로부터 카메라(300)의 식별번호와 해당 카메라(300)가 촬영한 화상을 수신하고, 여기에 카메라(300)의 내부 정보(intrinsic)와 메모리(220)에 저장된 해당 카메라(300)의 외부 정보를 종합하여 영상 처리부(230)를 통해 스테레오 영상을 생성하도록 할 수 있다. 영상 처리부(230)가 스테레오 영상을 생성하는 과정을 간략히 설명하면 다음과 같다.
앞선 과정에서 카메라(300)의 위치 정보(t) 및 자세 정보(R)를 포함한 카메라(300)의 외부 정보를 얻었다. 카메라(300)의 내부 정보(K)는 카메라(300)의 사양에 의해 정해지는 고유한 값으로 사전 캘리브레이션을 통해서 얻을 수 있다. 일반적으로 외부의 물리적 충격이 가해지지 않는다면 K 값은 일정하게 유지된다.
카메라(300)의 외부 정보(R, t)와 내부 정보(K)를 이용하면, 필수 행렬(Essential Matrix; E)를 구할 수 있다. 필수 행렬(E)은 정규화된 이미지 평면 상에서 매칭 쌍들 사이의 기하학적 관계를 표현하는 행렬이다. 필수 행렬(E)은 R[t]x로 표현된다. 여기서 [t]x는 벡터로 표현된 카메라(300)의 위치 정보(t)와의 벡터 외적을 의미한다. 카메라(300)의 외부 정보(R, t)와 내부 정보(K)를 이용하면, 기초 행렬(Fundamental Matrix; F)도 구할 수 있다. 기초 행렬(F)은 카메라(300)의 내부 정보(K)까지 포함한 두 이미지의 실제 픽셀 좌표 사이의 기하학적 관계를 표현하는 행렬이다. 기초 행렬(F)과 필수 행렬(E) 사이에는 E = K'TFK 와 같은 관계가 성립한다. 따라서, 기초 행렬(F)은 (K'T)-1EK-1 로 구할 수 있다. 기초 행렬(F)은 이미지 실제 픽셀 좌표 사이의 기하학적 관계를 나타내는 행렬이므로 인접한 두 개의 카메라(300)에서 촬영된 화상과 기초 행렬(F)을 이용하면 스테레오 영상을 복원할 수 있다. 여기서 스테레오 영상의 개별 픽셀은 월드공간상의 3차원 좌표로 변환 될 수 있다. 이를 통해서 영상의 모든 픽셀들은 통상적으로 점구름 (point cloud)라고 불리는 3차원 좌표점의 집합으로 변환 가능하다. 복수의 스테레오 영상에서 변환된 점구름들을 하나로 정합하면 최종적인 삼차원 점구름을 획득 할 수 있다. 이 점구름은 직접적으로 렌더링을 해서 삼차원 공간을 표현할 수도 있고 폴리곤 메쉬(polygon mesh) 기법등을 이용한 표면 렌더링 과정을 거친 후 삼차원 공간을 나타낼 수 도 있다. 또한 삼차원 복셀공간으로 변환하여 모델링할 수 도 있다.
프로세서(210)는 이동부(111)와 구동부(130)를 작동시켜 카메라 설치 위치에 설치된 카메라(300)들을 회수할 수 있다. 기본적으로, 카메라(300)들이 설치된 위치를 알고 있기 때문에 카메라(300)들이 설치된 위치에 전자 장치(100)가 접근하여 카메라(300)를 회수하는 작업을 수행할 수 있다. 경우에 따라서는 비전장치(120)가 주변 환경을 스캔하여 카메라(300)의 위치를 재검출하는 것도 가능하다. 이 때, 카메라(300) 회수를 더 정밀하게 수행하기 위해 프로세서(210)는 회수 대상 카메라(300)가 회수 대상 카메라(300)에 접근한 전자 장치(100)의 파지부(140)를 촬영하게 할 수 있다. 회수 대상 카메라(300)가 파지부(140)를 촬영한 화상을 이용하면, 프로세서(210)가 파지부(140)와 회수 대상 카메라(300)의 상대 위치 및 자세를 좀 더 정확하게 추정하는 것이 가능하다. 이와 같이, 본 문서에 개시된 다양한 실시 예에 따르면 설치된 카메라(300)들을 전자 장치(100)가 자동적으로 회수하여 해체 작업시에도 사람의 개입이 요구되지 않는다. 설치와 해체를 전자 장치(100)가 자동적으로 수행하므로 이를 반복하여 장소를 옮겨가면서 스테레오 영상을 연속적으로 얻는 것도 가능하다.
본 문서에 개시된 다양한 실시예에 따른 스테레오 영상 복원 방법은 다음과 같은 동작을 포함할 수 있다.
먼저, 비전장치(120)를 통해 환경 정보를 수집하는 동작을 수행할 수 있다. 다음으로, 환경 정보를 이용하여 카메라 설치 위치를 선정하는 동작을 수행할 수 있다. 파지부(140)와 파지부(140)를 이동시키고 몸체부(110)에 설치되는 로봇 암을 포함하는 구동부(130)가 카메라(300)를 파지하는 동작을 수행할 수 있다. 몸체부(110)를 이동시키는 이동부와 상기 구동부(130)가 카메라(300)를 카메라 설치 위치에 설치하는 동작을 수행할 수 있다. 상기 카메라(300)가 설치될 때, 상기 몸체부(110)의 이동 변위 정보와 상기 구동부(130)의 구동 변위 정보를 포함하는 구동 정보를 저장하는 동작을 수행할 수 있다. 구동 정보를 이용하여 설치된 카메라(300)의 위치 정보와 자세 정보를 포함하는 외부 정보를 저장하는 동작을 수행할 수 있다. 카메라(300)들이 촬영한 화상과 카메라(300)들 각각의 식별번호와 식별번호에 대응되는 카메라(300)의 외부 정보와 식별번호에 대응되는 카메라(300)의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부 이용하여 삼차원 영상을 생성하는 동작을 수행할 수 있다. 이동부와 구동부(130)가 카메라 설치 위치에 설치된 카메라(300)들을 회수하는 동작을 수행할 수 있다.
경우에 따라서는 카메라(300)들을 회수하는 동작을 수행할 때, 회수 대상 카메라(300)가 상기 구동부(130)의 파지부(140)를 촬영한 화상을 통해 상기 파지부(140)와 상기 회수 대상 카메라(300)의 상대 자세를 추정하고 이를 이용하여 상기 카메라(300)들을 회수할 수 있다.
카메라(300)를 파지하는 동작은, 카메라(300)에 형성된 파지홈과 대응되는 모양으로 형성된 상기 파지부(140)에 의해 이루어질 수 있다.
그리고 본 명세서와 도면에 개시된 본 문서에 개시된의 실시 예들은 본 문서에 개시된의 실시 예에 따른 기술 내용을 쉽게 설명하고 본 문서에 개시된의 실시 예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 문서에 개시된의 실시 예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 문서에 개시된의 다양한 실시 예의 범위는 여기에 개시된 실시 예들 이외에도 본 문서에 개시된의 다양한 실시 예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 문서에 개시된의 다양한 실시 예의 범위에 포함되는 것으로 해석되어야 한다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는 이동부를 구비하는 몸체부, 주변 환경을 스캔하여 환경 정보를 수집하는 비전장치, 카메라들을 파지하는 파지부, 및 상기 파지부를 상기 몸체부에 대해 이동시키고 상기 몸체부에 설치되는 로봇 암을 포함하는 구동부, 적어도 하나의 메모리, 외부 전자 장치와 통신을 수행하는 통신 모듈 및 상기 비전장치, 구동부, 적어도 하나의 메모리, 및 통신 모듈과 동작적으로 연결되는 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 환경 정보를 이용하여 카메라 설치 위치를 선정할 수 있고, 상기 카메라들이 상기 카메라 설치 위치에 각각 설치되도록 상기 이동부와 구동부를 작동시킬 수 있고, 상기 카메라들을 설치할 때, 상기 몸체부의 이동 변위 정보와 상기 구동부의 구동 변위 정보를 포함하는 구동 정보를 이용하여 설치되는 카메라들의 위치 정보와 자세 정보를 포함하는 외부 정보를 각각 획득할 수 있고, 상기 외부 정보를 상기 메모리에 저장할 수 있고, 상기 통신 모듈을 통해 상기 외부 정보를 상기 외부 전자 장치로 송신할 수 있다.
또한, 상기 프로세서는, 상기 카메라 설치 위치에 설치된 카메라들을 각각 회수하도록 상기 이동부와 구동부를 작동시킬 수 있다.
또한, 상기 구동부의 로봇 암은 복수의 관절을 구비하고, 상기 구동부는, 상기 로봇 암의 복수의 관절 및 상기 파지부 중 적어도 하나에 설치되는 외력 감지 센서를 더 포함할 수 있다.
또한, 상기 프로세서는, 상기 카메라들이 상기 카메라 설치 위치에 각각 설치된 상태에서 상기 구동부가 설치된 카메라의 설치 방향과 다른 방향으로 해당 카메라에 미리 설정된 설치 안정 값의 힘을 가하도록 제어하고, 해당 카메라의 설치 상태가 유지되면 해당 카메라의 설치가 완료된 것으로 판단할 수 있다.
또한, 상기 비전장치는, 상기 몸체부 및 구동부 중 적어도 하나에 설치될 수 있다.
또한, 상기 구동부의 파지부는, 카메라와 접촉되는 부분이 상기 카메라에 형성된 파지홈과 대응되는 모양으로 형성될 수 있다.
또한, 상기 통신 모듈은, 상기 카메라 설치 위치에 설치된 카메라들의 식별번호와 상기 카메라들이 촬영하는 화상을 수신할 수 있다.
또한, 상기 프로세서는, 상기 카메라들을 회수함에 있어서 회수 대상 카메라가 상기 구동부의 파지부를 촬영한 화상을 통해 상기 파지부와 상기 회수 대상 카메라의 상대 자세를 추정하고 이를 이용하여 상기 이동부와 구동부를 작동시킬 수 있다.
또한, 상기 카메라들이 촬영한 화상과 상기 카메라들 각각의 식별번호와 상기 식별번호에 대응되는 카메라의 외부 정보와 상기 식별번호에 대응되는 카메라의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부를 더 포함할 수 있다.
또한, 상기 프로세서는, 상기 카메라 설치 위치에 설치된 카메라들의 화각에 상기 몸체부가 위치되도록 상기 몸체부의 이동부를 제어하고, 상기 영상 처리부는, 상기 카메라들이 촬영한 화상에서 공통의 특징점을 추출하고 이를 이용하여 상기 카메라들의 외부 정보를 각각 보완할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치에서 실행 가능한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 상기 프로그램이 실행 시에, 전자 장치의 프로세서가, 경 정보를 수집하도록 상기 전자 장치의 비전장치를 작동시키고, 기 환경 정보를 이용하여 카메라 설치 위치를 선정하고, 상기 전자 장치의 구동부의 파지부가 카메라를 파지하도록 상기 파지부와 상기 파지부를 이동시키고 상기 전자 장치의 몸체부에 설치되는 로봇 암을 포함하는 구동부를 작동시키고, 상기 카메라가 상기 카메라 설치 위치에 설치되도록 상기 전자 장치의 몸체부를 이동시키는 이동부와 상기 전자 장치의 구동부를 작동시키고, 상기 카메라가 설치될 때, 상기 전자 장치의 몸체부의 이동 변위 정보와 상기 전자 장치의 구동부의 구동 변위 정보를 포함하는 구동 정보를 저장하고, 상기 구동 정보를 이용하여 설치되는 카메라의 위치 정보와 자세 정보를 포함하는 외부 정보를 상기 전자 장치의 메모리에 저장하는 인스트럭션을 포함할 수 있다.
또한, 상기 프로그램은, 실행 시에, 전자 장치의 프로세서가, 카메라들이 촬영한 화상과 상기 카메라들 각각의 식별번호와 상기 식별번호에 대응되는 카메라의 외부 정보와 상기 식별번호에 대응되는 카메라의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부를 이용하여 삼차원 영상을 생성하는 인스트럭션을 더 포함할 수 있다.
또한, 상기 프로그램은, 실행 시에, 전자 장치의 프로세서가, 상기 카메라 설치 위치에 설치된 카메라들이 회수되도록 상기 전자 장치의 이동부와 상기 전자 장치의 구동부를 작동시키는 인스트럭션을 더 포함할 수 있다.
또한, 상기 프로그램은, 실행 시에, 전자 장치의 프로세서가, 회수 대상 카메라를 통해 상기 전자 장치의 구동부의 파지부를 촬영하게 하고, 회수 대상 카메라가 상기 전자 장치의 구동부의 파지부를 촬영한 화상을 통해 상기 파지부와 상기 회수 대상 카메라의 상대 자세를 추정하고 이를 이용하여 상기 카메라들이 회수되도록 하는 인스트럭션을 더 포함할 수 있다.
또한, 상기 프로그램은, 실행 시에, 전자 장치의 프로세서가, 상기 전자 장치의 구동부가 상기 카메라를 상기 카메라 설치 위치에 설치하는 동작을 수행할 때, 상기 전자 장치의 구동부는 상기 로봇 암의 복수의 관절 및 상기 파지부 중 적어도 하나에 설치되는 상기 전자 장치의 외력 감지 센서가 감지하는 외력 값을 피드백하여 상기 전자 장치의 구동부를 제어하는 인스트럭션을 더 포함할 수 있다.
또한, 상기 프로그램은, 실행 시에, 전자 장치의 프로세서가 상기 카메라가 상기 카메라 설치 위치에 설치된 상태에서 상기 전자 장치의 구동부를 통해 설치된 카메라의 설치 방향과 다른 방향으로 상기 카메라에 미리 설정된 설치 안정 값의 힘을 가하고, 상기 카메라의 설치 상태가 유지되면 상기 카메라의 설치가 정상인 것으로 판단하는 인스트럭션을 더 포함할 수 있다.
또한, 상기 프로그램은, 실행 시에, 전자 장치의 프로세서가 상기 카메라 설치 위치에 설치된 카메라들의 화각에 상기 전자 장치의 몸체부가 위치되고, 상기 카메라들이 촬영한 화상에서 공통의 특징점을 추출하고 이를 이용하여 상기 카메라들의 외부 정보를 각각 보완하는 인스트럭션을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시 예에 따른 스테레오 영상 복원 방법은 비전장치를 통해 환경 정보를 수집하는 동작, 상기 환경 정보를 이용하여 카메라 설치 위치를 선정하는 동작, 상기 전자 장치의 파지부와 상기 파지부를 이동시키고, 상기 전자 장치의 몸체부에 설치되는 로봇 암을 포함하는 상기 전자 장치의 구동부가 카메라를 파지하는 동작, 상기 전자 장치의 몸체부를 이동시키는 이동부와 상기 전자 장치의 구동부가 상기 카메라를 상기 카메라 설치 위치에 설치하는 동작, 상기 카메라가 설치될 때, 상기 전자 장치의 몸체부의 이동 변위 정보와 상기 전자 장치의 구동부의 구동 변위 정보를 포함하는 구동 정보를 저장하는 동작, 상기 구동 정보를 이용하여 설치된 카메라의 위치 정보와 자세 정보를 포함하는 외부 정보를 저장하는 동작 및 카메라들이 촬영한 화상과 상기 카메라들 각각의 식별번호와 상기 식별번호에 대응되는 카메라의 외부 정보와 상기 식별번호에 대응되는 카메라의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부 이용하여 삼차원 영상을 생성하는 동작을 포함할 수 있다.
또한, 상기 전자 장치의 이동부와 상기 전자 장치의 구동부가 상기 카메라 설치 위치에 설치된 카메라들을 회수하는 동작을 더 포함할 수 있다.
또한, 상기 카메라를 파지하는 동작은, 상기 카메라에 형성된 파지홈과 대응되는 모양으로 형성된 상기 전자 장치의 파지부에 의해 이루어질 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    이동부를 구비하는 몸체부;
    주변 환경을 스캔하여 환경 정보를 수집하는 비전장치;
    카메라들을 파지하는 파지부, 및 상기 파지부를 상기 몸체부에 대해 이동시키고 상기 몸체부에 설치되는 로봇 암을 포함하는 구동부;
    적어도 하나의 메모리;
    외부 전자 장치와 통신을 수행하는 통신 모듈; 및
    상기 비전장치, 구동부, 적어도 하나의 메모리, 및 통신 모듈과 동작적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 환경 정보를 이용하여 카메라 설치 위치를 선정하고,
    상기 카메라들이 상기 카메라 설치 위치에 각각 설치되도록 상기 이동부와 구동부를 작동시키고,
    상기 카메라들을 설치할 때, 상기 몸체부의 이동 변위 정보와 상기 구동부의 구동 변위 정보를 포함하는 구동 정보를 이용하여 설치되는 카메라들의 위치 정보와 자세 정보를 포함하는 외부 정보를 각각 획득하고,
    상기 외부 정보를 상기 메모리에 저장하고,
    상기 통신 모듈을 통해
    상기 외부 정보를 상기 외부 전자 장치로 송신하는 전자 장치.
  2. 제1항에 있어서
    상기 프로세서는,
    상기 카메라 설치 위치에 설치된 카메라들을 각각 회수하도록 상기 이동부와 구동부를 작동시키는 전자 장치.
  3. 제1항에 있어서,
    상기 구동부의 로봇 암은 복수의 관절을 구비하고,
    상기 구동부는,
    상기 로봇 암의 복수의 관절 및 상기 파지부 중 적어도 하나에 설치되는 외력 감지 센서를 더 포함하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라들이 상기 카메라 설치 위치에 각각 설치된 상태에서 상기 구동부가 설치된 카메라의 설치 방향과 다른 방향으로 해당 카메라에 미리 설정된 설치 안정 값의 힘을 가하도록 제어하고, 해당 카메라의 설치 상태가 유지되면 해당 카메라의 설치가 완료된 것으로 판단하는 전자 장치.
  5. 제1항에 있어서,
    상기 비전장치는,
    상기 몸체부 및 구동부 중 적어도 하나에 설치되는 전자 장치.
  6. 제1항에 있어서,
    상기 구동부의 파지부는,
    카메라와 접촉되는 부분이 상기 카메라에 형성된 파지홈과 대응되는 모양으로 형성되는 전자 장치.
  7. 제1항에 있어서,
    상기 통신 모듈은,
    상기 카메라 설치 위치에 설치된 카메라들의 식별번호와 상기 카메라들이 촬영하는 화상을 수신하는 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 카메라들을 회수함에 있어서 회수 대상 카메라가 상기 구동부의 파지부를 촬영한 화상을 통해 상기 파지부와 상기 회수 대상 카메라의 상대 자세를 추정하고 이를 이용하여 상기 이동부와 구동부를 작동시키는 전자 장치.
  9. 제7항에 있어서,
    상기 카메라들이 촬영한 화상과 상기 카메라들 각각의 식별번호와 상기 식별번호에 대응되는 카메라의 외부 정보와 상기 식별번호에 대응되는 카메라의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부;를 더 포함하는 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 카메라 설치 위치에 설치된 카메라들의 화각에 상기 몸체부가 위치되도록 상기 몸체부의 이동부를 제어하고,
    상기 영상 처리부는,
    상기 카메라들이 촬영한 화상에서 공통의 특징점을 추출하고 이를 이용하여 상기 카메라들의 외부 정보를 각각 보완하는 전자 장치.
  11. 전자 장치에서 실행 가능한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 프로그램은, 실행 시에, 전자 장치의 프로세서가,
    환경 정보를 수집하도록 상기 전자 장치의 비전장치를 작동시키고,
    상기 환경 정보를 이용하여 카메라 설치 위치를 선정하고,
    상기 전자 장치의 구동부의 파지부가 카메라를 파지하도록 상기 파지부와 상기 파지부를 이동시키고 상기 전자 장치의 몸체부에 설치되는 로봇 암을 포함하는 구동부를 작동시키고,
    상기 카메라가 상기 카메라 설치 위치에 설치되도록 상기 전자 장치의 몸체부를 이동시키는 이동부와 상기 전자 장치의 구동부를 작동시키고,
    상기 카메라가 설치될 때, 상기 전자 장치의 몸체부의 이동 변위 정보와 상기 전자 장치의 구동부의 구동 변위 정보를 포함하는 구동 정보를 저장하고,
    상기 구동 정보를 이용하여 설치되는 카메라의 위치 정보와 자세 정보를 포함하는 외부 정보를 상기 전자 장치의 메모리에 저장하는 인스트럭션을 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
  12. 제11항에 있어서,
    상기 프로그램은, 실행 시에, 전자 장치의 프로세서가,
    카메라들이 촬영한 화상과 상기 카메라들 각각의 식별번호와 상기 식별번호에 대응되는 카메라의 외부 정보와 상기 식별번호에 대응되는 카메라의 초점거리, 주점, 비대칭계수를 포함하는 내부 정보를 이용하여 삼차원 영상을 생성하는 영상 처리부를 이용하여 삼차원 영상을 생성하는 인스트럭션을 더 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
  13. 제11항에 있어서,
    상기 프로그램은, 실행 시에, 전자 장치의 프로세서가,
    상기 카메라 설치 위치에 설치된 카메라들이 회수되도록 상기 전자 장치의이동부와 상기 전자 장치의 구동부를 작동시키는 인스트럭션을 더 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
  14. 제13항에 있어서,
    상기 프로그램은, 실행 시에, 전자 장치의 프로세서가,
    회수 대상 카메라를 통해 상기 전자 장치의 구동부의 파지부를 촬영하게 하고, 회수 대상 카메라가 상기 전자 장치의 구동부의 파지부를 촬영한 화상을 통해 상기 파지부와 상기 회수 대상 카메라의 상대 자세를 추정하고 이를 이용하여 상기 카메라들이 회수되도록 하는 인스트럭션을 더 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
  15. 제11항에 있어서,
    상기 프로그램은, 실행 시에, 전자 장치의 프로세서가
    상기 전자 장치의 구동부가 상기 카메라를 상기 카메라 설치 위치에 설치하는 동작을 수행할 때, 상기 전자 장치의 구동부는 상기 로봇 암의 복수의 관절 및 상기 파지부 중 적어도 하나에 설치되는 상기 전자 장치의 외력 감지 센서가 감지하는 외력 값을 피드백하여 상기 전자 장치의 구동부를 제어하는 인스트럭션을 더 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2020/003661 2019-07-05 2020-03-18 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체 WO2021006459A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190081155A KR20210004553A (ko) 2019-07-05 2019-07-05 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR10-2019-0081155 2019-07-05

Publications (1)

Publication Number Publication Date
WO2021006459A1 true WO2021006459A1 (ko) 2021-01-14

Family

ID=74115287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003661 WO2021006459A1 (ko) 2019-07-05 2020-03-18 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Country Status (2)

Country Link
KR (1) KR20210004553A (ko)
WO (1) WO2021006459A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014102995A1 (ja) * 2012-12-28 2014-07-03 株式会社日立製作所 モニタリングシステム、方法およびプログラムを記憶した情報記録媒体
US20160039096A1 (en) * 2010-05-14 2016-02-11 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
KR20180007845A (ko) * 2016-07-14 2018-01-24 (주)이지스 3차원 공간분석을 이용한 cctv 카메라 설치위치 선정 방법
JP2019014030A (ja) * 2017-07-11 2019-01-31 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法
US20190206046A1 (en) * 2016-06-22 2019-07-04 Q-Bot Limited Autonomous surveying of underfloor voids

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039096A1 (en) * 2010-05-14 2016-02-11 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
WO2014102995A1 (ja) * 2012-12-28 2014-07-03 株式会社日立製作所 モニタリングシステム、方法およびプログラムを記憶した情報記録媒体
US20190206046A1 (en) * 2016-06-22 2019-07-04 Q-Bot Limited Autonomous surveying of underfloor voids
KR20180007845A (ko) * 2016-07-14 2018-01-24 (주)이지스 3차원 공간분석을 이용한 cctv 카메라 설치위치 선정 방법
JP2019014030A (ja) * 2017-07-11 2019-01-31 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法

Also Published As

Publication number Publication date
KR20210004553A (ko) 2021-01-13

Similar Documents

Publication Publication Date Title
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
EP2543483B1 (en) Information processing apparatus and information processing method
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
JP6222898B2 (ja) ３次元計測装置及びロボット装置
JP6659317B2 (ja) 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
KR101049266B1 (ko) 이동형 로봇
CN109658457B (zh) 一种激光与相机任意相对位姿关系的标定方法
JP2874710B2 (ja) 三次元位置計測装置
JP3732335B2 (ja) 画像入力装置及び画像入力方法
CN106426186A (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
US9082017B2 (en) Robot apparatus and position and orientation detecting method
JP6985532B2 (ja) データ処理方法及び装置、電子機器並びに記憶媒体
CN111127568A (zh) 一种基于空间点位信息的相机位姿标定方法
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN116958146B (zh) 3d点云的采集方法及装置、电子装置
JP2015174172A (ja) ロボット、ロボットシステム、及び制御装置
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
JP2002215655A (ja) 情報検索方法、情報検索装置およびロボットの動作制御装置
WO2021006459A1 (ko) 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP6200604B1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
JP2005205519A (ja) ロボットハンド装置
WO2019127287A1 (zh) 第一智能设备及其连接方法以及具有存储功能的装置
Havlena et al. AWEAR 2.0 system: Omni-directional audio-visual data acquisition and processing
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20837715

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20837715

Country of ref document: EP

Kind code of ref document: A1