WO2020130663A1 - 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법 - Google Patents

건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법 Download PDF

Info

Publication number
WO2020130663A1
WO2020130663A1 PCT/KR2019/018077 KR2019018077W WO2020130663A1 WO 2020130663 A1 WO2020130663 A1 WO 2020130663A1 KR 2019018077 W KR2019018077 W KR 2019018077W WO 2020130663 A1 WO2020130663 A1 WO 2020130663A1
Authority
WO
WIPO (PCT)
Prior art keywords
surround view
construction equipment
image
guide image
camera
Prior art date
Application number
PCT/KR2019/018077
Other languages
English (en)
French (fr)
Inventor
강세진
윤한로
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Publication of WO2020130663A1 publication Critical patent/WO2020130663A1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Definitions

  • the present invention relates to an apparatus and method for displaying a work guide image using a surround view in construction equipment.
  • the prior art generates a surround view by synthesizing an image captured using a camera, and thus has a problem in accurately working because it does not reflect geographic information.
  • the technical problem to be solved by the present invention is to provide a work guide image display device and method using a surround view in construction equipment, which solves a blind spot by providing a surround view image using a camera.
  • Another technical problem to be solved by the present invention is to provide a work guide image display device and method using a surround view in construction equipment, which generates a guide image for a work area and reflects it in a surround view image.
  • Another technical problem to be solved by the present invention is to provide a work guide image display apparatus and method using a surround view in construction equipment, which acquires 3D geographic information from the outside to generate a 3D surround view image.
  • Another technical problem to be solved by the present invention is to provide a work guide image display device using a surround view in construction equipment that transmits a 3D surround view image to an external VR device so that it can be remotely controlled from the outside. .
  • a plurality of cameras for photographing the front, rear, left and right images of construction equipment, respectively;
  • a look-up table DB in which a look-up table (LUT) including at least one of camera internal parameters, camera external parameters, camera distortion coefficients, and homography is stored;
  • a surround view generator configured to generate an image captured by the camera as a surround view image using the lookup table;
  • a guide image unit generating a guide image for a work area including length, area, and location information of an area to be worked by the construction equipment;
  • a display unit displaying the surround view image and the operation guide image, wherein the operation guide image is a work guide image display device using a surround view in construction equipment that does not move in the display unit regardless of the movement of the construction equipment.
  • a calibration unit for calculating at least one of the camera internal parameter, the camera external parameter, the camera distortion coefficient, and the homography may be further included.
  • the guide image unit may generate the guide image by converting the work area input through the input unit into pixel coordinates or world coordinates using the look-up table.
  • the sensor portion is installed on a portion of the upper structure of the construction equipment to detect at least one of the turning angle and the movement displacement of the construction equipment; further comprising, the guide image portion at least any one of the turning angle and the movement displacement
  • the guide image may be corrected so that the guide image does not move based on one.
  • a plurality of cameras for photographing the front, rear, left and right images of construction equipment, respectively;
  • a sensor unit installed on a part of the upper structure of the construction equipment to sense the position and orientation of the construction equipment;
  • a communication unit that receives 3D geographic information corresponding to the sensed position and orientation of the construction equipment from the outside;
  • a look-up table DB in which a look-up table (LUT) including 3D surround view mapping information is stored;
  • a surround view generator configured to map an image photographed through the camera to the 3D geographic information using the lookup table to generate a 3D surround view image;
  • a guide image unit generating a guide image for a work area including length, area, and location information of an area to be worked by the construction equipment;
  • a display unit that displays the 3D surround view image and the work guide image.
  • the construction equipment may include a work guide image display device using a surround view.
  • the 3D surround view mapping information may be information that maps coordinates of the 3D geographic information and pixel coordinates of the captured image.
  • the look-up table includes coordinates of the 3D geographic information, and when the coordinates of the 3D geographic information are changed, the lookup table may be updated with the coordinates of the 3D geographic information changed in real time.
  • the lookup table further includes at least one of a camera internal parameter, a camera external parameter, a camera distortion coefficient, and a homography, and the guide image unit is through the input unit
  • the guide image may be generated by converting the input work area into pixel coordinates or world coordinates using the look-up table.
  • the sensor unit further senses at least one of the turning angle and the moving displacement of the construction equipment, and the guide image unit guides the guide image so that the guide image does not move based on at least one of the turning angle and the moving displacement.
  • the image can be corrected.
  • the communication unit may transmit the 3D surround view image to an external VR device.
  • the calibration unit in a method of displaying a work guide image using a surround view in a construction equipment using a work guide image display device using a surround view in a construction equipment, includes camera internal parameters, camera external parameters Generating a lookup table by calculating at least one of a camera distortion coefficient and a homography and storing it in a lookup table DB; Generating a surround view image as a surround view image based on the image captured by the camera using the look-up table; A guide image section generating a guide image for a work area including length, area, and location information of an area in which the construction equipment will work; And displaying a surround view image and the guide image by a display unit; a construction guide display method using a surround view in a construction equipment.
  • the calibration unit photographs a world coordinate system reference plate having a plurality of patterns having world coordinates for a predetermined size and location through the camera to calculate the camera internal parameters and the camera distortion coefficient. Simultaneously calculating and correcting the distortion of the photographed image; Calculating, by the calibration unit, the external parameters of the camera by calibrating the corrected image; And calculating, by the calibration unit, the homography based on the camera internal parameter and the camera external parameter.
  • the guide image unit may generate a guide image by converting the range of the work area input through the input unit into pixel coordinates or world coordinates using the look-up table.
  • the guide image unit may correct the guide image so that the guide image does not move based on at least one of the turning angle and the movement displacement of the construction equipment sensed through the sensor unit.
  • the surround view generation unit may generate a 3D surround view image by mapping an image captured through the camera to 3D geographic information received from the outside through a communication unit.
  • the present invention has the effect of providing a surround view image using a camera to eliminate blind spots.
  • the present invention has the effect of reflecting the guide image for the work area on the surround view image and checking the work area only by looking at the screen without physical display.
  • the present invention has the effect of generating a three-dimensional surround view image to accurately work by reflecting geographic information.
  • the present invention has an effect that can be remotely controlled from the outside by receiving a 3D surround view image to an external VR device.
  • FIG. 1 is a configuration diagram of an operation guide image display device using a surround view in construction equipment according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining that the calibration unit generates a lookup table according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining an image displayed on the display unit according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining that the guide image unit according to an embodiment of the present invention corrects the guide image so that it does not move.
  • FIG. 5 is a diagram for explaining that the surround view generator according to an embodiment of the present invention generates a 3D surround view image.
  • FIG. 6 is a flowchart of a method for displaying an operation guide image using a surround view in construction equipment according to another embodiment of the present invention.
  • FIG. 7 is a flowchart of a lookup table generation according to another embodiment of the present invention.
  • FIG. 8 is a flowchart for generating a 3D surround view image according to another embodiment of the present invention.
  • FIG. 1 is a configuration diagram of an operation guide image display device using a surround view in construction equipment according to an embodiment of the present invention.
  • a work guide image display apparatus 100 using a surround view in construction equipment includes a camera 110, a calibration unit 120, a lookup table DB 130, a surround view generator 140, and an input unit ( 150), a sensor unit 160, a guide image unit 170, a communication unit 180 and a display unit 190.
  • the camera 110 is installed on the front, rear, left and right of the construction equipment A, respectively, and photographs the front, rear, left and right images of the construction equipment A, respectively.
  • the calibration unit 120 calculates at least one of camera internal parameters, camera external parameters, distortion coefficients, and homography based on the image taken through the camera 110 and stores them in the lookup table DB 130, and the camera ( 110) to correct the distortion of the image.
  • the calibration unit 120 calculates mapping information between world coordinates, camera coordinates, and pixel coordinates using at least one of camera internal parameters, camera external parameters, distortion coefficients, and homography, and stores them in the lookup table DB 130. .
  • the calibration unit 120 receives at least one of the position and azimuth including the latitude, longitude, and altitude of the construction equipment A obtained through the sensor unit 160, the turning angle ⁇ , and the movement displacement. At least one of the camera external parameter and homography corresponding to at least one of the position and orientation, the turning angle ⁇ , and the moving displacement is calculated and stored in the look-up table DB 130.
  • the calibration unit 120 calculates the 3D surround view mapping information mapping the coordinates of the 3D geographic information and the pixel coordinates of the image captured by the camera 110 and stores the 3D surround view mapping information in the lookup table DB 130.
  • the look-up table DB 130 stores a look-up table including at least one of camera internal parameters, camera external parameters, distortion coefficients, and homography calculated through the calibration unit 120.
  • look-up table of the look-up table DB 130 may be mapped to at least one of world information, camera coordinates, and pixel coordinate mapping information calculated through the calibration unit 120 and position and orientation, rotation angle ( ⁇ ), and movement displacement. And at least one of corresponding camera external parameters and homography.
  • the lookup table of the lookup table DB 130 includes coordinates of 3D surround view mapping information calculated through the calibration unit 120 and 3D geographic information received through the communication unit 180, and the communication unit 180 If the coordinates of 3D geographic information received through) are changed, the coordinates of the 3D geographic information changed in real time are updated.
  • the surround view generator 140 generates an image captured through the camera 110 as a surround view image using a look-up table.
  • the surround view generation unit 140 generates a 3D surround view image by mapping an image captured through the camera 110 to 3D geographic information received through the communication unit 180.
  • the surround view generation unit 140 may generate a 3D surround view image by mapping using 3D surround view mapping information of the lookup table.
  • the input unit 150 receives a work area including length, area, and location information of the area where the construction equipment A will work.
  • the input unit 150 may be input by a user viewing the surround view image generated on the display unit 190 and touching the work area or inputting it through a keyboard, a memory card in which the work area is stored, and the like.
  • the sensor unit 160 is installed on a part of the upper structure of the construction equipment (A) to detect at least one of the position and orientation including the latitude, longitude, and altitude of the construction equipment (A) and the turning angle ( ⁇ ) and displacement To the calibration unit 120.
  • the guide image unit 170 generates a guide image by converting the work area input through the input unit 150 into pixel coordinates or world coordinates using a look-up table.
  • the guide image unit 170 is a camera external parameter and homography corresponding to at least one of the position and orientation and the turning angle ( ⁇ ) and movement displacement included in the look-up table when the construction equipment (A) is turned or moved
  • the guide image is corrected so that it does not move using at least one of them. Accordingly, the work guide image does not move on the display unit 190 regardless of the movement of the construction equipment A.
  • the communication unit 180 receives the three-dimensional geographic information corresponding to the position and orientation of the construction equipment A sensed by the sensor unit 160 from the outside, such as a control center, the calibration unit 120 or the lookup table DB 130 And transmits the 3D surround view image generated by the surround view generator 140 to an external VR device so that it can be remotely controlled from the outside.
  • the display unit 190 displays the surround view image generated by the surround view generator 140 and the guide image generated by the guide image unit 170.
  • the display unit 190 displays a 3D surround view image generated by the surround view generator 140 and a guide image generated by the guide image unit 170.
  • FIG. 2 is a diagram for explaining that the calibration unit generates a lookup table according to an embodiment of the present invention.
  • the construction equipment A is moved to the world coordinate system reference plate 210 having a plurality of patterns having world coordinates for a predetermined size and location. .
  • the world coordinate system reference plate 210 defines the surface as the XY plane and sets one of the centers of the pivot axis of the construction equipment (A), the body center of the construction equipment (A), and the driver's location center as the origin.
  • the center of the pivot axis of the construction equipment A is set as the origin.
  • the calibration unit 120 is photographed by applying an approximate calculation algorithm.
  • the camera internal parameters and distortion coefficients are calculated from the image, and at the same time, distortion of the captured image is corrected.
  • the internal parameter and distortion coefficient are calculated and the distortion of the captured image is corrected because the camera 110 is distorted with the fisheye lens, and the internal parameters of the camera are inside the camera provided by the manufacturer. You can also use parameters.
  • the calibration unit 120 extracts feature points from the corrected image and calibrates the world coordinates of a plurality of patterns to calibrate the camera external parameters, such as the position of the camera 110 (such as height from the ground) and posture information (pan, tilt, etc.) Calculate and calculate the homography based on the calculated camera internal parameters and camera external parameters.
  • the camera 110 is installed on the construction equipment (A) and does not change unless an external force such as an impact is applied, and thus only needs to be executed once after the camera 110 is installed.
  • the calibration unit 120 calculates mapping information between world coordinates, camera coordinates, and pixel coordinates using at least one of camera internal parameters, camera external parameters, distortion coefficients, and homography.
  • camera internal parameters camera external parameters
  • distortion coefficients distortion image correction and mapping information between world coordinates, camera coordinates, and pixel coordinates
  • the calibration unit 120 is a construction equipment (A) while turning or moving in the world coordinate system reference plate 210 while taking a plurality of patterns through the camera 110 and the construction obtained through the sensor unit 160 Of the camera external parameters and homography corresponding to at least one of the position and azimuth, the turning angle ⁇ , and the moving displacement of the device A, at least one of the position and azimuth, the turning angle ⁇ and the moving displacement Produce at least one.
  • the camera external parameters and homography corresponding to at least one of the position and the orientation, the turning angle ⁇ , and the movement displacement can be calculated while being used in a field other than the world coordinate system reference plate 210.
  • the calibration unit 120 stores the calculated information in the lookup table DB 130 to generate a lookup table.
  • FIG. 3 is a view for explaining an image displayed on the display unit according to an embodiment of the present invention.
  • FIG. 3(a) shows only the surround view image generated by the surround view generator 140 on the display unit 190
  • FIG. 3(b) shows a guide image on the surround view image generated by the surround view generator 140.
  • the guide image generated by the unit 170 is displayed on the display unit 190.
  • the surround view generator 140 corrects distortion of an image captured by the distortion coefficient of the lookup table, and corrects the image captured by the camera 110 and corrects the image of the image taken through the camera 110.
  • a surround view image is generated and displayed through the display unit 190 using mapping information between coordinates, camera coordinates, and pixel coordinates, the driver can check the blind spot while viewing the surround view image displayed on the display unit 190.
  • the guide image unit 170 generates a guide image by converting a work area input through the input unit 150 into pixel coordinates or world coordinates using a look-up table, and surround view generation unit ( 140) maps the generated surround view image to pixel coordinates or world coordinates converted using pixel coordinates and a lookup table so that the guide image is displayed on the surround view image through the display unit 190.
  • 4A to 4E are diagrams for explaining that the guide image part corrects the guide image so that it does not move according to an embodiment of the present invention.
  • FIG. 4A shows the guide image generated by the guide image unit 170 displayed on the display unit 190 in the surround view image generated by the surround view generation unit 140 when the construction equipment A is not turning or moving.
  • 4b shows the display unit 190 when the guide image generated by the guide image unit 170 is not corrected to the surround view image generated by the surround view generation unit 140 when the construction equipment A turns.
  • 4c shows the display unit 190 when the guide image generated by the guide image unit 170 is corrected for the surround view image generated by the surround view generating unit 140 when the construction equipment A is turned,
  • FIG. 4d Is displayed on the display unit 190 when the guide image generated by the guide image unit 170 is not corrected to the surround view image generated by the surround view generation unit 140 when the construction equipment A moves. Is displayed on the display unit 190 when the guide image generated by the guide image unit 170 is corrected to the surround view image generated by the surround view generation unit 140 when the construction equipment A is moved.
  • the guide image 310 generated by the guide image unit 170 is the input unit 150 of the surround view image generated by the surround view generation unit 140. ) Is mapped to the input range and displayed on the display unit 190.
  • the guide image unit 170 does not reflect the rotation angle ⁇ and corrects the pixel coordinates of the surround view image generated by the surround view generator 140.
  • the guide image 310 generated by the guide image unit 170 does not reflect the turning angle ⁇ and is mapped to the pixel coordinates of the changed surround view image to guide the image (410). ) Is moved.
  • the guide image unit 170 when the construction equipment A is turned, the guide image unit 170 reflects the turning angle ⁇ and at least one of the camera external parameter and homography corresponding to the turning angle ⁇ of the lookup table
  • the pixel coordinates of the surround view image generated by the surround view generator 140 are changed by turning the construction equipment A, but the guide image 310 generated by the guide image unit 170 is rotated at an angle. It does not move because it is mapped to the pixel coordinates of the surround view image before the change, not the pixel coordinates of the changed surround view image by reflecting ( ⁇ ).
  • the guide image unit 170 does not reflect and correct the movement displacement when the construction equipment A is moved, the pixel coordinates of the surround view image generated by the surround view generation unit 140 are constructed equipment. Since (A) is moved and changed, the guide image 310 generated by the guide image unit 170 does not reflect the movement displacement and is mapped to the pixel coordinates of the changed surround view image, so that the guide image 410 moves.
  • the guide image unit 170 when the construction equipment A is moved, the guide image unit 170 reflects the movement displacement and corrects it using at least one of a camera external parameter and homography corresponding to the movement displacement of the look-up table,
  • the pixel coordinates of the surround view image generated by the surround view generation unit 140 are changed by moving the construction equipment A, but the guide image 310 generated by the guide image unit 170 is changed by reflecting the movement displacement. It does not move because it is mapped to the pixel coordinates of the surround view image before the change rather than the pixel coordinates of.
  • FIG. 5 is a diagram for explaining that the surround view generator according to an embodiment of the present invention generates a 3D surround view image.
  • the control center 510 transmits 3D geographic information corresponding to the position and orientation of the construction equipment A sensed by the sensor unit 160
  • the communication unit 180 transmits the 3D geographic information.
  • the surround view generator 140 maps the image taken through the camera 110 to the 3D geographic information instead of the surround view image 520 using the 3D surround view mapping information of the look-up table to 3D surround view An image 530 is generated.
  • the surround view generation unit 140 is based on at least one of the position and orientation of the construction equipment (A) and the pivot angle ( ⁇ ) and the movement displacement detected through the sensor unit 160 (3D surround view image ( 530) can be reflected as a three-dimensionally expressed construction equipment (A), the sensor unit 160 detects the location and orientation of the construction equipment (A) three-dimensional geographic information and sensor unit 160 Since the mapping of the pixel charge calculated based on the position and orientation of the construction equipment A sensed by the map, the image captured through the camera 110 can be mapped to the correct location of the 3D geographic information.
  • FIG. 6 is a flowchart of a method for displaying an operation guide image using a surround view in construction equipment according to another embodiment of the present invention.
  • step S610 the calibration unit 120 calculates at least one of the camera internal parameters, the camera external parameters, the camera distortion coefficient, and the homography, and stores them in the lookup table DB 130 to generate a lookup table do.
  • step S620 the surround view generator 140 generates a surround view image based on the image taken through the camera 110 using the look-up table.
  • step S630 the guide image unit 170 converts the range of the work area input through the input unit 150 into pixel coordinates or world coordinates using a look-up table to generate a guide image.
  • step S640 the display unit 190 displays at least one of a surround view image and a guide image.
  • step S650 if the construction equipment (A) is turned or moved through the sensor unit 160 and the construction equipment (A) is turned or moved, the process proceeds to step S660, and the construction equipment (A) is not turned or moved. If it does, the process returns to step S640.
  • step S660 the guide image 170 is corrected so that the guide image does not move using at least one of a camera external parameter and homography corresponding to at least one of a rotation angle ⁇ and a movement displacement included in the look-up table. do.
  • FIG. 7 is a flowchart of a lookup table generation according to another embodiment of the present invention.
  • step S710 the camera 110 photographs the world coordinate system reference plate.
  • step S720 the calibration unit 120 applies an approximate calculation algorithm to a plurality of patterns of the world coordinate system reference plate 210 photographed through the camera 110 to calculate the camera internal parameters and distortion coefficients, and then looks up the table DB 130 To save.
  • step S730 the calibration unit 120 corrects distortion of the captured image.
  • step S740 the calibration unit 120 extracts the feature points from the corrected image, calibrates the world coordinates of the plurality of patterns, calculates the external parameters of the camera, and stores them in the lookup table DB 130.
  • step S750 the calibration unit 120 calculates the homography based on the camera internal parameters and the camera external parameters and stores them in the lookup table DB 130.
  • the calibration unit 120 calculates mapping information between world coordinates, camera coordinates, and pixel coordinates using at least one of camera internal parameters, camera external parameters, distortion coefficients, and homography and stores them in the lookup table DB 130. have.
  • FIG. 8 is a flowchart for generating a 3D surround view image according to another embodiment of the present invention.
  • step S810 the calibration unit 120 calculates the 3D surround view mapping information mapping the coordinates of the 3D geographic information and the coordinates of the image photographed by the camera 110, and then the lookup table DB 130 ) To create a lookup table.
  • step S820 the communication unit 180 receives three-dimensional geographic information corresponding to the position and orientation of the construction equipment A sensed by the sensor unit 160.
  • step S830 the surround view generator 140 maps the image photographed through the camera 110 to the 3D geographic information using the 3D surround view mapping information of the lookup table to generate a 3D surround view image.
  • step S840 the calibration unit 120 or the sensor unit 160 determines whether the coordinates of the 3D geographic information received through the communication unit 180 are changed, and if changed, proceeds to step S850, and if not changed, S820 to The process proceeds to step S840.
  • step S850 the calibration unit 120 updates the coordinates of the 3D geographic information included in the lookup table to the coordinates of the changed 3D geographic information.
  • lookup table DB 140 surround view generator

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치에 관한 것으로, 건설장비의 전방, 후방, 좌측 및 우측의 영상을 각각 촬영하기 위한 복수의 카메라; 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 포함하는 룩업 테이블(LUT, Look Up Table)이 저장되어 있는 룩업 테이블 DB; 상기 카메라를 통해 촬영한 영상을 상기 룩업 테이블을 이용해 서라운드 뷰 영상으로 생성하는 서라운드 뷰 생성부; 상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 가이드 영상부; 및 상기 서라운드 뷰 영상과 상기 작업 가이드 영상을 표시하는 표시부;를 포함하되, 상기 작업 가이드 영상은 상기 건설장비의 움직임과 상관없이 상기 표시부에서 움직이지 않는다.

Description

건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법
본 발명은 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법에 관한 것이다.
일반적으로 토공작업 환경에서는 도저, 로더, 굴삭기, 그레이더 등 대형 건설장비가 주로 활용된다.
이 중 굴삭기로 작업을 할 경우 작업 영역의 범위 확인을 위해 사전 측량이 필요하고, 확인된 작업 영역 범위를 지면에 기준선, 기준석 등 물리적으로 표시해야 해서 불편한 점이 있다. 또한 작업 보조자가 작업 영역 범위 근방에서 가이드 할 때 굴삭기의 특성(붐, 암, 버킷)에 의해 굴삭기의 장비 조종자에게 발생하는 사각지대가 넓어 사고가 발생할 수 있는 문제점이 있다.
이런 문제점을 해결하기 위해 건설장비에 카메라를 장착하여 서라운드 뷰 영상을 표시하는 기술이 적용되고 있으며, 관련 종래기술로는 한국공개특허 제10-2018-0078970호가 있다.
그러나 종래기술의 경우 서라운드 뷰 영상을 표시해 사각지대를 확인할 수는 있지만, 작업 영역에 대한 정보를 표시하지 않아 종래와 같이 기준선, 기준석 등 물리적으로 표시해야 하는 문제점이 있다.
또한, 종래기술은 카메라를 이용해 촬영한 영상을 합성해 서라운드 뷰를 생성하기 때문에 지리적 정보를 반영하지 못해 정확한 작업을 하는데 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 카메라를 이용해 서라운드 뷰 영상을 제공해 사각지대를 해소하는, 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 작업 영역에 대한 가이드 영상을 생성해 서라운드 뷰 영상에 반영하는, 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 3차원 지리 정보를 외부로부터 획득해 3차원 서라운드 뷰 영상을 생성하는, 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 3차원 서라운드 뷰 영상을 외부 VR기기로 전송해 외부에서 원격으로 조종할 수 있게 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치를 제공하는 데 있다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 바람직한 일 측면에 따르면, 건설장비의 전방, 후방, 좌측 및 우측의 영상을 각각 촬영하기 위한 복수의 카메라; 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 포함하는 룩업 테이블(LUT, Look Up Table)이 저장되어 있는 룩업 테이블 DB; 상기 카메라를 통해 촬영한 영상을 상기 룩업 테이블을 이용해 서라운드 뷰 영상으로 생성하는 서라운드 뷰 생성부; 상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 가이드 영상부; 및 상기 서라운드 뷰 영상과 상기 작업 가이드 영상을 표시하는 표시부;를 포함하되, 상기 작업 가이드 영상은 상기 건설장비의 움직임과 상관없이 상기 표시부에서 움직이지 않는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치를 제공할 수 있다.
또한, 상기 카메라 내부 파라미터, 상기 카메라 외부 파라미터, 상기 카메라 왜곡 계수 및 상기 호모그라피 중 적어도 어느 하나를 산출하는 캘리브레이션부;를 더 포함할 수 있다.
또한, 상기 작업 영역을 입력받는 입력부;를 더 포함하되, 상기 가이드 영상부는 상기 입력부를 통해 입력되는 상기 작업 영역을 상기 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 상기 가이드 영상을 생성할 수 있다.
또한, 상기 건설장비의 상부 구조 일부분에 설치되어 상기 건설장비의 선회각 및 이동 변위 중 적어도 어느 하나를 감지하는 센서부;를 더 포함하되, 상기 가이드 영상부는 상기 선회각 및 상기 이동 변위 중 적어도 어느 하나를 바탕으로 상기 가이드 영상이 움직이지 않게 상기 가이드 영상을 보정할 수 있다.
본 발명의 바람직한 다른 측면에 따르면, 건설장비의 전방, 후방, 좌측 및 우측의 영상을 각각 촬영하기 위한 복수의 카메라; 상기 건설장비의 상부 구조 일부분에 설치되어 상기 건설장비의 위치 및 방위를 감지하는 센서부; 상기 감지한 건설장비의 위치 및 방위에 상응하는 3차원 지리 정보를 외부로부터 수신하는 통신부; 3차원 서라운드 뷰 맵핑 정보를 포함하는 룩업 테이블(LUT, Look Up Table)이 저장되어 있는 룩업 테이블 DB; 상기 3차원 지리 정보에 상기 카메라를 통해 촬영한 영상을 상기 룩업 테이블을 이용해 맵핑하여 3차원 서라운드 뷰 영상으로 생성하는 서라운드 뷰 생성부; 상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 가이드 영상부; 및 상기 3차원 서라운드 뷰 영상과 상기 작업 가이드 영상을 표시하는 표시부;를 포함하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치를 제공할 수 있다.
여기서, 상기 3차원 서라운드 뷰 맵핑 정보는, 상기 3차원 지리 정보의 좌표와 상기 촬영한 영상의 픽셀 좌표를 맵핑하는 정보일 수 있다.
여기서, 상기 룩업 테이블은 상기 3차원 지리 정보의 좌표를 포함하고 있으며, 상기 3차원 지리 정보의 좌표가 변경될 경우 실시간으로 변경된 상기 3차원 지리 정보의 좌표로 갱신될 수 있다.
또한, 상기 작업 영역을 입력받는 입력부;를 더 포함하되, 상기 룩업 테이블은 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 더 포함하고, 상기 가이드 영상부는 상기 입력부를 통해 입력되는 상기 작업 영역을 상기 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 상기 가이드 영상을 생성할 수 있다.
여기서, 상기 센서부는 상기 건설장비의 선회각 및 이동 변위 중 적어도 어느 하나를 더 감지하고, 상기 가이드 영상부는 상기 선회각 및 상기 이동 변위 중 적어도 어느 하나를 바탕으로 상기 가이드 영상이 움직이지 않게 상기 가이드 영상을 보정할 수 있다.
여기서, 상기 통신부는 상기 3차원 서라운드 뷰 영상을 외부 VR기기로 송신할 수 있다.
본 발명의 바람직한 또 다른 측면에 따르면, 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치를 이용해 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상을 표시하는 방법에 있어서, 캘리브레이션부가 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 산출해 룩업 테이블 DB에 저장하여 룩업 테이블을 생성하는 단계; 서라운드 뷰 생성부가 상기 룩업 테이블을 이용해 카메라를 통해 촬영한 영상을 바탕으로 서라운드 뷰 영상으로 생성하는 단계; 가이드 영상부가 상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 단계; 및 표시부가 상기 서라운드 뷰 영상과 상기 가이드 영상을 표시하는 단계;를 포함하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법을 제공할 수 있다.
여기서, 상기 룩업 테이블을 생성하는 단계는, 상기 캘리브레이션부가 상기 카메라를 통해 정해진 크기와 위치에 대한 월드 좌표를 가지는 복수의 패턴이 있는 월드 좌표계 기준판을 촬영 해 상기 카메라 내부 파라미터 및 상기 카메라 왜곡 계수를 산출하는 것과 동시에 상기 촬영된 영상의 왜곡을 보정하는 단계; 상기 캘리브레이션부가 상기 보정된 영상을 캘리브레이션하여 상기 카메라 외부 파라미터를 산출하는 단계; 및 상기 캘리브레이션부가 상기 카메라 내부 파라미터 및 상기 카메라 외부 파라미터를 바탕으로 상기 호모그라피를 산출하는 단계;일 수 있다.
여기서, 상기 가이드 영상부는 입력부를 통해 입력되는 상기 작업 영역의 범위를 상기 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 가이드 영상을 생성할 수 있다.
여기서, 상기 가이드 영상부는 센서부를 통해 감지된 상기 건설장비의 상기 선회각 및 상기 이동 변위 중 적어도 어느 하나를 바탕으로 상기 가이드 영상이 움직이지 않게 상기 가이드 영상을 보정할 수 있다.
여기서, 상기 서라운드 뷰 생성부는 통신부를 통해 외부로부터 수신한 3차원 지리 정보에 상기 카메라를 통해 촬영한 영상을 맵핑하여 3차원 서라운드 뷰 영상을 생성할 수 있다.
본 발명은 카메라를 이용해 서라운드 뷰 영상을 제공해 사각지대를 해소할 수 있는 효과가 있다.
또한, 본 발명은 작업 영역에 대한 가이드 영상을 서라운드 뷰 영상에 반영해 물리적 표시 없이 화면만 보고 작업 영역을 확인해 작업할 수 있는 효과가 있다.
또한, 본 발명은 3차원 서라운드 뷰 영상을 생성해 지리적 정보를 반영한 정확한 작업을 할 수 있는 효과가 있다.
또한, 본 발명은 3차원 서라운드 뷰 영상을 외부 VR기기로 전송 받아 외부에서 원격으로 조종할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션부가 룩업 테이블을 생성하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 표시부에 표시되는 영상을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상부가 가이드 영상이 움직이지 않게 보정하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 서라운드 뷰 생성부가 3차원 서라운드 뷰 영상을 생성하는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법의 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 룩업 테이블 생성 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 3차원 서라운드 뷰 영상 생성 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가
질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치의 구성도이다.
도 1을 참조하면, 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치(100)는 카메라(110), 캘리브레이션부(120), 룩업 테이블 DB(130), 서라운드 뷰 생성부(140), 입력부(150), 센서부(160), 가이드 영상부(170), 통신부(180) 및 표시부(190)를 포함한다.
카메라(110)는 건설장비(A)의 전방, 후방, 좌측 및 우측에 각각 설치되어 건설장비(A)의 전방, 후방, 좌측 및 우측의 영상을 각각 촬영한다.
캘리브레이션부(120)는 카메라(110)를 통해 촬영한 영상을 바탕으로 카메라 내부 파라미터, 카메라 외부 파라미터, 왜곡 계수 및 호모그래피 중 적어도 어느 하나를 산출해 룩업 테이블 DB(130)에 저장하며, 카메라(110)를 통해 촬영한 영상의 왜곡을 보정한다.
또한, 캘리브레이션부(120)는 카메라 내부 파라미터, 카메라 외부 파라미터, 왜곡 계수 및 호모그래피 중 적어도 어느 하나를 이용해 월드 좌표, 카메라 좌표 및 픽셀 좌표간의 맵핑 정보를 산출해 룩업 테이블 DB(130)에 저장한다.
또한, 캘리브레이션부(120)는 센서부(160)를 통해 획득한 건설장비(A)의 위도, 경도, 고도를 포함하는 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나를 전달 받아 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 산출해 룩업 테이블 DB(130)에 저장한다.
또한, 캘리브레이션부(120)는 3차원 지리 정보의 좌표와 카메라(110)로 촬영한 영상의 픽셀 좌표를 맵핑하는 3차원 서라운드 뷰 맵핑 정보를 산출해 룩업 테이블 DB(130)에 저장한다.
룩업 테이블 DB(130)는 캘리브레이션부(120)를 통해 산출한 카메라 내부 파라미터, 카메라 외부 파라미터, 왜곡 계수 및 호모그래피 중 적어도 어느 하나를 포함하는 룩업 테이블을 저장하고 있다.
또한, 룩업 테이블 DB(130)의 룩업 테이블은 캘리브레이션부(120)를 통해 산출한 월드 좌표, 카메라 좌표 및 픽셀 좌표간의 맵핑 정보와 위치 및 방위, 선회각(θ) 및 이동 변위 중 적어도 어느 하나에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 포함하고 있다.
또한, 룩업 테이블 DB(130)의 룩업 테이블은 캘리브레이션부(120)를 통해 산출한 3차원 서라운드 뷰 맵핑 정보와 통신부(180)를 통해 수신한 3차원 지리 정보의 좌표를 포함하고 있으며, 통신부(180)를 통해 수신한 3차원 지리 정보의 좌표가 변경 될 경우 실시간으로 변경된 3차원 지리 정보의 좌표로 갱신된다.
서라운드 뷰 생성부(140)는 카메라(110)를 통해 촬영한 영상을 룩업 테이블을 이용해 서라운드 뷰 영상으로 생성한다.
또한, 서라운드 뷰 생성부(140)는 통신부(180)를 통해 수신한 3차원 지리 정보에 카메라(110)를 통해 촬영한 영상을 맵핑하여 3차원 서라운드 뷰 영상을 생성한다. 이때, 서라운드 뷰 생성부(140)는 룩업 테이블의 3차원 서라운드 뷰 맵핑 정보를 이용해 맵핑하여 3차원 서라운드 뷰 영상을 생성할 수 있다.
입력부(150)는 건설장비(A)가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역을 입력 받는다. 여기서, 입력부(150)는 사용자가 표시부(190)에 생성된 서라운드 뷰 영상을 보고 작업 영역을 터치해 입력 받거나 키보드, 작업 영역이 저장된 메모리 카드 등으로 입력 받을 수 있다.
센서부(160)는 건설장비(A)의 상부 구조 일부분에 설치되어 건설장비(A)의 위도, 경도, 고도를 포함하는 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나를 감지하여 캘리브레이션부(120)에 전달한다.
가이드 영상부(170)는 입력부(150)를 통해 입력되는 작업 영역을 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 가이드 영상을 생성한다.
또한, 가이드 영상부(170)는 건설장비(A)가 선회하거나 이동 했을 경우 룩업 테이블에 포함된 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 이용해 가이드 영상이 움직이지 않게 보정한다. 이에 작업 가이드 영상은 건설장비(A)의 움직임과 상관없이 표시부(190)에서 움직이지 않는다.
통신부(180)는 관제센터와 같은 외부로부터 센서부(160)가 감지한 건설장비(A)의 위치 및 방위에 상응하는 3차원 지리 정보를 수신해 캘리브레이션부(120) 또는 룩업 테이블 DB(130)에 전달하며, 서라운드 뷰 생성부(140)가 생성한 3차원 서라운드 뷰 영상을 외부 VR기기로 전송해 외부에서 원격으로 조종할 수 있게 한다.
표시부(190)는 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상과 가이드 영상부(170)가 생성한 가이드 영상을 표시한다.
또한, 표시부(190)는 서라운드 뷰 생성부(140)가 생성한 3차원 서라운드 뷰 영상과 가이드 영상부(170)가 생성한 가이드 영상을 표시한다.
도 2는 본 발명의 일 실시예에 따른 캘리브레이션부가 룩업 테이블을 생성하는 것을 설명하기 위한 도면이다.
도 2를 참조하면, 캘리브레이션부(120)가 룩업 테이블을 생성하기 위해서는 우선 건설장비(A)를 정해진 크기와 위치에 대한 월드 좌표를 가지는 복수의 패턴이 있는 월드 좌표계 기준판(210)으로 이동시킨다.
여기서, 월드 좌표계 기준판(210)은 지표면을 X-Y 평면으로 정의하고 건설장비(A)의 선회축 중심, 건설장비(A)의 차체 중심 및 운전자 위치 중심 중 어느 하나의 위치를 원점으로 설정한 것으로, 도 2에서는 일 실시예로서 건설장비(A)의 선회축 중심을 원점으로 설정한 것이다.
건설장비(A)의 선회축 중심을 월드 좌표계 기준판(210)의 원점에 일치시킨 후 카메라(110)를 통해 복수의 패턴을 촬영하면, 캘리브레이션부(120)는 근사 계산 알고리즘을 적용해 촬영된 영상에서 카메라 내부 파라미터 및 왜곡 계수를 산출하는 것과 동시에 촬영된 영상의 왜곡을 보정한다. 여기서, 내부 파마미터 및 왜곡 계수를 산출하는 것과 동시에 촬영된 영상의 왜곡을 보정하는 것은 카메라(110)는 어안렌즈를 사용해 촬영된 영상이 왜곡되어 있기 때문이며, 카메라 내부 파라미터는 제조사에서 제공하는 카메라 내부 파라미터를 이용할 수 도 있다.
또한, 캘리브레이션부(120)는 보정된 영상에서 특징점을 추출해 복수의 패턴의 월드 좌표와 캘리브레이션하여 카메라(110)의 위치(지면으로부터 높이 등) 및 자세 정보(팬, 틸트 등)인 카메라 외부 파라미터를 산출하고, 산출된 카메라 내부 파라미터와 카메라 외부 파라미터를 바탕으로 호모그라피를 산출한다. 여기서, 카메라(110)는 건설장비(A)에 설치된 후 충격 등 외력이 가해지지 않는 한 변하지 않기 때문에 카메라(110) 설치 후 한번만 실행하면 된다.
또한, 캘리브레이션부(120)는 카메라 내부 파라미터, 카메라 외부 파라미터, 왜곡 계수 및 호모그래피 중 적어도 어느 하나를 이용해 월드 좌표, 카메라 좌표 및 픽셀 좌표간의 맵핑 정보를 산출한다. 여기서, 카메라 내부 파라미터, 카메라 외부 파라미터, 왜곡 계수, 왜곡 영상 보정 및 월드 좌표, 카메라 좌표 및 픽셀 좌표간의 맵핑 정보를 산출하는 것은 공지된 기술이기 때문에 자세한 설명은 생략하도록 한다.
또한, 캘리브레이션부(120)는 건설장비(A)가 월드 좌표계 기준판(210)에서 선회하거나 이동하면서 카메라(110)를 통해 복수의 패턴을 촬영하는 것과 동시에 센서부(160)를 통해 획득한 건설장비(A)의 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나를 전달 받아 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 산출한다. 여기서, 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나에 상응하는 카메라 외부 파라미터 및 호모그래피는 월드 좌표계 기준판(210) 이외의 현장에서 사용하면서도 산출할 수 있다.
이처럼 캘리브레션부(120)는 산출한 정보를 룩업 테이블 DB(130)에 저장시켜 룩업 테이블이 생성되게 된다.
도 3은 본 발명의 일 실시예에 따른 표시부에 표시되는 영상을 설명하기 위한 도면이다. 도 3(a)는 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상만 표시부(190)에 표시된 것이며, 도 3(b)는 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 가이드 영상부(170)가 생성한 가이드 영상이 표시부(190)에 표시된 것이다.
도 3(a)를 참조하면, 서라운드 뷰 생성부(140)는 카메라(110)를 통해 촬영한 영상을 룩업 테이블의 왜곡 계수를 이용해 촬영된 영상의 왜곡을 보정하고 보정한 영상을 룩업 테이블의 월드 좌표, 카메라 좌표 및 픽셀 좌표간의 맵핑 정보를 이용해 서라운드 뷰 영상을 생성하여 표시부(190)를 통해 표시되면, 운전자는 표시부(190)에 표시된 서라운드 뷰 영상을 보면서 사각지대를 확인할 수 있다.
도 3(b)를 참조하면, 가이드 영상부(170)는 입력부(150)를 통해 입력되는 작업 영역을 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 가이드 영상을 생성하고, 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 픽셀 좌표와 룩업 테이블을 이용해 변환한 픽셀 좌표 또는 월드 좌표와 맵핑시켜 표시부(190)를 통해 서라운드 뷰 영상에 가이드 영상이 표시되도록 한다.
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른 가이드 영상부가 가이드 영상이 움직이지 않게 보정하는 것을 설명하기 위한 도면이다.
도 4a는 건설장비(A)가 선회 또는 이동하지 않을 때 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 가이드 영상부(170)가 생성한 가이드 영상이 표시부(190)에 표시된 것, 도 4b는 건설장비(A)가 선회했을 때 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 가이드 영상부(170)가 생성한 가이드 영상을 보정하지 않았을 때 표시부(190)에 표시된 것, 도 4c는 건설장비(A)가 선회했을 때 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 가이드 영상부(170)가 생성한 가이드 영상을 보정했을 때 표시부(190)에 표시된 것, 도 4d는 건설장비(A)가 이동했을 때 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 가이드 영상부(170)가 생성한 가이드 영상을 보정하지 않았을 때 표시부(190)에 표시된 것, 도 4e는 건설장비(A)가 이동했을 때 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상에 가이드 영상부(170)가 생성한 가이드 영상을 보정했을 때 표시부(190)에 표시된 것이다.
도 4a를 참조하면, 건설장비(A)가 선회하거나 이동하지 않을 때는 가이드 영상부(170)가 생성한 가이드 영상(310)이 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상의 입력부(150)를 통해 입력된 범위에 맵핑되어 표시부(190)에 표시된다.
도 4b를 참조하면, 건설장비(A)가 선회했을 때 가이드 영상부(170)가 선회각(θ)을 반영해 보정하지 않으면, 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상의 픽셀 좌표가 건설장비(A)가 선회해 변경되기 때문에 가이드 영상부(170)가 생성한 가이드 영상(310)이 선회각(θ)을 반영하지 못해 변경된 서라운드 뷰 영상의 픽셀 좌표와 맵핑되어 가이드 영상(410)이 움직이게 된다.
도 4c를 참조하면, 건설장비(A)가 선회했을 때 가이드 영상부(170)가 선회각(θ)을 반영해 룩업 테이블의 선회각(θ)에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 이용해 보정하면, 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상의 픽셀 좌표가 건설장비(A)가 선회해 변경되지만 가이드 영상부(170)가 생성한 가이드 영상(310)이 선회각(θ)을 반영해 변경된 서라운드 뷰 영상의 픽셀 좌표가 아닌 변경 전 서라운드 뷰 영상의 픽셀 좌표와 맵핑되어 움직이지 않게 된다.
도 4d를 참조하면, 건설장비(A)가 이동했을 때 가이드 영상부(170)가 이동 변위를 반영해 보정하지 않으면, 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상의 픽셀 좌표가 건설장비(A)가 이동해 변경되기 때문에 가이드 영상부(170)가 생성한 가이드 영상(310)이 이동 변위를 반영하지 못해 변경된 서라운드 뷰 영상의 픽셀 좌표와 맵핑되어 가이드 영상(410)이 움직이게 된다.
도 4e를 참조하면, 건설장비(A)가 이동했을 때 가이드 영상부(170)가 이동 변위를 반영해 룩업 테이블의 이동 변위에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 이용해 보정하면, 서라운드 뷰 생성부(140)가 생성한 서라운드 뷰 영상의 픽셀 좌표가 건설장비(A)가 이동해 변경되지만 가이드 영상부(170)가 생성한 가이드 영상(310)이 이동 변위를 반영해 변경된 서라운드 뷰 영상의 픽셀 좌표가 아닌 변경 전 서라운드 뷰 영상의 픽셀 좌표와 맵핑되어 움직이지 않게 된다.
도 5는 본 발명의 일 실시예에 따른 서라운드 뷰 생성부가 3차원 서라운드 뷰 영상을 생성하는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 관제센터(510)에서 센서부(160)가 감지한 건설장비(A)의 위치 및 방위에 상응하는 3차원 지리 정보를 송신하면, 통신부(180)가 3차원 지리 정보를 수신하고, 서라운드 뷰 생성부(140)는 서라운드 뷰 영상(520) 대신 3차원 지리 정보에 카메라(110)를 통해 촬영한 영상을 룩업 테이블의 3차원 서라운드 뷰 맵핑 정보를 이용해 맵핑하여 3차원 서라운드 뷰 영상(530)을 생성한다. 여기서, 서라운드 뷰 생성부(140)는 센서부(160)를 통해 감지한 건설장비(A)의 위치 및 방위와 선회각(θ) 및 이동 변위 중 적어도 어느 하나를 바탕으로 3차원 서라운드 뷰 영상(530)에 3차원적으로 표현된 건설장비(A)로 반영할 수 있으며, 센서부(160)가 감지한 건설장비(A)의 위치 및 방위에 상응 하는 3차원 지리 정보와 센서부(160)가 감지한 건설장비(A)의 위치 및 방위를 바탕으로 산출된 픽셀 좌료를 맵핑하기 때문에 3차원 지리 정보의 정확한 위치에 카메라(110)를 통해 촬영한 영상을 맵핑할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법의 순서도이다.
도 6을 참조하면, S610단계에서는, 캘리브레이션부(120)가 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 산출해 룩업 테이블 DB(130)에 저장하여 룩업 테이블을 생성한다.
S620단계에서는, 서라운드 뷰 생성부(140)가 룩업 테이블을 이용해 카메라(110)를 통해 촬영한 영상을 바탕으로 서라운드 뷰 영상으로 생성한다,
S630단계에서는, 가이드 영상부(170)가 입력부(150)를 통해 입력되는 작업 영역의 범위를 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 가이드 영상을 생성한다.
S640단계에서는, 표시부(190)가 서라운드 뷰 영상과 가이드 영상 중 적어도 어느 하나를 표시한다.
S650단계에서는, 센서부(160)를 통해 건설장비(A)가 선회 또는 이동 했는지 감지해 건설장비(A)가 선회 또는 이동 했으면 S660단계를 진행하고, 건설장비(A)가 선회 또는 이동하지 않았으면 S640단계로 돌아간다.
S660단계에서는, 가이드 영상부(170)가 룩업 테이블에 포함된 선회각(θ) 및 이동 변위 중 적어도 어느 하나에 상응하는 카메라 외부 파라미터 및 호모그래피 중 적어도 어느 하나를 이용해 가이드 영상이 움직이지 않게 보정한다.
도 7은 본 발명의 다른 실시예에 따른 룩업 테이블 생성 순서도이다.
도 7을 참조하면, S710단계에서는, 카메라(110)가 월드 좌표계 기준판을 촬영한다.
S720단계에서는, 캘리브레이션부(120)가 카메라(110)를 통해 촬영된 월드 좌표계 기준판(210) 복수의 패턴을 근사 계산 알고리즘을 적용해 카메라 내부 파라미터 및 왜곡 계수를 산출해 룩업 테이블 DB(130)에 저장한다.
S730단계에서는 캘리브레이션부(120)가 촬영된 영상의 왜곡을 보정한다.
S740단계에서는 캘리브레이션부(120)가 보정된 영상에서 특징점을 추출해 복수의 패턴의 월드 좌표와 캘리브레이션하여 카메라 외부 파라미터를 산출해 룩업 테이블 DB(130)에 저장한다.
S750단계에서는 캘리브레이션부(120)가 카메라 내부 파라미터와 카메라 외부 파라미터를 바탕으로 호모그라피를 산출해 룩업 테이블 DB(130)에 저장한다. 여기서, 캘리브레이션부(120)는 카메라 내부 파라미터, 카메라 외부 파라미터, 왜곡 계수 및 호모그래피 중 적어도 어느 하나를 이용해 월드 좌표, 카메라 좌표 및 픽셀 좌표간의 맵핑 정보를 산출해 룩업 테이블 DB(130)에 저장할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 3차원 서라운드 뷰 영상 생성 순서도이다.
도 8을 참조하면, S810단계에서는, 캘리브레이션부(120)가 3차원 지리 정보의 좌표와 카메라(110)로 촬영한 영상의 좌표를 맵핑하는 3차원 서라운드 뷰 맵핑 정보를 산출해 룩업 테이블 DB(130)에 저장해 룩업 테이블을 생성한다.
S820단계에서는, 통신부(180)가 센서부(160)가 감지한 건설장비(A)의 위치 및 방위에 상응하는 3차원 지리 정보를 수신한다.
S830단계에서는, 서라운드 뷰 생성부(140)가 3차원 지리 정보에 카메라(110)를 통해 촬영한 영상을 룩업 테이블의 3차원 서라운드 뷰 맵핑 정보를 이용해 맵핑하여 3차원 서라운드 뷰 영상을 생성한다.
S840단계에서는, 캘리브레이션부(120) 또는 센서부(160)가 통신부(180)를 통해 수신되는 3차원 지리 정보의 좌표가 변경되었는지 판단해, 변경된 경우 S850단계를 진행하고, 변경 되지 않은 경우 S820 내지 S840단계를 진행한다.
S850단계에서는, 캘리브레이션부(120)가 룩업 테이블에 포함된 3차원 지리 정보의 좌표를 변경된 3차원 지리 정보의 좌표로 갱신되도록 한다.
이상에서 본 발명에 따른 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 다음의 청구범위에 의해서 정해져야할 것이다.
[부호의 설명]
110 : 카메라 120 : 캘리브레이션부
130 : 룩업 테이블 DB 140 : 서라운드 뷰 생성부
150 : 입력부 160 : 센서부
170 : 가이드 영상부 180 : 통신부
190 : 표시부

Claims (15)

  1. 건설장비의 전방, 후방, 좌측 및 우측의 영상을 각각 촬영하기 위한 복수의 카메라;
    카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 포함하는 룩업 테이블(LUT, Look Up Table)이 저장되어 있는 룩업 테이블 DB;
    상기 카메라를 통해 촬영한 영상을 상기 룩업 테이블을 이용해 서라운드 뷰 영상으로 생성하는 서라운드 뷰 생성부;
    상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 가이드 영상부; 및
    상기 서라운드 뷰 영상과 상기 작업 가이드 영상을 표시하는 표시부;를 포함하되,
    상기 작업 가이드 영상은 상기 건설장비의 움직임과 상관없이 상기 표시부에서 움직이지 않는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  2. 제1항에 있어서,
    상기 카메라 내부 파라미터, 상기 카메라 외부 파라미터, 상기 카메라 왜곡 계수 및 상기 호모그라피 중 적어도 어느 하나를 산출하는 캘리브레이션부;를 더 포함하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  3. 제1항에 있어서,
    상기 작업 영역을 입력받는 입력부;를 더 포함하되,
    상기 가이드 영상부는 상기 입력부를 통해 입력되는 상기 작업 영역을 상기 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 상기 가이드 영상을 생성하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상표시 장치.
  4. 제1항에 있어서,
    상기 건설장비의 상부 구조 일부분에 설치되어 상기 건설장비의 선회각 및 이동 변위 중 적어도 어느 하나를 감지하는 센서부;를 더 포함하되,
    상기 가이드 영상부는 상기 선회각 및 상기 이동 변위 중 적어도 어느 하나를 바탕으로 상기 가이드 영상이 움직이지 않게 상기 가이드 영상을 보정하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  5. 건설장비의 전방, 후방, 좌측 및 우측의 영상을 각각 촬영하기 위한 복수의 카메라;
    상기 건설장비의 상부 구조 일부분에 설치되어 상기 건설장비의 위치 및 방위를 감지하는 센서부;
    상기 감지한 건설장비의 위치 및 방위에 상응하는 3차원 지리 정보를 외부로부터 수신하는 통신부;
    3차원 서라운드 뷰 맵핑 정보를 포함하는 룩업 테이블(LUT, Look Up Table)이 저장되어 있는 룩업 테이블 DB;
    상기 3차원 지리 정보에 상기 카메라를 통해 촬영한 영상을 상기 룩업 테이블을 이용해 맵핑하여 3차원 서라운드 뷰 영상으로 생성하는 서라운드 뷰 생성부;
    상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 가이드 영상부; 및
    상기 3차원 서라운드 뷰 영상과 상기 작업 가이드 영상을 표시하는 표시부;를 포함하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  6. 제5항에 있어서,
    상기 3차원 서라운드 뷰 맵핑 정보는,
    상기 3차원 지리 정보의 좌표와 상기 촬영한 영상의 픽셀 좌표를 맵핑하는 정보인 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  7. 제6항에 있어서,
    상기 룩업 테이블은 상기 3차원 지리 정보의 좌표를 포함하고 있으며, 상기 3차원 지리 정보의 좌표가 변경될 경우 실시간으로 변경된 상기 3차원 지리 정보의 좌표로 갱신되는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  8. 제5항에 있어서,
    상기 작업 영역을 입력받는 입력부;를 더 포함하되,
    상기 룩업 테이블은 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 더 포함하고,
    상기 가이드 영상부는 상기 입력부를 통해 입력되는 상기 작업 영역을 상기 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 상기 가이드 영상을 생성하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상표시 장치.
  9. 제5항에 있어서,
    상기 센서부는 상기 건설장비의 선회각 및 이동 변위 중 적어도 어느 하나를 더 감지하고,
    상기 가이드 영상부는 상기 선회각 및 상기 이동 변위 중 적어도 어느 하나를 바탕으로 상기 가이드 영상이 움직이지 않게 상기 가이드 영상을 보정하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  10. 제5항에 있어서,
    상기 통신부는 상기 3차원 서라운드 뷰 영상을 외부 VR기기로 송신하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치.
  11. 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치를 이용해 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상을 표시하는 방법에 있어서,
    캘리브레이션부가 카메라 내부 파라미터, 카메라 외부 파라미터, 카메라 왜곡 계수 및 호모그라피 중 적어도 어느 하나를 산출해 룩업 테이블 DB에 저장하여 룩업 테이블을 생성하는 단계;
    서라운드 뷰 생성부가 상기 룩업 테이블을 이용해 카메라를 통해 촬영한 영상을 바탕으로 서라운드 뷰 영상으로 생성하는 단계;
    가이드 영상부가 상기 건설장비가 작업 할 영역의 길이, 면적 및 위치 정보를 포함하는 작업 영역에 대한 가이드 영상을 생성하는 단계; 및
    표시부가 상기 서라운드 뷰 영상과 상기 가이드 영상을 표시하는 단계;를 포함하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법.
  12. 제11항에 있어서,
    상기 룩업 테이블을 생성하는 단계는,
    상기 캘리브레이션부가 상기 카메라를 통해 정해진 크기와 위치에 대한 월드 좌표를 가지는 복수의 패턴이 있는 월드 좌표계 기준판을 촬영 해 상기 카메라 내부 파라미터 및 상기 카메라 왜곡 계수를 산출하는 것과 동시에 상기 촬영된 영상의 왜곡을 보정하는 단계;
    상기 캘리브레이션부가 상기 보정된 영상을 캘리브레이션하여 상기 카메라 외부 파라미터를 산출하는 단계; 및
    상기 캘리브레이션부가 상기 카메라 내부 파라미터 및 상기 카메라 외부 파라미터를 바탕으로 상기 호모그라피를 산출하는 단계; 인 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법.
  13. 제11항에 있어서,
    상기 가이드 영상부는 입력부를 통해 입력되는 상기 작업 영역의 범위를 상기 룩업 테이블을 이용해 픽셀 좌표 또는 월드 좌표로 변환하여 가이드 영상을 생성하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법.
  14. 제11항에 있어서,
    상기 가이드 영상부는 센서부를 통해 감지된 상기 건설장비의 상기 선회각 및 상기 이동 변위 중 적어도 어느 하나를 바탕으로 상기 가이드 영상이 움직이지 않게 상기 가이드 영상을 보정하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법.
  15. 제11항에 있어서,
    상기 서라운드 뷰 생성부는 통신부를 통해 외부로부터 수신한 3차원 지리 정보에 상기 카메라를 통해 촬영한 영상을 맵핑하여 3차원 서라운드 뷰 영상을 생성하는 것
    을 특징으로 하는 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 방법.
PCT/KR2019/018077 2018-12-21 2019-12-19 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법 WO2020130663A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0167633 2018-12-21
KR1020180167633A KR102087132B1 (ko) 2018-12-21 2018-12-21 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020130663A1 true WO2020130663A1 (ko) 2020-06-25

Family

ID=70467244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018077 WO2020130663A1 (ko) 2018-12-21 2019-12-19 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102087132B1 (ko)
WO (1) WO2020130663A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240752B (zh) * 2021-05-21 2024-03-22 中科创达软件股份有限公司 一种内参和外参协同标定方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0124238B2 (ko) * 1981-10-23 1989-05-10 Citizen Watch Co Ltd
JPH08134958A (ja) * 1994-11-09 1996-05-28 Kajima Corp 遠隔施工の作業支援画像システム
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置
KR20150101806A (ko) * 2014-02-27 2015-09-04 동의대학교 산학협력단 그리드 패턴의 자동인식을 이용한 어라운드뷰 모니터링 시스템 및 방법
KR101787897B1 (ko) * 2016-05-31 2017-10-19 인하대학교 산학협력단 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6424238B2 (ja) * 2015-01-28 2018-11-14 株式会社日立製作所 作業機械の操作システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0124238B2 (ko) * 1981-10-23 1989-05-10 Citizen Watch Co Ltd
JPH08134958A (ja) * 1994-11-09 1996-05-28 Kajima Corp 遠隔施工の作業支援画像システム
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置
KR20150101806A (ko) * 2014-02-27 2015-09-04 동의대학교 산학협력단 그리드 패턴의 자동인식을 이용한 어라운드뷰 모니터링 시스템 및 방법
KR101787897B1 (ko) * 2016-05-31 2017-10-19 인하대학교 산학협력단 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법

Also Published As

Publication number Publication date
KR102087132B1 (ko) 2020-04-20

Similar Documents

Publication Publication Date Title
WO2020185029A1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
CN110784651B (zh) 一种防抖方法及电子设备
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2012161431A2 (ko) 차량 어라운드 뷰 영상 생성 방법
WO2017111464A1 (en) X-ray imaging apparatus, control method for the same, and x-ray detector
US7339611B2 (en) Method and arrangement for carrying out an information flow and data flow for geodetic instruments
JP4422777B2 (ja) 移動体姿勢検出装置
JP2004015362A (ja) 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
WO2012153978A2 (en) Parking camera system and method of driving the same
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2019194606A1 (en) Electronic device including bendable display
WO2021132947A1 (ko) 실내 측위를 제공하는 전자 장치 및 그 방법
WO2019142997A1 (ko) 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
WO2020194777A1 (ja) 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
WO2020130663A1 (ko) 건설장비에서 서라운드 뷰를 이용한 작업 가이드 영상 표시 장치 및 방법
WO2021157891A1 (ko) 음향 경로를 포함하는 전자 장치
WO2019135634A1 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
WO2017164545A1 (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
WO2015056826A1 (ko) 카메라의 영상 처리 장치 및 방법
WO2010058927A2 (ko) 안면 영상 촬영장치
CN111652942B (zh) 摄像模组的标定方法、第一电子设备和第二电子设备
WO2019103582A1 (ko) 다용도 레이저 측정장치 및 다용도 레이저 측정장치의 측정방법
WO2020246710A1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19898955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19898955

Country of ref document: EP

Kind code of ref document: A1