WO2021054756A1 - 중장비용 전방 영상 생성 장치 - Google Patents

중장비용 전방 영상 생성 장치 Download PDF

Info

Publication number
WO2021054756A1
WO2021054756A1 PCT/KR2020/012605 KR2020012605W WO2021054756A1 WO 2021054756 A1 WO2021054756 A1 WO 2021054756A1 KR 2020012605 W KR2020012605 W KR 2020012605W WO 2021054756 A1 WO2021054756 A1 WO 2021054756A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
front image
projection
heavy equipment
processor
Prior art date
Application number
PCT/KR2020/012605
Other languages
English (en)
French (fr)
Inventor
박재홍
이정표
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190158373A external-priority patent/KR102235123B1/ko
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to EP20865024.2A priority Critical patent/EP4033749A4/en
Priority to CN202080064506.2A priority patent/CN114375568A/zh
Priority to US17/761,985 priority patent/US20220329731A1/en
Publication of WO2021054756A1 publication Critical patent/WO2021054756A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a front image generating apparatus for heavy equipment, and more particularly, to a front image generating apparatus for heavy equipment that generates a front image for securing a front view in heavy equipment that is difficult to check the front during work, such as a wheel loader. .
  • Heavy equipment is equipment used for various works in construction sites, for example, a wheel loader and a forklift.
  • the driver's front view is obscured by the large parts during work.
  • the driver's front view is obscured by a bucket that moves up and down from the front during work.
  • the present invention has been proposed in order to solve the above problems of the related art, and has an object of providing a front image generating apparatus for heavy equipment that generates a front image of heavy equipment by synthesizing images taken from a plurality of cameras disposed on the heavy equipment. do.
  • the front image generating apparatus for heavy equipment is disposed above the wheel loader to generate a first front image, and is disposed below the wheel loader to generate a second front image.
  • an image processor configured to generate a synthesized front image by image-processing the generated lower camera, the first front image, and the second front image through a pre-processing algorithm, and a display for displaying the synthesized front image generated by the image processor.
  • the image processor generates a composite front image by synthesizing the first front image and the second front image, or by synthesizing a part of the second front image to the first front image, or synthesizing a part of the first front image to the second front image
  • a composite front image can be generated.
  • the image processor may generate a composite front image that displays the bucket of the wheel loader in a translucent manner.
  • the image processor receives the bucket position using an external sensor or detects the wheel loader bucket position through image processing, and then sets different weights for the first front image and the second front image according to the bucket position of the wheel loader. , When the bucket is positioned at the bottom, a higher weight may be set for the first front image than for the second front image, and when the bucket is positioned at the top, a higher weight than the first front image may be set for the second front image.
  • the image processor displays the common area of the first front image and the second front image brighter than other areas, displays the bucket in an opaque state until the bucket of the wheel loader covers the object, and opens the bucket from the point when the bucket covers the object.
  • a composite front image displayed in a semi-transparent state can be generated.
  • a projection surface (or projection space) must be set and images captured by a plurality of cameras must be synthesized on the set projection surface.
  • the projection surface can be set by grasping distance information, attitude information, and the like using information acquired from various sensors, controllers, and the like.
  • a projection surface may be set by analyzing feature points of the captured front images, or a projection surface may be set by analyzing curved surface information (a curved surface, etc.) of the captured front images.
  • images captured by multiple cameras may have differences in luminance, transparency, brightness, etc. for all or parts, in order to minimize the sense of heterogeneity in the composite front image, images captured by multiple cameras are transferred to a set projection surface or projection space. At the time of projection or after that, it is necessary to convert and synthesize the luminance, transparency, and brightness of all or parts of each image.
  • Synthesis The method of synthesizing the front image will be explained as an example. If the object is at a certain distance, the plane of that certain distance is set as the projection surface, and each camera image is projected (transformed) at an angle corresponding to the projection surface. It is possible to combine the images captured in the projection plane to match.
  • the image is divided based on the area occupied by each object, and the composite front image is synthesized by performing a synthesis operation on the projection plane set at the distance to the corresponding object for each divided area. It is also possible to synthesize.
  • feature points are set for each image captured by a plurality of cameras in advance, and information on how these set feature points are matched in each image is set in advance.
  • this method since the image captured by each camera is synthesized so that the feature points that match each other are matched based on the feature points of each image, a plurality of images are combined while increasing or decreasing for each part of the image. do. Since the feature points and matching information are set in advance, it is possible to reduce the burden on the processor, and it is possible to generate a composite front image by partially adjusting the distortion of each image captured by a plurality of cameras.
  • FIGS. 11 and 12 For an example of setting a matching point for each image, reference may be made to FIGS. 11 and 12.
  • the image processor converts the first front image and the second front image into a first projection image and a second projection image, respectively, based on the distance information, and generates a composite front image obtained by synthesizing the first and second projection images.
  • the image processor sets a plurality of arbitrary distances, converts the first front image and the second front image into a first projection image and a second projection image, respectively, based on each of the plurality of arbitrary distances, and converts the first front image and the second front image into a first projection image and a second projection image, respectively, and
  • the degree of correspondence between the projected image and the second projected image may be calculated, and an arbitrary distance with the highest degree of correspondence may be set as distance information, or distance information input from the outside may be used.
  • the image processor may reset distance information when the position of the wheel loader is changed.
  • the image processor divides the first front image into a plurality of areas, converts the plurality of areas into a projection image based on different distance information to generate a first projection image, divides the second front image into a plurality of areas, and ,
  • a second projection image may be generated by converting a plurality of regions into a projection image based on different distance information.
  • the image processor utilizes the distance information input from the outside, or sets the distance information based on the feature points set in the first and second front images, and determines the distance information based on the feature points set in the first and second front images.
  • a region to be used for synthesis can be detected in the first front image and the second front image.
  • the front image generating apparatus for heavy equipment is effective in minimizing the blind spot caused by the bucket of the wheel loader by synthesizing and displaying images photographed from the top and bottom of the wheel loader.
  • the front image generating apparatus for heavy equipment has an effect of preventing the driver's front view from being obscured by the bucket by displaying the bucket in a semi-transparent composite front image.
  • FIG 1 and 2 are views for explaining a front image generating apparatus for heavy equipment according to an embodiment of the present invention.
  • 3 to 10 are diagrams for explaining the image processor of FIG. 2.
  • 11 to 15 are diagrams for explaining a process in which the image processor of FIG. 2 generates a composite front image using feature points.
  • a front image generating device for heavy equipment is a device for generating a front image of a wheel loader 10, and an upper camera 120 disposed above the wheel loader 10, It includes a lower camera 140 disposed under the wheel loader 10.
  • the upper camera 120 is disposed at the top of the roof of the driver's seat of the wheel loader 10
  • the lower camera 140 is disposed at the lower front of the vehicle body of the wheel loader 10.
  • the arrangement positions of the upper camera 120 and the lower camera 140 are limited to the upper and lower portions of the wheel loader 10, but are not limited thereto.
  • the upper camera 120 and the lower camera 140 may be substituted if an image can be captured.
  • the two cameras of the upper camera 120 and the lower camera 140 are mainly described, but the present invention is not limited thereto, and generation of an image using three or more cameras should be included and interpreted.
  • the upper camera 120 photographs the front of the wheel loader 10 from the upper portion of the wheel loader 10 to generate a first front image
  • the lower camera 140 generates a wheel loader 10 from the lower portion of the wheel loader 10.
  • the front image generating apparatus for heavy equipment displays a synthesized front image synthesized by the image processor 160 and the image processor 160 for generating a synthesized front image by synthesizing a first front image and a second front image. It further includes a display 180 to perform.
  • the image processor 160 synthesizes images captured by the upper camera 120 and the lower camera 140 to generate a synthesized front image. That is, the image processor 160 generates a synthesized front image by synthesizing the first front image captured by the upper camera 120 and the second front image captured by the lower camera 140. In this case, the image processor 160 generates a composite image that displays the bucket 12 included in the image in a translucent manner.
  • the image processor 160 provides the driver with a front image that is not covered by the bucket 12 and a composite front image capable of confirming the position and operation state of the bucket 12.
  • the bucket 12 is disposed at the top, and in the driver's view and the first front image, most of the object in front is covered by the bucket 12, and in the second front image, the object in front is not covered by the bucket 12. Does not.
  • the image processor 160 generates a synthesized front image by synthesizing the first front image and the second front image in order to prevent the object from being covered by the bucket 12.
  • the image processor 160 synthesizes the first front image and the second front image captured at the same point in time by the upper camera 120 and the lower camera 140 to generate a synthesized front image without a blind spot in the front field of view.
  • the image processor 160 generates a composite front image in which components of the wheel loader 10 such as buckets 12 and arms included in the composite front image are displayed in a translucent manner.
  • the image processor 160 generates a synthesized front image by synthesizing a part of the first front image with the second front image. That is, as shown in FIG. 4, the image processor 160 uses the second front image captured by the lower camera 140 as a background, and the upper camera 120 at the same time point as the second front image. A part of the captured first front image is synthesized to generate a synthesized front image. In this case, in the composite front image, some restrictions are generated in the front view due to the front wheels of the wheel loader 10, but a sufficient front view can be secured to display the front blind area.
  • the image processor 160 may synthesize a region in which the wheel is photographed to be transparent using the first front image.
  • the image processor 160 generates a synthesized front image by synthesizing a part of the second front image with the first front image. That is, as shown in FIG. 5, the image processor 160 uses the first front image captured by the upper camera 120 as a background, and the lower camera 140 at the same time point as the first front image. A part of the photographed second front image is synthesized to generate a synthesized front image.
  • the composite front image has a relatively wide angle of view compared to the composite front image with the second front image as the background because the first front image is used as the background.
  • the image processor 160 may synthesize the first and second front images by assigning different weights to the first and second front images according to the position of the bucket 12.
  • the image processor 160 assigns a higher weight to the first front image when the bucket 12 is positioned at the bottom, and gives a higher weight to the second front image when the bucket 12 is positioned at the top.
  • the image processor 160 may display the common region in a color, brightness, or the like different from the other regions.
  • the image processor 160 may display the common area relatively brighter than the difference area. That is, the image processor 160 generates a composite front image in which a common area, which is an area in which the second front image is synthesized, among the first front images is displayed relatively brightly compared to other areas. In other words, the image processor 160 brightly displays the area in which the first front image and the second front image are combined, and generates a synthesized front image that darkens the area in which the second front image is not synthesized from the first front image. do.
  • the image processor 160 may adjust color and transparency in order to minimize the sense of heterogeneity of the synthesized front image so that the synthesized area does not differ from the color and transparency of other areas.
  • the image processor 160 displays the bucket 12 in an opaque state until the bucket 12 covers the object, and the bucket 12 is translucent or transparent from the point when the bucket 12 covers the object. It can also be displayed as status
  • the image processor 160 generates a synthesized front image by setting the transparency of the first and second front images to 0.5 and then synthesizing them.
  • the image processor 160 may generate a synthesized front image by dynamically adjusting the transparency of the first front image and the second front image according to the position of the bucket 12 or the arm connected to the bucket 12 and then synthesizing the first and second front images.
  • the image processor 160 sets the weight of the first front image higher than the weight of the second front image. That is, when the bucket 12 is located at the bottom, since there are many blind spots of the second front image, a high weight is set for the first front image having a relatively small blind spot.
  • the image processor 160 assigns a relatively high weight to the first front image captured by the upper camera 120 to set a lower transparency than the second front image, and the second front image captured by the lower camera 140 is A lower weight is assigned to set a higher transparency than the first front image.
  • the image processor 160 sets the weight of the second front image to be higher than the weight of the first front image when the bucket 12 is located in the middle or top. That is, when the bucket 12 is located at the top, since there are many blind spots of the first front image, a high weight is set for the second front image having a relatively small blind spot.
  • the image processor 160 assigns a relatively high weight to the second front image captured by the lower camera 140 to set a lower transparency than the first front image, and the first front image captured by the upper camera 120 is A lower weight is assigned to set a higher transparency than the second front image.
  • the image processor 160 may generate a synthesized front image by synthesizing the first front image and the second front image on a one-to-one basis. That is, the image processor 160 converts the first front image and the second front image into a flat or curved image of a screen (ie, a projection plane) of a predetermined distance, and synthesizes it to generate a synthesized front image.
  • a synthesized front image by synthesizing the first front image and the second front image on a one-to-one basis. That is, the image processor 160 converts the first front image and the second front image into a flat or curved image of a screen (ie, a projection plane) of a predetermined distance, and synthesizes it to generate a synthesized front image.
  • the image processor 160 may generate a composite front image by synthesizing the two images by increasing or decreasing the first and second front images, respectively, without using a projection plane.
  • the image processor 160 needs distance information in order to combine the first front image and the second front image on a one-to-one basis. That is, the image processor 160 converts the first front image and the second front image into a planar image using the distance from the photographing position to the projection surface, and synthesizes the converted planar images to generate a synthesized front image.
  • the image processor 160 may obtain distance information from the first front image and the second front image. That is, the image processor 160 sets a plurality of arbitrary distances (distances from the camera to the projection surface). The image processor 160 converts the first front image into a first projection image based on each arbitrary distance. The image processor 160 converts the second front image into a second projection image based on each arbitrary distance. The image processor 160 calculates a degree of match (similarity) by comparing the converted first and second projection images based on the same arbitrary distance. The image processor 160 compares the coincidence of each of the plurality of arbitrary distances, and sets an arbitrary distance having the highest degree of coincidence as distance information for synthesis.
  • the image processor 160 sets distance information when the wheel loader 10 stops.
  • the image processor 160 generates a first projection image and a second projection image for each arbitrary distance.
  • the image processor 160 sets an arbitrary distance with the highest coincidence between the first and second projection images as distance information.
  • the image processor 160 has been described as setting distance information when the wheel loader 10 stops, but the present invention is not limited thereto, and the distance information may be set even when the wheel loader 10 is running.
  • the image processor 160 sets a first arbitrary distance d1 to a fifth arbitrary distance d5, and the object is located at a fourth arbitrary distance d4.
  • the image processor 160 converts the first front image img1 and the second front image img2 based on the first arbitrary distance d1 to convert the 1-1 projection images img1-1 and 2-1. Create a projection image (img2-1).
  • the image processor 160 calculates a degree of coincidence C1 between the 1-1th projection image img1-1 and the 2-1th projection image img2-1.
  • the image processor 160 converts the first front image img1 and the second front image img2 based on the second arbitrary distance d2 to convert the 1-2 projected images img1-2 and 2-2. Create a projection image (img2-2). The image processor 160 calculates a degree of coincidence C2 between the 1-2 projected image img1-2 and the 2-2 projected image img2-2.
  • the image processor 160 converts the first front image img1 and the second front image img2 based on the third arbitrary distance d2 to convert the 1-3 projected images img1-3 and 2-3 Create a projection image (img2-3).
  • the image processor 160 calculates a degree of match C3 between the 1-3th projection image img1-3 and the 2-3rd projection image img2-3.
  • the image processor 160 converts the first front image img1 and the second front image img2 based on the fourth arbitrary distance d2 to convert the 1-4 projected images img1-4 and 2-4. Create a projection image (img2-4).
  • the image processor 160 calculates a degree of coincidence C4 between the 1-4th projection image img1-4 and the 2-4th projection image img2-4.
  • the image processor 160 converts the first front image img1 and the second front image img2 based on the fifth arbitrary distance d2 to convert the 1-5 projected images img1-5 and 2-5. Create a projection image (img2-5).
  • the image processor 160 calculates a degree of coincidence C5 between the 1-5th projection image img1-5 and the 2-5th projection image img2-5.
  • the image processor 160 compares the matching degrees C1 to C5 of the first random distance d1 to the fifth random distance d5, detects an arbitrary distance having the highest degree of matching, and sets the distance information.
  • the highest degree of coincidence C4 is calculated from the fourth arbitrary distance d4 which is the actual position of the object, the fourth arbitrary distance d4 is set as distance information.
  • the image processor 160 converts the first front image and the second front image of a later viewpoint into a projection image using preset distance information.
  • the image processor 160 resets distance information when the position of the wheel loader 10 is changed, and may set distance information for each viewpoint in order to increase accuracy.
  • the image processor 160 may generate a synthesized front image by converting the first front image and the second front image using distance information manually set by the user, and then synthesizing them.
  • the image processor 160 may acquire distance information through alignment of the upper camera 120 and the lower camera 140. That is, distance information may be obtained through triangulation using the location information of the upper camera 120 and the lower camera 140. Of course, the image processor 160 may acquire distance information through a lidar, a 3D laser scanner, a time-of-flight (TOF) depth camera, an ultrasound camera, or the like.
  • TOF time-of-flight
  • the image processor 160 may set distance information for each area of an image by using a plurality of random distances when there are a plurality of objects and are located at different random distances.
  • the image processor 160 converts the first front image and the second front image into a projection image based on different distance information between the upper region of the image and the lower region of the image, and synthesizes the converted projection images to generate a synthesized front image. .
  • the image processor 160 converts the first front image img1 and the second front image img2 into projection images img1-1 to img1-5 and img2-1 to img2-5 based on each arbitrary distance. .
  • the image processor 160 sets the third arbitrary distance d3 as distance information in the case of the lower region of the image on which the second object is projected, and the fourth arbitrary distance d4 in the case of the remaining image regions excluding the lower region of the image. Is set as distance information.
  • the image processor 160 converts the lower image area of the first front image based on a third random distance d3, and converts the remaining image area of the first front image based on a fourth random distance d4. 1 Create a projection image.
  • the image processor 160 converts the lower image area of the second front image based on a third arbitrary distance d3, and converts the remaining image area of the second front image based on a fourth arbitrary distance d4. 2 Create a projection image.
  • the image processor 160 generates a synthesized front image by synthesizing the first projection image and the second projection image converted by using the two distance information.
  • the image processor 160 converts a first front image and a second front image into a first projection image and a second projection image, respectively, using distance information.
  • the image processor 160 sets feature points on the first front image and the second front image, and sets distance information using feature points that match both the first and second front images.
  • the image processor 160 detects a region to be used for synthesis by using feature points set in the first and second front images.
  • the image processor 160 generates a first projection image by converting the region detected from the first front image using distance information, and converts the region detected from the second front image using the distance information to generate a second projection image. Is created.
  • the image processor 160 generates a composite projection image by synthesizing the first projection image and the second projection image.
  • the image processor 160 generates a composite front image that displays the bucket 12 in a semi-transparent state by setting transparency for an overlapped region of the first and second projection images when generating the composite projection image.
  • the image processor 160 may generate a composite front image in which the overlapped region of the first and second projection images is processed to be brighter than the non-overlapping region.

Abstract

중장비에 배치된 복수의 카메라에서 촬영된 영상을 합성하여 중장비의 전방 영상을 생성하도록 한 중장비용 전방 영상 생성 장치를 제시한다. 제시된 중장비용 전방 영상 생성 장치는 휠 로더의 상부에 배치되어 제1 전방 영상을 생성하는 상단 카메라, 휠 로더의 하부에 배치되어 제2 전방 영상을 생성하는 하단 카메라, 제1 전방 영상 및 제2 전방 영상을 전처리 알고리즘을 통하여 영상처리한 후 합성하여 합성 전방 영상을 생성하는 영상 처리기 및 영상 처리기에서 생성된 합성 전방 영상을 표시하는 디스플레이를 포함한다.

Description

중장비용 전방 영상 생성 장치
본 발명은 중장비용 전방 영상 생성 장치에 관한 것으로, 더욱 상세하게는 휠 로더 등과 같이 작업시 전방을 확인하기 어려운 중장비에서 전방 시야를 확보하기 위한 전방 영상을 생성하는 중장비용 전방 영상 생성 장치에 관한 것이다.
중장비는 건설 현장에서 다양한 작업에 사용되는 장비로, 휠 로더, 포크레인 등을 예로 들 수 있다. 이때, 중장비는 운전자의 전방에 대형 부품이 배치되는 경우가 많기 때문에 작업 중에 대형 부품에 의해 운전자의 전방 시야가 가려진다. 일례로, 휠 로더는 작업시 전방에서 승하강하는 버켓(bucket)에 의해 운전자의 전방 시야가 가려진다.
이처럼, 중장비는 운전자의 전방 시야에 방해가 발생하기 때문에 작업 효율이 떨어지고, 다양한 형태의 안전사고가 발생할 가능성이 높아진다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 중장비에 배치된 복수의 카메라에서 촬영된 영상을 합성하여 중장비의 전방 영상을 생성하도록 한 중장비용 전방 영상 생성 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치는 휠 로더의 상부에 배치되어 제1 전방 영상을 생성하는 상단 카메라, 휠 로더의 하부에 배치되어 제2 전방 영상을 생성하는 하단 카메라, 제1 전방 영상 및 제2 전방 영상을 전처리 알고리즘을 통하여 영상처리한 후 합성하여 합성 전방 영상을 생성하는 영상 처리기 및 영상 처리기에서 생성된 합성 전방 영상을 표시하는 디스플레이를 포함한다.
영상 처리기는 제1 전방 영상과 제2 전방 영상을 합성하거나, 제1 전방 영상에 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성하거나, 제2 전방 영상에 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성할 수 있다. 이때, 영상 처리기는 휠 로더의 버켓을 반투명으로 표시하는 합성 전방 영상을 생성할 수 있다.
영상 처리기는 외부 센서를 활용하여 버켓 위치를 입력받거나, 영상처리를 통한 휠 로더 버켓 위치를 검출한 후, 휠 로더의 버켓 위치에 따라 제1 전방 영상 및 제2 전방 영상에 서로 다른 가중치를 설정하되, 버켓이 하단에 위치하면 제1 전방 영상에 제2 전방 영상보다 더 높은 가중치를 설정하고, 버켓이 상단에 위치하면 제2 전방 영상에 제1 전방 영상 보다 더 높은 가중치를 설정할 수 있다.
영상 처리기는 제1 전방 영상과 제2 전방 영상의 공통 영역을 다른 영역에 비해 밝게 표시하고, 휠 로더의 버켓이 대상물을 가리기 전까지 버켓을 불투명 상태로 표시하고, 버켓이 대상물을 가리는 시점부터 버켓을 반투명 상태로 표시하는 합성 전방 영상을 생성할 수 있다.
영상 처리기가 합성 전방 영상을 생성하기 위해서는 투영면(또는 투영스페이스)을 설정하고 이 설정된 투영면에 복수의 카메라가 촬영한 영상을 합성해야 한다. 투영면을 설정하는 방법으로는 예를 들어, 각종 센서, 제어기 등으로부터 취득한 정보를 이용해서 거리 정보와 자세 정보 등을 파악하여 투영면을 설정할 수 있다. 또는 촬영된 전방 영상들의 특징점을 분석하여 투영면을 설정하거나, 촬영된 전방 영상들의 곡면 정보(변곡면 등)를 분석하여 투영면을 설정할 수 있다. 그리고, 이러한 설정 방법들을 둘 이상 조합하여 투영면을 설정하는 것도 가능하다.
복수의 카메라가 각각 촬영한 영상은 전체 또는 부분별 휘도, 투명도, 밝기 등에 차이가 있을 수 있기 때문에 합성 전방 영상에서의 이질감을 최소화시키기 위해서는, 복수의 카메라가 촬영한 영상을 설정된 투영면 또는 투영스페이스로 투영할 때 또는 그 이후에, 각 영상의 전체 또는 부분별 휘도, 투명도, 밝기를 변환하여 합성하는 것이 필요하다.
합성 전방 영상의 합성 방법에 대해 예를 들어 설명하면, 물체가 일정 거리에 있을 경우, 그 일정 거리의 평면을 투영면으로 설정하고 투영면에 해당하는 각도로 각 카메라 영상을 투영(변환)하면 복수의 카메라에서 촬영된 영상을 투영면에서 일치하게 합성하는 것이 가능하다.
또한, 여러 물체가 각각 다른 거리에 있을 경우, 각 물체가 차지하고 있는 영역을 기준으로 영상을 분할하고, 분할된 각 영역마다 해당하는 물체와의 거리에 설정된 투영면에 대해 합성 작업을 수행하여 합성 전방 영상을 합성하는 것도 가능하다. 그리고, 여러 물체가 각각 다른 거리에 있을 경우 각 물체의 거리 정보를 종합하여 이 정보를 기반으로 입체적 투영면을 설정하여 입체적 투영면의 각 투영면에 대해 촬영된 영상을 합성함으로써 합성 전방 영상을 생성하는 것도 가능하다. 이하의 설명에서 투영면은 입체적 투영면을 포함하는 것으로 한다.
합성 전방 영상을 합성하기 위해 투영면을 설정할 때, 복수의 카메라가 촬영한 각 영상 상의 특징점을 추출하고 동일한 피사체에 대한 일치도를 평가하여 매칭되는 특징점들을 추출하고, 매칭된 특징점들을 서로 대응시켜 투영면을 최적화하는 방법으로 투영면을 생성하여 합성 전방 영상을 생성하는 것도 가능하다. 이 방법의 경우 영상의 각 부분별로 늘어나거나 줄어들면서 복수의 영상이 일치되면서 합성된다.
특징점을 추출하여 매칭을 시키는 것은 프로세서의 부담이 클 수 있기 때문에 미리 복수의 카메라가 촬영한 각 영상에 대해 특징점들을 설정해 두고, 또 이 설정된 특징점들이 각 영상에서 어떻게 매칭되는지에 대한 정보를 미리 설정해 두는 방법이 있다. 이 방법에 있어서, 각 카메라가 촬영한 영상은 각 영상의 특징점을 기준으로 상호 매칭되는 특징점들이 일치하도록 합성 전방 영상이 생성되기 때문에, 영상의 각 부분별로 늘어나거나 줄어들면서 복수의 영상이 일치되면서 합성된다. 특징점과 매칭 정보가 미리 설정되어 있기 때문에 프로세서의 부담을 줄일 수 있고, 복수의 카메라가 촬영한 각 영상의 왜곡을 부분별로 조절하여 합성 전방 영상을 생성하는 것이 가능하다. 각 영상에 매칭점을 설정하는 것에 대한 예는 도 11 및 도 12를 참고할 수 있다.
영상 처리기는 거리 정보를 근거로 제1 전방 영상 및 제2 전방 영상을 제1 투영 영상 및 제2 투영 영상으로 각각 변환하고, 제1 투영 영상 및 제2 투영 영상을 합성한 합성 전방 영상을 생성할 수 있다. 영상 처리기는 복수의 임의 거리를 설정하고, 복수의 임의 거리 각각을 기준으로 제1 전방 영상 및 제2 전방 영상을 제1 투영 영상 및 제2 투영 영상으로 각각 변환하고, 각각의 임의 거리에서 제1 투영 영상 및 제2 투영 영상 사이의 일치도를 산출하고, 일치도가 가장 높은 임의 거리를 거리 정보로 설정하거나 외부에서 입력된 거리 정보를 활용할 수 있다. 이때, 영상 처리기는 휠 로더의 위치가 변경되면 거리 정보를 재설정할 수 있다.
영상 처리기는 제1 전방 영상을 복수의 영역으로 구분하고, 서로 다른 거리 정보를 기준으로 복수의 영역을 투영 영상으로 변환하여 제1 투영 영상을 생성하고, 제2 전방 영상을 복수의 영역으로 구분하고, 서로 다른 거리 정보를 기준으로 복수의 영역을 투영 영상으로 변환하여 제2 투영 영상을 생성할 수 있다.
영상 처리기는 외부에서 입력된 거리 정보를 활용하거나, 제1 전방 영상 및 제2 전방 영상에 설정된 특징점을 근거로 거리 정보를 설정하고, 제1 전방 영상 및 제2 전방 영상에 설정된 특징점을 근거로 제1 전방 영상 및 제2 전방 영상에서 합성에 사용될 영역을 검출할 수 있다.
본 발명에 의하면, 중장비용 전방 영상 생성 장치는 휠 로더의 상단 및 하단에서 촬영된 영상들을 합성하여 표시함으로써, 휠 로더의 버켓에 의한 사각을 최소화할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 합성 전방 영상에 버켓을 반투명으로 표시함으로써, 운전자의 전방 시야가 버켓에 의해 가려지는 것을 방지할 수 있는 효과가 있다.
도 1 및 도 2는 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치를 설명하기 위한 도면.
도 3 내지 도 10은 도 2의 영상 처리기를 설명하기 위한 도면.
도 11 내지 도 15는 도 2의 영상 처리기가 특징점을 이용해 합성 전방 영상을 생성하는 과정을 설명하기 위한 도면.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치는 휠 로더(10)의 전방 영상을 생성하는 장치로, 휠 로더(10)의 상부에 배치된 상단 카메라(120), 휠 로더(10)의 하부에 배치된 하단 카메라(140)를 포함한다. 일례로, 상단 카메라(120)는 휠 로더(10)의 운전석의 루프 상단에 배치되고, 하단 카메라(140)는 휠 로더(10)의 차체의 정면 하단에 배치된다.
여기서, 도 1에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 상단 카메라(120) 및 하단 카메라(140)의 배치 위치를 휠 로더(10)의 상부 및 하부로 한정하여 설명하였으나 이에 한정되지 않고 전방 영상을 촬영할 수 있는 위치라면 상단 카메라(120) 및 하단 카메라(140)를 대체할 수 있다. 이하의 설명에서는 상단 카메라(120)와 하단 카메라(140)의 2개의 카메라를 중심으로 설명하지만 본 발명은 여기에 한정되지 않고 3개 이상의 카메라를 이용해서 영상을 생성하는 것도 포함되어 해석되어야 한다. 예를 들어, 운전석 전방에 장착된 카메라를 상단 카메라(120) 및 하단 카메라(140)와 둘 이상 조합하여 영상 합성하는 것도 가능하고, 암이나 버켓 등에 장착된 카메라와 같이 전방 영상을 일부라도 촬영할 수 있는 것이라면 본 발명에 따른 영상의 합성에 활용될 수 있다.
상단 카메라(120)는 휠 로더(10)의 상부에서 휠 로더(10)의 전방을 촬영하여 제1 전방 영상을 생성하고, 하단 카메라(140)는 휠 로더(10)의 하부에서 휠 로더(10)의 전방을 촬영하여 제2 전방 영상을 생성한다.
도 2를 참조하면, 중장비용 전방 영상 생성 장치는 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기(160) 및 영상 처리기(160)에서 합성된 합성 전방 영상을 표시하는 디스플레이(180)를 더 포함한다.
영상 처리기(160)는 상단 카메라(120) 및 하단 카메라(140)에서 촬영된 영상을 합성하여 합성 전방 영상을 생성한다. 즉, 영상 처리기(160)는 상단 카메라(120)에서 촬영된 제1 전방 영상과 하단 카메라(140)에서 촬영된 제2 전방 영상을 합성하여 합성 전방 영상을 생성한다. 이때, 영상 처리기(160)는 영상에 포함된 버켓(12)을 반투명으로 표시하는 합성 영상을 생성한다.
이를 통해, 영상 처리기(160)는 버켓(12)에 의해 가려지지 않은 전방 영상과 함께 버켓(12)의 위치, 동작 상태 등을 확인할 수 있는 합성 전방 영상을 운전자에게 제공한다.
한편, 도 3을 참조하면, 버켓(12)이 하단에 배치되면, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물이 버켓(12)에 의해 가려지지 않고, 제2 전방 영상에서는 전방의 대상물 전체가 버켓(12) 및 휠 로더(10)의 바퀴에 의해 가려진다.
버켓(12)이 중간에 배치되면, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물의 하부 일부가 버켓(12)에 의해 가려지고, 제2 전방 영상에서는 전방의 대상물 중 상부 영역 일부가 버켓(12)에 의해 가려진다.
버켓(12)이 상단에 배치되며, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물의 대부분이 버켓(12)에 의해 가려지고, 제2 전방 영상에서는 전방의 대상물이 버켓(12)에 의해 가려지지 않는다.
영상 처리기(160)는 버켓(12)에 의해 대상물이 가려지는 것을 방지하기 위해서 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성한다. 영상 처리기(160)는 상단 카메라(120) 및 하단 카메라(140)에서 동일 시점(時點)에 촬영된 제1 전방 영상 및 제2 전방 영상을 합성하여 전방 시야에 사각이 없는 합성 전방 영상을 생성한다. 이때, 영상 처리기(160)는 합성 전방 영상에 포함된 버켓(12), 암 등과 같은 휠 로더(10)의 구성물들을 반투명으로 표시한 합성 전방 영상을 생성한다.
영상 처리기(160)는 제2 전방 영상에 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 즉, 도 4에 도시된 바와 같이, 영상 처리기(160)는 하단 카메라(140)에서 촬영된 제2 전방 영상을 배경으로 하고, 제2 전방 영상과 동일한 시점(時點)에 상단 카메라(120)에서 촬영된 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 이때, 합성 전방 영상은 휠 로더(10)의 전방 바퀴에 의해 전방 시야에 일부 제약이 발생하지만, 정면 사각 영역을 표시하는데 충분한 전방 시야를 확보할 수 있다. 여기서, 영상 처리기(160)는 제2 전방 영상의 경우 바퀴가 촬영될 수 있으므로, 바퀴가 촬영된 영역도 제1 전방 영상을 이용하여 투명하게 보이도록 합성할 수 있다.
영상 처리기(160)는 제1 전방 영상에 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 즉, 도 5에 도시된 바와 같이, 영상 처리기(160)는 상단 카메라(120)에서 촬영된 제1 전방 영상을 배경으로 하고, 제1 전방 영상과 동일한 시점(時點)에 하단 카메라(140)에서 촬영된 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 이때, 합성 전방 영상은 제1 전방 영상을 배경으로 하기 때문에 제2 전방 영상을 배경으로 하는 합성 전방 영상에 비해 상대적으로 넓은 화각을 갖는다.
영상 처리기(160)는 합성 전방 영상의 생성시 버켓(12)의 위치에 따라 제1 전방 영상 및 제2 전방 영상에 서로 다른 가중치를 부여하여 합성할 수 있다. 영상 처리기(160)는 버켓(12)이 하단에 위치한 경우 제1 전방 영상에 더 높은 가중치를 부여하고, 버켓(12)이 상단에 위치한 경우 제2 전방 영상에 더 높은 가중치를 부여한다.
영상 처리기(160)는 제1 전방 영상에 제2 전방 영상을 합성하는 경우 공통 영역을 다른 영역과 다른 색상, 밝기 등으로 표시할 수 있다. 일례로, 도 6을 참조하면, 영상 처리기(160)는 제1 전방 영상에 제2 전방 영상을 합성하는 경우 공통 영역을 차이나는 영역보다 상대적으로 밝게 표시할 수 있다. 즉, 영상 처리기(160)는 제1 전방 영상 중에서 제2 전방 영상이 합성되는 영역인 공통 영역을 다른 영역에 비해 상대적으로 밝게 표시되는 합성 전방 영상을 생성한다. 다시 말해, 영상 처리기(160)는 제1 전방 영상과 제2 전방 영상이 합성된 영역을 밝게 표시하고, 제1 전방 영상에서 제2 전방 영상이 합성되지 않는 영역을 어둡게 표시하는 합성 전방 영상을 생성한다.
도 7을 참조하면, 영상 처리기(160)는 합성 전방 영상의 이질감을 최소화하기 위해서 색상 및 투명도를 조절하여 합성 영역이 다른 영역의 색상 및 투명도와 차이 나지 않도록 할 수도 있다.
도 8을 참조하면, 영상 처리기(160)는 버켓(12)이 대상물을 가리기 전까지 버켓(12)을 불투명 상태로 표시하고, 버켓(12)이 대상물을 가리는 시점부터 버켓(12)을 반투명 또는 투명 상태로 표시할 수도 있다.
영상 처리기(160)는 제1 전방 영상 및 제2 전방 영상의 투명도를 0.5로 설정한 후 합성하여 합성 전방 영상을 생성한다. 영상 처리기(160)는 버켓(12) 또는 버켓(12)에 연결된 암의 위치에 따라 제1 전방 영상 및 제2 전방 영상의 투명도를 동적으로 조절한 후 합성하여 합성 전방 영상을 생성할 수도 있다.
일례로, 영상 처리기(160)는 버켓(12)이 하단에 위치한 경우 제1 전방 영상의 가중치를 제2 전방 영상의 가중치보다 높게 설정한다. 즉, 버켓(12)이 하단에 위치한 경우 제2 전방 영상의 사각 영역이 많기 때문에 상대적으로 적은 사각 영역을 갖는 제1 전방 영상에 높은 가중치를 설정한다. 영상 처리기(160)는 상단 카메라(120)에서 촬영된 제1 전방 영상에 상대적으로 높은 가중치를 부여하여 제2 전방 영상보다 낮은 투명도를 설정하고, 하단 카메라(140)에서 촬영된 제2 전방 영상에 낮은 가중치를 부여하여 제1 전방 영상보다 높은 투명도를 설정한다.
다른 일례로, 영상 처리기(160)는 버켓(12)이 중간 또는 상단에 위치한 경우 제2 전방 영상의 가중치를 제1 전방 영상의 가중치보다 높게 설정한다. 즉, 버켓(12)이 상단에 위치한 경우 제1 전방 영상의 사각 영역이 많기 때문에 상대적으로 적은 사각 영역을 갖는 제2 전방 영상에 높은 가중치를 설정한다. 영상 처리기(160)는 하단 카메라(140)에서 촬영된 제2 전방 영상에 상대적으로 높은 가중치를 부여하여 제1 전방 영상보다 낮은 투명도를 설정하고, 상단 카메라(120)에서 촬영된 제1 전방 영상에 낮은 가중치를 부여하여 제2 전방 영상보다 높은 투명도를 설정한다.
영상 처리기(160)는 제1 전방 영상과 제2 전방 영상을 일 대 일로 합성하여 합성 전방 영상을 생성할 수도 있다. 즉, 영상 처리기(160)는 제1 전방 영상 및 제2 전방 영상을 일정거리의 스크린(즉, 투영면(Projection plane))의 평면 또는 곡면 영상으로 변환한 후 합성하여 합성 전방 영상을 생성한다.
영상 처리기(160)는 투영면을 사용하지 않고 제1 전방 영상과 제2 전방 영상을 각각 늘이거나 줄여서 두 영상을 일치시킨 후에 합성하여 합성 전방 영상을 생성할 수도 있다.
영상 처리기(160)는 제1 전방 영상 및 제2 전방 영상을 일 대 일로 합성하기 위해서는 거리 정보가 필요하다. 즉, 영상 처리기(160)는 촬영 위치에서 투영면까지의 거리를 이용하여 제1 전방 영상과 제2 전방 영상을 평면 이미지로 변환하고, 변환된 평면 이미지들을 합성하여 합성 전방 영상을 생성한다.
영상 처리기(160)는 제1 전방 영상 및 제2 전방 영상으로부터 거리 정보를 획득할 수 있다. 즉, 영상 처리기(160)는 복수의 임의 거리(카메라에서 투영면까지의 거리)를 설정한다. 영상 처리기(160)는 각 임의 거리를 기준으로 제1 전방 영상을 제1 투영 영상으로 변환한다. 영상 처리기(160)는 각 임의 거리를 기준으로 제2 전방 영상을 제2 투영 영상으로 변환한다. 영상 처리기(160)는 동일한 임의 거리를 기준으로 변환된 제1 투영 영상 및 제2 투영 영상을 비교하여 일치도(유사도)를 산출한다. 영상 처리기(160)는 복수의 임의 거리 각각의 일치도를 비교하여 가장 높은 일치도를 갖는 임의 거리를 합성을 위한 거리 정보로 설정한다.
이를 위해, 영상 처리기(160)는 휠 로더(10)가 정차하면 거리 정보를 설정한다. 영상 처리기(160)는 각각의 임의 거리별로 제1 투영 영상 및 제2 투영 영상을 생성한다. 영상 처리기(160)는 제1 투영 영상 및 제2 투영 영상의 일치도가 가장 높은 임의 거리를 거리 정보로 설정한다. 여기서, 영상 처리기(160)는 휠 로더(10)가 정차하면 거리 정보를 설정한 것으로 설명하였으나, 이에 한정되지 않고 휠 로더(10)가 운행 중인 상태에서도 거리 정보를 설정할 수 있다.
일례로, 도 9를 참조하면, 영상 처리기(160)는 제1 임의 거리(d1) 내지 제5 임의 거리(d5)를 설정하고, 대상물은 제4 임의 거리(d4)에 위치한 것으로 가정한다.
영상 처리기(160)는 제1 임의 거리(d1)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-1 투영 영상(img1-1) 및 제2-1 투영 영상(img2-1)을 생성한다. 영상 처리기(160)는 제1-1 투영 영상(img1-1) 및 제2-1 투영 영상(img2-1)의 일치도(C1)를 산출한다.
영상 처리기(160)는 제2 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-2 투영 영상(img1-2) 및 제2-2 투영 영상(img2-2)을 생성한다. 영상 처리기(160)는 제1-2 투영 영상(img1-2) 및 제2-2 투영 영상(img2-2)의 일치도(C2)를 산출한다.
영상 처리기(160)는 제3 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-3 투영 영상(img1-3) 및 제2-3 투영 영상(img2-3)을 생성한다. 영상 처리기(160)는 제1-3 투영 영상(img1-3) 및 제2-3 투영 영상(img2-3)의 일치도(C3)를 산출한다.
영상 처리기(160)는 제4 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-4 투영 영상(img1-4) 및 제2-4 투영 영상(img2-4)을 생성한다. 영상 처리기(160)는 제1-4 투영 영상(img1-4) 및 제2-4 투영 영상(img2-4)의 일치도(C4)를 산출한다.
영상 처리기(160)는 제5 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-5 투영 영상(img1-5) 및 제2-5 투영 영상(img2-5)을 생성한다. 영상 처리기(160)는 제1-5 투영 영상(img1-5) 및 제2-5 투영 영상(img2-5)의 일치도(C5)를 산출한다.
영상 처리기(160)는 제1 임의 거리(d1) 내지 제5 임의 거리(d5)의 일치도(C1~C5)를 비교하여 가장 높은 일치도를 갖는 임의 거리를 검출하여 거리 정보로 설정한다. 이때, 도 9에서는 대상물의 실제 위치인 제4 임의 거리(d4)에서 가장 높은 일치도(C4)가 산출되므로, 제4 임의 거리(d4)를 거리 정보로 설정한다.
영상 처리기(160)는 휠 로더(10)의 위치가 변경되지 않으면, 기설정된 거리 정보를 이용하여 이후 시점(時點)의 제1 전방 영상 및 제2 전방 영상을 투영 영상으로 변환한다. 영상 처리기(160)는 휠 로더(10)의 위치가 변경되면 거리 정보를 재설정하며, 정확도를 높이기 위해서는 각 시점별로 거리정보를 설정할 수도 있다.
한편, 영상 처리기(160)는 사용자에 의해 수동으로 설정된 거리 정보를 이용하여 제1 전방 영상 및 제2 전방 영상을 변환한 후 이들을 합성하여 합성 전방 영상을 생성할 수도 있다.
영상 처리기(160)는 상단 카메라(120) 및 하단 카메라(140)의 얼라인(Align)을 통해 거리 정보를 취득할 수도 있다. 즉, 상단 카메라(120) 및 하단 카메라(140)의 위치 정보를 이용한 삼각 측량법을 통해 거리 정보를 취득할 수도 있다. 물론, 영상 처리기(160)는 라이다(Lidar), 3차원 레이저 스캐너, TOF(Time-Of-flight) 방식의 깊이 카메라, 초음파 카메라 등을 통해 거리 정보를 취득할 수도 있다.
영상 처리기(160)는 대상물이 복수이고, 서로 다른 임의 거리에 위치한 경우 복수의 임의 거리를 이용하여 영상의 영역별로 거리 정보를 설정할 수도 있다. 영상 처리기(160)는 영상 상단 영역과 영상 하단 영역을 서로 다른 거리 정보를 기준으로 제1 전방 영상 및 제2 전방 영상을 투영 영상으로 변환하고, 변환된 투영 영상들을 합성하여 합성 전방 영상을 생성한다.
일례로, 도 10을 참조하면, 제1 대상물이 제4 임의 거리(d4)에 위치하고, 제2 대상물이 제3 임의 거리(d3)에 위치한 것으로 가정한다. 영상 처리기(160)는 각 임의 거리를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 투영 영상(img1-1~img1-5, img2-1~img2-5)으로 변환한다.
제1 대상물에 대해서는 제4 임의 거리(d4)에서의 일치도가 가장 높고, 제2 대상물에 대해서는 제3 임의 거리(d3)에서의 일치도가 가장 높게 산출된다. 따라서, 영상 처리기(160)는 제2 대상물이 투영되는 영상 하단 영역의 경우 제3 임의 거리(d3)를 거리 정보로 설정하고, 영상 하단 영역을 제외한 나머지 영상 영역의 경우 제4 임의 거리(d4)를 거리 정보로 설정한다.
영상 처리기(160)는 제3 임의 거리(d3)를 기준으로 제1 전방 영상의 영상 하단 영역을 변환하고, 제4 임의 거리(d4)를 기준으로 제1 전방 영상의 나머지 영상 영역을 변환하여 제1 투영 영상을 생성한다.
영상 처리기(160)는 제3 임의 거리(d3)를 기준으로 제2 전방 영상의 영상 하단 영역을 변환하고, 제4 임의 거리(d4)를 기준으로 제2 전방 영상의 나머지 영상 영역을 변환하여 제2 투영 영상을 생성한다.
영상 처리기(160)는 두 개의 거리 정보를 이용하여 변환한 제1 투영 영상 및 제2 투영 영상을 합성하여 합성 전방 영상을 생성한다.
도 11 내지 도 15를 참조하면, 영상 처리기(160)는 거리 정보를 이용하여 제1 전방 영상 및 제2 전방 영상을 각각 제1 투영 영상 및 제2 투영 영상으로 변환한다. 영상 처리기(160)는 제1 전방 영상 및 제2 전방 영상에 특징점을 설정하고, 제1 전방 영상 및 제2 전방 영상에 모두 매칭되는 특징점들을 이용하여 거리 정보를 설정한다. 영상 처리기(160)는 제1 전방 영상 및 제2 전방 영상에 설정된 특징점들을 이용하여 합성에 사용될 영역을 검출한다. 영상 처리기(160)는 거리 정보를 이용하여 제1 전방 영상에서 검출한 영역을 변환하여 제1 투영 영상을 생성하고, 거리 정보를 이용하여 제2 전방 영상에서 검출한 영역을 변환하여 제2 투영 영상을 생성한다. 영상 처리기(160)는 제1 투영 영상과 제2 투영 영상을 합성하여 합성 투영 영상을 생성한다. 이때, 영상 처리기(160)는 합성 투영 영상 생성시 제1 투영 영상과 제2 투영 영상의 중첩 영역에 대한 투명도를 각각 설정하여 버켓(12)을 반투명 상태로 표시하는 합성 전방 영상을 생성한다. 영상 처리기(160)는 제1 투영 영상과 제2 투영 영상의 중첩 영역을 비중첩 영역보다 밝게 처리된 합성 전방 영상을 생성할 수도 있다.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.

Claims (20)

  1. 두 개 이상의 복수의 카메라를 사용해서 합성 전방 영상을 생성하는 중장비용 전방 영상 생성 장치로서,
    휠 로더에 배치되어 제1 전방 영상을 생성하는 상단 카메라;
    상기 휠 로더에 배치되어 제2 전방 영상을 생성하는 하단 카메라; 및
    상기 제1 전방 영상 및 상기 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함하는 중장비용 전방 영상 생성 장치.
  2. 제1항에 있어서,
    상기 영상 처리기는 상기 제1 전방 영상에 상기 제2 전방 영상의 일부 또는 전부를 합성하여 합성 전방 영상을 생성하는 중장비용 전방 영상 생성 장치.
  3. 제1항에 있어서,
    상기 영상 처리기는 상기 제2 전방 영상에 상기 제1 전방 영상의 일부 또는 전부를 합성하여 합성 전방 영상을 생성하는 중장비용 전방 영상 생성 장치.
  4. 제1항에 있어서,
    상기 영상 처리기는 상기 휠 로더의 버켓 및 휠 중 적어도 하나를 반투명으로 표시하는 합성 전방 영상을 생성하는 중장비용 전방 영상 생성 장치.
  5. 제1항에 있어서,
    상기 영상 처리기는 상기 휠 로더의 버켓 위치에 따라 상기 제1 전방 영상 및 상기 제2 전방 영상에 서로 다른 가중치를 설정하는 중장비용 전방 영상 생성 장치.
  6. 제1항에 있어서,
    상기 영상 처리기는 상기 휠 로더의 버켓이 대상물을 가리기 전까지 상기 버켓을 불투명 상태로 표시하고, 상기 버켓이 대상물을 가리는 시점부터 상기 버켓을 반투명 상태로 표시하는 합성 전방 영상을 생성하는 중장비용 전방 영상 생성 장치.
  7. 제1항에 있어서,
    상기 영상 처리기는 제1 투영 영상 및 제2 투영 영상을 일치시켜 합성하는 중장비용 전방 영상 생성 장치.
  8. 제1항에 있어서,
    상기 영상 처리기는 거리 정보를 근거로 상기 제1 전방 영상 및 상기 제2 전방 영상을 제1 투영 영상 및 제2 투영 영상으로 각각 변환하고, 상기 제1 투영 영상 및 상기 제2 투영 영상을 합성한 합성 전방 영상을 생성하는 중장비용 전방 영상 생성 장치.
  9. 제8항에 있어서,
    상기 영상 처리기는 복수의 임의 거리를 설정하고, 상기 복수의 임의 거리 각각을 기준으로 상기 제1 전방 영상 및 상기 제2 전방 영상을 제1 투영 영상 및 제2 투영 영상으로 각각 변환하고, 각각의 임의 거리에서 제1 투영 영상 및 제2 투영 영상 사이의 일치도를 산출하고, 일치도가 가장 높은 임의 거리를 거리 정보로 설정하는 중장비용 전방 영상 생성 장치.
  10. 제9항에 있어서,
    상기 영상 처리기는 외부 센서 또는 입력 장치를 통해 입력되는 임의 거리를 거리 정보로 설정하는 중장비용 전방 영상 생성 장치.
  11. 제9항에 있어서,
    상기 영상 처리기는 상기 휠 로더의 위치가 변경되면 상기 거리 정보를 재설정하는 중장비용 전방 영상 생성 장치.
  12. 제11항에 있어서,
    상기 영상 처리기는
    상기 영상 처리기는 상기 제1 전방 영상을 복수의 영역으로 구분하고, 복수의 영역에 대해 서로 다른 거리 정보를 기준으로 상기 복수의 영역을 투영 영상으로 변환하여 제1 투영 영상을 생성하고,
    상기 제2 전방 영상을 복수의 영역으로 구분하고, 복수의 영역에 대해 서로 다른 거리 정보를 기준으로 상기 복수의 영역을 투영 영상으로 변환하여 제2 투영 영상을 생성하는 중장비용 전방 영상 생성 장치.
  13. 제1항에 있어서,
    상기 영상 처리기는 상기 제1 전방 영상 및 상기 제2 전방 영상에 설정된 특징점을 근거로 거리 정보를 설정하는 중장비용 전방 영상 생성 장치.
  14. 제13항에 있어서,
    상기 영상 처리기는 상기 제1 전방 영상 및 상기 제2 전방 영상에 설정된 특징점을 근거로 상기 제1 전방 영상 및 상기 제2 전방 영상에서 합성에 사용될 영역을 검출하는 중장비용 전방 영상 생성 장치.
  15. 제8항에 있어서,
    상기 영상 처리기는 투영면 또는 투영스페이스를 설정하여 상기 제1 투영 영상 및 상기 제2 투영 영상으로 변환시키는 중장비용 전방 영상 생성 장치.
  16. 제15항에 있어서,
    센서, 제어기 등으로부터 취득한 정보를 이용해 거리 정보와 자세 정보 등을 파악하여 투영면 또는 투영스페이스를 설정하는 중장비용 전방 영상 생성 장치.
  17. 제15항에 있어서,
    촬영된 영상의 특징점 및/또는 곡면 정보를 분석하여 투영면을 설정하는 중장비용 전방 영상 생성 장치.
  18. 제1항에 있어서,
    상기 영상 처리기는 촬영된 복수의 물체가 각각 다른 거리에 있을 경우 각 물체의 거리 정보를 기반으로 입체적 투영면을 설정하고 입체적 투영면의 각 투영면에 대해 영상을 합성하는 중장비용 전방 영상 생성 장치.
  19. 제1항에 있어서,
    상기 영상 처리기는 각 영상의 특징점들을 이용하여 촬영된 각 영상이 부분별로 늘어나거나 줄어들도록 하여 복수의 영상을 합성하는 중장비용 전방 영상 생성 장치.
  20. 제19항에 있어서,
    상기 특징점은 각 영상에 대해 미리 설정되어 있는 중장비용 전방 영상 생성 장치.
PCT/KR2020/012605 2019-09-20 2020-09-18 중장비용 전방 영상 생성 장치 WO2021054756A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20865024.2A EP4033749A4 (en) 2019-09-20 2020-09-18 FRONT IMAGE GENERATION DEVICE FOR HEAVY EQUIPMENT
CN202080064506.2A CN114375568A (zh) 2019-09-20 2020-09-18 用于重型机械的前方影像生成装置
US17/761,985 US20220329731A1 (en) 2019-09-20 2020-09-18 Front image generation device for heavy equipment

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0116070 2019-09-20
KR20190116070 2019-09-20
KR10-2019-0158373 2019-12-02
KR1020190158373A KR102235123B1 (ko) 2019-09-20 2019-12-02 중장비용 전방 영상 생성 장치

Publications (1)

Publication Number Publication Date
WO2021054756A1 true WO2021054756A1 (ko) 2021-03-25

Family

ID=74882987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012605 WO2021054756A1 (ko) 2019-09-20 2020-09-18 중장비용 전방 영상 생성 장치

Country Status (4)

Country Link
US (1) US20220329731A1 (ko)
EP (1) EP4033749A4 (ko)
CN (1) CN114375568A (ko)
WO (1) WO2021054756A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4134492A1 (en) * 2021-07-28 2023-02-15 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130069912A (ko) * 2011-12-19 2013-06-27 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
KR20160146698A (ko) * 2014-04-25 2016-12-21 스미토모 겐키 가부시키가이샤 건설기계
KR20180065758A (ko) * 2016-12-08 2018-06-18 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
KR20180078970A (ko) * 2016-12-30 2018-07-10 화남전자 주식회사 건설장비의 주변부 모니터링을 위한 카메라 배치 구조

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
US9143529B2 (en) * 2011-10-11 2015-09-22 Citrix Systems, Inc. Modifying pre-existing mobile applications to implement enterprise security policies
EP2955914B1 (en) * 2013-02-08 2018-10-17 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring device for slewing-type work machine
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
JP6913630B2 (ja) * 2015-08-24 2021-08-04 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP2017198742A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 投影装置及びその制御方法、投影システム
CN107404643B (zh) * 2016-05-18 2019-01-29 上海宽翼通信科技有限公司 一种三维摄像系统及其摄像方法
JP6251453B1 (ja) * 2017-02-09 2017-12-20 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130069912A (ko) * 2011-12-19 2013-06-27 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
KR20160146698A (ko) * 2014-04-25 2016-12-21 스미토모 겐키 가부시키가이샤 건설기계
KR20180065758A (ko) * 2016-12-08 2018-06-18 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
KR20180078970A (ko) * 2016-12-30 2018-07-10 화남전자 주식회사 건설장비의 주변부 모니터링을 위한 카메라 배치 구조

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4134492A1 (en) * 2021-07-28 2023-02-15 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery

Also Published As

Publication number Publication date
US20220329731A1 (en) 2022-10-13
EP4033749A1 (en) 2022-07-27
EP4033749A4 (en) 2023-10-04
CN114375568A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP6645151B2 (ja) 投影装置、投影方法及び投影用コンピュータプログラム
JP2019024151A (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
WO2017204571A1 (ko) 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
JPH1098646A (ja) 被写体抽出方式
KR20140112043A (ko) 작업기계용 주변감시장치
WO2012148025A1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
JP2019024150A (ja) ガイド情報表示装置およびクレーン
US9542733B2 (en) Image processing method, imaging processing apparatus and image processing program for correcting density values between at least two images
JP2023075366A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
WO2021054756A1 (ko) 중장비용 전방 영상 생성 장치
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
JP2019023774A (ja) 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
KR102235123B1 (ko) 중장비용 전방 영상 생성 장치
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
CN108280807A (zh) 单目深度图像采集装置和系统及其图像处理方法
JP2019023568A (ja) 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
JP2019023117A (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
WO2018110978A1 (ko) 영상합성 시스템 및 영상합성방법
US7123748B2 (en) Image synthesizing device and method
WO2021054757A1 (ko) 건설장비용 전방 영상 생성 장치
WO2012002601A1 (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2017213335A1 (ko) 실시간 영상 합성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20865024

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020865024

Country of ref document: EP

Effective date: 20220420