WO2021054758A1 - 건설장비용 전방 영상 생성 장치 - Google Patents

건설장비용 전방 영상 생성 장치 Download PDF

Info

Publication number
WO2021054758A1
WO2021054758A1 PCT/KR2020/012608 KR2020012608W WO2021054758A1 WO 2021054758 A1 WO2021054758 A1 WO 2021054758A1 KR 2020012608 W KR2020012608 W KR 2020012608W WO 2021054758 A1 WO2021054758 A1 WO 2021054758A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
synthesis
region
construction equipment
front image
Prior art date
Application number
PCT/KR2020/012608
Other languages
English (en)
French (fr)
Inventor
박재홍
이정표
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190158375A external-priority patent/KR20210034450A/ko
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Publication of WO2021054758A1 publication Critical patent/WO2021054758A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a front image generating device for construction equipment, and more particularly, a front image generating device for construction equipment that generates a front image for securing a front view in construction equipment such as wheel loaders that is difficult to check the front during work. It is about.
  • Construction equipment is equipment that is used for various works on a construction site, for example, a wheel loader and a forklift.
  • a wheel loader and a forklift.
  • the driver's front view is obscured by the large parts during work.
  • the driver's front view is obscured by a bucket that moves up and down from the front during work.
  • the present invention has been proposed to solve the above-described conventional problem, and by synthesizing an image of a predetermined area among the front image of the second view to the front image of the first view, objects in the area covered by the field obstruction part can also be displayed.
  • An object of the present invention is to provide an apparatus for generating a front image for construction equipment capable of generating a composite front image.
  • the front image generating device for construction equipment is a front image generating device for construction equipment that generates a front image of a construction equipment in which a blind spot occurs in the front by a part that obstructs the view.
  • a synthesis region is defined in the front image
  • a synthesis target region is defined in the second front image
  • an image processor for generating a synthesis front image by synthesizing an image of the synthesis target region into the synthesis region.
  • the image processor may combine the position on the ground of an object included in the image of the synthesis target region and the position on the ground of the same object included in the image of the synthesis region.
  • an object included in the image of the synthesis target region is synthesized with a length longer than that of the same object included in the image of the synthesis region, and the synthesis region and the synthesis target region may include two or more vertices having the same position on the ground.
  • the first camera and the second camera may be disposed on construction equipment, the first camera may be disposed above the second camera, and the composite region may be disposed in the center of the first front image.
  • the image processor may replace the image of the synthesis region with the image of the synthesis target region, or the image processor may synthesize the image of the synthesis region and the image of the synthesis target region.
  • the image processor adds transparency to the image of the synthesis region and the image of the synthesis target region, and then synthesizes the image of the synthesis region, but may impart higher transparency to the image of the synthesis region than the image of the synthesis region.
  • the image processor may synthesize the image of the synthesis target region into the synthesis region. At this time, if the edge component of the visual field obstruction component is detected in the image of the composite region, the image of the target region is synthesized into the composite region, or a marker is mounted on the visual field obstruction part and the image processor detects a marker in the image of the composite region. The image of the region can be synthesized into the synthesis region.
  • the image processor may convert the image of the synthesis target region into a first view and then synthesize the image into the synthesis region.
  • the image processor converts the first front image and the image of the target region to be synthesized into a bird's eye view image, then synthesizes the image of the region to be synthesized in the region to be synthesized, and converts the first forward image from which the image of the region to be synthesized is synthesized to a first viewpoint. You may.
  • the image processor may convert the first front image and the image of the synthesis target region into a third view, and then synthesize the region of the synthesis target region with the synthesis region of the first forward image.
  • the image processor may move the synthesis target region when one of the first camera and the second camera moves, but may move the synthesis target region based on a difference between the first viewpoint and the second viewpoint.
  • the front image generating apparatus for construction equipment is a combination of images taken from the top and the bottom of the construction equipment and displays it, thereby preventing the occurrence of blind spots caused by parts that obstruct the view of the construction equipment, thereby preventing the driver's front view from being obscured. There is an effect that can be prevented.
  • the front image generating device for construction equipment is by synthesizing a part of the second front image (ie, the image of the target area to be synthesized) to the central part (ie, the synthesis area), which is the area where the visual field obstruction part is mainly located in the first front image.
  • the central part ie, the synthesis area
  • the front image generating apparatus for construction equipment has an effect of rapidly processing image processing by minimizing the amount of computation for image processing by converting a viewpoint of only a predetermined area from the second front image and synthesizing it to the first front image.
  • the front image generating apparatus for construction equipment has an effect of providing an accurate position of an object covered by a part obstructing the view by matching the position of the object on the ground when the viewpoint is changed.
  • the front image generating apparatus for construction equipment has an effect of generating a composite front image having a third viewpoint such as a driver's viewpoint, thereby providing a front image of the same viewpoint as the driver actually operates from the driver's seat.
  • the forward image generating device for construction equipment is displayed in a sharply enlarged and exaggerated display in contrast to the driving speed of the construction equipment, the effect of giving attention (recognition) to the obstacle to the driver can be maximized.
  • 1 to 4 are views for explaining an apparatus for generating a front image for construction equipment according to an embodiment of the present invention.
  • 5 to 13 are views for explaining the image processor of FIG. 2.
  • 14 to 17 are diagrams for explaining a modified example of the image processor of FIG. 2.
  • the front image generating apparatus for construction equipment synthesizes and displays images taken from a plurality of cameras installed in the construction equipment, thereby causing a blind spot caused by a component of the construction equipment (that is, a part that obstructs the view).
  • the purpose and effect are to relieve the rent.
  • a front image generating apparatus for construction equipment includes a first camera 110, a second camera 130, an image processor 150, and a display 170.
  • the first camera 110 photographs the front of the wheel loader 10 and generates a first front image FI1 having a first viewpoint.
  • the first camera 110 generates a first front image FI1 by photographing the front of the wheel loader 10 from the top of the wheel loader 10.
  • the first camera 110 is disposed above the second camera 130.
  • the first camera 110 is disposed above the cab of the wheel loader 10, and takes an example of generating a first front image FI1 by photographing the front (front) of the wheel loader 10.
  • the second camera 130 photographs the front of the wheel loader 10 and generates a second front image FI2 having a second viewpoint.
  • the second viewpoint is a viewpoint different from the first viewpoint.
  • the second camera 130 is disposed at the lower front of the wheel loader 10 and photographs the front of the wheel loader 10 to generate a second front image FI2.
  • the second camera 130 is disposed below the first camera 110.
  • the second camera 130 is disposed at the lower front of the first vehicle body 14 of the wheel loader 10, and photographs the front (front) of the wheel loader 10 from the lower end of the vehicle body of the wheel loader 10 2 It is assumed that the front image FI2 is generated as an example.
  • the arrangement positions of the first camera 110 and the second camera 130 are limited to the upper and lower ends of the wheel loader 10, but are not limited thereto.
  • the first camera 110 and the second camera 130 may be disposed in a position where a front image can be photographed.
  • the present invention is not limited to this, and the analysis includes generating an image using three or more cameras. It should be. For example, it is possible to combine two or more cameras mounted in front of the driver's seat with the first camera 110 and the second camera 130 to synthesize images, and a front image such as a camera mounted on an arm or bucket 12 If it is possible to photograph even a part of it, it can be used for the synthesis of the image according to the present invention.
  • the image processor 150 synthesizes images captured by the first camera 110 and the second camera 130 to generate a synthesized front image (CFI). That is, the image processor 150 synthesizes the first front image FI1 photographed by the first camera 110 and the second front image FI2 photographed by the second camera 130 to generate a composite front image (CFI). Is created.
  • CFI synthesized front image
  • the image processor 150 synthesizes a second front image FI2 with a first front image FI1 to generate a synthesized front image CFI. That is, the image processor 150 sets the synthesis area CA1 in the first front image FI1.
  • the image processor 150 sets the synthesis area CA1 in the center of the first front image FI1. That is, the image processor 150 sets the area so that the center point of the first front image FI1 and the center point of the synthesis area CA1 coincide.
  • the image processor 150 may set the synthesis area CA so that the center point of the first front image FI1 is included in the synthesis area CA1.
  • the image processor 150 detects an image of an image of the synthesis target region CA2 corresponding to the synthesis region CA1 of the first front image FI1 from the second front image FI2.
  • the image processor 150 synthesizes the image of the synthesis target region CA2 from the second front image FI2 to the synthesis region CA1 of the first front image FI1 to generate a synthesized front image CFI. Since the first camera 110 and the second camera 130 capture a front image at different viewpoints and generate a first front image FI1 and a second front image FI2, the image processor 150 A viewpoint (a second viewpoint) of an image of the target area CA2 of the front image FI2 is converted into a viewpoint (a first viewpoint) of the first front image FI1.
  • the image processor 150 converts the viewpoint of the image of the synthesis target region CA2 so that the object included in the image of the synthesis target region CA2 does not change its position on the ground even after the viewpoint conversion. That is, the image of the target area CA2 is a square generated by the bucket 12, and the object of the image of the target area CA2 is an object located in a square, so it is important to display an accurate position.
  • the image processor 150 determines the viewpoint of the image of the target area CA2 so that the position on the ground before the viewpoint conversion and the position on the ground after the viewpoint conversion coincide. Convert.
  • the position on the ground refers to a location where the object contacts the ground in the second front image FI2, and an example is the location of the floor surface of the object and a person's feet.
  • the image processor 150 includes a part of the second front image FI2 (ie, the target of synthesis) in the central portion (ie, the synthesis area CA1), which is an area where the visual field obstruction part is mainly located in the first front image FI1.
  • the image processor 150 By synthesizing the image of the area CA2), it is possible to minimize the synthesis of unnecessary objects, thereby minimizing the sense of heterogeneity of the synthesized front image.
  • the image processor 150 is a part of the second front image FI2 (that is, a target for synthesis) in the central portion (ie, the synthesis area CA1), which is an area where the visual field obstruction part is mainly located in the first front image FI1. Since the image of the area CA2) is synthesized, there is an effect that the amount of computation for image processing can be minimized to speed up the image processing.
  • the first front image FI1 and the image of the synthesis target area CA2 are simultaneously displayed in the synthesis area CA1. That is, the object photographed in the first front image FI1 and the object photographed in the image of the synthesis target area CA2 among the second front image FI2 are simultaneously displayed.
  • objects are assumed to include living things such as people and animals in addition to the dictionary meaning.
  • the object included in the image of the synthesis target area CA2 increases in height and/or width in the process of converting the viewpoint to be displayed larger than the actual object. Accordingly, the object included in the image of the synthesis target area CA2 converted from the viewpoint is displayed larger than the object included in the first front image FI1.
  • the position on the ground of the object included in the image of the composite target area CA2 converted from the viewpoint coincides with the position on the ground of the object included in the first front image FI1.
  • the composite image is a region from B to C of the first front image FI1 generated by the first camera 110, and the image of the composite target region CA2 is a second camera.
  • the second front image FI2 generated at 130 an area from B to C is captured.
  • the composite image and the image of the composite target area CA2 are images captured by cameras disposed at different positions, they have different viewpoints. That is, since the composite image is a region included in the first front image FI1 captured by the first camera 110, the first viewpoint VP1 is obtained, and the image of the composite target region CA2 is the second camera 130 Since the area is included in the second front image FI2 photographed at, it has a second viewpoint VP2.
  • CFI composite image
  • CA2 composite target area
  • the image processor 150 converts the viewpoint of the image of the synthesis target region CA2 (that is, the second viewpoint VP2) to the viewpoint of the synthesis region CA1 (that is, the first viewpoint VP1). That is, the image processor 150 is the same as the synthesis area CA1 of the second front image FI2, the view point of the image of the synthesis target area CA2, which is the area from which the area B to C is photographed (that is, the second The viewpoint VP2) is converted into a first viewpoint VP1, which is a viewpoint of the synthesis area CA1.
  • the composite area CA1 is a rectangular area in which vertices P1 to P4 are connected.
  • the image of the synthesis target area CA2 has a shape different from that of the synthesis area CA1 because the image was captured from a viewpoint lower than that of the synthesis area CA1.
  • the image of the synthesis target region CA2 has a shorter vertical length (ie, a linear distance between B-C) than the synthesis region CA1. Accordingly, the image of the target area CA2 has a rectangular shape by connecting the vertices P1' to P4', but has a shape different from that of the synthesis area CA1.
  • the image processor 150 converts the viewpoint of the image of the synthesis target region CA2 so that each vertex of the image of the synthesis target region CA2 corresponds to each vertex of the synthesis region CA1. Accordingly, the vertex P1' of the synthesis region CA1 is matched with the vertex P1 of the synthesis region CA1, and the vertex P2' of the synthesis region CA1 is matched with the vertex P2 of the synthesis region CA1, and the synthesis region CA1
  • the vertex P3' of CA1) matches the vertex P3 of the synthesis area CA1, and the vertex P4' of the synthesis area CA1 matches the vertex P4 of the synthesis area CA1.
  • the image processor 150 generates a synthesized front image CFI by synthesizing the image of the synthesis target region CA2 converted from the viewpoint on the synthesis region CA1 of the first front image FI1. In this case, the image processor 150 adjusts the transparency of the images of the synthesis region CA1 and the synthesis target region CA2 and then synthesizes them so as to overlap to generate a synthesized front image CFI.
  • the image processor 150 may generate a synthesis front image CFI by synthesizing the image of the synthesis target region CA2 to replace the synthesis region CA1 of the first front image FI1.
  • the composite region CA1 includes an elliptical mark CM1 that is reduced in the vertical direction from the actual circle, and the composite target region
  • the image of (CA2) includes an elliptical mark (CM2) that is further reduced in the vertical direction from the elliptical mark (CM1) of the composite area (CA1).
  • the image processor 150 converts a viewpoint of an image of the synthesis target region CA2 to a viewpoint of the synthesis region CA1. That is, the image processor 150 matches the vertices P1' to P4' of the image of the synthesis target area CA2 to the vertices P1 to P4 of the synthesis area CA1 through viewpoint conversion, respectively.
  • the elliptical mark CM2' of the composite target area CA2' converted from the viewpoint is transformed into an elliptical mark CM2' that is longer in the vertical direction than the elliptical mark CM2 of the composite target area CA2.
  • the elliptical mark CM2' of the composite region CA2' converted from the viewpoint matches the elliptical mark CM1 of the image of the composite region CA1 and the position on the ground.
  • the image processor 150 synthesizes the image of the synthesis target region CA2' converted from the viewpoint into the synthesis region CA1 of the first front image FI1 to generate a synthesized front image CFI. Accordingly, the elliptical mark CM1 of the composite area CA1 and the elliptical mark CM2' of the composite target area CA2' converted from the viewpoint are superimposed on the composite front image CFI. At this time, the elliptical mark (CM1) and the elliptical mark (CM2') have the same position on the ground.
  • the synthesis region CA1 of the first front image FI1 and the synthesis target region of the second front image FI2 ( The labacons 20a and 20b are included in CA2).
  • the ravacon 20b included in the image of the synthesis target area CA2 has a size (eg, height, width) smaller than the ravacon 20a included in the synthesis area CA1.
  • the image processor 150 converts a viewpoint of an image of the synthesis target region CA2 to a viewpoint of the synthesis region CA1. That is, the image processor 150 matches the vertices P1' to P4' of the image of the synthesis target area CA2 to the vertices P1 to P4 of the synthesis area CA1 through viewpoint conversion, respectively.
  • the lavacon 20b' of the synthesis target region CA2' converted from the viewpoint is longer in the vertical direction than the lavacon 20b of the synthesis target region CA2.
  • the Lavacon 20b' of the synthesis target region CA2' converted from the viewpoint matches the Lavacon 20a of the image of the synthesis region CA1 and the position A on the ground.
  • the image processor 150 synthesizes the image of the synthesis target region CA2' converted from the viewpoint into the synthesis region CA1 of the first front image FI1 to generate a synthesized front image CFI. Accordingly, the lavacon 20a of the synthesis area CA1 and the lavacon 20b' of the synthesis target area CA2' converted from the viewpoint are displayed on the synthesis front image CFI. At this time, the lavacons 20a and 20b' have the same position A on the ground.
  • the object included in the image of the target area CA2 is enlarged and exaggerated than the object included in the synthesis area CA1. do.
  • the labacon 20b' included in the image of the synthesis target area CA2' converted from the viewpoint is located off the center of the synthesis target area CA2, the labacon of the synthesis area CA1 ( As the length becomes longer than 20a), it is displayed to be truncated or inclined.
  • the Lavacon 20b' included in the image of the view-transformed synthesis target area CA2' is located at the center of the synthesis target area CA2, it is only longer than the Lavacon 20a of the synthesis area CA1, or also has a width. It can be marked to stretch.
  • the Lavacon (20b') included in the image of the composite target area (CA2') converted from the viewpoint is rapidly enlarged and exaggerated compared to the driving speed of the construction equipment, thus giving the driver attention (recognition) about obstacles. Can be maximized.
  • the bucket 12 of the wheel loader 10 is not captured due to the square caused by the bucket 12. Since the bucket 12 does not affect the image of the target area CA2 of the second front image FI2, the ravacon 20 is captured as it is.
  • the image processor 150 matches the vertices P1' to P4' of the image of the synthesis target area CA2 to the vertices P1 to P4 of the synthesis area CA1, respectively, through viewpoint conversion.
  • the image of the composite target area CA2' converted from the viewpoint includes the Lavacon 20 having a height higher than the actual height of the Lavacon 20.
  • the image processor 150 synthesizes the image of the synthesis target region CA2' converted from the viewpoint into the synthesis region CA1 of the first front image FI1 to generate a synthesized front image CFI.
  • the image processor 150 adjusts the image transparency of the synthesis target region CA2 ′ and the synthesis region CA1 converted from the viewpoint to about 50%, and then synthesizes the synthesized front image CFI.
  • the bucket 12 and the rubber cone 20 of the wheel loader 10 are displayed at the same time.
  • the Lavacon 20 is displayed larger than the actual size, but the position on the ground matches the actual position of the Lavacon 20, so the driver can use the composite front image (CFI) displayed through the display 170. It is possible to confirm the arrangement of the lavacon 20 in front of the wheel loader 10 and the exact position of the lavacon 20.
  • the object of the image of the composite target area CA2 converted from the viewpoint may be displayed higher in height or wider than the object photographed in the actual object and the first front image FI1, but the position of the object on the ground coincides. Therefore, it is possible to display the exact position of the object placed in the blind area by the bucket 12.
  • the image processor 150 creates a composite front image (CFI) by setting the image transparency of the synthesis area CA1 of the first front image FI1 and the synthesis target area CA2 of the second front image FI2 to be the same. do.
  • the image processor 150 generates a composite front image CFI by setting the image transparency of the composite region CA1 and the composite target region CA2 to 50%, respectively.
  • the image processor 150 sets the image transparency of the synthesis area CA1 of the first front image FI1 to be higher than the image transparency of the synthesis target area CA2 of the second front image FI2 to generate the composite front image CFI. You can also create That is, since it is important to indicate whether or not an object exists in the image in the synthesis target region CA2, the image processor 150 sets the image transparency of the synthesis target region CA2 to a relatively low, so that the image of the synthesis target region CA2 is A composite front image CFI that is more clearly visible than the image of the composite area CA1 is generated. At this time, the image processor 150 generates a composite front image (CFI) by setting the image transparency of the second front image FI2 to about 40% and setting the image transparency of the first front image FI1 to about 60%. Take as an example.
  • CFI composite front image
  • the image processor 150 may generate a synthesized front image CFI by replacing the synthesis area CA1 of the first front image FI1 with an image of the synthesis target area CA2 of the second front image FI2. . That is, the image processor 150 removes the synthesis region CA1 from the first front image FI1, synthesizes the image of the synthesis target region CA2 of the second front image FI2 in the removed region, Create an image (CFI).
  • the image processor 150 applies the second front image FI2 to the composite region CA1 of the first front image FI1 only when the bucket 12 is present in the composite region CA1 of the first front image FI1.
  • An image of the target area CA2 may be synthesized.
  • the image processor 150 may generate the first front image FI1 as a synthesized front image CFI. have. That is, when the bucket 12 is located at the bottom or at the top, since a square does not occur in the composite area CA1 of the first front image FI1, the image processor 150 processes the first front image FI1. As it is, it is created as a composite forward image (CFI).
  • the image processor 150 determines the existence of the bucket 12 through edge detection, marker detection, etc. for the first front image FI1. The presence or absence can be detected.
  • the image processor 150 may convert the synthesized front image CFI into a third view VP3 other than the first view VP1 of the first front image FI1. That is, the image processor 150 may convert a composite front image CFI having a third viewpoint VP3 such as a viewpoint of a driver located in a driver's seat lower than the first camera 110.
  • the image processor 150 converts the area to be converted of the first front image FI1 and the second front image FI2 into a third viewpoint VP3.
  • the image processor 150 generates a synthesized front image CFI of the third view VP3 by synthesizing the transform target region with the synthesis region CA1 of the first front image FI1.
  • the image processor 150 may convert the synthesized front image CFI generated as the first view VP1 into the third view VP3.
  • the image processor 150 converts the first front image FI1 and the second front image FI2 into a bird's eye view point (VP4, bird's eye view coordinate system) and synthesizes it to generate a synthesized front image (CFI). You may.
  • VP4 bird's eye view point
  • CFI synthesized front image
  • the image processor 150 converts the first front image FI1 into a bird's-eye view point VP4.
  • the image processor 150 converts the image of the target area CA2 to be synthesized from the second front image FI2 into a bird's-eye view point VP4.
  • the image processor 150 synthesizes the image of the synthesis target region CA2 on the synthesis region CA1 of the second front image FI1 converted to a bird's eye view VP4 to synthesize the composite front image CFI of the bird's eye view VP4.
  • the image processor 150 converts a viewpoint of the synthesized front image CFI into a first viewpoint VP1 that is a viewpoint of the first front image FI1.
  • the image processor 150 may convert the viewpoint VP4 of the synthesized front image CFI into a third viewpoint VP3, and the third viewpoint VP3 is the viewpoint of the driver located in the driver's seat as an example. .
  • the image processor 150 receives a signal from a sensor installed in the wheel loader 10 to detect the degree of rotation, and moves the image of the target area CA2 to the right according to the detected degree of rotation to set.
  • the image processor 150 detects the degree of rotation by receiving a signal from a sensor installed in the wheel loader 10, and displays the image of the target area CA2 to the left according to the detected degree of rotation. Move to and set.
  • the display 170 displays a synthesized front image (CFI) synthesized by the image processor 150.
  • the display 170 is disposed in a driver's seat or a remote control device, and receives and displays a composite front image (CFI) from the image processor 150.
  • the construction equipment is described as an example of a wheel loader, but the present invention is not limited thereto. Can be applied.
  • the bucket of the wheel loader has been described as being a visual obstruction component, but the visual obstruction component is not limited thereto.
  • a fork arm, a fork, and the like may be a component that obstructs the front view.
  • the front image is generated through the upper camera and the lower camera, but the present invention is not limited thereto, and the front image may be generated through a plurality of cameras having different viewpoints. May include a first camera, a second camera, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

제1 시점의 전방 영상에 제2 시점의 전방 영상 일부를 합성하여 시야 방해 부품에 가려진 영역의 사물도 표시할 수 있는 합성 전방 영상을 생성하도록 한 건설장비용 전방 영상 생성 장치를 제시한다. 제시된 건설장비용 전방 영상 생성 장치는 건설장비의 전방을 촬영하여 제1 시점의 제1 전방 영상을 생성하는 제1 카메라, 건설장비의 전방을 촬영하여 제1 시점과 다른 제2 시점의 제2 전방 영상을 생성하는 제2 카메라 및 제1 전방 영상에는 합성 영역이 정의되고, 제2 전방 영상에는 합성 대상 영역이 정의되고, 합성 대상 영역의 영상을 합성 영역에 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함한다.

Description

건설장비용 전방 영상 생성 장치
본 발명은 건설장비용 전방 영상 생성 장치에 관한 것으로, 더욱 상세하게는 휠 로더 등과 같이 작업시 전방을 확인하기 어려운 건설장비에서 전방 시야를 확보하기 위한 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치에 관한 것이다.
건설장비는 건설 현장에서 다양한 작업에 사용되는 장비로, 휠 로더, 포크레인 등을 예로 들 수 있다. 이때, 건설장비는 운전자의 전방에 대형 부품이 배치되는 경우가 많기 때문에 작업 중에 대형 부품에 의해 운전자의 전방 시야가 가려진다. 일례로, 휠 로더는 작업시 전방에서 승하강하는 버켓(bucket)에 의해 운전자의 전방 시야가 가려진다.
이처럼, 건설장비는 운전자의 전방 시야에 방해가 발생하기 때문에 작업 효율이 떨어지고, 다양한 형태의 안전사고가 발생할 가능성이 높아진다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 제1 시점의 전방 영상에 제2 시점의 전방 영상 중 미리 설정된 영역의 영상을 합성하여 시야 방해 부품에 가려진 영역의 사물도 표시할 수 있는 합성 전방 영상을 생성하도록 한 건설장비용 전방 영상 생성 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 건설장비용 전방 영상 생성 장치는 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서 건설장비의 전방을 촬영하여 제1 시점의 제1 전방 영상을 생성하는 제1 카메라, 건설장비의 전방을 촬영하여 제1 시점과 다른 제2 시점의 제2 전방 영상을 생성하는 제2 카메라 및 제1 전방 영상에는 합성 영역이 정의되고, 제2 전방 영상에는 합성 대상 영역이 정의되고, 합성 대상 영역의 영상을 합성 영역에 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함한다.
영상 처리기는 합성 후 합성 대상 영역의 영상에 포함된 사물의 지면상 위치와 합성 영역의 영상에 포함된 동일한 사물의 지면상 위치와 일치하게 합성할 수 있다. 이때, 합성 대상 영역의 영상에 포함된 사물은 합성 영역의 영상에 포함된 동일한 사물보다 길이가 길게 합성되며, 합성 영역 및 합성 대상 영역은 지면상 위치가 동일한 2개 이상의 꼭지점을 포함할 수 있다.
제1 카메라 및 제2 카메라는 건설장비에 배치되고, 제1 카메라는 제2 카메라보다 상부에 배치되고, 합성 영역은 제1 전방 영상의 중앙부에 배치될 수 있다.
영상 처리기는 합성 영역의 영상을 합성 대상 영역의 영상으로 대체하거나, 영상 처리기는 합성 영역의 영상 및 합성 대상 영역의 영상을 합성할 수 있다. 이때, 영상 처리기는 합성 영역의 영상 및 합성 대상 영역의 영상에 투명도를 부여한 후 합성하되, 합성 영역의 영상에 합성 대상 영역의 영상보다 높은 투명도를 부여할 수 있다.
영상 처리기는 합성 영역의 영상에 시야 방해 부품이 존재하는 것으로 판단하면 합성 대상 영역의 영상을 합성 영역에 합성할 수 있다. 이때, 합성 영역의 영상에서 시야 방해 부품의 엣지 성분이 검출되면 합성 대상 영역의 영상을 합성 영역에 합성하거나, 시야 방해 부품에는 마커가 장착되고 영상 처리기는 합성 영역의 영상에서 마커가 검출되면 합성 대상 영역의 영상을 합성 영역에 합성할 수 있다.
영상 처리기는 합성 대상 영역의 영상을 제1 시점으로 변환한 후 합성 영역에 합성할 수도 있다. 영상 처리기는 제1 전방 영상 및 합성 대상 영역의 영상을 조감도 이미지로 변환한 후 합성 영역에 합성 대상 영역의 영상을 합성하고, 합성 대상 영역의 영상이 합성된 제1 전방 영상을 제1 시점으로 변환할 수도 있다.
영상 처리기는 제1 전방 영상 및 합성 대상 영역의 영상을 제3 시점으로 변환한 후 제1 전방 영상의 합성 영역에 합성 대상 영역의 영역을 합성할 수 있다.
영상 처리기는 제1 카메라 및 제2 카메라 중 하나의 이동시 합성 대상 영역을 이동시키되, 제1 시점 및 제2 시점의 차이를 근거로 합성 대상 영역을 이동시킬 수 있다.
본 발명에 의하면, 건설장비용 전방 영상 생성 장치는 건설장비의 상단 및 하단에서 촬영된 영상들을 합성하여 표시함으로써, 건설장비의 시야 방해 부품에 의한 사각 발생을 방지하여 운전자의 전방 시야가 가려지는 것을 방지할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 제1 전방 영상에서 시야 방해 부품이 주로 위치하는 영역인 중앙부(즉, 합성 영역)에 제2 전방 영상의 일부(즉, 합성 대상 영역의 영상)를 합성함으로써, 불필요한 사물들의 합성을 최소화하여 합성 전방 영상의 이질감을 최소화할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 제2 전방 영상에서 미리 설정된 영역만을 시점 변환하여 제1 전방 영상에 합성함으로써, 영상 처리를 위한 연산량을 최소화하여 영상처리를 빠르게 처리할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 시점 변환시 사물의 지면상 위치가 일치하도록 함으로써, 시야 방해 부품에 의해 가려진 사물의 정확한 위치를 제공할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 운전자 시점 등과 같은 제3 시점을 갖는 합성 전방 영상을 생성함으로써, 운전자가 운전석에서 실제 운행하는 것과 동일한 시점의 전방 영상을 제공할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 건설장비의 주행속도에 대비하여 급격히 확대 과장되어 표시되기 때문에 운전자에게 장애물에 대한 주의(인식)를 주는 효과를 극대화할 수 있다.
도 1 내지 도 4는 본 발명의 실시 에에 따른 건설장비용 전방 영상 생성 장치를 설명하기 위한 도면.
도 5 내지 도 13은 도 2의 영상 처리기를 설명하기 위한 도면.
도 14 내지 도 17는 도 2의 영상 처리기의 변형 예를 설명하기 위한 도면.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예에 따른 건설장비용 전방 영상 생성 장치는 건설장비에 설치된 복수의 카메라에서 촬영한 영상을 합성하여 표시함으로써, 건설장비의 부품(즉, 시야 방해 부품)에 의해 전방에서 발생하는 사각 지대를 해소하는 것을 목적 및 효과로 한다.
도 1 및 도 2를 참조하면, 건설장비용 전방 영상 생성 장치는 제1 카메라(110), 제2 카메라(130), 영상 처리기(150) 및 디스플레이(170)를 포함하여 구성된다.
제1 카메라(110)는 휠 로더(10)의 전방을 촬영하여 제1 시점(視點)을 갖는 제1 전방 영상(FI1)을 생성한다. 제1 카메라(110)는 휠 로더(10)의 상단에서 휠 로더(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성한다. 제1 카메라(110)는 제2 카메라(130)보다 상부에 배치된다. 제1 카메라(110)는 휠 로더(10)의 운전실 상부에 배치되며, 휠 로더(10)의 전방(정면)을 촬영하여 제1 전방 영상(FI1)을 생성하는 것을 일례로 한다.
제2 카메라(130)는 휠 로더(10)의 전방을 촬영하여 제2 시점(視點)을 갖는 제2 전방 영상(FI2)을 생성한다. 이때, 제2 시점은 제1 시점과 다른 시점이다. 제2 카메라(130)는 휠 로더(10)의 전면 하단에 배치되고, 휠 로더(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성한다. 제2 카메라(130)는 제1 카메라(110)보다 하에 배치된다. 제2 카메라(130)는 휠 로더(10)의 제1 차체(14)의 전면 하단에 배치되고, 휠 로더(10)의 차체의 하단에서 휠 로더(10)의 전방(정면)을 촬영하여 제2 전방 영상(FI2)을 생성하는 것을 일례로 한다.
여기서, 도 1에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 제1 카메라(110) 및 제2 카메라(130)의 배치 위치를 휠 로더(10)의 상단 및 하단으로 한정하여 설명하였으나 이에 한정되지 않고 전방 영상을 촬영할 수 있는 위치라면 제1 카메라(110) 및 제2 카메라(130)가 배치될 수 있다.
또한, 도 1에서는 제1 카메라(110)와 제2 카메라(130)의 2대의 카메라를 중심으로 설명하지만 본 발명은 여기에 한정되지 않고 3대 이상의 카메라를 이용해서 영상을 생성하는 것도 포함되어 해석되어야 한다. 예를 들어, 운전석 전방에 장착된 카메라를 제1 카메라(110) 및 제2 카메라(130)와 둘 이상 조합하여 영상 합성하는 것도 가능하고, 암이나 버켓(12) 등에 장착된 카메라와 같이 전방 영상을 일부라도 촬영할 수 있는 것이라면 본 발명에 따른 영상의 합성에 활용될 수 있다.
영상 처리기(150)는 제1 카메라(110) 및 제2 카메라(130)에서 촬영된 영상을 합성하여 합성 전방 영상(CFI)을 생성한다. 즉, 영상 처리기(150)는 제1 카메라(110)에서 촬영된 제1 전방 영상(FI1)과 제2 카메라(130)에서 촬영된 제2 전방 영상(FI2)을 합성하여 합성 전방 영상(CFI)을 생성한다.
도 3을 참조하면, 영상 처리기(150)는 제2 전방 영상(FI2)을 제1 전방 영상(FI1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 즉, 영상 처리기(150)는 제1 전방 영상(FI1)에 합성 영역(CA1)을 설정한다.
영상 처리기(150)는 제1 전방 영상(FI1)의 중앙부에 합성 영역(CA1)을 설정한다. 즉, 영상 처리기(150)는 제1 전방 영상(FI1)의 중심점과 합성 영역(CA1)의 중심점이 일치하도록 영역을 설정한다. 영상 처리기(150)는 합성 영역(CA1) 내에 제1 전방 영상(FI1)의 중심점이 포함되도록 합성 영역(CA)을 설정할 수도 있다.
영상 처리기(150)는 제2 전방 영상(FI2)으로부터 제1 전방 영상(FI1)의 합성 영역(CA1)에 대응되는 합성 대상 영역(CA2)의 영상의 영상을 검출한다. 영상 처리기(150)는 제2 전방 영상(FI2) 중에서 합성 대상 영역(CA2)의 영상을 제1 전방 영상(FI1)의 합성 영역(CA1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 제1 카메라(110) 및 제2 카메라(130)는 서로 다른 시점으로 전방 영상을 촬영하여 제1 전방 영상(FI1) 및 제2 전방 영상(FI2)을 생성하므로, 영상 처리기(150)는 제2 전방 영상(FI2) 중에서 합성 대상 영역(CA2)의 영상의 시점(제2 시점)을 제1 전방 영상(FI1)의 시점(제1 시점)으로 변환한다.
도 4를 참조하면, 영상 처리기(150)는 합성 대상 영역(CA2)의 영상에 포함된 사물은 시점 변환 후에도 지면상 위치가 변하지 않도록 합성 대상 영역(CA2)의 영상의 시점을 변환한다. 즉, 합성 대상 영역(CA2)의 영상은 버켓(12)에 의해 발생하는 사각이며, 합성 대상 영역(CA2)의 영상의 사물은 사각에 위치한 사물이기 때문에 정확한 위치를 표시하는 것이 중요하다.
사물의 위치는 지면상의 위치를 기준으로 하기 때문에, 영상 처리기(150)는 시점 변환 전 사물의 지면상 위치와 시점 변환 후 사물의 지면상 위치가 일치하도록 합성 대상 영역(CA2)의 영상의 시점을 변환한다. 여기서, 지면상 위치는 제2 전방 영상(FI2)에서 사물이 지면과 접하는 위치를 의미하며, 사물의 바닥면, 사람의 발 등의 위치인 것을 일례로 한다.
제1 전방 영상(FI1) 전체와 제2 전방 영상(FI2) 전체를 합성하는 경우 불필요한(즉, 중요하지 않은) 사물들의 합성이 잘 안되기 때문에 흐트러지거나 일그러져 표시되어 운전자가 이질감을 느낄 수 있다.
이에, 영상 처리기(150)는 제1 전방 영상(FI1)에서 시야 방해 부품이 주로 위치하는 영역인 중앙부(즉, 합성 영역(CA1))에 제2 전방 영상(FI2)의 일부(즉, 합성 대상 영역(CA2)의 영상)을 합성함으로써, 불필요한 사물들의 합성을 최소화하여 합성 전방 영상의 이질감을 최소화할 수 있다.
또한, 영상 처리기(150)는 제1 전방 영상(FI1)에서 시야 방해 부품이 주로 위치하는 영역인 중앙부(즉, 합성 영역(CA1))에 제2 전방 영상(FI2)의 일부(즉, 합성 대상 영역(CA2)의 영상)을 합성하기 때문에 영상 처리를 위한 연산량을 최소화하여 영상처리를 빠르게 처리할 수 있는 효과가 있다.
휠 로더(10)의 버켓(12)이 합성 영역(CA1)을 벗어나거나 일부만 가린 경우, 합성 영역(CA1)에는 제1 전방 영상(FI1) 및 합성 대상 영역(CA2)의 영상이 동시에 표시된다. 즉, 제1 전방 영상(FI1)에서 촬영된 사사물과, 제2 전방 영상(FI2) 중에서 합성 대상 영역(CA2)의 영상에서 촬영된 사물이 동시에 표시된다. 여기서, 본 발명의 실시 예에서 사물은 사전적인 의미 이외에도 사람, 동물 등과 같이 생명체도 포함하는 것으로 한다.
합성 대상 영역(CA2)의 영상에 포함된 사물은 시점 변환 과정에서 높이 및/또는 너비가 증가하여 실제보다 크게 표시된다. 그에 따라, 시점 변환된 합성 대상 영역(CA2)의 영상에 포함된 사물은 제1 전방 영상(FI1)에 포함된 사물보다 크게 표시된다.
하지만, 시점 변환된 합성 대상 영역(CA2)의 영상에 포함된 사물의 지면상 위치는 제1 전방 영상(FI1)에 포함된 사물의 지면상 위치와 일치한다.
도 5를 참조하면, 합성 영상은 제1 카메라(110)에서 생성한 제1 전방 영상(FI1) 중에서 B에서 C까지의 영역을 촬영된 영역이고, 합성 대상 영역(CA2)의 영상은 제2 카메라(130)에서 생성한 제2 전방 영상(FI2) 중에서 B에서 C까지의 영역을 촬영된 영역이다.
합성 영상과 합성 대상 영역(CA2)의 영상은 서로 다른 위치에 배치된 카메라에서 촬영된 영상이기 때문에 서로 다른 시점을 가진다. 즉, 합성 영상을 제1 카메라(110)에서 촬영된 제1 전방 영상(FI1)에 포함된 영역이므로 제1 시점(VP1)을 가지며, 합성 대상 영역(CA2)의 영상은 제2 카메라(130)에서 촬영된 제2 전방 영상(FI2)에 포함된 영역이므로 제2 시점(VP2)을 가진다.
서로 시점이 다른 합성 영상과 합성 대상 영역(CA2)의 영상을 합성하여 합성 전방 영상(CFI)을 생성하면, 합성 전방 영상(CFI)에 사물이 중복 표시되거나, 사물이 분리된 형상으로 표시되어 정확한 전방 영상을 제공할 수 없게 된다.
이에, 영상 처리기(150)는 합성 대상 영역(CA2)의 영상의 시점(즉, 제2 시점(VP2))을 합성 영역(CA1)의 시점(즉, 제1 시점(VP1))으로 변환한다. 즉, 영상 처리기(150)는 제2 전방 영상(FI2) 중에서 합성 영역(CA1)과 동일하게 B에서 C까지의 영역이 촬영된 영역인 합성 대상 영역(CA2)의 영상의 시점(즉, 제2 시점(VP2))을 합성 영역(CA1)의 시점인 제1 시점(VP1)으로 변환한다.
도 6을 참조하면, 합성 영역(CA1)이 꼭지점 P1 내지 P4를 연결한 사각형 형상의 영역인 것으로 가정한다. 합성 대상 영역(CA2)의 영상은 합성 영역(CA1)보다 낮은 시점에서 촬영되었기 때문에 합성 영역(CA1)과 다른 형상을 갖는다. 합성 대상 영역(CA2)의 영상은 합성 영역(CA1)보다 짧은 세로 길이(즉, B-C 사이의 직선 거리)를 갖는다. 그에 따라, 합성 대상 영역(CA2)의 영상은 꼭지점 P1' 내지 P4'를 연결하여 사각형 형상의 영역을 가지되, 합성 영역(CA1)과는 다른 형상을 갖는다.
영상 처리기(150)는 합성 대상 영역(CA2)의 영상의 각 꼭지점이 합성 영역(CA1)의 각 꼭지점에 대응되도록 합성 대상 영역(CA2)의 영상의 시점을 변환한다. 그에 따라, 합성 영역(CA1)의 꼭지점 P1'은 합성 영역(CA1)의 꼭지점 P1에 매칭되고, 합성 영역(CA1)의 꼭지점 P2'은 합성 영역(CA1)의 꼭지점 P2에 매칭되고, 합성 영역(CA1)의 꼭지점 P3'은 합성 영역(CA1)의 꼭지점 P3에 매칭되고, 합성 영역(CA1)의 꼭지점 P4'은 합성 영역(CA1)의 꼭지점 P4에 매칭된다.
영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1)에 시점 변환한 합성 대상 영역(CA2)의 영상을 합성하여 합성 전방 영상(CFI)을 생성한다. 이때, 영상 처리기(150)는 합성 영역(CA1)과 합성 대상 영역(CA2)의 영상의 투명도를 조절한 후 중첩되도록 합성하여 합성 전방 영상(CFI)을 생성한다. 영상 처리기(150)는 합성 대상 영역(CA2)의 영상 제1 전방 영상(FI1)의 합성 영역(CA1)을 대체하도록 합성하여 합성 전방 영상(CFI)을 생성할 수도 있다.
도 7 및 도 8을 참조하면, B-C 영역에 높이가 없는 지면에 원형 표식(CM)이 존재하면 합성 영역(CA1)에는 실제 원형에서 세로 방향으로 줄어든 타원형 표식(CM1)이 포함되며, 합성 대상 영역(CA2)의 영상에는 합성 영역(CA1)의 타원형 표식(CM1)에서 세로 방향으로 더 줄어든 타원형 표식(CM2)이 포함된다.
영상 처리기(150)는 합성 대상 영역(CA2)의 영상의 시점을 합성 영역(CA1)의 시점으로 변환한다. 즉, 영상 처리기(150)는 합성 대상 영역(CA2)의 영상의 꼭지점 P1' 내지 P4'을 시점 변환을 통해 합성 영역(CA1)의 꼭지점 P1 내지 P4에 각각 매칭한다. 시점 변환된 합성 대상 영역(CA2')의 타원형 표식(CM2')은 합성 대상 영역(CA2)의 타원형 표식(CM2)보다 세로 방향으로 더 길어진 타원형 표식(CM2')으로 변형된다. 이때, 시점 변환된 합성 대상 영역(CA2')의 타원형 표식(CM2')은 합성 영역(CA1)의 영상의 타원형 표식(CM1)과 지면상에서의 위치가 일치한다.
영상 처리기(150)는 시점 변환된 합성 대상 영역(CA2')의 영상을 제1 전방 영상(FI1)의 합성 영역(CA1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 그에 따라, 합성 전방 영상(CFI)에는 합성 영역(CA1)의 타원형 표식(CM1)과 시점 변환된 합성 대상 영역(CA2')의 타원형 표식(CM2')이 중첩 표시된다. 이때, 타원형 표식(CM1) 및 타원형 표식(CM2')은 지면상의 위치가 일치한다.
도 9 및 도 10을 참조하면, B-C 영역에 지면에 높이를 갖는 라바콘(20)이 존재하면 제1 전방 영상(FI1)의 합성 영역(CA1) 및 제2 전방 영상(FI2)의 합성 대상 영역(CA2)에 라바콘(20a, 20b)이 포함된다. 이때, 합성 대상 영역(CA2)의 영상에 포함된 라바콘(20b)은 합성 영역(CA1)에 포함된 라바콘(20a)보다 작은 크기(예를 들면, 높이, 너비)를 갖는다.
영상 처리기(150)는 합성 대상 영역(CA2)의 영상의 시점을 합성 영역(CA1)의 시점으로 변환한다. 즉, 영상 처리기(150)는 합성 대상 영역(CA2)의 영상의 꼭지점 P1' 내지 P4'을 시점 변환을 통해 합성 영역(CA1)의 꼭지점 P1 내지 P4에 각각 매칭한다. 시점 변환된 합성 대상 영역(CA2')의 라바콘(20b')은 합성 대상 영역(CA2)의 라바콘(20b)보다 세로 방향으로 더 길어진다. 이때, 시점 변환된 합성 대상 영역(CA2')의 라바콘(20b')은 합성 영역(CA1)의 영상의 라바콘(20a)과 지면상에서의 위치(A)가 일치한다.
영상 처리기(150)는 시점 변환된 합성 대상 영역(CA2')의 영상을 제1 전방 영상(FI1)의 합성 영역(CA1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 그에 따라, 합성 전방 영상(CFI)에는 합성 영역(CA1)의 라바콘(20a)과 시점 변환된 합성 대상 영역(CA2')의 라바콘(20b')이 중첩 표시된다. 이때, 라바콘들(20a, 20b')은 지면상에서의 위치(A)가 일치한다.
여기서, 합성 영역(CA1)에 합성 대상 영역(CA2)의 영상을 합성한 결과 영상에서, 합성 대상 영역(CA2)의 영상에 포함된 사물을 합성 영역(CA1)에 포함된 사물보다 확대 과장되어 표시된다.
즉, 도 10을 참조하면, 시점 변환된 합성 대상 영역(CA2')의 영상에 포함된 라바콘(20b')은 합성 대상 영역(CA2)의 중심에서 벗어나 위치하기 때문에 합성 영역(CA1)의 라바콘(20a)보다 길이가 길어짐과 동시에 트러지거나 경사지도록 표시된다.
시점 변환된 합성 대상 영역(CA2')의 영상에 포함된 라바콘(20b')은 합성 대상 영역(CA2)의 중심에 위치한 경우 합성 영역(CA1)의 라바콘(20a)보다 길이만 길어거나, 폭도 함께 늘어나도록 표시될 수 있다.
이때, 시점 변환된 합성 대상 영역(CA2')의 영상에 포함된 라바콘(20b')은 건설장비의 주행속도에 대비하여 급격히 확대 과장되어 표시되기 때문에 운전자에게 장애물에 대한 주의(인식)를 주는 효과를 극대화할 수 있다.
도 11 내지 도 13을 참조하면, 지면의 B-C 영역에 라바콘(20)이 배치된 상태에서 휠 로더(10)의 버켓(12)이 상승하면 제1 카메라(110)에 버켓(12)에 의해 중앙의 일부에 사각이 발생한다. 제2 카메라(130)에는 상단의 일부에 사각이 발생한다.
이에, 제1 전방 영상(FI1)의 합성 영역(CA1)에는 버켓(12)에 의해 발생한 사각으로 인해 라바콘(20)이 촬영되지 않고 휠 로더(10)의 버켓(12)이 촬영된다. 제2 전방 영상(FI2) 중에서 합성 대상 영역(CA2)의 영상에는 버켓(12)의 영향이 없기 때문에 라바콘(20)이 그대로 촬영된다.
영상 처리기(150)는 시점 변환을 통해 합성 대상 영역(CA2)의 영상의 꼭지점 P1' 내지 P4'을 합성 영역(CA1)의 꼭지점 P1 내지 P4에 각각 매칭한다. 이때, 시점 변환된 합성 대상 영역(CA2')의 영상에는 라바콘(20)의 실제 높이보다 높은 높이를 갖는 라바콘(20)이 포함된다.
영상 처리기(150)는 시점 변환된 합성 대상 영역(CA2')의 영상을 제1 전방 영상(FI1)의 합성 영역(CA1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 이때, 영상 처리기(150)는 시점 변환된 합성 대상 영역(CA2') 및 합성 영역(CA1)의 영상 투명도를 대략 50% 정도로 조정한 후 합성하여 합성 전방 영상(CFI)을 생성한다.
합성 전방 영상(CFI)은 휠 로더(10)의 버켓(12)과 라바콘(20)이 동시에 표시된다. 합성 전방 영상(CFI)에는 라바콘(20)이 실제 크기보다 크게 표시되지만 지면상의 위치가 실제 라바콘(20)의 위치와 일치하므로, 운전자는 디스플레이(170)를 통해 표시된 합성 전방 영상(CFI)을 통해 휠 로더(10)의 전방에 라바콘(20)이 배치된 것과 라바콘(20)의 정확한 위치를 확인할 수 있다.
시점 변환된 합성 대상 영역(CA2)의 영상의 사물은 실제 사물 및 제1 전방 영상(FI1)에 촬영된 사물보다 높이가 높게 표시되거나 너비가 넓게 표시될 수 있지만, 사물의 지면상 위치가 일치하기 때문에 버켓(12)에 의한 사각 지역에 배치된 사물의 정확한 위치를 표시할 수 있다
영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1) 및 제2 전방 영상(FI2)의 합성 대상 영역(CA2)의 영상 투명도를 동일하게 설정하여 합성 전방 영상(CFI)을 생성한다. 이때, 영상 처리기(150)는 합성 영역(CA1)과 합성 대상 영역(CA2)의 영상 투명도를 각각 50%로 설정하여 합성 전방 영상(CFI)을 생성하는 것을 일례로 한다.
영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1)의 영상 투명도를 제2 전방 영상(FI2)의 합성 대상 영역(CA2)의 영상 투명도보다 높게 설정하여 합성 전방 영상(CFI)을 생성할 수도 있다. 즉, 합성 대상 영역(CA2)에서 영상의 사물 존재 여부를 표시하는 것이 중요하므로, 영상 처리기(150)는 합성 대상 영역(CA2)의 영상 투명도를 상대적으로 낮게 설정하여 합성 대상 영역(CA2)의 영상이 합성 영역(CA1)의 영상보다 선명하게 보이는 합성 전방 영상(CFI)을 생성한다. 이때, 영상 처리기(150)는 제2 전방 영상(FI2)의 영상 투명도를 대략 40% 정도로하고, 제1 전방 영상(FI1)의 영상 투명도를 대략 60% 정도로 설정하여 합성 전방 영상(CFI)을 생성하는 것을 일례로 한다.
영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1)을 제2 전방 영상(FI2)의 합성 대상 영역(CA2)의 영상으로 대체하여 합성 전방 영상(CFI)을 생성할 수도 있다. 즉, 영상 처리기(150)는 제1 전방 영상(FI1)에서 합성 영역(CA1)을 제거하고, 제거된 영역에 제2 전방 영상(FI2)의 합성 대상 영역(CA2)의 영상을 합성하여 합성 전방 영상(CFI)을 생성한다.
영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1)에 버켓(12)이 존재하는 경우에만 제1 전방 영상(FI1)의 합성 영역(CA1)에 제2 전방 영상(FI2) 중 합성 대상 영역(CA2)의 영상을 합성할 수 있다. 다시 말해, 영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1)에 버켓(12)이 존재하지 않는 경우 제1 전방 영상(FI1)을 합성 전방 영상(CFI)으로 생성할 수도 있다. 즉, 버켓(12)이 하단에 위치하거나 상단에 위치한 경우 제1 전방 영상(FI1)의 합성 영역(CA1)에 사각이 발생하지 않기 때문에, 영상 처리기(150)는 제1 전방 영상(FI1)을 그대로 합성 전방 영상(CFI)으로 생성한다. 여기서, 영상 처리기(150)는 제1 전방 영상(FI1)에 대한 엣지 검출, 마커 검출 등을 통해 버켓(12)의 존재 여부를 판단하는 것을 일례로 하며, 이외에도 다양한 방법을 통해 버켓(12)의 존재 여부를 검출할 수 있다.
도 14를 참조하면, 영상 처리기(150)는 합성 전방 영상(CFI)을 제1 전방 영상(FI1)의 제1 시점(VP1) 이외의 다른 제3 시점(VP3)으로 변환할 수도 있다. 즉, 영상 처리기(150)는 제1 카메라(110)보다 낮은 위치의 운전석에 위치한 운전자의 시점 등의 제3 시점(VP3)을 갖는 합성 전방 영상(CFI)을 변환할 수 있다.
이를 위해, 영상 처리기(150)는 제1 전방 영상(FI1) 및 제2 전방 영상(FI2)의 변환 대상 영역을 제3 시점(VP3)으로 시점 변환한다. 영상 처리기(150)는 제1 전방 영상(FI1)의 합성 영역(CA1)에 변환 대상 영역을 합성하여 제3 시점(VP3)의 합성 전방 영상(CFI)을 생성한다. 여기서, 영상 처리기(150)는 제1 시점(VP1)으로 생성된 합성 전방 영상(CFI)을 제3 시점(VP3)으로 변환할 수 있다.
도 15를 참조하면, 영상 처리기(150)는 제1 전방 영상(FI1) 및 제2 전방 영상(FI2)을 조감도 시점(VP4, 조감도 좌표계)으로 변환한 후 합성하여 합성 전방 영상(CFI)을 생성할 수도 있다.
영상 처리기(150)는 제1 전방 영상(FI1)을 조감조 시점(VP4)으로 변환한다. 영상 처리기(150)는 제2 전방 영상(FI2) 중에서 합성 대상 영역(CA2)의 영상을 조감조 시점(VP4)으로 변환한다. 영상 처리기(150)는 조감도 시점(VP4)으로 변환된 제2 전방 영상(FI1)의 합성 영역(CA1)에 합성 대상 영역(CA2)의 영상을 합성하여 조감도 시점(VP4)의 합성 전방 영상(CFI)을 생성한다. 영상 처리기(150)는 합성 전방 영상(CFI)의 시점을 제1 전방 영상(FI1)의 시점인 제1 시점(VP1)으로 변환한다.
한편, 영상 처리기(150)는 합성 전방 영상(CFI)의 시점(VP4)을 제3 시점(VP3)으로 변환할 수도 있으며, 제3 시점(VP3)은 운전석에 위치한 운전자의 시점인 것을 일례로 한다.
도 16 및 도 17을 참조하면, 휠 로더(10)는 운전석이 위치한 제1 차체(14) 및 버켓(12)이 위치한 제2 차체(16)로 구분된 경우, 휠 로더(10)가 좌회전하는 경우 제1 카메라(110) 및 제2 카메라(130)의 시점이 달라진다. 영상 처리기(150)는 휠 로더(10)에 설치된 센서로부터 신호를 수신하여 회전 정도를 검출하고, 검출한 회전 정도에 따라 합성 대상 영역(CA2)의 영상을 우측으로 이동시켜 설정한다.
영상 처리기(150)는 휠 로더(10)가 우회전하는 경우 휠 로더(10)에 설치된 센서로부터 신호를 수신하여 회전 정도를 검출하고, 검출한 회전 정도에 따라 합성 대상 영역(CA2)의 영상을 좌측으로 이동시켜 설정한다.
디스플레이(170)는 영상 처리기(150)에서 합성된 합성 전방 영상(CFI)을 표시한다. 디스플레이(170)는 운전석 또는 리모트 조정 장치에 배치되고, 영상 처리기(150)로부터 합성 전방 영상(CFI)을 수신하여 표시한다.
이상에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 건설장비가 휠 로더인 것을 예로 들어 설명하지만, 이에 한정되지 않고 포크레인, 지게차 등과 같이 구동시 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비에 적용될 수 있다.
또한, 휠 로더를 예로 들어 설명함에 따라 휠 로더의 버켓을 시야 방해 부품인 것으로 설명하였으나, 이에 한정되지 않고 시야 방해 부품은 포크레인의 버켓, 버켓 붐 및 버켓 실린더 등, 지게차의 마스트, 리프트 체인, 캐리지, 포크암 및 포크 등과 같이 전방 시야를 방해하는 부품일 수 있다.
또한, 본 발명의 실시 예에서는 상단 카메라 및 하단 카메라를 통해 전방 영상을 생성하는 것으로 설명하여 있으나, 이에 한정되지 않고 서로 다른 시점을 가지는 복수의 카메라를 통해 전방 영상을 생성할 수 있으며, 복수의 카메라는 제1 카메라, 제2 카메라 등을 포함할 수 있다.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.

Claims (18)

  1. 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서,
    건설장비의 전방을 촬영하여 제1 시점의 제1 전방 영상을 생성하는 제1 카메라;
    상기 건설장비의 전방을 촬영하여 상기 제1 시점과 다른 제2 시점의 제2 전방 영상을 생성하는 제2 카메라; 및
    상기 제1 전방 영상에는 합성 영역이 정의되고, 상기 제2 전방 영상에는 합성 대상 영역이 정의되고, 상기 합성 대상 영역의 영상을 상기 합성 영역에 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함하는 건설장비용 전방 영상 생성 장치.
  2. 제1항에 있어서,
    상기 영상 처리기는 합성 후 상기 합성 대상 영역의 영상에 포함된 사물의 지면상 위치와 상기 합성 영역의 영상에 포함된 동일한 사물의 지면상 위치와 일치하게 합성하는 건설장비용 전방 영상 생성 장치.
  3. 제1항에 있어서,
    상기 합성 대상 영역의 영상에 포함된 사물은 상기 합성 영역의 영상에 포함된 동일한 사물보다 길이가 길게 합성되는 건설장비용 전방 영상 생성 장치.
  4. 제1항에 있어서,
    상기 합성 영역 및 상기 합성 대상 영역은 지면상 위치가 동일한 2개 이상의 꼭지점을 포함하는 건설장비용 전방 영상 생성 장치.
  5. 제1항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는 상기 건설장비에 배치되고, 상기 제1 카메라는 상기 제2 카메라보다 상부에 배치된 건설장비용 전방 영상 생성 장치.
  6. 제1항에 있어서,
    상기 합성 영역은 상기 제1 전방 영상의 중앙부에 배치된 건설장비용 전방 영상 생성 장치.
  7. 제1항에 있어서,
    상기 영상 처리기는 상기 합성 영역의 영상을 상기 합성 대상 영역의 영상으로 대체하는 건설장비용 전방 영상 생성 장치.
  8. 제1항에 있어서,
    상기 영상 처리기는 상기 합성 영역의 영상 및 상기 합성 대상 영역의 영상을 합성하는 건설장비용 전방 영상 생성 장치.
  9. 제8항에 있어서,
    상기 영상 처리기는 상기 합성 영역의 영상 및 상기 합성 대상 영역의 영상에 투명도를 부여한 후 합성하는 건설장비용 전방 영상 생성 장치.
  10. 제9항에 있어서,
    상기 영상 처리기는 상기 합성 영역의 영상에 상기 합성 대상 영역의 영상보다 높은 투명도를 부여하는 건설장비용 전방 영상 생성 장치.
  11. 제1항에 있어서,
    상기 영상 처리기는 상기 합성 영역의 영상에 상기 시야 방해 부품이 존재하는 것으로 판단하면 상기 합성 대상 영역의 영상을 상기 합성 영역에 합성하는 건설장비용 전방 영상 생성 장치.
  12. 제1항에 있어서,
    상기 영상 처리기는 상기 합성 영역의 영상에서 상기 시야 방해 부품의 엣지 성분이 검출되면 상기 합성 대상 영역의 영상을 상기 합성 영역에 합성하는 건설장비용 전방 영상 생성 장치.
  13. 제1항에 있어서,
    상기 시야 방해 부품에는 마커가 장착되고,
    상기 영상 처리기는 상기 합성 영역의 영상에서 마커가 검출되면 상기 합성 대상 영역의 영상을 상기 합성 영역에 합성하는 건설장비용 전방 영상 생성 장치.
  14. 제1항에 있어서,
    상기 영상 처리기는 상기 합성 대상 영역의 영상을 상기 제1 시점으로 변환한 후 상기 합성 영역에 합성하는 건설장비용 전방 영상 생성 장치.
  15. 제1항에 있어서,
    상기 영상 처리기는 상기 제1 전방 영상 및 상기 합성 대상 영역의 영상을 조감도 이미지로 변환한 후 상기 합성 영역에 상기 합성 대상 영역의 영상을 합성하고, 상기 합성 대상 영역의 영상이 합성된 상기 제1 전방 영상을 상기 제1 시점으로 변환하는 건설장비용 전방 영상 생성 장치.
  16. 제1항에 있어서,
    상기 영상 처리기는 상기 제1 전방 영상 및 상기 합성 대상 영역의 영상을 제3 시점으로 변환한 후 상기 제1 전방 영상의 합성 영역에 상기 합성 대상 영역의 영상을 합성하는 건설장비용 전방 영상 생성 장치.
  17. 제1항에 있어서,
    상기 영상 처리기는 상기 제1 카메라 및 상기 제2 카메라 중에서 하나의 이동시 상기 합성 대상 영역을 이동시키는 건설장비용 전방 영상 생성 장치.
  18. 제17항에 있어서,
    상기 영상 처리기는 상기 제1 시점 및 상기 제2 시점의 차이를 근거로 상기 합성 대상 영역을 이동시키는 건설장비용 전방 영상 생성 장치.
PCT/KR2020/012608 2019-09-20 2020-09-18 건설장비용 전방 영상 생성 장치 WO2021054758A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190116070 2019-09-20
KR10-2019-0116070 2019-09-20
KR10-2019-0158375 2019-12-02
KR1020190158375A KR20210034450A (ko) 2019-09-20 2019-12-02 건설장비용 전방 영상 생성 장치

Publications (1)

Publication Number Publication Date
WO2021054758A1 true WO2021054758A1 (ko) 2021-03-25

Family

ID=74883497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012608 WO2021054758A1 (ko) 2019-09-20 2020-09-18 건설장비용 전방 영상 생성 장치

Country Status (1)

Country Link
WO (1) WO2021054758A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533797A (ja) * 2000-05-16 2003-11-11 アドビ システムズ， インコーポレイテッド パノラマ画像を形成するための画像のマージ
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130069912A (ko) * 2011-12-19 2013-06-27 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
KR101895830B1 (ko) * 2015-03-31 2018-09-07 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 주변 감시 장치
US20190042858A1 (en) * 2014-02-17 2019-02-07 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533797A (ja) * 2000-05-16 2003-11-11 アドビ システムズ， インコーポレイテッド パノラマ画像を形成するための画像のマージ
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130069912A (ko) * 2011-12-19 2013-06-27 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
US20190042858A1 (en) * 2014-02-17 2019-02-07 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
KR101895830B1 (ko) * 2015-03-31 2018-09-07 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 주변 감시 장치

Similar Documents

Publication Publication Date Title
WO2010134680A1 (ko) 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
WO2013112016A1 (ko) 건설기계의 조작안정성 향상장치
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
WO2010079912A1 (ko) 주변 영상 생성 방법 및 장치
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
JP2023075366A (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2018155742A1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
WO2012148025A1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2021054758A1 (ko) 건설장비용 전방 영상 생성 장치
WO2021054757A1 (ko) 건설장비용 전방 영상 생성 장치
JP2000293693A (ja) 障害物検出方法および装置
KR20210034450A (ko) 건설장비용 전방 영상 생성 장치
WO2020218716A1 (ko) 자동 주차 장치 및 자동 주차 방법
WO2017146403A1 (ko) 표시 시스템
WO2021054756A1 (ko) 중장비용 전방 영상 생성 장치
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2017213335A1 (ko) 실시간 영상 합성 방법
JP4519519B2 (ja) 動物体検出装置
WO2020204350A2 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
WO2019151704A1 (ko) 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템
WO2020111389A1 (ko) 사용자의 굴절력 이상 보정을 위한 다층 mla 구조, 디스플레이 패널 및 이미지 처리 방법
JP2010198422A (ja) 画像処理装置、及び画像処理方法
WO2017217788A2 (ko) 차량 운전 보조 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866493

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866493

Country of ref document: EP

Kind code of ref document: A1