WO2022158935A1 - 중장비용 전방 영상 생성 장치 - Google Patents

중장비용 전방 영상 생성 장치 Download PDF

Info

Publication number
WO2022158935A1
WO2022158935A1 PCT/KR2022/001263 KR2022001263W WO2022158935A1 WO 2022158935 A1 WO2022158935 A1 WO 2022158935A1 KR 2022001263 W KR2022001263 W KR 2022001263W WO 2022158935 A1 WO2022158935 A1 WO 2022158935A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
front image
area
synthesizing
heavy equipment
Prior art date
Application number
PCT/KR2022/001263
Other languages
English (en)
French (fr)
Inventor
이정표
박재홍
이상훈
박광석
Original Assignee
주식회사 와이즈오토모티브
현대두산인프라코어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브, 현대두산인프라코어(주) filed Critical 주식회사 와이즈오토모티브
Priority to CN202280009561.0A priority Critical patent/CN116746140A/zh
Priority to EP22742911.5A priority patent/EP4277265A1/en
Publication of WO2022158935A1 publication Critical patent/WO2022158935A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a front image generating apparatus for heavy equipment, and more particularly, to a front image generating apparatus for heavy equipment that generates a front image for securing a forward view in heavy equipment such as a wheel loader, etc. .
  • Heavy equipment is equipment used for various tasks at a construction site, for example, a wheel loader, a fork crane, and the like.
  • the driver's front view is obscured by the large parts during operation.
  • the driver's front view is obscured by a bucket that elevates and descends from the front during operation.
  • the present invention has been proposed to solve the above-mentioned problems in the prior art, by synthesizing an image of a preset area among the front image of the second viewpoint with a front image of a first viewpoint, and a composite front including an object in an area obscured by a view obstructing part
  • An object of the present invention is to provide a front image generating apparatus for heavy equipment that generates an image.
  • the apparatus for generating a front image for heavy equipment is disposed on the upper part of the heavy equipment, and an upper camera for generating a first front image by photographing the front of the heavy equipment, and is disposed on the lower part of the equipment , a lower camera that generates a second front image by photographing the front of the heavy equipment, a part of the first front image is set as the first composite area, a part of the second front image is set as the second composite area, and the first front A synthesized front image is generated by translucently synthesizing the second synthesizing region with the first synthesizing region of the image, but when the object is located in front of the set distance from the front end of the viewing-obstructing part, the position on the vertical axis within the first synthesizing region of the object and an image processor for synthesizing the positions on the vertical axis to match within the second synthesizing region.
  • the position on the vertical axis in the first merging area of the object and the position on the vertical axis in the second synthesizing area may be different from each other.
  • the position on the vertical axis in the first synthesizing area of the object may be disposed closer to the bottom of the composite front image than the position on the vertical axis in the second synthesizing area.
  • the position on the vertical axis in the first combining area of the object is placed closer to the top of the composite front image than the position on the vertical axis in the second combining area can be
  • the vertical distance between the position on the vertical axis in the first synthesizing area and the position on the vertical axis in the second synthesizing area of the object may increase as the distance between the object and the front end of the viewing-obstructing part increases more than the set distance.
  • the image processor generates a composite front image by translucently synthesizing an image detector that detects a region set as a second synthesized region from among the second forward image as a synthesized image and a second synthesized region in the first synthesized region of the first forward image,
  • an image synthesizing unit for synthesizing the object so that the position on the vertical axis in the first synthesizing area matches the position on the vertical axis in the second synthesizing area of the object .
  • the horizontal length of the first composite area may be the same as the horizontal length of the visual field-obstructing part included in the first front image
  • the horizontal length of the second composite area may be the same as the horizontal length of the viewing-obstructing part included in the second front image.
  • a horizontal length of the first synthesizing region may be the same as a horizontal length of the visual field-obstructing component included in the first front image, and a horizontal length of the second synthesizing region may be greater than a horizontal length of the viewing-obstructing component included in the second front image.
  • the image synthesizer may reduce the synthesized image to a size corresponding to the first synthesized region, and synthesize the reduced synthesized image in the first synthesized region.
  • the image detector may crop the first front image to a size smaller than an original size based on a setting condition to generate a first crop front image, and the first crop front image may include a first synthesis area.
  • the image detector may set a plurality of crop regions having different sizes in the first front image, and may crop the first front image based on one crop region among the plurality of crop regions based on a setting condition.
  • the image detection unit may receive one of the driver's size selection information, the speed of the heavy equipment, and the distance to an object located in front of the heavy equipment as a setting condition.
  • the image detection unit enlarges the first crop front image to the original size of the first front image and transmits it to the image synthesis unit, and the image synthesis unit enlarges the synthesized image to the same size as the first synthesis area of the first crop front image and then enlarges the second image. Can be synthesized in 1 synthesis area.
  • the image processor sets a first synthesizing area in a shaded area covered by the visual field-obstructing part in the first front image, and sets a second synthesizing area in a partial area of the second front image corresponding to the first synthesizing area Setting unit, converts the second front image into a bowl shape based on the area located in front of the set distance from the tip of the visual obstruction part among the second front images, and transmits the second front image converted into the bowl shape to the synthesis area setting unit It may further include an image converter.
  • the front image generating device for heavy equipment synthesizes and displays a part of the second front image photographed from the bottom in a partial region of the first front image photographed from the upper end of the heavy equipment, so that the blind spot caused by the parts obstructing the view of the heavy equipment It has the effect of preventing occurrence and preventing the driver's front view from being obscured.
  • the front image generating apparatus for heavy equipment synthesizes a portion of the second front image in a partial region of the first front image, thereby minimizing the synthesis of unnecessary objects to minimize the amount of computation while minimizing the heterogeneity of the synthesized front image.
  • the device for generating a front image for heavy equipment is synthesized based on an area located in front of a set distance from the front end of the visual field obstruction part, There is an effect of minimizing the heterogeneity of the composite front image in an area where many objects are located.
  • the front image generating apparatus for heavy equipment prevents the occurrence of a shadow area in which a moving object disappears in the synthesized front image by setting a composite area larger than the size of the visual field obstruction part when setting the second composite area in the second front image, thereby preventing accidents during work. It has the effect of preventing the occurrence.
  • the front image generating apparatus for heavy equipment crops and size-converts the first front image according to a set condition and synthesizes a part of the second front image converted to the size of the first synthesis area, thereby allowing the driver to see the front view in various environments. It has the effect of supporting the easy confirmation of the existence of an object.
  • FIG. 1 is a block diagram for explaining the configuration of a front image generating apparatus for heavy equipment according to an embodiment of the present invention.
  • Figure 2 is a view for explaining the upper camera and the lower camera of Figure 1;
  • FIG. 3 is a diagram for explaining the image processor of FIG. 1 ;
  • 4 and 5 are diagrams for explaining a configuration in which the synthesis area setting unit of FIG. 3 sets the first synthesis area in the first front image;
  • FIG. 6 is a view for explaining a configuration in which a synthesis area setting unit of FIG. 3 sets a second synthesis area in a second front image;
  • FIG. 7 to 10 are diagrams for explaining an example in which the image synthesizing unit of FIG. 3 synthesizes the second synthesizing region of the second front image with the first synthesizing region of the first front image;
  • 11 to 14 are views for explaining a synthesized front image generated by the image synthesizing unit of FIG. 3 ;
  • 15 to 18 are diagrams for explaining a configuration in which the image synthesizing unit of FIG. 3 prevents a moving object from disappearing in a synthesizing area of a synthesizing front image;
  • 19 to 22 are diagrams for explaining a configuration for generating a synthesized front image by detecting a part of the first front image according to a setting condition
  • the synthesis used in the description of the embodiment of the present invention does not replace or overwrite an image with another image, but means that both images are displayed in the synthesized image by adjusting the transparency of the two images.
  • the apparatus for generating a front image for heavy equipment generates a synthetic front image by synthesizing an upper image photographed by an upper camera installed in the heavy equipment and a lower image photographed by a lower camera.
  • the apparatus for generating a front image for heavy equipment generates a synthetic front image capable of confirming an object obscured by the view obstructing part by synthesizing a part of the lower image in an area where the object is obscured by the view obstructing part in the upper image.
  • the front image generating apparatus for heavy equipment sets a first synthesizing region in the upper image and sets a second synthesizing region in the lower image.
  • the front image generating apparatus for heavy equipment transforms the lower image into a bowl shape in order to match the scale between the upper image and the lower image, and sets a second synthesis area in the deformed lower image.
  • the apparatus for generating a front image for heavy equipment generates a synthesized front image by synthesizing the second synthesizing region of the lower image with the first synthesizing region of the upper image.
  • the front image generating apparatus for heavy equipment synthesizes the second combining region with the first combining region so that a point separated by a set distance from the front end of the view-obstructing part of the heavy equipment coincides.
  • the front image generating apparatus for heavy equipment adjusts the transparency of the first synthesis area and the transparency of the second synthesis area, and then synthesizes them to check all of the objects that are at least partially obstructed by the view-obstructing parts and the view-obstructing parts of the heavy equipment. Create a front image.
  • the first synthesis area and the second synthesis area are synthesized so that a point of approximately 3 m coincides with the tip of the bucket of the wheel loader.
  • the front image generating apparatus for heavy equipment synthesizes the second synthesized region with the first synthesized region so that points separated by a set distance match, so that the first object located in front of the set distance from the front end of the visual field obstruction part is one in the synthesized front image.
  • the first object displayed on the composite front image is displayed in the same size as the first object photographed by the upper camera in a state in which the first object is not covered by the view-obstructing part, and is disposed on the same floor or has the same floor surface. are shown to follow.
  • a second object located at a position farther or closer than the set distance from the front end of the visual field obstruction part is displayed as two objects in the composite front image.
  • the second object displayed in the composite front image is displayed smaller or larger than the second object photographed by the upper camera in a state where the second object is not obstructed by the view-obstructing part, and is placed on a different floor surface or is placed on another floor surface. are shown to follow.
  • the second object is displayed smaller in the composite front image as the distance from the viewing-obstructing part increases.
  • a front image generating apparatus 100 for heavy equipment is configured to include an upper camera 120 , a lower camera 140 , an image processor 160 , and a display 180 . .
  • the upper camera 120 generates a first front image FI1 by photographing the front of the heavy equipment 10 . That is, the upper camera 120 is disposed on the upper portion of the heavy equipment 10 , and generates a first front image FI1 by photographing the front of the heavy equipment 10 .
  • the lower camera 140 generates a second front image FI2 by photographing the front of the heavy equipment 10 . That is, the lower camera 140 is disposed under the heavy equipment 10 , and creates a second front image FI2 by photographing the front of the heavy equipment 10 .
  • the upper camera 120 is disposed above the cab of the heavy equipment 10 to photograph the front of the heavy equipment 10 to generate a first front image FI1
  • the lower camera 140 is the heavy equipment ( 10)
  • the second front image FI2 is generated by photographing the front of the heavy equipment 10 at a height of about 0.9 m from the ground.
  • the image processor 160 synthesizes a partial area of the first front image FI1 captured by the upper camera 120 with a partial area of the second front image FI2 photographed by the lower camera 140 to synthesize the front image ( CFI) is created.
  • the image processor 160 may include an image conversion unit 162 , a synthesis region setting unit 164 , an image detection unit 166 , and an image synthesis unit 168 . have.
  • the image converter 162 converts the second front image FI2 into a bowl shape.
  • the image conversion unit 162 converts the second front image FI2 into a bowl shape based on a position spaced apart by a set distance from the front end of the view-obstructing part 16 of the heavy equipment 10 .
  • the synthesis area setting unit 164 sets the synthesis area in the first front image FI1 and the second front image FI2 received from the upper camera 120 and the lower camera 140 . At this time, the synthesis area setting unit 164 sets a part of the first front image FI1 as the first synthesis area CA1 based on the view-obstructing part 16 displayed in the first front image FI1, and 2 A portion of the second front image FI2 is set as the second synthesis area CA2 based on the view-obstructing component 16 displayed in the second front image FI2 .
  • the synthesis area setting unit 164 sets the horizontal length of the first synthesis area CA1 based on the left and right sides of the viewing obstruction component 16 displayed in the first front image FI1 . At this time, the synthesis area setting unit 164 sets an area including an area located in front of the set distance from the tip of the view-obstructing part 16 of the heavy equipment 10 in the first front image FI1 to the first synthesis area CA1. set to Accordingly, the synthesis area setting unit 164 sets a partial area including an area located approximately 3 m forward from the tip of the bucket 16 among the entire area of the first front image FI1 as the first synthesis area CA1. Take as an example
  • the combining area setting unit 164 is the first in which the lowermost bucket 16 is photographed. Based on the upper end of the bucket 16 in the front image FI1, a first composite area CA1 having a vertical length corresponding to the height of the bucket 16 displayed in the first front image FI1 is set.
  • the synthesis area setting unit 164 selects the first synthesis area CA1 having the same vertical length as the width (ie, the horizontal length) of the bucket 16 that is the view-obstructing part 16 displayed in the first front image FI1 . set
  • the synthesis area setting unit 164 first synthesizes an area having the same horizontal and vertical lengths as the horizontal and vertical lengths of the bucket 16 based on the center point of the first front image FI1.
  • the area CA1 may be set.
  • the synthesis area setting unit 164 sets the first synthesis area CA1 including the area located in front of the set distance.
  • the synthesis area setting unit 164 sets a partial area of the second front image FI2 converted into the bowl shape by the image conversion unit 162 as the second synthesis area CA2 .
  • the combining area setting unit 164 sets the second combining area CA2 so that the left and right sides of the first combining area CA1 are substantially identical to each other.
  • the synthesis area setting unit 164 determines the horizontal length of the second synthesis area CA2 based on the left and right sides of the viewing obstruction component 16 displayed in the second front image FI2 .
  • set The synthesis area setting unit 164 may set the vertical length of the second synthesis area CA2 based on the ratio of the horizontal length of the first synthesis area CA1 and the horizontal length of the second synthesis area CA2 .
  • the combining area setting unit 164 sets the second combining area CA2 including the area located in front of the set distance from the tip of the visual field obstruction component 16 .
  • the synthesis area setting unit 164 sets an area having the same horizontal length and vertical length as the horizontal length and vertical length of the bucket 16 based on the center point of the second front image FI2 to set the second synthesis area CA2. may be In this case, the combining area setting unit 164 sets the second combining area CA2 including the area located in front of the set distance.
  • the synthesis area setting unit 164 operates only during manufacturing or initial driving to set the first synthesis area CA2 and the second synthesis area CA2, and for an image input thereafter, the preset area is used as the synthesis area. set
  • the image detector 166 detects a synthesis region to be synthesized into the first front image FI1 from the second front image FI2 .
  • the image detector 166 detects an area set as the second synthesis area CA2 from among the second front image FI2 as a composite image.
  • the image synthesizing unit 168 generates a synthesized anterior image CFI by synthesizing the synthesized image detected from the second forward image FI2 with the first forward image FI1 .
  • the image synthesizer 168 reduces (or enlarges) the synthesized image and converts it to the same size as the first synthesized area CA.
  • the image synthesizing unit 168 adjusts the first synthesizing area CA1 of the first front image FI1 and transparency of the synthesized image, and then adds the synthesized image to the first synthesizing area CA1 of the first front image FI1. are synthesized to generate a composite anterior image (CFI).
  • CFI composite anterior image
  • the image synthesizing unit 168 synthesizes the first front image FI1 and the synthesized image so that the region located in front of the set distance from the front end of the view obstructing part 16 matches. At this time, the image synthesizing unit 168 synthesizes the first front image FI1 and the synthesized image based on the set distance, so that the floor surfaces of objects located in front of the set distance in the synthesized front image CFI are displayed to match each other. .
  • the image synthesizing unit 168 determines the position on the vertical axis and the second synthesizing area ( CA1 ) of the object. CA2), the first front image FI1 and the synthesized image are synthesized so that the positions on the vertical axis coincide.
  • the position on the vertical axis within the first composite area CA1 of the object and the second composite area CA2 positions on the vertical axis within the .
  • the position on the vertical axis in the first combining area CA1 of the object is more synthesized than the position on the vertical axis in the second combining area CA2. It may be disposed close to the lower portion of the front image.
  • the position on the vertical axis in the first composite area CA1 of the object is the position on the vertical axis in the second composite area CA2 It can be placed closer to the top of the composite anterior image.
  • the distance between the object and the front end of the viewing-obstructing part 16 increases, the distance between the position on the vertical axis in the first combining area CA1 and the position on the vertical axis in the second combining area CA2 of the object increases.
  • the vertical spacing may be further increased.
  • the first cone (A1) and the second cone (A2) are disposed 1 m in front of the tip of the bucket 16 of the wheel loader 10, and the third cone ( A3) and a fourth cone (A4) are arranged, a fifth cone (A5) and a sixth cone (A6) are arranged 5 m forward, and a seventh cone (A7) and an eighth cone (A8) are arranged 7 m forward assumed to be placed.
  • the bucket 16 of the wheel loader 10 rises, in the first front image FI1 captured by the upper camera 120 , the first cone A1 and the second cone A2 A portion of the upper end of the, the third to sixth cones, the seventh cone (A7), and the lower portion of the eighth cone (A8) are covered by the bucket (16).
  • the first cones A1 to the eighth cones A8 are visible without being covered by this bucket (16).
  • the image detector 166 detects a synthesized image from the second front image FI2, and the synthesized image includes the first cones A1 to the eighth cones A8.
  • the image synthesizer 168 synthesizes the synthesized image with the first front image FI1 based on a set distance of 3m. That is, the image synthesizing unit 168 determines that the bottom surfaces (ie, positions on the vertical axis on the screen) of the third and fourth cones A3 and A4 included in the synthesized image are the second of the first front image FI1 .
  • the synthesized image is synthesized in the first synthesized region CA1 of the first forward image FI1 so as to coincide with the floor (ie, the position on the vertical axis on the screen) corresponding to the 3 m front of the one synthesized region CA1.
  • the third cone A3 and the fourth cone A4 displayed in the composite front image CFI are the third cone A3 and the fourth cone A4 positioned 3 m in front of the set distance and the bottom surface (that is, The position on the screen (on the vertical axis) is displayed to match.
  • the first cone A1, the second cone A2, the fifth cone A5, the sixth cone A6, the seventh cone A7, and the eighth cone A8 displayed in the composite anterior image CFI. is displayed at a position where the bottom surface (ie, the position on the vertical axis on the screen) does not coincide.
  • the first anterior Both the first cone A1 to the eighth cone A8 of the image FI1 and the first cone A1 to the eighth cone A8 in the second front image FI2 may be displayed.
  • the image synthesizer 168 may adjust the size and position of the synthesized image in order to match the size of the object located in front of the set distance, and then synthesize the synthesized image into the first forward image FI1.
  • the image synthesizing unit 168 Since the image synthesizing unit 168 generates the synthesized front image CFI based on the set distance, in the case of a large object such as a person, the object captured in the first front image FI1 and the second front image FI2 ) may be repeatedly displayed in the composite forward image (CFI).
  • the position on the ground where the person moves is maintained the same as when the upper camera 120 captures the image.
  • the moving object moves (CFI-T1, CIF-T2, In case of CIF-T3), the moving object may not be displayed in the composite forward image (CFI-T2). In this case, an accident may occur during work because the operator of the heavy equipment 10 cannot check the moving object.
  • the synthesis area setting unit 164 sets the second synthesis area CA2 in the second front image FI2 to the bucket ( 16), the second composite area CA2' having a greater horizontal length and/or a vertical length may be set.
  • the image synthesizing unit 168 synthesizes the synthesized image with the first front image FI1 based on the set distance, but reduces the synthesized image according to the size of the first synthesis area CA1 of the first front image FI1. then synthesized.
  • the moving object is displayed double on the left and right sides of the synthesis area of the synthesized front image CFI (ie, the first synthesis area CA1).
  • a section S may occur.
  • the front image generating apparatus 100 for heavy equipment according to an embodiment of the present invention is displayed on the composite front image (CFI) until the moving object leaves the shaded area of the bucket 16, it is possible to prevent accidents during operation. .
  • the apparatus 100 for generating a front image for heavy equipment can display the moving object on the composite forward image (CFI) until the moving object completely leaves the danger zone, and through this, the Accidents can be prevented while driving.
  • CFI composite forward image
  • the apparatus 100 for generating a front image for heavy equipment may generate a composite front image CFI by using a partial region of the first front image FI1 according to a setting condition.
  • the image detector 166 crops the first front image FI1 before synthesizing the first front image FI1 and the synthesized image.
  • the image converter 162 crop-transforms the first front image FI1 to include the first synthesis area CA1 .
  • the image detection unit 166 sets a plurality of crop regions smaller than the original size based on the original size of the first front image FI1 in advance.
  • the image detector 166 may include a first crop region C1 smaller than the original size and a second crop region C2 smaller than the first crop region C1 in the first front image FI1 . ) can be set
  • the image detection unit 166 may receive one of a driver's size selection, a speed of the heavy equipment 10, and a distance from an obstacle as a setting condition.
  • the image detector 166 crops the first front image FI1 according to the input setting condition to generate the first crop front image FI1'.
  • the image detection unit 166 does not crop the first front image FI1 and does not crop the first front image FI1' of the original size. create
  • the image detector 166 crops the first front image FI1 based on the first crop region C1 to obtain a first cropped front image FI1' smaller than the original size. create
  • the image detection unit 166 crops the first front image FI1 based on the second crop region C2 to obtain a first cropped front image FI1' smaller than the original size. create
  • the image detector 166 converts the size of the first cropped front image FI1 ′ into the original size of the first front image FI1 and transmits it to the image synthesizer 168 .
  • the image detector 166 converts the size of the first crop front image FI1 ′ into the original size of the first front image FI1 , and then transmits it to the image synthesizer 168 . At this time, as the size of the first crop front image FI1' is changed, the size of the first synthesis area CA1 is also converted at the same rate as the first crop front image FI1'.
  • the image synthesizer 168 synthesizes the synthesized image detected by the image detector 166 in the first synthesis area CA1 of the first crop forward image FI1' to generate the synthesized forward image CFI. In this case, the image synthesizer 168 converts the size of the synthesized image to the size of the first synthesized area CA1 and then synthesizes the synthesized image with the first cropped image FI1'.
  • the image synthesis unit 168 when the setting condition is the maximum, the image synthesis unit 168 synthesizes the synthesis area as it is because there is no change in the size of the first synthesis area CA1. Since the size of the first synthesis area CA1 increases when the setting condition is medium or minimum, the image synthesis unit 168 converts the synthesis area to the increased size of the first synthesis area CA1 and then synthesizes the synthesized area. As such, the image synthesizer 168 generates the synthesized front image CFI in which the size of the region where the synthesized image is synthesized (ie, the first synthesized region CA1) is changed according to a setting condition.
  • the image synthesizer 168 generates the synthesized front image CFI in which the size of the region where the synthesized image is synthesized (ie, the first synthesized region CA1) is changed according to a setting condition.
  • the apparatus 100 for generating a front image for heavy equipment crops and size-converts the first front image FI1 according to a setting condition, and then synthesizes a part of the second front image FI2, It supports the driver to easily check the presence of objects in front.
  • the display 180 displays the synthesized front image (CFI) synthesized by the image processor 160 .
  • the display 180 is disposed in the driver's seat or the remote control device of the heavy equipment 10 , and receives and displays the composite front image CFI from the image processor 160 .
  • the construction equipment will be described as an example of the wheel loader 10, but the present invention is not limited thereto. It can be applied to construction equipment where this occurs.
  • the bucket 16 of the wheel loader 10 has been described as the view-obstructing part 16, but it is not limited thereto and the view-obstructing part 16 is the bucket of the fork crane ( 16), the bucket 16 boom and the bucket 16 cylinder, etc., may be parts that obstruct the front view, such as a mast of a forklift, a lift chain, a carriage, a fork arm, and a fork.

Abstract

제1 시점의 전방 영상에 제2 시점의 전방 영상 중 미리 설정된 영역의 영상을 합성하여 시야 방해 부품에 가려진 영역의 사물을 포함한 합성 전방 영상을 생성하도록 한 중장비용 전방 영상 생성 장치를 제시한다. 제시된 중장비용 전방 영상 생성 장치는 중장비의 상부 및 하부에서 전방을 촬영하여 제1 전방 영상 및 제2 전방 영상을 생성하고, 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 영역이 일치하도록 제1 전방 영상의 일부 영역에 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다.

Description

중장비용 전방 영상 생성 장치
본 발명은 중장비용 전방 영상 생성 장치에 관한 것으로, 더욱 상세하게는 휠 로더 등과 같이 작업시 전방을 확인하기 어려운 중장비에서 전방 시야를 확보하기 위한 전방 영상을 생성하는 중장비용 전방 영상 생성 장치에 관한 것이다.
중장비는 건설 현장 등에서 다양한 작업에 사용되는 장비로, 휠 로더, 포크레인 등을 예로 들 수 있다. 이때, 중장비는 운전자의 전방에 대형 부품이 배치되는 경우가 많기 때문에 작업 중에 대형 부품에 의해 운전자의 전방 시야가 가려진다. 일례로, 휠 로더는 작업시 전방에서 승하강하는 버켓(bucket)에 의해 운전자의 전방 시야가 가려진다.
이처럼, 중장비는 운전자의 전방 시야에 방해가 발생하기 때문에 작업 효율이 떨어지고, 다양한 형태의 안전사고가 발생할 가능성이 높아진다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 제1 시점의 전방 영상에 제2 시점의 전방 영상 중 미리 설정된 영역의 영상을 합성하여 시야 방해 부품에 가려진 영역의 사물을 포함한 합성 전방 영상을 생성하도록 한 중장비용 전방 영상 생성 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치는 중장비의 상부에 배치되고, 중장비의 전방을 촬영하여 제1 전방 영상을 생성하는 상부 카메라, 장비의 하부에 배치되고, 중장비의 전방을 촬영하여 제2 전방 영상을 생성하는 하부 카메라, 제1 전방 영상의 일부를 제1 합성 영역으로 설정하고, 제2 전방 영상의 일부를 제2 합성 영역으로 설정하고, 제1 전방 영상의 제1 합성 영역에 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 처리기를 포함한다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리 미만이거나 설정 거리를 초과하는 경우, 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치가 서로 다를 수 있다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리 미만인 경우, 사물의 제1 합성 영역 내에서 수직 축 상의 위치는 제2 합성 영역 내에서 수직 축 상의 위치보다 합성 전방 영상의 하부에 가깝게 배치될 수 있다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리를 초과하는 경우, 사물의 제1 합성 영역 내에서 수직 축 상의 위치는 제2 합성 영역 내에서 수직 축 상의 위치보다 합성 전방 영상의 상부에 가깝게 배치될 수 있다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리보다 멀어질수록 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치 사이의 수직 간격이 더 증가할 수 있다.
영상 처리기는 제2 전방 영상 중에서 제2 합성 영역으로 설정된 영역을 합성 영상으로 검출하는 영상 검출부 및 제1 전방 영상의 제1 합성 영역에 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 합성부를 포함할 수 있다.
제1 합성 영역의 가로 길이는 제1 전방 영상에 포함된 시야 방해 부품의 가로 길이와 동일하고, 제2 합성 영역의 가로 길이는 제2 전방 영상에 포함된 시야 방해 부품의 가로 길이와 동일할 수 있다.
제1 합성 영역의 가로 길이는 제1 전방 영상에 포함된 시야 방해 부품의 가로 길이와 동일하고, 제2 합성 영역의 가로 길이는 제2 전방 영상에 포함된 시야 방해 부품의 가로 길이보다 클 수 있다.
영상 합성부는 합성 영상을 제1 합성 영역에 대응하는 크기로 축소하고, 축소된 합성 영상을 제1 합성 영역에 합성할 수 있다.
영상 검출부는 설정 조건을 근거로 제1 전방 영상을 원본 사이즈보다 작은 사이즈로 크롭하여 제1 크롭 전방 영상을 생성하고, 제1 크롭 전방 영상은 제1 합성 영역을 포함할 수 있다.
영상 검출부는 제1 전방 영상에 서로 다른 사이즈를 갖는 복수의 크롭 영역을 설정하고, 설정 조건을 근거로 복수의 크롭 영역 중에서 하나의 크롭 영역을 기준으로 제1 전방 영상을 크롭할 수 있다. 이때, 영상 검출부는 운전자의 사이즈 선택 정보, 중장비의 속도, 중장비의 전방에 위치한 사물과의 거리 중에 하나를 설정 조건으로 입력받을 수 있다.
영상 검출부는 제1 크롭 전방 영상을 제1 전방 영상의 원본 사이즈로 확대한 후 영상 합성부로 전송하고, 영상 합성부는 합성 영상을 제1 크롭 전방 영상의 제1 합성 영역과 동일한 사이즈로 확대한 후 제1 합성 영역에 합성할 수 있다.
영상 처리기는 제1 전방 영상 중에서 시야 방해 부품에 의해 가려지는 음영 영역에 제1 합성 영역을 설정하고, 제1 합성 영역에 대응하는 제2 전방 영상의 일부 영역에 제2 합성 영역을 설정하는 합성 영역 설정부, 제2 전방 영상 중에서 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 영역을 기준으로 제2 전방 영상을 보울 형상으로 변환하고, 보울 형상으로 변환된 제2 전방 영상을 합성 영역 설정부로 전송하는 영상 변환부를 더 포함할 수 있다.
본 발명에 의하면, 중장비용 전방 영상 생성 장치는 중장비의 상단에서 촬영된 제1 전방 영상의 일부 영역에 하단에서 촬영된 제2 전방 영상의 일부를 합성하여 표시함으로써, 중장비의 시야 방해 부품에 의한 사각 발생을 방지하고 운전자의 전방 시야가 가려지는 것을 방지할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 제1 전방 영상의 일부 영역에 제2 전방 영상의 일부를 합성함으로써, 불필요한 사물들의 합성을 최소화하여 연산량을 최소화하면서 합성 전방 영상의 이질감을 최소화할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 제1 전방 영상의 제1 합성 영역에 제2 전방 영상의 제2 합성 영역을 합성할 때 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 영역을 기준으로 합성함으로써, 사물이 많이 위치하는 영역에서 합성 전방 영상의 이질감을 최소화할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 제2 전방 영상에 제2 합성 영역을 설정할 때 시야 방해 부품의 사이즈보다 큰 합성 영역을 설정함으로써, 합성 전방 영상에서 이동체가 사라지는 음영 영역의 발생을 방지하여 작업중 사고 발생을 방지할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 설정 조건에 따라 제1 전방 영상을 크롭 및 사이즈 변환한 후 제1 합성 영역의 사이즈로 변환된 제2 전방 영상의 일부를 합성함으로써, 다양한 환경에서 운전자가 전방의 사물 존재 여부를 쉽게 확인할 수 있도록 지원할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치의 구성을 설명하기 위한 블록도.
도 2는 도 1의 상부 카메라 및 하부 카메라를 설명하기 위한 도면.
도 3은 도 1의 영상 처리기를 설명하기 위한 도면.
도 4 및 도 5는 도 3의 합성 영역 설정부가 제1 전방 영상에 제1 합성 영역을 설정하는 구성을 설명하기 위한 도면.
도 6은 도 3의 합성 영역 설정부가 제2 전방 영상에 제2 합성 영역을 설정하는 구성을 설명하기 위한 도면.
도 7 내지 도 10은 도 3의 영상 합성부가 제1 전방 영상의 제1 합성 영역에 제2 전방 영상의 제2 합성 영역을 합성하는 일례를 설명하기 위한 도면.
도 11 내지 도 14는 도 3의 영상 합성부에서 생성된 합성 전방 영상을 설명하기 위한 도면.
도 15 내지 도 18은 도 3의 영상 합성부가 합성 전방 영상의 합성 영역에서 이동체가 사라지는 것을 방지하도록 한 구성을 설명하기 위한 도면.
도 19 내지 도 22는 설정 조건에 따라 제1 전방 영상의 일부를 검출하여 합성 전방 영상을 생성하는 구성을 설명하기 위한 도면.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
먼저, 본 발명의 실시 예의 설명에서 사용되는 합성은 영상을 다른 영상으로 대체하거나 덮어씌우는 것이 아니라, 두 영상의 투명도를 조절하여 합성된 영상에서 두 영상이 모두 표시되도록 하는 것을 의미한다.
본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치는 중장비에 설치된 상부 카메라에서 촬영한 상부 영상 및 하부 카메라에서 촬영한 하부 영상을 합성하여 합성 전방 영상을 생성한다. 이때, 중장비용 전방 영상 생성 장치는 상부 영상 중에서 시야 방해 부품에 의해 사물이 가려지는 영역에 하부 영상의 일부를 합성하여 시야 방해 부품에 의해 가려진 사물을 확인할 수 있는 합성 전방 영상을 생성한다.
이를 위해, 중장비용 전방 영상 생성 장치는 상부 영상에 제1 합성 영역을 설정하고, 하부 영상에 제2 합성 영역을 설정한다. 이때, 중장비용 전방 영상 생성 장치는 상부 영상과 하부 영상 사이의 스케일을 일치시키기 위해서 하부 영상을 보울(Bowl) 형상으로 변형하고, 변형된 하부 영상에 제2 합성 영역을 설정한다.
중장비용 전방 영상 생성 장치는 상부 영상의 제1 합성 영역에 하부 영상의 제2 합성 영역을 합성하여 합성 전방 영상을 생성한다. 이때, 중장비용 전방 영상 생성 장치는 중장비의 시야 방해 부품의 선단으로부터 설정 거리 떨어진 지점이 일치하도록 제1 합성 영역에 제2 합성 영역을 합성한다.
여기서, 중장비용 전방 영상 생성 장치는 제1 합성 영역의 투명도와 제2 합성 영역의 투명도를 조절한 후 합성하여 중장비의 시야 방해 부품과 시야 방해 부품에 의해 적어도 일부가 가려진 사물을 모두 확인할 수 있는 합성 전방 영상을 생성한다.
일례로, 휠 로더의 버켓 선단으로부터 대략 3m 정도 전방에 위치한 사물은 버켓에 의해 가려져 운전자의 시야 또는 상부 영상에서 사물을 확인할 수 없게 되며, 이로 인해 사고 발생 위험이 높아진다. 이에, 휠 로더의 버켓 선단을 기준으로 대략 3m 정도의 지점이 일치하도록 제1 합성 영역과 제2 합성 영역을 합성한다. 여기서, 중장비용 전방 영상 생성 장치는 설정 거리 떨어진 지점이 일치하도록 제1 합성 영역에 제2 합성 영역을 합성함으로써, 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 제1 사물은 합성 전방 영상 내에서 하나의 사물로 표시된 합성 전방 영상을 생성한다. 또한, 합성 전방 영상에 표시된 제1 사물은 시야 방해 부품에 의해 제1 사물이 가려지지 않은 상태에서 상부 카메라에서 촬영된 제1 사물과 동일한 크기로 표시되며, 동일한 바닥면에 배치되거나 동일한 바닥면을 따라 이동하는 것으로 표시된다.
한편, 시야 방해 부품의 선단으로부터 설정 거리보다 멀거나 가까운 위치에 위치한 제2 사물을 합성 전방 영상 내에서 두개의 사물로 표시된다. 또한, 합성 전방 영상에 표시된 제2 사물은 시야 방해 부품에 의해 제2 사물이 가려지지 않은 상태에서 상부 카메라에서 촬영된 제2 사물보다 작거나 크게 표시되며, 다른 바닥면에 배치되거나 다른 바닥면을 따라 이동하는 것으로 표시된다. 일례로, 제2 사물은 시야 방해 부품과의 거리가 멀어질수록 합성 전방 영상 내에서 작게 표시된다.
도 1을 참조하면, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 상부 카메라(120), 하부 카메라(140), 영상 처리기(160) 및 디스플레이(180)를 포함하여 구성된다.
상부 카메라(120)는 중장비(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성한다. 즉, 상부 카메라(120)는 중장비(10)의 상부에 배치되고, 중장비(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성한다.
하부 카메라(140)는 중장비(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성한다. 즉, 하부 카메라(140)는 중장비(10)의 하부에 배치되고, 중장비(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성한다.
도 2를 참조하면, 상부 카메라(120)는 중장비(10)의 운전실 상부에 배치되어 중장비(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성하고, 하부 카메라(140)는 중장비(10)의 하부에 배치되되, 지면에서 대략 0.9m 정도의 높이에서 중장비(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성하는 것을 일례로 한다.
영상 처리기(160)는 상부 카메라(120)에서 촬영된 제1 전방 영상(FI1)의 일부 영역에 하부 카메라(140)에서 촬영된 제2 전방 영상(FI2)의 일부 영역을 합성하여 합성 전방 영상(CFI)을 생성한다.
이를 위해, 도 3에 도시된 바와 같이, 영상 처리기(160)는 영상 변환부(162), 합성 영역 설정부(164), 영상 검출부(166) 및 영상 합성부(168)를 포함하여 구성될 수 있다.
영상 변환부(162)는 제2 전방 영상(FI2)을 보울(Bowl) 형상으로 변환한다. 영상 변환부(162)는 중장비(10)의 시야 방해 부품(16)의 선단을 기준으로 설정 거리 이격된 위치를 기준으로 제2 전방 영상(FI2)을 보울 형상으로 변환한다.
합성 영역 설정부(164)는 상부 카메라(120) 및 하부 카메라(140)로부터 전송받은 제1 전방 영상(FI1) 및 제2 전방 영상(FI2)에 합성 영역을 설정한다. 이때, 합성 영역 설정부(164)는 제1 전방 영상(FI1)에 표시된 시야 방해 부품(16)을 기준으로 제1 전방 영상(FI1)의 일부를 제1 합성 영역(CA1)으로 설정하고, 제2 전방 영상(FI2)에 표시된 시야 방해 부품(16)을 기준으로 제2 전방 영상(FI2)의 일부를 제2 합성 영역(CA2)으로 설정한다.
합성 영역 설정부(164)는 제1 전방 영상(FI1)에 표시된 시야 방해 부품(16)의 좌측 및 우측을 기준으로 제1 합성 영역(CA1)의 가로 길이를 설정한다. 이때, 합성 영역 설정부(164)는 제1 전방 영상(FI1) 중에서 중장비(10)의 시야 방해 부품(16)의 선단으로부터 설정 거리 전방에 위치한 영역을 포함하는 영역을 제1 합성 영역(CA1)으로 설정한다. 이에, 합성 영역 설정부(164)는 제1 전방 영상(FI1)의 전체 영역 중에서 버켓(16)의 선단으로부터 대략 3m 정도 전방에 위치한 영역을 포함하는 일부 영역을 제1 합성 영역(CA1)으로 설정하는 것을 일례로 한다.
도 4를 참조하여 중장비(10)가 휠 로더(10)고 직사각형의 제1 합성 영역(CA1)을 설정하는 경우, 합성 영역 설정부(164)는 최하부에 위치한 버켓(16)이 촬영된 제1 전방 영상(FI1)에서 버켓(16)의 상단을 기준으로 하고, 제1 전방 영상(FI1)에 표시된 버켓(16)의 높이에 대응하는 세로 길이를 갖는 제1 합성 영역(CA1)을 설정한다. 합성 영역 설정부(164)는 제1 전방 영상(FI1)에 표시된 시야 방해 부품(16)인 버켓(16)의 폭(즉, 가로 길이)과 동일한 세로 길이를 갖는 제1 합성 영역(CA1)을 설정한다.
도 5를 참조하면, 합성 영역 설정부(164)는 제1 전방 영상(FI1)의 중심점을 기준으로 버켓(16)의 가로 길이 및 세로 길이와 동일한 가로 길이 및 세로 길이를 갖는 영역을 제1 합성 영역(CA1)을 설정할 수도 있다. 이때, 합성 영역 설정부(164)는 설정 거리 전방에 위치한 영역을 포함하는 제1 합성 영역(CA1)을 설정한다.
합성 영역 설정부(164)는 영상 변환부(162)에서 보울 형상으로 변환된 제2 전방 영상(FI2)의 일부 영역을 제2 합성 영역(CA2)으로 설정한다. 합성 영역 설정부(164)는 제1 합성 영역(CA1)과 좌우가 대략 일치하도록 제2 합성 영역(CA2)을 설정한다.
일례로, 도 6을 참조하면, 합성 영역 설정부(164)는 제2 전방 영상(FI2)에 표시된 시야 방해 부품(16)의 좌측 및 우측을 기준으로 제2 합성 영역(CA2)의 가로 길이를 설정한다. 합성 영역 설정부(164)는 제1 합성 영역(CA1)의 가로 길이 및 제2 합성 영역(CA2)의 가로 길이의 비율을 근거로 제2 합성 영역(CA2)의 세로 길이를 설정할 수 있다. 이때, 합성 영역 설정부(164)는 시야 방해 부품(16)의 선단에서 설정 거리 전방에 위치한 영역을 포함하는 제2 합성 영역(CA2)을 설정한다.
합성 영역 설정부(164)는 제2 전방 영상(FI2)의 중심점을 기준으로 버켓(16)의 가로 길이 및 세로 길이와 동일한 가로 길이 및 세로 길이를 갖는 영역을 제2 합성 영역(CA2)을 설정할 수도 있다. 이때, 합성 영역 설정부(164)는 설정 거리 전방에 위치한 영역을 포함하는 제2 합성 영역(CA2)을 설정한다.
합성 영역 설정부(164)는 제작시 또는 최초 구동시에만 동작하여 제1 합성 영역(CA2) 및 제2 합성 영역(CA2)을 설정하며, 이후에 입력되는 영상에 대해서는 기설정된 영역을 합성 영역으로 설정한다.
영상 검출부(166)는 제2 전방 영상(FI2)으로부터 제1 전방 영상(FI1)에 합성될 합성 영역을 검출한다. 영상 검출부(166)는 제2 전방 영상(FI2) 중에서 제2 합성 영역(CA2)으로 설정된 영역을 합성 영상으로 검출한다.
영상 합성부(168)는 제1 전방 영상(FI1)에 제2 전방 영상(FI2)으로부터 검출한 합성 영상을 합성하여 합성 전방 영상(CFI)을 생성한다. 영상 합성부(168)는 합성 영상을 축소(또는 확대) 변환하여 제1 합성 영역(CA)과 동일한 사이즈로 변환한다. 영상 합성부(168)는 제1 전방 영상(FI1)의 제1 합성 영역(CA1) 및 합성 영상의 투명도를 조절한 후에, 제1 전방 영상(FI1)의 제1 합성 영역(CA1)에 합성 영상을 합성하여 합성 전방 영상(CFI)을 생성한다.
영상 합성부(168)는 시야 방해 부품(16)의 선단으로부터 설정 거리 전방에 위치한 영역이 일치하도록 제1 전방 영상(FI1) 및 합성 영상을 합성한다. 이때, 영상 합성부(168)는 설정 거리를 기준으로 제1 전방 영상(FI1) 및 합성 영상을 합성함으로써, 합성 전방 영상(CFI)에서 설정 거리 전방에 위치한 사물의 바닥면이 서로 일치하도록 표시된다.
다시 말해, 사물이 시야 방해 부품(16)의 선단에서 설정 거리 전방에 위치한 경우, 영상 합성부(168)는 해당 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치와 제2 합성 영역(CA2) 내에서 수직 축 상의 위치가 일치하도록 제1 전방 영상(FI1) 및 합성 영상을 합성한다.
반면, 사물과 시야 방해 부품(16)의 선단과의 거리가 설정 거리 미만이거나 설정 거리를 초과하는 경우, 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치와 제2 합성 영역(CA2) 내에서 수직 축 상의 위치가 서로 다를 수 있다.
사물과 시야 방해 부품(16)의 선단과의 거리가 설정 거리 미만인 경우, 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치는 제2 합성 영역(CA2) 내에서 수직 축 상의 위치보다 합성 전방 영상의 하부에 가깝게 배치될 수 있다.
사물과 시야 방해 부품(16)의 선단과의 거리가 설정 거리를 초과하는 경우, 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치는 제2 합성 영역(CA2) 내에서 수직 축 상의 위치보다 합성 전방 영상의 상부에 가깝게 배치될 수 있다. 이때, 사물과 시야 방해 부품(16)의 선단과의 거리가 멀어질수록 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치와 제2 합성 영역(CA2) 내에서 수직 축 상의 위치 사이의 수직 간격이 더 증가할 수 있다.
일례로, 도 7을 참조하면, 휠 로더(10)의 버켓(16) 선단을 기준으로 1m 전방에 제1 콘(A1) 및 제2 콘(A2)이 배치되고, 3m 전방에 제3 콘(A3) 및 제4 콘(A4)이 배치되고, 5m 전방에 제5 콘(A5) 및 제6 콘(A6)이 배치되고, 7m 전방에 제7 콘(A7) 및 제8 콘(A8)이 배치된 것으로 가정한다.
도 8을 참조하면, 휠 로더(10)의 버켓(16)이 상승함에 따라, 상부 카메라(120)에서 촬영된 제1 전방 영상(FI1)에서는 제1 콘(A1) 및 제2 콘(A2)의 상단 일부, 제3콘 내지 제6콘, 제7 콘(A7) 및 제8 콘(A8)의 하단 일부가 버켓(16)에 가려진다.
도 9를 참조하면, 휠 로더(10)의 버켓(16)이 상승함에 따라, 하부 카메라(140)에서 촬영된 제2 전방 영상(FI2)에서는 제1 콘(A1) 내지 제8 콘(A8)이 버켓(16)에 가려지지 않고 모두 보인다. 영상 검출부(166)는 제2 전방 영상(FI2)으로부터 합성 영상을 검출하며, 합성 영상에는 제1 콘(A1) 내지 제8 콘(A8)을 포함된다.
도 10을 참조하면, 영상 합성부(168)는 제1 전방 영상(FI1)에 합성 영상을 합성할 때 설정 거리인 3m를 기준으로 합성한다. 즉, 영상 합성부(168)는 합성 영상에 포함된 제3 콘(A3) 및 제4 콘(A4)의 바닥면(즉, 화면상 수직 축 상의 위치)이 제1 전방 영상(FI1)의 제1 합성 영역(CA1) 중에서 3m 전방에 대응되는 바닥면(즉, 화면상 수직 축 상의 위치)과 일치하도록 합성 영상을 제1 전방 영상(FI1)의 제1 합성 영역(CA1)에 합성한다.
이에, 합성 전방 영상(CFI)에 표시된 제3 콘(A3) 및 제4 콘(A4)은 설정 거리인 3m 전방에 위치한 제3 콘(A3) 및 제4 콘(A4)과 바닥면(즉, 화면상 수직 축 상의 위치)이 일치하도록 위치에 표시된다. 이때, 합성 전방 영상(CFI)에 표시된 제1 콘(A1), 제2 콘(A2), 제5 콘(A5), 제6 콘(A6), 제7 콘(A7) 및 제8 콘(A8)은 바닥면(즉, 화면상 수직 축 상의 위치)이 일치하지 않는 위치에 표시된다.
여기서, 도 10에서는 제1 전방 영상(FI1)에서 제1 콘(A1) 내지 제8 콘(A8)이 시야 방해 부품(16)에 의해 완전히 가려진 상태를 예로 들었기 때문에 합성 전방 영상(CFI)에서 제1 전방 영상(FI1)의 제1 콘(A1) 내지 제8 콘(A8)은 표시되지 않고 제2 전방 영상(FI2)에서 제1 콘(A1) 내지 제8 콘(A8)만 표시되는 것으로 도시한다.
이때, 제1 전방 영상(FI1)에서 제1 콘(A1) 내지 제8 콘(A8)의 일부 또는 전체가 시야 방해 부품(16)에 가려지지 않는 경우, 합성 전방 영상(CFI)에서 제1 전방 영상(FI1)의 제1 콘(A1) 내지 제8 콘(A8)과 제2 전방 영상(FI2)에서 제1 콘(A1) 내지 제8 콘(A8)이 모두 표시될 수 있다.
영상 합성부(168)는 설정 거리 전방에 위치한 사물의 크기를 일치시키기 위해서 합성 영상의 크기 및 위치를 조절한 후에 제1 전방 영상(FI1)에 합성할 수도 있다.
영상 합성부(168)는 설정 거리를 기준으로 합성 전방 영상(CFI)을 생성하기 때문에, 사람 등과 같이 크기가 큰 사물의 경우 제1 전방 영상(FI1)에서 촬영된 사물과 제2 전방 영상(FI2)에서 촬영된 사물이 합성 전방 영상(CFI) 내에서 중복 표시될 수 있다.
도 11 및 도 12를 참조하면, 사람이 휠 로더(10)의 버켓(16) 선단을 기준으로 3m 전방에 이동하는 것으로 가정하면, 합성 전방 영상(CFI) 중에서 제1 합성 영역(CA1)의 외부에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람이 표시된다. 사람이 도면상 우측에서 좌측으로 이동하여 제1 합성 영역(CA1)에서 사람이 이동할 때에는 하부 카메라(140)에서 촬영된 사람이 표시된다.
합성 전방 영상(CFI) 중에서 제1 합성 영역(CA1)의 외부에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람이 표시된다. 사람이
그에 따라, 제1 합성 영역(CA1)에서 사람의 크기는 줄어들지만 사람이 움직이는 지면상 위치를 상부 카메라(120)에서 촬영했을 때와 동일하게 유지된다.
도 13 및 도 14를 참조하면, 사람이 휠 로더(10)의 버켓(16) 선단을 기준으로 5m 전방에 이동하는 것으로 가정하면, 합성 전방 영상(CFI) 중에서 제1 합성 영역(CA1)의 외부에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람이 표시된다. 사람이 도면상 우측에서 좌측으로 이동하여 제1 합성 영역(CA1)에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람과 하부 카메라(140)에서 촬영된 사람이 함께 표시된다. 그에 따라, 제1 합성 영역(CA1)에서 동일한 사람이 2명으로 표시되며, 지면상 위치도 다르게 표시된다.
한편, 도 15를 참조하면, 합성 영역 설정부(164)에서 버켓(16)과 동일한 가로 길이를 갖는 제2 합성 영역(CA2)을 설정하는 경우, 이동체가 이동(CFI-T1, CIF-T2, CIF-T3)할 때 합성 전방 영상(CFI-T2)에서 이동체가 표시되지 않을 수 있다. 이 경우, 중장비(10) 운전자가 이동체를 확인하지 못하여 작업중 사고가 발생할 수 있다.
이를 방지하기 위해서, 도 16에 도시된 바와 같이, 합성 영역 설정부(164)는 제2 전방 영상(FI2)에 제2 합성 영역(CA2)을 설정할 때 제2 합성 영역(CA2)에 표시된 버켓(16)보다 큰 가로 길이 및/또는 세로 길이를 갖는 제2 합성 영역(CA2')을 설정할 수 있다.
영상 합성부(168)는 설정 거리를 기준으로 제1 전방 영상(FI1)에 합성 영상을 합성하되, 제1 전방 영상(FI1)의 제1 합성 영역(CA1)의 크기에 맞춰 합성 영상을 축소한 후 합성한다.
이때, 도 17 및 도 18을 참조하면, 합성 전방 영상(CFI)은 이동체가 합성 전방 영상(CFI)의 합성 영역(즉, 제1 합성 영역(CA1))의 좌측 및 우측에서 이동체가 이중으로 표시되는 구간(S)이 발생할 수도 있다. 하지만, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 이동체가 버켓(16)의 음영 지역을 벗어날 때까지 합성 전방 영상(CFI)에 표시되기 때문에 작업중 사고 발생을 방지할 수 있다.
이를 통해, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 이동체가 위험 구역에서 완전히 벗어날 때까지 합성 전방 영상(CFI)에 이동체를 표시할 수 있고, 이를 통해 중장비(10)의 운행시 사고 발생을 방지할 수 있다.
한편, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 설정 조건에 따라 제1 전방 영상(FI1)의 일부 영역을 이용하여 합성 전방 영상(CFI)을 생성할 수도 있다.
도 19를 참조하면, 영상 검출부(166)는 설정 조건이 입력되면 제1 전방 영상(FI1) 및 합성 영상을 합성하기 전에 제1 전방 영상(FI1)을 크롭(Crop) 변환한다. 영상 변환부(162)는 제1 합성 영역(CA1)을 포함하도록 제1 전방 영상(FI1)을 크롭 변환한다.
영상 검출부(166)는 제1 전방 영상(FI1)의 원본 사이즈를 기본으로 하고, 원본 사이즈보다 작은 복수의 크롭 영역을 미리 설정한다. 일례로, 도 20을 참조하면, 영상 검출부(166)는 제1 전방 영상(FI1)에 원본 사이즈보다 작은 제1 크롭 영역(C1), 제1 크롭 영역(C1)보다 작은 제2 크롭 영역(C2)을 설정할 수 있다
영상 검출부(166)는 운전자의 사이즈 선택, 중장비(10)의 속도, 장애물과의 거리 중에서 하나를 설정 조건으로 입력받을 수 있다. 영상 검출부(166)는 입력된 설정 조건에 따라 제1 전방 영상(FI1)을 크롭 변환하여 제1 크롭 전방 영상(FI1')을 생성한다.
일례로, 도 21을 참조하면, 설정 조건으로 "최대"가 입력되면, 영상 검출부(166)는 제1 전방 영상(FI1)을 크롭 변환하지 않고, 원본 사이즈의 제1 크롭 전방 영상(FI1')을 생성한다.
입력된 설정 조건이 "중간"이면, 영상 검출부(166)는 제1 크롭 영역(C1)을 기준으로 제1 전방 영상(FI1)을 크롭하여 원본 사이즈보다 작아진 제1 크롭 전방 영상(FI1')을 생성한다.
입력된 설정 조건이 "최소"이면, 영상 검출부(166)는 제2 크롭 영역(C2)을 기준으로 제1 전방 영상(FI1)을 크롭하여 원본 사이즈보다 작아진 제1 크롭 전방 영상(FI1')을 생성한다.
영상 검출부(166)는 제1 크롭 전방 영상(FI1')의 사이즈를 제1 전방 영상(FI1)의 원본 사이즈로 변환하여 영상 합성부(168)로 전송한다.
영상 검출부(166)는 제1 크롭 전방 영상(FI1')의 사이즈를 제1 전방 영상(FI1)의 원본 사이즈로 변환한 후 영상 합성부(168)로 전송한다. 이때, 제1 크롭 전방 영상(FI1')의 사이즈가 변환됨에 따라 제1 합성 영역(CA1)의 사이즈도 제1 크롭 전방 영상(FI1')과 동일한 비율로 변환된다.
영상 합성부(168)는 영상 검출부(166)에서 검출한 합성 영상을 제1 크롭 전방 영상(FI1')의 제1 합성 영역(CA1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 이때, 영상 합성부(168)는 합성 영상의 사이즈를 제1 합성 영역(CA1)의 사이즈로 변환한 후에 제1 크롭 전방 영상(FI1')에 합성한다.
도 22를 참조하면, 영상 합성부(168)는 설정 조건이 최대이면 제1 합성 영역(CA1)의 사이즈에 변화가 없으므로 합성 영역을 그대로 합성한다. 영상 합성부(168)는 설정 조건이 중간 또는 최소이면 제1 합성 영역(CA1)의 사이즈가 커지므로, 합성 영역을 커진 제1 합성 영역(CA1)의 사이즈로 변환한 후 합성한다. 이처럼, 영상 합성부(168)는 설정 조건에 따라 합성 영상이 합성된 영역(즉, 제1 합성 영역(CA1))의 사이즈가 달라진 합성 전방 영상(CFI)을 생성한다.
이처럼, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 설정 조건에 따라 제1 전방 영상(FI1)을 크롭 및 사이즈 변환한 후 제2 전방 영상(FI2)의 일부를 합성함으로써, 운전자가 전방의 사물 존재 여부를 쉽게 확인할 수 있도록 지원한다.
디스플레이(180)는 영상 처리기(160)에서 합성된 합성 전방 영상(CFI)을 표시한다. 디스플레이(180)는 중장비(10)의 운전석 또는 리모트 조정 장치에 배치되고, 영상 처리기(160)로부터 합성 전방 영상(CFI)을 수신하여 표시한다.
이상에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 건설장비가 휠 로더(10)인 것을 예로 들어 설명하지만, 이에 한정되지 않고 포크레인, 지게차 등과 같이 구동시 시야 방해 부품(16)에 의해 전방에 사각이 발생하는 건설장비에 적용될 수 있다.
또한, 휠 로더(10)를 예로 들어 설명함에 따라 휠 로더(10)의 버켓(16)을 시야 방해 부품(16)인 것으로 설명하였으나, 이에 한정되지 않고 시야 방해 부품(16)은 포크레인의 버켓(16), 버켓(16) 붐 및 버켓(16) 실린더 등, 지게차의 마스트, 리프트 체인, 캐리지, 포크암 및 포크 등과 같이 전방 시야를 방해하는 부품일 수 있다.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.

Claims (16)

  1. 시야 방해 부품에 의해 전방에 사각이 발생하는 중장비의 전방 영상을 생성하는 중장비용 전방 영상 생성 장치로서,
    상기 중장비의 상부에 배치되고, 상기 중장비의 전방을 촬영하여 제1 전방 영상을 생성하는 상부 카메라;
    상기 중장비의 하부에 배치되고, 상기 중장비의 전방을 촬영하여 제2 전방 영상을 생성하는 하부 카메라;
    상기 제1 전방 영상의 일부를 제1 합성 영역으로 설정하고, 상기 제2 전방 영상의 일부를 제2 합성 영역으로 설정하고, 상기 제1 전방 영상의 제1 합성 영역에 상기 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 상기 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 처리기를 포함하는 중장비용 전방 영상 생성 장치.
  2. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리 미만이거나 상기 설정 거리를 초과하는 경우, 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치가 서로 다른 중장비용 전방 영상 생성 장치.
  3. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리 미만인 경우, 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치는 상기 제2 합성 영역 내에서 수직 축 상의 위치보다 상기 합성 전방 영상의 하부에 가깝게 배치된 중장비용 전방 영상 생성 장치.
  4. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리를 초과하는 경우, 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치는 상기 제2 합성 영역 내에서 수직 축 상의 위치보다 상기 합성 전방 영상의 상부에 가깝게 배치된 중장비용 전방 영상 생성 장치.
  5. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리보다 멀어질수록 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치 사이의 수직 간격이 더 증가하는 중장비용 전방 영상 생성 장치.
  6. 제1항에 있어서,
    상기 영상 처리기는
    상기 제2 전방 영상 중에서 상기 제2 합성 영역으로 설정된 영역을 합성 영상으로 검출하는 영상 검출부; 및
    상기 제1 전방 영상의 제1 합성 영역에 상기 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 상기 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 합성부를 포함하는 중장비용 전방 영상 생성 장치.
  7. 제6항에 있어서,
    상기 제1 합성 영역의 가로 길이는 상기 제1 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이와 동일하고,
    상기 제2 합성 영역의 가로 길이는 상기 제2 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이와 동일한 중장비용 전방 영상 생성 장치.
  8. 제6항에 있어서,
    상기 제1 합성 영역의 가로 길이는 상기 제1 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이와 동일하고,
    상기 제2 합성 영역의 가로 길이는 상기 제2 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이보다 큰 중장비용 전방 영상 생성 장치.
  9. 제8항에 있어서,
    상기 영상 합성부는 상기 합성 영상을 상기 제1 합성 영역에 대응하는 크기로 축소하고, 축소된 상기 합성 영상을 상기 제1 합성 영역에 합성하는 중장비용 전방 영상 생성 장치.
  10. 제6항에 있어서,
    상기 영상 검출부는 설정 조건을 근거로 상기 제1 전방 영상을 원본 사이즈보다 작은 사이즈로 크롭하여 제1 크롭 전방 영상을 생성하고, 상기 제1 크롭 전방 영상은 상기 제1 합성 영역을 포함하는 중장비용 전방 영상 생성 장치.
  11. 제10항에 있어서,
    상기 영상 검출부는 상기 제1 전방 영상에 서로 다른 사이즈를 갖는 복수의 크롭 영역을 설정하고, 상기 설정 조건을 근거로 상기 복수의 크롭 영역 중에서 하나의 크롭 영역을 기준으로 상기 제1 전방 영상을 크롭하는 중장비용 전방 영상 생성 장치.
  12. 제10항에 있어서,
    상기 영상 검출부는 운전자의 사이즈 선택 정보, 상기 중장비의 속도, 상기 중장비의 전방에 위치한 사물과의 거리 중에 하나를 상기 설정 조건으로 입력받는 중장비용 전방 영상 생성 장치.
  13. 제10항에 있어서,
    상기 영상 검출부는 상기 제1 크롭 전방 영상을 상기 제1 전방 영상의 원본 사이즈로 확대한 후 상기 영상 합성부로 전송하는 중장비용 전방 영상 생성 장치.
  14. 제13항에 있어서,
    상기 영상 합성부는 상기 합성 영상을 상기 제1 크롭 전방 영상의 제1 합성 영역과 동일한 사이즈로 확대한 후 상기 제1 합성 영역에 합성하는 중장비용 전방 영상 생성 장치.
  15. 제6항에 있어서,
    상기 영상 처리기는,
    상기 제1 전방 영상 중에서 상기 시야 방해 부품에 의해 가려지는 음영 영역에 제1 합성 영역을 설정하고, 상기 제1 합성 영역에 대응하는 상기 제2 전방 영상의 일부 영역에 제2 합성 영역을 설정하는 합성 영역 설정부를 더 포함하는 중장비용 전방 영상 생성 장치.
  16. 제15항에 있어서,
    상기 영상 처리기는,
    상기 제2 전방 영상 중에서 상기 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 영역을 기준으로 상기 제2 전방 영상을 보울 형상으로 변환하고, 보울 형상으로 변환된 상기 제2 전방 영상을 상기 합성 영역 설정부로 전송하는 영상 변환부를 더 포함하는 중장비용 전방 영상 생성 장치.
PCT/KR2022/001263 2021-01-25 2022-01-25 중장비용 전방 영상 생성 장치 WO2022158935A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280009561.0A CN116746140A (zh) 2021-01-25 2022-01-25 用于重型机械的前方影像生成装置
EP22742911.5A EP4277265A1 (en) 2021-01-25 2022-01-25 Front image generation device for heavy equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0010285 2021-01-25
KR1020210010285A KR20220107537A (ko) 2021-01-25 2021-01-25 중장비용 전방 영상 생성 장치

Publications (1)

Publication Number Publication Date
WO2022158935A1 true WO2022158935A1 (ko) 2022-07-28

Family

ID=82549908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001263 WO2022158935A1 (ko) 2021-01-25 2022-01-25 중장비용 전방 영상 생성 장치

Country Status (4)

Country Link
EP (1) EP4277265A1 (ko)
KR (1) KR20220107537A (ko)
CN (1) CN116746140A (ko)
WO (1) WO2022158935A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20120055632A (ko) * 2009-08-11 2012-05-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치
KR20130069912A (ko) * 2011-12-19 2013-06-27 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
KR101766711B1 (ko) * 2016-06-13 2017-08-10 전자부품연구원 다중 카메라를 이용한 가림 물체 투명 표시 장치, 방법 및 시스템
WO2020080538A1 (ja) * 2018-10-19 2020-04-23 住友建機株式会社 ショベル

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998300B1 (ko) 2014-11-05 2019-07-10 현대건설기계 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120055632A (ko) * 2009-08-11 2012-05-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이를 위한 이미지를 제공하기 위한 방법 및 장치
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR20130069912A (ko) * 2011-12-19 2013-06-27 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
KR101766711B1 (ko) * 2016-06-13 2017-08-10 전자부품연구원 다중 카메라를 이용한 가림 물체 투명 표시 장치, 방법 및 시스템
WO2020080538A1 (ja) * 2018-10-19 2020-04-23 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
CN116746140A (zh) 2023-09-12
KR20220107537A (ko) 2022-08-02
EP4277265A1 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US10293751B2 (en) Peripheral image display device and method of displaying peripheral image for construction machine
WO2013112016A1 (ko) 건설기계의 조작안정성 향상장치
US9836938B2 (en) Shovel having audio output device installed in cab
WO2012153978A2 (en) Parking camera system and method of driving the same
EP2991343B1 (en) Image to be processed generating device, image to be processed generating method, and operation assistance system
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2013051786A1 (en) Apparatus and method for measuring road flatness
WO2022158935A1 (ko) 중장비용 전방 영상 생성 장치
JP6417300B2 (ja) 指定範囲監視システム
WO2017146403A1 (ko) 표시 시스템
WO2021054757A1 (ko) 건설장비용 전방 영상 생성 장치
WO2021054756A1 (ko) 중장비용 전방 영상 생성 장치
WO2023120920A1 (ko) 고소작업차 운영 시스템 및 방법
WO2021054758A1 (ko) 건설장비용 전방 영상 생성 장치
WO2017217788A2 (ko) 차량 운전 보조 장치 및 방법
JP6746303B2 (ja) ショベル
JP7178334B2 (ja) ショベル及びショベルの表示装置
JP2017049793A (ja) 指定範囲監視システム
WO2024085703A1 (ko) 건설기계의 제어 시스템 및 방법
WO2023282595A1 (ko) 건설기계의 제어 시스템 및 방법
WO2024085732A1 (ko) 건설기계의 제어 시스템 및 방법
JPH1059636A (ja) エレベータの画像診断装置
JP2018184830A (ja) ショベル
JPH07175992A (ja) 危険監視システム
WO2023214766A1 (ko) 거리정보 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742911

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280009561.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022742911

Country of ref document: EP

Effective date: 20230808