KR20230091906A - Offset detection method based on binocular vision and symmetry - Google Patents

Offset detection method based on binocular vision and symmetry Download PDF

Info

Publication number
KR20230091906A
KR20230091906A KR1020237013757A KR20237013757A KR20230091906A KR 20230091906 A KR20230091906 A KR 20230091906A KR 1020237013757 A KR1020237013757 A KR 1020237013757A KR 20237013757 A KR20237013757 A KR 20237013757A KR 20230091906 A KR20230091906 A KR 20230091906A
Authority
KR
South Korea
Prior art keywords
cabin door
pixel
offset
vertical
image
Prior art date
Application number
KR1020237013757A
Other languages
Korean (ko)
Inventor
중구어 리
진쿤 우
웨이 탕
루이 츠
치엔 시
사이 츠어
저우 스
Original Assignee
지앙수 유니버시티 오브 사이언스 앤드 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지앙수 유니버시티 오브 사이언스 앤드 테크놀로지 filed Critical 지앙수 유니버시티 오브 사이언스 앤드 테크놀로지
Publication of KR20230091906A publication Critical patent/KR20230091906A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 발명에서 개시하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법은 다음과 같이 기동 표적(Maneuvering Target)에 그래픽 처리 장치가 설치되고, 기동 표적의 전방부에는 양안시 카메라가 좌우 대칭으로 장착되고, 양안시 카메라는 카메라 데이터 수집 라인을 통해 그래픽 처리 장치에 연결되고; 양안시 카메라를 이용해 기동 표적이 알맞게 정렬해야 하는 직사각형 캐빈 도어의 두 개의 수직 가장자리의 이미지를 수집하고; 좌측 카메라의 이미지 중심에서 이미지 중심의 좌측에 있는 수직 캐빈 도어 가장자리의 픽셀 거리 d1 및 이미지 중심에서 이미지 중심의 우측에 있는 수직 캐빈 도어 가장자리의 픽셀 거리 d2를 구하고, 비율 d1/d2에 따라 기동 표적(지게차)의 두 개의 포크는 화물칸 두 개의 수직 가장자리 중간에 위치되거나 두 개의 포크가 임의의 수직 가장자리를 횡단하는 것으로 판단하여, 즉, 두 개의 포크 각각이 임의의 수직 가장자리의 양변에 위치되고; 왼쪽 카메라의 이미지 중심 O1의 좌측에 있는 수직 캐빈 도어의 가장자리에서 이미지 중심까지의 오프셋 픽셀 p1을 추출하는 동시에, 오른쪽 카메라의 우측에 있는 수직 캐빈 도어의 가장자리에서 이미지 중심 O2까지의 오프셋 픽셀 p2를 추출하고; 카메라가 장착된 대칭성과 캐빈 도어의 대칭성을 이용하면서, p1과 p2의 편차에 따라 캐빈 도어 중심에 대향되는 기동 표적의 오프셋 픽셀 p를 계산하고; 왼쪽 카메라 이미지에서 캐빈 도어의 좌우 두 개의 수직 가장자리를 동시에 수집할 때, 두 개의 수직 가장자리의 실제 간격 거리 D1과 픽셀 거리 a1를 이용하여, 각 픽셀이 나타내는 실제 크기 s를 보정하고; 왼쪽 카메라 이미지에서 캐빈 도어의 좌측 수직 가장자리만을 수집할 수 있는 경우, 캐빈 도어 가장자리의 실제 너비 크기 D2와 픽셀 크기 b1을 통해 각 픽셀이 나타내는 실제 크기 s를 보정하고; 각 픽셀이 나타내는 크기 s에 오프셋 픽셀 p를 곱하면 캐빈 도어에 대향되는 기동 표적의 실제 오프셋 변위 x를 얻을 수 있는 단계를 포함한다. 본 발명에서는 양안시를 채택하여 정밀도와 실시간 조건을 갖추고, 두 단계로 나누어 픽셀 크기를 보정함으로써 전체 이동 과정에서 오프셋이 검출된 정밀도를 향상시키고, 무인선이 자동으로 가이드 및 회수하고, 스마트 지게차가 자동으로 화물을 가이드하여 적재 및 하역하는 데 사용될 수 있다. In the offset detection method based on binocular vision and symmetry disclosed in the present invention, a graphic processing device is installed in a maneuvering target as follows, and a binocular vision camera is mounted symmetrically on the front of the maneuvering target, The binocular vision camera is connected to the graphics processing unit through a camera data collection line; using a binocular vision camera to collect images of the two vertical edges of the rectangular cabin door that the maneuvering target should align properly; Find the pixel distance d1 from the image center of the left camera to the edge of the vertical cabin door on the left side of the image center and the pixel distance d2 from the image center to the edge of the vertical cabin door on the right side of the image center. forklift), the two forks are located in the middle of the two vertical edges of the cargo compartment or the two forks cross any vertical edge, that is, each of the two forks is located on both sides of any vertical edge; Extract the offset pixel p1 from the edge of the vertical cabin door to the left of the image center O 1 of the left camera to the center of the image, while extracting the offset pixel p2 from the edge of the vertical cabin door to the right of the right camera to the image center O 2 . extract; Calculate an offset pixel p of the maneuvering target opposite the center of the cabin door according to the deviation of p1 and p2, while using the symmetry of the camera and the symmetry of the cabin door; When the left and right vertical edges of the cabin door are simultaneously collected from the left camera image, the actual size s represented by each pixel is corrected using the actual distance D 1 and the pixel distance a 1 of the two vertical edges; If only the left vertical edge of the cabin door can be collected from the left camera image, the actual size s represented by each pixel is corrected through the actual width D 2 and the pixel size b 1 of the cabin door edge; and obtaining an actual offset displacement x of the maneuvering target facing the cabin door by multiplying the size s represented by each pixel by the offset pixel p. In the present invention, by adopting binocular vision, it is equipped with precision and real-time conditions, and by dividing the pixel size in two steps to correct the offset, the accuracy of the offset detection in the entire movement process is improved, the unmanned aerial vehicle automatically guides and collects, and the smart forklift It can be used to automatically guide and load and unload cargo.

Description

양안시와 대칭성을 기반으로 한 오프셋 검출 방법Offset detection method based on binocular vision and symmetry

본 발명은 이미지 처리 기술 분야에 속하면서 이미지를 기반으로 한 상대 위치 검출 기술과 관련된 것으로, 구체적으로 양안시(binocular vision)와 대칭성을 기반으로 한 오프셋 검출 방법에 관한 것이다.The present invention belongs to the field of image processing technology and relates to an image-based relative position detection technology, and more specifically, to an offset detection method based on binocular vision and symmetry.

물류를 보관하거나 시각 가이드(vision guide)를 회수하는 과정에서 캐빈 도어에 대향되는 추산 기동 목표(양안시 카메라 포함)의 실제 오프셋 변위를 추정해야 하며, 이는 후속 위치 조절에 용이하여 자동화 작업을 실현할 수 있다. 카메라가 장착된 대칭성과 캐빈 도어의 대칭성을 이용하여 캐빈 도어 중심에 대향되는 기동 표적(Maneuvering Target)의 오프셋을 계산하고, 이러한 계산 방식은 비접촉, 융통성, 원격 실현 가능성 등과 같은 이점을 지닌다. 하지만 이미지 검출은 오프셋 검출 중 가장자리의 무늬를 정확하게 획득하기가 어렵고, 밝기 필드, 색상 필드, 줄무늬 방향 필드가 연속으로 변화되는 등 문제로 인해 이미지를 기반으로 한 오프셋 계산을 더 어렵게 만들었다.In the process of storing the logistics or retrieving the vision guide, the actual offset displacement of the estimated maneuver target (including the binocular camera) facing the cabin door must be estimated, which is easy for subsequent position adjustment to realize automation work. there is. The offset of the maneuvering target facing the center of the cabin door is calculated using the symmetry of the cabin door and the symmetry of the camera, and this calculation method has advantages such as non-contact, flexibility, and remote feasibility. However, in image detection, it is difficult to accurately acquire edge patterns during offset detection, and problems such as continuous change of brightness field, color field, and stripe direction field make image-based offset calculation more difficult.

예를 들어, 리우 빙시엔(Liu Bingxian) 등이 발표한 문헌 "라인 스캔 카메라(line scan camera)를 기반으로 촬영한 이미지 접합 맞춤 방법과 장치"에서 접합해서 맞추어야 할 이미지를 너비 X방향과 길이 Y방향을 따라 복수 개의 직사각형 구역으로 나누고, 중첩되는 부분을 분할하여 오프셋을 계산한다. 이 방법은 중첩된 부분을 분할하는데 큰 영향을 받아 오프셋을 계산하기가 어렵고, 이미지 접합 맞춤 데이터양이 많아 실시간 처리 성능이 떨어지는 문제점이 있다.For example, in the literature "Splicing and fitting method and device for images captured based on a line scan camera" published by Liu Bingxian et al. It is divided into a plurality of rectangular regions along the direction, and an offset is calculated by dividing the overlapping portion. This method has a problem in that it is difficult to calculate an offset because it is greatly affected by segmentation of the overlapped part, and real-time processing performance is poor due to the large amount of image splicing and matching data.

본 발명은 종래 기술이 지닌 문제점을 해결하기 위해 양안시(binocular vision)와 대칭성을 기반으로 한 오프셋 검출 방법을 제공하고, 컴퓨터를 이용한 사진 기법(computational photography)인 직사각형 캐빈 도어 이미지 중심 포인트에서 캐빈 도어의 좌우 수직 가장자리 중심의 오프셋 픽셀의 차이에 따라, 보정된 각 픽셀로 나타내는 실제 크기와 곱하면 캐빈 도어에 대향되는 기동 표적(Maneuvering Target)의 실제 수평 오프셋 변위를 얻는 것을 목적으로 한다.The present invention provides a method for detecting an offset based on binocular vision and symmetry in order to solve the problems of the prior art, and provides a computational photography method at the center point of a rectangular cabin door image of a cabin door. The object is to obtain the actual horizontal offset displacement of the maneuvering target facing the cabin door by multiplying the offset pixel difference between the center of the left and right vertical edges of the corrected pixel with the actual size represented by each pixel.

본 발명은 상술한 목적을 달성하기 위해 양안시(binocular vision)와 대칭성을 기반으로 한 오프셋 검출 방법을 제공하고, 이는 이하의 단계,The present invention provides an offset detection method based on binocular vision and symmetry to achieve the above object, which includes the following steps,

기동 캐리어에 그래픽 처리 장치와 양안시 카메라가 장착되고, 상기 양안시 카메라는 카메라 데이터 수집 라인을 통해 상기 그래픽 처리 장치에 연결되는 단계 S1;A step S1 of mounting a graphic processing unit and a binocular vision camera on a starting carrier, and connecting the binocular vision camera to the graphic processing unit through a camera data collection line;

상기 양안시 카메라를 이용해 기동 표적(Maneuvering Target)이 알맞게 정렬해야 하는 직사각형 캐빈 도어의 두 개의 수직 가장자리의 이미지를 수집하는 단계 S2;Step S2 of collecting images of two vertical edges of a rectangular cabin door to be properly aligned with a maneuvering target using the binocular vision camera;

좌측 카메라로 획득한 이미지에 의해 이미지 중심에서 이의 거리가 가장 근접한 좌측에 있는 수직 캐빈 도어 가장자리의 픽셀 거리 d1 및 이미지 중심에서 이의 가장 근접한 우측에 있는 상기 수직 캐빈 도어 가장자리의 픽셀 거리 d2를 구하고, d1/d2의 비율에 따라 두 개의 포크는 전체가 단일 화물칸의 내부에 위치되거나 좌/우 캐빈 도어 가장자리를 횡단하는 지를 판단하는 단계 S3;From the image acquired by the left camera, the pixel distance d1 of the edge of the vertical cabin door on the left closest to the distance from the center of the image and the pixel distance d2 of the edge of the vertical cabin door on the right closest to the center of the image are obtained, d1 Step S3 of determining whether the entirety of the two forks is located inside a single cargo compartment or crosses the edge of the left/right cabin door according to the ratio of /d2;

상기 기동 표적이 임의의 단독적인 화물칸의 직사각형 평면 내부에 있으면서 좌측으로 오프셋되거나 우측으로 오프셋되는 경우, 왼쪽 카메라의 이미지 중심의 좌측에 있는 상기 수직 캐빈 도어의 가장자리에서 이미지 중심까지의 수평 오프셋 픽셀 p1을 추출하는 동시에, 오른쪽 카메라의 우측에 있는 상기 수직 캐빈 도어의 가장자리에서 이미지 중심까지의 수평 오프셋 픽셀 p2를 추출하고;The horizontal offset pixel p1 from the edge of the vertical cabin door to the left of the image center of the left camera to the image center, if the maneuvering target is inside the rectangular plane of any single cargo bay and is offset to the left or offset to the right. at the same time extracting a horizontal offset pixel p2 from the edge of the vertical cabin door on the right side of the right camera to the center of the image;

카메라가 장착된 대칭성과 캐빈 도어의 대칭성을 이용하면서, p1과 p2의 편차에 따라 상기 캐빈 도어 중심에 대향되는 상기 기동 표적의 수평 오프셋 픽셀 p를 계산하는 단계 S4; Step S4 of calculating a horizontal offset pixel p of the maneuvering target opposite to the center of the cabin door according to a deviation of p1 and p2 while using the symmetry of the camera and the cabin door;

보정된 각 픽셀이 나타내는 실제 크기 s와 오프셋 픽셀 p을 서로 곱함으로써, 상기 캐빈 도어에 대향되는 상기 기동 표적의 실제 수평 오프셋 변위 x를 얻을 수 있는 단계 S5;를 포함한다.and step S5 of obtaining an actual horizontal offset displacement x of the maneuvering target facing the cabin door by multiplying the actual size s of each corrected pixel and the offset pixel p.

더 나아가서, 상기 단계 S1에서 그래픽 처리 장치(산업용 퍼스널 컴퓨터)는 소프트웨어 처리 시스템의 운영을 담당하고; 상기 양안시 카메라는 상기 직사각형 캐빈 도어의 수직 가장자리 이미지 수집을 담당하고; 소프트웨어 처리 시스템은 수집한 수직 가장자리의 이미지에 따라 상기 캐빈 도어에 대향되는 상기 기동 표적의 수평 오프셋 픽셀을 계산하고, 더 나아가서 보정된 각 픽셀이 나타내는 실제 크기와 오프셋 픽셀을 곱하여 실제 수평 오프셋 변위를 얻을 수 있다. Further, in the above step S1, the graphics processing unit (industrial personal computer) is responsible for the operation of the software processing system; the binocular vision camera collects images of vertical edges of the rectangular cabin door; The software processing system calculates the horizontal offset pixels of the maneuvering target facing the cabin door according to the image of the vertical edge collected, and further multiplies the actual size represented by each calibrated pixel by the offset pixel to obtain the actual horizontal offset displacement. can

더 나아가서, 상기 단계 S2에서 상기 직사각형 캐빈 도어가 위치된 평면은 수평면에 수직이고, 상기 양안시 카메라가 위치된 평면 또한 수평면에 수직이다. Furthermore, in step S2, the plane on which the rectangular cabin door is positioned is perpendicular to the horizontal plane, and the plane on which the binocular vision camera is positioned is also perpendicular to the horizontal plane.

더 나아가서, 상기 단계 S3에서 비율 d1/d2에 따라 두 개의 포크는 전체가 단일 화물칸의 캐빈 도어 내부에 위치되거나 좌/우 캐빈 도어 가장자리를 횡단하는 지 판단하고, d1/d2의 비율은 상기 캐빈 도어의 실제 크기에 따라 결정되고, 본 발명에서는 포크 간격과 상기 캐빈 도어의 두 개의 종형빔 간격의 거리 비율을 2/3로 가정한다. 0<d1/d2<1/2일 경우, 두 개의 포크는 전체가 단일 화물칸의 상기 캐빈 도어 내부에 위치되거나, 좌/우 캐빈 도어 가장자리를 횡단하고,Furthermore, according to the ratio d1/d2 in step S3, it is determined whether the two forks are entirely located inside the cabin door of a single cargo compartment or cross the left/right cabin door edges, and the ratio of d1/d2 is the cabin door It is determined according to the actual size of , and in the present invention, it is assumed that the distance ratio between the distance between the fork and the distance between the two bell beams of the cabin door is 2/3. When 0<d1/d2<1/2, the two forks are entirely located inside the cabin door of a single cargo compartment or cross the left/right cabin door edges,

여기에서, d1은 이미지 중심에서 이의 가장 근접한 좌측에 있는 상기 수직 캐빈 도어 가장자리의 픽셀 거리이고, d2는 이미지 중심에서 이의 가장 근접한 우측에 있는 상기 수직 캐빈 도어 가장자리의 픽셀 거리이다.where d1 is the pixel distance of the edge of the vertical cabin door to its left closest to the center of the image, and d2 is the pixel distance of the edge of the vertical cabin door to its nearest right to the center of the image.

더 나아가서, 상기 단계 S4에서 수평 오프셋 픽셀 p1과 p2을 획득하려면 수집한 이미지에 대한 미리 처리를 수행해야 하며, 이는 이미지 분할, 2원화, 형태학적 처리, 컨투어 추출을 포함한다.Furthermore, in order to obtain the horizontal offset pixels p1 and p2 in the above step S4, pre-processing of the acquired image must be performed, which includes image segmentation, binarization, morphological processing, and contour extraction.

더 나아가서, 상기 단계 S4에서 상기 수평 오프셋 픽셀 p1과 p2는 이미지 중심 포인트의 가로 좌표에서 컨투어 추출로 인해 얻어진 포인트 세트의 가로 좌표의 평균값을 빼내어 얻을 수 있다.Furthermore, in step S4, the horizontal offset pixels p1 and p2 may be obtained by subtracting an average value of horizontal coordinates of point sets obtained by contour extraction from the horizontal coordinates of the center point of the image.

상기 캐빈 도어 중심에 대향되는 상기 기동 표적의 수평 오프셋 픽셀은

Figure pct00001
이다.The horizontal offset pixel of the maneuvering target opposite to the cabin door center is
Figure pct00001
am.

더 나아가서, 상기 단계 S5에서 상기 캐빈 도어에 대향되는 상기 기동 표적의 실제 수평 오프셋 변위는

Figure pct00002
이다.Further, the actual horizontal offset displacement of the maneuvering target facing the cabin door in step S5 is
Figure pct00002
am.

여기에서,

Figure pct00003
는 각 픽셀을 나타내는 실제 크기이다.From here,
Figure pct00003
is the actual size representing each pixel.

본 발명은 종래 기술과 달리 다음과 같이 유익한 효과를 구비한다.Unlike the prior art, the present invention has the following advantageous effects.

1. 단계별 보정을 통해 각각 먼 지점과 가까운 지점에 있는 각 픽셀이 나타내는 실제 크기 s를 보정하고, 먼 지점에서 캐빈 도어의 좌우 두개의 수직 가장자리의 실제 간격 거리 D1과 픽셀 거리 a1를 통해 s를 보정하고, 가까운 지점에서 하나의 캐빈 도어의 실제 너비 크기 D2와 픽셀 크기 b1을 통해 s를 보정하고, 두 단계의 보정을 채택하여 오프셋 추정의 정밀도를 향상시킬 수 있다. 1. Through step-by-step calibration, the actual size s represented by each pixel at the far and near points is calibrated, and s through the actual distance D 1 and the pixel distance a 1 of the two vertical edges of the cabin door at the far point , correct s through the actual width size D 2 and pixel size b 1 of one cabin door at a nearby point, and adopt two-step correction to improve the accuracy of offset estimation.

2. 실제 수평 오프셋은 좌우 오프셋 픽셀의 감산으로 구하고, 감산 결과의 부호를 통해 기동 표적이 화물칸에 대향되어 좌측으로 오프셋되는지 우측으로 오프셋되는 지를 판단할 수 있다.2. The actual horizontal offset is obtained by subtracting the left and right offset pixels, and it is possible to determine whether the maneuvering target is offset to the left or the right by facing the cargo compartment through the sign of the subtraction result.

3. 단안 카메라가 진열대 전체를 촬영하여 판단하는 것과 달리, 양안시 카메라는 진열대 일부 구역만을 각각 촬영하여 오프셋을 계산하고, 해상도가 작은 이미지를 처리함으로써 프로그램이 더 효율적이게 실행될 수 있다.3. Unlike a monocular camera that takes pictures of the entire shelf and makes a judgment, a binocular camera can take pictures of only a portion of the shelf, calculate offsets, and process low-resolution images, so that the program can be executed more efficiently.

도 1은 본 발명의 추정 방법을 나타내는 흐름도이다.
도 2는 본 발명에서 좌우 카메라로 직사각형 화물칸의 수직 가장자리를 촬영한 좌우 이미지이다.
도 3은 본 발명에서 두 개의 포크가 화물칸에 알맞게 위치되는 것을 나타내는 개략도이다.
도 4는 본 발명에서 두 개의 포크 각각이 오른쪽 화물칸의 좌측 수직 가장자리의 좌우 양변에 위치되는 것을 나타내는 개략도이다.
도 5는 본 발명에서 화물칸 좌우의 두 개의 수직 가장자리 사이의 픽셀 거리를 나타내는 개략도이다.
도 6은 본 발명에서 화물칸의 수직 가장자리 폭의 픽셀 크기를 나타내는 개략도이다.
도 7은 본 발명에서 이미지 중심에서 수직 가장자리 중심까지의 수평 픽셀의 오프셋을 나타내는 개략도이다.1 is a flowchart showing the estimation method of the present invention.
2 is a left and right image of a vertical edge of a rectangular cargo compartment captured by left and right cameras in the present invention.
Figure 3 is a schematic diagram showing that two forks are properly positioned in the cargo compartment in the present invention.
Figure 4 is a schematic diagram showing that each of the two forks in the present invention is located on both left and right sides of the left vertical edge of the right cargo compartment.
5 is a schematic diagram showing a pixel distance between two vertical edges on the left and right of a cargo compartment in the present invention.
6 is a schematic diagram showing the pixel size of the vertical edge width of the cargo compartment in the present invention.
Figure 7 is a schematic diagram showing the offset of a horizontal pixel from the center of an image to the center of a vertical edge in the present invention.

하기는 도면과 구체적인 실시예를 결합하여 본 발명을 진일보 설명하며, 이러한 실시예는 본 발명을 설명할 뿐 본 발명의 범위를 한정하지 않음을 이해해야 한다. 본 발명을 내용을 확인한 후, 통상의 기술자가 본 발명에 행하는 다양한 등가 형식의 수식은 모두 본 발명의 청구항에 규정된 범위에 속한다.The following further describes the present invention by combining drawings and specific examples, and it should be understood that these examples only illustrate the present invention and do not limit the scope of the present invention. After confirming the contents of the present invention, various equivalent forms of modifications made to the present invention by those skilled in the art all fall within the scope stipulated in the claims of the present invention.

본 발명에서 제공하는 양안시(binocular vision)와 대칭성을 기반으로 한 오프셋 검출 방법은 이하의 단계,The offset detection method based on binocular vision and symmetry provided by the present invention includes the following steps,

기동 캐리어에 산업용 퍼스널 컴퓨터와 양안시 카메라가 장착되고, 양안시 카메라는 카메라 데이터 수집 라인을 통해 산업용 퍼스널 컴퓨터에 연결되고;An industrial personal computer and a binocular vision camera are mounted on the starting carrier, and the binocular vision camera is connected to the industrial personal computer through a camera data collection line;

양안시 카메라는 직사각형 캐빈 도어의 수직 가장자리 이미지 수집을 담당하고, 산업용 퍼스널 컴퓨터에는 소프트웨어 처리 시스템이 설치되며, 이는 수집된 이미지를 미리 처리하고, 직사각형 화물칸에 대향되는 기동 표적(Maneuvering Target)의 오프셋 변위 계산을 담당하는 단계 S1;The binocular vision camera is responsible for collecting the vertical edge image of the rectangular cabin door, and a software processing system is installed in the industrial personal computer, which pre-processes the collected image and calculates the offset displacement of the maneuvering target opposed to the rectangular cargo compartment. Step S1 responsible for calculation;

양안시 카메라를 통해 직사각형 캐빈 도어의 두 개의 수직 가장자리의 이미지를 수집하고, 도 2에 도시된 바와 같이, 수직 가장자리의 노란색 직사각형 부분의 실제 높이와 너비 크기는 이미 알려진 것인 단계 S2;Step S2, in which images of the two vertical edges of the rectangular cabin door are collected through the binocular vision camera, and the actual height and width of the yellow rectangular portion of the vertical edge are already known, as shown in FIG. 2;

좌측 카메라로 촬영한 이미지에 따라 이미지 중심으로부터 가장 근접한 좌측 수직 캐빈 도어 가장자리의 컨투어 및 이미지 중심으로부터 가장 근접한 우측 수직 캐빈 도어 가장자리의 컨투어를 검출하여, 컨투어 포인트 세트를 획득하고, 컨투어 포인트 세트의 가로 좌표 평균값에서 이미지 중심 가로 좌표를 빼내어 이미지 중심에서 이의 가장 근접한 좌, 우 양변에 있는 상기 수직 캐빈 도어 가장자리의 수평 픽셀 거리 d1과 d2를 얻고, d1/d2의 비율에 근거하여 지게차의 두 개의 포크가 전체가 단독으로된 임의의 화물칸 내부에 위치되는지 좌/우 캐빈 가장자리를 횡단하는지 판단하고, 도 3과 도 4에 도시된 바와 같이, 만약 두 개의 포크가 하나의 캐빈 내부에 있지만 캐빈 도어의 정면에서 이탈된 경우 오프셋을 계산하는 단계 S3;According to the image captured by the left camera, the contour of the edge of the left vertical cabin door closest to the center of the image and the contour of the edge of the right vertical cabin door closest to the center of the image are detected to obtain a set of contour points, and the horizontal coordinates of the set of contour points The horizontal pixel distances d1 and d2 of the edge of the vertical cabin door on both the left and right sides closest to the center of the image are obtained by subtracting the horizontal coordinates of the center of the image from the average value, and based on the ratio of d1/d2, the two forks of the forklift are Determines whether is located inside any single cargo compartment or crosses the left / right cabin edge, and as shown in FIGS. 3 and 4, if two forks are inside one cabin but depart from the front of the cabin door Step S3 of calculating an offset if it is;

기동 표적이 임의의 단독적인 화물칸의 직사각형 평면 내부에 있으면서 좌측으로 오프셋되거나 우측으로 오프셋될 수 있는 경우, 왼쪽 및 오른쪽 카메라가 이미지를 수집하여 왼쪽 카메라의 이미지 중심 좌측에 있는 상기 수직 캐빈 도어의 노란색 부분 컨투어 및 오른쪽 카메라의 이미지 중심 우측에 있는 수직 캐빈 도어의 노란색 부분 컨투어를 각각 검출한다. 컨투어 포인트 세트를 각각 얻어, 컨투어 포인트 세트의 가로 좌표를 수직 가장자리의 수평 중심으로 간주하여 이미지 중심의 가로 좌표를 빼내어 왼쪽 오프셋 픽셀 p1을 얻을 수 있고, 유사하게, 오른쪽 이미지에서 오른쪽 오프셋 픽셀 p2를 얻고, 이는 도 5에 도시된 바와 같다. If the maneuvering target is inside the rectangular plane of any single cargo bay and can be offset to the left or offset to the right, the left and right cameras collect images and the yellow portion of the vertical cabin door to the left of the left camera's image center. The contour and the yellow part contour of the vertical cabin door on the right of the center of the image of the right camera are detected respectively. Take each set of contour points, take the abscissa of the set of contour points as the horizontal center of the vertical edge, subtract the abscissa of the center of the image to get the left offset pixel p1, and similarly, get the right offset pixel p2 from the right image , which is as shown in FIG.

카메라가 대칭으로 장착되고, 캐빈 도어 또한 대칭성을 이루므로, p1과 p2의 편차에 따라 캐빈 도어 중심에 대향되는 기동 표적의 수평 오프셋 픽셀 p를 구하는 단계 S4; Since the camera is symmetrically mounted and the cabin door is also symmetrical, obtaining a horizontal offset pixel p of the maneuvering target opposite to the center of the cabin door according to the deviation of p1 and p2 S4;

왼쪽 카메라 이미지에서 캐빈 도어의 좌우 두 개의 수직 가장자리를 동시에 수집할 경우, 두 개의 수직 가장자리 간격의 실제 거리 D1과 픽셀 거리 a1를 이용하여, 각 픽셀이 나타내는 실제 크기

Figure pct00004
를 보정하고, 이는 도 6에 도시된 바와 같으며; 왼쪽 카메라 이미지에서 하나의 캐빈 도어의 좌측 수직 가장자리만을 수집할 수 있는 경우, 캐빈 도어 가장자리의 실제 너비 크기 D2와 픽셀 크기 b1을 이용해 각 픽셀이 나타내는 실제 크기
Figure pct00005
를 보정하고, 이는 도 7에 도시된 바와 같고, 각 픽셀이 나타내는 크기 s에 오프셋 픽셀 p를 곱하여 보정함에 따라, 캐빈 도어에 대향되는 기동 표적의 실제 오프셋 변위 x를 얻을 수 있는 단계 S5;를 포함한다.When the left and right vertical edges of the cabin door are simultaneously collected from the left camera image, the actual size represented by each pixel is obtained using the actual distance D 1 and the pixel distance a 1 between the two vertical edges.
Figure pct00004
, which is as shown in Figure 6; If only the left vertical edge of one cabin door can be collected from the left camera image, the actual size represented by each pixel is obtained by using the actual width size D 2 of the cabin door edge and the pixel size b 1
Figure pct00005
7, which is corrected by multiplying the size s represented by each pixel by the offset pixel p, thereby obtaining the actual offset displacement x of the maneuvering target facing the cabin door; step S5; do.

상술한 내용을 토대로, 상술한 방안의 유효성을 검증하려면 PyCharm 소프트웨어를 바탕으로 상술한 방안을 실제 예시에 적용하고, 이는 구체적으로 하기와 같다.Based on the above information, in order to verify the validity of the above method, the above method is applied to an actual example based on PyCharm software, which is specifically as follows.

먼저, 기동 표적에 산업용 퍼스널 컴퓨터, 양안시 카메라, 카메라 데이터 수집 라인을 장착하고, 양안시 카메라를 통해 기동 표적이 알맞게 정렬해야 하는 직사각형 캐빈 도어의 두 개의 수직 가장자리의 이미지를 수집하고, 카메라를 통해 수직 가장자리의 노란색 부분의 높이와 너비 크기의 이미 알려진 이미지를 촬영하여 후속 오프셋 추정을 완료한다. 촬영 이미지를 미리 처리하고, 촬영된 이미지를 RGB 공간에서 색상 분할을 수행하고, 여기에는 OpenCV의 cv2.inRange 및 cv2.bitwise_and 이 두 가지 방법이 사용된다. 먼저 RGB 공간에서 수직 가장자리의 노란색 부분 범위를 정의한 후 cv2.inRange를 사용하여 마스크(MASK)를 생성하면, 이미지에서 수직 가장자리의 노란색 부분에 있는 픽셀의 할당값은 1이고, 이와 반대인 경우 0이다. 이러한 방식으로 지정된 색상의 추출이 완료되면, 마지막으로, cv2.bitwise_and를 이용해 마스크 부분의 픽셀을 "AND" 연산하여 수직 가장자리에 있는 노란색 부분의 색상만을 보존한다. 설정된 한계값에 따라 컬러 이미지가 2원화처리되고, 데이터 양이 감소된다. 이를 통해 수직 가장자리의 노란색 부분이 분할 완료되어 2원화된 이미지를 얻을 수 있다. 분할 후 얻은 이미지에는 거스러미와 홀이 있고, OpenCV의 cv2.morphologyEx 방법을 통해 클로징 연산과 오프닝 연산을 수행하여 형태학적 처리된 이미지를 얻을 수 있다. 이때 컨투어 검출이 다시 수행되고, cv2.findContours 방법을 통해 분할된 이미지의 컨투어 및 상응되는 컨투어 포인트 세트를 얻을 수 있다. 컨투어 포인트 세트가 널리 이동되어, 컨투어 포인트 세트의 가로 좌표가 사전에 설정된 목록에 저장되어, 수직 가장자리의 수평 중심으로 간주되는 왼쪽 컨투어 포인트 세트의 가로 좌표의 평균값을 계산하여 얻은 후, 이미지 중심 O1의 가로 좌표를 빼내어 수평 픽셀 오프셋 p1을 획득할 수 있고, 이와 유사하게, 오른쪽 이미지에서 이미지 중심 O2에 따라 수평 픽셀 오프셋 p2를 얻고, p1과 p2의 편차에 따라 캐빈 도어 중심에 대향되는 기동 표적의 수평 오프셋 픽셀 p를 구할 수 있다.First, the mobile target is equipped with an industrial personal computer, a binocular vision camera, and a camera data collection line. Through the binocular vision camera, the mobile target collects images of the two vertical edges of the rectangular cabin door that must be properly aligned, and through the camera Subsequent offset estimation is completed by taking an already known image of the height and width dimensions of the yellow part of the vertical edge. The captured image is pre-processed, and color segmentation is performed on the captured image in RGB space. Here, OpenCV's cv2.inRange and cv2.bitwise_and two methods are used. First define the range of the yellow part of the vertical edge in RGB space, then use cv2.inRange to create a mask (MASK), the allocation value of the pixels in the yellow part of the vertical edge in the image is 1, and vice versa, 0 . When the extraction of the designated color is completed in this way, finally, "AND" the pixels in the mask part using cv2.bitwise_and to preserve only the color of the yellow part at the vertical edge. The color image is binarized according to the set limit value, and the amount of data is reduced. Through this, the yellow part of the vertical edge is divided to obtain a binary image. The image obtained after segmentation has gouges and holes, and a morphologically processed image can be obtained by performing closing and opening operations through OpenCV's cv2.morphologyEx method. At this time, contour detection is performed again, and contours of the segmented image and corresponding contour point sets can be obtained through the cv2.findContours method. The contour point set is moved widely, the horizontal coordinates of the contour point set are stored in a preset list, and the average value of the horizontal coordinates of the left contour point set, which is regarded as the horizontal center of the vertical edge, is obtained by calculating the average value, and then the image center O 1 The horizontal pixel offset p1 can be obtained by subtracting the abscissa of , and similarly, in the image on the right, the horizontal pixel offset p2 is obtained according to the image center O 2 , and the maneuvering target opposite the center of the cabin door according to the deviation of p1 and p2. The horizontal offset pixel p of can be obtained.

두 단계로 나누어 픽셀 크기를 보정하고, 왼쪽 카메라 이미지에서 캐빈 도어의 좌우 두 개의 수직 가장자리를 동시에 수집할 경우, 두 개의 수직 가장자리 간격의 실제 거리 D1과 픽셀 거리 a1를 이용하여, 각 픽셀이 나타내는 실제 크기 s를 보정하고, 왼쪽 카메라 이미지에서 하나의 캐빈 도어의 좌측 수직 가장자리만을 수집할 수 있는 경우, 캐빈 도어 가장자리의 실제 너비 크기 D2와 픽셀 크기 b1을 이용해 각 픽셀이 나타내는 실제 크기

Figure pct00006
를 보정한다. 보정되어 얻어진 각 픽셀이 나타내는 실제 크기 s와 수평 오프셋 픽셀 p이 서로 곱해지면 캐빈 도어에 대향되는 기동 표적의 실제 수평 오프셋 변위를 얻을 수 있다.When the pixel size is calibrated in two stages and the two left and right vertical edges of the cabin door are simultaneously collected from the left camera image, each pixel is obtained by using the actual distance D 1 and the pixel distance a 1 If the actual size s represented is calibrated and only the left vertical edge of one cabin door can be collected from the left camera image, the actual size represented by each pixel using the actual width size D 2 of the cabin door edge and the pixel size b 1
Figure pct00006
correct the The actual horizontal offset displacement of the maneuvering target facing the cabin door can be obtained by multiplying the actual size s represented by each pixel obtained by calibration and the horizontal offset pixel p.

Claims (6)

양안시(binocular vision)와 대칭성을 기반으로 한 오프셋 검출 방법에 있어서,
이는 이하의 단계,
기동 캐리어에 그래픽 처리 장치와 양안시 카메라가 장착되고, 상기 양안시 카메라는 카메라 데이터 수집 라인을 통해 상기 그래픽 처리 장치에 연결되는 단계 S1;
상기 양안시 카메라를 이용해 기동 표적(Maneuvering Target)이 알맞게 정렬해야 하는 직사각형 캐빈 도어의 두 수직 가장자리의 이미지를 수집하는 단계 S2;
좌측 카메라로 획득한 이미지에 의해 이미지 중심에서 이의 거리가 가장 근접한 좌측에 있는 수직 캐빈 도어 가장자리의 픽셀 거리 d1 및 이미지 중심에서 이의 가장 근접한 우측에 있는 상기 수직 캐빈 도어 가장자리의 픽셀 거리 d2를 구하고, d1/d2의 비율에 따라 두 개의 포크는 전체가 단일 화물칸의 내부에 위치되거나 좌/우 캐빈 도어 가장자리를 횡단하는지를 판단하는 단계 S3;
상기 기동 표적이 임의의 단독적인 화물칸의 직사각형 평면 내부에 있으면서 좌측으로 오프셋되거나 우측으로 오프셋되는 경우, 왼쪽 카메라의 이미지 중심 O1의 좌측에 있는 상기 수직 캐빈 도어의 가장자리에서 이미지 중심까지의 오프셋 픽셀 p1을 추출하는 동시에, 오른쪽 카메라의 우측에 있는 상기 수직 캐빈 도어의 가장자리에서 이미지 중심 O2까지의 오프셋 픽셀 p2를 추출하고;
카메라가 장착된 대칭성과 캐빈 도어의 대칭성을 이용하면서, p1과 p2의 편차에 따라 상기 캐빈 도어 중심에 대향되는 상기 기동 표적의 수평 오프셋 픽셀 p를 계산하고, p=0일 경우, 오프셋이 발생하지 않고, 그렇지 않을 경우 죄측으로 오프셋되거나 우측으로 오프셋되는 단계 S4;
보정된 각 픽셀이 나타내는 실제 크기 s와 오프셋 픽셀 p을 서로 곱함으로써, 상기 캐빈 도어에 대향되는 상기 기동 표적의 실제 오프셋 변위 x를 얻을 수 있는 S5 단계;를 포함하는 것을 특징으로 하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법.In the offset detection method based on binocular vision and symmetry,
This is the following steps,
A step S1 of mounting a graphic processing unit and a binocular vision camera on a starting carrier, and connecting the binocular vision camera to the graphic processing unit through a camera data collection line;
Step S2 of collecting images of two vertical edges of a rectangular cabin door to be properly aligned with a maneuvering target using the binocular vision camera;
From the image acquired by the left camera, the pixel distance d1 of the edge of the vertical cabin door on the left closest to the distance from the center of the image and the pixel distance d2 of the edge of the vertical cabin door on the right closest to the center of the image are obtained, d1 According to the ratio of /d2, step S3 of determining whether the entire two forks are located inside a single cargo compartment or cross the edges of the left and right cabin doors;
Offset pixel p1 from the edge of the vertical cabin door to the left of the image center O 1 of the left camera to the center of the image, if the maneuvering target is inside the rectangular plane of any single cargo hold, offset to the left or offset to the right. while extracting an offset pixel p2 from the edge of the vertical cabin door on the right side of the right camera to the image center O 2 ;
Calculate the horizontal offset pixel p of the maneuvering target opposite to the center of the cabin door according to the deviation of p1 and p2, using the symmetry of the camera and the symmetry of the cabin door, and when p=0, no offset occurs. otherwise step S4 offset to the left or offset to the right;
Binocular vision and symmetry, characterized by comprising a; S5 step of obtaining the actual offset displacement x of the maneuvering target facing the cabin door by multiplying the actual size s of each corrected pixel and the offset pixel p. Offset detection method based on . 제1항에 있어서,
상기 단계 S2에서 수지된 직사각형 캐빈 도어의 두 개의 수직 가장자리의 이미지에서, 직사각형 캐빈 도어가 위치된 평면은 지면에 수직인 것을 특징으로 하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법.According to claim 1,
In the image of the two vertical edges of the rectangular cabin door obtained in step S2, the plane on which the rectangular cabin door is located is perpendicular to the ground. 제1항에 있어서,
단계 S3에서 비율 d1/d2에 따라 두 개의 포크는 전체가 단일 화물칸의 캐빈 도어 내부에 위치되거나 좌/우 캐빈 도어 가장자리를 횡단하는지를 판단하고, 이러한 판단 방식은 d1/d2의 비율을 통해 좌우 포크가 상기 캐빈 도어 좌측에 있는 수직 가장자리를 횡단하거나, 상기 캐빈 도어 좌우에 있는 수직 가장자리 사이에 알맞게 위치하는지를 결정할 수 있고, 포크 간격과 상기 캐빈 도어의 두 개의 종형빔 간격의 거리 비율을 2/3로 가정하고, 0<d1/d2<1/2일 때, 상기 포크는 상기 캐빈 도어 상기 좌우에 있는 수직 가장자리 사이에 알맞게 위치하며, 그렇지 않을 경우 포크는 캐빈 도어 좌/우에 있는 수직 가장자리를 횡단하고;
여기에서, d1은 좌측 카메라의 이미지 중심에서 이미지 중심의 좌측에 있는 수직 캐빈 도어 가장자리까지의 픽셀 거리이고, d2는 우측 카메라의 이미지 중심에서 이미지 중심의 우측에 있는 수직 캐빈 도어 가장자리까지의 픽셀 거리인 것을 특징으로 하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법.According to claim 1,
In step S3, according to the ratio d1/d2, it is determined whether the two forks are located inside the cabin door of a single cargo compartment or cross the edges of the left and right cabin doors. It is possible to determine whether it crosses the vertical edge on the left side of the cabin door or is properly positioned between the vertical edges on the left and right sides of the cabin door, and assumes that the distance ratio between the fork spacing and the distance between the two bell beams of the cabin door is 2/3. and when 0<d1/d2<1/2, the fork is properly positioned between the left and right vertical edges of the cabin door, otherwise the fork crosses the vertical edges on the left and right sides of the cabin door;
where d1 is the pixel distance from the image center of the left camera to the edge of the vertical cabin door to the left of the image center, and d2 is the pixel distance from the image center of the right camera to the edge of the vertical cabin door to the right of the image center. An offset detection method based on binocular vision and symmetry, characterized in that. 제1항에 있어서,
상기 단계 S4에서 왼쪽 카메라의 이미지 중심 O1의 좌측에 있는 수직 캐빈 도어의 가장자리에서 이미지 중심까지의 수평 오프셋 픽셀 p1을 추출하고, 먼저 이미지 분할을 통해 수직 가장자리의 노란색 부분을 단독으로 분할한 후, 컨투어 추출하여 컨투어 포인트 세트를 얻고, 포인트 세트의 가로 좌표 평균값을 수직 가장자리의 수평 중심으로 간주하고, 상기 포인트 세트의 가로 좌표의 평균값에서 이미지 중심의 가로 좌표를 빼내어 왼쪽 오프셋 픽셀 p1을 얻을 수 있고, 유사하게 오른쪽 이미지에서 오른쪽 오프셋 픽셀 p2를 얻을 수 있는 것을 특징으로 하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법.According to claim 1,
In step S4, the horizontal offset pixel p1 from the edge of the vertical cabin door to the left of the image center O 1 of the left camera to the center of the image is extracted, and first, the yellow part of the vertical edge is separately segmented through image segmentation, Contour extraction is performed to obtain a set of contour points, the average value of the abscissa of the set of points is regarded as the horizontal center of the vertical edge, and the average value of the horizontal coordinates of the set of points is subtracted from the average value of the horizontal coordinates of the center of the image to obtain the left offset pixel p1; Similarly, an offset detection method based on binocular vision and symmetry, characterized in that the right offset pixel p2 can be obtained from the right image. 제1항에 있어서,
상기 단계 S4에서 카메라가 장착된 대칭성과 캐빈 도어의 대칭성을 이용하여, 상기 캐빈 도어 중심에 대향되는 상기 기동 표적의 오프셋 픽셀
Figure pct00007
를 계산하여, 오프셋 픽셀의 값을 얻을 수 있고,
Figure pct00008
의 부호에 따라 좌측 오프셋 또는 우측 오프셋을 판단하는 것을 특징으로 하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법.According to claim 1,
In step S4, the offset pixel of the maneuvering target facing the center of the cabin door is used by using the symmetry of the camera and the cabin door.
Figure pct00007
By calculating , the value of the offset pixel can be obtained,
Figure pct00008
An offset detection method based on binocular vision and symmetry, characterized in that the left offset or the right offset is determined according to the sign of . 제1항에 있어서,
상기 단계 S5에서 상기 캐빈 도어에 대향되는 상기 기동 표적의 실제 오프셋 변위를 구하는 방법이
Figure pct00009
이고,
여기에서,
Figure pct00010
는 각 픽셀을 나타내는 실제 크기이고;
Figure pct00011
는 오프셋 픽셀이며, 실제 크기
Figure pct00012
를 보정하는 데 있어서, 상기 기동 표적에서 상기 캐빈 도어까지의 거리가 비교적 멀어, 상기 캐빈 도어의 좌우 두 개의 수직 가장자리를 동시에 수집할 수 있는 경우, 이미 알고 있는 좌우 수직 가장자리의 간격 D1 및 픽셀 거리 a1에 따라 현재 각 픽셀이 나타내는 실제 크기
Figure pct00013
를 얻을 수 있고, 상기 기동 표적에서 상기 캐빈 도어까지 비교적 가까워, 상기 캐빈 도어의 하나의 수직 가장자리만 수집할 수 있는 경우, 이미 알려진 수직 가장자리의 너비 크기 D2 및 픽셀 너비 b1에 따라 현재 각 픽셀이 나타내는 실제 크기
Figure pct00014
를 얻고, 원거리 및 근거리의 두 단계로 나누어 픽셀 크기를 보정함으로써 가이드의 정밀도를 향상시킬 수 있는 것을 특징으로 하는 양안시와 대칭성을 기반으로 한 오프셋 검출 방법.According to claim 1,
A method for obtaining the actual offset displacement of the maneuvering target facing the cabin door in step S5
Figure pct00009
ego,
From here,
Figure pct00010
is the actual size representing each pixel;
Figure pct00011
is the offset pixel, actual size
Figure pct00012
In calibrating , when the distance from the maneuvering target to the cabin door is relatively long, and the two left and right vertical edges of the cabin door can be collected simultaneously, the distance D 1 and the pixel distance between the left and right vertical edges are already known. According to a 1, the actual size currently represented by each pixel
Figure pct00013
can be obtained, and it is relatively close from the maneuvering target to the cabin door, so that only one vertical edge of the cabin door can be collected, according to the known width size D 2 and pixel width b 1 of the known vertical edge, each pixel currently represents the actual size of
Figure pct00014
An offset detection method based on binocular vision and symmetry, characterized in that it is possible to improve the precision of the guide by obtaining and correcting the pixel size by dividing into two steps, far and near.
KR1020237013757A 2021-11-22 2022-09-14 Offset detection method based on binocular vision and symmetry KR20230091906A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202111388135.6 2021-11-22
CN202111388135.6A CN114066997A (en) 2021-11-22 2021-11-22 Offset detection method based on binocular vision and symmetry
PCT/CN2022/118689 WO2023087877A1 (en) 2021-11-22 2022-09-14 Offset measurement method based on binocular vision and symmetry

Publications (1)

Publication Number Publication Date
KR20230091906A true KR20230091906A (en) 2023-06-23

Family

ID=80279168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237013757A KR20230091906A (en) 2021-11-22 2022-09-14 Offset detection method based on binocular vision and symmetry

Country Status (3)

Country Link
KR (1) KR20230091906A (en)
CN (1) CN114066997A (en)
WO (1) WO2023087877A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066997A (en) * 2021-11-22 2022-02-18 江苏科技大学 Offset detection method based on binocular vision and symmetry
CN115465816B (en) * 2022-11-14 2023-03-07 深圳海星智驾科技有限公司 Cargo unloading method and device and electronic equipment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4973393B2 (en) * 2007-08-30 2012-07-11 セイコーエプソン株式会社 Image processing apparatus, image processing method, image processing program, and image processing system
CN108981672A (en) * 2018-07-19 2018-12-11 华南师范大学 Hatch door real-time location method based on monocular robot in conjunction with distance measuring sensor
CN110697373B (en) * 2019-07-31 2021-04-06 湖北凯瑞知行智能装备有限公司 Conveying belt deviation fault detection method based on image recognition technology
CN112801966B (en) * 2021-01-21 2024-03-15 北京科技大学设计研究院有限公司 Online detection method for deviation of hot rolled strip steel
CN114066997A (en) * 2021-11-22 2022-02-18 江苏科技大学 Offset detection method based on binocular vision and symmetry

Also Published As

Publication number Publication date
WO2023087877A1 (en) 2023-05-25
CN114066997A (en) 2022-02-18

Similar Documents

Publication Publication Date Title
KR20230091906A (en) Offset detection method based on binocular vision and symmetry
US20170308103A1 (en) Flight device, flight control system and method
EP2426642B1 (en) Method, device and system for motion detection
JP5109294B2 (en) 3D position correction device
US8548226B2 (en) Stereo image processing device and method
EP3296953B1 (en) Method and device for processing depth images
CN108470356B (en) Target object rapid ranging method based on binocular vision
CN102799857B (en) Video multi-vehicle outline detection method
CN111340749B (en) Image quality detection method, device, equipment and storage medium
WO2021179983A1 (en) Three-dimensional laser-based container truck anti-hoisting detection method and apparatus, and computer device
JP3072730B2 (en) Vehicle detection method and device
CN109214380A (en) License plate sloped correcting method
US20200074660A1 (en) Image processing device, driving assistance system, image processing method, and program
CN114578328B (en) Automatic calibration method for spatial positions of multiple laser radars and multiple camera sensors
JP7448035B2 (en) Information processing device, three-dimensional position estimation method, and program
CN115108466A (en) Intelligent positioning method for container spreader
KR101733028B1 (en) Method For Estimating Edge Displacement Againt Brightness
CN117611525A (en) Visual detection method and system for abrasion of pantograph slide plate
CN219153837U (en) Mount paper location laminating device
CN111862007B (en) Freight car brake cylinder inclination detection method based on variance region segmentation
CN110322508B (en) Auxiliary positioning method based on computer vision
US20040126013A1 (en) Morphological based segmenter
CN111833384A (en) Method and device for quickly registering visible light and infrared images
US20230281765A1 (en) Image processing apparatus and image processing method
CN110533675B (en) Laser stripe shielding noise filtering and compensating method