KR102371634B1 - depth extraction method for stereo camera - Google Patents

depth extraction method for stereo camera Download PDF

Info

Publication number
KR102371634B1
KR102371634B1 KR1020150128528A KR20150128528A KR102371634B1 KR 102371634 B1 KR102371634 B1 KR 102371634B1 KR 1020150128528 A KR1020150128528 A KR 1020150128528A KR 20150128528 A KR20150128528 A KR 20150128528A KR 102371634 B1 KR102371634 B1 KR 102371634B1
Authority
KR
South Korea
Prior art keywords
cameras
camera
distance
movement
horizontal
Prior art date
Application number
KR1020150128528A
Other languages
Korean (ko)
Other versions
KR20170030946A (en
Inventor
이광재
서봉구
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020150128528A priority Critical patent/KR102371634B1/en
Publication of KR20170030946A publication Critical patent/KR20170030946A/en
Application granted granted Critical
Publication of KR102371634B1 publication Critical patent/KR102371634B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 스테레오 카메라의 거리 추출 방법에 관한 것으로, 더욱 상세하게는 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출하는 스테레오 카메라의 거리 추출 방법에 관한 것이다. 본 발명에 의하면, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 할 수 있는 효과가 있다.The present invention relates to a distance extraction method of a stereo camera, and more particularly, a raw data image of an object photographed by two cameras mounted in a row by mechanically row-arranging two cameras mounted on a moving object in advance. It relates to a distance extraction method of a stereo camera that extracts distance by Data Picture). According to the present invention, two cameras mounted on a moving object are mechanically arranged in a row in advance, and the distance is extracted from a raw data picture of an object photographed by the two cameras arranged in a row to perform matrix operation. There is an effect of reducing the time and minimizing the amount of calculation to facilitate the calculation of the depth.

Description

스테레오 카메라의 거리 추출 방법{depth extraction method for stereo camera}The depth extraction method for stereo camera

본 발명은 스테레오 카메라의 거리 추출 방법에 관한 것으로, 더욱 상세하게는 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출하는 스테레오 카메라의 거리 추출 방법에 관한 것이다.The present invention relates to a distance extraction method of a stereo camera, and more particularly, a raw data image of an object photographed by two cameras mounted in a row by mechanically row-arranging two cameras mounted on a moving object in advance. It relates to a distance extraction method of a stereo camera that extracts distance by Data Picture).

일반적으로 두대의 카메라에서 촬영된 좌, 우 영상으로부터 물체까지의 거리 계산은 양안 시차에 의하여 원근감을 느끼는 원리를 이용한다.In general, the distance from the left and right images captured by two cameras to the object is calculated using the principle of sensing perspective due to binocular disparity.

두대의 카메라 사이의 기하학적 관계를 계산하는 과정인 캘리브레이션(Calibration)은 내부 및 외부 매트릭스(Intrinsic & Extrinsic matrix) 산출을 이용한다.Calibration, the process of calculating the geometric relationship between two cameras, uses Intrinsic & Extrinsic matrix calculations.

교정(Rectification)은 영상들이 행-정렬된 카메라에서 촬영된 것처럼 바꾸는 과정이고, 스테레오 매칭(Stereo matching)은 시차(Disparity) 산출을 통해 거리(Depth)를 추출하는 것이다.Rectification is a process of changing images as if they were taken by a row-aligned camera, and stereo matching is extracting depth through disparity calculation.

초소형 카메라를 이용하여 원거리(~200m)까지 거리 감지가 가능한 모듈이 개발되고 있으나, 상대적으로 미가공 데이터(Raw data)의 틸트(tilt) 및 왜곡 보정을 위한 알고리즘(Algorism) 등 수학적 수식을 이용으로 버퍼(Bufter) 발생이 예상됨으로 실시간으로 적용하기에는 어려움이 있다.Although a module capable of detecting a distance up to a long distance (~200m) using an ultra-small camera is being developed, it is a buffer using mathematical formulas such as an algorithm for correcting tilt and distortion of relatively raw data. It is difficult to apply in real time because the occurrence of buffer is expected.

미가공 데이터(Raw data)의 왜곡을 최소화한 영상을 추출하고 후처리 과정을 단순히 하여 정확하고 단순한 알고리즘(Algorism) 적용을 통한 거리(Depth) 산출이 필요하다.It is necessary to extract the image with minimal distortion of raw data and to calculate the depth through the application of an accurate and simple algorithm by simplifying the post-processing process.

그리고, 기존 스테레오 카메라(Strero camera)의 캘리브레이션 계산(calibration calculation)은 전처리 과정이 복잡하고, 해상도가 높아질 경우 데이터의 크기가 늘어나며, 측정시간 증가 등으로 인해 상품의 질(Quality)이 상대적으로 떨어지게 되는 문제점이 있었다.In addition, the calibration calculation of the existing stereo camera (Strero camera) is a complicated pre-processing process, the data size increases when the resolution is increased, and the quality of the product is relatively deteriorated due to the increase in measurement time, etc. There was a problem.

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬함으로써 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출할 수 있도록 한 스테레오 카메라의 거리 추출 방법을 제공함을 목적으로 한다.The present invention was devised to solve such a problem, and by arranging two cameras mounted on a moving object in a mechanical row in advance, a raw data picture of an object photographed by two cameras arranged in a row. An object of the present invention is to provide a method for extracting the distance of a stereo camera so that the distance can be extracted by

상기한 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라의 거리 추출 방법의 일 측면에 따르면, 두대의 카메라에 각각 부착된 자이로 센서에서 각 카메라의 상하좌우 움직임을 각각 감지하는 단계와, 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈에서 각 카메라에 부착된 자이로 센서에서 감지된 각 카메라의 상하좌우 움직임 정보를 각각 수신하는 단계와, 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상기 두대의 카메라가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계 및 상기 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 상기 두대의 카메라에 의해 촬영되는 물체까지의 거리를 계산하는 단계를 포함한다.According to one aspect of the method for extracting the distance of a stereo camera according to the present invention for achieving the above object, a gyro sensor attached to the two cameras, respectively, detecting the vertical, horizontal, horizontal, movement of each camera; Receiving vertical, horizontal, and horizontal motion information of each camera detected by a gyro sensor attached to each camera from vertical, horizontal, and horizontal motion control modules respectively installed in the camera; Correcting the vertical and horizontal movement angles of each camera in real time so that they are aligned at an angle in the same direction on the same horizontal line, and up to an object photographed by the two cameras aligned at an angle in the same direction on the same horizontal horizontal line calculating the distance of

상기 두대의 카메라의 상하좌우 움직임을 각각 감지하는 단계 이전에, 상기 두대의 카메라가 이동체에 설치되어 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되는 단계를 더 포함한다.The method further includes the step of installing the two cameras on a moving object and aligning them at an angle in the same direction on the same horizontal line before the step of detecting the vertical, horizontal, and horizontal movements of the two cameras, respectively.

상기 두대의 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계는, 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받는 단계; 및 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 주고 받는 각 카메라의 상하좌우 움직임 각도 정보를 확인하면서 상기 두대의 카메라가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계를 포함한다.The step of correcting the vertical, horizontal, and vertical movement angles of the two cameras in real time includes: sending and receiving vertical, horizontal, and vertical movement angle information of the respective cameras corrected in real time by vertical, horizontal, and horizontal movement control modules respectively installed in the two cameras; and vertical, horizontal, and vertical movement angles of each camera so that the two cameras are mechanically arranged in a row at the same height while checking the vertical, horizontal, and horizontal movement angle information of each camera exchanged between the vertical and horizontal movement control modules respectively installed in the two cameras. and correcting in real time.

본 발명에 의하면, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 할 수 있는 효과가 있다.According to the present invention, two cameras mounted on a moving object are mechanically arranged in a row in advance, and the distance is extracted from a raw data picture of an object photographed by the two cameras arranged in a row to perform matrix operation. There is an effect of reducing the time and minimizing the amount of calculation to facilitate the calculation of the depth.

또한, 사전 캘리브레이션(Calibration)을 최소화하여 계산 시간 즉, 인지 시간을 효과적으로 줄일 수 있으며, 빠른 시간을 바탕으로 실시간으로 대응할 수 있으므로 고속으로 달리는 차량(Vehicle)에서 효과적으로 운용할 수 있다.In addition, it is possible to effectively reduce the calculation time, that is, the recognition time by minimizing the pre-calibration, and to respond in real time based on the fast time, so that it can be effectively operated in a vehicle running at high speed.

또한, 전처리 과정이 최소화되고, 사전 인지시간 최소화로 반응시간이 최적화될 수 있으며, 선명한 사진을 활용하여 추가 정보로 활용할 수도 있다.In addition, the pre-processing process is minimized, the reaction time can be optimized by minimizing the pre-recognition time, and a clear picture can be utilized as additional information.

또한, 카메라의 상하좌우 이동(Tilt), 회전(Rotation) 등에 둔감(Robust)한 모듈 제작이 가능해지고, 차량에 카메라 초기 장착시 사물에 대한 피팅(Fitting)과 얼라인 세팅(Align setting) 및 거리에 대한 캘리브레이션(Calibration) 후 기존의 거리(Depth) 측정치와 대비하여 정확성을 높일 수 있는 효과가 있다.In addition, it is possible to manufacture a module that is insensitive to the vertical and horizontal movement (Tilt) and rotation of the camera, etc. After calibration, there is an effect of increasing the accuracy compared to the existing depth measurement.

도 1은 거리(Depth) 추출 과정을 나타내는 도면.
도 2는 거리 맵(Depth map) 추출 과정을 나타내는 도면.
도 3은 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth)를 계산하는 일예를 나타내는 도면.
도 4는 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth) 추출 방법을 나타내는 도면.1 is a diagram illustrating a distance (Depth) extraction process.
2 is a diagram illustrating a process of extracting a depth map;
3 is a diagram illustrating an example of calculating a depth using two camera modules having a gyro sensor according to an embodiment of the present invention.
4 is a diagram illustrating a method of extracting a depth using two camera modules having a gyro sensor according to an embodiment of the present invention.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventor should properly understand the concept of the term in order to best describe his invention. Based on the principle that it can be defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical spirit of the present invention, so at the time of the present application, various It should be understood that there may be equivalents and variations.

도 1은 거리(Depth) 추출 과정을 나타내는 도면이다.1 is a diagram illustrating a distance (Depth) extraction process.

도시된 바와 같이, 도 1에서 두 대의 카메라에서 촬영된 좌(Left), 우(Right) 영상(10,20)으로부터 물체(object)(30)까지의 거리(Z)를 계산한다. 양안 시차에 의하여 원근감을 느끼는 원리를 이용한다. 거리 계산식은 하기의 수학식 1로 정의된다.As shown, the distance Z from the left and right images 10 and 20 captured by the two cameras in FIG. 1 to the object 30 is calculated. It uses the principle of sensing perspective by binocular disparity. The distance calculation formula is defined by Equation 1 below.

Figure 112015088279914-pat00001
Figure 112015088279914-pat00001

여기서, disparity = dl + dr
where disparity = dl + dr

도 2는 거리 맵(Depth map) 추출 과정을 나타내는 도면이다.2 is a diagram illustrating a process of extracting a depth map.

도시된 바와 같이, 제1 직사각형(40)은 실제 스테레오 카메라 시스템(Stereo camera system)을 나타내고, 제2 직사각형(50)은 이상적 상황(Ideal situation)을 나타낸다. 여기서 제1 직사각형(40)이 제2 직사각형(50)으로 되도록 하기 위해 캘리브레이션(Calibration) 값을 이용한 교정(Rectification)을 이용한다.
As shown, a first rectangle 40 represents an actual stereo camera system, and a second rectangle 50 represents an ideal situation. Here, in order to make the first rectangle 40 become the second rectangle 50, a calibration using a calibration value is used.

도 3은 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth)를 계산하는 일예를 나타내는 도면이다.3 is a diagram illustrating an example of calculating a distance using two camera modules having a gyro sensor according to an embodiment of the present invention.

도시된 바와 같이, 도 2에서 살펴본 바와 같이 거리 맵(Depth map) 추출 과정에서는 이상적 시뮬레이션(Ideal simulation)을 위한 캘리브레이션(Calibration)의 계산이 필요하다. 도 3에서는 자이로 센서(gyro sensor) 모듈(61)이 각각 구비된 두대의 카메라(60)를 이용하여 거리를 측정한다.As shown in FIG. 2 , in the process of extracting a depth map, it is necessary to calculate a calibration for an ideal simulation. In FIG. 3 , a distance is measured using two cameras 60 each having a gyro sensor module 61 .

두대의 카메라(60)에는 각 카메라의 상하좌우 이동(Tilt), 광학식 손떨림 보정(OIS) 등의 움직임을 제어할 수 있는 제어모듈(미도시됨)이 포함된다.The two cameras 60 include a control module (not shown) capable of controlling movement of each camera, such as tilt, optical image stabilization (OIS), and the like.

두대의 카메라(60)에 각각 구비된 자이로 센서(gyro sensor) 모듈(61)과 제어모듈은 상호간에 필요한 정보를 주고 받으면서 연동한다.The gyro sensor module 61 and the control module provided in each of the two cameras 60 interwork while exchanging necessary information with each other.

두대의 카메라(60)에 각각 구비된 자이로 센서(gyro sensor) 모듈(61)은 각 카메라의 상하좌우 움직임을 감지하여 감지된 상하좌우 움직임 정보를 두대의 카메라(60)의 제어모듈로 각각 전송한다.A gyro sensor module 61 provided in each of the two cameras 60 detects a vertical, horizontal, horizontal, and vertical movement of each camera and transmits the detected vertical, horizontal, and horizontal movement information to the control module of the two cameras 60 , respectively. .

두대의 카메라(60)의 제어모듈은 자이로 센서(gyro sensor) 모듈(61)에서 전송되는 각 카메라의 상하좌우 움직임 정보를 수신하여 두대의 카메라(60)가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정한다.The control module of the two cameras 60 receives the vertical and horizontal movement information of each camera transmitted from the gyro sensor module 61 so that the two cameras 60 are rotated at an angle in the same direction on the same horizontal line. The vertical and horizontal movement angles of each camera are corrected in real time so that they are aligned.

두대의 카메라(60)의 제어모듈은 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받으면서 두대의 카메라(60)가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정한다.The control module of the two cameras 60 transmits and receives information on the vertical and horizontal movement angles of each camera corrected in real time with each other, and the vertical movement angle of each camera so that the two cameras 60 are mechanically arranged in a row at the same height. is corrected in real time.

이에 따라, 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 두대의 카메라(60)에 의해 촬영되는 물체까지의 거리를 계산한다.Accordingly, the distance to the object photographed by the two cameras 60 aligned at an angle in the same direction on the same horizontal line is calculated.

즉, 본 발명에서는 두대의 카메라(60)가 기구적으로 행 정열된 상태에서 전방의 사물을 촬영함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 한다.That is, in the present invention, by photographing an object in front in a state in which the two cameras 60 are mechanically arranged, the time for matrix operation is reduced and the amount of operation is minimized, thereby facilitating the calculation of the distance (Depth).

이와 같이, 본 발명에서는 두대의 카메라(60) 사이의 기하학적 관계를 수식적으로 계산하는 것이 아나라, 기구적으로 행 정열된 상태에서 촬영하여 빠른 시간에 원하는 데이터를 얻을 수 있다.As described above, in the present invention, it is not possible to mathematically calculate the geometrical relationship between the two cameras 60 , but it is possible to obtain desired data in a short time by photographing in a mechanically arranged state.

또한, 사전 캘리브레이션(Calibration)을 최소화하여 계산 시간 즉, 인지 시간을 효과적으로 줄일 수 있게 된다.In addition, by minimizing the pre-calibration, it is possible to effectively reduce the calculation time, that is, the recognition time.

또한, 빠른 시간을 바탕으로 실시간으로 대응할 수 있으므로 고속으로 달리는 차량(Vehicle)에서는 효과적으로 운용할 수 있다.In addition, since it can respond in real time based on a fast time, it can be effectively operated in a vehicle running at high speed.

즉, 이와 같이 전처리 과정이 최소화되고, 사전 인지시간 최소화로 반응시간이 최적화될 수 있으며, 선명한 사진을 활용하여 추가 정보로 활용할 수도 있다. 또한, 카메라 모듈(60)의 상하 이동(Tilt), 회전(Rotation) 등에 둔감(Robust)한 모듈 제작이 가능해진다.That is, the pre-processing process is minimized as described above, the reaction time can be optimized by minimizing the pre-recognition time, and a clear picture can be utilized as additional information. In addition, it is possible to manufacture a module that is insensitive to vertical movement (Tilt), rotation, etc. of the camera module 60 .

그리고, 모듈 초기 장착시 사물에 대한 피팅(Fitting) 후 얼라인 세팅(Align setting) 후 거리에 대한 캘리브레이션(Calibration) 후 기존의 거리(Depth) 측정치와 대비하여 정확성을 높일 수 있다.
And, when the module is initially mounted, after fitting to an object, after alignment setting, and after calibration for the distance, accuracy can be increased compared to the existing distance measurement value.

도 4는 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth) 추출 방법을 나타내는 도면이다.4 is a diagram illustrating a method of extracting a depth using two camera modules having a gyro sensor according to an embodiment of the present invention.

도시된 바와 같이, 두대의 카메라에 각각 부착된 자이로 센서에서 각 카메라의 상하좌우 움직임을 각각 감지(S10)한다.As shown, the gyro sensors respectively attached to the two cameras sense the vertical, horizontal, and horizontal movements of each camera ( S10 ).

상기 두대의 카메라의 상하좌우 움직임을 각각 감지하는 S10단계 이전에, 두대의 카메라가 이동체에 설치되어 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된다.Before step S10 of detecting the vertical, horizontal, and horizontal movements of the two cameras, the two cameras are installed on a moving object and aligned at an angle in the same direction on the same horizontal line.

두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈에서 각 카메라에 부착된 자이로 센서에서 감지된 각 카메라의 상하좌우 움직임 정보를 각각 수신(S20)한다.Up, down, left, and right motion control modules installed in each of the two cameras respectively receive up, down, left, and right motion information of each camera detected by a gyro sensor attached to each camera ( S20 ).

두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 두대의 카메라가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정(S30)한다.The vertical, horizontal, and vertical motion control modules installed in each of the two cameras correct the vertical, horizontal, and vertical movement angles of each camera in real time so that the two cameras are aligned at an angle in the same direction on the same horizontal line (S30).

두대의 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 S30단계에서, 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받고, 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 주고 받는 각 카메라의 상하좌우 움직임 각도 정보를 확인하면서 두대의 카메라가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정한다.In step S30 of correcting the vertical and horizontal movement angles of the two cameras in real time, the vertical and horizontal movement control modules installed in each of the two cameras exchange information on the vertical and horizontal movement angles of each camera that are corrected in real time with each other, and the two cameras The vertical, horizontal, and vertical motion control modules installed in each check the vertical, horizontal, and horizontal movement angle information of each camera exchanged with each other, and correct the vertical and horizontal movement angles of each camera in real time so that the two cameras are mechanically arranged in a row at the same height.

이어서, 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 두대의 카메라에 의해 촬영되는 물체까지의 거리를 계산(S40)한다. 즉, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 할 수 있게 된다.
Next, a distance to an object photographed by two cameras aligned at an angle in the same direction on the same horizontal line is calculated (S40). In other words, by mechanically row-aligning two cameras mounted on a moving object in advance, and extracting the distance from the raw data picture of an object photographed by the two row-aligned cameras, the time of matrix operation is reduced and By minimizing the amount of computation, it is possible to easily calculate the depth.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited thereto, and the technical idea of the present invention and the following by those of ordinary skill in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents of the claims to be described.

10,20 : 좌(Left), 우(Right) 영상
30 : 물체
40 : 제1 직사각형
50 : 제2 직사각형
60 : 카메라
61 : 자이로 센서(gyro sensor) 모듈10,20 : Left, Right video
30 : object
40: first rectangle
50: second rectangle
60 : camera
61: gyro sensor module

Claims (3)

이동체에 장착되는 두대의 카메라에 포함된 자이로 센서가 각 카메라의 움직임을 감지하는 단계;
상기 두대의 카메라에 포함된 제어모듈이 상기 자이로 센서로부터 각 카메라의 움직임 정보를 수신하는 단계;
상기 두대의 카메라의 상기 제어모듈이 각 카메라의 움직임 각도를 보정하여 촬영 전 사전에 기구적으로 행 정렬하는 단계; 및
상기 두대의 카메라에 의해 촬영되는 물체까지의 거리를 계산하는 단계를 포함하고,
상기 각 카메라의 움직임 각도를 보정하는 단계는
상기 두대의 카메라의 상기 제어모듈이 서로 연동되어 상기 두대의 카메라가 동일선상에 동일한 방향의 각도로 정렬되도록 움직임 각도를 보정하고,
상기 물체까지의 거리를 계산하는 단계는,
상기 움직임 각도가 보정된 상기 두대의 카메라에 의해 촬영된 로우 데이터(Raw Data)로부터 거리 맵(Depth Map)을 생성하고,
상기 두대의 카메라의 상기 제어모듈이 각 카메라의 움직임 각도 정보를 확인하면서 상기 두대의 카메라가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 움직임 각도를 실시간으로 보정하는 거리 추출 방법.detecting, by a gyro sensor included in two cameras mounted on a moving object, the movement of each camera;
receiving, by the control module included in the two cameras, movement information of each camera from the gyro sensor;
arranging, by the control module of the two cameras, mechanically in advance before photographing by correcting the movement angle of each camera; and
Comprising the step of calculating the distance to the object photographed by the two cameras,
The step of correcting the movement angle of each camera is
Compensating the movement angle so that the control module of the two cameras is interlocked with each other so that the two cameras are aligned at an angle in the same direction on the same line,
Calculating the distance to the object comprises:
Create a distance map (Depth Map) from the raw data (Raw Data) taken by the two cameras, the movement angle is corrected,
A distance extraction method in which the control module of the two cameras checks the movement angle information of each camera and corrects the movement angle of each camera in real time so that the two cameras are mechanically arranged in a row at the same height. 제1항에 있어서,
상기 각 카메라의 움직임을 감지하는 단계 이전에
상기 두대의 카메라가 이동체에 설치되어 가상의 선상에서 동일한 방향의 각도로 정렬되는 단계를 포함하는 거리 추출 방법.The method of claim 1,
Before the step of detecting the movement of each camera
and installing the two cameras on a moving object and aligning them at an angle in the same direction on a virtual line. 삭제delete
KR1020150128528A 2015-09-10 2015-09-10 depth extraction method for stereo camera KR102371634B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150128528A KR102371634B1 (en) 2015-09-10 2015-09-10 depth extraction method for stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150128528A KR102371634B1 (en) 2015-09-10 2015-09-10 depth extraction method for stereo camera

Publications (2)

Publication Number Publication Date
KR20170030946A KR20170030946A (en) 2017-03-20
KR102371634B1 true KR102371634B1 (en) 2022-03-08

Family

ID=58503005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150128528A KR102371634B1 (en) 2015-09-10 2015-09-10 depth extraction method for stereo camera

Country Status (1)

Country Link
KR (1) KR102371634B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023249231A1 (en) * 2022-06-22 2023-12-28 삼성전자 주식회사 Electronic device comprising camera, and operating method therefor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101142279B1 (en) * 2010-10-20 2012-05-07 주식회사 아이닉스 An apparatus for aligning images in stereo vision system and the method thereof
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
KR102209008B1 (en) * 2014-02-17 2021-01-28 삼성전자주식회사 Apparatus for estimating camera pose and method for estimating camera pose

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023249231A1 (en) * 2022-06-22 2023-12-28 삼성전자 주식회사 Electronic device comprising camera, and operating method therefor

Also Published As

Publication number Publication date
KR20170030946A (en) 2017-03-20

Similar Documents

Publication Publication Date Title
US10515271B2 (en) Flight device and flight control method
US20160182793A1 (en) Image distortion correction of a camera with a rolling shutter
US20130135474A1 (en) Automotive Camera System and Its Calibration Method and Calibration Program
WO2017059527A1 (en) Camera-based speed estimation and system calibration therefor
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
TW201328319A (en) Apparatus and method for eliminating noise in stereo image
US10595003B2 (en) Stereo camera apparatus and vehicle comprising the same
KR20160100788A (en) Apparatus and method for measuring speed of moving object
US10154176B1 (en) Calibrating depth cameras using natural objects with expected shapes
CN112184827B (en) Method and device for calibrating multiple cameras
JP2017142613A (en) Information processing device, information processing system, information processing method and information processing program
WO2021081707A1 (en) Data processing method and apparatus, movable platform and computer-readable storage medium
KR102152720B1 (en) Photographing apparatus and method for 3d modeling
CN110751685A (en) Depth information determination method, determination device, electronic device and vehicle
CN108260360B (en) Scene depth calculation method and device and terminal
US11259001B2 (en) Stereo image processing device
CN110720113A (en) Parameter processing method and device, camera equipment and aircraft
CN109658451B (en) Depth sensing method and device and depth sensing equipment
EP3640585B1 (en) Stereo camera device
KR102371634B1 (en) depth extraction method for stereo camera
JP2009212734A (en) Automatic calibration monocular stereo vision device
JP5870266B2 (en) Calibration apparatus and calibration method
WO2014054124A1 (en) Road surface markings detection device and road surface markings detection method
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
CN112399172B (en) Method and device for calibrating multiple cameras

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant