KR20120040790A - 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법 - Google Patents

스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법 Download PDF

Info

Publication number
KR20120040790A
KR20120040790A KR1020100102213A KR20100102213A KR20120040790A KR 20120040790 A KR20120040790 A KR 20120040790A KR 1020100102213 A KR1020100102213 A KR 1020100102213A KR 20100102213 A KR20100102213 A KR 20100102213A KR 20120040790 A KR20120040790 A KR 20120040790A
Authority
KR
South Korea
Prior art keywords
camera
image
offset value
vision system
images
Prior art date
Application number
KR1020100102213A
Other languages
English (en)
Other versions
KR101142279B1 (ko
Inventor
황정현
박준영
Original Assignee
주식회사 아이닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이닉스 filed Critical 주식회사 아이닉스
Priority to KR1020100102213A priority Critical patent/KR101142279B1/ko
Publication of KR20120040790A publication Critical patent/KR20120040790A/ko
Application granted granted Critical
Publication of KR101142279B1 publication Critical patent/KR101142279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

스테레오 비전 시스템에서 이미지를 정렬하는 장치로서, 다수의 카메라를 포함하는 카메라부; 카메라부로부터 촬상된 이미지를 90도 회전시키는 이미지 회전부; 및 카메라부 중 기준 카메라에서 촬상된 이미지를 회전시킨 회전 이미지와, 기준 카메라 외의 카메라에서 촬상된 이미지를 회전시킨 회전 이미지에 대해 스테레오 정합 동작을 수행하여 수직 방향에 대한 오프셋 값인 수직 오프셋 값을 산출하는 스테레오 정합 수행부를 구비하고, 스테레오 비전 시스템은 수직 오프셋 값을 이용하여 기준 카메라 외의 카메라에서 촬상된 이미지를 수직 오프셋 값만큼 수직 방향으로 이동시킴으로써, 이미지들의 에피폴라 선을 동일한 수평선 상에 위치시키는 것을 특징으로 한다.

Description

스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법{AN APPARATUS FOR ALIGNING IMAGES IN STEREO VISION SYSTEM AND THE METHOD THEREOF}
본 발명은 스테레오 비전 시스템에 관한 것으로서, 상세하게는 스테레오 비전 시스템에 구비된 카메라로부터 촬상된 이미지를 정렬하는 장치 및 방법에 관한 것이다.
통상적으로 스테레오 비전 시스템은 입체 영상을 생성하기 위한 장치를 말한다. 현재 통상적으로 입체 영상을 생성하는 방법은 사람의 양안, 즉 우측 눈과 좌측 눈의 시각 차이, 즉 양안의 시각차를 이용하여 생성한다.
이러한 양안의 시각차는 인간의 좌측 눈과 우측 눈이 미간을 사이에 두고 약간의 거리를 두고 위치하고 있어, 좌측 눈의 시각에 따른 이미지와 우측 눈의 시각에 따른 이미지가 서로 다르기 때문에 발생한다. 따라서 이러한 사람의 눈을 통해 생성되는 것과 유사한 입체감을 갖는 영상을 생성하기 위해서는 사람의 눈과 같이 약간의 거리를 두고 위치하는 좌, 우 두 개의 카메라를 필요로 한다.
따라서 스테레오 비전 시스템은 적어도 두 개의 좌, 우 카메라를 포함하여 구성되고, 이러한 서로 다른 위치에서 이미지를 촬상하는 카메라를 이용하여 사람의 양안 시각차에 의해 생성되는 입체 영상과 비슷한 입체 영상을 생성한다.
이를 위해 스테레오 비전 시스템은 두 개 이상의 카메라로부터 촬상된 2장 이상의 이미지로부터 3차원 깊이정보(depth 또는 disparity) 를 산출하게 된다. 깊이 정보의 정확도를 높이기 위해서는 이미지의 노이즈 제거, 정확도가 높은 스테레오 정합 알고리즘, 전처리 및 후처리 방법 등 여러 가지 방법을 사용할 수 있으나, 가장 우선적으로 에피폴라 선(epipolar line)이 일치하는 이미지를 획득하여야 한다.
그러나 이를 위해 동일한 수평선 상에 카메라를 위치시킨다 하여도, 카메라 장치 자체의 오차로 인해 좌, 우 이미지의 에피폴라 선이 동일 수평선 상에 위치하기가 어렵다. 이와 같이 에피폴라 선이 동일 수평선 상에 위치하도록 교정하는 방법을 총칭하여 캘리브레이션(Calibration)이라 한다.
이하, 도 1을 참조하여 캘리브레이션에 대해 설명한다. 도 1은 캘리브레이션이 완벽하게 수행된 이미지를 나타낸 것이다. 여기서, 도 1(a) 는 우측 카메라에서 촬상된 이미지이며, 도 1(b) 는 좌측 카메라에서 촬상된 이미지를 나타낸 것이다.
도 1 에서 볼 수 있는 바와 같이, 에피폴라 선을 동일 수평선 상에 위치시키기 위한 캘리브레이션이 완벽하게 수행되게 되면 좌, 우 카메라로부터 촬상된 이미지들(도 1(a) 및 도 1(b))의 에피폴라 선이 동일 수평선 상에 위치하게 된다. 좌, 우 카메라로부터 촬상된 이미지들의 에피폴라 선이 도 1 과 같이 동일 수평선 상에 위치하게 되면, 이후 스테레오 정합 단계에서 유사한 점을 찾기 위한 동작을 수행할 때에 수평 방향으로만 탐색하면 되기 때문에 계산 과정이 크게 간단해 지게 된다.
종래에는, 이와 같이 이미지들의 에피폴라 선을 동일 수평선 상에 위치시키기 위해 하나의 카메라를 기준 카메라로 설정하고 이 기준 카메라에서 촬상된 이미지를 기초로 하여 캘리브레이션을 수행하는 경우도 있다. 즉, 기준 카메라에서 촬상된 이미지와 그 외 카메라에서 촬상된 이미지들 간에 수직 방향의 오프셋 값을 구하고, 이 오프셋 값을 이용하여 그 외 카메라에서 촬상된 이미지들을 이동시킴으로써 에피폴라 선을 동일 수평선 상에 정렬시키는 방식이다.
그러나, 이러한 종래의 방식은 이미지들 간의 오프셋 값을 구하기 위해 구성이 복잡해 지고 또한 과도한 계산이 필요하게 되는 문제점이 있었다.
본 발명의 목적은, 스테레오 비전 시스템에서 카메라로부터 촬상되는 이미지들에 대한 캘리브레이션을 간단한 구성으로 수행할 수 있는 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 스테레오 비전 시스템에서 카메라로부터 촬상되는 이미지들에 대해 간편한 연산으로 이미지를 정렬시킬 수 있는 장치 및 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 장치는, 스테레오 비전 시스템에서 이미지를 정렬하는 장치로서, 다수의 카메라를 포함하는 카메라부; 상기 카메라부로부터 촬상된 이미지를 90도 회전시키는 이미지 회전부; 및 상기 카메라부 중 기준 카메라에서 촬상된 이미지를 회전시킨 회전 이미지와, 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 회전시킨 회전 이미지에 대해 스테레오 정합 동작을 수행하여 수직 방향에 대한 오프셋 값인 수직 오프셋 값을 산출하는 스테레오 정합 수행부;를 구비하고, 상기 스테레오 비전 시스템은 상기 수직 오프셋 값을 이용하여 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 상기 수직 오프셋 값 만큼 수직 방향으로 이동시킴으로써, 이미지들의 에피폴라 선을 동일한 수평선 상에 위치시키는 것을 특징으로 한다.
이때, 상기 스테레오 정합 수행부는, 상기 회전 이미지의 모든 픽셀에 대한 깊이 정보인 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 이용하여 상기 수직 오프셋 값을 산출하는 것이 바람직하다.
또한, 상기 카메라부는, 좌측 카메라와 우측 카메라로 이루어지는 것이 바람직하다.
더욱 바람직하게는, 상기 기준 카메라는, 상기 좌측 카메라 또는 상기 우측 카메라 중에서 선택적으로 선정될 수 있다.
또한, 본 발명의 방법은, 스테레오 비전 시스템에서 이미지를 정렬하는 방법으로서, 다수의 카메라를 포함하는 카메라부에 의해 이미지가 촬상되는 단계; 상기 카메라부에 의해 촬상된 각 이미지를 90도 만큼 회전시키는 단계; 및 상기 카메라부 중 기준 카메라에서 촬상된 이미지를 회전시킨 회전 이미지와, 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 회전시킨 회전 이미지에 대해 스테레오 정합 동작을 수행하여 수직 방향에 대한 오프셋 값인 수직 오프셋 값을 산출하는 단계;를 포함하고, 상기 스테레오 비전 시스템은 상기 수직 오프셋 값을 이용하여 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 상기 수직 오프셋 값 만큼 수직 방향으로 이동시킴으로써, 이미지들의 에피폴라 선을 동일한 수평선 상에 위치시키는 것을 특징으로 한다.
본 발명에 따른 스테레오 비전 시스템에 따르면, 카메라로부터 촬상되는 이미지들에 대한 캘리브레이션을 간단한 구성으로 수행할 수 있다.
또한, 본 발명에 따른 스테레오 비전 시스템에 따르면, 카메라로부터 촬상되는 이미지들에 대해 간편한 연산으로 이미지를 정렬시킬 수 있다.
도 1 은 스테레오 비전 시스템에서 캘리브레이션이 완벽하게 수행된 이미지를 나타낸 것이다.
도 2 는 본 발명의 실시 예에 따른 스테레오 비전 시스템의 블록 구성도를 나타낸 도면이다.
도 3 은 본 발명의 실시 예에 따른 스테레오 비전 시스템에 구비된 좌측 카메라부(100) 및 우측 카메라부(110) 에서 촬상된 좌측 방향에서의 이미지 및 우측 방향에서의 이미지를 나타낸 것이다.
도 4 는 이미지 회전부(200,210) 에 의해 좌측 카메라부(100) 및 우측 카메라부(110) 에서 촬상된 이미지가 각각 90도 만큼 회전된 이미지를 나타낸 것이다.
도 5 는 스테레오 정합 수행부(300) 가 이미지의 모든 픽셀에 대한 깊이 정보인 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 산출한 결과를 나타낸 것이다.
도 6 은 본 발명의 실시 예에 따른 스테레오 비전 시스템이 촬상된 이미지를 정렬시키는 동작을 설명하는 플로우 챠트 이다.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 상세히 설명한다. 도면에서 동일한 구성요소는 가능한 어느 곳에서든지 동일한 부호로 나타내고 있음에 유의하여야 한다. 이하의 설명 및 첨부 도면에서 본 발명의 요지를 설명하는데 도움이 되지 않는다고 판단되는 공지의 기능 및 구성에 대해서는 상세한 설명을 생략한다.
먼저, 본 발명에 대한 명확한 이해를 돕기 위해 본 발명의 기본 원리를 간단히 설명하면, 본 발명에서는 스테레오 비전 시스템에서 기준이 되는 카메라에서 촬상된 이미지와 기준 외 카메라에서 촬상된 이미지에 대해 캘리브레이션을 수행하기 위해 각 카메라로부터 촬상된 이미지를 90도 회전시킨 후 스테레오 정합을 수행하고, 여기서 산출되는 수직 방향의 깊이 정보를 수직 오프셋 값으로 이용하여 이미지의 에피폴라 선을 동일 수평선 상에 정렬시킨다.
이러한 방식을 통해 본 발명에 따른 스테레오 비전 시스템은, 별도로 수직 오프셋 값을 결정하기 위한 구성을 사용함 없이 간단한 구성 및 계산으로 이미지에 대한 캘리브레이션을 수행할 수 있게 된다.
도 2 는 본 발명의 실시 예에 따른 스테레오 비전 시스템의 블록 구성도를 나타낸 도면이다.
도 2 를 참조하여 설명하면, 본 발명의 실시 예에 따른 스테레오 비전 시스템은 좌측 방향에서의 이미지와 우측 방향에서의 이미지를 각각 촬상하는 좌측 카메라부(100) 및 우측 카메라부(110), 각 카메라부(100,110)에서 촬상한 이미지를 90도 회전시키는 이미지 회전부(200,210), 90도 회전된 이미지에 대해 스테레오 정합 동작을 수행하여 수직 방향의 깊이 정보를 산출하는 스테레오 정합 수행부(300)를 포함한다.
본 발명의 실시 예에 따른 스테레오 비전 시스템은 이상의 과정을 통해 산출된 수직 방향의 깊이 정보를 수직 오프셋 값으로 이용하여 기준 외 카메라로부터 촬상된 이미지를 수직 방향으로 이동시킴으로써, 카메라부(100,110)로부터 촬상된 이미지의 에피폴라 선을 동일 수평선 상에 정렬시킬 수 있게 된다. 즉, 우측 카메라가 기준이 되는 카메라라면 좌측 카메라로부터 촬상된 이미지를 수직 오프셋 값으로 이용하여 이동시켜 에피폴라 선을 정렬시키게 된다.
이하, 본 발명의 실시 예에 따른 스테레오 비전 시스템의 구성에 대해 좀더 자세히 설명한다.
먼저, 본 발명의 스테레오 비전 시스템에 구비된 좌측 카메라부(100) 및 우측 카메라부(110) 는 각각 좌측 방향에서의 이미지 및 우측 방향에서의 이미지를 촬상한다. 이렇게 촬상된 이미지를 나타낸 것이 도 3 이다. 도 3 에서, dx 는 수평 방향으로의 오프셋 값을 나타낸다.
이때, 기준이 되는 카메라는 좌측 카메라부(100) 또는 우측 카메라부(110) 중 어느 하나로 결정할 수 있다. 이하의 설명에서는 우측 카메라부(110) 를 기준 카메라로 설정하는 경우에 대해 설명한다.
이미지 회전부(200,210) 는 좌측 카메라부(100) 및 우측 카메라부(110) 에서 촬상된 이미지를 각각 90도 만큼 회전시키는 동작을 수행한다. 이와 같이 회전된 이미지를 나타낸 것이 도 4 이다. 도 4 에서, dy 는 수직 방향으로의 오프셋 값을 나타낸다.
다음, 스테레오 정합 수행부(300) 는 이미지 회전부(200,210) 에서 90도 만큼 회전된 이미지들에 대해 스테레오 정합 동작을 수행하여 얻어진 깊이 정보를 수직 오프셋 값으로 산출한다. 여기서, 스테레오 정합 동작은, 기준이 되는 카메라인 우측 카메라부(110) 에서 촬상된 이미지의 어느 한 점에 대해, 기준 외 카메라인 좌측 카메라(100) 에서 촬상된 이미지에서의 대응하는 점을 찾는 수단이다.
이때, 좌측 카메라부(100) 에서 촬상된 이미지와 우측 카메라부(110) 에서 촬상된 이미지의 에피폴라 선이 일치하는 경우에는 우측 카메라부(110) 에서 촬상된 이미지의 어느 한 점과 대응하는 좌측 카메라부(100) 에서 촬상된 이미지의 점은 서로 동일 수평선 상에 위치하게 된다.
한편, 스테레오 정합 수행부(300) 는 수직 오프셋 값을 산출하기 위해 이미지의 모든 픽셀에 대한 깊이 정보인 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 이용한다. 이때, 카메라부(100,110) 에 촬상되는 피사체는 카메라의 촬상면과 가까운 피사체 보다 멀리 있는 피사체가 더 많은 것으로 가정하여 수행된다. 이는 멀리 있는 피사체의 경우 그 수평 오프셋 값이 '0' 근방으로 수렴하기 때문에 보다 정확한 수직 오프셋 값을 산출하는 것이 가능하기 때문이다.
예를 들어, 스테레오 정합 수행부(300) 가 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 산출하였을 때, 그 결과가 도 5 와 같이 나왔다면 수직 오프셋 값은 최대값인 '2' 라고 결정된다. 즉, 좌측 카메라부(100) 에서 촬상된 이미지와 우측 카메라부(110) 에서 촬상된 이미지의 에피폴라 선의 수직 오프셋 값이 '2' 이므로, 우측 카메라부(110) 에서 촬상된 이미지에서의 한 점(x, y) 과 대응하는 좌측 카메라부(100) 에서 촬상된 이미지의 점은 (x + dx, y + 2) 이다. 여기서, dx 는 이미지의 수평 오프셋 값을 의미한다.
이후, 본 발명의 실시 예에 따른 스테레오 비전 시스템은 산출된 수직 오프셋 값을 이용하여 기준 외 카메라인 좌측 카메라부(100) 에서 촬상된 이미지를 수직 방향으로 이동시킴으로써 좌,우 카메라로부터 촬상된 이미지의 에피폴라 선을 동일 수평선 상에 정렬시키게 된다.
다음, 이상과 같은 본 발명의 실시 예에 따른 스테레오 비전 시스템이 동작하는 흐름에 대해서 도면을 참조하여 상세히 설명한다.
도 6 은 본 발명의 실시 예에 따른 스테레오 비전 시스템이 촬상된 이미지를 정렬시키는 동작을 설명하는 플로우 챠트 이다.
먼저, 카메라부(100,110) 에 의해 좌측 이미지 및 우측 이미지가 촬상된다(S600). 여기서, 기준이 되는 카메라는 우측 카메라부(110) 인 것으로 한다.
이미지 회전부(200,210) 는 카메라부(100,110) 에 의해 촬상된 각 이미지를 90도 만큼 회전시킨다(S610).
스테레오 정합 수행부(300) 는 이미지 회전부(200,210) 에 의해 90도 회전된 이미지들을 입력받아 스테레오 정합 동작을 수행한다(S620). 이때, 스테레오 정합 수행부(300) 는 이미지의 모든 픽셀에 대한 깊이 정보인 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 이용하여 수직 오프셋 값을 산출한다.
이후, 본 발명의 실시 예에 따른 스테레오 비전 시스템은 산출된 수직 오프셋 값에 기초하여 좌측 카메라부(100) 에서 촬상된 이미지를 수직 방향으로 이동시킴으로써, 양 이미지의 에피폴라 선을 동일 수평선 상에 정렬시키게 된다(S630).
이상과 같은 본 발명의 실시 예에 따른 스테레오 비전 시스템에 의하면, 별도로 수직 오프셋 값을 결정하기 위한 구성을 사용함 없이 간단한 계산으로 이미지를 정렬시킬 수 있게 된다.
한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 특히 본 발명의 실시예에서는 스테레오 비전 시스템이 두 개의 카메라만을 가지고 있는 것을 예로 들어 설명하였으나, 두 개 이상의 카메라를 가지고 있는 경우에도 적용될 수 있음은 물론이다. 또한, 발명의 범위는 설명된 실시 예에 의해 정해질 것이 아니고, 특허청구범위와 그 균등한 것에 의해 정하여져야 한다.

Claims (8)

  1. 스테레오 비전 시스템에서 이미지를 정렬하는 장치로서,
    다수의 카메라를 포함하는 카메라부;
    상기 카메라부로부터 촬상된 이미지를 90도 회전시키는 이미지 회전부; 및
    상기 카메라부 중 기준 카메라에서 촬상된 이미지를 회전시킨 회전 이미지와, 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 회전시킨 회전 이미지에 대해 스테레오 정합 동작을 수행하여 수직 방향에 대한 오프셋 값인 수직 오프셋 값을 산출하는 스테레오 정합 수행부;를 구비하고,
    상기 스테레오 비전 시스템은 상기 수직 오프셋 값을 이용하여 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 상기 수직 오프셋 값 만큼 수직 방향으로 이동시킴으로써, 이미지들의 에피폴라 선을 동일한 수평선 상에 위치시키는 것을 특징으로 하는 스테레오 비전 시스템서의 이미지 정렬 장치.
  2. 제 1 항 에 있어서,
    상기 스테레오 정합 수행부는, 상기 회전 이미지의 모든 픽셀에 대한 깊이 정보인 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 이용하여 상기 수직 오프셋 값을 산출하는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 장치.
  3. 제 1 항에 있어서,
    상기 카메라부는, 좌측 카메라와 우측 카메라로 이루어지는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 장치.
  4. 제 3 항에 있어서,
    상기 기준 카메라는, 상기 좌측 카메라 또는 상기 우측 카메라 중에서 선택적으로 선정될 수 있는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 장치.
  5. 스테레오 비전 시스템에서 이미지를 정렬하는 방법으로서,
    다수의 카메라를 포함하는 카메라부에 의해 이미지가 촬상되는 단계;
    상기 카메라부에 의해 촬상된 각 이미지를 90도 만큼 회전시키는 단계; 및
    상기 카메라부 중 기준 카메라에서 촬상된 이미지를 회전시킨 회전 이미지와, 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 회전시킨 회전 이미지에 대해 스테레오 정합 동작을 수행하여 수직 방향에 대한 오프셋 값인 수직 오프셋 값을 산출하는 단계;를 포함하고,
    상기 스테레오 비전 시스템은 상기 수직 오프셋 값을 이용하여 상기 기준 카메라 외의 카메라에서 촬상된 이미지를 상기 수직 오프셋 값 만큼 수직 방향으로 이동시킴으로써, 이미지들의 에피폴라 선을 동일한 수평선 상에 위치시키는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 방법.
  6. 제 5 항 에 있어서,
    상기 수직 오프셋 값을 산출하는 단계는, 상기 회전 이미지의 모든 픽셀에 대한 깊이 정보인 깊이정보 맵(Depth map 또는 Disparity map) 의 히스토그램(Histogram) 분포를 이용하여 상기 수직 오프셋 값을 산출하는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 방법.
  7. 제 5 항에 있어서,
    상기 카메라부는, 좌측 카메라와 우측 카메라로 이루어지는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 방법.
  8. 제 7 항에 있어서,
    상기 기준 카메라는, 상기 좌측 카메라 또는 상기 우측 카메라 중에서 선택적으로 선정될 수 있는 것을 특징으로 하는 스테레오 비전 시스템에서의 이미지 정렬 방법.
KR1020100102213A 2010-10-20 2010-10-20 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법 KR101142279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100102213A KR101142279B1 (ko) 2010-10-20 2010-10-20 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100102213A KR101142279B1 (ko) 2010-10-20 2010-10-20 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120040790A true KR20120040790A (ko) 2012-04-30
KR101142279B1 KR101142279B1 (ko) 2012-05-07

Family

ID=46140554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100102213A KR101142279B1 (ko) 2010-10-20 2010-10-20 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101142279B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030946A (ko) * 2015-09-10 2017-03-20 엘지이노텍 주식회사 스테레오 카메라의 거리 추출 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457385B1 (ko) * 2012-12-24 2014-11-04 청주대학교 산학협력단 스테레오영상의 기울어짐 보정 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3265171B2 (ja) * 1995-11-30 2002-03-11 沖電気工業株式会社 ステレオ画像の修正条件検出装置
JPH11203476A (ja) 1998-01-19 1999-07-30 Oki Electric Ind Co Ltd エピポーララインの合わせ方法、ステレオ画像装置
KR100942925B1 (ko) * 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
JP2010128575A (ja) 2008-11-25 2010-06-10 Nec System Technologies Ltd ステレオ画像処理装置、ステレオ画像処理方法、および、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030946A (ko) * 2015-09-10 2017-03-20 엘지이노텍 주식회사 스테레오 카메라의 거리 추출 방법

Also Published As

Publication number Publication date
KR101142279B1 (ko) 2012-05-07

Similar Documents

Publication Publication Date Title
CN109076200B (zh) 全景立体视频系统的校准方法和装置
US20190244379A1 (en) Systems and Methods for Depth Estimation Using Generative Models
US9025009B2 (en) Method and systems for obtaining an improved stereo image of an object
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
KR20060063558A (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
KR20120051308A (ko) 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
GB2478169A (en) Validating the calculated misalignment between a stereoscopic image pair using a RANSAC method
Patel et al. Distance measurement system using binocular stereo vision approach
WO2019125427A1 (en) System and method for hybrid depth estimation
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
WO2019048904A1 (en) STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US9538161B2 (en) System and method for stereoscopic photography
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
US20180077405A1 (en) Method and system for scene scanning
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR20170122508A (ko) 다중 마커 기반의 정합 가이드 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160405

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 7