KR20180016823A - 영상 보정 장치 및 방법 - Google Patents

영상 보정 장치 및 방법 Download PDF

Info

Publication number
KR20180016823A
KR20180016823A KR1020160100651A KR20160100651A KR20180016823A KR 20180016823 A KR20180016823 A KR 20180016823A KR 1020160100651 A KR1020160100651 A KR 1020160100651A KR 20160100651 A KR20160100651 A KR 20160100651A KR 20180016823 A KR20180016823 A KR 20180016823A
Authority
KR
South Korea
Prior art keywords
image
disparity
stereo
disparity map
pixels
Prior art date
Application number
KR1020160100651A
Other languages
English (en)
Inventor
장지호
조재일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160100651A priority Critical patent/KR20180016823A/ko
Publication of KR20180016823A publication Critical patent/KR20180016823A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H04N13/0239—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 보정 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 영상 보정 장치는 스테레오 카메라로부터 스테레오 영상을 획득하는 영상 획득부; 상기 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행하는 영상 전처리부; 상기 등극선 정렬이 수행된 스테레오 영상으로부터 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵(DISPARITY MAP)들을 생성하는 스테레오 매칭 계산부; 상기 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행하는 좌우-일관성 검사부; 상기 최종 디스패리티 맵에 기반하여 상기 영상 전처리부에 등극선 재정렬을 요청하는 등극선 재정렬부; 상기 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행하는 영상 후처리부 및 상기 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정하는 보정 영상 생성부를 포함한다.

Description

영상 보정 장치 및 방법 {APPARATUS FOR CORRECTING IMAGE AND METHOD USING THE SAME}
본 발명은 스테레오 카메라로 촬영된 영상을 스테레오스코픽(STEREOSCOPIC) 디스플레이로 출력할 때, 사용자에게 발생되는 거리감 문제(DEPTH PERCEPTION PROBLEM)를 보정하는 기술에 관한 것이다.
3차원 영상을 디스플레이 하는 방법으로 스테레오스코픽 디스플레이가 다양한 분야에서 사용되고 있다. 3차원 안경을 사용하는 3차원 디스플레이는 영화, TV 등에서 주로 사용되고 있다. 이러한 3차원 디스플레이는 Passive 와 Active 방식으로 분류된다. Passive 방식의 대표적인 방법으로, 적녹안경 또는 패턴 안경을 통해서 좌-우 눈에 다른 영상을 출력하여 입체적으로 보이게 하는 방식이다. Active 방식에는 대표적인 방법으로 셔터 글래스가 있다. 이것은 안경에서 전자셔터를 적용하여 좌-우를 번갈아 가면서 가리는 방식이다. Active 방식은 Passive 방식에 비해서 영상의 해상도 및 화질 저하가 덜하다. 그러나, 본래의 영상의 2배에 해당되는 프레임 레이트가 필요하다.
최근에는 기어 VR과 같은 헤드업 디스플레이 방식의 제품이 출시 되고 있다.
수술로봇 분야에서는 좌-우 눈에 스테레오 카메라로 촬영된 스테레오 영상을 보여주는 방식이 있다. 이 경우 높은 해상도의 영상을 출력할 수 있으며, 안경과 다르게 다른 물체가 보이지 않고, 영상만 출력 되므로 사용자의 몰입도가 높다.
그러나, 기존의 방식들의 가장 큰 문제점은 사람은 다양한 방법으로 물체의 거리를 판별하지만, 스테레오 카메라는 양안 시차만으로 거리감을 판별하게 된다. 이로 인해서 영상에 적절한 보정을 하지 않으면 사용자에게 거리감에 문제가 발생된다.
특히, 스테레오 카메라를 사용하는 수술로봇의 경우, 이러한 거리감의 문제로 인해서 원하는 작업에 문제가 발생할 수 있다(ex. 물체를 집을 때 거리감 문제로 다른 곳을 집는 경우가 발생함). 따라서, 수술로봇은 수술시간의 지연 및 수술 이외의 부위에 접촉하는 문제가 발생될 수 있다.
한편, 미국공개특허 제 2011-0304689 호 "REMOTE USER CONTROL FOR STEREOSCOPIC DISPLAY" 는 마커를 사용하여 사용자의 시선 변화에 기반하여 보정하는 기술에 관하여 개시하고 있다.
그러나, 미국공개특허 제 2011-0304689 호는 컴퓨터 그래픽으로 제작된 영상에 대한 시점변화에 따른 주시점과 주변시점에 대한 차이와 컨텐츠와 사용자간의 거리에 대한 문제를 해결하는 기술에 대해서만 개시하고 있다.
또한, 35th Annual International Conference of the IEEE EMBS 논문집3194-3197pp. 에 개재된"3D Gaze Tracking System for NVidia 3D Vision" 는 일반적인 3D 안경에 카메라를 설치하여 사용자의 눈동자의 위치 및 방향을 확인하고 이러한 정보를 바탕으로 사람이 보고 있는 거리에 따라서 사용자가 보고 있는 물체의 지점 및 거리를 판별하고 보정하는 방법을 개시하고 있다.
그러나, 이러한 방법은 추가적인 카메라나 마커를 필요로 하며, 미리 제작된 영상에서 시점을 변경하거나, 컴퓨터 그래픽으로 제작된(카메라로 촬영되지 않은) 영상에서의 거리감을 조작하기 위한 것이다.
본 발명은 스테레오 카메라로 얻어진 영상을 스테레오스코픽 디스플레이를 통해 사용자가 시청할 때 발생되는, 거리감 문제를 해결하는 것을 목적으로 한다.
또한, 본 발명은 추가적인 하드웨어 장치 없이 스테레오스코픽 디스플레이에서 발생하는 거리감 문제를 해결하는 것을 목적으로 한다.
또한, 본 발명의 좌우 화면의 양안시차로 인해서 발생하는 고스트 현상 및 사용자의 피로감을 줄이는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 보정 장치는 스테레오 카메라로부터 스테레오 영상을 획득하는 영상 획득부; 상기 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행하는 영상 전처리부; 상기 등극선 정렬이 수행된 스테레오 영상으로부터 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵(DISPARITY MAP)들을 생성하는 스테레오 매칭 계산부; 상기 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행하는 좌우-일관성 검사부; 상기 최종 디스패리티 맵에 기반하여 상기 영상 전처리부에 등극선 재정렬을 요청하는 등극선 재정렬부; 상기 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행하는 영상 후처리부 및 상기 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정하는 보정 영상 생성부를 포함한다.
이 때, 상기 영상 전처리부는 상기 스테레오 카메라의 센서 및 렌즈 스펙을 고려하여 비네팅 효과와 노이즈를 제거할 수 있다.
이 때, 상기 매칭 알고리즘은 제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성할 수 있다.
이 때, 상기 좌-우 일관성 검사부는 상기 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 상기 최종 디스패리티 맵을 생성할 수 있다.
이 때, 상기 등극선 재정렬부는 상기 최종 디스패리티 맵의 픽셀들 중 음의 디스패리티 값에 상응하는 픽셀들과 오류 픽셀들의 비율이 기설정된 비율 이상인 경우, 상기 영상 전처리부에 상기 스테레오 영상의 상기 등극선 재정렬을 요청하고, 재정렬된 스테레오 영상에 기반하여 상기 스테레오 매칭 계산부 및 상기 좌-우 일관성 검사부를 이용하여 상기 최종 디스패리티 맵을 재생성할 수 있다.
이 때, 상기 기설정된 비율은 상기 등극선 재정렬을 요청한 횟수에 기반하여 변화될 수 있다.
이 때, 상기 홀 메움은 상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정할 수 있다.
이 때, 상기 보정 영상 생성부는 상기 등극선 정렬에 관한 파라미터들과, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값들에 기반하여 생성된 거리 정보를 포함하는 깊이 맵(DEPTH MAP)을 생성할 수 있다.
이 때, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값, 상기 거리 정보 및 사용자의 눈간 거리 정보를 이용하여 상기 스테레오 영상을 보정할 수 이다.
이 때, 보정된 스테레오 영상의 폐색 영역에 상기 폐색 영역 밖의 주변 영역의 정보를 설정하는 홀 메움을 수행하고, 상기 보정된 스테레오 영상의 색상 불균형을 보정하는 보정 영상 후처리부를 더 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 보정 방법은 스테레오 영상 보정 장치를 이용하는 방법에 있어서, 스테레오 카메라로부터 영상을 획득하는 단계; 상기 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행하는 단계; 상기 등극선 정렬이 수행된 스테레오 영상으로부터 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵(DISPARITY MAP)들을 생성하는 단계; 상기 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행하는 단계; 상기 최종 디스패리티 맵에 기반하여 등극선 재정렬을 요청하는 단계; 상기 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행하는 단계 및 상기 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정하는 단계를 포함한다.
이 때, 상기 등극선 정렬을 수행하는 단계는 상기 스테레오 카메라의 센서 및 렌즈 스펙을 고려하여 비네팅 효과와 노이즈를 제거할 수 있다.
이 때, 상기 매칭 알고리즘은 제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성할 수 있다.
이 때, 최종 디스패리티 맵을 생성하는 단계는 상기 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 상기 최종 디스패리티 맵을 생성할 수 있다.
이 때, 상기 요청하는 단계는 상기 최종 디스패리티 맵의 픽셀들 중 음의 디스패리티 값에 상응하는 픽셀들과 오류 픽셀들의 비율이 기설정된 비율 이상인 경우, 상기 등극선 정렬을 수행하는 단계로 되돌아 갈 수 있다.
이 때, 상기 기설정된 비율은 상기 등극선 정렬을 수행하는 단계로 되돌아 간 횟수에 기반하여 변화될 수 있다.
이 때, 상기 홀 메움을 수행하는 단계는 상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정할 수 있다.
이 때, 상기 스테레오 영상을 보정하는 단계는 상기 등극선 정렬에 관한 파라미터들과, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값들에 기반하여 생성된 거리 정보를 포함하는 깊이 맵(DEPTH MAP)을 생성할 수 있다.
이 때, 상기 스테레오 영상을 보정하는 단계는 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값, 상기 거리 정보 및 사용자의 눈간 거리 정보를 이용하여 상기 스테레오 영상을 보정할 수 있다.
이 때, 상기 스테레오 영상을 보정하는 단계 이후에, 보정된 스테레오 영상의 폐색 영역에 상기 폐색 영역 밖의 주변 영역의 정보를 설정하는 홀 메움을 수행하고, 상기 보정된 스테레오 영상의 색상 불균형을 보정하는 단계를 더 포함할 수 있다.
본 발명은 스테레오 카메라로 얻어진 영상을 스테레오스코픽 디스플레이를 통해 사용자가 시청할 때 발생되는, 거리감 문제를 해결할 수 있다.
또한, 본 발명은 추가적인 하드웨어 장치 없이 스테레오스코픽 디스플레이에서 발생하는 거리감 문제를 해결할 수 있다.
또한, 본 발명의 좌우 화면의 양안시차로 인해서 발생하는 고스트 현상 및 사용자의 피로감을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 보정 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 보정 방법을 나타낸 동작흐름도이다.
도 3은 본 발명의 일실시예에 따른 스테레오 카메라의 정렬 형태를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 최종 디스패리티 맵을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 홀 메움 처리된 최종 디스패리티 맵을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 보정 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 영상 보정 장치는 영상 획득부(110), 영상 전처리부(120), 스테레오 매칭 계산부(130), 좌-우 일관성 검사부(140), 등극선 재정렬부(150), 영상 후처리부(160), 보정 영상 생성부(170) 및 보정 영상 후처리부(180)를 포함한다.
영상 획득부(110)는 스테레오 카메라로부터 스테레오 영상을 획득할 수 있다.
스테레오 카메라는 제1 카메라 및 제2 카메라를 포함할 수 있다. 제1 카메라 및 제2 카메라는 촬영된 동일한 피사체에 기반하여 동시에 2개의 좌-우 영상들을 포함하는 입체적인 스테레오 영상을 촬영할 수 있다.
이 때, 스테레오 카메라는 다양한 원인으로 시점축이 교차될 수 있다. 예를 들어, 스테레오 카메라에 가해지는 열이나 기계적 충격으로 시점축의 정렬이 어긋나면서 시점축의 교차가 발생된다. 이렇게 교차된 시점축은 수직시차를 발생시킬 수 있고, 스테레오 매칭 알고리즘의 복잡도를 증가시키거나 스테레오 매칭 알고리즘 수행 시 오류를 야기할 수 있다. 이 때, 수직시차는 사용자에게 거리감 문제를 발생시켜 눈의 피로도를 증가시킬 수 있다.
영상 전처리부(120)는 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행할 수 있다. 등극선 정렬은 스테레오 영상을 스테레오 카메라의 시점축이 평행 상태 일 때의 영상으로 정렬시킬 수 있다. 이 때, 스테레오 영상의 특징점을 추출하는 기법은 일반적으로 널리 알려진 기법이 이용될 수 있다.
이 때, 영상 전처리부(120)는 스테레오 카메라의 센서 및 렌즈의 스펙을 고려하여 비네팅 효과와 노이즈를 제거할 수 있다. 이 때, 비네팅 효과 제거는 비네팅으로 인해서 발생하는 주변부의 광량 저하에 대하여 영상의 밝기를 보정할 수 있다. 이 때, 영상 전처리부(120)는 영상 히스토그램에 기반하여 영상의 밝기 불균형을 보정할 수 있다.
스테레오 매칭 계산부(130)는 등극선 정렬이 수행된 영상으로부터 매칭 알고리즘을 이용하여 디스패리티 맵(DISPARITY MAP)을 생성할 수 있다. 매칭 알고리즘은 제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성할 수 있다.
예를 들어, 스테레오 매칭 계산부(130)는 우 영상의 한 픽셀 PR(X,Y)을 기준으로 X축으로 디스패리티(d)를 변화시키며 좌 영상의 대응 픽셀 PL(X+d,Y)과의 유사도를 평가할 수 있다. 이 때, 유사도가 가장 높은 우 영상의 대응 픽셀 PL(X+d,Y)를 선택할 수 있고, 선택된 대응 픽셀들의 좌표들과 디스패리티 값(d)들을 이용하여 우 영상의 모든 픽셀들에 상응하는 좌 디스패리티 값들이 포함된 좌 디스패리티 맵을 생성할 수 있다.
이어서, 스테레오 매칭 계산부(130)는 좌 영상의 한 픽셀 PL(X,Y)을 기준으로 X축으로 디스패리티(d)를 변화시키며 우 영상의 대응 픽셀 PR(X+d,Y)과의 유사도를 평가할 수 있다. 이 때, 유사도가 가장 우 영상의 높은 대응 픽셀 PR(X+d,Y)를 선택할 수 있고, 선택된 대응 픽셀들의 좌표들과 디스패리티 값(d)들을 이용하여 좌 영상의 모든 픽셀들에 상응하는 우 디스패리티 값들이 포함된 우 디스패리티 맵을 생성할 수 있다.
즉, 스테레오 매칭 계산부(130)는 입력된 스테레오 영상에 기반하여 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵들을 생성할 수 있다.
이 때, 스테레오 매칭 계산부(130)는 스테레오 영상이 교차축이 발생할 수 있으므로, 일반적으로 사용되는 0 ~ +d 가 아닌, -d ~ +d 를 기설정된 범위의 디스패리티 값을 사용할 수 있다.
좌-우 일관성 검사부(140)는 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행할 수 있다.
이 때, 좌-우 일관성 검사부(140)는 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 상기 최종 디스패리티 맵을 생성할 수 있다.
예를 들어, 좌-우 일관성 검사부(140)는 좌-우 디스패리티 맵들 중 어느 하나를 선택 할 수 있고, 선택된 디스패리티 맵에 기반하여 좌-우 디스패리티 맵들을 비교하는 것으로 디스패리티 값들을 검사할 수 있다.
이 때, 좌-우 일관성 검사부(140)는 수학식 1을 이용하여 LRCC를 수행할 수 있다.
[수학식 1]
Figure pat00001
수학식 1에 있어서, DL(X)는 좌 디스패리티 맵, DR(X)는 우 디스패리티 맵, X는 X축 좌표 값, α는 기설정된 오류판정 값으로 일반적으로 1에 상응할 수 있다.
이 때, 좌-우 일관성 검사부(140)는 수학식1에 따라 좌 디스패리티 맵의 디스패리티 값을 산출한 결과 값이 기설정된 오류판정 값 미만 인 경우, 해당하는 X 좌표의 디스패리티 값을 0 또는 기설정된 범위 밖의 값으로 설정할 수 있다. 이렇게 설정된 픽셀은 오류 픽셀에 상응할 수 있다.
기설정된 범위 밖의 디스패리티 값은 0 또는 -255로 설정할 수 있다. 이 때, 기설정된 범위는 단계(S230)에서 기설정된 범위(-d ~ +d )에 상응할 수 있다.
이 때, 좌-우 일관성 검사부(140)는 좌 디스패리티 맵에 오류 픽셀이 설정된 최종 디스패리티 맵을 생성할 수 있다. 이 때, 최종 디스패리티 맵은 좌-우 일관성 검사부(140)의 동작 과정을 이용하여 우 디스패리티 맵에 기반하여서도 생성될 수 있다.
등극선 재정렬부(150)는 최종 디스패리티 맵에 기반하여 상기 영상 전처리부(120)에 등극선 재정렬을 요청할 수 있다. 이 때, 등극선 재정렬부(150)는 최종 디스패리티 맵의 픽셀들 중 음의 디스패리티 값에 상응하는 픽셀들과 오류 픽셀들의 비율이 기설정된 비율 이상인 경우, 상기 영상 전처리부(120)에 상기 스테레오 영상의 상기 등극선 재정렬을 요청할 수 있고, 재정렬된 스테레오 영상에 기반하여 상기 스테레오 매칭 계산부(130) 및 상기 좌-우 일관성 검사부(14)를 이용하여 상기 최종 디스패리티 맵을 재생성할 수 있다. 이 때, 상기 등극선 재정렬을 요청한 횟수에 기반하여 변화될 수 있다.
예를 들어, 등극선 재정렬부(150)는 처음 수행될 때, 최종 디스패리티 맵에 포함된 오류 픽셀이 20% 이상이거나 음의 디스패리티 값이 포함된 픽셀이 20% 이상일 때 등극선 재정렬을 요청할 수 있다. 재정렬이 요청된 경우, 등극선 재정렬부(150)는 두번째 수행될 때, 재정렬된 스테레오 영상으로부터 생성된 최종 디스패리티 맵에 포함된 오류 픽셀이 10% 이상이거나 음의 디스패리티 값이 포함된 픽셀이 10% 이상일 때 재정렬을 요청할 수 있다. 이상에서의 과정이 반복 될 수 있고, 등극선 재정렬부(150)는 최종 디스패리티 맵에 포함된 오류 픽셀이 5% 이하이거나 음의 디스패리티 값이 포함된 픽셀이 5% 이하일 때 현재 상태를 초기화하고 다음 과정을 진행할 수 있다. 이 때, 최종 디스패리티 맵에 포함된 오류 픽셀과 음의 디스패리티 값이 포함된 픽셀의 비율은 사용자에 입력값 또는 스테레오 영상의 크기, 종류 및 용도 등에 따라 달라질 수 있다.
영상 후처리부(160)는 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행할 수 있다. 이 때, 영상 후처리부(160)는 상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정하는 홀 메움을 수행할 수 있다.
또한, 영상 후처리부(160)는 최종 디스패리티 맵의 노이즈를 제거할 수 있다. 이 때, 영상 후처리부(160)는 객체의 엣지 성분을 보존하면서 디스패리티 맵의 노이즈를 제거하는 필터링을 수행할 수 있다. 이 때, 영상 후처리부(160)는 필터링 기법으로 가중 중앙 필터링(WEIGHTED MEDIAN FILTERING) 기법을 이용할 수 있다.
보정 영상 생성부(170)는 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정할 수 있다. 이 때, 보정 영상 생성부(170)는 상기 등극선 정렬에 관한 파라미터들과, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값들에 기반하여 생성된 거리 정보를 포함하는 깊이 맵(DEPTH MAP)을 생성할 수 있다. 이 때, 깊이 맵은 최종 디스패리티 맵의 디스패리티 값의 크기에 기반하여 생성될 수 있다. 즉, 깊이 맵의 픽셀들이 포함하는 거리 정보는 피사체와 카메라 사이의 물리적인 거리에 상응할 수 있다.
예를 들어, 최종 디스패리티 맵의 임의의 픽셀의 디스패리티 값(d)이 0 인 경우(p'r(x,y)와 p'l(x+d',y)에서 d'= 0), 좌-우 영상들의 시선축이 동일하고, 교차되지 않으므로 실제로 가장 먼 곳에 존재하는 픽셀일 수 있다. 즉, 가장 먼 곳에 존재하는 픽셀들을 설정하는 작업이 수행될 수 있다. 등극선 재정렬 수행시, 교차축이 생성되는 곳을 가장 먼 곳이라고 가정할 수도 있고, 평행축으로 가정하여 계산할 수도 있다.
이 때, 보정 영상 생성부(170)는 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값, 상기 거리 정보 및 사용자의 눈간 거리 정보를 이용하여 상기 스테레오 영상을 보정할 수 있다. 스테레오 영상을 보정하는 방법은 다양한 기법이 이용될 수 있다.
예를 들어, 좌 영상 보정 결과를 기반하여 우 영상을 보정하는 경우, 스테레오 영상의 색상 불균형은 적게 발생되지만 폐색 영역이 크게 발생될 수 있다.
스테레오 영상의 중앙에 가상의 시점을 생성하고, 가상의 시점에 기반하여 스테레오 영상을 보정하는 경우, 폐색 영역은 적게 발생되지만, 스테레오 영상의 색상 불균형이 발생될 수 있다.
본 발명의 일실시예에 따르면, 이러한 색상 불균형과 관련된 문제점은 전체 좌우 이미지의 RGB 색상의 평균값으로 가상의 이미지를 생성하고, 이에 필터를 적용하여 색상정보가 튀는 부분을 최소화 하는 방법으로 해결할 수 있다.
이 때, 보정 영상 생성부(170)는 사용자의 눈간 거리 정보를 사용자 외부 입력 또는 기설정된 일반적인 사람의 눈간 거리 정보를 이용할 수 있다.
보정 영상 후처리부(180)는 보정된 스테레오 영상의 폐색 영역에 상기 폐색 영역 밖의 주변 영역의 정보를 설정하는 홀 메움을 수행하고, 상기 보정된 스테레오 영상의 색상 불균형을 보정할 수 있다.
이 때, 보정 영상 후처리부(180)는 보정된 스테레오 영상이 매칭되는 픽셀에서의 RGB 값의 평균을 산출하거나 주변 픽셀을 고려하여 색상 불균형을 보정할 수 있다. 이 때, 보정 영상 후처리부(180)는 영상 후처리부(160)와 동일한 기법으로 홀 메움, 색상 불균형 보정, 노이즈 제거 및 필터링을 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 보정 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상 보정 방법은 먼저 영상을 획득 할 수 있다(S210).
즉, 단계(S210)는 스테레오 카메라로부터 스테레오 영상을 획득할 수 있다.
스테레오 카메라는 제1 카메라 및 제2 카메라를 포함할 수 있다. 제1 카메라 및 제2 카메라는 촬영된 동일한 피사체에 기반하여 동시에 2개의 좌-우 영상들을 포함하는 입체적인 스테레오 영상을 촬영할 수 있다.
이 때, 스테레오 카메라는 다양한 원인으로 시점축이 교차될 수 있다. 예를 들어, 스테레오 카메라에 가해지는 열이나 기계적 충격으로 시점축의 정렬이 어긋나면서 시점축의 교차가 발생된다. 이렇게 교차된 시점축은 수직시차를 발생시킬 수 있고, 스테레오 매칭 알고리즘의 복잡도를 증가시키거나 스테레오 매칭 알고리즘 수행 시 오류를 야기할 수 있다. 이 때, 수직시차는 사용자에게 거리감 문제를 발생시켜 눈의 피로도를 증가시킬 수 있다.
또한, 영상 보정 방법은 등극선(EPIPOLAR LINE) 정렬을 수행할 수 있다(S220).
즉, 단계(S220)는 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행할 수 있다. 등극선 정렬은 스테레오 영상을 스테레오 카메라의 시점축이 평행 상태 일 때의 영상으로 정렬시킬 수 있다. 이 때, 스테레오 영상의 특징점을 추출하는 기법은 일반적으로 널리 알려진 기법이 이용될 수 있다.
이 때, 단계(S220)는 스테레오 카메라의 센서 및 렌즈의 스펙을 고려하여 비네팅 효과와 노이즈를 제거할 수 있다. 이 때, 비네팅 효과 제거는 비네팅으로 인해서 발생하는 주변부의 광량 저하에 대하여 영상의 밝기를 보정할 수 있다. 이 때, 단계(S220)는 영상 히스토그램에 기반하여 영상의 밝기 불균형을 보정할 수 있다.
또한, 영상 보정 방법은 디스패리티 맵(DISPARITY MAP)을 생성할 수 있다(S230).
즉, 단계(S230)는 등극선 정렬이 수행된 영상으로부터 매칭 알고리즘을 이용하여 디스패리티 맵(DISPARITY MAP)을 생성할 수 있다. 매칭 알고리즘은 제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성할 수 있다.
예를 들어, 단계(S230)는 우 영상의 한 픽셀 PR(X,Y)을 기준으로 X축으로 디스패리티(d)를 변화시키며 좌 영상의 대응 픽셀 PL(X+d,Y)과의 유사도를 평가할 수 있다. 이 때, 유사도가 가장 높은 우 영상의 대응 픽셀 PL(X+d,Y)를 선택할 수 있고, 선택된 대응 픽셀들의 좌표들과 디스패리티 값(d)들을 이용하여 우 영상의 모든 픽셀들에 상응하는 좌 디스패리티 값들이 포함된 좌 디스패리티 맵을 생성할 수 있다.
이어서, 단계(S230)는 좌 영상의 한 픽셀 PL(X,Y)을 기준으로 X축으로 디스패리티(d)를 변화시키며 우 영상의 대응 픽셀 PR(X+d,Y)과의 유사도를 평가할 수 있다. 이 때, 유사도가 가장 우 영상의 높은 대응 픽셀 PR(X+d,Y)를 선택할 수 있고, 선택된 대응 픽셀들의 좌표들과 디스패리티 값(d)들을 이용하여 좌 영상의 모든 픽셀들에 상응하는 우 디스패리티 값들이 포함된 우 디스패리티 맵을 생성할 수 있다.
즉, 단계(S230)는 입력된 스테레오 영상에 기반하여 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵들을 생성할 수 있다.
이 때, 단계(S230)는 스테레오 영상이 교차축이 발생할 수 있으므로, 일반적으로 사용되는 0 ~ +d 가 아닌, -d ~ +d 를 기설정된 범위의 디스패리티 값을 사용할 수 있다.
또한, 영상 보정 방법은 좌-우 일관성 검사를 수행할 수 있다(S240).
즉, 단계(S240)는 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행할 수 있다.
이 때, 단계(S240)는 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 상기 최종 디스패리티 맵을 생성할 수 있다.
예를 들어, 단계(S240)는 좌-우 디스패리티 맵들 중 어느 하나를 선택 할 수 있고, 선택된 디스패리티 맵에 기반하여 좌-우 디스패리티 맵들을 비교하는 것으로 디스패리티 값들을 검사할 수 있다.
이 때, 단계(S240)는 수학식 1을 이용하여 LRCC를 수행할 수 있다.
[수학식 1]
Figure pat00002
수학식 1에 있어서, DL(X)는 좌 디스패리티 맵, DR(X)는 우 디스패리티 맵, X는 X축 좌표 값, α는 기설정된 오류판정 값으로 일반적으로 1에 상응할 수 있다.
이 때, 단계(S240)는 수학식1에 따라 좌 디스패리티 맵의 디스패리티 값을 산출한 결과 값이 기설정된 오류판정 값 미만 인 경우, 해당하는 X 좌표의 디스패리티 값을 0 또는 기설정된 범위 밖의 값으로 설정할 수 있다. 이렇게 설정된 픽셀은 오류 픽셀에 상응할 수 있다.
기설정된 범위 밖의 디스패리티 값은 0 또는 -255로 설정할 수 있다. 이 때, 기설정된 범위는 단계(S230)에서 기설정된 범위(-d ~ +d )에 상응할 수 있다.
이 때, 단계(S240)는 좌 디스패리티 맵에 오류 픽셀이 설정된 최종 디스패리티 맵을 생성할 수 있다. 이 때, 최종 디스패리티 맵은 단계(S240)의 과정을 이용하여 우 디스패리티 맵에 기반하여서도 생성될 수 있다.
또한, 영상 보정 방법은 최종 디스패리티 맵에 기반하여 등극선 재정렬을 요청할 수 있다(S250).
즉, 단계(S250)는 최종 디스패리티 맵에 기반하여 최종 디스패리티 맵에 기반하여 단계(220)로 되돌아 갈 수 있다. 이 때, 단계(S250)는 상기 최종 디스패리티 맵의 픽셀들 중 음의 디스패리티 값에 상응하는 픽셀들과 오류 픽셀들의 비율이 기설정된 비율 이상인 경우, 단계(220)로 되돌아 갈 수 있다. 이 때, 기설정된 비율은 단계(S220)로 되돌아간 횟수에 기반하여 변화될 수 있다.
예를 들어, 단계(S250)는 처음 수행될 때, 최종 디스패리티 맵에 포함된 오류 픽셀이 20% 이상이거나 음의 디스패리티 값이 포함된 픽셀이 20% 이상일 때 단계(220)로 되돌아 갈 수 있다. 단계(S220)로 되돌아 간 경우, 단계(S250)는 두번째 수행될 때, 재정렬된 스테레오 영상으로부터 생성된 최종 디스패리티 맵에 포함된 오류 픽셀이 10% 이상이거나 음의 디스패리티 값이 포함된 픽셀이 10% 이상일 때 단계(220)로 되돌아 갈 수 있다. 이상에서의 과정이 반복 될 수 있고, 단계(S250)는 최종 디스패리티 맵에 포함된 오류 픽셀이 5% 이하이거나 음의 디스패리티 값이 포함된 픽셀이 5% 이하일 때 현재 상태를 초기화하고 단계(S260)로 진행할 수 있다. 이 때, 최종 디스패리티 맵에 포함된 오류 픽셀과 음의 디스패리티 값이 포함된 픽셀의 비율은 사용자에 입력값 또는 스테레오 영상의 크기, 종류 및 용도 등에 따라 달라질 수 있다.
또한, 영상 보정 방법은 홀 메움(HOLE FILLING)을 수행할 수 있다(S260)
즉, 단계(S260)는 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행할 수 있다. 이 때, 단계(S260)는 상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정하는 홀 메움을 수행할 수 있다.
또한, 단계(S260)는 최종 디스패리티 맵의 노이즈를 제거할 수 있다. 이 때, 단계(S260)는 객체의 엣지 성분을 보존하면서 디스패리티 맵의 노이즈를 제거하는 필터링을 수행할 수 있다. 이 때, 단계(S260)는 필터링 기법으로 가중 중앙 필터링(WEIGHTED MEDIAN FILTERING) 기법을 이용할 수 있다.
또한, 영상 보정 방법은 스테레오 영상을 보정할 수 있다(S270).
즉, 단계(S270)는 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정할 수 있다. 이 때, 단계(S270)는 상기 등극선 정렬에 관한 파라미터들과, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값들에 기반하여 생성된 거리 정보를 포함하는 깊이 맵(DEPTH MAP)을 생성할 수 있다. 이 때, 깊이 맵은 최종 디스패리티 맵의 디스패리티 값의 크기에 기반하여 생성될 수 있다. 즉, 깊이 맵의 픽셀들이 포함하는 거리 정보는 피사체와 카메라 사이의 물리적인 거리에 상응할 수 있다.
예를 들어, 최종 디스패리티 맵의 임의의 픽셀의 디스패리티 값(d)이 0 인 경우(p'r(x,y)와 p'l(x+d',y)에서 d'= 0), 좌-우 영상들의 시선축이 동일하고, 교차되지 않으므로 실제로 가장 먼 곳에 존재하는 픽셀일 수 있다. 즉, 가장 먼 곳에 존재하는 픽셀들을 설정하는 작업이 수행될 수 있다. 등극선 재정렬 수행시, 교차축이 생성되는 곳을 가장 먼 곳이라고 가정할 수도 있고, 평행축으로 가정하여 계산할 수도 있다.
이 때, 단계(S270)는 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값, 상기 거리 정보 및 사용자의 눈간 거리 정보를 이용하여 상기 스테레오 영상을 보정할 수 있다. 스테레오 영상을 보정하는 방법은 다양한 기법이 이용될 수 있다.
예를 들어, 좌 영상 보정 결과를 기반하여 우 영상을 보정하는 경우, 스테레오 영상의 색상 불균형은 적게 발생되지만 폐색 영역이 크게 발생될 수 있다.
스테레오 영상의 중앙에 가상의 시점을 생성하고, 가상의 시점에 기반하여 스테레오 영상을 보정하는 경우, 폐색 영역은 적게 발생되지만, 스테레오 영상의 색상 불균형이 발생될 수 있다.
본 발명의 일실시예에 따르면, 이러한 색상 불균형과 관련된 문제점은 전체 좌우 이미지의 RGB 색상의 평균값으로 가상의 이미지를 생성하고, 이에 필터를 적용하여 색상정보가 튀는 부분을 최소화 하는 방법으로 해결할 수 있다.
이 때, 단계(S270)는 사용자의 눈간 거리 정보를 사용자 외부 입력 또는 기설정된 일반적인 사람의 눈간 거리 정보를 이용할 수 있다.
또한, 영상 보정 방법은 보정 영상을 후처리 할 수 있다(S280).
즉, 단계(S280)는 보정된 스테레오 영상의 폐색 영역과 색상 불균형을 보정할 수 있다.
이 때, 단계(S280)는 보정된 스테레오 영상의 폐색 영역에 상기 폐색 영역 밖의 주변 영역의 정보를 설정하는 홀 메움을 수행하고, 상기 보정된 스테레오 영상의 색상 불균형을 보정할 수 있다.
이 때, 단계(S280)는 보정된 스테레오 영상이 매칭되는 픽셀에서의 RGB 값의 평균을 산출하거나 주변 픽셀을 고려하여 색상 불균형을 보정할 수 있다. 이 때, 단계(S280)는 단계(S260)와 동일한 기법으로 홀 메움, 색상 불균형 보정, 노이즈 제거 및 필터링을 수행할 수 있다.
도 3은 본 발명의 일실시예에 따른 스테레오 카메라의 정렬 형태를 나타낸 도면이다.
도 3을 참조하면 (a)는 스테레오 카메라의 시선축이 교차되어 교차축이 발생한 것을 볼 수 있다. 이 때, 교차축은 주로 수술로봇에 사용되는 복강경/내시경 카메라에서 심하게 발생될 수 있다. 여기서, 복강경 카메라는 열, 기구적 충격 등에 의한 다양한 원인으로 정렬 상태가 변경될 수 있다. 즉, 교차축은 수직시차를 발생시켜, 스테레오 매칭 알고리즘의 복잡도를 증가시키거나 스테레오 매칭 알고리즘 수행에 오류를 발생시킬 수 있다. 또한, 이것은 사용자에게 거리감 문제를 발생시켜 눈의 피로도를 증가시킬 수 있다.
(b)는 스테레오 카메라의 촬영 거리 내에 교차축이 없는 것을 볼 수 있다.
(c)는 스테레오 카메라의 시선축이 평행한 것을 볼 수 있다.
도 4는 본 발명의 일실시예에 따른 디스패리티 맵을 나타낸 도면이다.
도 4를 참조하면, 영상 후처리 과정을 진행하기 전 디스패리티 맵을 나타낸 것을 볼 수 있다.
이 때, 영상 보정 장치는 등극선 정렬이 수행된 영상으로부터 매칭 알고리즘을 이용하여 디스패리티 맵(DISPARITY MAP)을 생성할 수 있다.
이 때, 영상 보정 장치는 제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성할 수 있다.
또한, 영상 보정 장치는 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행할 수 있다.
이 때, 좌-우 일관성 검사부(140)는 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 최종 디스패리티 맵을 생성할 수 있다.
이 때, 생성된 최종 디스패리티 맵은 객체 주변에 검은 부분이 오류 픽셀로 존재하는 것을 볼 수 있다.
또한, 생성된 최종 디스패리티 맵은 객체의 엣지에 노이즈가 존재하는 것을 볼 수 있다.
도 5는 본 발명의 일실시예에 따른 후처리된 최종 디스패리티 맵을 나타낸 도면이다.
도 5를 참조하면, 후처리된 최종 디스패리티 맵을 나타낸 것을 볼 수 있다.
영상 보정 장치는 최종 디스패리티 맵의 오류 픽셀들에 홀 메움(HOLE FILLING)을 수행할 수 있다.
이 때, 영상 보정 장치는 상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정하는 홀 메움을 수행할 수 있다.
또한, 영상 보정 장치는 최종 디스패리티 맵의 노이즈를 제거할 수 있다.
이 때, 영상 보정 장치는 객체의 엣지 성분을 보존하면서 디스패리티 맵의 노이즈를 제거하는 필터링을 수행할 수 있다. 이 때, 영상 보정 장치는 필터링 기법으로 가중 중앙 필터링(WEIGHTED MEDIAN FILTERING) 기법을 이용할 수 있다.
따라서, 후처리된 최종 디스패리티 맵은 도 4에 도시된 객체 주변에 검은 부분인 오류 픽셀이 제거된 것을 볼 수 있다.
또한, 후처리된 최종 디스패리티 맵은 객체의 엣지에 노이즈가 제거된 것을 볼 수 있다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 6에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 영상 보정 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 영상 획득부 120: 영상 전처리부
130: 스테레오 매칭 계산부 140: 좌-우 일관성 검사부
150: 등극선 재정렬부 160: 영상 후처리부
170: 보정 영상 생성부 180: 보정 영상 후처리부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (20)

  1. 스테레오 카메라로부터 스테레오 영상을 획득하는 영상 획득부;
    상기 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행하는 영상 전처리부;
    상기 등극선 정렬이 수행된 스테레오 영상으로부터 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵(DISPARITY MAP)들을 생성하는 스테레오 매칭 계산부;
    상기 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행하는 좌-우 일관성 검사부;
    상기 최종 디스패리티 맵에 기반하여 상기 영상 전처리부에 등극선 재정렬을 요청하는 등극선 재정렬부;
    상기 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행하는 영상 후처리부; 및
    상기 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정하는 보정 영상 생성부;
    를 포함하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  2. 청구항 1에 있어서,
    상기 영상 전처리부는
    상기 스테레오 카메라의 센서 및 렌즈 스펙을 고려하여 비네팅 효과와 노이즈를 제거하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  3. 청구항 2에 있어서,
    상기 매칭 알고리즘은
    제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  4. 청구항 3에 있어서,
    상기 좌-우 일관성 검사부는
    상기 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 상기 최종 디스패리티 맵을 생성하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  5. 청구항 4에 있어서,
    상기 등극선 재정렬부는
    상기 최종 디스패리티 맵의 픽셀들 중 음의 디스패리티 값에 상응하는 픽셀들과 오류 픽셀들의 비율이 기설정된 비율 이상인 경우,
    상기 영상 전처리부에 상기 스테레오 영상의 상기 등극선 재정렬을 요청하고,
    재정렬된 스테레오 영상에 기반하여 상기 스테레오 매칭 계산부 및 상기 좌-우 일관성 검사부를 이용하여 상기 최종 디스패리티 맵을 재생성하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  6. 청구항 5에 있어서,
    상기 기설정된 비율은
    상기 등극선 재정렬을 요청한 횟수에 기반하여 변화되는 것을 특징으로 하는 스테레오 영상 보정 장치.
  7. 청구항 6에 있어서,
    상기 홀 메움은
    상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  8. 청구항 7에 있어서,
    상기 보정 영상 생성부는
    상기 등극선 정렬에 관한 파라미터들과, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값들에 기반하여 생성된 거리 정보를 포함하는 깊이 맵(DEPTH MAP)을 생성하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  9. 청구항 8에 있어서,
    상기 보정 영상 생성부는
    상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값, 상기 거리 정보 및 사용자의 눈간 거리 정보를 이용하여 상기 스테레오 영상을 보정하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  10. 청구항 1에 있어서,
    보정된 스테레오 영상의 폐색 영역에 상기 폐색 영역 밖의 주변 영역의 정보를 설정하는 홀 메움을 수행하고, 상기 보정된 스테레오 영상의 색상 불균형을 보정하는 보정 영상 후처리부를 더 포함하는 것을 특징으로 하는 스테레오 영상 보정 장치.
  11. 스테레오 영상 보정 장치를 이용하는 방법에 있어서,
    스테레오 카메라로부터 스테레오 영상을 획득하는 단계;
    상기 스테레오 영상으로부터 특징점을 추출하여 등극선(EPIPOLAR LINE) 정렬을 수행하는 단계;
    상기 등극선 정렬이 수행된 스테레오 영상으로부터 매칭 알고리즘을 이용하여 좌-우 디스패리티 맵(DISPARITY MAP)들을 생성하는 단계;
    상기 좌-우 디스패리티 맵들에 기반하여 최종 디스패리티 맵(FINAL DISPARITY MAP)을 생성하기 위하여, 좌-우 일관성 검사(LEFT-RIGHT CONSISTENCY CHECK, LRCC)를 수행하는 단계;
    상기 최종 디스패리티 맵에 기반하여 등극선 재정렬을 요청하는 단계;
    상기 최종 디스패리티 맵에 홀 메움(HOLE FILLING)을 수행하는 단계; 및
    상기 홀 메움이 수행된 최종 디스패리티 맵에 기반하여 상기 스테레오 영상을 보정하는 단계;
    를 포함하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  12. 청구항 11에 있어서,
    상기 등극선 정렬을 수행하는 단계는
    상기 스테레오 카메라의 센서 및 렌즈 스펙을 고려하여 비네팅 효과와 노이즈를 제거하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  13. 청구항 12에 있어서,
    상기 매칭 알고리즘은
    제1 영상의 픽셀과, 제2 영상의 제1 축으로 기설정된 범위의 디스패리티 값을 변화시키며 선택된 대응 픽셀들 사이의 유사도를 평가하고, 상기 유사도가 가장 높은 대응 픽셀의 디스패리티 값을 선택하여, 상기 제1 영상의 모든 픽셀들에 상응하는 디스패리티 값들이 포함된 디스패리티 맵을 생성하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  14. 청구항 13에 있어서,
    좌-우 일관성 검사를 수행하는 단계는
    상기 좌-우 디스패리티 맵들 중 어느 하나에 기반하여 오류 픽셀들을 판정하고, 상기 오류 픽셀들에 기설정된 디스패리티 범위 밖의 값을 설정하여 상기 최종 디스패리티 맵을 생성하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  15. 청구항 14에 있어서,
    상기 요청하는 단계는
    상기 최종 디스패리티 맵의 픽셀들 중 음의 디스패리티 값에 상응하는 픽셀들과 오류 픽셀들의 비율이 기설정된 비율 이상인 경우,
    상기 등극선 정렬을 수행하는 단계로 되돌아 가는 것을 특징으로 하는 스테레오 영상 보정 방법.
  16. 청구항 15에 있어서,
    상기 기설정된 비율은
    상기 등극선 정렬을 수행하는 단계로 되돌아 간 횟수에 기반하여 변화되는 것을 특징으로 하는 스테레오 영상 보정 방법.
  17. 청구항 16에 있어서,
    상기 홀 메움을 수행하는 단계는
    상기 오류 픽셀들 주변의 픽셀들의 디스패리티 값을 상기 오류 픽셀들에 설정하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  18. 청구항 17에 있어서,
    상기 스테레오 영상을 보정하는 단계는
    상기 등극선 정렬에 관한 파라미터들과, 상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값들에 기반하여 생성된 거리 정보를 포함하는 깊이 맵(DEPTH MAP)을 생성하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  19. 청구항 18에 있어서,
    상기 스테레오 영상을 보정하는 단계는
    상기 홀 메움이 수행된 최종 디스패리티 맵의 디스패리티 값, 상기 거리 정보 및 사용자의 눈간 거리 정보를 이용하여 상기 스테레오 영상을 보정하는 것을 특징으로 하는 스테레오 영상 보정 방법.
  20. 청구항 11에 있어서,
    상기 스테레오 영상을 보정하는 단계 이후에,
    보정된 스테레오 영상의 폐색 영역에 상기 폐색 영역 밖의 주변 영역의 정보를 설정하는 홀 메움을 수행하고, 상기 보정된 스테레오 영상의 색상 불균형을 보정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 영상 보정 방법.
KR1020160100651A 2016-08-08 2016-08-08 영상 보정 장치 및 방법 KR20180016823A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160100651A KR20180016823A (ko) 2016-08-08 2016-08-08 영상 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160100651A KR20180016823A (ko) 2016-08-08 2016-08-08 영상 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180016823A true KR20180016823A (ko) 2018-02-20

Family

ID=61394873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160100651A KR20180016823A (ko) 2016-08-08 2016-08-08 영상 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180016823A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116660A (zh) * 2019-06-19 2020-12-22 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116660A (zh) * 2019-06-19 2020-12-22 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质
CN112116660B (zh) * 2019-06-19 2024-03-29 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质

Similar Documents

Publication Publication Date Title
US20210075963A1 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US9955862B2 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US10397539B2 (en) Compensating 3D stereoscopic imagery
EP2340534B1 (en) Optimal depth mapping
US20140285641A1 (en) Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method
US20150304635A1 (en) Stereoscopic depth mapping
EP3001681B1 (en) Device, method and computer program for 3d rendering
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN114945853A (zh) 用于头戴式显示系统中的变形的补偿
CN109510975B (zh) 一种视频图像的提取方法、设备及系统
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
KR101818839B1 (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
GB2585197A (en) Method and system for obtaining depth data
TWI462569B (zh) 三維影像攝相機及其相關控制方法
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
KR20180016823A (ko) 영상 보정 장치 및 방법
CN112929638A (zh) 眼部定位方法、装置及多视点裸眼3d显示方法、设备
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP2022544287A (ja) ３ｄ明視野ディスプレイのための光学設計および最適化技法
KR20160041403A (ko) 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN114637391A (zh) 基于光场的vr内容处理方法及设备
CN109698950B (zh) 立体视觉系统的增强方法及立体视觉系统