KR102267442B1 - 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법 - Google Patents

가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법 Download PDF

Info

Publication number
KR102267442B1
KR102267442B1 KR1020190123660A KR20190123660A KR102267442B1 KR 102267442 B1 KR102267442 B1 KR 102267442B1 KR 1020190123660 A KR1020190123660 A KR 1020190123660A KR 20190123660 A KR20190123660 A KR 20190123660A KR 102267442 B1 KR102267442 B1 KR 102267442B1
Authority
KR
South Korea
Prior art keywords
block
image
depth map
modeling
camera
Prior art date
Application number
KR1020190123660A
Other languages
English (en)
Other versions
KR20210041241A (ko
Inventor
고병철
남재열
김나훈
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020190123660A priority Critical patent/KR102267442B1/ko
Publication of KR20210041241A publication Critical patent/KR20210041241A/ko
Application granted granted Critical
Publication of KR102267442B1 publication Critical patent/KR102267442B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 가변 시점에서 촬영된 카메라 왜곡 보정 방법에 관한 것으로서, 보다 구체적으로는 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링을 위한, 가변 시점에서 촬영된 카메라 왜곡 보정 방법으로서, (1) 상기 깊이 맵(Depth map)을 이진화하는 단계; (2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계; (3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계; (4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및 (5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에 관한 것으로서, 보다 구체적으로는 블록 3차원 모델링 방법으로서, 단안 카메라에서 획득된 컬러 영상 및 깊이 맵에 대하여, 카메라 왜곡을 보정하는 왜곡 보정 단계; 상기 왜곡이 보정된 컬러 영상 및 깊이 맵을 이용해 블록 3차원 모델링을 수행하는 모델링 단계를 포함하며, 상기 왜곡 보정 단계는, (1) 상기 깊이 맵(Depth map)을 이진화하는 단계; (2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계; (3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계; (4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및 (5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법에 따르면, 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링에 있어서, 깊이 맵의 이진화 영상과 변형 허프 변환(Hough Transform)을 이용해 가변 시점에서 촬영된 카메라 왜곡을 평면 시점으로 보정하고, 왜곡 보정된 영상으로 블록 3차원 모델을 생성함으로써, 블록 3차원 모델링 시 발생할 수 있는 오류를 최소화하여 정확한 3차원 모델링을 할 수 있다.

Description

가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법{CORRECTION METHOD OF CAMERA DISTORTION CAUSED BY MULTI-VIEW CAPTURING AND GENERATING METHOD FOR BLOCK 3D MODEL USING THEREOF}
본 발명은 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법에 관한 것으로서, 보다 구체적으로는 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링을 위한, 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법에 관한 것이다.
사물에 대한 종래의 3차원 모델링은 다음과 같은 문제점이 있다. 첫째, 3D CAD 도구를 사용해야 모델링이 가능하다. 둘째, 숙련된 전문가에 의해서만 모델링이 가능하다. 셋째, 모델링에 많은 시간과 노력이 필요하다.
또한, 3차원 모델링을 위해서는 깊이 정보가 필요한데, 영상의 깊이 정보를 구하는 가장 일반적인 방법은 두 대의 카메라에서 촬영된 양안식 색상 영상만을 이용하는 스테레오 정합(stereo matching) 방법이다. 스테레오 정합은 색상 영상에서 각 화소에 해당하는 변위(disparity) 정보를 구하는 방법으로, 색상 영상만 가지고도 영상의 깊이를 구할 수 있다는 장점이 있으나, 객체에 의해 가려져 있는 영역, 텍스처가 없는 영역 등에서는 깊이 정보를 구하기가 매우 어렵다는 단점이 있다.
또한, TOF(Time of Flight) 기술이 적용된 카메라를 이용하여 영상 내 물체들의 거리를 직접 측정할 수도 있다. 이러한 카메라를 깊이 카메라라고 부르는데, 깊이 카메라는 적외선 또는 광 신호를 영상에 방사하고, 그 신호가 물체에 반사되어 돌아오는 위상차를 이용하여 거리를 측정하여 깊이 영상으로 출력한다. 이와 같은 방법은, 실시간으로 장면의 깊이를 얻을 수 있다는 장점이 있지만, 출력 영상의 낮은 해상도, 영상 잡음, 왜곡 등이 많다는 문제점이 있다.
특히, 깊이 정보를 획득했더라도, 일반 사용자들은 다양한 각도에서 영상을 촬영하게 되므로, 영상의 촬영 각도에 따른 왜곡이 발생하게 된다. 따라서 이와 같은 가변 시점에 따른 왜곡을 보정하여 정확한 3차원 모델을 생성할 수 있는 기술의 개발이 필요한 실정이다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2018-0096372호(발명의 명칭: 3차원 모델링 방법) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링에 있어서, 깊이 맵의 이진화 영상과 변형 허프 변환(Hough Transform)을 이용해 가변 시점에서 촬영된 카메라 왜곡을 평면 시점으로 보정하고, 왜곡 보정된 영상으로 블록 3차원 모델을 생성함으로써, 블록 3차원 모델링 시 발생할 수 있는 오류를 최소화하여 정확한 3차원 모델링을 할 수 있는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법은,
단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링을 위한, 가변 시점에서 촬영된 카메라 왜곡 보정 방법으로서,
(1) 상기 깊이 맵(Depth map)을 이진화하는 단계;
(2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계;
(3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계;
(4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및
(5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1) 이전에는,
(0) 단안 카메라에서 획득된 컬러 영상과 깊이 맵을 리사이징하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (1)에서는,
상기 단계 (0)에서 리사이징 된 깊이 맵을 이진화할 수 있다.
바람직하게는, 상기 단계 (1)에서는,
깊이 맵에 임계값 알고리즘을 통해, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 전경을 추출할 수 있다.
바람직하게는, 상기 단계 (2)에서는,
모폴로지 침식 연산(morphology erosion operation)의 결과와 상기 단계 (1)에서 이진화 된 이진화 영상의 차 영상을 통해 영상의 에지 특징을 획득할 수 있다.
바람직하게는, 상기 단계 (3)에서는,
허프 변환(Hough Transform)을 이용하되, 상기 에지 특징의 전체 픽셀 대신 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 허프 변환을 수행할 수 있다.
바람직하게는, 상기 단계 (5)는,
(5-1) 상기 단계 (4)에서 추출된 4개의 교차점과 원근 변환 결과 영상에 해당되는 4개의 점을 이용해 영상 보정을 위한 변환 행렬(map_matrix)을 획득하는 단계; 및
(5-2) 상기 획득한 변환 행렬을 상기 컬러 영상 및 상기 깊이 맵의 이진화 영상에 적용하여 왜곡 정도를 보정하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (5-1)에서는, 3×3의 변환 행렬을 획득할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법은,
블록 3차원 모델링 방법으로서,
단안 카메라에서 획득된 컬러 영상 및 깊이 맵에 대하여, 카메라 왜곡을 보정하는 왜곡 보정 단계;
상기 왜곡이 보정된 컬러 영상 및 깊이 맵을 이용해 블록 3차원 모델링을 수행하는 모델링 단계를 포함하며,
상기 왜곡 보정 단계는,
(1) 상기 깊이 맵(Depth map)을 이진화하는 단계;
(2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계;
(3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계;
(4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및
(5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1) 이전에는,
(0) 단안 카메라에서 획득된 컬러 영상과 깊이 맵을 리사이징하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (1)에서는,
상기 단계 (0)에서 리사이징 된 깊이 맵을 이진화할 수 있다.
바람직하게는, 상기 단계 (1)에서는,
깊이 맵에 임계값 알고리즘을 통해, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 전경을 추출할 수 있다.
바람직하게는, 상기 단계 (2)에서는,
모폴로지 침식 연산(morphology erosion operation)의 결과와 상기 단계 (1)에서 이진화 된 이진화 영상의 차 영상을 통해 영상의 에지 특징을 획득할 수 있다.
바람직하게는, 상기 단계 (3)에서는,
허프 변환(Hough Transform)을 이용하되, 상기 에지 특징의 전체 픽셀 대신 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 허프 변환을 수행할 수 있다.
바람직하게는, 상기 단계 (5)는,
(5-1) 상기 단계 (4)에서 추출된 4개의 교차점과 원근 변환 결과 영상에 해당되는 4개의 점을 이용해 영상 보정을 위한 변환 행렬(map_matrix)을 획득하는 단계; 및
(5-2) 상기 획득한 변환 행렬을 상기 컬러 영상 및 상기 깊이 맵의 이진화 영상에 적용하여 왜곡 정도를 보정하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (5-1)에서는, 3×3의 변환 행렬을 획득할 수 있다.
바람직하게는, 상기 모델링 단계는,
(a) 상기 왜곡 보정 단계에서 보정된 깊이 맵에 대하여, 가상의 모눈을 생성하는 단계;
(b) 상기 단계 (a)에서 생성된 가상의 모눈을 이용해 블록을 생성하는 단계; 및
(c) 상기 생성된 블록으로 3차원 모델을 생성하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (a)에서는,
상기 왜곡 보정 단계에서 보정된 깊이 맵의 이진화 영상을 기초로, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 추출된 전경의 크기에 따라 상기 가상의 모눈을 생성할 수 있다.
더욱 바람직하게는, 상기 단계 (b) 및 단계 (c) 사이에는,
(b-1) 상기 가상의 모눈 내에 포함된 픽셀의 HSV값을 이용해 미리 생성된 룩업 테이블과 비교하여 컬러를 매칭하는 단계; 및
(b-2) 상기 단계 (b)에서 생성된 블록에 대해, 가장 많이 매칭된 컬러를 블록의 대표 컬러로 결정하는 단계를 더 포함할 수 있다.
더더욱 바람직하게는, 상기 단계 (b-1)에서는,
미리 지정한 컬러의 평균 HSV 및 RGB 수치를 계산해 미리 생성된 룩업 테이블을 이용하며, 상기 가상의 모눈 내에 포함된 픽셀의 H값을 이용해 컬러를 매칭하되, 미리 정해진 색상에 대해서는 H값 및 V값을 이용해 컬러를 매칭할 수 있다.
본 발명에서 제안하고 있는 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법에 따르면, 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링에 있어서, 깊이 맵의 이진화 영상과 변형 허프 변환(Hough Transform)을 이용해 가변 시점에서 촬영된 카메라 왜곡을 평면 시점으로 보정하고, 왜곡 보정된 영상으로 블록 3차원 모델을 생성함으로써, 블록 3차원 모델링 시 발생할 수 있는 오류를 최소화하여 정확한 3차원 모델링을 할 수 있다.
도 1은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법의 구현을 위한 시스템 구성을 도시한 도면.
도 2는 단안 카메라에서 획득된 컬러 영상을 예를 들어 도시한 도면.
도 3은 컬러 영상으로부터 획득된 깊이 맵을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 이진화 영상을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 추출된 에지 특징을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 예측된 베이스 형태를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 단계 S130 및 단계 S140의 구체적인 알고리즘을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 왜곡 보정된 컬러 영상을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 왜곡 보정된 깊이 맵의 이진화 영상을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에서, 모델링 단계의 세부적인 흐름을 도시한 도면.
도 13은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에서, 컬러 매칭을 설명하기 위해 도시한 도면.
도 14는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에서, 3차원 모델링 결과를 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법의 구현을 위한 시스템 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법은, 왜곡 보정부(100) 및 모델링부(200)를 포함하여 구성되는 시스템에 의해 구현될 수 있다.
도 2는 단안 카메라에서 획득된 컬러 영상을 예를 들어 도시한 도면이고, 도 3은 컬러 영상으로부터 획득된 깊이 맵을 예를 들어 도시한 도면이다. 본 발명은, 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링을 위한 것이다. 즉, 도 2에 도시된 바와 같이 블록을 단안 카메라로 촬영하여 획득한 컬러 영상을 이용해, 도 3에 도시된 바와 같은 깊이 맵을 생성하고, 컬러 영상과 생성된 깊이 맵을 이용해 블록을 3차원 모델링할 수 있다. 컬러 영상으로부터 깊이 맵을 생성하는 방법으로는, 깊이 맵 예측 CNN 등을 이용할 수 있다.
도 3에 도시된 바와 같은 깊이 맵은 2차원의 영상이지만 3차원의 구조에 대한 정보를 포함하고 있어, 이를 이용하면 3차원 모델링을 할 수 있다. 보다 구체적으로는, 사용자가 스마트폰 등 사용자 단말기에 구비된 단안 카메라를 이용해 도 2에 도시된 바와 같은 블록의 컬러 영상을 촬영한 경우, 서버는 사용자 단말기로부터 컬러 영상을 전송받아 도 3에 도시된 바와 같은 깊이 맵 영상을 획득한 다음, 두 영상을 이용해 가상 환경에서 블록 3차원 모델링을 하여 사용자 단말기에 제공할 수 있다. 사용자는 스마트폰 등 사용자 단말기를 이용해, 블록의 3차원 모델링 영상을 확인할 수 있다.
이와 같은 블록 3차원 모델링에 있어서, 평면시점(Top View)에서 촬영된 영상은 비교적 쉽게 처리할 수 있으나, 일반 사용자가 스마트폰 등의 사용자 단말기로 블록 객체를 촬영하는 시점은 다양할 수 있다. 따라서 가변 시점에서 촬영된 카메라 왜곡으로 인하여, 블록 3차원 모델링 과정에서 오류가 발생할 수 있다. 따라서 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법을 이용하면, 왜곡 보정을 통해 블록 3차원 모델링 시 발생할 수 있는 오류를 최소화할 수 있다.
도 4는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법은, 왜곡 보정 단계(S100) 및 모델링 단계(S200)를 포함하여 구현될 수 있다. 즉, 왜곡 보정부(100)가 왜곡 보정 단계(S100)를 수행하여 가변 시점에서 촬영된 카메라 왜곡을 보정함으로써, 블록 3차원 모델링 시 발생할 수 있는 오류를 최소화하고, 더욱 정확한 블록 3차원 모델링 결과를 얻을 수 있다.
왜곡 보정 단계(S100)에서는, 왜곡 보정부(100)가 단안 카메라에서 획득된 컬러 영상 및 깊이 맵에 대하여, 카메라 왜곡을 보정할 수 있다. 즉, 왜곡 보정 단계(S100)는, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에 해당하는 것으로서, 추후 도 5를 참조하여 상세히 설명하도록 한다.
모델링 단계(S200)에서는, 모델링부(200)가 왜곡이 보정된 컬러 영상 및 깊이 맵을 이용해 블록 3차원 모델링을 수행할 수 있다. 모델링 단계(S200)의 세부적인 구성에 대해서는 추후 도 12를 참조하여 상세히 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법은, 깊이 맵을 이진화하는 단계(S110), 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계(S120), 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계(S130), 베이스 형태를 예측하는 단계(S140) 및 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계(S150)를 포함하여 구현될 수 있으며, 컬러 영상과 깊이 맵을 리사이징하는 단계(S105)를 더 포함하여 구현될 수 있다.
단계 S105에서는, 단안 카메라에서 획득된 컬러 영상과 깊이 맵을 리사이징할 수 있다. 현재 단안 카메라를 통해 얻어질 수 있는 영상의 해상도는 다양하다. 이에 따라 영상의 픽셀 참조는 해상도와 관계가 있다. 즉, 해상도가 클수록 픽셀 참조가 많아져 처리 시간이 길어진다. 따라서 처리 시간을 최소화하기 위해 단계 S105에서는 영상을 리사이징(Resizing)하여 사용할 수 있다. 보다 구체적으로는, 도 2에 도시된 바와 같이, 입력으로 사용되는 320×240 크기의 컬러 영상과 깊이 맵을 축소시켜 사용할 수 있다. 이때, 영상의 해상도를 일정 수준 이상으로 축소할 경우, 영상의 화질이 떨어져 처리에 있어 문제가 발생할 수 있으므로, 적절한 크기로 리사이징을 할 수 있다.
단계 S110에서는, 깊이 맵(Depth map)을 이진화할 수 있다. 영상의 왜곡 정보를 얻기 위해서는 블록 모델의 베이스 형태를 이용할 수 있다. 베이스 형태는 이진화 영상에 비해 컬러 영상에서 분명하게 나타나지만, 컬러 영상에서 베이스의 형태만을 검출하는 것은 상당히 어려운 문제이므로, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서는, 컬러 영상보다 비교적 단순한 깊이 맵의 이진화 영상을 이용하여 베이스 형태를 검출하도록 한다.
보다 구체적으로, 단계 S110에서는, 깊이 맵에 임계값 알고리즘을 적용해, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 전경을 추출할 수 있다. 이때, 단계 S110에서는, 단계 S105에서 리사이징 된 깊이 맵을 이진화할 수 있다.
도 6은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 이진화 영상을 예를 들어 도시한 도면이다. 깊이 맵은 2차원의 영상이지만 3차원 모델링을 위한 정보를 포함하고 있다. 도 3에 도시된 깊이 맵에서 확인할 수 있는 바와 같이, 깊이 맵에서는 색상의 차이에 따라 3차원에 대한 공간 정보를 확인할 수 있고, 이를 통해 블록 3차원 모델링을 하고자 하는 물체 즉, 블록의 형태 정보를 파악할 수 있다. 모델링을 위해서는 물체의 형태를 배경과 구분 지어 전경을 정확하게 추출할 필요가 있다. 도 3에 도시된 바와 같은 깊이 맵은 대비가 강하기 때문에, 단계 S110에서는 간단한 임계값 알고리즘을 통해 전경을 쉽게 추출하여, 도 6에 도시된 바와 같은 이진화 영상을 얻을 수 있다.
단계 S120에서는, 단계 S110에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득할 수 있다. 보다 구체적으로, 단계 S120에서는, 모폴로지 침식 연산(morphology erosion operation)의 결과와 단계 S110에서 이진화 된 이진화 영상의 차 영상을 통해 영상의 에지 특징을 획득할 수 있다.
도 7은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 추출된 에지 특징을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서는, 단계 S120을 수행하여 객체의 에지를 추출할 수 있다.
단계 S130에서는, 단계 S120에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정할 수 있다. 즉, 블록의 베이스 형태를 예측하기 위해, 이진화 영상 및 변형 허프 변환을 이용할 수 있다. 보다 구체적으로, 단계 S130에서는, 허프 변환(Hough Transform)을 이용하되, 에지 특징의 전체 픽셀 대신 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 허프 변환을 수행할 수 있다.
기존의 허프 변환은 직선추출을 위해 에지 픽셀 전체에서 수행된다. 그러나 본 발명의 단계 S130에서는 허프 변환을 변형하여 상, 하, 좌, 우 네 개의 픽셀(Pi)을 기준으로 특정 각도(θ) 범위 내 직선에 포함된 픽셀의 개수가 가장 큰 직선을 대표로 선정할 수 있다. 이와 같이, 4개의 픽셀을 기준으로 허프 변환을 수행하는 것을 변형 허프 변환이라고 정의하였다.
단계 S140에서는, 단계 S130에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측할 수 있다. 도 8은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 예측된 베이스 형태를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법의 단계 S140에서는, 4개의 직선 및 4개의 교차점으로 객체 즉, 블록의 베이스 형태를 예측할 수 있다.
도 9는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 단계 S130 및 단계 S140의 구체적인 알고리즘을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서는, 깊이 맵의 이진화 영상과 변형 허프 변환을 통해 블록의 베이스 형태를 예측하여 보정에 활용할 수 있다.
단계 S150에서는, 예측한 베이스 형태를 통해 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정할 수 있다. 도 5에 도시된 바와 같이, 단계 S150은, 영상 보정을 위한 변환 행렬을 획득하는 단계(S151) 및 변환 행렬을 적용하여 왜곡 정도를 보정하는 단계(S152)를 포함하여 구현될 수 있다.
단계 S151에서는, 단계 S140에서 추출된 4개의 교차점과 원근 변환 결과 영상에 해당되는 4개의 점을 이용해 영상 보정을 위한 변환 행렬(map_matrix)을 획득할 수 있다.
단계 S152에서는, 획득한 변환 행렬을 컬러 영상 및 깊이 맵의 이진화 영상에 적용하여 왜곡 정도를 보정할 수 있다. 도 10은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 왜곡 보정된 컬러 영상을 도시한 도면이고, 도 11은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법에서, 왜곡 보정된 깊이 맵의 이진화 영상을 도시한 도면이다. 즉, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정 방법을 통해, 왜곡된 영상을 보정하여 도 10 및 도 11에 도시된 바와 같은 보정된 영상을 획득할 수 있다. 이때, 깊이 맵에 대해서는, 도 3에 도시된 깊이 맵이 아닌, 도 6에 도시된 바와 같은 이진화 영상에 대해 왜곡 보정을 수행할 수 있다.
도 12는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에서, 모델링 단계(S200)의 세부적인 흐름을 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법의 모델링 단계(S200)는, 보정된 깊이 맵에 대하여 가상의 모눈을 생성하는 단계(S210), 가상의 모눈을 이용해 블록을 생성하는 단계(S220), 및 생성된 블록으로 3차원 모델을 생성하는 단계(S230)를 포함하여 구현될 수 있으며, 미리 생성된 룩업 테이블과 비교하여 컬러를 매칭하는 단계(S221) 및 가장 많이 매칭된 컬러를 블록의 대표 컬러로 결정하는 단계(S222)를 더 포함하여 구현될 수 있다.
단계 S210에서는, 왜곡 보정 단계(S100)에서 보정된 깊이 맵에 대하여, 가상의 모눈을 생성할 수 있다. 모델링 되는 3차원 모델은 입력 영상과 유사해야 한다. 따라서 단계 S210에서는, 블록의 기본 베이스를 참고하여 가상의 모눈을 생성할 수 있다. 이때, 단계 S210에서는, 왜곡 보정 단계(S100)에서 보정된 깊이 맵의 이진화 영상을 기초로, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 추출된 전경의 크기에 따라 가상의 모눈을 생성할 수 있다.
전술한 바와 같은 예에서는, 블록의 기본 베이스인 8×8 형태를 참고하여, 이진화 영상에서 추출된 전경에 따라 도 11과 같이 가상의 모눈을 생성할 수 있다. 여기서, 가상의 모눈은 필수적으로 8×8 크기를 가지는 것이 아니라 전경의 크기에 따라 조절될 수 있다. 그 다음, 각각의 가상 모눈 안에서의 픽셀들의 참조를 통하여 블록 생성 및 컬러 매칭을 수행하게 된다.
단계 S220에서는, 단계 S210에서 생성된 가상의 모눈을 이용해 블록을 생성할 수 있다. 단계 S220의 블록 생성은 이진화 영상의 참조를 통해 수행될 수 있다. 즉, 도 11에 도시된 바와 같은 이진화 영상에서, 전경의 정보는 픽셀의 값을 흰색으로 표시함으로써 구분될 수 있다. 각각의 가상의 모눈 공간 내의 흰색의 비율을 계산하여 임계값 이상이면 블록을 생성할 수 있다. 블록의 크기는 가상의 모눈에서 만들어질 수 있는 가장 최소 길이를 사용할 수 있다.
단계 S221에서는, 가상의 모눈 내에 포함된 픽셀의 HSV값을 이용해 미리 생성된 룩업 테이블과 비교하여 컬러를 매칭할 수 있다. 도 12에 도시된 바와 같이, 단계 S220에서 블록을 생성할 수 있게 되면, 동시에 블록의 색상을 결정하기 위한 단계 S221의 컬러 매칭 과정을 수행할 수 있다.
도 13은 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에서, 컬러 매칭을 설명하기 위해 도시한 도면이다. 일반적으로 영상에 많이 사용되는 RGB 모델은 모델링에 있어서 문제점이 존재한다. RGB로는 단안 카메라를 통해 컬러 영상을 얻을 때 빛과 같은 주변 환경의 영향으로 변하는 색상의 정보를 조절하기 쉽지 않다. 따라서 본 발명의 단계 S221에서는, HSV와 같은 다른 컬러 모델을 사용하여 컬러 매칭을 수행할 수 있다. HSV의 H는 순수한 컬러에 대한 정보를 가지고 있다. 다양한 영상들을 통해서 미리 지정한 컬러들의 평균적인 HSV 및 RGB 수치를 계산하고, 도 13과 같은 룩업 테이블을 생성하여 컬러 매칭 시에 참조할 수 있다.
이때, 단계 S221에서는, 미리 지정한 컬러의 평균 HSV 및 RGB 수치를 계산해 미리 생성된 룩업 테이블을 이용하며, 가상의 모눈 내에 포함된 픽셀의 H값을 이용해 컬러를 매칭하되, 미리 정해진 색상에 대해서는 H값 및 V값을 이용해 컬러를 매칭할 수 있다. 즉, 단계 S221에서는, 가상 모눈 내 각각의 픽셀들은 자신의 H값과 룩업 테이블의 H값을 비교하여 가장 유사하다고 판단되는 컬러를 뽑을 수 있다. 하지만 일부 빨간 계열 색상들은 H값만으로는 구분이 쉽지 않다. 따라서 일부 색상들은 V값 또한 이용하여 컬러 매칭을 수행할 수 있다.
단계 S222에서는, 단계 S220에서 생성된 블록에 대해, 가장 많이 매칭된 컬러를 블록의 대표 컬러로 결정할 수 있다. 즉, 도 13에 도시된 바와 같이, 단계 S221에서 가상 모눈 내 각각의 픽셀들에 대해 가장 유사하다고 판단되는 컬러를 뽑고, 단계 S222에서는 이 중 가장 많이 뽑힌 컬러를 블록의 대표 컬러로 결정할 수 있다. 대표 컬러는 미리 지정된 색상의 RGB 값을 사용할 수 있다.
단계 S230에서는, 생성된 블록으로 3차원 모델을 생성할 수 있다. 도 14는 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법에서, 3차원 모델링 결과를 예를 들어 도시한 도면이다. 도 14에 도시된 바와 같이, 본 발명의 일실시예에 따른 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법은, 단계 S220에서 생성된 블록과 단계 S222에서 결정된 대표 컬러를 이용해, 블록 3차원 모델을 가상의 환경에 생성할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법에 따르면, 단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링에 있어서, 깊이 맵의 이진화 영상과 변형 허프 변환(Hough Transform)을 이용해 가변 시점에서 촬영된 카메라 왜곡을 평면 시점으로 보정하고, 왜곡 보정된 영상으로 블록 3차원 모델을 생성함으로써, 블록 3차원 모델링 시 발생할 수 있는 오류를 최소화하여 정확한 3차원 모델링을 할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광기록매체 등이 포함될 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 왜곡 보정부
200: 모델링부
S100: 왜곡 보정 단계
S105: 컬러 영상과 깊이 맵을 리사이징하는 단계
S110: 깊이 맵을 이진화하는 단계
S120: 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계
S130: 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계
S140: 베이스 형태를 예측하는 단계
S150: 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계
S151: 영상 보정을 위한 변환 행렬을 획득하는 단계
S152: 변환 행렬을 적용하여 왜곡 정도를 보정하는 단계
S200: 모델링 단계
S210: 보정된 깊이 맵에 대하여 가상의 모눈을 생성하는 단계
S220: 가상의 모눈을 이용해 블록을 생성하는 단계
S221: 미리 생성된 룩업 테이블과 비교하여 컬러를 매칭하는 단계
S222: 가장 많이 매칭된 컬러를 블록의 대표 컬러로 결정하는 단계
S230: 생성된 블록으로 3차원 모델을 생성하는 단계

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 블록 3차원 모델링 방법으로서,
    단안 카메라에서 획득된 컬러 영상 및 깊이 맵에 대하여, 카메라 왜곡을 보정하는 왜곡 보정 단계(S100);
    상기 왜곡이 보정된 컬러 영상 및 깊이 맵을 이용해 블록 3차원 모델링을 수행하는 모델링 단계(S200)를 포함하며,
    상기 왜곡 보정 단계(S100)는,
    (1) 상기 깊이 맵(Depth map)을 이진화하는 단계;
    (2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계;
    (3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계;
    (4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및
    (5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  10. 제9항에 있어서, 상기 단계 (1) 이전에는,
    (0) 단안 카메라에서 획득된 컬러 영상과 깊이 맵을 리사이징하는 단계를 더 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  11. 제10항에 있어서, 상기 단계 (1)에서는,
    상기 단계 (0)에서 리사이징 된 깊이 맵을 이진화하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  12. 제9항에 있어서, 상기 단계 (1)에서는,
    깊이 맵에 임계값 알고리즘을 통해, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 전경을 추출하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  13. 제9항에 있어서, 상기 단계 (2)에서는,
    모폴로지 침식 연산(morphology erosion operation)의 결과와 상기 단계 (1)에서 이진화 된 이진화 영상의 차 영상을 통해 영상의 에지 특징을 획득하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  14. 제9항에 있어서, 상기 단계 (3)에서는,
    허프 변환(Hough Transform)을 이용하되, 상기 에지 특징의 전체 픽셀 대신 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 허프 변환을 수행하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  15. 제9항에 있어서, 상기 단계 (5)는,
    (5-1) 상기 단계 (4)에서 추출된 4개의 교차점과 원근 변환 결과 영상에 해당되는 4개의 점을 이용해 영상 보정을 위한 변환 행렬(map_matrix)을 획득하는 단계; 및
    (5-2) 상기 획득한 변환 행렬을 상기 컬러 영상 및 상기 깊이 맵의 이진화 영상에 적용하여 왜곡 정도를 보정하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  16. 제15항에 있어서, 상기 단계 (5-1)에서는,
    3×3의 변환 행렬을 획득하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  17. 제9항에 있어서, 상기 모델링 단계(S200)는,
    (a) 상기 왜곡 보정 단계(S100)에서 보정된 깊이 맵에 대하여, 가상의 모눈을 생성하는 단계;
    (b) 상기 단계 (a)에서 생성된 가상의 모눈을 이용해 블록을 생성하는 단계; 및
    (c) 상기 생성된 블록으로 3차원 모델을 생성하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  18. 제17항에 있어서, 상기 단계 (a)에서는,
    상기 왜곡 보정 단계(S100)에서 보정된 깊이 맵의 이진화 영상을 기초로, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 추출된 전경의 크기에 따라 상기 가상의 모눈을 생성하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  19. 제17항에 있어서, 상기 단계 (b) 및 단계 (c) 사이에는,
    (b-1) 상기 가상의 모눈 내에 포함된 픽셀의 HSV값을 이용해 미리 생성된 룩업 테이블과 비교하여 컬러를 매칭하는 단계; 및
    (b-2) 상기 단계 (b)에서 생성된 블록에 대해, 가장 많이 매칭된 컬러를 블록의 대표 컬러로 결정하는 단계를 더 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
  20. 제19항에 있어서, 상기 단계 (b-1)에서는,
    미리 지정한 컬러의 평균 HSV 및 RGB 수치를 계산해 미리 생성된 룩업 테이블을 이용하며, 상기 가상의 모눈 내에 포함된 픽셀의 H값을 이용해 컬러를 매칭하되, 미리 정해진 색상에 대해서는 H값 및 V값을 이용해 컬러를 매칭하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법.
KR1020190123660A 2019-10-07 2019-10-07 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법 KR102267442B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190123660A KR102267442B1 (ko) 2019-10-07 2019-10-07 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190123660A KR102267442B1 (ko) 2019-10-07 2019-10-07 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법

Publications (2)

Publication Number Publication Date
KR20210041241A KR20210041241A (ko) 2021-04-15
KR102267442B1 true KR102267442B1 (ko) 2021-06-22

Family

ID=75440789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190123660A KR102267442B1 (ko) 2019-10-07 2019-10-07 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법

Country Status (1)

Country Link
KR (1) KR102267442B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122328A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2010282295A (ja) * 2009-06-02 2010-12-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013089234A (ja) * 2011-10-17 2013-05-13 Sharp Corp 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101636537B1 (ko) * 2009-11-12 2016-07-06 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
KR101223206B1 (ko) * 2010-11-18 2013-01-17 광주과학기술원 3차원 영상 생성 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122328A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2010282295A (ja) * 2009-06-02 2010-12-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013089234A (ja) * 2011-10-17 2013-05-13 Sharp Corp 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이정우 외 6명,"싱글 카메라 기반의 3D 모델링 및 AR 육성 어플리케이션 개발", 한국정보과학회 2018 한국소프트웨어종합학술대회 논문집, 19 Dec. 2018(2018.12.19.) 1부.*

Also Published As

Publication number Publication date
KR20210041241A (ko) 2021-04-15

Similar Documents

Publication Publication Date Title
US11601631B2 (en) Super-resolution in structured light imaging
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10679361B2 (en) Multi-view rotoscope contour propagation
US10573018B2 (en) Three dimensional scene reconstruction based on contextual analysis
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
US20170243352A1 (en) 3-dimensional scene analysis for augmented reality operations
US20150091900A1 (en) Systems and Methods for Depth-Assisted Perspective Distortion Correction
GB2551396A (en) Augmented reality occlusion
KR20090052889A (ko) 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스
KR20120130788A (ko) 멀티-카메라 교정을 위한 방법 및 장치
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
KR101618776B1 (ko) 3차원 깊이 영상의 개선 방법
US20130002827A1 (en) Apparatus and method for capturing light field geometry using multi-view camera
US9406140B2 (en) Method and apparatus for generating depth information
US8994722B2 (en) Method for enhancing depth images of scenes using trellis structures
CA2988360A1 (en) Method and apparatus for determining a depth map for an image
US11527014B2 (en) Methods and systems for calibrating surface data capture devices
JP2010140097A (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
JP6914734B2 (ja) シルエット抽出装置、方法およびプログラム
JPWO2019107180A1 (ja) 符号化装置、符号化方法、復号装置、および復号方法
KR101458986B1 (ko) 키넥트 기반 실시간 다시점 영상 생성 방법
TWI810818B (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant