KR101980899B1 - 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법 - Google Patents

직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법 Download PDF

Info

Publication number
KR101980899B1
KR101980899B1 KR1020170111707A KR20170111707A KR101980899B1 KR 101980899 B1 KR101980899 B1 KR 101980899B1 KR 1020170111707 A KR1020170111707 A KR 1020170111707A KR 20170111707 A KR20170111707 A KR 20170111707A KR 101980899 B1 KR101980899 B1 KR 101980899B1
Authority
KR
South Korea
Prior art keywords
vanishing point
line segment
vanishing
point
image
Prior art date
Application number
KR1020170111707A
Other languages
English (en)
Other versions
KR20190025267A (ko
Inventor
최형일
정성기
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020170111707A priority Critical patent/KR101980899B1/ko
Publication of KR20190025267A publication Critical patent/KR20190025267A/ko
Application granted granted Critical
Publication of KR101980899B1 publication Critical patent/KR101980899B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

실내 공간이 촬영된 단일 영상을 이용한 내벽 구조 검출 장치 및 그 내벽 구조 검출 방법을 제공하며, 입력된 단일 영상으로부터 라인 세그먼트를 추출하고, 라인 세그먼트에 기초하여 영상에 대한 기준 소실점을 추출하고, 기준 소실점 및 라인 세그먼트에 기초하여 최적 소실점 구조체를 검출하고, 최적 소실점 구조체 및 라인 세그먼트에 기초하여 영상에 대한 벽면 방향맵을 생성하고, 벽면 방향맵 및 최적 소실점 구조체에 기초하여 영상 내 공간 레이아웃을 결정하고, 공간 레이아웃의 정보를 내벽 구조 검출 정보로서 출력한다.

Description

직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법{APPARATUS FOR DETECTING OF INSIDE WALL FRAME IN SINGLE IMAGE USING ORTHOGONAL VANISHING POINTS AND METHOD THEREOF}
본 발명은 2차원 단일 영상에서 내벽 구조를 인식 및 검출하는 장치 및 방법에 관한 것이다.
실내 공간을 촬영한 단일 영상에는 표면 정보(즉, 색상 정보)만 포함되어 있어, 실내 내벽 구조의 형태를 인식하기 위해서는 라이다(light dectection and ranging, lider) 센서 또는 깊이 카메라와 같은 보조 센서가 필요하다. 이러한 보조 센서를 이용하여 실내 공간에 대한 3차원 좌표 데이터를 검출할 수 있다.
이처럼 3차원 좌표 데이터에 기반하여 실내 공간을 모델링하는 기술은, 높은 정확도를 보이나 특별한 장비를 필요로한다. 따라서, 이미 촬영된 사진이나 스마트폰 등을 통해 실시간으로 촬영된 사진에서는 실내 공간의 내벽 구조를 인식할 수 없다는 한계가 있었다.
이와 관련하여, 일본 등록특허 제 4153761 호(발명의 명칭: 3 차원 모델 공간 생성 장치, 3 차원 모델 공간 생성 방법 및 3 차원 모델 공간 생성 프로그램)는, 동일 기준점 및 동일한 피사체를 다른 적어도 2 방향에서 촬영한 1쌍의 스테레오 페어 화상을 취득하고, 스테레오 페어 화상 상에서 피사체에 식별 가능하게 배설된 점을 추출해 대응시키고, 이미 얻어진 스테레오 페어 화상 상에서 대응하는 점 중 동일 평면 상에 있는 2개의 대응점을 선택하고, 선택한 2개의 점을 포함한 직선상의 색을 화상 처리에 의해 식별하고, 직선상의 식별한 색이 변화하는 점 중 상기 2개의 점 중의 어느 한쪽에 가장 가까운 점을 스테레오 페어 화상 상으로 대응하는 점으로서 특정하고, 상기 추출한 점과 특정한 점에서 소정의 표정 정밀도를 얻을 수 있는 점의 조합을 특정하고, 이처럼 특정한 조합에 포함되는 점을 이용해 스테레오 페어 화상을 측정하여 피사체의 3차원 정보를 산출하는, 3 차원 모델 공간 생성 장치를 개시하고 있다.
한편, 보조 센싱 수단없이 단일 영상에만 기반하여 실내 내벽 구조(다시 말해, 공간 레이아웃)를 검출하기 위해서는, 영상 내 포함된 여러 객체 또는 내벽의 보이는 부분들을 식별하는 과정뿐만 아니라 영상에 포함되지 않은 전체 공간에 대한 예상치를 최대한 정확하게 도출하는 것이 필요하다. 이를 위해서는, 단일 영상에 대해 장면 공간을 어떻게 매개 변수화해야 할지 정의하는 것이 중요하다.
전술한 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 실내 공간을 촬영한 영상에서 발견되는 서로 직교하는 3개의 소실점을 검출하고, 이를 이용하여 촬영점과 실내 공간 사이의 관계를 추론함으로써 단일 영상 내 내벽 구조를 검출할 수 있는 장치 및 그 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 실내 공간이 촬영된 단일 영상을 이용한 내벽 구조 검출 장치는, 내벽 구조 검출 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 내벽 구조 검출 프로그램의 실행에 따라, 입력된 단일 영상으로부터 라인 세그먼트들을 추출하고, 상기 라인 세그먼트에 기초하여 상기 영상에 대한 기준 소실점을 검출하고, 상기 기준 소실점 및 라인 세그먼트에 기초하여 최적 소실점 구조체를 검출하고, 상기 최적 소실점 구조체 및 라인 세그먼트에 기초하여 상기 영상에 대한 벽면 방향맵을 생성하고, 상기 벽면 방향맵과 상기 최적 소실점 구조체에 기초하여 상기 영상 내 공간 레이아웃을 결정하며, 상기 공간 레이아웃의 정보를 내벽 구조 검출 정보로서 출력한다. 또한, 상기 최적 소실점 구조체는, 상기 라인 세그먼트 간의 교점들 중 상기 영상 내 모든 라인 세그먼트들에 대해 가장 높은 투표 값을 갖는 교점을 기준 소실점과, 상기 교점들 중 상기 기준 소실점에 수직하는 교점 중 하나인 제 1 소실점과, 상기 기준 소실점과 제 1 소실점에 모두 수직하는 제 2 소실점을 포함한다. 또한, 상기 투표 값은 상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 교점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는다.
또한, 본 발명의 다른 측면에 따른 실내 공간이 촬영된 단일 영상을 이용한 내벽 구조 검출 방법은, 입력된 단일 영상으로부터 라인 세그먼트를 추출하는 단계; 상기 라인 세그먼트에 기초하여 상기 영상에 대한 기준 소실점을 추출하는 단계; 상기 기준 소실점 및 라인 세그먼트에 기초하여 최적 소실점 구조체를 검출하는 단계; 상기 최적 소실점 구조체 및 라인 세그먼트에 기초하여 상기 영상에 대한 벽면 방향맵을 생성하는 단계; 상기 벽면 방향맵 및 상기 최적 소실점 구조체에 기초하여 상기 영상 내 공간 레이아웃을 결정하는 단계; 및 상기 공간 레이아웃의 정보를 내벽 구조 검출 정보로서 출력하는 단계를 포함한다. 이때, 상기 최적 소실점 구조체는, 상기 라인 세그먼트 간의 교점들 중 상기 영상 내 모든 라인 세그먼트들에 대해 가장 높은 투표 값을 갖는 교점을 기준 소실점과, 상기 교점들 중 상기 기준 소실점에 수직하는 교점 중 하나인 제 1 소실점과, 상기 기준 소실점과 제 1 소실점에 모두 수직하는 제 2 소실점을 포함한다. 또한, 상기 투표 값은 상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 교점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스테레오 카메라, 라이다 등의 부가적인 장치없이 실내벽 구조를 검출할 수 있으며, 실내 공간의 회전 각도의 제약없이 실내 구조(즉, 공간 레이아웃)를 인식할 수 있고, 인식한 실내 구조를 3차원 모델링된 객체로 생성하기 위한 내벽 구조 검출 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 내벽 구조 검출 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 내벽 구조 검출 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 영상 내 에지 검출 결과 및 라인 세그먼트 검출 결과의 일례이다.
도 4는 본 발명의 일 실시예에 따른 기준 소실점 검출 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 소실점 후보 제거 방식을 설명하기 위한 도면이다.
도 6 및 도 7은 각각 본 발명의 일 실시예에 적용되는 소실점 후보 억제 처리의 기준을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 소실점 구조체 후보 생성 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 최적 소실점 구조체 검출 방식을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 수식을 이용한 최적 소실점 구조체 검출 방식을 설명하기 위한 도면이다.
도 11 및 도 12는 각각 본 발명의 일 실시예에 따른 영상에 대한 벽면 방향맵을 검출하는 방식을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상에 대한 벽면 방향맵을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 벽면 방향맵에 기초하여 영상 내 코너 검출 방식을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 코너 검출 결과에 기초하여 영상 내 공간 레이아웃 결정 방식을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 공간 레이아웃 검출 결과를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)' 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 하드웨어 및 소프트웨어 둘다를 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.
도 1은 본 발명의 일 실시예에 따른 내벽 구조 검출 장치의 구성도이다.
본 발명의 일 실시예에 따른 내벽 구조 검출 장치(100)는 단일 영상(single image)에 기반하여 영상 내 내벽 구조를 검출한다. 이때, 내벽 구조 검출 장치(100)는 실내를 촬영한 영상에서 벽과 벽을 나누는 경계인 실내 공간 레이아웃(spatial layout of indoor scenes)을 인식함으로써 영상 내 내벽 구조를 검출할 수 있다. 참고로, 단일 영상은 한 장의 사진 등을 의미할 수 있으며, 단안 렌즈 카메라를 사용하여 촬영된 단일 이미지일 수도 있다.
도 1에 도시한 바와 같이, 내벽 구조 검출 장치(100)는 영상 입출력 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
영상 입출력 모듈(110)은 내벽 구조 검출 대상인 영상을 입력받고, 입력된 영상을 프로세서(130)로 제공한다. 그리고 영상 입출력 모듈(110)은 입력된 영상을 디스플레이(미도시)에 출력하되, 프로세서(130)로부터 전달된 내벽 구조 검출 정보를 포함하는 영상을 디스플레이(미도시)에 출력할 수 있다.
메모리(120)는 단일 영상에 기반하여 영상 내 공간 레이아웃을 검출하여 내벽 구조 검출 정보를 출력하도록 하는 내벽 구조 검출 프로그램이 저장되어 있다. 이러한 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 또는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 수행하되, 내벽 구조 검출 프로그램의 실행에 따른 처리들을 수행한다.
이하, 도 2를 참조하여, 프로세서(130)가 내벽 구조 검출 프로그램의 실행에 따라 처리하는 절차들에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 내벽 구조 검출 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 프로세서(130)는 입력된 영상으로부터 라인 세그먼트를 추출하고(S210), 추출된 라인 세그먼트들에 기초하여 영상 내 기준 소실점을 검출하고(S220), 검출된 기준 소실점 및 라인 세그먼트에 기초하여 영상에 대응하는 소실점 구조체를 검출하고(S230), 검출된 소실점 구조체에 포함된 소실점들과 라인 세그먼트에 기초하여 영상에 대한 벽면 방향맵을 생성하고(S240), 생성된 벽면 방향맵과 소실점 구조체의 소실점들에 기반하여 공간 레이아웃을 결정하며(S250), 공간 레이아웃 정보에 기반한 내벽 구조 검출 정보를 출력한다(S260).
먼저, 도 3을 참조하여 프로세서(130)가 라인 세그먼트를 추출하는 단계 (S210)에 대해서 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 영상 내 에지 검출 결과 및 라인 세그먼트 검출 결과의 일례이다.
프로세서(130)는 입력 영상(즉, 단일 영상) 내 복수의 에지(edge)를 검출한다. 프로세서(130)는 영상 내 변화(색상 또는 밝기 등의 변화) 부분을 강조하여 물체의 윤곽선과 영상 신호 분포를 이진화하여 에지를 나타낼 수 있다. 이때, 도 3의 (a)와 같은 입력 영상에서 에지 화소들이 검출된 결과는 도 3의 (b)에서와 같이 표시될 수 있다. 예를 들어, 프로세서(130)는 캐니 에지(Canny Edge) 검출 알고리즘을 사용하여 이미지 내 에지 화소를 검출할 수 있으며, 실내 이미지의 환경에 따라 프리윗(Prewitt), LoG(Laplacian of Gaussian) 또는 DoG(Difference of Gaussians) 등의 다양한 에지 검출 기법을 적용할 수 있다.
다음으로, 프로세서(130)는 검출된 에지 화소들에 대해 방향을 검출하기 위한 그래디언트(gradient) 분류 처리를 수행한다. 이때, 프로세서(130)는 입력 영상 원본에서 각 에지 화소가 검출된 위치의 밝기 기울기 방향을 검출하여, 복수의 에지들을 방향 별로 분류한다. 예를 들어, 프로세서(130)는 에지 방향을 8개의 방향으로 샘플링하여, 하나의 에지 영상을 8장의 방향 에지 영상으로 분류할 수 있다.
그리고 프로세서(130)는 복수의 방향 별로 분류된 에지 화소들이 포함된 에지 영상(즉, 방향 에지 영상)들에 대해서 라인 세그먼트를 검출한다. 이때, 프로세서(130)는 각 방향 에지 영상들에서 연속된 에지 화소들의 군집을 검출하고, 에지 화소의 x축 및 y축에 대해 공분산 행렬을 생성한다. 그리고 프로세서(130)는 생성된 공분산 행렬에 대한 고유 값(eigen value) λ와 고유 벡터(eigen vector) ν를 이용하여 라인 세그먼트를 검출한다. 도 3의 (a)에서와 같은 입력 영상에서 라인 세그먼트들이 검출된 결과는 도 3의 (c)에서와 같이 표시될 수 있다.
이하, 도 4를 참조하여 프로세서(130)가 기준 소실점을 검출하는 단계(S220)에 대해서 설명하도록 한다.
참고로, 소실점은 영상이 촬영된 실제 환경에서 평행선을 이루는 것이 영상 평면상에서 수렴되는 지점으로서, 영상이 촬영된 위치(즉, 촬영점)와 실내 공간과의 관계를 나타낸다. 일반적으로 대부분의 실내 구조는 직육면체이며, 이러한 직육면체는 3개의 소실점을 갖는다.
도 4는 본 발명의 일 실시예에 따른 기준 소실점 검출 방식을 설명하기 위한 도면이다.
프로세서(130)는 모든 라인 세그먼트(이하, "라인"이라고 생략하여 지칭함)들 간의 교점을 검출하되, 단위구(unit sphere)를 사용하여 영상 내의 라인이 단위구에 투영된 법선의 교점을 다시 영상으로 투영하여 소실점을 검출한다.
도 4의 (a)를 참조하면, 프로세서(130)는 가우시안 구(Gaussian Sphere)를 이용하여 라인 간의 교점을 검출하는 것을 나타냈다. 프로세서(130)는 두 라인(즉, 선분)의 법선 벡터의 외적을 이용하여 교점을 검출하되, 영상 내 모든 라인들에 대해 교점을 검출한다. 즉, 프로세서(130)는 두 라인 세그먼트가 가우시안 구에 투영된 원들의 교점으로부터 영상 평면을 향하는 벡터를 구하고, 해당 벡터를 영상 평면 위에 도달할 때까지 연장한 지점을 교점으로서 검출한다. 이러한 모든 라인 간의 교점(P)들은 소실점 후보가 된다.
도 4의 (a)에서, O는 좌표 중심(즉, 투시 중심점)이며, l은 영상 평면(image plane) 상의 직선(즉, 라인)이고, p는 직선 간의 교점을 의미한다. 이때, 영상 평면 상의 라인과 가우시안 구에 투영된 라인은 각각 아래의 수학식 1과 같이 표현될 수 있다.
<수학식 1>
Figure 112017085019005-pat00001
위의 수학식 1에서,
Figure 112017085019005-pat00002
및
Figure 112017085019005-pat00003
는 각각 라인의 시작점 및 끝점의 벡터이고, z는 가우시안 구의 중심과 영상 평면 간의 거리이며,
Figure 112017085019005-pat00004
는 라인 l과 원점을 지나는 평면의 법선 벡터이다. 이러한 법선 벡터
Figure 112017085019005-pat00005
를 외적(Cross Product)하여 교점 방향의 단위 벡터(unit vector)
Figure 112017085019005-pat00006
를 구할 수 있다.
프로세서(130)는 모든 라인들에 대해 검출된 교점을 영상 내 소실점의 후보로 설정한다. 그리고, 프로세서(130)는 아래의 수학식 2와 같은 투표 함수 v(l, p)를 통해 영상 평면 상의 라인 l이 소실점 후보p에 기여하는 정도를 측정(즉, 투표)할 수 있다.
<수학식 2>
Figure 112017085019005-pat00007
도 4의 (b)를 참조하면, 위의 수학식 2에서 lm은 라인 l의 중심점이고, p는 소실점 후보(즉, 교점)이며, d는 lm과 p 간의 거리이고, α는 라인 l과 소실점 후보(즉, 교점)이 이루는 각도이다. 수학식 2에 따르면, 라인의 중심점과 소실점 후보를 연결한 선분과 해당 라인이 이루는 각이 평행할수록 해당 라인이 소실점 후보에 대해 기여하는 정도를 높게 측정(즉, 높은 값을 투표)한다. 또한 수학식 2에 따르면, 라인의 중심점 lm과 소실점 후보 p의 거리가 라인 길이의 절반보다 적은 경우 'o'값을 투표한다. 이처럼, 프로세서(130)는 라인 세그먼트의 중심점과 교점을 연결한 선분과 라인 세그먼트가 이루는 각도가 작을수록, 또한 라인 세그먼트의 길이에 비례하도록 해당 교점(즉, 소실점 후보)에 대해 높은 값을 투표한다.
그리고 프로세서(130)는 아래의 수학식 3에서와 같이, 각 소실점 후보 별로 투표 합S를 산출하고, 그 중 투표 합이 최대인 소실점 후보를 검출한다.
<수학식 3>
Figure 112017085019005-pat00008
위의 수학식 3을 통해 검출된 투표합이 최대인 소실점 후보 pn 을 기준 소실점 vp로 검출한다.
이때, 프로세서(130)는 아래 수학식 4를 통해 기준 소실점 후보에 대해 설정된 임계값 이상을 투표한 라인을 제거할 수 있다.
<수학식 4>
Figure 112017085019005-pat00009
이하, 도 5 내지 도 10을 참조하여, 프로세서(130)가 영상에 대응하는 소실점 구조체를 검출하는 단계(S230)를 설명하도록 한다.
먼저, 프로세서(130)는 기준 소실점 외의 소실점 후보들 중 불필요한 소실점 후보를 제거하여, 불필요한 소실점 구조체 후보 생성 및 최적 소실점 구조체 검출을 위한 연산 절차를 방지한다.
도 5는 본 발명의 일 실시예에 따른 소실점 후보 제거 방식을 설명하기 위한 도면이다.
도 5의 (a)는, 입력 영상에 대해 앞서 수학식 3을 통해 선택된 소실점(즉, 기준 소실점
Figure 112017085019005-pat00010
)과 그 외에 교점들(즉, 소실점 후보들
Figure 112017085019005-pat00011
)을 표시한 도면이다.
도 5의 (b)를 참조하면, 프로세서(130)는 영상 평면의 중심점에 대해서 기준 소실점과 소실점 후보가 이루는 각도가 예각인 경우를 검출하고, 그에 따른 소실점 후보를 제거한다. 이러한 기준 소실점과 예각을 이루는 소실점 후보를 제거하는 처리는, 서로 직교하는 소실점들을 영상 평면 위로 투영시킬 경우 투영된 선분들이 서로 둔각을 이룬다는 이론에 기반한 것이다.
구체적으로, 도 6 및 도 7을 참조하여 서로 직교하는 소실점들을 영상 평면 위로 투영시킬 경우 투영된 선분들이 서로 둔각을 이루는 것을 증명하도록 한다.
도 6 및 도 7은 각각 본 발명의 일 실시예에 적용되는 소실점 후보 억제 처리의 기준을 설명하기 위한 도면이다.
도 6 및 도 7에서는 각각, 영상 평면 위를 향하는 3개의 벡터를 각각 ①, ② 및 ③으로 표시하였고, 벡터 ①, ② 및 ③에 각각 대응하는 영상 평면 반대편을 향한 벡터를 ①', ②' 및 ③'로 표시하였다. 참고로, 본 발명의 일 실시예에서는 실내 공간을 직육면체로 가정하여 실내 공간을 촬영한 영상 내 3개의 소실점이 포함되는 것을 예로서 설명한다. 직육면체에서는 서로 마주보는 면이 존재하므로, 벡터 ①, ② 및 ③ 각각에 대응하여 반대 방향 벡터 ①', ②' 및 ③'이 존재한다. 그리고 영상 평면 위를 향하는 3개의 벡터 ①, ② 및 ③ 각각은 영상 평면 위에 선분 ①'', ②'' 및 ③''로 수렴된다.
도 6에 도시된 바와 같이, 서로 직교하는 벡터들의 초기 상태를 가정한다.
이때, 영상 평면 위를 향하는 3개의 벡터 ①, ② 및 ③은 서로 직교하며, 영상 평면 위의 선분 ①'', ②'' 및 ③''는 벡터 ①, ② 및 ③를 영상 평면위에 투영시킨 궤적이다. 그리고, 벡터 ①', ②' 및 ③'은 벡터 ①, ② 및 ③과 방향이 반대인 영상 평면 반대편을 향하는 벡터이다. 벡터 ①', ②' 및 ③'과 벡터 ①, ② 및 ③은 직육면체를 이루는 실내 공간에서의 소실점이며, 실내 공간의 각 면에 수직한다.
다음으로, 도 7의 (a)를 참조하면, 도 6의 초기 상태의 벡터들을 벡터 ①을 축으로 반시계방향으로 임의의 각도 회전시킨 경우, 벡터 ②는 영상 평면의 중심에 접근하고, 벡터 ③은 영상 평면의 중심에서 멀어지는 것을 알 수 있다.
도 7의 (b)를 참조하면, 도 7의 (a)와 같은 상태의 벡터들을 벡터 ①을 축으로 반시계방향으로 임의의 각도로 더 회전시킨 경우, 벡터 ②의 궤적(즉, 선분 ②'')과 벡터 ①의 궤적(즉, 선분 ①'')이 서로 평행한 상태가 발생되는 것을 알 수 있다. 이때, 벡터 ③은 영상 평면과 평행하되 양방향(즉, 벡터 ③ 및 ③') 모두 영상 평면에 평행하고, 그 궤적(즉, 선분 ③'')은 벡터 ① 및 ②의 궤적(즉, 선분①'' 및 ②'')에 수직하는 것을 알 수 있다. 이는, 벡터 ③을 검출하기 위한 영상 평면 위의 선분들(즉, 라인 세그먼트)은 모두 벡터 ③의 궤적(즉, 선분 ③'')과 평행한 상태인 것을 의미한다.
도 7의 (c)를 참조하면, 도 7의 (b)와 같은 상태의 벡터들을 벡터 ①을 축으로 반시계방향으로 임의의 각도로 더 회전시킨 경우, 벡터 ②는 다시 영상 평면의 중심으로부터 멀어지고 벡터 ③은 다시 영상 평면의 중심에 근접하게 되는 것을 알 수 있다. 이때, 도 6에서(즉, 초기 상태에서) 영상 평면을 향하던 벡터 ③은 영상 평면의 반대편을 향하게 되어 도 7의 (c)에서는 벡터 ③'로 표시되고, 도 6에서 영상 평면 반대 방향을 향하던 벡터 ③'는 영상 평면을 향하게 되어 도 7의 (c)에서는 벡터 ③으로 표시된다.
즉, 영상 평면에서 검출될 수 있는 소실점은 실내 공간의 회전에 따라 영상 평면의 반대편을 향하던 벡터와 영상 평면을 향하던 벡터가 서로 교환되는 것을 알 수 있다. 이와 같은, 실내 공간이 회전하는 경우에 발생되는 벡터 방향 교환은, 카메라(즉, 촬영점)가 바라보는 방향이 변하는 경우에도 동일하게 발생한다. 이처럼, 회전에 따라 영상 평면 위를 향하는 벡터가 서로 교환되므로, 서로 직교하는 3개의 백터가 영상 평면으로 투영된 궤적들은 서로 예각을 이루지 않는다는 조건 또한 유지되는 것을 확인할 수 있다.
이상, 도 6 및 도 7을 통해 설명한 바와 같이, 서로 직교하는 소실점들을 영상 평면 위로 투영시킬 경우 투영된 선분들이 서로 둔각을 이룬다는 조건에 기초하여, 프로세서(130)는 영상 평면의 중심점에 대해서 기준 소실점과 소실점 후보가 이루는 각도가 예각인 경우에 해당하는 소실점 후보들을 제거한다.
그리고 프로세서(130)는 제거되지 않은 소실점 후보 별로 수직하는 소실점을 결정하여 소실점 후보 별 소실점 구조체를 생성한다. 이때, 소실점 후보 별로 대응하는 소실점 구조체는 소실점 구조체 후보가 되며, 각 소실점 구조체 후보는 기준 소실점, 소실점 후보 및 결정된 나머지 하나의 소실점(즉, 기준 소실점과 소실점 후보에 모두 수직하는 소실점)으로 구성된 소실점 후보 쌍을 포함한다. 이때, 소실점 구조체 후보에 포함된 세 소실점은 서로 직교하는 성질을 만족한다.
도 8은 본 발명의 일 실시예에 따른 소실점 구조체 후보 생성 방식을 설명하기 위한 도면이고, 도 9는 본 발명의 일 실시예에 따른 최적 소실점 구조체 검출 방식을 설명하기 위한 도면이다.
도 8의 (a)를 참조하면, 프로세서(130)는 제거되지 않은 나머지 소실점 후보들(
Figure 112017085019005-pat00012
) 별로 수직하는 점(Orthogonal Point)
Figure 112017085019005-pat00013
를 생성한다.
그리고 도 8의 (b)를 참조하면, 프로세서(130)는 아래의 수학식 5를 만족하는 소실점 구조체 후보를 검출하여, 입력 영상에 대한 최적의 소실점 구조체 (
Figure 112017085019005-pat00014
,
Figure 112017085019005-pat00015
,
Figure 112017085019005-pat00016
) 를 선택한다.
<수학식 5>
Figure 112017085019005-pat00017
위의 수학식 5의
Figure 112017085019005-pat00018
및
Figure 112017085019005-pat00019
는, 각각 앞서 수학식 2에서와 같이 해당 소실점들에 대해 라인 세그먼트들이 기여하는 정도를 측정(즉, 투표)하는 투표 함수이다. 즉, 프로세서(130)는 소실점 구조체 후보 별로 기준 소실점을 제외한 나머지 두 소실점에 대해 라인 세그먼트 투표를 실시하여 가장 큰 투표 값을 갖는 소실점 구조체를 검출한다. 이때, 투표에 참여하는 라인 세그먼트들은 앞서 수학식 4를 통해 기준 소실점에 대해 일정 임계값 이상 투표한 라인 세그먼트는 제외시킨 나머지 라인 세그먼트일 수 있다. 이와 같이 기준 소실점에 임계값 이상 관계된 라인 세그먼트는 제외시킴으로써, 나머지 두 소실점에 관계된 라인 세그먼트들에 대해서만 투표를 진행할 수 있어 효율적인 연산 처리가 가능하다.
프로세서(130)는 수학식 5를 통해 소실점 구조체 후보 중 최다 득표한(즉, 투표 값이 가장 큰) 소실점 구조체(
Figure 112017085019005-pat00020
,
Figure 112017085019005-pat00021
,
Figure 112017085019005-pat00022
)를 검출하고, 검출된 소실점 구조체를 최적 소실점 구조체로 결정한다.
그리고 프로세서(130)는 결정된 최적 소실점 구조체의 소실점 요소들에 대해 영상 평면의 중심점과의 거리에 기준하여 전방, 수평 및 수직 소실점을 결정한다. 이때, 프로세서(130)는 최적 소실점 구조체의 소실점 요소 중 영상 평면의 중심점과의 y축 거리가 가장 먼 것을 수직 소실점으로 설정하고, 영상 평면의 중심점과의 x축 거리가 가장 먼 것을 수평 소실점으로 설정하고, 영상 평면의 중심점과의 거리가 가장 작은 것을 전방 소실점으로 설정한다.
도 9를 참조하면, 도 8의 (b)와 같은 최적의 소실점 구조체 (
Figure 112017085019005-pat00023
,
Figure 112017085019005-pat00024
,
Figure 112017085019005-pat00025
)에서 영상 평면의 중심점과의 거리가 가장 작은
Figure 112017085019005-pat00026
가 전방 소실점
Figure 112017085019005-pat00027
로 설정되고, x축 방향으로 거리가 가장 먼
Figure 112017085019005-pat00028
가 수평 소실점
Figure 112017085019005-pat00029
로 설정되며, y축 방향으로 거리가 가장 먼
Figure 112017085019005-pat00030
가 수직 소실점
Figure 112017085019005-pat00031
으로 설정된 것을 알 수 있다. 참고로, x축 방향 및 y축 방향은 각각 영상 내 실내 환경의 조건에 대응하는 수평 방향 및 수직 방향을 의미할 수 있다.
도 10을 참조하여 프로세서(130)가 수식을 통해 소실점 구조체를 검출하는 방식을 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 수식을 이용한 최적 소실점 구조체 검출 방식을 설명하기 위한 도면이다.
소실점 구조체에 포함되는 소실점들은 모두 서로 직교하는 조건을 만족해야하므로, 소실점 구조체 생성 시 첫 번째로 구해진 소실점(즉, 기준 소실점)과 소실점 후보가 직교할 수 있도록 하는 z의 조건을 만족해야 한다.
이에 따라, 프로세서(130)는 기준 소실점
Figure 112017085019005-pat00032
과 소실점 후보
Figure 112017085019005-pat00033
의 내적과 직교 조건을 이용하여 z를 구한다.
기준 소실점
Figure 112017085019005-pat00034
과 소실점 후보
Figure 112017085019005-pat00035
는 각각 아래의 수학식 6과 같이 표현할 수 있으며, 이 두 벡터의 내적은 수학식 7과 같다.
<수학식 6>
Figure 112017085019005-pat00036
<수학식 7>
Figure 112017085019005-pat00037
이때, 두 벡터는 서로 직교하므로 θ는 90˚이며, 이를 적용하여 수학식 7을 연산하면 아래의 수학식 8과 같이 나타낼 수 있다.
<수학식 8>
Figure 112017085019005-pat00038
이때, 도 10을 참조하면, 가우시안 구의 원점에서 영상 평면까지의 z 축 거리는 모두 같으므로 z1= zi이다.
따라서, z의 조건은 아래의 수학식 9와 같다.
<수학식 9>
Figure 112017085019005-pat00039
다음으로, 프로세서(130)는 위와 같은 기준 소실점과 소실점 후보가 직교할 수 있는 z의 조건을 이용하여 소실점 후보에 직교하는 소실점
Figure 112017085019005-pat00040
를 구한다. 이때, 소실점
Figure 112017085019005-pat00041
는 아래의 수학식 10을 통해 산출할 수 있다.
<수학식 10>
Figure 112017085019005-pat00042
그리고 프로세서(130)는 위의 수학식 5를 통해 N개의 소실점 구조체 후보들에 대해서 라인 세그먼트의 투표 결과가 최대가 되는 n번째 소실점 구조체를 최적 소실점 구조체로서 검출한다. 이때, 기준 소실점
Figure 112017085019005-pat00043
에 수직하는 소실점
Figure 112017085019005-pat00044
을
Figure 112017085019005-pat00045
라하고, 소실점
Figure 112017085019005-pat00046
에 수직하는 소실점
Figure 112017085019005-pat00047
을
Figure 112017085019005-pat00048
라고 하면, 최적 소실점 구조체의 요소들은 아래의 수학식 11을 통해 전방, 수평 및 수직 소실점으로 결정된다.
<수학식 11>
Figure 112017085019005-pat00049
이하, 도 11 내지 도 13을 참조하여, 프로세서(130)가 최적 소실점 구조체와 영상 내 라인 세그먼트에 기초하여 영상에 대한 벽면 방향맵(orientation map)을 생성하는 단계(S240)에 대해서 설명하도록 한다.
도 11 및 도 12는 각각 본 발명의 일 실시예에 따른 영상에 대한 벽면 방향맵을 검출하는 방식을 설명하기 위한 도면이다.
먼저 도 11의 (a)를 참조하면, 최적 소실점 구조체의 수직 소실점
Figure 112017085019005-pat00050
에 속하는 라인을 전방 소실점
Figure 112017085019005-pat00051
에 따른 방향으로 이동시킬 때 생기는 궤적면과, 전방 소실점
Figure 112017085019005-pat00052
에 속하는 라인을 수직 소실점
Figure 112017085019005-pat00053
에 따른 방향으로 이동시킬 때 생기는 궤적면 간의 교집합이 수평 소실점
Figure 112017085019005-pat00054
를향하는 면(RH)인 것을 알 수 있다.
이와 같은 벽면 검출 방식을 도 11의 (b)를 참조하여 수식으로 표현하면, 아래의 수학식 12와 같다.
<수학식 12>
Figure 112017085019005-pat00055
수학식 12에서 lx,i는 최적 소실점 구조체의 요소 중 하나인 소실점 vpx에 속한 라인 세그먼트들을 의미하며, 면 S는 lx,i를 다른 요소인 소실점 vpy에 따른 방향으로 α만큼 이동시킨 영역을 의미한다. 즉, 각 라인 세그먼트는 자신이 속하지 않는 소실점 방향 및 역방향으로 스윕(sweep)된다.
도 12 를 참조하여 좀 더 구체적으로 설명하도록 한다.
도 12의 (a)는, 최적 소실점 구조체의 요소 중 전방 소실점
Figure 112017085019005-pat00056
과 수직 소실점
Figure 112017085019005-pat00057
에 기초하여 수직 소실점 소속 라인을 전방 소실점 방향으로 스윕 처리하여 벽면을 검출하는 것을 나타냈다.
프로세서(130)는 아래의 알고리즘 1에 따라, 수직 소실점 소속인 라인을 전방 소실점 방향으로 스윕 처리하여 벽면을 검출할 수 있다.
<알고리즘 1>
Figure 112017085019005-pat00058
도 12의 (a)에서는 위의 알고리즘 1에서 x는 수직(즉, V)이고, y는 전방(즉, M)인 것을 나타냈으며, 수직 소실점 소속 선분을 전방 소실점 방향 및 역방향으로 각각 α만큼 스윕시킨 것을 나타냈다.
프로세서(130)는 영상 내 모든 라인 세그먼트들에 의해 발생하는 평면들을 소실점 방향 별로 통합한다.
도 12의 (b)를 참조하면, 최적 소실점 구조체의 요소 중 전방 소실점
Figure 112017085019005-pat00059
과 수직 소실점
Figure 112017085019005-pat00060
에 기초하여, 수직 소실점 소속 선분을 전방 소실점 방향으로 스윕 처리하고, 전반 소실점 소속 라인을 수직 소실점 방향으로 스윕 처리하여, 두 스윕 처리의 결과의 교집합을 수평 방향 벽면으로서 검출하는 것을 알 수 있다.
이때, 프로세서(130)는 아래의 알고리즘 2에 따라 수직 소실점 소속 선분을 전방 소실점 방향으로 스윕 처리하고, 전반 소실점 소속 라인을 수직 소실점 방향으로 스윕 처리하여, 수평 방향 벽면 (R-H)를 검출할 수 있다.
<알고리즘 2>
Figure 112017085019005-pat00061
이상의 도 11 및 도 12를 참조하여 설명한 벽면 검출 과정을 다른 소실점들에 대해서도 처리하여, 수직 방향 벽면, 전방 방향 벽면을 검출할 수 있다.
즉, 최적 소실점 구조체의 수평 소실점
Figure 112017085019005-pat00062
에 속하는 라인을 전방 소실점
Figure 112017085019005-pat00063
에 따른 방향으로 이동시킬 때 생기는 궤적면과, 전방 소실점
Figure 112017085019005-pat00064
에 속하는 라인을 수평 소실점
Figure 112017085019005-pat00065
에 따른 방향으로 이동시킬 때 생기는 궤적면 간의 교집합을 수직 소실점
Figure 112017085019005-pat00066
를 향하는 수직 방향 벽면(RV)으로서 검출할 수 있다. 그리고, 최적 소실점 구조체의 수평 소실점
Figure 112017085019005-pat00067
에 속하는 라인을 수직 소실점
Figure 112017085019005-pat00068
에 따른 방향으로 이동시킬 때 생기는 궤적면과, 수직 소실점
Figure 112017085019005-pat00069
에 속하는 라인을 수평 소실점
Figure 112017085019005-pat00070
에 따른 방향으로 이동시킬 때 생기는 궤적면 간의 교집합을 전방 소실점
Figure 112017085019005-pat00071
를 향하는 전방 방향 벽면(RM)으로서 검출할 수 있다.
이때, 프로세서(130)는 각 벽면이 향하는 방향의 소실점에 따라 실내 구조를 인식하되, 수직 소실점 방향을 바라보는 수직 방향 벽면은 천장 또는 바닥(이하, "수직 벽면"이라고 지칭함)으로 인식하고, 수평 소실점 방향을 바라보는 수평 방향 벽면은 좌측 및 우측 벽면 중 적어도 하나(이하, "수평 벽면"이라고 지칭함)로 인식하고, 전방 소실점 방향을 바라보는 전방 방향 벽면은 촬영점으로부터의 전방에 있는 전방 벽면으로 인식할 수 있다.
도 13은 본 발명의 일 실시예에 따른 영상에 대한 벽면 방향맵을 나타낸 도면이다.
프로세서(130)는 영상으로부터 각 방향을 바라보는 벽면들을 검출한 후, 각 방향의 벽면에 해당하는 화소들을 인코딩한다. 예를 들어, 도 13에서는, 전방 방향 벽면은 파란색으로 인코딩하고, 수직 방향 벽면은 녹색으로 인코딩하며, 수평 방향 벽면은 적색으로 인코딩한 것을 도시하였다.
이하, 도 14 내지 도 16을 참조하여, 프로세서(130)가 벽면 방향맵과 소실점 구조체의 소실점들에 기반하여 공간 레이아웃을 결정하는 단계(S250)에 대해서 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 벽면 방향맵에 기초하여 영상 내 코너 검출 방식을 설명하기 위한 도면이다. 그리고 도 15는 본 발명의 일 실시예에 따른 코너 검출 결과에 기초하여 영상 내 공간 레이아웃 결정 방식을 설명하기 위한 도면이다. 도 16은 본 발명의 일 실시예에 따른 공간 레이아웃 검출 결과를 나타낸 도면이다.
프로세서(130)는 생성된 벽면 방향맵에 기반하여 전방 벽면의 4개의 모서리(즉, 코너) 점을 검출한다.
도 14를 참조하면, 각 벽면 화소가 서로 상이한 색상으로 인코딩된 벽면 방향맵을 전방 소실점 위치를 기준으로 4분할하고, 분할된 각 영역에서 코너 점을 검출한다. 이때, 프로세서(130)는 인코딩된 벽면 방향맵을 수직 및 수평으로 프로젝션(projection)하여 누적 히스토그램을 구하고, 각 누적 히스토그램의 차이가 가장 적은 부분을 코너 점으로서 검출한다.
구체적으로, 벽면 방향맵의 각 방향 벽면 별로 수직 히스토그램을 hk라하고, 그 누적 히스토그램을 Hk라하되 순방향은
Figure 112017085019005-pat00072
라하고 역방향을
Figure 112017085019005-pat00073
라고 할 경우, hk 및 Hk는 아래의 수학식 13과 같이 표현할 수 있다.
<수학식 13>
Figure 112017085019005-pat00074
이때, 전방 벽면의 4개의 코너 점 C는 각각 아래의 수학식 14와 같이 나타낼 수 있다.
<수학식 14>
Figure 112017085019005-pat00075
수학식 14에서, CLT는 좌측상부 코너 점이고, CRT는 우측 상부 코너 점이고, CLB는 좌측하부 코너 점이며, CRB는 우측하부 코너 점이다.
이때, 코너 점의 x 위치(즉, 수평 위치)는 전방 벽면 방향맵과 수평 벽면 방향맵을 이용하며, y 위치(즉, 수직 위치)는 전방 벽면 방향맵과 수직 벽면 방향맵을 이용하여 검출할 수 있다. 즉, 수학식 14에서, 전방 벽면 방향맵 및 수평 벽면 방향맵의 누적 히스토그램 차가 가장 적은 부분과, 전방 방향 벽면을 전치(transpose)시킨
Figure 112017085019005-pat00076
과 및 수직 방향 벽면을 전치시킨
Figure 112017085019005-pat00077
의 누적 히스토그램 차가 가장 적은 부분에 기초하여 각 코너 점을 검출할 수 있다.
다음으로, 프로세서(130)는 검출된 전방 벽면의 코너 점들과 최적 소실점 구조체에 기초하여 영상 내 공간 레이아웃(즉, 내벽 구조)을 검출한다.
도 15의 (a)를 참조하면, 입력 영상에 대해 위의 수학식 14를 통해 전방 벽면에 대한 4개의 코너 점들을 검출한 후, 이들 4개의 코너 점들을 각각 연결한 직선들을 통해 전방 벽면과 천장, 바닥, 촤측 벽, 우측 벽이 이루는 경계선들을 생성할 수 있다.
그리고 도 15의 (b)를 참조하면, 최적 소실점 구조체의 전방 소실점으로부터 전방 벽면의 4개의 코너 점을 통과하는 방향으로 전방 벽면에 대해 방사형으로 선분을 그려, 영상 내 천장과 우측 벽 및 좌측 벽이 이루는 경계선과 바닥과 우측 벽 및 좌측 벽이 이루는 경계선을 생성할 수 있다.
즉, 도 15의 (b)에서와 같이 전방 소실점으로부터 우측상부 및 우측 하부 코너 점으로 진행하는 선분을 그리면, 도 15의 (c)에서와 같이 천장과 우측 벽이 이루는 경계선과 바닥과 우측 벽이 이루는 경계선을 생성할 수 있다.
이처럼, 전방 벽면의 모서리와 최적 소실점 구조체에 기초하여 검출된 공간 레이아웃은, 도 16에서 도시된 바와 같이 영상 내 내벽 구조 정보로서 표시될 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 내 내벽 구조 검출 장치 및 그 방법에 따르면, 스테레오 카메라, 라이다 등의 부가적인 장치없이 실내벽 구조를 검출할 수 있으며, 실내 공간의 회전 각도의 제약없이 실내 구조(즉, 공간 레이아웃)를 인식할 수 있고, 인식한 실내 구조를 3차원 모델링된 객체로 생성하기 위한 내벽 구조 검출 정보를 제공할 수 있다.
본 발명의 일 실시예에 따른 내벽 구조 검출 장치 및 그 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 단일 영상 내 내벽 구조 검출 장치
110: 영상 입출력 모듈
120: 메모리
130: 프로세서

Claims (14)

  1. 실내 공간이 촬영된 단일 영상을 이용한 내벽 구조 검출 장치에 있어서,
    내벽 구조 검출 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 내벽 구조 검출 프로그램의 실행에 따라, 입력된 단일 영상으로부터 라인 세그먼트들을 추출하고, 상기 라인 세그먼트에 기초하여 상기 영상에 대한 기준 소실점을 검출하고, 상기 기준 소실점 및 라인 세그먼트에 기초하여 최적 소실점 구조체를 검출하고, 상기 최적 소실점 구조체 및 라인 세그먼트에 기초하여 상기 영상에 대한 벽면 방향맵을 생성하고, 상기 벽면 방향맵과 상기 최적 소실점 구조체에 기초하여 상기 영상 내 공간 레이아웃을 결정하며, 상기 공간 레이아웃의 정보를 내벽 구조 검출 정보로서 출력하되,
    상기 최적 소실점 구조체는,
    상기 라인 세그먼트 간의 교점들 중 상기 영상 내 모든 라인 세그먼트들에 대해 가장 높은 투표 값을 갖는 교점을 기준 소실점과, 상기 교점들 중 상기 기준 소실점에 수직하는 교점 중 하나인 제 1 소실점과, 상기 기준 소실점과 제 1 소실점에 모두 수직하는 제 2 소실점을 포함하며,
    상기 투표 값은 상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 교점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는 것인, 내벽 구조 검출 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 라인 세그먼트 간의 교점들 중 상기 기준 소실점을 제외한 나머지 교점들을 소실점 후보로 설정하고,
    상기 소실점 후보 중 상기 기준 소실점에 수직하는 제 1 소실점을 검출하고,
    상기 기준 소실점과 제 1 소실점에 모두 수직하는 제 2 소실점을 생성하고,
    상기 제 1 소실점 별로 상기 기준 소실점, 제 1 소실점 및 제 2 소실점으로 구성된 소실점 구조체 후보를 생성하고,
    상기 소실점 구조체 후보 중 상기 영상 내 라인 세그먼트들에 대해 가장 높은 투표 값을 갖는 것을 상기 최적 소실점 구조체로 검출하되,
    상기 소실점 구조체 후보 별로 상기 제 1 소실점에 대한 제 1 투표 값과 상기 제 2 소실점에 대한 제 2 투표 값을 합산한 결과에 따라 상기 최적 소실점 구조체를 검출하며,
    상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 제 1 소실점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는 상기 제 1 투표 값을 산출하고,
    상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 제 2 소실점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는 상기 제 2 투표 값을 산출하는, 내벽 구조 검출 장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 프로세서는,
    상기 영상 내 모든 라인 세그먼트 중 상기 기준 소실점에 대해 임계값 이상의 투표 값을 갖는 라인 세그먼트를 제외한 나머지에 대해 상기 제 1 투표 값 및 제 2 투표 값을 산출하는, 내벽 구조 검출 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 프로세서는,
    상기 영상 내 중심점에 대해 상기 기준 소실점과 상기 소실점 후보 간의 각도가 예각인 소실점 후보를 검출하고,
    상기 검출된 소실점 후보를 제거한 후 상기 제 1 소실점을 검출하는, 내벽 구조 검출 장치.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 프로세서는,
    상기 최적 소실점 구조체의 상기 기준 소실점, 제 1 소실점 및 제 2 소실점 중 상기 영상의 중심점과 거리가 가장 짧은 것을 전방 소실점으로 설정하고, 상기 중심점과 수평 방향으로 거리가 가장 먼 것을 수평 소실점으로 설정하며, 상기 중심점과 수직 방향으로 거리가 가장 먼 것을 수직 소실점으로 설정하며,
    상기 전방 소실점, 수직 소실점 및 수평 소실점 중 두 소실점을 선택하고, 상기 선택된 두 소실점 각각에 대해 어느 하나의 소실점에 대응하는 라인 세그먼트를 다른 하나의 소실점에 따른 방향으로 이동시킨 궤적면을 검출하고, 상기 두 소실점 별 궤적면의 교집합을 산출하여 나머지 하나의 소실점을 향하는 벽면을 검출하고,
    상기 영상에서 상기 전방 소실점, 수직 소실점 및 수평 소실점 별로 향하는 벽면에 대응하는 화소를 서로 상이한 색상으로 인코딩하여 상기 벽면 방향맵을 생성하는, 내벽 구조 검출 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 5 항에 있어서,
    상기 프로세서는,
    상기 벽면 방향맵을 상기 전방 소실점의 위치를 기준으로 4분할하고,
    4분할된 영역을 수직 및 수평으로 프로젝션(projection)하여 누적 히스토그램을 구하고,
    각 누적 히스토그램의 차이가 가장 적은 부분을 코너 점으로 검출하고,
    상기 코너 점들을 각각 연결한 직선들을 상기 전방 소실점을 향하는 전방 벽면에 대한 수직 및 수평 벽면의 경계선으로서 검출하고,
    상기 전방 소실점으로부터 상기 코너 점 각각을 향하는 선분들을 상기 수직 및 수평 소실점을 향하는 수직 벽면과 수평 벽면 간의 경계선으로 검출하는, 내벽 구조 검출 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    두 개의 라인 세그먼트 쌍을 단위구(unit sphere)에 투영하여 법선의 교점에 대한 벡터를 구하고, 상기 법선의 교점에 대한 벡터를 상기 영상의 평면에 투영하여 상기 교점을 검출하는, 내벽 구조 검출 장치.
  8. 실내 공간이 촬영된 단일 영상을 이용한 내벽 구조 검출 장치를 통한 내벽 구조 검출 방법에 있어서,
    입력된 단일 영상으로부터 라인 세그먼트를 추출하는 단계;
    상기 라인 세그먼트에 기초하여 상기 영상에 대한 기준 소실점을 추출하는 단계;
    상기 기준 소실점 및 라인 세그먼트에 기초하여 최적 소실점 구조체를 검출하는 단계;
    상기 최적 소실점 구조체 및 라인 세그먼트에 기초하여 상기 영상에 대한 벽면 방향맵을 생성하는 단계;
    상기 벽면 방향맵 및 상기 최적 소실점 구조체에 기초하여 상기 영상 내 공간 레이아웃을 결정하는 단계; 및
    상기 공간 레이아웃의 정보를 내벽 구조 검출 정보로서 출력하는 단계를 포함하며,
    상기 최적 소실점 구조체는,
    상기 라인 세그먼트 간의 교점들 중 상기 영상 내 모든 라인 세그먼트들에 대해 가장 높은 투표 값을 갖는 교점을 기준 소실점과, 상기 교점들 중 상기 기준 소실점에 수직하는 교점 중 하나인 제 1 소실점과, 상기 기준 소실점과 제 1 소실점에 모두 수직하는 제 2 소실점을 포함하며,
    상기 투표 값은 상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 교점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는 것인, 내벽 구조 검출 방법.
  9. 제 8 항에 있어서,
    상기 최적 소실점 구조체를 검출하는 단계는,
    상기 라인 세그먼트 간의 교점들 중 상기 기준 소실점을 제외한 나머지 교점들을 소실점 후보로 설정하는 단계;
    상기 소실점 후보 중 상기 기준 소실점에 수직하는 제 1 소실점을 검출하는 단계;
    상기 제 1 소실점에 수직하는 제 2 소실점을 생성하는 단계;
    상기 제 1 소실점 별로 상기 기준 소실점, 제 1 소실점 및 제 2 소실점으로 구성된 소실점 구조체 후보를 생성하는 단계; 및
    상기 소실점 구조체 후보 중 상기 영상 내 라인 세그먼트들에 대해 가장 높은 투표 값을 갖는 것을 상기 최적 소실점 구조체로 검출하는 단계를 포함하며,
    상기 소실점 구조체 후보 별로 상기 제 1 소실점에 대한 제 1 투표 값과 상기 제 2 소실점에 대한 제 2 투표 값을 합산한 결과에 따라 상기 최적 소실점 구조체를 검출하되,
    상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 제 1 소실점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는 상기 제 1 투표 값을 산출하고,
    상기 라인 세그먼트와 해당 라인 세그먼트의 중심점과 상기 제 2 소실점을 연결한 선분이 이루는 각도가 작을수록 높은 값을 갖되 상기 라인 세그먼트의 길이에 비례하는 값을 갖는 상기 제 2 투표 값을 산출하는, 내벽 구조 검출 방법.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제 9 항에 있어서,
    영상 내 모든 라인 세그먼트 중 상기 기준 소실점에 대해 임계값 이상의 투표 값을 갖는 라인 세그먼트를 제외한 나머지에 대해 상기 제 1 투표 값 및 제 2 투표 값을 산출하는, 내벽 구조 검출 방법.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제 9 항에 있어서,
    상기 영상 내 중심점에 대해 상기 기준 소실점과 상기 소실점 후보 간의 각도가 예각인 소실점 후보를 검출하고,
    상기 검출된 소실점 후보를 제거한 후 상기 제 1 소실점을 검출하는, 내벽 구조 검출 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 9 항에 있어서,
    상기 벽면 방향맵을 생성하는 단계는,
    상기 최적 소실점 구조체의 상기 기준 소실점, 제 1 소실점 및 제 2 소실점 중 상기 영상의 중심점과 거리가 가장 짧은 것을 전방 소실점으로 설정하고, 상기 중심점과 수평 방향으로 거리가 가장 먼 것을 수평 소실점으로 설정하며, 상기 중심점과 수직 방향으로 거리가 가장 먼 것을 수직 소실점으로 설정하는 단계;
    상기 전방 소실점, 수직 소실점 및 수평 소실점 중 두 소실점을 선택하고, 상기 선택된 두 소실점 각각에 대해 어느 하나의 소실점에 대응하는 라인 세그먼트를 다른 하나의 소실점에 따른 방향으로 이동시킨 궤적면을 검출하고, 상기 두 소실점 별 궤적면의 교집합을 산출하여 나머지 하나의 소실점을 향하는 벽면을 검출하는 단계;
    상기 영상에서 상기 전방 소실점, 수직 소실점 및 수평 소실점 별로 향하는 벽면에 대응하는 화소를 서로 상이한 색상으로 인코딩하여 상기 벽면 방향맵을 생성하는 단계를 포함하는, 내벽 구조 검출 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제 12 항에 있어서,
    상기 영상 내 공간 레이아웃을 결정하는 단계는,
    상기 벽면 방향맵을 상기 전방 소실점의 위치를 기준으로 4분할하고, 4분할된 영역을 수직 및 수평으로 프로젝션(projection)하여 누적 히스토그램을 구하는 단계;
    각 누적 히스토그램의 차이가 가장 적은 부분을 코너 점으로 검출하는 단계;
    상기 코너 점들을 각각 연결한 직선들을 상기 전방 소실점을 향하는 전방 벽면에 대한 수직 및 수평 벽면의 경계선으로서 검출하는 단계; 및
    상기 전방 소실점으로부터 상기 코너 점 각각을 향하는 선분들을 상기 수직 및 수평 소실점을 향하는 수직 벽면과 수평 벽면 간의 경계선으로 검출하는 단계를 포함하는, 내벽 구조 검출 방법.
  14. 제 8 항에 있어서,
    두 개의 라인 세그먼트 쌍을 단위구(unit sphere)에 투영하여 법선의 교점에 대한 벡터를 구하고, 상기 법선의 교점에 대한 벡터를 상기 영상의 평면에 투영하여 상기 교점을 검출하는, 내벽 구조 검출 방법.
KR1020170111707A 2017-09-01 2017-09-01 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법 KR101980899B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170111707A KR101980899B1 (ko) 2017-09-01 2017-09-01 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170111707A KR101980899B1 (ko) 2017-09-01 2017-09-01 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190025267A KR20190025267A (ko) 2019-03-11
KR101980899B1 true KR101980899B1 (ko) 2019-05-24

Family

ID=65758643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170111707A KR101980899B1 (ko) 2017-09-01 2017-09-01 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101980899B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656871B (zh) * 2021-08-16 2024-05-03 成都云中楼阁科技有限公司 一种建筑墙体绘制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080389A (ja) 2011-10-04 2013-05-02 Nippon Telegr & Teleph Corp <Ntt> 消失点推定方法、消失点推定装置及びコンピュータプログラム
JP2014220804A (ja) * 2013-05-11 2014-11-20 三菱電機株式会社 単一の２次元画像からシーンを再構成する方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478258B1 (ko) * 2013-05-07 2014-12-31 숭실대학교산학협력단 차선 인식 방법 및 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080389A (ja) 2011-10-04 2013-05-02 Nippon Telegr & Teleph Corp <Ntt> 消失点推定方法、消失点推定装置及びコンピュータプログラム
JP2014220804A (ja) * 2013-05-11 2014-11-20 三菱電機株式会社 単一の２次元画像からシーンを再構成する方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
이창형, and 최형일. "다중 초기 소실점을 이용한 소실점 검출 방법." 한국콘텐츠학회논문지 18.2 (2018)
정도욱, 정성기, and 최형일. "단일이미지에 기반한 내벽구조 검출 방법." 인터넷정보학회지 18.1 (2017.02.)
정성기, "직교하는 소실점을 이용한 실내 공간 구조 인식", 학위논문(석사), 숭실대학교 대학원, 미디어학과 (2017.08.)*
한종원, 조진수, and 이일병. "유효한 소실점을 이용한 단안영상의 상대적 깊이지도 생성." 한국정보과학회 학술발표논문집 33.2B (2006)

Also Published As

Publication number Publication date
KR20190025267A (ko) 2019-03-11

Similar Documents

Publication Publication Date Title
JP7300438B2 (ja) Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
US9811733B2 (en) Method, apparatus and system for selecting a frame
Cannons A review of visual tracking
US8447099B2 (en) Forming 3D models using two images
US9525862B2 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US8452081B2 (en) Forming 3D models using multiple images
US10176564B1 (en) Collaborative disparity decomposition
US9424649B1 (en) Moving body position estimation device and moving body position estimation method
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
Li et al. RGBD relocalisation using pairwise geometry and concise key point sets
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
KR101980899B1 (ko) 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
KR20180025135A (ko) 단일 이미지를 사용한 내벽 구조 검출 장치 및 방법
CA3236528A1 (en) Methods, storage media, and systems for generating a three-dimensional line segment
KR101241813B1 (ko) Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법
McCarthy et al. Surface extraction from iso-disparity contours
CN114399532A (zh) 一种相机位姿确定方法和装置
Southey et al. Object discovery through motion, appearance and shape
KR102629213B1 (ko) 경사 촬영 동영상 이동물체 탐지 방법 및 장치
Chen et al. Stereo with zooming
US20230199135A1 (en) Method for generating a bird&#39;s eye view image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)