KR101697652B1 - 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법 - Google Patents

3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR101697652B1
KR101697652B1 KR1020120043281A KR20120043281A KR101697652B1 KR 101697652 B1 KR101697652 B1 KR 101697652B1 KR 1020120043281 A KR1020120043281 A KR 1020120043281A KR 20120043281 A KR20120043281 A KR 20120043281A KR 101697652 B1 KR101697652 B1 KR 101697652B1
Authority
KR
South Korea
Prior art keywords
image
pixel
virtual space
extracting
probability
Prior art date
Application number
KR1020120043281A
Other languages
English (en)
Other versions
KR20130120202A (ko
Inventor
이수웅
강석빈
임석현
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120043281A priority Critical patent/KR101697652B1/ko
Priority to US13/687,800 priority patent/US9294753B2/en
Publication of KR20130120202A publication Critical patent/KR20130120202A/ko
Application granted granted Critical
Publication of KR101697652B1 publication Critical patent/KR101697652B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명에 의한 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치는 영상을 입력 받는 영상 입력부; 입력 받은 상기 영상으로부터 영상 객체가 위치하는 가상 공간을 설정하는 공간 설정부; 및 입력 받은 상기 영상으로부터 기 설정된 가상 공간 내에 위치하는 영상 객체를 추출하는 객체 추출부를 포함하는 것을 특징으로 한다.

Description

3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법{APPARATUS FOR EXTRACTING IMAGE OBJECT IN 3D IMAGE SYSTEM AND METHOD THEREOF}
본 발명은 영상 객체(image object) 추출 방법에 관한 것으로, 특히, 깊이 정보를 이용하여 입력된 영상으로부터 가상 공간 내에 위치하는 영상 객체를 추출하고 그 추출된 영상 객체를 가시광 정보를 이용하여 보정할 수 있도록 하는 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법에 관한 것이다.
3차원 영상을 디스플레이하기 위한 3차원 영상 시스템 예컨대, 체험 학습 시스템은 3D를 이용하여 가상으로 구현되는 지하철 역사, 박물관 등의 공간에서 사용자의 영상을 투영한 후, 사용자의 실제 동작에 따라 3D 콘텐츠 화면에 투영된 사용자의 영상 객체가 미리 설정된 약속된 동작을 수행하면서 3D 콘텐츠 화면과 연동하면서 박물관 견학이나 원어민과의 영어 학습 등을 수행할 수 있도록 하는 시스템을 말한다.
이러한 시스템에서 사람 영상 추출의 정확성과 안정성은 전체 시스템 성능에 심대한 영향을 미치는 부분이다. 기존의 Background subtraction 기반의 기술들은 다소 적은 계산량으로 효과적인 객체 추출이 가능하였으나 시스템을 구동할 때마다 초기화해야 하는 문제가 존재하며, 체험자의 영상을 추출해야 하는 시스템의 특징으로 인해 블루스크린 등은 사용이 불가능하다.
또한 체험 학습 시스템은 그 특성상 체험하는 학습자와 그 학습자를 바라보면서 학습을 진행하는 학습자들이 존재한다. 기존의 객체 추출 시스템에서는 카메라의 화각에 비치는 모든 사용자 및 물체가 추출되어 체험하는 학습자만을 추출하기가 어렵다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 깊이 정보를 이용하여 입력된 영상으로부터 가상 공간 내에 위치하는 영상 객체를 추출하고 그 추출된 영상 객체를 가시광 정보를 이용하여 보정할 수 있도록 하는 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 영상 객체를 추출하기 위한 장치는 영상을 입력 받는 영상 입력부; 입력 받은 상기 영상으로부터 영상 객체가 위치하는 가상 공간을 설정하는 공간 설정부; 및 입력 받은 상기 영상으로부터 기 설정된 상기 가상 공간 내에 위치하는 영상 객체를 추출하는 객체 추출부를 포함할 수 있다.
바람직하게, 상기 객체 추출부는 상기 영상 내 각 픽셀마다 측정된 깊이 정보를 이용하여 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하고, 그 판단한 결과에 따라 기 설정된 가상 공간 내에 위치하는 영상 객체를 추출하는 것을 특징으로 한다.
바람직하게, 상기 객체 추출부는 투영좌표체계에서 상기 영상 내 각 픽셀마다 측정된 깊이 정보를 이용하여 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하는 것을 특징으로 한다.
바람직하게, 상기 가상 공간은, 사용자가 미리 지정한 다면체 공간인 것을 특징으로 한다.
바람직하게, 상기 공간 설정부는 사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점으로 이루어진 하나의 평면을 포함하는 가상 공간을 설정하는 것을 특징으로 한다.
바람직하게, 상기 공간 설정부는 사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점 각각마다 해당 점의 인접한 점들 중 유효하게 깊이가 측정된 점의 개수가 일정 개수 이상일 때, 해당 점을 포함하는 하나의 평면을 설정하고, 설정된 상기 하나의 평면을 포함하는 상기 가상 공간을 설정하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 객체를 추출하기 위한 장치는 추출된 상기 영상 객체를 포함하는 영상을 가시광 정보를 이용하여 보정하는 객체 보정부를 더 포함할 수 있다.
바람직하게, 상기 객체 보정부는 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경과 배경의 구분이 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며, 그 산출된 확률에 따라 상기 영상 객체를 보정하는 것을 특징으로 한다.
바람직하게, 상기 객체 보정부는 상기 가상 공간 내에 위치하는 배경으로 판단된 픽셀에 타입 -1을 할당하고, 전경과 배경의 구분이 불확실한 픽셀에 타입 0을 할당하며, 전경으로 판단된 픽셀에 1을 할당하는 것을 특징으로 한다.
바람직하게, 상기 객체 보정부는 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경인지 배경인지 불확실한 타입으로 할당된 픽셀들 중 일부의 픽셀에 대하여 상기 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며, 나머지 다른 일부의 픽셀에 대하여 인접한 픽셀의 기 산출된 확률을 평균하여 그 평균한 값으로 확률을 추정하는 것을 특징으로 한다.
바람직하게, 상기 객체 보정부는 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경인지 배경인지 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하여 그 산출된 확률에 따라 상기 영상 객체를 보정하며, 보정된 상기 영상 객체를 포함하는 영상의 각 픽셀마다 동일한 위치에 있는 이전 영상의 픽셀값과 현재 영상의 픽셀값을 기 설정된 비율로 혼합하여 그 혼합된 비율에 따라 상기 영상 객체를 보정하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 객체를 추출하기 위한 장치는 입력 받은 상기 영상으로부터 영상 객체가 위치하는 가상 공간을 설정하는 공간 설정부를 더 포함할 수 있다.
본 발명의 다른 한 관점에 따른 영상 객체를 추출하기 위한 방법은 영상을 입력 받는 단계; 입력 받은 상기 영상으로부터 영상 객체가 위치하는 가상 공간을 설정하는 단계; 및 입력 받은 상기 영상으로부터 기 설정된 상기 가상 공간 내에 위치하는 영상 객체를 추출하는 단계를 포함할 수 있다.
바람직하게, 상기 추출하는 단계는 상기 영상 내 각 픽셀마다 측정된 깊이 정보를 이용하여 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하고, 그 판단한 결과에 따라 기 설정된 가상 공간 내에 위치하는 영상 객체를 추출하는 것을 특징으로 한다.
바람직하게, 상기 가상 공간은, 사용자가 미리 지정한 다면체 공간인 것을 특징으로 한다.
바람직하게, 상기 설정하는 단계는 사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점으로 이루어진 하나의 평면을 포함하는 가상 공간을 설정하는 것을 특징으로 한다.
바람직하게, 상기 설정하는 단계는 사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점 각각마다 해당 점의 인접한 점들 중 유효하게 깊이가 측정된 점의 개수가 일정 개수 이상일 때, 해당 점을 포함하는 하나의 평면을 설정하고, 설정된 상기 하나의 평면을 포함하는 상기 가상 공간을 설정하는 것을 특징으로 한다.
또한, 본 발명에 따른 영상 객체를 추출하기 위한 방법은 추출된 상기 영상 객체를 포함하는 영상을 기 설정된 크기의 블록 단위로 보정하는 단계를 더 포함할 수 있다.
바람직하게, 상기 보정하는 단계는 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경인지 배경인지 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며, 그 산출된 확률에 따라 상기 영상 객체를 보정하는 것을 특징으로 한다.
바람직하게, 상기 보정하는 단계는 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경과 배경의 구분이 불확실한 타입으로 할당된 픽셀들 중 일부의 픽셀에 대하여 상기 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며, 나머지 다른 일부의 픽셀에 대하여 인접한 픽셀의 기 산출된 확률을 평균하여 그 평균한 값으로 확률을 추정하는 것을 특징으로 한다.
바람직하게, 상기 보정하는 단계는 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경인지 배경인지 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하여 그 산출된 확률에 따라 상기 영상 객체를 보정하며, 보정된 상기 영상 객체를 포함하는 영상의 각 픽셀마다 동일한 위치에 있는 이전 영상의 픽셀값과 현재 영상의 픽셀값을 기 설정된 비율로 혼합하여 그 혼합된 비율에 따라 상기 영상 객체를 보정하는 것을 특징으로 한다.
이를 통해, 본 발명은 입력된 영상으로부터 깊이 정보를 이용하여 가상 공간 내에 위치하는 영상 객체를 추출하고 그 추출된 영상 객체를 가시광 정보를 이용하여 보정함으로써, 기존의 추출 방법에 비해 영상 객체를 정확히 추출할 수 있는 효과가 있다.
또한, 본 발명은 입력된 영상으로부터 깊이 정보를 이용하여 가상 공간 내에 위치하는 영상 객체를 추출할때 uvD좌표계를 이용하고 look-up table을 이용함으로써, 객체 추출이 필요한 계산 량을 줄일 수 있는 효과가 있다.
또한, 본 발명은 입력된 영상으로부터 깊이 정보를 이용하여 가상 공간 내에 위치하는 영상 객체를 추출할때 uvD좌표계를 이용하고 look-up table을 이용함으로써, 객체 추출이 필요한 계산 량을 줄여 실시간 처리가 가능한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 객체를 추출하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 공간을 설정하는 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체를 추출하는 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체를 보정하는 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 객체의 추출 결과를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 객체를 추출하기 위한 방법을 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 6을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
특히, 본 발명에서는 깊이 정보를 이용하여 입력된 영상으로부터 특정 공간 내에 위치하는 영상 객체를 추출하고 그 추출된 영상 객체를 가시광 정보를 이용하여 보정함으로써, 영상 객체를 정확히 추출할 수 있도록 하는 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 영상 객체를 추출하기 위한 장치를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 영상 객체를 추출하기 위한 장치는 영상 입력부(110), 공간 설정부(120), 객체 추출부(130), 및 객체 보정부(140) 등을 포함하여 구성될 수 있다.
영상 입력부(110)는 깊이 카메라(depth camera)에 의해 획득한 영상 예컨대, 라이브 영상(live video), 그림 파일(image file) 등을 입력 받을 수 있다. 여기서, 그림 파일은 깊이 정보와 가시광 정보를 한 쌍(pair)으로 포함할 수 있다.
공간 설정부(120)는 입력 받은 영상으로부터 영상 객체가 위치하는 가상 공간을 설정할 수 있다. 여기서 가상 공간은 사용자가 미리 지정한 다면체 공간을 의미할 수 있다.
도 2는 본 발명의 일 실시예에 따른 공간을 설정하는 원리를 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 그림 (a)에서 공간 설정부(120)는 입력 받은 영상 내에서 영상 객체가 위치하게 되는 가상 공간을 구성하는 하나의 경계 평면(boundary plane) 예컨대, 밑면의 4개의 꼭지점(빨간색 점)을 추출할 수 있다. 여기서 일예로 사용하는 가상 공간은 육면체로 6개의 평면으로 구성될 수 있는데, 6개의 경계 평면은 윗면 1개, 측면 4개, 그리고 밑면 1개를 포함할 수 있다.
이때, 4개의 꼭지점 각각은 투영(projection) 좌표체계에서의 좌표값 (u,v,D)을 갖게 된다.
이때, 비디오 카메라는 특정 재질에 깊이를 측정하지 못할 수 있다. 공간 설정부(120)는 꼭지점으로 선택된 픽셀과 인접한 픽셀의 깊이 정보를 확인하고 그 확인한 결과로 깊이가 유효하게 측정된 픽셀의 개수가 기 설정된 임계치 미만이면 꼭지점을 다시 입력 받는다.
반면, 공간 설정부(120)는 그 확인한 결과로 깊이가 유효하게 측정된 픽셀의 개수가 기 설정된 임계치 이상이면 그 인접한 픽셀의 깊이 정보들 중 중간 크기의 깊이 정보를 갖는 픽셀을 추출하여 그 추출된 픽셀을 꼭지점으로 활용할 수 있다.
그림 (b)에서 공간 설정부(120)는 추출된 4개의 꼭지점의 좌표값을 투영 좌표체계에서 XYZ 좌표계체로 변환하고 그 변환된 4개의 꼭지점을 이용하여 제곱오차(squared error)를 최소화하는 평면(floor plan)과 법선 벡터(normal vector)를 구할 수 있다.
그림 (c)에서 공간 설정부(120)는 평면과 법선 벡터를 이용하여 윗면의 4개의 꼭지점(녹색 점)을 추출할 수 있다. 그리고 공간 설정부(120)는 윗면과 밑면 각각의 4개의 꼭지점을 기반으로 가상 공간의 무게 중심점(파란색 점)을 추출할 수 있다.
그림 (d)에서 공간 설정부(120)는 추출한 xyz 좌표체계의 9개의 점 즉, 윗면의 4개의 꼭지점, 밑면의 4개의 꼭지점, 1개의 무게 중심점을 투영 좌표계로 변환할 수 있다.
객체 추출부(130)는 이렇게 설정된 가상 공간을 이용하여 영상 객체를 추출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 객체를 추출하는 원리를 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 객체 추출부(130)는 기 설정된 가상 공간을 이용하여 영상의 각 픽셀마다 전경(foreground) 또는 배경(background)인지를 판단할 수 있다.
예컨대, 영상의 어느 한 픽셀이 기 설정된 가상 공간 내에 들어오지 않으면 배경으로 표시하고(빨간색 점), 가상 공간 내에 들어오면 전경으로 표시할 수 있다(노란색 점).
객체 추출부(130)는 입력되는 영상의 투영 좌표체계를 XYZ좌표체계로 변환한 후에 변환된 XYZ 좌표체계에서 각 픽셀이 가상 공간 내에 포함되는지의 여부를 판단하게 된다. 그러나 입력된 영상을 XYZ 좌표체계를 변환하는 과정이 반드시 필요하기 때문에 실시간 처리가 요구되는 시스템의 전체적인 성능을 저하시키는 원인이 된다.
따라서 전체적인 성능 향상을 위해 판단 과정의 계산량을 최소화할 필요가 있는데, 본 발명에서는 투영 좌표체계에서 각 픽셀이 가상 공간 내에 포함되는지의 여부를 판단하고자 한다.
예컨대, pin-hole 카메라 모델에서 (X,Y,Z)와 (u,v,D)의 관계는 다음의 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
D = Z, u = (f/Z)*X, v = (f/Z)*Y
(X,Y,Z) 좌표계에서 임의의 평면은 다음의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
aX + bY + cZ + d = 0
상기 [수학식2]에 상기 [수학식1]을 대입하면 다음의 [수학식 3]을 구할 수 있다.
[수학식 3]
(a/f)*u + (b/f)*v + 1 + d/D = 0
따라서 (X,Y,Z) 공간에서의 평면은 (u,v,D-1) 공간에서도 언제나 평면을 이루는 것을 알 수 있는데, 본 발명은 (u,v,D)를 (u,v,D-1)로 변환하여 사용하고자 한다.
객체 추출부(130)는 입력되는 영상의 각 픽셀의 값 (u,v,D)가 기 설정된 가상 공간 내에 포함되는지의 여부를 다음의 [수학식 4]를 이용하여 판단할 수 있다.
[수학식 4]
Figure 112012033086760-pat00001
여기서, i는 1,2,3,4,5,6의 값을 갖을 수 있고 이는 가상 공간을 이루는 경계 평면 각각을 나타내고, (us, vs, Ds)는 기 설정된 가상 공간에 포함되는 한 점, 예를 들어 가상 공간의 무게 중심점의 좌표값을 나타낼 수 있다.
이때, 상기 [수학식 4]에서, 두번째 항목
Figure 112012033086760-pat00002
는 항상 일정하고 첫번째 항목
Figure 112012033086760-pat00003
의
Figure 112012033086760-pat00004
는 항상 일정하다는 것을 알 수 있다. 따라서 두번째 항목의 ciD-1만 계산되면 판단 결과는 쉽게 도출될 수 있게 된다.
본 발명에서는 이러한 판단 과정에서의 계산량을 줄이기 위해 두번째 항목
Figure 112012033086760-pat00005
과 첫번째 항목
Figure 112012033086760-pat00006
의
Figure 112012033086760-pat00007
를 미리 계산하여 그 계산된 값들을 룩업 테이블(lookup table)에 기 저장해 두고, 입력되는 영상의 각 픽셀의 ciD-1만 계산하여 계산된 ciD-1과 룩업 테이블을 이용하여 각 픽셀이 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하게 된다.
객체 보정부(140)는 추출된 영상 객체를 가시광 정보 예컨대, 색상 등을 이용하여 보정할 수 있다. 즉, 객체 보정부(140)는 앞선 객체 추출부(130)에서 깊이 정보를 측정하지 못해 전경과 배경으로 구분되지 못했던 픽셀을 다시 전경과 배경으로 구분하게 된다.
도 4는 본 발명의 일 실시예에 따른 객체를 보정하는 원리를 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 그림 (a)에서 객체 보정부(140)는 영상 내 기 설정된 크기의 블록(block)을 설정할 수 있는데, 여기서 블록의 크기는 필요에 따라 변경될 수 있다.
객체 보정부(140)는 영상을 블록 단위로 처리하되, 블록의 각 픽셀마다 신뢰도(confidence) 계산을 위한 타입을 할당할 수 있다. 즉, 객체 보정부(140)는 1)블록 내 전체 픽셀이 배경이면 모든 픽셀에 -1을 할당하고, 2)블록 내 전체 픽셀이 전경이면 모든 픽셀에 1을 할당하게 된다. 그리고 객체 보정부(140)는 블록 내 전경과 배경이 섞여 있는 경우 3)전경인 픽셀에는 1을 할당하고, 2)배경이면서 깊이가 측정된 픽셀은 0을 할당하며, 3)배경이면서 깊이가 측정되지 않은 픽셀은 0을 할당하게 된다.
즉, 모든 픽셀은 -1, 0, 1로 나타낼 수 있는데, -1은 배경임이 분명한 픽셀, 0은 전경인지 배경인지 불확실한 픽셀, 1은 전경임이 분명한 픽셀을 나타낸다.
객체 보정부(140)는 타입이 0으로 할당된 픽셀에 대해 전경에 속할 확률을 산출할 수 있다. 이때, 본 발명에서는 동일한 영상 객체 내에서 얻은 픽셀은 컬러(color)가 유사하고, (u,v) 좌표체계에서 가까이 위치한다는 가정을 할 수 있다.
객체 보정부(140)는 다음의 [수학식 5]를 이용하여 확률을 산출할 수 있다.
[수학식 5]
Figure 112012033086760-pat00008
여기서, i는 계산하려는 현재 픽셀, j는 i와 인접한 픽셀, FBj는 j번째 픽셀의 타입을 나타낸다.
이때, 객체 보정부(140)는 실시간 처리를 위하여 타입이 0으로 할당된 모든 픽셀에 대하여 확률을 산출하지 않고 일부 픽셀에 대하여만 확률을 산출하게 된다. 예컨대, 그림 (b) 내지 (c)에서 객체 보정부(140)는 일부의 픽셀(파란색 사각형)에 대해서만 [수학식 3]을 이용하여 확률을 산출하고 나머지 다른 일부의 픽셀(녹색 사각형)은 인접한 픽셀의 계산 결과를 평균하여 그 평균한 값으로 확률을 추정하게 된다.
또한, 그림 (d)에서 객체 보정부(140)는 산출된 확률에 따라 영상 객체를 보정할 수 있다. 즉, 객체 보정부(140)는 확률이 기 설정된 임계치 이상이면 해당 픽셀을 전경으로 판단하게 된다.
그림 (e)에서 객체 보정부(140)는 확률에 따라 보정된 영상 객체에 대한 시간영역 필터링을 수행할 수 있다. 즉, 객체 보정부(140)는 연속적인 영상을 입력 받는 경우 이전 영상과 현재 영상의 결과들을 고려하여 현재 영상의 영상 객체를 보정하게 된다.
예컨대, 이전 영상의 결과와 현재 영상의 결과를 2:8로 하여 그 평균값을 적용한다. 이때 잔상이 나타나는 현상을 방지하기 위해 [0.2, 0.8]을 [0,1]로 리스케일(rescale)한다.
이때, 이전 영상의 결과 현재 영상의 결과에 대한 비율은 조절이 가능할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 객체의 추출 결과를 보여주는 도면이다.
도 5에 도시한 바와 같이, 그림 (a)는 객체 추출부로부터 추출된 객체 영상을 보여주고 있고, 그림 (b)과 (c)는 객체 보정부로부터 보정된 객체 영상을 보여주고 있다. 특히, 그림 (b)는 전경에 속할 확률에 따라 보정된 영상 객체를 보여주고 있고 그림 (c)는 보정된 영상 객체에 대한 시간영역 필터링을 수행한 결과를 보여주고 있다.
그림 (a)와 비교하였을 때, 그림 (b)와 (c)가 영상 객체를 정확하게 추출하고 있다.
도 6은 본 발명의 일 실시예에 따른 영상 객체를 추출하기 위한 방법을 나타내는 도면이다.
도 6에 도시한 바와 같이, 본 발명에 따른 영상 객체를 추출하기 위한 장치(이하 영상객체 추출장치라고 한다)는 영상 예컨대, 라이브 영상, 그림 파일 등을 입력 받을 수 있다(S610).
다음으로, 영상객체 추출장치는 입력 받은 영상으로부터 영상 객체가 위치하는 가상 공간을 설정할 수 있다(S620).
다음으로, 영상객체 추출장치는 설정된 가상 공간을 이용하여 영상 객체를 추출할 수 있다(S630). 즉, 영상객체 추출장치는 입력되는 영상의 각 픽셀이 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하고 그 판단한 결과에 따라 영상 객체를 추출하게 된다.
다음으로, 영상객체 추출장치는 추출된 영상 객체를 가시광 정보를 이용하여 보정할 수 있다(S640). 구체적으로 설명하면, 영상객체 추출장치는 영상을 블록 단위로 처리하되, 블록의 각 픽셀마다 신뢰도 계산을 위한 타입을 할당하는데, 모든 픽셀을 배경 즉, 배경이 분명한 픽셀에 타입 -1을 할당하고, 센서의 노이즈 등으로 인해 깊이가 측정되지 않아 전경인지 배경인지 불확실한 픽셀에 타입 0을 할당하며, 전경이 분명한 픽셀에 1을 할당할 수 있다.
영상객체 추출장치는 타입이 0으로 할당된 픽셀에 해대 전경에 속할 확률을 산출하고 산출된 확률에 따라 영상 객체를 보정할 수 있다. 즉, 객체 보정부(140)는 확률이 기 설정된 임계치 이상이면 해당 픽셀을 전경으로 판단하여 영상 객체를 보정하게 된다.
영상객체 추출장치는 확률에 따라 보정된 영상 객체에 대한 시간영역 필터링을 수행할 수 있다. 즉, 영상객체 추출장치는 연속적인 영상을 입력 받는 경우 이전 영상과 현재 영상의 결과들을 일정 비율로 혼합하여 영상 객체를 보정하게 된다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 입력부
120: 공간 설정부
130: 객체 추출부
140: 객체 보정부

Claims (20)

  1. 영상을 입력 받는 영상 입력부;
    입력 받은 상기 영상으로부터 영상 객체가 위치하는 가상 공간을 설정하는 공간 설정부;
    입력 받은 상기 영상으로부터 기 설정된 상기 가상 공간 내에 위치하는 영상 객체를 추출하는 객체 추출부; 및
    추출된 상기 영상 객체를 포함하는 영상을 가시광 정보를 이용하여 보정하는 객체 보정부를 포함하고,
    상기 객체 보정부는, 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경과 배경의 구분이 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며, 그 산출된 확률에 따라 상기 영상 객체를 보정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  2. 제1 항에 있어서,
    상기 객체 추출부는,
    상기 영상 내 각 픽셀마다 측정된 깊이 정보를 이용하여 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하고, 그 판단한 결과에 따라 기 설정된 가상 공간 내에 위치하는 영상 객체를 추출하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  3. 제2 항에 있어서,
    상기 객체 추출부는,
    투영좌표체계에서 상기 영상 내 각 픽셀마다 측정된 깊이 정보를 이용하여 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  4. 제1 항에 있어서,
    상기 가상 공간은, 사용자가 미리 지정한 다면체 공간인 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  5. 제1 항에 있어서,
    상기 공간 설정부는,
    사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점으로 이루어진 하나의 평면을 포함하는 가상 공간을 설정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  6. 제5 항에 있어서,
    상기 공간 설정부는,
    사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점 각각마다 해당 점의 인접한 점들 중 유효하게 깊이가 측정된 점의 개수가 일정 개수 이상일 때, 해당 점을 포함하는 하나의 평면을 설정하고, 설정된 상기 하나의 평면을 포함하는 상기 가상 공간을 설정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 객체 보정부는,
    상기 가상 공간 내에 위치하는 배경으로 판단된 픽셀에 타입 -1을 할당하고, 전경과 배경의 구분이 불확실한 픽셀에 타입 0을 할당하며, 전경으로 판단된 픽셀에 1을 할당하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  10. 제1항에 있어서,
    상기 객체 보정부는,
    상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고,
    전경인지 배경인지 불확실한 타입으로 할당된 픽셀들 중 일부의 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며,
    나머지 다른 일부의 픽셀에 대하여 인접한 픽셀의 기 산출된 확률을 평균하여 그 평균한 값으로 확률을 추정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  11. 제1항에 있어서,
    상기 객체 보정부는,
    상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고,
    전경인지 배경인지 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하여 그 산출된 확률에 따라 상기 영상 객체를 보정하며,
    보정된 상기 영상 객체를 포함하는 영상의 각 픽셀마다 동일한 위치에 있는 이전 영상의 픽셀값과 현재 영상의 픽셀값을 기 설정된 비율로 혼합하여 그 혼합된 비율에 따라 상기 영상 객체를 보정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 장치.
  12. 영상을 입력 받는 단계;
    입력 받은 상기 영상으로부터 영상 객체가 위치하는 가상 공간을 설정하는 단계;
    입력 받은 상기 영상으로부터 기 설정된 상기 가상 공간 내에 위치하는 영상 객체를 추출하는 단계; 및
    추출된 상기 영상 객체를 포함하는 영상을 기 설정된 크기의 블록 단위로 보정하는 단계를 포함하고,
    상기 보정하는 단계에서, 상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고, 전경인지 배경인지 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며, 그 산출된 확률에 따라 상기 영상 객체를 보정하는 영상 객체를 추출하기 위한 방법.
  13. 제12 항에 있어서,
    상기 추출하는 단계는,
    상기 영상 내 각 픽셀마다 측정된 깊이 정보를 이용하여 기 설정된 가상 공간 내에 포함되는지의 여부를 판단하고, 그 판단한 결과에 따라 기 설정된 가상 공간 내에 위치하는 영상 객체를 추출하는 것을 특징으로 하는 영상 객체를 추출하기 위한 방법.
  14. 제12 항에 있어서,
    상기 가상 공간은, 사용자가 미리 지정한 다면체 공간인 것을 특징으로 하는 영상 객체를 추출하기 위한 방법.
  15. 제12 항에 있어서,
    상기 설정하는 단계는,
    사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점으로 이루어진 하나의 평면을 포함하는 가상 공간을 설정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 방법.
  16. 제15 항에 있어서,
    상기 설정하는 단계는,
    사용자로부터 다수의 점을 입력 받고, 입력 받은 상기 다수의 점 각각마다 해당 점의 인접한 점들 중 유효하게 깊이가 측정된 점의 개수가 일정 개수 이상일 때, 해당 점을 포함하는 하나의 평면을 설정하고, 설정된 상기 하나의 평면을 포함하는 상기 가상 공간을 설정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 방법.
  17. 삭제
  18. 삭제
  19. 제12항에 있어서,
    상기 보정하는 단계는,
    상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고,
    전경과 배경의 구분이 불확실한 타입으로 할당된 픽셀들 중 일부의 픽셀에 대하여 상기 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하며,
    나머지 다른 일부의 픽셀에 대하여 인접한 픽셀의 기 산출된 확률을 평균하여 그 평균한 값으로 확률을 추정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 방법.
  20. 제12항에 있어서,
    상기 보정하는 단계는,
    상기 영상 객체를 포함하는 영상 내 기 설정된 크기의 블록 단위로 각 픽셀마다 타입을 할당하고,
    전경인지 배경인지 불확실한 타입으로 할당된 픽셀에 대하여 전경에 속할 확률을 인접한 픽셀과의 거리 차이와 색상 차이를 이용하여 산출하여 그 산출된 확률에 따라 상기 영상 객체를 보정하며,
    보정된 상기 영상 객체를 포함하는 영상의 각 픽셀마다 동일한 위치에 있는 이전 영상의 픽셀값과 현재 영상의 픽셀값을 기 설정된 비율로 혼합하여 그 혼합된 비율에 따라 상기 영상 객체를 보정하는 것을 특징으로 하는 영상 객체를 추출하기 위한 방법.
KR1020120043281A 2012-04-25 2012-04-25 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법 KR101697652B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120043281A KR101697652B1 (ko) 2012-04-25 2012-04-25 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법
US13/687,800 US9294753B2 (en) 2012-04-25 2012-11-28 Apparatus for extracting image object in 3D image system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120043281A KR101697652B1 (ko) 2012-04-25 2012-04-25 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130120202A KR20130120202A (ko) 2013-11-04
KR101697652B1 true KR101697652B1 (ko) 2017-01-18

Family

ID=49476904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120043281A KR101697652B1 (ko) 2012-04-25 2012-04-25 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9294753B2 (ko)
KR (1) KR101697652B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124635B2 (en) 2012-11-30 2015-09-01 Intel Corporation Verified sensor data processing
CN105247566B (zh) 2013-06-23 2020-10-16 英特尔公司 基于上下文关系选择性地公开信息的方法、装置、介质
KR102535617B1 (ko) 2016-01-04 2023-05-24 한국전자통신연구원 깊이 영상에서의 객체 검출 시스템 및 방법
CA2949383C (en) * 2016-11-22 2023-09-05 Square Enix, Ltd. Image processing method and computer-readable medium
KR102129458B1 (ko) 2017-11-22 2020-07-08 한국전자통신연구원 객체의 3차원 정보 복원 방법 및 장치
KR101977705B1 (ko) * 2018-10-19 2019-05-13 공간정보기술 주식회사 위성영상 기반 공간 객체추출을 위한 고속화 시스템
US10915786B2 (en) * 2019-02-28 2021-02-09 Sap Se Object detection and candidate filtering system
US10957049B2 (en) * 2019-07-31 2021-03-23 Intel Corporation Unsupervised image segmentation based on a background likelihood estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070297674A1 (en) * 2006-06-02 2007-12-27 Siemens Medical Solutions Usa, Inc. Deformation of mask-based images
JP2011028573A (ja) * 2009-07-27 2011-02-10 Panasonic Electric Works Co Ltd 操作装置
US20110216213A1 (en) * 2010-03-08 2011-09-08 Yasutaka Kawahata Method for estimating a plane in a range image and range image camera

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2923894B1 (ja) * 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
JP2001188910A (ja) * 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
US8086050B2 (en) * 2004-08-25 2011-12-27 Ricoh Co., Ltd. Multi-resolution segmentation and fill
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US8331695B1 (en) * 2009-02-12 2012-12-11 Xilinx, Inc. Integrated circuit having a circuit for and method of updating parameters associated with a background estimation portion of a video frame
KR101064946B1 (ko) 2009-08-19 2011-09-15 한국전자통신연구원 다중 영상 분석 기반의 객체추출 장치 및 그 방법
WO2011121117A1 (en) * 2010-04-02 2011-10-06 Imec Virtual camera system
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070297674A1 (en) * 2006-06-02 2007-12-27 Siemens Medical Solutions Usa, Inc. Deformation of mask-based images
JP2011028573A (ja) * 2009-07-27 2011-02-10 Panasonic Electric Works Co Ltd 操作装置
US20110216213A1 (en) * 2010-03-08 2011-09-08 Yasutaka Kawahata Method for estimating a plane in a range image and range image camera

Also Published As

Publication number Publication date
US9294753B2 (en) 2016-03-22
US20130286162A1 (en) 2013-10-31
KR20130120202A (ko) 2013-11-04

Similar Documents

Publication Publication Date Title
KR101697652B1 (ko) 3차원 영상 시스템에서 영상 객체를 추출하기 위한 장치 및 그 방법
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
US11050994B2 (en) Virtual reality parallax correction
TWI536318B (zh) 深度測量之品質提升
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
US11488354B2 (en) Information processing apparatus and information processing method
CN106688012A (zh) 深度图增强
JPWO2019107180A1 (ja) 符号化装置、符号化方法、復号装置、および復号方法
US20160005210A1 (en) Rendering system and rendering method thereof
EP3616399B1 (en) Apparatus and method for processing a depth map
US10339702B2 (en) Method for improving occluded edge quality in augmented reality based on depth camera
US20230419524A1 (en) Apparatus and method for processing a depth map
KR102231759B1 (ko) 표면 모델링을 통한 깊이 영상의 처리 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102267442B1 (ko) 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법
KR101585059B1 (ko) 영상 데이터 처리 방법 및 디바이스
US20240144595A1 (en) 3d scene reconstruction with additional scene attributes
US20240096019A1 (en) Key frame selection using a voxel grid
US20230064963A1 (en) Feature Detection Methods and Systems Using Deconstructed Color Image Data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4