KR20160114929A - 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치 - Google Patents

윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치 Download PDF

Info

Publication number
KR20160114929A
KR20160114929A KR1020150041428A KR20150041428A KR20160114929A KR 20160114929 A KR20160114929 A KR 20160114929A KR 1020150041428 A KR1020150041428 A KR 1020150041428A KR 20150041428 A KR20150041428 A KR 20150041428A KR 20160114929 A KR20160114929 A KR 20160114929A
Authority
KR
South Korea
Prior art keywords
depth
area
contour
overlap
block
Prior art date
Application number
KR1020150041428A
Other languages
English (en)
Other versions
KR101664868B1 (ko
Inventor
최종호
Original Assignee
(주)이더블유비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이더블유비엠 filed Critical (주)이더블유비엠
Priority to KR1020150041428A priority Critical patent/KR101664868B1/ko
Publication of KR20160114929A publication Critical patent/KR20160114929A/ko
Application granted granted Critical
Publication of KR101664868B1 publication Critical patent/KR101664868B1/ko

Links

Images

Classifications

    • H04N13/0246—
    • H04N13/0011—
    • H04N13/0271—
    • H04N13/0282—

Landscapes

  • Image Analysis (AREA)

Abstract

4-컬러 센서로부터의 컬러영상 및 적외선영상과 함께 깊이정보를 입력받는 컬러영상 및 깊이정보 입력단계와, 8 연결요소 분석(Connected Component Analysis) 기반의 이웃화소에 접근에 의하여, 윈도우 슬라이딩 형태로 시드포인트(Seed Point)를 선택하고, 시드포인트를 중심으로 해당 범위 내에 있는 유사한 값을 갖는 화소를 탐색하여 영역확장을 행하고, 영역확장을 이용한 블럽추출을 위하여 확장된 영역 순서대로 블럽 레이블링 처리를 행하여 영역분할을 행하는 영역분할단계와, 영역 간의 관계 분석에 의하여, 조건에 따른 부정확한 깊이정보에 대한 영역을 추출하는 영역관계 검사단계와, 추출된 영역에 대한 정보를 이용하여, 원 영상 내 깊이정보에 대한 보정처리를 행하는 깊이정보 보정단계를 포함함을 특징으로 한다.

Description

윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치 {Compensation method and apparatus for depth image based on outline}
본 발명은, 윤곽선을 기반한 깊이영상(깊이 맵, DepthMap)에 대한 보정방법 및 장치에 관한 것으로서, 더욱 상세히는, 깊이영상 후처리를 위하여, 싱글 프레임 기반 하에 영역분할을 이용하여, 4-컬러 기반의 윤곽선-깊이 맵 내의 부정확하거나 불필요한 깊이정보에 대하여 선별을 수행하고, 다른 영역과의 중첩관계를 고려하여, 깊이영상에 대한 보정을 행하는 방법 및 장치에 관한 것이다.
영상처리기술의 급격한 발전으로, 컬러영상과 깊이영상을 포함하는 3차원 카메라 기술이 이슈화되고 있다.
3차원 카메라 기술로는,
(1) 스테레오 카메라(Bumblebee2)
(2) IR Pattern(Randomized dots) 기반 카메라(Kinect, Xtion)
(3) Time of Flight(TOF) 카메라 (Kinect2)
등이 있다.
이는, 깊이영상을 이용한 3D 재구조화(Reconstruction), XYZ 3차원 공간상의 표현(Description) 확대 등을 통한 다양한 응용분야에 적용 가능하다.
예컨대 다음의 응용분야를 들 수 있다.
(1) 스테레오 3D 영상 생성 - 3D 디스플레이
(2) 디지털 카메라의 De-Focusing or Auto-Focusing
(3) 3D Printing의 3D Reconstruction
(4) 3D 동작인식(Gesture Recognition)
그리고 이 분야의 종래기술로는,
(1) Cost aggregation 기반의 Graph Cut을 이용한 Global energy minimization의 영역 분류
(2) Global Regularization을 이용한 incorrect 3D patchs 제거
(3) Optical flow 기반의 Motion model를 이용한 윤곽선 보정
등을 들 수 있다.
특허공개 10-2013-0092157
그런데, 깊이정보가 반영된 컬러영상(깊이 맵)에 있어서, 부분적으로 깊이가 부정확하게 처리되는 경우가 있다. 이는 예컨대, 어두운 부분을 실제와 다르게 원거리로 잘못 인식하거나, 밝은 부분을 실제와 다르게 근거리로 잘못 인식함으로써 발생될 수 있다. 따라서 이 부정확한 깊이를 제거하거나 보정할 필요가 있다.
종래에는, 깊이정보가 반영된 컬러영상에 있어서, 부분적으로 깊이가 부정확하게 처리된 것을 보정하기 위하여, 도 15에 나타낸 바와 같이, 컬러 및 깊이정보가 입력(101)되면, 노이즈 필터링(102)을 거쳐서, 전역적인 정규화(Regularization) 처리(103)(폐색(Occlusion)된 부분을 채우기(Filling) 처리를 행함)를 한 후, 왜곡된 깊이정보를 선별(104)하여, 이 왜곡된 깊이정보를 보정(105)하는 과정을 수행하였다. 여기서, 왜곡된 깊이정보를 선별(104)하여 보정(105)하는 처리는, 주변 이웃화소 간의 관계를 분석하여 깊이정보가 왜곡된 영역을 추출하여 보정을 행하는 것이다.
그런데, 종래기술에 의하면, (1) 연산량이 많아서 처리속도가 느리고, (2) 주변 이웃화소에 의한 영향이 많고, (3) 필터링된 경계선에 의한 영향이 많다는 문제점이 있었다.
본 발명은, 상기 문제상황에 대한 보정된 결과 획득을 위해, 윤곽선 기반의 깊이정보에 대한 보정 기술 개발을 행하였다. 즉, 4-컬러 카메라의 깊이 맵을 기반한 영역확장을 수행하여, 부정확한 깊이정보에 대한 정확한 선별의 강인성을 부여하고, 유효한 블럽(Blob) 판단을 수행하여 잡음제거 및 이웃화소간의 유사성 향상을 도모하고자 한다. 이때, 비슷한 깊이 값을 가지는 화소가 주변에 있을시, 그룹화시켜주고, 그룹간의 관계를 분석한다.
상기 과제를 달성하기 위한 본 발명의 윤곽선을 기반한 깊이영상에 대한 보정방법에 있어서는, 4-컬러 센서로부터의 컬러영상 및 적외선영상과 함께 깊이정보를 입력받는 컬러영상 및 깊이정보 입력단계와, 8 연결요소 분석(Connected Component Analysis) 기반의 이웃화소에 접근에 의하여, 윈도우 슬라이딩 형태로 시드포인트(Seed Point)를 선택하고, 시드포인트를 중심으로 해당 범위 내에 있는 유사한 값을 갖는 화소를 탐색하여 영역확장을 행하고, 영역확장을 이용한 블럽추출을 위하여 확장된 영역 순서대로 블럽 레이블링 처리를 행하여 영역분할을 행하는 영역분할단계와, 영역 간의 관계 분석에 의하여, 조건에 따른 부정확한 깊이정보에 대한 영역을 추출하는 영역관계 검사단계와, 추출된 영역에 대한 정보를 이용하여, 원 영상 내 깊이정보에 대한 보정처리를 행하는 깊이정보 보정단계를 포함함을 특징으로 한다.
여기서, 불필요한 영역을 제거하여 유효한 블럽을 추출하는 유효영역 판단단계가 더 구비됨이 바람직하다.
여기서, 상기 유효영역 판단단계는, 엣지의 포함 규모가 작은 것을 필터링하도록 이루어짐이 바람직하다.
여기서, 필터링을 위하여, 상기 영역분할단계 중 엣지가 미리 정해진 픽셀수보다 작으면, 세그먼트화 0 처리를 행하여 깊이를 제거하여 엣지가 적은 블럽 제거를 행하는 1차적인 세그먼트화 감축을 행함이 바람직하다.
여기서, 세그먼트화 영역을 엣지픽셀 수를 기준하여 내림차순 정렬하고, 1 프레임 기준 토털 엣지픽셀 수가 미리 정해진 비율 이하인 세그먼트화 영역이면, 세그먼트화 0 처리를 행하여 2차적인 세그먼트화 감축을 행함이 바람직하다.
여기서, 1 프레임 기준 토털 엣지픽셀 수가 PSF 뱅크 개수보다 적지 않음이 바람직하다.
한편, 상기 영역관계 검사단계는, 2중 루프로 오버랩 영역 판단을 행함이 바람직하다.
한편, 상기 깊이정보 보정단계는, 추출된 블럽간의 관계에 따라서 해당 조건에 따라 평가를 행하여, 보정대상 영역을 선정하고, 선정된 영역 내 적합한 깊이 값 지정을 행함이 바람직하다.
여기서, 상기 조건에 따른 보정대상 영역 선정은, (a) 케이스 1 (블럽 내 블럽이 생겨서 존재하는 경우), (b) 케이스 2 (블럽과 블럽이 오버랩하여 교집합이 될 경우), 및 (c) 케이스 3 (블럽과 블럽이 전혀 안 겹쳐서 서로 연관이 없는 경우)중의 하나로 수행함이 바람직하다.
그리고, 정확한 영역의 선정은, 영역 내 픽셀의 비중 기반 방식을 선택하고,
해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로 [오버랩(엣지수)/블럽 a(엣지수)] / [오버랩(엣지수)/블럽 b(엣지수)]의 계산 결과가 1 값에 가장 근사화된 영역을 지정함이 바람직하다.
또는, 정확한 영역의 선정은, 영역의 크기 비교 기반 방식을 선택하고, 해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로 [오버랩(크기)/블럽 a(크기)] / [오버랩(크기)/블럽 b(크기)]의 계산 결과가 1 값에 가장 근사화된 영역을 지정함이 바람직하다.
한편, 케이스 1의 경우, 내부블럽 깊이가 외부블럽 깊이보다 근거리가 아니면, 내부블럽 내 깊이값을 외부블럽의 깊이값으로 교체함이 바람직하다.
그리고, 케이스 2의 경우, 오버랩 깊이가 블럽 x 깊이보다 근거리가 아니면, 해당 블럽에 가장 많은 오버랩 규모를 차지하는 블럽을 탐색하여, max( 오버랩(크기) / 블럽 x(크기) )가 되는 영역을 추출하고, 오버랩 내 깊이값을 블럽 x의 깊이값으로 교체함이 바람직하다.
한편, 상기 과제를 달성하기 위한 본 발명의 윤곽선을 기반한 깊이영상에 대한 보정장치에 있어서는, 4-컬러 센서로부터의 컬러영상 및 적외선영상과 함께 깊이정보를 입력받는 컬러영상 및 깊이정보 입력부와, 8 연결요소 분석(Connected Component Analysis) 기반의 이웃화소에 접근에 의하여, 윈도우 슬라이딩 형태로 시드포인트(Seed Point)를 선택하고, 시드포인트를 중심으로 해당 범위 내에 있는 유사한 값을 갖는 화소를 탐색하여 영역확장을 행하고, 영역확장을 이용한 블럽추출을 위하여 확장된 영역 순서대로 블럽 레이블링 처리를 행하여 영역분할을 행하는 영역분할부와, 영역 간의 관계 분석에 의하여, 조건에 따른 부정확한 깊이정보에 대한 영역을 추출하는 영역관계 검사부와, 추출된 영역에 대한 정보를 이용하여, 원 영상 내 깊이정보에 대한 보정처리를 행하는 깊이정보 보정부를 포함함을 특징으로 한다.
여기서, 불필요한 영역을 제거하여 유효한 블럽을 추출하는 유효영역 판단부가 더 구비됨이 바람직하다.
여기서, 상기 유효영역 판단부는, 엣지의 포함 규모가 작은 것을 필터링하도록 이루어짐이 바람직하다.
여기서, 필터링을 위하여, 상기 영역분할부에서 엣지가 미리 정해진 픽셀수보다 작으면, 세그먼트화 0 처리를 행하여 깊이를 제거하여 엣지가 적은 블럽 제거를 행하는 1차적인 세그먼트화 감축을 행함이 바람직하다.
여기서, 세그먼트화 영역을 엣지픽셀 수를 기준하여 내림차순 정렬하고, 1 프레임 기준 토털 엣지픽셀 수가 미리 정해진 비율 이하인 세그먼트화 영역이면, 세그먼트화 0 처리를 행하여 2차적인 세그먼트화 감축을 행함이 바람직하다.
여기서, 1 프레임 기준 토털 엣지픽셀 수가 PSF 뱅크 개수보다 적지 않음이 바람직하다.
한편, 상기 영역관계 검사부는, 2중 루프로 오버랩 영역 판단을 행함이 바람직하다.
그리고, 상기 깊이정보 보정부는, 추출된 블럽간의 관계에 따라서 해당 조건에 따라 평가를 행하여, 보정대상 영역을 선정하고, 선정된 영역 내 적합한 깊이 값 지정을 행함이 바람직하다.
여기서, 상기 조건에 따른 보정대상 영역 선정은, (a) 케이스 1 (블럽 내 블럽이 생겨서 존재하는 경우), (b) 케이스 2 (블럽과 블럽이 오버랩하여 교집합이 될 경우), 및 (c) 케이스 3 (블럽과 블럽이 전혀 안 겹쳐서 서로 연관이 없는 경우) 중의 하나로 수행함이 바람직하다.
그리고, 정확한 영역의 선정은, 영역 내 픽셀의 비중 기반 방식을 선택하고, 해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로 [오버랩(엣지수)/블럽 a(엣지수)] / [오버랩(엣지수)/블럽 b(엣지수)]의 계산 결과가 1 값에 가장 근사화된 영역을 지정함이 바람직하다.
또는, 청구항 21에 있어서, 정확한 영역의 선정은, 영역의 크기 비교 기반 방식을 선택하고, 해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로 [오버랩(크기)/블럽 a(크기)] / [오버랩(크기)/블럽 b(크기)]의 계산 결과가 1 값에 가장 근사화된 영역을 지정함이 바람직하다.
한편, 케이스 1의 경우, 내부블럽 깊이가 외부블럽 깊이보다 근거리가 아니면, 내부블럽 내 깊이값을 외부블럽의 깊이값으로 교체함이 바람직하다.
그리고, 케이스 2의 경우, 오버랩 깊이가 블럽 x 깊이보다 근거리가 아니면, 해당 블럽에 가장 많은 오버랩 규모를 차지하는 블럽을 탐색하여, max( 오버랩(크기) / 블럽 x(크기) )가 되는 영역을 추출하고, 오버랩 내 깊이값을 블럽 x의 깊이값으로 교체함이 바람직하다.
본 발명에 의하면, 윤곽선 기반의 깊이정보에 대한 보정에 의하여, 4-컬러 카메라의 깊이 맵을 기반한 영역확장을 수행하여, 비슷한 깊이 값을 가지는 화소가 주변에 있을시, 그룹화시켜주고, 그룹간의 관계를 분석하여, 부정확한 깊이정보에 대한 정확한 선별의 강인성을 부여하고, 유효한 블럽(Blob) 판단을 수행하여 잡음제거 및 이웃화소간의 유사성 향상을 도모할 수 있다.
도 1은, 본 발명의 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치에 있어서 수행되는 처리를 순차로 나타낸 개략 블럭도이다.
도 2는 본 발명의 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치에 있어서의 처리의 흐름을 상세히 나타내는 블럭도이다.
도 3은, 영역분할부에서 수행되는 영역 확장에 따른 영역분할의 예시 설명도이다.
도 4는, 영역분할부의 구현예를 나타내는 예시 블럭도이다.
도 5는, 도 3의 영역분할에 대하여 블럽 레이블링된 결과를 나타내는 예시 설명도이다.
도 6은, 유효영역 판단부에서 수행되는 필터링의 개념을 설명하기 위한 예시 화면이다.
도 7은, 필터링을 위한 2단계 세그먼트 제거처리의 예시 흐름도와 이때 이용되는 내림차순 정렬의 예시도이다.
도 8은, 영역관계 검사부에서 수행되는 오버랩 채킹 처리의 흐름을 나타내는 플로챠트이다.
도 9는, 오버랩 영역의 정의와, 영역에 대한 정보의 예시도이다.
도 10은, 부정확한 깊이 정보 보정부에서 수행되는 조건에 따른 부정확한 영역의 타입을 설명하기 위한 설명도이다.
도 11은, 올바른 영역의 선택을 위한 2가지 방식을 설명하기 위한 설명도이다.
도 12는, 경우 1에 대한 처리방식을 설명하기 위한 설명도이다.
도 13은, 경우 2에 대한 처리방식을 설명하기 위한 설명도이다.
도 14는, 본 발명에 의한 처리결과와 효과를 나타내는 영상이다.
도 15는, 종래의 깊이영상에 대한 보정방식에 있어서 수행되는 처리를 순차로 나타낸 개략 블럭도이다.
도 16은, 종래의 4-컬러 기반의 윤곽선-깊이 맵 내의 부정확하거나 불필요한 깊이정보를 가지는 깊이영상의 예시도이다.
이하, 첨부도면을 참조하면서 본 발명을 보다 상세히 설명한다. 다만, 동일기능을 구비하여 동일역할을 하는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 본 발명은 방법, 또는 이것이 하드웨어로 구현된 장치로 나타날 수 있다.
본 발명은, 도 1에 도시된 바와 같이, 컬러영상 및 깊이정보 입력부(1), 영역분할부(Region Growing)(2), 유효영역 판단부(Valid Blob Decision)(3), 영역관계 검사부(Overlap Checking)(4), 깊이정보 보정부(Compensation of Incorrect Depth)(5)를 가진다.
상기 컬러영상 및 깊이정보 입력부(1)는, 4-컬러(RGBIR) 데이터와 깊이정보(Intensity)를 입력받는다. 도 17 및 도 18에 예시된 바와 같이, 4-컬러 센서, 즉 카메라(영상취득장치)(cam)를 통하여 하나의 센서에서 동일각도로 동시에 컬러영상(RGB)과 적외선영상(IR)을 취득하고, 이들로부터 깊이정보가 산출된다. 이 영상에 깊이정보가 결합된 것이 깊이 맵이 된다.
상기 영역분할부(Region Growing)(2)는,
(1) 영역확장을 이용한 블럽추출
(2) 영역의 크기가 작은 영역 내 깊이는 제거 그리고 패스
의 두 가지 역할을 수행한다.
즉, 8 연결요소 분석(Connected Component Analysis) 기반의 이웃화소에 접근을 하고, 윈도우 슬라이딩 형태로 시드포인트(Seed Point)를 선택하고, 시드포인트를 중심으로 해당 범위 내에 있는 유사한 값을 갖는 화소를 탐색하여 영역확장을 행한다. 예컨대 도 3 (a)와 같이 예컨대 시드포인트를 각각 65, 75, 85, 125, 135라고 할 때, 해당 범위는 시드±5로 설정하여 영역확장을 함으로써, 5개의 영역으로 분할할 수 있다.
그리고, 영역확장을 이용한 블럽추출을 행한다. 예컨대, 시드포인트 125를 기준으로 영역확장된 하나의 그룹은, 재귀적 방식으로 설명하면 도 3 (b)처럼 나타낼 수 있다.
이러한 영역확장을 위한 하드웨어 구현예를 도 4 (a)에 나타낸다. 이는, 하이 임계치(High Threshold), 로우 임계치(Low Threshold)를 지정하고, 재귀적인 처리방식을 스택(Stack)구조인 비재귀적인 처리방식으로 재설계(LIFO 방식)한 것이다.
이는, 예컨대 3x3 커널(Kernel)용 주소 컨트롤러(Address Controller)(21)를 중심으로 하여, 순차적인 시드포인트 검출(Detection)(22), 이웃(Neighborhood) 생성(23), 스택 기반의 시드포인트 검출(24), 스택 메모리(25), 방문 메모리(26), 이미지 메모리(27)를 배치한 것이다. 여기서, 방문 메모리(26)는, 방문완료한 주소를 기억하고 바이패스(Bypass)하기 위한 것이다. 그리고, 스택 메모리(25)는, 앞으로 방문해야 할 주소를 기억하는 것이다.
도 4 (b)는, 8방향 구조체인 8 연결요소 분석의 예시이다.
또한, 확장된 영역 순서대로 블럽 레이블링(Labeling) 처리를 행한다. 도 5와 같이, 영역분할을 거쳐 세그먼트화(Segmentation)된 값을 이용하여, 분할된 영역, 즉 그룹정보, 즉 블럽의 정보를 명시화 처리한다.
상기 유효영역 판단부(Valid 블럽 Decision)(3)는, 불필요한 영역 제거를 행한다. 즉, 유효한 블럽을 추출하는 것이며, 너무 많은 블럽 영역을 토털 엣지 갯수의 예컨대 75% 이하로 하여 줄이는 것이다.
이를 위하여, 예컨대 부정확한 블럽(예컨대 도 6 (a)의 빨강 동그라미), 예컨대 엣지의 포함 규모가 작은 것을 필터링한다. 이렇게 필터링되는 작은 영역들은 도 6 (b)와 같고, 이들이 제거된 결과인 유효한 블럽은 도 6 (c)와 같다.
여기서, 작은 영역들의 필터링을 위한 처리과정을 도 7 (a)에 의하여 설명한다. 처리는 2단계로 나뉘어 설명될 수 있다.
먼저, 1차적인 세그먼트화 감축(Segmentation Reduction)을 행한다. 여기서는, 엣지가 적은 블럽 제거를 행하는데, 영역분할(Region Growing) 처리과정 중 엣지가 예컨대 (10x10 = 100 픽셀) 보다 작으면, 세그먼트화(Segmentation) 0 처리를 행하여 깊이를 제거한다.
그 후, 10x11은 작지 않은 영역이냐는 식의 경계부근 처리요구(Question)가 발생하는 경우를 위하여, 2차적인 세그먼트화 감축을 행한다. 여기서는, 세그먼트화 영역을 엣지픽셀 수를 기준하여 내림차순 정렬(Sorting)하고, 1 프레임 기준 토털 엣지픽셀 수의 75%(즉 3/4) 이후는 세그먼트화 0 처리를 행한다. 여기서, PSF 뱅크 개수보다 적지 않다는 조건을 포함한다.
상기 내림차순 정렬의 예는, 도 7 (b)와 같다. 여기서, 개시시에 엣지픽셀 수가 1, 3, 5, 6, 7, 8, 9로 주어졌다면, 9와 1을 바꾸고, 8과 3을 바꾸고, 7과 5를 바꿔서, 결국 9, 8, 7, 6, 5, 3, 1의 내림차순 순으로 나열하는 것이다.
상기 영역관계 검사부( Overlap Chacking )(4)는, 영역 간의 관계를 분석하고, 조건부에 따른 부정확한 깊이정보에 대한 영역 추출을 행한다. 즉, 2중 루프(Loop)로 오버랩(overlap) 영역 판단을 행한다. 이는 도 8과 같이, 추출된 영역 DB 블럽a에 대한 정보 로딩(41) 후, 마지막 추출된 영역인지 판단(42)하고, 마지막 영역(42의 예)이면 오버랩 종료로 처리하고, 마지막 영역이 아니(42의 아니오)면, 이번엔 추출된 영역 DB 블럽b에 대한 정보 로딩(43) 후, 다시 마지막 추출된 영역인지 판단(44)하고, 마지막 영역(44의 예)이면 다음 순서의 추출된 영역 DB 호출을 위하여 41 단계로 되돌아가고, 마지막 영역이 아니(44의 아니오)면 블럽a와 블럽b 간의 오버랩 영역 측정(45) 후, 다음 순서의 추출된 영역 DB 호출을 위하여 43 단계로 되돌아간다. 여기서, 2중 루프 처리로 블럽의 수가 적을수록 소요시간이 적게 걸린다.
여기서, 오버랩 영역(Overlap Region)의 정의는, 도 9 (a)와 같다. 이는 수학적 정의로서 도 9 (b)와 같이 되는데, 어떤 영역(Region)에 대한 정보는 도 9 (c)와 같이 아이디(ID), 깊이(Depth), 엣지수(Number of Edge)를 포함한다. 그런데, 예컨대 영역분할(Region growing) 기반 세그먼트화된 영역의 개수가 보통 1400인데, 이 정도라면, 2중 루프 처리로 인하여 소요시간이 길어진다는 문제점이 있다. 이에 대한 해결방안으로서, 세그먼트화된 영역의 개수를 줄이기 위하여, 유효영역 판단부(3)를 추가 설계한 것이고, 이로써 연산처리 소요시간이 획기적으로 단축된다.
상기 깊이정보 보정부( Compensation of Incorrect Depth )(5)는, 추출된 영역에 대한 정보를 이용하여 원 영상 내 깊이정보 보정처리를 행한다. 즉, 추출된 블럽간의 관계에 따라서 해당 조건에 따라 평가(Estimation)를 행하여, 보정대상 영역(Incorrect Region)을 선정하고, 선정된 영역 내 적합한 깊이 값 지정을 행한다. 이 조건에 따른 보정대상 영역(Incorrect Region) 선정은, 도 10과 같이, (a) 케이스 1 (블럽 내 블럽이 생겨서 존재하는 경우), (b) 케이스 2 (블럽과 블럽이 오버랩하여 교집합이 될 경우), (c) 케이스 3 (블럽과 블럽이 전혀 안 겹쳐서 서로 연관이 없는 경우)로만 수행한다.
그리고, 정확한 영역의 선정(Selection of correct region)은, 도 11 (a)와 같이 오버랩이 정의될 때, 도 11 (b)와 같이, (1) 영역 내 픽셀의 비중 기반 방식과 (2) 영역의 크기 비교 기반 방식의 2가지 방식이 있는데, 두 가지 방식 중 하나, 예컨대 2번 방식을 선택할 수 있다. 여기서, 해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로
(1) 영역 내 픽셀의 비중 기반 방식에서는
[오버랩(엣지수)/블럽 a(엣지수)] / [오버랩(엣지수)/블럽 b(엣지수)]
(2) 영역의 크기 비교 기반 방식에서는
[오버랩(크기)/블럽 a(크기)] / [오버랩(크기)/블럽 b(크기)]
의 계산 결과가 1 값에 가장 근사화된 영역을 지정한다.
블럽의 깊이의 디자인(Designed of Depth in Blobs)의 예를 든다.
케이스 1의 경우는, 도 12와 같이, 외부블럽인 블롭 a(Bloba)의 깊이 기준값은 200, 내부블럽인 블롭 b(Blobb)의 깊이 기준값은 150이라고 할 때, 블럽 b 내 깊이값을 블럽 a의 깊이값으로 교체한다. 다만, 블럽 b(Depth)가 블럽 a(Depth)보다 근거리이면 바이패스(Bypass)한다. 따라서, 블롭 b 중에서 블롭 a의 깊이 200보다 큰 영역은 근거리로 판단하여 바이패스한다.
케이스 2의 경우는, 도 13과 같이, 해당 블럽에 가장 많은 오버랩 규모를 차지하는 블럽을 탐색한다. 즉, max( 오버랩(크기) / 블럽 x(크기) )가 되는 영역을 추출한다. 그리고 오버랩 내 깊이값을 블럽 x의 깊이값으로 교체한다. 다만, 오버랩(깊이)이 블럽 x(깊이)보다 근거리이면 바이패스한다.
본 발명에 의하면, 도 14 (a)와 같이 동일 깊이에 대하여 부정확한 깊이정보를 가지고 있던 원래 깊이에 대해, 도 14 (b)와 같이 영역분할(Region Growing) 처리 후, 도 14 (d)와 같은 작은 영역(Smallest region) 제거 수행을 행하여, 도 14 (c)와 같이 정확한 깊이정보를 가지도록 보정을 한다.
다만, 이러한 본 발명의 기술은, 각 단계가 세분화되거나 또는 여러 단계가 통합되어 구현될 수 있으며, 이는 전부 또는 일부가 장치로서 하드웨어에 모듈별로 구현될 수도 있고, 모듈별 구현에는 저장장치에 저장되어 있던 소프트웨어 모듈이 메모리에 로드되어 마이크로프로세서 등의 중앙처리장치에 의하여 실행되는 형태의 구현방식도 포함되는 것으로 한다.
이상 본 발명에 대하여 특정 실시예를 가지고 설명하였지만, 이 실시예는 어디까지나 설명의 목적이므로, 본 발명은 이 실시예에 한정되는 것이 아니다. 청구범위에 기재된 범위 내에서 당업자에 의하여 이루어진 개량, 변형, 변경은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다.
본 발명은, 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치에 이용될 수 있다.
h: 이용자
h1, h2: 대상체
b, f, p, t: 배경물체
cam: 카메라(영상취득장치)
1: 컬러영상 및 깊이정보 입력부
2: 영역분할부(Region Growing)
3: 유효영역 판단부
4: 영역관계 검사부
5: 깊이정보 보정부

Claims (26)

  1. 4-컬러 센서로부터의 컬러영상 및 적외선영상과 함께 깊이정보를 입력받는 컬러영상 및 깊이정보 입력단계와,
    8 연결요소 분석(Connected Component Analysis) 기반의 이웃화소에 접근에 의하여, 윈도우 슬라이딩 형태로 시드포인트(Seed Point)를 선택하고, 시드포인트를 중심으로 해당 범위 내에 있는 유사한 값을 갖는 화소를 탐색하여 영역확장을 행하고, 영역확장을 이용한 블럽추출을 위하여 확장된 영역 순서대로 블럽 레이블링 처리를 행하여 영역분할을 행하는 영역분할단계와,
    영역 간의 관계 분석에 의하여, 조건에 따른 부정확한 깊이정보에 대한 영역을 추출하는 영역관계 검사단계와,
    추출된 영역에 대한 정보를 이용하여, 원 영상 내 깊이정보에 대한 보정처리를 행하는 깊이정보 보정단계
    를 포함함을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  2. 청구항 1에 있어서,
    불필요한 영역을 제거하여 유효한 블럽을 추출하는 유효영역 판단단계가 더 구비됨
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  3. 청구항 2에 있어서,
    상기 유효영역 판단단계는, 엣지의 포함 규모가 작은 것을 필터링하도록 이루어짐
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  4. 청구항 3에 있어서,
    필터링을 위하여, 상기 영역분할단계 중 엣지가 미리 정해진 픽셀수보다 작으면, 세그먼트화 0 처리를 행하여 깊이를 제거하여 엣지가 적은 블럽 제거를 행하는 1차적인 세그먼트화 감축을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  5. 청구항 4에 있어서,
    세그먼트화 영역을 엣지픽셀 수를 기준하여 내림차순 정렬하고, 1 프레임 기준 토털 엣지픽셀 수가 미리 정해진 비율 이하인 세그먼트화 영역이면, 세그먼트화 0 처리를 행하여 2차적인 세그먼트화 감축을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  6. 청구항 5에 있어서,
    1 프레임 기준 토털 엣지픽셀 수가 PSF 뱅크 개수보다 적지 않음
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  7. 청구항 1에 있어서,
    상기 영역관계 검사단계는, 2중 루프로 오버랩 영역 판단을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  8. 청구항 1에 있어서,
    상기 깊이정보 보정단계는, 추출된 블럽간의 관계에 따라서 해당 조건에 따라 평가를 행하여, 보정대상 영역을 선정하고, 선정된 영역 내 적합한 깊이 값 지정을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  9. 청구항 8에 있어서,
    상기 조건에 따른 보정대상 영역 선정은,
    (a) 케이스 1 (블럽 내 블럽이 생겨서 존재하는 경우),
    (b) 케이스 2 (블럽과 블럽이 오버랩하여 교집합이 될 경우), 및
    (c) 케이스 3 (블럽과 블럽이 전혀 안 겹쳐서 서로 연관이 없는 경우)
    중의 하나로 수행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  10. 청구항 8에 있어서,
    정확한 영역의 선정은, 영역 내 픽셀의 비중 기반 방식을 선택하고,
    해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로
    [오버랩(엣지수)/블럽 a(엣지수)] / [오버랩(엣지수)/블럽 b(엣지수)]
    의 계산 결과가 1 값에 가장 근사화된 영역을 지정함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  11. 청구항 8에 있어서,
    정확한 영역의 선정은, 영역의 크기 비교 기반 방식을 선택하고,
    해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로
    [오버랩(크기)/블럽 a(크기)] / [오버랩(크기)/블럽 b(크기)]
    의 계산 결과가 1 값에 가장 근사화된 영역을 지정함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  12. 청구항 9에 있어서,
    케이스 1의 경우, 내부블럽 깊이가 외부블럽 깊이보다 근거리가 아니면, 내부블럽 내 깊이값을 외부블럽의 깊이값으로 교체함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  13. 청구항 9에 있어서,
    케이스 2의 경우, 오버랩 깊이가 블럽 x 깊이보다 근거리가 아니면, 해당 블럽에 가장 많은 오버랩 규모를 차지하는 블럽을 탐색하여, max( 오버랩(크기) / 블럽 x(크기) )가 되는 영역을 추출하고, 오버랩 내 깊이값을 블럽 x의 깊이값으로 교체함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정방법.
  14. 4-컬러 센서로부터의 컬러영상 및 적외선영상과 함께 깊이정보를 입력받는 컬러영상 및 깊이정보 입력부와,
    8 연결요소 분석(Connected Component Analysis) 기반의 이웃화소에 접근에 의하여, 윈도우 슬라이딩 형태로 시드포인트(Seed Point)를 선택하고, 시드포인트를 중심으로 해당 범위 내에 있는 유사한 값을 갖는 화소를 탐색하여 영역확장을 행하고, 영역확장을 이용한 블럽추출을 위하여 확장된 영역 순서대로 블럽 레이블링 처리를 행하여 영역분할을 행하는 영역분할부와,
    영역 간의 관계 분석에 의하여, 조건에 따른 부정확한 깊이정보에 대한 영역을 추출하는 영역관계 검사부와,
    추출된 영역에 대한 정보를 이용하여, 원 영상 내 깊이정보에 대한 보정처리를 행하는 깊이정보 보정부
    를 포함함을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  15. 청구항 14에 있어서,
    불필요한 영역을 제거하여 유효한 블럽을 추출하는 유효영역 판단부가 더 구비됨
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  16. 청구항 15에 있어서,
    상기 유효영역 판단부는, 엣지의 포함 규모가 작은 것을 필터링하도록 이루어짐
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  17. 청구항 16에 있어서,
    필터링을 위하여, 상기 영역분할부에서 엣지가 미리 정해진 픽셀수보다 작으면, 세그먼트화 0 처리를 행하여 깊이를 제거하여 엣지가 적은 블럽 제거를 행하는 1차적인 세그먼트화 감축을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  18. 청구항 17에 있어서,
    세그먼트화 영역을 엣지픽셀 수를 기준하여 내림차순 정렬하고, 1 프레임 기준 토털 엣지픽셀 수가 미리 정해진 비율 이하인 세그먼트화 영역이면, 세그먼트화 0 처리를 행하여 2차적인 세그먼트화 감축을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  19. 청구항 18에 있어서,
    1 프레임 기준 토털 엣지픽셀 수가 PSF 뱅크 개수보다 적지 않음
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  20. 청구항 14에 있어서,
    상기 영역관계 검사부는, 2중 루프로 오버랩 영역 판단을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  21. 청구항 14에 있어서,
    상기 깊이정보 보정부는, 추출된 블럽간의 관계에 따라서 해당 조건에 따라 평가를 행하여, 보정대상 영역을 선정하고, 선정된 영역 내 적합한 깊이 값 지정을 행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  22. 청구항 21에 있어서,
    상기 조건에 따른 보정대상 영역 선정은,
    (a) 케이스 1 (블럽 내 블럽이 생겨서 존재하는 경우),
    (b) 케이스 2 (블럽과 블럽이 오버랩하여 교집합이 될 경우), 및
    (c) 케이스 3 (블럽과 블럽이 전혀 안 겹쳐서 서로 연관이 없는 경우)
    중의 하나로 수행함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  23. 청구항 21에 있어서,
    정확한 영역의 선정은, 영역 내 픽셀의 비중 기반 방식을 선택하고,
    해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로
    [오버랩(엣지수)/블럽 a(엣지수)] / [오버랩(엣지수)/블럽 b(엣지수)]
    의 계산 결과가 1 값에 가장 근사화된 영역을 지정함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  24. 청구항 21에 있어서,
    정확한 영역의 선정은, 영역의 크기 비교 기반 방식을 선택하고,
    해당 블럽과 다른 모든 블럽들간의 관계를 비교할 때, 조건별로
    [오버랩(크기)/블럽 a(크기)] / [오버랩(크기)/블럽 b(크기)]
    의 계산 결과가 1 값에 가장 근사화된 영역을 지정함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  25. 청구항 22에 있어서,
    케이스 1의 경우, 내부블럽 깊이가 외부블럽 깊이보다 근거리가 아니면, 내부블럽 내 깊이값을 외부블럽의 깊이값으로 교체함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
  26. 청구항 22에 있어서,
    케이스 2의 경우, 오버랩 깊이가 블럽 x 깊이보다 근거리가 아니면, 해당 블럽에 가장 많은 오버랩 규모를 차지하는 블럽을 탐색하여, max( 오버랩(크기) / 블럽 x(크기) )가 되는 영역을 추출하고, 오버랩 내 깊이값을 블럽 x의 깊이값으로 교체함
    을 특징으로 하는 윤곽선을 기반한 깊이영상에 대한 보정장치.
KR1020150041428A 2015-03-25 2015-03-25 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치 KR101664868B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150041428A KR101664868B1 (ko) 2015-03-25 2015-03-25 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150041428A KR101664868B1 (ko) 2015-03-25 2015-03-25 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160114929A true KR20160114929A (ko) 2016-10-06
KR101664868B1 KR101664868B1 (ko) 2016-10-12

Family

ID=57164656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150041428A KR101664868B1 (ko) 2015-03-25 2015-03-25 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치

Country Status (1)

Country Link
KR (1) KR101664868B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008677A (ko) * 2008-07-16 2010-01-26 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20130025216A (ko) * 2011-09-01 2013-03-11 엘지디스플레이 주식회사 입체영상 디스플레이장치 및 그 구동 방법
KR20130072073A (ko) * 2011-12-21 2013-07-01 한국전자통신연구원 영상 윤곽선 추출 장치 및 방법
KR20130092157A (ko) 2012-02-10 2013-08-20 에스케이플래닛 주식회사 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008677A (ko) * 2008-07-16 2010-01-26 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20130025216A (ko) * 2011-09-01 2013-03-11 엘지디스플레이 주식회사 입체영상 디스플레이장치 및 그 구동 방법
KR20130072073A (ko) * 2011-12-21 2013-07-01 한국전자통신연구원 영상 윤곽선 추출 장치 및 방법
KR20130092157A (ko) 2012-02-10 2013-08-20 에스케이플래닛 주식회사 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법

Also Published As

Publication number Publication date
KR101664868B1 (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN116420159A (zh) 缺陷检测方法、装置和系统
WO2012074361A1 (en) Method of image segmentation using intensity and depth information
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN106960195A (zh) 一种基于深度学习的人群计数方法及装置
US20050226510A1 (en) Boundary extracting method, program, and device using the same
CN109146832B (zh) 一种视频图像的拼接方法、装置、终端设备及存储介质
JP4518139B2 (ja) 画像処理装置
CN111680690B (zh) 一种文字识别方法及装置
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN110598788A (zh) 目标检测方法、装置、电子设备及存储介质
CN108961307B (zh) 基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法
CN112200790B (zh) 布料缺陷检测方法、设备和介质
Wang et al. Deep learning model for target detection in remote sensing images fusing multilevel features
JP2011165170A (ja) 対象物検出装置及びプログラム
KR102173955B1 (ko) 객체 추적을 위한 특징점 검출 장치 및 그 방법
CN117333518A (zh) 激光扫描图像匹配方法、系统及计算机设备
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
KR101664868B1 (ko) 윤곽선을 기반한 깊이영상에 대한 보정방법 및 장치
CN110889418A (zh) 一种气体轮廓识别方法
CN115375892A (zh) 大尺寸图像预处理方法及系统
KR20160132209A (ko) 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
CN105809177A (zh) 执行遥感影像分类的方法
KR101611267B1 (ko) 객체 인식방법 및 이를 이용한 객체 인식장치

Legal Events

Date Code Title Description
GRNT Written decision to grant