KR101371369B1 - 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법 - Google Patents

다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법 Download PDF

Info

Publication number
KR101371369B1
KR101371369B1 KR1020120042770A KR20120042770A KR101371369B1 KR 101371369 B1 KR101371369 B1 KR 101371369B1 KR 1020120042770 A KR1020120042770 A KR 1020120042770A KR 20120042770 A KR20120042770 A KR 20120042770A KR 101371369 B1 KR101371369 B1 KR 101371369B1
Authority
KR
South Korea
Prior art keywords
color
image frame
motion vector
distance information
background
Prior art date
Application number
KR1020120042770A
Other languages
English (en)
Other versions
KR20130119741A (ko
Inventor
백준기
이승원
이정현
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120042770A priority Critical patent/KR101371369B1/ko
Priority to PCT/KR2012/009308 priority patent/WO2013125768A1/ko
Priority to US14/376,770 priority patent/US20150029312A1/en
Publication of KR20130119741A publication Critical patent/KR20130119741A/ko
Application granted granted Critical
Publication of KR101371369B1 publication Critical patent/KR101371369B1/ko
Priority to US15/805,812 priority patent/US20180063511A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법이 개시된다. 배경 생성부는 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영되며, 시간적으로 연속하는 복수의 영상프레임 중 현재 영상프레임으로부터 움직임을 검출하여 배경 영상프레임을 생성하고, 객체 검출부는 현재 영상프레임의 복수의 컬러 채널 각각과 배경 영상프레임의 복수의 컬러 채널 각각의 차분을 기초로 객체영역을 검출한다. 본 발명에 따르면, 반복적으로 갱신되는 배경 영상프레임에 의해 자동으로 객체를 검출할 수 있으며, MCA 카메라의 특성을 반영하여 각 컬러 채널마다 별도로 객체를 검출함으로써 객체의 정보를 정확하게 추정할 수 있다.

Description

다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법{Apparatus and method for automatic detection of object from image taken by multiple color filter aperture camera}
본 발명은 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법에 관한 것으로, 보다 상세하게는, 서로 다른 색상의 복수의 컬러 필터가 설치된 조리개를 구비한 촬상 장치에 의해 촬영된 영상으로부터 객체 영역을 자동으로 검출하는 장치 및 방법에 관한 것이다.
영상의 객체 검출 및 깊이 정보 추정은 보안 시스템, 지능형 교통 시스템, 3차원 기반 디지털 카메라 및 차량용 첨단 안전 시스템 등과 같은 비디오 분석 응용분야에 있어서 중요하며, 어려운 문제로 다루어지고 있다.
일반적인 카메라에 의해 얻어지는 2차원 영상은 깊이 정보를 추정하기에 충분한 정보를 제공하지 못하므로, 3차원 깊이 정보의 추정에 관한 연구가 오랫동안 이루어져 왔다. 가장 일반적인 깊이 정보 추정 기법은 스테레오 비전과 같은 복수의 이미지 또는 명암, 초점 및 움직임과 같은 추가적인 신호를 사용하는 방법이다.
스테레오 매칭(Stereo matching)은 스테레오 카메라에 의해 생성된 양안 시차(binocular disparity)를 이용하는 깊이 정보 추정 방법이다. 이러한 방법은 많은 장점을 가짐에도 불구하고, 시간적 및 공간적으로 동기화된 두 대의 카메라에 의해 얻어진 동일 장면의 영상들을 필요로 한다는 근본적인 한계를 가진다.
이러한 양안(binocular) 시스템의 대안으로서 단안(monocular) 시스템에 관한 연구도 진행되어 왔다. 초점 흐려짐(defocus)으로부터의 깊이 정보 추정은 단일 카메라 기반의 깊이 정보 추정 방법으로, 동일 장면에 대해 상이한 초점 설정으로 촬영된 영상들로부터 초점 흐려짐의 양을 측정하는 방법이다. 그러나 이러한 방법은 복수의 초점이 흐려진 영상들을 촬영하기 위해 카메라의 시각이 고정되어 있어야 하기 때문에 정지 사진에만 제한적으로 적용될 수 있다는 단점이 있다.
최근에는 계산 카메라(computational camera)가 개발되어 기존의 디지털 카메라로부터 얻어질 수 없는 새로운 정보들을 얻을 수 있게 되었으며, 그에 따라 소비자 비디오 장비에 있어서 새로운 가능성들을 제공하게 되었다. 계산 카메라는 새로운 광학 및 계산의 조합을 사용하여 최종 영상을 생성하며, 이러한 카메라로 인하여 향상된 시야, 분광 해상도 증가 및 확대된 동적 범위 등과 같이 기존의 카메라로는 달성할 수 없었던 새로운 영상 기능들이 생겨나게 되었다.
한편, 복수의 컬러 필터가 설치된 조리개(Multiple Color-filter Aperture : MCA)를 사용하는 색상 이동 모델은 영상의 컬러 채널들 사이의 상대적인 이동 방향 및 이동량에 따라 카메라로부터 서로 다른 거리에 위치하는 객체들의 깊이 정보를 제공할 수 있다. 그런데 기존의 MCA 기반의 깊이 정보 추정 방법들은 객체의 깊이 정보를 추정하기 위해 사전에 영상에서 객체 부분을 수동으로 선택하는 과정을 필요로 한다.
한국공개특허 제2009-0083030호에는 서로 다른 색상의 복수의 컬러 필터가 설치된 조리개 장치 및 이러한 조리개 장치가 구비된 카메라에 의해 얻어진 영상에서 컬러 채널을 이동시킴으로써 영상의 초점을 복원하는 방법이 개시되어 있다. 이와 같이 영상의 초점 복원을 위해 사용되는 컬러 채널의 이동을 기반으로 영상에서 객체의 깊이 정보를 추정하되, 객체의 검출 역시 자동으로 수행할 수 있는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 앞에서 설명한 바와 같이 컬러 채널의 이동 특성에 의해 초점이 복원되는 영상에서 객체를 자동으로 검출하고, 검출된 객체의 깊이 정보를 추정할 수 있는 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 앞에서 설명한 바와 같이 컬러 채널의 이동 특성에 의해 초점이 복원되는 영상에서 객체를 자동으로 검출하고, 검출된 객체의 깊이 정보를 추정할 수 있는 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치는, 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영되며, 시간적으로 연속하는 복수의 영상프레임 중 현재 영상프레임으로부터 움직임을 검출하여 상기 현재 영상프레임에 대응하는 배경 영상프레임을 생성하는 배경 생성부; 및 상기 현재 영상프레임의 복수의 컬러 채널 각각과 상기 배경 영상프레임의 복수의 컬러 채널 각각의 차분을 기초로 상기 현재 영상프레임에 포함된 객체영역을 검출하는 객체 검출부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출방법은, 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영되며, 시간적으로 연속하는 복수의 영상프레임 중 현재 영상프레임으로부터 움직임을 검출하여 상기 현재 영상프레임에 대응하는 배경 영상프레임을 생성하는 배경 생성단계; 및 상기 현재 영상프레임의 복수의 컬러 채널 각각과 상기 배경 영상프레임의 복수의 컬러 채널 각각의 차분을 기초로 상기 현재 영상프레임에 포함된 객체영역을 검출하는 객체 검출단계;를 갖는다.
본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법에 의하면, 반복적으로 갱신되는 배경 영상프레임에 의해 자동으로 객체를 검출할 수 있으며, MCA 카메라의 특성을 반영하여 각 컬러 채널마다 별도로 객체를 검출함으로써 객체의 정보를 정확하게 추정할 수 있다. 또한 객체의 위치에 따라 상이한 색상 이동 벡터가 얻어지는 특성을 사용함으로써 카메라로부터 객체까지의 실제 거리 정보를 추정할 수 있다.
도 1은 MCA 카메라의 구조를 도시한 도면,
도 2는 MCA 카메라로부터 객체의 거리에 따른 영상의 특징을 나타낸 도면,
도 3은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 4는 본 발명에 의한 객체 검출의 일 실시예를 나타낸 도면,
도 5는 컬러 채널들 사이의 위치관계 및 색상 이동 벡터를 나타낸 도면,
도 6은 서로 다른 거리에 위치하는 두 객체를 MCA 카메라에 의해 촬영한 영상을 나타낸 도면,
도 7은 MCA 카메라로부터 17 내지 49 미터의 거리범위에서 객체를 이동시키면서 연속적으로 촬영하여 얻어진 영상을 나타낸 도면,
도 8은 연속적인 영상프레임마다 추정되는 색상 이동 벡터의 각 성분의 크기를 정규화하여 도시한 그래프,
도 9는 움직이는 복수의 객체가 포함된 영상 프레임으로부터 객체영역을 검출하고 거리 정보를 추정하는 실시예를 나타낸 도면, 그리고,
도 10은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
본 발명의 상세한 구성 및 동작을 설명하기 위하여, 먼저 본 발명의 배경이라 할 수 있는 다중 컬러 필터 조리개를 구비한 촬상 장치(이하, 'MCA 카메라'라 한다)의 원리에 관하여 설명한 후 본 발명의 동작을 각 구성요소별로 상세히 설명한다.
도 1은 MCA 카메라의 구조를 도시한 도면이다.
도 1을 참조하면, MCA 카메라의 렌즈 사이에 삽입되는 조리개에는 세 개의 개구부가 형성되어 있으며, 각각의 개구부에는 적색(R), 녹색(G) 및 청색(B)의 상이한 컬러 필터가 설치되어 있다. 또한 조리개는 세 개의 개구부 사이의 중심이 카메라의 광축과 일치하도록 구비된다.
이러한 조리개의 각 개구부에 설치된 컬러 필터를 통과한 광은 렌즈와 객체 사이의 거리에 따라 카메라 센서의 서로 다른 위치에 결상되며, 객체가 카메라의 초점거리로부터 벗어난 지점에 위치하는 경우에는 얻어진 영상에서 색상 편차(color deviation)가 발생하게 된다.
도 2는 MCA 카메라로부터 객체의 거리에 따른 영상의 특징을 나타낸 도면으로, 도 2의 (a)는 객체가 카메라의 초점거리로부터 먼 지점에 위치하는 경우, (b)는 객체까지의 거리가 카메라의 초점거리와 일치하는 경우, 그리고 (c)는 객체가 카메라의 초점거리보다 가까운 지점에 위치하는 경우를 나타낸 것이다.
도 2를 참조하면, (b)와 같이 객체의 위치가 카메라의 초점거리와 일치하는 경우에는 센서에 결상된 영상에서 색상 편차가 발생하지 않으나, 객체가 초점거리로부터 멀어지거나 가까워지면 도 2의 (a) 및 (c)와 같이 영상에서 각 컬러 채널들 사이에 어긋남이 발생하는 것을 확인할 수 있다. 따라서 하나의 영상이라 하더라도 각각의 컬러 채널에서 객체에 해당하는 영역의 위치에는 차이가 발생하게 된다.
본 발명은 이와 같이 MCA 카메라에 의해 촬영된 영상에서 나타나는 색상 편차를 반영하여 영상으로부터 객체를 자동으로 검출하고, 또한 색상 편차의 정도를 기초로 MCA 카메라로부터 객체까지의 거리 정보를 추정하는 구성을 가진다.
도 3은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 3을 참조하면, 본 발명에 따른 자동 객체 검출장치는, 배경 생성부(110), 객체 검출부(120), 색상 이동 벡터 추정부(130) 및 거리 정보 추정부(140)를 구비한다.
배경 생성부(110)는 MCA 카메라에 의해 촬영되며 시간적으로 연속하는 복수의 영상프레임 중 현재 영상프레임으로부터 움직임을 검출하여 현재 영상프레임에 대응하는 배경 영상프레임을 생성한다. 즉, 본 발명에 따른 자동 객체 검출장치는 연속하는 복수의 영상프레임으로 이루어진 비디오 영상의 각 영상프레임마다 실시간으로 배경을 생성하고 객체를 검출할 수 있다.
배경 생성부(110)는 현재 영상프레임에 대응하는 배경 영상프레임을 생성하기 위해 광류(optical flow)를 사용하여 현재 영상프레임의 움직임을 추정할 수 있다. 현재 영상프레임의 각 화소에 대응하는 광류 정보는 다음의 수학식 1과 같이 현재 영상프레임과 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임 사이의 관계로부터 얻어질 수 있다.
Figure 112012032748898-pat00001
여기서, D(x,y)는 현재 영상프레임의 (x,y) 화소에 대응하는 광류 정보, ft는 현재 영상프레임, ft-1은 이전 영상프레임, (dx,dy)는 (x,y) 화소에서의 이동을 나타내며, D(x,y)를 최소화하는 값이다. 또한 수학식 1에서 탐색영역의 크기는 (2w+1)×(2w+1)과 같이 설정된다.
현재 영상프레임의 (x,y) 화소에서의 광류 정보 D(x,y)의 값이 사전에 설정된 유클리드 거리 임계치보다 작으면 해당 화소는 배경에 속하는 것으로 결정되고, 배경 생성부(110)는 현재 영상프레임에서 이와 같이 배경에 속하는 것으로 결정된 화소들을 사용하여 이전 영상프레임에 대응하여 생성된 배경 영상프레임을 갱신한다.
Figure 112012032748898-pat00002
여기서, fB t 및 fB t-1은 각각 현재 영상프레임에 대응하는 배경 영상프레임 및 이전 영상프레임에 대응하는 배경 영상프레임을 나타내며, α는 [0,1]의 범위에서 사전에 설정되는 혼합비이다.
객체 검출부(120)는 이와 같이 얻어진 현재 영상프레임의 배경 영상프레임과 현재 영상프레임 사이의 차분을 기초로 현재 영상프레임에 포함된 객체영역을 검출한다. 이때 기존 방법들에서는 객체 검출을 위해 영상프레임 사이의 차분만을 산출한 반면, 본 발명에 따른 자동 객체 검출장치의 객체 검출부(120)는 현재 영상프레임과 배경 영상프레임을 구성하는 복수의 컬러 채널 사이의 차분을 산출함으로써 현재 영상프레임의 각 컬러 채널별로 객체영역을 검출한다.
즉, 현재 영상프레임의 R 채널과 배경 영상프레임의 R 채널 사이의 차분을 산출하면 현재 영상프레임의 R 채널에 대응하는 객체영역이 얻어지며, G 채널 및 B 채널에 대하여도 동일한 과정에 의해 각각 객체영역이 얻어지게 된다. 이와 같이 영상프레임의 각 컬러 채널별로 객체영역을 검출함에 따라 도 2에 도시된 바와 같은 MCA 카메라의 특성, 즉 객체의 위치가 초점거리와 일치하지 않는 경우에 나타나는 색상 편차를 객체 검출 과정에 반영할 수 있다.
구체적으로, 객체 검출부(120)는 다음의 수학식 3에 의해 현재 영상프레임으로부터 객체영역을 검출할 수 있다.
Figure 112012032748898-pat00003
여기서,
fO c는 현재 영상프레임의 컬러 채널에 대응하는 이진영상으로, fO c에서 1의 값을 가지는 화소들이 해당 컬러 채널로부터 검출되는 객체영역을 나타낸다.
객체 검출부(120)는 이상와 같이 객체영역을 검출한 후, 각각의 컬러 채널에서 서로 유사한 지점에 위치하는 객체영역은 동일 객체 모폴로지 필터(morphological filter)를 사용하여 추가적으로 노이즈 제거를 수행할 수 있다.
도 4는 본 발명에 의한 객체 검출의 일 실시예를 나타낸 도면으로, 도 4의 (a)는 현재 영상프레임, (b)는 현재 영상프레임에 대응하는 배경 영상프레임, (c)는 검출된 객체영역, 그리고 (d)는 객체영역에 마스크(mask)가 적용된 결과를 나타낸다.
도 4의 (a)와 같이 현재 영상프레임에는 복수의 객체가 포함되어 있으며, 도 4의 (c)를 참조하면, 앞에서 설명한 바 있는 MCA 카메라로부터의 객체의 거리에 따른 색상 편차 특성에 의해 초점이 맞은 객체영역에서는 색상 편차가 나타나지 않으나, 초점이 맞지 않은 객체영역에서는 컬러 채널들 사이의 어긋남이 발생한 것을 확인할 수 있다.
한편, 본 발명에 따른 자동 객체 검출장치는 객체 검출부(120)에 의해 검출된 객체영역에 포함된 색상 이동 정도를 사용하여 MCA 카메라로부터 해당 객체영역에 대응하는 객체까지의 거리 정보, 즉 깊이 정보를 추정할 수 있다.
객체의 깊이 정보를 추정하기 위해서는 앞에서 설명한 바와 같이 컬러 채널들 사이의 어긋남이 발생한 객체영역에 대하여 채널 정렬 과정이 수행되어야 한다. 컬러 채널의 정렬 과정은 특정 컬러 채널(예를 들면, G 채널)을 중심으로 한 다른 컬러 채널(예를 들면, R 채널 및 B 채널)의 방향 및 거리 정보를 나타내는 색상 이동 벡터(Color Shift Vector : CSV)를 추정함으로써 수행될 수 있다.
도 5는 컬러 채널들 사이의 위치관계 및 색상 이동 벡터를 나타낸 도면이다. 도 5의 (a)에 도시된 바와 같이 MCA 카메라의 조리개에서 각각의 컬러 채널은 정삼각형의 각 꼭지점에 위치하며, 이러한 특성을 사용하면 객체의 깊이 정보를 추정하기 위한 계산량을 감소시키면서 정확하게 깊이 정보를 추정할 수 있다. 이하 설명하는 색상 이동 벡터 추정 및 객체까지의 거리 정보 추정 과정은 현재 영상프레임으로부터 복수의 객체영역이 검출될 경우에 각각의 객체영역에 대하여 별개로 수행된다.
구체적으로, 복수의 객체영역 중 i번째 객체영역에서 G 채널을 중심으로 하는 R 채널과 B 채널의 색상 이동 벡터는 다음의 수학식 4와 같이 나타낼 수 있다.
Figure 112012032748898-pat00004
여기서,
Figure 112012032748898-pat00005
및
Figure 112012032748898-pat00006
은 각각 GB 채널(G 채널과 B 채널)에 대한 색상 이동 벡터 및 GR 채널(G 채널과 R 채널)에 대한 색상 이동 벡터를 나타낸다. 또한 도 5의 (a)와 같은 MCA 카메라의 특성으로 인해 수학식 4에 나타난 두 색상 이동 벡터는 다음의 수학식 5와 같은 관계를 가진다.
Figure 112012032748898-pat00007
이때 색상 이동 벡터
Figure 112012032748898-pat00008
및
Figure 112012032748898-pat00009
은 다음 수학식 6의 2차 에러 함수를 최소화함으로써 추정될 수 있다.
Figure 112012032748898-pat00010
여기서, EGB는 GB 채널의 색상 이동 벡터에 대응하는 에러 함수, EGR은 GR 채널의 색상 이동 벡터에 대응하는 에러 함수, 그리고 Ω는 객체영역을 나타낸다. 또한 수학식 6을 참조하면, GR 채널의 색상 이동 벡터에 대응하는 에러 함수는 앞에서 설명한 색상 이동 벡터 사이의 관계를 참조하여 GB 채널의 색상 이동 벡터로 나타낼 수 있다.
결과적으로, 수학식 6의 에러 함수는
Figure 112012032748898-pat00011
의 비선형 함수이므로, 수학식 6을 최소화하는
Figure 112012032748898-pat00012
를 찾기 위해 뉴튼-랩슨(Newton-Raphson) 알고리즘과 같은 반복 접근법을 사용할 수 있다.
수학식 6의 에러 함수에 대한 1차 테일러 급수 추정은 다음의 수학식 7과 같이 나타낼 수 있다.
Figure 112012032748898-pat00013
여기서, 컬러 채널
Figure 112012032748898-pat00014
에 대하여,
Figure 112012032748898-pat00015
와 같이 산출되며,
Figure 112012032748898-pat00016
와
Figure 112012032748898-pat00017
는 각각
Figure 112012032748898-pat00018
의 수평 및 수직 방향 도함수이다.
또한 추정된 에러를 벡터 형태로 나타내면 다음의 수학식 8과 같다.
Figure 112012032748898-pat00019
여기서, s=ft이고,
Figure 112012032748898-pat00020
,
Figure 112012032748898-pat00021
및
Figure 112012032748898-pat00022
와 같이 정의된다.
E(v)는 벡터 v의 2차함수이므로, 에러를 최소화하는 v는 다음의 수학식 9와 같이 에러함수를 v에 대해 미분한 결과를 0으로 만드는 값을 찾음으로써 얻어질 수 있다.
Figure 112012032748898-pat00023
수학식 9는 선형 방정식이므로, 최종적으로 벡터 v는 다음의 수학식 10과 같이 얻어질 수 있다.
Figure 112012032748898-pat00024
여기서,
Figure 112012032748898-pat00025
이고,
Figure 112012032748898-pat00026
이다. 또한 검출된 객체영역의 크기가 충분히 크며 영상에 충분한 내용이 포함되어 있다면, 수학식 10에서 행렬 C는 역행렬이 존재하는 것으로 볼 수 있다.
한편, 수학식 10은 MCA 카메라의 특성을 기초로 더욱 간소화될 수 있다. 만약 G 채널과 B 채널의 수평축이 동일하다면, 색상 이동 벡터의 수직 성분인
Figure 112012032748898-pat00027
는 0이 된다. 따라서 벡터 v는 도 5의 (b)에 도시된 것과 같은 삼각 특성 및 조리개의 컬러 필터 사이의 각도를 사용하여 단일 파라미터
Figure 112012032748898-pat00028
에 의해 표현될 수 있으며, 이는 다음의 수학식 11과 같다.
Figure 112012032748898-pat00029
여기서,
Figure 112012032748898-pat00030
,
Figure 112012032748898-pat00031
이고,
Figure 112012032748898-pat00032
이다.
수학식 11의 분자와 분모는 모두 1×1 행렬로서, 역행렬을 사용하지 않고 각각의 컬러 채널에 대응하여 추정된 색상 이동 벡터들의 결합인 최종 이동 벡터 v를 추정할 수 있다.
도 6은 서로 다른 거리에 위치하는 두 객체를 MCA 카메라에 의해 촬영한 영상을 나타낸 도면이다. 도 6의 (a)는 영상에 포함된 두 객체(A, B)에 대하여 각각 추정되는 컬러 채널의 이동을 나타내고, (b) 및 (c)는 각각 A 객체 및 B 객체를 중심으로 컬러 채널이 정렬된 결과를 나타낸다.
도 6의 (b)에서 A 객체에 대응하는 영역에 대하여 추정된 최종 이동 벡터는
Figure 112012032748898-pat00033
이며, 도 6의 (c)에서 B 객체에 대응하는 영역에 대하여 추정된 최종 이동 벡터는
Figure 112012032748898-pat00034
이다. 이와 같이 A 객체와 B 객체가 MCA 카메라로부터 서로 다른 거리에 위치함에 따라 상이한 이동 벡터가 얻어지므로, A 객체와 B 객체 사이의 상대적인 거리를 추정하는 것이 가능하다.
본 발명에 따른 자동 객체 검출장치는 MCA 카메라로부터 객체까지의 절대적인 거리 정보를 추정하기 위해 거리 정보 추정부(140)를 더 구비할 수 있으며, 거리 정보 추정부(140)는 최종 이동 벡터 v의 크기 정보를 기초로 객체영역에 포함된 객체와 MCA 카메라 사이의 거리 정보를 추정한다.
구체적으로, 사전에 객체까지의 거리와 컬러 채널의 이동량, 즉 이동 벡터의 크기 사이의 관계를 나타내는 변환 함수가 설정될 수 있다. 변환 함수는 MCA 카메라로부터 일정 거리마다 객체를 위치시킨 후 각 객체의 위치마다 객체가 포함된 동일 장면을 반복적으로 촬영하여 색상 이동 벡터를 추정함으로써 얻어질 수 있다.
도 7은 MCA 카메라로부터 17 내지 49 미터의 거리범위에서 객체를 이동시키면서 연속적으로 촬영하여 얻어진 영상을 나타낸 도면이다. 도 7의 (a) 내지 (c)는 각각 시간적으로 연속하여 얻어진 영상프레임들 중 30번째, 330번째, 660번째 영상프레임을 나타내며, (d) 내지 (f)는 (a) 내지 (c)의 영상프레임으로부터 검출된 객체영역에 대하여 컬러 채널 정렬을 수행한 결과를 나타낸 것이다.
이와 같은 컬러 채널 정렬 과정에서 색상 이동 벡터의 두 성분
Figure 112012032748898-pat00035
및
Figure 112012032748898-pat00036
가 추정될 수 있으며, 도 8은 연속적인 영상프레임마다 추정되는 색상 이동 벡터의 각 성분의 크기를 정규화하여 도시한 그래프이다. 도 8의 (a)는 영상프레임의 번호에 따른 색상 이동 벡터의 크기 정보를 도시한 것이고, (b)는 MCA 카메라로부터 객체까지의 거리에 따른 색상 이동 벡터의 크기 정보를 도시한 것이다.
도 7 및 도 8의 (a)를 참조하면, 객체가 MCA 카메라의 초점위치(약 21미터)에 가까워질수록, 즉 영상프레임의 번호가 증가할수록 이동 벡터의 크기는 0으로 수렴하는 것을 확인할 수 있다. 객체가 초점위치를 지나쳐 MCA 카메라를 향해 접근하면 도 8의 (a)에 도시된 것과 같이 이동 벡터의 크기는 발산하게 된다. 또한 도 8의 (b)는 MCA 카메라로부터 객체까지의 거리를 1미터 단위로 양자화하여 이동 벡터의 크기를 나타낸 것이다.
거리 정보 추정부(140)는 도 8의 (b)와 같은 그래프가 사전에 구축되어 있을 경우, 현재 영상프레임으로부터 검출된 객체영역에 대응하는 이동 벡터의 크기 정보를 그래프에 대입하여 객체영역에 포함된 객체까지의 정확한 거리 정보를 추정할 수 있다.
도 9는 움직이는 복수의 객체가 포함된 영상 프레임으로부터 객체영역을 검출하고 거리 정보를 추정하는 실시예를 나타낸 도면이다.
도 9의 (a)는 원본 영상의 각 영상프레임들을 나타낸 것이고, (b)는 각각의 영상프레임으로부터 객체영역이 검출된 결과, (c)는 각각의 객체영역에 대응하여 컬러 채널의 정렬 과정이 수행된 결과, 그리고 (d)는 각각의 객체영역에 대하여 거리 정보가 추정된 결과를 나타낸 것이다.
도 9를 참조하면, 영상에 복수의 객체가 포함되어 있는 경우에도 각각의 객체에 대응하여 서로 다른 색상 이동 벡터가 추정되므로, 각각의 객체에 대하여 거리 정보를 추정할 수 있다.
도 10은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 10을 참조하면, 배경 생성부(110)는 MCA 카메라에 의해 촬영된 연속하는 영상프레임들 중 현재 영상프레임으로부터 움직임을 검출하여 현재 영상프레임에 대응하는 배경 영상프레임을 생성한다(S1010). 또한 객체 검출부(120)는 현재 영상프레임의 복수의 컬러 채널 각각과 배경 영상프레임의 복수의 컬러 채널 각각의 차분을 기초로 현재 영상프레임에 포함된 객체영역을 검출한다(S1020). 이로써 본 발명은 영상프레임이 입력될 때마다 실시간으로 객체영역을 검출할 수 있으며, 이러한 과정은 사전에 객체 부분을 지정하지 않고 자동으로 수행될 수 있다.
더 나아가 색상 이동 벡터 추정부(130)는 현재 영상프레임의 각각의 컬러 채널로부터 검출된 객체영역들 사이의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하고, 각각의 컬러 채널에 대응하여 추정된 색상 이동 벡터들을 결합하여 객체영역에 대응하는 최종 이동 벡터를 산출한다(S1030).
또한 거리 정보 추정부(140)는 최종 이동 벡터의 크기 정보를 기초로 객체영역에 포함된 객체까지의 거리 정보를 추정할 수 있다(S1040). 이때 앞에서 설명한 바와 같이 사전에 이동 벡터의 크기와 거리 정보 사이의 변환 함수가 설정되어 있는 것이 바람직하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 배경 생성부
120 - 객체 검출부
130 - 색상 이동 벡터 추정부
140 - 거리 정보 추정부

Claims (13)

  1. 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영되며, 시간적으로 연속하는 복수의 영상프레임 중 현재 영상프레임으로부터 움직임을 검출하여 상기 현재 영상프레임에 대응하는 배경 영상프레임을 생성하는 배경 생성부; 및
    상기 현재 영상프레임의 복수의 컬러 채널 각각과 상기 배경 영상프레임의 복수의 컬러 채널 각각의 차분을 기초로 상기 현재 영상프레임에 포함된 객체영역을 검출하는 객체 검출부;를 포함하는 것을 특징으로 하는 자동 객체 검출장치.
  2. 제 1항에 있어서,
    상기 현재 영상프레임의 각각의 컬러 채널로부터 검출된 상기 객체영역들 사이의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하고, 상기 각각의 컬러 채널에 대응하여 추정된 색상 이동 벡터들을 결합하여 상기 객체영역에 대응하는 최종 이동 벡터를 산출하는 색상 이동 벡터 추정부; 및
    상기 최종 이동 벡터의 크기 정보를 기초로 상기 객체영역에 포함된 객체와 상기 촬상 장치 사이의 거리 정보를 추정하는 거리 정보 추정부;를 더 포함하는 것을 특징으로 하는 자동 객체 검출장치.
  3. 제 2항에 있어서,
    상기 색상 이동 벡터 추정부는 상기 각각의 색상 이동 벡터에 의해 표현되는 상기 컬러 채널들 간의 편차를 나타내는 에러 함수를 최소화하는 벡터를 산출하여 상기 최종 이동 벡터로 결정하는 것을 특징으로 하는 자동 객체 검출장치.
  4. 제 2항에 있어서,
    상기 거리정보 추정부는 사전에 설정된 상기 최종 이동 벡터의 크기 정보와 상기 객체까지의 거리 사이의 변환 함수를 기초로 상기 거리 정보를 추정하는 것을 특징으로 하는 자동 객체 검출장치.
  5. 제 2항에 있어서,
    상기 객체 검출부는 상기 현재 영상프레임으로부터 복수의 객체영역을 검출하며,
    상기 색상 이동 벡터 추정부는 상기 복수의 객체영역 각각에 대응하는 최종 이동 벡터를 산출하고,
    상기 거리 정보 추정부는 상기 복수의 객체영역 각각에 포함된 객체의 거리 정보를 추정하는 것을 특징으로 하는 자동 객체 검출장치.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 배경 생성부는 상기 현재 영상프레임의 화소들 중 움직임의 크기가 사전에 설정된 임계치보다 작은 화소들을 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대응하는 배경 영상프레임에 추가하여 상기 배경 영상프레임을 갱신하는 것을 특징으로 하는 자동 객체 검출장치.
  7. 조리개에 형성된 복수의 개구부에 각각 상이한 컬러 필터가 설치된 촬상 장치에 의해 촬영되며, 시간적으로 연속하는 복수의 영상프레임 중 현재 영상프레임으로부터 움직임을 검출하여 상기 현재 영상프레임에 대응하는 배경 영상프레임을 생성하는 배경 생성단계; 및
    상기 현재 영상프레임의 복수의 컬러 채널 각각과 상기 배경 영상프레임의 복수의 컬러 채널 각각의 차분을 기초로 상기 현재 영상프레임에 포함된 객체영역을 검출하는 객체 검출단계;를 포함하는 것을 특징으로 하는 자동 객체 검출방법.
  8. 제 7항에 있어서,
    상기 현재 영상프레임의 각각의 컬러 채널로부터 검출된 상기 객체영역들 사이의 이동 방향 및 거리를 나타내는 색상 이동 벡터를 추정하고, 상기 각각의 컬러 채널에 대응하여 추정된 색상 이동 벡터들을 결합하여 상기 객체영역에 대응하는 최종 이동 벡터를 산출하는 색상 이동 벡터 추정단계; 및
    상기 최종 이동 벡터의 크기 정보를 기초로 상기 객체영역에 포함된 객체와 상기 촬상 장치 사이의 거리 정보를 추정하는 거리 정보 추정단계;를 더 포함하는 것을 특징으로 하는 자동 객체 검출방법.
  9. 제 8항에 있어서,
    상기 색상 이동 벡터 추정단계에서, 상기 각각의 색상 이동 벡터에 의해 표현되는 상기 컬러 채널들 간의 편차를 나타내는 에러 함수를 최소화하는 벡터를 산출하여 상기 최종 이동 벡터로 결정하는 것을 특징으로 하는 자동 객체 검출방법.
  10. 제 8항에 있어서,
    상기 거리정보 추정단계에서, 사전에 설정된 상기 최종 이동 벡터의 크기 정보와 상기 객체까지의 거리 사이의 변환 함수를 기초로 상기 거리 정보를 추정하는 것을 특징으로 하는 자동 객체 검출방법.
  11. 제 8항에 있어서,
    상기 객체 검출단계에서, 상기 현재 영상프레임으로부터 복수의 객체영역을 검출하며,
    상기 색상 이동 벡터 추정단계에서, 상기 복수의 객체영역 각각에 대응하는 최종 이동 벡터를 산출하고,
    상기 거리 정보 추정단계에서, 상기 복수의 객체영역 각각에 포함된 객체의 거리 정보를 추정하는 것을 특징으로 하는 자동 객체 검출방법.
  12. 제 7항 내지 제 11항 중 어느 한 항에 있어서,
    상기 배경 생성단계에서, 상기 현재 영상프레임의 화소들 중 움직임의 크기가 사전에 설정된 임계치보다 작은 화소들을 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대응하는 배경 영상프레임에 추가하여 상기 배경 영상프레임을 갱신하는 것을 특징으로 하는 자동 객체 검출방법.
  13. 제 7항 내지 제 11항 중 어느 한 항에 기재된 자동 객체 검출방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120042770A 2012-02-21 2012-04-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법 KR101371369B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120042770A KR101371369B1 (ko) 2012-04-24 2012-04-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법
PCT/KR2012/009308 WO2013125768A1 (ko) 2012-02-21 2012-11-07 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
US14/376,770 US20150029312A1 (en) 2012-02-21 2012-11-07 Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture
US15/805,812 US20180063511A1 (en) 2012-02-21 2017-11-07 Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120042770A KR101371369B1 (ko) 2012-04-24 2012-04-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130119741A KR20130119741A (ko) 2013-11-01
KR101371369B1 true KR101371369B1 (ko) 2014-03-12

Family

ID=49850665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120042770A KR101371369B1 (ko) 2012-02-21 2012-04-24 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법

Country Status (1)

Country Link
KR (1) KR101371369B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866486B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261828A (ja) 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
KR20090125029A (ko) * 2009-11-11 2009-12-03 중앙대학교 산학협력단 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치
KR20110023468A (ko) * 2009-08-31 2011-03-08 주식회사 이미지넥스트 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261828A (ja) 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
KR20110023468A (ko) * 2009-08-31 2011-03-08 주식회사 이미지넥스트 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
KR20090125029A (ko) * 2009-11-11 2009-12-03 중앙대학교 산학협력단 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치

Also Published As

Publication number Publication date
KR20130119741A (ko) 2013-11-01

Similar Documents

Publication Publication Date Title
US11665427B2 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US20180063511A1 (en) Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture
CN106412426B (zh) 全聚焦摄影装置及方法
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
KR101824936B1 (ko) 이미지들 내에서 초점 에러 추정
US7941042B2 (en) Auto-focus method, medium, and apparatus for image-capturing
CN107995424B (zh) 基于深度图的光场全聚焦图像生成方法
KR101290197B1 (ko) 영상의 깊이 정보 추정 장치 및 방법
KR101125765B1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US8836765B2 (en) Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
JP6004371B2 (ja) 撮像装置
US9483825B2 (en) Apparatus and method for estimating distance using dual off-axis color filter aperture
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
KR101327228B1 (ko) 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치
CN105335959B (zh) 成像装置快速对焦方法及其设备
KR101371369B1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법
JP2015207090A (ja) 画像処理装置、及びその制御方法
CN107622514B (zh) 摄像机凸镜模型自主标定方法
KR101216668B1 (ko) 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법
Lee et al. Single camera-based full depth map estimation using color shifting property of a multiple color-filter aperture
CN113163112B (zh) 一种聚变焦控制方法及系统
CN112950698A (zh) 基于双目散焦图像的深度估计方法、装置、介质和设备
CN109923585B (zh) 使用立体图像进行深度检测的方法和装置
Kulkarni et al. Depth estimation from defocused images: a survey
KR100935392B1 (ko) 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6