KR101454815B1 - 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법 - Google Patents

이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR101454815B1
KR101454815B1 KR1020130061013A KR20130061013A KR101454815B1 KR 101454815 B1 KR101454815 B1 KR 101454815B1 KR 1020130061013 A KR1020130061013 A KR 1020130061013A KR 20130061013 A KR20130061013 A KR 20130061013A KR 101454815 B1 KR101454815 B1 KR 101454815B1
Authority
KR
South Korea
Prior art keywords
color
camera
color filter
distance
estimated
Prior art date
Application number
KR1020130061013A
Other languages
English (en)
Inventor
백준기
이승원
김나현
정경원
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020130061013A priority Critical patent/KR101454815B1/ko
Application granted granted Critical
Publication of KR101454815B1 publication Critical patent/KR101454815B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

이중 컬러 필터 조리개를 이용한 객체 검출 장치가 개시된다. 객체 검출부는 제1 원색과 제1 원색에 대한 제1 보색 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출한다. 컬러 이동 값 추정부는 검출된 객체에 대응하는 영역에서 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV)을 추정한다. 심도(depth) 추정부는 추정된 컬러 이동 값을 토대로 카메라와 객체 간 거리를 추정한다. 본 발명에 따르면, 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 이용하여 객체 검출과 동시에 심도를 추정하여 겹침이 존재하는 객체 영역에서 각각의 객체를 구분하여 거리 결정을 할 수 있다.

Description

이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법{Apparatus and method for detecting object using dual color filter aperture}
본 발명은 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는, 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 이용하여 객체를 검출함과 동시에 심도를 추정하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법에 관한 것이다.
컴퓨터 비전 분야에서 객체 검출은 지능형 감시 시스템, 로봇 비전, 운전 모니터링 등에서 널리 이용되고 있다. 카메라에서 추출되는 2차원 영상은 지능형 감시 시스템에서 객체 겹침 현상이나 로봇 비전에서의 자율 이동 로봇을 제어하는 데 있어 많은 어려움이 발생한다. 이 문제를 해결하기 위해 영상으로부터 3차원 정보를 추출하는 연구가 진행되고 있다.
지난 수십 년간 연구되어온 스테레오 비전은 2대의 카메라로부터 획득한 두 영상 간의 정합으로 거리 정보를 얻어낸다. 이 방법은 2개의 영상을 동시에 취득하여 정합하기 때문에 처리해야 하는 정보량이 증가하고, 계산상의 복잡도가 높아지며, 시차 계산 과정에서 오차가 증폭되는 문제점을 가지고 있다.
최근에는 광학적 특성과 영상처리를 이용하여 영상에서 추가적인 정보를 획득할 수 있는 다양한 계산 카메라들이 개발되고 있다. 이와 같은 카메라의 광학적 특성으로 획득되는 추가적인 정보로 재초점, 동적 범위의 증대, 깊이 유도 편집 등의 다양한 방법을 이용하여 스테레오 카메라의 한계를 극복하고 있다.
한국등록특허공보 제10-1216668호(다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법)에는 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체 정보 추정 장치 및 방법이 개시되어 있다. 한국등록특허공보 제10-0777199호(이동 객체 추적 장치 및 방법)에는 카메라의 움직임에 따라 배경의 움직임 효과의 제거가 가능하고, 장애물에 의해 이동 객체가 가려지거나 균일한 밝기를 갖는 이동 객체의 영상을 얻기 어려운 환경에서도 정확한 객체 추정이 가능한 장치 및 방법이 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 이용하여 객체 검출과 동시에 심도를 추정하여 겹침이 존재하는 객체 영역에서 각각의 객체를 구분하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 이용하여 객체 검출과 동시에 심도를 추정하여 겹침이 존재하는 객체 영역에서 각각의 객체를 구분하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 장치는, 제1 원색과 상기 제1 원색에 대한 제1 보색 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출하는 객체 검출부; 상기 검출된 객체에 대응하는 영역에서 상기 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV)을 추정하는 컬러 이동 값 추정부; 및 상기 추정된 컬러 이동 값을 토대로 상기 카메라와 상기 객체 간 거리를 추정하는 심도(depth) 추정부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법은, 이중 컬러 필터 조리개를 이용한 객체 검출 장치에 의해 수행되는 객체 검출 방법에 있어서, (a) 제1 원색과 상기 제1 원색에 대한 제1 보색 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출하는 객체 검출 단계; (b) 상기 (a) 단계에서 검출된 객체에 대응하는 영역에서 상기 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV)을 추정하는 컬러 이동 값 추정 단계; 및 (c) 상기 (b) 단계에서 추정된 컬러 이동 값을 토대로 상기 카메라와 상기 객체 간 거리를 추정하는 심도(depth) 추정 단계;를 갖는다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법에 의하면, 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 이용하여 객체 검출과 동시에 심도를 추정하여 겹침이 존재하는 객체 영역에서 각각의 객체를 구분하여 거리 결정을 할 수 있다.
도 1은 본 발명에 따른 이중 컬러 필터 조리개(Dual off-axis Color filter Aperture : DCA)를 이용한 객체 검출 장치의 구성을 도시한 블록도,
도 2는 광학축으로 정렬된 조리개를 가진 렌즈를 이용하는 일반적인 이미지 시스템을 도시한 도면,
도 3은 본 발명의 일실시예에 따른 이중 컬러 필터 조리개를 도시한 도면,
도 4는 본 발명의 일실시예에 따른 이중 컬러 필터 조리개를 이용하여 서로 다른 거리에 위치한 객체가 이미지 평면상에 수렴하는 패턴을 도시한 도면,
도 5는 본 발명의 일실시예에 따른 컬러이동값(color shifting value : CSV)을 추정한 결과 영상을 도시한 도면,
도 6은 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 적용하여 객체를 검출한 결과 영상을 도시한 도면,
도 7은 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법이 수행되는 과정을 도시한 흐름도,
도 8은 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 이용하여 심도를 추정한 결과 영상을 도시한 도면,
도 9는 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 이용하여 겹쳐진 객체를 클러스터링하여 심도를 추정하는 결과 영상을 도시한 도면, 그리고,
도 10은 외부 환경에서 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 이용하여 다중 객체의 심도를 추정한 결과 영상을 도시한 도면이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 이중 컬러 필터 조리개(Dual off-axis Color filter Aperture : DCA)를 이용한 객체 검출 장치(100)의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 이중 컬러 필터 조리개(Dual off-axis Color filter Aperture : DCA)를 이용한 객체 검출 장치(100)는 객체 검출부(200), 컬러 이동 값 추정부(300), 심도 추정부(400) 및 다중 객체 분리부(500)를 포함한다.
객체 검출부(200)는 제1 원색과 제1 원색에 대한 제1 보색 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라(이하, 'DCA 카메라'라고 함)에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출한다. 이때, 소정의 방법에는 옵티컬 플로우(optical flow) 방법이 포함될 수 있으나, 이에 한정되는 것은 아니다. 객체 검출에 사용되는 소정의 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 익히 알려져 있는 방법이 사용될 수 있으므로, 이에 대한 상세한 설명은 생략한다.
이때, 제1 원색은 레드(red)가 사용될 수 있으며, 이에 대한 제1 보색은 시안(cyan)이 사용될 수 있다. 시안(cyan)은 그린(green)과 블루(blue)가 합해진 색을 지칭한다.
광학계(optical system)에서 사용되는 조리개(aperture)는 카메라의 구멍의 크기를 조절하여 이미지 센서에 들어가는 빛의 양을 조절하는 장치이다. 일반적인 영상 시스템에서 조리개의 중심은 광축(optical axis)의 중심에 정렬(align)되어 있다. 도 2의 (a)를 참조하면, 이미지상 정초점(in-focus)에 위치한 객체의 수렴 패턴은 한 점(a point)으로 형성된다. 그러나 도 2의 (b)에 도시된 바와 같이, 객체가 정초점(in-focus) 위치에서 원거리(far-focus) 위치로 멀어지면(이동하면), 객체의 한 점은 이미지 평면(image plane)에서 퍼지게 되어 착각원(Circle Of Confusion : COC)을 형성하게 된다.
만약 조리개의 중심을 막고, 양끝으로 떨어진 두 개의 오프 액시스(off-axis) 조리개를 구성하면, 객체가 정초점(in-focus)에 위치하지 않는 경우 도 3의 (a)에 도시된 바와 같이 이미지 평면상 동일한 점이 사영되어 두 개로 떨어져 있는 이동 패턴이 발생 된다. 만일 객체가 원거리(far-focus) 위치(Af)에서 정초점(in-focus) 위치(Ai)로 이동하면 두 사영점은 이미지 평면상 점진적으로 한 점으로 수렴한다. 또한, 만일 객체가 계속하여 근거리(near-focus) 위치(An)로 이동하면, 두 사영점은 앞서 상술한 방향과 반대 방향으로 다시 분리되게 된다.
이러한 두 개의 오프 액시스(off-axis) 조리개는 도 3의 (b)에 도시된 바와 같이, 레드(red)와 시안(cyan)을 위치시키면 객체와 카메라 간 거리에 따라 이미지 평면상 레드(red)와 시안(cyan, green and blue)의 사영점이 분리되어 형성되므로, 두 사영점 간의 디스패리티(disparity)를 측정하여 객체와 카메라 간 거리를 추정할 수 있다.
즉, 두 개의 분리된 수렴 패턴 사이의 거리는 객체와 카메라 간 거리에 따라 결정된다. 도 4에 도시된 바와 같이, 렌즈의 한 조리개에는 레드 컬러 필터를 장착하고, 나머지 조리개에는 시안 컬러 필터를 장착하여 두 개의 수렴 패턴이 각각 레드 센서와 시안 센서에 의해 분리되어 획득될 수 있도록 한다. 따라서 이렇게 얻어진 레드와 시안 두 사영점으로부터 얻어진 디스패리티(disparity)와 객체 거리 간 함수 관계를 기하학적으로 유도할 수 있고, 기하학적 디스패리티(geometric disparity)는 도 4에 도시된 바와 같이 두 사영점 사이의 컬러 편차 양으로부터 추정될 수 있다.
컬러 이동 값 추정부(300)는 검출된 객체에 대응하는 영역에서 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV, 이하 'CSV' 라고 함)을 추정한다.
DCA 카메라의 영상 센서는 컬러와 인텐서티(intensity) 정보 뿐만 아니라, 거리에 따른 컬러 채널 간 컬러이동(color shifting)이라는 기하학적 정보를 제공한다. 정초점(in-focus)에 객체가 위치하면, 이미지 평면상 객체는 수렴하여 컬러이동이 발생하지 않는다. 그러나 정초점(in-focus)에서 멀어지게 되면 객체의 사영된 점은 레드와 그린 또는 블루 컬러 채널 간 컬러이동이 발생하게 된다. 반대로 정초점(in-focus)에서 가까워지면, 원거리(far-focus)과 반대방향으로 컬러이동이 발생한다. 이러한 수렴 패턴을 통해 추정된 CSV를 사용하여 단일 센서 카메라의 단일 영상으로부터 객체의 거리를 추정할 수 있다.
DCA 카메라로부터 획득된 이미지 내의 레드 및 그린(R-G) 또는 레드 및 블루(R-B) 사이에서 CSV를 추정하기 위해, 본 발명에서는 심도 추정을 위한 에너지 함수(energy function)의 L1 최소화(L1 norm minimization) 방법을 이용한다. 초기 옵티컬 플로우 알고리즘(early optical flow algorithm)은 인접 영상간 움직임을 구하는 경우 밝기 항상성(brightness constance)을 가정했지만, DCA 카메라로부터 획득된 이미지는 각 컬러 채널에서 서로 다른 인텐서티 레벨(intensity level)을 가지기 때문에 3개의 컬러 채널 사이에서 밝기 항상성(brightness constance)의 특성을 만족시키지 못한다. 따라서 본 발명은 밝기 항상성 뿐만 아니라 그래디언트 항상성을 동시에 고려한 데이터 항(data term)를 포함하는 옵티컬 플로우 추정 알고리즘(optical flow estimation algorithm)을 사용한다. 이 함수를 오직 x축을 따라 추정하는 게 필요한 옵티컬 플로우 알고리즘이 적용된 DCA 카메라 이미지에 적응시키기 위해, R(Red)-G(Green) 데이터 항에 대한 에너지 함수(energy function)는 아래 수학식 1과 같이 정의한다.
Figure 112013047761182-pat00001
여기서,
Figure 112013047761182-pat00002
는 레드(R)와 그린(G) 데이터 항에 대한 에너지 함수,
Figure 112013047761182-pat00003
는 레드와 그린 채널 간 이동값(CSV),
Figure 112013047761182-pat00004
는 영상 내 임의의 영역,
Figure 112013047761182-pat00005
는 오목 함수(concave function),
Figure 112013047761182-pat00006
는 각각 R(red)와 G(green) 컬러 채널 이미지, 그리고,
Figure 112013047761182-pat00007
는
Figure 112013047761182-pat00008
에 대해 각각 R과 G 컬러 채널의 편미분(partial derivatives)을 의미한다. 여기서,
Figure 112013047761182-pat00009
(이때,
Figure 112013047761182-pat00010
은 작은 상수로,
Figure 112013047761182-pat00011
을 가짐)을 이용하여 에너지의 수정된 L1 최소화(L1 norm minimization) 방법을 이끌어낸다. 수정된 L1 최소화(L1 norm minimization) 방법은 이산 신호(discrete signal)에서 경계(boundary)에서 발생하는 아웃라이어(outlier) 문제를 해결하는 데 좋다.
레드(R)와 블루(B) 데이터 항에 대한 에너지 함수인
Figure 112013047761182-pat00012
에 대한 정의는 상기 수학식 1에서
Figure 112013047761182-pat00013
를
Figure 112013047761182-pat00014
로 대체하면 된다. 또한, R-G와 R-B 간 CSV는 동일한 디스패리티(disparity)를 가지므로 계산의 중복을 피하기 위해 두 데이터 항를 하나로 합쳐서 고려할 수 있다.
그리고 픽셀 단위의 스무딩 제약조건(piecewise smoothness constraint)은 다음 수학식 2와 같이 정의된 페널티 항(penalty term)을 포함하여 적용된다.
Figure 112013047761182-pat00015
여기서,
Figure 112013047761182-pat00016
와
Figure 112013047761182-pat00017
는 컬러이동맵(color shift map)의 x와 y에 대해 편미분(partial derivatives)을 의미한다. 따라서 토탈 에너지 함수(total energy function)는 2개의 데이터 항(data term)와 smoothness term 간의 가중치 합으로 다음 수학식 3과 같이 정의된다.
Figure 112013047761182-pat00018
여기서,
Figure 112013047761182-pat00019
는 정규화 파라미터(regularization parameter)로
Figure 112013047761182-pat00020
을 가진다. 토탈 에너지 함수(total energy function)인
Figure 112013047761182-pat00021
를 최소화함으로서 CSV를 추정할 수 있다. 수정된 옵티컬 플로우 방법을 사용하여 추정된 CSV의 결과는 도 5에 도시되어 있다.
DCA 카메라로 획득한 이미지에서 객체를 검출하기 위해, 어댑티브 배경 모델링 방법(adaptive background modeling method)를 사용한다. 첫 번째 단계에서, 모션 벡터는 옵티컬 플로우(optical flow) 방법을 이용하여 추정된다.
Figure 112013047761182-pat00022
와
Figure 112013047761182-pat00023
를 각각 현재 프레임과 이전 프레임으로 놓고, 각 픽셀
Figure 112013047761182-pat00024
의 옵티컬 플로우는 아래 수학식 4와 같이 유클리디안 거리(Euclidean distance)를 최소화하여 얻어진다.
Figure 112013047761182-pat00025
여기서,
Figure 112013047761182-pat00026
를 최소화하는
Figure 112013047761182-pat00027
는 픽셀
Figure 112013047761182-pat00028
의 변위를 나타낸다.
Figure 112013047761182-pat00029
이면(여기서,
Figure 112013047761182-pat00030
는 유클리디안 거리(Euclidean distance)에서 미리 명시된 스레시홀드(threshold)), 픽셀
Figure 112013047761182-pat00031
는 배경 내에 있다고 가정하고, 배경 이미지는 아래 수학식 5와 같이 정의된 픽셀에 대응되도록 업데이트된다.
Figure 112013047761182-pat00032
여기서,
Figure 112013047761182-pat00033
와
Figure 112013047761182-pat00034
은 각각 시간
Figure 112013047761182-pat00035
와
Figure 112013047761182-pat00036
일 때 배경 이미지를 나타내고,
Figure 112013047761182-pat00037
는 [0,1] 범위 내의 혼합비(mixing ratio)를 나타낸다.
심도 추정부(400)는 추정된 CSV를 토대로 카메라와 객체 간 거리를 추정한다. 상술한 바와 같이 심도 추정부(400)는 객체와 카메라 간 거리에 따라 이미지 평면상 레드와 시안의 사영점이 분리되어 형성되므로, 두 사영점 간의 디스패리티(disparity)를 측정하여, 객체와 카메라 간 거리를 추정하게 된다. 구체적으로, 객체와 카메라 간 거리에 따라 컬러 채널 간 컬러 이동이 발생하게 되므로, 이미지 평면상 사영되는 수렴 패턴을 통해 추정된 CSV를 사용하여 객체와 카메라 간 거리를 추정하게 된다.
심도(depth)는 DCA 카메라의 컬러이동(color shifting) 특성을 이용하여 추정되므로, 컬러 정보는 객체 사이의 경계(boundary)에서 컬러 채널 간 간섭으로 간주하게 된다. 본 발명에 따른 컬러 기반 객체 영역 검출은 아래 수학식 6과 같이 표현될 수 있다.
Figure 112013047761182-pat00038
여기서,
Figure 112013047761182-pat00039
이고,
Figure 112013047761182-pat00040
는 각 컬러 채널의 이진(binary) 이미지를 나타내며 객체 영역에서 1 값을 가진다. 추가적인 노이지 아티팩트(noisy artifact)를 줄이기 위해 형태학적 필터링(morphological filtering)을 사용했다. 검출된 객체 영역
Figure 112013047761182-pat00041
는
Figure 112013047761182-pat00042
의 OR 연산을 통해 검출된다.
다중 객체 분리부(500)는 검출된 객체가 복수인 경우, 8방향 라벨링 방법(8-directional labeling method)을 이용하여 검출된 객체를 라벨링하고, 라벨링된 각 객체 영역으로부터 추정된 CSV의 히스토그램을 토대로 각 객체의 심도를 클러스터링(clustering)하여 겹침 현상이 발생한 다중 객체를 분리한다. 다중 객체 분리부(500)는 다중 모달 히스토그램 분해(multi modal histogram decomposition) 방법을 사용하여 겹쳐진 객체의 심도를 클러스터링 하면서, 동시에 스레시홀드(threshold)를 통해 겹쳐진 영역의 각 객체를 분리한다.
도 6은 배경 차분법(background subtraction)을 이용하여 검출된 객체를 도시하고 있다. 검출된 영역은 도 6의 (c)에 도시된 바와 같이 객체 경계(boundary)에서 RGB 컬러 채널 중 x 축을 따라 컬러이동(color shifting)이 발생함을 알 수 있다.
도 6의 (c)에 도시된 바와 같이, 검출된 객체 영역은 8방향 라벨링 방법(8-directional labeling method)을 이용하여 객체 영역과 상응하게 분류된다. 라벨된 각 객체의 사각 영역으로부터 상기 수학식 3의 최소화를 통해 영역의 CSV를 추정한다. 단일 객체만 추정되는 경우, 배경을 제외한 객체 영역에서의 CSV의 히스토그램은 단일 모달(unimodal)의 특성을 가지게 되고 최고 확률 값을 검출하여 객체의 CSV를 결정한다. 그러나 다중 객체에 의한 겹침 현상이 존재하는 객체 영역은 다중 모달(multi-modal)의 특성을 가지게 되어 최고의 확률 값을 가지게 되는 단일 값을 해당 객체 영역의 심도로 결정할 수 없다. 다중 객체에 의해 겹침이 존재하는 영역은 다중 모달의 특성을 가지므로, 다중 모달을 분석하여 각 객체의 심도를 클러스터링(clustering)해야 한다. 일반적인 파라메트릭(parametric) 기반의 클러스터링 방법은 분류하고자 하는 클러스터의 개수가 주어지고, 주어진 개수의 파라미터를 추정하게 된다. 그러나 실제 영상에서는 몇 개의 객체가 겹쳐지는지 알 수 없다.
CSV 히스토그램으로부터 클러스터링의 클러스터링 개수를 추정해야 되며, 추정된 클러스터 개수에 따라 히스토그램을 클러스터링 해야 한다. 이러한 문제를 해결하기 위해 히스토그램의 모달리티(modality)를 추정하고, 구분하는 다중 모달 히스토그램 분해 방법을 사용하여 겹쳐진 객체 심도를 클러스터링하면서 동시에 스레쉬홀드(threshold)를 통해 겹쳐진 영역의 각 객체를 분리한다. 이러한 방법은 파라미터 리파인먼트(parameter refinement)를 위한 반복(iteration)이 필요 없기 때문에, 빠르게 히스토그램을 분해(decomposition)할 수 있는 장점을 가진다. 또한, 이 방법은 CSV 히스토그램으로부터 페이크 로컬 맥시멈(fake local maximum)과 미니멈(minimum)을 제거하기 위해 가우시안 스무딩(Gaussian smoothing)을 수행하고, 로컬 맥시멈(fake local maximum)과 미니멈(minimum)을 추정하여 클러스터링 개수를 추정한 후 정해진 개수만큼의 가우시안의 평균(means)과 분산(variances)을 추정하게 된다. 그리고 나서, 최대 공산(maximum-likelihood) 기반의 결정 기준(decision criterion)을 통해 심도와 객체를 구분하기 위한 아래 수학식 7과 같은 최적의 스레쉬홀드(threshold)를 추정하게 된다.
Figure 112013047761182-pat00043
여기서,
Figure 112013047761182-pat00044
은 라벨링된 객체 번호를 나타내며,
Figure 112013047761182-pat00045
는 검출된 객체 영역에서의 좌표를 나타내며,
Figure 112013047761182-pat00046
는 해당 위치에서의 CSV를 나타내고,
Figure 112013047761182-pat00047
는 CSV 히스토그램에서
Figure 112013047761182-pat00048
의 확률값을 나타내며,
Figure 112013047761182-pat00049
는 히스토그램 분해를 통한 스레시홀드를 나타내며, 그리고,
Figure 112013047761182-pat00050
는 적은 확률을 가지는 심도 오차 제거를 위한 스레시홀드를 나타낸다.
히스토그램 분해에 의한 클러스터링 개수가
Figure 112013047761182-pat00051
개이면,
Figure 112013047761182-pat00052
는
Figure 112013047761182-pat00053
의 개수가 주어지며,
Figure 112013047761182-pat00054
와
Figure 112013047761182-pat00055
는 각각 CSV의 미니멈과 맥시멈 값으로 정해진다.
Figure 112013047761182-pat00056
번째 객체의 CSV는 스레시홀드 제약조건(threshold constraint)에 의해
Figure 112013047761182-pat00057
의 최대값에 의해 다음 수학식 8과 같이 결정된다.
Figure 112013047761182-pat00058
마지막으로, 각 객체로부터 결정된 CSV는 사전에 정의된 거리 변환 함수(distance transformation function)를 생성하고 이 함수를 사용하여 실제 거리로 매핑한다. 심도를 추정할때, 스무딩 제약조건(smoothing constraint)에 의해 검출된 객체의 외곽 영역의 심도는 스무딩되어 나타나게 된다. 이러한 스무딩된 외곽 영역은 히스토그램 스레시홀드에 의해 영역을 구분하게 되는 경우, 외곽 부분이 다른 객체의 영역으로 잘못 구분되는 문제가 발생된다. 이러한 문제를 보완하기 위해 검출된 객체 영역에서 형태학 침식 연산(morphological erosion filter)을 통해 객체 외곽의 스무딩된 영역을 제거한다.
도 7은 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법이 수행되는 과정을 도시한 흐름도이다. 도 7을 참조하면, 먼저 제1 원색(예를 들어, 레드)과 제1 원색에 대한 제1 보색(예를 들어, 시안) 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출한다(S710). 이때, 옵티컬 플로우(optical flow) 방법 등을 이용하여 객체를 검출할 수 있다. 그리고 나서, 검출된 객체에 대응하는 영역에서 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV)을 추정한다(S720). 이렇게 추정된 컬러 이동 값을 토대로 카메라와 객체 간 거리를 추정하게 된다(S730). 이때, 검출된 객체가 복수인 경우(S740), 8방향 라벨링 방법(8-directional labeling method)을 이용하여 검출된 객체를 라벨링하고, 라벨링된 각 객체 영역으로부터 추정된 컬러 이동 값의 히스토그램을 토대로 각 객체의 심도를 클러스터링(clustering)하여 겹침 현상이 발생한 다중 객체를 분리한다(S750).
본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법의 성능을 테스트하기 위해, DCA 카메라를 이용하여 30 프레임/초(second)을 가진 1920 x 1080 사이즈의 시퀀스를 획득한다.
도 8은 본 발명에 따른 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 적용하여 수행된 결과 영상을 도시한 도면이다. 도 8을 참조하면, 정초점(in-focus, 70 cm), 원거리(far-focus, 100 cm), 그리고, 근거리(near-focus, 50 cm)에 위치한 세 개의 객체가 좌우로 움직이는 영상에서 세 개의 객체가 겹쳐졌을 때 객체가 검출된 결과와 그에 따르는 CSV 추정 결과 영상을 도시하고 있다. 도 8의 (c)에 도시된 바와 같이, 세 개의 객체가 겹쳐져 있어도 각 객체는 서로 다른 심도를 가지는 것을 확인할 수 있다.
도 9은 상기 도 8의 (c)에 도시된 심도 추정 결과로부터 계산된 히스토그램을 사용하여 겹쳐진 객체를 클러스터링하고 거리 변환된 결과를 보여주다. CSV 히스토그램을 분해하기 위해 전처리로 수행되는 가우시안 스무딩에 의해 히스토그램의 페이크 맥시멈(fake maximum)과 미니멈(minimum)이 제거되고, 분해에 의해 정해진 객체의 CSV를 도 9의 (a)에 의해 확인할 수 있다. 결정된 CSV로부터 도 9의 (b)와 같이 사전에 거리에 따른 CSV 추정으로 만들어진 CSV-거리 변환 맵을 통해 정해진 거리와 스레시홀드로 클러스터링됨을 도 9의 (c)를 통해 확인할 수 있다.
도 10는 외부 환경에서의 실험 결과를 나타내는 도면으로, 사람이 겹쳐지더라도 클러스터링이 됨과 동시에 심도를 검출할 수 있음을 확인할 수 있다.
이상의 설명에서 '제1', '제2' 등의 항는 다양한 구성요소들을 설명하기 위해 사용되었지만, 각각의 구성요소들은 이러한 항들에 의해 한정되어서는 안 된다. 즉, '제1', '제2' 등의 항들은 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로 사용되었다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, '및/또는'이라는 항는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함하는 의미로 사용되었다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 이중 컬러 필터 조리개를 이용한 객체 검출 장치
200 : 객체 검출부
300 : 컬러 이동 값 추정부
400 : 심도 추정부
500 : 다중 객체 분리부

Claims (15)

  1. 삭제
  2. 제1 원색과 상기 제1 원색에 대한 제1 보색 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출하는 객체 검출부;
    상기 검출된 객체에 대응하는 영역에서 상기 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV)을 추정하는 컬러 이동 값 추정부;
    상기 추정된 컬러 이동 값을 토대로 상기 카메라와 상기 객체 간 거리를 추정하는 심도(depth) 추정부; 및
    상기 검출된 객체가 복수인 경우, 8방향 라벨링 방법(8-directional labeling method)을 이용하여 상기 검출된 객체를 라벨링하고, 상기 라벨링된 각 객체 영역으로부터 추정된 상기 컬러 이동 값의 히스토그램을 토대로 각 객체의 심도를 클러스터링(clustering)하여 겹침 현상이 발생한 다중 객체를 분리하는 다중 객체 분리부;를 포함하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치.
  3. 제 2항에 있어서,
    상기 제1 원색과 상기 제1 보색은 각각 레드(red)와 시안(cyan)인 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치.
  4. 제 3항에 있어서,
    상기 심도 추정부는 상기 객체와 상기 카메라 간 거리에 따라 이미지 평면상 상기 레드와 시안의 사영점이 분리되어 형성되므로, 상기 두 사영점 간의 디스패리티(disparity)를 측정하여 상기 객체와 카메라 간 거리를 추정하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치.
  5. 제 3항에 있어서,
    상기 심도 추정부는 상기 객체와 카메라 간 거리에 따라 컬러 채널 간 컬러 이동(color shifting)이 발생하므로, 이미지 평면상 사영되는 수렴 패턴을 통해 추정된 컬러 이동 값(Color Shifting Value : CSV)을 사용하여 상기 객체와 카메라 간 거리를 추정하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치.
  6. 제 3항에 있어서,
    상기 객체 검출부는 옵티컬 플로우(optical flow) 방법을 이용하여 객체를 검출하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치.
  7. 제 3항에 있어서,
    상기 다중 객체 분류부는 다중 모달 히스토그램 분해(multi modal histogram decomposition) 방법을 사용하여 겹쳐진 객체의 심도를 클러스터링하면서, 동시에 스레시홀드(threshold)를 통해 겹쳐진 영역의 각 객체를 분리하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 장치.
  8. 삭제
  9. 이중 컬러 필터 조리개를 이용한 객체 검출 장치에 의해 수행되는 객체 검출 방법에 있어서,
    (a) 제1 원색과 상기 제1 원색에 대한 제1 보색 필터를 장착한 이중 컬러 필터 조리개(Dual off-axis color filter aperture : DCA)를 구비한 카메라에 의해 촬영된 영상으로부터 소정의 방법을 통해 객체를 검출하는 객체 검출 단계;
    (b) 상기 (a) 단계에서 검출된 객체에 대응하는 영역에서 상기 영상의 컬러 채널 간 컬러 이동(color shift) 특성을 이용하여 컬러 이동 값(Color Shifting Value : CSV)을 추정하는 컬러 이동 값 추정 단계;
    (c) 상기 (b) 단계에서 추정된 컬러 이동 값을 토대로 상기 카메라와 상기 객체 간 거리를 추정하는 심도(depth) 추정 단계; 및
    (d) 상기 검출된 객체가 복수인 경우, 8방향 라벨링 방법(8-directional labeling method)을 이용하여 상기 검출된 객체를 라벨링하고, 상기 라벨링된 각 객체 영역으로부터 추정된 상기 컬러 이동 값의 히스토그램을 토대로 각 객체의 심도를 클러스터링(clustering)하여 겹침 현상이 발생한 다중 객체를 분리하는 다중 객체 분리 단계;를 포함하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법.
  10. 제 9항에 있어서,
    상기 제1 원색과 상기 제1 보색은 각각 레드(red)와 시안(cyan)인 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법.
  11. 제 10항에 있어서,
    상기 (c) 단계는 상기 객체와 상기 카메라 간 거리에 따라 이미지 평면상 상기 레드와 시안의 사영점이 분리되어 형성되므로, 상기 두 사영점 간의 디스패리티(disparity)를 측정하여 상기 객체와 카메라 간 거리를 추정하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법.
  12. 제 10항에 있어서,
    상기 (c) 단계는 상기 객체와 카메라 간 거리에 따라 컬러 채널 간 컬러 이동(color shifting)이 발생하므로, 이미지 평면상 사영되는 수렴 패턴을 통해 추정된 컬러 이동 값(Color Shifting Value : CSV)을 사용하여 상기 객체와 카메라 간 거리를 추정하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법.
  13. 제 10항에 있어서,
    상기 (a) 단계는 옵티컬 플로우(optical flow) 방법을 이용하여 객체를 검출하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법.
  14. 제 10항에 있어서,
    상기 (d) 단계는 다중 모달 히스토그램 분해(multi modal histogram decomposition) 방법을 사용하여 겹쳐진 객체의 심도를 클러스터링하면서, 동시에 스레시홀드(threshold)를 통해 겹쳐진 영역의 각 객체를 분리하는 것을 특징으로 하는 이중 컬러 필터 조리개를 이용한 객체 검출 방법.
  15. 제 9항 내지 제 14항 중 어느 한 항에 기재된 이중 컬러 필터 조리개를 이용한 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130061013A 2013-05-29 2013-05-29 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법 KR101454815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130061013A KR101454815B1 (ko) 2013-05-29 2013-05-29 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130061013A KR101454815B1 (ko) 2013-05-29 2013-05-29 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101454815B1 true KR101454815B1 (ko) 2014-11-04

Family

ID=52289027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130061013A KR101454815B1 (ko) 2013-05-29 2013-05-29 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101454815B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448024A (zh) * 2018-11-06 2019-03-08 深圳大学 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105919A (ko) * 2011-03-17 2012-09-26 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105919A (ko) * 2011-03-17 2012-09-26 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448024A (zh) * 2018-11-06 2019-03-08 深圳大学 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统
CN109448024B (zh) * 2018-11-06 2022-02-11 深圳大学 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统

Similar Documents

Publication Publication Date Title
KR101125765B1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US9483825B2 (en) Apparatus and method for estimating distance using dual off-axis color filter aperture
US9672434B2 (en) Video-based system and method for parking occupancy detection
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
US8331614B2 (en) Method and apparatus for tracking listener's head position for virtual stereo acoustics
US8396282B1 (en) Method and system for computing fused saliency maps from multi-modal sensory inputs
KR101681538B1 (ko) 영상 처리 장치 및 방법
KR101608889B1 (ko) 대기열 모니터링 장치 및 방법
US20180063511A1 (en) Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
Liem et al. Multi-person localization and track assignment in overlapping camera views
KR101596436B1 (ko) 다중 목표 추적 시스템 및 방법
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
Funde et al. Object detection and tracking approaches for video surveillance over camera network
Naser et al. Shadowcam: Real-time detection of moving obstacles behind a corner for autonomous vehicles
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
US9672447B2 (en) Segmentation based image transform
Kim et al. Illumination invariant road detection based on learning method
KR101454815B1 (ko) 이중 컬러 필터 조리개를 이용한 객체 검출 장치 및 방법
Okyere et al. Traffic sign recognition using sparse representations and active contour models
Lee et al. Single camera-based full depth map estimation using color shifting property of a multiple color-filter aperture
KR101216668B1 (ko) 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법
US9761275B2 (en) System and method for spatiotemporal image fusion and integration
Rout et al. Video object detection using inter-frame correlation based background subtraction
Yaakob et al. Moving object extraction in PTZ camera using the integration of background subtraction and local histogram processing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 6