KR20120105919A - Apparatus and method for estimating object information of image taken by multiple color filter aperture camera - Google Patents
Apparatus and method for estimating object information of image taken by multiple color filter aperture camera Download PDFInfo
- Publication number
- KR20120105919A KR20120105919A KR1020110023644A KR20110023644A KR20120105919A KR 20120105919 A KR20120105919 A KR 20120105919A KR 1020110023644 A KR1020110023644 A KR 1020110023644A KR 20110023644 A KR20110023644 A KR 20110023644A KR 20120105919 A KR20120105919 A KR 20120105919A
- Authority
- KR
- South Korea
- Prior art keywords
- color
- camera
- shift vector
- image
- color shift
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 72
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 239000002245 particle Substances 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000004075 alteration Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 각각 상이한 컬러 필터가 적용된 복수 개의 개구부가 형성된 조리개(Multiple Color filter Aperture : MCA)를 구비한 카메라에 의해 촬영된 원영상으로부터 객체를 추적하고, 추적된 객체 영역의 색상이동벡터를 계산하여 카메라로부터 추적된 객체까지의 실제 거리를 추정하는 객체정보 추정장치 및 방법에 관한 것이다.The present invention tracks an object from an original image photographed by a camera having a multiple color filter aperture (MCA) having a plurality of openings to which different color filters are applied, and calculates a color shift vector of the tracked object area. An object information estimating apparatus and method for estimating an actual distance from a camera to a tracked object.
컴퓨터 비전 분야에서 객체 추적은 지능형 감시 시스템,로봇 비전, 운전 모니터링 등에서 널리 이용되고 있다.In computer vision, object tracking is widely used in intelligent surveillance systems, robot vision, and driving monitoring.
카메라에서 추출되는 이차원 영상은 지능형 감시시스템에서 객체 겹침 현상이나 로봇 비전에서의 자율이동 로봇을 제어하는데 있어서 많은 어려움이 있다. 이 문제를 해결하기 위해 영상으로부터 삼차원 정보를 추출하는 연구가 진행되고 있다.The two-dimensional image extracted from the camera has a lot of difficulties in controlling an object overlap phenomenon or an autonomous robot in robot vision in an intelligent surveillance system. In order to solve this problem, researches are being conducted to extract three-dimensional information from an image.
지난 수십 년간 연구되어온 스테레오 비전은 두 대의 카메라로부터 획득한 두 영상 간의 정합으로 거리 정보를 얻어낸다. 이 방법은 두 개의 영상을 동시에 취득하여 정합하기 때문에 처리해야 하는 정보량이 증가하고, 계산상의 복잡도가 높아지며, 시차 계산 과정에서 오차가 증폭되는 문제점을 가지고 있다.Stereo vision, which has been studied for decades, derives distance information by matching two images from two cameras. Since this method acquires and matches two images at the same time, the amount of information to be processed increases, the complexity of calculation increases, and the error is amplified in the disparity calculation process.
최근에는 광학적 특성과 영상처리를 이용하여 영상에서 추가적인 정보를 획득할 수 있는 다양한 계산 카메라들이 개발되고 있다. 이와 같은 카메라의 광학적 특성으로 획득되는 추가적인 정보로 재초점, 동적 범위의 증대, 깊이 유도 편집 등의 다양한 방법으로 스테레오 카메라의 한계를 극복하고 있다.Recently, various calculation cameras have been developed that can acquire additional information from an image using optical characteristics and image processing. With the additional information obtained by the optical characteristics of the camera, the limitation of the stereo camera is overcome by various methods such as refocusing, increasing dynamic range, and depth guided editing.
본 발명이 이루고자 하는 기술적 과제는 각각 상이한 컬러 필터가 적용된 복수 개의 개구부가 형성된 조리개(Multiple color-filter aperture : MCA)를 구비한 카메라에 의해 촬영된 원영상으로부터 객체를 추적하고, 추적된 객체 영역의 색수차 정보를 이용하여 색상이동벡터를 계산하여 카메라로부터 추적된 객체까지의 실제 거리를 추정하는 객체정보 추정장치 및 방법을 제공하는 데 있다.An object of the present invention is to track an object from an original image photographed by a camera having a multiple color-filter aperture (MCA) having a plurality of openings, each having a different color filter applied thereto, The present invention provides an object information estimating apparatus and method for estimating a real distance from a camera to a tracked object by calculating a color shift vector using chromatic aberration information.
본 발명이 이루고자 하는 다른 기술적 과제는 각각 상이한 컬러 필터가 적용된 복수 개의 개구부가 형성된 조리개(Multiple color-filter aperture : MCA)를 구비한 카메라에 의해 촬영된 원영상으로부터 객체를 추적하고, 추적된 객체 영역의 색수차 정보를 이용하여 색상이동벡터를 계산하여 카메라로부터 추적된 객체까지의 실제 거리를 추정하는 객체정보 추정방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another object of the present invention is to track an object from an original image photographed by a camera having a multiple color-filter aperture (MCA) having a plurality of openings each having a different color filter applied thereto, and tracking the object region. The present invention provides a computer-readable recording medium having recorded thereon a program for executing an object information estimation method for estimating the actual distance from a camera to a tracked object by calculating a color shift vector using the chromatic aberration information.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 객체정보 추정장치는 각각 상이한 컬러 필터가 적용된 복수 개의 개구부가 형성된 조리개를 구비한 카메라에 의해 촬영된 원영상으로부터 객체를 검출하는 객체 추적부; 상기 검출된 객체에 대응하는 영역에서 상기 원영상의 컬러채널들의 이동 방향 및 이동 거리를 나타내는 색상이동벡터(color shifting vector : CSV)를 계산하는 색상이동벡터 연산부; 및 상기 색상이동벡터를 기초로 상기 카메라로부터 상기 객체까지의 실제 거리정보를 추정하는 거리정보 추정부;를 구비한다.In accordance with an aspect of the present invention, there is provided an object information estimating apparatus including: an object tracking unit configured to detect an object from an original image photographed by a camera having an aperture having a plurality of openings each having a different color filter applied thereto; A color shifting vector calculator for calculating a color shifting vector (CSV) indicating a moving direction and a moving distance of color channels of the original image in a region corresponding to the detected object; And a distance information estimator for estimating actual distance information from the camera to the object based on the color shift vector.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 객체정보 추정방법은 각각 상이한 컬러 필터가 적용된 복수 개의 개구부가 형성된 조리개를 구비한 카메라에 의해 촬영된 원영상으로부터 객체를 검출하는 객체 추적단계; 상기 검출된 객체에 대응하는 영역에서 상기 원영상의 컬러 채널들의 이동 방향 및 이동 거리를 나타내는 색상이동벡터(color shifting vector : CSV)를 계산하는 색상이동벡터 연산단계; 및 상기 색상이동벡터를 기초로 상기 카메라로부터 상기 객체까지의 실제 거리정보를 추정하는 추정단계;를 가진다.In order to achieve the above technical problem, the object information estimation method according to the present invention comprises: an object tracking step of detecting an object from an original image photographed by a camera having an aperture having a plurality of openings each having a different color filter applied thereto; Calculating a color shifting vector (CSV) representing a moving direction and a moving distance of the color channels of the original image in a region corresponding to the detected object; And estimating actual distance information from the camera to the object based on the color shift vector.
본 발명에 따른 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법에 의하면, 시간적으로 연속한 원영상의 복수의 프레임 상에서 객체를 지속적으로 추적하고 추적된 객체의 색상이동벡터를 계산하여 카메라로부터 객체까지의 실제 거리 정보를 추정할 수 있다.According to the object information estimating apparatus and method of an image photographed by a camera having a multi-color filter aperture according to the present invention, the object is continuously tracked on a plurality of frames of a temporally continuous original image and the color shift of the tracked object is performed. The vector can be calculated to estimate the actual distance information from the camera to the object.
도 1은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 다중 컬러 필터 조리개를 구비한 카메라의 바람직한 일 실시예에 대한 대략적인 구조를 나타내는 도면,
도 3은 객체의 거리에 따른 다중 컬러 필터 조리개를 구비한 카메라의 영상 수렴의 형태를 도시한 도면,
도 4는 객체 추적부에서 마르코브 연쇄 몬테카를로 (markov chain monte carlo : MCMC) 샘플링 기반의 파티클 필터를 사용하여 객체를 추적한 결과를 도시한 도면,
도 5는 카메라로부터 거리가 다른 두 객체가 존재하는 경우에 있어 각각의 객체에 대하여 색상이동벡터를 계산하고 컬러채널 정합을 하는 결과를 도시한 도면,
도 6은 객체 추적 결과와 복수의 컬러채널을 정합한 결과를 도시한 도면,
도 7은 객체의 실제 거리에 따른 색상이동벡터 계산 결과를 도시한 도면,
도 8은 색상이동벡터를 계산하여 객체의 실제 거리를 도출하고 객체에 대한 컬러채널 정합을 구현한 결과를 도시한 도면, 그리고,
도 9는 본 발명에 따른 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.1 is a block diagram showing the configuration of a preferred embodiment of the apparatus for estimating object information of an image photographed by a camera having a multi-color filter aperture according to the present invention;
2 shows a schematic structure of a preferred embodiment of a camera with multiple color filter apertures,
3 is a view illustrating a form of image convergence of a camera having a multi-color filter aperture according to an object distance;
4 is a diagram illustrating a result of tracking an object using a particle filter based on markov chain monte carlo (MCMC) sampling in an object tracking unit;
FIG. 5 is a diagram illustrating a result of calculating a color shift vector and matching a color channel when two objects having different distances from a camera exist.
6 is a diagram illustrating a result of matching an object tracking result with a plurality of color channels;
7 is a diagram illustrating a color shift vector calculation result according to an actual distance of an object;
8 is a diagram illustrating a result of calculating a color shift vector to derive an actual distance of an object and implementing color channel matching for the object;
9 is a flowchart illustrating a preferred embodiment of the method for estimating object information of an image photographed by a camera having a multi-color filter aperture according to the present invention.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, a preferred embodiment of an apparatus and method for estimating object information of an image captured by a camera having a multi-color filter aperture according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a preferred embodiment of the apparatus for estimating object information of an image photographed by a camera having a multi-color filter aperture according to the present invention.
도 1을 참조하면, 본 발명에 따른 객체정보 추정장치는, 다중 컬러 필터 조리개를 구비한 카메라(이하 "MCA 카메라"라고 한다)에 의해 촬영된 원영상을 입력받아 객체를 추적하는 객체 추적부(110), 검출된 객체 영역에서 색상이동벡터를 계산하는 색상이동벡터 연산부(120), 계산된 색상이동벡터를 기초로 MCA 카메라로부터 객체까지의 실제 거리를 추정하는 거리정보 추정부(130), 계산된 색상이동벡터를 기초로 컬러채널을 정합하는 컬러채널 정합부(140)를 구비한다.Referring to FIG. 1, an object information estimating apparatus according to the present invention includes an object tracking unit that receives an original image photographed by a camera having a multi-color filter aperture (hereinafter referred to as a "MCA camera") and tracks an object ( 110), a color shift vector calculator 120 for calculating a color shift vector in the detected object region, a distance information estimator 130 for estimating an actual distance from an MCA camera to an object based on the calculated color shift vector, and a calculation And a color channel matching unit 140 for matching color channels based on the color shift vectors.
도 2는 MCA 카메라의 바람직한 실시예로 조리개에는 복수의 개구부가 형성되어있고 각 개구부에는 컬러 필터가 각각 설치된다. 컬러 필터로는 적색, 청색, 녹색을 사용할 수 있다. Figure 2 is a preferred embodiment of the MCA camera is a plurality of openings are formed in the aperture, each opening is provided with a color filter. As the color filter, red, blue, and green may be used.
도 3에는 MCA 카메라로 획득한 원영상의 객체의 거리에 따른 컬러 채널의 수렴 패턴이 도시되어 있다.도 3의 (a)는 원거리에 위치한 객체의 컬러채널 형성, 도 3의 (b)는 초점이 맞은 객체의 컬러채널 형성, 도 3의 (c)는 근거리에 위치한 객체의 컬러채널 형성을 도시한 것이다.3 illustrates a convergence pattern of a color channel according to the distance of an object of an original image acquired by an MCA camera. FIG. 3A illustrates a color channel formation of an object located at a distance, and FIG. 3B illustrates a focal point. The color channel formation of the hit object, FIG. 3C shows the color channel formation of the object located at a short distance.
도 3을 참조하면, 조리개의 컬러 필터들을 투과한 객체의 촬영광은 촬상 소자에 결상되어 원영상으로 생성되며, 촬영광의 수렴 패턴은 원영상에서 추출한 적색, 녹색 및 청색의 컬러 채널에 대하여 서로 다르게 나타난다. 이와 같이 MCA 카메라에 의해 촬영된 컬러 영상은 MCA 카메라로부터 객체까지의 거리에 따라 서로 다른 컬러 채널의 오정렬 현상을 발생시킨다. 결국 이러한 오정렬 현상에 기반하여 카메라로부터 객체까지의 실제 거리정보를 추정할 수 있다.Referring to FIG. 3, the photographing light of the object passing through the color filters of the aperture is formed in the image pickup device to generate the original image, and the convergence pattern of the photographing light is different for the red, green, and blue color channels extracted from the original image. appear. The color image photographed by the MCA camera generates misalignment of different color channels according to the distance from the MCA camera to the object. As a result, the actual distance information from the camera to the object can be estimated based on the misalignment phenomenon.
객체 추적부(110)는 원영상으로부터 객체를 검출하고, 원영상이 시간적으로 연속한 복수의 프레임인 경우 지속적으로 객체를 추적한다.The object tracking unit 110 detects an object from the original image, and continuously tracks the object when the original image is a plurality of frames that are continuous in time.
도 4는 MCA 카메라로 획득한 원영상에서 객체를 검출하고 추적하는 결과를 도시한다. 도 4의 (a)는 사전에 지정된 초기 객체 영역 영상으로 초록색 영역은 객체의 영역을 나타낸다. 도 4의 (b)는 파티클들에 의한 객체 추적 결과 영상으로 파란색 영역은 파티클, 붉은색 영역은 선택된 파티클 영역이다. 도 4의 (d),(f)는 객체 추적 결과 영상으로 붉은색 영역은 검출된 객체 영역을 나타낸다.4 illustrates a result of detecting and tracking an object in an original image acquired by an MCA camera. FIG. 4A illustrates a pre-specified initial object region image, in which the green region represents the region of the object. 4B illustrates an object tracking result image by particles, in which a blue area is a particle and a red area is a selected particle area. (D) and (f) of FIG. 4 are object tracking result images, and red regions represent detected object regions.
자세히 설명하면, 객체 추적부(110)는 원영상에서 객체를 추적하는데 객체의 크기 변화와 위치 변화에 무관하게 지속적으로 객체 영역이 검출되어야 한다. 본 발명의 객체 추적부(110)에서는 객체 추적을 위하여 마르코브 연쇄 몬테카를로 (markov chain monte carlo : MCMC) 샘플링 기반의 파티클 필터를 사용한다. 객체 추적 문제는 일반적으로 베이시안 필터링(Bayesian filtering)으로 정의된다. 시간 t에서 객체 상태가 Xt로 주어지고, 시간 t에 따르는 관측 모델 Y1 :t로 주어 졌을 때 베이시안 필터는 다음 수학식 1과 같은 규칙에 따라 사후 확률 p(Xt | Y1 :t)를 갱신한다.In detail, the object tracking unit 110 tracks the object in the original image, and the object area must be continuously detected regardless of the size change and the position change of the object. The object tracking unit 110 of the present invention uses a particle filter based on a markov chain monte carlo (MCMC) sampling for object tracking. Object tracking problems are generally defined as Bayesian filtering. Given the state of the object at time t as X t , and the observation model Y 1 : t according to time t, the Bayesian filter uses a posterior probability p (X t according to the following rules: | Y 1 : t )
여기에서 p(Yt | Xt)는 예측된 상태와 주어진 모델 사이의 유사도를 측정하는 관측 모델(observation model)이다. p(Xt | Xt -1)은 이전 상태 Xt -1을 기반으로 다음 상태 Xt를 예측하는 전이 모델(transition model)이며 c는 정규화 상수이다.Where p (Y t | X t ) is an observation model that measures the similarity between the predicted state and a given model. p (X t | X t -1 ) is a transition model that predicts the next state X t based on the previous state X t -1 and c is a normalization constant.
관측 모델에는 다중 컬러 필터 조리개를 사용함에 따라 생기는 저노출의 문제를 보완하기 위하여 셰이딩(shading) 효과로부터 색차(chromatic) 정보를 분리하는데 특징을 가지는 Hue-Saturation-Value(HSV) 색상 히스토그램을 적용하였다.The observation model uses a Hue-Saturation-Value (HSV) color histogram that is characterized by separating chromatic information from shading effects to compensate for the low exposure problem caused by using multiple color filter apertures. .
관측 모델과 전이 모델에 의해 계산된 사후 확률 p(Xt | Y1 :t)로 수학식 2와 같이 프레임마다 N개의 샘플로부터 최대 사후확률(Maximum a Posteriori : MAP) 을 도출한다.The posterior probability p (X t calculated by the observation model and the transition model | Y 1 : t ), as shown in
여기서 Xt MAP 은 현재 상태를 설명하는 가장 적합한 형태이다.Where X t MAP Is the best form for describing the current state.
그러나 수학식 2에서의 적분은 고 차원의 상태 공간에서는 수행되기 어려운 문제점이 있다. 이러한 문제점을 해결하기 위하여 MCMC방법 중에서 많이 사용되는 메트로폴리스 헤스팅(Metropolis-Hastings : MH) 알고리듬을 사용하였다. MH 알고리듬은 제안(proposal) 단계와 채택(acceptance) 단계로 구분된다.However, integration in
제안 단계에서는 예측된 상태(혹은 갱신된 상태)로부터 랜덤하게 샘플링된 모델과 주어진 모델 사이의 유사도를 측정한다. 채택 단계에서는 예측된 상태로부터 랜덤하게 샘플링된 모델과 주어진 모델의 유사도를 비교하여 채택률(acceptance ratio : α)를 계산한다. 만약 채택률이 1보다 크면 샘플된 상태를 새로운 상태로 갱신하고 갱신된 상태로부터 다시 제안 단계와 채택 단계를 반복한다. 이 두 단계는 미리 정해놓은 값에 이를 때까지 반복된다.채택률을 구하는 식은 수학식 3과 같다.In the proposal step, the similarity between a randomly sampled model and a given model is measured from the predicted state (or updated state). In the adoption phase, the acceptance ratio (α) is calculated by comparing the similarity of a given model with a randomly sampled model from the predicted state. If the adoption rate is greater than 1, update the sampled state to the new state and repeat the proposal and adoption steps from the updated state. These two steps are repeated until a predetermined value is obtained.
여기서 
상술한 과정으로 MCMC 샘플링 기반의 파티클 필터를 사용하여 추적된 객체 영역은 이하에서 설명할 색상이동벡터 연산부(120)에서 컬러채널의 이동을 계산하는 영역으로 사용된다.The object region tracked using the MCMC sampling-based particle filter in the above-described process is used as the region for calculating the movement of the color channel in the color shift vector calculator 120 to be described below.
색상이동벡터 연산부(120)는 검출된 객체 영역에서 색상이동벡터를 계산하고, 여기서 계산된 색상이동벡터에 기반하여 거리정보 추정부(130)에서는 MCA 카메라로부터 객체까지의 실제 거리를 추정하고, 컬러채널 정합부(140)에서는 컬러채널 정합 영상을 만들게 된다.The color shift vector calculating unit 120 calculates a color shift vector in the detected object area, and the distance information estimator 130 estimates the actual distance from the MCA camera to the object based on the calculated color shift vector. The channel matching unit 140 generates a color channel matching image.
도 5는 MCA 카메라로부터의 실제 거리가 서로 다른 두 객체 A,B가 존재할 때 색상이동벡터를 계산하고 컬러채널을 정합하는 실험결과를 도시한 도면이다. 색상이동벡터는 R,G,B 채널들 중에서 어느 하나를 소스 영상으로 하고 나머지 컬러채널을 타겟 영상으로 하여 소스 영상과 타겟 영상 간의 x축 이동 및 y축 이동을 계산한다. 예를 들면 G채널을 소스 영상으로 한다면 G-R 채널 사이와 G-B 채널 사이에서 색상이동벡터를 계산한다.원래 전체 원영상에 나타난 컬러 채널들 간의 이동은 공간 가변적이지만 검출된 객체 영역 내에서는 균등한 컬러 이동이 나타난다고 가정한다. FIG. 5 is a diagram illustrating an experimental result of calculating a color shift vector and matching color channels when two objects A and B having different actual distances from an MCA camera exist. The color shift vector calculates the x-axis movement and the y-axis movement between the source image and the target image by using one of the R, G, and B channels as the source image and the other color channel as the target image. For example, if the G channel is the source image, the color shift vector is calculated between the GR channel and the GB channel. The movement between the color channels shown in the original original image is spatially variable, but the color shift is uniform within the detected object area. Suppose that appears.
도 5의 (a)는 원본 영상, 도 5의 (b)는 A객체에 대하여 색상이동벡터를 계산하고 컬러채널 정합한 영상, 도 5의 (c)는 B객체에 대하여 색상이동벡터를 계산하고 컬러채널 정합한 영상을 도시한 도면이다. (a)에서는 A,B객체 모두 색수차를 확인할 수 있다. (b)에서는 A객체 영역에 해당하는 색상이동벡터를 계산하고 영상을 접합한 결과 객체 B에는 여전히 색수차가 발생한 것을 알 수 있다. (c)에서는 역시 B객체 영역에만 해당하는 색상이동벡터를 계산하고 이에 근거하여 영상을 접합한 결과 객체 A에는 여전히 색수차가 발생한 것을 알 수 있다. 5 (a) shows the original image, FIG. 5 (b) shows the color shift vector for the object A and the color channel matched image, and (c) the figure shows the color shift vector for the B object. Figure is a view showing a color channel matched image. In (a), chromatic aberration can be checked for both A and B objects. In (b), it can be seen that chromatic aberration still occurs in the object B as a result of calculating the color shift vector corresponding to the area A object and combining the images. In (c), the color shift vector corresponding to the B object area is also calculated and the image is bonded based on the result, indicating that chromatic aberration still occurs in the object A.
결국 객체의 거리정보에 따라 색상이동벡터가 서로 다르게 나타나며, 따라서 본 발명에 따른 객체정보 추정장치는 원영상에서 객체를 검출하여 추적하고 검출된 객체 영역에 대응하는 색상이동벡터를 계산하여 객체의 거리 정보를 추정할 수 있다.Eventually, the color shift vector appears differently according to the distance information of the object. Therefore, the object information estimating apparatus according to the present invention detects and tracks an object in the original image, calculates a color shift vector corresponding to the detected object area, and calculates the distance of the object. Information can be estimated.
이하 검출된 객체 영역에서 색상이동벡터를 계산하고 MCA 카메라로부터 객체까지의 거리를 추정하며, 영상을 정합하는 과정을 자세하게 설명한다.Hereinafter, a process of calculating the color shift vector in the detected object region, estimating the distance from the MCA camera to the object, and registering the image will be described in detail.
의료영상 분야에서의 영상 정합 분야는 MRI,CT,PET,X-Ray 등의 다른 환경에서 촬영된 영상을 의학적 연구나 수술 계획을 목적으로 많이 사용되기 때문에 많은 연구가 진행되고 있다.In the field of image matching in the field of medical imaging, many researches are being conducted because images taken in different environments such as MRI, CT, PET, and X-ray are used for medical research or surgical planning.
Periaswamy 가 제안한 탄력적인 정합(elastic registration : ER) 알고리듬은 어파인 행렬을 이용하여 소스 영상과 타겟 영상에 대하여 형태적인 정합을 수행한다.The elastic registration (ER) algorithm proposed by Periaswamy performs morphological matching on the source and target images using affine matrices.
본 발명의 색상이동벡터 연산부(120)에서는 객체 영역의 색상이동벡터 계산을 위하여 어파인 변환에서 이동만 존재하고, 검출된 객체 영역 전체에서의 채널간 색상 이동은 동일하다고 가정하여 간소화된 ER알고리듬으로 변환하여 수행한다.In the color shift vector calculating unit 120 of the present invention, only a shift in the affine transformation exists to calculate the color shift vector of the object region, and the color shift between channels in the detected object region is the same. Perform the conversion.
간소화된 ER알고리듬은 기존의 ER알고리듬이 수행하는 지역적인 모델 단계를 생략하고 전역적인 모델에 대해서만 계산하며 어파인 모델을 이동 변환에 대해서만 계산하여 수식을 간략화 한다.The simplified ER algorithm simplifies the equation by omitting the local model step performed by the existing ER algorithm, calculating only the global model, and calculating the affine model only for the translation.
여기서 m1과 m2는 변환 파라미터(translation parameters)이다.Where m 1 and m 2 are translation parameters.
수학식 4는 두 영상의 명암 차이가 없는 것을 가정하고 있다. 따라서 대비(contrast)와 밝기(brightness)에 대한 파라미터를 고려하여 수학식 5를 정의한다.Equation 4 assumes that there is no difference in contrast between the two images. Therefore, Equation 5 is defined in consideration of the parameters for contrast and brightness.
여기서 m3는 대비를, m4는 밝기를 나타낸다.Where m 3 represents contrast and m 4 represents brightness.
네 개의 파라미터를 측정하기 위하여 오차를 최소화하는 이차의 오차 함수(quadratic error function)를 수학식 6과 같이 정의한다.In order to measure four parameters, a quadratic error function that minimizes errors is defined as shown in Equation 6.
여기서 
오차 함수는 비선형이기 때문에 분석적으로 최소화될 수 없다. 간단하게 최소화 값을 구하기 위하여, 일차 단락 테일러 시리즈 확장(first-order truncated Taylor series expansion)을 사용하여 수학식 7과 같이 오차 함수를 근사화 시킨다.The error function is nonlinear and cannot be analytically minimized. To find the minimum value, we first approximate the error function as shown in Equation 7 using first-order truncated Taylor series expansion.
여기서 
수학식 8의 에러 함수는 벡터 형태로 더욱 간단하게 수학식 9로 표현된다.The error function of Equation 8 is more simply represented by Equation 9 in the form of a vector.
여기서 
오차 함수는 수학식 9에서 미지수 각각에 대해 미분하여 최소화되는 값을 구할 수 있고 수학식 9를 미분하는 값을 영으로 하는 
수학식 10에 의하여 계산된 색상이동벡터는 소스 영상에 어파인 변환을 수행하고 다시 타겟 영상과 비교하여 더욱 정밀한 벡터를 구하는 Newton-Raphson 형태의 반복적인 연산을 수행한다.The color shift vector calculated by Equation 10 performs an affine transformation on the source image and performs an iterative operation of Newton-Raphson type to obtain a more precise vector by comparing with the target image.
큰 모션을 찾기 위하여 가우시안 피라미드를 두 영상에 대하여 적용하여 구해진 모션을 다음 레벨에 갱신해 가면서 큰 모션을 찾아가는 coarse-to fine scheme를 사용한다.To find a large motion, we apply a Gaussian pyramid to two images and use a coarse-to fine scheme to find a large motion while updating the motion obtained to the next level.
도 5의 (b)는 A객체에 대하여 정합한 결과로 
도 6은 이동하는 객체를 연속으로 추적하고 컬러채널을 정합하는 실험결과를 도시한 것이다. 실험 영상은 MCA 디지털 카메라로 촬영하였으며 640*480 크기의 24프레임으로 촬영하였다. 또한 객체는 MCA 카메라로부터 49m거리에서 17m거리까지 이동하였다. 도 6의 (a)~(d)는 객체 추적 결과 영상, 도 6의 (e)~(h)는 추적된 객체의 컬러채널 정합 결과 영상을 도시한다.6 shows an experimental result of continuously tracking a moving object and matching color channels. Experimental images were taken with MCA digital camera and 24 frames of 640 * 480 size. The object also moved from 49m to 17m from the MCA camera. 6A to 6D show object tracking result images, and FIGS. 6E to 6H show color channel matching result images of tracked objects.
도 7은 도 6의 실험결과를 그래프로 분석한 것이다.FIG. 7 is a graph analyzing the experimental results of FIG. 6.
자세히 설명하면 도 7의 (a),(b)는 시간에 따라 객체가 MCA 카메라를 향해 다가오면서 G-R, G-B 색상이동벡터가 중심으로 수렴하는 것을 확인할 수 있으며, 정 초점 이후에 다시 발산함을 확인할 수 있다. 그러나 영상의 잡음과 환경의 문제로 불안정한 그래프 형태를 가지므로 거리 측정에 오차를 발생시키는 문제점이 있다. 따라서 이를 보완하기 위해 17m~49m 까지를 4m 단위로 양자화하여 실험하였다. 그 결과는 도 7의 (c),(d)에 도시되었다.In detail, (a) and (b) of FIG. 7 can confirm that the GR and GB color shift vectors converge toward the center as the object approaches the MCA camera over time, and the divergence after the forward focus is confirmed. Can be. However, because of the unstable graph shape due to the noise of the image and the environment, there is a problem that causes an error in the distance measurement. Therefore, to compensate for this, experiments were performed by quantizing 17m ~ 49m in 4m units. The results are shown in (c) and (d) of FIG.
도 8은 계산된 색상이동벡터를 거리맵에 매핑하여 거리정보를 화면에 표시하는 최종 실험결과를 도시한 도면이다. 거리맵은 실제의 거리를 사전에 실측하여 이를 색상이동벡터에 매칭시켜두는 방법으로 작성한다. 이로서 이동하는 객체를 추적하고 검출된 객체 영역에서 색상이동벡터를 계산하여 거리맵에 매칭시켜 봄으로서 MCA 카메라로부터 객체까지의 실제 거리를 추정할 수 있음을 알 수 있다. FIG. 8 is a diagram illustrating a final experiment result of displaying distance information on a screen by mapping a calculated color shift vector to a distance map. The distance map is prepared by actually measuring the actual distance in advance and matching it with the color shift vector. As a result, it can be seen that the actual distance from the MCA camera to the object can be estimated by tracking the moving object and calculating the color shift vector in the detected object area to match the distance map.
도 9는 본 발명에 따른 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 방법에 대한 바람직한 실시예의 흐름도이다.9 is a flowchart of a preferred embodiment of an object information method of an image photographed by a camera having a multi-color filter aperture according to the present invention.
도 9을 참조하면, 객체 추적부(110)는 MCA 카메라에 의해 획득된 원영상으로부터 객체를 검출하고(S1010), 색상이동벡터 연산부(120)는 검출된 객체에 대응하는 영역에서 컬러채널의 색상이동벡터를 계산하며(S1020), 거리정보 추정부(130)는 색상이동벡터에 기반하여 MCA 카메라로부터 검출된 객체와의 실제 거리정보를 추정한다(S1030). 컬러채널 정합부(140)는 색상이동벡터에 기반하여 검출된 객체에 대하여 컬러채널을 정합한다(S1040).Referring to FIG. 9, the object tracking unit 110 detects an object from an original image acquired by an MCA camera (S1010), and the color shift vector calculating unit 120 performs color of a color channel in an area corresponding to the detected object. The motion vector is calculated (S1020), and the distance information estimator 130 estimates actual distance information with the object detected from the MCA camera based on the color motion vector (S1030). The color channel matching unit 140 matches the color channels with respect to the detected object based on the color shift vector (S1040).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.
110 - 객체 추적부
120 - 색상 이동 벡터 연산부
130 - 거리정보 추정부
140 - 컬러채널 정합부110-object tracker
120-color shift vector calculator
130-distance information estimator
140-color channel matching unit
Claims (13)
상기 검출된 객체에 대응하는 영역에서 상기 원영상의 컬러 채널들의 이동 방향 및 이동 거리를 나타내는 색상이동벡터(color shifting vector : CSV)를 계산하는 색상이동벡터 연산부; 및
상기 색상이동벡터를 기초로 상기 카메라로부터 상기 객체까지의 실제 거리정보를 추정하는 거리정보 추정부;를 포함하는 것을 특징으로 하는 객체정보 추정장치.An object tracking unit for detecting an object from an original image photographed by a camera having an aperture having a plurality of apertures each having a different color filter applied thereto;
A color shifting vector calculator for calculating a color shifting vector (CSV) indicating a moving direction and a moving distance of color channels of the original image in a region corresponding to the detected object; And
And a distance information estimator for estimating actual distance information from the camera to the object based on the color movement vector.
상기 계산된 색상이동벡터에 기반하여 상기 원영상의 복수의 컬러채널을 정합하는 컬러채널 정합부를 더 포함하는 것을 특징으로 하는 객체정보 추정장치.The method of claim 1,
And a color channel matching unit for matching a plurality of color channels of the original image based on the calculated color shift vector.
상기 객체 추적부는 마르코브 연쇄 몬테카를로(markov chain montecarlo; MCMC) 샘플링 기반의 파티클 추적 알고리듬을 사용하여 상기 원영상을 구성하는 시간적으로 연속한 복수의 프레임 상에서 상기 객체를 지속적으로 추적하는 것을 특징으로 하는 객체정보 추정장치.3. The method according to claim 1 or 2,
The object tracking unit continuously tracks the object on a plurality of temporally consecutive frames constituting the original image using a particle tracking algorithm based on markov chain montecarlo (MCMC) sampling. Information estimator.
상기 색상이동벡터 연산부는 상기 복수의 컬러채널 중 하나의 컬러채널을 소스 영상으로 하고 나머지 컬러채널을 타겟 영상으로 선정하여 소스 영상과 타겟 영상 간의 x축 이동 및 y축 이동을 계산하여 상기 색상이동벡터를 계산하되, 상기 컬러채널의 이동은 상기 검출된 객체에 대응하는 영역 전체에서 동일한 것으로 가정하여 상기 색상이동벡터를 계산하는 것을 특징으로 하는 객체정보 추정장치.3. The method according to claim 1 or 2,
The color shift vector calculating unit calculates an x-axis movement and a y-axis movement between the source image and the target image by selecting one color channel among the plurality of color channels as the source image and selecting the remaining color channel as the target image. And calculating the color shift vector by assuming that the movement of the color channel is the same in the entire area corresponding to the detected object.
상기 색상이동벡터 연산부는 상기 복수의 컬러채널 중 하나의 컬러채널을 소스 영상으로 하고 나머지 컬러채널을 타겟 영상으로 선정하여 소스 영상과 타겟 영상 간의 x축 이동 및 y축 이동을 계산하여 초기 색상이동벡터를 계산하고, 상기 초기 색상이동벡터를 상기 소스 영상에 어파인 변환하여 상기 타겟 영상과 비교하는 과정을 반복 수행함으로써 최종적으로 상기 색상이동벡터를 계산하는 것을 특징으로 하는 객체정보 추정장치.3. The method according to claim 1 or 2,
The color shift vector calculating unit calculates the x-axis movement and the y-axis movement between the source image and the target image by selecting one color channel among the plurality of color channels as the source image and selecting the remaining color channel as the target image. And calculating the color shift vector by repeating the process of affinely converting the initial color shift vector to the source image and comparing the target color with the target image.
상기 추정부는 상기 색상이동벡터의 크기에 따른 상기 카메라로부터의 거리정보로 이루어진 거리맵에 상기 객체에 대응하는 색상이동벡터를 맵핑하여 상기 카메라로부터 상기 객체까지의 거리를 추정하는 것을 특징으로 하는 객체정보 추정장치.3. The method according to claim 1 or 2,
The estimator estimates a distance from the camera to the object by mapping a color shift vector corresponding to the object to a distance map consisting of distance information from the camera according to the size of the color shift vector. Estimator.
상기 검출된 객체에 대응하는 영역에서 상기 원영상의 컬러 채널들의 이동 방향 및 이동 거리를 나타내는 색상이동벡터(color shifting vector : CSV)를 계산하는 색상이동벡터 연산단계; 및
상기 색상이동벡터를 기초로 상기 카메라로부터 상기 객체까지의 실제 거리정보를 추정하는 추정단계;를 포함하는 것을 특징으로 하는 객체정보 추정방법.An object tracking step of detecting an object from an original image photographed by a camera having an aperture in which a plurality of openings to which different color filters are applied are formed;
Calculating a color shifting vector (CSV) representing a moving direction and a moving distance of the color channels of the original image in a region corresponding to the detected object; And
And estimating actual distance information from the camera to the object based on the color shift vector.
상기 계산된 색상이동벡터에 기반하여 상기 원영상의 복수의 컬러채널을 정합하는 컬러채널 정합단계를 더 포함하는 것을 특징으로 하는 객체정보 추정방법.8. The method of claim 7,
And a color channel matching step of matching a plurality of color channels of the original image based on the calculated color shift vector.
상기 객체 추적단계는 마르코브 연쇄 몬테카를로(markov chain montecarlo; MCMC) 샘플링 기반의 파티클 추적 알고리듬을 사용하여 상기 원영상을 구성하는 시간적으로 연속한 복수의 프레임 상에서 상기 객체를 지속적으로 추적하는 것을 특징으로 하는 객체정보 추정방법.9. The method according to claim 7 or 8,
The object tracking step is to continuously track the object on a plurality of temporally continuous frames constituting the original image using a particle tracking algorithm based on markov chain montecarlo (MCMC) sampling. Object Information Estimation Method.
상기 색상이동벡터 연산단계는 상기 복수의 컬러채널 중 하나의 컬러채널을 소스 영상으로 하고 나머지 컬러채널을 타겟 영상으로 선정하여 소스 영상과 타겟 영상 간의 x축 이동 및 y축 이동을 계산하여 상기 색상이동벡터를 계산하되, 상기 컬러채널의 이동은 상기 검출된 객체에 대응하는 영역 전체에서 동일한 것으로 가정하여 상기 색상이동벡터를 계산하는 것을 특징으로 하는 객체정보 추정방법.9. The method according to claim 7 or 8,
The color shift vector calculating step calculates the x-axis movement and the y-axis movement between the source image and the target image by selecting one color channel of the plurality of color channels as a source image and selecting the remaining color channel as a target image. Computing a vector, it is assumed that the movement of the color channel is the same in the entire area corresponding to the detected object, the object information estimation method, characterized in that for calculating the color shift vector.
상기 색상이동벡터 연산단계는 상기 복수의 컬러채널 중 하나의 컬러채널을 소스 영상으로 하고 나머지 컬러채널을 타겟 영상으로 선정하여 소스 영상과 타겟 영상 간의 x축 이동 및 y축 이동을 계산하여 초기 색상이동벡터를 계산하고, 상기 초기 색상이동벡터를 상기 소스 영상에 어파인 변환하여 상기 타겟 영상과 비교하는 과정을 반복 수행함으로써 최종적으로 상기 색상이동벡터를 계산하는 것을 특징으로 하는 객체정보 추정방법.9. The method according to claim 7 or 8,
In the color shift vector calculating step, an initial color shift is performed by calculating an x-axis movement and a y-axis movement between the source image and the target image by selecting one color channel as the source image and selecting the remaining color channel as the target image. And finally calculating the color shift vector by repeating a process of calculating a vector, affine converting the initial color shift vector to the source image, and comparing the target color image with the target image.
상기 추정단계는 상기 색상이동벡터의 크기에 따른 상기 카메라로부터의 거리정보로 이루어진 거리맵에 상기 객체에 대응하는 색상이동벡터를 맵핑하여 상기 카메라로부터 상기 객체까지의 거리를 추정하는 것을 특징으로 하는 객체정보 추정방법.9. The method according to claim 7 or 8,
And the estimating step maps a color shift vector corresponding to the object to a distance map including distance information from the camera according to the size of the color shift vector, and estimates a distance from the camera to the object. Information estimation method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110023644A KR101216668B1 (en) | 2011-03-17 | 2011-03-17 | Apparatus and method for estimating object information of image taken by multiple color filter aperture camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110023644A KR101216668B1 (en) | 2011-03-17 | 2011-03-17 | Apparatus and method for estimating object information of image taken by multiple color filter aperture camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120105919A true KR20120105919A (en) | 2012-09-26 |
| KR101216668B1 KR101216668B1 (en) | 2012-12-28 |
Family
ID=47112699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110023644A KR101216668B1 (en) | 2011-03-17 | 2011-03-17 | Apparatus and method for estimating object information of image taken by multiple color filter aperture camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101216668B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101454815B1 (en) * | 2013-05-29 | 2014-11-04 | 중앙대학교 산학협력단 | Apparatus and method for detecting object using dual color filter aperture |
| KR101477649B1 (en) * | 2013-10-08 | 2014-12-30 | 재단법인대구경북과학기술원 | Object detection device of using sampling and posterior probability, and the method thereof |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102014545B1 (en) * | 2018-07-11 | 2019-08-26 | 이노뎁 주식회사 | method of processing compressed video for perspective visual presentation based on 3D modelling of motion vectors of the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100781552B1 (en) | 2006-06-26 | 2007-12-05 | 삼성전기주식회사 | Apparatus and method for recovering high pixel image processing |
-
2011
- 2011-03-17 KR KR1020110023644A patent/KR101216668B1/en active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101454815B1 (en) * | 2013-05-29 | 2014-11-04 | 중앙대학교 산학협력단 | Apparatus and method for detecting object using dual color filter aperture |
| KR101477649B1 (en) * | 2013-10-08 | 2014-12-30 | 재단법인대구경북과학기술원 | Object detection device of using sampling and posterior probability, and the method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101216668B1 (en) | 2012-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ayazoglu et al. | Dynamic subspace-based coordinated multicamera tracking | |
| CN105654464B (en) | Image processing apparatus and image processing method | |
| Cai et al. | Robust visual tracking for multiple targets | |
| EP3447730B1 (en) | Three-dimensional reconstruction method | |
| US20180063511A1 (en) | Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture | |
| KR101125765B1 (en) | Apparatus and method for registration between color channels based on depth information of image taken by multiple color filter aperture camera | |
| KR101776621B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| US8995712B2 (en) | Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor | |
| CN112883819A (en) | Multi-target tracking method, device, system and computer readable storage medium | |
| KR101290197B1 (en) | Apparatus and method for estimating depth information of image | |
| KR20150144726A (en) | Apparatus for recognizing location mobile robot using search based correlative matching and method thereof | |
| US9483825B2 (en) | Apparatus and method for estimating distance using dual off-axis color filter aperture | |
| KR101216668B1 (en) | Apparatus and method for estimating object information of image taken by multiple color filter aperture camera | |
| CN115457086A (en) | Multi-target tracking algorithm based on binocular vision and Kalman filtering | |
| CN108090920B (en) | Light field image depth stream estimation method | |
| KR20200102108A (en) | Apparatus for detecting object of vehicle and method thereof | |
| KR100994722B1 (en) | Method for tracking moving object on multiple cameras using probabilistic camera hand-off | |
| CN103688289A (en) | Method and system for estimating a similarity between two binary images | |
| Cigla et al. | Image-based visual perception and representation for collision avoidance | |
| Lee et al. | Simultaneous object tracking and depth estimation using color shifting property of a multiple color-filter aperture camera | |
| JP6504711B2 (en) | Image processing device | |
| CN112985388B (en) | Combined navigation method and system based on large-displacement optical flow method | |
| Uke et al. | Efficient method for detecting and tracking moving objects in video | |
| KR101371369B1 (en) | Apparatus and method for automatic detection of object from image taken by multiple color filter aperture camera | |
| KR101454815B1 (en) | Apparatus and method for detecting object using dual color filter aperture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20151028 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190110 Year of fee payment: 7 |