KR101053266B1 - 오토 포커싱 방법 - Google Patents

Abstract

추종하던 이동체가 상기 이미지 내에서 사라지는 경우, 상기 이동체가 사라지기 직전 프레임에서 사용자 설정에 의한 중심 포인트 주위의 소정 영역에 대한 평균 컬러값에 대응되는 제1 컬러패턴을 산출하고 상기 제1 컬러패턴에 따른 중심 포인트를 설정하는 단계와, 상기 제1 컬러패턴에 따른 중심 포인트를 중심으로 하는 트래킹 서브 영역을 설정하고, 상기 이동체가 사라진 이후의 프레임에 대해 상기 재설정된 트래킹 서브 영역에서 상기 제1 컬러패턴에 따른 중심 포인트 주위의 소정 영역에 대응되는 크기의 복수의 영역에 대한 평균 컬러값에 대응되는 제2 컬러패턴을 산출하는 단계 및 상기 제1 컬러패턴 및 제2 컬러패턴을 비교하여 그 차이가 사전 설정된 임계값보다 작은 경우 상기 이동체가 이미지에 다시 나타난 것으로 판단하고, 해당 제2 컬러패턴이 산출된 영역의 컬러패턴에 따른 중심을 상기 다시 나타난 이동체 추종을 위한 중심 포인트로 설정하는 단계를 포함하는 오토 포커싱 방법이 개시된다.

이동체, 추종, 트랙킹, 오토 포커스, 컬러 패턴

Description

오토 포커싱 방법{AUTO-FOCUSING METHOD}

본 발명은 카메라 디바이스에 있어서의 오토 포커싱 방법에 관한 것으로서, 더욱 상세하게는, 휴대폰 등과 같은 모바일 통신 디바이스에 장착되는 카메라 모듈에 있어서의 소정 이미지 내의 이동체를 자동으로 추종할 수 있으며, 이동체가 이미지 내에서 사라진 후 다시 나타나는 경우에도 연속적인 이동체 추종이 가능한 오토 포커싱 방법에 관한 것이다.

일반적으로, 카메라 모듈(CCM:Compact Camera Module)은 소형으로써 카메라폰이나 PDA, 스마트폰을 비롯한 휴대용 이동통신 기기와 토이 카메라(toy camera) 등의 다양한 IT 기기에 적용되고 있는 바, 최근에 이르러서는 소비자의 다양한 취향에 맞추어 소형의 카메라 모듈이 장착된 기기의 출시가 점차 늘어나고 있는 실정이다.

이와 같은 카메라 모듈은, CCD나 CMOS 등의 이미지센서를 주요 부품으로 하여 제작되고 있으며 상기 이미지센서를 통하여 사물의 이미지를 집광시켜 기기내의 메모리상에 데이터로 저장되고, 저장된 데이터는 기기내의 LCD 또는 PC 모니터 등 의 디스플레이 매체를 통해 영상으로 디스플레이된다.

또한, 최근에는 카메라 렌즈로 포착되는 피사체의 휘도신호를 이용해서 피사체를 검출하고 이 검출된 피사체에 맞추어 광학계를 구동시켜 그 촛점을 자동적으로 맞춰주는 오토 포커싱 기술이 널리 사용되고 있다.

이와 같은, 콘트라스트 방식에 의한 오토 포커싱에서는 카메라의 촬영 범위 내에 있는 피사체의 전체를 오토 포커싱의 대상으로 하는 것이 아니라, 촬영 범위 중의 일부의 관심 범위에 있는 피사체만을 대상으로 하는 것이 많다. 콘트라스트 방식의 오토 포커싱에서는 이미지센서의 촬상 영역 전체에 의하여 받아 들여진 화상 신호 가운데 오토 포커싱의 대상으로 하는 범위의 화상 신호를 추출하고, 그 추출한 범위의 화상 신호의 콘트라스트가 가장 높아지도록 포커스를 제어하는 것에 의해 오토 포커스의 대상을 일부의 범위의 피사체로 한정하고 있다.

그러나, 현재에 사용되고 있는 기술에 의한 오토 포커싱의 경우에는 피사체가 소정의 이미지 내에서 이동하여 상기 이미지 영역을 이탈하는 경우 (가령, 피사체가 이미지 밖으로 이동하여 사라질 경우) 기존의 추종되던 피사체에 대한 정보가 손실되어 피사체를 더 이상 추종할 수 없게 되는 문제점이 발생된다.

뿐만 아니라, 종래의 콘트라스트 방식에 의한 오토 포커싱 방법은, 가령 촛점화된 이미지 생성을 위한 최적의 렌즈 위치를 찾기 위하여 렌즈 위치가 변화되는 동안 이미지가 언포커싱될 수 있으며, 이 경우 관심 범위에 있는 이동체의 추종에 실패할 가능성이 매우 높다.

한편, 실제의 촬영에서는, 하나의 피사체만을 항상 오토 포커싱의 대상으로 하는 것이 아니라 사용자의 판단에 의하여 순간적으로 다른 피사체로 오토 포커싱의 대상을 바꾸어야 할 경우가 있는데, 이러한 경우에는 트랙 볼 등에 의한 사용자 입력에 의한 관심 범위의 설정에 있어서 이동체의 신속한 추종 응답 측면에서 문제점을 내포하고 있다.

또한, 현재 사용되고 있는 DSC 카메라의 경우에 있어서는 이동체의 추종 능력을 제공하고 있지만, 모바일 폰과 같은 소형의 디바이스의 경우 메모리 등과 같은 하드웨어적인 제약으로 인하여 모바일 폰 적용을 위한 별도의 알고리즘이 요구되고 있는 실정이다.

본 발명은, 피사체가 소정의 이미지 내에서 이동하여 상기 이미지 영역을 이탈하는 경우에도 기존의 추종되던 피사체에 대한 정보가 손실됨이 없도록 하여 피사체를 계속 안정되게 추종할 수 있도록 하는 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

또한 본 발명은, 피사체가 소정의 이미지 내에서 벗어나거나, 다른 물체에 의해서 가려질 경우 혹 사라질 경우도 추종되던 피사체가 소정의 영역안으로 다시 들어 올 경우에도 끊임 없이 연속적인 피사체 추종이 가능한 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

또한, 본 발명은, 촛점화된 이미지 생성을 위한 렌즈 위치의 변화시 뿐만 아니라 줌 인, 줌 아웃 등과 같은 줌 팩터(zooming factor) 및 카메라 뷰(view) 위치의 변화시, 그리고 라이팅 조건의 변화에 따른 이미지 콘트라스트의 변화시, 추종하던 피사체의 크기 변경 및 피사체의 회전에도 견실하게 이동체를 추종할 수 있는 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

아울러, 본 발명은 이동체의 대상 변경을 신속하게 처리할 수 있으며, 모바일 폰과 같은 소형의 디바이스에도 하드웨어적으로도 최적으로 적용 가능한 오토 포커싱 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.

상기 기술적 과제를 해결하기 위한 수단으로서, 본 발명은,
이미지 내에서의 이동체에 대한 오토 트랙킹을 위하여 상기 이동체를 선택하는 사용자 입력에 따른 중심 포인트를 설정하는 단계; 상기 중심 포인트를 감싸도록, 오토 포커싱을 위한 연산이 수행되는 오토 포커싱 영역을 설정하는 단계; 상기 오토 포커싱 영역을 감싸도록, 오트 트랙킹을 위한 연산이 수행되는 트랙킹 서브 영역을 설정하는 단계; 상기 사용자 입력에 따른 중심 포인트, 오토 포커싱 영역 및 트랙킹 서브 영역이 함께 상기 이동체를 추종하는 단계-상기 이동체의 이동에 따라서 상기 오토 포커싱 영역의 위치를 변화시키고 상기 트랙킹 서브 영역의 위치를 업데이트함-; 상기 이동체가 상기 이미지 내에서 사라지는 경우, 상기 이동체가 사라지기 직전 프레임에서 상기 중심 포인트의 주위의 소정 영역에 대한 평균 컬러값에 대응되는 제1 컬러패턴을 산출하고 상기 제1 컬러패턴에 따른 중심 포인트를 설정하는 단계; 상기 제1 컬러패턴에 따른 중심 포인트를 중심으로 하는 트래킹 서브 영역을 재설정하고, 상기 이동체가 사라진 이후의 프레임에 대해 상기 재설정된 트래킹 서브 영역에서 상기 제1 컬러패턴에 따른 중심 포인트 주위의 소정 영역에 대응되는 크기의 복수의 영역에 대한 평균 컬러값에 대응되는 제2 컬러패턴을 산출하는 단계; 및 상기 제1 컬러패턴 및 제2 컬러패턴을 비교하여 그 차이가 사전 설정된 임계값보다 작은 경우 상기 이동체가 이미지에 다시 나타난 것으로 판단하고, 해당 제2 컬러패턴이 산출된 영역의 컬러패턴에 따른 중심을 상기 다시 나타난 이동체 추종을 위한 중심 포인트로 설정하는 단계를 포함하는 오토 포커싱 방법을 제공한다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

본 발명의 일실시형태에서, 상기 오토 트랙킹을 위한 이동체가 이미지의 에지부로부터 벗어나고 있는 경우, 상기 트랙킹 서브 영역의 에지부는 상기 이미지의 에지부와 일치된 상태로 유지됨과 동시에 상기 트랙킹 서브 영역 내부의 오토 포커싱 영역만이 상기 트랙킹 서브 영역 내에서 상기 이동체를 추종하도록 상기 이미지의 에지부를 향하여 이동하며, 상기 오토 트랙킹을 위한 이동체가 이미지의 에지부로부터 완전히 벗어나 상기 오토 포커싱 영역만이 상기 트랙킹 서브 영역 내에서의 이동에 의하여 상기 이미지의 에지부에 도달한 경우에도, 상기 오토 포커싱 영역과 트랙킹 서브 영역은 모두 상기 이미지의 에지부에서 유지되도록 구성될 수 있다.

본 발명의 일실시형태에서, 상기 중심 포인트의 주위의 소정 영역은 상기 중심 포인트를 중심으로 하는 상기 오토 포커스 영역일 수 있다.

본 발명의 일실시형태에서, 상기 이동체를 추종하는 단계는, 상기 이동체를 추종하는 단계는, a) 상기 트랙킹 서브 영역 주위로 서브 이미지를 커팅하는 단계; b) 가우시안 함수(Gaussian Function)로 컨볼빙(convolving)함에 의하여 전 후 프레임에서의 서브 이미지들을 스무딩(smoothing)하는 단계; c) 상기 가우시안 함수의 도함수(derivative)로 컨볼빙함에 의하여 상기 전 후 프레임에서의 서브 이미지들의 구배(gradient)를 계산하는 단계; 및 d) 새로운 중심 포인트의 위치를 발견하도록 상기 b) c) 단계를 반복(iteration)하는 단계를 포함할 수 있다.

이 실시형태에서, 상기 이동체의 추종에 대한 계산은, 단지 하나의 픽셀만큼만 상기 중심 포인트가 이동할 경우, 또는 상기 반복 단계가 미리 설정된 한계치를 초과할 경우, 또는 상기 중심 포인트가 경계 외부에 위치되는 경우에 정지하도록 동작할 수 있다.

본 발명의 일실시형태에서, 상기 사용자 입력에 따른 중심 포인트는 터치 패드 방식으로 사용자에 의하여 입력될 수 있다.

본 발명에 따르면, 피사체가 소정의 이미지 내에서 이동하여 상기 이미지 영역을 이탈하는 경우에도 기존의 추종되던 피사체에 대한 정보가 손실되지 않고 피사체를 지속적으로 안정되게 추종할 수 있는 효과가 있다.

또한 본 발명에 따르면, 피사체가 소정의 이미지 내에서 벗어나거나 다른 물체에 의해서 가려져 이미지에서 사라진 후 추종되던 피사체가 소정의 영역안으로 다시 들어 올 경우에도 끊임 없이 연속적인 피사체 추종이 가능한 효과가 있다.

또한, 본 발명에 따르면 다양한 촬영환경의 변화 또는 피사체의 변화에도 견 실하게 이동체를 추종할 수 있는 효과가 있다.

또한 본 발명에 따르면, 이동체의 대상 변경을 신속하게 처리할 수 있으며, 모바일 폰과 같은 소형의 디바이스에도 하드웨어적으로도 최적으로 적용 가능한 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.

도 1에 도시된 바와 같이, 본 발명에 의한 오토 포커싱은, 크게 3개의 영역에 의하여 수행된다.

이들 3개의 영역은, 소정의 이미지(10) 내에서의 이동체(moving object; 20)에 대한 오토 트랙킹(auto tracking)을 위하여 사용자의 입력에 의하여 선택되는 하나의 중심 포인트(area of interest central point; 11)와, 상기 중심 포인트(11)를 감싸도록 설정된 오토 포커싱 영역(auto fucusing area; 13), 및 상기 오 토 포커싱 영역(13)을 감싸도록 주위에 설정된 트랙킹 서브 영역(tracking sub-window; 12)로 구성된다.

하나의 중심 포인트(11)는 이동체(20)의 트랙킹을 위하여 사용자에 의하여 선택되는 영역이다.

이러한 하나의 중심 포인트(11)는 종래기술에서와는 달리 터치 패드 방식으로 사용자에 의하여 입력되는 것이 바람직한데, 터치 패드 방식에 의하여 이동체의 대상 선택 및 변경에 신속하게 대처할 수 있으며, 모바일 디바이스와 같은 소형의 디바이스에 보다 적합한 대상체 선택 수단이 된다.

오토 포커싱 영역(13)은 선택된 중심 포인트를 기준으로 포커싱 프로세스를 수행하는 영역에 해당한다.

한편, 본 발명에 있어서는 오토 포커싱 영역(13) 이외에 이를 둘러싸는 영역인 트랙킹 서브 영역(12)을 더 포함하는 것을 그 기술적 특징 중 하나로 하고 있다. 이러한 트랙킹 서브 영역(12) 내에서만 이미지 프로세싱을 수행하므로 메모리 사용과 계산량을 감소 효과가 발생하며, 특히 모바일 폰과 같은 소형 디바이스에 더욱 적합하게 사용되기 위하여 채택된 구성일 뿐만 아니라, 후술하는 데이터 유지 측면에서 필수적인 구성이라 할 것이다. 통상적으로 초당 30 프레임을 프로세싱하기 때문에 관심 영역은 프레임들 사이에서 큰 거리로 시프트되지 않으며, 만약 두 프레임 사이의 최대 시프트가 이미지의 20%일 경우 최대 20배만큼 계산량을 감소시킬 수 있고 이에 소요되는 메모리는 5배만큼 감소시킬 수 있다.

도 2a에서 확인되는 바와 같이, 앞서 설명한 중심 포인트(11), 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)이 함께 소정의 전체 이미지(10) 내에서 이동체(20)를 트랙킹하고, 이동체(20)의 이동에 따라서 상기 오토 포커싱 영역(13)의 위치를 변화시키고 상기 트랙킹 서브 영역(12)의 위치를 업데이트한다.

이동체(20)의 이동에 있어서, 도 2b에서와 같이 오토 트랙킹을 위한 이동체(20)가 소정의 전체 이미지(10)의 우측 에지부로부터 벗어나고 있는 경우, 트랙킹 서브 영역(12)의 에지부는 이미지(10)의 에지부와 일치된 상태로 유지되는 반면 트랙킹 서브 영역(12) 내부의 오토 포커싱 영역(13)만이 상기 트랙킹 서브 영역(12) 내에서 이동체(20)를 계속 추종하도록 이미지(10)의 에지부를 향하여 우측으로 이동하게 된다.

도 2c에서와 같이, 만약 오토 트랙킹을 위한 이동체(20)가 이미지(10)의 에지부로부터 우측으로 완전히 벗어나 (가령, 화면에서 이동체가 사라질 경우) 오토 포커싱 영역(13)만이 트랙킹 서브 영역(12) 내에서의 이동에 의하여 전체 이미지(10)의 에지부에 도달한 경우에도, 오토 포커싱 영역(13)과 트랙킹 서브 영역(12)은 모두 이미지(10)의 에지부에서 계속 유지되도록 구성된다.

즉, 통상적으로 종래 기술에 있어서는 피사체가 소정의 이미지 내에서 이동하여 소정의 이미지 영역을 이탈하는 경우 (가령, 피사체가 이미지 밖으로 이동하여 사라질 경우) 기존의 추종되던 피사체에 대한 정보가 손실되는데 비하여, 본 발명에서는 이러한 경우에 있어서도 오토 포커싱 영역(13)과 트랙킹 서브 영역(12) 모두가 해당 이미지의 에지부에서 계속 유지되도록 구성됨에 의하여 이동체에 대한 트랙킹 데이터가 계속 유지되어 피사체를 안정되게 추종할 수 있도록 한다.

이하, 임의의 환경에서도 이동체를 견실하게 추종하는 본 발명에 의한 이동체의 추종에 대한 프로세싱 단계를 설명하도록 한다. 먼저, 트랙킹 서브 영역(12) 주위로 서브 이미지를 커팅한다.

다음, 커팅된 시간상 전후(n, n+1)의 프레임에서의 서브 이미지들을 식 1인 가우시안 함수(Gaussian Function)로 컨볼빙(convolving)에 의하여 스무딩(smoothing)하게 된다.

[식 1]

초기 영상의 스므딩을 위해, σ=0.1을 사용한다. 그리고 서브 이미지 다운 스케일(downscale)을 위해, σ=0.9를 사용한다.

예로 σ=0.8에 대한 샘플 가우시안 매트릭스(Matrix)는 아래와 같다.

0.00000067	0.00002292	0.00019117	0.00038771	0.00019117	0.00002292	0.00000067
0.00002292	0.00078633	0.00655965	0.01330373	0.00655965	0.00078633	0.00002292
0.00019117	0.00655965	0.05472157	0.11098164	0.05472157	0.00655965	0.00019117
0.00038771	0.01330373	0.11098164	0.22508352	0.11098164	0.01330373	0.00038771
0.00019117	0.00655965	0.05472157	0.11098164	0.05472157	0.00655965	0.00019117
0.00002292	0.00078633	0.00655965	0.01330373	0.00655965	0.00078633	0.00002292
0.00000067	0.00002292	0.00019117	0.00038771	0.00019117	0.00002292	0.00000067

그 다음, 가우시안의 도함수(derivative)로 컨볼빙함에 의하여 상기 전후 서브 이미지들의 기울기(gradient)를 계산하게 된다.

여기서, 가우시안의 도함수는 실제 적용된 값의 함수들(real valued functions)이다.

그리고 1차원에서, 가우시안의 도함수는 다항식(polynomial)과 가우시안의 결과와 같은 특징을 가진다.

[식 2]

도 3은 x축의 가우시안 함수와 y축의 가우시안 함수의 두 개 도함수를 구성하는 가우시안의 도함수의 그림이다.

도 3과 같이 각각의 영역에서, 이 함수들은 경향이 있는 특정 부분에서 증가(흰색)와 감소(검은색)로 일부가 아주 작게 변한다.

마지막으로, 새로운 중심 포인트의 위치를 발견하도록 반복(iteration)하는 단계를 거치게 된다.

반복의 순서는 아래와 같은 특징을 가지고 있다.

1. 평균적으로 5회 반복으로 충분하다(추천).

2. 첫번째 반복(k=1)에서, 초기 추정(Guess)은 앞 프레임들(frames)의 추적을 기반으로 움직임을 예측함에의해 설정된다.

3. 가우시안 함수와 가우시안 도함수 필터들에 의해 회전, 잡음, 줌 요소 그리고 디포커싱(defocusing)에 대해 변하지 않는 영상 디스플레이(displacement) 계산 방법을 얻기 위해 영상 구조를 얻는다

4. 각각의 반복은 각각의 레벨(level)(다운스케일 4개 요소를 가진 2 레벨을 사용한다)을 위해 디스플레이 영상을 최소화한다. 큰(big)영상 시프트(shift) 검출을 위해 레벨을 다운스케일하고 정확한 시프트 검출을 위해 초기 크기를 다운스케일 한다.

한편, 상기 이동체의 추종에 관한 계산은, 단지 하나의 픽셀만큼만 상기 중심 포인트가 이동할 경우, 또는 상기 반복 단계가 미리 설정된 한계치를 초과할 경우, 또는 상기 중심 포인트가 경계 외부에 위치되는 경우에 정지하는 것이 바람직하다.

이상과 같은 트랙킹 서브 영역의 설정 및 이동체 트랙킹 프로세싱에 의하여 본 발명은 다음과 같은 효과를 창출하게 되며 이를 관련 도면인 도 4 내지 도 6을 참조하여 설명하도록 한다.

먼저, 도 4는 이미지 포커싱이 지속적으로 변화될 경우의 본 발명에 의한 트랙킹 성능을 나타낸다.

즉, 촛점화된 이미지 생성을 위하여 렌즈의 위치가 변화하여 도 4b 내지 도 4d에서와 같이 이미지가 디포커싱되고 있는 경우에도, 이동체(20)에 대하여 사용자에 의하여 입력 선택된 하나의 중심 포인트(11)와 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)은 관심 대상인 이동체를 안정되게 추종하고 있음을 알 수 있다.

또한, 도 5는 줌 팩터(zooming factor) 및 카메라 뷰(view) 위치의 변화시 본 발명에 의한 트랙킹 성능을 나타낸다.

즉, 촬영을 준비하고 있는 동안, 사용자는 줌 인 또는 줌 아웃과 같은 이미지 줌 팩터를 변화시킬 수 있고 또한 카메라의 뷰 위치를 변경할 수도 있다. 본 발명에 의할 경우, 이러한 상황에서도 도 5a 내지 도 5c에서와 같이 이동체(20)에 대하여 사용자에 의하여 입력 선택된 하나의 중심 포인트(11)와 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)은 관심 대상인 이동체를 잘 추종하고 있음을 알 수 있다.

아울러, 도 6은 라이팅(lighting) 조건의 변화에 따른 이미지 콘트라스트(image contrast)의 변화시 본 발명에 의한 트랙킹 성능을 또한 나타낸다.

즉, 현재의 라이팅 조건에 적합하도록 카메라를 조정하는 동안에 이미지 콘트라스트가 변화할 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 도 6a 및 도 6b에서와 같이 이동체(20)에 대하여 사용자에 의하여 입력 선택된 하나의 중심 포인트(11)와 오토 포커싱 영역(13) 및 트랙킹 서브 영역(12)은 관심 대상인 이동체를 견실하게 추종하고 있음을 알 수 있다.

한편, 본 발명은 추종 중인 피사체(이동체)가 다른 물체에 의해 가리거나 이미지의 영역에서 사라지는 것과 같이 추종이 불가능한 상태된 이후 다시 이미지에 나타나는 경우에도 끊임 없이 연속적인 추종이 가능한 알고리즘을 제공한다. 도 7은 피사체가 이미지에서 사라진 경우의 트랙킹 방법을 설명하는 도면이다.

도 7에 도시한 바와 같이, 사라진 이동체의 트랙킹 방법은, 이동체가 최후로 검출된 이미지 프레임 상의 중심 포인트(11-1)를 중심으로 하는 소정 영역(A1)에 대한 컬러값의 평균에 해당하는 컬러패턴(제1 컬러패턴)을 구한다. 이 중심 포인트(11-1)을 중심으로 하는 트랙킹 서브 영역(12)을 설정하고, 이 후 입력되는 이미지 프레임에 대해 상기 트랙킹 서브 영역(12)을 상기 중심 포인트(11-1)를 중심으로 하는 소정 영역(A1)과 동일한 면적의 영역으로 분할하고 각 분할된 영역에 대해 컬러값의 평균에 해당하는 컬러패턴(제2 컬러패턴)을 구한다. 도 7에 도시한 바와 같이, 분할된 영역에 대한 제2 컬러패턴을 구하는 과정은 중심 포인트(11-1)를 중심으로 하는 소정 영역(A1)의 좌상부 인접 영역(A2)에서부터 시작하여 시계 방향으로 나선형을 그리는 순서로 검출될 수 있다. 바람직하게 상기 중심 포인트(11-1)를 중심으로 하여 제1 컬러패턴을 구하는 영역이나, 상기 제1 컬러패턴과 비교되는 제2 컬러패턴을 구하는 영역은 전술한 오토 포커스 영역(12)과 동일한 크기로 설정될 수 있다.

각 분할 영역에 대해 산출된 제2 컬러패턴은 제1 컬러패턴과 비교되고, 상기 제1 컬러패턴과 제2 컬러패턴의 비교결과 사전 설정된 임계값보다 작은 경우 사라진 이동체가 다시 이미지 상에 나타난 것으로 판단하고 해당 영역의 중심 포인트를 다시 구하여 전술한 것과 같은 이동체 트래킹을 계속 수행할 수 있다.

도 8은 추종 중인 피사체의 회전, 크기 변화시 본 발명에 의한 트래킹 성능을 도시한 도면이다. 도 8에 도시된 바와 같이, 피사체를 추종하는 중에 피사체의 크기 및 회전을 하여 피사체가 변화할 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 이동체에 대한 견실하게 추종이 이루어짐을 알 수 있다.

도 9는 추종 중인 피사체가 다른 물체에 의해 가려지는 경우, 본 발명에 의한 트래킹 성능을 도시한 도면이다. 도 9에 도시한 바와 같이, 피사체를 추종하는 중에 피사체가 다른 물체에 의해 피사체가 일정 시간 가려진 질 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 이동체에 대한 견실하게 추종이 이루어짐을 알 수 있다.

도 10은 추종 중인 피사체가 추종 영역 밖으로 벗어난 경우, 본 발명에 의한 트래킹 성능을 도시한 도면이다. 도 10에 도시한 바와 같이, 피사체를 추종하는 중에 피사체가 추종 영역 밖으로 벗어난 경우가 발생할 수 있다. 본 발명에 의할 경우, 이러한 상황에서도 이동체에 대한 견실하게 추종이 이루어짐을 알 수 있다.

앞서 설명한 본 발명의 기술적 특징인 알고리즘이 인스톨된 오토 포커싱 시스템은, 도 11에 도시된 바와 같이, 크게 렌즈 유닛(100), 트랙킹 유닛(200), 오토 포커싱 영역 선택 유닛(300) 및 오토 포커싱 콘트롤러(400)으로 구성된다.

먼저, 오토 포커싱 영역 선택 유닛(300)은 사용자로부터 관심 영역에 대한 입력을 받는 수단이다. 본 발명은 "터치 패드 방식"에 의하여 사용자가 관심 영역 을 입력하도록 구성된다.

이러한 오토 포커싱 영역 선택 유닛(300)으로부터 입력된 관심 영역은 오토 포커싱 콘트롤러(400)로 입력된다. 오토 포커싱 콘트롤러(400)는 앞서 알고리즘 부분에서 이미 설명된 바와 같이 소정의 이미지(10) 내에서의 이동체(20)에 대한 오토 트랙킹을 위하여 사용자의 입력에 의하여 선택되는 중심 포인트(11)와, 상기 중심 포인트(11)를 감싸도록 설정된 오토 포커싱 영역(13), 및 상기 오토 포커싱 영역(13)을 감싸도록 주위에 설정된 트랙킹 서브 영역(12)을 설정하게 된다.

트랙킹 유닛(200)은 사용자가 지정한 관심 영역에서의 피사체의 이동을 화면상으로 각각 추종하면서 그 피사체를 트랙킹하고 오토 포커싱 영역의 위치를 자동으로 이동시키기 위한 장치에 해당한다. 이러한 트랙킹 유닛(200)은 이미지 입력부(201)로부터 입력받은 이미지를 이미지 프로세싱부(202)에서 오토 포커싱 영역을 설정 및 업데이트하고, 이미지에서 이동체가 사라진 경우에 새로운 영역 설정 및 컬러패턴의 산출 비교를 수행한다. 이러한 오토 트랙킹 기능은 트랙킹 활성화 수단(203)에 의하여 작동 여부가 결정된다.

렌즈 유닛(100)은 트랙킹 유닛(200)에 의하여 추종된 관심 영역에 대하여 포커싱된 이미지로 촬영을 가능하게 한다. 트랙킹된 오토 포커싱 영역이 오토 포커싱 입력부(103)로 입력되고 오토 포커싱 프로세싱부(104)에서 오토 포커싱에 대한 데이터가 계산된다. 이를 기초로 하여 렌즈 활성화 콘트롤러(105)에 의하여 포커싱을 위한 렌즈부(미도시)의 위치를 설정 및 제어하게 된다.

도 12는 앞서 설명한 관심 영역에 대한 오토 포커싱 시스템에서 수행하는 작동을 나타내는 순서도이다.

도 12에 도시된 바와 같이, 먼저 디폴트 오토 포커싱 영역 설정치가 오토 포커싱 영역 콘트롤러(400)로 입력되고 오토 트랙킹 기능이 활성화되었는지 여부를 판단한다(S10).

오토 트랙킹이 활성화된 경우, 다음 프레임(next frame)에서의 오토 포커싱 영역을 트랙킹한 다음(S20) 오토 포커싱 영역에 대한 정보를 업데이트한다(S40).

그 후, 사용자의 입력이 검출되지 않을 경우(S050), 렌즈 활성화 콘트롤러(105)로 오토 포커싱 영역 정보를 전송한 후(S60) 렌즈를 콘트롤하게 된다.

한편, 추종 영역에 대한 판단(S30)에 의하여 만약 추종할 영역이 없을 경우에는 사용자로 하여금 오토 포커싱 영역을 선택하도록 한 후 사용자에 의하여 선택된 영역은 다시 오토 포커싱 영역 콘트롤러(400)로 입력되고, 앞서 설명한 단계(S10) 내지 단계(S60)가 반복적으로 수행된다.

도 13은 본 발명의 일실시형태에 따른 이동체가 이미지 상에서 사라지는 경우 트랙킹 과정을 도시한 순서도이다.

먼저, 전술한 바와 같이, 사용자의 입력에 따라 중심 포인트를 선택하고, 오토포커싱 영역을 설정하고, 트랙킹 서브 영역을 설정하여, 상기 사용자 입력에 따른 중심 포인트, 오토 포커싱 영역 및 트랙킹 서브 영역이 함께 상기 이동체를 추종하는 과정이 진행 된다(S131).

이어, 이미지 상에서 이동체가 사라지면(S132), 상기 이동체가 사라지기 직전 프레임에서 상기 사용자 설정에 따른 중심 포인트 주위의 소정 영역(도 7의 A1)에 대한 평균 컬러값에 대응되는 제1 컬러패턴을 산출하고 상기 제1 컬러패턴에 따른 중심 포인트를 설정한다. 상기 사용자 설정에 따른 중심 포인트 주위의 소정 영역은 상기 사용자 설정에 따른 중심 포인트를 중심으로 하는 상기 오토 포커스 영역이 될 수 있다. 또한, 상기 제1 컬러패턴에 따른 중심 포인트는 전술한 도 7의 'A1'에 해당하고, 상기 제1 컬러패턴에 따른 중심 포인트는 전술한 도 7에서 '11-1'로 지시된 중심점에 해당한다.

이어, 상기 제1 컬러패턴에 따른 중심 포인트를 중심으로 하는 트래킹 서브 영역(도 7의 12)을 재설정하고, 상기 이동체가 사라진 이후의 프레임에 대해 상기 재설정된 트래킹 서브 영역에서 상기 중심 포인트 주위의 소정 영역(도 7의 A1)에 대응되는 크기의 복수의 영역(도 7의 13)에 대한 평균 컬러값에 대응되는 제2 컬러패턴을 산출한다. 상기 복수의 영역은 전술한 바와 같이, 최초에 설정된 오토포커스 영역과 동일한 크기의 영역이 될 수 있다.

이어, 상기 제1 컬러패턴 및 제2 컬러패턴을 비교하여(S135) 그 차이가 사전 설정된 임계값보다 작은 경우, 즉 제1 컬러패턴과 제2 컬러패턴이 매칭되는 경우(S136), 상기 이동체가 이미지에 다시 나타난 것으로 판단하고, 해당 제2 컬러패턴이 산출된 영역의 컬러패턴에 따른 중심을 상기 다시 나타난 이동체 추종을 위한 중심 포인트로 설정하고 이동체 트랙킹 알고리즘을 다시 적용하여 이동체의 추적을 진행한다(S137).

한편, 제1 컬러패턴과 제2 컬러패턴이 매칭되지 않는 경우(S136), 다음 프레임의 입력을 대기하고(S138), 그 다음 프레임에 대해 제2 컬러 패턴을 산출하여 비교하는 과정들(S134, S135, S136)을 반복하여 진행한다.

본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명에 의한 오토 포커싱 방법에 사용되는 하나의 중심 포인트와 오토 포커싱 영역 및 트랙킹 서브 영역을 나타내는 도면.

도 2는 본 발명에 의한 오토 포커싱 방법에 사용되는 하나의 중심 포인트와 오토 포커싱 영역 및 트랙킹 서브 영역의 작동을 예시적으로 나타내는 도면.

도 3은 x축의 가우시안 함수와 y축의 가우시안 함수의 두 개 도함수를 구성하는 가우시안의 도함수의 그림.

도 4는 이미지 포커싱이 지속적으로 변화될 경우의 본 발명에 의한 트랙킹 성능을 나타내는 도면.

도 5는 줌 팩터 및 카메라 뷰 위치의 변화시 본 발명에 의한 트랙킹 성능을 나타내는 도면.

도 6은 라이팅 조건의 변화에 따른 이미지 콘트라스트의 변화시 본 발명에 의한 트랙킹 성능을 나타내는 도면.

도 7은 피사체가 이미지에서 사라진 경우의 본 발명에 따른 트랙킹 방법을 설명하는 도면.

도 8은 추종 중인 피사체의 회전, 크기 변화시 본 발명에 의한 트래킹 성능을 나타내는 도면.

도 9는 추종 중인 피사체가 다른 물체에 의해 가려지는 경우, 본 발명에 의한 트래킹 성능을 나타내는 도면.

도 10은 추종 중인 피사체가 추종 영역 밖으로 벗어난 경우, 본 발명에 의한 트래킹 성능을 나타내는 도면.

도 11은 본 발명에 의한 오토 포커싱 시스템의 블록도.

도 12는 도 6의 시스템에 의한 오토 포커싱 방법의 순서도.

도 13은 본 발명의 일실시형태에 따른 이동체가 이미지 상에서 사라지는 경우 트랙킹 과정을 도시한 순서도.

* 도면의 주요부분에 대한 부호의 설명*

10: 이미지 11: 중심 포인트

12: 트랙킹 서브 영역 13: 오토 포커스 영역

20: 이동체

Claims (6)

1. 이미지 내에서의 이동체에 대한 오토 트랙킹을 위하여 상기 이동체를 선택하는 사용자 입력에 따른 중심 포인트를 설정하는 단계;

   상기 중심 포인트를 감싸도록, 오토 포커싱을 위한 연산이 수행되는 오토 포커싱 영역을 설정하는 단계;

   상기 오토 포커싱 영역을 감싸도록, 오트 트랙킹을 위한 연산이 수행되는 트랙킹 서브 영역을 설정하는 단계;

   상기 사용자 입력에 따른 중심 포인트, 오토 포커싱 영역 및 트랙킹 서브 영역이 함께 상기 이동체를 추종하는 단계-상기 이동체의 이동에 따라서 상기 오토 포커싱 영역의 위치를 변화시키고 상기 트랙킹 서브 영역의 위치를 업데이트함-;

   상기 이동체가 상기 이미지 내에서 사라지는 경우, 상기 이동체가 사라지기 직전 프레임에서 상기 중심 포인트의 주위의 소정 영역에 대한 평균 컬러값에 대응되는 제1 컬러패턴을 산출하고 상기 제1 컬러패턴에 따른 중심 포인트를 설정하는 단계;

   상기 제1 컬러패턴에 따른 중심 포인트를 중심으로 하는 트래킹 서브 영역을 재설정하고, 상기 이동체가 사라진 이후의 프레임에 대해 상기 재설정된 트래킹 서브 영역에서 상기 제1 컬러패턴에 따른 중심 포인트 주위의 소정 영역에 대응되는 크기의 복수의 영역에 대한 평균 컬러값에 대응되는 제2 컬러패턴을 산출하는 단계; 및

   상기 제1 컬러패턴 및 제2 컬러패턴을 비교하여 그 차이가 사전 설정된 임계값보다 작은 경우 상기 이동체가 이미지에 다시 나타난 것으로 판단하고, 해당 제2 컬러패턴이 산출된 영역의 컬러패턴에 따른 중심을 상기 다시 나타난 이동체 추종을 위한 중심 포인트로 설정하는 단계

   를 포함하는 오토 포커싱 방법.
2. 제1항에 있어서,

   상기 오토 트랙킹을 위한 이동체가 이미지의 에지부로부터 벗어나고 있는 경우, 상기 트랙킹 서브 영역의 에지부는 상기 이미지의 에지부와 일치된 상태로 유지됨과 동시에 상기 트랙킹 서브 영역 내부의 오토 포커싱 영역만이 상기 트랙킹 서브 영역 내에서 상기 이동체를 추종하도록 상기 이미지의 에지부를 향하여 이동하며, 상기 오토 트랙킹을 위한 이동체가 이미지의 에지부로부터 완전히 벗어나 상기 오토 포커싱 영역만이 상기 트랙킹 서브 영역 내에서의 이동에 의하여 상기 이미지의 에지부에 도달한 경우에도, 상기 오토 포커싱 영역과 트랙킹 서브 영역은 모두 상기 이미지의 에지부에서 유지되도록 구성되는 것을 특징으로 하는 오토 포커싱 방법.
3. 제1항에 있어서,

   상기 중심 포인트의 주위의 소정 영역은 상기 중심 포인트를 중심으로 하는 상기 오토 포커스 영역인 것을 특징으로 하는 오토 포커싱 방법.
4. 제1항에 있어서,

   상기 이동체를 추종하는 단계는,

   a) 상기 트랙킹 서브 영역 주위로 서브 이미지를 커팅하는 단계;

   b) 가우시안 함수(Gaussian Function)로 컨볼빙(convolving)함에 의하여 전 후 프레임에서의 서브 이미지들을 스무딩(smoothing)하는 단계;

   c) 상기 가우시안 함수의 도함수(derivative)로 컨볼빙함에 의하여 상기 전 후 프레임에서의 서브 이미지들의 구배(gradient)를 계산하는 단계; 및

   d) 새로운 중심 포인트의 위치를 발견하도록 상기 b) c) 단계를 반복(iteration)하는 단계;

   를 포함하는 것을 특징으로 하는 오토 포커싱 방법.
5. 제4항에 있어서,

   상기 이동체의 추종에 대한 계산은,

   - 단지 하나의 픽셀만큼만 상기 중심 포인트가 이동할 경우, 또는

   - 상기 반복 단계가 미리 설정된 한계치를 초과할 경우, 또는

   - 상기 중심 포인트가 경계 외부에 위치되는 경우

   에 정지하는 것을 특징으로 하는 오토 포커싱 방법.
6. 제1항에 있어서,

   상기 사용자 입력에 따른 중심 포인트는 터치 패드 방식으로 사용자에 의하여 입력되는 것을 특징으로 하는 오토 포커싱 방법.

Images