KR101023339B1 - 이동 피사체의 자동 추적 시스템 및 그 방법 - Google Patents

이동 피사체의 자동 추적 시스템 및 그 방법 Download PDF

Info

Publication number
KR101023339B1
KR101023339B1 KR1020090064959A KR20090064959A KR101023339B1 KR 101023339 B1 KR101023339 B1 KR 101023339B1 KR 1020090064959 A KR1020090064959 A KR 1020090064959A KR 20090064959 A KR20090064959 A KR 20090064959A KR 101023339 B1 KR101023339 B1 KR 101023339B1
Authority
KR
South Korea
Prior art keywords
roi
background
image
interest
region
Prior art date
Application number
KR1020090064959A
Other languages
English (en)
Other versions
KR20110007437A (ko
Inventor
신창목
변오성
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020090064959A priority Critical patent/KR101023339B1/ko
Publication of KR20110007437A publication Critical patent/KR20110007437A/ko
Application granted granted Critical
Publication of KR101023339B1 publication Critical patent/KR101023339B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

본 발명은 모바일 기기에 장착되는 카메라에서 구현 가능한 이동 피사체의 자동 추적 시스템에 관한 것이다.
본 발명에 따른 이동 피사체의 자동 추적 시스템은, 외부 영상을 실시간으로 입력받아 입력된 영상을 프레임 단위로 구분하여 전송하는 카메라부; 상기 카메라부에서 수신된 영상 이미지에서 배경 관심영역과 객체 관심영역을 지정하고, 상기 객체 관심영역 내의 객체에 대한 오토 포커싱을 수행하는 영상처리부; 상기 영상처리부에서 지정된 상기 배경 관심영역을 통해 상기 카메라부에서 생성된 모션 벡터의 방향과 크기를 비교 처리하여 상기 객체 관심영역을 비활성화시키는 배경 움직임 감지부; 상기 영상처리부에서 지정된 상기 배경 관심영역을 통해 상기 카메라부에서 생성된 모션 벡터의 방향과 크기를 비교 처리하여 상기 객체 관심영역을 활성화시키고, 상기 객체 관심영역 내의 객체 움직임을 추적하는 객체 움직임 감지부; 상기 객체 움직임 감지부를 통해 추적되는 상기 객체에 대하여 상기 객체 관심영역 내에서 오토 포커싱의 명령을 인가하는 AF 제어부; 및 추적되는 상기 객체의 영상과 AF 제어 수치값이 표시된 프리뷰 화면을 제공하는 디스플레이부;를 포함한다.
카메라부, AF 제어부, 배경 관심영역, 객체 관심영역, 모션 벡터, 피사체

Description

이동 피사체의 자동 추적 시스템 및 그 방법{System for automatically tracking of moving subjects and method of same}
본 발명은 모바일 기기에 장착되는 카메라에서 구현 가능한 이동 피사체의 자동 추적 시스템에 관한 것으로서, 보다 자세하게는 프리뷰 화면을 통해 제공되는 영상 이미지에 배경 관심영역과 객체 관심영역을 설정하고, 객체 관심영역을 활성화시켜 피사체인 객체의 움직임을 자동으로 추적하면서 오토 포커싱이 수행될 수 있도록 한 이동 피사체의 자동 추적 시스템 및 그 방법에 관한 것이다.
일반적으로, 모바일 기기에 장착되는 카메라는 초기의 저화소 카메라 중심에서 최근에는 고화소 중심의 카메라가 장착되고 있으며, 300만 화소 이상의 고화소 카메라의 보급이 확대되면서 자동 초점 조정(AF;Auto Focus)이나 노출 조정 기능 및 접사 촬영 등의 다양하고 차별화된 촬영 기능의 요구가 증가되고 있다.
또한, 이러한 기능 외에 최근에는 카메라의 퓨리뷰 화면에서 사용자가 선택한 촬영 대상이나 영역만을 포커싱하여 촬영할 수 있도록 하는 기능도 제시되고 있 다.
이와 같은 특정 대상이나 영역을 지정하여 포커싱하는 기능은 카메라의 전방에서 정지하고 있는 대상과 움직이는 대상에 대해 각각 적용될 수 있다. 정지하고 있는 대상은 카메라의 오토 포커싱 기능을 통해 용이하게 포커싱이 가능한 반면에 움직이는 대상은 카메라를 움직이는 피사체와 동일한 속도로 이동시키면서 촬영되어야 하기 때문에 포커싱이 용이하지 않다.
한편, 최근의 신기술이 적용된 카메라는 움직이는 대상을 선택적으로 포커싱 할 수 있는 기능이 추가되고 있는 데, 기본적으로 움직이는 대상을 프리뷰 화면 상에서 선택하게 되고, 선택된 피사체가 프리뷰 화면 내에 계속 존재하는 경우에 피사체의 움직임을 따라 포커싱이 가능하도록 할 수 있도록 한다.
그러나, 현재의 움직이는 대상을 선택적으로 포커싱하는 경우에는 움직이는 대상을 프리뷰 화면에서 수동적으로 선택해야 하며, 이에 따라 카메라 본체에서의 순간적인 키조작이 필요하다.
따라서, 피사체의 움직임에 따라 카메라 사용자가 일일이 키조작을 통해 이동중인 피사체를 선택해야 하는 번거로움이 있으며, 피사체의 이동 속도가 빠를 경우에는 포커싱 대상을 순간 포착하기가 어려운 단점이 있다.
또한, 카메라를 통한 포커싱 동작 중에 사용자의 키 조작 실수가 발생되거나 본체 내에서의 키 입력 처리의 지연 현상이 발생됨에 따라 중요한 순간에 선택하고자 하는 피사체의 정확한 포커싱이 이루어지지 않게 되는 문제점이 발생될 수 있다.
따라서, 본 발명은 종래 카메라에서 이동중인 피사체의 자동 추적 시스템 및 그 방법에서 제기되고 있는 상기 제반 단점과 문제점을 해결하기 위한 것으로서, 프리뷰 화면에서 배경과 포커싱 대상인 객체를 구분하는 관심영역(ROI;Region of Interest)을 설정하고, 설정된 관심영역 중에 객체 관심영역을 활성화시켜 피사체의 움직임을 자동으로 감지함으로써, 객체 관심영역이 피사체의 움직임에 따라 자동으로 추적되어 객체 관심영역 내에서의 오토 포커싱이 이루어지도록 한 이동 피사체의 자동 추적 시스템 및 그 방법이 제공됨에 의해서 달성된다.
본 발명의 상기 목적은, 외부 영상을 실시간으로 입력받아 입력된 영상을 프레임 단위로 구분하여 전송하는 카메라부; 상기 카메라부에서 수신된 영상 이미지에서 배경 관심영역과 객체 관심영역을 지정하고, 상기 객체 관심영역 내의 객체에 대한 오토 포커싱을 수행하는 영상처리부; 상기 영상처리부에서 지정된 배경 관심영역을 통해 상기 카메라부에서 생성된 모션 벡터의 방향과 크기를 비교 처리하여 상기 객체 관심영역을 비활성화시키는 배경 움직임 감지부; 상기 영상처리부에서 지정된 상기 배경 관심영역을 통해 상기 카메라부에서 생성된 모션 벡터의 방향과 크기를 비교 처리하여 상기 객체 관심영역을 활성화시키고, 상기 객체 관심영역 내의 객체 움직임을 추적하는 객체 움직임 감지부; 상기 객체 움직임 감지부를 통해 추적되는 객체에 대하여 상기 객체 관심영역 내에서 오토 포커싱의 명령을 인가하는 AF 제어부 및 추적되는 객체의 영상과 AF 제어 수치값이 표시된 프리뷰 화면을 제공하는 디스플레이부;를 포함하는 이동 피사체의 자동 추적 시스템이 제공됨에 의해서 달성된다.
상기 카메라부는 오토 포커싱을 위한 렌즈 구동용 엑츄에이터가 내장되며, 외부 영상의 실시간 입력과 동시에 상기 AF 제어부를 통해 수신되는 제어 신호에 의해 엑츄에이터가 구동되어 상기 객체 관심영역 내의 객체에 대한 오토 포커싱을 수행한다.
상기 영상처리부는, 상기 카메라부로부터 프레임 단위로 수신된 RAW 형태의 영상 데이터를 이미지 처리가 가능한 RGB 또는 YUV 데이터로 변환하게 되며, 이미지 처리를 위한 자동 노출(AE;Auto Exposure), 화이트 밸런스(AWB;Auto White Balance), 오토 포커스(AF;Auto Focus) 및 노이즈 제거(NR;Noise Reduction) 등의 이미지 처리를 수행한다.
또한, 상기 영상처리부에서 지정되는 관심영역은 배경의 움직임을 감지하는 배경 관심영역과 피사체인 객체의 움직임을 감지하는 객체 관심영역으로 구분될 수 있다.
상기 배경 관심영역은 영상처리부의 처리 정보에 의해 영상이 출력되는 디스플레이부의 프리뷰 화면에서 적어도 두 지점 이상이 선정될 수 있으며, 피사체인 객체의 형태와 크기에 영향을 최소화하기 위하여 프리뷰 화면을 통해 출력되는 영상의 가장자리에 선정됨이 바람직하다.
상기 배경 움직임 감지부는 상기 디스플레이부의 프리뷰 화면에 설정된 다수의 배경 관심영역들에 감지되는 모션 벡터의 방향을 먼저 판단하여 상기 객체 관심영역을 활성화 상태와 비활성화 상태로 변환할 수 있도록 한다.
이때, 상기 모션 벡터의 방향 판단 시 상기 다수의 배경 관심영역에서 동일한 방향의 모션 벡터로 판단되고, 상기 모션 벡터의 크기가 특정 임계값 이상일 경우 배경이 이동되는 것으로 판단하여 상기 배경 관심영역을 비롯한 상기 객체 관심영역이 비활성화될 수 있다.
또한, 상기 객체 움직임 감지부는 상기 객체 관심영역의 활성화에 의해 상기 객체를 감지한 객체 관심영역과 상기 객체의 이동에 의해 인접한 객체 관심영역을 비교 처리하여 상기 객체의 유무를 감지함에 의해 객체의 이동 경로 추적이 이루어지도록 한다.
한편, 본 발명의 다른 목적은, 카메라부를 통해 실시간으로 입력되는 영상 이미지에 배경 관심영역과 객체 관심영역을 설정하는 단계;
상기 배경 관심영역을 통해 모션 벡터의 방향과 크기를 판단하는 단계;
상기 배경 관심영역을 통해 감지되는 모션 벡터의 방향이 다르게 판단되거나 소정 임계값 이하의 크기로 판단될 경우 상기 객체 관심영역을 활성화하는 단계;
상기 객체 관심영역 내에 위치하는 객체의 움직임 변화량에 의해 이동 여부를 감지하는 단계;
상기 객체 관심영역 내의 중심 영역이 지정되어 상기 객체의 이동을 추적하 는 단계; 및
상기 객체 관심영역을 통해 추적된 객체가 오토 포커싱되는 단계;를 포함하는 이동 피사체의 자동 추적 방법이 제공됨에 의해서 달성된다.
이때, 상기 모션 벡터의 방향과 크기를 판단하는 단계 이후에, 상기 배경 관심영역을 통해 감지되는 모션 벡터의 방향이 동일하고 임계치 이상의 크기로 판단될 경우 상기 객체 관심영역을 비활성화하는 단계;를 더 포함할 수 있다.
상기 객체의 이동을 추적하는 단계에서, 상기 객체의 이동이 감지된 관심영역을 영상처리부의 메모리에 저장하고, 상기 객체가 이동된 지점의 인접한 객체 관심영역을 새롭게 설정하여 저장된 관심영역과 비교 처리함으로써, 상기 객체의 추적이 이루어지도록 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 이동 피사체의 자동 추적 시스템 및 그 방법은 카메라의 움직임과 피사체인 객체의 움직임을 구분하여 객체의 움직임만을 감지하고, 객체의 움직임을 자동으로 추적하여 오토 포커싱 영역이 설정됨으로써, 이동중인 피사체에 대하여 신속하고 정확한 경로 추적이 가능할 뿐만 아니라 이동중인 피사체를 오토 포커싱하기 위한 키 조작 과정이 생략되어 사용자의 편의성이 증대될 수 있는 장점이 있다.
또한, 본 발명은 디스플레이부의 프리뷰 화면에서 설정된 배경 관심영역 내에 감지되는 모션 벡터의 방향성 판단만으로 카메라의 전체적인 움직임 여부가 파 악되고, 배경 관심영역 외의 객체 관심영역만을 통해 객체의 이동 추적이 이루어짐에 따라 모션 벡터의 연산 부하에 따른 시스템 성능 저하를 최소화할 수 있는 이점이 있다.
본 발명에 따른 이동 피사체의 자동 추적 시스템 및 그 방법의 상기 목적에 대한 기술적 구성을 비롯한 작용효과에 관한 사항은 본 발명의 바람직한 실시예가 도시된 도면을 참조한 아래의 상세한 설명에 의해서 명확하게 이해될 것이다.
먼저, 도 1은 본 발명에 따른 이동 피사체의 자동 추적 시스템의 구성도이다.
도시된 바와 같이, 본 실시예에 따른 이동 피사체의 자동 추적 시스템은 크게 카메라부(110)와, 카메라부(110)를 통해 입력된 영상의 이미지 처리를 수행하는 영상처리부(120) 및 카메라부(110)에 오토 포커싱 구동 신호를 인가하는 AF 제어부(150) 및 카메라부(110)에서 촬영된 영상을 영상처리부(120)의 이미지 처리를 통해 출력하는 디스플레이부(160)로 구성된다.
또한, 본 실시예는 영상처리부(120)를 통해 이미지 처리되어 디스플레이부(160)의 프리뷰 화면에 출력되는 영상에서 배경 관심영역과 피사체인 객체를 중심으로 객체 관심영역이 지정되고, 각 관심영역에서 배경의 움직임을 감지하는 배경 움직임 감지부(130)와 객체의 움직임을 감지하는 객체 움직임 감지부(140)를 더 포함하여 구성된다.
상기 카메라부(110)는 외부 영상을 이미지센서(도면미도시)를 통해 실시간으로 입력받아 입력된 영상을 프레임 단위로 구분하여 영상처리부(120)로 전송하고, 영상처리부(120)에서 수신된 영상이 디스플레이부(160)의 프리뷰 화면을 통해 출력될 수 있도록 한다.
또한, 카메라부(110)는 이미지센서에 수광되는 광을 집광시키는 하나 이상의 렌즈군이 구비되며, 렌즈군을 개별적으로 구동시켜 오토 포커싱의 구현이 가능하도록 하는 엑츄에이터가 내장된다.
상기 영상처리부(120)는 카메라부(110)를 통해 입력되는 영상을 이미지 처리가 가능한 RGB 또는 YUV 형태의 이미지 데이터로 변환하고, 외부 조작 신호에 의해 데이터 이미지에 대한 자동 노출(AE;Auto Exposure) 조정과 화이트 밸런스(AWB;Auto White Balance) 조정 및 노이즈 처리(NR;Noise Reduction) 등의 이미지 처리 작업을 수행한다.
또한, 영상처리부(120)는 디스플레이부(160)의 프리뷰 화면을 통해 출력 가능하게 하는 관심영역(ROI;Region of Interest), 즉 배경의 움직임을 감지하는 배경 관심영역과 피사체인 이동 객체의 움직임을 감지하는 객체 관심영역을 지정하고, 지정된 관심영역은 카메라부(110)에서 수신된 영상과 함께 프리뷰 화면을 통해 출력되도록 한다.
이때, 배경 관심영역과 객체 관심영역은 프리뷰 화면에 출력 가능한 영상의 소정 지점에 각각 지정되는 바, 각 관심영역에 작용하는 방향 벡터의 동일한 방향 성을 감지하기 위하여 최소 두 지점 이상이 배경 관심영역으로 지정될 수 있으며, 이동 피사체를 프리뷰 화면에서 주로 중앙부 주위에서 포커싱 함에 따라 피사체인 객체의 형태와 크기에 대한 영향을 최소화하기 위하여 영상의 가장자리인 모서리측에 선정함이 바람직하다.
상기 배경 관심영역은 배경의 움직임, 즉 카메라부(110)에서 전송되는 영상 이미지의 전체적인 이동이 감지되는 영역이며, 상기 객체 관심영역은 피사체인 객체의 이동에 따라 추적 가능한 영역으로, 주로 프리뷰 화면에서 중앙부에 위치한다.
한편, 상기 배경 움직임 감지부(130)는 카메라부(110)를 통해 발생된 모션 벡터의 방향과 크기를 비교 처리한다. 즉, 영상처리부(120)에서 설정된 관심영역들을 통해 카메라부(110)를 포함한 구성요소로 이루어진 카메라 자체의 움직임을 통해 추출된 모션 벡터의 방향을 감지하여 배경 관심영역들에 감지된 모션 벡터의 방향이 동일한 방향인지 동일하지 않은 방향인지를 판단할 수 있다.
여기서, 모션 벡터란 본 실시예의 구성요소를 가지는 카메라 자체가 소정의 방향으로 움직일 때 발생되는 방향성의 벡터로 정의될 수 있다.
모션 벡터에 대한 각 관심영역의 활성화 여부에 대하여 구체적으로 살펴보면, 상기 배경 관심영역들 내에서 감지될 수 있는 모션 벡터가 동일한 방향을 가지고, 동일한 방향으로 특정 임계값 이상의 크기로 감지되었을 경우 배경의 움직임, 즉 프리뷰 화면에서의 주변 환경이 순간적으로 이동되는 것과 주변 환경의 노이즈 차이 등을 고려하여 카메라 자체가 움직이는 것으로 감지되어 다수의 관심영역 중 객체 관심영역이 비활성화 상태로 유지된다.
이때, 배경의 움직임 상태 정보는 영상처리부(120)로 전송되고, 영상처리부(120)는 배경 관심영역과 객체 관심영역을 포함하는 모든 관심영역을 비활성화 상태로 유지하게 된다.
이와 반대로, 배경 관심영역들 내에서 감지되는 모션 벡터의 방향이 서로 다른 방향으로 감지되거나 동일한 방향을 가진다 하여도 특정 임계값 이하의 크기로 감지되었을 경우에는 배경 움직임 감지부(130)는 배경 움직임이 없는 상태, 즉 카메라 자체가 움직이지 않는 상태로 판단하여 이에 대한 정보를 영상처리부(120)로 전송하고, 영상처리부(120)는 다수의 관심영역 중 객체 관심영역이 활성화되도록 한다.
한편, 배경 움직임 감지부(130)의 모션 벡터 방향과 크기 판단에 의해 객체 관심영역이 활성화되면 객체 움직임 감지부(140)를 통해 객체 관심영역에서 피사체인 객체의 움직임을 감지하게 되고, 그 이동 방향을 따라 객체 관심영역이 피사체를 따라 추적된다.
이때, 상기 객체 관심영역은 객체의 중심부를 기준으로 객체의 추적이 이루어지도록 하는 바, 이동 경로가 추적되는 객체를 감지한 해당 관심영역을 영상처리부(120)의 메모리에 저장하고, 객체의 이동 경로를 따라 인접한 영역으로 이동된 객체 관심영역을 갱신하여 프리뷰 화면에 표시함에 의해서 객체의 추적이 이루어진다.
AF 제어부(150)는 영상처리부(120)의 오토 포커싱 동작 신호 인가에 의해 작 동되며, 상기 객체 움직임 감시부(140)를 통해 추적되는 객체에 대하여 오토 포커싱 요청이 수신되면 객체 관심영역의 추적 상태에서 엑츄에이터가 구동됨에 따라 샤프니스(sharpness)가 가장 높은 부위를 좌표값으로 지정하여 오토 포커싱이 수행된다.
이와 같이 구성된 본 실시예의 자동 추적 시스템은 카메라의 영상 촬영시 프리뷰 화면을 통해 디스플레이되는 영상 중에 동적인 피사체를 촬영하고자 할 때, 동적인 피사체를 해당 관심영역이 추적 가능하도록 하기 위하여 먼저 피사체의 움직임과 카메라 자체의 움직임을 구분하여 카메라의 이동이 정지한 상태에서 객체의 움직임에 대한 추적이 가능하도록 한 데에 기술적 특징이 있다.
상기의 구성을 갖는 본 실시예의 자동 추적 시스템에 대하여 구성적 이해를 돕기 위한 설명을 아래 도 2 내지 도 5의 도면을 참조하여 좀 더 부가한다.
도 2 내지 도 5는 본 실시예에 따른 이동 피사체의 자동 추적 시스템이 구현된 프리뷰 화면의 구성도로서, 도 2는 다수의 관심영역이 지정된 상태의 구성도이고, 도 3은 객체 관심영역이 비활성화된 상태의 구성도이며, 도 4는 객체 관심영역이 활성화된 상태의 구성도이고, 도 5는 객체 관심영역 내의 객체가 추적중인 상태의 구성도이다.
도시된 바와 같이, 디스플레이부(160)의 프리뷰 화면을 통해 영상처리부(120)에서 지정된 다수의 관심영역들, 즉 배경 관심영역(170)과 객체 관심영 역(180)이 표시되고, 카메라부(110)를 통해 입력 처리되어 피사체인 객체(200)를 포함하는 영상 이미지가 출력된다.
카메라의 이동에 의해 프리뷰 화면 내부로 피사체가 들어오고, 사용자의 요청에 의한 영상처리부(120)를 통해 피사체인 객체(200)의 자동 추적 요청이 인가되면, 상기 배경 관심영역(170)과 객체 관심영역(180)은 프리뷰 화면이 구비된 카메라 자체에서 생성되는 모션 벡터(190)를 감지하여 배경 관심영역(170) 내의 모션 벡터(190)에 대한 방향을 감지한다.
이때, 도 3과 같이 배경 관심영역(170)에서 모션 벡터(190)의 방향이 모두 동일하다고 판단되고, 소정 임계값 이상의 벡터 크기가 계속 감지되면 배경 움직임 감지부(130)를 통해 배경 움직임이 있는 상태인 카메라 이동 상태로 판단하여 객체 관심영역(180)을 포함한 모든 관심영역(170)(180)들이 비활성화 상태로 유지된다.
즉, 모션 벡터(190)의 방향성이 모두 동일하기 때문에 카메라 자체가 동일방향으로 이동되고 있는 상태로 사용자가 피사체인 객체(200)를 프리뷰 화면의 중앙부 또는 추적 가능한 위치로 이동시키기 위하여 프리뷰 화면을 통한 촬영 구도를 설정하고 있는 상태로 이해하면 될 것이다.
한편, 배경 관심영역(170) 내에 작용하는 모션 벡터(190)가 다른 방향이거나 동일한 방향이라도 모션 벡터(190)의 크기가 소정 임계값 이하로 판단되면, 배경 움직임이 없는 상태 즉, 카메라의 움직임이 없이 고정된 상태로 도 4와 같이 객체 관심영역(180)이 활성화 상태로 변환되는 것이다.
이때, 객체(200)를 둘러싸고 있는 활성화 상태의 객체 관심영역(180)은 객 체(200)의 이동 방향과 경로를 따라 객체(200)의 추적이 이루어지게 되고, AF 제어부(150)를 통한 오토 포커싱 요청이 인가되면 추적중인 객체(200)에 대한 오토 포커싱이 수행된다.
이때에 객체(200)에 객체 관심영역(180)이 추적하는 동안에는 배경 관심영역(170)은 자동으로 비활성화 상태로 변환되기 때문에 배경 관심영역(170)을 통한 모션 벡터(190)의 감지는 이루어지지 않게 되므로, 객체(200)의 추적중인 상태에서 카메라 자체의 이동이 있다 하여도 재차 객체 관심영역(180)의 활성화는 이루어지지 않게 된다.
한편, 본 실시예에 따른 이동 피사체의 자동 추적 방법을 아래 도시된 도 6을 통해 살펴보면 다음과 같다.
도 6은 본 실시예에 따른 이동 피사체의 자동 추적 방법이 도시된 순서도로서, 본 실시예의 자동 추적 방법은 먼저, 카메라부(110)를 통해 실시간으로 입력 처리된 영상 이미지가 출력되는 디스플레이부(160)의 프리뷰 화면에 영상처리부(120)를 통해 배경 관심영역(170)과 객체 관심영역(180)을 설정(S101 단계)한다.
다음, 상기 배경 관심영역(170)에 작용하는 모션 벡터의 방향과 크기를 배경 움직임 감지부(130)를 통해 판단(S102 단계)하고, 상기 배경 관심영역(170)들 내의 모션 벡터(190) 방향이 각기 다르게 판단되거나 동일한 방향이라도 소정 임계값 이하의 크기로 판단되면 객체 관심영역(180)을 활성화(S103 단계)한다.
이 후, 활성화된 객체 관심영역(180)이 둘러싸고 있는 객체(200)의 움직임 변화량에 의해 객체(200)의 이동 여부가 감지(S104 단계)되고, 객체 관심영역(180) 내의 중심 영역의 지정에 의해서 상기 객체(200)의 이동이 추적(S105 단계)된다.
마지막으로, 객체 관심영역(180)을 통해 추적되고 있는 객체(200)에 대한 오토 포커싱 요청이 AF 제어부(150)에 수신되면 해당 객체(200)를 중심으로 오토 포커싱이 수행(S106 단계)된다.
이때, 상기 모션 벡터(190)의 방향과 크기를 판단 시, 상기 배경 관심영역(170)을 통해 감지되는 모션 벡터(190)의 방향이 동일하고 임계값 이상의 크기로 판단될 경우에는 객체 관심영역(180)을 비활성화(S107 단계)하게 되며, 배경 관심영역(170)을 통한 모션 벡터(190)의 방향이 다르거나 모션 벡터(190)의 크기가 소정 임계값 이하의 크기로 감지될 때까지 모든 관심영역(170)(180)들은 비활성화 상태로 유지되어 카메라의 이동 상태로 판단한다.
한편, 상기 객체(200)의 이동을 추적시에는 상기 객체(200)의 이동이 감지된 객체 관심영역(180)을 영상처리부(120)의 메모리에 저장하고, 객체(200)가 이동된 지점의 인접한 객체 관심영역(180)을 새롭게 설정하여 저장된 객체 관심영역(180)과 비교 처리함으로써, 상기 객체(200)의 추적이 이루어지게 된다.
도 1은 본 발명에 따른 이동 피사체의 자동 추적 시스템의 구성도.
도 2 내지 도 5는 본 실시예에 따른 이동 피사체의 자동 추적 시스템이 구현된 프리뷰 화면의 구성도로서,
도 2는 다수의 관심영역이 지정된 상태의 구성도이고,
도 3은 객체 관심영역이 비활성화된 상태의 구성도이며,
도 4는 객체 관심영역이 활성화된 상태의 구성도이고,
도 5는 객체 관심영역 내의 객체가 추적중인 상태의 구성도이다.
도 6은 본 실시예에 따른 이동 피사체의 자동 추적 방법이 도시된 순서도.
<도면의 주요 부분에 대한 부호의 설명>
110. 카메라부 120. 영상처리부
130. 배경 움직임 감지부 140. 객체 움직임 감지부
150. AF 제어부 160. 디스플레이부
170. 배경 관심영역 180. 객체 관심영역
190. 모션 벡터 200. 객체

Claims (11)

  1. 외부 영상을 실시간으로 입력받아 입력된 영상을 프레임 단위로 구분하여 전송하는 카메라부;
    상기 카메라부에서 수신된 영상 이미지에서 배경 관심영역과 객체 관심영역을 지정하고, 상기 객체 관심영역 내의 객체에 대한 오토 포커싱을 수행하는 영상처리부;
    상기 영상처리부에서 지정된 상기 배경 관심영역을 통해 상기 카메라부에서 생성된 모션 벡터의 방향과 크기를 비교 처리하여 상기 객체 관심영역의 추적 기능을 비활성화시키는 배경 움직임 감지부;
    상기 영상처리부에서 지정된 상기 배경 관심영역을 통해 상기 카메라부에서 생성된 모션 벡터의 방향과 크기를 비교 처리하여 상기 객체 관심영역의 추적 기능을 활성화시키고, 상기 객체 관심영역 내의 객체 움직임을 추적하는 객체 움직임 감지부;
    상기 객체 움직임 감지부를 통해 추적되는 상기 객체에 대하여 상기 객체 관심영역 내에서 오토 포커싱의 명령을 인가하는 AF 제어부; 및
    추적되는 상기 객체의 영상과 AF 제어 수치값이 표시된 프리뷰 화면을 제공하는 디스플레이부;
    를 포함하는 이동 피사체의 자동 추적 시스템.
  2. 제1항에 있어서,
    상기 카메라부는 오토 포커싱을 위한 렌즈 구동용 엑츄에이터가 내장되며, 외부 영상의 실시간 입력과 동시에 상기 AF 제어부를 통해 수신되는 제어 신호에 의해 엑츄에이터가 구동되어 상기 객체 관심영역 내의 객체에 대한 오토 포커싱을 수행하는 이동 피사체의 자동 추적 시스템.
  3. 제1항에 있어서,
    상기 영상처리부는, 상기 카메라부로부터 프레임 단위로 수신된 영상 데이터를 이미지 처리가 가능한 RGB 또는 YUV 데이터로 변환하며, 이미지 처리를 위한 자동 노출(AE;Auto Exposure), 화이트 밸런스(AWB;Auto White Balance), 오토 포커스(AF;Auto Focus) 및 노이즈 제거(NR;Noise Reduction) 등의 이미지 처리를 수행하는 이동 피사체의 자동 추적 시스템.
  4. 제1항에 있어서,
    상기 영상처리부에서 지정되는 관심영역은 배경의 움직임을 감지하는 배경 관심영역과 피사체인 상기 객체의 움직임을 감지하는 객체 관심영역으로 구분되는 이동 피사체의 자동 추적 시스템.
  5. 제4항에 있어서,
    상기 배경 관심영역은, 상기 영상처리부의 처리 정보에 의해 상기 디스플레이부의 프리뷰 화면에서 출력되는 영상 이미지 상에 적어도 두 지점 이상이 선정되는 이동 피사체의 자동 추적 시스템.
  6. 제5항에 있어서,
    상기 배경 관심영역은, 상기 프리뷰 화면을 통해 출력되는 영상 이미지의 가장자리에 선정되는 이동 피사체의 자동 추적 시스템.
  7. 제1항에 있어서,
    상기 배경 움직임 감지부는, 상기 디스플레이부의 프리뷰 화면에 설정된 다수의 상기 배경 관심영역들에 감지되는 모션 벡터의 방향을 먼저 판단하여 상기 객체 관심영역을 활성화 상태와 비활성화 상태로 변환하는 이동 피사체의 자동 추적 시스템.
  8. 제1항에 있어서,
    상기 객체 움직임 감지부는, 상기 객체 관심영역의 활성화에 의해 상기 객체를 감지한 객체 관심영역과 상기 객체의 이동에 의해 인접한 객체 관심영역을 비교 처리하여 상기 객체의 유무를 감지함에 의해 이동 경로 추적이 이루어지는 이동 피사체의 자동 추적 시스템.
  9. 카메라부를 통해 실시간으로 입력되는 영상 이미지에 배경 관심영역과 객체 관심영역을 설정하는 단계;
    상기 배경 관심영역을 통해 모션 벡터의 방향과 크기를 판단하는 단계;
    상기 배경 관심영역을 통해 감지되는 모든 모션 벡터들의 방향이 각기 다르게 판단되거나 소정 임계값 이하의 크기로 판단될 경우 상기 객체 관심영역의 추적 기능을 활성화하는 단계;
    상기 객체 관심영역 내에 위치하는 객체의 움직임 변화량에 의해 상기 객체의 이동 여부를 감지하는 단계;
    상기 객체 관심영역 내의 중심 영역이 지정되어 상기 객체의 이동을 추적하는 단계; 및
    상기 객체 관심영역을 통해 추적된 객체가 오토 포커싱되는 단계;
    를 포함하는 이동 피사체의 자동 추적 방법.
  10. 제9항에 있어서,
    상기 모션 벡터의 방향과 크기를 판단하는 단계 이후에, 상기 배경 관심영역을 통해 감지되는 모든 모션 벡터들의 방향이 동일하고 임계치 이상의 크기로 판단될 경우 상기 객체 관심영역의 추적 기능을 비활성화하는 단계;
    를 더 포함하는 이동 피사체의 자동 추적 방법.
  11. 제9항에 있어서,
    상기 객체의 이동을 추적하는 단계에서, 상기 객체의 이동이 감지된 관심영역을 영상처리부의 메모리에 저장하고, 상기 객체가 이동된 지점의 인접한 객체 관심영역을 새롭게 설정하여 저장된 관심영역과 비교 처리함에 의해서 상기 객체의 추적이 이루어지는 이동 피사체의 자동 추적 방법.
KR1020090064959A 2009-07-16 2009-07-16 이동 피사체의 자동 추적 시스템 및 그 방법 KR101023339B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090064959A KR101023339B1 (ko) 2009-07-16 2009-07-16 이동 피사체의 자동 추적 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090064959A KR101023339B1 (ko) 2009-07-16 2009-07-16 이동 피사체의 자동 추적 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110007437A KR20110007437A (ko) 2011-01-24
KR101023339B1 true KR101023339B1 (ko) 2011-03-18

Family

ID=43613885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090064959A KR101023339B1 (ko) 2009-07-16 2009-07-16 이동 피사체의 자동 추적 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101023339B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101890140B1 (ko) 2012-05-07 2018-09-28 삼성전자주식회사 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템
KR101296318B1 (ko) * 2012-06-22 2013-08-14 (주) 넥스트칩 적응적 블록 분할에 의한 객체 추적 장치 및 방법
KR102288060B1 (ko) * 2014-08-06 2021-08-10 삼성전자 주식회사 피사체의 소리를 수신하는 방법 및 이를 구현하는 전자장치
WO2020042126A1 (zh) * 2018-08-30 2020-03-05 华为技术有限公司 一种对焦装置、方法及相关设备
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
KR102067188B1 (ko) 2019-07-29 2020-01-15 주식회사 에스에이치아이앤씨 안전사고처리가 가능한 기능성 의류
WO2023106874A1 (ko) * 2021-12-10 2023-06-15 주식회사 펫나우 반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법
KR102623605B1 (ko) * 2021-12-10 2024-01-11 주식회사 펫나우 반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057325A (ja) * 1991-06-25 1993-01-14 Sony Corp カメラ制御装置
KR19980054703A (ko) * 1996-12-27 1998-09-25 구자홍 카메라의 포커스 영역 제어방법
US20060066744A1 (en) 2004-09-29 2006-03-30 Stavely Donald J Implementing autofocus in an image capture device while compensating for movement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057325A (ja) * 1991-06-25 1993-01-14 Sony Corp カメラ制御装置
KR19980054703A (ko) * 1996-12-27 1998-09-25 구자홍 카메라의 포커스 영역 제어방법
US20060066744A1 (en) 2004-09-29 2006-03-30 Stavely Donald J Implementing autofocus in an image capture device while compensating for movement

Also Published As

Publication number Publication date
KR20110007437A (ko) 2011-01-24

Similar Documents

Publication Publication Date Title
KR101023339B1 (ko) 이동 피사체의 자동 추적 시스템 및 그 방법
CN113329160B (zh) 被配置为处理和显示图像数据的多相机系统及具有多相机系统的设备
US10827127B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
US9992421B2 (en) Image pickup apparatus having FA zoom function, method for controlling the apparatus, and recording medium
US10270978B2 (en) Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith
JP5188071B2 (ja) 焦点調節装置、撮像装置及び、焦点調節方法
US8831282B2 (en) Imaging device including a face detector
US7826735B2 (en) Auto focus unit and digital camera
EP2168005B1 (en) Focus control apparatus, image sensing apparatus, and control method therefor
US20090295926A1 (en) Image pickup apparatus
US20140071303A1 (en) Processing apparatus, processing method, and program
EP2458846B1 (en) Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium
US20100007748A1 (en) Imaging apparatus and imaging method
US20120057034A1 (en) Imaging system and pixel signal readout method
US9451149B2 (en) Processing apparatus, processing method, and program
JP5783696B2 (ja) 撮像装置、オートズーム方法、及び、プログラム
KR20110015208A (ko) 고속 오토 포커스가 가능한 촬상 시스템
JP5703788B2 (ja) 撮像装置、画像処理装置、画像処理プログラム
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2015111226A (ja) 被写体追跡装置及びその制御方法、撮像装置、プログラム、並びに記憶媒体
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
US11669975B2 (en) Subject tracking device, subject tracking method, and imaging apparatus
US11265454B2 (en) Control apparatus, image pickup apparatus, control method and memory medium
JP2014103489A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 10