KR101183781B1 - 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말 - Google Patents

실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말 Download PDF

Info

Publication number
KR101183781B1
KR101183781B1 KR1020090129338A KR20090129338A KR101183781B1 KR 101183781 B1 KR101183781 B1 KR 101183781B1 KR 1020090129338 A KR1020090129338 A KR 1020090129338A KR 20090129338 A KR20090129338 A KR 20090129338A KR 101183781 B1 KR101183781 B1 KR 101183781B1
Authority
KR
South Korea
Prior art keywords
image
moving object
feature
difference
preset
Prior art date
Application number
KR1020090129338A
Other languages
English (en)
Other versions
KR20110072426A (ko
Inventor
송병준
김윤중
조성대
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090129338A priority Critical patent/KR101183781B1/ko
Priority to EP10194641.6A priority patent/EP2357614B1/en
Priority to CN201010601225.4A priority patent/CN102103753B/zh
Priority to US12/976,290 priority patent/US8611595B2/en
Publication of KR20110072426A publication Critical patent/KR20110072426A/ko
Application granted granted Critical
Publication of KR101183781B1 publication Critical patent/KR101183781B1/ko
Priority to US14/087,871 priority patent/US20140078313A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 실시간 카메라 모션 추정을 이용한 이동 물체 검출/추적 방법에 있어서, 입력 영상에서 영상 패턴의 변화를 나타내는 특징 맵을 생성하여 상기 영상의 특징 정보를 추출하는 과정과, 상기 추출된 특징 정보를 이용하여 카메라의 움직임을 파악하기 위한 글로벌 모션을 추정하는 과정과, 상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 영상을 이용하여 이동 물체를 검출하는 과정을 포함한다.
움직임 추적, 물체 검출, 물체 추적

Description

실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말{METHOD AND APPARATUS FOR OBJECT DETECTING/TRACKING USING REAL TIME MOTION ESTIMATION OF CAMERA}
본 발명은 휴대 단말에서 영상의 이동 물체를 검출 및 추적하기 위한 방법 및 그 단말에 관한 것이다.
카메라로부터 획득한 연속 영상에서 이동 물체를 자동으로 검출하고 추적하는 기술은 컴퓨터 비젼 및 물체인식, 로봇, 감시시스템, 무인 차량 시스템 등 여러 응용 분야에서 많은 연구가 진행되고 있다. 영상에서 이동 물체를 검출하고 추적하는 기술은 대표적으로 템플릿 매칭을 이용한 방식과, 카메라의 움직임을 보정하여 보정된 영상에서 물체를 검출/추적하는 방식이 있다. 먼저 템플릿 매칭을 이용한 방식은 카메라를 통해 입력되는 프레임에서 추적하고자 하는 물체를 수동으로 즉, 사용자가 직접 선택하여, 선택된 일부 영역을 탬플릿으로 설정하여 다음 프레임에서 탬플릿 매칭 방법을 통하여 유사도가 가장 높은 영역을 추적하며, 유사도가 가장 높은 영역을 이동 물체 영역으로 판단하는 방식이다.
또한 카메라의 움직임을 보정하여 보정된 영상에서 물체를 검출/추적하는 방 식은 먼저 카메라를 통하여 입력된 프레임을 여러 블록으로 분리하여 각 블록에서 특징을 추출한 후, 추출한 정보를 이용하여 로컬 모션(local motion)을 추정하고, 추정된 로컬 모션 정보를 기반으로 글로벌 모션(Global motion)을 추정하고자 모션추정 에러를 증가시키는 아웃라이어(outlier)를 제거하고 아웃라이어가 제거된 특징 정보를 이용하여 글로벌 모션을 추정한다. 이후 카메라의 움직임이 보정된 연속 영상에서 영상의 특징을 이용하여 이동 물체와 배경의 서로 다른 모션 정보를 구하고 배경으로부터 물체를 분리하는 방법이다.
그러나 상기와 같은 물체 검출/추적 방식은 몇 가지 문제점이 있다. 상기 수동으로 물체 영역을 선택하여 탬플릿 매칭 기반의 유사도 판별을 통하여 물체를 추적하는 방식은 사용자 편의성이 떨어질 뿐만 아니라 탬플릿 매칭에 실패하면 이동물체가 아닌 부분을 계속 추적하게 되는 문제가 생길 수 있으며, 이동 물체가 카메라 프리뷰 영역을 벗어날 경우 이동 물체의 추적이 불가능할 뿐만 아니라 새로 물체 영역을 선택해야 하는 문제점을 가지고 있다. 또한 선택된 이동물체의 크기가 크다면 탬플릿 매칭 시 연산 속도가 느려 카메라에 입력되는 프리뷰 프레임의 지연이 발생한다.
다음으로 로컬 모션과 글로벌 모션을 추정하여 카메라의 움직임을 보정한 후 영상의 특징을 이용하여 이동 물체를 검출하는 방식에서는 속도를 고려하여 주로 움직임 추정 시 영상의 특징을 기반으로 하는 방법을 사용하는데 영상의 특징이란 물체의 모서리, 영역의 경계선, 선들의 교차점 등을 의미한다. 주로 특징 정보를 추출하기 위하여 해리스 코너 검출(Harris Corner Detection) 또는 KLT(Kansde- Lucas-Tomasi), 에지 검출 방법을 사용하는데 에지 검출 방법에는 소벨(Sobel), 캐니(Canny) 및 라플라스(Laplace) 에지 검출 방식 등이 있다. 이러한 다양한 특징 정보 추출 방법은 휴대폰과 같은 제한된 저장 용량과 연산 처리 능력을 가지고 있는 전자 장치에서는 실시간으로 동작하기가 쉽지 않으며 속도를 고려하여 입력 영상을 저해상도로 다운 샘플링을 하여 처리해야 하는 경우가 발생할 수 있다. 그러나 이 경우에는 처리 속도는 빨라질 수 있으나 움직임 추정의 성능이 저하되는 한계가 있다.
따라서 휴대 단말의 연산 처리 능력에 적합한 이동 물체 검출/추적 방법이 요망된다.
본 발명은 제한된 용량의 저장매체 및 연산 처리 능력을 갖는 휴대용 단말에 적합한 영상의 이동 물체를 검출/추적하기 위한 방법을 제공하고자 한다.
이를 달성하기 위한 본 발명의 일 형태에 따르면, 실시간 카메라 모션 추정을 이용한 이동 물체 검출/추적 방법에 있어서, 입력 영상에서 영상 패턴의 변화를 나타내는 특징 맵을 생성하여 상기 영상의 특징 정보를 추출하는 과정과, 상기 추출된 특징 정보를 이용하여 카메라의 움직임을 파악하기 위한 글로벌 모션을 추정하는 과정과, 상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 영상을 이용하여 이동 물체를 검출하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 형태에 따르면, 실시간 카메라 모션 추정을 이용한 이동 물체 검출/추적을 수행하는 단말에 있어서, 렌즈 및 이미지 센서를 이용하여 영상을 촬영하는 카메라부와; 입력 영상에서 영상 패턴의 변화를 나타내는 특징 맵을 생성하여 상기 영상의 특징 정보를 추출하는 특징 추출부와, 상기 추출된 특징 정보를 이용하여 카메라의 움직임을 파악하기 위한 글로벌 모션을 추정하는 글로벌 모션 추정부와, 상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 영상을 이용하여 이동 물체를 검출하는 이동 물체 추출부를 포함하는 이동물체 검출/추적부를 포함함을 특징으로 한다.
본 발명은 카메라 프리뷰를 통해서 얻어진 영상들을 이용하여 카메라의 모션정보를 추출하고 이 정보를 반영하여 이동 물체의 검출 및 추적을 수행하는 방법을 제공한다. 특히 본 발명은 제한된 저장 용량 및 연산 처리 능력을 구비하는 휴대용 단말에서 고속으로 카메라 모션 정보를 추출하고 연속으로 입력되는 프리뷰 영상에 대한 카메라 모션 정보를 보정함으로써 자동으로 이동 물체의 검출 및 추적이 정확하게 수행할 수 있으며, 어피어런스 모델(appearance model)을 이용하여 물체 추적의 성능을 향상시킬 수 있다. 이에 따라 본 발명의 이동 물체 검출 및 추적 방법은 촬영된 영상들을 이용하여 영상을 합성하는 응용기술에 활용될 수 있다.
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
본 발명은 카메라 프리뷰를 통해서 얻어진 영상들을 이용하여 카메라의 모션정보를 추출하고 이 정보를 이용하여 이동 물체를 검출 및 추적하는 방법을 제안하고자 한다. 특히 제한된 용량의 저장 매체 및 연산 처리 능력을 갖는 전자장치에서 고속으로 카메라 모션정보를 추출하고 연속으로 입력되는 프리뷰 영상에 대한 카메라 움직임 정보를 보정함으로써 자동으로 이동 물체의 검출 및 추적이 정확하게 이루어지도록 한다. 본 발명은 빠르고 정확한 카메라 모션추정을 하기 위하여 이동물체 후보영역을 제외한 영역에서 로컬블록 정보를 이용하여 특징을 추출하며, 추출된 영상의 특징 정보를 기반으로 글로벌 모션을 추정하고, 추정된 카메라 모션 정보를 기반으로 보정된 이전 프레임과 　다음 프레임간의 차영상 및 필터링을 통하여 이동 물체의 영역을 추출하며, 이전 프레임들에서의 이동 물체 정보를 활용하여 어피어런스 모델(appearance model)을 생성하고 추적하는 특징을 요지로 한다. 이하 도면을 참조하여 상세히 살펴보기로 한다.
도 1은 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행하는 단말의 블록 구성을 나타낸 도면이다.
도 1을 참조하면 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행하는 단말은 카메라부(120)와, 표시부(130)와, 저장부(140)와, 입력부(170)와, 이동통신부(150)와, 이동 물체 검출/추적부(160)와, 제어부(110)를 포함하여 구성된다.
표시부(130)는 제어부(110)의 제어 하에 각종 표시 내용 및 메시지 등을 표시한다. 표시부(130)는 액정표시장치(LCD: Liquid Crystal Display), TFT(Thin Film Transistor), 유기 EL(Organic Electroluminescence) 등으로 구성될 수 있다.
입력부(170)는 다수의 숫자키 및 기능키들을 구비하고 있으며, 사용자가 누르는 키에 대응하는 키입력 데이터를 제어부(110)로 출력한다. 만약 표시부(130)가 터치스크린으로 구성될 경우에는 표시부(130)는 동시에 입력부(170)로 동작할 수 있다.
저장부(140)는 이동 단말의 동작 시 필요한 다수의 프로그램 및 데이터를 저장하기 위한 롬(ROM : Read Only Memory) 및 램(RAM : Random Access Memory) 등으로 이루어진다.
이동 통신부(150)는 안테나를 통해 기지국과 RF 신호를 송수신하여 휴대 단말이 기지국과 무선통신을 수행할 수 있게 한다.
카메라부(120)는 렌즈와 이미지 센서로 구성되어 영상을 촬영한다.
상기 제어부(110)는 단말의 다른 구성부를 제어한다. 제어부(110)는 다른 구성부들을 제어하여 통화 및 데이터 송수신 등과 같은 일반적인 통신 기능을 수행하며, 본 발명의 일 실시 예에 따라 이동 물체 검출/추적부(160)를 제어하여 영상에서 이동 물체를 검출/추적을 수행한다.
이동 물체 검출/추적부(160)는 카메라부(120)를 통한 프리뷰 영상을 입력 받아 실시간으로 입력 영상에서 이동 물체의 검출 및 추적을 수행한다.
본 발명의 일 실시 예에 따른 이동 물체 검출/추적부(160)는 입력 영상에서 영상 패턴의 변화를 나타내는 특징 맵을 생성하여 상기 영상의 특징 정보를 추출하고, 상기 추출된 특징 정보를 이용하여 카메라의 움직임을 파악하기 위한 글로벌 모션을 추정하며, 상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 영상을 이용하여 이동 물체를 검출한다.
이 경우 특징 정보 추출은, 상기 영상에서 각 픽셀 별로 주변 이웃 픽셀과의 변화 정도가 미리 설정된 임계값보다 큰 픽셀들을 표시한 특징맵을 생성하여 특징 정보를 추출한다. 또한 상기 특징맵을 생성 시에는 최초 입력 영상에서는 영상의 중앙에서 미리 설정된 영역 크기 만큼을 제외한 부분에서 특징맵을 작성하고, 두번째 입력 프레임부터는 추출된 이동물체 영역을 제외한 나머지 부분에서 특징맵을 생성한다.
상기 이동 물체 검출/추적부(160)에서 글로벌 모션 추정 시, 상기 특징맵에서 주변 이웃 픽셀과의 변화 정도가 미리 설정된 임계값보다 크다고 표시된 픽셀 영역들을 미리 설정된 N*N 크기의 특징 블록으로 분할하고, 분할된 특징 블록을 미리 설정된 S*S 크기의 서브 블록으로 분할하며, 각 특징 블록마다 각 특징 블록에 포함된 각 서브 블록에 속하는 픽셀 값들의 합을 해당 서브 블록의 대표값으로 설정하고 각 서브 블록 중 대표값이 가장 큰 서브 블록을 서브 블록이 속한 특징 블록의 매크로 블록으로 설정하며, 상기 입력된 이전 영상에서 구해진 각 특징 블록의 매크로 블록들을 현재 영상과 매칭하여 글로벌 모션을 추정한다.
상기 이동 물체 검출/추적부(160)는 이동 물체를 검출 시, 추정된 글로벌 모션을 반영하여 상기 입력된 이전 영상을 보정하고, 보정된 이전 영상 및 현재 영상에 대해 평균 필터를 이용하여 노이즈를 제거하며, 노이즈가 제거된 보정된 이전 영상과 현재 영상을 매칭하여 이진신호로 표현된 차영상을 구하고, 구해진 차영상에 대해 침식연산자를 사용하여 노이즈를 제거하여 이동 물체 영역을 검출한다.
이 경우 평균 필터를 이용하는 것은 차영상에서 미리 설정된 M*M 크기의 블럭을 이용하여 상기 M*M 크기의 블럭의 가운데 픽셀 값을 주위의 나머지 픽셀들의 평균값으로 설정하며, 차영상에서 각 M*M 블록이 겹치지 않게 필터링을 수행하는 것이다.
상기 이동 물체 검출/추적부(160)는 상기 차영상을 구하는 경우, 상기 보정된 이전 영상과 상기 현재 영상의 밝기 정보 및 색상 정보에 대해 각각 영상차를 구하고, 상기 밝기 정보에 대한 영상차가 미리 설정된 밝기 정보에 대한 기준 영상차보다 크거나, 상기 색상 정보에 대한 영상차가 미리 설정된 색상 정보에 대한 기준 영상차보다 큰 픽셀을 표시하여 차영상을 구한다.
또한 상기 이동 물체 검출/추적부(160)는 상기 이동 물체 영역을 검출하는 과정을 수행 시, 최초 이동 물체 영역을 구하면, 다음으로 입력되는 영상은 검출된 이동 물체 영역에서 미리 설정된 오프셋값만큼 가로와 세로의 픽셀 길이가 확장된 영역에서만 차영상을 구하여 이동 물체 영역을 검출한다.
또한 상기 이동 물체 검출/추적부(160)는 이동 물체 영역을 검출 시, 검출된 이동 물체 영역을 누적하여 어피어런스 모델(appearance model)을 생성하며, 이동 물체가 움직이다가 멈추거나 하는 상황이 발생하여 이동 물체가 검출되지 않는 경우, 상기 어피어런스 모델을 이용하여 이전 영상에서 검출된 이동 물체 영역에서 미리 설정된만큼 확장된 영역에서 패턴 정합을 통해 이동 물체를 추적한다.
도 2는 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행하는 단말에서 이동 물체 검출/추적부의 상세 구성을 나타낸 도면이다.
도 2를 참조하면 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행하는 단말에서 이동 물체 검출/추적부(160)는 특징 추출부(210)와, 글로벌 모션 추정부(220)와, 이동물체 추출부(230)와, 어피어런스 모델 생성부(240)와, 이동 물체 추적부(250)를 포함하여 구성된다.
상기 특징 추출부(210)는 사용자 입력에 의해 제어부(110)를 통해 카메라부(120)로부터 실시간 영상을 입력 받거나, 저장부(140)에 저장된 영상을 입력받아 영상의 특징을 추출한다.
이동 물체 검출 및 추적을 수행 시, 단말은 빠르고 정확하게 카메라의 모션을 추정하기 위하여 입력된 영상의 특징 정보를 최소화 하면서 영상 패턴의 변화가 두드러지게 나타나는 부분에서 특징정보를 추출해야 할 필요가 있다. 따라서 로컬 블록 정보를 활용하여 특징맵을 생성하고 생성된 특징맵에서 유효범위에 해당하는 부분을 NxN크기의 특징블록으로 분할한다. 상기 기술된 로컬블록 정보란 입력 영상에서 각 픽셀들의 이웃픽셀에 의해서 얻어진 정보로서 예를 들어 에지(edge)나 코너(corner) 정보를 획득하기 위하여 로컬블록을 사용한다면 영상 I의 각 픽셀 I(i,j)에 대하여 기준픽셀 I(i,j) 그리고 I(i-1,j)와 I(i,j-1)으로 이루어진 블록을 사용할 수 있다. 즉 로컬블록은 기준이 되는 픽셀을 중심으로 두 개 이상의 이웃 픽셀로 구성될 수 있다. 상기 기술된 로컬블록을 이용하여 특징맵을 생성하는 과정에서는 기준 픽셀과 이웃픽셀들의 변화도를 이용하고 영상에서의 패턴변화가 적은 영역을 제외시키고 특징맵에서 유효영역을 얻기 위하여 특정 임계치(Tm)를 설정하여 특징맵을 생성한다. 특징맵을 하기 수학식 1을 이용하여 생성한다.
Figure 112009079524662-pat00001
M(i,j)는 특징맵 M의 (i,j)번째 픽셀의 값을 나타낸다.
특징맵을 작성할 때 모션추정의 정확성과 속도를 고려하여 움직인 물체 영역은 제외하고 나머지 영역에서 특징맵을 작성하는데 최초 입력 영상에서는 물체영역을 알 수 없기 때문에 물체가 영상의 중앙에 위치한다는 가정하에 영상의 외각부분에서 특징맵을 작성한다. 즉, 영상의 중앙에서 미리 설정된 영역 크기 만큼을 제외한 부분에서 특징맵을 작성한다. 그리고 두번째 입력 프레임 부터는 추출된 이동물체 영역을 제외한 나머지 부분에서 특징맵을 작성한다.
글로벌 모션 추정부(220)는 특징 추출부(210)를 통해 작성된 특징맵을 통해 글로벌 모션을 추정한다. 글로벌 모션 추정부(220)는 작성된 특징맵을 이용하여 글로벌 모션을 추정하기 위하여 특징맵에서 0이 아닌 값을 가지는 부분에 대해서 NxN블록들로 영역을 분할한다(이하 이 블록을 특징블록이라 칭하기로 한다). 글로벌모션을 추정하는데 사용될 매크로 블록을 선정하기 위하여 각 특징블록을 SxS 서브블록으로 분할을 한다. 이렇게 분할된 각 서브블록에 속하는 픽셀값들의 합을 구하여 그 서브블록의 대표값으로 정하고 각 특징블록에서 대표값이 가장 큰 서브블록을 그 특징블록의 매크로 블록으로 설정을 한다. 여기서 대표값이 크다는 것은 패턴의 변화가 크다는 의미로 해석될 수 있다. 매크로 블록을 생성하는 수식은 하기의 수 학식 2와 같다.
Figure 112009079524662-pat00002
Mb(Fb)는 특징블록Fb의 매크로 블록이고, Sb는 특징블록Fb의 서브블록이다.
다음으로 이전 영상(It-1) 과 현재 영상(It)을 이용하여 카메라의 글로벌 모션을 추정한다. 이전 영상에서 구해진 매크로 블록을 이용하여 현재 영상에 대하여 블록매칭을 수행함으로써 카메라 모션추정이 수행된다.
다음 이동 물체 추출부(230)는 상기 글로벌 모션 추정부(220)에서 추정된 카메라 모션 정보를 반영하여 영상을 보정하고, 보정된 영상을 이용하여 이동 물체를 검출한다. 이동 물체 추출부(230)는 카메라 모션이 추정되면 추정된 모션 정보를 반영하여 이전 영상을 보정한 후 현재 영상과 겹치는 부분에 대해서 차영상을 구한다.
보통 차영상을 구하는데 있어서 노이즈의 영향을 줄이기 위하여 각 영상들에 평균필터 또는 가우시안 필터 등을 사용한다. 본 발명에서는 평균필터, 가우시안 필터를 사용할 수 있을 뿐만 아니라 속도를 고려하여 평균필터를 변형한 다른 형태도 사용할 수 있다. 예를 들면 3x3이상의 블럭을 이용하여 필터링하는 평균필터는 영상에서 3x3필터의 가운데 픽셀값으로 주위의 8개 픽셀들의 평균값으로 결정된다. 하지만 프리뷰로 입력되는 모든 프레임에 대해서 이같은 픽셀 연산을 수행하면 시간이 오래 걸릴 것이다. 따라서 필터링 시 3x3블록이 겹치지 않게 필터링을 하면서 3x3블록 내의 가운데 픽셀값 뿐만 아니라 주위 8개 픽셀값들도 평균값으로 동일하게 설정할 수 있다.
그리고 차영상을 이용한 이동 물체를 검출하는데 있어서 그레이 영상만 사용하게 되면 이동물체와 비슷한 색상의 배경 하에서는 이동물체의 검출이 실패할 확률이 아주 높아진다. 따라서 차영상을 구할 경우 컬러정보도 함께 사용한다. 예를 들어 영상의 포맷이 YCbCr형식이라면 Y값 뿐만 아니라 Cb와 Cr값의 평균을 이용하여 차영상을 구하고 이 차영상을 특정 임계치(TY, TCbCr)를 이용하여 이진 영상으로 변환을 한다. RGB 또는 기타 다른 컬러영역에서도 같은 형식으로 적용이 가능하다. 차영상은 하기의 수학식 3을 이용하여 구한다.
Figure 112009079524662-pat00003
IY, ICbCr은 각각 Y, CbCr영역에서의 영상차를 나타내고, It-1 new는 카메라 모션 정보를 반영하여 보정된 이전 영상을 나타내며, IB는 이진 차영상, x는 각 해당 영역에서의 좌표를 나타낸다.
다음으로 모폴로지에서 사용되는 침식연산자를 사용하여 이진 차영상의 노이즈를 제거하고 노이즈가 제거된 부분을 이동물체 영역으로 설정한다. 이동물체 영역이 결정되면 처리속도를 향상시키기 위하여 다음으로 입력되는 영상(It+1)에서는 전체 영역에 대하여 차영상을 구할 필요없이 이전에 결정된 이동물체 영역을 포함하는 일부 확장된 영역에서 이진 차영상을 구한다. 이때 상기 확장된 영역이란 이전에 검출된 이동물체 영역에서 일정 오프셋(offset)만큼 가로와 세로로 영역을 확장하는 것으로서, 이러한 확장된 영역을 사용할 경우 자동차와 같이 빠른 속도로 이동하면서 원거리와 근거리에서 이동물체의 모양이 변하는 물체에 대해서 정확히 이동물체 검출이 가능하다. 만약 이동물체가 화면을 벗어나게 된다면 이동물체를 검출하기 위한 확장영역은 영상전체로 확대된다.
다음 어피어런스(appearance) 모델 생성부(240)는 이동 물체의 움직임이 없거나 아주 작을 경우를 위해 어피어런스 모델을 생성한다. 어피어런스 모델은 이전 프레임들에서 얻은 이동물체 영역을 누적하여 생성한다. 어피어런스 모델을 생성은 하기의 수학식 4를 이용한다.
Figure 112009079524662-pat00004
A는 어피어런스 모델이고 R은 t시간 대에 얻어진 이동물체 영역을 나타낸다.
다음 이동물체 추적부(250)는 상기 어피어런스 모델 생성부(240)에서 생성된 어피어런스 모델을 이용하여 이동물체를 추적한다. 어피어런스 모델은 프레임이 지 나갈 때 지속적으로 업데이트가 되며, 만약 t+1 시간대에 이동물체의 움직임이 없거나 아주 작을 경우 t시간대에 얻어진 어피어런스 모델을 이용하여 It+1영상에서 t시간대의 이동물체영역 주위에서 패턴정합 동작을 통하여 이동 물체를 추적한다.
도 3은 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법의 흐름을 나타낸 도면이다.
도 3을 참조하면, 먼저 310단계에서 특징 추출부(210)는 사용자 입력에 의해 제어부(110)를 통해 카메라부(120)로부터 실시간 영상을 입력 받거나, 저장부(140)에 저장된 영상을 입력받아 영상의 특징을 추출한다.
다음 320단계에서 글로벌 모션 추정부(220)는 특징 추출부(210)를 통해 작성된 특징맵을 통해 글로벌 모션을 추정한다. 다음 330단계에서 이동 물체 추출부(230)는 상기 글로벌 모션 추정부(220)에서 추정된 카메라 모션 정보를 반영하여 영상을 보정하고, 보정된 영상을 이용하여 이동 물체를 검출한다. 다음 340단계에서 어피어런스(appearance) 모델 생성부(240)는 이동 물체의 움직임이 없거나 아주 작을 경우를 위해 어피어런스 모델을 생성하고, 350단계에서 이동 물체 추적부(250)는 생성된 어피어런스 모델을 이용하여 이동물체를 추적한다.
도 4는 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 이동 물체 검출/추적의 수행 결과를 이용한 영상의 예를 나타낸 도면이다.
본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 이동 물체 검출/추적을 수행하면 영상에서 실시간으로 이동 물체를 검출하고 추적을 수행할 수 있으며 이에 따라 도 4에 도시된 바와 같이 영상에서 이동 물체의 움직임을 정확하게 검출할 수 있다.
상기와 같이 본 발명의 일 실시예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말의 동작 및 구성이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행하는 단말의 블록 구성을 나타낸 도면
도 2는 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행하는 단말에서 이동물체 검출/추적부의 상세 구성을 나타낸 도면
도 3은 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법의 흐름을 나타낸 도면
도 4는 본 발명의 일 실시 예에 따른 실시간 카메라 모션 추정을 이용한 물체 검출/추적을 수행 결과를 이용한 영상의 예를 나타낸 도면

Claims (18)

  1. 실시간 카메라 모션 추정을 이용한 이동 물체 검출 방법에 있어서,
    입력 영상 중 최초 입력 영상에서는 영상의 중앙에서 미리 설정된 영역 크기만큼을 제외한 부분에서 특징맵을 작성하고, 두번째 입력 영상부터는 추출된 이동물체 영역을 제외한 나머지 부분에서 특징맵을 생성하여 상기 입력 영상에서 영상 패턴의 변화를 나타내는 특징 정보를 추출하는 과정과,
    상기 추출된 특징 정보를 이용하여 카메라의 움직임을 파악하기 위한 글로벌 모션을 추정하는 과정과,
    상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 입력 영상에서 이전 영상과 현재 영상의 비교를 통해 이동 물체를 검출하는 과정을 포함함을 특징으로 하는 이동 물체 검출 방법.
  2. 제 1항에 있어서, 상기 입력된 영상에서 영상 패턴의 변화를 나타내는 특징 맵을 생성하여 특징 정보를 추출하는 과정은,
    상기 영상에서 각 픽셀 별로 주변 이웃 픽셀과의 변화 정도가 미리 설정된 임계값보다 큰 픽셀들을 표시한 특징맵을 생성하여 상기 특징 정보를 추출하는 과정임을 특징으로 하는 이동 물체 검출 방법.
  3. 삭제
  4. 제 2항에 있어서, 상기 추출된 특징 정보를 이용하여 글로벌 모션을 추정하는 과정은,
    상기 특징맵에서 주변 이웃 픽셀과의 변화 정도가 미리 설정된 임계값보다 크다고 표시된 픽셀 영역들을 미리 설정된 N*N 크기의 특징 블록으로 분할하는 단계와,
    상기 분할된 특징 블록을 미리 설정된 S*S 크기의 서브 블록으로 분할하는 단계와,
    상기 각 특징 블록마다, 각 특징 블록에 포함된 각 서브 블록에 속하는 픽셀 값들의 합을 해당 서브 블록의 대표값으로 설정하고, 상기 각 서브 블록 중 대표값이 가장 큰 서브 블록을 상기 서브 블록이 속하는 특징 블록의 매크로 블록으로 설정하는 단계와,
    상기 입력된 이전 영상에서 구해진 각 특징 블록의 매크로 블록들을 현재 영상과 매칭하여 글로벌 모션을 추정하는 단계를 포함함을 특징으로 하는 이동 물체 검출 방법.
  5. 제 4항에 있어서, 상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 입력 영상에서 이전 영상과 현재 영상의 비교를 통해 이동 물체를 검출하는 과정은,
    상기 추정된 글로벌 모션을 반영하여 상기 입력된 이전 영상을 보정하는 단계와,
    상기 보정된 이전 영상 및 현재 영상에 대해 평균 필터를 이용하여 노이즈를 제거하는 단계와,
    상기 노이즈가 제거된 보정된 이전 영상과 현재 영상을 매칭하여 이진신호로 표현된 차영상을 구하는 단계와,
    상기 구해진 차영상에 대해 침식연산자를 사용하여 노이즈를 제거하여 이동 물체 영역을 검출하는 단계를 포함함을 특징으로 하는 이동 물체 검출 방법.
  6. 제 5항에 있어서, 상기 평균 필터를 이용하는 것은
    상기 차영상에서 미리 설정된 M*M 크기의 블럭을 이용하여 상기 M*M 크기의 블럭의 가운데 픽셀 값을 주위의 나머지 픽셀들의 평균값으로 설정하며, 상기 차영상에서 각 M*M 블록이 겹치지 않게 필터링을 수행하는 것임을 특징으로 하는 이동 물체 검출 방법.
  7. 제 5항에 있어서, 상기 노이즈가 제거된 보정된 이전 영상과 현재 영상을 매칭하여 이진신호로 표현된 차영상을 구하는 단계는,
    상기 보정된 이전 영상과 상기 현재 영상의 밝기 정보 및 색상 정보에 대해 각각 영상차를 구하고, 상기 밝기 정보에 대한 영상차가 미리 설정된 밝기 정보에 대한 기준 영상차보다 크거나, 상기 색상 정보에 대한 영상차가 미리 설정된 색상 정보에 대한 기준 영상차보다 큰 픽셀을 표시하여 구하는 것임을 특징으로 하는 이동 물체 검출 방법.
  8. 제 5항에 있어서, 상기 이동 물체 영역을 검출하는 과정을 수행 시,
    최초 이동 물체 영역을 구하면, 다음으로 입력되는 영상은 검출된 이동 물체 영역에서 미리 설정된 오프셋 값만큼 가로와 세로의 픽셀 길이가 확장된 영역에서만 차영상을 구하여 이동 물체 영역을 검출하는 것을 특징으로 하는 이동 물체 검출 방법.
  9. 제 5항에 있어서,
    상기 검출된 이동 물체 영역을 누적하여 어피어런스 모델(appearance model)을 생성하는 과정과,
    상기 이동 물체가 검출되지 않는 경우, 상기 어피어런스 모델을 이용하여 이전 영상에서 검출된 이동 물체 영역에서 미리 설정된만큼 확장된 영역에서 패턴 정합을 통해 이동 물체를 추적하는 과정을 더 포함함을 특징으로 하는 이동 물체 검출 방법.
  10. 실시간 카메라 모션 추정을 이용한 이동 물체 검출을 수행하는 단말에 있어서,
    렌즈 및 이미지 센서를 이용하여 영상을 촬영하는 카메라부와;
    상기 단말의 각 구성을 제어하기 위한 제어부와;
    입력 영상 중 최초 입력 영상에서는 영상의 중앙에서 미리 설정된 영역 크기만큼을 제외한 부분에서 특징맵을 작성하고, 두번째 입력 영상 부터는 추출된 이동물체 영역을 제외한 나머지 부분에서 특징맵을 생성하여 상기 입력 영상에서 영상 패턴의 변화를 나타내는 특징 정보를 추출하는 특징 추출부와, 상기 추출된 특징 정보를 이용하여 카메라의 움직임을 파악하기 위한 글로벌 모션을 추정하는 글로벌 모션 추정부와, 상기 추정된 글로벌 모션을 반영하여 상기 입력 영상을 보정하고 상기 보정된 입력 영상에서 이전 영상과 현재 영상의 비교를 통해 이동 물체를 검출하는 이동 물체 검출부를 포함하는 것을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  11. 제 10항에 있어서, 상기 특징 추출부는,
    상기 영상에서 각 픽셀 별로 주변 이웃 픽셀과의 변화 정도가 미리 설정된 임계값보다 큰 픽셀들을 표시한 특징맵을 생성하여 특징 정보를 추출하는 것을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  12. 삭제
  13. 제 11항에 있어서, 상기 글로벌 모션 추정부는,
    상기 특징맵에서 주변 이웃 픽셀과의 변화 정도가 미리 설정된 임계값보다 크다고 표시된 픽셀 영역들을 미리 설정된 N*N 크기의 특징 블록으로 분할하고, 상기 분할된 특징 블록을 미리 설정된 S*S 크기의 서브 블록으로 분할하며, 상기 각 특징 블록마다, 각 특징 블록에 포함된 각 서브 블록에 속하는 픽셀 값들의 합을 해당 서브 블록의 대표값으로 설정하고, 상기 각 서브 블록 중 대표값이 가장 큰 서브 블록을 상기 서브 블록이 속하는 특징 블록의 매크로 블록으로 설정하고, 상기 입력된 이전 영상에서 구해진 각 특징 블록의 매크로 블록들을 현재 영상과 매칭하여 글로벌 모션을 추정하는 것을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  14. 제 13항에 있어서, 상기 이동 물체 검출부는 ,
    상기 추정된 글로벌 모션을 반영하여 상기 입력된 이전 영상을 보정하고, 상기 보정된 이전 영상 및 현재 영상에 대해 평균 필터를 이용하여 노이즈를 제거하며, 상기 노이즈가 제거된 보정된 이전 영상과 현재 영상을 매칭하여 이진신호로 표현된 차영상을 구하고, 상기 구해진 차영상에 대해 침식연산자를 사용하여 노이즈를 제거하여 이동 물체 영역을 검출하는 것을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  15. 제 14항에 있어서, 상기 평균 필터를 이용하는 것은
    상기 차영상에서 미리 설정된 M*M 크기의 블럭을 이용하여 상기 M*M 크기의 블럭의 가운데 픽셀 값을 주위의 나머지 픽셀들의 평균값으로 설정하며, 상기 차영상에서 각 M*M 블록이 겹치지 않게 필터링을 수행하는 것임을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  16. 제 14항에 있어서, 상기 이동 물체 검출부가 노이즈가 제거된 보정된 이전 영상과 현재 영상을 매칭하여 이진신호로 표현된 차영상을 구하는 것은,
    상기 보정된 이전 영상과 상기 현재 영상의 밝기 정보 및 색상 정보에 대해 각각 영상차를 구하고, 상기 밝기 정보에 대한 영상차가 미리 설정된 밝기 정보에 대한 기준 영상차보다 크거나, 상기 색상 정보에 대한 영상차가 미리 설정된 색상 정보에 대한 기준 영상차보다 큰 픽셀을 표시하여 구하는 것임을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  17. 제 14항에 있어서, 상기 이동 물체 영역을 검출하는 과정을 수행 시,
    최초 이동 물체 영역을 구하면, 다음으로 입력되는 영상은 검출된 이동 물체 영역에서 미리 설정된 오프셋값만큼 가로와 세로의 픽셀 길이가 확장된 영역에서만 차영상을 구하여 이동 물체 영역을 검출하는 것을 특징으로 하는 이동 물체 검출을 수행하는 단말.
  18. 제 14항에 있어서,
    상기 검출된 이동 물체 영역을 누적하여 어피어런스 모델(appearance model)을 생성하는 어피어런스 모델 생성부와,
    상기 이동 물체가 검출되지 않는 경우, 상기 어피어런스 모델을 이용하여 이전 영상에서 검출된 이동 물체 영역에서 미리 설정된만큼 확장된 영역에서 패턴 정합을 통해 이동 물체를 추적하는 이동 물체 추적부를 더 포함함을 특징으로 하는 이동 물체 검출을 수행하는 단말.
KR1020090129338A 2009-12-22 2009-12-22 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말 KR101183781B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090129338A KR101183781B1 (ko) 2009-12-22 2009-12-22 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
EP10194641.6A EP2357614B1 (en) 2009-12-22 2010-12-13 Method and terminal for detecting and tracking moving object using real-time camera motion estimation
CN201010601225.4A CN102103753B (zh) 2009-12-22 2010-12-22 使用实时相机运动估计检测和跟踪运动对象的方法和终端
US12/976,290 US8611595B2 (en) 2009-12-22 2010-12-22 Method and terminal for detecting and tracking moving object using real-time camera motion estimation
US14/087,871 US20140078313A1 (en) 2009-12-22 2013-11-22 Method and terminal for detecting and tracking moving object using real-time camera motion estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090129338A KR101183781B1 (ko) 2009-12-22 2009-12-22 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말

Publications (2)

Publication Number Publication Date
KR20110072426A KR20110072426A (ko) 2011-06-29
KR101183781B1 true KR101183781B1 (ko) 2012-09-17

Family

ID=43778185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129338A KR101183781B1 (ko) 2009-12-22 2009-12-22 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말

Country Status (4)

Country Link
US (2) US8611595B2 (ko)
EP (1) EP2357614B1 (ko)
KR (1) KR101183781B1 (ko)
CN (1) CN102103753B (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
CN102883101A (zh) * 2011-07-15 2013-01-16 华晶科技股份有限公司 影像处理装置及其影像处理方法
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
KR101838342B1 (ko) * 2011-10-26 2018-03-13 아이큐브드 연구소 주식회사 화상 처리 장치, 화상 처리 방법, 및 기록매체
AU2011244921B8 (en) * 2011-11-01 2014-04-03 Canon Kabushiki Kaisha Method and system for luminance adjustment of images in an image sequence
US8774556B2 (en) * 2011-11-30 2014-07-08 Microsoft Corporation Perspective correction using a reflection
JP2015111746A (ja) * 2012-04-09 2015-06-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
ES2436726B2 (es) * 2012-06-04 2015-04-27 Eads Construcciones Aeronauticas, S.A. Sistemas y métodos para el cálculo de la velocidad de aproximación en maniobras de reabastecimiento aéreo de combustible
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
WO2014155877A1 (ja) * 2013-03-26 2014-10-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
US10121254B2 (en) 2013-08-29 2018-11-06 Disney Enterprises, Inc. Methods and systems of detecting object boundaries
EP2851870B1 (en) * 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Method for estimating ego motion of an object
KR102116090B1 (ko) * 2013-09-27 2020-05-27 한화테크윈 주식회사 동영상 데이터를 압축하는 카메라
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN104574349B (zh) * 2013-11-14 2017-04-12 广东朗呈医疗器械科技有限公司 恢复相机位置的方法
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
US10157327B2 (en) * 2014-08-06 2018-12-18 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and program
KR102289261B1 (ko) * 2014-10-30 2021-08-12 한화테크윈 주식회사 움직임 영역 검출 장치 및 방법
KR101726695B1 (ko) * 2015-01-23 2017-04-13 한화테크윈 주식회사 객체추적방법
WO2016145406A1 (en) 2015-03-11 2016-09-15 Massachusetts Institute Of Technology Methods and apparatus for modeling deformations of an object
US9811732B2 (en) 2015-03-12 2017-11-07 Qualcomm Incorporated Systems and methods for object tracking
KR102359083B1 (ko) * 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
KR101752848B1 (ko) * 2015-12-30 2017-06-30 씨제이포디플렉스 주식회사 영상 움직임 검출을 이용한 모션 제어 시스템 및 방법
US11004213B2 (en) 2016-01-25 2021-05-11 KoreoGRFX, Inc. Methods and systems for determining motion of a device
CN105678834B (zh) 2016-02-26 2019-12-17 腾讯科技（深圳）有限公司 区分对象的方法和装置
JP6932487B2 (ja) * 2016-07-29 2021-09-08 キヤノン株式会社 移動体監視装置
US10380745B2 (en) * 2016-09-01 2019-08-13 Massachusetts Institute Of Technology Methods and devices for measuring object motion using camera images
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US10764499B2 (en) * 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
KR102434397B1 (ko) * 2017-07-10 2022-08-22 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN107592453B (zh) * 2017-09-08 2019-11-05 维沃移动通信有限公司 一种拍摄方法及移动终端
KR102468729B1 (ko) * 2017-09-29 2022-11-21 삼성전자주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
CN108280846B (zh) * 2018-01-16 2020-12-29 中国科学院福建物质结构研究所 基于几何图形匹配的目标跟踪修正方法及其装置
CN109165572B (zh) * 2018-08-03 2022-02-08 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
KR102198912B1 (ko) * 2018-09-21 2021-01-06 네이버웹툰 유한회사 비디오 영상 내의 행동 인식 방법 및 장치
CN109410254B (zh) * 2018-11-05 2020-07-28 清华大学深圳研究生院 一种基于目标和相机运动建模的目标跟踪方法
CN109543587B (zh) * 2018-11-16 2020-04-24 中南大学 一种高温熔融流体流速检测方法及系统
IT201900001833A1 (it) * 2019-02-08 2020-08-08 St Microelectronics Srl Un procedimento per rilevare oggetti in movimento mediante una telecamera in movimento, e relativo sistema di elaborazione, dispositivo e prodotto informatico
JP7196999B2 (ja) * 2019-04-17 2022-12-27 日本電気株式会社 オブジェクト検出・追跡装置、方法、およびプログラム
KR20210019826A (ko) * 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
CN110493524B (zh) * 2019-08-28 2021-05-28 深圳市道通智能航空技术股份有限公司 一种测光调整方法、装置、设备和存储介质
CN111080674B (zh) * 2019-12-18 2023-11-14 上海无线电设备研究所 一种基于混合高斯模型的多目标isar关键点提取方法
CN113496136B (zh) 2020-03-18 2024-08-13 中强光电股份有限公司 无人机及其影像识别方法
CN111882583B (zh) * 2020-07-29 2023-11-14 成都英飞睿技术有限公司 一种运动目标检测方法、装置、设备及介质
CN111880575B (zh) * 2020-08-10 2023-03-24 重庆依塔大数据研究院有限公司 基于颜色追踪的控制方法、装置、存储介质及机器人
CN112132849A (zh) * 2020-09-16 2020-12-25 天津大学 一种基于Canny边缘检测的空间非合作目标角点提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100540889B1 (ko) * 2000-12-18 2006-01-10 한국전자통신연구원 기준점을 이용한 이동 물체 추적 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0147572B1 (ko) * 1992-10-09 1998-09-15 김광호 자동 줌잉을 위한 피사체 추적방법 및 그 장치
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
KR100325253B1 (ko) * 1998-05-19 2002-03-04 미야즈 준이치롯 움직임벡터 검색방법 및 장치
US6628711B1 (en) * 1999-07-02 2003-09-30 Motorola, Inc. Method and apparatus for compensating for jitter in a digital video image
EP1305951A2 (en) * 2000-07-20 2003-05-02 Giant Leap Ahead Limited Method and apparatus for determining motion vectors in dynamic images
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
KR20080022614A (ko) * 2006-09-07 2008-03-12 삼성전자주식회사 글로벌 영상 검출 방법과, 표시 장치 및 이의 구동 방법
KR101107256B1 (ko) 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
US7856120B2 (en) * 2007-03-30 2010-12-21 Mitsubishi Electric Research Laboratories, Inc. Jointly registering images while tracking moving objects with moving cameras
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100540889B1 (ko) * 2000-12-18 2006-01-10 한국전자통신연구원 기준점을 이용한 이동 물체 추적 방법

Also Published As

Publication number Publication date
US20140078313A1 (en) 2014-03-20
EP2357614B1 (en) 2019-09-11
KR20110072426A (ko) 2011-06-29
CN102103753B (zh) 2016-09-28
CN102103753A (zh) 2011-06-22
EP2357614A1 (en) 2011-08-17
US20110150284A1 (en) 2011-06-23
US8611595B2 (en) 2013-12-17

Similar Documents

Publication Publication Date Title
KR101183781B1 (ko) 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
CN108122208B (zh) 用于对对象分割的前景掩模校正的图像处理设备和方法
Wu et al. Lane-mark extraction for automobiles under complex conditions
US10091409B2 (en) Improving focus in image and video capture using depth maps
US7221776B2 (en) Video stabilizer
Kim et al. Feature point classification based global motion estimation for video stabilization
JP5441670B2 (ja) 画像処理装置及びその制御方法
CN107005623B (zh) 用于图像处理的方法和装置
US20110074927A1 (en) Method for determining ego-motion of moving platform and detection system
CN111757014B (zh) 网络摄像头的焦距调节方法、装置、设备和存储介质
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
JP2007235952A (ja) 車両追跡方法及び装置
US20110085026A1 (en) Detection method and detection system of moving object
EP3115967A1 (en) A method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device
US20120002842A1 (en) Device and method for detecting movement of object
JP5173549B2 (ja) 画像処理装置及び撮像装置
US20160366366A1 (en) Frame rate conversion system
CN114723715B (zh) 车辆目标检测方法、装置、设备、车辆及介质
US12008773B2 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors
TWI478078B (zh) A motion detection device and a motion detection method
US20060018554A1 (en) Block-based motion estimation method
Wang et al. Accurate silhouette extraction of a person in video data by shadow evaluation
CN111563912B (zh) 一种行人追踪系统和方法
Arróspide et al. Real-time vehicle detection and tracking based on perspective and non-perspective space cooperation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091222

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20101006

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091222

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120117

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120830

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120911

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120911

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150828

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160830

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170830

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180830

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200828

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210831

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20220831

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20230830

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20240910

Start annual number: 13

End annual number: 13