KR20210069686A - 사용자 지정 초기화 포인트에 기반한 개체 추적 - Google Patents

사용자 지정 초기화 포인트에 기반한 개체 추적 Download PDF

Info

Publication number
KR20210069686A
KR20210069686A KR1020217013013A KR20217013013A KR20210069686A KR 20210069686 A KR20210069686 A KR 20210069686A KR 1020217013013 A KR1020217013013 A KR 1020217013013A KR 20217013013 A KR20217013013 A KR 20217013013A KR 20210069686 A KR20210069686 A KR 20210069686A
Authority
KR
South Korea
Prior art keywords
feature
motion estimation
feature points
image frame
correspondences
Prior art date
Application number
KR1020217013013A
Other languages
English (en)
Other versions
KR102572986B1 (ko
Inventor
호우만 라스트가르
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210069686A publication Critical patent/KR20210069686A/ko
Application granted granted Critical
Publication of KR102572986B1 publication Critical patent/KR102572986B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 전자 디바이스가 제공된다. 전자 디바이스는 제1 이미지 프레임 및 제2 이미지 프레임을 포함하는 이미지 프레임들의 시퀀스를 저장한다. 전자 디바이스는 제1 이미지 프레임 내의 특징 포인트들의 제1 세트와 제2 이미지 프레임 내의 특징 포인트들의 제2 세트 사이의 특징 대응들의 세트를 추정한다. 전자 디바이스는 특징 대응들의 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들을 생성하고, 특징 대응들의 상이한 그룹들로부터, 제1 이미지 프레임 및 제2 이미지 프레임 내의 관심 개체에 대응하는 복수의 인라이어 특징 대응들을 추가로 추정한다. 전자 디바이스는 최적의 움직임 추정 모델로서 제2 움직임 추정 모델을 생성하고, 제2 움직임 추정 모델에 기반하여, 프레임들의 시퀀스 내의 관심 개체를 추적한다.

Description

사용자 지정 초기화 포인트에 기반한 개체 추적
관련 출원들에 대한 상호 참조/참조에 의한 포함
없음
본 개시내용의 다양한 실시예들은 이미지 처리 기술들에 관한 것이다. 보다 구체적으로, 본 개시내용의 다양한 실시예들은 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 전자 디바이스에 관한 것이다.
디지털 이미지 처리 분야의 최근의 발전들로 인해 비디오들에서 개체들을 추적하기 위한 다양한 방법들 및 기술들이 개발되었다. 종래의 개체 추적 시스템들에서, 사용자 입력은 프레임들의 시퀀스를 통해 추적될 수 있는 관심 개체를 선택하기 위한 초기화 파라미터로서 요구될 수 있다. 예를 들어, 사용자 입력은 관심 개체를 나타내는 패치의 선택에 대응할 수 있다. 사용자 입력을 제공하기 위해, 사용자는 관심 개체를 둘러싸는 전체 경계 박스를 생성해야 할 수 있다. 수동 초기화가 제1 프레임에 대해 수행될 수 있고, 둘러싸인 이미지 픽셀들이 타겟 모델을 트레이닝하는데 이용될 수 있으며, 이 타겟 모델이 이어서 후속 프레임들에서 최적의 개체 위치를 검색하는데 이용될 수 있다. 그러나, 영화 편집 또는 감시와 같은 많은 실생활 애플리케이션들에서, 특히 관심 개체가 차량과 같은 빠르게 움직이는 개체인 경우, 사용자가 관심 개체 주위에 직사각형 경계 박스를 수동으로 생성하는 것은 힘들고 번거롭거나 비현실적일 수 있으므로, 사용자는 관심 개체의 전체 경계 박스를 생성하는 능력을 갖지 않을 수 있다. 또한, 일부 경우들에서, 관심 개체의 전체 경계 박스는 보이지 않을 수 있고, 따라서 전체 경계 박스의 생성은 개체 추적 시스템들을 초기화하기 위한 실현가능한 솔루션이 아닐 수 있고, 사용자에게 불편을 추가로 야기할 수 있다.
종래의 그리고 전통적인 접근법들의 추가적인 제한들 및 단점들은, 도면들을 참조하여 본 출원의 나머지 부분에 개시되는 본 개시내용의 일부 양태들과 설명된 시스템들의 비교를 통하여 관련 기술분야의 통상의 기술자에게 명백해질 것이다.
사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 전자 디바이스 및 방법은, 청구항들에서 더 완전히 개시된 바와 같이, 도면들 중 적어도 하나에 도시되고/되거나 이와 관련하여 설명된 바와 같이 실질적으로 제공된다.
본 개시내용의 이들 및 다른 특징들 및 이점들은 유사한 참조 번호들이 전체에 걸쳐 유사한 부분들을 지칭하는 첨부 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있다.
도 1은 본 개시내용의 실시예에 따른, 사용자 지정 초기화 포인트에 기반하여 개체를 추적하는 전자 디바이스에 대한 예시적인 환경을 도시하는 블록도이다.
도 2는 본 개시내용의 실시예에 따른, 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 예시적인 전자 디바이스의 블록도이다.
도 3a 및 도 3b는 본 개시내용의 실시예에 따른, 도 2의 전자 디바이스의 구현을 위한 제1 예시적인 시나리오를 집합적으로 도시한다.
도 4a 및 도 4b는 본 개시내용의 실시예에 따른, 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 예시적인 방법을 도시하는 흐름도를 집합적으로 도시한다.
후술하는 구현들은 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 개시된 전자 디바이스 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은 라이브 비디오 피드 또는 미리 기록된 비디오의 이미지 프레임들의 시퀀스에서 개체들의 실시간 또는 거의 실시간 추적을 위한 디바이스로서 동작할 수 있는 전자 디바이스를 제공한다. 개시된 전자 디바이스는 장면 내의 관심 개체를 선택하고 추적하기 위해 사용자 입력이 요구될 때마다 장면 내의 관심 개체에 완전히 주석을 다는 사용자 오버헤드를 감소시키기 위한 솔루션을 제공한다. 개시된 전자 디바이스는 디지털 사진에서의 자동 초점 애플리케이션들, 라이브 또는 기록된 비디오 피드 내의 관심 개체들의 감시, 비디오 편집 애플리케이션들, 비디오들에 대한 특수 효과들의 추가, 및 드론들의 내비게이션과 같은 상이한 애플리케이션들에서 이용될 수 있다.
개시된 전자 디바이스는 랜덤 샘플링 및 컨센서스 프레임워크에서의 강건한 추정을 통해 관심 개체의 지원 영역을 동적으로 찾기 위한 솔루션을 제공한다. 제안된 강건한 추정은 제1 이미지 프레임(또는 제1 이미지 프레임의 경우 사용자 클릭의 위치)에서의 관심 개체의 마지막 알려진 위치에 근접한 것에 더하여 최상의 변환 모델을 강조할 수 있는 강건한 스코어링 모델을 이용할 수 있다.
개시된 전자 디바이스는 또한, 사용자들이 제1 이미지 프레임 내의 직사각형 경계 박스로 관심 개체에 수동으로 완전히 주석을 달 필요성을 제거하는 솔루션을 제공한다. 종래에는, 이러한 수동 주석부기는 관심 개체 주위에 마우스 또는 다른 디바이스들로 직사각형 경계 박스를 그리는 것이 과제였기 때문에 사용자들에게 어려운 문제를 제기하였다. 따라서, 개시된 전자 디바이스에서, 관심 개체의 영역 내부의 임의의 포인트에서의 사용자 클릭은 이미지 프레임들의 시퀀스에서 관심 개체의 추적을 초기화하기에 충분할 수 있다. 원하는 관심 개체의 개체 추적을 위해, 종래의 솔루션들은 추적 동작들의 초기화에서의 지연을 초래하는 복잡한 초기화 프로세스를 갖는다. 개시된 전자 디바이스는 이러한 문제 및 비디오에서 움직이는 관심 개체를 추적하는 것을 요구하는 다양한 시스템들을 추가로 해결한다.
도 1은 본 개시내용의 실시예에 따른, 사용자 지정 초기화 포인트에 기반하여 개체를 추적하는 전자 디바이스에 대한 예시적인 환경을 도시하는 블록도이다. 도 1을 참조하면, 전자 디바이스(102), 서버(104) 및 통신 네트워크(106)를 포함하는 네트워크 환경(100)이 도시되어 있다. 실시예에 따르면, 전자 디바이스(102)는 이미지 캡처 디바이스일 수 있다. 이러한 경우들에서, 전자 디바이스(102)는 이미지 센서(108)의 시야(FoV) 내의 장면의 이미지 프레임들의 시퀀스(110)를 캡처하도록 구성될 수 있는, (이미지 센서(108)와 같은) 하나 이상의 이미지 센서를 포함할 수 있다.
전자 디바이스(102)는 비디오들로부터의 연속적인 이미지들과 같은 이미지 프레임들의 시퀀스(110) 내의 하나 이상의 관심 개체를 추적하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 예로서, 관심 개체(114)는 제1 이미지 프레임(112A) 및 제2 이미지 프레임(112B)에서 각각 추적될 수 있다. 전자 디바이스(102)는 제1 이미지 프레임 내의 사용자 지정 초기화 포인트(예를 들어, 초기화 포인트(116))에 기반하여, 이미지 프레임들의 시퀀스(110)의 연속적인 이미지 프레임들 내의 관심 개체에 대한 개체 추적 동작을 초기화하도록 구성될 수 있다. 사용자 지정 초기화 포인트는 사용자 입력(예를 들어, 마우스 클릭 이벤트 또는 스크린 터치 이벤트)에 대응할 수 있다. 전자 디바이스(102)는 이미지 프레임들의 시퀀스(110)의 연속적인 이미지 프레임들에서 하나 이상의 관심 개체의 추적을 관리하도록 추가로 구성될 수 있다. 전자 디바이스(102)의 예들은 (디지털 카메라 및 비디오 카메라와 같은) 이미징 디바이스, 움직임 캡처 시스템, 카메라 폰, 프로젝터, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인용 컴퓨터, 랩톱, 태블릿, 헤드 장착 디스플레이(HMD) 디바이스 및/또는 (증강 현실/가상 현실/혼합 현실(AR/VR/MR) 디바이스와 같은) 웨어러블 디바이스, 서버, 셀룰러/모바일 폰, 스마트 어플라이언스, 비디오 플레이어, 스마트 홈 모니터링 디바이스, 트래픽 카메라, 텔레비전(예컨대, 스마트 TV), 및 다른 컴퓨팅 디바이스들을 포함할 수 있지만, 이들로 제한되지 않는다.
서버(104)는 기록된 또는 라이브 미디어 콘텐츠와 연관된 이미지 프레임들의 시퀀스(110)를 저장하고, 사용자 입력이 수신될 수 있는 사용자 인터페이스(UI)를 디스플레이 스크린 상에 표시하도록 구성될 수 있는 적절한 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 사용자 입력은 디스플레이 스크린 상에 표시된 UI로부터 수신되는, 제1 이미지 프레임 내의 관심 개체와 연관된 초기화 포인트에 대응할 수 있다. 서버(104)는 통신 네트워크(106)를 통해 전자 디바이스(102)와 통신하도록 구성될 수 있다. 서버(104)의 예들은 애플리케이션 서버, 클라우드 서버, 웹 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메인프레임 서버, 또는 이들의 조합을 포함할 수 있지만, 이들로 제한되지 않는다. 실시예에 따르면, 전자 디바이스(102)에 의해 실행되는 동작들의 기능들 및 부분들은 서버(104)에서 구현될 수 있다. 대안적인 실시예에서, 서버(104)에 의해 실행되는 동작들의 기능들 및 부분들은 전자 디바이스(102)에서 구현될 수 있다.
통신 네트워크(106)는 전자 디바이스(102)가 서버(104) 및/또는 간결함을 위해 본 개시내용으로부터 생략될 수 있는 다른 컴퓨팅 구성요소들과 통신할 수 있는 매체를 포함할 수 있다. 통신 네트워크(106)의 예들은 인터넷, 클라우드 네트워크, LTE(Long Term Evolution) 네트워크, WLAN(Wireless Local Area Network), LAN(Local Area Network), POTS(telephone line), 및/또는 MAN(Metropolitan Area Network)를 포함할 수 있지만 이들로 제한되지 않는다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜들에 따라 통신 네트워크(106)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜들의 예들은 전송 제어 프로토콜 및 인터넷 프로토콜(TCP/IP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 전송 프로토콜(HTTP), 파일 전송 프로토콜(FTP), 지그비(ZigBee), EDGE, IEEE 802.11, 광 충실도(light fidelity)(Li-Fi), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-홉 통신, 무선 액세스 포인트(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜들, 또는 블루투스(BT) 통신 프로토콜들, 또는 이들의 조합 중의 적어도 하나를 포함할 수도 있지만, 이들로 제한되지는 않는다.
이미지 센서(108)는 이미지 센서(108)의 시야(FoV) 내의 장면의 이미지 프레임 또는 이미지 프레임들의 시퀀스(110)(예를 들어, 비디오로부터의 이미지 프레임들의 시퀀스)를 캡처하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 이미지 센서(108)는 캡처된 이미지 프레임들의 시퀀스(110)를 전자 디바이스(102)에 대한 입력으로서 통신하도록 구성될 수 있다. 이미지 센서(108)는 CMOS(complementary-metal-oxide semiconductor) 센서와 같은 능동 픽셀 센서로서 구현될 수 있다. 일부 실시예들에서, 능동 픽셀 센서 대신에, 이미지 센서(108)는 수동 픽셀 센서, 예를 들어, CCD(charged coupled device) 센서, 오버샘플링된 이진 이미지 센서, PFCA(planar Fourier capture array), BSI 또는 BI(back-illuminated) 센서 등 중 하나로서 구현될 수 있다.
도시되지는 않았지만, 이미지 센서(108)는 또한 이미지 센서(108)로부터의 이미지 데이터에 따라 동작하도록 구성될 수 있는 특수 마이크로프로세서(또는 마이크로제어기), 프레임 버퍼에 저장된 이미지들을 처리하기 위한 그래픽 처리 유닛(GPU), 깊이 센서, 및/또는 이미지 센서(108)와 통합된 메모리를 포함할 수 있다.
동작 시에, 전자 디바이스(102)는 메모리 내의 로컬 저장소, 이미지 센서(108)의 저장소, 및 서버(104)와 같은 하나 이상의 소스로부터 장면(또는 복수의 장면)의 이미지 프레임들의 시퀀스(110)를 검색하도록 구성될 수 있다. 이미지 프레임들의 시퀀스(110)는 실제 환경과 연관된 장면(또는 복수의 장면)에 대응할 수 있다. 대안적으로, 이미지 프레임들의 시퀀스(110)는 애니메이션 환경, 증강 현실 환경, 또는 혼합 현실 환경과 같은 가상 현실 환경으로부터 취해질 수 있다.
실시예에 따르면, 이미지 센서(108)는 이미지 센서(108)의 FoV로부터 이미지 프레임들의 시퀀스(110)를 캡처하도록 구성될 수 있다. 이러한 경우들에서, 이미지 프레임들의 시퀀스(110)는 폐쇄 회로 텔레비전(CCTV) 영상과 같은 라이브 비디오 피드에 대응할 수 있다. 라이브 비디오 피드(즉, 이미지 프레임들의 시퀀스(110)를 포함함)는 이미지 센서(108)의 FoV에서 움직이고 있을 수 있는 복수의 개체(예를 들어, 사람들, 동물들, 차량들 등)를 포함할 수 있다. 예로서, 이미지 프레임들의 시퀀스(110)는 제1 이미지 프레임(112A) 및 제2 이미지 프레임(112B)을 포함할 수 있다.
특정 실시예들에서, 전자 디바이스(102)는 스마트 텔레비전, 스마트폰, 발광 다이오드(LED 스크린), 또는 액정 디스플레이(LCD) 스크린과 같은 디스플레이 디바이스 상에 캡처된 이미지 프레임들의 시퀀스(110)의 라이브 미리보기를 표시하도록 구성될 수 있다. 디스플레이 디바이스는 제스처 센서, 디스플레이 디바이스의 디스플레이 스크린을 위한 터치 패널, 또는 음성 입력을 위한 스마트 스피커와 같은, 입력/출력(I/O) 인터페이스로서 동작할 수 있는 추가적인 구성요소들을 더 포함할 수 있다. 디스플레이 디바이스는 전자 디바이스(102)와 통합될 수 있거나, 전자 디바이스(102) 주변에 결합될 수 있다.
전자 디바이스(102)는 사용자로부터 제1 입력을 수신하도록 구성될 수 있다. 제1 입력은 표시된 라이브 미리보기의 하나 이상의 이미지 프레임에 있을 수 있는, 관심 개체와 연관된 정보를 포함할 수 있다. 제1 입력은 이미지 프레임들의 시퀀스(110)에서 관심 개체(예를 들어, 관심 개체(114))의 위치, 점유 영역 또는 이동을 추적하는 사용자 관심을 나타낼 수 있다. 제1 입력은 전자 디바이스(102)에 내장되거나 주변에 결합될 수 있는 입력 디바이스를 통해 수신될 수 있다. 일부 시나리오들에서, 입력 디바이스는 광학 마우스일 수 있고, 제1 입력은 이미지 프레임들의 시퀀스(110)의 제1 이미지 프레임 상의 특정 포인트로의 클릭 입력일 수 있다. 특정 포인트는 이미지 프레임들의 시퀀스(110) 내의 관심 개체에 대응할 수 있는 사용자 지정 초기화 포인트(예를 들어, 초기화 포인트(116))일 수 있다. 다른 시나리오들에서, 입력 디바이스는 사용자로부터의 제스처 입력을 제1 이미지 프레임 상의 특정 포인트로 병진시킬 수 있는 제스처 센서 또는 디스플레이 디바이스 상의 터치스크린일 수 있다. 이러한 시나리오에서, 터치 스크린은 터치스크린의 특정 부분으로부터 터치 입력을 제1 입력으로서 수신하도록 구성될 수 있다. 터치스크린의 특정 부분은 제1 이미지 프레임 내의 관심 개체에 대응할 수 있고, 예를 들어, 제1 이미지 프레임(112A) 내의 관심 개체(114)는 디스플레이 디바이스 상에 표시되는 제1 이미지 프레임(112A)의 부분에 대응할 수 있다.
전자 디바이스(102)는 제1 입력에 기반하여 제1 이미지 프레임에서 초기화 포인트를 선택하도록 구성될 수 있다. 초기화 포인트는 사용자 지정 초기화 포인트일 수 있다. 전자 디바이스(102)는 선택된 초기화 포인트를 이미지 프레임들의 시퀀스(110)에서 관심 개체(예컨대, 도로를 걷고 있는 것으로 도시된 사람)를 추적하기 위한 기준 포인트로서 식별하도록 구성될 수 있다. 초기화 포인트(예를 들어, 초기화 포인트(116))는 (제1 이미지 프레임(112A)과 같은) 제1 이미지 프레임의 제1 영역에 위치할 수 있으며, 제1 영역은 제1 이미지 프레임 내의 관심 개체를 나타낼 수 있다. 대안적으로, 전자 디바이스(102)는 이미지 프레임들의 시퀀스(110)의 재생 시간(예를 들어, 라이브 미리보기)에 사용자 지정 초기화 포인트를 수신하도록 구성될 수 있다. 사용자 지정 초기화 포인트는 제1 이미지 프레임에서의 관심 개체의 위치에 대응할 수 있다.
전자 디바이스(102)는 제1 이미지 프레임으로부터 특징 포인트들의 제1 세트(예를 들어, 특징 포인트들의 제1 세트(118))를 추출하고 제2 이미지 프레임으로부터 특징 포인트들의 제2 세트(예를 들어, 특징 포인트들의 제2 세트(120))를 추출하도록 구성될 수 있다. 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트는 제1 입력의 수신에 응답하여 추출될 수 있다. 예시적인 실시예에서, 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트는 각각 BRISK(Binary Robust Invariant Scalable Key-points) 기술에 기반하여 제1 이미지 프레임 및 제2 이미지 프레임으로부터 추출된 BRISK일 수 있다. 일부 실시예들에서, 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트는 특징 추출 기술에 기반하여 추출될 수 있다. 상이한 특징 추출 기술들의 예들은 해리스 코너스(Harris corners), SIFT(Scale Invariant Feature Transform), ORB(Oriented Fast and Rotated-Brief), 및 SURF(Speeded-Up Robust Features)를 포함할 수 있지만, 이들로 제한되지 않는다. 특징 추출 기술의 상세들이 관련 기술분야의 통상의 기술자에게 공지될 수 있고, 따라서, 간략함을 위해 그 설명이 본 개시내용으로부터 생략되었다.
특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트는 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트가 선택된 초기화 포인트로부터 각각 제1 임계 거리 및 제2 임계 거리 내에 존재하도록 추출될 수 있다. 제1 이미지 프레임에 대한 제1 임계 거리는 제2 이미지 프레임에 대한 제2 임계 거리와 상이할 수 있다. 예로서, 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트는 각각 세트(P1) 및 세트(P2)로서 표현될 수 있다. 세트(P1) 및 세트(P2)는 다음과 같은 관계식들 (1) 및 (2)에 의해 주어질 수 있다:
Figure pct00001
Figure pct00002
여기서,
Figure pct00003
는 이미지 프레임들의 시퀀스(110)의 m번째 프레임 내의 n번째 특징 포인트를 나타내고, 예를 들어 m=0은 제1 이미지 프레임을 나타내고, m=1은 제2 이미지 프레임을 나타내고;
Figure pct00004
는 x0 또는 x1과 s의 차이로부터 기인하는 벡터의 놈(norm)을 나타내고;
s는 제1 이미지 프레임에서의 초기화 포인트(116)의 위치이고;
d1은 제1 임계 거리, 예를 들어 제1 이미지 프레임의 폭의 "20 퍼센트"이고;
d2는 d1의 크기의 2배(또는 개체의 속도에 따라 그 이상)인 제2 임계 거리(예를 들어, 제1 이미지 프레임의 폭의 "40 퍼센트")이다.
사용자 지정 초기화 포인트는 관심 개체 상의 포인트만을 표시할 수 있으므로, 연속적인 이미지 프레임들에서 관심 개체의 범위에 대한 지식 없이 연속적인 이미지 프레임들에서 전체 관심 개체를 추적하는 것은 불충분할 수 있다. 또한, 많은 경우들에서, 특징 포인트들의 제1 세트 또는 특징 포인트들의 제2 세트 내의 모든 특징 포인트들이 제1 이미지 프레임 및 제2 이미지 프레임 내의 관심 개체에 각각 속하는 것은 아닐 수 있다. 그러나, 제1 이미지 프레임 내의 특징 포인트들 중 일부는 제2 이미지 프레임 내의 대응하는 특징 포인트들에 매핑될 수 있다. 예로서, 특징 포인트들의 제1 세트(118) 및 특징 포인트들의 제2 세트(120)로부터의 특징 포인트들 중 일부의 매핑은 점선들로 표시된다.
제1 이미지 프레임의 특징 포인트들은 BRISK 또는 SURF와 같은 상이한 특징 비교 기술들을 이용함으로써 특징 포인트들의 제1 세트와 특징 포인트들의 제2 세트의 비교에 기반하여 제2 이미지 프레임의 특징 포인트들에 매핑될 수 있다. 예로서, 제1 이미지 프레임 내의 특징 포인트들은 제1 이미지 프레임으로부터 제2 이미지 프레임 내에 다시 나타나는 제2 이미지 프레임 내의 특징 포인트들에만 매핑될 수 있다. 이러한 특징 포인트들에 대한 매핑의 존재는 이미지 프레임들의 시퀀스(110)의 연속적인 이미지 프레임들에서 관심 개체의 움직임, 변형, 회전 또는 스케일과 같은 상이한 효과들에 대한 특징 포인트들의 강건성 및 불변성을 나타낼 수 있다.
전자 디바이스(102)는 특징 포인트들의 제1 세트의 하나 이상의 특징 포인트와 특징 포인트들의 제2 세트의 하나 이상의 특징 포인트 간의 특징 대응들의 세트를 추정하도록 구성될 수 있다. 특징 대응들의 세트는 특징 포인트들의 제1 세트와 특징 포인트들의 제2 세트의 하나 이상의 특징 포인트 간의 공간 관계, 위치 기반 관계, 패턴 기반 관계, 형상 기반 관계 또는 특징 기반 관계와 같은 관계를 나타낼 수 있다. 특징 대응들의 세트는 SIFT 기반 특징 포인트 추출 또는 SURF 기반 특징 포인트 추출과 같은 하나 이상의 컴퓨터 비전 기술에 기반하여 추정될 수 있다. 예로서, 특징 대응들의 세트((L1)로 표현됨)는 다음과 같이 수학식 3에서 주어지는, 특징 포인트들의 제1 세트(P1) 및 특징 포인트들의 제2 세트(P2)로부터의 특징 포인트들의 정렬된 쌍들의 세트일 수 있다:
Figure pct00005
예를 들어, 제1 이미지 프레임(112A)의 제1 특징 포인트(118A)는 제2 이미지 프레임(112B)의 제1 특징 포인트(120A)에 대한 대응을 가질 수 있다. 유사하게, 제1 이미지 프레임(112A)의 제2 특징 포인트(118B)는 제2 이미지 프레임(112B)의 제2 특징 포인트(120B)에 대한 대응을 가질 수 있다.
이미지 프레임들의 시퀀스(110)의 제2 이미지 프레임 또는 연속적인 이미지 프레임들에서 관심 개체의 위치를 식별하기 위해, 전자 디바이스(102)는 RANSAC(random sampling and consensus) 동작을 반복적으로 실행하도록 구성될 수 있다. RANSAC 동작은 (L1과 같은) 특징 대응들의 추정된 세트에 속하는 특징 포인트들의 정렬된 쌍들에 대해 실행될 수 있다. RANSAC 동작에서, 전자 디바이스(102)는 특징 대응들의 상이한 그룹들로부터 확률적으로 특징 대응들의 그룹을 선택하도록 추가로 구성될 수 있다. 선택된 특징 대응들의 그룹은 (L1과 같은) 추정된 특징 대응들의 세트로부터의 (잡음이 있을 수 있는) 데이터 포인트들의 랜덤 샘플에 대응할 수 있다. 특징 대응들의 그룹의 선택은 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트로부터의 특징 포인트들의 그룹의 선택에 대응할 수 있다. 특징 대응들의 상이한 그룹들로부터의 각각의 선택된 특징 대응들의 그룹은 추정된 특징 대응들의 세트로부터 확률적으로 선택된 2개 이상의 특징 대응들을 포함할 수 있다.
RANSAC 동작에서의 각각의 반복에서, 제1 이미지 프레임 및 제2 이미지 프레임에 각각 속하는 특징 포인트들의 그룹 사이에 유사성 변환이 적용될 수 있다. 특징 포인트들의 그룹은 확률적으로 선택된 특징 대응들의 그룹에 대응할 수 있다. 전자 디바이스(102)는 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들을 생성하도록 구성될 수 있다. 상이한 제1 움직임 추정 모델들은 특징 포인트들의 상이한 그룹들에 대한 유사성 변환 동작의 적용에 기반하여 생성될 수 있다. 예로서, 상이한 제1 움직임 추정 모델들은 선형 회귀, 다변량 회귀, 또는 지수 회귀와 같은 상이한 모델링 및 예측 기술들을 이용하고, 그 후 특징 포인트들의 상이한 그룹들에 대해 유사성 변환을 맞춤으로써 생성될 수 있다. 특정 시나리오들에서, 상이한 제1 움직임 추정 모델들은 특징 대응들의 상이한 그룹들의 특징 대응들의 각각의 그룹에 대해 생성된 상이한 제1 유사성 행렬들에 의해 표현될 수 있다.
RANSAC 동작에서, 전자 디바이스(102)는, 특징 대응들의 상이한 그룹들로부터, 제1 이미지 프레임 및 제2 이미지 프레임 내의 관심 개체에 대응하는 복수의 인라이어 특징 대응들을 추정하도록 추가로 구성될 수 있다. 복수의 인라이어 특징 대응들은 상이한 제1 움직임 추정 모델들에 기반하여 추정될 수 있다. 추정된 복수의 인라이어 특징 대응들은 제1 이미지 프레임 및 제2 이미지 프레임에서의 관심 개체의 위치의 변화를 나타낼 수 있는 특징 포인트들의 세트를 포함할 수 있다. 복수의 인라이어 특징 대응들의 추정의 상세들이, 예를 들어, 도 2, 도 3a, 및 도 3b에서 상세히 설명되었다.
전자 디바이스(102)는 추정된 복수의 인라이어 특징 대응들에 기반하여, 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델일 수 있는 제2 움직임 추정 모델을 생성하도록 추가로 구성될 수 있다. 제2 움직임 추정 모델은 선형 회귀, 다변량 회귀, 또는 지수 회귀와 같은 상이한 모델링 및 예측 기술들을 이용하고, 이에 의해 추정된 복수의 인라이어 특징 대응들에 대응하는 특징 포인트들의 세트에 대해 유사성 변환을 맞춤으로써 생성될 수 있다. 최적화된 움직임 추정 모델(즉, 제2 움직임 추정 모델)은 연속적인 이미지 프레임(들)에서 모든 인라이어 포인트들의 움직임의 정확한 설명이 예측될 수 있는 것에 기반한 모델에 대응할 수 있다. 전자 디바이스(102)는 제2 움직임 추정 모델에 기반하여, 프레임들의 시퀀스에서 관심 개체를 추적하도록 추가로 구성될 수 있다. 더 구체적으로, 제1 이미지 프레임에서의 상이한 인라이어 특징 포인트들의 위치를 이용하여, 제2 이미지 프레임에서의 인라이어 특징 포인트들의 위치는 제1 이미지 프레임에서의 인라이어 특징 포인트들의 위치에 제2 움직임 추정 모델을 적용함으로써 식별될 수 있다. 전자 디바이스(102)의 동작은 예를 들어 도 2, 도 3a 및 도 3b에서 더 상세히 설명되었다.
도 2는 본 개시내용의 실시예에 따른, 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 예시적인 전자 디바이스의 블록도이다. 도 2는 도 1의 요소들과 관련하여 설명된다. 도 2를 참조하면, 제어 회로(202)를 포함하는 전자 디바이스(102)의 블록도(200)가 도시되어 있다. 전자 디바이스(102)는 메모리(204), 입력/출력(I/O) 디바이스(206) 및 네트워크 인터페이스(208)를 추가로 포함한다.
제어 회로(202)는 메모리(204)에 저장된 명령어들의 세트를 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 제어 회로(202)는 이미지 프레임들의 시퀀스, 예를 들어 비디오들의 연속적인 이미지 프레임들에서 하나 이상의 관심 개체를 추적하도록 구성될 수 있다. 제어 회로(202)는 제1 이미지 프레임 내의 사용자 지정 초기화 포인트에 기반하여, 이미지 프레임들의 시퀀스의 연속적인 이미지 프레임들에서 관심 개체에 대한 개체 추적 동작을 초기화하도록 구성될 수 있는 추적기 회로일 수 있다. 사용자 지정 초기화 포인트는 사용자 입력(예를 들어, 마우스 클릭 이벤트 또는 스크린 터치 이벤트)에 대응할 수 있다. 제어 회로(202)는 이미지 프레임들의 시퀀스의 연속적인 이미지 프레임들에서 하나 이상의 관심 개체의 추적을 관리하도록 추가로 구성될 수 있다. 제어 회로(202)의 구현들의 예들은, x86 기반 프로세서, GPU(Graphics Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application-Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 코프로세서, 마이크로제어기, 중앙 처리 유닛(CPU), 및/또는 다른 제어 회로들일 수 있다.
메모리(204)는 제어 회로(202)에 의해 실행가능한 명령어들의 세트를 저장하도록 구성될 수 있는 적절한 로직, 회로 및/또는 인터페이스들을 포함할 수 있다. 메모리(204)는 이미지 센서(108)에 의해 캡처된 이미지 프레임들의 시퀀스를 저장하도록 추가로 구성될 수 있다. 메모리(204)의 구현의 예들은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크 드라이브(HDD), 및/또는 보안 디지털(SD) 카드를 포함할 수 있지만, 이들로 제한되지 않는다.
I/O 디바이스(206)는 사용자로부터 복수의 입력들을 수신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. I/O 디바이스(206)는 전자 디바이스(102) 및 서버(104)와 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스들을 포함할 수 있다. 입력 디바이스의 예들은 터치 스크린, 키보드, 마우스, 조이스틱, 마이크로폰 및/또는 이미지 센서(108)(도 1)를 포함할 수 있지만, 이에 제한되지 않는다. 출력 디바이스의 예들은 (액정 디스플레이(LCD) 또는 발광 다이오드(LED) 디스플레이와 같은) 디스플레이 스크린 및/또는 스피커를 포함할 수 있지만, 이에 제한되지 않는다.
네트워크 인터페이스(208)는 통신 네트워크(106)를 통해 전자 디바이스(102)와 서버(104) 사이의 통신을 가능하게 하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스들, 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(208)는 통신 네트워크(106)와의 유선 또는 무선 통신을 지원하기 위해 공지된 기술들을 구현할 수 있다. 네트워크 인터페이스(208)는, 안테나, 주파수 변조(FM) 트랜시버, 무선 주파수(RF) 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
네트워크 인터페이스(208)는 인터넷, 인트라넷 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들과의 무선 통신을 통해 통신할 수 있다. 무선 통신은 LTE(Long Term Evolution), GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일, 인스턴트 메시징, 및/또는 SMS(Short Message Service)를 위한 프로토콜과 같은 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용할 수 있다.
동작 시에, 제어 회로(202)는 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트에 대해 RANSAC 동작(즉, 반복적인 랜덤 샘플링)을 실행하도록 구성될 수 있다. RANSAC 동작에서, 제어 회로(202)는 특징 대응들의 상이한 그룹들로부터 확률적으로 특징 대응들의 그룹을 선택하도록 구성될 수 있다. 선택된 특징 대응들의 그룹은 (L1과 같은) 추정된 특징 대응들의 세트로부터의 (잡음이 있을 수 있는) 데이터 포인트들의 랜덤 샘플에 대응할 수 있다. 달리 말하면, 제어 회로(202)는 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트로부터 특징 포인트들의 그룹을 선택하도록 추가로 구성될 수 있다. 특징 대응들의 그룹의 선택은 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트로부터의 특징 포인트들의 그룹의 선택에 대응할 수 있다. 특징 대응들의 상이한 그룹들로부터의 특징 대응들의 각각의 그룹은 추정된 특징 대응들의 세트로부터 확률적으로 선택된 둘 이상의 특징 대응들을 포함할 수 있다. 예를 들어, 수학식 3을 참조하면, 특징 대응들의 상이한 그룹들(G)은 다음과 같은 수학식 4에 의해 주어질 수 있다:
Figure pct00006
여기서, Gi는 1에서 N까지 변하는 i에 대한 특징 대응들의 상이한 그룹들(G)로부터의 특징 대응들의 i번째 그룹을 나타내고;
(xj, xk) 및 (xp, xq)는 제1 이미지 프레임 및 제2 이미지 프레임으로부터의 특징 포인트들의 그룹(xj, xk, xp 및 xq)을 포함하는 2개의 특징 대응을 나타낸다.
일부 실시예들에서, 관심 개체의 움직임 파라미터에 기반하여 특징 대응들의 각각의 그룹에 대해 다수의 특징 대응들이 선택될 수 있다. 관심 개체의 움직임 파라미터의 예들은 병진 파라미터, 회전 파라미터, 전단 파라미터, 휨 파라미터, 변형 파라미터, 또는 관심 개체와 연관된 자유도들을 포함할 수 있지만, 이에 제한되지 않는다.
RANSAC 동작에 있어서, 각각의 반복에서, 제1 이미지 프레임 및 제2 이미지 프레임에 각각 속하는 특징 포인트들의 그룹 사이에 유사성 변환이 적용될 수 있다. 제어 회로(202)는 특징 대응들의 상이한 그룹들(즉, 특징 대응들의 확률적으로 선택된 상이한 그룹들)에 대한 상이한 제1 움직임 추정 모델들을 생성하도록 구성될 수 있다. 더 구체적으로, 특징 포인트들의 상이한 그룹들에 대한 유사성 변환 동작의 적용에 기반하여 상이한 제1 움직임 추정 모델들이 생성될 수 있다. 특징 포인트들의 상이한 그룹들 각각은 특징 대응들의 상이한 그룹들 중 하나 이상에 대응할 수 있다. 생성된 상이한 제1 움직임 추정 모델들은 특징 포인트들의 제1 세트의 위치들에 대한 특징 포인트들의 제2 세트의 위치들에서의 시프트를 나타낼 수 있다.
상이한 제1 움직임 추정 모델들은 특징 포인트들의 제1 세트와 특징 포인트들의 제2 세트 사이의 유사성 척도로서 동작할 수 있다. 제1 이미지 프레임 내의 특정 특징 포인트의 유사성 척도는 제1 이미지 프레임 내의 특정 특징 포인트의 위치, 형상 또는 크기와 같은 상이한 속성들이 제2 이미지 프레임 내의 대응하는 특징 포인트와 상이한 정도를 나타낼 수 있다.
실시예에 따르면, 상이한 제1 움직임 추정 모델들은 특징 대응들의 상이한 그룹들의 각각의 확률적으로 선택된 특징 대응들의 그룹에 대해 제어 회로(202)에 의해 생성된 상이한 유사성 행렬들일 수 있다. 따라서, 상이한 유사성 행렬들로부터의 제1 유사성 행렬은 상이한 움직임 추정 모델들의 제1 움직임 추정 모델에 대응할 수 있다. 또한, 제1 유사성 행렬(H에 의해 표현됨)은 확률적으로 선택된 특징 대응들의 그룹에 대응하는 특징 포인트들의 그룹에 대한 유사성 척도를 나타낼 수 있다.
제어 회로(202)는 대응하는 제1 움직임 추정 모델(H) 및 대응하는 특징 대응들의 그룹에 대한 스코어링 모델의 적용에 기반하여 상이한 제1 움직임 추정 모델들 각각에 대한 스코어를 계산하도록 추가로 구성될 수 있다. 달리 말하면, 스코어는 특징 포인트들의 그룹에 대해 생성된 각각의 제1 유사성 행렬에 대해 계산될 수 있다. 예로서, 상이한 제1 움직임 추정 모델들 각각에 대한 스코어는 다음과 같은 수학식 5에 의해 주어질 수 있는, 스코어링 모델(S(H, L1)에 의해 표현됨)을 이용하여 계산될 수 있다:
Figure pct00007
여기서,
H는 제1 움직임 추정 모델, 즉 생성된 제1 유사성 행렬을 나타내고;
L1은 특징 대응들의 세트이고;
Figure pct00008
는 제1 이미지 프레임(t-1번째 프레임)으로부터의 특징 포인트들의 그룹 내의 i번째 특징 포인트를 나타내고;
Figure pct00009
는 제2 이미지 프레임(t번째 프레임)으로부터의 특징 포인트들의 그룹 내의 i번째 특징 포인트를 나타내고;
Figure pct00010
는 2개의 특징 포인트 사이의 거리의 측정에서 오차의 강조를 나타내는 제1 파라미터이고;
Figure pct00011
는 스코어링 모델의 지수 성분이 얼마나 빠르게 감쇠하는지를 제어하는 제2 파라미터이다.
계산된 스코어는 대응하는 제1 움직임 추정 모델에 대한 특징 포인트들의 그룹이 사용자 지정 초기화 포인트에 근접하여 나타나야 하고 관심 개체의 움직임의 묘사에 있어서 더 낮은 오차가 있어야 한다는 것을 강조할 수 있다. 따라서, 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 계산된 스코어는 특징 포인트들을 사용자 지정 초기화 포인트 근처에 놓이도록 강조하는 (수학식 4에서 제공된 바와 같은) 지수 성분에 의존할 수 있다. 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 계산된 스코어는 선택된 특징 포인트들의 그룹에 대한 선형 회귀의 적용에 기반하여 획득되는 선택된 특징 포인트들의 그룹의 잔차들에 추가로 의존할 수 있다.
제어 회로(202)는 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델(즉, 유사성 행렬)에 대한 위치 추정 오차를 계산하도록 추가로 구성될 수 있다. 각각의 제1 움직임 추정 모델(즉, 유사성 행렬)에 대한 위치 추정 오차는 특징 포인트들의 제1 세트 내의 특징 포인트의 실제 위치가 특징 포인트들의 제2 세트 내의 동일한 특징 포인트의 추정 위치로부터 벗어나는 픽셀들의 수의 편차에 대응할 수 있다. 예로서, 각각의 유사성 행렬(H)에 대해, 즉 각각의 제1 움직임 추정 모델에 대해, 위치 추정 오차
Figure pct00012
는 다음과 같은 수학식 6에 의해 추정될 수 있다:
Figure pct00013
여기서,
Figure pct00014
는
Figure pct00015
및
Figure pct00016
의 놈을 나타내고;
Figure pct00017
는 (t-1로 표현되는) 제1 이미지 프레임의 특징 포인트들의 제1 세트 내의 특징 포인트를 나타내고;
Figure pct00018
는 (t로 표현되는) 제2 이미지 프레임의 특징 포인트들의 제2 세트 내의 특징 포인트를 나타내고;
H는 유사성 행렬을 나타낸다.
각각의 제1 움직임 추정 모델(즉, 각각의 유사성 행렬(H))에 대해, 제어 회로(202)는 (수학식 5로부터의) 위치 추정 오차
Figure pct00019
와 픽셀 기반 임계치(T)의 비교에 기반하여 인라이어 특징 대응들의 세트(E(H))를 추정하도록 추가로 구성될 수 있다. 따라서, 각각의 제1 움직임 추정 모델에 대해, 인라이어 특징 대응들의 세트(E(H))는 다음과 같은 수학식 7에 의해 추정될 수 있다:
Figure pct00020
여기서,
T는 픽셀들의 수의 면에서 픽셀 기반 임계치를 나타내고;
Figure pct00021
는 위치 추정 오차를 나타낸다. 예로서, 수학식 6 및 수학식 7에 기반하여, 제어 회로(202)는 위치 추정 오차
Figure pct00022
가 "4"개의 픽셀의 픽셀 기반 임계치 미만인 인라이어 특징 대응들의 세트를 추정하도록 구성될 수 있다.
제어 회로(202)는 특징 대응들의 상이한 그룹들로부터, 제1 이미지 프레임 및 제2 이미지 프레임에서 관심 개체에 대응하는 복수의 인라이어 특징 대응들을 추정하도록 추가로 구성될 수 있다. 제어 회로(202)는 상이한 제1 움직임 추정 모델들 각각에 대한 계산된 스코어의 최대치를 결정하도록 추가로 구성될 수 있다. 추정된 복수의 인라이어 특징 대응들은 계산된 스코어가 최대치인 인라이어 특징 대응들의 세트 내의 특징 대응들일 수 있다. 달리 말하면, (추정된 복수의 인라이어 특징 대응들과 연관된) 인라이어 특징 포인트들의 세트(E)는 최대 계산된 스코어를 갖는 상이한 제1 움직임 추정 모델들로부터의 하나 이상의 제1 움직임 추정 모델과 연관될 수 있다.
추정된 복수의 인라이어 특징 대응들은 인라이어 특징 포인트들의 세트(E)를 포함할 수 있다. 인라이어 특징 포인트들의 세트(E)는 제1 이미지 프레임 및 제2 이미지 프레임에서의 관심 개체의 위치에서의 변화를 나타낼 수 있다. 복수의 인라이어 특징 대응들은 상이한 제1 움직임 추정 모델들에 기반하여 추정될 수 있다. 복수의 인라이어 특징 대응들의 추정은 특징 대응들의 상이한 그룹들에 대응하는 특징 포인트들의 상이한 그룹들에 대한 선형 회귀의 적용에 의한 상이한 제1 움직임 추정 모델들의 맞춤에 대응할 수 있다.
제어 회로(202)는 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델일 수 있는 제2 움직임 추정 모델(Ht)을 생성하도록 구성될 수 있다. 제2 움직임 추정 모델은 추정된 복수의 인라이어 특징 대응들에 기반하여 생성될 수 있다. 제2 움직임 추정 모델의 생성은 추정된 복수의 인라이어 특징 대응들에 대응하는 인라이어 특징 포인트들의 세트(E)에 기반한 최적의 유사성 행렬의 생성에 대응할 수 있다. (제2 움직임 추정 모델에 대응하는) 최적의 유사성 행렬은 모든 인라이어 포인트들의 움직임의 정확한 설명이 연속적인 이미지 프레임(들)에서 예측될 수 있는 것에 기반한 유사성 행렬에 대응할 수 있다. 실시예에 따르면, 제2 움직임 추정 모델(Ht)은 추정된 복수의 인라이어 특징 대응들 내의 인라이어 특징 포인트들의 세트(E)에 대해, 선형 회귀 모델과 같은, 회귀 모델의 적용에 의해 생성될 수 있다. 회귀 모델은 제2 움직임 추정 모델(Ht)에 대한 최소 제곱(LS) 또는 정규화된 LS의 추정을 포함할 수 있다. 제2 움직임 추정 모델(Ht) 또는 재계산된 유사성 행렬은 이미지 프레임들의 시퀀스에서 최적으로 관심 개체의 움직임을 나타낼 수 있다.
예로서, 인라이어 특징 포인트들의 세트(E)에 대해, 제2 움직임 추정 모델(Ht) 또는 최적의 유사성 행렬은 제1 이미지 프레임 및 제2 이미지 프레임 내의 특징 포인트들의 세트(E)의 L2 놈 또는 유클리드 놈과 같은 놈의 최소 합에 기반하여 추정될 수 있다. 제2 움직임 추정 모델(Ht)은 다음과 같은 수학식 8에 의해 추정될 수 있다:
Figure pct00023
여기서,
Figure pct00024
는 특징 포인트들의 제2 세트의 인라이어 특징 포인트를 나타내고;
Figure pct00025
는 특징 포인트들의 제1 세트의 인라이어 특징 포인트를 나타내고;
Figure pct00026
는 놈
Figure pct00027
의 합이 최소값에 도달하는 인수를 나타낸다.
실시예에 따르면, 일단 제2 움직임 추정 모델(Ht)이 추정되면, 제어 회로(202)는 제2 이미지 프레임에 속하는 특징 포인트들의 제2 세트 내의 인라이어 특징 포인트들의 위치들을 업데이트하도록 추가로 구성될 수 있다. 인라이어 특징 포인트들의 위치들은 추정된 제2 움직임 추정 모델(Ht)에 기반하여 업데이트될 수 있다. 제2 이미지 프레임의 인라이어 특징 포인트들의 업데이트된 위치들은 다음과 같은 수학식 9에 의해 주어질 수 있다:
Figure pct00028
여기서,
St-1은 인라이어 특징 포인트들의 세트(E) 내의 인라이어 특징 포인트의 업데이트된 위치이고;
St는 인라이어 특징 포인트들의 세트(E) 내의 인라이어 특징 포인트의 실제 위치이다.
제어 회로(202)는 제2 움직임 추정 모델(Ht)에 기반하여 이미지 프레임들의 시퀀스에서 관심 개체를 추적하도록 추가로 구성될 수 있다. 일부 실시예들에서, 관심 개체의 경로는 연속적인 프레임들의 모든 쌍 내의 인라이어 특징 포인트들의 위치들의 업데이트에 기반하여 연속적인 프레임들에서 추적될 수 있다. 실시예에 따르면, 제어 회로(202)는 이미지 프레임들의 시퀀스의 연속적인 이미지 프레임들에서 추적된 관심 개체에 개체 정보를 오버레이하도록 추가로 구성될 수 있다. 예로서, 오버레이된 개체 정보는 이미지 프레임들의 시퀀스에서 관심 개체에 의해 점유된 영역을 둘러싸는 경계 박스 및 개체 라벨을 포함할 수 있다.
종래의 개체 추적 솔루션들은 사용자가 컴퓨터 마우스와 같은 포인팅 디바이스를 이용하여 관심 개체 주위에 경계 박스를 그리도록 요구할 수 있다. 종래의 솔루션들과는 대조적으로, 제어 회로(202)는 사용자로부터 사용자 입력으로서 수신된 단일 초기화 포인트에만 기반하여 추적을 위한 관심 개체를 선택하도록 구성될 수 있다.
다른 종래의 솔루션들에서, 관심 개체를 추적하기 위해, 종래의 개체 추적 장치는 이미지 프레임들의 시퀀스의 이미지 프레임으로부터 이미지 영역(관심 개체에 대응함)을 세그먼트화할 수 있다. 종래의 개체 추적 장치는 돌출성 기반 개체 세그먼트화 또는 패턴 기반 개체 세그먼트화와 같은 다양한 개체 세그먼트화 기술들을 이용하여 이미지 영역을 세그먼트화할 수 있다. 이러한 개체 세그먼트화 기술들의 적용에 의한 관심 개체의 세그먼트화는 계산 자원 집약적일 수 있고, 라이브 비디오에서 관심 개체를 추적하는데 적합하지 않을 수 있다. 반대로, 제어 회로(202)는 이미지 프레임들의 시퀀스의 연속적인 이미지 프레임들에서 인라이어 및 아웃라이어 특징 포인트들의 식별에 기반하여 관심 개체를 추적하도록 구성될 수 있다.
도 3a 및 도 3b는, 집합적으로, 본 개시내용의 실시예에 따른, 도 2의 전자 디바이스의 구현을 위한 제1 예시적인 시나리오를 나타낸다. 도 3a 및 도 3b는 도 1 및 도 2의 요소들과 함께 집합적으로 설명된다. 제어 회로(202)는 이미지 센서(108)의 이용에 의해 이미지 프레임의 시퀀스를 캡처하고, 캡처된 이미지 프레임들의 시퀀스를 I/O 디바이스(206)의 사용자에의 디스플레이 디바이스 상에 추가로 표시하도록 구성될 수 있다.
302A에서, 제1 입력이 디스플레이 디바이스 상에 표시된 제1 이미지 프레임(304A) 상에서 수신될 수 있다. 제1 입력은 I/O 디바이스(206)를 통해 사용자로부터 제어 회로(202)에 의해 수신될 수 있다. 제1 입력은 초기화 포인트(306)에 대응할 수 있다. 제어 회로(202)는 이미지 프레임들의 시퀀스에서 관심 개체(308)에 대한 추적 동작들의 초기화를 위한 기준 포인트로서 초기화 포인트(306)를 선택하도록 구성될 수 있다. 초기화 포인트(306)는 제1 이미지 프레임(304A) 내의 관심 개체(308)와 연관된 영역 상의 인라이어 포인트일 수 있다.
302B에서, 특징 포인트들의 제1 세트(310) 및 특징 포인트들의 제2 세트(312)가 각각 제1 이미지 프레임(304A) 및 제2 이미지 프레임(304B)으로부터 추출될 수 있다. 제어 회로(202)는 초기화 포인트(306)로부터의 제1 이미지 프레임(304A) 내의 특징 포인트들의 제1 세트(310)의 거리가 제1 임계 거리 이하가 되도록 특징 포인트들의 제1 세트(310)를 추출하도록 구성될 수 있다. 유사하게, 제어 회로(202)는 제1 이미지 프레임(304A) 내의 초기화 포인트(306)로부터의 제2 이미지 프레임(304B) 내의 특징 포인트들의 제2 세트(312)의 거리가 제2 임계 거리 이하가 되도록 특징 포인트들의 제2 세트(312)를 추출하도록 구성될 수 있다. 예로서, 제1 임계 거리는 제1 이미지 프레임(304A)의 폭의 "20 퍼센트"일 수 있고, 제2 임계 거리는 제1 이미지 프레임(304A)의 폭의 "40 퍼센트"와 같이, 제1 임계 거리의 크기의 두 배(또는 관심 개체(308)의 속도에 따라 그 이상)일 수 있다. 제1 이미지 프레임(304A)에 대한 제1 임계 거리는 제2 이미지 프레임(304B)에 대한 제2 임계 거리와 상이할 수 있다.
302C에서, (점선들(314)에 의해 표시된 바와 같은) 특징 대응들의 세트가 특징 포인트들의 제1 세트(310)와 특징 포인트들의 제2 세트(312) 사이에서 추정될 수 있다. 제어 회로(202)는 (도 1에서 언급된 바와 같이) BRISK, SIFT, SURF, ORB와 같은 이미지 특징 추출 기술의 적용에 기반하여 특징 대응들의 세트(즉, 대응 데이터 포인트들 또는 특징 포인트들의 정렬된 쌍)를 추정하도록 구성될 수 있다. 제어 회로(202)는 특징 포인트들의 제1 세트(310) 및 특징 포인트들의 제2 세트(312)에 대한 RANSAC 동작에 기반하여 제1 이미지 프레임(304A) 및 제2 이미지 프레임(304B)으로부터 복수의 인라이어 특징 대응들을 추정하도록 구성될 수 있다. RANSAC 동작의 상세들이, 예를 들어, 도 1 및 도 2에서 상세히 설명되어 있다. 제어 회로(202)는 제1 이미지 프레임(304A) 및 제2 이미지 프레임(304B)으로부터 복수의 인라이어 특징 대응들을 식별하도록 구성될 수 있다. 복수의 인라이어 특징 대응들은 제1 이미지 프레임(304A) 및 제2 이미지 프레임(304B)의 인라이어 특징 포인트들의 세트(점선 박스(316) 내부에 도시됨)에 대응할 수 있다. 제어 회로(202)는 인라이어 특징 포인트들의 세트에 맞는 최적의 유사성 행렬을 생성하고, 최적의 유사성 행렬에 기반하여 이미지 프레임들의 시퀀스 내의 관심 개체(308)를 더 추적하도록 추가로 구성될 수 있다. 일부 실시예들에서, 관심 개체(308)의 경로는 연속적인 프레임들의 모든 쌍 내의 인라이어 특징 포인트들의 위치들의 업데이트에 기반하여 연속적인 프레임들에서 추적될 수 있다.
302D에서, 제어 회로(202)는 이미지 프레임들의 시퀀스의 연속적인 이미지 프레임(304C)에서 추적된 관심 개체(308) 상에 개체 정보를 오버레이하도록 구성될 수 있다. 예로서, 오버레이된 개체 정보는 (개체 A와 같은) 개체 라벨 및 이미지 프레임들의 시퀀스에서 관심 개체(308)에 의해 점유된 영역을 둘러싸는 경계 박스(318)를 포함할 수 있다.
도 4a 및 도 4b는, 집합적으로, 본 개시내용의 실시예에 따른, 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 예시적인 방법을 예시하는 흐름도를 도시한다. 도 4a 및 도 4b를 참조하면, 흐름도(400)가 도시되어 있다. 흐름도(400)는 도 1, 도 2, 도 3a 및 도 3b와 관련하여 설명된다. 이 방법은 402에서 시작하고 404로 진행한다.
404에서, 이미지 센서(108)의 시야(FoV) 내의 장면으로부터 이미지 프레임들의 시퀀스가 캡처될 수 있다. 이미지 센서(108)는 도 1에서 논의된 바와 같이 이미지 센서(108)의 시야(FoV) 내의 장면으로부터 이미지 프레임들의 시퀀스를 캡처하도록 구성될 수 있다.
406에서, 이미지 프레임들의 시퀀스가 메모리(204)에 저장될 수 있다. 예로서, 이미지 프레임들의 시퀀스(110)는 제1 이미지 프레임(112A) 및 제2 이미지 프레임(112B)을 포함할 수 있다. 제어 회로(202)는 메모리(204)에 저장될 수 있는 이미지 프레임들의 시퀀스를 저장하도록 구성될 수 있다.
408에서, 이미지 프레임들의 시퀀스가 I/O 디바이스(206) 상에 표시될 수 있다. 이미지 프레임들의 시퀀스(110)는 폐쇄 회로 텔레비전(CCTV) 영상과 같은 라이브 비디오일 수 있다. 제어 회로(202)는 스마트 텔레비전, 스마트폰, 발광 다이오드(LED 스크린) 또는 액정 디스플레이(LCD) 스크린과 같은 디스플레이 디바이스 상에 라이브 미리보기로서 이미지 프레임들의 시퀀스를 표시하도록 구성될 수 있다.
410에서, 제1 입력은 I/O 디바이스(206)를 통해 전자 디바이스(102)와 연관된 사용자로부터 수신될 수 있다. 제1 입력은 제1 이미지 프레임(112A)에서의 초기화 포인트(116)의 위치에 대응할 수 있다. 제어 회로(202)는 I/O 디바이스(206)를 통해 전자 디바이스(102)와 연관된 사용자로부터 제1 입력을 수신하도록 구성될 수 있다.
412에서, 사용자 지정 초기화 포인트는 제1 입력에 응답하여 이미지 프레임들의 시퀀스의 재생 시간에 수신될 수 있다. 사용자 지정 초기화 포인트는 이미지 프레임들의 시퀀스의 제1 이미지 프레임 내의 관심 개체의 위치에 대응할 수 있다. 제어 회로(202)는 제1 입력에 응답하여 이미지 프레임들의 시퀀스의 재생 시간에 사용자 지정 초기화 포인트를 수신하도록 구성될 수 있다. 제1 이미지 프레임에서의 사용자 지정 초기화 포인트는 개체 추적 동작들을 위한 초기화 포인트일 수 있다. 초기화 포인트는 제1 이미지 프레임의 제1 이미지 영역에 위치할 수 있고, 제1 이미지 프레임 내의 관심 개체를 나타낸다.
414에서, 제1 입력에 응답하여, 제1 이미지 프레임 및 제2 이미지 프레임으로부터 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트가 추출될 수 있다. 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트는 각각 사용자 지정 초기화 포인트로부터 제1 임계 거리 및 제2 임계 거리 내에 존재할 수 있다. 제어 회로(202)는 제1 입력에 응답하여 제1 이미지 프레임 및 제2 이미지 프레임으로부터 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트를 추출하도록 구성될 수 있다.
416에서, 특징 포인트들의 제1 세트와 특징 포인트들의 제2 세트 사이에서 특징 대응들의 세트가 추정될 수 있다. 제어 회로(202)는 특징 포인트들의 제1 세트와 특징 포인트들의 제2 세트 사이의 특징 대응들의 세트를 추정하도록 구성될 수 있다.
418에서, 특징 대응들의 그룹이 추정된 특징 대응들의 세트로부터 확률적으로 선택될 수 있다. 제어 회로(202)는 도 1 및 도 2에서 논의된 바와 같이 추정된 특징 대응들의 세트로부터 확률적으로 특징 대응들의 그룹을 선택하도록 구성될 수 있다. 특징 대응들의 그룹의 선택은 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트로부터의 특징 포인트들의 그룹의 선택에 대응할 수 있다. 특징 대응들의 상이한 그룹들로부터의 특징 대응들의 각각의 그룹은 추정된 특징 대응들의 세트로부터 확률적으로 선택된 둘 이상의 특징 대응들을 포함할 수 있다.
420에서, 특징 대응들의 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들이 생성될 수 있다. 제어 회로(202)는 특징 대응들의 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들을 생성하도록 구성될 수 있다. 상이한 제1 움직임 추정 모델들은 특징 포인트들의 제1 세트에 대한 특징 포인트들의 제2 세트 간의 유사성 변환의 면에서 특징 포인트들의 제1 세트에 대한 특징 포인트들의 제2 세트의 위치에서의 시프트를 나타낼 수 있다. 각각의 제1 움직임 추정 모델은 제1 유사성 행렬에 의해 표현될 수 있다. 제1 유사성 행렬은 특징 대응들의 상이한 그룹들의 각각의 그룹에 대해 생성될 수 있다.
422에서, 상이한 제1 움직임 추정 모델들에 기반하여 복수의 인라이어 특징 대응들이 추정될 수 있다. 제어 회로(202)는, 도 1 및 도 2에서 논의된 바와 같이, 상이한 제1 움직임 추정 모델들에 기반하여, 복수의 인라이어 특징 대응들을 추정하도록 구성될 수 있다. 복수의 인라이어 특징 대응들은 제1 이미지 프레임 및 제2 이미지 프레임 내의 관심 개체에 대응할 수 있다.
424에서, 추정된 복수의 인라이어 특징 대응들에 기반하여 제2 움직임 추정 모델이 생성될 수 있다. 제2 움직임 추정 모델은 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델일 수 있다. 제어 회로(202)는 추정된 복수의 인라이어 특징 대응들에 기반하여 제2 움직임 추정 모델을 생성하도록 구성될 수 있다.
426에서, 관심 개체는 제2 움직임 추정 모델에 기반하여 이미지 프레임들의 시퀀스에서 추적될 수 있다. 제어 회로(202)는 제2 움직임 추정 모델에 기반하여 이미지 프레임들의 시퀀스(110) 내의 관심 개체를 추적하도록 구성될 수 있다. 제어는 종료로 넘어간다.
본 개시내용의 다양한 실시예들은 전자 디바이스(102) 및/또는 컴퓨터와 같은 기계에 의해 실행가능한 기계 코드 및/또는 명령어들의 세트가 저장된 비일시적 컴퓨터 판독가능한 매체 및/또는 저장 매체, 및/또는 비일시적 기계 판독가능한 매체 및/또는 저장 매체를 제공할 수 있다. 전자 디바이스(102)에서의 명령어들의 세트는 기계 및/또는 컴퓨터로 하여금 제1 이미지 프레임 및 제2 이미지 프레임을 포함하는 이미지 프레임들의 시퀀스의 저장을 포함하는 동작들을 수행하게 할 수 있다. 이러한 동작들은 제1 이미지 프레임 내의 특징 포인트들의 제1 세트와 제2 이미지 프레임 내의 특징 포인트들의 제2 세트 사이의 특징 대응들의 세트의 추정을 더 포함할 수 있다. 특징 포인트들의 제1 세트는 사용자 지정 초기화 포인트로부터 제1 임계 거리 내에 존재할 수 있다. 사용자 지정 초기화 포인트는 이미지 프레임들의 시퀀스 내의 관심 개체에 대응할 수 있다. 이러한 동작들은 추정된 특징 대응들의 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들의 생성을 더 포함할 수 있다. 상이한 제1 움직임 추정 모델들은 특징 포인트들의 제1 세트에 대한 특징 포인트들의 제2 세트 간의 유사성 변환의 면에서 특징 포인트들의 제1 세트에 대한 특징 포인트들의 제2 세트의 위치들에서의 시프트를 나타낼 수 있다. 이러한 동작들은, 특징 대응들의 상이한 그룹들로부터, 상이한 제1 움직임 추정 모델들에 기반하여, 제1 이미지 프레임 및 제2 이미지 프레임에서 관심 개체에 대응하는 복수의 인라이어 특징 대응들의 추정을 더 포함할 수 있다. 이러한 동작들은 제2 움직임 추정 모델의 생성을 더 포함할 수 있고, 제2 움직임 추정 모델에 기반하여 프레임들의 시퀀스 내의 관심 개체를 추가로 추적할 수 있다. 제2 움직임 추정 모델은 추정된 복수의 인라이어 특징 대응들에 기반하여 생성되는 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델일 수 있다.
본 개시내용의 다양한 실시예들은 (초기화 포인트(116)와 같은) 사용자 지정 초기화 포인트에 기반한 개체 추적을 위한 (전자 디바이스(102)와 같은) 전자 디바이스에서 발견될 수 있다. 전자 디바이스는 (메모리(204)와 같은) 메모리 및 (제어 회로(202)와 같은) 제어 회로를 포함할 수 있다. 메모리는 (제1 이미지 프레임(112A)과 같은) 제1 이미지 프레임 및 (제2 이미지 프레임(112B)과 같은) 제2 이미지 프레임을 포함하는 이미지 프레임들의 시퀀스를 저장하도록 구성될 수 있다. 제어 회로는 제1 이미지 프레임 내의 특징 포인트들의 제1 세트와 제2 이미지 프레임 내의 특징 포인트들의 제2 세트 사이의 특징 대응들의 세트를 추정하도록 구성될 수 있다. 특징 포인트들의 제1 세트는 사용자 지정 초기화 포인트로부터 제1 임계 거리 내에 존재할 수 있다. 사용자 지정 초기화 포인트는 이미지 프레임들의 시퀀스 내의 관심 개체에 대응할 수 있다. 제어 회로는 추정된 특징 대응들의 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들을 생성하도록 추가로 구성될 수 있다. 상이한 제1 움직임 추정 모델들은 특징 포인트들의 제1 세트에 대한 특징 포인트들의 제2 세트 간의 유사성 변환의 면에서 특징 포인트들의 제1 세트에 대한 특징 포인트들의 제2 세트의 위치들에서의 시프트를 나타낼 수 있다. 제어 회로는, 특징 대응들의 상이한 그룹들로부터, 상이한 제1 움직임 추정 모델들에 기반하여, 제1 이미지 프레임 및 제2 이미지 프레임 내의 관심 개체에 대응하는 복수의 인라이어 특징 대응들을 추정하도록 추가로 구성될 수 있다. 제어 회로는 제2 움직임 추정 모델을 생성하고, 제2 움직임 추정 모델에 기반하여 프레임들의 시퀀스 내의 관심 개체를 더 추적하도록 추가로 구성될 수 있다. 제2 움직임 추정 모델은 추정된 복수의 인라이어 특징 대응들에 기반하여 생성되는 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델일 수 있다.
실시예에 따르면, 전자 디바이스는 (이미지 센서(108)와 같은) 이미지 센서를 더 포함할 수 있다. 이미지 센서는 이미지 센서의 시야(FoV) 내의 장면의 이미지 프레임들의 시퀀스를 캡처하도록 구성될 수 있다.
실시예에 따르면, 제어 회로는 제1 입력에 응답하여 이미지 프레임들의 시퀀스의 재생 시간에 사용자 지정 초기화 포인트를 수신하도록 추가로 구성될 수 있다. 사용자 지정 초기화 포인트는 이미지 프레임들의 시퀀스의 제1 이미지 프레임 내의 관심 개체의 위치에 대응할 수 있다. 제어 회로는 제1 입력에 응답하여, 제1 이미지 프레임으로부터 특징 포인트들의 제1 세트를 추출하고 제2 이미지 프레임으로부터 특징 포인트들의 제2 세트를 추출하도록 추가로 구성될 수 있다. 특징 포인트들의 제2 세트는 사용자 지정 초기화 포인트로부터 제2 임계 거리 내에 존재할 수 있다.
실시예에 따르면, 제어 회로는 특징 대응들의 상이한 그룹들로부터 확률적으로 특징 대응들의 그룹을 선택하도록 추가로 구성될 수 있다. 특징 대응들의 그룹의 선택은 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트로부터의 특징 포인트들의 그룹의 선택에 대응한다. 특징 대응들의 상이한 그룹들 내의 특징 대응들의 각각의 그룹은 추정된 특징 대응들의 세트로부터 확률적으로 선택된 둘 이상의 특징 대응들을 포함할 수 있다. 실시예에 따르면, 특징 대응들의 각각의 그룹 내의 다수의 특징 대응들이 관심 개체와 연관된 움직임 파라미터에 기반하여 선택될 수 있다. 움직임 파라미터는 관심 개체와 연관된 병진 파라미터, 회전 파라미터, 전단 파라미터, 휨 파라미터, 변형 파라미터, 또는 자유도들 중 적어도 하나일 수 있다.
실시예에 따르면, 제어 회로는 특징 대응들의 상이한 그룹들의 특징 대응들의 각각의 그룹에 대한 제1 유사성 행렬을 생성하도록 추가로 구성될 수 있으며, 특징 대응들의 각각의 그룹에 대해, 제1 유사성 행렬은 상이한 제1 움직임 추정 모델들의 제1 움직임 추정 모델이다.
실시예에 따르면, 제어 회로는 대응하는 제1 움직임 추정 모델 및 대응하는 특징 대응들의 그룹에 대한 스코어링 모델의 적용에 기반하여 상이한 제1 움직임 추정 모델들 각각에 대한 스코어를 계산하도록 추가로 구성될 수 있다. 스코어의 계산은 사용자 지정 초기화 포인트에의 대응하는 움직임 추정 모델에 대한 특징 포인트들의 그룹의 근접성에 기반하여 행해질 수 있다.
실시예에 따르면, 제어 회로는 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 인라이어 특징 대응들의 세트를 추정하도록 추가로 구성될 수 있다. 인라이어 특징 대응들의 세트는 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 위치 추정 오차를 픽셀 기반 임계치와 비교하는 것에 기반하여 추정될 수 있다. 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 위치 추정 오차는 실제 위치가 특징 포인트들의 제1 세트 및 특징 포인트들의 제2 세트 내의 각각의 특징 포인트의 추정 위치로부터 벗어나는 픽셀들의 수의 편차에 대응할 수 있다. 제어 회로는 상이한 제1 움직임 추정 모델들 각각에 대한 계산된 스코어의 최대치를 결정하도록 추가로 구성될 수 있다. 추정된 복수의 인라이어 특징 대응들은 계산된 스코어가 최대치인 인라이어 특징 대응들의 세트 내의 특징 대응들일 수 있다.
실시예에 따르면, 제2 움직임 추정 모델은 추정된 복수의 인라이어 특징 대응들 내의 인라이어 특징 포인트들의 세트에 대한 회귀 모델의 적용에 의해 생성될 수 있다.
본 개시내용은 하드웨어로, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 적어도 하나의 컴퓨터 시스템 내의 중앙집중화 방식으로, 또는 상이한 요소들이 수 개의 상호접속된 컴퓨터 시스템들에 걸쳐 확산될 수 있는 분산 방식으로 실현될 수 있다. 본 명세서에 설명된 방법들을 수행하도록 적응된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어 및 소프트웨어의 조합은 로딩되어 실행될 때, 본 명세서에서 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 구비한 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수 있다.
본 개시내용은, 또한, 본 명세서에 기술된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하고, 컴퓨터 시스템에 로딩될 때 이러한 방법들을 수행할 수 있는 컴퓨터 프로그램 제품에 내장될 수 있다. 본 개시내용이 특정 실시예들을 참조하여 설명되었지만, 관련 기술분야의 통상의 기술자는 본 개시내용의 범위를 벗어나지 않고서 다양한 변경들이 이루어질 수 있고 또한 균등물들로 치환될 수 있다는 것을 이해할 것이다. 또한, 본 개시내용의 범위를 벗어나지 않고서 특정 상황 또는 자료를 본 개시내용의 교시에 적응시키기 위해 많은 수정들이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예들로 제한되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 드는 모든 실시예들을 포함할 것으로 의도된다.

Claims (20)

  1. 전자 디바이스로서,
    제1 이미지 프레임 및 제2 이미지 프레임을 포함하는 이미지 프레임들의 시퀀스를 저장하도록 구성된 메모리; 및
    제어 회로
    를 포함하며,
    상기 제어 회로는,
    상기 제1 이미지 프레임 내의 특징 포인트들의 제1 세트와 상기 제2 이미지 프레임 내의 특징 포인트들의 제2 세트 사이의 특징 대응들의 세트를 추정하고 - 상기 특징 포인트들의 제1 세트는 상기 이미지 프레임들의 시퀀스 내의 관심 개체에 대응하는 사용자 지정 초기화 포인트로부터 제1 임계 거리 내에 존재함 -;
    특징 대응들의 추정된 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들을 생성하고 - 상기 상이한 제1 움직임 추정 모델들은 상기 특징 포인트들의 제1 세트에 대한 상기 특징 포인트들의 제2 세트 간의 유사성 변환의 면에서 상기 특징 포인트들의 제1 세트에 대한 상기 특징 포인트들의 제2 세트의 위치들에서의 시프트를 나타냄 -;
    상기 특징 대응들의 상이한 그룹들로부터, 상기 상이한 제1 움직임 추정 모델들에 기반하여, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임에서 상기 관심 개체에 대응하는 복수의 인라이어(inlier) 특징 대응들을 추정하고;
    추정된 복수의 인라이어 특징 대응들에 기반하여, 상기 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델인 제2 움직임 추정 모델을 생성하고;
    상기 제2 움직임 추정 모델에 기반하여 상기 이미지 프레임들의 시퀀스 내의 상기 관심 개체를 추적하도록 구성되는, 전자 디바이스.
  2. 제1항에 있어서,
    이미지 센서를 더 포함하고, 상기 이미지 센서는 상기 이미지 센서의 시야(Field-of-View: FoV) 내의 장면의 이미지 프레임들의 시퀀스를 캡처하도록 구성되는, 전자 디바이스.
  3. 제1항에 있어서,
    상기 제어 회로는, 제1 입력에 응답하여, 상기 이미지 프레임들의 시퀀스의 재생 시간에, 상기 사용자 지정 초기화 포인트를 수신하도록 추가로 구성되고, 상기 사용자 지정 초기화 포인트는 상기 이미지 프레임들의 시퀀스의 상기 제1 이미지 프레임 내의 상기 관심 개체의 위치에 대응하는, 전자 디바이스.
  4. 제3항에 있어서,
    상기 제어 회로는, 상기 제1 입력에 응답하여, 상기 제1 이미지 프레임으로부터 상기 특징 포인트들의 제1 세트를 추출하고 상기 제2 이미지 프레임으로부터 상기 특징 포인트들의 제2 세트를 추출하도록 추가로 구성되는, 전자 디바이스.
  5. 제1항에 있어서,
    상기 특징 포인트들의 제2 세트는 상기 사용자 지정 초기화 포인트로부터 제2 임계 거리 내에 존재하는, 전자 디바이스.
  6. 제1항에 있어서,
    상기 제어 회로는 상기 특징 대응들의 상이한 그룹들로부터 확률적으로 특징 대응들의 그룹을 선택하도록 추가로 구성되고, 상기 특징 대응들의 그룹의 선택은 상기 특징 포인트들의 제1 세트 및 상기 특징 포인트들의 제2 세트로부터의 특징 포인트들의 그룹의 선택에 대응하는, 전자 디바이스.
  7. 제1항에 있어서,
    상기 특징 대응들의 상이한 그룹들 내의 특징 대응들의 각각의 그룹은 상기 특징 대응들의 추정된 세트로부터 확률적으로 선택된 둘 이상의 특징 대응들을 포함하는, 전자 디바이스.
  8. 제7항에 있어서,
    특징 대응들의 각각의 그룹 내의 다수의 특징 대응들이 상기 관심 개체와 연관된 움직임 파라미터에 기반하여 선택되는, 전자 디바이스.
  9. 제8항에 있어서,
    상기 움직임 파라미터는 상기 관심 개체와 연관된 병진 파라미터, 회전 파라미터, 전단(shear) 파라미터, 변형 파라미터, 또는 자유도들 중 적어도 하나인, 전자 디바이스.
  10. 제1항에 있어서,
    상기 제어 회로는 상기 특징 대응들의 상이한 그룹들의 특징 대응들의 각각의 그룹에 대한 제1 유사성 행렬을 생성하도록 추가로 구성되고, 특징 대응들의 각각의 그룹에 대해, 상기 제1 유사성 행렬은 상기 상이한 제1 움직임 추정 모델들의 제1 움직임 추정 모델에 대응하는, 전자 디바이스.
  11. 제1항에 있어서,
    상기 제어 회로는 대응하는 제1 움직임 추정 모델 및 대응하는 특징 대응들의 그룹에 대한 스코어링 모델의 적용에 기반하여 상기 상이한 제1 움직임 추정 모델들 각각에 대한 스코어를 계산하도록 추가로 구성되는, 전자 디바이스.
  12. 제11항에 있어서,
    상기 스코어의 계산은 상기 사용자 지정 초기화 포인트에의 상기 대응하는 제1 움직임 추정 모델에 대한 특징 포인트들의 그룹의 근접성에 기반하는, 전자 디바이스.
  13. 제11항에 있어서,
    상기 제어 회로는 상기 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 인라이어 특징 대응들의 세트를 추정하도록 추가로 구성되고,
    상기 인라이어 특징 대응들의 세트는 상기 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 위치 추정 오차를 픽셀 기반 임계치와 비교하는 것에 기반하여 추정되는, 전자 디바이스.
  14. 제13항에 있어서,
    상기 상이한 제1 움직임 추정 모델들의 각각의 제1 움직임 추정 모델에 대한 상기 위치 추정 오차는 실제 위치가 상기 특징 포인트들의 제1 세트 및 상기 특징 포인트들의 제2 세트 내의 각각의 특징 포인트의 추정 위치로부터 벗어나는 픽셀들의 수의 편차에 대응하는, 전자 디바이스.
  15. 제13항에 있어서,
    상기 제어 회로는, 상기 상이한 제1 움직임 추정 모델들 각각에 대한 계산된 스코어의 최대치를 결정하도록 추가로 구성되고,
    추정된 복수의 인라이어 특징 대응들은 상기 계산된 스코어가 최대치인 상기 인라이어 특징 대응들의 세트 내의 특징 대응들인, 전자 디바이스.
  16. 제1항에 있어서,
    상기 제2 움직임 추정 모델은 추정된 복수의 인라이어 특징 대응들 내의 인라이어 특징 포인트들의 세트에 대한 회귀 모델의 적용에 의해 생성되는, 전자 디바이스.
  17. 방법으로서,
    전자 디바이스에서,
    이미지 프레임들의 시퀀스의 제1 이미지 프레임 내의 특징 포인트들의 제1 세트와 상기 이미지 프레임들의 시퀀스의 제2 이미지 프레임 내의 특징 포인트들의 제2 세트 사이의 특징 대응들의 세트를 추정하는 단계 - 상기 특징 포인트들의 제1 세트는 상기 이미지 프레임들의 시퀀스 내의 관심 개체에 대응하는 사용자 지정 초기화 포인트로부터 제1 임계 거리 내에 존재함 -;
    특징 대응들의 추정된 세트의 특징 대응들의 상이한 그룹들에 대한 상이한 제1 움직임 추정 모델들을 생성하는 단계 - 상기 상이한 제1 움직임 추정 모델들은 상기 특징 포인트들의 제1 세트에 대한 상기 특징 포인트들의 제2 세트 간의 유사성 변환의 면에서 상기 특징 포인트들의 제1 세트에 대한 상기 특징 포인트들의 제2 세트의 위치들에서의 시프트를 나타냄 -;
    상기 특징 대응들의 상이한 그룹들로부터, 상기 상이한 제1 움직임 추정 모델들에 기반하여, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임에서 상기 관심 개체에 대응하는 복수의 인라이어 특징 대응들을 추정하는 단계;
    추정된 복수의 인라이어 특징 대응들에 기반하여, 상기 상이한 제1 움직임 추정 모델들의 최적화된 움직임 추정 모델인 제2 움직임 추정 모델을 생성하는 단계; 및
    상기 제2 움직임 추정 모델에 기반하여 상기 이미지 프레임들의 시퀀스 내의 상기 관심 개체를 추적하는 단계
    를 포함하는, 방법.
  18. 제17항에 있어서,
    제1 입력에 응답하여, 상기 이미지 프레임들의 시퀀스의 재생 시간에, 상기 사용자 지정 초기화 포인트를 수신하는 단계를 더 포함하고, 상기 사용자 지정 초기화 포인트는 상기 이미지 프레임들의 시퀀스의 상기 제1 이미지 프레임 내의 상기 관심 개체의 위치에 대응하는, 방법.
  19. 제18항에 있어서,
    상기 제1 입력에 응답하여, 상기 제1 이미지 프레임으로부터 상기 특징 포인트들의 제1 세트를 추출하고 상기 제2 이미지 프레임으로부터 상기 특징 포인트들의 제2 세트를 추출하는 단계를 더 포함하는, 방법.
  20. 제17항에 있어서,
    상기 특징 포인트들의 제2 세트는 상기 사용자 지정 초기화 포인트로부터 제2 임계 거리 내에 존재하는, 방법.
KR1020217013013A 2018-11-15 2019-09-18 사용자 지정 초기화 포인트에 기반한 개체 추적 KR102572986B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/191,884 US10839531B2 (en) 2018-11-15 2018-11-15 Object tracking based on a user-specified initialization point
US16/191,884 2018-11-15
PCT/IB2019/057834 WO2020099951A1 (en) 2018-11-15 2019-09-18 Object tracking based on a user-specified initialization point

Publications (2)

Publication Number Publication Date
KR20210069686A true KR20210069686A (ko) 2021-06-11
KR102572986B1 KR102572986B1 (ko) 2023-09-01

Family

ID=68104715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217013013A KR102572986B1 (ko) 2018-11-15 2019-09-18 사용자 지정 초기화 포인트에 기반한 개체 추적

Country Status (6)

Country Link
US (1) US10839531B2 (ko)
EP (1) EP3864622A1 (ko)
JP (1) JP7100306B2 (ko)
KR (1) KR102572986B1 (ko)
CN (1) CN112771572B (ko)
WO (1) WO2020099951A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075224A (ko) * 2016-12-26 2018-07-04 삼성전자주식회사 객체의 인식 결과를 제공하는 방법 및 전자 장치
WO2020194664A1 (ja) 2019-03-28 2020-10-01 オリンパス株式会社 トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
JP7105369B2 (ja) * 2019-03-28 2022-07-22 オリンパス株式会社 トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
US11836870B1 (en) * 2021-01-19 2023-12-05 United Services Automobile Association (Usaa) Systems and methods for virtual physical distancing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108828A (ko) * 2013-02-28 2014-09-15 한국전자통신연구원 카메라 트래킹 장치 및 방법
US20140362240A1 (en) * 2013-06-07 2014-12-11 Apple Inc. Robust Image Feature Based Video Stabilization and Smoothing
KR20160136145A (ko) * 2015-05-19 2016-11-29 국방과학연구소 영상의 표적 추적 장치 및 방법
KR101885839B1 (ko) * 2017-03-14 2018-08-06 중앙대학교 산학협력단 객체추적을 위한 특징점 선별 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4373840B2 (ja) * 2004-04-21 2009-11-25 日本電信電話株式会社 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
US8374388B2 (en) 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
KR101129328B1 (ko) * 2010-03-03 2012-03-26 광주과학기술원 타겟 추적 장치 및 방법
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
KR20140061266A (ko) 2012-11-11 2014-05-21 삼성전자주식회사 다중 경로 궤적 분석을 이용한 영상 객체 추적 방법 및 장치
US20140169663A1 (en) 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
JP6185879B2 (ja) * 2014-05-01 2017-08-23 日本電信電話株式会社 多関節物体追跡装置、多関節物体追跡方法、及びプログラム
US10262426B2 (en) * 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
EP3029631A1 (en) 2014-12-04 2016-06-08 Thomson Licensing A method and apparatus for assisted object selection in video sequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108828A (ko) * 2013-02-28 2014-09-15 한국전자통신연구원 카메라 트래킹 장치 및 방법
US20140362240A1 (en) * 2013-06-07 2014-12-11 Apple Inc. Robust Image Feature Based Video Stabilization and Smoothing
KR20160136145A (ko) * 2015-05-19 2016-11-29 국방과학연구소 영상의 표적 추적 장치 및 방법
KR101885839B1 (ko) * 2017-03-14 2018-08-06 중앙대학교 산학협력단 객체추적을 위한 특징점 선별 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Peter C. Niedfeldt, Recursive-RANSAC: A Novel Algorithm for Tracking Multiple Targets in Clutter, BYU ScholarsArchive(2014.07.02.) *

Also Published As

Publication number Publication date
CN112771572A (zh) 2021-05-07
JP7100306B2 (ja) 2022-07-13
JP2022502809A (ja) 2022-01-11
CN112771572B (zh) 2024-03-12
WO2020099951A1 (en) 2020-05-22
US20200160540A1 (en) 2020-05-21
KR102572986B1 (ko) 2023-09-01
EP3864622A1 (en) 2021-08-18
US10839531B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
US10380756B2 (en) Video processing system and method for object detection in a sequence of image frames
KR102169431B1 (ko) 이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법
KR102572986B1 (ko) 사용자 지정 초기화 포인트에 기반한 개체 추적
US9760791B2 (en) Method and system for object tracking
CN108122208B (zh) 用于对对象分割的前景掩模校正的图像处理设备和方法
US9008366B1 (en) Bio-inspired method of ground object cueing in airborne motion imagery
US10477220B1 (en) Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
US10916019B2 (en) Moving object detection in image frames based on optical flow maps
US10122912B2 (en) Device and method for detecting regions in an image
US10621730B2 (en) Missing feet recovery of a human object from an image sequence based on ground plane detection
US10163212B2 (en) Video processing system and method for deformation insensitive tracking of objects in a sequence of image frames
US10089721B2 (en) Image processing system and method for object boundary smoothening for image segmentation
US10460156B2 (en) Automated tracking and retaining of an articulated object in a sequence of image frames
AU9715901A (en) A method for analysing apparent motion in digital video sequences

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant