KR20190122807A

KR20190122807A - 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산

Info

Publication number: KR20190122807A
Application number: KR1020197029204A
Authority: KR
Inventors: 핑산 리; 준지 시마다
Original assignee: 소니 주식회사
Priority date: 2017-04-11
Filing date: 2018-04-03
Publication date: 2019-10-30
Also published as: US20180293735A1; WO2018191070A2; JP2021082316A; JP2020514891A; CN110383335A; EP3593319A2; EP3593319A4; WO2018191070A3

Abstract

비디오 콘텐츠에서 광학적 흐름 및 센서 입력 기반의 배경 감산을 위한 장치 및 방법은, 광학적 흐름 맵을 이용하여 이전 이미지 프레임에 관하여 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성된 하나 이상의 프로세서를 포함한다. 장치에 제공된 센서로부터 수신된 입력에 기초하여 현재 이미지 프레임에서의 복수의 픽셀에 대해 복수의 제2 움직임 벡터 값이 계산된다. 정의된 파라미터들의 세트에 기초하여 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수가 결정된다. 결정된 신뢰도 점수 및 복수의 제1 움직임 벡터 값과 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 현재 이미지 프레임으로부터 하나 이상의 배경 영역이 추출된다.

Description

비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산

본 개시내용의 다양한 실시예는 배경-전경 분리 기술에 관한 것이다. 더 구체적으로, 본 개시내용의 다양한 실시예는 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산에 관한 것이다.

컴퓨터 비전(computer vision) 분야에서의 최근의 발전은 비디오 콘텐츠에서의 배경 및 전경 검출을 위한 다양한 기술의 개발로 이어졌다. 비디오 콘텐츠에서의 배경 및 전경 검출과 분리를 위한 이러한 기술들은, 다양한 응용, 예를 들어 비디오 감시 응용 또는 자동-포커스 응용에서 유용할 수 있다.

이미지들의 시퀀스에서의 배경 검출 및 감산(또는 제거)은 광학적 흐름 절차(optical flow procedure)에 기초하여 수행될 수 있다. 광학적 흐름 절차는, 배경 영역이 대개 캡처된 이미지 프레임의 가장 큰 부분을 커버한다는 가정에 기초하고, 따라서 이미지 프레임에서 가장 큰 영역은 광학적 흐름 절차에 의해 배경 영역으로서 식별된다. 소정 시나리오에서, 객체들은 이미지/비디오 캡처 동안에 이미지 캡처 디바이스에 근접할 수 있다. 이러한 시나리오에서, 전경 영역은 캡처된 이미지 프레임의 대부분을 커버할 수 있고 배경 영역은 비교적 더 작아진다. 이러한 시나리오에서, 광학적 흐름 절차 기반의 기술은 배경 감산 동안에 관심 객체의 제거를 초래할 수 있다. 따라서, 부정확한 배경 검출 및 감산과 연관된 문제를 극복하기 위해 개선된 배경 감산을 위한 시스템 및 방법이 요구될 수 있다.

종래의 및 전통적인 접근법의 추가적인 제한 및 단점은, 설명되는 시스템과 도면을 참조한 본 출원의 나머지 부분에 개시되는 본 개시내용의 일부 양태들과의 비교를 통해 본 기술분야의 통상의 기술자에게 명백해질 것이다.

비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산은, 청구 범위에서 더욱 완전하게 개시된 바와 같이, 도면들 중 적어도 하나에 도시되거나 및/또는 이와 관련하여 설명된 바와 같이 제공된다.

본 개시내용의 이들 및 다른 피처들 및 이점들은, 전체적으로 유사한 참조 번호는 유사한 부분을 나타내는 첨부된 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있을 것이다.

도 1은, 본 개시내용의 한 실시예에 따른, 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산을 위한 예시적인 네트워크 환경을 도시하는 블록도이다.
도 2는, 본 개시내용의 한 실시예에 따른, 예시적인 이미지 처리 장치를 나타내는 블록도이다.
도 3은, 본 개시내용의 한 실시예에 따른, 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산에 대한 예시적인 시나리오를 도시한다.
도 4a 및 도 4b는, 본 개시내용의 한 실시예에 따른, 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산을 위한 예시적인 동작들을 나타내는 플로차트를 집합적으로 도시한다.

이하의 설명된 구현들은, 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산을 위한 개시된 장치 및 방법에서 발견될 수 있다. 본 개시내용의 예시적인 양태들은 이미지 프레임들의 시퀀스를 캡처하도록 구성된 하나 이상의 프로세서를 더 포함할 수 있는 장치를 포함할 수 있다. 이미지 프레임들의 시퀀스는 적어도 현재 이미지 프레임 및 이전 이미지 프레임을 포함할 수 있다. 하나 이상의 프로세서는, 광학적 흐름 맵을 이용하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성될 수 있다. 광학적 흐름 맵은, 현재 이미지 프레임과 이전 이미지 프레임에서 복수의 픽셀의 픽셀 값의 차이에 기초하여 생성될 수 있다. 현재 이미지 프레임은 하나 이상의 전경 영역 및 하나 이상의 배경 영역을 포함할 수 있다. 장치에 제공된 센서로부터 수신된 입력에 기초하여 현재 이미지 프레임에서의 복수의 픽셀에 대해 복수의 제2 움직임 벡터 값이 또한 계산될 수 있다. 수신된 입력은 현재 이미지 프레임에서의 복수의 픽셀 각각의 각속도 정보(angular velocity information)에 대응할 수 있다. 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수는 정의된 파라미터들의 세트에 기초하여 결정될 수 있다. 현재 이미지 프레임으로부터의 하나 이상의 배경 영역은 결정된 신뢰도 점수 및 복수의 제1 움직임 벡터 값과 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 추출될 수 있다.

복수의 제1 움직임 벡터 값 각각은, 이전 이미지 프레임으로부터 현재 이미지 프레임으로의 복수의 픽셀들 각각의 상대적 움직임에 대응할 수 있다. 복수의 제2 움직임 벡터 값은, 장치에 제공된 자이로 센서(또는 기타의 움직임 센서)에 대해 계산된 복수의 움직임 벡터 값에 대응할 수 있다. 복수의 제2 움직임 벡터 값의 계산은 추가로, 장치의 하나 이상의 디바이스 파라미터에 기초할 수 있다. 하나 이상의 디바이스 파라미터는, 장치의 렌즈의 초점 거리, 수평 픽셀들의 수, 및 장치에 제공된 촬상기 컴포넌트의 폭을 포함할 수 있다.

한 실시예에 따르면, 장치 내의 하나 이상의 프로세서는 추가로, 하나 이상의 배경 영역의 추출을 위해 복수의 픽셀의 복수의 제2 움직임 벡터 값을 복수의 제1 움직임 벡터 값과 비교하도록 구성될 수 있다. 현재 이미지 프레임에서의 복수의 픽셀 각각에 대한 유사성 파라미터는 복수의 제2 움직임 벡터 값과 복수의 제1 움직임 벡터 값 사이의 비교에 기초하여 결정될 수 있다. 신뢰도 맵은 복수의 픽셀 각각에 관련된 신뢰도 점수 및 유사성 파라미터에 기초하여 생성될 수 있다. 하나 이상의 배경 영역은, 복수의 픽셀 각각에 관련된 결정된 유사성 파라미터와 명시된 임계값의 비교에 기초하여 추출될 수 있다.

본 개시내용의 예시적인 양태에 따르면, 이미지 처리 시스템은 촬상 디바이스에 하나 이상의 프로세서를 포함할 수 있고, 하나 이상의 프로세서는, 광학적 흐름 맵을 이용하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성될 수 있다. 광학적 흐름 맵은, 현재 이미지 프레임과 이전 이미지 프레임에서 복수의 픽셀의 픽셀 값의 차이에 기초하여 생성될 수 있다. 현재 이미지 프레임은 하나 이상의 전경 영역 및 하나 이상의 배경 영역을 포함할 수 있다. 장치에 제공된 센서로부터 수신된 입력에 기초하여 현재 이미지 프레임에서의 복수의 픽셀에 대해 복수의 제2 움직임 벡터 값이 계산될 수 있다. 수신된 입력은 현재 이미지 프레임에서의 복수의 픽셀 각각의 각속도 정보에 대응할 수 있다. 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수는 정의된 파라미터들의 세트에 기초하여 결정될 수 있다. 현재 이미지 프레임으로부터의 하나 이상의 배경 영역은 결정된 신뢰도 점수 및 복수의 제1 움직임 벡터 값과 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 추출될 수 있다. 촬상 디바이스 내의 하나 이상의 프로세서는 추가로, 추출된 하나 이상의 배경 영역에 기초하여 현재 이미지 프레임에서 하나 이상의 관심 객체를 검출하도록 구성될 수 있다. 검출된 하나 이상의 관심 객체는 현재 이미지 프레임에서 움직이는 하나 이상의 객체에 대응할 수 있다. 촬상 디바이스 내의 하나 이상의 프로세서는 검출된 하나 이상의 관심 객체를 자동포커싱할 수 있다. 검출된 하나 이상의 관심 객체의 하나 이상의 시각적 파라미터는 촬상 디바이스에 의해 수정될 수 있다.

도 1은, 본 개시내용의 한 실시예에 따른, 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산을 나타내는 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은, 이미지 처리 장치(102), 서버(104), 통신 네트워크(106), 사용자(108) 등의 하나 이상의 사용자, 이미지 프레임들의 시퀀스(110), 및 객체(112) 등의 하나 이상의 객체를 포함할 수 있다. 도 1을 참조하면, 이미지 처리 장치(102)는 통신 네트워크(106)를 통해 서버(104)에 통신 가능하게 결합될 수 있다. 사용자(108)는 이미지 처리 장치(102)와 연관될 수 있다.

이미지 처리 장치(102)는, 배경 감산을 위한 하나 이상의 디지털 이미지 및/또는 비디오를 처리하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 이미지 처리 장치(102)는 객체(112)를 포함하는 이미지 프레임들의 시퀀스(110)를 캡처하도록 구성될 수 있다. 이미지 처리 장치(102)는 추가로, 배경 감산을 위해 이미지 프레임들의 캡처된 시퀀스(110)를 처리하도록 구성될 수 있다. 이미지 처리 장치(102)의 예는, (디지털 카메라, 캠코더 등의) 촬상 디바이스, 움직임 캡처 시스템, 카메라 폰, 프로젝터, 컴퓨터 워크스테이션, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 셀룰러/모바일 전화, 스마트 기기, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및/또는 기타의 컴퓨팅 디바이스를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

서버(104)는 이미지 처리 장치(102)와 통신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 서버(104)는 복수의 디지털 이미지 및/또는 비디오를 저장하도록 구성될 수 있는 하나 이상의 저장 시스템을 더 포함할 수 있다. 서버(104)의 예는, 웹 서버, 데이터베이스 서버, 파일 서버, 애플리케이션 서버, 클라우드 서버, 또는 이들의 조합을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

통신 네트워크(106)는, 이미지 처리 장치(102)가 서버(104)와 통신하기 위해 이용할 매체를 포함할 수 있다. 통신 네트워크(106)의 예는, 인터넷, 클라우드 네트워크, 롱텀 에볼루션(LTE) 네트워크, WLAN(Wireless Local Area Network), LAN(Local Area Network), POTS(telephone line), 및/또는 MAN(Metropolitan Area Network)을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜에 따라 통신 네트워크(106)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜의 예는, TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), ZigBee, EDGE, IEEE 802.11, Li-Fi(light fidelity), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-홉 통신, 무선 액세스 포인트(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜, 또는 Bluetooth(BT) 통신 프로토콜, 또는 이들의 조합 중 적어도 하나를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

이미지 프레임들의 시퀀스(110)란, 이미지 처리 장치(102)를 이용하여, 촬상 디바이스의 뷰파인더로부터 보여지고 사용자(108)에 의해 캡처되는 장면의 비디오를 지칭할 수 있다. 이미지 프레임들의 시퀀스(110)는 객체(112) 등의 하나 이상의 객체를 포함할 수 있다. 한 실시예에 따르면, 객체(112)는 이미지 프레임들의 시퀀스(110)에서 전경 영역을 구성할 수 있는 관심 객체일 수 있다. 이미지 프레임들의 시퀀스(110)는 하나 이상의 배경 영역을 더 포함할 수 있다. 예를 들어, 이미지 프레임들의 시퀀스(110)에서 전경 영역 이외의 임의의 영역은 배경 영역에 대응할 수 있다.

객체(112)는, 움직이는 객체, 일정 기간에 걸쳐 그 형상을 변화시키는 변형 객체, 또는 이미지 프레임들의 캡처된 시퀀스(110)에서 동일한 위치에 있지만 상이한 시간 인스턴스들에서 상이한 배향으로 놓인 객체일 수 있다. 객체(112)의 예는, 인간 객체, 동물, 또는 차량이나 스포츠 아이템 등의 비인간 또는 무생물 객체를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

동작에서, 이미지 처리 장치(102)는 장면의 비디오를 캡처하는데 이용될 수 있는 촬상 디바이스에 대응할 수 있다. 비디오는 적어도 현재 이미지 프레임 및 이전 이미지 프레임을 포함하는 (이미지 프레임들의 시퀀스(110) 등의) 이미지 프레임들의 시퀀스를 포함할 수 있다. 이미지 프레임들의 캡처된 시퀀스(110)는, (객체(112) 등의) 하나 이상의 관심 객체를 더 포함할 수 있다. 하나 이상의 관심 객체는 하나 이상의 전경 영역을 구성할 수 있고, 하나 이상의 관심 객체 이외의 임의의 영역은 이미지 프레임들의 시퀀스(110)에서 하나 이상의 배경 영역을 구성할 수 있다.

이미지 처리 장치(102)는 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성될 수 있다. 이미지 처리 장치(102)는 복수의 제1 움직임 벡터 값을 계산하기 위해 광학적 흐름 맵을 이용하도록 구성될 수 있다. 광학적 흐름 맵은, 현재 이미지 프레임과 이전 이미지 프레임에서 복수의 픽셀의 픽셀 값의 차이에 기초하여 생성될 수 있다. 복수의 제1 움직임 벡터 값은, 이전 이미지 프레임으로부터 현재 이미지 프레임으로의 복수의 픽셀들 각각의 상대적 움직임에 대응할 수 있다.

이미지 처리 장치(102)는 추가로, 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하도록 구성될 수 있다. 복수의 제2 움직임 벡터 값은 이미지 처리 장치(102)에 제공된 센서로부터 수신된 입력에 기초하여 계산될 수 있다. 예를 들어, 센서로부터 수신된 입력은 현재 이미지 프레임에서의 복수의 픽셀 각각의 각속도 정보에 대응할 수 있다. 이미지 처리 장치(102)에 포함된 센서는 자이로 센서 등의 움직임 센서에 대응할 수 있다. 복수의 제2 움직임 벡터 값은 이미지 처리 장치(102)에 제공된 센서(예를 들어 자이로 센서)에 대해 계산된 복수의 움직임 벡터 값에 대응할 수 있다. 복수의 제1 움직임 벡터 값 및 복수의 제2 움직임 벡터 값의 계산은 도 2에 상세히 설명되어 있다.

이미지 처리 장치(102)는 추가로, 정의된 파라미터들의 세트에 기초하여 계산된 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정하도록 구성될 수 있다. 예를 들어, 정의된 파라미터들의 세트는, 이미지 프레임의 총 면적 및/또는 이미지 프레임의 콘트라스트 레벨에 관하여 이미지 프레임의 전경 객체(들)에 의해 커버되는 면적을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 이미지 처리 장치(102)는 추가로, 계산된 복수의 제1 움직임 벡터 값을 현재 이미지 프레임에서의 복수의 픽셀 각각의 복수의 제2 움직임 벡터 값과 비교하도록 구성될 수 있다. 복수의 제2 움직임 벡터 값과 복수의 제1 움직임 벡터 값 사이의 비교에 기초하여 현재 이미지 프레임에서의 복수의 픽셀 각각에 대해 유사성 파라미터가 결정될 수 있다. 픽셀에 관련된 유사성 파라미터는 대응하는 제1 움직임 벡터 값과 대응하는 제2 움직임 벡터 값 사이의 유사도를 나타낼 수 있다. 이미지 처리 장치(102)는 추가로, 현재 이미지 프레임에서의 복수의 픽셀 각각에 대한 유사성 파라미터를 명시된 임계값과 비교하여 현재 이미지 프레임으로부터 하나 이상의 배경 영역을 추출하도록 구성될 수 있다. 예를 들어, 이미지 처리 장치(102)는, 유사성 파라미터가 명시된 임계값을 초과하는 현재 이미지 프레임으로부터 하나 이상의 픽셀을 추출할 수 있다. 추출된 하나 이상의 픽셀은 추출된 하나 이상의 배경 영역을 구성할 수 있다. 하나 이상의 배경 영역의 추출은, 예를 들어, 도 3과 도 4a 및 도 4b에 상세히 설명되어 있다.

한 실시예에 따르면, 이미지 처리 장치(102)는 추가로, 결정된 신뢰도 점수 및 복수의 픽셀 각각에 대한 결정된 유사성 파라미터에 기초하여 신뢰도 맵을 생성하도록 구성될 수 있다. 생성된 신뢰도 맵은, 하나 이상의 배경 영역 각각의 검출 및 추출이 달성될 수 있는 신뢰도 레벨을 나타낼 수 있다. 신뢰도 레벨은 신뢰도 점수에 의해 수치적으로 표현될 수 있다. 신뢰도 맵은 신뢰도 점수에 따라 추출된 하나 이상의 배경 영역을 그래픽으로 나타낼 수 있다. 한 실시예에 따르면, 이미지 처리 장치(102)는, 결정된 신뢰도 점수가 미리정의되거나 정의된 하위 신뢰도 임계값 아래에 있을 때 복수의 제1 움직임 벡터 값에 대한 결정된 신뢰도 점수에 기초하여 복수의 제1 움직임 벡터 값의 계산을 위해 공간 정보를 이용하도록 구성될 수 있다. 미리정의되거나 정의된 하위 신뢰도 임계값은 사용자(108)에 의해 이전에 정의되거나 명시된 임계값 설정을 지칭할 수 있다.

한 실시예에 따르면, 이미지 처리 장치(102)는 복수의 제1 움직임 벡터 값에 대한 결정된 신뢰도 점수가 미리정의되거나 정의된 상위 신뢰도 임계값 위에 있을 때 복수의 제1 움직임 벡터 값에 기초하여 하나 이상의 배경 영역을 추출하도록 구성될 수 있다. 역시 또 다른 실시예에 따르면, 이미지 처리 장치(102)는, 복수의 제1 움직임 벡터 값에 대한 결정된 신뢰도 점수가 미리정의되거나 정의된 하위 신뢰도 임계값 및 미리정의되거나 정의된 상위 신뢰도 임계값의 명시된 범위 내에 있을 때 복수의 제1 움직임 벡터 값 및 복수의 제2 움직임 벡터 값에 기초하여 하나 이상의 배경 영역을 추출하도록 구성될 수 있다.

한 실시예에 따르면, 이미지 처리 장치(102)는, 추출된 하나 이상의 배경 영역을 이용하여 현재 이미지 프레임에서 하나 이상의 관심 객체를 검출하도록 구성될 수 있다. 이미지 처리 장치(102)는 생성된 신뢰도 맵을 추가로 이용하여 하나 이상의 관심 객체를 검출할 수 있다. 일단 하나 이상의 배경 영역이 정확하게 추출되고 나면, 이미지 처리 장치(102)는 검출된 하나 이상의 관심 객체에 관하여 (하나 이상의 관심 객체에 자동포커싱하거나 하나 이상의 관심 객체의 시각적 파라미터의 수정 등의) 하나 이상의 이미지 처리 동작을 실행할 수 있다.

도 2는, 본 개시내용의 한 실시예에 따른, 예시적인 이미지 처리 장치를 나타내는 블록도이다. 도 2는 도 1의 요소들과 연계하여 설명된다. 도 2를 참조하면, 이미지 처리 장치(102)에서 구현된 블록도(200)가 도시되어 있다. 블록도(200)는 처리 회로(200A) 및 광학 회로(200B)를 포함할 수 있다. 처리 회로(200A)는, 이미지 프로세서(202) 등의 하나 이상의 프로세서, 메모리(204), 광학적 흐름 생성기(206), 움직임 센서(208), 배경 추출기(210), 입력/출력(I/O) 디바이스(212), 및 트랜시버(214)를 포함할 수 있다. I/O 디바이스(212)는 디스플레이(212A)를 더 포함할 수 있다. 광학 회로(200B)는, 정상-샷(steady-shot)을 위해 촬상기 제어기(218)에 의해 제어되는, 정의된 치수를 갖는 촬상기(216)를 포함할 수 있다. 광학 회로(200B)는, 렌즈 제어기(222) 및 렌즈 드라이버(224)에 의해 제어되는 복수의 렌즈(220)를 더 포함할 수 있다. 복수의 렌즈(220)는 조리개(220A)를 더 포함할 수 있다. 광학 회로(200B)에는 또한 셔터(226)가 도시되어 있다. 셔터(226)는 결정된 기간 동안 광이 통과하도록 허용하여, 이미지 프레임들의 시퀀스(110)를 캡처하기 위해 촬상기(216)를 노광시킨다.

블록도(200)는 이미지 처리 장치(102) 등의 예시적인 이미지 처리 장치에서 구현되는 것으로 도시되어 있지만, 본 개시내용의 다양한 실시예는 이것으로 제한되지 않는다. 따라서, 한 실시예에 따르면, 블록도(200)는 본 개시내용의 다양한 실시예의 범위를 벗어나지 않으면서 서버(104) 등의 예시적인 서버에서 구현될 수 있다.

도 2를 참조하면, 메모리(204), 광학적 흐름 생성기(206), 움직임 센서(208), 배경 추출기(210), 입력/출력(I/O) 디바이스(212), 및 트랜시버(214)는, 이미지 프로세서(202)에 통신가능하게 접속될 수 있다. 배경 추출기(210)는, 광학적 흐름 생성기(206)로부터의 이미지 프레임들의 시퀀스(110)의 광학적 흐름 맵 및 움직임 센서(208)로부터의 입력을 수신하도록 구성될 수 있다. 복수의 렌즈(220)는 렌즈 제어기(222) 및 렌즈 드라이버(224)와 접속될 수 있다. 복수의 렌즈(220)는 이미지 프로세서(202)와 연관하여 렌즈 제어기(222)에 의해 제어될 수 있다.

이미지 프로세서(202)는, 메모리(204)에 저장된 명령어 세트를 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 이미지 프로세서(202)는, 이미지 처리 장치(102)에 의해 이미지 프레임들의 캡처된 시퀀스(110)로부터 하나 이상의 배경 영역을 추출할 것을 배경 추출기(210)에 지시하도록 구성될 수 있다. 이미지 프로세서(202)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현된 전문화된 이미지 처리 애플리케이션 프로세서일 수 있다. 이미지 프로세서(202)의 예는, X86 기반의 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, 및/또는 기타의 하드웨어 프로세서일 수 있다.

메모리(204)는, 이미지 프로세서(202), 광학적 흐름 생성기(206), 및 배경 추출기(210)에 의해 실행가능한 명령어 세트를 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 메모리(204)는, 이미지 처리 장치(102)에 의해 캡처된 (현재 이미지 프레임 및 이전 이미지 프레임 등의) 이미지 프레임들의 시퀀스(110)를 저장하도록 구성될 수 있다. 메모리(204)는 추가로, 이미지 처리 장치(102)의 운영 체제 및 연관된 애플리케이션을 저장하도록 구성될 수 있다. 메모리(204)의 구현의 예는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크 드라이브(HDD), 및/또는 플래시 드라이브를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

광학적 흐름 생성기(206)는, 이미지 처리 장치(102)에 의해 캡처된 비디오 콘텐츠의 이미지 프레임들의 시퀀스(110)를 메모리(204)로부터 수신하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 광학적 흐름 생성기(206)는 추가로, 이미지 프레임들의 시퀀스(110)에서 현재 이미지 프레임 및 이미지 프레임들의 시퀀스(110)에서 현재 이미지 프레임 앞에 놓인 이미지 프레임에 기초하여 광학적 흐름 맵을 생성하도록 구성될 수 있다. 현재 이미지 프레임 앞에 놓인 이미지 프레임은 이전 이미지 프레임이라고 지칭될 수 있다. 광학적 흐름 생성기(206)의 예는, X86 기반의 프로세서, RISC 프로세서, ASIC 프로세서, CISC 프로세서, 및/또는 기타의 하드웨어 프로세서를 포함할 수 있다. 광학적 흐름 생성기(206)는 이미지 처리 장치(102)에서 (도시된 바와 같이) 별개의 프로세서 또는 회로로서 구현될 수 있다. 한 실시예에 따르면, 광학적 흐름 생성기(206) 및 이미지 프로세서(202)는, 광학적 흐름 생성기(206) 및 이미지 프로세서(202)의 기능을 수행하는 통합 프로세서 또는 프로세서들의 클러스터로서 구현될 수도 있다.

움직임 센서(208)는, 이미지 처리 장치(102) 등의 장치에서 움직임(선형 또는 각)을 검출하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 예를 들어, 움직임 센서(208)는 이미지 프레임들의 시퀀스(110)에서 이미지 프레임 내의 복수의 픽셀의 각속도 정보를 검출하도록 구성될 수 있다. 움직임 센서(208)의 구현의 예는, 자이로 센서, 가속도계, 및/또는 그 유사한 것들을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 배경 추출기(210)는, (이미지 프레임들의 시퀀스(110) 내의 현재 이미지 프레임 등의) 이미지 프레임으로부터 하나 이상의 배경 영역을 추출하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 배경 추출기(210)는, 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값의 계산을 위한 다양한 알고리즘 및 수학 함수를 구현하도록 구성될 수 있다. 복수의 제1 움직임 벡터 값은 광학적 흐름 생성기(206)에 의해 생성된 광학적 흐름 맵을 이용하여 계산될 수 있다. 복수의 제1 움직임 벡터 값은, 이전 이미지 프레임으로부터 현재 이미지 프레임으로의 복수의 픽셀들 각각의 상대적 움직임에 대응할 수 있다. 배경 추출기(210)는 추가로, 움직임 센서(208)로부터 수신된 (각속도 정보 등의) 입력에 기초하여 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값의 계산을 위한 다양한 알고리즘 및 수학 함수를 구현하도록 구성될 수 있다. 현재 이미지 프레임에서의 하나 이상의 배경 영역의 추출은 계산된 복수의 제1 움직임 벡터 값 및 계산된 복수의 제2 움직임 벡터 값에 기초할 수 있다. 배경 추출기(210)는 이미지 처리 장치(102)에서 (도시된 바와 같이) 별개의 프로세서 또는 회로로서 구현될 수 있다. 한 실시예에 따르면, 배경 추출기(210) 및 이미지 프로세서(202)는 배경 추출기(210) 및 이미지 프로세서(202)의 기능을 수행하는 통합 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다.

I/O 디바이스(212)는 사용자(108) 등의 사용자로부터 입력을 수신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. I/O 디바이스(212)는 추가로, 사용자(108)에게 출력을 제공하도록 구성될 수 있다. I/O 디바이스(212)는, 이미지 프로세서(202)와 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스를 포함할 수 있다. 입력 디바이스의 예는, 터치 스크린, 키보드, 마우스, 조이스틱, 마이크로폰, 및/또는 이미지 캡처 디바이스를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 출력 디바이스의 예는, 디스플레이(212A) 및/또는 스피커를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

디스플레이(212A)는, 추출된 하나 이상의 배경 영역을 사용자(108)에게 디스플레이하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 디스플레이(212A)는, 액정 디스플레이(LCD) 디스플레이, 발광 다이오드(LED) 디스플레이, 플라즈마 디스플레이, 및/또는 유기 LED(OLED) 디스플레이 기술, 및/또는 기타의 디스플레이 중 적어도 하나 등의 그러나 이것으로 제한되지 않는 수 개의 공지된 기술을 통해 실현될 수 있다. 한 실시예에 따르면, 디스플레이(212A)는, 스마트 안경 디바이스의 디스플레이 스크린, 프로젝션 기반의 디스플레이, 전기 변색 디스플레이, 및/또는 투명 디스플레이 등의 다양한 출력 디바이스를 지칭할 수 있다.

트랜시버(214)는, 통신 네트워크(106)를 통해 이미지 프레임들의 시퀀스(110)를 서버(104)에 전송하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 트랜시버(214)는 통신 네트워크(106)와의 유선 또는 무선 통신을 지원하는 공지된 기술들을 구현할 수도 있다. 트랜시버(214)는, 안테나, 주파수 변조(FM) 트랜시버, 무선 주파수(RF) 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더 디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 트랜시버(214)는, 인터넷, 인트라넷, 및/또는 셀룰러 전화 네트워크, 무선 근거리 통신망(LAN) 및/또는 메트로폴리탄 지역 네트워크(MAN)와 같은 무선 네트워크 등의 네트워크와 무선 통신을 통해 통신할 수 있다. 무선 통신은, LTE(Long Term Evolution), GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), 광대역 코드 분할 다중 액세스(W-CDMA), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), Bluetooth, 무선 피델리티(Wi-Fi)(e.120g, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 전자 메일, 인스턴트 메시징 및/또는 단문 서비스(SMS)를 위한 프로토콜 등의, 복수의 통신 표준, 프로토콜 및 기술들 중 임의의 것을 이용할 수 있다.

촬상기(216)는, (이미지 프레임들의 시퀀스(110) 내의 복수의 이미지 프레임 등의) 이미지를 아날로그 광 신호로부터 일련의 디지털 픽셀로 어떠한 왜곡도 없이 변환하도록 구성될 수 있는 적절한 회로, 및/또는 인터페이스를 포함할 수 있다. 촬상기(216)의 구현의 예는, CCD(Charge-Coupled Device) 촬상기 및 CMOS(Complementary Metal-Oxide-Semiconductor) 촬상기를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

촬상기 제어기(218)는, 이미지 프로세서(202)로부터 수신된 명령어에 기초하여 촬상기(216)의 배향 또는 방향을 제어하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 촬상기 제어기(218)는, 본 기술분야의 통상의 기술자에게 널리 공지된 수 개의 기술들을 이용하여 구현될 수도 있다.

복수의 렌즈(220)는, (객체(112) 등의) 객체의 (이미지 프레임들의 시퀀스(110) 등의) 이미지를 캡처하기 위한 메커니즘 및 카메라 본체와 연계하여 이용되는 광학적 렌즈 또는 렌즈들의 조립체에 대응할 수 있다. 이미지는, 화학적으로 또는 전자적으로 이미지를 저장할 수 있는 사진 필름 또는 기타의 매체 상에 캡처될 수 있다.

렌즈 제어기(222)는, 복수의 렌즈(220)의 줌, 포커스, 또는 조리개(220A) 또는 구경 등의 다양한 특성을 제어하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 렌즈 제어기(222)는 이미지 처리 장치(102)의 촬상 유닛의 내부적 일부일 수 있거나 이미지 프로세서(202)와 연계한 독립형 유닛일 수 있다. 렌즈 제어기(222)는, 본 기술분야의 통상의 기술자에게 널리 공지된 수 개의 기술들을 이용하여 구현될 수도 있다.

렌즈 드라이버(224)는, 렌즈 제어기(222)로부터 수신된 명령어에 기초하여 줌 및 초점 제어 및 조리개 제어를 수행하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 렌즈 드라이버(224)는, 본 기술분야의 통상의 기술자에게 널리 공지된 수 개의 기술들을 이용하여 구현될 수도 있다.

동작에서, 이미지 처리 장치(102) 등의 예시적인 장치는 복수의 렌즈(220)를 통해 이미지 프레임들의 시퀀스(110)를 캡처할 수 있다. 복수의 렌즈(220)는, 이미지 프로세서(202)와 연계하여 렌즈 제어기(222) 및 렌즈 드라이버(224)에 의해 제어될 수 있다. 복수의 렌즈(220)는 사용자로부터 수신된 입력 신호에 기초하여 제어될 수 있다. 입력 신호는, 디스플레이(212A) 상에 렌더링된 그래픽 버턴의 선택, 제스처, 및/또는 이미지 처리 장치(102)에서 이용가능한 하드웨어 버턴의 버턴 누름 이벤트를 통해 사용자에 의해 제공될 수 있다. 대안으로서, 이미지 처리 장치(102)는 메모리(204)에 미리저장된 또 다른 이미지 프레임들의 시퀀스를 회수할 수 있다. 이미지 프레임들의 시퀀스(110)는 비디오 클립 등의 비디오에 대응할 수 있고, 적어도 현재 이미지 프레임 및 이전 이미지 프레임을 포함할 수 있다.

배경 추출기(210)는, 광학적 흐름 생성기(206)에 의해 생성된 광학적 흐름 맵을 이용하여 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성될 수 있다. 광학적 흐름 맵은, 현재 이미지 프레임과 이전 이미지 프레임에서 복수의 픽셀의 픽셀 값의 차이에 기초하여 생성될 수 있다. 복수의 제1 움직임 벡터 값은, 이전 이미지 프레임으로부터 현재 이미지 프레임으로의 복수의 픽셀들 각각의 상대적 움직임에 대응할 수 있다. 이전 이미지 프레임으로부터 현재 이미지 프레임으로의 복수의 픽셀 각각의 상대적 움직임의 이러한 계산은 본 기술분야에 공지된 다양한 수학 함수에 기초하여 결정될 수 있다. 이러한 수학 함수의 예는, SAD(sum of absolute difference) 함수, SSD(sum of squared difference) 함수, WSAD(weighted sum of absolute difference) 함수 및/또는 WSSD(weighted sum of squared difference) 함수를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 그럼에도 불구하고, 본 기술분야에 공지된 다른 수학 함수들이, 본 개시내용의 범위를 벗어나지 않으면서 복수의 픽셀 각각의 상대적 움직임의 계산을 위해 구현될 수도 있다. 복수의 픽셀 각각의 이러한 계산된 상대적 움직임은 다음과 같은 수학식 (1)로 표현될 수 있다:

한 실시예에 따르면, 배경 추출기(210)는 정의된 파라미터들의 세트에 기초하여 계산된 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정할 수 있다. 예를 들어, 정의된 파라미터들의 세트는 이미지 프레임의 총 면역 및/또는 이미지 프레임의 전경 및 배경 영역의 콘트라스트 레벨에 관하여 하나 이상의 전경 객체에 의해 커버되는 영역을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 복수의 제1 움직임 벡터 값 각각의 결정된 신뢰도 점수는 대응하는 제1 움직임 벡터 값의 정확도 파라미터를 나타낼 수 있다. 예를 들어, 픽셀의 제1 움직임 벡터 값에 관련된 더 높은 신뢰도 점수는, 또 다른 픽셀의 제1 움직임 벡터 값에 관련된 더 낮은 신뢰도 점수와 비교하여 더 높은 정확도를 나타낼 수 있다. 예를 들어, 이미지 프레임에서 낮은 콘트라스트 비를 갖는 제1 세트의 픽셀들에 대해 계산된 제1 움직임 벡터 값은 추가로, 이미지 프레임에서 높은 콘트라스트 비를 갖는 제2 세트의 픽셀들에 대해 계산된 제1 움직임 벡터 값에 비해 더 낮은 신뢰도 점수를 나타낸다.

배경 추출기(210)는 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하도록 구성될 수 있다. 배경 추출기(210)는 움직임 센서(208)에 의해 제공된 (각속도 정보 등의) 입력에 기초하여 복수의 제2 움직임 벡터 값을 계산할 수 있다. 복수의 제2 움직임 벡터 값의 계산은 추가로, 이미지 처리 장치(102) 등의 예시적인 장치의 하나 이상의 디바이스 파라미터에 기초할 수 있다. 하나 이상의 디바이스 파라미터의 예는, 복수의 렌즈(220)의 유효 초점 거리, 수평 픽셀들의 수, 및 촬상기(216)의 폭을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 계산된 복수의 제2 움직임 벡터 값은

로 표현될 수 있다. 복수의 제2 움직임 벡터 값은 움직임 센서(208)에 기초하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀의 움직임을 나타낼 수 있다. 복수의 픽셀의 이러한 움직임은 예를 들어 다음과 같은 수학식 (2)로 표현될 수 있다:

여기서,

θ는, 시간 △t[sec] 동안 움직임 센서(208)로부터 수신된 각속도 정보

에 기초하여 계산된 이동 각도를 나타내고;

f [mm]는 복수의 렌즈(220) 중의 한 렌즈의 초점 거리를 나타낸다.

픽셀 당 촬상기 크기 [m] = X/H * 10^-3

여기서,

X는 촬상기(216)의 폭을 나타내고;

H는 촬상기(216)의 수평 픽셀들의 수를 나타낸다.

한 실시예에 따르면, 배경 추출기(210)는 계산된 복수의 제1 움직임 벡터 값과 복수의 픽셀의 복수의 제2 움직임 벡터 값을 비교하도록 구성될 수 있다. 배경 추출기(210)는, 복수의 제2 움직임 벡터 값과 복수의 제1 움직임 벡터 값 사이의 비교에 기초하여 현재 이미지 프레임에서의 복수의 픽셀 각각에 대한 유사성 파라미터를 추가로 결정할 수 있다. 달리 말하면, 픽셀에 관련된 결정된 유사성 파라미터는 대응하는 제1 움직임 벡터 값과 대응하는 제2 움직임 벡터 값 사이의 유사도를 나타낼 수 있다. 배경 추출기(210)는 추가로, 현재 이미지 프레임에서의 복수의 픽셀 각각에 대한 유사성 파라미터를 명시된 임계값과 비교하도록 구성될 수 있다. 임계값은 사용자(108)에 의해 미리 명시될 수 있다. 하나 이상의 배경 영역은, 현재 이미지 프레임에서의 복수의 픽셀 각각에 대한 유사성 파라미터와 명시된 임계값 사이의 비교에 기초하여 현재 이미지 프레임으로부터 추출될 수 있다. 예를 들어, 유사성 파라미터가 명시된 임계값을 초과하는 하나 이상의 픽셀은 하나 이상의 배경 영역을 구성하는 것으로 간주되어 배경 추출기(210)에 의해 추출될 수 있다.

한 실시예에 따르면, 배경 추출기(210)는 추가로, 결정된 신뢰도 점수 및 복수의 픽셀 각각에 대한 결정된 유사성 파라미터에 기초하여 신뢰도 맵을 생성하도록 구성될 수 있다. 신뢰도 맵은 신뢰도 점수에 따라 추출된 하나 이상의 배경 영역을 그래픽으로 표현할 수 있다. 달리 말하면, 생성된 신뢰도 맵은 배경 추출기(210)가 하나 이상의 배경 영역 각각을 검출하고 추출한 신뢰도 레벨을 나타낼 수 있다. 신뢰도 맵에서 더 높은 신뢰도 레벨과 연관된 배경 영역은 현재 이미지 프레임에서 실제 배경 영역을 나타내는 추출된 영역의 가능성이, 신뢰도 맵에서 더 낮은 신뢰도 레벨과 연관된 다른 배경 영역에 비해 더 높다는 것을 나타낼 수 있다. 더 낮은 신뢰도 점수와 연관된 픽셀은 추가로, 더 낮은 신뢰도 레벨과 연관되고, 더 높은 신뢰도 점수와 연관된 또 다른 픽셀은 추가로, 생성된 신뢰도 맵에서 더 높은 신뢰도 레벨과 연관된다. 따라서, 더 낮은 신뢰도 점수를 갖는 픽셀들을 포함하는 배경 영역은 신뢰도 맵에서 더 낮은 신뢰도 레벨과 연관될 수 있다.

한 실시예에 따르면, 배경 추출기(210)는 추가로, 추출된 하나 이상의 배경 영역 및 생성된 신뢰도 맵을 이미지 프로세서(202)에 제공하도록 구성될 수 있다. 이미지 프로세서(202)는 추출된 하나 이상의 배경 영역들 및 생성된 신뢰도 맵에 기초하여 현재 이미지 프레임에서 (객체(112) 등의) 관심 객체를 검출하도록 구성될 수 있다. 이미지 프로세서(202)는 관심 객체에 대한 하나 이상의 이미지 처리 동작을 더 수행할 수 있다. 하나 이상의 이미지 처리 동작은, 관심 객체에 관한 자동포커싱, (색상, 색조, 채도, 콘트라스트 및/또는 밝기 등의) 관심 객체의 시각적 파라미터를 향상시키는 것을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 하나 이상의 배경 영역의 추출의 예가 도 3에 도시되어 있다.

도 3은, 본 개시내용의 한 실시예에 따른, 비디오 콘텐츠에서의 광학적 흐름 및 센서 기반의 배경 감산에 대한 예시적인 시나리오를 도시한다. 도 3은 도 1 및 도 2의 요소들과 연계하여 설명된다. 도 3을 참조하면, 라이브 축구 경기의 한 장면에 대응하는 이전 이미지 프레임(302) 및 현재 이미지 프레임(304)을 포함하는 예시적인 시나리오(300)가 도시되어 있다. 이 장면은 4명의 축구 선수, 관중 및 축구장을 포함한다. 이미지 처리 장치(102) 등의 촬상 디바이스는 최대 줌으로 설정된다. 따라서, 이 장면 내의 축구 선수는 관중 및 축구장에 비해 이미지 처리 장치(102)에 더 근접한 것으로 보이고, 이전 이미지 프레임(302) 및 현재 이미지 프레임(304)의 대부분을 점유한다. 캡처된 장면은 비디오 콘텐츠에 대응할 수 있다. 관중 및 축구장은 하나 이상의 배경 영역에 대응할 수 있고, 4명의 축구 선수는 관심 객체(즉, 하나 이상의 전경 영역)에 대응할 수 있다. 예시적인 시나리오(300)는 광학적 흐름 맵(306), 센서 입력(308), 및 배경 추출기(210)에 의해 생성된 배경 감산의 (출력(312) 등의) 상이한 출력을 더 포함한다. 광학적 흐름 생성기(206), 움직임 센서(208), 및 배경 추출기(210)(도 2)가 더 도시되어 있다.

간결성을 위해, 광학적 흐름 맵(306)의 복수의 영역이 상이한 패턴들로 도시되어 있다. 그러나, 본 기술분야의 통상의 기술자라면 본 개시내용의 범위가 실제 광학적 흐름 맵과 유사하도록 광학적 흐름 맵(306)의 예시적인 표현으로 제한되지 않는다는 것을 이해할 것이다. 예를 들어, 실제 광학적 흐름에서의 복수의 영역은 대개 상이한 색상 음영 또는 동일한 색상의 강도 변화로 표현된다.

예시적인 시나리오(300)를 참조하면, 이전 이미지 프레임(302) 및 현재 이미지 프레임(304)은 이미지 프레임들의 시퀀스(110)에 대응할 수 있다. 이전 이미지 프레임(302)은 시간 인스턴스 (t-1)에서 캡처될 수 있고, 현재 이미지 프레임(304)은 그 다음 시간 인스턴스 (t)에서 캡처될 수 있다. 광학적 흐름 생성기(206)는 본 기술분야에 공지된 하나 이상의 기술에 기초하여 광학적 흐름 맵(306)을 생성할 수 있다. 광학적 흐름 맵(306)은 복수의 영역(306a, ..., 306j)을 포함할 수 있다. 복수의 영역(306a, ..., 306j)에서 영역들(306a, 306b 및 306g)은 장면에서 4명의 축구 선수에 대응한다. 영역들(306h 및 306j)은 장면에서 관중들에 대응한다. 또한, 영역들(306c, 306d, 306e 및 306i)은 장면에서의 축구장에 대응한다.

광학적 흐름 생성기(206)는 생성된 광학적 흐름 맵(306)을 배경 추출기(210)에 제공할 수 있다. 배경 추출기(210)는, 도 2에 설명된 바와 같이, 수학식 1을 이용하여 광학적 흐름 맵(306)에 기초하여 현재 이미지 프레임(304)에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산할 수 있다. 배경 추출기(210)는 추가로, 움직임 센서(208)로부터 (각속도 정보 등의) 센서 입력(308)을 수신할 수 있다. 그 다음, 배경 추출기(210)는 센서 입력(308)에 기초하여 현재 이미지 프레임(304)에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산할 수 있다. 배경 추출기(210)는 복수의 제2 움직임 벡터 값의 계산을 위해 이미지 처리 장치(102)의 (복수의 렌즈(220)의 초점 거리, 수평 픽셀들의 수 및 촬상기(216)의 폭 등의) 하나 이상의 디바이스 파라미터를 이용할 수 있다. 배경 추출기(210)는 이전 이미지 프레임(302) 및 현재 이미지 프레임(304)에 대응하는 센서 입력(308)에 적용된, 도 2에 설명된 바와 같은, 수학식 (2)에 기초하여 복수의 제2 움직임 벡터 값을 계산할 수 있다.

배경 추출기(210)는 복수의 제1 움직임 벡터 값에 기초하여 현재 이미지 프레임(304)으로부터 하나 이상의 배경 영역을 추출할 수 있다. 배경 추출기(210)는, 배경 추출기(210)의 출력(312)에 도시된 바와 같이, 복수의 제1 움직임 벡터 값 및 복수의 제2 움직임 벡터 값에 기초하여 현재 이미지 프레임(304)으로부터 하나 이상의 배경 영역(314B,…, 314I)을 추출할 수 있다. 출력(312)에 포함된 추출된 하나 이상의 배경 영역(314B,…, 314I)은 현재 이미지 프레임(304)의 실제 하나 이상의 배경 영역을 정확하게 나타낼 수 있다. 배경 추출기(210)는 추가로, 현재 이미지 프레임(304)에서의 복수의 픽셀 각각에 대한 유사성 파라미터를 결정하기 위해 계산된 복수의 제1 움직임 벡터 값을 복수의 픽셀의 복수의 제2 움직임 벡터 값과 비교할 수 있다. 그 다음, 배경 추출기(210)는 현재 이미지 프레임(304)에서 하나 이상의 배경 영역(314B,…, 314I)을 추출하기 위해 복수의 픽셀 각각의 유사성 파라미터를 명시된 임계값과 비교할 수 있다.

한 실시예에 따르면, 배경 추출기(210)는 정의된 파라미터들의 세트에 기초하여 계산된 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정할 수 있다. 정의된 파라미터들의 세트는, 이미지 프레임의 총 면적 및/또는 이미지 프레임의 콘트라스트 레벨에 관하여 이미지 프레임 내의 전경 객체(들)에 의해 커버되는 면적을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.

한 실시예에 따르면, 배경 추출기(210)는 현재 이미지 프레임(304)에서 결정된 신뢰도 점수 및 복수의 픽셀 각각에 대한 결정된 유사성 파라미터에 기초하여 신뢰도 맵을 생성할 수 있다. 신뢰도 맵은 신뢰도 점수에 따라 하나 이상의 배경 영역(추출된 하나 이상의 배경 영역(314B))을 표현할 수 있다. 예를 들어, 배경 영역들(314C 및 314D)은 생성된 신뢰도 맵에서 배경 영역들(314B 및 314D,…, 314I)에 비해 더 낮은 신뢰도 레벨을 갖는다. 따라서, 배경 영역들(314C 및 314D)이 현재 이미지 프레임(304)의 실제(또는 진정한) 배경 영역들을 나타낼 가능성은, 배경 영역들(314B 및 314D, ..., 314I)이 현재 이미지 프레임(304)의 실제(또는 진정한) 배경 영역을 나타낼 가능성에 비해 더 작다.

한 실시예에 따르면, 이미지 프로세서(202)는 출력(312) 및 생성된 신뢰도 맵에 기초하여 현재 이미지 프레임(304)의 하나 이상의 전경 영역을 검출할 수 있다. 이미지 프로세서(202)는 추출된 하나 이상의 배경 영역(314B,…, 314I)을 제외한 임의의 영역을 현재 이미지 프레임(304)의 하나 이상의 전경 영역으로서 검출할 수 있다. 한 실시예에 따르면, 이미지 프로세서(202)는, 배경 영역들(314B, 314D,…, 314I)에 비해 생성된 신뢰도 맵에서의 더 낮은 신뢰도 레벨로 인해 검출된 하나 이상의 전경 영역에 배경 영역(314C 및 314D)을 포함할 수 있다. 그 다음, 이미지 프로세서(202)는 하나 이상의 전경 영역에 관해 하나 이상의 이미지 처리 동작을 수행할 수 있다.

한 실시예에 따르면, 이미지 처리 장치(102)는 촬상 디바이스(예를 들어, 디지털 카메라 또는 캠코더)에 대응할 수 있다. 촬상 디바이스는 현재 이미지 프레임(304)에서 하나 이상의 관심 객체를 검출하기 위해 (하나 이상의 배경 영역(314B,…, 314I) 등의) 추출된 하나 이상의 배경 영역을 이용할 수 있다. 촬상 디바이스는 추가로, 현재 이미지 프레임(304)에서 움직이는 하나 이상의 객체를 검출하는데 이용될 수 있다. 움직이는 하나 이상의 객체는 하나 이상의 관심 객체에 대응할 수 있다. 또한, 촬상 디바이스는 검출된 하나 이상의 관심 객체에 자동포커싱하는데 이용될 수 있다. 하나 이상의 관심 객체의 하나 이상의 시각적 파라미터(예를 들어, 밝기, 콘트라스트, 색조, 채도 또는 색상)는 하나 이상의 배경 영역의 추출에 기초하여 촬상 디바이스에 의해 수정될 수 있다. 이미지 처리 장치(102)는, 예를 들어, 비디오 감시 디바이스로서 이용될 수 있다.

복수의 제1 움직임 벡터 값 및 복수의 제2 움직임 벡터 값에 기초하여 (현재 이미지 프레임(304) 등의) 이미지 프레임으로부터 (하나 이상의 배경 영역(314B,…, 314I) 등의) 하나 이상의 배경 영역의 추출은, 이미지 처리 장치(102) 등의 장치가 하나 이상의 배경 영역으로부터 하나 이상의 전경 영역을 정확하게 분리하는 능력을 제공할 수 있다. 또한, 이미지 처리 장치(102)는, 이미지 프레임 내의 하나 이상의 전경 영역에 의해 커버되는 영역이 이미지 프레임 내의 하나 이상의 배경 영역에 의해 커버된 영역보다 비교적 더 큰 시나리오에서, 종래의 이미지 처리 장치에 비해 더 양호한 정확도로 (하나 이상의 배경 영역(314B,…, 314I) 등의) 하나 이상의 배경 영역을 추출한다. 달리 말하면, 개시된 장치 및 방법은, 하나 이상의 배경 영역에 의해 커버되는 영역이 이미지 프레임 내의 하나 이상의 전경 영역에 의해 커버되는 영역보다 비교적 더 작은 시나리오에서, 이미지 프레임으로부터 하나 이상의 배경 영역을 정확하게 추출한다.

도 4a 및 4b는, 본 개시내용의 한 실시예에 따른, 비디오 콘텐츠에서의 광학적 흐름 및 센서 기반의 배경 감산을 위한 예시적인 동작을 나타내는 플로차트를 집합적으로 도시한다. 도 4a 및 4b를 참조하면, 플로차트(400)가 도시되어 있다. 플로차트(400)는 도 1, 2 및 3과 연계하여 설명된다. 비디오 콘텐츠에서의 광학적 흐름 및 센서 기반의 배경 감산을 위해 이미지 처리 장치(102)에서 구현되는 동작들은 402에서 시작하여 404로 진행한다.

404에서, 이미지 프레임들의 시퀀스를 포함하는 비디오 콘텐츠가 캡처될 수 있다. 이미지 처리 장치(102)에서의 이미지 프로세서(202)는 렌즈 제어기(222) 및 촬상기 제어기(218)에 복수의 렌즈(220) 및 촬상기(216)를 제어하여 비디오 콘텐츠의 이미지 프레임들의 시퀀스를 캡처할 것을 지시할 수 있다. 한 실시예에 따르면, 이미지 처리 장치(102)는 메모리(204) 및/또는 서버(104)로부터 비디오 콘텐츠의 이미지 프레임들의 시퀀스를 회수할 수 있다. 이미지 프레임들의 시퀀스는 적어도 현재 이미지 프레임 및 이전 이미지 프레임을 포함할 수 있다. 이미지 처리 장치(102)가 이전 이미지 프레임(302) 및 현재 이미지 프레임(304)을 포함하는 이미지 프레임들의 시퀀스(110)를 캡처하는 예가 도 3에 도시되고 설명된다.

406에서, 비디오 콘텐츠의 현재 이미지 프레임의 광학적 흐름 맵이 생성될 수 있다. 광학적 흐름 생성기(206)는 현재 이미지 프레임 및 이전 이미지 프레임에 기초하여 광학적 흐름 맵을 생성하도록 구성될 수 있다. 광학적 흐름 생성기(206)가 현재 이미지 프레임(304) 및 이전 이미지 프레임(302)에 기초하여 광학적 흐름 맵(306)을 생성하는 예가 도 3에 도시되고 설명된다.

408에서, 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값이 계산될 수 있다. 배경 추출기(210)는, 광학적 흐름 맵을 이용함으로써 현재 이미지 프레임에서 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성될 수 있다. 배경 추출기(210)가 광학적 흐름 맵(306)을 이용함으로써 현재 이미지 프레임(304)에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값의 계산하는 예가 도 2 및 도 3에서 도시되고 설명된다. 배경 추출기(210)는 복수의 제1 움직임 벡터 값의 계산을 위해 다양한 알고리즘 및 수학 함수(예를 들어, 도 2에 설명된 수학식 (1))를 구현할 수 있다.

410에서, 움직임 센서로부터의 센서 입력이 수신될 수 있다. 배경 추출기(210)는 움직임 센서(208)로부터 센서 입력을 수신하도록 구성될 수 있다. 배경 추출기(210)가 움직임 센서(208)로부터 (각속도 정보 등의) 센서 입력(308)을 수신하는 예가 도 2 및 도 3에 도시되고 설명된다.

412에서, 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값이 계산될 수 있다. 배경 추출기(210)는 수신된 센서 입력에 기초하여 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하도록 구성될 수 있다. 배경 추출기(210)가 수신된 센서 입력(308)에 기초하여 현재 이미지 프레임(304)에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하는 한 예가 도 2 및 도 3에 도시되고 설명된다. 배경 추출기(210)는 복수의 제2 움직임 벡터 값의 계산을 위해 다양한 알고리즘 및 수학 함수(예를 들어, 도 2에 설명된 수학식 (2))를 구현할 수 있다.

414에서, 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수가 결정될 수 있다. 배경 추출기(210)는 정의된 파라미터들의 세트에 기초하여 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정하도록 구성될 수 있다. 배경 추출기(210)가 정의된 파라미터들의 세트에 기초하여 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정하는 한 예가 도 2 및 도 3에 도시되고 설명된다.

416에서, 복수의 제2 움직임 벡터 값이 복수의 제1 움직임 벡터 값과 비교될 수 있다. 배경 추출기(210)는 복수의 제2 움직임 벡터 값을 복수의 제1 움직임 벡터 값과 비교하도록 구성될 수 있다. 배경 추출기(210)가 복수의 제2 움직임 벡터 값을 복수의 제1 움직임 벡터 값과 비교하는 예가 도 2 및 도 3에 도시되고 설명된다.

418에서, 현재 이미지 프레임에서의 복수의 픽셀 각각에 대해 유사성 파라미터가 결정될 수 있다. 배경 추출기(210)는 복수의 제2 움직임 벡터 값과 복수의 제1 움직임 벡터 값의 비교에 기초하여 현재 이미지 프레임에서의 복수의 픽셀 각각에 대한 유사성 파라미터를 위해 구성될 수 있다. 배경 추출기(210)가 현재 이미지 프레임(304)에서의 복수의 픽셀 각각에 대한 유사성 파라미터를 결정하는 한 예가 도 2 및 도 3에 도시되고 설명된다.

420에서, 복수의 픽셀 중의 픽셀에 관련된 유사성 파라미터가 명시된 임계값과 비교될 수 있다. 배경 추출기(210)는 복수의 픽셀 중의 한 픽셀에 관련된 유사성 파라미터를 명시된 임계값과 비교하도록 구성될 수 있다. 임계값은 이미지 처리 장치(102)와 연관된 사용자(108)에 의해 미리 명시될 수 있다. 배경 추출기(210)가 현재 이미지 프레임(304)에서의 복수의 픽셀 각각에 관련된 유사성 파라미터를 명시된 임계값과 비교하는 한 예가 도 2 및 도 3에 도시되고 설명된다.

422에서, 유사성 파라미터가 명시된 임계값을 초과하는 픽셀이 하나 이상의 배경 영역에 포함될 수 있다. 배경 추출기(210)는, 추출될 하나 이상의 배경 영역에서 유사성 파라미터가 명시된 임계값을 초과하는 픽셀을 포함하도록 구성될 수 있다. 배경 추출기(210)는 대응하는 유사성 파라미터가 명시된 임계값을 초과하는 하나 이상의 배경 영역 내의 모든 픽셀을 포함할 수 있다.

424에서, 하나 이상의 배경 영역이 현재 이미지 프레임으로부터 추출될 수 있다. 배경 추출기(210)는, 대응하는 유사성 파라미터가 명시된 임계값을 초과하는 모든 픽셀을 포함하는 하나 이상의 배경 영역을 현재 이미지 프레임으로부터 추출하도록 구성될 수 있다. 배경 추출기(210)는, 복수의 픽셀 중의 픽셀이 하나 이상의 배경 영역에 포함되도록 추출되는 신뢰도 레벨을 나타내는 신뢰도 맵을 더 생성할 수 있다. 신뢰도 맵은, 현재 이미지 프레임에서의 복수의 픽셀의 복수의 제1 움직임 벡터 값에 관련된 유사성 파라미터 및 신뢰도 점수에 기초하여 생성될 수 있다. 배경 추출기(210)는 현재 이미지 프레임(304)의 추가 처리(예를 들어, 하나 이상의 전경 영역을 검출하거나 관심 객체에 자동포커싱하는 것)를 위해 추출된 하나 이상의 배경 영역을 이미지 프로세서(202)에 제공할 수 있다. 배경 추출기(210)가 현재 이미지 프레임(304)으로부터 하나 이상의 배경 영역(314B,…, 314I)을 추출하는 예가 도 2 및 도 3에 도시되고 설명된다. 제어는 종료(426)로 전달될 수 있다.

본 개시내용의 한 실시예에 따르면, 이미지 처리를 위한 장치가 개시된다. 이미지 처리 장치(102)(도 1) 등의 장치는, (이미지 프로세서(202), 광학적 흐름 생성기(206), 배경 추출기(210)(도 2) 등의) 하나 이상의 프로세서를 포함할 수 있다. 배경 추출기(210)는, (광학적 흐름 맵(306)(도 3) 등의) 광학적 흐름 맵을 이용하여 (이전 이미지 프레임(302)(도 3) 등의 이전 이미지 프레임에 관하여 (현재 이미지 프레임(304)(도 3) 등의) 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하도록 구성될 수 있다. 배경 추출기(210)는, 이미지 처리 장치(102)에 제공된 (움직임 센서(208)(도 2) 등의) 센서로부터 수신된 (센서 입력(308)(도 3) 등의) 입력에 기초하여 현재 이미지 프레임(304)에서의 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하도록 구성될 수 있다. 배경 추출기(210)는 추가로, 정의된 파라미터들의 세트에 기초하여 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정하도록 구성될 수 있다. 배경 추출기(210)는 추가로, 결정된 신뢰도 점수 및 복수의 제1 움직임 벡터 값과 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 현재 이미지 프레임(304)으로부터 (하나 이상의 배경 영역(314B,… 314I)(도 3) 등의) 하나 이상의 배경 영역을 추출하도록 구성될 수 있다.

본 개시내용의 다양한 실시예는 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산을 위한 장치 및 방법을 포함하는 수 많은 이점들을 포함한다. 광학적 흐름 및 센서 입력 기반의 배경 감산은 관심 객체가 이미지 캡처 디바이스에 근접한 경우 잘못된 배경 추출을 극복한다. 예를 들어, 최대 줌으로 장면의 이미지 프레임을 캡처하는 경우, 관심 객체는 캡처 디바이스에 매우 가까운 것으로 보이고 캡처된 이미지 프레임의 대부분을 점유한다. 예를 들어, 도 3에 나타낸 바와 같이, 이미지 처리 장치는 최대 줌으로 작동될 수 있고, 따라서 4명의 축구 선수는 현재 이미지 프레임(304) 및 이전 이미지 프레임(302)의 대부분을 점유한다. 이 시나리오에서, 배경 영역은 관심 객체에 비해 더 적은 부분을 점유한다. 대개, 종래의 장치 및 방법에 의한 이러한 시나리오에서의 배경 추출은, 종래의 장치가 이미지 프레임에서 가장 큰 부분을 배경 영역으로서 추출하기 때문에 부정확할 수 있다. 배경 추출기(210)는, 이미지 처리 장치(102)가 이미지에서의 배경 영역 커버리지에 관계없이 정확하게 하나 이상의 배경 영역을 추출할 수 있게 한다.

배경 추출기(210)는 추가로, 추출된 배경 영역이 이미지 프레임의 실제 배경 영역을 나타낼 가능성을 나타내는 신뢰도 맵을 생성한다. 따라서, 이미지 프로세서(202)는 신뢰도 맵 및 추출된 하나 이상의 배경 영역을 이용하여, 이미지 프레임을 추가로 처리하는데 이용될 수 있는 높은 신뢰도 배경 영역을 식별할 수 있다.

본 개시내용의 다양한 실시예는, 이미지 처리를 위해 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖고 있는 머신 코드 및/또는 컴퓨터 프로그램이 저장되어 있는, 비일시적인 컴퓨터 판독가능한 매체 및/또는 저장 매체, 및/또는 비일시적 머신 판독가능한 매체 및/또는 저장 매체를 제공할 수 있다. 적어도 하나의 코드 섹션은, 머신 및/또는 컴퓨터로 하여금 광학적 흐름 맵을 이용하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값의 계산을 포함하는 동작들을 수행하게 할 수 있다. 장치에 제공된 센서로부터 수신된 입력에 기초하여 현재 이미지 프레임에서의 복수의 픽셀에 대해 복수의 제2 움직임 벡터 값이 계산될 수 있다. 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수는 정의된 파라미터들의 세트에 기초하여 결정될 수 있다. 결정된 신뢰도 점수 및 복수의 제1 움직임 벡터 값과 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 현재 이미지 프레임으로부터 하나 이상의 배경 영역이 추출될 수 있다.

본 개시내용은, 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은, 적어도 하나의 컴퓨터 시스템에서 중앙집중식 방식으로, 또는 상이한 요소들이 수 개의 상호접속된 컴퓨터 시스템들에 걸쳐 분산되어 있을 수 있는 분산형 방식으로 실현될 수 있다. 여기서 설명된 방법을 수행하도록 적합화된 컴퓨터 시스템 또는 다른 장치가 적절할 수도 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되고 실행될 때, 여기서 설명된 방법을 실행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖춘 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들도 역시 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수도 있다.

본 개시내용은 또한, 여기서 설명된 방법들의 구현을 가능하게 하고 컴퓨터 시스템에 로딩될 때 이들 방법을 실행할 수 있는 모든 피처들을 포함하는 컴퓨터 프로그램 제품에 임베딩될 수도 있다. 본 개시내용이 소정 실시예들을 참조하여 기술되었지만, 본 기술분야의 통상의 기술자라면, 본 개시내용의 범위로부터 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물로 대체될 수 있다는 것을 이해할 것이다. 또한, 특정한 상황 또는 재료를 본 개시내용의 교시에 맞게 그 본질적 범위로부터 벗어나지 않고 적합하게 개작하도록 많은 수정이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예에 제한되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예를 포함하는 것으로 의도된다.

Claims

이미지 처리를 위한 장치로서,
하나 이상의 프로세서
를 포함하고, 상기 하나 이상의 프로세서는:
광학적 흐름 맵(optical flow map)을 이용하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하고;
상기 장치에 제공된 센서로부터 수신된 입력에 기초하여 상기 현재 이미지 프레임에서의 상기 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하며;
정의된 파라미터들의 세트에 기초하여 상기 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수(confidence score)를 결정하고;
상기 결정된 신뢰도 점수 및 상기 복수의 제1 움직임 벡터 값과 상기 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 상기 현재 이미지 프레임으로부터 하나 이상의 배경 영역을 추출하도록
구성되는 장치.
제1항에 있어서, 상기 하나 이상의 프로세서는 추가로, 이미지 프레임들의 시퀀스를 캡처하도록 구성되고, 상기 이미지 프레임들의 시퀀스는 적어도 상기 현재 이미지 프레임 및 상기 이전 이미지 프레임을 포함하는 장치.
제1항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 현재 이미지 프레임과 상기 이전 이미지 프레임에서 상기 복수의 픽셀의 픽셀 값들의 차이에 기초하여 상기 광학적 흐름 맵을 생성하도록 구성되는 장치.
제1항에 있어서, 상기 수신된 입력은 상기 현재 이미지 프레임에서 상기 복수의 픽셀 각각의 각속도 정보에 대응하는 장치.
제1항에 있어서, 상기 복수의 제1 움직임 벡터 값 각각은 상기 이전 이미지 프레임으로부터 상기 현재 이미지 프레임으로의 상기 복수의 픽셀 각각의 상대적 움직임에 대응하는 장치.
제1항에 있어서, 상기 복수의 제2 움직임 벡터 값은 상기 장치에 제공된 자이로 센서에 대해 계산된 복수의 움직임 벡터 값에 대응하는 장치.
제1항에 있어서, 상기 복수의 제2 움직임 벡터 값의 상기 계산은 추가로, 상기 장치의 하나 이상의 디바이스 파라미터에 기초하고, 상기 하나 이상의 디바이스 파라미터는 상기 장치의 렌즈의 초점 거리, 수평 픽셀들의 수, 및 상기 장치에 제공된 촬상기 컴포넌트(imager component)의 폭을 포함하는 장치.
제1항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 하나 이상의 배경 영역의 추출을 위해 상기 복수의 픽셀의 상기 복수의 제2 움직임 벡터 값을 상기 복수의 제1 움직임 벡터 값과 비교하도록 구성되는 장치.
제8항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 복수의 제2 움직임 벡터 값과 상기 복수의 제1 움직임 벡터 값 사이의 상기 비교에 기초하여 상기 현재 이미지 프레임에서의 상기 복수의 픽셀 각각에 대한 상기 유사성 파라미터를 결정하도록 구성되는 장치.
제9항에 있어서, 상기 하나 이상의 프로세서는 추가로, 상기 신뢰도 점수 및 상기 복수의 픽셀 각각에 관련된 상기 유사성 파라미터에 기초하여 신뢰도 맵을 생성하도록 구성되는 장치.
제10항에 있어서, 상기 하나 이상의 배경 영역은 상기 복수의 픽셀 각각에 관련된 상기 결정된 유사성 파라미터와 명시된 임계값의 비교에 기초하여 추출되는 장치.
제1항에 있어서, 상기 현재 이미지 프레임은 하나 이상의 전경 영역 및 상기 하나 이상의 배경 영역을 포함하는 장치.
이미지 처리 시스템으로서,
촬상 디바이스 내의 하나 이상의 프로세서
를 포함하고, 상기 하나 이상의 프로세서는:
광학적 흐름 맵을 이용하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하고;
상기 촬상 디바이스에 제공된 센서로부터 수신된 입력에 기초하여 상기 현재 이미지 프레임에서의 상기 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하며;
정의된 파라미터들의 세트에 기초하여 상기 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정하고;
상기 결정된 신뢰도 점수 및 상기 복수의 제1 움직임 벡터 값과 상기 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 상기 현재 이미지 프레임으로부터 하나 이상의 배경 영역을 추출하며;
상기 추출된 하나 이상의 배경 영역에 기초하여 상기 현재 이미지 프레임에서 하나 이상의 관심 객체를 검출하도록
구성되는 이미지 처리 시스템.
제13항에 있어서, 상기 검출된 하나 이상의 관심 객체는 상기 현재 이미지 프레임에서 움직이는 하나 이상의 객체에 대응하는 이미지 처리 시스템.
제13항에 있어서, 상기 촬상 디바이스 내의 상기 하나 이상의 프로세서는 추가로, 상기 검출된 하나 이상의 관심 객체에 자동포커싱하도록 구성되는 이미지 처리 시스템.
제13항에 있어서, 상기 촬상 디바이스 내의 상기 하나 이상의 프로세서는 추가로, 상기 검출된 하나 이상의 관심 객체의 하나 이상의 시각적 파라미터를 수정하도록 구성되는 이미지 처리 시스템.
이미지 처리를 위한 방법으로서,
이미지 프레임들의 시퀀스를 핸들링하도록 구성된 장치에서:
광학적 흐름 맵을 이용하여 이전 이미지 프레임에 관해 현재 이미지 프레임에서의 복수의 픽셀에 대한 복수의 제1 움직임 벡터 값을 계산하는 단계;
센서로부터 수신된 입력에 기초하여 상기 현재 이미지 프레임에서의 상기 복수의 픽셀에 대한 복수의 제2 움직임 벡터 값을 계산하는 단계;
정의된 파라미터들의 세트에 기초하여 상기 복수의 제1 움직임 벡터 값에 대한 신뢰도 점수를 결정하는 단계; 및
상기 결정된 신뢰도 점수 및 상기 복수의 제1 움직임 벡터 값과 상기 복수의 제2 움직임 벡터 값 사이의 유사성 파라미터에 기초하여 상기 현재 이미지 프레임에서 하나 이상의 배경 영역을 추출하는 단계
를 포함하는 방법.
제17항에 있어서, 상기 현재 이미지 프레임 및 상기 이전 이미지 프레임에서의 상기 복수의 픽셀의 픽셀 값들의 차이에 기초하여 상기 광학적 흐름 맵을 생성하는 단계를 더 포함하는 방법.
제17항에 있어서, 상기 하나 이상의 배경 영역의 추출을 위해 상기 복수의 픽셀의 상기 복수의 제2 움직임 벡터 값을 상기 복수의 제1 움직임 벡터 값과 비교하는 단계를 더 포함하는 방법.
제19항에 있어서, 상기 복수의 제2 움직임 벡터 값과 상기 복수의 제1 움직임 벡터 값 사이의 비교에 기초하여 상기 현재 이미지 프레임에서 상기 복수의 픽셀 각각에 대한 상기 유사성 파라미터를 결정하는 단계를 더 포함하는 방법.