KR20140035487A - 광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법들 및 장치 - Google Patents

광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법들 및 장치 Download PDF

Info

Publication number
KR20140035487A
KR20140035487A KR1020147000591A KR20147000591A KR20140035487A KR 20140035487 A KR20140035487 A KR 20140035487A KR 1020147000591 A KR1020147000591 A KR 1020147000591A KR 20147000591 A KR20147000591 A KR 20147000591A KR 20140035487 A KR20140035487 A KR 20140035487A
Authority
KR
South Korea
Prior art keywords
pixels
pixel
particular pixel
determining
light flow
Prior art date
Application number
KR1020147000591A
Other languages
English (en)
Inventor
잉용 치
닝 비
쉬에루이 장
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20140035487A publication Critical patent/KR20140035487A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Digital Computer Display Output (AREA)

Abstract

실시형태들은 각각의 픽셀 또는 픽셀들의 그룹에 대한 각각의 가중치에 기초하여 프레임들 간의 픽셀 변위를 결정하는 방법들 및 시스템들을 포함한다. 가중치들은 어느 픽셀들이 광 플로우 계산들에 더 관련이 있는지에 대한 표시를 제공한다. 계산 리소스들 및 계산 노력은 일반적으로 광 플로우 결정들에 더 관련이 있는 더 높은 가중치들을 가진 픽셀들에 초점을 맞출 수 있다.

Description

광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법들 및 장치{CONTENT-ADAPTIVE SYSTEMS, METHODS AND APPARATUS FOR DETERMINING OPTICAL FLOW}
본 실시형태들은 머신 비전에 관한 것으로, 특히, 광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법 및 장치에 관한 것이다.
모바일 무선 통신 디바이스들, 개인 휴대 정보 단말기 (PDA) 들, 랩톱 컴퓨터들, 데스크톱 컴퓨터들, 디지털 카메라들, 디지털 리코딩 디바이스들 등을 포함한 다양한 전자 디바이스들은 머신 비전 (machine vision) 기법들을 채용하여 다목적의 이미징 능력들을 제공한다. 이들 능력들은 사용자들이 랜드마크들을 인식하는 것, 친구들 및/또는 낯선 사람들을 식별하는 것, 및 다양한 다른 태스크들을 돕는 기능들을 포함할 수도 있다.
증강 현실 기능들은 또한 이미지 내의 하나 이상의 객체들의 모션을 식별할 수도 있다. 광 플로우는 모션 추적을 위한 공지된 방법이다. 먼저 원시 (raw) 이미지 픽셀 데이터로부터 객체를 인식한 후 이미지 프레임들의 시퀀스 중에서 객체의 모션을 추적하려고 노력하기보다는, 광 플로우 결정이 대신에 원시 이미지 픽셀 데이터로부터 피처들의 모션을 추적한다. 그러나, 모바일 플랫폼 상에서 공지된 광 플로우 결정 기법들을 구현하기 어렵게 만드는, 계산 복잡도 (computational complexity) 와 같은 다수의 이슈들이 있다.
첨부된 청구항들의 범위 내의 시스템들, 방법들 및 디바이스들의 다양한 실시형태들은 각각 여러 양태들을 가지며, 여러 양태들 중 어떠한 단일의 양태도 단독으로 여기에 설명된 바람직한 속성들에 대해 책임이 없다. 첨부된 청구항들의 범위를 제한하지 않고, 일부 주요한 특징들이 여기에 설명된다. 이 논의를 고려한 후, 그리고 특히 "상세한 설명" 이라는 제목이 붙여진 섹션을 읽은 후, 적어도 하나의 컴퓨터 프로세서 상에서 수행되는, 이미지 프레임들의 시퀀스로부터의 광 플로우 결정들을 제공하기 위해 다양한 실시형태들의 특징들이 어떻게 이용되는지가 이해될 것이다.
본 개시물의 하나의 양태는 프레임들 간의 픽셀 변위 (pixel displacement) 를 결정하는 방법이다. 이 방법은 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치 (weighting-value) 를 결정하는 단계를 포함한다. 각각의 가중치는 특정 픽셀의 속성의, 그 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초한다. 이 방법은 제 1 복수의 픽셀들 중 적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 2 개의 프레임들 간의 픽셀 변위의 광 플로우 표시자 (optical flow indicator) 를 결정하는 단계를 더 포함한다.
본 개시물의 다른 양태는, 실행될 때, 장치로 하여금, 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치를 결정하게 하는 프레임들 간의 픽셀 변위를 결정하기 위한 컴퓨터 프로그램 제품이다. 각각의 가중치는 특정 픽셀의 속성의, 그 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초한다. 그 명령들은 또한, 장치로 하여금, 적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 2 개의 프레임들 간의 픽셀 변위의 광 플로우 표시자를 결정하게 한다.
본 개시물의 다른 양태는 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치를 결정하는 수단으로서, 각각의 가중치는 특정 픽셀의 속성의, 그 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초하는, 상기 각각의 가중치를 결정하는 수단; 및 적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 2 개의 프레임들 간의 픽셀 변위의 광 플로우 표시자를 결정하는 수단을 포함하는 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치이다.
본 개시물의 다른 양태는 메모리; 및 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치를 결정하는 것으로서, 각각의 가중치는 특정 픽셀의 속성의, 그 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초하는, 상기 각각의 가중치를 결정하고; 적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 2 개의 프레임들 간의 픽셀 변위의 광 플로우 표시자를 결정하도록 구성된 프로세서를 포함하는 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치이다.
본 개시물의 특징들이 상세히 이해될 수 있도록 하기 위해, 위에서 간략하게 요약된, 더 상세한 설명은 일부가 첨부된 도면들에 예시되는 양태들을 참조하게 될 수도 있다. 그러나, 첨부된 도면들은 단지 본 개시물의 소정의 통상적인 양태들만을 예시하며, 따라서 그 범위를 제한하는 것으로 간주되지 않을 것이며, 설명을 위해, 다른 동일하게 효과적인 양태들을 인정할 수도 있다는 것에 주목할 것이다.
도 1 은 서버, 데이터베이스, 및 네트워크 송신 시스템에 관한 모바일 디바이스를 나타내는 일반화된 블록도이며, 여기서 그 디바이스들 중 하나 이상은 본 실시형태들 중 소정의 실시형태를 구현한다.
도 2 는 본 실시형태들 중 일부와 연관된 소정의 이미징 애플리케이션들이 채용할 수도 있는 모바일 디바이스의 다양한 컴포넌트들의 블록도이다.
도 3a 는 6×6 픽셀 블록에 대한 색상 (hue)-기반 양자화 레벨들의 하나의 가능한 세트를 예시한다.
도 3b 는 6×6 픽셀 블록에 대한 색상-기반 양자화 레벨들의 하나의 가능한 세트를 예시한다.
도 4 는 광 플로우를 결정하는 방법의 일 구현의 플로우차트이다.
도 5 는 광 플로우를 결정하는 방법의 일 구현의 플로우차트이다.
도 6 은 광 플로우를 결정하는 방법의 일 구현의 플로우차트이다.
도 7 은 일 예의 액세스 단말기의 블록도이다.
일반적인 관행에 따르면, 도면들에 예시된 다양한 피처들은 일정 비율로 그려지지 않을 수도 있다. 따라서, 다양한 피처들의 디멘젼들은 명료함을 위해 임의로 확대되거나 또는 축소될 수도 있다. 또한, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 나타내지 않을 수도 있다. 마지막으로, 유사한 참조 부호들이 명세서 및 도면들 전반에 걸쳐 유사한 피처들을 나타내는데 사용될 수도 있다.
상세한 설명
여기에 개시된 구현들은 모바일 플랫폼들 상의 증강 및 매개 현실 애플리케이션들에 대한 광 플로우 결정들을 제공하도록 구성된 시스템들, 방법들 및 장치를 제공한다. 일반적으로, 증강 현실은 엘리먼트들이 컴퓨터 생성된 센서 입력들, 이를 테면, 가청, 시각 및/또는 촉각 피처들에 의해 보완되는 실세계 환경의 라이브 직접 및/또는 간접 뷰를 위한 용어이다. 증강 현실은 매개 현실의 서브세트이며, 여기서 실세계 이미지는 컴퓨터 기반 기법들을 이용하여 이미지의 엘리먼트들을 추가 및/또는 단순화함으로써 변형된다. 편의 및 간략화를 위해, 용어들 "증강 현실 (augmented reality)" 및 "매개 현실 (mediated reality)" 은 이하에 제공되는 설명에서 상호교환가능하게 사용될 것이다. 일부 애플리케이션들에서, 매개 현실 기법들의 이용은 사용자에게 액세스가능한 환경에 관한 정보가 상호작용적이 되는 것을 허용한다.
객체 모션 추적은 증강 현실 애플리케이션들에 대해 유용한 툴이다. 광 플로우는 모션 추적을 위한 공지된 방법이다. 먼저 원시 이미지 픽셀 데이터로부터 객체를 인식한 후 이미지 프레임들의 시퀀스 중에서 객체의 모션을 추적하려고 노력하기보다는, 광 플로우 결정이 대신에 원시 이미지 픽셀 데이터로부터 피처들의 모션을 추적한다. 그러나, 광 플로우 결정 기법들을 이용한 모션 추적은 계산적으로 고가이어서, 많은 현재의 모바일 플랫폼들 상에서의 구현을 위한 공지된 광 플로우 결정 기법들을 비현실적이게 만든다. 본 실시형태들은 콘텐츠 적응적 광 플로우 결정을 가능하게 하기 위하여 광 플로우 결정 기법들을 변형하는 것을 고려한다.
일부 실시형태들은 적어도 하나의 컴퓨터 프로세서 상에서 수행되는, 이미지 프레임들의 시퀀스로부터 광 플로우 결정들을 제공하기 위한 방법 또는 시스템에 관한 것이다. 본 발명의 예들에 따르면, 이미지의 대응하는 부분들과 연관된 가중치들이 생성될 수도 있다. 일부 구현들에서, 각각의 가중치는 하나 이상의 픽셀들의 정보 값을 표현한다. 광 플로우 계산 (optical flow computation) 들에 있어서, 비교적 낮은 정보 값을 갖는 픽셀들은 경시되고, 비교적 높은 정보 값을 갖는 픽셀들은 강조된다.
픽셀에 의해 제공되는 정보의 양은 픽셀이 이웃하는 픽셀들에 대하여 이미지 내에서 제공하는 콘텍스트의 결정에 기초할 수도 있다. 예를 들어, 하나의 구현에서, 고도로 구조화 및/또는 조직화된 픽셀 이웃들에 의해 둘러싸인 픽셀은 비교적 높은 정보 값을 가진 픽셀인 것으로 간주될 수도 있다. 이러한 픽셀은 모션이 이미지 프레임들의 시퀀스 내에서 추적될 수 있는 인식가능한 피처에 속하는 것으로 가정된다. 반면에, 픽셀 이웃들의 균일한 또는 의사-랜덤 클러스터에 의해 둘러싸인 픽셀은 비교적 낮은 정보 값을 가진 픽셀인 것으로 간주될 수도 있다. 이러한 픽셀은 이미지 내에서 쉽게 인식가능한 피처에 속하지 않는 것으로 가정된다.
다른 예에서, 가중치들은 또한 분산 (dispersion) 의 함수일 수도 있다. 분산은 일반적으로 이미지 영역에서 유사한 픽셀들의 서로로부터의 분리 (separation) 를 지칭한다. 유사한 픽셀들이 서로의 근방에 상주하는 경우에는 분산이 더 낮다. 많은 개재하는 유사하지 않은 픽셀들이 유사한 픽셀들을 분리하는 경우에는 분산이 더 높다. 또한, 어떠한 구별가능한 그룹들도 존재한다고 할 수 없을 정도로 픽셀들이 유사할 때 분산을 "높은" 것으로 정의할 수도 있다. 결국, 이러한 픽셀들은 낮은 정보 값들을 갖는 것으로 카테고리화될 수도 있다. 개개의 유사한 픽셀들이 이미지 내의 광범위하게 분리된 "클럼프 (clump) 들" 또는 그룹들에서 서로의 가까이에 상주하는 경우라 하더라도 유사한 픽셀들은 전체적으로 "분산" 될 수도 있다는 것에 주목한다. "분산 값 (dispersion value)" 은 분산의 정도를 나타내고 하나 이상의 픽셀들의 정보 값을 결정하기 위한 근거를 제공할 수도 있다.
일부 구현들에서, 낮은 정보 값 픽셀들은 결정된 각각의 가중치들에 기초한 광 플로우 결정들에서 경시된다. 당업자는, 지칭된 가중치들이 하나 이상의 픽셀들에 의해 전달되는 정보의 정도에 관한 것이고, 실제 구현이 (인버스, 또는 범위와 같은) 다양한 형태들의 임계값 또는 범위를 표현할 수도 있다는 것을 알 것이다. 따라서, 여기에 설명한 바와 같이, "임계값을 초과하는 것" 은, 그 조건을 설명하기 위해 어떤 특정 구현이 채용되는지에 상관없이 충분한 양의 정보가 존재한다는 것을 나타낸다. 광 플로우 결정 방법들의 다양한 구현들은 예를 들어, 캡처된 이미지 프레임들의 시퀀스에 대해 모션 추적을 수행중인 셀룰러 전화기에서 유용할 수도 있다. 낮은 정보 값들을 갖는 이미지의 부분들을 적절히 가중화함으로써, 시스템은 광 플로우 결정 프로세스로부터 그 부분들을 경시할 수 있다. 다른 영역들, 이를 테면 비교적 높은 정보 값 픽셀들의 영역들은 강조될 수도 있다. 이 방법은 유용한 정보를 제공할 가능성이 없는 픽셀들에 관련된 광 플로우 계산 (computation) 들의 수 및/또는 복잡도를 감소시킴으로써 계산 리소스 (computational resource) 들을 절약할 수도 있다.
다음의 설명에서는, 특정 상세들이 예들의 완전한 이해를 제공하기 위해 주어진다. 그러나, 그 예들이 이들 특정 상세들 없이 실시될 수도 있다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 전기 컴포넌트들/디바이스들은 그 예들을 불필요한 상세로 모호하게 하지 않기 위하여 블록도들로 도시될 수도 있다. 다른 경우들에서, 이러한 컴포넌트들, 다른 구조들 및 기법들은 그 예들을 더욱 설명하기 위해 상세히 도시될 수도 있다.
그 예들이 플로우차트, 플로우도, 유한 상태도, 구조도, 또는 블록도로서 나타내지는 프로세스로서 설명될 수도 있다는 것에 또한 주목한다. 플로우차트는 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 대부분은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그 프로세스 동작들이 완료될 때 종료된다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수 (software function) 에 대응할 때, 그 프로세스의 종료는 그 함수의 호출 함수 (calling function) 또는 메인 함수로의 리턴에 대응한다.
당업자는, 정보 및 신호들이 다양한 상이한 기술들 및 기법들 중 임의의 것을 이용하여 표현될 수도 있다는 것을 이해할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들이 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학장들 또는 광학 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
첨부된 청구항들의 범위 내의 실시형태들의 다양한 양태들이 이하에 설명된다. 여기에 설명된 양태들은 매우 다양한 형태들로 구현될 수도 있고 여기에 설명된 임의의 특정 구조 및/또는 기능이 단지 예시적인 것일 뿐이라는 것이 명백해야 한다. 본 개시물에 기초하여, 당업자는, 여기에 설명된 양태가 임의의 다른 양태들에 대해 독립적으로 구현될 수도 있고 이들 양태들 중 2 개 이상이 다양한 방식들로 결합될 수도 있다는 것을 알아야 한다. 예를 들어, 여기에 기재된 임의의 수의 양태들을 이용하여 장치가 구현될 수도 있고/있거나 방법이 실시될 수도 있다. 또한, 여기에 개시된 양태들 중 하나 이상에 더하여 또는 그 하나 이상 이외에 다른 구조 및/또는 기능성을 이용하여 이러한 장치가 구현될 수도 있고/있거나 방법이 실시될 수도 있다.
상기 언급한 바와 같이, 광 플로우는 모션 추적을 위한 공지된 방법이다. 먼저 원시 이미지 픽셀 데이터로부터 객체를 인식한 후 이미지들의 시퀀스 중에서 객체의 모션을 추적하려고 노력하기보다는, 광 플로우 결정이 대신에 원시 이미지 픽셀 데이터로부터 피처들의 모션을 추적한다. 광 플로우 기법들은 3D 이미징에서 스테레오 비전의 디스패리티 (disparity) 를 결정하는 것과 같은 다수의 이용들을 갖는다. L1 놈 정규화 (norm regularization) 를 이용한 총변이 (total variation) 방법 (TV-L1) 으로 알려진 광 플로우 결정의 방법이 현대의 데스크톱 그래픽 프로세서 유닛 (graphics processor unit; GPU) 을 이용하여 실시간 (real-time) 성능을 제공하기 위해 구현될 수 있다. 그러나, 모바일 플랫폼 상에서, TV-L1 방법은 물론 다른 광 플로우 기법들을 구현하기 어렵게 만드는 다수의 이슈들이 있다.
TV-L1 방법은 다음의 비용 함수 (cost-function) 에 따라 공식화될 수 있다 :
Figure pct00001
항들 I0 및 I1 은 각각 제 1 및 제 2 연속되는 이미지 프레임들이다. 항
Figure pct00002
은 2 차원 변위 필드 (displacement field) 이고, λ 은 비용 함수에서의 제 1 항과 제 2 항 간의 가중 파라미터 (weighting parameter) 이다. 식 (1) 내의 제 1 적분 항은 u(x) 에서 높은 변이를 불리하게 만들어 순차적인 이미지들 간의 평활한 변위 필드들을 얻는 평활화 항 (smoothing term) 이다. 식 (1) 내의 제 2 적분 항은 충실도 항 (fidelity term) 이다. 충실도 항은 제 2 이미지, I1(x+u(x)) 내의 강도 값 (intensity value) 들이 제 1 이미지, I0(x) 와 비교하여 실질적으로 가변하지 않는다는 가정 하에 공식화된다. 추가적인 로컬 선형화 및 컨벡스 조건 (convex condition) 에 의해, 식 (1) 을 반복적으로 풀 수 있다.
그러나, TV-L1 방법은 제한된 프로세싱 리소스들을 이용하여 모바일 플랫폼 상에서 구현하는 것을 비현실적이게 만드는 다수의 문제들을 갖는다. 먼저, TV-L1 방법은 그 방법이 비교적 큰 모션 필드들을 프로세싱하는 어려움들을 갖도록 모션 불연속성 (motion discontinuity) 들을 강하게 (heavily) 정규화한다. 강한 규정 (heavy regulation) 을 보상하기 위해, "코어스-투-파인 (coarse-to-fine)" 이미지 피라미드가 통상 사용된다. 코어스-투-파인 접근법은 비교적 큰 모션에 대한 제약들을 완화시키지만, 2 개의 추가적인 문제들이 야기된다. 첫째로, 코어스-투-파인 이미지 피라미드는 계산들이 그 이미지 피라미드의 모든 레벨에 대해 반복되어야 하기 때문에 상당한 계산 비용을 추가한다. 둘째로, 코어스-투-파인 이미지 피라미드는 원래의 컨벡스 방법을 넌-컨벡스 방법으로 효과적으로 컨버팅한다. 당업자는, 컨벡스 방법이 통상 반복적인 프로세싱에 의해 수렴할 솔루션에 의해 정의되는 것을 알 것이다. 반면에, 넌-컨벡스 방법의 경우에는, 수렴이 일어날 수도 있지만, 반복적인 프로세싱 후에 수렴이 일어날 것이라는 것이 분명하지 않다.
추가적으로, TV-L1 방법은 매칭이 신뢰가능하게 수행될 수 없는 경우, 픽셀들의 균일한 또는 의사-랜덤 클러스터와 같은 열악하게 텍스처된 영역들에 대해 잘 작동하지 않는다. 예를 들어, 나무 잎들이 바람에 의해 흔들리는 것과 같이 피처들의 프레임들 간에 픽셀들을 신뢰가능하게 매칭시키기는 어렵다. 종래의 솔루션들은 모션을 구성된 영역들에서 미구성된 영역들로 전파하기 위해 강한 정규화에 의존한다. 마지막으로, TV-L1 방법을 이용한 계산된 플로우의 매그니튜드는 수렴할 수도 있는 반면, 플로우 벡터들의 방향은 수렴하지 않을 수도 있어, 객체 세그먼트화에 유용한 결과들을 남기지만, 모션 추적 또는 3D 재구성에는 유용하지 않을 수도 있다.
도 1 은 서버 (102), 데이터베이스 (103), 셀룰러 네트워크와 같은 네트워크 (104) 에 관한 모바일 디바이스 (101) 를 포함하는 통신 시스템 (100) 의 하이-레벨 블록도를 나타낸다. 모바일 디바이스 (101) 는 셀 폰, 랩톱, 개인 휴대 정보 단말기 등을 포함할 수도 있다. 모바일 디바이스 (101) 는 서버 (102) 와 통신하고 있을 수도 있고, 서버 (102) 그 자체는 데이터베이스 (103) 와 통신하고 있다. 서버 (102) 는 셀룰러 기지국에 위치할 수도 있고 또는 로컬 네트워크 서버 또는 라우터 상에 위치할 수도 있다. 데이터베이스 (103) 는 유사하게 서버 (102) 내부에 또는 개별의 로케이션에 위치할 수도 있다. 모바일 디바이스 (101) 는 카메라를 포함할 수도 있고, 또는 USB, WI-FI, 또는 블루투스 접속과 같이, 이미지들을 수신하는 다른 수단을 포함할 수도 있다. 복수의 애플리케이션들이 모바일 디바이스 (101) 상에서 사용자에게 이용가능할 수도 있다. 이들 애플리케이션들은 메시징 서비스들, 이미지 및 비디오 캡처 애플리케이션들, 및 당업자에게 공지된 다른 통상의 애플리케이션들을 포함할 수도 있다. 모바일 디바이스 (101) 상의 애플리케이션들 중 일부는 원격 로케이션으로부터 수신된 이미지들 또는 비디오에 대해 동작하거나, 또는 모바일 디바이스 (101) 의 카메라에 의해 로컬로 생성된 이미지들에 대해 동작할 수도 있다. 일부 실시형태들에서, 데이터베이스 (103) 는 이미지/비디오 저장 디바이스를 포함할 수도 있고, 모바일 디바이스 (101) 는 서버 (102) 를 통해 데이터베이스 (103) 로 및/또는 로부터 이미지들을 송신 및/또는 수신할 수도 있다. 이들 이미지들은 모바일 디바이스 (101) 상에서 동작하는 애플리케이션들에 의해 생성 또는 이용될 수도 있다.
상기 언급한 바와 같이, 광 플로우 방법들은 이미지들의 시퀀스 내에서 모션을 추적하는데 이용될 수도 있다. 일부 실시형태들에서, 데이터베이스 (103) 는 모션이 추적될 수도 있는 이미지들 내에서 객체들 및/또는 피처들을 식별하는데 이용되는 피처들의 콜렉션을 포함할 수도 있다. 모바일 디바이스 (101) 상의 애플리케이션이 이미지들의 시퀀스 내에서 모션을 추적하려고 시도하는 경우, 모바일 디바이스 (101) 는 모션 추적 프로세스의 일부로서 피처들을 적용하기 위하여 데이터베이스 (103) 로부터 피처들을 취출할 수도 있다. 대안적으로, 피처들 및 다른 통상 인식된 패턴들은 모바일 디바이스 (101) 상에 로컬로 저장될 수도 있다. 서버 (102) 는 또한 네트워크 (104) 와 통신하고 있고 네트워크로부터 원격으로 이미지들 또는 피처들을 수신할 수도 있다. 따라서, 모바일 디바이스 (101) 나 데이터베이스 (103) 중 어느 하나는 인식을 위해 저장된 이미지들 또는 피처들을 포함할 수도 있고, 이는 결국 모션 추적 방법들을 돕는데 이용될 수도 있다.
도 1 은 매우 단순화된 모바일 시스템을 나타내지만, 당업자는 본 실시형태들이 또한 임의의 이미징 시스템에 적용될 수도 있다는 것을 쉽게 인정할 것이다. 예를 들어, 로컬 이미지 저장소를 포함한, 데스크톱 시스템은 또한 로컬로 실행하는 광 플로우 결정 프로세스들의 일부로서 본 실시형태들의 대부분을 구현할 수도 있다.
도 2 는 일부 실시형태들의 이미징 애플리케이션에서 채용될 수도 있는 모바일 디바이스 (101) 의 다양한 컴포넌트들의 블록도를 나타낸다. 모바일 디바이스 (101) 는 렌즈 (200) 를 통해 이미지들을 캡처하는 이미지 캡처 시스템 (201) 을 포함할 수도 있다. 이들 이미지들은 이미지 버퍼 (205) 에 저장될 수도 있으며, 이미지 버퍼 (205) 는 당업계에 알려진 바와 같이 RAM, SRAM, 동적 또는 정적 메모리를 포함할 수도 있다. 대안적으로, 이미지들 또는 피처들은 파이어와이어 (firewire), USB, IR 트랜시버, 블루투스 인터페이스 등을 포함할 수도 있는 커넥터 (206) 를 통해 수신될 수도 있다. 이들 이미지들 또는 피처들은 예를 들어, 다른 사용자가 그들을 다른 디바이스로부터 송신할 때, 또는 모바일 디바이스 (101) 의 사용자가 데스크톱 컴퓨터와 같은 로컬 네트워크 또는 저장 디바이스에 접속될 때 수신될 수도 있다.
모바일 디바이스 (101) 는 또한 안테나 (208) 또는 커넥터 (207) 를 통해 이미지들 및 광 플로우 데이터를 포함한, 정보를 송신 또는 수신하기 위한 모뎀 (204) 을 포함할 수도 있다. 안테나 (208) 는 WI-FI, 셀룰러 네트워크 등에 접속하기 위해 이용되는 무선 안테나일 수도 있다. 일단 광 플로우 결정들이 행해졌다면, 사용자는 그들을 모뎀 (204) 을 통해 데이터베이스 (103) 로 업로드할 수도 있다. 대안적으로, 광 플로우 결정들은 로컬로 저장되고 로컬로 이용될 수도 있다.
이미지 캡처 시스템 (201) 은 스탠드-얼론 하드웨어, 소프트웨어 또는 펌웨어 모듈을 포함할 수도 있다. 그러나, 일부 실시형태들에서, 이미지 캡처 시스템은 프로세서 내의 컴포넌트 또는 프로세서 (202) 상에서 실행중인 소프트웨어로서, 도 2 에 나타낸 바와 같이 프로세서 (202) 내에 통합될 수도 있다. 이미지 캡처 시스템은 이미지를 생성하기 위하여 렌즈 (200) 를 동작시킨다. 프로세서 (202) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들을 위해 특수 설계된 프로세서일 수도 있다.
프로세서 (202) 는 광 플로우 결정 모듈 (203) 을 포함할 수도 있고, 그 광 플로우 결정 모듈 (203) 그 자체는 프로세서 (202) 상에서 실행중인 소프트웨어, 프로세서 또는 스탠드얼론 하드웨어 내의 전용 컴포넌트, 소프트웨어, 또는 펌웨어 및/또는 이들의 조합을 포함할 수도 있다. 광 플로우 결정 모듈 (203) 은 이하 설명한 바와 같이 변형된 콘텐츠 적응적 TV-L1 방법을 구현할 수도 있다. 광 플로우 결정 모듈 (203) 은 하나 이상의 추가적인 광 플로우 프로세스들을 수행하도록 설계된 소프트웨어, 펌웨어, 또는 하드웨어를 포함할 수도 있다. 이로써, 광 플로우 결정 모듈 (203) 은 특정 세트의 상황들이 주어진다고 하면 다양한 광 플로우 결정 프로세스들 중에서 선택하는 것이 가능할 수도 있다. 당업자는, 다른 광 플로우 결정 프로세스들에의 본 실시형태들의 대안의 애플리케이션들을 쉽게 인정할 것이다.
본 발명의 구현들은, 일부 구현들에서, 광 플로우 계산들이 "코어스-투-파인" 이미지 피라미드 기법을 포함한 TV-L1 방법의 일부 구현들보다 더 효율적이게 그리고 정확하게 수렴하는 것을 허용하는 콘텐츠 적응적, 총변이 (CA-TA) 방법을 포함한다. 보다 구체적으로, 여기에 개시된 CA-TV 방법은 균일한 또는 의사-랜덤 클러스터에 의해 둘러싸인 픽셀들과 같은 낮은 정보 픽셀들을 경시하면서 반복 프로세스에서 고도로 구조화/조직화된 픽셀 이웃들에 의해 둘러싸인 픽셀들에 대해서는 더 큰 가중치를 부여한다. 이 정보 또는 이미지 픽셀들의 콘텐츠 적응적 이용은 본 발명을 일부 구현들에서, 감소된 수의 반복들로 더 정확하게 수렴할 수 있게 하여, 계산 복잡도를 감소시킨다. 즉, 낮은 정보 픽셀 클러스터들에 관한 계산들을 감소시킴으로써, 계산 속도 (computational speed) 는 본 방법이 제한된 계산 리소스들을 갖는 모바일 플랫폼 상에서 구현가능할 수도 있도록 개선될 수도 있다.
따라서, 상기 논의된 TV-L1 방법과 같이, 사전에 이용가능한 총변이 방법들과 대조하여, 본 발명의 양태들에 따른 방법들의 구현들은 각각의 픽셀 또는 픽셀들의 그룹에 대해 각각의 가중치를 제공한다. 가중치들은 어느 픽셀들이 광 플로우 계산들에 더 관련이 있는지에 대한 표시를 제공한다. 결국, 계산 리소스들 및 계산 노력 (computational effort) 은 광 플로우 결정들에 더 관련이 있는 더 높은 가중치들을 가진 픽셀들에 초점을 맞춘다. 즉, 가중치들은 광 플로우 계산들에 더 관련이 있는 픽셀들과 광 플로우 계산들에 덜 관련이 있는 픽셀들 간을 판별하는 방식을 가능하게 한다.
다시 상기 제공된 식 (1) 을 참조하면, 모든 픽셀들은 종래의 TV-L1 방법에서의 충실도 항에 대해, 동일한 스케일링 팩터 λ (즉, 가중치) 를 가지며, 이는 모든 픽셀들이 광 플로우 계산에서 충실도 항에 동일하게 기여한다는 것을 의미한다. 그러나, 여기에 개시된 실시형태들의 양태들에 의해 인식되는 바와 같이, 모든 픽셀들이 광 플로우 계산들에서 동일한 중요성 (significance) 을 갖는 것은 아니다. 거의 균일한 또는 의사-랜덤 분포를 가진 픽셀 클러스터는 사실 이러한 클러스터가 순차적인 이미지 프레임들 간에 신뢰가능하게 매칭될 수 없기 때문에 거의 기여하지 않는다. 본 발명의 양태들에 따르면, 낮은 정보 픽셀들은 광 플로우 계산들에서 경시되는 것이 바람직한 반면, 유용한 픽셀들은 강조되는 것이 바람직하다. 결국, 이렇게 하여 다양한 픽셀들을 강조 및 경시하는 것은 더 효율적으로 그리고 정확하게 수렴하기 위해 비용 함수를 푸는 방법을 조장할 수도 있다. 이미지의 정보 레벨 또는 신호 강도가 중요한 팩터이기 때문에, 충실도 항의 콘텐츠 적응적 가중화는 계산의 신호 대 잡음비를 효과적으로 증가시켜, 식 (1) 을 푸는 반복적 프로세스에서 잠재적으로 빠르고 신뢰가능한 솔루션을 야기한다.
일부 구현들에 따르면, 콘텐츠 적응적 가중화 항 (weighting term) λ(x) 은 다음과 같이 식 (1) 이 식 (2) 가 되도록 충실도 항을 가중화하는데 이용될 수 있다 :
Figure pct00003
식 (2) 에서, 콘텐츠 적응적 가중치 λ(x) 는 로케이션에서 픽셀의 이웃 내의 정보 콘텐츠를 측정하는 로케이션 변수 x=(x1, x2) 의 함수이다. 비제한적인 예에서, 콘텐츠 적응적 가중치 λ(x) 는 픽셀을 둘러싸는 패치 (patch) 의 정보적/구조적 강도를 측정하는 피셔 (Fisher) 판별 함수 (discrimination function) 로서 정의될 수 있다 :
Figure pct00004
식 (3) 에서, 항 c 는 스케일링 상수이고 x 는 픽셀의 이웃의 모든 N 개의 로케이션들의 세트인 Z 의 엘리먼트이다. Z 가 C 개의 클래스들로 분류되는 것을 가정한다. 비제한적인 예에서, 클래스들의 수 C 는 컬러 양자화의 결과로서 얻어진 상이한 컬러들의 수를 표현한다. 하나의 가능한 구현에서, mi 는 클래스 Zi 의 Ni 데이터 포인트들의 평균을 표현하고 다음의 관계들이 정의될 수 있다.
Figure pct00005
식 (3) 내지 식 (8) 은 픽셀들의 순서지정된 및 확산된 로컬 패턴들 간을 판별하는데 이용될 수 있다. 일부 예들이 도 3a 및 도 3b 에 도시된다. 보다 구체적으로, 도 3a 는 한가지 가능한 예로서, 36 개의 픽셀들을 포함하는 6×6 이미지 블록 (301) 을 예시한다. 하나의 비제한적인 예에서, 가능한 색상들의 주어진 양자화 범위에 들어가는 픽셀들은 연관된 양자화 레벨, 또는 클래스 ID 를 할당받을 것이다. 당업자는, 픽셀 값을 일 범위와 비교하도록 구성된 소프트웨어 코드와 같이, 픽셀들을 양자화 값과 연관시키는 다수의 수단이 있다는 것을 알 것이다. 따라서, 예를 들어, 도 3a 의 픽셀들은 "X", "O" 및 "+" 에 의해 나타낸 바와 같이 그리고 각각 적색, 청색 및 녹색을 표현하는 3 개의 클래스들로 그룹화될 수도 있다. 이들 3 개의 영역들은 주어진 양자화 레벨의 픽셀들이 서로의 근방에 상주하는 경향이 있다 (즉 상부 좌측에 "X", 하부 좌측에 "O", 그리고 우측에 "+") 는 점에서 비교적 "동질 (homogeneous)" 이다. 그에 반해서, 도 3b 는 동일한 디멘젼들을 갖지만 픽셀들의 "분산된" 콜렉션을 구성하는 픽셀 블록을 예시한다. 여기서 주어진 양자화 클래스의 픽셀들은 반드시 블록 내의 서로의 근방에 위치하는 것은 아니다. 언급한 바와 같이, 도 3a 및 도 3b 는 컬러 양자화를 지칭하지만, 당업자는, 양자화될 수도 있는 다수의 대안의 픽셀 파라미터들이 있다는 것을 알 것이다.
더욱이, 당업자는, 식 (1) 을 식 (2) 로 컨버팅하기 위해 행해진 콘텐츠 적응적 변형이 다른 광 플로우 결정 방법들에 적용될 수도 있다는 것을 알 것이다. 예를 들어, 콘텐츠 적응적 가중치 λ(x) 는 다음과 같이 식 (9) 를 산출하기 위해 L2 정규화를 이용한 총변이 방법 (TV-L2) 을 변형하는데 이용될 수 있다 :
Figure pct00006
도 4 는 광 플로우를 결정하는 방법의 일 구현의 플로우차트이다. 일부 구현들에서, 방법은 액세스 단말기에 포함된 소프트웨어, 하드웨어 및/또는 펌웨어의 적합한 조합에 의해 수행된다. 블록 4-1 로 표현한 바와 같이, 방법은 제 1 이미지 프레임 I0 내의 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치 λ(x) 를 결정하는 단계를 포함한다. 하나의 구현에서, 각각의 가중치는 식 (3) 내지 식 (8) 을 이용하여 결정된다. 다른 구현에서, 방법은 그 방법의 계산 복잡도를 더욱 감소시키기 위하여 2 개 또는 픽셀들의 복수의 서브 그룹들 각각에 대한 각각의 가중치를 결정하는 단계를 포함한다. 블록 4-2 로 표현한 바와 같이, 방법은 각각의 가중치들에 적어도 부분적으로 기초하여 광 플로우 표시자를 결정하는 단계를 포함한다. 일부 구현들에서, 광 플로우 표시자는 제 1 프레임 I0 과 제 2 프레임 I1 간의 픽셀 변위의 표시자로서 기능한다.
도 5 는 광 플로우를 결정하는 방법의 일 구현의 플로우차트이다. 일부 구현들에서, 방법은 액세스 단말기에 포함된 소프트웨어, 하드웨어 및/또는 펌웨어의 적합한 조합에 의해 수행된다. 블록 5-1 로 표현한 바와 같이, 방법은 컬러 이미지를 수신하는 단계를 포함한다. 블록 5-2 로 표현한 바와 같이, 방법은 컬러 클래스 맵을 생성하기 위해 수신된 컬러 이미지에 대해 컬러 공간 양자화를 수행하는 단계를 포함한다. 블록 5-3 으로 표현한 바와 같이, 방법은 이미지 내의 각각의 픽셀에 대한 각각의 가중치 λ(x) 를 계산하는 단계를 포함한다. 하나의 구현에서, 각각의 가중치는 식 (3) 내지 식 (8) 을 이용하여 결정된다. 다른 구현에서, 방법은 방법의 계산 복잡도를 더욱 감소시키기 위하여 2 또는 픽셀들의 복수의 서브 그룹들 각각에 대한 각각의 가중치를 결정하는 단계를 포함한다. 블록 5-4 로 표현한 바와 같이, 방법은 각각의 가중치들을 평활하기 하기 위해 후처리를 수행하는 단계를 포함한다. 하나의 구현에서, 평활화는 멀리 떨어진 (outlying) 픽셀들 또는 이웃하는 픽셀들에 의해 정의된 구조 또는 피처의 불연속성들을 표현하는 픽셀들을 필터링하는 단계를 포함한다.
도 6 은 광 플로우를 결정하는 방법의 일 구현의 플로우차트이다. 일부 구현들에서, 방법은 액세스 단말기에 포함된 소프트웨어, 하드웨어 및/또는 펌웨어의 적합한 조합에 의해 수행된다. 블록 6-1 로 표현한 바와 같이, 방법은 비디오 프레임들을 수신하는 단계를 포함한다. 블록 6-2 로 표현한 바와 같이, 방법은 제 1 이미지 프레임 및 플로우 필드를 초기화하는 단계를 포함한다. 블록 6-3 으로 표현한 바와 같이, 방법은 플로우 필드 및 선택된 총변이 방법의 충실도 항을 계산하는 단계를 포함한다. 비제한적인 예들로서, TV-L1 또는 TV-L2 방법들은 광 플로우를 결정하기 위해 선택될 수도 있다. 블록 6-4 로 표현한 바와 같이, 방법은 광 플로우를 결정하기 위해 예를 들어 식 (2) 또는 식 (9) 를 이용하여 가중 비용 (weighted-cost) 을 계산하는 단계를 포함한다. 블록 6-5 로 표현한 바와 같이, 방법은 비용 함수가 현재의 프레임에 대해 수렴하였는지 여부를 결정하는 단계를 포함한다. 비용 함수가 수렴하지 않았다면 (6-5 로부터의 아니오 경로), 방법은 수렴이 일어날 때까지 블록 6-3 으로 표현된 방법의 부분으로 루프 백하는 단계를 포함한다. 반면에, 비용 함수가 수렴하였다면 (6-5 로부터의 예 경로), 블록 6-6 으로 표현한 바와 같이, 방법은 다음 프레임으로 진행하는 단계를 포함한다. 블록 6-7 로 표현한 바와 같이, 방법은 각각의 픽셀 또는 서브 그룹 또는 2 개 이상의 픽셀들에 대한 가중치들을 계산하는 단계를 포함한다.
도 7 은 본 개시물의 소정의 양태들에 따른 일 예의 액세스 단말기 (700) 의 블록도이다. 당업자는, 액세스 단말기가 도 7 에 예시된 액세스 단말기 (700) 보다 더 많은 컴포넌트들을 가질 수도 있다는 것을 알 것이다. 액세스 단말기 (700) 는 청구항들의 범위 내의 구현들의 일부 주요한 특징들을 설명하는데 유용한 그 컴포넌트들만을 포함한다. 액세스 단말기 (700) 는 프로세서 (701), 메모리 (702), 광 플로우 결정 회로 (703), 버퍼 제어 회로 (704), 비디오 버퍼 (705), 송신 회로 (706) 및 안테나 (707) 를 포함한다. 하나의 구현에서, 프로세서 (701) 는 메모리에 저장된 하나 이상의 애플리케이션들의 컴퓨터 프로그램 코드를 프로세싱하도록 구성된다. 하나의 구현에서, 프로세싱하는 수단은 프로세서를 포함한다. 하나의 구현에서, 저장 수단은 메모리를 포함한다. 하나의 구현에서, 광 플로우 결정 회로 (703) 는 콘텐츠 적응적 광 플로우 결정 방법을 이용하여 광 플로우를 결정하도록 구성된다. 하나의 구현에서, 광 플로우를 결정하는 수단은 광 플로우 결정 회로 (703) 를 포함한다. 하나의 구현에서, 버퍼 제어 회로 (704) 는 비디오 버퍼 (705) 의 콘텐츠들이 광 플로우 결정 회로 (703) 에 전달되는 것을 허용하는 때를 결정하도록 구성된다. 하나의 구현에서, 제어하는 수단은 버퍼 제어 회로를 포함한다. 하나의 구현에서, 버퍼링하는 수단은 버퍼를 포함한다. 하나의 구현에서, 송신 회로 (706) 는 안테나 (707) 를 통해 패킷들을 액세스 포인트에 송신하도록 구성된다. 하나의 구현에서, 송신하는 수단은 송신기 회로를 포함한다.
당업자는 또한, 여기에 개시된 구현들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 프로세스 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있다는 것을 알 것이다. 하드웨어와 소프트웨어의 이런 상호교환가능성을 명확히 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점에서 일반적으로 상술되었다. 이러한 기능성이 하드웨어로서 구현되는지 소프트웨어로서 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다. 당업자는 각각의 특정 애플리케이션에 대해 다양한 방식들로 설명된 기능성을 구현할 수도 있지만, 이러한 구현 결정들은 본 발명의 범위로부터 벗어남을 야기하는 것으로 해석되지 않아야 한다. 당업자는, 부분 또는 일부가 전체보다 적은 또는 전체와 동일한 어떤 것을 포함할 수도 있다는 것을 인정할 것이다. 예를 들어, 픽셀들의 콜렉션의 부분은 그 픽셀들의 서브 콜렉션을 지칭할 수도 있다.
여기에 개시된 구현들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 여기에 설명된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 디바이스, 별개의 게이트 또는 트랜지스터 로직, 별개의 하드웨어 컴포넌트들, 또는 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다.
여기에 개시된 구현들과 관련하여 설명된 방법 또는 프로세스의 단계들은 직접 하드웨어로, 프로세서에 의해 실행된 소프트웨어 모듈로, 또는 이 둘의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 비일시적 저장 매체에 상주할 수도 있다. 일 예시적인 컴퓨터 판독가능 저장 매체는 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독하고 컴퓨터 판독가능 저장 매체에 정보를 기록할 수 있도록 프로세서에 커플링된다. 대안으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서와 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 은 사용자 단말기, 카메라 또는 다른 디바이스에 상주할 수도 있다. 대안으로, 프로세서와 저장 매체는 사용자 단말기, 카메라 또는 다른 디바이스 내에 별개의 컴포넌트들로서 상주할 수도 있다.
참조를 위해 그리고 다양한 섹션들을 위치시키는 것을 돕기 위해 여기에 제목 (heading) 들이 포함된다. 이들 제목들은 그와 관련하여 설명된 개념들의 범위를 제한하는 것으로 의도되지 않는다. 이러한 개념들은 전체 명세서 전반에 걸쳐 적용가능성을 가질 수도 있다.
더욱이, 단어 "예시적인" 은 여기서 "예, 경우, 또는 예시로서 기능하는 것" 을 의미하는데 사용된다. 여기에 "예시적인" 것으로 설명된 임의의 실시형태가 반드시 다른 실시형태들에 비해 바람직하거나 이로운 것으로 해석되지는 않는다.
개시된 구현들의 이전의 설명은 당업자로 하여금 본 발명을 실시 또는 이용할 수 있게 하기 위해 제공된다. 이들 구현들에 대한 다양한 변형들이 당업자에게 쉽게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 사상 또는 범위로부터 벗어남 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 여기에 도시된 구현들에 제한되는 것으로 의도되지 않고 여기에 개시된 원리들 및 신규한 특징들에 부합하는 최광의 범위를 따르게 될 것이다.

Claims (34)

  1. 프레임들 간의 픽셀 변위를 결정하는 방법으로서,
    프레임의 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치 (weighting-value) 를 결정하는 단계로서, 각각의 가중치는 상기 픽셀들 중 특정 픽셀의 속성의, 상기 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초하는, 상기 각각의 가중치를 결정하는 단계; 및
    상기 제 1 복수의 픽셀들 중 적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 상기 프레임과 다른 프레임 간의 픽셀 변위의 광 플로우 표시자 (optical flow indicator) 를 결정하는 단계를 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  2. 제 1 항에 있어서,
    상기 특정 픽셀에 대한 상기 각각의 가중치를 결정하는 단계는, 상기 가중치가 결정되는 상기 특정 픽셀 둘레의 반경 내의 픽셀들의 그룹을 고려하는 단계를 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 광 플로우 표시자를 결정하는 단계는 또한, 제 1 프레임과 다른 프레임 간의 총변이 (total variation) 에 기초하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 속성은 다른 근방의 픽셀들과 비교하여 상기 특정 픽셀에 의해 제공되는 광 플로우와 관련되는 정보의 상대적인 양을 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀에 인접한 픽셀들을 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀의 1 내지 10 픽셀 길이들 내의 픽셀들을 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    컬러 클래스 맵을 생성하기 위해 컬러 공간 양자화를 수행하는 단계를 더 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 가중치들 중 하나 이상을 평활화하는 단계를 더 포함하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 광 플로우 표시자를 결정하는 단계는, 비용 함수에 기초하는, 프레임들 간의 픽셀 변위를 결정하는 방법.
  10. 프레임들 간의 픽셀 변위를 결정하기 위한, 명령들을 저장한 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 명령들은, 실행될 때, 장치로 하여금 :
    프레임의 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치 (weighting-value) 를 결정하는 것으로서, 각각의 가중치는 상기 픽셀들 중 특정 픽셀의 속성의, 상기 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초하는, 상기 각각의 가중치를 결정하게 하고;
    적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 상기 프레임과 다른 프레임 간의 픽셀 변위의 광 플로우 표시자 (optical flow indicator) 를 결정하게 하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  11. 제 10 항에 있어서,
    상기 특정 픽셀에 대한 상기 각각의 가중치를 결정하는 것은, 상기 가중치가 결정되는 상기 특정 픽셀 둘레의 반경 내의 픽셀들의 그룹을 고려하는 것을 포함하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 광 플로우 표시자를 결정하는 것은 또한, 제 1 프레임과 다른 프레임 간의 총변이 (total variation) 에 기초하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 속성은 다른 근방의 픽셀들과 비교하여 상기 특정 픽셀에 의해 제공되는 광 플로우와 관련되는 정보의 상대적인 양을 포함하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀에 인접한 픽셀들을 포함하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  15. 제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀의 1 내지 10 픽셀 길이들 내의 픽셀들을 포함하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  16. 제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 명령들은 또한, 상기 장치로 하여금, 컬러 클래스 맵을 생성하기 위해 컬러 공간 양자화를 수행하게 하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  17. 제 10 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 명령들은 또한, 상기 장치로 하여금, 상기 가중치들 중 하나 이상을 평활화하게 하는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  18. 제 10 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 광 플로우 표시자는 비용 함수에 기초하여 결정되는, 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품.
  19. 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치로서,
    제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치 (weighting-value) 를 결정하는 수단으로서, 각각의 가중치는 특정 픽셀의 속성의, 상기 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초하는, 상기 각각의 가중치를 결정하는 수단; 및
    적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 2 개의 프레임들 간의 픽셀 변위의 광 플로우 표시자 (optical flow indicator) 를 결정하는 수단을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  20. 제 19 항에 있어서,
    상기 특정 픽셀에 대한 상기 각각의 가중치를 결정하는 수단은, 상기 가중치가 결정되는 상기 특정 픽셀 둘레의 반경 내의 픽셀들의 그룹을 고려하는 수단을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  21. 제 19 항 또는 제 20 항에 있어서,
    상기 광 플로우 표시자를 결정하는 수단은 또한, 제 1 프레임과 다른 프레임 간의 총변이 (total variation) 에 기초하여 상기 광 플로우 표시자를 결정하도록 구성되는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  22. 제 19 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 속성은 다른 근방의 픽셀들과 비교하여 상기 특정 픽셀에 의해 제공되는 광 플로우와 관련되는 정보의 상대적인 양을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  23. 제 19 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀에 인접한 픽셀들을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  24. 제 19 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀의 1 내지 10 픽셀 길이들 내의 픽셀들을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  25. 제 19 항 내지 제 24 항 중 어느 한 항에 있어서,
    컬러 클래스 맵을 생성하기 위해 컬러 공간 양자화를 수행하는 수단을 더 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  26. 제 19 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 가중치들 중 하나 이상을 평활화하는 수단을 더 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  27. 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치로서,
    메모리; 및
    프로세서를 포함하며,
    상기 프로세서는 :
    프레임의 제 1 복수의 픽셀들의 각각의 픽셀에 대한 각각의 가중치 (weighting-value) 를 결정하는 것으로서, 각각의 가중치는 상기 픽셀들 중 특정 픽셀의 속성의, 상기 특정 픽셀 근방의 다른 픽셀들의 대응하는 속성들과의 관계에 적어도 부분적으로 기초하는, 상기 각각의 가중치를 결정하고;
    적어도 하나의 픽셀의 가중치에 적어도 부분적으로 기초하여 상기 프레임과 다른 프레임 간의 픽셀 변위의 광 플로우 표시자 (optical flow indicator) 를 결정하도록 구성된, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  28. 제 27 항에 있어서,
    상기 특정 픽셀에 대한 상기 각각의 가중치를 결정하는 것은, 상기 가중치가 결정되는 상기 특정 픽셀 둘레의 반경 내의 픽셀들의 그룹을 고려하는 것을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  29. 제 27 항 또는 제 28 항에 있어서,
    상기 광 플로우 표시자를 결정하는 것은 또한, 제 1 프레임과 다른 프레임 간의 총변이 (total variation) 에 기초하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  30. 제 27 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 속성은 다른 근방의 픽셀들과 비교하여 상기 특정 픽셀에 의해 제공되는 광 플로우와 관련되는 정보의 상대적인 양을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  31. 제 27 항 내지 제 30 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀에 인접한 픽셀들을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  32. 제 27 항 내지 제 31 항 중 어느 한 항에 있어서,
    상기 특정 픽셀 근방의 상기 다른 픽셀들은 상기 특정 픽셀의 1 내지 10 픽셀 길이들 내의 픽셀들을 포함하는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  33. 제 27 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 프로세서는 또한, 컬러 클래스 맵을 생성하기 위해 컬러 공간 양자화를 수행하도록 구성되는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
  34. 제 27 항 내지 제 33 항 중 어느 한 항에 있어서,
    상기 프로세서는 또한, 상기 가중치들 중 하나 이상을 평활화하도록 구성되는, 프레임들 간의 픽셀 변위를 결정하도록 구성된 장치.
KR1020147000591A 2011-06-14 2012-06-05 광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법들 및 장치 KR20140035487A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/160,457 2011-06-14
US13/160,457 US8553943B2 (en) 2011-06-14 2011-06-14 Content-adaptive systems, methods and apparatus for determining optical flow
PCT/US2012/040922 WO2012173821A1 (en) 2011-06-14 2012-06-05 Content-adaptive systems, methods and apparatus for determining optical flow

Publications (1)

Publication Number Publication Date
KR20140035487A true KR20140035487A (ko) 2014-03-21

Family

ID=46262335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000591A KR20140035487A (ko) 2011-06-14 2012-06-05 광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법들 및 장치

Country Status (6)

Country Link
US (3) US8553943B2 (ko)
EP (1) EP2721583B1 (ko)
JP (1) JP5985622B2 (ko)
KR (1) KR20140035487A (ko)
CN (1) CN103649999B (ko)
WO (1) WO2012173821A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553943B2 (en) 2011-06-14 2013-10-08 Qualcomm Incorporated Content-adaptive systems, methods and apparatus for determining optical flow
CN104981844A (zh) * 2013-04-25 2015-10-14 哈曼国际工业有限公司 移动物体检测
CN103247058B (zh) * 2013-05-13 2015-08-19 北京工业大学 一种基于误差分布式多层网格的快速光流场计算方法
US10074151B2 (en) 2015-09-30 2018-09-11 Intel Corporation Dense optical flow acceleration
US10257501B2 (en) * 2016-04-06 2019-04-09 Facebook, Inc. Efficient canvas view generation from intermediate views
CN107194317B (zh) * 2017-04-24 2020-07-31 广州大学 一种基于网格聚类分析的暴力行为检测方法
CN107665494A (zh) * 2017-10-11 2018-02-06 青岛大学 一种自适应含噪sar图像全变分分割方法
CN112041887A (zh) 2018-04-24 2020-12-04 斯纳普公司 高效的并行光流算法和gpu实现
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
DE102019111512B4 (de) * 2019-05-03 2022-09-01 Mekra Lang Gmbh & Co. Kg Sichtsystem und Spiegelersatzsystem für ein Fahrzeug
CN111079507B (zh) * 2019-10-18 2023-09-01 深兰科技(重庆)有限公司 一种行为识别方法及装置、计算机装置及可读存储介质
CN113129218A (zh) * 2019-12-30 2021-07-16 Tcl集团股份有限公司 一种处理图像的方法及终端
SE2150289A1 (en) * 2021-03-12 2022-09-13 Anders Åström Provision of measure indicative of impact time between image sensor and object
CN113409362B (zh) * 2021-06-29 2023-02-21 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680487A (en) * 1991-12-23 1997-10-21 Texas Instruments Incorporated System and method for determining optical flow
JPH1063855A (ja) * 1996-08-13 1998-03-06 Sanyo Electric Co Ltd 画像領域抽出方法
US5930379A (en) * 1997-06-16 1999-07-27 Digital Equipment Corporation Method for detecting human body motion in frames of a video sequence
US6507661B1 (en) * 1999-04-20 2003-01-14 Nec Research Institute, Inc. Method for estimating optical flow
JP2002074369A (ja) * 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
US7085401B2 (en) * 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
JP2010511932A (ja) 2006-12-01 2010-04-15 トムソン ライセンシング 画像内のオブジェクトの位置推定
CN101216941B (zh) * 2008-01-17 2010-04-21 上海交通大学 剧烈光照变化下基于角点匹配与光流法的运动估计方法
WO2010044963A1 (en) 2008-10-15 2010-04-22 Innovative Technology Distributors Llc Digital processing method and system for determination of optical flow
US8331714B2 (en) 2009-02-23 2012-12-11 Sharp Laboratories Of America, Inc. Methods and systems for image processing
US20100245672A1 (en) 2009-03-03 2010-09-30 Sony Corporation Method and apparatus for image and video processing
US8553943B2 (en) * 2011-06-14 2013-10-08 Qualcomm Incorporated Content-adaptive systems, methods and apparatus for determining optical flow

Also Published As

Publication number Publication date
US20140334740A1 (en) 2014-11-13
JP5985622B2 (ja) 2016-09-06
US20140029807A1 (en) 2014-01-30
US8553943B2 (en) 2013-10-08
CN103649999B (zh) 2016-12-07
WO2012173821A1 (en) 2012-12-20
US20120321139A1 (en) 2012-12-20
EP2721583B1 (en) 2016-05-18
US9323988B2 (en) 2016-04-26
CN103649999A (zh) 2014-03-19
US8824744B2 (en) 2014-09-02
EP2721583A1 (en) 2014-04-23
JP2014527210A (ja) 2014-10-09

Similar Documents

Publication Publication Date Title
KR20140035487A (ko) 광 플로우를 결정하기 위한 콘텐츠 적응적 시스템들, 방법들 및 장치
CN109360028B (zh) 用于推送信息的方法和装置
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
Zuo et al. Explicit edge inconsistency evaluation model for color-guided depth map enhancement
KR20210075140A (ko) 이미지 처리 방법 및 장치, 프로세서, 전자 기기, 저장 매체
KR20200027887A (ko) 복수의 비디오 프레임을 이용하여 cnn의 파라미터를 최적화하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN109661815B (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
Hu et al. A multi-stage underwater image aesthetic enhancement algorithm based on a generative adversarial network
CN114140346A (zh) 一种图像处理方法及装置
CN111311611A (zh) 一种实时三维大场景多对象实例分割的方法
Wang et al. Object counting in video surveillance using multi-scale density map regression
CN114880513A (zh) 一种目标检索方法及相关装置
Li et al. A cascaded algorithm for image quality assessment and image denoising based on CNN for image security and authorization
CN116363641A (zh) 一种图像处理方法、装置及电子设备
CN109905565A (zh) 基于运动模式分离的视频去抖动方法
CN115830362A (zh) 图像处理方法、装置、设备、介质及产品
CN115690587A (zh) 一种红外小目标方法、装置、设备及存储介质
CN114842066A (zh) 图像深度识别模型训练方法、图像深度识别方法及装置
CN111127632B (zh) 人体建模模型获取方法、装置、电子设备及存储介质
Rangnekar et al. Usim-dal: Uncertainty-aware statistical image modeling-based dense active learning for super-resolution
WO2015128302A1 (en) Method and apparatus for filtering and analyzing a noise in an image
CN112883988B (zh) 基于多数据集的特征提取网络的训练及特征提取方法
CN117409083B (zh) 一种基于红外图像和改进yolov5的电缆终端识别方法及装置
CN117611937A (zh) 确定图像集合的方法、模型评估方法、装置、设备及介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid