KR20090091771A - 콘텐츠 의존 움직임 검출 장치, 방법 및 물품 - Google Patents

콘텐츠 의존 움직임 검출 장치, 방법 및 물품 Download PDF

Info

Publication number
KR20090091771A
KR20090091771A KR1020097012623A KR20097012623A KR20090091771A KR 20090091771 A KR20090091771 A KR 20090091771A KR 1020097012623 A KR1020097012623 A KR 1020097012623A KR 20097012623 A KR20097012623 A KR 20097012623A KR 20090091771 A KR20090091771 A KR 20090091771A
Authority
KR
South Korea
Prior art keywords
vector
motion detection
measurement
local spatial
spatial complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020097012623A
Other languages
English (en)
Other versions
KR101050586B1 (ko
Inventor
상희 이
이-젠 치우
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20090091771A publication Critical patent/KR20090091771A/ko
Application granted granted Critical
Publication of KR101050586B1 publication Critical patent/KR101050586B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

비디오 프로세싱을 위한 움직임 검출을 수행하는 다양한 실시예가 개시된다. 하나 이상의 실시예에서, 움직임 검출은 시간 차이 측정치를 계산하고, 국부 공간 복잡성 측정치를 계산하며, 시간 차이 측정치 및 국부 공간 복잡성 측정치에 기초하여 콘텐츠 의존 움직임 검출 값을 계산함으로써 수행될 수 있다. 일부 구현에서, 콘텐츠 의존 움직임 검출 값은 시간 차이 측정치를 국부 공간 복잡성 측정치로 나눈 값을 포함할 수 있다. 다른 구현에서, 나눗셈 없이 근사화된 콘텐츠 의존 움직임 검출 값이 계산되어 계산 복잡성을 감소시킬 수 있다. 콘텐츠 의존 움직임 검출 값은 디-인터레이싱, 잡음 축소, 프레임 레이트 변환 등과 같은 다양한 적응 후처리 동작을 수행하는데 사용될 수 있다. 다른 실시예가 기술되고 주장된다.

Description

콘텐츠 의존 움직임 검출 장치, 방법 및 물품{MOTION DETECTION FOR VIDEO PROCESSING}
본 발명은 비디오 프로세싱을 위해 움직임 검출을 수행하는 것에 관한 것이다.
비디오 프로세싱은 고품질 비디오를 디스플레이하기 위한 비디오 파이프라인 내의 핵심 기능이다. 종래의 움직임 검출 방법에서는 비디오 시퀀스에서 움직임의 양을 적절히 추정할 수 없기 때문에 우수한 영상 품질을 전달할 수 없다. 적절히 추정할 수 없는 주요 원인들 중 하나는 국부 화상 콘텐츠를 고려하지 않은 채 프레임 차이를 사용하기 때문이다. 따라서, 디지털 미디어의 관람 경험을 강화하기 위해 비디오 프로세싱을 위한 개선된 움직임 검출이 필요하다.
도 1은 하나 이상의 실시예에 따른 미디어 프로세싱 시스템을 나타내는 도면,
도 2는 하나 이상의 실시예에 따라 움직임 검출 위한 다수의 프레임을 나타내는 도면,
도 3은 하나 이상의 실시예에 따른 움직임 검출을 위한 논리 흐름을 나타내는 도면,
도 4는 하나 이상의 실시예에 따른 움직임 검출 논리를 포함하는 제조 물품을 나타내는 도면.
이하의 다양한 실시예는 비디오 프로세싱을 위해 움직임 검출을 수행하는 것에 관한 것이다. 하나 이상의 실시예에서, 움직임 검출은 시간 차이 측정치, 국부 공간 복잡성 측정치, 및 이 시간적 차이 측정 및 국부 공간 복잡성 측정치에 기초한 콘텐츠 의존 움직임 검출 값을 계산함으로써 수행될 수 있다. 몇몇 구현에서, 콘텐츠 의존 움직임 검출 값은 시간 차이 측정치를 국부 공간 복잡성 측정치로 나눈 값을 포함할 수 있다. 다른 구현에서는, 근사화된 콘텐츠 의존 움직임 검출 값을 나눗셈 없이 계산하여 계산적 복잡성을 감소시킬 수 있다. 콘텐츠 의존 움직임 검출 값은 예를 들어 디-인터레이싱, 잡음 축소, 프레임 레이트 변환 등과 같은 다양한 적응 후처리(various adaptive post-processing)를 수행하는데 사용될 수 있다.
도 1은 하나 이상의 실시예에 따른 미디어 프로세싱 시스템(100)을 나타낸다. 일반적으로, 미디어 프로세싱 시스템(100)은 설계 파라미터 또는 성능 제약의 주어진 세트에 요구되는 대로, 하드웨어, 소프트웨어 또는 이들의 임의의 조합으로서 구현될 수 있는 정보를 통신하는 다양한 물질적 및/또는 논리적 구성요소를 포함할 수 있다. 도 1에는 예시적으로 제한된 개수의 구성요소가 도시되어 있지만, 보다 많은 또는 보다 적은 수의 구성요소가 주어진 구현을 위해 채용될 수 있다.
다양한 구현에서, 미디어 프로세싱 시스템(100)은 PC, 소비자 전자장치(CE), 및/또는 이동 플랫폼에 대해 하나 이상의 네트워킹, 멀티미디어, 및/또는 통신 애플리케이션을 수행하도록 구성될 수 있다. 몇몇 실시예에서, 미디어 프로세싱 시스템(100)은 개인용 PC, STB, 디지털 TV 장치, 인터넷 프로토콜 TV(IPTV) 장치, 디지털 카메라, 미디어 플레이어, 및/또는 휴대용 전화기와 같은 장치 내에 있고/있거나 그에 접속되는 시스템으로서 PC, CE 및/또는 이동 플랫폼용으로 구현될 수 있다. 이러한 장치에 대한 다른 예는 워크스테이션, 단말기, 서버, 미디어 기구, 오디오/비디오(A/V) 수신기, 디지털 뮤직 플레이어, 오락용 시스템, 디지털 TV(DTV) 장치, 고해상도 TV(HDTV) 장치, 직접 방송 위성 TV(DBS) 장치, 주문형 비디오(VOD) 장치, 웹 TV 장치, 디지털 비디오 레코더(DVR) 장치, 디지털 다용도 디스크(DVD) 장치, 고해상도 DVD(HD-DVD) 장치, 블루-레이 디스크(BD) 장치, 가정용 비디오 시스템(VHS) 장치, 디지털 VHS 장치, 게임 콘솔, 디스플레이 장치, 노트북 PC, 랩탑 컴퓨터, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 개인 보조 단말기(PDA), VoIP(voice over IP) 장치, 통합형 휴대용 전화기/PDA, 스마트 폰, 페이저, 메시징 장치, 무선 액세스 포인트(AP), 무선 클라이언트 장치, 무선국(STA), 기지국(BS), 가입자국(SS), 이동 가입자 센터(MSC), 이동 유닛 등을 포함할 수 있으나, 여기에 국한되 는 것은 아니다.
예를 들어, 이동 애플리케이션에 있어서, 미디어 프로세싱 시스템(100)은 하나 이상의 인터페이스 및/또는 하나 이상의 송신기, 수신기, 송수신기, 칩셋, 증폭기, 필터, 제어 논리, 네트워크 인터페이스 카드(NIC) 등과 같은 무선 통신용 구성요소를 포함하는 장치 내에서 구현되고/되거나 그에 접속될 수 있다. 안테나의 예는 내부 안테나, 전방향 안테나, 단극 안테나, 쌍극 안테나, 종단 급전 안테나, 원형 편파 안테나, 마이크로 스트립 안테나, 다이버시티 안테나, 듀얼 안테나, 안테나 어레이 등을 포함할 수 있으나, 여기에 국한되는 것은 아니다.
다양한 실시예에서, 미디어 프로세싱 시스템(100)은 유선 통신 시스템, 무선 통신 시스템 또는 이들 모두의 조합의 일부분을 형성할 수 있다. 예를 들어, 미디어 프로세싱 시스템(100)은 하나 이상의 유형의 유선 통신 링크를 통해 정보를 통신하도록 구성될 수 있다. 유선 통신 링크의 예는 와이어, 케이블, 버스, 인쇄 회로 보드(PCB), 이더넷 접속, 피어-투-피어(P2P) 접속, 백플랜, 스위치 패브릭, 반도체 재료, 연선, 동축 케이블, 광섬유 접속 등을 포함할 수 있으나, 여기에 국한되는 것은 아니다. 미디어 프로세싱 시스템(100)은 또한 하나 이상의 유형의 무선 통신 링크를 통해 정보를 통신하도록 구성될 수 있다. 무선 통신 링크의 예는 무선 채널, 위성 채널, 텔레비전 채널, 방송 채널, 적외선 채널, 무선 주파수(RF) 채널, WiFi(Wireless Fidelity) 채널, RF 스펙트럼의 일부분, 및/또는 하나 이상의 인가된 또는 인가가 필요 없는 주파수 대역을 포함할 수 있으나, 여기에 국한되는 것은 아니다. 소정의 실시예는 예로서 특정 통신 매체를 사용하는 것으로 도시되 어 있지만, 본 명세서에서 기술된 원리 및 기술은 다양한 통신 매체 및 그에 동반하는 기술을 사용하여 구현될 수 있다.
다양한 실시예에서, 미디어 프로세싱 시스템(100)은 광역 통신망(WAN), 근거리 통신망(LAN), 도시지역 통신망(MAN), 무선 WAN(WWAN), 무선 LAN(WLAN), 무선 MAN(WMAN), 무선 사설 통신망(WPAN), WiMAX(Worldwide Interoperability for Microwave Access) 네트워크, 광대역 무선 액세스(BWA) 네트워크, 인터넷, 월드 와이드 웹, 전화 네트워크, 무선 네트워크, 텔레비전 네트워크, 케이블 네트워크, 직접 방송 위성(DBS) 네트워크와 같은 위성 네트워크, 코드 분할 다중 접속(CDMA) 네트워크, 광대역 CDMA(WCDMA)와 같은 제 3세대(3G) 네트워크, 제 4세대(4G) 네트워크, 시분할 다중 접속(TDMA) 네트워크, 확장형-TDMA(E-TDMA) 셀룰러 무선전화 네트워크, GSM(Global System for Mobile Communication) 네트워크, 일반 패킷 무선 서비스(GPRS) 시스템을 갖는 GSM(GSM/GPRS) 네트워크, 동기식 분할 다중 접속(SDMA) 네트워크, 시분할 동기식 CDMA(TD-SCDMA) 네트워크, 직교 주파수 분할 다중화(OFDM) 네트워크, 직교 주파수 분할 다중 접속(OFDMA) 네트워크, 북미 디지털 셀룰러(NADC) 셀룰러 무선전화 네트워크, 협대역 진보형 이동 전화 서비스(NAMPS) 네트워크, 범용 이동 전화 시스템(UMTS) 네트워크, 및/또는 기술되는 실시예에 따라 데이터를 운송하도록 구성된 임의의 다른 유선 또는 무선 통신 네트워크 내에서 동작하도록 구성될 수 있다.
미디어 프로세싱 시스템(100)은 미디어 정보 및 제어 정보와 같은 하나 이상의 유형의 정보를 통신하도록 구성될 수 있다. 미디어 정보는 일반적으로 사용자 용으로 의도된 콘텐츠를 나타내는 임의의 데이터, 예를 들어 이미지 정보, 비디오 정보, 오디오 정보, A/V 정보, 그래픽 정보, 음성 정보, 문자 정보, 수치 정보, 문자숫자식 기호, 문자 기호 등을 지칭할 수 있다. 제어 정보는 일반적으로 자동화된 시스템을 위한 명령, 인스트럭션 또는 제어 워드를 나타내는 임의의 데이터를 나타낼 수 있다. 예를 들어, 제어 정보는 매체 정보를 시스템으로 라우팅하거나, 또는 노드로 하여금 소정의 방식으로 미디어 정보를 처리하도록 지시하는데 사용될 수 있다. 미디어 및 제어 정보는 다수의 상이한 장치 또는 네트워크로부터 및 그로 통신될 수 있다.
다양한 구현에서, 미디어 정보 및 제어 정보는 일련의 패킷으로 분할될 수 있다. 각 패킷은 예를 들어 비트 또는 바이트의 관점에서 고정된 또는 가변적인 크기를 갖는 이산 데이터 세트를 포함할 수 있다. 기술된 실시예는 예를 들어, 패킷, 프레임, 프래그먼트, 셀, 윈도우, 유닛 등과 같은 임의의 유형의 통신 콘텐츠 또는 포맷에 적용될 수 있음을 이해할 수 있을 것이다.
미디어 프로세싱 시스템(100)은 하나 이상의 프로토콜에 따라 정보를 통신할 수 있다. 프로토콜은 노드 간의 통신을 관리하는 사전정의된 룰 또는 인스트럭션의 세트를 포함할 수 있다. 다양한 실시예에서, 예를 들어, 미디어 프로세싱 시스템(100)은 매체 액세스 제어(MAC) 프로토콜, 물리 계층 통합 프로토콜(PLCP), 간단한 네트워크 관리 프로토콜(SNMP), 비동기식 전송 모드(ATM) 프로토콜, 프레임 중계 프로토콜, 시스템 네트워크 아키텍쳐(SNA) 프로토콜, 전송 제어 프로토콜(TCP), 인터넷 프로토콜(IP), TCP/IP, X.25, 하이퍼텍스트 전송 프로토콜(HTTP), 사용자 데이터그램 프로토콜(UDP) 등과 같은 하나 이상의 프로토콜을 채용할 수 있다.
미디어 프로세싱 시스템(100)은 예를 들어 국제 전기 통신 동맹(ITU), 국제 표준화 기구(SIO), 국제 전기기술 위원회(IEC), 전기 전자 기술자 협회(IEEE), 국제 인터넷 기술 위원회(IETF)와 같은 표준화 기구에 위해 공표된 하나 이상의 표준에 따라 정보를 통신할 수 있다. 다양한 실시예에서, 예를 들어, 미디어 프로세싱 시스템(100)은 ITU/IEC H.263 표준(낮은 비트레이트 통신을 위한 비디오 코딩, 2000년 11월에 발간된 ITU-T Recommendation H.263v3), ITU/IEC H.264 표준(매우 낮은 비트 레이트 통신을 위한 비디오 코딩, 2003년 5월에 발간된 ITU-T Recommendation H.264), 동영상 전문가 집단(MPEG) 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4), 디지털 비디오 방송(DVB) 지상 (DVB-T) 표준, DVB 위성(DVB-S 또는 -S2) 표준, DVB 케이블(DVB-C) 표준, 지상 휴대용 DVB (DVB-H), 텔레비전 방송 규격 심의회(NTSC) 및 PAL(Phase Alteration by Line) 표준, 미국 디지털 텔레비전 방송 위원회(ATSC) 표준, 윈도우 미디어 비디오(WMV) 버전 9에 기초한 SMPTE 421M 또는 VC-1 표준과 같은 미국영화 텔레비전 기술인 협회(SMPTE) 표준, 인터넷 프로토콜을 통한 디지털 전송 콘텐츠 보호(DTCP-IP) 표준, 고성능 무선 근거리망(HiperLAN) 표준 등과 같은 미디어 프로세싱 표준에 따라 정보를 통신할 수 있다.
일부 실시예에서, 미디어 프로세싱 시스템(100)은 미디어 소스로부터 미디어 콘텐츠를 수신하도록 구성될 수 있다. 미디어 소스는 일반적으로 미디어 프로세싱 시스템(100)으로 정적 또는 동적 미디어 콘텐츠를 전달할 수 있는 다양한 장치 및/ 또는 시스템을 포함할 수 있다. 일 실시예에서, 예를 들어, 미디어 소스는 비디오 카메라 또는 촬상 기능을 갖춘 이동 장치와 같은 이미지 획득 장치의 일부분을 포함할 수 있거나 또는 그 일부분을 형성할 수 있다. 미디어 소스는 또한 방송 또는 스트리밍 미디어 콘텐츠를 제공하도록 구성된 멀티미디어 서버를 포함할 수 있다. 다른 실시예에서, 미디어 소스는 OTA(over-the-air) 방송 시스템, DVB 시스템, 무선 방송 시스템, 위성 방송 시스템 등과 같은 미디어 분배 시스템(DS) 또는 방송 시스템의 일부를 포함할 수 있거나 또는 그 일부를 형성할 수 있다. 미디어 소스는 사용자가 네트워크를 통해 비디오 콘텐츠를 선택, 수신 및 볼 수 있도록 해주는 VOD 시스템 또는 대화식 텔레비전 시스템 내에서 구현될 수 있다. 미디어 소스는 광대역 접속과 같은 IP 접속을 통해 디지털 텔레비전 콘텐츠를 전달하는 IPTV 시스템의 일부를 포함하거나 또는 그 일부를 형성할 수 있다. 실시예는 이러한 상황으로 국한되지는 않는다.
미디어 프로세싱 시스템(100)은 주어진 구현에 요구되는 바 대로, 유선 통신 링크, 무선 통신 링크 또는 이들의 조합과 같이 정보 신호를 전달할 수 있는 다양한 유형의 통신 채널을 통해 미디어 소스에 결합될 수 있다. 미디어 프로세싱 시스템(100)은 다양한 유형의 구성요소 또는 인터페이스를 통해 미디어 소스로부터 미디어 콘텐츠를 수신하도록 구성될 수 있다. 예를 들어, 미디어 프로세싱 시스템(100)은 오픈케이블(OC) 튜너, NTSC/PAL 튜너, 튜너/복조기, POD(point-of-deployment)/DVB 공통 인터페이스(DVB-CI), A/V 디코더 인터페이스, 이더넷 인터페이스, PCI 인터페이스 등과 같은 하나 이상의 튜너 및/또는 인터페이스를 통해 미 디어 콘텐츠를 수신하도록 구성될 수 있다.
미디어 프로세싱 시스템(100)으로 전달된 미디어 콘텐츠는 이미지 정보, 오디오 정보, 비디오 정보, A/V 정보, 및/또는 다른 데이터와 같은 다양한 유형의 정보를 포함할 수 있다. 몇몇 구현에서, 미디어 소스는 STB, IPTV 장치, VOD 장치, 미디어 플레이어 등과 같은 장치에 사용되는 다양한 포맷으로 멀티미디어 콘텐츠를 전달하도록 구성될 수 있다.
미디어 콘텐츠는 미디어 프로세싱 시스템(100)이 데이터를 효율적으로 저장 및/또는 전달할 수 있도록 압축된 미디어 콘텐츠로 전달될 수 있다. 다양한 구현에서, 미디어 콘텐츠는 이산 코사인 변환(DCT)을 이용하는 공간 압축, 시간 압축, 움직임 보상 및 양자화와 같은 기술을 채용함으로써 압축될 수 있다. 미디어 콘텐츠의 비디오 압축은 예를 들어 H.264, MPEG-2, MPEG-4, VC-1 등과 같은 표준에 따라 수행될 수 있다. 몇몇 경우에서, 미디어 콘텐츠는 허가되지 않은 수신, 복제, 및/또는 관람을 방지하기 위해 스크램블링 및/또는 암호화된 미디어 콘텐츠로서 전달될 수 있다.
다양한 실시예에서, 미디어 프로세싱 시스템(100)은 비디오 프로세싱을 위해 움직임 검출을 수행하도록 구성될 수 있다. 움직임 검출은 이미지가 획득되는 동안 수행될 수 있다. 예를 들어, 미디어 프로세싱 시스템(100)은 촬상기능이 내장된 이동 장치 또는 비디오 카메라와 같은 이미지 획득 장치 내에서 구현될 수 있고 이미지 획득 동안 움직임 검출을 수행할 수 있다. 움직임 검출은 또한 비디오 스트림을 처리 및 관람하기 위해 이미지 획득 후에 수행될 수 있다. 예를 들어, 미 디어 프로세싱 시스템(100)은 웹 기반 미디어 서버, 이동 컴퓨팅 플랫폼, 데스크탑 플랫폼, 오락용 PC, 디지털 TV, 비디오 스트리밍 강화 칩셋, 미디어 플레이어, 미디어 편집 애플리케이션, 또는 디지털 미디어의 관람 경험을 강화하는 다른 적절한 시각화 장치에 의해 구현될 수 있다.
도 1에 도시되어 있는 바와 같이, 미디어 시스템(100)은 움직임 검출 장치(102)를 포함한다. 다양한 실시예에서, 움직임 검출 장치(102)는 시간 및 공간 정보에 기초하여 입력 이미지 시퀀스(104)에 대해 콘텐츠 의존 움직임 검출을 수행하도록 구성될 수 있다. 입력 이미지 시퀀스(104)는 하나 이상의 비디오 이미지로부터 유도된 또는 그와 연관된 데이터를 포함할 수 있다. 예를 들어, 입력 이미지 시퀀스(104)는 이미지 데이터, 비디오 데이터, 비디오 시퀀스, 사진 그룹, 사진, 이미지, 영역(regions), 물체, 프레임, 슬라이스, 매크로 블록, 블록, 픽셀, 신호(예를 들어, Y,U 및 V) 등 중 적어도 하나를 포함할 수 있다. 하나 이상의 실시예에서, 입력 이미지 시퀀스(104)는 기준 프레임 및 현재 프레임을 포함하는 다수의 프레임을 포함할 수 있다. 프레임은 연관된 픽셀을 포함하는 블록으로 분할될 수 있다. 픽셀에 할당된 값은 실수 및/또는 정수를 포함할 수 있다. 블록은 매크로 블록으로 그룹화될 수 있고, 프레임은 슬라이스와 같은 보다 작은 영역으로 분할될 수 있다.
도 2는 하나 이상의 실시예에 따른 움직임 검출을 위한 다수의 프레임(200)을 나타낸다. 움직임 검출은 예를 들어 도 1에 도시되어 있는 미디어 프로세싱 시스템(100)의 하나 이상의 구성요소에 의해 프레임(200)에 대해 수행될 수 있다. 그러나, 실시예에는 이러한 상황에 국한되지 않는다.
도시되어 있는 바와 같이, 프레임(200)은 현재의 프레임(202) 및 기준 프레임(204)을 포함할 수 있다. 기준 프레임(204)은 예를 들어 이전 프레임, 다음 프레임, 또는 이들의 평균을 포함할 수 있다. 프레임(202,204)은 연관된 픽셀을 포함하는 블록으로 분할될 수 있다. 하나 이상의 실시예에서, 현재 프레임(202) 및 기준 프레임(204)은 현재 프레임(202) 및 기준 프레임(204)에서 같은 위치에 배치되어 있는 M'×N' 블록을 포함할 수 있다. 현재 프레임(202)의 M'×N' 블록은 콘텐츠 의존 움직임 검출 값(MD)의 계산에 사용되는 M×N 블록을 포함할 수 있다.
도 1을 참조하면, 하나 이상의 실시예에서, 움직임 검출 장치(102)는 M×N 크기의 주어진 블록 내에 위치한 연관된 픽셀의 움직임 검출 값(MD)을 계산하도록 구성될 수 있으며, M≥1이고 N≥1이다(예를 들어, 도 2 참조). 다양한 실시예에서, 콘텐츠 의존 움직임 검출 값(MD)은 시간 차이 측정치(Dt)와 국부 공간 복잡성 측정치(Ds)에 기초할 수 있다.
M×N 블록 전체는 현재(c) 프레임의 M'×N' 블록 내에 위치한다. 콘텐츠 의존 움직임 검출 값(MD)은 현재(c) 프레임 및 기준(r) 프레임에서 동일한 위치에 배치된 M'×N' 블록을 사용하여 계산될 수 있으며, M'≥M이고 N'≥N이다. 기준(r) 프레임은 예를 들어 이전 프레임, 다음 프레임, 또는 이들의 평균을 포함할 수 있다.
도시되어 있는 바와 같이, 움직임 검출 장치(102)는 다수의 기능 구성요소 또는 모듈을 포함할 수 있다. 모듈은 하나 이상의 칩셋 또는 집적 회로(IC)에 의해 구현될 수 있고 예를 들어 하드웨어 및/또는 논리 장치에 의해 실행되는 논리(예를 들어, 인스트럭션, 데이터 및/또는 코드)와 같은 소프트웨어를 포함할 수 있다. 논리 장치의 예는 중앙 처리 장치(CPU), 마이크로제어기, 마이크로프로세서, 범용 프로세서, 전용 프로세서, 칩 멀티프로세서(CMP), 미디어 프로세서, 디지털 신호 프로세서(DSP), 네트워크 프로세서, 코-프로세서, 입/출력(I/0) 프로세서, 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA), 프로그램가능 논리 장치(PLD) 등을 포함하나 여기에 국한되지는 않는다. 실행가능 논리는 휘발성 또는 비휘발성 메모리, 제거가능 또는 제거 불가능한 메모리, 소거가능 또는 소거 불가능한 메모리, 기록가능 또는 재기록가능 메모리 등과 같은 하나 이상의 유형의 컴퓨터 판독가능 저장 매체 상에서 논리 장치에 대해 내부적으로 또는 외부적으로 저장될 수 있다. 모듈들은 주어진 구현에 요구되는 바 대로 유선 통신 매체, 무선 통신 매체 또는 이들의 조합을 포함하는 통신 매체 의해 물리적으로 또는 논리적으로 결합 및/또는 연결될 수 있다. 일부 실시예에서, 다수의 모듈은 단일 칩 또는 집적 회로(IC)에 의해 시스템 온 칩(SOC)으로 구현될 수 있다. 실시예들은 이러한 상황에 국한되지 않는다.
도시되어 있는 바와 같이, 움직임 검출 장치(102)는 시간 차이 모듈(106)을 포함할 수 있다. 다양한 실시예에서, 시간 차이 모듈(106)은 시간 차이 측정치(Dt)를 결정하도록 구성될 수 있다. 시간 차이 측정치(Dt)는 예를 들어 시간 벡터(V t) 의 벡터 노름(vector norm)을 포함할 수 있다. 시간 벡터(V t)는 현재(c) 프레임 및 기준(r) 프레임에서 동일 위치에 배치된 블록(co-located blocks)의 동일한 위치에 배치된 픽셀(co-located pixels)에 대응할 수 있다.
하나 이상의 실시에에서, 시간 차이 모듈(106)은 시간 벡터(V t)가 성분 c(x,y)-y(x,y)를 포함하도록 하며, c(x,y) 및 r(x,y)은 현재(c) 프레임 및 기준(r) 프레임 각각의 M'×N' 블록의 (x,y)에 위치한 픽셀을 나타낸다. V t의 성분의 수는 M'×N'을 포함할 수 있다. V t의 성분의 수는 예를 들어 M'×N'의 부분 샘플링된(sub-sampled) 픽셀을 사용함으로써 M'×N' 미만의 수를 포함할 수 있다. 시간 차이 측정치(Dt)는 방정식 Dt=norm(V t)에 따라 L1(절대 값) 및 L2(제곱 값)와 같은 시간 벡터(V t)의 벡터 노름으로서 계산될 수 있다.
움직임 검출 장치(102)는 국부 공간 복잡성 모듈(108)을 포함할 수 있다. 다양한 실시예에서, 국부 공간 복잡성 모듈(108)은 국부 공간 복잡성 측정치(Ds)를 결정하도록 구성될 수 있다. 국부 공간 복잡성 측정치(Ds)는 예를 들어 수직 공간 벡터(V sv) 및 수평 공간 벡터(V sh)에 대한 벡터 노름의 합을 포함할 수 있다. 수직 공간 벡터(V sv)는 현재(c) 프레임 내의 동일 위치에 배치된 블록의 수직 픽셀 영역에 대응할 수 있다. 수평 공간 벡터(V sh)는 현재(c) 프레임 내의 동일 위치에 배치된 블록의 수평 픽셀 영역에 대응할 수 있다.
하나 이상의 실시예에서, 국부 공간 복잡성 모듈(108)은 수직 벡터(V sv)가 성분 c(x,y)-c(x,y+2)를 포함하도록 하며, 수평 벡터(V sh)가 성분 c(x,y)-c(x+1,y)를 포함하도록 할 수 있다. 이러한 실시예에서, 성분 c(x,y), c(x,y+2) 및 c(x+1,y)는 현재 M'×N' 블록 또는 부분 샘플링된 M'×N' 블록으로부터 도출된다. 그런 다음, 국부 공간 복잡성 측정치(Ds)는 방정식 Ds=a×norm(V sv)+b×norm(V sh)+c에 따라 Dt에 사용된 것과 동일한 노름(norm)을 사용하여 계산될 수 있으며, a, b 및 c는 상수이다.
움직임 검출 장치(102)는 콘텐츠 의존 움직임 검출 모듈(110)을 포함할 수 있다. 다양한 실시예에서, 콘텐츠 의존 움직임 검출 모듈(110)은 시간 차이 측정치(Dt) 및 국부 공간 복잡성 측정치(Ds)에 기초하여 콘텐츠 의존 움직임 검출 값(MD)을 결정하도록 구성될 수 있다. 하나 이상의 실시예에서, 콘텐츠 의존 움직임 검출 값(MD)은 시간 차이 측정치(Dt)를 국부 공간 복잡성 측정치(Ds)로 나눈 값을 포함할 수 있다. 예를 들어, 콘텐츠 의존 움직임 검출 값(MD)은 방정식 MD=Dt/Ds에 따라 계산될 수 있으며, Dt는 시간 차이 측정치를 포함하고 Ds는 국부 공간 복잡성 측정치를 포함한다.
일부 실시예에서, 콘텐츠 의존 움직임 검출 값(MD)은 나눗셈 없이 계산되어 계산 복잡성을 감소시킬 수 있다. 예를 들어, 콘텐츠 의존 움직임 검출 값(MD)의 근사화된 계산은 방정식
Figure 112009036811440-PCT00001
에 따라 수행될 수 있으며, Q는 상수이고, f(Ds)=int(logDs/log2)이고, int()는 0 또는 + 무한대 또는 - 무한대로 근사화되는 정수이다. '<<' 및 '>>'는 각각 좌측 및 우측으로의 산술적 비트 이동이다. 소정의 하드웨어 구현에서, log()를 계산하는 대신, Ds의 선행 제로(leading zero)의 수를 검출함으로써 f(Ds)가 구현될 수 있다.
미디어 시스템(100)은 움직임 검출 장치(102)에 결합된 비디오 프로세싱 모듈(112)을 포함할 수 있다. 하나 이상의 실시예에서, 비디오 프로세싱 모듈(112)은 움직임 검출 장치로부터 움직임 검출 값(MD)을 수신하고 디-인터레이싱, 잡음 축소, 프레임 레이트 변환 등과 같은 다양한 백-엔드(back-end) 및/또는 적응 후처리 동작을 미디어 시스템(100) 내에서 수행하도록 구성될 수 있다.
도 1의 실시예는 예시적인 구현을 나타내며 기능 구성요소 및/또는 모듈은 기술된 실시예와 일관된 다양한 다른 방식으로 구현될 수 있음을 이해할 수 있다. 더 나아가, 이러한 구성요소 또는 모듈에 의해 수행되는 동작은 주어진 구현을 위해 결합될 수 있고/있거나 분리될 수 있고 보다 많은 수 또는 보다 적은 수의 구성요소 또는 모듈에 의해 수행될 수 있다.
도 3은 하나 이상의 실시예에 따라 움직임 검출을 위한 논리 흐름(300)을 나타낸다. 논리 흐름(300)은 예를 들어 도 1에 도시되어 있는 미디어 프로세싱 시스템(100)의 하나 이상의 구성요소에 의해 구현될 수 있다. 그러나, 실시예는 이러 한 상황에 국한되지 않는다.
다양한 실시예에서, 논리 흐름(300)은 설계 파라미터 또는 성능 제약의 주어진 세트에 대해 요구되는 바 대로, 다양한 시스템, 장치, 유닛 및/또는 소자에 의해 수행될 수 있고 하드웨어, 소프트웨어 및/또는 이들의 임의의 조합으로서 구현될 수 있다. 예를 들어, 논리 흐름(300)은 하나 이상의 논리 장치 및/또는 논리 장치에 의해 수행될 인스트럭션, 데이터 및/또는 코드를 포함하는 논리에 의해 구현될 수 있다.
논리 흐름(300)은 시간 차이 측정치를 계산하는 단계(블록 302)를 포함할 수 있다. 시간 차이 측정치(Dt)는 예를 들어 시간 벡터(V t)의 벡터 노름을 포함할 수 있다. 시간 벡터(V t)는 현재(c) 프레임 및 기준(r) 프레임에서 동일 위치에 배치된 블록의 동일 위치에 배치된 픽셀에 대응할 수 있다.
하나 이상의 실시예에서, 시간 벡터(V t)는 성분 c(x,y)-r(x,y)을 포함할 수 있으며, c(x,y) 및 r(x,y)은 현재(c) 프레임 및 기준(r) 프레임 각각의 M'×N' 블록의 (x,y)에서의 픽셀을 나타낸다. V t의 성분의 수는 M'×N'을 포함할 수 있다. V t의 성분의 수는 예를 들어 부분 샘플링된 M'×N'의 픽셀을 사용함으로써 M'×N'보다 적은 수를 포함할 수 있다. 시간 차이 측정치(Dt)는 방정식 Dt=norm(V t)에 따라 L1(절대 값) 및 L2(제곱 값)와 같은 시간 벡터(V t)의 벡터 노름으로서 계산될 수 있다.
논리 흐름(300)은 국부 공간 복잡성 측정치를 계산하는 단계(블록 304)를 포함할 수 있다. 국부 공간 복잡성 측정치(Ds)는 예를 들어 수직 공간 벡터(V sv) 및 수평 공간 벡터(V sh)에 대한 벡터 노름의 합을 포함할 수 있다. 수직 공간 벡터(V sv)는 현재(c) 프레임 내의 동일 위치에 배치된 블록의 수직 픽셀 영역에 대응할 수 있다. 수평 공간 벡터(V sh)는 현재(c) 프레임 내의 동일 위치에 배치된 블록의 수평 픽셀 영역에 대응할 수 있다.
하나 이상의 실시예에서, 수직 벡터(V sv)는 성분 c(x,y)-c(x,y+2)를 포함하고, 수평 벡터(V sh)는 성분 c(x,y)-c(x+1,y)를 포함한다. 이러한 실시예에서, 성분 c(x,y), c(x,y+2) 및 c(x+1,y)는 현재 M'×N' 블록 또는 부분 샘플링된 M'×N' 블록으로부터 존재한다. 국부 공간 복잡성 측정치(Ds)는 방정식 Ds=a×norm(V sv)+b×norm(V sh)+c에 따라 Dt에 사용된 것과 동일한 노름을 사용하여 계산될 수 있으며, a, b 및 c는 상수이다.
논리 흐름(300)은 시간 차이 측정치 및 국부 공간 복잡성 측정치에 기초하여 콘텐츠 의존 움직임 검출 값을 계산하는 단계(블록 306)를 포함할 수 있다. 하나 이상의 실시예에서, 콘텐츠 의존 움직임 검출 값(MD)은 시간 차이 측정치(Dt)를 국부 공간 복잡성 측정치(Ds)로 나눈 값을 포함할 수 있다. 예를 들어, 콘텐츠 의존 움직임 검출 값(MD)은 방정식 MD=Dt/Ds에 따라 계산될 수 있으며, Dt는 시간 차이 측정치를 포함하고 Ds는 국부 공간 복잡성 측정치를 포함한다.
일부 실시예에서, 콘텐츠 의존 움직임 검출 값(MD)은 나눗셈 없이 계산되어 계산 복잡성을 감소시킬 수 있다. 예를 들어, MD 값의 근사화된 계산은 방정식
Figure 112009036811440-PCT00002
에 따라 수행될 수 있으며, Q는 상수이고, f(Ds)=int(logDs/log2)이고, int()는 0 또는 + 무한대 또는 - 무한대로 근사화되는 정수이다. '<<' 및 '>>'는 각각 좌측 및 우측으로의 산술적 비트 이동이다. 소정의 구현에서, log()를 계산하는 대신, Ds의 선행 제로의 수를 검출함으로써 f(Ds)가 구현될 수 있다. 콘텐츠 의존 움직임 검출 값(MD)은 디-인터레이싱, 잡음 축소, 프레임 레이트 변환 등과 같은 다양한 백-엔드 및/또는 적응 후처리 동작을 수행하는데 사용될 수 있다.
도 4는 제조 물품(400)에 대한 일 실시예를 나타낸다. 도시되어 있는 바와 같이, 물품(400)은 기술된 실시예에 따라 다양한 동작을 수행하는 움직임 검출 논리(404)를 저장하는 저장 매체(402)를 포함할 수 있다. 다양한 실시예에서, 물품(400)은 다양한 시스템, 구성요소 및/또는 모듈에 의해 구현될 수 있다.
물품(400) 및/또는 저장 매체(402)는 휘발성 메모리 또는 비휘발성 메모리, 제거가능 또는 제거불가능 메모리, 소거가능 또는 소거불가능 메모리, 기록가능 또는 재기록가능 메모리 등을 포함하는, 데이터를 저장할 수 있는 하나 이상의 유형의 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체의 예는 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 동기식 DRAM(SDRM), DDR(Double Data Rate) RAM(DDR RAM), DDR SDRAM, 정적 RAM(SRAM), 판독 전용 메모리(ROM), 프로그램가능 ROM(PROM), 소거 프로그램가능 ROM(EPROM), 전기적 소거 프로그램가능 ROM(EEPROM), 컴팩트 디스크 ROM(CD-ROM), 컴팩트 디스크 기록가능(CD-R), 컴팩트 디스크 재기록가능(CD-RW), 플래시 메모리(예를 들어, NOR 또는 NAND 플래시 메모리), 콘텐츠 어드레스가능 메모리(CAM), 폴리머 메모리(예를 들어, 강유전성 폴리머 메모리), 상변화 메모리(예를 들어, 오보닉 메모리), 강유전성 메모리, 실리콘 이산화물-질화물-이산화물-실리콘(SONOS) 메모리, 디스크(예를 들어, 플로피 디스크, 하드 드라이브, 광 디스크, 자기 디스크, 자기-광학 디스크) 또는 카드(예를 들어, 자기 카드, 광 카드), 테이프, 카세트, 또는 정보를 저장하는데 적절한 임의의 다른 유형의 컴퓨터 판독가능 저장 매체를 포함할 수 있으나, 여기에 국한되는 것은 아니다.
물품(400) 및/또는 저장 매체(402)는 실행되는 경우 컴퓨터 또는 컴퓨터 시스템으로 하여금 기술된 실시예에 따른 방법 및/또는 동작을 수행하도록 하는 인스트럭션, 데이터 및/또는 코드를 포함하는 움직임 검출 논리(404)를 저장할 수 있다. 이러한 컴퓨터 또는 컴퓨터 시스템은 예를 들어 임의의 적절한 프로세싱 플랫폼, 컴퓨팅 플랫폼, 컴퓨팅 장치, 프로세싱 장치, 컴퓨팅 시스템, 프로세싱 시스템, 프로세서 등을 포함할 수 있고, 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합을 사용하여 구현될 수 있다.
움직임 검출 논리(404)는 소프트웨어, 소프트웨어 모듈, 애플리케이션, 프로그램, 서브루틴, 인스트럭션, 인스트럭션 세트, 컴퓨팅 코드, 워드, 값, 기호 또는 임의의 조합을 포함하거나 또는 그들로서 구현될 수 있다. 인스트럭션은 소스 코드, 컴파일된 코드, 해석된 코드, 실행가능 코드, 정적 코드, 동적 코드 등과 같은 임의의 유형의 코드를 포함할 수 있다. 인스트럭션은 사전정의된 컴퓨터 언어, 방식 또는 신택스(syntax)에 따라 수행되어 프로세서로 하여금 소정의 기능을 수행하도록 한다. 인스트럭션은 임의의 적절한 상위 레벨, 중간 레벨, 객체 지향, 비주얼, 컴파일 및/또는 해석된 프로그래밍 언어, 예를 들어, C, C++, 자바, 베이직, 펄(Perl), 매틀랩, 파스칼, 비주얼 베이직, 어셈블리 언어, 기계 코드 등을 사용하여 실시될 수 있다. 실시예들은 이러한 상황에 국한되지 않는다.
실시예들의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 설명되었다. 그러나, 실시예들은 이들 특정 세부사항 없이도 실시될 수 있다. 다른 예로서, 잘 알려진 동작, 소자 및 회로는 실시예를 모호하게 하지 않도록 하기 위해 자세히 기술되지는 않았다. 특정한 구조 및 기능 세부사항은 대표적인 것일 뿐이며 실시예의 범주를 제한할 필요는 없다.
다양한 실시예는 하나 이상의 구성요소를 포함할 수 있다. 구성요소는 소정의 동작을 수행하도록 구성된 임의의 구조를 포함할 수 있다. 각 구성요소는 설계 및/또는 성능 제약의 주어진 세트에 대해 요구되는 바 대로, 하드웨어, 소프트웨어, 또는 이들의 임의의 조합으로서 구현될 수 있다. 실시예는 예를 들어 소정의 토폴로지에서 제한된 수의 구성요소로 기술되었지만, 실시예는 주어진 구현에 요구되는 또 다른 토폴로지에서 보다 많은 또는 보다 적은 구성요요소를 포함할 수 있다.
언급된 어떠한 "일 실시예" 또는 "실시예"도, 그 실시예와 연계하여 기술된 특정 특징, 구조 또는 특성은 적어도 하나의 실시예에 포함되려 한다. 명세서 내에서 "일 실시예에서"라는 구문 모두가 동일한 실시예를 지칭할 필요는 없다.
소정의 실시예는 다양한 동작을 수행하는 예시적인 기능 구성요소 또는 모듈을 포함하는 것으로서 예시되고 기술되어 있지만, 이러한 구성요소 또는 모듈은 하나 이상의 하드웨어 구성요소, 소프트웨어 구성요소 및/또는 이들의 조합에 의해 구현될 수 있다. 기능 구성요소 및/또는 모듈은 예를 들어 논리 장치(예를 들어, 프로세서)에 의해 실행되는 논리(예를 들어, 인스트럭션, 데이터 및/또는 코드)에 의해 구현될 수 있다. 이러한 논리는 하나 이상의 유형의 컴퓨터 판독가능 저장 매체 상에서 논리 장치에 대해 내부적으로 또는 외부적으로 저장될 수 있다.
일부 도면은 흐름도를 포함할 수 있다. 이러한 도면은 특정 논리 흐름을 포함할 수 있지만, 그 논리 흐름은 단지 일반적인 기능의 예시적인 구현을 제공한다는 것을 이해할 수 있다. 더 나아가, 달리 언급되지 않는다면, 논리 흐름은 반드시 제공된 순서로 실행될 필요는 없다. 또한, 논리 흐름은 프로세서에 의해 실행되는 하드웨어 요소, 소프트웨어 요소 또는 이들의 임의의 조합에 의해 구현될 수 있다.
특별히 언급되지 않는다면, "프로세싱", "컴퓨팅", "계산", "결정" 등과 같은 용어는 레지스터 및/또는 메모리 내에서 물리적 양(예를 들어, 전자(electronic))으로서 표현되는 데이터를 메모리, 레지스터 또는 다른 정보 저장, 전송 또는 디스플레이 장치 내에서 물리적인 양으로 유사하게 표현되는 다른 데이 터로 조작 및/또는 변환하는 컴퓨터 또는 컴퓨팅 시스템, 또는 유사한 전자 컴퓨팅 장치의 동작 및/또는 프로세스를 지칭함을 이해할 수 있다.
일부 실시예는 "결합된" 및 "접속된"라는 표현을 그들의 파생어와 함께 사용하여 설명될 수 있다. 이들 용어는 서로에 대한 동의어로서 의도되는 것은 아니다. 예를 들어, 일부 실시예는 둘 이상의 요소가 서로 직접적인 물리적 또는 전기적 접촉함을 나타내기 위해 "접속된" 및/또는 "결합된"이라는 용어를 사용하여 설명될 수 있다. 그러나, "결합된"이라는 용어는 또한 둘 이상의 요소가 서로 직접적으로 접촉하지는 않지만, 서로 협동하거나 또는 상호작용하는 것을 의미한다. 예를 들어, 소프트웨어 구성요소와 관련하여, "결합된"이라는 용어는 인터페이스, 메시지 인터페이스, API, 교환 메시지 등을 지칭할 수 있다.
전술한 바와 같이 실시예의 소정의 특징이 기술되었지만, 당업자라면 다수의 수정, 대체, 변경 및 등가물을 구현할 수 있을 것이다. 따라서, 첨부된 청구항은 실시예의 진정한 사상 내에 속하는 범위 내에서 이러한 모든 수정 및 변경을 커버하여 한다.

Claims (28)

  1. 시간 차이 측정치(temporal difference measurement)를 계산하는 시간 차이 모듈과,
    국부 공간 복잡성 측정치(local spatial complexity measurement)를 계산하는 국부 공간 복잡성 모듈과,
    상기 시간 차이 측정치 및 상기 국부 공간 복잡성 측정치에 기초하여 콘텐츠 의존 움직임 검출 값을 계산하는 콘텐츠 의존 움직임 검출 모듈을
    포함하는 장치.
  2. 제 1 항에 있어서,
    상기 시간 차이 측정치는 현재 프레임 및 기준 프레임 내에서 동일 위치에 배치된 블록(co-located blocks)의 동일한 위치에 배치된 픽셀(co-located pixels)에 대응하는 시간 벡터의 벡터 노름(vector norm)을 포함하는
    장치.
  3. 제 2 항에 있어서,
    상기 국부 공간 복잡성 측정치는 수직 공간 벡터 및 수평 공간 벡터에 대한 벡터 노름의 합을 포함하고, 상기 수직 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수직 픽셀 영역에 대응하고, 상기 수평 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수평 픽셀 영역에 대응하는
    장치.
  4. 제 3 항에 있어서,
    상기 국부 공간 복잡성 측정치는 방정식 Ds=a×norm(V sv)+b×norm(V sh)+c에 따라 계산되며, 상기 Ds는 상기 국부 공간 복잡성 측정치를 포함하고, 상기 V sv는 수직 벡터를 포함하고, 상기 V sh는 수평 벡터를 포함하며, 상기 a, b 및 c는 상수인
    장치.
  5. 제 2 항에 있어서,
    상기 국부 공간 복잡성 측정치는 상기 시간 차이 측정치에 사용된 것과 동일한 노름(norm)을 사용하여 계산되는 장치.
  6. 제 1 항에 있어서,
    상기 콘텐츠 의존 움직임 검출 값은 상기 시간 차이 측정치를 상기 국부 공간 복잡성 측정치로 나눈 값을 포함하는 장치.
  7. 제 1 항에 있어서,
    상기 콘텐츠 의존 움직임 검출 값은 근사화된 콘텐츠 의존 움직임 검출 값을 포함하는 장치.
  8. 미디어 소스와,
    상기 미디어 소스에 결합된 움직임 검출 장치를 포함하되,
    상기 움직임 검출 장치는,
    시간 차이 측정치를 계산하는 시간 차이 모듈과,
    국부 공간 복잡성 측정치를 계산하는 국부 공간 복잡성 모듈과,
    상기 시간 차이 측정치 및 상기 국부 공간 복잡성 측정치에 기초하여 콘텐츠 의존 움직임 검출 값을 계산하는 콘텐츠 의존 움직임 검출 모듈
    을 포함하는
    시스템.
  9. 제 8 항에 있어서,
    상기 시간 차이 측정치는 현재 프레임 및 기준 프레임 내에서 동일 위치에 배치된 블록의 동일 위치에 배치된 픽셀에 대응하는 시간 벡터의 벡터 노름을 포함하는
    시스템.
  10. 제 9 항에 있어서,
    상기 국부 공간 복잡성 측정치는 수직 공간 벡터 및 수평 공간 벡터에 대한 벡터 노름의 합을 포함하고, 상기 수직 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수직 픽셀 영역에 대응하고, 상기 수평 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수평 픽셀 영역에 대응하는
    시스템.
  11. 제 10 항에 있어서,
    상기 국부 공간 복잡성 측정치는 방정식 Ds=a×norm(V sv)+b×norm(V sh)+c에 따라 계산되며, 상기 Ds는 상기 국부 공간 복잡성 측정치를 포함하고, 상기 V sv는 수 직 벡터를 포함하고, 상기 V sh는 수평 벡터를 포함하며, 상기 a, b 및 c는 상수인
    시스템.
  12. 제 9 항에 있어서,
    상기 국부 공간 복잡성 측정치는 상기 시간 차이 측정치에 사용된 것과 동일한 노름을 사용하여 계산되는 시스템.
  13. 제 8 항에 있어서,
    상기 콘텐츠 의존 움직임 검출 값은 상기 시간 차이 측정치를 상기 국부 공간 복잡성 측정치로 나눈 값을 포함하는 시스템.
  14. 제 8 항에 있어서,
    상기 콘텐츠 의존 움직임 검출 값은 근사화된 콘텐츠 의존 움직임 검출 값을 포함하는 시스템.
  15. 시간 차이 측정치를 계산하는 단계와,
    국부 공간 복잡성 측정치를 계산하는 단계와,
    상기 시간 차이 측정치 및 상기 국부 공간 복잡성 측정치에 기초하여 콘텐츠 의존 움직임 검출 값을 계산하는 단계를
    포함하는 방법.
  16. 제 15 항에 있어서,
    현재 프레임 및 기준 프레임 내에서 동일 위치에 배치된 블록의 동일 위치에 배치된 픽셀에 대응하는 시간 벡터의 벡터 노름을 포함하는 상기 시간 차이 측정치를 계산하는 단계를 더 포함하는
    방법.
  17. 제 16 항에 있어서,
    수직 공간 벡터 및 수평 공간 벡터에 대한 벡터 노름의 합을 포함하는 상기 국부 공간 복잡성 측정치를 계산하는 단계를 더 포함하되, 상기 수직 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수직 픽셀 영역에 대응하고, 상기 수평 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록 의 수평 픽셀 영역에 대응하는
    방법.
  18. 제 17 항에 있어서,
    방정식 Ds=a×norm(V sv)+b×norm(V sh)+c에 따라 상기 국부 공간 복잡성 측정치를 계산하는 단계를 더 포함하되, 상기 Ds는 상기 국부 공간 복잡성 측정치를 포함하고, 상기 V sv는 수직 벡터를 포함하고, 상기 V sh는 수평 벡터를 포함하며, 상기 a, b 및 c는 상수인
    방법.
  19. 제 16 항에 있어서,
    상기 시간 차이 측정치에 사용된 것과 동일한 노름을 사용하여 상기 국부 공간 복잡성 측정치를 계산하는 단계를 더 포함하는 방법.
  20. 제 15 항에 있어서,
    상기 시간 차이 측정치를 상기 국부 공간 복잡성 측정치로 나눔으로써 상기 콘텐츠 의존 움직임 검출 값을 계산하는 단계를 더 포함하는 방법.
  21. 제 15 항에 있어서,
    상기 콘텐츠 의존 움직임 검출 값을 근사화하는 단계를 더 포함하는 방법.
  22. 인스트럭션을 포함하는 컴퓨터 판독가능 저장 매체를 포함하는 물품에 있어서,
    상기 인스트럭션은 실행되는 경우 시스템으로 하여금,
    시간 차이 측정치를 계산하고,
    국부 공간 복잡성 측정치를 계산하며,
    상기 시간 차이 측정치 및 상기 국부 공간 복잡성 측정치에 기초하여 콘텐츠 의존 움직임 검출 값을 계산하도록 하는
    물품.
  23. 제 22 항에 있어서,
    실행되는 경우 상기 시스템으로 하여금 현재 프레임 및 기준 프레임 내에서 동일 위치에 배치된 블록의 동일 위치에 배치된 픽셀에 대응하는 시간 벡터의 벡터 노름을 포함하는 상기 시간 차이 측정치를 계산하도록 하는 인스트럭션을 더 포함하는
    물품.
  24. 제 23 항에 있어서,
    실행되는 경우 상기 시스템으로 하여금 수직 공간 벡터 및 수평 공간 벡터에 대한 벡터 노름의 합을 포함하는 상기 국부 공간 복잡성 측정치를 계산하도록 하는 인스트럭션을 더 포함하되, 상기 수직 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수직 픽셀 영역에 대응하고, 상기 수평 공간 벡터는 상기 현재 프레임 내의 상기 동일 위치에 배치된 블록의 수평 픽셀 영역에 대응하는
    물품.
  25. 제 24 항에 있어서,
    실행되는 경우 상기 시스템으로 하여금 방정식 Ds=a×norm(V sv)+b×norm(V sh)+c에 따라 상기 국부 공간 복잡성 측정치를 계산하도록 하는 인스트럭션을 더 포함하되, 상기 Ds는 상기 국부 공간 복잡성 측정치를 포함하고, 상기 V sv는 수직 벡터를 포함하고, 상기 V sh는 수평 벡터를 포함하며, 상기 a, b 및 c는 상수인
    물품.
  26. 제 23 항에 있어서,
    실행되는 경우 상기 시스템으로 하여금 상기 시간 차이 측정치에 사용된 것과 동일한 표준을 사용하여 상기 국부 공간 복잡성 측정치를 계산하도록 하는 인스트럭션을 더 포함하는
    물품.
  27. 제 22 항에 있어서,
    실행되는 경우 상기 시스템으로 하여금 상기 시간 차이 측정치를 상기 국부 공간 복잡성 측정치로 나눔으로써 상기 콘텐츠 의존 움직임 검출 값을 계산하도록 하는 인스트럭션을 더 포함하는
    물품.
  28. 제 22 항에 있어서,
    실행되는 경우 상기 시스템으로 하여금 상기 콘텐츠 의존 움직임 검출 값을 근사화하도록 하는 인스트럭션을 더 포함하는
    물품.
KR1020097012623A 2006-12-20 2007-12-10 콘텐츠 의존 움직임 검출 장치, 방법 및 물품 Expired - Fee Related KR101050586B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/614,021 2006-12-20
US11/614,021 US8416851B2 (en) 2006-12-20 2006-12-20 Motion detection for video processing
PCT/US2007/087022 WO2008079655A1 (en) 2006-12-20 2007-12-10 Motion detection for video processing

Publications (2)

Publication Number Publication Date
KR20090091771A true KR20090091771A (ko) 2009-08-28
KR101050586B1 KR101050586B1 (ko) 2011-07-19

Family

ID=39542879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097012623A Expired - Fee Related KR101050586B1 (ko) 2006-12-20 2007-12-10 콘텐츠 의존 움직임 검출 장치, 방법 및 물품

Country Status (6)

Country Link
US (1) US8416851B2 (ko)
EP (1) EP2103142B1 (ko)
KR (1) KR101050586B1 (ko)
CN (1) CN101563931B (ko)
TW (1) TWI414185B (ko)
WO (1) WO2008079655A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930268B2 (en) 2013-04-25 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for displaying an image surrounding a video image

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416851B2 (en) 2006-12-20 2013-04-09 Intel Corporation Motion detection for video processing
CN101344920B (zh) * 2008-07-21 2011-09-14 北大方正集团有限公司 对视频数据帧中特定区域进行检测的方法和设备
TWI413023B (zh) * 2010-03-30 2013-10-21 Novatek Microelectronics Corp 移動偵測方法及裝置
CN102538765B (zh) * 2010-12-10 2014-09-03 上海卫星工程研究所 一种卫星的空间视频的测量方法
US8989270B2 (en) * 2011-06-23 2015-03-24 Apple Inc. Optimized search for reference frames in predictive video coding system
CN116645580B (zh) * 2023-06-05 2023-11-14 北京邮电大学 一种基于时空特征差异的弱小目标检测方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4953032A (en) * 1988-11-30 1990-08-28 Hitachi, Ltd. Motion signal generating circuit for use in a television receiver
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2303513B (en) * 1995-07-21 1999-09-29 Innovision Res Ltd Improved correlation processing for motion estimation
DE19624514C1 (de) * 1996-06-19 1997-07-17 Siemens Ag Laserdiode-Modulator-Kombination
TW444507B (en) * 1998-10-22 2001-07-01 Sony Corp Detecting method and device for motion vector
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US7239719B2 (en) * 2003-08-22 2007-07-03 Bbn Technologies Corp. Automatic target detection and motion analysis from image data
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
US8416851B2 (en) 2006-12-20 2013-04-09 Intel Corporation Motion detection for video processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930268B2 (en) 2013-04-25 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for displaying an image surrounding a video image

Also Published As

Publication number Publication date
CN101563931A (zh) 2009-10-21
CN101563931B (zh) 2012-05-30
US20080152194A1 (en) 2008-06-26
US8416851B2 (en) 2013-04-09
TWI414185B (zh) 2013-11-01
TW200835344A (en) 2008-08-16
EP2103142B1 (en) 2015-10-21
WO2008079655A1 (en) 2008-07-03
KR101050586B1 (ko) 2011-07-19
EP2103142A1 (en) 2009-09-23
EP2103142A4 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
US20080112630A1 (en) Digital video stabilization based on robust dominant motion estimation
US8787465B2 (en) Method for neighboring block data management of advanced video decoder
US7835587B2 (en) Method and apparatus for local standard deviation based histogram equalization for adaptive contrast enhancement
KR101050586B1 (ko) 콘텐츠 의존 움직임 검출 장치, 방법 및 물품
EP2127383A1 (en) High performance renormalization for binary arithmetic video coding
WO2011112316A1 (en) Adaptive video decoding circuitry and techniques
EP1967009A1 (en) Hardware motion compensation for video decoding
US11503309B2 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
Adeyemi-Ejeye et al. Impact of packet loss on 4K UHD video for portable devices
WO2007064977A1 (en) Interleaved video frame buffer structure
US20070127578A1 (en) Low delay and small memory footprint picture buffering
EP3595309A1 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
US11438631B1 (en) Slice based pipelined low latency codec system and method
US12363322B2 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
US20250106428A1 (en) Methods and apparatuses for encoding/decoding a video
JPWO2009028101A1 (ja) 信号出力装置、信号出力方法及び信号出力プログラム
WO2024083566A1 (en) Encoding and decoding methods using directional intra prediction and corresponding apparatuses
AU2023307214A1 (en) Film grain synthesis using encoding information
WO2020260310A1 (en) Quantization matrices selection for separate color plane mode

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20090618

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20101021

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110511

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110713

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110713

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140701

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20150630

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160630

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170704

Start annual number: 7

End annual number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190424