KR101668930B1 - 비디오 분석 인코딩 - Google Patents

비디오 분석 인코딩 Download PDF

Info

Publication number
KR101668930B1
KR101668930B1 KR1020147012786A KR20147012786A KR101668930B1 KR 101668930 B1 KR101668930 B1 KR 101668930B1 KR 1020147012786 A KR1020147012786 A KR 1020147012786A KR 20147012786 A KR20147012786 A KR 20147012786A KR 101668930 B1 KR101668930 B1 KR 101668930B1
Authority
KR
South Korea
Prior art keywords
encoded
frame
media
information
frames
Prior art date
Application number
KR1020147012786A
Other languages
English (en)
Other versions
KR20140075791A (ko
Inventor
스콧 에이. 크릭
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140075791A publication Critical patent/KR20140075791A/ko
Application granted granted Critical
Publication of KR101668930B1 publication Critical patent/KR101668930B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

인코딩된 미디어 파일 또는 스트림은 비디오 분석 데이터를 포함할 수 있다. 데이터는 미디어에 묘사된 객체들에 대한 정보를 포함할 수 있다.

Description

비디오 분석 인코딩{VIDEO ANALYTIC ENCODING}
본 발명은 비디오 분석 결과들의 인코딩에 관한 것이다.
비디오 분석은, 비디오 장면들에 묘사된 객체들에 대한 정보를 획득하기 위한, 일반적으로 비디오로부터의 영상 장면들의 분석이다. 비디오 분석의 일례들은, 전자 기술들을 사용해서 비디오를 분석함으로써, 비디오의 사람들 또는 객체들이 인식되는 감시 비디오 분석, 얼굴 및 객체 인식 시스템들 및 고속도로의 차들 등의 객체들을 추적하는 추적 시스템들을 포함한다.
도 1은 본 발명의 일 실시예에 따른 시스템 아키텍처이다.
도 2는 일 실시예에 따른 도 1에 도시된 비디오 분석 엔진의 회로도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 포착의 흐름도이다.
도 4는 일 실시예에 따른 2차원 행렬 메모리의 흐름도이다.
도 5는 일 실시예에 따른 분석 보조 인코딩의 흐름도이다.
도 6은 미디어 프레임 타입들을 식별하는 인덱싱 방법의 도면이다.
도 7은 미디어 프레임 타입들을 도시하기 위한 인터리빙 방법의 도면이다.
도 8은 본 발명의 일 실시예에 대한 흐름도이다.
일부 실시예들에 따라, 비디오 분석의 결과로서 획득된 정보는 반복 가능한 코딩 포맷을 사용해서 인코딩될 수 있다. 결과로서, 비디오 분석 정보는 인코딩된 미디어 파일 또는 스트림과 함께 저장될 수 있다. 이는 장면의 객체들을 분할 및 식별하기보다는, 애플리케이션들이 장면 내의 객체들의 분석에 집중할 수 있도록 미디어를 전처리(pre-processing)함으로써, 매우 다양한 비디오 분석 해법들을 가능케 할 수 있다. 흔한 객체들은, 몇몇 일례들을 거론하자면, 얼굴들, 사람들, 자동차들, 가구 및 기기를 포함할 수 있다.
일례의 애플리케이션들은 영상 장면의 객체들을 식별 및 기술하는 지능형 미디어 뷰어들, 관광 또는 쇼핑을 위한 지능형 여행 안내 시스템들, 감시 및 보안 애플리케이션들을 위한 장면 분석 시스템들, 자동 여행 및 안내 시스템들, 장면상의 각각의 플레이어에 대한 풍부한 메타데이터 오버레이들을 가진 몰입형(immersive) 스포츠 행사 미디어를 포함하며, 다수의 객체들에 대한 세립형 메타데이터에 대한 대화식 제어를 가능케 한다.
도 1을 참조하면, 컴퓨터 시스템(10)은 비디오 분석을 사용하지 않는 실시예들 뿐만 아니라, 비디오 감시 및 비디오 회의 애플리케이션 등의 비디오 분석을 사용하는 실시예들을 포함해서, 각종 컴퓨터 시스템들 중 임의의 컴퓨터 시스템일 수 있다. 시스템(10)은, 몇몇 일례들을 거론하자면, 데스크탑 컴퓨터, 서버, 랩탑 컴퓨터, 모바일 인터넷 장치 또는 휴대 전화일 수 있다.
시스템(10)은 시스템 버스(14)에 연결된 하나의 또는 그 이상의 호스트 중앙 처리 장치들(12)을 가질 수 있다. 시스템 메모리(22)는 시스템 버스(14)에 연결될 수 있다. 호스트 시스템 아키텍처의 일례가 제공되지만, 본 발명은 임의의 특정 시스템 아키텍처로 어떤 식으로든 제한되지 않는다.
시스템 버스(14)는, 차례로, 종래의 버스(18)에 연결된 버스 인터페이스(16)에 연결될 수 있다. 일 실시예에서, PCIe(Peripheral Component Interconnect Express) 버스가 사용될 수 있지만, 본 발명은 임의의 특정 버스로 어떤 식으로든 제한되지 않는다.
비디오 분석 엔진(20)은 버스(18)를 통해 호스트에 연결될 수 있다. 일 실시예에서, 비디오 분석 엔진은 인코딩 및 비디오 분석 둘 다를 제공하는 단일 집적 회로일 수 있다. 일 실시예에서, 집적 회로는 내장형 동적 랜덤 액세스 메모리(EDRAM) 기술을 사용할 수 있다. 다른 실시예에서, 비디오 분석 엔진은 내장형 프로세서 및 소프트웨어 또는 펌웨어를 사용할 수 있다. 그러나, 일부 실시예들에서, 인코딩 또는 비디오 분석은 생략될 수 있다. 또한, 일부 실시예들에서, 엔진(20)은 외부 메모리와의 통신들을 제공할 뿐만 아니라, 온-보드 통합 2차원 행렬 메모리를 제어하는 메모리 제어기를 포함할 수 있다.
따라서, 도 1에 도시된 실시예에서, 비디오 분석 엔진(20)은 로컬 동적 랜덤 액세스 메모리(DRAM)(19)와 통신한다. 구체적으로 말해서, 비디오 분석 엔진(20)은 메모리(19)에 액세스하기 위한 메모리 제어기를 포함할 수 있다. 대안으로, 엔진(20)은 시스템 메모리(22)를 사용할 수 있고, 시스템 메모리에 대한 직접적인 연결을 포함할 수 있다.
또한, 하나의 또는 그 이상의 카메라들(24)이 비디오 분석 엔진(20)에 연결될 수 있다. 일부 실시예들에서, 최대 4 개의 동시 비디오 입력들이 표준 화질 포맷으로 수신될 수 있다. 일부 실시예들에서, 하나의 고화질 입력이 3 개의 입력들에서 제공될 수 있으며, 하나의 표준 화질이 제4 입력에서 제공될 수 있다. 다른 실시예들에서, 더 많거나 더 적은 고화질의 입력들이 제공될 수 있으며, 더 많거나 더 적은 표준 화질의 입력들이 제공될 수 있다. 일례로서, 3 개의 입력들 각각은, 각각 별개의 10 비트 입력 라인에서, R, G 및 B 입력들 또는 Y, U 및 V 입력들 등의 10 비트의 고화질 입력 데이터를 수신할 수 있다.
도 2에 도시된 비디오 분석 엔진(20)의 일 실시예는 페이지의 상부에 4 개의 카메라 채널 입력들을 가진 일 실시예로 도시된다. 4 개의 입력들은 비디오 포착 인터페이스(26)에 의해 수신될 수 있다. 비디오 포착 인터페이스(26)는, 몇몇 일례들을 거론하자면, 텔레비전, 디지털 비디오 녹화기 또는 미디어 플레이어 입력들을 포함해서, 카메라 입력들 또는 다른 비디오 정보의 형태로 다수의 동시 비디오 입력들을 수신할 수 있다.
비디오 포착 인터페이스는 각각의 입력 프레임을 자동으로 포착 및 복사한다. 입력 프레임의 한 복사본이 VAFF 유닛(66)에 제공되고, 다른 복사본은 VEFF 유닛(68)에 제공될 수 있다. VEFF 유닛(68)은 도 1에 도시된 메모리(22) 등의 외부 메모리에 비디오를 저장할 책임이 있다. 외부 메모리는 일 실시예에서 온-칩 시스템 메모리 제어기/아비터(50)에 연결될 수 있다. 일부 실시예들에서, 외부 메모리로의 저장은 비디오 인코딩을 위한 것일 수 있다. 구체적으로 말해서, 한 복사본이 외부 메모리에 저장되면, 그것은 희망 포맷으로 정보를 인코딩하기 위해 비디오 인코더들(32)에 의해 액세스될 수 있다. 일부 실시예들에서, 복수의 포맷들이 유효하며, 시스템은 가장 바람직한 특정 인코딩 포맷을 선택할 수 있다.
상술된 바와 같이, 일부 경우들에서, 비디오 분석은 비디오 인코더들(32)에 의해 구현된 인코딩 프로세스의 효율을 향상시키는데 사용될 수 있다. 프레임들이 인코딩되면, 그것들은 PCI 익스프레스 버스(36)를 통해 호스트 시스템에 제공될 수 있다.
동시에, 입력 비디오 프레임들의 다른 복사본들이 2차원 행렬 또는 메인 메모리(28)에 저장된다. VAFF는 동시에 모든 4개의 입력 비디오 채널들을 처리 및 송신할 수 있다. VAFF는 비디오를 처리 및 송신하기 위해 4개의 복제 유닛들을 포함할 수 있다. 메모리(28)에 대한 비디오의 송신은 멀티플렉싱을 사용할 수 있다. 비디오 귀선 시간(video retrace time)에 내재한 지연으로 인해, 일부 실시예들에서, 다수의 채널들의 전송들은 실시간으로 실행될 수 있다.
메인 메모리로의 저장은 비선형으로 또는 선형으로 선택적으로 구현될 수 있다. 종래에는, 메모리 로케이션들에 액세스하기 위해 교차 어드레싱된 라인들의 하나의 또는 그 이상의 로케이션들의 선형 어드레싱이 지정된다. 일부 경우들에서, 워드 또는 비트라인 등의 어드레스 라인이 지정될 수 있으며, 그 워드 또는 비트라인을 따른 소정 범위가 표시될 수 있어서, 어드레싱된 메모리 라인의 일부분이 자동화된 방식으로 연속해서 저장될 수 있다.
대조적으로, 2차원 또는 비선형 어드레싱에서, 행 라인 및 열 라인 둘 다가 한 동작으로 액세스될 수 있다. 이 동작은, 예를 들어, 행 라인 및 열 라인 등의 2개의 어드레싱된 라인들의 교차에서, 메모리 행렬 내의 시작점을 지정할 수 있다. 그 후, 메모리 크기 또는 다른 구획 문자(delimiter)가, 예를 들어, 행 라인 및 열 라인을 따라, 2차원들로 행렬의 범위를 나타내기 위해 제공된다. 시작점이 지정되면, 전체 행렬은 어드레싱 가능 로케이션들의 자동화된 증분에 의해 자동으로 저장될 수 있다. 다시 말해서, 시작점 후에, 메모리 행렬의 다음 부분들을 저장하기 위한 어드레스들을 결정하기 위해 호스트 또는 다른 장치들로 돌아갈 필요가 없다. 2차원 메모리는 어드레스들을 생성하거나 또는 실질적으로 완전히 제거할 과업을 없앤다. 그 결과, 일부 실시예들에서, 필요한 대역폭 및 액세스 타임이 감소될 수 있다.
기본적으로, 2차원 메모리 행렬을 판독하기 위해 동일한 동작이 역으로 실행될 수 있다. 대안으로, 2차원 메모리 행렬은 또한 종래의 선형 어드레싱을 사용해서 액세스될 수 있다.
메모리 행렬의 크기가 지정된 일례가 제공되지만, 2차원 각각의(즉, 워드 및 비트라인들을 따른) 범위를 포함하는 다른 구획 문자들이 또한 제공될 수 있다. 2차원 메모리가 정지 화상 및 동화상, 그래프들 및 2차원들의 데이터를 가진 다른 애플리케이션들에 유익하다.
정보가 2차원으로 또는 1차원으로 메모리(28)에 저장될 수 있다. 일 실시예에서, 1차원 및 2차원 간의 변환은 하드웨어에서 자동으로 그때그때 발생할 수 있다.
따라서, 도 3을 참조하면, 비디오 포착을 위한 시스템(20)이 하드웨어, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 일부 경우들에서, 하드웨어 실시예들은 더 빠른 속도가 가능할 수 있기 때문에, 유익할 수 있다.
블록(72)에 도시된 바와 같이, 비디오 프레임들은 하나의 또는 그 이상의 채널들로부터 수신될 수 있다. 그 후, 블록(74)에 도시된 바와 같이, 비디오 프레임들이 복사된다. 다음으로, 블록(76)에 도시된 바와 같이, 비디오 프레임들의 하나의 복사본이 인코딩을 위해 외부 메모리에 저장된다. 블록(78)에 도시된 바와 같이, 다른 복사본이 분석을 위해 내부 또는 메인 메모리(28)에 저장된다.
다음으로, 도 4에 도시된 2차원 행렬 시퀀스(80)를 참조하면, 시퀀스는 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 다시 말해서, 하드웨어 실시예들을 사용할 때 속도 면에서 유익할 수 있다.
처음에, 결정 블록(82)에서의 검사는, 저장 명령어가 수신되었는지를 결정한다. 종래에, 이러한 명령어들은 호스트 시스템 및 특히 중앙 처리 장치(12)로부터 수신될 수 있다. 이러한 명령어들은 디스패치 유닛(34)에 의해 수신될 수 있으며, 디스패치 유닛(34)은 그 후 명령어를 구현하는데 사용되는 엔진(20)의 적합한 유닛들에 명령어들을 제공한다. 명령어가 구현되었을 때, 일부 실시예들에서, 디스패치 유닛은 다시 호스트 시스템에 보고한다.
결정 블록(82)에서 결정된 바와 같이, 저장 명령어가 수반되면, 블록(84)에 도시된 바와 같이, 초기 메모리 로케이션 및 2차원 크기 정보가 수신될 수 있다. 그 후, 블록(86)에 도시된 바와 같이, 정보는 적합한 2차원 행렬에 저장된다. 초기 로케이션은, 예를 들어, 행렬의 상부 좌측 코너를 정의할 수 있다. 저장 동작은 동작을 구현하기 위해 필요한 크기의 메모리(20) 내의 행렬을 자동으로 찾을 수 있다. 메모리의 시작점이 제공되면, 일부 실시예들에서, 동작은 추가 어드레스 계산들을 요구하지 않고 행렬의 계속되는 부분들을 자동으로 저장할 수 있다.
역으로, 결정 블록(88)에서 결정된 바와 같이, 판독 액세스가 수반되면, 블록(90)에 도시된 바와 같이, 초기 로케이션 및 2차원 크기 정보가 수신된다. 그 후, 블록(92)에 도시된 바와 같이, 지정된 행렬이 판독된다. 다시 말해서, 액세스가 자동화된 방식으로 실행될 수 있고, 종래의 선형 어드레싱에서 실행될 수 있는 바와 같이, 시작점이 액세스될 수 있으며, 그 후, 종래의 방식으로 돌아가서 어드레스들을 계산할 필요 없이 어드레스들의 나머지가 자동으로 결정된다.
마지막으로, 블록(94)에서 결정된 바와 같이, 이동 명령어가 호스트로부터 수신되었으면, 블록(96)에 도시된 바와 같이, 초기 로케이션 및 2차원 크기 정보가 수신되고, 블록(98)에 도시된 바와 같이, 이동 명령어가 자동으로 구현된다. 다시 말해서, 정보의 행렬은 간단히 시작 로케이션을 지정하고 크기 정보를 제공함으로써, 한 로케이션으로부터 다른 로케이션으로 자동으로 이동될 수 있다.
도 2를 다시 참조하면, 비디오 분석 유닛(42)은 픽셀 파이프라인 유닛(44)을 통해 시스템의 나머지에 연결될 수 있다. 유닛(44)은 디스패치 유닛(34)으로부터의 명령어들을 실행하는 상태 기계를 포함할 수 있다. 통상, 이러한 명령어들은 호스트에서 비롯되어, 디스패치 유닛에 의해 구현된다. 애플리케이션에 기초하여 각종 상이한 분석 유닛들이 포함될 수 있다. 일 실시예에서, 컨볼브 유닛(46)은 컨볼루션들의 자동화된 제공을 위해 포함될 수 있다.
컨볼브 명령어는 마스크, 레퍼런스 또는 커널을 지정하는 명령어 및 인수들을 포함할 수 있어서, 하나의 포착된 영상의 특징이 메모리(28)의 레퍼런스 2차원 영상과 비교될 수 있다. 명령어는 컨볼브 결과를 저장할 장소를 지정하는 목적지를 포함할 수 있다.
일부 경우들에서, 비디오 분석 유닛들 각각은 하드웨어 가속 장치일 수 있다. "하드웨어 가속 장치"라 함은, 중앙 처리 장치에서 실행중인 소프트웨어보다 더 빠른 기능을 실행하는 하드웨어 장치를 언급하고자 의도된 것이다.
일 실시예에서, 비디오 분석 유닛들 각각은 해당 유닛의 특정 기능에 전용인 특수화된 하드웨어에 의해 실행되는 상태 기계일 수 있다. 결과로서, 유닛들은 비교적 빠른 방법으로 실행될 수 있다. 더욱이, 필요한 모든 것은 태스크를 실행하고 태스크의 인수들을 제공하라고 하드웨어 가속 장치에 알리는 것이고, 호스트 프로세서를 포함해서, 임의의 프로세서로부터의 추가 제어 없이, 동작들의 시퀀스가 구현될 수 있기 때문에, 비디오 분석 유닛에 의해 구현되는 각각의 동작을 위해 오직 하나의 클록 사이클만이 필요할 수 있다.
일부 실시예들에서, 다른 비디오 분석 유닛들은 자동화된 방식으로 중심들을 계산하는 중심 유닛(48), 자동화된 방식으로 히스토그램들을 결정하는 히스토그램 유닛(50) 및 팽창/침식 유닛(52)을 포함할 수 있다.
팽창/침식 유닛(52)은 자동화된 방식으로 소정의 영상의 해상도를 증가 또는 감소시킬 책임이 있을 수 있다. 물론, 정보가 이미 유효하지 않는 한 해상도를 증가시킬 수 없지만, 일부 경우들에서, 더 높은 해상도로 수신된 프레임은 더 낮은 해상도에서 처리될 수 있다. 그 결과, 프레임은 더 높은 해상도에서 유효할 수 있으며, 팽창/침식 유닛(52)에 의해 더 높은 해상도로 변환될 수 있다.
상술된 바와 같이, MTOM(Memory Transfer of Matrix) 유닛(54)은 이동 명령어들을 구현할 책임이 있다. 일부 실시예들에서, 연산 유닛(56) 및 불 방식(Boolean) 유닛(58)이 제공될 수 있다. 이 동일한 유닛들이 중앙 처리 장치 또는 이미 존재하는 코프로세서와 관련하여 유효할 수 있더라도, 이들의 온-칩 존재가 엔진(20)으로부터 호스트로 및 역으로의 다수의 데이터 전송 동작들에 대한 필요성을 감소시킬 수 있기에, 이들을 엔진(20)에 온보드하는 것이 유익할 수 있다. 더욱이, 엔진(20)에 온보드함으로써, 일부 실시예들에서, 2차원 또는 행렬 메인 메모리가 사용될 수 있다.
추출 유닛(60)이 영상으로부터 벡터들을 취하기 위해 제공될 수 있다. 검색 유닛(62)이 이미 저장되어있는지를 알기 위해 정보의 특정 타입들을 검색하는데 사용될 수 있다. 예를 들어, 검색 유닛은 이미 저장된 히스토그램을 찾는데 사용될 수 있다. 마지막으로, 영상이 특정 태스크에 대해 해상도가 너무 높을 때 서브샘플 유닛(64)이 사용된다. 영상은 해상도를 감소시키도록 서브샘플링될 수 있다.
일부 실시예들에서, 카메라 구성 명령어들과 인터페이스하기 위한 I2C 인터페이스(38), 및 일부 실시예들에서, 일반적인 입력들 및 출력들을 수신하고 디버깅과 관련해서 사용되기 위해 모든 대응 모듈들에 연결된 범용 입력/출력 장치(40)를 포함하는 다른 컴포넌트들이 또한 제공될 수 있다.
마지막으로, 도 5를 참조하면, 일부 실시예들에서, 분석 보조 인코딩 방식(100)이 구현될 수 있다. 방식은 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 그러나, 하드웨어 실시예들이 더 빠를 수 있다. 분석 보조 인코딩은, 만약 있다면, 비디오 정보의 소정의 프레임의 어떤 일부분들이 인코딩되어야만 하는지를 결정하기 위해 분석 기능들을 사용할 수 있다. 그 결과, 일부 일부분들 또는 프레임들은 일부 실시예들에서 인코딩될 필요가 없을 수 있으며, 한 결과로서, 속도 및 대역폭이 증가될 수 있다.
일부 실시예들에서, 무엇이 인코딩되는지 또는 인코딩되지 않는지는 케이스 특이적(case specific)일 수 있으며, 몇몇 일례들을 거론하자면, 예를 들어, 유효 배터리 전력, 사용자 선택 및 유효 대역폭에 기초하여 그때그때 결정될 수 있다. 특히, 전체 프레임이 인코딩될 필요가 있는지의 여부 또는 프레임의 오직 일부분들만이 인코딩될 필요가 있는지의 여부를 결정하기 위해 기존 프레임들 대 다음 프레임들에 대해 영상 또는 프레임 분석이 실행될 수 있다. 이 분석 보조 인코딩은 단지 움직임 벡터들을 포함할 지의 여부를 결정하지만 각각의 모든 프레임을 여전히 인코딩하는 종래의 움직임 추정 기반 인코딩과 대조된다.
본 발명의 일부 실시예들에서, 연속 프레임들은 선택 기반으로 인코딩되거나 또는 인코딩되지 않으며, 프레임 내의 선택된 영역들은 이 영역들 내의 움직임의 정도에 기초하여 인코딩될 수도 또는 전혀 인코딩되지 않을 수도 있다. 그 후, 디코딩 시스템에게 얼마나 많은 프레임들이 인코딩되었는지 또는 인코딩되지 않았는지가 알려지고, 디코딩 시스템은 간단히 필요한 대로 프레임들을 복제할 수 있다.
도 5를 참조하면, 제1 프레임 또는 프레임들은 베이스 또는 레퍼런스를 결정하기 위해, 블록(102)에 도시된 바와 같이, 시작할 때 완전히 인코딩될 수 있다. 그 후, 결정 블록(104)에서의 검사는 분석 보조 인코딩이 제공되어야만 하는지를 결정한다. 분석 보조 인코딩이 사용되지 않으면, 인코딩은 종래에 실행되는 바와 같이 진행된다.
결정 블록(104)에서 결정된 바와 같이, 분석 보조 인코딩이 제공되면, 블록(106)에 도시된 바와 같이, 임계값이 결정된다. 임계값은 고정될 수 있으며, 또는 몇몇 일례들을 거론하자면, 유효 배터리 전력, 유효 대역폭 또는 사용자 선택 등의 비움직임 요인들에 따라 조정될 수 있다. 다음으로, 블록(108)에서, 기존 프레임 및 다음 프레임들이 분석되어 임계값을 초과한 움직임이 존재하는지를 결정하고, 그렇다면, 특정 영역들에서 격리될 수 있다. 이를 위해, 컨볼브 유닛, 팽창/침식 유닛, 서브샘플 유닛 및 검색 유닛을 포함하지만, 이들로만 제한되지 않은 각종 분석 유닛들이 사용될 수 있다. 특히, 영상 또는 프레임이 임계값을 넘는 움직임에 대해 분석되고, 이전 및/또는 다음 프레임들에 대하여 분석될 수 있다.
그 후, 블록(110)에 도시된 바와 같이, 임계값을 초과하는 움직임을 가진 영역들의 위치가 정해질 수 있다. 블록(112)에 도시된 바와 같이, 일 실시예에서, 이 영역들만이 인코딩될 수 있다. 일부 경우들에서, 소정의 프레임에 대한 영역들은 전혀 인코딩되지 않을 수 있으며, 이 결과는 프레임이 디코딩 중에 간단히 복제될 수 있도록 간단히 기록될 수 있다. 일반적으로, 인코더는 어떤 프레임들이 인코딩되었는지 및 프레임들이 인코딩된 일부분들만을 가지는지에 대한 정보를 헤더 또는 다른 로케이션에서 제공한다. 인코딩된 일부분의 어드레스는 일부 실시예들에서 시작점 및 행렬 크기의 형태로 제공될 수 있다.
도 3, 도 4 및 도 5는 하드웨어로 구현될 수 있는 흐름도들이다. 이들은 또한 소프트웨어 또는 펌웨어로 구현될 수도 있으며, 이 경우에, 이들은 광, 자기 또는 반도체 메모리 등의 비일시 컴퓨터 판독 가능 매체에서 구현될 수 있다. 비일시 매체는 프로세서에 의해 실행될 명령어들을 저장한다. 프로세서 또는 제어기의 일례들은 분석 엔진(20)을 포함할 수 있으며, 적합한 비일시 매체는 2가지 일례들로서 메인 메모리(28) 및 외부 메모리(22)를 포함할 수 있다.
코더/디코더(CODEC) 포맷들은 I-프레임들, P-프레임들, B-프레임들 등의 인코딩된 영상 프레임들의 집합을 포함한다. 인코딩의 주 목표는 미디어를 압축하고 프레임마다 변하는 미디어의 일부분들만을 인코딩한다. 미디어는 파일들로 인코딩 및 저장되거나 또는 네트워크를 통해 송신되며, 디스플레이 장치에서의 렌더링을 위해 디코딩된다.
비디오 분석 정보는 다음과 같은 수개의 메타-프레임들에서 구현된다:
V-스키마: 비디오 분석 메트릭들 및 이들을 어떻게 인코딩할지를 선택하는 규칙들.
O-프레임들: 장면 내에서 발견된 객체들 + 그 객체 기술자들.
T-프레임들: 프레임들 간의 객체 추적 델타들.
M-프레임들: 사람의 이름, 로케이션(어드레스, GPS 좌표) 등의 객체 메타데이터.
L-프레임들: 미디어에서 식별 및 추적된 모든 객체들에 대한 요약 정보 로그(인코딩된 스트림의 끝의 선택적인 항목, 텍스트 로그 포맷).
V-프레임은 어떤 메트릭이 인코딩되어야만 하는지를 정의한다. V-프레임은 O-프레임, T-프레임, M-프레임 또는 L-프레임들 등, 어떤 프레임들을 사용할지 및 이 특정 프레임들의 콘텐츠를 결정하기 위해 비디오 인코딩 시간에 사용될 수 있다. 따라서, V-프레임 방식은 일반, 얼굴, 인간의 모습, 자동차 등의 상이한 객체들에 대한 상이한 프로필들이 있을 수 있도록 인코딩 포맷에 어떤 정보가 포함될지를 결정하는 각종 인코딩 프로필들을 가능하게 한다.
V-프레임은 O-프레임, T-프레임, M-프레임 또는 L-프레임의 임의의 속성들을 지정할 수 있다. 다시 말해서, V-프레임 방식은 프레임에 무엇을 포함할 수 있는지 및 인코딩된 매체 스트림에서 무엇이 예상되는지를 식별한다.
V-프레임 방식이 세부 사항의 희망 레벨에 따라 메트릭에 대한 별개의 프로필들을 정의하므로, 새로운 메트릭이 인코딩 포맷에 추가되어, 추가 프로필들을 생성하고 O-프레임들, L-프레임들 등의 특정 타입들의 프레임들에 대한 추가 메트릭을 정의할 수 있다.
일 실시예에서, O-프레임들은 장면이 묘사하는 바에 대한 기술 텍스트와 함께, 프레임을 식별하기 위한 레퍼런스 번호 등의 각종 객체 메트릭을 포함할 수 있다. 또한, O-프레임들은 장면에서 발견된 각각의 객체에 대한 객체 식별자들을 포함할 수 있다. 객체 기술자들은, 몇몇 일례들을 들자면, 픽셀 영역, 주변, 중심, 중심을 통해 주변에 나아가는 최장 및 최단 축들, 경계 박스, 다각형 윤곽, 푸리에 기술자, 평균 색, 형태학 구멍들의 수, 색 스펙트럼, 그레이 값들의 히스토그램, 색 강도의 히스토그램, 감촉 메트릭 및 방향성 에지 메트릭 등의 프레임 내의 객체들의 특징들에 대해 제공될 수 있다.
합성 객체 연관성이, 각각의 객체 식별자들을 사용해서 차, 길 및 표지판들을 포함할 수 있는 도로 장면 또는 눈, 코, 볼, 턱, 귀 등을 포함할 수 있는 묘사된 얼굴 등의 합성 객체에서 함께 연관될 수 있는 객체들의 리스트의 형태로 O-프레임들에 또한 포함될 수 있다. 얼굴 묘사의 경우에, 2차원 또는 3차원의 얼굴 특징 로케이션 포인트들이, 2차원 또는 3차원 포인트들의 어레이로서 저장될 수 있는 눈들, 코, 볼, 턱, 귀들, 정수리 등에 대해 제공될 수 있다. O-프레임들은 차, 가구, 사람, 기기, 식물, 동물 등의 사물들에 대한 영상 프레임 내의 객체 특징 로케이션 포인트들을 또한 포함할 수 있다. 객체들의 2차원 메시 기술자들은 얼굴, 사람, 차 등을 식별할 수 있다. 3차원 메시 기술자들에게도 동일하게 실행될 수 있다.
어떤 객체들이 배경이며 관심 사항이 아닌지 및 어떤 객체들이 전경이며 관심 사항인지를 결정하기 위해 객체들의 O-프레임들에 배경 및 전경 분할이 제공될 수 있다.
T-프레임들은 프레임들 간의 객체들의 이동을 추적 또는 기록하는데 사용될 수 있다. 특히, T-프레임들은 O-프레임들에서 이전에 인코딩된 객체들의 움직임을 추적하는데 사용될 수 있다. 예를 들어, O-프레임은 소정의 객체에 의해 얼굴 기술자를 인코딩할 수 있으며, 다음 T-프레임은 장면 내의 얼굴 객체의 추적 및 이동을 기록할 수 있다.
일부 실시예들에서, 추적 메커니즘은 T-프레임에 의해 참조된 O-프레임 식별자인 레퍼런스 프레임 및 추적된 객체 식별자인 객체 식별자를 포함할 수 있다. 다수의 객체 식별자들이 T-프레임 내에서 가능하다. 그 후, 일 실시예에서, 각각의 추적된 객체 식별자에 대해, 신뢰 인자, 추적 메트릭 및 추적 카운트가 제공될 수 있다. 신뢰 인자는 부동 소수점수(예를 들어, 0 .. 1.0) 또는 텍스트 스트링(예를 들어, 고 중간 또는 저)을 사용해서 객체의 식별이 얼마나 정확하다고 여겨질지를 나타낼 수 있다. 추적 메트릭은, 객체가 현재 프레임에 존재하면, T-프레임이 중심 또는 다른 유일한 메트릭 또는 신뢰도를 증가시키기 위해 추적을 위해 함께 사용된 수개의 메트릭들의 조합과 같은, 추적된 메트릭을 기록함을 나타낼 수 있다. 추적 카운트는 객체를 포함하는 인접 프레임들의 누적 카운트 또는 객체를 포함하는 프레임들의 프레임 일련 번호들의 리스트를 포함할 수 있다.
M-프레임들은 장면 또는 장면의 객체들에 대한 메타데이터를 포함할 수 있다. 예를 들어, 스포츠 행사 미디어 M-프레임은 각각의 선수의 통계, 이름, 팀, 키, 체중, 득점 세부 사항들 등에 대한 메타데이터를 포함할 수 있다. 예를 들어, M-프레임 메타데이터는 개인 또는 전문적 데이터, 각각의 프레임의 위성 항법 장치(GPS) 좌표, 어드레스들, 카메라의 나침반 각도, 시각 및 날짜, 고도 및 온도, 각각의 객체 또는 사람의 이름 및 V-방식에서 정의된 다른 정보를 포함할 수 있다.
L-프레임들은 로그 프레임들이며, 인코딩된 비디오 스트림 내의 임의의 장소에 위치할 수 있다. 그러나, 통상, 이들은 각각의 파일 또는 스트림의 끝에 배치될 수 있다. L-프레임들은 추적된 객체들에 대한 요약 로그를 포함하고, 각각의 시청 객체의 경과 시간, 객체가 보이는 프레임들의 수 및 프레임 내의 각각의 추적 객체에 대한 상대 움직임 검출기 등의 정보를 포함할 수 있다. L-프레임은 특정 맥락들의 유용한 정보를 포함할 수 있다. 보안 및 감시 애플리케이션에서, L-프레임은 얼마나 오랫동안 소정의 영역에서 사람이 배회했는지 및 그 사람이 반복 범죄자인지에 대한 정보를 포함할 수 있다.
따라서, 도 8을 참조하면, 일 실시예에 따라, 인코딩 시퀀스(120)는 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 실시예들에서, 시퀀스(120)는 자기, 광 또는 반도체 기억 장치 등의 비일시 컴퓨터 판독 가능 매체들에 저장된 컴퓨터 실행 명령어들을 사용해서 구현될 수 있다.
블록(122)에 도시된 바와 같이, 시퀀스는 분석 타입을 식별함으로써 개시된다. 예를 들어, 얼굴 분석은 하나의 타입일 수 있으며, 트래픽을 관리하기 위한 고속도로의 차들의 분석은 다른 타입일 수 있다. 그 후, 블록(124)에 도시된 바와 같이, V-방식에 대한 특정 프로필이 선택될 수 있다. 그 후, 블록(126)에 도시된 바와 같이, 프로필은 V-프레임에 통합된다. 마지막으로, 블록(128)에 도시된 바와 같이, O, T, M 및 L 프레임들이 V-프레임에 의해 지정된 대로 채워진다(populated).
본 명세서에 기술된 그래픽 프로세싱 기술들이 각종 하드웨어 아키텍처들로 구현될 수 있다. 예를 들어, 그래픽 기능은 칩셋 내에 통합될 수 있다. 대안으로, 개별 그래픽 프로세서가 사용될 수 있다. 또 다른 실시예에서, 그래픽 기능들은 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 소프트웨어 또는 펌웨어를 사용해서 구현될 수 있다.
본 명세서에서 "one embodiment(일 실시예)" 또는 "an embodiment(일 실시예)"에 대한 언급들은, 실시예들과 관련하여 기술된 특정 특징, 구조 또는 특성이 본 발명 내에 포함된 적어도 하나의 구현에 포함됨을 의미한다. 따라서, 구절 "one embodiment(일 실시예)" 또는 "in an embodiment(일 실시예에서)"의 출현들은 반드시 동일한 실시예와 관련되는 것은 아니다. 더욱이, 특정 특징들, 구조들 또는 특성들은 도시된 특정 실시예가 아닌 다른 적합한 형태들로 도입될 수 있으며, 이러한 모든 형태들은 본 발명의 청구항들 내에 포함될 수 있다.
본 발명이 제한된 수의 실시예들과 관련하여 기술되었지만, 다수의 변경들 및 변형들을 당업자는 알 것이다. 첨부된 청구항들이 본 발명의 참 원리 및 범위 내에 속한 모든 변경들 및 변형들을 포함하도록 의도된다.

Claims (28)

  1. 인코딩된 미디어와 연관해서 미디어의 비디오 분석에 대한 정보를 저장하는 단계를 포함하고,
    상기 정보는 객체가 묘사되는 다수의 프레임들의 카운트 또는 상기 객체를 묘사하는 프레임들의 일련 번호들의 리스트 중 적어도 하나를 포함하는 방법으로서,
    만약 있다면, 비디오 정보의 주어진 프레임의 어떤 부분들이 인코딩되어야만 하는지를 결정하기 위해 상기 정보를 이용하는 단계
    를 포함하고, 인코딩되지 않은 상기 부분들은 저장되어, 인코딩되지 않은 상기 부분들이 디코딩 중에 간단히 복제되도록 하는, 방법.
  2. 제1항에 있어서,
    어떤 타입의 비디오 분석 정보가 상기 인코딩된 미디어에 포함되는지를 나타내기 위한 프레임을 제공하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    인코딩을 위해 복수의 선택 가능한 분석 타입들을 제공하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 인코딩된 미디어 내의 객체들을 식별하기 위한 프레임을 제공하는 단계를 포함하는 방법.
  5. 제4항에 있어서,
    객체들을 식별하기 위한 프레임을 제공하는 단계는 인코딩된 미디어의 프레임을 식별하는 단계, 상기 인코딩된 미디어 프레임 내의 객체들을 식별하는 단계 및 식별된 객체들에 대한 정보를 제공하는 기술자들을 제공하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 미디어에서 추적중인 객체들의 움직임을 나타내기 위한 프레임을 제공하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 미디어 내의 객체의 식별이 얼마나 확실한지를 나타내기 위해 신뢰도 지수(confidence indicator)를 제공하는 단계를 포함하는 방법.
  8. 명령어들을 저장하고 있는 비일시 컴퓨터 판독 가능 매체로서, 상기 명령어들은 컴퓨터가
    인코딩된 미디어와 연관해서 미디어의 비디오 분석에 대한 데이터를 저장할 수 있게 하고,
    상기 데이터는 객체가 묘사되는 다수의 프레임들의 카운트 또는 상기 객체를 묘사하는 프레임들의 일련 번호들의 리스트 중 적어도 하나를 포함하며,
    상기 명령어들은 또한 상기 컴퓨터가, 만약 있다면, 비디오 정보의 주어진 프레임의 어떤 부분들이 인코딩되어야만 하는지를 결정하기 위해 상기 데이터를 이용할 수 있게 하고,
    상기 명령어들은 또한 상기 컴퓨터가, 인코딩되지 않은 상기 부분들을 저장할 수 있게 하여, 인코딩되지 않은 상기 부분들이 디코딩 중에 간단히 복제되도록 하는 비일시 컴퓨터 판독 가능 매체.
  9. 제8항에 있어서,
    어떤 타입의 비디오 분석 정보가 상기 인코딩된 미디어에 포함되는지를 나타내기 위한 프레임을 제공하라는 명령어들을 더 저장하고 있는 비일시 컴퓨터 판독 가능 매체.
  10. 제9항에 있어서,
    인코딩을 위해 복수의 선택 가능한 분석 타입들을 제공하라는 명령어들을 더 저장하고 있는 비일시 컴퓨터 판독 가능 매체.
  11. 제8항에 있어서,
    상기 인코딩된 미디어 내의 객체들을 식별하기 위해 분석 정보 내의 프레임을 제공하라는 명령어들을 더 저장하고 있는 비일시 컴퓨터 판독 가능 매체.
  12. 제8항에 있어서,
    상기 미디어에서 추적중인 객체들의 움직임을 나타내기 위해 인코딩된 미디어에 프레임을 제공하라는 명령어들을 더 저장하고 있는 비일시 컴퓨터 판독 가능 매체.
  13. 제8항에 있어서,
    상기 미디어에 묘사된 객체들에 관한 메타데이터에 대한 상기 비디오 분석에 관한 정보의 프레임을 제공하라는 명령어들을 더 저장하고 있는 비일시 컴퓨터 판독 가능 매체.
  14. 제8항에 있어서,
    상기 인코딩된 미디어와 연관해서 저장된 분석 정보의 요약을 제공하라는 명령어들을 더 저장하고 있는 비일시 컴퓨터 판독 가능 매체.
  15. 인코딩된 미디어에 대한 비디오 분석 정보와 함께, 상기 인코딩된 미디어를 저장하기 위한 프로세서 - 상기 정보는 객체가 묘사되는 다수의 프레임들의 카운트 또는 상기 객체를 묘사하는 프레임들의 일련 번호들의 리스트 중 적어도 하나를 포함함 -; 및
    상기 프로세서에 연결된 메모리
    를 포함하고,
    상기 프로세서는, 만약 있다면, 비디오 정보의 주어진 프레임의 어떤 부분들이 인코딩되어야만 하는지를 결정하기 위해 상기 정보를 이용하고, 인코딩되지 않은 상기 부분들은 저장되어, 인코딩되지 않은 상기 부분들이 디코딩 중에 간단히 복제되도록 하는 인코더.
  16. 제15항에 있어서,
    상기 프로세서는 어떤 타입의 비디오 분석 정보가 상기 인코딩된 미디어에 포함되는지를 나타내는 비디오 분석 정보를 제공하는 인코더.
  17. 제16항에 있어서,
    상기 프로세서는 인코딩을 위해 복수의 선택 가능한 분석 타입들을 제공하는 인코더.
  18. 제15항에 있어서,
    상기 프로세서는 상기 인코딩된 미디어 내의 객체들을 식별하기 위한 프레임을 제공하는 인코더.
  19. 제15항에 있어서,
    상기 프로세서는 상기 미디어에서 추적중인 객체들의 움직임을 나타내기 위한 프레임을 제공하는 인코더.
  20. 제19항에 있어서,
    상기 프로세서는 상기 미디어 내의 객체의 식별이 얼마나 확실한지를 나타내기 위한 신뢰도 지수를 제공하는 인코더.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020147012786A 2011-11-14 2011-11-14 비디오 분석 인코딩 KR101668930B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/060517 WO2013074060A1 (en) 2011-11-14 2011-11-14 Video analytic encoding

Publications (2)

Publication Number Publication Date
KR20140075791A KR20140075791A (ko) 2014-06-19
KR101668930B1 true KR101668930B1 (ko) 2016-10-24

Family

ID=48429981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147012786A KR101668930B1 (ko) 2011-11-14 2011-11-14 비디오 분석 인코딩

Country Status (5)

Country Link
US (1) US20130265490A1 (ko)
EP (1) EP2781085A4 (ko)
KR (1) KR101668930B1 (ko)
CN (1) CN103947192A (ko)
WO (1) WO2013074060A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2890148A1 (en) * 2013-12-27 2015-07-01 Patents Factory Ltd. Sp. z o.o. System and method for video surveillance
US9946951B2 (en) 2015-08-12 2018-04-17 International Business Machines Corporation Self-optimized object detection using online detector selection
US9767564B2 (en) 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US11412303B2 (en) * 2018-08-28 2022-08-09 International Business Machines Corporation Filtering images of live stream content
CN109445900B (zh) * 2018-11-13 2021-12-10 江苏省舜禹信息技术有限公司 用于图片显示的翻译方法和装置
KR20230056482A (ko) * 2021-10-20 2023-04-27 한화비전 주식회사 영상 압축 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211036A1 (en) 2010-02-26 2011-09-01 Bao Tran High definition personal computer (pc) cam

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
EP1586202B1 (en) * 2003-01-23 2009-03-18 Intergraph Software Technologies Company Video content parser with scene change detector
US7672370B1 (en) * 2004-03-16 2010-03-02 3Vr Security, Inc. Deep frame analysis of multiple video streams in a pipeline architecture
US7746378B2 (en) * 2004-10-12 2010-06-29 International Business Machines Corporation Video analysis, archiving and alerting methods and apparatus for a distributed, modular and extensible video surveillance system
US7730047B2 (en) * 2006-04-07 2010-06-01 Microsoft Corporation Analysis of media content via extensible object
KR20080078217A (ko) * 2007-02-22 2008-08-27 정태우 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치
KR100902738B1 (ko) * 2007-04-27 2009-06-15 한국정보통신대학교 산학협력단 비트스트림상에서의 객체 추적 장치 및 이의 방법
US8013738B2 (en) * 2007-10-04 2011-09-06 Kd Secure, Llc Hierarchical storage manager (HSM) for intelligent storage of large volumes of data
EP2071578A1 (en) * 2007-12-13 2009-06-17 Sony Computer Entertainment Europe Ltd. Video interaction apparatus and method
US8872940B2 (en) * 2008-03-03 2014-10-28 Videoiq, Inc. Content aware storage of video data
KR101592889B1 (ko) * 2008-03-03 2016-02-11 아비길론 페이턴트 홀딩 2 코포레이션 트래킹, 인덱싱 및 서치를 위한 물체 매칭 방법 및 장치
WO2010021527A2 (ko) * 2008-08-22 2010-02-25 Jung Tae Woo 영상에 포함된 객체를 색인하는 시스템 및 방법
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
KR101164353B1 (ko) * 2009-10-23 2012-07-09 삼성전자주식회사 미디어 콘텐츠 열람 및 관련 기능 실행 방법과 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211036A1 (en) 2010-02-26 2011-09-01 Bao Tran High definition personal computer (pc) cam

Also Published As

Publication number Publication date
EP2781085A1 (en) 2014-09-24
EP2781085A4 (en) 2015-07-29
WO2013074060A1 (en) 2013-05-23
KR20140075791A (ko) 2014-06-19
CN103947192A (zh) 2014-07-23
US20130265490A1 (en) 2013-10-10

Similar Documents

Publication Publication Date Title
KR101668930B1 (ko) 비디오 분석 인코딩
CN110610510B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN106162177B (zh) 视频编码方法和装置
Simoens et al. Scalable crowd-sourcing of video from mobile devices
CN113347421B (zh) 视频编码和解码方法、装置和计算机设备
CN108492322B (zh) 一种基于深度学习预测用户视场的方法
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN110457974B (zh) 图像叠加方法、装置、电子设备及可读存储介质
CN111918024B (zh) 一种城市路网数字化监控系统和方法
US10070134B2 (en) Analytics assisted encoding
KR20170040276A (ko) 비디오 인코딩을 위한 적응적 검색 윈도우 포지셔닝
TW201911240A (zh) 影像處理裝置及方法、檔案生成裝置及方法、以及程式
CN111510731A (zh) 交通图像的拼接系统及方法
CN103975583A (zh) 捕获多个视频通道用于视频分析和编码
Choudhary et al. Real time video summarization on mobile platform
CN112257638A (zh) 一种图像比对方法、系统、设备及计算机可读存储介质
CN116052047B (zh) 运动物体检测方法及其相关设备
US20130278775A1 (en) Multiple Stream Processing for Video Analytics and Encoding
CN113573065B (zh) 一种多媒体数据编码方法和装置
CN115080531A (zh) 基于分布式存储图像处理方法、系统、设备及介质
Zhong et al. TVM: A Tile-based Video Management Framework
CN113051415B (zh) 图像存储方法、装置、设备和存储介质
CN115811585B (zh) 场景切换的识别方法、装置、设备、介质及计算机产品
KR102593622B1 (ko) 모빌리티 단말 기반의 영상 관제 시스템 및 이의 영상 관리 방법
CN117710777B (zh) 模型训练方法、关键帧抽取方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
PA0105 International application

Patent event date: 20140513

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140513

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151015

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160530

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20151015

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20160530

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20160115

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20140513

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20160722

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20160629

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20160530

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20160115

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20140513

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161018

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161018

End annual number: 3

Start annual number: 1

PG1601 Publication of registration