KR20130129471A - 관심 객체 기반 이미지 처리 - Google Patents

관심 객체 기반 이미지 처리 Download PDF

Info

Publication number
KR20130129471A
KR20130129471A KR1020137026710A KR20137026710A KR20130129471A KR 20130129471 A KR20130129471 A KR 20130129471A KR 1020137026710 A KR1020137026710 A KR 1020137026710A KR 20137026710 A KR20137026710 A KR 20137026710A KR 20130129471 A KR20130129471 A KR 20130129471A
Authority
KR
South Korea
Prior art keywords
interest
image frames
objects
region
engine
Prior art date
Application number
KR1020137026710A
Other languages
English (en)
Inventor
치앙 리
웬롱 리
펭 왕
타오 왕
양조우 두
지안구오 리
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20130129471A publication Critical patent/KR20130129471A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

장치, 방법 및 시스템이 제공되며, 시스템은 개별 이미지 프레임들 내의 하나 이상의 관심 객체를, 이들의 배경을 인코딩 및/또는 압축하는 데 사용되는 비트 밀도보다 높은 비트 밀도들로 인코딩 및/또는 압축하기 위한 인코딩 엔진을 포함한다. 시스템은 하나 이상의 관심 객체의 적어도 일부를 포함하는 관심 영역을 식별하고, 개별 이미지 프레임들 내의 관심 영역을 스케일링하여 관심 객체들을 강조하기 위한 상황 엔진을 더 포함할 수 있다.

Description

관심 객체 기반 이미지 처리{OBJECT OF INTEREST BASED IMAGE PROCESSING}
본 발명은 일반적으로 데이터 처리에 관한 것으로서, 구체적으로는 관심 객체 기반 이미지 처리에 관한 것이다.
본 명세서에서 달리 지시되지 않는 한, 이 섹션에서 설명되는 내용은 본 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션 내의 포함에 의해 종래 기술인 것으로 인정되지 않는다.
일반적으로 이미징 처리 애플리케이션들, 구체적으로 비디오 회의 솔루션들은 하나 이상의 카메라로부터 라이브 비디오 이미지 프레임들을 수신 또는 캡처하고, 캡처된 비디오 이미지 프레임들을 압축하고, 압축된 비디오 이미지 프레임들을 하나 이상의 수신자에게 전송할 수 있으며, 이어서 하나 이상의 수신자는 수신된 비디오 이미지 프레임들을 압축 해제(decompress)할 수 있다. 오늘날, 비디오 회의와 같은 점점 더 많은 이미지 처리 애플리케이션들은 고정 장치들을 이용하는 애플리케이션들을 지원하도록 구성된 전통적인 네트워크들에 비해 비교적 더 낮은 대역폭을 가질 수 있는 네트워크들을 통해 이동 장치들을 이용하여 실행된다. 따라서, 전송되는 비디오의 품질 및 이러한 애플리케이션들의 사용자 경험은 이상적이지 못할 수 있다.
본 발명의 실시예들은 첨부 도면들에 도시된, 한정이 아니라 예시적인 도해들을 통해 설명되며, 도면들에서 동일한 참조 부호들은 유사한 요소들을 나타낸다.
도 1은 본 발명의 다양한 실시예들에 따른 예시적인 이미지 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 다양한 실시예들에 따른 비디오 신호의 예시적인 개별 이미지 프레임을 나타내는 블록도이다.
도 3은 본 발명의 다양한 실시예들에 따른 이미지 처리 장치의 인코딩 엔진의 동작들의 일부를 나타내는 흐름도이다.
도 4는 본 발명의 다양한 실시예들에 따른 이미지 처리 장치의 상황 엔진의 동작들의 일부를 나타내는 흐름도이다.
도 5는 본 발명의 다양한 실시예들에 따른 이미지 처리 장치의 동작들의 일부를 나타내는 흐름도이다.
도 6은 본 발명의 실시예들에 따른, 설명되는 방법들 및/또는 장치들의 다양한 양태들을 실시하는 데 사용하기에 적합한 예시적인 컴퓨터 시스템을 나타내는 블록도이다.
도 7은 본 발명의 실시예들에 따른, 장치로 하여금, 이미지 처리 장치의 다양한 동작들을 실시하게 하도록 구성된 프로그래밍 명령어들을 갖는 제조물을 나타내는 블록도이다.
본 발명의 다양한 실시예들은 개별 이미지 프레임들 내의 하나 이상의 관심 객체를, 이미지 프레임들의 배경을 인코딩 및/또는 압축하는 데 사용되는 비트 밀도보다 높은 비트 밀도로 인코딩 및/또는 압축하도록 구성된 인코딩 엔진을 포함하는 장치들, 방법들 및 시스템들을 설명할 수 있다. 이미지 처리 시스템은 하나 이상의 관심 객체의 적어도 일부를 포함하는 관심 영역을 식별하고, 각각의 프레임 내의 관심 영역을 스케일링하여 관심 객체들을 강조하도록 구성된 상황 엔진을 더 포함할 수 있다.
다양한 실시예들에서, 장치는 비디오 신호의 다수의 이미지 프레임을 수신하고, 각각의 이미지 프레임의 배경을 인코딩 및/또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임 내의 하나 이상의 관심 객체와 관련된 하나 이상의 영역을 인코딩 및/또는 압축하도록 구성된 인코딩 엔진을 포함할 수 있으며, 배경 및 하나 이상의 영역은 각각의 이미지 프레임을 형성한다. 장치는 인코딩 엔진에 결합되고, 인코딩/압축된 다수의 이미지 프레임을 하나 이상의 수신자에게 전송하도록 구성된 송신기를 더 포함할 수 있다.
다양한 실시예들에서, 하나 이상의 관심 객체는 비디오 회의의 참여자들의 하나 이상의 얼굴을 포함할 수 있다.
다양한 실시예들에서, 장치는 인코딩 엔진에 결합되고, 각각의 이미지 프레임 내의 하나 이상의 관심 객체를 식별하도록 구성된 상황 엔진을 더 포함할 수 있다.
다양한 실시예들에서, 상황 엔진은 각각의 이미지 프레임 내의 관심 영역을 식별하도록 더 구성될 수 있으며, 관심 영역은 하나 이상의 관심 객체를 적어도 부분적으로 포함할 수 있다.
다양한 실시예들에서, 상황 엔진은 각각의 이미지 프레임 내의 관심 영역을 스케일링 업하여, 각각의 이미지 프레임 내의 관심 영역의 현저성을 증가시키도록 더 구성될 수 있다.
다양한 실시예들에서, 상황 엔진은 관심 영역을 조정하여 하나 이상의 관심 객체 중 적어도 하나를 각각의 이미지 프레임 내의 중심에 배치하도록 더 구성될 수 있다.
다양한 실시예들에서, 상황 엔진은 상황 정보에 기초하여 관심 영역을 조정하여 하나 이상의 관심 객체 중 적어도 하나를 각각의 이미지 프레임 내의 중심을 벗어난 위치에 배치하도록 더 구성될 수 있다.
다양한 실시예들에서, 장치의 하나 이상의 관심 객체는 비디오 회의의 참여자들의 하나 이상의 얼굴을 포함할 수 있으며, 상황 정보는 하나 이상의 얼굴의 얼굴 배향들을 포함할 수 있다.
다양한 실시예들에서, 송신기는 하나 이상의 관심 객체 및 배경을 개별적으로 전송하도록 더 구성될 수 있다.
다양한 실시예들에서, 방법은 비디오 신호의 다수의 이미지 프레임을 수신하는 단계; 및 각각의 이미지 프레임의 배경을 인코딩 및/또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임 내의 하나 이상의 관심 객체와 관련된 하나 이상의 영역을 인코딩 및/또는 압축하는 단계를 포함할 수 있으며, 배경 및 하나 이상의 영역은 각각의 이미지 프레임을 형성한다.
다양한 실시예들에서, 방법은 각각의 이미지 프레임 내의 하나 이상의 관심 객체를 식별하는 단계를 더 포함할 수 있다.
다양한 실시예들에서, 방법은 각각의 이미지 프레임 내의 관심 영역을 식별하는 단계를 더 포함할 수 있으며, 관심 영역은 하나 이상의 관심 객체를 적어도 부분적으로 포함한다.
다양한 실시예들에서, 방법은 각각의 이미지 프레임 내의 관심 영역을 스케일링 업하여 각각의 이미지 프레임 내의 관심 영역의 현저성을 증가시키는 단계를 더 포함할 수 있다.
다양한 실시예들에서, 방법은 각각의 이미지 프레임 내의 관심 영역을 조정하여 하나 이상의 관심 객체 중 적어도 하나를 각각의 이미지 프레임 내의 중심에 배치하는 단계를 더 포함할 수 있다.
다양한 실시예들에서, 방법은 상황 정보에 기초하여 관심 영역을 조정하여 하나 이상의 관심 객체 중 적어도 하나를 각각의 이미지 프레임 내의 중심을 벗어난 위치에 배치하는 단계를 더 포함할 수 있다.
다양한 실시예들에서, 방법의 하나 이상의 관심 객체는 비디오 회의의 참여자들의 하나 이상의 얼굴을 포함할 수 있으며, 상황 정보는 하나 이상의 얼굴의 얼굴 배향들을 포함할 수 있다.
다양한 실시예들에서, 방법은 인코딩/압축된 다수의 이미지 프레임을 하나 이상의 수신자에게 전송하는 단계를 더 포함할 수 있으며, 상기 전송하는 단계는 하나 이상의 관심 객체 및 배경을 개별적으로 전송하는 단계를 포함할 수 있다.
다양한 실시예들에서, 시스템은 다수의 이미지 프레임을 갖는 비디오 신호를 캡처하도록 구성된 카메라; 카메라에 기능적으로 결합되며, 캡처된 다수의 이미지 프레임을 수신하고, 각각의 이미지 프레임의 배경을 인코딩 및/또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임 내의 하나 이상의 관심 객체를 인코딩 및/또는 압축하도록 구성된 인코딩 엔진을 포함할 수 있으며, 배경 및 하나 이상의 관심 객체는 각각의 이미지 프레임을 형성한다. 시스템은 인코딩 엔진에 결합되고, 인코딩/압축된 다수의 이미지 프레임을 하나 이상의 수신자에게 전송하도록 구성된 송신기를 더 포함할 수 있다.
다양한 실시예들에서, 상황 정보는 하나 이상의 수신자 중 하나의 수신자의 시야각을 포함할 수 있으며, 시스템의 상황 엔진은 하나 이상의 수신자 중 하나의 수신자의 시야각에 기초하여 캡처된 비디오 신호를 조정하기 위해 카메라를 제어하도록 더 구성될 수 있다.
다양한 실시예들에서, 제조물은 유형의 비일시적 컴퓨터 판독 가능 저장 매체; 및 저장 매체에 저장된 다수의 프로그래밍 명령어를 포함할 수 있으며, 프로그래밍 명령어들은, 장치로 하여금, 프로그래밍 명령어들의 실행에 응답하여, 비디오 신호의 다수의 이미지 프레임을 수신하는 동작; 및 각각의 이미지 프레임의 배경을 인코딩 및/또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임 내의 하나 이상의 관심 객체를 인코딩 및/또는 압축하는 동작을 포함하는 동작들을 수행하게 하도록 구성되며, 배경 및 하나 이상의 관심 객체는 이미지 프레임들을 형성한다.
아래의 상세한 설명에서는, 그 일부를 형성하고, 본 발명이 실시될 수 있는 실시예들을 예시적으로 나타내는 첨부 도면들을 참조한다. 본 발명의 범위로부터 벗어나지 않고, 다른 실시예들이 이용될 수 있으며, 구조적 또는 논리적 변경들이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 아래의 상세한 설명은 제한적인 것으로 간주되지 않아야 하며, 본 발명에 따른 실시예들의 범위는 첨부된 청구항들 및 이들의 균등물들에 의해 정의된다.
다양한 동작들은 본 발명의 실시예들의 이해를 도울 수 있는 방식으로 다수의 개별 동작들로서 차례차례 설명될 수 있지만, 설명의 순서는 이러한 동작들이 순서 의존적임을 암시하는 것으로 해석되지 않아야 한다.
설명의 목적을 위해, "A/B" 형태 또는 "A 및/또는 B" 형태의 문구는 (A), (B) 또는 (A 및 B)를 의미한다. 설명의 목적을 위해, "A, B 및 C 중 적어도 하나" 형태의 문구는 (A), (B), (C), (A 및 B), (A 및 C), (B 및 C) 또는 (A, B 및 C)를 의미한다. 설명의 목적을 위해, "(A)B" 형태의 문구는 (B) 또는 (AB)를 의미하는데, 즉 A는 옵션 요소이다.
설명은 "실시예에서" 또는 "실시예들에서"라는 문구들을 이용할 수 있으며, 이들 각각은 동일 또는 상이한 실시예들 중 하나 이상을 지칭할 수 있다. 더구나, 본 발명의 실시예들과 관련하여 사용되는 바와 같은 "이루어지는", "포함하는", "갖는" 등의 용어들은 동의어이다. 설명은 각각의 이미지 프레임의 "관심 객체" 및 "배경"을 참조할 수 있다. 청구항을 포함하는 본 출원의 목적을 위해, "배경"이라는 용어는 달리 명확히 지시하지 않는 한 이미지 프레임의 하나 이상의 "관심 객체"를 제외한 나머지 부분을 지칭한다.
도 1은 본 발명의 다양한 실시예들에 따른 예시적인 이미지 처리 장치를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 이미지 처리 장치(100)는 버스(140)를 통해 서로 결합된 인코딩 엔진(110), 상황 엔진(120) 및 송신기(130)를 포함할 수 있다. 도 1은 버스(140)를 통해 결합된 장치(100)의 다양한 컴포넌트들을 도시하지만, 다양한 실시예들에서 인코딩 엔진(110), 상황 엔진(120) 및 송신기(130)는 하나 이상의 점대점 접속, 또는 버스들의 계층 구조와 같은 임의의 적절한 메커니즘들을 통해 결합될 수 있다.
도 1은 특정 컴포넌트들을 도시하지만, 장치(100)는 발명의 이해의 편의를 위해 도시되지 않은 안테나, 카메라, 디코딩 엔진, 디스플레이 등과 같이 이미지 처리 및/또는 송신을 용이하게 하기 위한 다른 적절한 컴포넌트들을 포함할 수 있다. 또한, 도 1에 도시된 컴포넌트들은 장치(100) 내에 개별 블록들로서 도시되지만, 이러한 블록들 중 일부에 의해 수행되는 기능들은 단일 컴포넌트 내에 통합될 수 있거나, 둘 이상의 개별 컴포넌트를 이용하여 더 세분될 수 있다. 예컨대, 디코딩 엔진(도시되지 않음) 및 인코딩 엔진(110)이 단일 디코딩/인코딩 엔진으로 통합될 수 있다. 게다가, 인코딩 엔진(110), 상황 엔진(120) 및 송신기(130)의 전부 또는 일부를 포함하는 장치(100)는 소프트웨어 또는 하드웨어, 또는 이들의 조합으로 구현될 수 있다.
다양한 실시예들에서, 이미지 처리 장치(100)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 핸드헬드 컴퓨터, 태블릿, 셀룰러 전화, 페이저, 오디오 및/또는 비디오 플레이어(예로서, MP3 플레이어 또는 DVD 플레이어), 게이밍 장치, 비디오 카메라, 디지털 카메라, 내비게이션 장치(예로서, GPS 장치), 무선 주변 장치(예로서, 프린터, 스캐너, 헤드셋, 키보드, 마우스 등), 의료 장치(예로서, 심박수 모니터, 혈압 모니터 등), 셋톱 박스, 및/또는 다른 적절한 비교적 고정, 휴대 또는 이동 전자 장치들과 같은 유선 또는 무선 전자 장치들을 포함할 수 있다.
다양한 실시예들에서, 이미지 처리 장치(100)는 처리된 이미지들을 하나 이상의 유선 또는 무선 네트워크 접속들, 예를 들어 사설 네트워크, 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 가상 사설 네트워크(VPN), 도시 영역 네트워크(MAN), 광역 네트워크(WAN), 독점 네트워크, 또는 일반적으로 인터넷으로 지칭되는 공개 네트워크, 또는 이들의 조합을 통해 전송할 수 있다.
다양한 실시예들에서, 이미지 처리 장치(100)는, 확산 스펙트럼 변조(예를 들어, 직접 시퀀스 코드 분할 다중 액세스(DS-CDMA) 및/또는 주파수 홉핑 코드 분할 다중 액세스(FH-CDMA)), 시분할 다중화(TDM) 변조, 주파수 분할 다중화(FDM) 변조, 직교 주파수 분할 다중화(OFDM) 변조, 다중 캐리어 변조(MDM), 직교 주파수 분할 다중 액세스(OFDMA), SC-FDMA(단일 캐리어 FDMA), 및/또는 무선 링크들을 통해 통신하기 위한 다른 적절한 변조 기술들을 포함한, 다양한 변조 기술들을 이용하여, 처리된 이미지들을 무선 전송하기 위한 능력들을 가질 수 있다. 일례에서, 비디오 회의 장치(100)는 무선 개인 영역 네트워크(WPAN), 무선 근거리 네트워크(WLAN) 및/또는 무선 도시 영역 네트워크(WMAN)를 구현하기 위해 블루투스(Bluetooth), 지그비(Zigbee), 근거리장 통신(near field communication; NFC), 초광대역(UWB) 및/또는 무선 주파수 식별(RFID)과 같이 매우 낮은 전력을 필요로 하는 적절한 무선 통신 프로토콜들에 따라 동작할 수 있다.
다양한 실시예들에서, 이미지 처리 장치(100)는 비디오 회의 애플리케이션 또는 시스템의 일부일 수 있으며, 이미지 처리 장치(100)와 유사하거나 유사하지 않을 수 있는 하나 이상의 다른 이미지 처리 장치(도시되지 않음)와 비디오 회의를 용이하게 할 수 있다.
다양한 실시예들에서, 인코딩 엔진(110)은 일련의 이미지 프레임들을 포함하는 비디오 신호를 수신할 수 있다. 다양한 실시예들에서, 비디오 신호는 압축되지 않은 원시(raw) 데이터 포맷의 이미지 프레임들을 포함할 수 있다. 다양한 실시예들에서, 비디오 신호는 1984년에 국제 통신 연합 통신 표준 섹터(International Telecommunication Union Telecommunication Standardization Sector)(ITU-T)에 의해 발표된 H.261, 1993년에 국제 표준화 기구(ISO)에 의해 발표된 MPEG-1 파트 2 및 1998년에 ISO에 의해 발표된 H.264/MPEG-4 AVC 등과 같은 소정의 손실 또는 무손실 인코딩/압축 스킴들로 이미 인코딩/압축되었을 수 있다. 인코딩 엔진(110)은 외부 소스로부터 비디오 신호를 수신할 수 있는 장치(100)의 통신 인터페이스(도시되지 않음)로부터 비디오 신호를 수신할 수 있다. 대안으로서, 인코딩 엔진(110)은 장치(100)에 부착되거나 그렇지 않으면 통합된 비디오 카메라로부터 버스(140)를 통해 비디오 신호를 수신할 수 있다.
인코딩 엔진(110)은 이미지 프레임들을 하나씩 스트림으로서, 또는 병렬로 인코딩 및/또는 압축하도록 구성될 수 있다. 인코딩 엔진(110)은 비디오 신호가 이미 인코딩/압축된 경우에 비디오 신호를 트랜스코딩할 수 있다(예를 들어, 비디오 신호를 디코딩하고, 상이한 스킴에 기초하여 비디오 신호를 다시 인코딩할 수 있다). 인코딩 엔진(110)은 비디오 신호의 검색된 순방향, 역방향 또는 랜덤 액세스, 서브타이틀 및 디지털 저작권 관리 등과 관련된 정보와 같은 추가적인 정보를 인코딩하거나 비디오 신호에 추가할 수 있다. 인코딩 엔진(110)은 프레임간 압축, 프레임내 압축, 이산 코사인 변환(DCT), 프랙탈 압축, 매칭 추적, 이산 웨이블릿 변환(DWT) 등과 같은 임의의 공지된 비디오/이미지 압축 스킴들 또는 방법들을 이용하여 이미지 프레임들을 인코딩/압축할 수 있다.
다양한 실시예들에서, 인코딩 엔진(110)은 하나 이상의 이미지 프레임 내의 하나 이상의 관심 객체(object of interest; OOI)와 관련된 정보를 가질 수 있다. OOI는 장치(100)의 애플리케이션들 또는 사용 시나리오들과 관련될 수 있다. 예시적인 OOI들은 비디오 회의 세션 동안의 화자의 얼굴 및/또는 어깨 영역, 텔레비전 방송 동안 경주 트랙을 통해 질주하는 자동차, 감시 카메라에 의해 캡처 및/또는 추적되는 이동 객체 등을 포함할 수 있다. 다양한 실시예들에서, 비디오 신호의 이미지 프레임 내에 포함된 OOI 영역들의 수는 프레임마다 변할 수 있다. 예를 들어, 이미지 프레임 내에 단일 OOI가 존재할 수 있고, 후속 또는 다른 이미지 프레임들 내에 다수의 OOI가 존재할 수 있다.
도 2는 본 발명의 다양한 실시예들에 따른 비디오 스트림의 예시적인 개별 이미지 프레임을 나타내는 블록도이다. 도시된 바와 같이, 이미지 프레임(200)은 OOI 영역(210), OOI 영역(212), OOI 영역(214), 및 이미지 프레임(200) 내에 음영 영역으로 표시되고 OOI 영역들(210-214)을 둘러싸는 배경(230)을 포함할 수 있다. 도 2는 3개의 OOI 영역을 갖는 이미지 프레임(200)을 도시하지만, 다양한 실시예들에서 이미지 프레임(200)은 더 많거나 적은 OOI 영역들을 포함할 수 있다. 도 2는 동일한 크기 및 형상을 갖는 다수의 OOI 영역(210-214)을 도시하지만, 다양한 OOI 영역들(210-214)의 크기, 형상 및 위치는 예시적일 뿐이며, 다양한 실시예들에서 상이할 수 있다는 것을 이해한다. 또한, 예시적인 도면은 OOI 영역들(210-214)을 둘러싸는 배경(230)을 도시하며, 다른 이미지 프레임들에서 배경(230)은 OOI 영역들(210-214)을 부분적으로만 둘러싸거나 그것들에 인접할 수 있다.
다양한 실시예들에서, 인코딩 엔진은 상이한 양자화 파라미터들을 적용하여, 하나 이상의 OOI 영역(210-214) 및 OOI 영역들(210-214)과 함께 이미지 프레임을 구성하는 배경(230)을 인코딩/압축할 수 있다. 소정 실시예들에서, 인코딩 엔진(110)은 배경(230)을 인코딩/압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도를 이용하여 하나 이상의 OOI 영역(210-214)을 인코딩/압축하도록 구성될 수 있다. 예를 들어, 장치(100)를 이용하는 비디오 회의 애플리케이션에서, 화자의 얼굴 및 어깨 주위의 영역들은 각각 2개의 OOI 영역으로서 식별될 수 있다. 인코딩 엔진(110)은 다른 회의 출석자들로 하여금 화자의 얼굴 표현을 더 명확하게 볼 수 있게 해주는 높은 비트 밀도를 이용하여 화자의 얼굴 주위의 영역을 인코딩/압축하고, 중간 비트 밀도를 이용하여 화자의 어깨 주위의 영역을 인코딩/압축하고, 낮은 비트 밀도를 이용하여 이미지 프레임의 배경을 인코딩/압축할 수 있다. 따라서, 화자의 얼굴 영역(예를 들어, 하나 이상의 OOI 영역)은 각각의 이미지 프레임 내의 얼굴 아닌 영역들(예로서, 배경)보다 많은 비트를 할당받을 수 있다. 높은, 중간 또는 낮은 비트 밀도를 구성하는 것은 애플리케이션마다 다를 수 있다.
다양한 실시예들에서, 전술한 비트 밀도 차등(bit-density preferential) 인코딩 및/또는 압축에 더하여 또는 그 대신에, 인코딩 엔진(110)은 영역 기반 코딩 기술들을 이용하여 이미지 프레임(200)을 인코딩/압축할 수 있다. 예를 들어, OOI 영역들(210-214) 및 배경(230)은 상이한 인코딩/압축 모델들을 이용하여 별개로 인코딩/압축될 수 있다. 인코딩 엔진(110)은 비파라미터(non-parametric) 배경 모델에 기초하여 배경(230)을 인코딩/압축할 수 있다. 인코딩 엔진(110)은 개별 인코딩 및/또는 압축 모델에 기초하여 OOI 영역들(210-214)을 인코딩/압축 및 압축할 수 있다. 이미지 프레임(200)의 인코딩/압축된 OOI 영역들(210-214)은 인코딩/압축된 배경(230)과 별개로 송신기(130)를 통해 하나 이상의 수신자(도 1에 도시되지 않음)에게 전송될 수 있다. 하나 이상의 수신자는 배경 및 OOI 영역들을 수신되는 대로 개별적으로 압축 해제 및 디코딩하고, 영역들과 배경을 결합하여 완전한 이미지 프레임을 재구성할 수 있다.
다양한 실시예들에서, 인코딩 엔진(110)은 더 효율적인 압축을 달성하기 위해 이전 또는 후속 이미지 프레임들에 기초하여, 예를 들어 프레임간 압축 등의 이용에 의해 특정 이미지 프레임(200)을 인코딩/압축할 수 있다.
비디오 회의 애플리케이션들과 같은 다양한 실시예들에서, 배경(230)은 대부분의 시간 동안 정적 또는 실질적으로 정적일 수 있으며, 프레임마다 변하지 않거나 최소로 변할 수 있다. 따라서, 송신기(130)는 각각의 이미지 프레임에서 배경을 전송하는 것이 아니라, 배경(230)을 2개 이상의 이미지 프레임마다 주기적으로 전송할 수 있다. 다른 실시예들에서, 송신기(130)는 하나 이상의 이전 이미지 프레임을 통해 배경의 (실질적) 변화가 검출될 때 동적으로 배경(230)을 전송할 수 있다. 배경 및 OOI 영역들을 개별적으로 인코딩, 압축 및 전송하는 비트 밀도 최적화 인코딩 및/또는 영역 기반 인코딩/압축 기술들을 이용함으로써, 장치(100)의 코딩 및/또는 전송 효율이 향상될 수 있다. 따라서, 장치(100)에 기초하는 비디오 회의 애플리케이션의 사용자 경험은 특히 네트워크 대역폭이 제한될 수 있는 이동 장치들을 이용하여 수행되는 비디오 회의에서 개선될 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 이미지 프레임(200) 내의 또는 비디오 스트림 내의 하나 이상의 OOI 영역(210-214)을 검출, 식별 및/또는 추적하고, OOI 영역들(210-214)과 관련된 정보를 인코딩 엔진(110)에 제공하도록 구성될 수 있다. 상황 엔진(120)은 객체 추적 또는 얼굴 인식을 위해 알려진 다양한 기술들에 기초하여 OOI 영역들(210-214)을 검출할 수 있다. 그러한 객체 추적 기술 중 하나는 AdaBoost 분류자들의 캐스케이드에 기초하여 이미지 프레임에 걸쳐 윈도를 철저히 스캐닝하는 것일 수 있다. 다양한 실시예들에서, 상황 엔진(120)은 OOI 정보를 제공하여, 인코딩 엔진(110)이 이미지 프레임들을 인코딩 및/또는 압축하는 것을 도울 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 하나 이상의 OOI 영역 중 적어도 일부를 포함할 수 있는 이미지 프레임 내의 관심 영역(ROI)을 식별하도록 더 구성될 수 있다. 예시적인 ROI는 도 2에 점선에 의해 둘러싸인 영역으로 도시된 ROI(220)일 수 있다. ROI(220)의 위치 및 크기는 (Rx, Ry)와 같은 좌표들에 의해 표현되는 경계 박스에 기초하여 식별될 수 있다. 다양한 실시예들에서, ROI(220)는 배경(230)의 부분들을 포함하거나 포함하지 않을 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 또한 ROI 영역(220) 내의 중심 포인트(Pc)를 식별할 수 있다. 소정 실시예들에서, Pc는 ROI 내의 모든 OOI 영역들의 가중화된 중심(weighted center)으로서 정의될 수 있다. 예를 들어, Pc는 아래의 식에 기초하여 식별될 수 있다.
Figure pct00001
여기서, Pi는 검출된 OOI 영역들 각각의 중심 위치이고, N은 검출된 OOI 영역들의 수이다. 다른 실시예들에서, Pc는 카메라에 가장 가까운 관심 객체와 같은 ROI 내의 최대 OOI 영역의 중심 포인트로서 식별될 수 있다. 예를 들어, Pc는
Figure pct00002
로서 정의될 수 있으며, 여기서, arg max(size(Pi))는 최대 크기를 갖는 OOI 영역의 중심 포인트이다. 또 다른 일부 실시예들에서, Pc는 하나 이상의 이전 프레임으로부터 변화들이 검출된 OOI의 중심 포인트일 수 있다. 예를 들어, Pc는 비디오 회의에서 다수의 참석자와 현재 이야기하고 있는 사람, 또는 감시 카메라에 의해 추적되는 이동 객체들 중 하나를 나타내는 OOI를 지시하는 데 사용될 수 있다. 다양한 실시예들에서, 전술한 바와 같이, Pc는 ROI(220)의 진정한 "중심"이거나 아닐 수 있다.
다양한 실시예들에서, 도시된 바와 같이, 상황 엔진(120)은 모든 OOI 영역들(210-214)을 포함하는 경계 박스에 의해 ROI 영역(220)을 식별할 수 있다. 다양한 실시예들에서, ROI(220)가 식별되면, 상황 엔진(120)은 ROI(220)의 크기, 위치 및 스케일링의 조정을 포함하는 ROI의 조정을 수행하여, 중심 포인트(Pc)를 이미지 프레임(200)의 중심 부분에 있게 하거나 그에 가깝게 할 수 있다. 다양한 실시예들에서, ROI(220)를 둘러싸는 영역도 ROI(220)와 함께 이동 및/또는 스케일링되어, ROI(220)와 ROI(220)를 둘러싸는 배경(230)의 부분 사이의 공간 상관성을 유지할 수 있다.
소정 실시예들에서, 상황 엔진(120)은 이미지 프레임(200)의 치수(또는 원시 크기)까지 가능한 한 많이 ROI(220)를 스케일링 업할 수 있으며, 이는 ROI(220) 내의 이미지를 왜곡시키거나 왜곡시키지 않을 수 있다. 소정 실시예들에서, ROI(220)의 치수(또는 종횡비)는 이미지 프레임(200)의 치수(또는 종횡비)와 매칭되도록 스케일링 업되지 않을 수 있다. 따라서, 상황 엔진은 정확한 종횡비로 ROI(220) 내에 이미지를 표시하기 위해 배경 영역(230)의 일부를 포함하거나 ROI(220)의 일부를 제거하기로 선택적으로 결정할 수 있다. 유사하게, 상황 엔진(120)은 중심 포인트(Pc)를 이미지 프레임(200)의 중심 위치로 또는 그에 가깝게 이동시키기 위해 ROI(220) 및 배경(230)의 일부를 선택적으로 제거/포함할 수 있다. 결과적으로, ROI(220) 내의 OOI들 중 적어도 하나, 예를 들어 OOI(210)는 더 크게 보이고, 이미지 프레임(200)의 중심 부분에 또는 그 근처에 포커싱될 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 스케일링/수정된 ROI(220)를 포함하는 이미지 프레임을 인코딩 엔진(110)에 제공하여, 인코딩 엔진(110)이 전술한 바와 같이 이미지 프레임들을 인코딩 및/또는 압축하고 후속하여 전송하는 것을 도울 수 있다.
다양한 실시예들에서, 카메라(도시되지 않음)가 장치(100)에 부착되거나 그와 통합되어, 이미지 프레임들의 스트림을 갖는 비디오 신호를 캡처할 수 있다. 상황 엔진(120)은 카메라에 기능적으로 결합되고, 카메라를 제어하도록 구성될 수 있다. 각각의 이미지 프레임 내의 ROI(220)의 식별시, 상황 엔진(120)은 ROI(220)를 스케일링 업 또는 이동시키는 것이 아니라, 카메라를 제어하여 줌 인 또는 아웃하거나 카메라 각도를 패닝(panning)하여 ROI(220) 상에 포커싱함으로써, ROI(220) 내의 OOI 중 적어도 하나를 이미지 프레임(200)의 중심 부분에 배치할 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 하나 이상의 상황 정보에 기초하여 OOI 중 적어도 하나를 중심에서 벗어난 위치에 의도적으로 배치하기 위해 ROI(220)의 크기 및 위치를 조정하도록 더 구성될 수 있다. 상황 정보는 장치(100)의 애플리케이션 또는 사용 시나리오에 의존할 수 있다. 예를 들어, 비디오 회의 세션에서, 상황 엔진(120)은 현재 화자의 얼굴 배향(예를 들어, 포즈)을 상황 정보로서 사용할 수 있다.
다양한 실시예들에서, 얼굴 배향 정보는 식별된 ROI에 더하여 잠재적 관심 영역을 추정하는 데 사용될 수 있으며, ROI의 추출을 안정화하는 데 사용될 수 있다. 예를 들어, 화자가 카메라를 똑바로 보고 있는 경우, 화자는 비디오의 중심 부분에 또는 그 근처에 나타날 수 있다. 그러나, 화자가 그의 우측을 보면서 이야기하는 경우, 다양한 실시예들에서 상황 엔진(120)은 선택적으로 ROI(220)의 윈도를 화자의 "우측"으로 이동 또는 패닝시키거나, ROI(220)를 스케일링 업 또는 다운하거나 달리 조정하여, 화자의 "우측"에 더 많은 배경(230)을 표시할 수 있다. 다른 예로서, 비디오 회의는 다수의 참여자를 포함할 수 있다. 상황 엔진(120)은 처음에 모든 참여자들을 관심 객체들로서 인식하고, 모든 참여자들을 포함하도록 ROI를 그릴 수 있다. 그러나, 얼굴 배향 정보는 참여자들 중 하나가 카메라를 보지 않고 그의 머리를 수그리고 있는 것을(아마도 읽고 있는 것을) 지시할 수 있다. 다양한 실시예들에서, 상황 엔진(120)은 그 참여자(또는 OOI)를 ROI로부터 임시 배제하기로 결정할 수 있으며, 따라서 현재 대화에 관여하고 있는 사람이 스크린의 중심에 더 현저하게 나타날 수 있다. 다양한 실시예들에서, 그 참여자의 얼굴 배향의 (실질적) 변화의 검출시, 상황 엔진(120)은 이미지 내에 그 참여자를 포함하도록 ROI(220)를 재조정할 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 이미지 프레임(200)을 분석하고, 상황 정보를 생성하도록 구성될 수 있다. 예를 들어, 비디오 회의 애플리케이션에서, 화자의 얼굴 배향을 상황 정보로서 포함하기 위해, 상황 엔진(120)은 화자의 얼굴 배향을 분석하도록 구성될 수 있다. 상황 엔진(120)은 얼굴의 3개의 상이한 각도, 예를 들어, 피치, 요(yaw) 및 롤(roll)의 측정 및 분석에 기초하여 화자의 얼굴 배향을 분석할 수 있다.
다양한 실시예들에서, 상황 엔진(120)이 이미지 프레임을 분석하여 상황 정보를 생성하는 대신에, 상황 정보가 상황 엔진(120)에 제공될 수 있다. 예를 들어, 장치(100)의 송신기(130)가 비디오를 네트워크를 통해 하나 이상의 수신자에게 전송할 수 있다. 수신자 측에 설치된 하나 이상의 카메라는 전술한 것과 유사한 얼굴 배향 추적 방법들 또는 다른 공지 방법들에 기초하여 하나 이상의 수신자의 시점들(또는 시야각들)을 추적할 수 있다. 대안으로서, 얼굴 배향 추적에 더하여, 카메라들은 적절한 소프트웨어를 갖는, 워싱턴 레드몬드 마이크로소프트사로부터 입수 가능한 Xbox 360® Kinect® 카메라 키트와 같은 임의의 공지 방법을 이용하여 하나 이상의 수신자의 제스처들을 유사하게 식별 및/또는 추적할 수 있다. 따라서, 소정 실시예들에서, 상황 정보는 비디오의 하나 이상의 수신자의 시점들 및/또는 제스처들을 포함할 수 있다. 예를 들어, 수신자가 비디오의 좌측을 보고 있는 경우, 그러한 시점 정보는 네트워크를 통해 상황 엔진(120)에 피드백될 수 있고, 상황 엔진(120)은 비디오의 ROI 영역(220) 또는 부착된 카메라들 중 하나 이상을 조정하여, 비디오의 좌측을 향해 더 많은 정보를 나타낼 수 있다. 수신자들의 제스처들도 유사한 목적을 위해 상황 엔진(120)에 피드백될 수 있다. 대안으로서, 비디오의 수신자들은 상황 정보를 키보드, 마우스, 마이크를 통한 음성 입력 등과 같은 다른 입력 방법들을 통해 상황 엔진(120)에 제공할 수 있다. 따라서, 하나 이상의 수신자로부터 상황 정보를 수신함으로써, 장치(100)는 비디오 회의의 출석자들에게 가상 현실 효과를 또는 비디오의 수신자들에게 원격 제어 능력들을 제공하는 것이 가능할 수 있다.
다양한 실시예들에서, 상황 엔진(120)은 상황 정보에 기초하여 조정된 ROI(220)를 포함하는 이미지 프레임을 인코딩 엔진(110)에 제공하여, 전술한 바와 같이 이미지 프레임들의 인코딩 및/또는 압축, 및 송신기(130)에 의한 후속 전송을 도울 수 있다.
도 3은 본 발명의 다양한 실시예들에 따른 이미지 처리 장치의 인코딩 엔진의 동작들의 일부를 나타내는 흐름도이다. 블록 310에서, 인코딩 엔진(110)은 이미지 프레임들의 스트림 및 각각의 이미지 프레임에 삽입된 하나 이상의 OOI 영역과 관련된 정보를 수신할 수 있다. 블록 320에서, 인코딩 엔진(110)은 전술한 바와 같이 비트 밀도 차등 인코딩/압축 및/또는 영역 기반 차별 인코딩/압축을 이용하여 각각의 이미지 프레임을 인코딩/압축할 수 있다. 영역 기반 인코딩/압축에서, 송신기(130)는 배경 및 하나 이상의 OOI 영역을 개별적으로 하나 이상의 수신자에게 전송할 수 있다. 송신기(130)는 2개 이상의 이미지 프레임마다 주기적으로 또는 배경 변화의 검출시에 동적으로 배경을 전송할 수 있다. 인코딩 엔진(110)은 모든 이미지들이 처리될 때까지 위의 동작들을 반복할 수 있다. 하나 이상의 OOI 영역은 각각의 이미지 프레임에서 전송될 수 있다. 이어서, 하나 이상의 수신자는 이미지들이 수신될 때 이들을 압축 해제하고 재구성할 수 있다.
도 4는 본 발명의 다양한 실시예들에 따른 이미지 처리 장치의 상황 엔진의 동작들의 일부를 나타내는 흐름도이다. 블록 410에서, 상황 엔진(120)은 이미지 프레임들의 스트림을 수신할 수 있으며, 이미지 프레임들의 스트림을 하나씩 또는 병렬로 처리하도록 구성될 수 있다. 상황 엔진(120)은 이미지 프레임들의 스트림을 인코딩 엔진(110)과 병렬로 수신할 수 있거나, 대안으로서 인코딩 엔진(110)에 앞서 이미지 프레임들을 처리할 수 있다. 블록 420에서, 상황 엔진(120)은 이미지 프레임 내의 하나 이상의 OOI 영역을 식별하고, 전술한 바와 같이 인코딩 및/또는 압축을 위해 OOI 영역 정보를 인코딩 엔진(110)에 제공할 수 있다. 블록 430에서, 상황 엔진(120)은 OOI 영역들 중 적어도 하나를 포함하는 이미지 프레임 내의 ROI를 설정할 수 있다. 상황 엔진(120)은 ROI를 스케일링하고, 이미지 프레임 내의 ROI 밖의 영역들을 줄일 수 있으며, 따라서 OOI 영역들 중 하나 이상이 현저하게 표시되고, 이미지 내에 이미지의 중심에 포커싱되어 나타날 수 있다. 상황 엔진(120)은 ROI의 크기 및 위치를 조정하여, 적어도 하나 이상의 OOI를 이미지 프레임 내의 중앙에 배치할 수 있다. 블록 440에서, 상황 엔진(120)은 이미지 프레임을 분석하여 이미지 프레임과 관련된 상황 정보를 생성할 수 있다. 블록 450에서, 상황 엔진(120)은 상황 정보에 기초하여 ROI를 조정하여, 하나 이상의 OOI 영역 중 적어도 하나를 이미지 프레임 내의 중심에서 벗어난 위치에 배치할 수 있다. 상황 엔진(120)은 상황 정보에 따라 조정되거나 조정되지 않은 OOI 및/또는 ROI 정보를 인코딩 엔진(110)으로 전송할 수 있다. 상황 엔진(120)은 모든 이미지들이 처리될 때까지 위의 단계들을 반복할 수 있다.
도 5는 본 발명의 다양한 실시예들에 따른 이미지 처리 장치의 동작들의 일부를 나타내는 흐름도이다. 블록 510에서, 이미지 처리 장치(100)에 부착된 하나 이상의 비디오 카메라(도 1에 도시되지 않음)가 비디오 이미지들을 이차원(2D) 또는 삼차원(3D) 포맷으로 캡처할 수 있다. 블록 520에서, 상황 엔진은 각각의 이미지 프레임을 분석하여 하나 이상의 OOI 영역을 식별할 수 있다. 블록 530에서, 상황 엔진(120)은 이미지 프레임 내에 ROI를 설정하고, 이미지 프레임 내의 ROI를 스케일링하여 적어도 하나의 OOI를 이미지 프레임의 중심 부분에 배치할 수 있다. 블록 540에서, 상황 엔진은 이미지 프레임을 분석하고, 얼굴 배향 정보의 추정을 포함하는 하나 이상의 상황 정보를 생성하며, 상황 정보에 따라 ROI를 수정할 수 있다. 상황 엔진(120)은 수정된 ROI를 포함하는 이미지 프레임을 인코딩 엔진(110)으로 전송할 수 있다. 블록 550에서, 인코딩 엔진(110)은 비트 밀도 차등 또는 영역 기반 차별 인코딩 및/또는 압축에 기초하여 이미지 프레임들의 스트림을 하나씩 또는 병렬로 인코딩/압축할 수 있다. 블록 560에서, 송신기(130)는 인코딩/압축된 이미지 프레임들을 하나 이상의 수신자에게 전송할 수 있다. 상황 엔진(120), 인코딩 엔진(110) 및 송신기(130)는 모든 이미지 프레임들이 처리될 때까지 위의 단계들을 반복할 수 있다.
도 6은 본 발명의 실시예들에 따른, 설명되는 방법들 및/또는 장치들의 다양한 양태들을 실시하는 데 사용하기에 적합한 예시적인 컴퓨터 시스템을 나타내는 블록도이다. 도시된 바와 같이, 컴퓨터 시스템(600)은 전원 유닛(601), 다수의 프로세서 또는 프로세서 코어(602), 시스템 메모리(604), 대용량 저장 장치(606) 및 통신 인터페이스(610)를 포함할 수 있다. 청구항들을 포함하는 본원의 목적을 위해, "프로세서" 및 "프로세서 코어"라는 용어들은 상황이 달리 명확히 요구하지 않는 한은 동의어인 것으로 간주될 수 있다.
게다가, 컴퓨팅 시스템(600)은 하나 이상의 유형의 비일시적 컴퓨터 판독 가능 대용량 저장 장치(606)(예를 들어, 디스켓, 하드 드라이브, 컴팩트 디스크 판독 전용 메모리(CDROM) 등), 입출력 장치들(608)(예를 들어, 키보드, 커서 제어 등)을 포함할 수 있다. 다양한 실시예들에서, I/O 장치들(608)은 하나 이상의 카메라(618)를 포함할 수 있다. 요소들은 서로 그리고 하나 이상의 버스를 나타내는 시스템 버스(612)를 통해 이전에 열거된 요소들에 결합될 수 있다. 다수의 버스의 경우, 이들은 하나 이상의 버스 브리지(도시되지 않음)에 의해 브리징될 수 있다. 데이터가 I/O 장치들(608)로부터, 예를 들어 카메라(618)로부터 시스템 버스(612)를 통해 프로세서들(602)로 전송될 수 있다.
시스템 메모리(604) 및 대용량 저장 장치(606)는 본 명세서에서 622로서 집합적으로 표시되는 하나 이상의 운영 체제, 펌웨어 모듈 또는 드라이버, 애플리케이션 등을 구현하는 프로그래밍 명령어들의 실행 사본 및 영구 사본을 저장하는 데 사용될 수 있다. 프로그래밍 명령어들은 프로세서들(602)에 의해 실행될 때 컴퓨팅 시스템(600)으로 하여금 전술한 바와 같은 인코딩 엔진(110), 상황 엔진(120) 및/또는 송신기(130)의 동작들을 수행하게 할 수 있다. 카메라(618)는 비디오 이미지들의 스트림을 캡처할 수 있고, 전술한 바와 같이 상황 엔진(120)의 제어를 받을 수 있다.
프로그래밍 명령어들의 영구 사본은 예를 들어 컴팩트 디스크(CD)와 같은 배포 매체(도시되지 않음)를 통해 또는 (배포 서버(도시되지 않음)로부터) 통신 인터페이스(610)를 통해 공장에서 또는 현장에서 영구 저장 장치(606) 내에 배치될 수 있다. 즉, 에이전트 프로그램의 구현을 가진 하나 이상의 배포 매체가 에이전트 및 프로그램을 다양한 컴퓨팅 장치들에 배포하는 데 사용될 수 있다.
이러한 요소들(601-622)의 나머지 구성은 공지되어 있으며, 따라서 더 설명되지 않는다.
도 7은 본 발명의 실시예들에 따른, 장치로 하여금 이미지 처리 장치의 다양한 동작들을 실시하는 것을 가능하게 하도록 구성된 프로그래밍 명령어들을 갖는 제조물을 나타낸다. 도시된 바와 같이, 제조물(700)은 컴퓨터 판독 가능 비일시적 저장 매체(710)를 포함할 수 있다. 저장 매체(710)는 이미지 처리 장치를 구현하도록 구성된 프로그래밍 명령어들(720)을 포함할 수 있다.
저장 매체(710)는 플래시 메모리, 광학 또는 자기 디스크들을 포함하지만 이에 한정되지 않는, 이 분야에 공지된 광범위한 지속성 저장 매체를 나타낸다. 프로그래밍 명령어들(720)은 특히 이미지 처리 장치에 의한 그들의 실행에 응답하여 장치로 하여금 비디오 신호의 다수의 이미지 프레임을 수신하는 동작; 및 각각의 이미지 프레임의 배경을 인코딩/압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임 내의 하나 이상의 관심 객체를 인코딩 및/또는 압축하는 동작을 포함하는 동작들을 수행하는 것을 가능하게 할 수 있으며, 배경 및 하나 이상의 관심 객체는 각각의 이미지 프레임을 형성한다.
특정 실시예들이 본 명세서에서 예시되고 설명되었지만, 이 분야의 통상의 기술자들은 본 발명의 실시예들의 범위로부터 벗어나지 않고 다양한 대안 및/또는 균등한 구현들이 도시되고 설명된 특정 실시예들을 대체할 수 있다는 것을 알 것이다. 본원은 본 명세서에서 설명된 실시예들의 임의의 개량들 또는 변형들을 포함하는 것을 의도한다. 따라서, 본 발명의 실시예들은 청구항들 및 이들의 균등물들에 의해서만 한정되는 것을 명확히 의도한다.

Claims (20)

  1. 비디오 신호의 복수의 이미지 프레임을 수신하고, 배경을 인코딩 또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임들 내의 하나 이상의 관심 객체와 관련된 하나 이상의 영역을 인코딩 또는 압축하도록 구성된 인코딩 엔진 - 상기 배경 및 상기 하나 이상의 영역은 상기 각각의 이미지 프레임들을 형성함 -;
    상기 인코딩 엔진에 결합되고, 얼굴 인식에 기초하여 상기 각각의 이미지 프레임들 내의 상기 하나 이상의 관심 객체를 식별하도록 구성된 상황 엔진(context engine); 및
    상기 인코딩 엔진에 결합되고, 상기 인코딩 또는 압축된 복수의 이미지 프레임을 하나 이상의 수신자에게 전송하도록 구성된 송신기
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 관심 객체는 비디오 회의의 참여자들의 하나 이상의 얼굴을 포함하는 장치.
  3. 제2항에 있어서,
    상기 상황 엔진은 참여자들의 상기 하나 이상의 얼굴의 배향들(orientations)에 기초하여 상기 하나 이상의 영역의 크기 및 위치 중 하나를 조정하도록 더 구성되는 장치.
  4. 제1항에 있어서,
    상기 상황 엔진은 상기 각각의 이미지 프레임들 내의 관심 영역을 식별하도록 더 구성되며, 상기 관심 영역은 상기 하나 이상의 관심 객체를 적어도 부분적으로 포함하는 장치.
  5. 제4항에 있어서,
    상기 상황 엔진은 상기 각각의 이미지 프레임들 내의 상기 관심 영역을 스케일링 업(scale up)하여, 상기 각각의 이미지 프레임들 내의 상기 관심 영역의 현저성(prominence)을 증가시키도록 더 구성되는 장치.
  6. 제4항에 있어서,
    상기 상황 엔진은 상기 관심 영역을 조정하여 상기 하나 이상의 관심 객체 중 적어도 하나를 상기 각각의 이미지 프레임들 내의 중심에 배치하도록 더 구성되는 장치.
  7. 제4항에 있어서,
    상기 상황 엔진은 상황 정보에 기초하여 상기 관심 영역을 조정하여 상기 하나 이상의 관심 객체 중 적어도 하나를 상기 각각의 이미지 프레임들 내의 중심을 벗어난 위치(off-center position)에 배치하도록 더 구성되는 장치.
  8. 제6항에 있어서,
    상기 하나 이상의 관심 객체는 비디오 회의의 참여자들의 하나 이상의 얼굴을 포함하며, 상기 상황 정보는 상기 하나 이상의 얼굴의 얼굴 배향들(face orientations)을 포함하는 장치.
  9. 제1항에 있어서,
    상기 송신기는 상기 하나 이상의 관심 객체 및 상기 배경을 개별적으로 전송하도록 더 구성되는 장치.
  10. 비디오 신호의 복수의 이미지 프레임을 수신하는 단계; 및
    배경을 인코딩 또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 각각의 이미지 프레임들 내의 하나 이상의 관심 객체와 관련된 하나 이상의 영역을 인코딩하는 단계
    를 포함하고, 상기 배경 및 상기 하나 이상의 관심 객체는 상기 각각의 이미지 프레임들을 형성하는 방법.
  11. 제10항에 있어서,
    상기 각각의 이미지 프레임들 내의 상기 하나 이상의 관심 객체를 식별하는 단계를 더 포함하는 방법.
  12. 제10항에 있어서,
    상기 각각의 이미지 프레임들 내의 관심 영역을 식별하는 단계를 더 포함하며, 상기 관심 영역은 상기 하나 이상의 관심 객체를 적어도 부분적으로 포함하는 방법.
  13. 제12항에 있어서,
    상기 각각의 이미지 프레임들 내의 상기 관심 영역을 스케일링 업하여 상기 각각의 이미지 프레임들 내의 상기 관심 영역의 현저성을 증가시키는 단계를 더 포함하는 방법.
  14. 제12항에 있어서,
    상기 각각의 이미지 프레임들 내의 상기 관심 영역을 조정하여 상기 하나 이상의 관심 객체 중 적어도 하나를 상기 각각의 이미지 프레임들 내의 중심에 배치하는 단계를 더 포함하는 방법.
  15. 제12항에 있어서,
    상황 정보에 기초하여 상기 관심 영역을 조정하여 상기 하나 이상의 관심 객체 중 적어도 하나를 상기 각각의 이미지 프레임들 내의 중심을 벗어난 위치에 배치하는 단계를 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 하나 이상의 관심 객체는 비디오 회의의 참여자들의 하나 이상의 얼굴을 포함하며, 상기 상황 정보는 상기 하나 이상의 얼굴의 얼굴 배향들을 포함하는 방법.
  17. 제9항에 있어서,
    상기 인코딩 또는 압축된 복수의 이미지 프레임을 하나 이상의 수신자에게 전송하는 단계를 더 포함하며, 상기 전송하는 단계는 상기 하나 이상의 관심 객체 및 상기 배경을 개별적으로 전송하는 단계를 포함하는 방법.
  18. 복수의 이미지 프레임을 갖는 비디오 신호를 캡처하도록 구성된 카메라;
    상기 카메라에 기능적으로(operatively) 결합되며, 상기 복수의 캡처된 이미지 프레임을 수신하고, 각각의 이미지 프레임들의 배경을 인코딩 또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 상기 각각의 이미지 프레임들 내의 하나 이상의 관심 객체를 인코딩 또는 압축하도록 구성된 인코딩 엔진 - 상기 배경 및 상기 하나 이상의 관심 객체는 상기 각각의 이미지 프레임들을 형성함 -; 및
    상기 인코딩 엔진에 결합되고, 상기 인코딩 또는 압축된 복수의 이미지 프레임을 하나 이상의 수신자에게 전송하도록 구성된 송신기
    를 포함하는 시스템.
  19. 제18항에 있어서,
    상기 카메라에 결합되며, 상기 복수의 캡처된 이미지 프레임을 수신하고, 상기 각각의 이미지 프레임들 내의 상기 하나 이상의 관심 객체를 식별하도록 구성된 상황 엔진을 더 포함하는 시스템.
  20. 유형의 비일시적 컴퓨터 판독 가능 저장 매체; 및
    상기 저장 매체에 저장된 복수의 프로그래밍 명령어
    를 포함하고, 상기 복수의 프로그래밍 명령어는, 장치로 하여금, 상기 프로그래밍 명령어들의 실행에 응답하여,
    비디오 신호의 복수의 이미지 프레임을 수신하는 동작; 및
    각각의 이미지 프레임들의 배경을 인코딩 또는 압축하는 데 사용되는 비트 밀도보다 높은 하나 이상의 비트 밀도에 기초하여 상기 각각의 이미지 프레임들 내의 하나 이상의 관심 객체를 인코딩 또는 압축하는 동작
    을 포함하는 동작들을 수행하게 하도록 구성되며, 상기 배경 및 상기 하나 이상의 관심 객체는 상기 각각의 이미지 프레임들을 형성하는 제조물.
KR1020137026710A 2011-04-11 2011-04-11 관심 객체 기반 이미지 처리 KR20130129471A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/072601 WO2012139275A1 (en) 2011-04-11 2011-04-11 Object of interest based image processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020157018057A Division KR20150086385A (ko) 2011-04-11 2011-04-11 관심 객체 기반 이미지 처리

Publications (1)

Publication Number Publication Date
KR20130129471A true KR20130129471A (ko) 2013-11-28

Family

ID=47008780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137026710A KR20130129471A (ko) 2011-04-11 2011-04-11 관심 객체 기반 이미지 처리

Country Status (7)

Country Link
US (2) US9247203B2 (ko)
EP (1) EP2697776A4 (ko)
JP (1) JP5859111B2 (ko)
KR (1) KR20130129471A (ko)
CN (1) CN103460250B (ko)
TW (1) TWI563825B (ko)
WO (1) WO2012139275A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104288A (ko) * 2014-03-05 2015-09-15 에스케이플래닛 주식회사 영상 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482068B2 (ja) 2009-10-01 2014-04-23 ソニー株式会社 中継局、中継方法、無線通信システム及び無線通信装置
US8514263B2 (en) 2010-05-12 2013-08-20 Blue Jeans Network, Inc. Systems and methods for scalable distributed global infrastructure for real-time multimedia communication
US9124757B2 (en) 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US9300705B2 (en) 2011-05-11 2016-03-29 Blue Jeans Network Methods and systems for interfacing heterogeneous endpoints and web-based media sources in a video conference
US9369673B2 (en) * 2011-05-11 2016-06-14 Blue Jeans Network Methods and systems for using a mobile device to join a video conference endpoint into a video conference
US9721324B2 (en) * 2011-09-10 2017-08-01 Microsoft Technology Licensing, Llc Thumbnail zoom
US9813255B2 (en) * 2012-07-30 2017-11-07 Microsoft Technology Licensing, Llc Collaboration environments and views
US8890923B2 (en) 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
WO2014094216A1 (en) * 2012-12-18 2014-06-26 Intel Corporation Multiple region video conference encoding
GB2511730A (en) * 2013-01-28 2014-09-17 Microsoft Corp Spatially adaptive video coding
WO2014175919A1 (en) * 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
JP2014215604A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置および画像処理方法
US9880560B2 (en) * 2013-09-16 2018-01-30 Deere & Company Vehicle auto-motion control system
GB201318658D0 (en) 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
AU2016209079B2 (en) * 2015-01-22 2020-09-10 Huddly Inc. Video transmission based on independently encoded background updates
US9871967B2 (en) * 2015-01-22 2018-01-16 Huddly As Video transmission based on independently encoded background updates
US10872230B2 (en) * 2015-03-27 2020-12-22 Intel Corporation Low-cost face recognition using Gaussian receptive field features
KR20160137258A (ko) * 2015-05-22 2016-11-30 삼성전자주식회사 전자 장치 및 그의 화면 표시 방법
KR20170042431A (ko) 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
KR20170091323A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
CN115409940A (zh) 2016-11-30 2022-11-29 松下电器（美国）知识产权公司 终端、接收方法、分发装置及分发方法
US10560680B2 (en) 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
TWI647956B (zh) * 2017-04-11 2019-01-11 大眾電腦股份有限公司 物件追蹤系統及其方法
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
CN109429065A (zh) * 2017-09-05 2019-03-05 联咏科技股份有限公司 视频编码装置及视频编码方法
US11637885B2 (en) 2018-06-07 2023-04-25 Motorola Solutions, Inc. System and method for sending and rendering an image by a device based on receiver's context
US10915776B2 (en) * 2018-10-05 2021-02-09 Facebook, Inc. Modifying capture of video data by an image capture device based on identifying an object of interest within capturted video data to the image capture device
CN110113288B (zh) * 2019-05-23 2021-06-22 徐州中矿康普盛通信科技有限公司 一种基于机器学习的ofdm解调器的设计和解调方法
JP2021022910A (ja) * 2019-07-30 2021-02-18 株式会社リコー 通信端末、通信プログラム、通信方法及び通信システム
CN113011210B (zh) * 2019-12-19 2022-09-16 北京百度网讯科技有限公司 视频处理方法和装置
US11418773B2 (en) * 2020-04-21 2022-08-16 Plato Systems, Inc. Method and apparatus for camera calibration
TWI820341B (zh) * 2020-07-15 2023-11-01 圓展科技股份有限公司 影像追蹤及顯示方法
US11785069B2 (en) * 2020-10-11 2023-10-10 The Research Foundation For The State University Of New York System and method for content-adaptive real-time video communication
KR20230091097A (ko) * 2020-10-22 2023-06-22 퀄컴 인코포레이티드 이미지 캡처 동작들을 개선하기 위한 메커니즘
US11451745B2 (en) * 2021-02-24 2022-09-20 Gn Audio A/S Conference device with multi-videostream control
CN113660495A (zh) * 2021-08-11 2021-11-16 易谷网络科技股份有限公司 实时视频流压缩方法、装置、电子设备以及存储介质
WO2023136418A1 (en) * 2022-01-13 2023-07-20 Samsung Electronics Co., Ltd. Method and electronic device for automatically generating region of interest centric image

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135651A (ja) * 1993-11-10 1995-05-23 Matsushita Electric Ind Co Ltd 映像通信システム
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US6097853A (en) * 1996-09-11 2000-08-01 Da Vinci Systems, Inc. User definable windows for selecting image processing regions
JP2000099691A (ja) * 1998-09-18 2000-04-07 Toshiba Corp 人物撮影装置
JP2001094980A (ja) * 1999-09-21 2001-04-06 Sharp Corp データ処理装置
JP2001119696A (ja) 1999-10-20 2001-04-27 Canon Inc 画像符号化方法及び装置
US6894714B2 (en) 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP3915652B2 (ja) * 2002-10-09 2007-05-16 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
JP2005110160A (ja) * 2003-10-02 2005-04-21 Konica Minolta Holdings Inc 撮像装置
JP4472324B2 (ja) * 2003-12-25 2010-06-02 京セラ株式会社 テレビ電話装置
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
JP2005286442A (ja) * 2004-03-29 2005-10-13 Saxa Inc 監視システムおよび画像通信装置
JP4599080B2 (ja) 2004-04-02 2010-12-15 ソニー株式会社 画像符号化方法，撮像装置およびコンピュータプログラム
US7738710B2 (en) * 2004-08-02 2010-06-15 Electronics For Imaging, Inc. Methods and apparatus for communicating and displaying compressed image data
US7551772B2 (en) * 2004-11-30 2009-06-23 Hewlett-Packard Development Company, L.P. Blur estimation in a digital image
US8693537B2 (en) * 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
CN101164341B (zh) * 2005-03-01 2012-05-02 高通股份有限公司 用于视频电话的质量度量偏移的关注区编码
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
WO2007034434A2 (en) * 2005-09-26 2007-03-29 Koninklijke Philips Electronics N.V. Method and device for tracking a movement of an object or of a person
CN102271249B (zh) 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
US7558404B2 (en) * 2005-11-28 2009-07-07 Honeywell International Inc. Detection of abnormal crowd behavior
JP2008005349A (ja) * 2006-06-23 2008-01-10 Yamaha Corp 映像符号化装置、映像伝送装置、映像符号化方法及び映像伝送方法
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US7831063B2 (en) * 2007-02-19 2010-11-09 Laughlin Richard H Small event detector in presence of clutter
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP2009246642A (ja) 2008-03-31 2009-10-22 Kddi Corp 映像伝送装置、映像表示装置および映像伝送システム
JP2010087613A (ja) * 2008-09-29 2010-04-15 Saxa Inc プレゼンテーション画像配信システム
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
JP5308391B2 (ja) * 2010-03-31 2013-10-09 富士フイルム株式会社 画像符号化装置および方法並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104288A (ko) * 2014-03-05 2015-09-15 에스케이플래닛 주식회사 영상 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
EP2697776A1 (en) 2014-02-19
JP5859111B2 (ja) 2016-02-10
TWI563825B (en) 2016-12-21
WO2012139275A1 (en) 2012-10-18
US20160112674A1 (en) 2016-04-21
EP2697776A4 (en) 2015-06-10
TW201246942A (en) 2012-11-16
JP2014515225A (ja) 2014-06-26
US9247203B2 (en) 2016-01-26
US9871995B2 (en) 2018-01-16
CN103460250B (zh) 2017-11-28
CN103460250A (zh) 2013-12-18
US20130342640A1 (en) 2013-12-26

Similar Documents

Publication Publication Date Title
US9871995B2 (en) Object of interest based image processing
US11057646B2 (en) Image processor and image processing method
US9723264B2 (en) Method and apparatus for motion based participant switching in multipoint video conferences
US9723315B2 (en) Frame encoding selection based on frame similarities and visual quality and interests
JP2016129416A (ja) 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法
WO2015024362A1 (zh) 一种图像处理方法及设备
US9148463B2 (en) Methods and systems for improving error resilience in video delivery
CN1914925B (zh) 为了在移动网络上传输而进行的图像压缩
US9877056B1 (en) Compressed media with still images selected from a video stream
CN112203126A (zh) 投屏方法、投屏装置及存储介质
CN109716770B (zh) 用于图像压缩的方法和系统以及非暂时性计算机可读介质
CN114697731B (zh) 投屏方法、电子设备及存储介质
WO2021248349A1 (en) Combining high-quality foreground with enhanced low-quality background
KR20150086385A (ko) 관심 객체 기반 이미지 처리
JPWO2019135270A1 (ja) 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
JP2007150919A (ja) 通信端末およびその表示方法
WO2023051705A1 (zh) 视频通讯方法及装置、电子设备、计算机可读介质
US20230105436A1 (en) Generative adversarial network for video compression
CN111050190B (zh) 直播视频流的编码方法、装置、设备及存储介质
WO2022242880A1 (en) Encoding of a three-dimensional representation of a user and decoding of the same
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
JP2006304060A (ja) 画像通信装置、画像通信システム、及び画像通信方法
Paul Book Chapter: Computer Vision Aided Video Coding

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2015101003860; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150706

Effective date: 20170119