KR20240089141A - 화상 회의를 위한 관심 영역(roi) 기반 업스케일링 - Google Patents

Abstract

화상 회의를 위한 관심 영역(Region of interest, ROI) 기반 업스케일링하는 방법은, 제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역을 식별하는 단계; 경계 영역에 의해 바인딩된(bound) 비디오 프레임의 부분에, 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계; 및 객체에 대응하는 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 포함한다.

Description

화상 회의를 위한 관심 영역(ROI) 기반 업스케일링

화상 회의(video conference)에 참여하는 컴퓨팅 디바이스들은 카메라를 사용하여 비디오 데이터를 캡처하고 비디오 데이터를 다른 참여하는 컴퓨팅 디바이스들에 발송한다. 화상 회의의 비디오 데이터의 해상도는 디스플레이들의 해상도, 카메라들의 캡처 해상도, 네트워크 대역폭 및 계산 능력을 포함하는 다양한 요인에 의존한다.

도 1은 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(region of interest, ROI) 기반 업스케일링을 위한 예시적인 시스템의 블록도이다.
도 2a는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 예시적인 프로세스 흐름의 일부이다.
도 2b는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 예시적인 프로세스 흐름의 일부이다.
도 2c는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 예시적인 프로세스 흐름의 일부이다.
도 2d는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 예시적인 프로세스 흐름의 일부이다.
도 3은 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 예시적인 컴퓨터의 블록도이다.
도 4는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 예시적인 방법의 흐름도이다.
도 5는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 다른 예시적인 방법의 흐름도이다.
도 6는 일부 구현예들에 따른, 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 다른 예시적인 방법의 흐름도이다.
도 7은 본 개시의 구현예들에 따른, 업스케일링된 비디오 프레임을 생성하는 예시적인 방법을 예시하는 흐름도를 제시한다.

화상 회의에 참여하는 컴퓨팅 디바이스들은 카메라를 사용하여 비디오 데이터를 캡처하고 비디오 데이터를 다른 참여하는 컴퓨팅 디바이스들에 발송한다. 화상 회의의 비디오 데이터의 해상도는 디스플레이들의 해상도, 카메라들의 캡처 해상도, 네트워크 대역폭 및 계산 능력을 포함하는 다양한 요인들에 의존한다. 따라서, 디스플레이 해상도들, 네트워크 대역폭, 및 컴퓨팅 디바이스들의 계산 리소스들이 증가함에 따라, 화상 회의를 지원하는 소프트웨어는 더 높은 해상도들로 비디오 데이터를 지원할 수 있다. 그러나, 화상 회의가 더 높은 해상도의 비디오를 지원할 수 있더라도, 일부 컴퓨팅 디바이스들의 카메라들은 더 낮은 해상도로 비디오 데이터를 캡처하는 것으로 제한된다. 예를 들어, 화상 회의에 참여하는 컴퓨팅 디바이스들은 4K 비디오(예를 들어, 3840x2160 픽셀들)를 지원하기 위해 적절한 계산 및 네트워크 리소스들을 갖지만, 일부 컴퓨팅 디바이스들의 카메라는 1080p 비디오(예를 들어, 1920x1080 픽셀들)로 제한된다.

업스케일링 알고리즘들은 더 낮은 해상도 비디오 프레임들을 더 높은 해상도로 스케일링하는 데 사용된다. 위의 예를 계속하면, 1080p 비디오 카메라를 사용하여 캡처된 비디오 데이터는 카메라의 더 낮은 해상도를 보상하기 위해 4K로 업스케일링된다. 업스케일링 알고리즘들은 알고리즘을 구현하는 데 필요한 계산 리소스들뿐만 아니라 그들의 출력 품질에 따라 다르다. 예를 들어, 최근접 이웃(nearest-neighbor), 쌍선형(bilinear), 또는 바이큐빅(bicubic) 보간(interpolation)과 같은 알고리즘들은 비교적 더 낮은 계산 리소스들을 사용하지만 더 낮은 품질(예를 들어, 덜 정확한) 출력을 생성한다. 대조적으로, (예를 들어, 신경망들 또는 다른 모델들을 사용하여) 기계 학습을 사용하는 업스케일링 알고리즘들은 더 높은 품질의 출력을 생성할 것이지만, 상당한 계산 리소스들을 필요로 할 것이다.

많은 화상 회의 상황들에서 비디오 데이터는 단일 관심 영역(ROI)을 포함한다. ROI는 특정 목적으로 식별된 이미지 또는 비디오 프레임의 서브세트이다. 예를 들어, 화상 회의의 ROI는 그들의 컴퓨팅 디바이스의 카메라에 의해 캡처된 화상 회의에서의 인간 참여자를 포함할 것이다. 따라서, 기계 학습 기반 업스케일링 알고리즘과 같은 계산 집약적 업스케일링 알고리즘에 전체 비디오 프레임을 제공하는 것은 인간 참여자 뒤의 배경과 같은 다른 참여자들에게 특별한 관심이 없는 비디오 프레임의 부분들을 업스케일링하기 위해 상당한 계산 리소스들을 사용한다.

이를 위해, 본 명세서는 화상 회의를 위한 관심 영역(ROI) 기반 업스케일링의 다양한 구현예들을 제시한다. 일부 구현예들에서, 화상 회의에 대한 ROI 기반 업스케일링의 방법은, 제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역(boundary region)을 식별하는 단계를 포함한다. 방법은 또한, 경계 영역에 의해 바인딩된(bound) 비디오 프레임의 부분에, 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계를 포함한다. 방법은 또한 객체에 대응하는 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 포함한다.

일부 구현예들에서, 방법은 화상 회의에 참여하는 제 1 컴퓨팅 디바이스로부터 화상 회의에 참여하는 적어도 하나의 제 2 컴퓨팅 디바이스로, 업스케일링된 비디오 프레임을 발송하는 단계를 더 포함한다. 일부 구현예들에서, 방법은 또한, 화상 회의에 참여하는 제 2 컴퓨팅 디바이스에 의해 화상 회의에 참여하는 제 1 컴퓨팅 디바이스로부터, 비디오 프레임을 수신하는 단계 및 제 2 컴퓨팅 디바이스에 의해, 업스케일링된 비디오 프레임을 디스플레이에 출력하는 단계를 포함한다. 일부 구현예들에서, 방법은 또한, 제2 복수의 픽셀들을 생성하기 위해 경계 영역 외부의 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용하는 단계를 포함한다. 이러한 방법에서, 업스케일링된 비디오 프레임을 생성하는 단계는 제1 복수의 픽셀들, 제2 복수의 픽셀들, 및 비디오 프레임의 업스케일링된 부분에 포함되고 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계를 포함한다. 일부 구현예들에서, 제2 복수의 픽셀들은 제2 해상도에서 배경(background)에 대응하고 업스케일링된 비디오 프레임을 생성하는 단계는 제1 복수의 픽셀들을 배경에 매핑하는 단계를 포함한다. 일부 구현예들에서, 다른 업스케일링 알고리즘은 기계 학습 업스케일링 알고리즘에 비해 덜 계산 집약적인 알고리즘이다. 일부 구현예들에서, 객체는 사용자 선택 객체를 포함한다. 일부 구현예들에서, 객체는 디폴트 객체 유형을 포함한다.

본 명세서는 또한 화상 회의를 위한 ROI 기반 업스케일링을 위한 장치의 다양한 구현예들을 설명한다. 이러한 장치는 컴퓨터 프로세서 및 컴퓨터 메모리를 포함하고, 컴퓨터 메모리는, 컴퓨터 프로세서에 의해 실행될 때, 컴퓨터 프로세서로 하여금, 제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역을 식별하는 단계; 경계 영역에 의해 바인딩된 비디오 프레임의 부분에, 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계; 및 객체에 대응하는 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 포함한다.

일부 구현예들에서, 장치는 또한, 컴퓨터 프로세서에 의해 실행될 때, 컴퓨터 프로세서로 하여금, 화상 회의에 참여하는 제1 컴퓨팅 디바이스로부터 화상 회의에 참여하는 적어도 하나의 제2 컴퓨팅 디바이스로, 업스케일링된 비디오 프레임을 발송하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 포함한다. 일부 구현예들에서, 장치는 또한, 컴퓨터 프로세서에 의해 실행될 때, 컴퓨터 프로세서로 하여금, 화상 회의에 참여하는 제2 컴퓨팅 디바이스에 의해 화상 회의에 참여하는 제1 컴퓨팅 디바이스로부터, 비디오 프레임을 수신하는 단계; 및 제2 컴퓨팅 디바이스에 의해, 업스케일링된 비디오 프레임을 디스플레이에 출력하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 포함한다. 일부 구현예들에서, 장치는 또한, 컴퓨터 프로세서에 의해 실행될 때, 컴퓨터 프로세서로 하여금, 제2 복수의 픽셀들을 생성하기 위해 경계 영역 외부의 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 포함하고; 업스케일링된 비디오 프레임을 생성하는 단계는 제1 복수의 픽셀들, 제2 복수의 픽셀들, 및 비디오 프레임의 업스케일링된 부분에 포함되고 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계를 포함한다. 일부 구현예들에서, 제2 복수의 픽셀들은 제2 해상도에서 배경(background)에 대응하고 업스케일링된 비디오 프레임을 생성하는 단계는 제1 복수의 픽셀들을 배경에 매핑하는 단계를 포함한다. 일부 구현예들에서, 다른 업스케일링 알고리즘은 기계 학습 업스케일링 알고리즘에 비해 덜 계산 집약적인 알고리즘이다. 일부 구현예들에서, 객체는 사용자 선택 객체를 포함한다. 일부 구현예들에서, 객체는 디폴트 객체 유형을 포함한다.

또한, 본 명세서에서는 화상 회의에 대한 ROI 기반 업스케일링을 위한 컴퓨터 프로그램 제품의 다양한 구현예들이 설명된다. 이러한 컴퓨터 프로그램 제품은 컴퓨터 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체 상에 배치되고, 컴퓨터 프로그램 명령어들은, 실행될 때, 컴퓨터 시스템으로 하여금: 제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역을 식별하는 단계; 경계 영역에 의해 바인딩된 비디오 프레임의 부분에, 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계; 및 객체에 대응하는 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 수행하게 한다.

일부 구현예들에서, 컴퓨터 프로그램 명령어들은, 실행될 때, 컴퓨터 시스템으로 하여금 화상 회의에 참여하는 제1 컴퓨팅 디바이스로부터, 화상 회의에 참여하는 적어도 하나의 제2 컴퓨팅 디바이스로, 업스케일링된 비디오 프레임을 발송하는 단계를 수행하게 한다. 일부 구현예들에서, 컴퓨터 프로그램 명령어들은, 실행될 때, 컴퓨터 시스템으로 하여금 화상 회의에 참여하는 제2 컴퓨팅 디바이스에 의해 화상 회의에 참여하는 제1 컴퓨팅 디바이스로부터, 비디오 프레임을 수신하는 단계; 및 제2 컴퓨팅 디바이스에 의해, 업스케일링된 비디오 프레임을 디스플레이에 출력하는 단계를 수행하게 한다. 일부 구현예들에서, 컴퓨터 프로그램 명령어들은, 실행될 때, 컴퓨터 시스템으로 하여금 제2 복수의 픽셀들을 생성하기 위해 경계 영역 외부의 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용하는 단계를 수행하게 하고; 업스케일링된 비디오 프레임을 생성하는 단계는 제1 복수의 픽셀들, 제2 복수의 픽셀들, 및 비디오 프레임의 업스케일링된 부분에 포함되고 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계를 포함한다.

도 1은 비제한적인 예시적인 시스템의 블록도이다. 예시적인 시스템은 다수의 참여자 디바이스들(102a 내지 102n)을 포함한다. 각각의 참여자 디바이스(102a 내지 102n)는 모바일 디바이스들, 개인용 컴퓨터들, 주변 하드웨어 컴포넌트들, 게임 디바이스들, 셋톱 박스들 등을 포함하는 다양한 컴퓨팅 디바이스들 중 하나로서 구현될 수 있다. 참여자 디바이스들(102a 내지 102n)은 네트워크(104)를 통해 통신가능하게 결합된다. 네트워크(104)는 하나 이상의 유선 네트워크들, 하나 이상의 무선 네트워크들, 이들의 조합들, 또는 참여자 디바이스들(102a 내지 102n) 사이의 데이터 통신들을 용이하게 한다는 것이 인식될 수 있는 다른 네트워크들을 포함한다.

각각의 참여자 디바이스(102a 내지 102n)는 각각의 화상 회의 모듈(106a 내지 106n)을 포함한다. 화상 회의 모듈(106a 내지 106n)은 참여자 디바이스들(102a 내지 102n) 사이의 화상 회의를 용이하게 하는 모듈이다. 화상 회의 모듈(106a 내지 106n)은 (예를 들어, 카메라들, 마이크로폰들, 또는 참여자 디바이스의 다른 입력 디바이스들을 사용하여) 비디오 데이터, 오디오 데이터, 또는 이들의 조합들을 인코딩하고, 인코딩된 비디오 데이터를 렌더링 및 디스플레이를 위해 다른 참여자 디바이스들(102a 내지 102n)에 제공한다. 일부 구현예들에서, 화상 회의 모듈(106a 내지 106n)은 참여자 디바이스(102a 내지 102n)의 사용자 인터페이스 또는 디스플레이를 인코딩하는 비디오 데이터를 인코딩하고, 렌더링 및 디스플레이(예를 들어, "스크린 공유")를 위해 비디오 데이터를 다른 참여자 디바이스들(102a 내지 102n)에 제공하도록 구성된다.

일부 구현예들에서, 화상 회의 모듈(106a 내지 106n)은 현재 말하는 사용자의 비디오 및 오디오 데이터를 다른 사용자들에 비해 더 큰 윈도우에 디스플레이한다. 다시 말해서, (예를 들어, 착신 오디오 데이터를 검출함으로써 결정된 바와 같이) 사용자가 능동적으로 말하고 있는 참여자 디바이스(102a 내지 102n)로부터의 비디오 및 오디오 데이터는 더 큰 윈도우에 디스플레이되는 반면, 다른 사용자들의 비디오는 각각의 더 작은 윈도우들에 디스플레이된다. 따라서, 각각의 사용자가 보이는 동안, 현재 말하는 사용자의 비디오는 다른 윈도우들에 비해 더 큰 윈도우에 제시된다. 다른 구현예들에서, 미리 정의된 사용자의 비디오는 미리 정의된 사용자가 능동적으로 말하고 있는지 여부에 관계없이 더 큰 윈도우에 제시된다. 예를 들어, 지정된 발표자, 호스트, 또는 다른 더 높은 우선순위 사용자의 비디오는 더 큰 윈도우에 제시되는 반면, 다른 사용자들의 비디오는 다른 윈도우들에 제시된다.

본 개시의 일부 구현예들에 따라 하나 이상의 참여자 디바이스들(102a 내지 102n)은 또한 화상 회의를 위한 ROI 기반 업스케일링을 위한 모듈인, 업스케일링 모듈(108a 내지 108n)을 포함한다. 도 1은 각각의 참여자 디바이스(102a 내지 102n)를 업스케일링 모듈(108a 내지 108n)을 갖는 것으로 도시하지만, 일부 구현예들에서, 참여자 디바이스들(102a 내지 102n)의 서브세트만이 업스케일링 모듈(108a 내지 108n)을 포함할 것이라는 것이 이해된다. 또한, 도 1은 업스케일링 모듈(108a 내지 108n)을 화상 회의 모듈(106a 내지 106n)과 별개의 모듈로서 도시하지만, 일부 구현예들에서 업스케일링 모듈(108a 내지 108n)은 화상 회의 모듈(106a 내지 106n)의 일부로서 구현된다는 것을 이해한다.

업스케일링 모듈(108a 내지 108n)은 제1 해상도에서 더 높은 제2 해상도로 업스케일링하기 위한 화상 회의를 위한 비디오 프레임을 입력으로서 수신한다. 일부 구현예들에서, 비디오 프레임은, 비디오 프레임이 입력으로서 제공되는 업스케일링 모듈(108a 내지 108n)을 실행하는 동일한 참여자 디바이스(102a 내지 102n)에 의해(예를 들어, 화상 회의 모듈(106a 내지 106n)에 의해) 생성된다. 다시 말해서, 비디오 프레임은 화상 회의에서 다른 참여자 디바이스(102a 내지 102n)로 발송되기 전에 업스케일링된다. 다른 구현예들에서, 비디오 프레임은 다른 참여자 디바이스(102a 내지 102n)로부터 수신되고, 수신 참여자 디바이스(102a 내지 102n)에 의한 디스플레이 전에 업스케일링된다.

업스케일링 모듈(108a 내지 108n)은 비디오 프레임에서 객체에 대한 경계 영역을 식별한다. 객체는 비디오 프레임 내의 이미지 객체(예를 들어, 픽셀들의 특정 그룹)이다. 예를 들어, 일부 구현예들에서, 객체는 인간 참여자에 의해 사용되는 참여자 디바이스(102a 내지 102n)의 카메라에 의해 캡처된 화상 회의에서의 인간 참여자에 대응한다. 당업자는 일부 구현예들에서, 객체가 다른 관심 영역들에 대응할 것임을 이식할 것이다. 일부 구현예들에서, 객체는 사용자 선택 객체를 포함한다. 예를 들어, 이미지 세그멘테이션 알고리즘(image segmentation algorithm)이 비디오 프레임에 적용되고 다수의 객체들을 식별한다. 그런 다음, 경계 영역이 식별되는 객체가 식별된 객체들로부터 선택된다. 다른 구현예들에서, 객체는 디폴트 객체 유형이다. 예를 들어, 이미지 세그멘테이션 알고리즘은 비디오 프레임 내의 인간 객체를 식별한다. 그런 다음 인간 객체는 경계 영역이 식별되는 객체로서 자동으로 선택된다.

도 1의 업스케일링 모듈(108a 내지 108n)은 이미지 세그멘테이션 알고리즘 또는 인식될 수 있는 바와 같이 다른 알고리즘을 사용하여 비디오 프레임 내의 객체를 식별한다. 객체를 식별한 후, 업스케일링 모듈(108a 내지 108n)은 객체에 대한 경계 영역을 식별한다. 일부 구현예들에서, 경계 영역은 객체에 대한 경계 박스(bounding box)를 포함한다. 경계 박스는 객체가 포함되는 픽셀들의 2차원 직사각형 영역이다. 예를 들어, 일부 구현예들에서, 경계 박스는 객체에 대한 가장 가까운 피팅 경계 박스(예를 들어, 객체를 완전히 포함하도록 최소 폭 및 높이를 갖는 경계 박스)를 포함한다. 일부 구현예들에서, 경계 박스는 경계 박스의 에지와 객체 사이의 임계량의 픽셀들(예를 들어, 1개, 2개, 또는 기타 상대적으로 적은 수의 픽셀들)을 포함한다. 예를 들어, 경계 박스의 하나 이상의 측면들은 객체의 가장 가까운 부분으로부터 많아야 임계량의 픽셀만큼 분리된다. 당업자는 경계 박스 이외의 경계들이 또한 본 개시의 범위 내에서 고려된다는 것을 인식할 것이다.

그런 다음, 업스케일링 모듈(108a 내지 108n)은 기계 학습 업스케일링 알고리즘을 경계 영역에 의해 바인딩된 비디오 프레임의 부분에 적용하여 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성한다. 비디오 프레임의 업스케일링된 부분은 비디오 프레임의 부분의 해상도가 제2 해상도에 비례하여 업스케일링된다는 점에서 제2 해상도에 대응한다. 예를 들어, 제1 해상도가 1080p이고, 제2 해상도가 4K라고 가정하면, 업스케일링된 비디오 프레임은 비디오 프레임의 해상도의 4배의 해상도를 가질 것이다. 따라서, 비디오 프레임의 업스케일링된 부분은 업스케일링 이전의 비디오 프레임의 부분의 해상도의 4배 해상도를 가질 것이다.

전술한 바와 같이, 경계 영역에 의해 바인딩된 비디오 프레임의 부분은 객체(예를 들어, 화상 회의에 참여하는 사용자)를 포함한다. 경계 영역이 비디오 프레임에 대한 ROI를 효과적으로 정의하기 때문에, 비교적 계산 집약적인 기계 학습 업스케일링 알고리즘이 비디오 프레임의 이 서브세트에 적용되어 비디오 프레임의 ROI의 더 높은 품질의 업스케일링된 버전을 생성한다. 일 예로서, 경계 영역에 의해 바인딩된 비디오 프레임의 부분은, 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성하기 위해 신경망, 딥 컨볼루션 신경망, 또는 다른 트레이닝된 기계 학습 모델에 입력으로서 제공된다. 따라서, 비디오 프레임의 결과적인 업스케일링된 부분은 업스케일링된 객체를 포함한다.

업스케일링된 객체를 포함하는 제2 해상도의 업스케일링된 비디오 프레임을 생성하기 위해, 업스케일링된 객체에 대한 픽셀들은 제2 해상도에 대응하는 다른 픽셀들과 조합되어야 한다. 따라서, 업스케일링 모듈(108a 내지 108n)은 경계 영역 외부의 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용한다. 다른 업스케일링 알고리즘은 경계 영역 내부의 비디오 프레임의 부분을 업스케일링하는 데 사용되는 기계 학습 업스케일링 알고리즘에 비해 덜 계산 집약적인 업스케일링 알고리즘이다. 예를 들어, 다른 업스케일링 알고리즘은 기계 학습 업스케일링 알고리즘에 비해 업스케일링된 출력을 생성하기 위해 더 적은 연산들 또는 더 적은 계산 리소스들을 필요로 한다. 덜 계산 집약적인 업스케일링 알고리즘은 잠재적으로 기계 학습 업스케일링 알고리즘에 비해 더 낮은 품질의 출력을 초래할 것이지만, 덜 계산 집약적인 업스케일링 알고리즘은 경계 영역 외부의(예를 들어, 관심 영역 이외의) 프레임의 부분들에만 적용된다. 일부 구현예들에서, 다른 업스케일링 알고리즘은, 예를 들어, 최근접 이웃, 쌍선형, 또는 바이큐빅 보간 알고리즘, 또는 인식될 수 있는 바와 같은 다른 알고리즘을 포함한다.

경계 영역 외부의 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용한 후, 이 업스케일링된 부분은 기계 학습 업스케일링 알고리즘에 의해 생성된 비디오 프레임의 업스케일링된 부분과 조합되어 업스케일링된 비디오 프레임을 생성한다. 따라서, 업스케일링된 비디오 프레임은 기계 학습 업스케일링 알고리즘에 의해 업스케일링되고 업스케일링된 객체를 포함하는 제1 부분 및 다른 덜 계산 집약적인 업스케일링 알고리즘에 의해 업스케일링된 제2 부분을 포함한다. 기계 학습 알고리즘에 의해 업스케일링된 제1 부분이 경계 영역의 전체 내부에 대응하기 때문에, 일부 구현예들에서, 제1 부분은 객체 외부의 일부 양의 픽셀들을 포함할 것이고, 또한 기계 학습 업스케일링 알고리즘에 의해 업스케일링될 것이다.

다른 구현예들에서, 업스케일링된 객체를 포함하는 제2 해상도의 업스케일링된 비디오 프레임을 생성하기 위해, 업스케일링된 객체에 대한 픽셀들은 배경 이미지 또는 배경 비디오 프레임에 매핑된다. 예를 들어, 화상 회의 모듈(106a 내지 106n)이 화상 회의에 대한 배경 대체를 지원하여 비디오 데이터(예를 들어, 사용자 또는 다른 관심 영역 이외의 비디오 데이터)의 배경이 제거되고 다른 이미지 또는 비디오 프레임으로 대체된다고 가정한다. 따라서, 사용자는 대체 배경에 오버레이된 것처럼 보인다. 따라서, 일부 구현예들에서, 업스케일링된 객체에 대한 픽셀들은 제2 해상도로 배경(예를 들어, 배경 이미지 또는 배경 비디오 프레임)에 매핑된다. 일부 구현예들에서, 배경은 업스케일링된 객체의 픽셀들이 배경에 매핑되기 전에 제2 해상도로 업스케일링되거나 다운스케일링된다.

일부 구현예들에서, 그런 다음 업스케일링된 비디오 프레임은 업스케일링된 비디오 프레임을 생성하는 참여자 디바이스(102a 내지 102n)로부터 다른 참여자 디바이스들(102a 내지 102n)로 발송된다. 비디오 프레임이 다른 참여자 디바이스(102a 내지 102n)로부터 수신되는 다른 구현예들에서, 업스케일링된 비디오 프레임은 디스플레이에 출력된다.

위의 논의가 화상 회의의 맥락에서 설명됨에 따라, 당업자는 단일 비디오 프레임을 업스케일링하기 위해 설명된 접근법들이 업스케일링된 비디오 데이터를 생성하기 위해 비디오 데이터 내의 다수의 프레임들에 반복적으로 적용된다는 것을 인식할 것이다. 또한, 위의 논의는 기계 학습 업스케일링 알고리즘 및 비-기계 학습 업스케일링 알고리즘을 사용하는 맥락에서 설명되지만, 당업자는 본 명세서에 설명된 접근법들이 더 높고 더 낮은 상대적 계산 강도를 갖는 업스케일링 알고리즘들의 임의의 조합의 사용에 적용가능하다는 것을 인식할 것이다.

다수의 참여자 디바이스들(102a 내지 102n)이 화상 회의에 참여하고 있는 예를 고려한다. 제1 참여자 디바이스(102a 내지 102n)는 4K 비디오 데이터를 인코딩하고 발송할 수 있지만, 1080p 비디오를 캡처할 수 있는 카메라만을 갖는다. 일부 구현예들에서, 제1 참여자 디바이스(102a 내지 102n)는 4K 해상도에서 다수의 업스케일링된 비디오 프레임들을 포함하는 업스케일링된 비디오 데이터를 생성한다. 업스케일링된 비디오 프레임들 각각은 사용자를 캡처하고 기계 학습 업스케일링 알고리즘을 사용하여 업스케일링된 부분 및 덜 계산 집약적인 업스케일링 알고리즘을 사용하여 업스케일링된 다른 부분을 포함한다. 그런 다음 업스케일링된 비디오 프레임들은 렌더링을 위해 다른 참여자 디바이스들(102a 내지 102n)에 발송된다. 따라서, 제1 참여자 디바이스(102a 내지 102n)는 각각의 비디오 프레임 전체에 기계 학습 업스케일링 알고리즘을 적용하는데 필요한 계산 리소스들을 사용하지 않고 다른 참여자 디바이스들(102a 내지 102n)에 대한 업스케일링된 4K 비디오를 생성할 수 있다.

제1 참여자 디바이스(102a 내지 102n)가 제2 참여자 디바이스(102a 내지 102n)로부터 1080p 비디오 프레임들을 수신하는 다른 예를 고려한다. 제1 참여자 디바이스(102a 내지 102n)는 수신된 1080p 비디오 프레임들로부터, 디스플레이를 위해 업스케일링 모듈(108a 내지 108n)을 사용하여 업스케일링된 4K 비디오 프레임들을 생성한다. 따라서, 제1 참여자 디바이스(102a 내지 102n)는 기계 학습 업스케일링 알고리즘을 각각의 비디오 프레임 전체에 적용하는데 필요한 계산 리소스를 사용하지 않고 다른 참여자 디바이스들(102a 내지 102n)로부터 수신된 더 낮은 해상도 비디오로부터 업스케일링된 4K 비디오를 생성할 수 있다.

도 2a 내지 도 3d는 본 개시의 일부 구현예들에 따른, 화상 회의에 대한 ROI 기반 업스케일링을 위한 예시적인 프로세스 흐름을 도시한다. 도 2a는 제1 해상도(예를 들어, 1080p 또는 업스케일링 전에 더 낮은 다른 해상도)의 비디오 프레임(202)을 도시한다. 비디오 프레임(202)은 참여자 디바이스(102a 내지 102n)의 사용자에 대응하는 객체(204) 및 객체(204)의 픽셀들 이외의 모든 픽셀들을 포함하는 배경(206)을 포함한다. 도 2b에서, 객체(204)를 포함하는 경계 박스(208)가 식별된다.

도 2c에서, 기계 학습 알고리즘은 경계 박스(208)에 의해 정의되고 객체(204)를 포함하는 비디오 프레임의 부분(210)에 적용되어 업스케일링된 객체(214)를 포함하는 업스케일링된 부분(212)을 생성한다. 부분(210)은 업스케일링되어 제2 해상도에 비례하는 업스케일링된 부분(212)을 생성한다. 예를 들어, 제2 해상도가 제1 해상도의 4배라고 가정하면, 업스케일링된 부분(212)은 업스케일링 이전의 부분(210)의 해상도의 4배의 해상도로 생성된다. 도 2d에서, 업스케일링된 객체(214)를 포함하는 업스케일링된 비디오 프레임(216)이 생성된다. 업스케일링된 비디오 프레임(216)은 배경(218)을 포함한다. 일부 구현예들에서, 배경(218)은 제2 해상도의 대체 배경에 대응한다. 예를 들어, 배경(218)은 배경(206)을 대체하고 업스케일링된 객체(214)의 픽셀들은 배경(218) 상에 매핑된다. 다른 구현예들에서, 배경(218)은 기계 학습 업스케일링 알고리즘보다 덜 계산 집약적인 다른 업스케일링 알고리즘에 의해 업스케일링된 배경(206)을 포함한다.

본 출원에 따른 화상 회의에 대한 ROI 기반 업스케일링은 일반적으로 컴퓨터들로 구현된다. 따라서, 추가 설명을 위해, 도 3은 특정 구현예들에 따라 화상 회의를 위한 ROI 기반 업스케일링을 위해 구성된 예시적인 컴퓨터(300)의 블록도를 제시한다. 도 3의 예시적인 컴퓨터(300)는 도 1(102a 내지 102n)의 것들과 같은 참여자 디바이스일 수 있다.

도 3의 컴퓨터(300)는 적어도 하나의 컴퓨터 프로세서(302) 또는 'CPU'뿐만 아니라 고속 메모리 버스(306) 및 버스 어댑터(328)를 통해 프로세서(302) 및 컴퓨터(300)의 다른 컴포넌트들에 연결되는 랜덤 액세스 메모리(RAM)(304)를 포함한다. RAM(304)에는 운영 체제(310)가 저장된다. 특정 구현예들에 따른 화상 회의를 위한 ROI 기반 업스케일링을 위해 구성된 컴퓨터들에서 유용한 운영 체제들은 UNIX™, Linux™, Microsoft Windows™, 및 당업자에게 알려진 다른 것들을 포함한다. 도 3의 예의 운영 체제(310)는 RAM(304)에 도시되어 있지만, 이러한 소프트웨어의 많은 컴포넌트들은 전형적으로 비휘발성 메모리, 예컨대, 예를 들어, 디스크 드라이브와 같은 데이터 저장소(312)에 또한 저장된다. 또한, 특정 구현예들에 따른 업스케일링 모듈(108) 및 화상 회의 모듈(106)이 RAM(304)에 저장된다.

도 3의 컴퓨터(300)는 확장 버스(318) 및 버스 어댑터(328)를 통해 프로세서(302) 및 컴퓨터(300)의 다른 컴포넌트들에 결합된 디스크 드라이브 어댑터(316)를 포함한다. 디스크 드라이브 어댑터(316)는 비휘발성 데이터 저장소를 데이터 저장소(312) 형태로 컴퓨터(300)에 연결한다. 특정 구현예들에 따른 화상 회의를 위한 ROI 기반 업스케일링을 위해 구성된 컴퓨터들에서 유용한 디스크 드라이브 어댑터들은 집적 드라이브 전자 장치(Integrated Drive Electronics, 'IDE') 어댑터들, 소형 컴퓨터 시스템 인터페이스(Small Computer System Interface, 'SCSI') 어댑터들, 및 당업자에게 알려진 다른 것들을 포함한다. 일부 구현예들에서, 비휘발성 컴퓨터 메모리는 광학 디스크 드라이브, 전기적으로 소거가능한 프로그램가능한 판독 전용 메모리(소위 'EEPROM' 또는 '플래시 메모리'), RAM 드라이브들, 및 당업자에게 알려진 것 등으로서 구현된다.

도 3의 예시적인 컴퓨터(300)는 하나 이상의 입력/출력('I/O') 어댑터들(320)을 포함한다. I/O 어댑터들은 예를 들어, 컴퓨터 디스플레이 스크린들과 같은 디스플레이 디바이스들로의 출력, 및 키보드 및 마우스와 같은 사용자 입력 디바이스들(322)로부터의 사용자 입력을 제어하기 위한 소프트웨어 드라이버 및 컴퓨터 하드웨어를 통한 사용자-지향 입력/출력을 구현한다. 도 3의 I/O 어댑터(320)는 화상 회의 및 다른 애플리케이션들에서 사용하기 위해 웹캠(334)을 컴퓨팅 시스템에 결합한다.

도 3의 예시적인 컴퓨터(300)는 또한 그래픽 관련 계산 및 디스플레이 스크린 또는 컴퓨터 모니터와 같은 디스플레이 디바이스(326)로의 출력을 위해 특별히 설계된 I/O 어댑터의 예인 그래픽 프로세싱 유닛(GPU)(324)을 포함한다. GPU(324)는 고속 비디오 버스(328), 버스 어댑터(328) 및 또한 고속 버스인 프론트 사이드 버스(330)를 통해 프로세서(302)에 연결된다.

도 3의 예시적인 컴퓨터(300)는 다른 컴퓨터들과의 데이터 통신들 및 데이터 통신 네트워크와의 데이터 통신들을 위한 통신 어댑터(332)를 포함한다. 이러한 데이터 통신들은 RS-232 연결을 통해, 범용 직렬 버스(USB)와 같은 외부 버스를 통해, IP 데이터 통신 네트워크와 같은 데이터 통신 네트워크를 통해, 및/또는 당업자에게 알려진 다른 방식으로 직렬로 수행된다. 통신 어댑터들은 하나의 컴퓨터가 데이터 통신을 다른 컴퓨터로 직접 또는 데이터 통신 네트워크를 통해 발송하는 데이터 통신의 하드웨어 레벨을 구현한다. 특정 구현예들에 따른 화상 회의를 위한 ROI 기반 업스케일링을 위해 구성된 컴퓨터들에서 유용한 통신 어댑터들의 예들은 유선 다이얼-업 통신들을 위한 모뎀들, 유선 데이터 통신들을 위한 이더넷(IEEE 802.3) 어댑터들, 및 무선 데이터 통신들을 위한 802.11 어댑터들을 포함한다.

추가 설명을 위해, 도 4는 본 개시의 구현예들에 따른, 화상 회의를 위한 ROI 기반 업스케일링을 위한 예시적인 방법을 예시하는 흐름도를 제시한다. 도 4의 방법은 참여자 디바이스(102a)의 업스케일링 모듈(108a)에서 구현된다. 도 4의 방법은 제1 해상도의 화상 회의의 비디오 프레임(404)에서, 객체에 대한 경계 영역을 식별하는 단계(402)를 포함한다. 비디오 프레임(404)은 업스케일링 모듈(108a)을 실행하는 동일한 참여자 디바이스(102a)에 의해 생성된다. 다른 구현예들에서, 비디오 프레임(404)은 다른 참여자 디바이스(102b 내지 102n)로부터 수신된다.

식별된 객체는 비디오 프레임(404) 내의 이미지 객체(예를 들어, 픽셀들의 특정 그룹)이다. 객체는 인간 참여자에 의해 사용되는 참여자 디바이스(102a 내지 102n)의 카메라에 의해 캡처된 화상 회의에서의 인간 참여자에 대응할 수 있다. 당업자는 일부 구현예들에서, 객체가 다른 관심 영역들에 대응할 것임을 이식할 것이다. 일부 구현예들에서, 객체는 사용자 선택 객체를 포함한다. 예를 들어, 이미지 세그멘테이션 알고리즘이 비디오 프레임(404)에 적용되고 다수의 객체들을 식별한다. 그런 다음, 경계 영역이 식별되는 객체가 식별된 객체들로부터 선택된다. 다른 구현예들에서, 객체는 디폴트 객체 유형이다. 예를 들어, 이미지 세그멘테이션 알고리즘은 비디오 프레임(404) 내의 인간 객체를 식별한다. 그런 다음 인간 객체는 경계 영역이 식별되는 객체로서 자동으로 선택된다.

객체는 이미지 세그멘테이션 알고리즘 또는 인식될 수 있는 다른 알고리즘을 사용하여 비디오 프레임(404) 내에서 식별된다. 객체를 식별한 후, 객체에 대한 경계 영역이 식별된다. 일부 구현예들에서, 경계 영역은 객체에 대한 경계 박스를 포함한다. 경계 박스는 식별된 객체가 포함되는 픽셀들의 2차원 직사각형 영역이다. 예를 들어, 일부 구현예들에서, 경계 박스는 객체에 대한 가장 가까운 피팅 경계 박스(예를 들어, 객체를 완전히 포함하도록 최소 폭 및 높이를 갖는 경계 박스)를 포함한다. 일부 구현예들에서, 경계 박스는 경계 박스의 에지와 객체 사이의 임계량의 픽셀들(예를 들어, 1개, 2개, 또는 기타 상대적으로 적은 수의 픽셀들)을 포함한다. 예를 들어, 경계 박스의 하나 이상의 측면들은 객체의 가장 가까운 부분으로부터 많아야 임계량의 픽셀들만큼 분리된다. 당업자는 경계 박스 이외의 경계들이 또한 본 개시의 범위 내에서 고려된다는 것을 인식할 것이다.

도 4의 방법은 또한, 경계 영역에 의해 바인딩된 비디오 프레임(404)의 부분에, 제2 해상도에 대응하는 비디오 프레임(404)의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계(406)를 포함한다. 제2 해상도는 비디오 프레임(404)의 제1 해상도보다 높고, 아래에서 설명될 결과적인 업스케일링된 비디오 프레임(410)의 해상도이다. 비디오 프레임(404)의 업스케일링된 부분은 경계 영역에 의해 바인딩된 비디오 프레임(404)의 부분의 해상도가 제2 해상도에 비례하여 업스케일링된다는 점에서 제2 해상도에 대응한다. 예를 들어, 제1 해상도가 1080p이고 제2 해상도가 4K라고 가정하면, 업스케일링된 비디오 프레임(410)은 비디오 프레임(404)의 해상도의 4배의 해상도를 가질 것이다. 따라서, 비디오 프레임(404)의 업스케일링된 부분은 업스케일링 이전의 비디오 프레임(404)의 부분의 해상도의 4배 해상도를 가질 것이다.

전술한 바와 같이, 경계 영역에 의해 바인딩된 비디오 프레임(404)의 부분은 객체(예를 들어, 화상 회의에 참여하는 사용자)를 포함한다. 경계 영역이 비디오 프레임(404)에 대한 ROI를 효과적으로 정의하기 때문에, 비교적 계산 집약적인 기계 학습 업스케일링 알고리즘이 비디오 프레임(404)의 이 서브세트에 적용되어 비디오 프레임의 ROI의 더 높은 품질의 업스케일링된 버전을 생성한다. 일 예로서, 경계 영역에 의해 바인딩된 비디오 프레임(404)의 부분은, 제2 해상도에 대응하는 비디오 프레임의 업스케일링된 부분을 생성하기 위해 신경망, 딥 컨볼루션 신경망, 또는 다른 트레이닝된 기계 학습 모델에 입력으로서 제공된다. 따라서, 비디오 프레임의 결과적인 업스케일링된 부분은 업스케일링된 객체를 포함한다.

도 4의 방법은 또한 객체에 대응하는 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 제2 해상도의 업스케일링된 비디오 프레임(410)을 생성하는 단계(408)를 포함한다. 제1 복수의 픽셀들은 업스케일링된 객체를 인코딩하는 비디오 프레임(404)의 업스케일링된 부분에서의 픽셀들이다. 일부 구현예들에서, 아래에서 더 상세히 설명되는 바와 같이, 제2 복수의 픽셀들은 제1 복수의 픽셀들이 매핑되는 대체 배경(예를 들어, 대체 배경 이미지 또는 비디오 프레임)을 포함한다. 일부 구현예들에서, 아래에서 더 상세히 설명되는 바와 같이, 제2 복수의 픽셀들은 경계 영역 외부의 비디오 프레임(404)의 픽셀들을 포함하고 다른 업스케일링 알고리즘(예를 들어, 기계 학습 업스케일링 알고리즘보다 덜 계산 집약적인 업스케일링 알고리즘)을 사용하여 업스케일링된다.

도 4의 방법은 또한 화상 회의에 참여하는 참여자 디바이스(102b)에 업스케일링된 비디오 프레임(410)을 발송하는 단계(412)를 포함한다. 도 4에 도시된 바와 같이, 오리지널 비디오 프레임(404)은 참여자 디바이스(102a)에 의해 생성되고, 동일한 참여자 디바이스(102a)에서 실행되는 업스케일링 모듈(108a)에 제공되어 업스케일링된 비디오 프레임(410)을 생성한다. 그런 다음, 업스케일링된 비디오 프레임(410)은 디스플레이를 위해 다른 참여자 디바이스들(102b)로 발송된다. 그러나, 일부 구현예들에서, 업스케일링될 오리지널 비디오 프레임을 생성하는 참여자 디바이스 및 비디오 프레임을 업스케일링하는 참여자 디바이스는 2개의 상이한 디바이스들일 수 있다.

이를 위해, 도 5는 본 개시의 구현예들에 따른, 화상 회의를 위한 ROI 기반 업스케일링의 변형을 예시하는 흐름도를 제시한다. 도 5의 방법은, 도 5의 방법에서, 참여자 디바이스(102a)가 참여자 디바이스(102b)로부터 업스케일링될 오리지널 비디오 프레임을 수신(502)하는 것을 제외하고는, 도 4의 방법과 유사하다. 비디오 프레임(404)은 화상 회의에 참여하는 참여자 디바이스(102b)의 사용자를 캡처하고 비디오 프레임을 참여자 디바이스(102a)에 발송한다. 그런 다음, 수신 참여자 디바이스(102a)는 (위에서 설명된 바와 같이) 수신된 비디오 프레임(404)을 업스케일링하여 업스케일링된 비디오 프레임(410)을 생성한다.

업스케일링된 비디오 프레임이 생성되면, 도 5의 방법은 업스케일링된 비디오 프레임(410)을 고해상도 디스플레이(506)에 출력함으로써(504) 계속된다. 업스케일링된 비디오 프레임(410)은 화상 회의 사용자 인터페이스의 일부로서 (예를 들어, 화상 회의 모듈(106a)에 의해) 렌더링되고 참여자 디바이스(102a)에 결합된 디스플레이(506)에 출력된다.

추가 설명을 위해, 도 6은 본 개시의 구현예들에 따른, 화상 회의를 위한 ROI 기반 업스케일링을 위한 다른 예시적인 방법을 예시하는 흐름도를 제시한다. 도 6의 방법은, 도 6의 방법이 제2 복수의 픽셀들을 생성하기 위해 경계 영역 외부의 비디오 프레임(404)의 부분에 다른 업스케일링 알고리즘을 적용하는 단계(602)를 포함하는 것을 제외하고는, 도 4의 방법과 유사하다. 다른 업스케일링 알고리즘은 경계 영역 내부의 비디오 프레임(404)의 부분을 업스케일링하는 데 사용되는 기계 학습 업스케일링 알고리즘에 비해 덜 계산 집약적인 업스케일링 알고리즘이다. 예를 들어, 다른 업스케일링 알고리즘은 기계 학습 업스케일링 알고리즘에 비해 업스케일링된 출력을 생성하기 위해 더 적은 연산들 또는 더 적은 계산 리소스들을 필요로 한다. 덜 계산 집약적인 업스케일링 알고리즘은 잠재적으로 기계 학습 업스케일링 알고리즘에 비해 더 낮은 품질의 출력을 초래할 것이지만, 덜 계산 집약적인 업스케일링 알고리즘은 경계 영역 외부의(예를 들어, 관심 영역 이외의) 비디오 프레임(404)의 부분들에만 적용된다. 일부 구현예들에서, 다른 업스케일링 알고리즘은, 예를 들어, 최근접 이웃, 쌍선형, 또는 바이큐빅 보간 알고리즘, 또는 인식될 수 있는 바와 같은 다른 알고리즘을 포함한다.

도 6의 방법에서 업스케일링된 비디오 프레임(410)을 생성하는 단계(408)는 제1 복수의 픽셀들, 제2 복수의 픽셀들, 및 비디오 프레임의 업스케일링된 부분에 포함되고 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계(604)를 포함한다. 전술한 바와 같이, 제1 복수의 픽셀들은 비디오 프레임(404)의 업스케일링된 부분 내의 객체(예를 들어, 업스케일링된 객체)에 대응한다. 제2 복수의 픽셀들은 경계 영역 외부의 비디오 프레임(404)의 부분들에 대응하고, 다른 업스케일링 알고리즘에 따라 업스케일링된다. 제3 복수의 픽셀들은 비디오 프레임(404)의 업스케일링된 부분에 있지만 객체 외부에 있는 그러한 픽셀들을 포함하고, 또한 기계 학습 업스케일링 알고리즘을 사용하여 업스케일링된다. 따라서, 결과적인 업스케일링된 비디오 프레임(410)은 (예를 들어, 경계 영역 내의) 기계 학습 업스케일링 알고리즘을 사용하여 업스케일링된 부분 및 (예를 들어, 경계 영역 외부의) 다른 업스케일링 알고리즘을 사용하여 업스케일링된 부분을 포함한다.

추가 설명을 위해, 도 7은 본 개시의 구현예들에 따른 업스케일링된 비디오 프레임을 생성하는 예시적인 방법을 예시하는 흐름도를 제시한다. 도 7의 방법에서, 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계(408)는 제1 복수의 픽셀들을 배경(704)에 매핑하는 단계(702)를 포함한다. 전술한 바와 같이, 제1 복수의 픽셀들은 업스케일링된 객체에 대응한다. 배경(704)은 대체 배경 이미지 또는 비디오 프레임을 포함한다. 예를 들어, 도 1의 화상 회의 모듈(106a 내지 106n)이 화상 회의에 대한 배경 대체를 지원하여 비디오 데이터(예를 들어, 사용자 또는 다른 관심 영역 이외의 비디오 데이터)의 배경이 제거되고 다른 이미지 또는 비디오 프레임으로 대체된다고 가정한다. 따라서, 사용자는 대체 배경(704)에 오버레이된 것처럼 보인다. 따라서, 일부 구현예들에서, 업스케일링된 객체에 대한 픽셀들은 제2 해상도로 배경(704)(예를 들어, 배경 이미지 또는 배경 비디오 프레임)에 매핑된다. 일부 구현예들에서, 배경은 업스케일링된 객체의 픽셀들이 배경에 매핑되기 전에 제2 해상도로 업스케일링되거나 다운스케일링된다.

제1 복수의 픽셀들을 배경(704)에 매핑하는 단계(702)는, 제1 복수의 픽셀들의 각각의 픽셀에 대해, 배경(704)의 픽셀을 제1 복수의 픽셀들의 대응하는 픽셀로 대체하는 단계를 포함한다. 따라서, 제1 복수의 픽셀들의 각각의 픽셀은 배경(704)의 상대 위치의 픽셀 상에 오버레이되거나 픽셀을 대체한다. 따라서, 업스케일링된 객체는 배경(704)에 오버레이되거나 매핑된다.

본 개시의 예시적인 구현예들은 주로 화상 회의에 대한 ROI 기반 업스케일링을 위한 완전히 기능적인 컴퓨터 시스템의 맥락에서 설명된다. 그러나, 당업자는, 본 개시가 또한 임의의 적합한 데이터 프로세싱 시스템과 함께 사용하기 위해 컴퓨터 판독가능 저장 매체 상에 배치된 컴퓨터 프로그램 제품으로 구현될 수 있다는 것을 인식할 것이다. 이러한 컴퓨터 판독가능 저장 매체는 자기 매체, 광학 매체, 또는 다른 적합한 매체를 포함하는, 기계 판독가능 정보를 위한 임의의 저장매체일 수 있다. 이러한 매체의 예들은 하드 드라이브 또는 디스켓에 있는 자기 디스크, 광학 드라이브용 컴팩트 디스크, 자기 테이프, 및 당업자에게 알려진 기타를 포함한다. 당업자는 적합한 프로그래밍 수단을 갖는 임의의 컴퓨터 시스템이 컴퓨터 프로그램 제품에 구현된 바와 같은 본 개시의 방법의 단계들을 실행할 수 있을 것이라는 것을 즉시 인식할 것이다. 당업자는 본 명세서에서 설명된 예시적인 구현예들 중 일부가 컴퓨터 하드웨어 상에 설치되고 실행되는 소프트웨어에 지향되지만, 그럼에도 불구하고, 펌웨어 또는 하드웨어로서 구현되는 대안적인 구현예들이 본 개시의 범위 내에 잘 있다는 것을 또한 인식할 것이다.

본 개시는 시스템, 방법, 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 개시의 양태들을 수행하게 하기 위한 컴퓨터 판독가능 프로그램 명령어들을 갖는 컴퓨터 판독가능 저장 매체(또는 매체들)를 포함할 수 있다.

컴퓨터 판독 가능 저장 매체는 명령어 실행 디바이스에 의한 사용을 위해 명령어들을 보유 및 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독가능 저장 매체는 예를 들어 전자 저장 디바이스, 자기 저장 디바이스, 광학 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 이들의 임의의 적합한 조합일 수 있지만, 이에 제한되지 않는다. 컴퓨터 판독가능 저장 매체의 더 구체적인 예들의 비배타적인 리스트는 다음을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, RAM(random access memory), ROM(read-only memory), EPROM(erasable programmable read-only memory) 또는 플래시 메모리(flash memory), SRAM(static random access memory), CD-ROM(portable compact disk read-only memory), DVD(digital versatile disk), 메모리 스틱(memory stick), 플로피 디스크, 펀치 카드(punch-card)와 같은 기계적으로 인코딩된 디바이스 또는 명령어들이 기록된 홈 내의 융기 구조물, 및 이들의 임의의 적합한 조합이 제공된다. 본 명세서에서 사용되는 컴퓨터 판독가능 저장 매체는, 그 자체가, 전파 또는 다른 자유롭게 전파하는 전자기파들, 도파관 또는 다른 송신 매체를 통해 전파하는 전자기파들(예를 들어, 광섬유 케이블을 통과하는 광 펄스들), 또는 와이어를 통해 송신되는 전기 신호들과 같은 일시적 신호들인 것으로 해석되지 않는다.

본 명세서에 설명된 컴퓨터 판독가능 프로그램 명령어들은 컴퓨터 판독가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 디바이스들에, 또는 네트워크, 예를 들어, 인터넷, 로컬 영역 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 디바이스로 다운로드될 수 있다. 네트워크는 구리 송신 케이블, 광 송신 섬유, 무선 송신, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅/프로세싱 디바이스 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독가능 프로그램 명령어들을 수신하고, 각각의 컴퓨팅/프로세싱 디바이스 내의 컴퓨터 판독가능 저장 매체에 저장하기 위해 컴퓨터 판독가능 프로그램 명령어들을 포워딩한다.

본 개시의 동작들을 수행하기 위한 컴퓨터 판독가능 프로그램 명령어들은 어셈블러 명령어들, 명령어 세트 아키텍처(ISA) 명령어들, 기계 명령어들, 기계 종속 명령어들, 마이크로코드, 펌웨어 명령어들, 상태-설정 데이터, 또는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어, 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어들과 같은 종래의 절차적 프로그래밍 언어들을 포함하는 하나 이상의 프로그래밍 언어들의 임의의 조합으로 기록된 소스 코드 또는 객체 코드일 수 있다. 컴퓨터 판독가능 프로그램 명령어들은 전적으로 사용자의 컴퓨터 상에서, 부분적으로 사용자의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터 상에서 그리고 부분적으로 원격 컴퓨터 상에서 또는 전적으로 원격 컴퓨터 또는 서버 상에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 로컬 영역 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, (예를 들어, 인터넷 서비스 공급자를 사용하는 인터넷을 통해) 외부 컴퓨터에 연결이 이루어 질 수 있다. 일부 구현예들에서, 예를 들어, 프로그램가능 로직 회로부, 필드 프로그램가능 게이트 어레이들(FPGA), 또는 프로그램가능 로직 어레이들(PLA)을 포함하는 전자 회로부는, 본 개시의 양태들을 수행하기 위해, 전자 회로부를 개인화하기 위해 컴퓨터 판독가능 프로그램 명령어들의 상태 정보를 활용함으로써 컴퓨터 판독가능 프로그램 명령어들을 실행할 수 있다.

본 개시의 양태들은 본 개시내용의 구현예들에 따른 방법들, 장치(시스템들), 및 컴퓨터 프로그램 제품들의 흐름도 예시들 및/또는 블록도를 참조하여 본 명세서에서 설명된다. 흐름도 예시들 및/또는 블록도들의 각각의 블록, 및 흐름도 예시들 및/또는 블록도들에서의 블록들의 조합들은 컴퓨터 판독가능 프로그램 명령어들에 의해 구현될 수 있다는 것이 이해될 것이다.

이들 컴퓨터 판독가능 프로그램 명령어들은, 컴퓨터 또는 다른 프로그램가능 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령어들이 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능들/동작들을 구현하기 위한 수단을 생성하도록, 기계를 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그램가능 데이터 프로세싱 장치의 프로세서에 제공될 수 있다. 이들 컴퓨터 판독가능 프로그램 명령어들은 또한 컴퓨터, 프로그래밍가능 데이터 프로세싱 장치, 및/또는 다른 디바이스들이 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독가능 저장 매체에 저장될 수 있어서, 그 안에 저장된 명령어들을 갖는 컴퓨터 판독가능 저장 매체는 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/동작의 양태들을 구현하는 명령어들을 포함하는 제조 물품을 포함한다.

컴퓨터 판독가능 프로그램 명령어들은 또한 컴퓨터, 다른 프로그램가능 데이터 프로세싱 장치, 또는 다른 디바이스 상에 로딩될 수 있어, 컴퓨터 구현된 프로세스를 생성하기 위해 컴퓨터, 다른 프로그램가능 장치, 또는 다른 디바이스 상에서 일련의 동작 단계들이 수행되게 하고, 이로 인하여 컴퓨터, 다른 프로그램가능 장치, 또는 다른 디바이스 상에서 실행되는 명령어들이 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능들/동작들을 구현한다.

도면들에서의 흐름도 및 블록도들은 본 개시의 다양한 구현예들에 따른 시스템들, 방법들, 및 컴퓨터 프로그램 제품들의 가능한 구현예들의 아키텍처, 기능성, 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각 블록은 모듈, 세그먼트, 또는 특정된 논리 기능(들)를 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 명령어들의 일부를 나타낼 수 있다. 일부 대안적인 구현예들에서, 블록에 언급된 기능들은 도면들에 언급된 순서를 벗어나서 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록들은, 사실상, 실질적으로 동시에 실행될 수 있거나, 블록들은, 수반되는 기능성에 따라, 때때로 역순으로 실행될 수 있다. 또한, 블록도들 및/또는 흐름도 예시의 각각의 블록, 및 블록도들 및/또는 흐름도 예시에서의 블록들의 조합들은 특정 기능들 또는 동작들을 수행하거나 특수 목적 하드웨어 및 컴퓨터 명령어들의 조합들을 수행하는 특수 목적 하드웨어 기반 시스템들에 의해 구현될 수 있다는 점에 유의할 것이다.

본 개시의 다양한 구현예들에서 수정들 및 변경들이 이루어질 수 있음은 전술한 설명으로부터 이해될 것이다. 본 명세서의 설명들은 단지 예시를 위한 것이며 제한적인 의미로 해석되어서는 안 된다. 본 개시의 범위는 다음 청구범위의 언어에 의해서만 제한된다.

Claims (20)

1. 화상 회의(video conferences)를 위한 관심 영역(region of interest, ROI) 기반 업스케일링 방법에 있어서,
   제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역을 식별하는 단계;
   상기 경계 영역에 의해 바인딩된(bound) 상기 비디오 프레임의 부분에, 제2 해상도에 대응하는 상기 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계; 및
   상기 객체에 대응하는 상기 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 상기 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 화상 회의에 참여하는 제1 컴퓨팅 디바이스로부터, 상기 화상 회의에 참여하는 적어도 하나의 제2 컴퓨팅 디바이스로, 상기 업스케일링된 비디오 프레임을 발송하는 단계를 더 포함하는, 방법.
3. 제1항에 있어서,
   상기 화상 회의에 참여하는 제2 컴퓨팅 디바이스에 의해 상기 화상 회의에 참여하는 제1 컴퓨팅 디바이스로부터, 상기 비디오 프레임을 수신하는 단계; 및
   상기 제2 컴퓨팅 디바이스에 의해, 상기 업스케일링된 비디오 프레임을 디스플레이에 출력하는 단계를 더 포함하는, 방법.
4. 제1항에 있어서,
   상기 제2 복수의 픽셀들을 생성하기 위해 상기 경계 영역 외부의 상기 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용하는 단계를 더 포함하고,
   상기 업스케일링된 비디오 프레임을 생성하는 단계는 상기 제1 복수의 픽셀들, 상기 제2 복수의 픽셀들, 및 상기 비디오 프레임의 상기 업스케일링된 부분에 포함되고 상기 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계를 포함하는, 방법.
5. 제4항에 있어서, 상기 다른 업스케일링 알고리즘은 상기 기계 학습 업스케일링 알고리즘에 비해 덜 계산 집약적인 알고리즘인, 방법.
6. 제1항에 있어서, 상기 제2 복수의 픽셀들은 상기 제2 해상도에서 배경(background)에 대응하고, 상기 업스케일링된 비디오 프레임을 생성하는 단계는 상기 제1 복수의 픽셀들을 상기 배경에 매핑하는 단계를 포함하는, 방법.
7. 제1항에 있어서, 상기 객체는 사용자 선택 객체를 포함하는, 방법.
8. 제1항에 있어서, 상기 객체는 디폴트 객체 유형을 포함하는, 방법.
9. 화상 회의를 위한 관심 영역(ROI) 기반 업스케일링 장치로서, 상기 장치는 컴퓨터 프로세서 및 컴퓨터 메모리를 포함하고, 상기 컴퓨터 메모리는, 상기 컴퓨터 프로세서에 의해 실행될 때, 상기 컴퓨터 프로세서로 하여금,
   제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역을 식별하는 단계;
   상기 경계 영역에 의해 바인딩된(bound) 상기 비디오 프레임의 부분에, 제2 해상도에 대응하는 상기 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계; 및
   상기 객체에 대응하는 상기 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 상기 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 포함하는, 장치.
10. 제9항에 있어서, 상기 컴퓨터 프로세서에 의해 실행될 때, 상기 컴퓨터 프로세서로 하여금, 상기 화상 회의에 참여하는 컴퓨팅 디바이스에, 상기 업스케일링된 비디오 프레임을 발송하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 더 포함하는, 장치.
11. 제9항에 있어서, 상기 컴퓨터 프로세서에 의해 실행될 때, 상기 컴퓨터 프로세서로 하여금,
    상기 화상 회의에 참여하는 컴퓨팅 디바이스로부터 상기 비디오 프레임을 수신하는 단계; 및
    상기 업스케일링된 비디오 프레임을 디스플레이에 출력하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 더 포함하는, 장치.
12. 제9항에 있어서, 상기 컴퓨터 프로세서에 의해 실행될 때, 상기 컴퓨터 프로세서로 하여금,
    상기 제2 복수의 픽셀들을 생성하기 위해 상기 경계 영역 외부의 상기 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용하는 단계를 수행하게 하는 컴퓨터 프로그램 명령어들을 더 포함하고,
    상기 업스케일링된 비디오 프레임을 생성하는 단계는 상기 제1 복수의 픽셀들, 상기 제2 복수의 픽셀들, 및 상기 비디오 프레임의 상기 업스케일링된 부분에 포함되고 상기 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계를 포함하는, 장치.
13. 제12항에 있어서, 상기 다른 업스케일링 알고리즘은 상기 기계 학습 업스케일링 알고리즘에 비해 덜 계산 집약적인 알고리즘인, 장치.
14. 제9항에 있어서, 상기 제2 복수의 픽셀들은 상기 제2 해상도에서 배경(background)에 대응하고, 상기 업스케일링된 비디오 프레임을 생성하는 단계는 상기 제1 복수의 픽셀들을 상기 배경에 매핑하는 단계를 포함하는, 장치.
15. 제9항에 있어서, 상기 객체는 사용자 선택 객체를 포함하는, 장치.
16. 제9항에 있어서, 상기 객체는 디폴트 객체 유형을 포함하는, 장치.
17. 비일시적 컴퓨터 판독가능 매체 상에 배치된 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은, 실행될 때, 컴퓨터 시스템으로 하여금, 단계들을 수행하게 하는 화상 회의에 대한 관심 영역(ROI) 기반 업스케일링을 위한 컴퓨터 프로그램 명령어들을 포함하고, 상기 단계들은:
    제1 해상도의 화상 회의의 비디오 프레임에서, 객체에 대한 경계 영역을 식별하는 단계;
    상기 경계 영역에 의해 바인딩된(bound) 상기 비디오 프레임의 부분에, 제2 해상도에 대응하는 상기 비디오 프레임의 업스케일링된 부분을 생성하기 위해 기계 학습 업스케일링 알고리즘을 적용하는 단계; 및
    상기 객체에 대응하는 상기 비디오 프레임의 업스케일링된 부분의 제1 복수의 픽셀들을 제2 복수의 픽셀들과 조합함으로써 상기 제2 해상도의 업스케일링된 비디오 프레임을 생성하는 단계를 포함하는, 컴퓨터 프로그램 제품.
18. 제17항에 있어서, 상기 단계들은 상기 화상 회의에 참여하는 컴퓨팅 디바이스에 상기 업스케일링된 비디오 프레임을 발송하는 단계를 더 포함하는, 컴퓨터 프로그램 제품.
19. 제17항에 있어서, 상기 단계들은:
    상기 화상 회의에 참여하는 컴퓨팅 디바이스로부터 상기 비디오 프레임을 수신하는 단계; 및
    상기 업스케일링된 비디오 프레임을 디스플레이에 출력하는 단계를 더 포함하는, 컴퓨터 프로그램 제품.
20. 제17항에 있어서, 상기 단계들은:
    상기 제2 복수의 픽셀들을 생성하기 위해 상기 경계 영역 외부의 상기 비디오 프레임의 부분에 다른 업스케일링 알고리즘을 적용하는 단계를 더 포함하고,
    상기 업스케일링된 비디오 프레임을 생성하는 단계는 상기 제1 복수의 픽셀들, 상기 제2 복수의 픽셀들, 및 상기 비디오 프레임의 상기 업스케일링된 부분에 포함되고 상기 객체 외부에 있는 제3 복수의 픽셀들을 조합하는 단계를 포함하는, 컴퓨터 프로그램 제품.

Images