KR20220045233A - 디지털 콘텐츠의 시각적 품질 평가 - Google Patents

Abstract

디지털 콘텐츠의 시각적 품질을 평가하기 위한 시스템, 디바이스, 방법 및 컴퓨터 판독가능 매체가 개시된다. 방법은 하나 이상의 클라이언트 디바이스에 배포되는 서로 다른 디지털 컴포넌트를 생성하기 위해 결합되는 하나 이상의 이미지를 포함하는 콘텐츠 자산을 식별하는 단계를 포함할 수 있다. 시각적 품질을 나타내는 것으로 간주되는 하나 이상의 이미지의 하나 이상의 양태를 평가하도록 트레이닝된 하나 이상의 기계 학습 모델을 사용하여 상기 하나 이상의 이미지의 각각의 품질이 평가된다. 상기 하나 이상의 이미지의 각각의 이미지 품질을 나타내는 하나 이상의 기계 학습 모델의 출력에 적어도 부분적으로 기초하여 콘텐츠 자산에 대한 종합 품질이 결정된다. 상기 콘텐츠 자산의 종합 품질의 시각적 표시를 제시하기 위해 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스가 업데이트된다.

Description

디지털 콘텐츠의 시각적 품질 평가

본 명세서는 일반적으로 데이터 프로세싱, 보다 구체적으로는 디지털 콘텐츠 평가에 관한 것이다.

컴퓨팅 디바이스는 디지털 컴포넌트를 생성하고, 이를 다양한 클라이언트 디바이스에 배포할 수 있다. 디지털 컴포넌트는 이미지, 텍스트 등과 같은 콘텐츠 자산으로 구성될 수 있으며, 이들은 집합적으로 결합되어 디지털 컴포넌트를 형성한다. 일부 상황에서, 디지털 컴포넌트를 형성하는 데 사용되는 단일 콘텐츠 자산의 품질이 좋지 않은 경우(예: 이미지가 흐릿하고 불쾌한 콘텐츠(예: 음란물)를 포함), 디지털 컴포넌트를 디스플레이해야 하는 경우 영역에 맞지 않는 방향을 가진 경우, 결과 디지털 컴포넌트의 품질이 부정적인 영향을 받을 수 있다.

일반적으로, 본 명세서에 기술된 발명의 일 혁신적 양태는 하나 이상의 프로세서에 의해, 하나 이상의 클라이언트 디바이스에 배포되는 상이한 디지털 컴포넌트를 생성하기 위해 결합되는 하나 이상의 이미지를 포함하는 콘텐츠 자산을 식별하는 단계; 상기 하나 이상의 프로세서에 의해, 시각적 품질을 나타내는 것으로 간주되는 하나 이상의 시각적 양태를 평가하도록 트레이닝된 하나 이상의 기계 학습 모델을 사용하여 상기 하나 이상의 이미지의 각각의 품질을 평가하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 하나 이상의 이미지의 각각의 시각적 품질을 나타내는 하나 이상의 기계 학습 모델의 출력에 적어도 부분적으로 기초하여 콘텐츠 자산에 대한 종합 품질을 결정하는 단계; 및 상기 하나 이상의 프로세서에 의해, 상기 콘텐츠 자산의 종합 품질의 시각적 표시를 제시하기 위해 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 업데이트하는 단계를 포함한다. 이 양태들의 다른 실시예는 상기 방법들의 액션들을 수행하도록 구성된 대응 방법들, 장치들 및 컴퓨터 저장 디바이스들에 인코딩된 컴퓨터 프로그램들을 포함한다. 이들 또는 다른 실시예들은 다음 구성들 중 하나 이상을 각각 선택적으로 포함할 수 있다.

방법은 상기 하나 이상의 프로세서에 의해, 상기 하나 이상의 이미지 중 하나의 수정을 수신하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 수정된 이미지의 품질을 평가하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 수정된 이미지의 품질에 기초하여 콘텐츠 자산에 대한 종합 품질을 업데이트하는 단계; 및 상기 하나 이상의 프로세서에 의해, 상기 콘텐츠 자산의 종합 품질의 업데이트된 시각적 표시를 제시하기 위해 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 업데이트하는 단계를 포함한다.

방법은 상기 하나 이상의 프로세서에 의해, 종합 품질을 미리 설정된 품질 휴리스틱과 비교하는 단계; 상기 하나 이상의 프로세서에 의해, 종합 품질이 미리 설정된 품질 휴리스틱에 부합하지 않는다고 결정하는 단계; 종합 품질이 미리 설정된 품질 휴리스틱에 부합하지 않는다는 결정에 응답하여, 상기 하나 이상의 프로세서에 의해, 종합 품질을 개선하기 위한 하나 이상의 추천사항을 생성하는 단계; 및 상기 하나 이상의 프로세서에 의해, 하나 이상의 추천사항을 제시하기 위해 상기 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 업데이트하는 단계를 포함한다.

하나 이상의 추천사항은 이미지의 시각적 특성을 수정하기 위한 제1 추천을 포함할 수 있다.

하나 이상의 이미지의 각각의 품질을 평가하는 단계는 상기 하나 이상의 프로세서에 의해, 복수의 품질 특성의 각각의 품질 특성에 대한 점수를 생성하기 위해 복수의 기계 학습 모델을 이미지에 활용하는 단계; 상기 하나 이상의 프로세서에 의해, 가중 점수를 생성하기 위해 각각의 점수에 가중치를 할당하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 이미지에 대한 결합 점수를 생성하기 위해 가중 점수들을 결합하는 단계; 및 상기 하나 이상의 프로세서에 의해, 상기 이미지의 품질을 생성하기 위해 상기 결합된 점수를 하나 이상의 임계값과 비교하는 단계를 포함할 수 있다.

콘텐츠 자산의 종합 품질을 결정하는 단계는 각각의 이미지에 대해, 총 가능한 점수를 결정하는 단계; 각각의 이미지에 대해, 상기 총 가능한 점수에 대한 상기 결합된 점수의 비율을 계산하는 단계, 상기 이미지에 대한 비율은 하나 이상의 이미지에 대한 하나 이상의 비율의 일부이며; 및 상기 하나 이상의 비율의 평균을 계산하는 단계를 포함하며, 상기 하나 이상의 비율의 평균은 상기 콘텐츠 자산에 대한 종합 품질을 표시한다.

방법은 상기 콘텐츠 자산 및 적어도 하나의 다른 콘텐츠 자산으로부터의 적어도 하나의 이미지를 포함하는 디지털 컴포넌트의 품질을 결정하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 디지털 컴포넌트의 품질을 임계값과 비교하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 디지털 컴포넌트의 품질이 임계값보다 작다고 결정하는 단계; 및 상기 디지털 컴포넌트의 품질이 임계값보다 작다는 결정에 응답하여, 상기 하나 이상의 프로세서에 의해, 하나 이상의 클라이언트 디바이스로의 디지털 컴포넌트의 배포를 제한하는 단계를 포함한다.

본 명세서에 기술된 주제는 다양한 이점을 제공할 수 있다. 예를 들어, 이 문서 전반에 걸쳐 논의된 기법에 의해 제공되는 품질 정보는 저품질(예: 품질의 임계값 수준 미만) 콘텐츠 자산 및/또는 디지털 컴포넌트의 생성, 저장 및/또는 전송을 제한하거나 방지하는데 사용되어, 이러한 콘텐츠 자산 및/또는 디지털 컴포넌트의 생성, 저장 및/또는 전송에 소비되는 컴퓨팅 리소스, 메모리 컴포넌트 및/또는 네트워크 대역폭을 감소시킨다. 콘텐츠 자산에 대한 품질 정보는 인덱스에 저장될 수 있으므로, 둘 이상의 콘텐츠 자산을 사용하여 디지털 컴포넌트를 자동(또는 수동) 생성하는 동안 이 품질 정보를 사용할 수 있게 하여, 디지털 컴포넌트의 전체 품질을 디지털 컴포넌트를 만드는데 사용되는 콘텐츠 자산의 종합 품질에 ƒ†오하여 평가될 수 있게 한다. 이렇게 하면 저품질 디지털 컴포넌트가 저장되고 제한된 메모리 공간을 차지하는 것을 방지할 수 있다. 설명된 기법에 따르면, 개별 이미지의 이미지 품질이 결정되어 데이터베이스에 저장될 수 있다. 서로 다른 이미지 순열을 결합하여 많은 수의 디지털 컴포넌트를 생성할 수 있으므로, 이 모듈식 접근법을 사용하면 디지털 컴포넌트의 이미지 품질을 보다 효율적으로 결정할 수 있다. 제1 디지털 컴포넌트가 제1 이미지 세트를 포함하고 제2 디지털 컴포넌트가 제2 이미지 세트를 포함하는 경우, 제1 및 제2 이미지 세트 사이에 중첩이 있을 수 있다. 즉, 동일한 이미지 중 일부를 포함할 수 있다. 제2 이미지 세트 중 일부의 이미지 품질이 제1 이미지 세트의 이미지 품질 결정의 일부로 이미 결정된 경우, 이러한 이미지에 대한 이미지 품질 점수를 데이터베이스에서 검색할 수 있으므로, 동일한 이미지의 평가를 반복할 필요가 없고 그에 따라 사용 가능한 계산 리소스를 보다 효율적으로 사용할 수 있다. 저장된 품질 정보는 지정된 품질 수준보다 낮은 디지털 컴포넌트를 초래하는 콘텐츠 자산의 조합을 식별하는데도 사용할 수 있어서, 콘텐츠 자산의 이러한 조합을 포함하는 디지털 컴포넌트를 생성, 저장 및/또는 전송하는데 컴퓨팅 리소스가 낭비되지 않도록 한다. 본 명세서에서 논의된 기법은 또한 디지털 컴포넌트에 포함된 하나 이상의 콘텐츠 자산이 읽을 수 없거나 가려지거나 사용자에 의해 콘텐츠 자산이 제시한 정보의 시각적 인식을 방해하는 상황을 식별할 수 있으며, 사용자에게 정보를 전달하지 못할 이러한 디지털 컴포넌트를 전송하기 위해 컴퓨팅 리소스를 낭비하는 것을 방지할 수 있다. 또한 일부 콘텐츠 퍼블리셔는 디지털 컴포넌트를 퍼블리시하기 전에 평가할 수 있다. 이 경우, 디지털 컴포넌트는 콘텐츠 제공자에 의해 콘텐츠 배포 시스템으로 전송되고, 콘텐츠 배포 시스템에서 콘텐츠 퍼블리셔로 전송되어 퍼블리시가 방지될 수 있다. 콘텐츠 배포 시스템에서 이미지 품질을 평가함으로써, 설명된 기법은 디스플레이될 가능성이 없는 저품질 디지털 컴포넌트의 전송과 연관된 프로세서 및 대역폭 요구사항을 감소시킨다. 여기서 논의된 기법은 또한 디지털 컴포넌트에 포함된 콘텐츠 자산이 추가 정보에 대한 네트워크 호출을 트리거하는 디지털 컴포넌트의 요소와의 부주의한 사용자 인터렉션을 유도할 때를 검출할 수 있다. 이러한 유형의 디지털 컴포넌트의 배포를 방지하면, 의도하지 않은 네트워크 호출 및/또는 의도하지 않은 네트워크 호출에 응답하여 사용자에게 정보 전달을 개시하는데 사용되는 컴퓨팅 리소스 및/또는 네트워크 대역폭이 낭비되는 것을 방지할 수 있다. 이와 같이, 여기에서 논의된 기법은 네트워크를 통한 정보의 의도하지 않은 전송을 방지할 수 있으며, 이에 따라 네트워크를 보다 효율적으로 만들고 대역폭 요구사항을 감소시킨다. 의도하지 않은 네트워크 호출로 이어지는 디지털 컴포넌트가 수백만 명의 사용자에게 빠르게 배포될 수 있다는 점을 고려하면 이 문서 전체에서 논의된 기법을 사용하여 제공하는 효율성은 빠르게 배가될 수 있다. 설명된 기법은 기계 학습 모델을 사용하여 디지털 이미지 및 디지털 이미지 품질의 평가, 결정 및/또는 분류를 가능하게 한다. 이를 통해 이미지 품질을 보다 효율적으로 평가하고 규모에 맞게 디지털 컴포넌트를 보다 효율적으로 생성, 평가 및 전송할 수 있게 한다.

신경망 모델과 같은 기계 학습 모델은 디지털 컴포넌트의 콘텐츠 자산 품질을 평가하는데 사용될 수 있다. 본 명세서에 기술된 기계 학습 모델은 대량의 콘텐츠 자산에 대해 트레이닝될 수 있으며, 이러한 트레이닝된 기계 학습 모델이 새로운 콘텐츠 자산에 활용될 때 새로운 콘텐츠 자산의 품질에 대한 정확한 평가를 차례로 생성할 수 있다. 또한 기계 학습 모델은 생성되는 새로운 데이터에 기초하여 지속적으로 학습할 수 있으며, 각 신경망 모델 내 다양한 계층의 입력과 출력 간의 관계를 원하는 대로 상호 연관시켜 언제든지 수정할 수 있다. 이러한 지속적인 업데이트와 유연성은 기계 학습 모델의 트레이닝을 계속 업데이트할 수 있으며, 이는 기계 학습 모델을 사용하여 생성된 점수의 정확도를 향상시킨다.

일부 구현예에서, 하드웨어 가속기가 기계 학습 모델을 활용하는데 사용될 수 있다. 이러한 하드웨어 가속기는 디지털 컴포넌트 내의 하나 이상의 콘텐츠 자산의 품질을 나타내는 점수를 계산하기 위해 배포되는 기계 학습 모델(예: 신경망)을 계산이 분산될 수 있는 여러 컴퓨팅 유닛(컴퓨팅 타일이라고도 함) 포함할 수 있다. 컴퓨팅 타일에 걸친 이러한 계산의 분포는 신경망이 중앙 처리 장치에 의해 프로세싱되었다면 필요한 명령어의 수와 비교하여 감소된 수의 명령어를 사용하여 신경망을 프로세싱하게 한다. 이러한 명령어 수의 감소는 다수의 클래스에 대한 확률이 계산되는 속도를 증가시켜 디지털 컴포넌트 내의 하나 이상의 콘텐츠 자산의 품질을 나타내는 점수를 결정하는 과정에서 지연을 감소시킨다.

본 명세서에 기술된 본 발명의 하나 이상의 변형의 세부사항은 첨부 도면과 아래의 설명에서 기술된다. 본 명세서에 기술된 발명의 다른 구성 및 이점은 설명, 도면 및 청구항으로부터 명백해질 것이다.

도 1은 디지털 컴포넌트를 형성하는 하나 이상의 콘텐츠 자산의 품질을 사용하여 콘텐츠 배포를 규제할 수 있는 컴퓨팅 환경을 도시한다.
도 2a 및 2b는 콘텐츠 배포 시스템에 의해 렌더링되거나 업데이트된 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 도시한다.
도 3은 컴퓨팅 디바이스 상의 콘텐츠 자산 세트의 품질 표시의 디스플레이를 용이하게 하기 위해 콘텐츠 배포 시스템에 의해 구현되는 프로세스를 도시한다.
도 4는 콘텐츠 배포 시스템에 의해 트레이닝되고 배포된 기계 학습 모델의 예를 도시한다.
도 5는 디지털 컴포넌트 내에서 새 이미지의 품질을 결정하기 위해 다수의 기계 학습 모델을 동시에 배포하는 것을 도시한다.
도 6은 콘텐츠 자산의 품질을 결정하기 위해 기계 학습 모델을 트레이닝하고 배포하기 위해 콘텐츠 배포 시스템에 의해 구현된 프로세스를 도시한다.
도 7는 상기 기술된 동작들을 수행하는데 사용될 수 있는 예시적 컴퓨터 시스템의 블록도이다.
다양한 도면들에서 기호들은 동일한 엘리먼트를 표시한다.

도 1은 디지털 컴포넌트(106)를 형성하는 하나 이상의 콘텐츠 자산(104)의 품질을 사용하여 콘텐츠 배포를 규제할 수 있는 컴퓨팅 환경(102)을 도시한다. 일부 예에서, 콘텐츠 자산(104)은 이미지, 텍스트, 오디오, 애니메이션, 비디오, 대화형 콘텐츠, 임의의 다른 멀티미디어 및/또는 대화형 버튼과 같은 사용자 인터페이스 요소 중 하나 이상일 수 있으며, 디지털 컴포넌트(106)는 둘 이상의 콘텐츠 자산(104)의 조합일 수 있다.

컴퓨팅 환경(102)은 디지털 컴포넌트(106)를 형성하는데 사용될 수 있는 콘텐츠 제공자(108) 또는 콘텐츠 서버(110)로부터 콘텐츠 자산을 수신하고, 상이한 디지털 컴포넌트(106)를 형성하기 위해 이들 콘텐츠 자산(104)의 적어도 일부를 조립(예: 결합)하고, 외부 호출(112)에 응답하여 디지털 컴포넌트(106)를 각각의 클라이언트 디바이스(114)에 전송하는 콘텐츠 배포 시스템(107)(예: 하나 이상의 서버 또는 하나 이상의 다른 데이터 프로세싱 장치를 포함)을 포함한다. 간결함을 위해, 뒤따르는 논의는 콘텐츠 제공자(108)로부터 수신된 콘텐츠 자산(104)을 언급할 것이지만, 논의는 콘텐츠 서버(110) 또는 다른 곳에서 수신된 콘텐츠 자산(104)에도 동일하게 적용 가능하다. 일부 상황에서, 콘텐츠 배포 시스템(107)은 콘텐츠 자산(104) 및/또는 디지털 컴포넌트(106)에 대한 품질 정보(예: 이미지 품질 정보)를 사용하여, 디지털 컴포넌트(106)가 배포되는 방식 및/또는 디지털 컴포넌트(106)가 클라이언트 디바이스(114)에 어떻게 배포되는지를 조정하거나 규제할 수 있다. 예를 들어, 콘텐츠 배포 시스템(107)은 지정된 임계 품질 레벨 아래로 떨어지는 품질을 갖는 디지털 컴포넌트(106)의 배포를 방지(또는 제한)할 수 있다.

위에서 언급한 바와 같이, 디지털 컴포넌트(106)는 콘텐츠 배포 시스템(107)에 의해 콘텐츠 자산(104)으로부터 생성되는 것으로 설명된다. 예를 들어, 디지털 컴포넌트(106)는 콘텐츠 배포 시스템(107)(또는 다른 컴퓨팅 시스템)에 의해 프로그래밍 방식으로 생성된다. 예를 들어, 콘텐츠 제공자(108)는 콘텐츠 자산(예를 들어, 이미지, 텍스트, 및/또는 대화형 버튼과 같은 사용자 인터페이스 요소)의 세트(104)를 업로드하고, 콘텐츠 배포 시스템(107)이 서로 다른 방식으로 서로 다른 콘텐츠 자산(104)을 결합시켜 콘텐츠 자산(104)의 세트를 사용하여 다수의 상이한 디지털 컴포넌트(106)를 생성한다.

콘텐츠 자산(104)의 세트(예를 들어, 8개의 다른 콘텐츠 자산(104))가 콘텐츠 배포 시스템(107)에 업로드되면, 콘텐츠 배포 시스템(107)은 (a) 해당 세트 내의 각 개별 콘텐츠 자산의 품질, (b) 전체로서 콘텐츠 자산(104)의 전체 세트의 품질 및/또는 (c) 대응 자산(104)을 사용하여 형성된 각 디지털 컴포넌트(106)의 품질(예를 들어, 해당 디지털 컴포넌트(106)에 대한 8개의 콘텐츠 자산 세트로부터 선택된 3개의 콘텐츠 자산)을 평가할 수 있다. 이러한 평가는 아래에 설명된다.

콘텐츠 배포 시스템(107)은 콘텐츠 자산(104)의 업로드된 세트 내에서 각 개별 콘텐츠 자산(104)의 품질(예를 들어, 이미지 품질, 시각적 품질이라고도 함)을 평가하고, 콘텐츠 자산(104) 각각에 대한 품질 데이터를 콘텐츠 자산 데이터베이스(116)에 저장할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)에 의해 제공되는 콘텐츠 자산(104)의 전체 세트의 품질을 평가할 수 있다. 콘텐츠 배포 시스템(107)은 품질(예: 각 개별 콘텐츠 자산(104)의 고유 품질(예: 시각적 품질) 및/또는 콘텐츠 자산(104) 세트의 전체 품질)을 콘텐츠 제공자(108)에게 제공할 수 있다. 일부 예에서, 이미지 세트의 품질 평가는 다음과 같이 수행될 수 있다. 품질 휴리스틱(예: 디지털 컴포넌트(106)을 생성 및 배포하기 위한 기준을 나타내는 사전 설정 규칙)이 콘텐츠 자산(104)의 세트가 적어도 사전 설정된 수(예: 5)의 고품질 이미지(예: 적어도 지정된 품질 레벨을 갖는 이미지)를 포함하는 경우에 고품질 디지털 컴포넌트(106)가 생성될 수 있다고 표시하면, 콘텐츠 자산(104)의 세트의 품질은 고품질 이미지의 현재 수보다 적은 수(예: 5 미만)가 세트에 포함된 경우에 감소될 수 있다. 유사하게, 품질 휴리스틱은 콘텐츠 자산(104)의 세트가 제1 종횡비(예: 정사각형 포맷에 대응함)를 갖는 적어도 2개의 이미지 및 제2 종횡비(예: 가로 형식에 대응함)를 갖는 적어도 2개의 이미지를 포함하는 경우 보다 높은 품질의 디지털 컴포넌트(106)가 생성될 수 있다고 표시할 수 있다. 이 예에서, 콘텐츠 자산(104) 세트의 품질 레벨은 제1 종횡비 또는 제2 종횡비를 갖는 이미지가 2개 미만인 경우에 감소될 수 있다.

콘텐츠 자산(104)을 사용하여 생성된 각 디지털 컴포넌트(106)의 품질 레벨은 또한 콘텐츠 배포 시스템(107)에 의해 평가될 수 있다. 일부 구현예에서, 디지털 컴포넌트의 평가는 디지털 컴포넌트(106)를 생성하기 위해 사용된 콘텐츠 자산(104)의 종합 품질 및/또는 조립된 디지털 컴포넌트(106)의 특성(예를 들어, 기능적 특성의 시각적 특성)에 기초할 수 있다. . 예를 들어, 선정적 이미지로도 분류되는 흐릿한 이미지를 포함하는 디지털 컴포넌트(106)(예를 들어, 높은 피부 톤 픽셀 카운트를 가짐)는 선정적 이미지로 분류되지 않은 덜 흐릿한 이미지(예를 들어, 모델에 의해 흐릿하지 않은 것으로 간주됨)를 포함하는 다른 디지털 컴포넌트(106)보다 낮은 품질 점수를 가질 수 있다. 유사하게, 하나의 콘텐츠 자산이 다른 콘텐츠 자산(104)에 포함된 텍스트의 일부 또는 전부를 가리거나 가로막는 디지털 컴포넌트는 텍스트가 가려지거나 가로막히지 않는 방식으로 동일한 콘텐츠 자산(104)을 구성하는 다른 디지털 컴포넌트(106)보다 낮은 품질 점수를 가질 수 있다.

디지털 컴포넌트(106)가 컨텐츠 제공자(108)에 의해 생성되는 상황에서, 컨텐츠 배포 시스템(107)은 컨텐츠 제공자(108)(예를 들어, 디지털 컴포넌트(106)를 생성 및/또는 업로드하는 엔터티)에 디지털 컴포넌트(106)의 생성 동안 또는 디지털 컴포넌트(106)가 완료된 후에 디지털 컴포넌트(106)의 품질에 관한 정보를 제공할 수 있는 대화형 사용자 인터페이스를 제공할 수 있다. 예를 들어, 콘텐츠 제공자(108)가 이미지 콘텐츠 자산(104)을 텍스트 콘텐츠 자산(104)과 결합한다고 가정하자. 이 예에서, 콘텐츠 배포 시스템(107)은 디지털 컴포넌트(106)의 렌더링을 콘텐츠 제공자(108)에 제시(예를 들어, 제시를 야기하는 데이터를 제공)할 수 있고, 또한 콘텐츠 제공자에게 콘텐츠 배포 시스템(107)에 의해 평가된 디지털 컴포넌트(106)의 품질 레벨을 알리는 품질의 표시(104)를 제시할 수 있다. 이 대화형 사용자 인터페이스를 사용하여, 콘텐츠 제공자(108)는 (예를 들어, 디지털 컴포넌트(106) 내에서 콘텐츠 자산(104)의 위치를 재배열하고 및/또는 디지털 컴포넌트(106)에 포함된 콘텐츠 자산(104)의 조합을 변경함으로써) 디지털 컴포넌트(106)를 반복적으로 수정하고, 콘텐츠 배포 시스템(107)으로부터 업데이트된 품질 정보를 얻을 수 있다.

아래에서 상세하게 논의되는 바와 같이, 콘텐츠 배포 시스템(107)은 (a) 하나 이상의 콘텐츠 자산(104) 및/또는 하나 이상의 콘텐츠 자산(104)으로부터 형성된 디지털 컴포넌트(106)의 품질 표시(104)를 생성하는 기계 학습 모델을 트레이닝하고 배포하고, (b) 콘텐츠 제공자(108)에 대한 그러한 표시(104)의 디스플레이를 지원하고/제어하고, 및/또는 품질의 표시(104)에 기초하여 디지털 컴포넌트(106)의 배포를 제어한다.

콘텐츠 자산(104)은 텍스트, 오디오, 이미지, 애니메이션, 비디오, 대화형 콘텐츠, 또는 임의의 다른 멀티미디어 중 하나 이상일 수 있다. 일부 구현예에서, 콘텐츠 자산(104)은 콘텐츠 제공자(108)로부터 콘텐츠 배포 시스템(107)으로 업로드된다. 그런 다음 콘텐츠 자산은 디지털 컴포넌트(106)를 형성하기 위해 조합(예를 들어, 함께 결합)될 수 있다. 일 예에서, 디지털 컴포넌트(106)는 디지털 광고 문서(광고로도 지칭될 수 있음)일 수 있다. 일부 구현예에서, 콘텐츠 자산(104)은 디지털 컴포넌트(106)를 생성하기 위해 콘텐츠 자산(104)을 조합할 때 수신된 대로(예를 들어, 이러한 콘텐츠 자산(104)을 수정하지 않고) 사용된다. 다른 구현예에서, 적어도 일부 콘텐츠 자산(104)은 디지털 컴포넌트(106)를 형성하기 위해 조합되기 전에 수정될 수 있다. 예를 들어, 콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)의 그래픽 사용자 인터페이스에서 콘텐츠 자산(104) 중 이미지의 흐릿함, 방향(예를 들어, 가로, 세로), 해상도, 색상, 다양한 객체 및/또는 텍스트의 크기와 같은 시각적 특성, 기타 시각적 특성 및/또는 이들의 조합의 수정을 허용하는 소프트웨어 모듈을 배포할 수 있다. 각 소프트웨어 모듈은 연결 모듈을 통해 결합되거나 연결될 수 있는 다수의 독립적으로 개발된 모듈을 포함할 수 있는 컴퓨터 프로그램의 일부일 수 있다. 각 소프트웨어 모듈은 대응 절차 또는 기능을 수행하는 소프트웨어 코드인 하나 이상의 소프트웨어 루틴을 포함할 수 있다.

콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)에 의해 업로드된 콘텐츠 자산(104)을 식별하며, 콘텐츠 자산은 클라이언트 디바이스(114)에 배포되는 상이한 디지털 컴포넌트(106)를 생성하는데 사용될 수 있는 하나 이상의 이미지를 포함할 수 있다. 콘텐츠 배포 시스템(107)은 시각적 품질을 나타내는 것으로 간주되는 하나 이상의 시각적 양태(예를 들어, 흐릿함, 불쾌한 자료의 포함, 방향 또는 임의의 다른 시각적 양태)를 평가하도록 트레이닝된 하나 이상의 기계 학습 모델을 사용하여 하나 이상의 이미지를 포함하여 업로드된 콘텐츠 자산의 품질을 평가한다. 위에서 언급된 바와 같이, 시각적 품질의 표시는 시각적 품질의 표시가 생성된 콘텐츠 자산에 대해 인덱싱된(예를 들어, 참조로) 콘텐츠 자산 데이터베이스(116)에 저장될 수 있다. 콘텐츠 자산(104)에 대한 시각적 품질 표시 인덱싱은 콘텐츠 자산(104)이 디지털 컴포넌트(106)를 생성하고 및/또는 콘텐츠 제공자(108)에게 품질 표시를 제공하는데 사용될 때 시각적 품질 표시의 사용을 용이하게 한다.

디지털 컴포넌트(106)가 컨텐츠 자산 데이터베이스(116)에서 식별된 컨텐츠 자산(104) 중 하나 이상의 컨텐츠 자산(104)을 사용하여 생성될 때, 컨텐츠 배포 시스템(107)은 디지털 컴포넌트(106)에서 및/또는 및/또는 하나 이상의 이미지를 포함하는 디지털 컴포넌트의 시각적 품질(예를 들어, 이미지 조합의 시각적 품질)을 나타내는 하나 이상의 기계 학습 모델의 출력에 적어도 부분적으로 기초하여 사용된 콘텐츠 자산(104)에 대한 종합 품질을 결정할 수 있다. 콘텐츠 자산의 종합 품질에 대한 시각적 표시는 표시(104)에 제시된다.

위에서 언급된 바와 같이, 콘텐츠 자산(104)의 세트(예를 들어, 8개의 다른 콘텐츠 자산(104))가 콘텐츠 배포 시스템(107)에 업로드되면, 콘텐츠 배포 시스템(107)은 (a) 해당 세트 내의 각 개별 콘텐츠 자산의 품질, (b) 전체로서 콘텐츠 자산(104)의 전체 세트의 품질 및/또는 (c) 대응 자산(104)을 사용하여 형성된 각 디지털 컴포넌트(106)의 품질(예를 들어, 해당 디지털 컴포넌트(106)에 대한 8개의 콘텐츠 자산 세트로부터 선택된 3개의 콘텐츠 자산)을 평가할 수 있다. 콘텐츠 배포 시스템(107)은 각 콘텐츠 자산(104)을 평가하여 해당 콘텐츠 자산의 품질을 결정한 다음, 업로드된 콘텐츠 자산(104) 세트 내의 모든 콘텐츠 자산에 대한 품질 값을 집계하여 세트에 대한 종합 품질을 결정하고, 디지털 컴포넌트(106) 내의 모든 콘텐츠 자산(104)에 대한 이러한 품질 값을 집계하여 디지털 컴포넌트에 대한 종합 품질을 결정한다. 각 콘텐츠 자산(104)의 평가는 다음과 같이 수행된다.

각각의 콘텐츠 자산(104)을 평가하기 위해, 콘텐츠 배포 시스템(107)은 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델, 방향 모델 등과 같은 다수의 기계 학습 모델을 트레이닝하고 배포할 수 있다. 트레이닝 단계에서, 콘텐츠 자산(104)은 다수의 라벨(예를 들어, 흐릿함 값, 불쾌한 콘텐츠 값, 방향 값) 중 하나 이상을 가질 수 있다. 각 라벨은 콘텐츠 자산(예: 이미지)의 대응 품질 특성(예: 흐릿함, 불쾌감을 주는 콘텐츠 포함, 방향)을 특성화할 수 있다. 각각의 모델은 복수의 라벨의 각각의 라벨에 따라 콘텐츠 자산(예를 들어, 이미지)을 분류하도록 트레이닝될 수 있다. 모델(예를 들어, 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델 및 방향 모델)이 트레이닝되면, 콘텐츠 배포 시스템(107)은 디지털 컴포넌트(106)의 콘텐츠 자산(104)에 이러한 모델을 배치하여 라벨(예: 흐릿함, 불쾌감을 주는 콘텐츠 및 방향) 각각에 대한 점수를 생성할 수 있다. 콘텐츠 배포 시스템(107)은 가중 점수를 생성하기 위해 각 점수에 가중치를 할당할 수 있고, 그 다음 가중 점수를 결합하여 해당 콘텐츠 자산(104)에 대한 결합 점수를 생성할 수 있다. 콘텐츠 배포 시스템(107)은 결합된 점수를 하나 이상의 임계값과 비교하여 해당 콘텐츠 자산의 품질에 대한 추론을 생성할 수 있다. 일부 예에서, 추론은 "우수" 품질, "보통" 품질 또는 "나쁨" 품질일 수 있다.

콘텐츠 배포 시스템(107)은 다음과 같이 콘텐츠 자산(104) 세트의 품질을 평가할 수 있다. 콘텐츠 자산(104)의 업로드된 세트의 품질은 해당 세트를 형성하는 다양한 콘텐츠 자산(104)의 개별 품질의 조합(예를 들어, 합계)(또는 일부 구현예에서는 평균, 가중 평균, 중앙값 등)일 수 있다. 몇몇 경우에, 콘텐츠 자산(104) 세트의 종합 품질은 모든 콘텐츠 자산(104)에 대한 총 가능한 점수에 대한 세트 내의 모든 콘텐츠 자산(104)의 결합된 점수의 비율로 계산될 수 있다.

콘텐츠 배포 시스템(107)은 다음과 같이 디지털 컴포넌트(106)의 품질을 평가할 수 있다. 디지털 컴포넌트(106)의 품질은 디지털 컴포넌트(106)를 형성하는 다양한 콘텐츠 자산(104)의 개별 품질의 조합일 수 있다. 예를 들어, 디지털 컴포넌트(106)의 콘텐츠 자산(104)의 종합 품질(예를 들어, 평균 품질, 가중 평균, 중간 품질 또는 다른 적절한 집계)은 4개의 "우수" 이미지와 하나의 "보통" 이미지의 조합으로 표시될 수 있다. 다른 예에서, 디지털 컴포넌트(106)의 품질은 4개의 "우수" 콘텐츠 자산(104)과 3개의 "보통" 콘텐츠 자산(104)의 조합으로 표시될 수 있다. 다른 구현예에서, 디지털 컴포넌트(106)의 종합 품질(203)은 디지털 컴포넌트(106)를 형성하기 위해 사용된 모든 콘텐츠 자산(104)의 결합된 점수의 합으로서 표시될 수 있다. 몇몇 경우에, 디지털 컴포넌트(106)의 종합 품질은 모든 콘텐츠 자산(104)에 대한 총 가능한 점수에 대한 모든 콘텐츠 자산의 결합된 점수의 비율로서 계산될 수 있다.

위에서 언급한 바와 같이, 콘텐츠 배포 시스템(107)은 하나 이상의 기계 학습 모델을 트레이닝할 수 있을 뿐만 아니라 트레이닝된 모델을 배치하여 각각의 새로운 콘텐츠 자산(104)에 대한 표시(120)를 생성할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 다른 하나 이상의 서버로부터 트레이닝된 기계 학습 모델을 수신하고, 수신된 기계 학습 모델을 활용할 수 있다. 예를 들어, 콘텐츠 배포 시스템(107)은 통신 네트워크를 통해 콘텐츠 배포 시스템(107)에 연결된 제1 서버로부터 흐릿함 모델, 통신 네트워크를 통해 콘텐츠 배포 시스템(107)에 연결된 제2 서버로부터 불쾌한 콘텐츠 모델, 통신 네트워크를 통해 콘텐츠 배포 시스템(107)에 연결된 제3 서버로부터의 오리엔테이션 모델 등을 수신할 수 있다. 이 예와 일치하는 일부 구현예에서, 제1 서버, 제2 서버 및 제3 서버는 동일하거나 상이한 물리적 위치에 위치할 수 있는 3개의 개별 서버일 수 있다. 다른 구현에서, 서버, 제2 서버, 및 제3 서버는 단일 물리적 위치에 위치한 단일 서버일 수 있다.

위의 예는 기계 학습 모델(예: 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델, 방향 모델 등)을 수신한 대로 활용하는 것을 논의하지만, 다른 예에서는 기계 학습 모델이 활용되기 전에 수신된 기계 학습 모델이 콘텐츠 제공자(108)에 의해 사용되는 특정 유형의 콘텐츠 자산(104)에 맞게 커스터마이징될 수 있다. 예를 들어, 그러한 커스터마이징은 트레이닝된 기계 학습 모델이 일부 콘텐츠 자산(예: 이미지)에 기초하여 콘텐츠 배포 시스템(107)에 연결된 다른 서버에 의해 트레이닝된 경우에 효과적일 수 있지만, 콘텐츠 배포 시스템(107)은 더 정확한 추론을 하기 위해 기계 학습 모델을 더 효과적으로 트레이닝할 수 있는 추가적인 관련 콘텐츠 자산(104)(예: 이미지)에 대한 액세스를 가질 수 있다. 일부 구현예에서, 수신된 기계 학습 모델(예를 들어, 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델, 방향 모델 등)은 먼저 이러한 기계 학습 모델이 활용되기 전에 콘텐츠 배포 시스템(107)에 의해 부과된 시스템 요구 사항에 적합하도록 커스터마이징될 수 있다. 콘텐츠 배포 시스템(107)은 콘텐츠 배포 시스템(107)의 아키텍처 정보, 콘텐츠 제공자(108)의 시스템 요구사항(예: 아키텍처 정보) 및/또는 하나 이상의 클라이언트 디바이스의 시스템 요구사항(예: 아키텍처 정보) 중 하나 이상에 기초하여 시스템 요구사항을 부과할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 각 콘텐츠 제공자(108)에 대해 기계 학습 모델을 개별적으로 커스터마이징할 수 있으며, 이는 각 컴퓨팅 디바이스의 사용자(예: 광고주)가 디지털 컴포넌트(106)의 각각의 세트를 형성하기 위해 결합될 이미지 유형에 대해 서로 다른 선호도를 가질 때 유리할 수 있다.

기계 학습 모델은 신경망 모델, 최근접 이웃 모델, 나이브 베이즈 모델, 결정 트리 모델, 회귀 모델, 지원 벡터 기계(SVM), 기타 기계 학습 모델 및/또는 이들의 조합일 수 있다. 기계 학습 모델은 커스터마이징될 수 있다. 예를 들어, 기계 학습 모델이 신경망 모델인 경우, 기계 학습 모델은 신경망 모델의 크기(즉, 노드 수), 신경망 모델의 너비(즉, 특정 레이어의 노드 수), 신경망 모델의 깊이(즉, 레이어 수), 신경망 모델의 용량(즉, 네트워크 구성에 의해 학습될 수 있는 기능의 유형 또는 구조, 표현 용량이라고도 함) 또는 신경망 모델의 아키텍처(즉, 레이어 및 노드의 특정 배열) 중 하나 이상을 변경함으로써 수행될 수 있다.

각 콘텐츠 자산(104)의 품질 표시는 "우수" 품질, "보통" 품질 또는 "나쁨" 품질인 것으로 설명되지만, 다른 예들에서는 임의의 다른 카테고리 이름(즉, 우수, 보통 또는 나쁨 이외의 카테고리 이름; 각각 환상적, 그저 그럼, 나쁨 등)이 사용될 수 있다. 또한, 품질의 3개의 카테고리가 설명되지만, 일부 구현예에서 카테고리의 수는 2개 이상의 임의의 다른 수일 수 있다. 물론, 수치 척도(예를 들어, 1-10) 또는 다수의 상이한 콘텐츠 자산(104) 간의 품질 비교를 가능하게 하는 일부 다른 적절한 품질 표시와 같은 다른 유형의 품질 표시가 사용될 수 있다.

시각적 품질의 평가는 콘텐츠 자산 데이터베이스(116)에 저장될 수 있고, 시각적 품질의 표시가 생성된 콘텐츠 자산(104)으로 인덱싱(예: 참조)될 수 있다. 콘텐츠 자산(104)의 시각적 품질 표시를 인덱싱하는 것은 콘텐츠 배포 시스템(107)이 필요할 때 해당 콘텐츠 자산의 품질을 신속하게 검색할 수 있게 한다(예를 들어, 해당 콘텐츠 자산(104)의 품질의 임의의 평가 동안, 해당 콘텐츠 자산(104)을 포함하는 임의의 세트의 콘텐츠 자산(104)의 평가 동안 및 콘텐츠 자산(104)을 사용하는 임의의 디지털 컴포넌트(106)의 평가 동안). 그러한 빠른 검색은 그러한 품질이 필요할 때마다 콘텐츠 배포 시스템(107)이 해당 콘텐츠 자산(104)에 대한 품질을 재계산할 필요성을 방지한다(예를 들어, 해당 콘텐츠 자산(104)의 품질의 임의의 평가 동안, 해당 콘텐츠 자산(104)을 포함하는 임의의 세트의 콘텐츠 자산(104)의 평가 동안 및 콘텐츠 자산(104)을 사용하는 임의의 디지털 컴포넌트(106)의 평가 동안). 콘텐츠 자산(104)의 품질을 재평가할 필요성의 이러한 회피는 품질 평가 동안 레이턴시를 감소시킬 수 있다. 이것은 차례로 (예를 들어, 그래픽 사용자 인터페이스 상에서) 콘텐츠 제공자(108)에 품질이 제시(예를 들어, 디스플레이)되는 속도를 개선한다.

디지털 컴포넌트(106)는 배포 전에 수정될 수 있으며, 이는 디지털 컴포넌트(106)가 전반적으로 바람직하지 않은/낮은 품질(예를 들어, 디지털 컴포넌트(106)을 생성하고 배포하기 위한 기준을 표시할 수 있는 사전 설정된 규칙일 수 있는 품질 휴리스틱을 만족하지 않는 품질)을 갖는 경우 바람직할 수 있다. 일부 예에서, 콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)가 (a) 디지털 컴포넌트(106)를 형성하는데 사용되는 하나 이상의 콘텐츠 자산(104)을 업데이트하고 및/또는 (b) 다른 하나 이상의 콘텐츠 자산(104)과 함께 디지털 컴포넌트(106)를 형성하는데 사용되는 하나 이상의 콘텐츠 자산(104)을 교체하게 할 수 있다. 몇 가지 예에서, 콘텐츠 배포 시스템(107)은 (a) 디지털 컴포넌트(106)를 형성하는데 사용되는 하나 이상의 콘텐츠 자산(104)을 자동으로 업데이트하고 및/또는 (b) 디지털 컴포넌트(106)를 형성하는데 사용되는 하나 이상의 콘텐츠 자산(104)을 다른 하나 이상의 콘텐츠 자산(104)으로 자동적으로 교체할 수 있다.

일 예에서, 품질 휴리스틱스는 업로드된 콘텐츠 자산(104)의 세트(일부 콘텐츠 자산(104)이 디지털 컴포넌트(106)를 생성하기 위해 선택됨)에 존재해야 하는 "우수한" 콘텐츠 자산(예: 이미지)(104)의 수, 업로드된 세트의 다양한 콘텐츠 자산(예: 이미지)(108)의 방향, 해당 세트의 콘텐츠 자산(104)에 대한 콘텐츠 기반 가이드라인 등을 나타낼 수 있다. 디지털 컴포넌트(106)는 (a) 콘텐츠 배포 시스템(107)에 의해 자동으로 생성될 수 있고(예를 들어, 업로드된 콘텐츠 자산(104)의 세트로부터 품질 휴리스틱을 충족하는 콘텐츠 자산(104)을 자동으로 선택함으로써), (b) 업로드된 세트로부터 하나 이상의 콘텐츠 자산(104)을 선택하는 콘텐츠 제공자(108)에 의해 그리고 디지털 컴포넌트를 형성하기 위해 선택된 콘텐츠 자산(104)을 결합하는 콘텐츠 배포 시스템(107)에 의해 생성될 수 있고 또는 (c) 디지털 컴포넌트를 형성하기 위해 콘텐츠 자산(104)의 상기 선택 및 조합을 수행하는 콘텐츠 제공자(108)에 의해 생성될 수 있다. 콘텐츠 제공자(108)가 해당 디지털 컴포넌트(106)에 특정적인 콘텐츠 자산(104)을 결합함으로써 디지털 컴포넌트(106)를 생성하는 구현예에서, 콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)가 사용자 인터페이스(118)를 사용하여 디지털 컴포넌트(106)를 반복적으로 수정하게 할 수 있다. 예를 들어, 컨텐츠 배포 시스템(107)은 컨텐츠 자산(104) 및/또는 디지털 컴포넌트(106)의 품질을 향상시키기 위해 컨텐츠 자산(104) 및/또는 디지털 컴포넌트(106)에 대한 수정에 대한 추천을 생성할 수 있다.

일부 예에서, 콘텐츠 자산(104)의 품질이 "보통"일 때, 콘텐츠 배포 시스템(107)은 품질이 "우수"로 개선될 수 있도록 추천을 생성할 수 있고, 콘텐츠 자산(104)의 품질이 "나쁨"일 때, 콘텐츠 배포 시스템(107)은 품질이 "보통"으로 향상될 수 있도록 제1 추천 세트 및/또는 품질이 "우수"로 향상될 수 있도록 제2 추천 세트를 생성할 수 있다. 품질 개선을 위한 몇 가지 추천사항은 식별된 이미지의 다양한 시각적 특성(예: 밝기, 대비, 색상, 색상 강도, 색조, 채도, 크기, 노이즈, 선명도, 휘도, 바람직하지 않은 요소, 불쾌한 요소, 기타 특성 및/또는 식별된 이미지의 조합)의 변경을 제안하기 위한 것일 수 있다.

콘텐츠 배포 시스템(107)이 콘텐츠 자산(104)의 업로드된 세트를 집합적으로 평가하는 구현예에서, 콘텐츠 배포 시스템(107)은 해당 세트 내의 콘텐츠 자산(104)의 수정을 위한 추천을 생성할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 예를 들어 콘텐츠 자산(104)의 세트가 품질 휴리스틱에 따라 디지털 컴포넌트(106)의 생성을 지원할 수 없을 때 이러한 추천을 생성할 수 있다. 예를 들어, 디지털 컴포넌트(106)의 시각적 품질에 대한 사전 설정된 규칙이 디지털 컴포넌트(106)가 3개의 사각형 이미지를 포함해야 하지만 콘텐츠 자산의 세트가 2개의 사각형 이미지만을 포함한다고 표시하는 경우 추천사항이 생성될 수 있다. 다른 예에서, 디지털 컴포넌트(106)의 시각적 품질에 대한 사전 설정된 규칙이 디지털 컴포넌트(106)가 3개의 "우수" 품질 사각형 이미지를 포함해야 하지만 콘텐츠 자산의 세트가 2개의 "우수" 품질 사각형 이미지만을 포함한다고 표시하는 경우 추천사항이 생성될 수 있다.

콘텐츠 배포 시스템(107)이 디지털 컴포넌트(106)를 평가하는 구현예에서, 콘텐츠 배포 시스템(107)은 디지털 컴포넌트(106)를 형성하는 콘텐츠 자산(104)의 수정을 위한 추천을 생성할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 예를 들어 디지털 컴포넌트(104)가 품질 휴리스틱(즉, 규칙)을 만족하지 않을 때 이러한 추천사항을 생성할 수 있다. 예를 들어, 디지털 컴포넌트(106)의 시각적 품질에 대한 사전 설정된 규칙이 디지털 컴포넌트(106)가 3개의 사각형 이미지를 포함해야 하지만 디지털 컴포넌트가 1개의 사각형으로 되어있다고 표시하는 경우 추천사항이 생성될 수 있다. 다른 예에서, 디지털 컴포넌트(106)의 시각적 품질에 대한 사전 설정된 규칙이 디지털 컴포넌트(106)가 2개의 "우수" 품질 사각형 이미지를 포함해야 하지만 콘텐츠 자산의 세트가 1개의 "우수" 품질 사각형 이미지만을 포함한다고 표시하는 경우 추천사항이 생성될 수 있다. 일부 추천에서, 콘텐츠 배포 시스템(107)은 디지털 컴포넌트(106) 내에서 하나 이상의 콘텐츠 자산(104)의 위치를 재배열하는 것을 추천할 수 있고 및/또는 디지털 컴포넌트(106)의 전체 품질을 개선하기 위해 디지털 컴포넌트(106)에 포함된 콘텐츠 자산(104)의 조합을 변경할 수 있다.

하나 이상의 콘텐츠 자산을 수정하기 위한 추천사항이 생성되면(임의의 구현예에서, 즉 각각의 개별 콘텐츠 자산(104)이 평가되는 구현예, 업로드된 콘텐츠 자산(104) 세트가 평가되는 구현예 및/또는 디지털 컴포넌트가 평가되는 구현예), 콘텐츠 배포 시스템(107)은 그래픽 사용자 인터페이스(118) 상에서 추천을 렌더링할 수 있다. 이러한 추천에 응답하여, 콘텐츠 배포 시스템(107)은 옵션을 디스플레이하도록 그래픽 사용자 인터페이스(118)를 업데이트할 수 있으며, 이 옵션은 콘텐츠 제공자(108)가 하나 이상의 콘텐츠 자산(104)에 대한 자동 개선을 수락하거나 거부하도록 선택할 수 있다. 콘텐츠 배포 시스템(107)은 콘텐츠 자산(104) 및/또는 디지털 컴포넌트(106)의 업로드된 세트의 품질을 반복적으로 업데이트하고(즉, 콘텐츠 제공자(108)가 변경을 할 때마다 품질 평가를 업데이트), 업데이트된 품질 표시를 사용자 인터페이스(118)에 디스플레이한다.

일부 구현예에서, 콘텐츠 배포 시스템(107)은 품질의 다른 표시들, 예를 들어, 오버랩핑 요소, 트릭 투 클릭, 배드 크롭, 자이언트 버튼 등에 대해 완성된 디지털 컴포넌트(106)를 재평가할 수 있다. 디지털 컴포넌트(106)의 이러한 2차 평가는 종합 품질을 증대하기 위한 추천사항을 생성하는데 사용될 수 있다. 예를 들어, 버튼이 이미지의 선정적이거나 흐릿한 부분을 덮는 경우, 디지털 컴포넌트(106)의 전체 품질이 구성 부분의 종합 품질보다 더 나을 수 있다. 반면에 너무 커서 이미지의 대부분을 덮는 버튼은 개별 자산의 품질이 높더라도 품질이 떨어질 수 있다.

콘텐츠 배포 시스템(107)이 콘텐츠 자산(104)을 결합하여 디지털 컴포넌트(106)를 생성하는 구현예에서, 콘텐츠 배포 시스템(107)은 하나 이상의 콘텐츠 자산(104) 및/또는 디지털 컴포넌트(106)를 자동으로 개선할 수 있다(즉, 콘텐츠 제공자(108))와 인터렉션 없이). 예를 들어, 콘텐츠 배포 시스템(107)은 전체 디지털 컴포넌트(106)의 품질을 증가시키는 방식으로 이미지 자산에 오버레이된 버튼 자산의 위치를 조정할 수 있다(예를 들어, 이미지의 선정적인 부분을 덮음으로써). 콘텐츠 배포 시스템(107)은 이러한 개선이 이루어지면 디지털 컴포넌트(106)의 품질을 업데이트(즉, 콘텐츠 제공자가 임의의 변경을 할 때마다 품질 평가를 업데이트)할 수 있다.

일부 구현예에서, 콘텐츠 배포 시스템(107)은 다음과 같이 디지털 컴포넌트(106)의 최종 품질에 기초하여 디지털 컴포넌트(106)의 배포를 제한할 수 있다. 디지털 컴포넌트(106)를 생성 및 배포하기 위한 기준을 표시할 수 있는 디지털 컴포넌트(106)에 대해 사전 설정된 품질 규칙/휴리스틱이 존재할 수 있다. 콘텐츠 배포 시스템(107)은 디지털 컴포넌트(106)(위에서 언급한 바와 같이 업데이트되었을 수 있음)를 미리 설정된 품질 규칙/휴리스틱과 비교하여 디지털 컴포넌트(106)가 배포되기에 적절한지 여부를 결정할 수 있다. 예를 들어, 품질 휴리스틱이 예를 들어 (a) 디지털 컴포넌트(106)는 "나쁜" 품질 이미지를 포함하지 않아야 하고, (b) 디지털 컴포넌트(106)는 "선정적인" 이미지를 포함하지 않아야 하고, (c) 디지털 컴포넌트(106)는 "가로" 이미지를 갖지 않아야 하며, (d) 디지털 컴포넌트(106)는 "사각형" 형식 등의 단일 이미지를 가져야 하는 등의 기준을 나타내는 경우, 콘텐츠 배포 시스템(107)은 해당 기준을 만족하지는 디지털 컴포넌트(106)의 배포를 허용하지만, 해당 기준을 만족하지 않는 다른 디지털 컴포넌트(106)의 배포를 방지한다. 콘텐츠 배포 시스템(107)은 그러한 기준의 만족에 기초하여 배포를 위해 디지털 컴포넌트(106)를 추가로 또는 대안적으로 제한할 수 있다. 따라서 콘텐츠 배포 시스템(107)은 디지털 컴포넌트(106)의 배포를 자동으로 제한할 수 있다.

배포의 자동 제어가 위에서 설명되었지만, 일부 구현예에서, 콘텐츠 배포 시스템(107)은 콘텐츠 배포 시스템(107)에 의해 결정된 품질에 기초하여 디지털 컴포넌트(106)의 배포를 수동으로 제어할 기회를 콘텐츠 제공자(108)에게 제공할 수 있다. 예를 들어, 콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)의 인터렉티브 사용자 인터페이스(118)에서 디지털 컴포넌트(106)의 품질의 표시(120)를 관련된 품질 휴리스틱과 함께 제공할 수 있다. 인터렉티브 사용자 인터페이스(118)는 디지털 컴포넌트(106)의 배포를 진행하고, 디지털 컴포넌트(106)의 배포를 방지하고 및/또는 디지털 컴포넌트(106)를 수정하기 위해(예를 들어, 품질 휴리스틱을 만족시키기 위해 디지털 컴포넌트(106)의 품질을 개선하기 위해) 콘텐츠 제공자(108)에게 옵션을 더 제공할 수 있다. 이러한 구현예에서, 콘텐츠 제공자(108)는 배포에 대한 제어를 가질 수 있다. 예를 들어, 콘텐츠 제공자는 디지털 컴포넌트(106)가 품질 휴리스틱을 만족하지 않는 경우에도 디지털 컴포넌트(106)의 배포를 허용하거나 디지털 컴포넌트(106)가 품질 휴리스틱을 만족하는 경우에도 디지털 컴포넌트(106)의 배포를 방지할 수 있다.

콘텐츠 제공자(108)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 패블릿 컴퓨터, 전화, 키오스크 컴퓨터, 기타 컴퓨팅 디바이스 및/또는 이들의 조합과 같은 컴퓨팅 디바이스를 통해 콘텐츠 배포 시스템(107)과 인터렉션할 수 있다. 컴퓨팅 디바이스는 예를 들어 사용자 이름 및 비밀번호와 같은 인증 데이터, 생체 데이터, 외부 디바이스(예: 보안 키 포브에 내장된 보안 데이터, 이메일 또는 컴퓨팅 디바이스에 연결된 소프트웨어 애플리케이션에서 얻은 일회용 비밀번호 등), 기타 인증 데이터 및/또는 이들의 조합을 입력함으로써, 도메인 호스트(예: 광고주)에 의해 관리되도록 구성될 수 있다.

사용자는 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 패블릿 컴퓨터, 전화, 키오스크 컴퓨터, 임의의 다른 컴퓨팅 디바이스 및/또는 이들의 임의의 조합과 같은 클라이언트 디바이스(114)를 사용하여 콘텐츠 배포 시스템(107)과 인터렉션한다. 클라이언트 디바이스(114)는 임의의 최종 사용자가 사용하도록 구성될 수 있다. 콘텐츠 자산 데이터베이스(116)는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 임의의 다른 하나 이상의 저장 디바이스 및/또는 이들의 임의의 조합과 같은 메모리 디바이스일 수 있다. 콘텐츠 서버(110) 또는 콘텐츠 배포 시스템(107) 중 임의의 것은 적어도 하나의 프로그래머블 프로세서 및 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로그래머블 프로세서가 본 명세서에 기술된 다양한 동작들을 실행하게 하는 명령어를 저장하는 기계 판독가능 매체를 갖는 시스템일 수 있다.

콘텐츠 서버(110) 각각은 적어도 하나의 프로그래머블 프로세서 및 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로그래머블 프로세서가 콘텐츠 자산(104)을 수집하고 이를 디지털 컴포넌트(106)에 대해 필요에 따라 콘텐츠 제공자(108)로 전송하게 하는 명령어를 저장하는 기계 판독가능 매체를 갖는 시스템일 수 있다. 일부 구현예에서, 콘텐츠 서버(110)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 패블릿 컴퓨터, 전화, 키오스크 컴퓨터, 임의의 다른 컴퓨팅 디바이스 및/또는 이들의 임의의 조합일 수 있다.

도 1에 표시된 다양한 컴포넌트 사이의 화살표는 해당 컴포넌트 간의 통신 네트워크를 나타낼 수 있으며, 통신 네트워크는 근거리 통신망, 광역 네트워크, 인터넷, 인트라넷, Bluetooth 네트워크, 적외선 네트워크, 임의의 다른 하나 이상의 네트워크 및/또는 이들의 임의의 조합을 통한 유선 연결 또는 무선 연결을 포함할 수 있다.

도 2a 및 2b는 콘텐츠 제공자(108) 상에 제시될 수 있는 그래픽 사용자 인터페이스를 도시한다. 도 2a는 (a) 콘텐츠 제공자(108)에 의해 업로드된 콘텐츠 자산(104)(예를 들어, 이미지)의 세트(202)(여기에서 특정 콘텐츠 자산(104)가 디지털 컴포넌트(106)를 형성하기 위해 선택됨), (b) 세트(202) 내의 모든 콘텐츠 자산(104)의 종합 품질(203) 및 (c) (i) 세트(202)를 형성하는 적어도 하나의 콘텐츠 자산(104) 또는 (ii) 디지털 컴포넌트(106)가 품질 휴리스틱(예를 들어, 디지털 컴포넌트(106)가 다양한 클라이언트 컴퓨팅 디바이스(114)에 배포될 수 있도록 디지털 컴포넌트(106) 또는 그 안의 콘텐츠 자산(104)에 대한 품질 임계값을 표시할 수 있는 사전 설정된 규칙)을 따르도록 전체로서의 세트(202)의 품질을 개선하기 위한 다양한 추천사항에 대한 버튼(204)을 디스플레이하는 그래픽 사용자 인터페이스(200)를 도시한다. 일부 예에서, 디지털 컴포넌트(106)는 2개 이상의 콘텐츠 자산(104)의 조합에 의해 형성된 광고와 같은 디지털 광고 문서일 수 있다. 이 예에서 세트(202) 내의 콘텐츠 자산(104)은 이미지(206, 208, 210, 212, 214) 및 텍스트(216)를 포함한다. 세트(202) 내의 콘텐츠 자산(104)이 이미지 또는 텍스트로 설명되지만, 일부 구현예에서 콘텐츠 자산(104)은 또한 오디오, 애니메이션, 비디오, 인터렉티브 콘텐츠, 기타 멀티미디어 및/또는 인터렉티브 버튼과 같은 사용자 인터페이스 요소를 포함할 수 있다.

모든 이미지(206-218)는 JPEG(Joint Photographic Experts Group), JFIF(JPEG 파일 교환 형식), Exif(교환 가능한 이미지 파일 형식), TIFF(Tagged Image File Format), GIF(Graphics Interchange Format), BMP(bitmap), PNG(Portable Network Graphics), PPM(Portable Pixmap), PGM(Portable Graymap), PBM(Portable Bitmap), PNM(PPM 조합 가능) , PGM 및 PBM), 원시 이미지 형식 및/또는 기타 형식과 같은 임의의 형식으로 된 디지털 이미지일 수 있다.

세트(202)의 종합 품질(203)은 다음과 같이 생성될 수 있다. 먼저, 콘텐츠 배포 시스템(107)은 세트를 형성하는 각 콘텐츠 자산(104)의 품질(즉, 이미지(206, 208, 210, 212, 214) 및 텍스트(216) 각각의 품질)을 평가할 수 있다. 그렇게 하기 위해, 콘텐츠 배포 시스템(107)은 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델, 방향 모델 등과 같은 다수의 기계 학습 모델을 트레이닝하고 배포할 수 있다. 트레이닝 단계에서, 각 콘텐츠 자산(104)(예: 이미지(206-214) 중 하나)은 다수의 라벨(예를 들어, 흐릿함 값, 불쾌한 콘텐츠 값, 방향 값) 중 하나 이상을 가질 수 있다. 각 라벨은 이미지의 대응 품질 특성(예: 흐릿함, 불쾌감을 주는 콘텐츠 포함, 방향)을 특성화할 수 있다. 각각의 모델은 복수의 라벨의 각각의 라벨에 따라 이미지를 분류하도록 트레이닝될 수 있다. 모델(예를 들어, 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델 및 방향 모델)이 트레이닝되면, 콘텐츠 배포 시스템(107)은 이미지들(206-214) 중 각 이미지에 이러한 모델을 배치하여 라벨(예: 흐릿함, 불쾌감을 주는 콘텐츠 및 방향) 각각에 대한 점수를 생성할 수 있다. 콘텐츠 배포 시스템(107)은 가중 점수를 생성하기 위해 각 점수에 가중치를 할당할 수 있고, 그 다음 가중 점수를 결합하여 해당 이미지에 대한 결합 점수를 생성할 수 있다. 콘텐츠 배포 시스템(107)은 결합된 점수를 하나 이상의 임계값과 비교하여 해당 콘텐츠 자산(예: 이미지)의 품질에 대한 추론을 생성할 수 있다. 일부 예에서, 추론은 "우수" 품질, "보통" 품질 또는 "나쁨" 품질일 수 있다.

각 콘텐츠 자산(104)의 품질 표시는 "우수" 품질, "보통" 품질 또는 "나쁨" 품질인 것으로 설명되지만, 다른 예들에서는 임의의 다른 카테고리 이름(즉, 우수, 보통 또는 나쁨 이외의 카테고리 이름; 각각 환상적, 그저 그럼, 나쁨 등)이 사용될 수 있다. 또한, 품질의 3개의 카테고리가 설명되지만, 일부 구현예에서 카테고리의 수는 2개 이상의 임의의 다른 수일 수 있다. 물론, 수치 척도(예를 들어, 1-10) 또는 다수의 상이한 콘텐츠 자산(104) 간의 품질 비교를 가능하게 하는 일부 다른 적절한 품질 표시와 같은 다른 유형의 품질 표시가 사용될 수 있다.

세트(202)의 종합 품질(203)은 일부 구현예에서 4개의 "우수" 이미지와 3개의 "보통" 이미지의 조합으로 언급될 수 있다. 일부 예에서, 세트(202)의 종합 품질(203)은 모든 이미지(206-214)의 결합된 스코어의 합으로서 기록될 수 있다. 몇몇 경우에, 세트(202)의 종합 품질(203)은 도 2a에 도시된 바와 같이 모든 이미지(206-214)에 대한 총 가능한 점수에 대한 모든 이미지(206-214)의 결합된 점수의 비율로서 계산될 수 있다. 표시된 예에서, 모든 이미지(206-214)에 대한 총 가능한 점수는 10이다.

콘텐츠 배포 시스템(107)은 세트(202)의 품질을 개선하기 위한 추천사항을 생성할 수 있다. 일부 예에서, 콘텐츠 배포 시스템(107)은 세트(202)의 종합 품질(203)이 임계값 미만(예를 들어, 5/10 미만)인 경우에만 이러한 추천을 생성할 수 있다. 이러한 임계값은 세트(202) 내의 하나 이상의 콘텐츠 자산(104)을 사용하여 형성될 디지털 컴포넌트(106)에 대한 품질 휴리스틱을 준수하는 최소 품질 값을 표시할 수 있다. 몇 가지 예에서, 품질 휴리스틱이 디지털 컴포넌트(106)가 "가로 형식"의 "우수" 품질을 갖는 이미지를 포함해야 한다는 기준을 나타내면, 콘텐츠 배포 시스템(107)은 이미지(206-214)를 평가하여 그러한 기준을 만족하는지 결정한다. 그렇지 않은 경우, 콘텐츠 배포 시스템(107)은 (a) 이미지들(206-210) 중 "가로" 이미지의 품질을 향상시키거나 (b) 이미지가 "우수" 이미지 품질을 갖는 다른 "가로" 이미지로 교체될 수 있는 추천을 한다. 그래픽 사용자 인터페이스(200)는 도 2b의 그래픽 사용자 인터페이스 상의 개별 이미지를 수정하기 위해 그러한 추천에 대응하는 버튼(204)을 클릭하는 옵션을 콘텐츠 제공자(108)에게 제공한다.

도 2b는 이미지(206)의 품질을 개선하여 세트(202)의 종합 품질(203)을 개선하기 위해 도 2a와 관련하여 위에서 논의된 콘텐츠 자산(104)의 세트(202) 내의 개별 이미지(206) 또는 다른 자산을 콘텐츠 제공자(108)가 수정하게 하는 그래픽 사용자 인터페이스(232)를 도시한다. 그래픽 사용자 인터페이스(232)는 위에서 언급한 바와 같이 이미지의 품질을 "우수", "보통" 또는 "나쁨"으로 표시한다. 도시된 예에서, 이미지(206)의 품질은 도 2a와 관련하여 위에서 설명한 바와 같이 기계 학습 모델을 배포함으로써 "보통"으로 결정된다. 그래픽 사용자 인터페이스(232)는 콘텐츠 제공자(108)에게 이미지(206)를 포맷팅하기 위한 옵션(236)을 제공할 수 있다. 포맷팅 옵션(236)은 이미지(206)의 품질을 개선하기 위해 콘텐츠 배포 시스템(107)에 의해 추천된 대로 이미지(206)를 자동으로 수정하는 옵션을 포함할 수 있다. 일부 구현예에서, 포맷팅 옵션(236)은 콘텐츠 제공자(108)가 이미지(206)를 수동으로 변경하게 하는 것을 허용할 수 있다.

그래픽 사용자 인터페이스(232)는 콘텐츠 제공자(108)가 이미지(206)에 대한 수정을 수락하도록 하는 옵션(238), 콘텐츠 제공자(108)가 이미지(206)에 대한 수정을 거부할 수 있도록 하는 다른 옵션(240) 및 콘텐츠 제공자(108)가 디지털 컴포넌트(108)로부터 이미지를 폐기하게 하는 다른 옵션(242)을 더 포함한다. 콘텐츠 제공자(108)는 이미지가 많이 개선될 수 없는 매우 열악한 품질을 갖는 경우 디지털 컴포넌트(108)로부터 이미지를 제거하기를 원할 수 있다.

이미지(206)가 수정되거나 개선될 때, 콘텐츠 배포 시스템(107)은 수정되거나 개선된 이미지(204)에 대응하도록 품질 표시(234)를 반복적으로 업데이트할 수 있다(즉, 이미지(204)가 수정될 때마다 품질 평가를 업데이트하기 위해 트레이닝된 기계 학습 모델을 사용한다). 이미지(206-214) 각각의 품질(이미지(206)에 대한 업데이트된 품질을 포함함)은 세트(202)에 대한 종합 품질(203)을 생성하는데 사용될 수 있다.

도 3은 콘텐츠 제공자(108)에게 (각각의 개별 콘텐츠 자산(104), 콘텐츠 자산 세트(202) 및/또는 디지털 컴포넌트(106)의) 품질의 디스플레이를 용이하게 하는 콘텐츠 배포 시스템(107)에 의해 구현되는 프로세스를 도시한다. 콘텐츠 배포 시스템(107)은 302에서 세트(202)에 존재하는 콘텐츠 자산(104)(이미지 포함)(즉, 하나 이상의 클라이언트 디바이스(114)에 배포될 수 있는 상이한 디지털 컴포넌트(106)을 생성하도록 결합될 수 있는 콘텐츠 자산)을 식별할 수 있다. 콘텐츠 자산(104)의 식별은 콘텐츠 서버(110) 및/또는 콘텐츠 자산 데이터베이스(116)로부터 특정 콘텐츠 자산(104)을 검색하는 것을 포함할 수 있다. 콘텐츠 자산(104)의 품질이 이전에 결정된 경우, 그러한 품질은 콘텐츠 자산 데이터베이스(116)에서 콘텐츠 자산(104) 옆에 인덱싱된다. 이러한 인덱싱은 필요할 때, 콘텐츠 자산 데이터베이스(116)로부터 콘텐츠 자산(104)에 대한 품질의 간단한 검색을 허용하고, 이는 콘텐츠 자산(104)의 품질을 재계산할 필요를 방지할 수 있다.

콘텐츠 배포 시스템(107)은 304에서 시각적 품질의 표시하는 것으로 간주된 시각적 측면(예: 흐릿함, 불쾌감, 방향 등)을 평가하도록 트레이닝된 하나 이상의 기계 학습 모델을 사용하여 세트(202)(예: 세트(202)의 이미지(206-214) 각각)를 형성하는 각 이미지의 품질을 평가할 수 있다. 예를 들어, 콘텐츠 배포 시스템(107)은 하나 이상의 기계 학습 모델을 트레이닝하고 배포할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델, 방향 모델 및/또는 일부 이미지 품질 특성을 검출하도록 트레이닝된 임의의 다른 기계 학습 모델을 별도로 트레이닝할 수 있다. 콘텐츠 배포 시스템(107)은 일부 구현예에서 기계 학습 모델을 생성할 뿐만 아니라 트레이닝할 수 있다. 다른 구현예에서, 콘텐츠 배포 시스템(107)은 다른 하나 이상의 서버들로부터 기계 학습 모델들을 얻을 수 있고, 그런 다음 예를 들어 콘텐츠 제공자(108) 및 다양한 클라이언트 디바이스들(114)의 아키텍처 세부사항에 적합하도록 이러한 모델들을 더 트레이닝할 수 있다. 콘텐츠 배포 시스템(107)은 트레이닝된 모델을 활용하여 각각의 품질 점수를 생성할 수 있다. 예를 들어, 흐릿함 모델은 이미지의 흐릿함을 정량화하는 흐릿함 점수를 생성할 수 있고, 불쾌한 콘텐츠 모델은 이미지의 콘텐츠의 불쾌감을 정량화하는 불쾌한 콘텐츠 점수를 생성할 수 있으며, 세 번째 모델은 전형적인 디지털 컴포넌트(106)의 표준 폭 및 높이를 갖는 이미지(예를 들어, 폭 및 높이의 사전 설정된 크기를 갖는 디지털 컴포넌트)의 너비와 높이의 호환성을 정량화하는 방향 점수를 생성할 수 있다.

콘텐츠 배포 시스템(107)은 각 이미지의 시각적 품질을 나타내는 하나 이상의 기계 학습 모델의 출력에 기초하여 이미지의 품질을 결정할 수 있다. 일부 구현예에서, 콘텐츠 배포 시스템(107)은 가중된 점수들을 생성하기 위해 각각의 기계 학습 모델에 의해 생성된 각각의 점수에 가중치를 할당할 수 있다. 예를 들어, 콘텐츠 배포 시스템(107)은 흐릿함 점수에 제1 가중치를 할당하고, 불쾌한 콘텐츠 점수에 제2 가중치를 할당하고, 방향 점수에 제3 가중치를 할당할 수 있다. 그 다음, 콘텐츠 배포 시스템(107)은 가중 점수를 결합하여 이미지에 대한 결합 점수를 생성할 수 있다. 콘텐츠 배포 시스템(107)은 결합된 점수를 하나 이상의 임계값과 비교하여 이미지의 품질에 대한 추론을 생성할 수 있다. 예를 들어, 점수가 하한 임계값 미만인 경우 콘텐츠 배포 시스템(107)은 이미지 품질이 "나쁨" 품질을 갖는다는 추론을 생성한다; 점수가 하한 임계값과 상한 임계값 사이면(하한 임계값과 상한 임계값 모두 범위에 포함됨), 콘텐츠 배포 시스템(107)은 이미지가 "보통" 품질을 갖는다는 추론을 생성한다; 그리고 점수가 상한 임계값보다 크면, 콘텐츠 배포 시스템(107)은 이미지가 "우수" 품질을 갖는다는 추론을 생성한다. 그러한 추론은 또한 본 명세서에서 품질의 표시(120)로 지칭된다.

콘텐츠 배포 시스템(107)은 306에서 세트(202)를 형성하는 콘텐츠 자산(104)(예를 들어, 이미지(206-214))의 종합 품질(203)을 결정할 수 있다. 세트(202)의 종합 품질(203)은 일부 예들에서 4개의 "우수" 이미지와 3개의 "보통" 이미지의 조합으로 언급될 수 있다. 일부 예에서, 세트(202)의 종합 품질(203)은 디지털 컴포넌트(106)를 형성하는 모든 이미지(206-214)의 결합된 점수의 합으로서 계산될 수 있다. 일부 경우에, 디지털 컴포넌트(106)의 종합 품질(203)은 (모든 이미지(206-214)에 대한 총 가능한 점수가 10인 도 2a에 도시된 바와 같이) 모든 이미지(206-214)에 대한 총 가능한 점수에 대한 모든 이미지(206-214(의 결합된 점수의 비율로서 계산될 수 있다.

콘텐츠 배포 시스템(107)은 308에서 콘텐츠 제공자(108)의 그래픽 사용자 인터페이스(200)를 업데이트하여 세트(202)의 종합 품질(203)의 시각적 표시를 제시할 수 있다. 그래픽 사용자 인터페이스(203)의 업데이트는 세트(202)를 형성하는 이미지의 종합 품질(203)의 시각적 표시를 콘텐츠 제공자(108)로 전송하는 것을 포함할 수 있다.

일부 구현예에서, 콘텐츠 배포 시스템(107)은 또한 콘텐츠 자산(104)의 품질을 향상시키고 그 콘텐츠 자산(104)을 포함하는 세트(202)의 품질을 향상시키기 위해 콘텐츠 자산(104)에 대한 수정에 대한 추천을 생성할 수 있다. 일부 예에서, 콘텐츠 자산(104)의 품질이 "보통"일 때, 콘텐츠 배포 시스템(107)은 품질이 "우수"로 개선될 수 있도록 추천을 생성할 수 있고, 콘텐츠 자산(104)의 품질이 "나쁨"으로 결정된 경우, 콘텐츠 배포 시스템(107)은 품질이 "보통"으로 향상될 수 있도록 제1 추천 세트 및/또는 품질이 "우수"로 향상될 수 있도록 제2 추천 세트를 생성할 수 있다. 품질 개선을 위한 몇 가지 추천사항은 식별된 이미지의 다양한 특성(예: 밝기, 대비, 색상, 색상 강도, 색조, 채도, 크기, 노이즈, 선명도, 휘도, 바람직하지 않은 요소, 불쾌한 요소, 기타 특성 및/또는 이미지의 조합)의 변경을 제안하기 위한 것일 수 있다. 일부 추가 구현예에서, 콘텐츠 배포 시스템(107)은 제안된 변경에 따라 이미지를 자동으로 개선할 수 있다. 콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)가 이미지에 대한 자동 개선을 수락하거나 거부하도록 선택할 수 있는 옵션을 디스플레이하기 위해 콘텐츠 제공자(108)의 그래픽 사용자 인터페이스를 업데이트할 수 있다.

도 4는 콘텐츠 배포 시스템(107)에 의해 트레이닝되고 배포된 기계 학습 모델의 예를 도시한다. 표시된 기계 학습 모델은 신경망 모델(402)이다. 신경망 모델(402)은 단순히 신경망, 인공 신경망 또는 인공 신경망 모델로 지칭될 수도 있다. 신경망 모델이 설명되었지만 다른 구현예에서, 기계 학습 모델은 최근접 이웃 모델, 나이브 베이즈 모델, 결정 트리 모델, 회귀 모델, 지원 벡터 기계(SVM), 기타 기계 학습 모델 및/또는 이들의 조합(신경망 모델과 조합하여 이러한 모델을 포함할 수 있음)과 같은 다른 기계 학습 모델일 수 있다. 신경망 모델(402)의 유형은 도시된 바와 같이 피드포워드 신경망일 수 있다. 다른 구현예에서, 신경망 모델(402)은 방사형 기저 함수 신경망, 다층 퍼셉트론, 컨볼루션 신경망, 순환 신경망, 모듈식 신경망, 두 개의 순환 신경망으로 구성된 시퀀스 대 시퀀스 모델 및/또는 다른 유형의 신경망과 같은 임의의 다른 유형일 수 있다.

신경망 모델(402)은 입력 레이어(404), 하나 이상의 내부 레이어(히든 레이어라고도 함)(406) 및 출력 레이어(408)를 포함하는 다중 레이어를 가질 수 있다. 레이어들(404, 406, 408) 각각은 뉴런 또는 인공 뉴런으로도 지칭될 수 있는 하나 이상의 노드를 가질 수 있다. 예를 들어, 도시된 구현예에서, 레이어(404)는 3개의 노드를 갖고, 레이어(406) 각각은 4개의 노드를 가지며, 레이어(408)는 단일 노드를 갖는다. 각 노드(뉴런이라고도 함)는 계산 단위이다. 일부 구현예에서, 히든 레이어의 수 및 각각의 대응하는 레이어의 노드의 수는 모델이 트레이닝되는 이미지의 양/수에 기초하여 변할 수 있다. 예를 들어, 이미지의 양/수가 매우 높을 때(예를 들어, 1000, 5000, 10000, 100000 또는 구현예에 특정한 임의의 다른 임계값과 같은 임계값 초과), 더 많은 수의 노드 및/또는 레이어 수가 사용되어, 사용 프로세스 중 추론뿐만 아니라 트레이닝 프로세스를 촉진할 수 있다. 일부 구현예에서, 신경망(402)에서 노드 및/또는 레이어의 이상적인 수를 실험적으로 결정하기 위해 트레이닝 단계가 진행됨에 따라 노드 및/또는 레이어의 수는 변경될 수 있다.

입력 레이어(404)는 콘텐츠 자산(예를 들어, 이미지)을 입력으로서 수신하도록 구성된다. 해당 모델(402)에 대한 트레이닝 단계(즉, 해당 모델(402)가 트레이닝되고 있는 기간)에서, 입력 레이어(402)는 모델(402)이 트레이닝되는 이미지를 수신한다. 활용 단계(즉, 트레이닝된 모델(402)가 추론을 생성하기 위해 사용될 때의 지속 시간)에서, 입력 레이어(402)는 품질이 추론될 새로운 이미지(예를 들어, 이미지(204))를 수신한다. 입력 레이어(404)의 각 노드(뉴런이라고도 함)는 일부 구성 가능한 방식으로 이미지의 데이터를 결합하고 출력 연결을 갖는 계산 단위이다.

내부 레이어(406)는 신경망 모델(402)을 구현하는 시스템의 입력 및 출력에서 직접 관찰할 수 없기 때문에 히든 레이어라고도 한다. 각 히든 레이어(406)의 각 노드(뉴런이라고도 함)는 하나 이상의 가중 입력 연결, 일부 구성 가능한 방식으로 입력을 결합하는 전달 함수 및 출력 연결을 갖는 계산 단위이다.

출력 레이어(408)는 입력된 이미지(예를 들어, 이미지 206-214 중 임의의 것)에 대한 점수를 출력한다. 예를 들어, 흐릿함 모델의 출력 레이어(408)는 흐릿함 점수를 출력할 수 있고, 불쾌한 콘텐츠 모델의 출력 레이어(408)는 불쾌한 콘텐츠 점수를 출력할 수 있으며, 방향 모델의 출력 레이어(408)는 방향 점수를 출력할 수 있다. 트레이닝 단계에서, 각각의 모델(402)은 상이한(또는 다른 구현에서 동일한) 이미지 세트에 대해 트레이닝될 수 있다. 그러나 활용 단계에서 각 모델은 품질을 추론할 동일한 새 이미지(예: 이미지 206-214 중 하나)를 수신한다. 도시된 예에서 출력 레이어(408)는 하나 이상의 가중된 입력 연결을 갖는 단일 노드와, 일부 구성 가능한 방식으로 입력을 결합하여 점수(예: 모델이 흐릿함 모델인 경우 흐릿함 점수, 모델이 불쾌한 콘텐츠 모델인 경우 불쾌함 콘텐츠 점수, 모델이 방향 모델인 경우 방향 점수 등)를 생성하는 전송 함수를 갖는다.

일부 구현예에서, 하드웨어 가속기가 기계 학습 모델을 활용하는데 사용될 수 있다. 이러한 하드웨어 가속기는 디지털 컴포넌트 내의 하나 이상의 콘텐츠 자산의 품질을 나타내는 점수를 계산하기 위해 배포되는 기계 학습 모델(예: 신경망)을 계산이 분산될 수 있는 여러 컴퓨팅 유닛(컴퓨팅 타일이라고도 함) 포함할 수 있다. 컴퓨팅 타일에 걸친 이러한 계산의 분포는 신경망이 중앙 처리 장치에 의해 프로세싱되었다면 필요한 명령어의 수와 비교하여 감소된 수의 명령어를 사용하여 신경망을 프로세싱하게 한다. 이러한 명령어 수의 감소는 다수의 클래스에 대한 확률이 계산되는 속도를 증가시켜 디지털 컴포넌트 내의 하나 이상의 콘텐츠 자산의 품질을 나타내는 점수를 결정하는 과정에서 지연을 감소시킨다.

도 5는 새 이미지(예: 이미지 206-214)의 품질을 결정하기 위해 여러 기계 학습 모델(402-1, 402-2, … 및 402-n)을 동시에 배포하는 것을 도시한다. 여기서 n은 임의의 고정 정수 값일 수 있다. 각 모델(402-i)(여기서 i는 1에서 n 사이의 임의의 정수 값임)은 새로운 이미지(예: 이미지 206-214 중 임의의 것)를 입력으로 수신하고 모델(402-i)이 결정하도록 트레이닝되는 시각적 특성을 정량화하는 점수 Si를 출력한다. 예를 들어, 모델(402-1)은 입력으로서 이미지(204)를 수신하고 흐릿함 점수(S1)를 출력할 수 있는 흐릿함 모델일 수 있고, 모델(402-2)은 입력으로서 이미지(204)를 수신하고 불쾌한 콘텐츠 점수(S2)를 출력할 수 있는 불쾌함 콘텐츠 모델일 수 있고, 모델(402-n)은 입력으로서 이미지(204)를 수신하고 방향 점수(Sn)을 출력할 수 있는 방향 모델일 수 있다. 여기서 논의는 특정 기계 학습 모델에 초점을 맞추지만, 일부 구현예에서 추가 모델(도시되지 않음)은 추가적으로 또는 대안적으로 디지털 컴포넌트(106)의 큰 버튼, 디지털 컴포넌트(106)의 트릭 투 클릭 문제, 디지털 컴포넌트(106) 내의 이미지의 선정성, 디지털 컴포넌트(106) 이미지의 불량한 자르기, 디지털 컴포넌트(106)의 부적절한 텍스트 오버레이, 디지털 컴포넌트(106)의 로고 위치 등을 검출하도록 트레이닝 및 배치되고 그에 따라 디지털 컴포넌트를 분류한다.

각각의 모델(402-i)(여기서 i는 1 내지 n 범위의 임의의 정수 값임)은 히든 레이어(406)는 대응하는 추론을 하기 위해 각 모델을 적응시키기 위해 상이한 모델(402i) 사이에 추가되거나 수정될 수 있으므로 서로 다른 히든 레이어(406)(예를 들어, 서로 다른 수의 히든 레이어(406) 및/또는 각각의 히든 레이어(406)에서 서로 다른 수의 노드)를 가질 수 있다.

콘텐츠 배포 시스템(107)은 가중치 Wi(여기서, i는 1 내지 n 범위의 임의의 고정 정수임)를 각 모델(402-i)의 스코어 Si에 할당할 수 있는 컴퓨팅 유닛(예를 들어, 하나 이상의 프로세서)(502)을 포함할 수 있고, 그런 다음 모든 모델에 대해 가중 점수 WiSi를 추가하여 총 점수(504)(결합 점수라고도 함)를 생성한다.

총 점수(504)는 입력 이미지(예를 들어, 이미지(206-218) 중 임의의 것)의 품질을 나타낼 수 있다. 콘텐츠 배포 시스템(107)은 입력 이미지(예를 들어, 이미지(206-218) 중 임의의 것)의 품질에 대한 추론을 생성하기 위해 총 점수(504)를 하나 이상의 임계값과 비교할 수 있다. 일부 예에서, 추론은 "우수" 품질, "보통" 품질 또는 "나쁨" 품질일 수 있다. 품질 표시(120)는 "우수" 품질, "보통" 품질 또는 "나쁨" 품질인 것으로 설명되지만, 다른 예들에서는 임의의 다른 카테고리 이름(즉, 우수, 보통 또는 나쁨 이외의 카테고리 이름; 각각 환상적, 그저 그럼, 나쁨 등)이 사용될 수 있다. 또한, 품질의 3개의 카테고리가 설명되지만, 일부 구현예에서 카테고리의 수는 2개 이상의 임의의 다른 수일 수 있다.

콘텐츠 배포 시스템(107)은 세트(202)를 형성하는 콘텐츠 자산(104)(예를 들어, 이미지(206-214))의 종합 품질(203)을 결정할 수 있다. 세트(202)의 종합 품질(203)은 일부 예들에서 4개의 "우수" 이미지와 3개의 "보통" 이미지의 조합으로 언급될 수 있다. 일부 예에서, 세트(202)의 종합 품질(203)은 세트(202)를 형성하는 모든 이미지(206-214)의 결합된 점수의 합으로서 계산될 수 있다. 일부 경우에, 디지털 컴포넌트(106)의 종합 품질(203)은 (모든 이미지(206-218)에 대한 총 가능한 점수가 10인 도 2a에 도시된 바와 같이) 모든 이미지(206-214)에 대한 총 가능한 점수에 대한 모든 이미지(206-214(의 결합된 점수의 비율로서 계산될 수 있다.

콘텐츠 배포 시스템(107)은 콘텐츠 제공자(108)의 그래픽 사용자 인터페이스를 업데이트하여 디지털 컴포넌트(106)를 형성하는 콘텐츠 자산(104)의 종합 품질(203)의 시각적 표시(120)를 제시할 수 있다. 그래픽 사용자 인터페이스의 업데이트는 세트(202)를 형성하는 이미지의 종합 품질(203)의 시각적 표시를 콘텐츠 제공자(108)로 전송하는 것을 포함할 수 있다.

본 명세서에서는 특정 신경망 모델에 대해 설명하고 있지만, 다른 구현예에서는 대기 시간과 프로세싱 능력을 손상시키지 않는 다른 신경망 모델이나 적절한 기계 학습 모델을 사용할 수 있다. 예를 들어, 임의의 신경망 모델(402-i)(여기서 i는 1에서 n 범위의 임의의 고정 정수임)은 피드포워드 신경망(도시된 바와 같음) 또는 방사형 기저 함수 신경망, 다층 퍼셉트론, 컨볼루션 신경망, 순환 신경망, 모듈식 신경망, 두 개의 순환 신경망으로 구성된 시퀀스 대 시퀀스 모델 및/또는 다른 유형의 신경망일 수 있다.

도 6은 기계 학습 모델(402-i)(여기서 i는 1에서 n 사이의 고정 정수임)을 트레이닝하고 배포하기 위해 콘텐츠 배포 시스템(107)에 의해 구현된 프로세스를 도시한다. 콘텐츠 배포 시스템(107)은 602에서 콘텐츠 서버(110) 및/또는 콘텐츠 자산 데이터베이스(116)로부터 획득된 다수의 이미지에 대해 다수의 기계 학습 모델(예를 들어, 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델 및 방향 모델)을 트레이닝할 수 있다. 그러한 트레이닝 동안, 이들 이미지 각각에는 이미지의 품질 특성(예를 들어, 흐릿함, 불쾌한 콘텐츠의 양, 디지털 컴포넌트(106)과의 방향 호환성)을 나타내는 점수(예를 들어, 흐릿함 점수, 불쾌한 콘텐츠 점수, 방향 점수)가 할당된다. 각각의 기계 학습 모델(예를 들어, 흐릿함 모델, 불쾌감 콘텐츠 모델 또는 방향 모델)은 각각의 품질 특성(예를 들어, 흐릿함, 불쾌한 콘텐츠의 양, 디지털 컴포넌트(106)과의 방향 호환성 각각)에 대한 이미지에 점수를 매기도록 트레이닝된다.

콘텐츠 배포 시스템(107)은 604에서 콘텐츠 제공자(108)에 의해 업로드된 콘텐츠 자산(104)의 세트(202)에 포함된 새로운 이미지(예를 들어, 이미지 206-214 중 임의의 이미지)의 품질을 평가하라는 요청을 콘텐츠 제공자(108)로부터 수신할 수 있다. 이러한 요청에 응답하여, 콘텐츠 배포 시스템(107)은 606에서 각각의 품질 특성에 대한 점수 S1, S2, … Sn(예: 흐릿함에 대한 S1 점수, 불쾌한 콘텐츠 양에 대한 S2 점수, … 방향 호환성에 대한 Sn 점수)을 생성하기 위해 새로운 이미지에 기계 학습 모델을 활용할 수 있다(예: 흐릿함 모델, 불쾌한 콘텐츠 모델 및 방향 모델).

콘텐츠 배포 시스템(107)은 가중치 Wi(여기서 i는 1에서 n까지의 임의의 고정 정수임)를 각 모델(402-i)(예를 들어, 각각의 흐릿함 모델, 불쾌감을 주는 콘텐츠 모델 및 방향 모델)의 점수 Si에 할당할 수 있는 컴퓨팅 유닛(예: 하나 이상의 프로세서)(502)을 포함할 수 있다. 콘텐츠 배포 시스템(107)은 608에서 각 모델에 대한 가중 스코어 WiSi를 결합하여 이미지(예를 들어, 임의의 이미지(206-214))에 대한 결합 점수(504)를 생성할 수 있다. 총 점수(504)는 입력 이미지(예를 들어, 이미지 206-214 중 임의의 것)의 품질을 나타낼 수 있다.

콘텐츠 배포 시스템(107)은 610에서 입력 이미지(예를 들어, 이미지(206-214) 중 임의의 것)의 품질에 대한 추론을 생성하기 위해 총 점수(504)를 하나 이상의 임계값과 비교할 수 있다. 추론은 품질 표시라고도 한다. 일부 예에서, 추론(즉, 품질의 표시)은 "우수" 품질, "보통" 품질 또는 "나쁨" 품질일 수 있다. 품질 표시는 "우수" 품질, "보통" 품질 또는 "나쁨" 품질인 것으로 설명되지만, 다른 예들에서는 임의의 다른 카테고리 이름(즉, 우수, 보통 또는 나쁨 이외의 카테고리 이름; 각각 환상적, 그저 그럼, 나쁨 등)이 사용될 수 있다. 또한, 품질의 3개의 카테고리가 설명되지만, 일부 구현예에서 카테고리의 수는 2개 이상의 임의의 다른 수일 수 있다.

콘텐츠 배포 시스템(107)은 612에서 디지털 컴포넌트(106)를 형성하는 콘텐츠 자산(104)(예를 들어, 이미지(206-214))의 종합 품질(203)을 결정할 수 있다. 디지털 컴포넌트(106)의 종합 품질(203)은 일부 예들에서 4개의 "우수" 이미지와 3개의 "보통" 이미지의 조합으로 언급될 수 있다. 일부 예에서, 디지털 컴포넌트(106)의 종합 품질(203)은 디지털 컴포넌트(106)를 형성하는 모든 이미지(206-214)의 결합된 점수의 합으로서 계산될 수 있다. 일부 경우에, 디지털 컴포넌트(106)의 종합 품질(203)은 (모든 이미지(206-214)에 대한 총 가능한 점수가 10인 도 2a에 도시된 바와 같이) 모든 이미지(206-214)에 대한 총 가능한 점수에 대한 모든 이미지(206-214(의 결합된 점수의 비율로서 계산될 수 있다.

콘텐츠 배포 시스템(107)은 세트(202)의 종합 품질(203)을 나타내는 데이터를 콘텐츠 제공자(108)에 전송할 수 있다. 그러한 전송은 새로운 하나 이상의 이미지의 세트(202) 품질의 추론(즉, 표시(203))을 디스플레이하기 위해 콘텐츠 제공자(108)의 그래픽 사용자 인터페이스를 업데이트할 수 있다.

도 7는 상기 기술된 동작들을 수행하는데 사용될 수 있는 예시적 컴퓨터 시스템(700)의 블록도이다. 시스템(700)은 프로세서(710), 메모리(720), 저장 디바이스(730) 및 입력/출력 디바이스(740)를 포함한다. 컴포넌트들(710, 720, 730 및 740) 각각은 예를 들면, 시스템 버스(750)를 사용하여 상호 연결될 수 있다. 프로세서(710)는 시스템(700) 내에서 실행하기 위한 명령어들을 프로세싱할 수 있다. 일 구현예에서, 프로세서(710)는 단일-스레드 프로세서이다. 다른 구현예에서, 프로세서(710)는 멀티-스레드 프로세서이다. 프로세서(710)는 메모리(720) 또는 저장 디바이스(730)에 저장된 명령어들을 프로세싱할 수 있다.

메모리(720)는 시스템(700) 내에 데이터를 저장한다. 일 구현예에서, 메모리(720)는 컴퓨터 판독가능 매체이다. 일 구현예에서, 메모리(720)는 휘발성 메모리 유닛이다. 다른 구현예에서, 메모리(720)는 비휘발성 메모리 유닛이다.

저장 디바이스(730)는 시스템(700)에 대한 대형 저장소를 제공할 수 있다. 일 구현예에서, 저장 디바이스(730)는 컴퓨터 판독가능 매체이다. 다양한 상이한 구현예에서, 저장 디바이스(730)는 예를 들면, 하드 디스크 디바이스, 광학 디스크 디바이스, 다수의 컴퓨팅 디바이스들(예를 들면, 클라우드 저장 디바이스)에 의해 네트워크를 통해 공유되는 저장 디바이스 또는 일부 기타 대용량 저장 디바이스를 포함할 수 있다.

입력/출력 디바이스(740)는 시스템(700)에 대한 입력/출력 동작들을 제공한다. 일 구현예에서, 입력/출력 디바이스(740)는 네트워크 인터페이스 디바이스 예를 들어, 이더넷 카드, 직렬 통신 디바이스(예를 들어, RS-232 포트) 및/또는 무선 인터페이스 디바이스(예를 들어, 802.11 카드) 중 하나 이상을 포함할 수 있다. 다른 구현예에서, 입력/출력 디바이스는 입력 데이터를 수신하고 출력 데이터를 다른 입력/출력 디바이스들 예를 들어, 키보드, 프린터 및 디스플레이 디바이스들(760)에 전송하도록 구성된 드라이버 디바이스들을 포함할 수 있다. 그러나, 모바일 컴퓨팅 디바이스들, 모바일 통신 디바이스들, 셋톱 박스 텔레비전 클라이언트 디바이스들 등과 같은 다른 구현예들도 사용될 수 있다.

예시적 프로세싱 시스템이 도 7에서 기술되었지만, 본 발명의 구현예들 및 본 명세서에 기술된 기능적 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 다른 유형의 디지털 전자 회로에서, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다.

본 발명의 실시예들과 본 명세서에 기술된 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 디지털 전자회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 기술된 본 발명의 실시예들은 하나 이상의 컴퓨터 프로그램들로서 구현될 수 있다. 즉, 데이터 프로세싱 장치에 의해 실행 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들. 대안적으로 또는 추가로, 프로그램 명령어는 데이터 프로세싱 장치에 의해 실행하기 위한 적절한 수신기 장치에 전송하기 위한 데이터를 인코딩하기 위해 생성된 인공적으로 생성된 전파된 신호 즉, 기계-생성 전기, 광학 또는 전자기적 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스 또는 그들 중 하나 이상의 조합이거나 그에 포함될 수 있다. 또한, 컴퓨터 저장 매체는 전파된 신호가 아니지만, 컴퓨터 저장 매체는 인공적으로 생성된 전파된 신호에 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 또한, 컴퓨터 저장 매체는 하나 이상의 별개의 물리적 컴포넌트들 또는 매체(예를 들면, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)이거나 또는 그에 포함될 수 있다.

본 명세서에 기술된 동작들은 하나 이상의 컴퓨터 판독가능 저장 디바이스들에 저장된 또는 다른 소스들로부터 수신된 데이터에서 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.

용어 "데이터 프로세싱 장치"는 예시로서 프로그래머블 프로세서, 컴퓨터, 시스템 온 칩 또는 앞서 언급된 것들 중 다수의 것들 또는 조합들을 포함하는 데이터를 프로세싱하기 위한 모든 종류의 장치, 디바이스들 및 기계들을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 또한, 장치는 하드웨어 이외에 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스-플랫폼 런타임(cross-platform runtime) 실행 환경, 가상 머신 또는 그들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은 다양한 컴퓨팅 모델 인프라를 실현할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일된 또는 인터프리트된 언어들, 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 객체로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응할 수 있지만, 반드시 그런 것은 아니다. 프로그램은 다른 프로그램들이나 데이터, 예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 가지는 파일의 부분에, 문제되는 프로그램 전용 단일의 파일에 또는 다수의 조정된 파일들, 예를 들어, 하나 이상의 모듈들, 서브프로그램 또는 코드의 일부를 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 위치되어 있거나 다수의 사이트들에 걸쳐서 분산되어 있고 통신 네트워크에 의해 상호연결된 다수의 컴퓨터들에서 실행되도록 배포될 수 있다.

본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 액션들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA 또는 ASIC와 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로로서 구현될 수 있다.

컴퓨터 프로그램의 실행에 적절한 프로세서들은, 예시로서, 범용 및 전용 마이크로프로세서들과 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 읽기-전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들에 따라 액션들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대형 저장 디바이스들 예를 들면, 자기적, 자기-광학 디스크들 또는 광학적 디스크들 또한 포함하거나 또는 그로부터 데이터를 수신하거나 그에 데이터를 전송하기 위해 동작적으로 결합될 수 있다. 그러나, 컴퓨터는 상기 디바이스들을 반드시 가져야하는 것은 아니다. 추가로, 컴퓨터는 다른 디바이스, 예를 들어, 몇 가지만 나열하면, 모바일 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS 수신기 또는 휴대용 저장 디바이스 예를 들어, 범용 직렬 버스(USB) 플래시 드라이브에 내장될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 디바이스들은 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.

사용자와의 인터렉션을 제공하기 위해, 본 명세서에서 기술된 본 발명의 실시예들은 사용자에게 데이터를 디스플레이하기 위해 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와 같은 디스플레이 디바이스 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각적 피드백일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서를 송수신함으로써 예를 들어, 웹브라우저로부터 수신된 요청에 응답하여, 사용자의 사용자 디바이스상의 웹브라우저에 웹페이지를 전송함으로써 사용자와 인터렉션할 수 있다.

본 명세서에서 기술된 발명의 실시예는 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 어플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 본 발명의 구현예와 인터렉션할 수 있는 웹브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예는 근거리 통신망("LAN") 및 광역 통신망("WAN"), 인터-네트워크(예를 들어, 인터넷) 및 피어투피어 네트워크(예를 들어, 애드혹 피어투피어 네트워크)를 포함한다.

컴퓨팅 시스템은 사용자들 및 서버들을 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 실시예에서, 서버는(예를 들어, 사용자 디바이스와 인터렉션하는 사용자에게 데이터를 디스플레이하고 사용자 입력을 수신하기 위해) 사용자 디바이스에 데이터(예를 들어, HTML 페이지)를 전송한다. 사용자 디바이스에서 생성된 데이터(예를 들어, 온라인 인터렉션의 결과)는 서버에서 사용자 디바이스로부터 수신될 수 있다.

본 명세서는 많은 특정 구현 세부내용을 포함하지만, 이들은 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정한 발명의 특정한 실시예에 특정한 구성들에 대한 설명으로 해석되어야 한다. 별개의 실시예의 컨텍스트에서 본 명세서에서 기술되는 일정 구성들은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 컨텍스트에서 기술된 다양한 구성들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적절한 서브 조합으로 구현될 수 있다. 게다가, 구성들은 일정 조합으로 동작하고 심지어 초기적으로 그렇게 청구되는 것으로서 상기에서 기술될 수 있지만, 청구된 조합으로부터의 하나 이상의 구성들은 일부 경우, 조합으로부터 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형으로 안내될 수 있다.

유사하게, 동작들이 특정한 순서로 도면에서 도시되었지만, 이는 상기 동작들이 도시된 특정한 순서로 또는 시계열적 순서로 수행되어야 함을 요구하는 것으로서 또는 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안된다. 특정 환경에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다. 게다가, 상기 기술된 실시예에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예에서 그러한 분리가 필요한 것으로서 이해되어서는 안되며, 일반적으로 기술된 프로그램 컴포넌트들 및 시스템들은 단일의 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있다고 이해되어야 한다.

따라서, 본 발명의 특정한 실시예들이 기술되었다. 다른 실시예들도 다음의 청구항들의 범위 내에 있다. 일부 경우에, 청구항들에서 기재된 액션들은 상이한 순서로 수행되고 여전히 원하는 결과들을 달성할 수 있다. 추가로, 첨부 도면들에 도시된 프로세스들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 특정 구현예에서, 멀티태스킹과 병렬 프로세싱은 이점이 있다.

Claims (9)

1. 방법으로서,
   하나 이상의 프로세서에 의해, 하나 이상의 클라이언트 디바이스에 배포되는 상이한 디지털 컴포넌트를 생성하기 위해 결합되는 하나 이상의 이미지를 포함하는 콘텐츠 자산을 식별하는 단계;
   상기 하나 이상의 프로세서에 의해, 시각적 품질을 나타내는 것으로 간주되는 하나 이상의 이미지의 하나 이상의 양태를 평가하도록 트레이닝된 하나 이상의 기계 학습 모델을 사용하여 상기 하나 이상의 이미지의 각각의 품질을 평가하는 단계;
   상기 하나 이상의 프로세서에 의해, 상기 하나 이상의 이미지의 각각의 이미지 품질을 나타내는 하나 이상의 기계 학습 모델의 출력에 적어도 부분적으로 기초하여 콘텐츠 자산에 대한 종합 품질을 결정하는 단계; 및
   상기 하나 이상의 프로세서에 의해, 상기 콘텐츠 자산의 종합 품질의 시각적 표시를 제시하기 위해 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 업데이트하는 단계를 포함하는, 방법.
2. 청구항 1에 있어서,
   상기 하나 이상의 프로세서에 의해, 상기 하나 이상의 이미지 중 하나의 수정을 수신하는 단계;
   상기 하나 이상의 프로세서에 의해, 상기 수정된 이미지의 품질을 평가하는 단계;
   상기 하나 이상의 프로세서에 의해, 상기 수정된 이미지의 품질에 기초하여 콘텐츠 자산에 대한 종합 품질을 업데이트하는 단계; 및
   상기 하나 이상의 프로세서에 의해, 상기 콘텐츠 자산의 종합 품질의 업데이트된 시각적 표시를 제시하기 위해 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 업데이트하는 단계를 포함하는, 방법.
3. 청구항 1 또는 청구항 2에 있어서,
   상기 하나 이상의 프로세서에 의해, 종합 품질을 미리 설정된 품질 휴리스틱과 비교하는 단계;
   상기 하나 이상의 프로세서에 의해, 종합 품질이 미리 설정된 품질 휴리스틱에 부합하지 않는다고 결정하는 단계;
   종합 품질이 미리 설정된 품질 휴리스틱에 부합하지 않는다는 결정에 응답하여, 상기 하나 이상의 프로세서에 의해, 종합 품질을 개선하기 위한 하나 이상의 추천사항을 생성하는 단계; 및
   상기 하나 이상의 프로세서에 의해, 하나 이상의 추천사항을 제시하기 위해 상기 제1 컴퓨팅 디바이스의 그래픽 사용자 인터페이스를 업데이트하는 단계를 포함하는, 방법.
4. 청구항 3에 있어서, 상기 하나 이상의 추천사항은 이미지의 시각적 특성을 수정하기 위한 제1 추천을 포함하는, 방법.
5. 임의의 선행하는 청구항에 있어서, 상기 하나 이상의 이미지의 각각의 품질을 평가하는 단계는:
   상기 하나 이상의 프로세서에 의해, 복수의 품질 특성의 각각의 품질 특성에 대한 점수를 생성하기 위해 복수의 기계 학습 모델을 이미지에 활용하는 단계;
   상기 하나 이상의 프로세서에 의해, 가중 점수를 생성하기 위해 각각의 점수에 가중치를 할당하는 단계;
   상기 하나 이상의 프로세서에 의해, 상기 이미지에 대한 결합 점수를 생성하기 위해 가중 점수들을 결합하는 단계; 및
   상기 하나 이상의 프로세서에 의해, 상기 이미지의 품질을 생성하기 위해 상기 결합된 점수를 하나 이상의 임계값과 비교하는 단계를 포함하는, 방법.
6. 청구항 5에 있어서, 상기 콘텐츠 자산에 대한 종합 품질을 결정하는 단계는:
   각각의 이미지에 대해, 총 가능한 점수를 결정하는 단계;
   각각의 이미지에 대해, 상기 총 가능한 점수에 대한 상기 결합된 점수의 비율을 계산하는 단계, 상기 이미지에 대한 비율은 하나 이상의 이미지에 대한 하나 이상의 비율의 일부이며; 및
   상기 하나 이상의 비율의 평균을 계산하는 단계를 포함하며, 상기 하나 이상의 비율의 평균은 상기 콘텐츠 자산에 대한 종합 품질을 표시하는, 방법.
7. 임의의 선행하는 청구항에 있어서,
   상기 콘텐츠 자산 및 적어도 하나의 다른 콘텐츠 자산으로부터의 적어도 하나의 이미지를 포함하는 디지털 컴포넌트의 품질을 결정하는 단계;
   상기 하나 이상의 프로세서에 의해, 상기 디지털 컴포넌트의 품질을 임계값과 비교하는 단계;
   상기 하나 이상의 프로세서에 의해, 상기 디지털 컴포넌트의 품질이 임계값보다 작다고 결정하는 단계; 및
   상기 디지털 컴포넌트의 품질이 임계값보다 작다는 결정에 응답하여, 상기 하나 이상의 프로세서에 의해, 하나 이상의 클라이언트 디바이스로의 디지털 컴포넌트의 배포를 제한하는 단계를 포함하는, 방법.
8. 시스템으로서,
   컴퓨터 실행가능 명령어를 저장하는 메모리; 및
   상기 명령어를 실행하도록 구성된 하나 이상의 컴퓨터를 포함하며, 상기 명령어의 실행은 상기 하나 이상의 컴퓨터로 하여금 임의의 선행하는 청구항 중 어느 한 항에 기재된 단계를 수행하게 하는, 시스템.
9. 명령어가 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 하나 이상의 컴퓨터에 의해 실행될 때, 상기 하나 이상의 컴퓨터로 하여금 청구항 1 내지 7 중 어느 한 항에 기재된 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.

Images