KR20210098997A - 자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템 - Google Patents

Abstract

HDR 이미지의 밝은 영역에서 부정확하고/하거나 일관되지 않은 톤의 식별 및 보정을 가능하게 하는 방법, 시스템 및 컴퓨터 프로그램 제품이 본 출원에서 설명된다. 이미지에서 밝은 영역이 식별된다. 밝은 영역은 할당된 분류로 분류된다. 밝은 영역의 휘도 값이 결정되고 분류에 대응하는 사전정의된 휘도 값과 비교된다. 밝은 영역의 휘도 값은 불일치가 있는 사전정의된 휘도 값과 일치하도록 조정된다. 불일치 또는 부정확한 휘도 값을 포함하는 밝은 영역은 그러한 영역이 불일치 휘도 값을 포함한다는 시각적 표시기를 포함하도록 디스플레이에 렌더링될 수 있다.

Description

자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템

"하이 다이나믹 레인지"(High Dynamic Range: HDR) 콘텐츠는 표준 다이나믹 레인지(SDR)(예컨대, 종래의 감마 곡선을 사용하여 렌더링된 이미지/비디오)보다 큰 것으로 간주되는 다이나믹 레인지(즉, 최대값과 최소값 사이의 비율)를 가진 톤(색조의 명도, 심도 또는 색상)을 포함하는 콘텐츠(예컨대, 이미지, 비디오)를 지칭한다. 광원과 광 반사는 HDR 콘텐츠의 시각적 품질에서 큰 역할을 한다. 따라서, HDR 이미지가 휘도 값이 부자연스럽고 일관되지 않은 특징부를 포함하면, 이미지의 시각적 품질이 저하된다.

몇몇 HDR 콘텐츠는 콘텐츠 생성 도구를 사용하여 "생성"되며, 카메라와 같은 기록 장치에 의해 캡처되지 않는다. 이러한 생성 시나리오의 예는 비디오 게임, 및 애니메이션 영화 및 영화의 시각 효과("VFX")를 포함한다. HDR 콘텐츠는 알고리즘 적으로 "자동 생성"될 수도 있다. 이러한 유형의 HDR 콘텐츠는 기록되지도 않고 콘텐츠 생성 도구로써 수동으로 생성되지도 않는다.

대부분의 경우, HDR 콘텐츠는 SDR 디스플레이 디바이스를 사용하여 생성 및/또는 편집된다. 예를 들어, 비디오 게임은 수년 동안 실시간으로 HDR 이미지를 생성해왔는데, 최초의 비디오 게임은 일찍이 1997년에 HDR 조명 기법을 활용한 것이다. SDR 디스플레이에서 게임의 실시간 HDR 이미지를 보려면, 먼저 이들 이미지의 HDR 값을 훨씬 더 작은 범위의 명도 및 색상 값으로 처리해야 한다. 이러한 처리는 전형적으로 톤 매핑으로 지칭된다. HDR 디스플레이는 톤 매핑 필요 없이 HDR 콘텐츠의 고유한 표시가 가능한바, 자연스럽게 더 나은 시각적 품질을 얻는다.

그러나, 2015년경까지 모든 소비자 디스플레이 디바이스는 SDR이었으며 기본적으로 HDR 콘텐츠를 표시할 수 없었다. 따라서 대다수의 소비자는 여전히 SDR 디스플레이 디바이스만 보유하고 있다. 또한 현재 HDR 디스플레이(특히 책상에 쉽게 장착할 수 있는 더 작은 크기의 디스플레이)의 낮은 보급률은 대부분의 비디오 게임 콘텐츠 제작자조차도 여전히 SDR 디스플레이 디바이스를 사용하고 있으며, 실제로 많은 콘텐츠 생성 도구가 여전히 HDR 디스플레이 디바이스를 지원하지 않는다는 것을 의미한다. 즉, HDR인 콘텐츠를 포함하여 대부분의 비디오 게임 콘텐츠는 여전히 SDR로 마스터링된다. 결과적으로, 게임 콘텐츠 제작자는 HDR 콘텐츠를 생성하는 데 사용되는 SDR 디스플레이 디바이스에서 HDR에 고유한 휘도 값을 실제로 볼 수 없기 때문에, HDR 콘텐츠 생성 중에, 이러한 HDR 콘텐츠는 광원 및 광 반사에 대해 부자연스럽고 일관되지 않은 휘도 값을 실수로 사용하는 것을 포함할 수 있다. 이로 인해 HDR 지원 디스플레이 디바이스에 표시될 때 HDR 이미지 품질이 저하될 수 있다.

이 요약은 아래의 상세한 설명에서 더 설명되는 단순화된 형태의 개념 선택을 도입하기 위해 제공된다. 이 요약은 청구된 출원대상의 주요 특징이나 기본 특징을 식별하려는 것이 아니며, 청구된 출원대상의 범위를 제한하는 데 사용하려는 것도 아니다.

부정확하고/하거나 일관되지 않은 톤을 갖는 HDR 콘텐츠에서 밝은 영역을 검출하고 이러한 톤을 자동으로 또는 수동으로 보정할 수 있는 방법, 시스템 및 컴퓨터 프로그램 제품이 본 명세서에 설명된다. 이미지에서 밝은 영역이 식별된다. 밝은 영역은 할당된 분류로 분류된다. 밝은 영역의 휘도 값이 결정되고 분류에 대응하는 사전정의된 휘도 값과 비교된다. 밝은 영역의 휘도 값은 불일치가 있는 사전정의된 휘도 값과 일치하도록 조정된다. 불일치 또는 부정확한 휘도 값을 포함하는 밝은 영역은 그러한 영역이 불일치 휘도 값을 포함한다는 시각적 표시기를 포함하도록 디스플레이에 렌더링될 수 있다.

이러한 불일치 밝은 영역에 대해 수동으로 입력된 휘도 보정이 수신될 수 있되거나 보정이 자동으로 생성될 수 있다. 이러한 보정은 HDR 이미지에 적용되어 보정된 HDR 이미지를 생성할 수 있다. 동일한 이미지에서 동일한 분류를 가진 다른 밝은 영역과 일치하는 보정된 휘도 값이 생성될 수 있다. 부정확한 휘도 값에 대한 보정을 생성하는 것 외에도, 스케일 조정이 밝은 영역에 걸쳐 휘도 값에 적용되어 스케일링되고 조정된 휘도 값을 생성할 수 있다.

이미지의 밝은 영역의 식별 및 분류는 예컨대, 적절하게 훈련된 기계 학습 모델에 의해 다양한 방식으로 수행될 수 있다. 이러한 모델은 HDR 콘텐츠(예컨대, 태양, 달, 불, 폭발, 정반사성 하이라이트 등)에서 이용될 수 있는 분류를 가진 밝은 영역을 포함하는 이미지를 사용하여 훈련될 수 있다. 밝은 영역의 각 등급마다 사전정의된 휘도 값도 마찬가지로 적절하게 훈련된 기계 학습 모델에 의해 결정될 수 있다. 이러한 모델은 예상되는 분류의 이미지를 사용하여 훈련될 뿐만 아니라 휘도 값을 갖는 것도 그러한 분류에 바람직한 범위이다. 이와 달리, 사전정의된 휘도 값은 기술 아티스트, 게임 개발자, 다른 콘텐츠 제작자 또는 다른 사람에 의해 수동으로 정의될 수 있다.

추가 특징 및 장점뿐만 아니라 다양한 예의 구조 및 동작도 첨부 도면을 참조하여 아래에 상세히 설명된다. 방안 및 기법은 본 명세서에 설명된 특정 예에 제한되지 않는다는 점에 유의해야 한다. 이러한 예는 예시용으로만 본 명세서에 제공된다. 추가 예는 본 명세서에 포함된 교시에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

본 명세서에 통합되고 명세서의 일부를 형성하는 첨부 도면은 본 출원의 실시예를 예시하고, 설명과 함께, 실시예의 원리를 설명하고 당업자가 실시예를 구성하고 사용할 수 있도록 또한 제공된다.
도 1은 일 실시예에 따른 HDR 휘도 보정기를 포함하는 예시적인 HDR 콘텐츠 검토 시스템을 도시한다.
도 2는 일 실시예에 따른 예시적인 휘도 보정 시스템을 도시한다.
도 3은 일 실시예에 따라, 2개의 상이한 콘텐츠 제작자에 의해 생성된 동일한 이미지이지만 상이한 휘도 값을 갖는 동일한 이미지에서 동일한 분류의 예시적인 HDR 콘텐츠의 2개의 예를 도시한다.
도 4는 예시적인 실시예에 따라, SDR 톤 매핑이 적용된 후 도 3의 예시적인 HDR 콘텐츠의 SDR 렌더링을 도시한다.
도 5는 일 실시예에 따라, HDR 콘텐츠를 검토하고 보정하는 방법의 흐름도를 도시한다.
도 6은 일 실시예에 따라, HDR 콘텐츠를 검토하고 보정하는 도 5의 흐름도에 대한 개선의 흐름도를 도시한다.
도 7은 일 실시예에 따라, 식별된 밝은 영역에 대해 조정된 휘도 값을 자동으로 결정하는 방법의 흐름도를 도시한다.
도 8은 일 실시예에 따라, 밝은 영역의 위치 및 크기를 식별하기 위해 표시된 이미지를 밝은 영역을 식별하도록 훈련된 기계 학습 모델에 제공하는 방법의 흐름도를 도시한다.
도 9는 일 실시예에 따라, 기계 학습 모델에 의해 식별된 밝은 영역을 분류하는 방법의 흐름도를 도시한다.
도 10은 다양한 실시예를 구현하는 데 사용될 수 있는 예시적인 프로세서 기반 컴퓨터 시스템의 블록도를 도시한다.
실시예의 특징 및 이점은 도면과 함께 쓰일 때 아래에 설명된 상세한 설명으로부터 보다 명백해질 것이며, 도면에서 동일한 참조 문자는 전체에 걸쳐 대응하는 요소를 식별한다. 도면에서, 동일한 참조 번호는 일반적으로 동일한, 기능적으로 유사한 및/또는 구조적으로 유사한 요소를 나타낸다. 요소가 처음 나타나는 도면은 해당 참조 번호의 가장 왼쪽 숫자(들)로 표시된다.

I. 도입

다음의 상세한 설명은 다수의 실시예를 개시한다. 본 특허 출원의 범위는 개시된 실시예에 제한되지 않을 뿐만 아니라, 개시된 실시예의 조합 및 개시된 실시 예의 수정도 포함한다.

명세서에서 "일 실시예", "실시예", "예시적인 실시예" 등의 언급은 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 특정 특징, 구조 또는 특성을 포함하는 것은 아닐 수도 있다는 것을 나타낸다. 게다가, 그러한 문구가 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특징, 구조 또는 특성이 실시예와 관련하여 설명될 때, 명시적으로 설명되든 아니든 그러한 특징, 구조 또는 특성을 다른 실시예와 관련하여 달성하는 것이 당업자의 지식 내에 있는 것으로 제시된다.

다수의 예시적인 실시예가 다음과 같이 설명된다. 본 명세서에 제공된 임의의 섹션/서브섹션 제목은 제한하려는 것이 아니다. 실시예는 본 문서 전반에 걸쳐 설명되며, 임의의 유형의 실시예는 임의의 섹션/서브섹션 아래에 포함될 수 있다. 또한, 임의의 섹션/서브섹션에 개시된 실시예는 임의의 방식으로 동일한 섹션/서브섹션 및/또는 상이한 섹션/서브섹션에서 설명된 임의의 다른 실시예와 조합될 수 있다.

II. 예시적인 실시예

전술한 바와 같이, HDR 콘텐츠는 흔히 SDR 디스플레이 디바이스를 사용하여 생성되며, 실제로 오늘날 대부분의 비디오 게임 콘텐츠는 SDR 디스플레이를 사용하여 생성된다. 이러한 경우, 콘텐츠 생성 동안, HDR 콘텐츠의 콘텐츠 제작자는 SDR 디스플레이에서 톤 간의 차이를 반드시 확인할 수 없는바, 부자연스럽고 일관되지 않은 휘도 값이 광원 및 광 반사에 실수로 사용될 수 있다. 이로 인해 HDR 이미지 품질이 저하될 수 있다. 특히, HDR 디스플레이에서 콘텐츠를 보는 뷰어는 동일한 이미지에 표시된 콘텐츠 특징부(예컨대, 2개의 불) 간의 설명되지 않은 톤 차이를 볼 수 있으며, 이는 뷰어의 관점에서 이미지를 저하시킨다.

SDR 디스플레이 디바이스에서 HDR 콘텐츠를 설계하면 더 많은 문제가 발생할 수 있다. 예를 들어, 몇몇 콘텐츠 생성 도구는 소정의 광원 및 시각 효과(VFX)를 강조하기 위해 선형 스칼라 값을 적용함으로써 몇몇 이미지 특징부의 휘도 값을 부 자연스럽게 높일 수 있다. 또한, 다른 콘텐츠 제작자는 동일한 유형의 광원 및 VFX에 대해 상이한 휘도 값을 사용할 수 있다. 예는 다음과 같다:

● 물에 비친 태양은 실제 태양보다 더 밝게 생성될 수 있다.

● 양초의 빛은 백열등보다 더 밝게 생성될 수 있다.

● 폭발은 상이한 콘텐츠 제작자가 생성했던 다른 레벨보다 한 게임 레벨에서 더 밝게 생성될 수 있다.

● 달이 발광하지 않더라도, 달은 조명기보다 더 밝게 생성될 수 있다.

최종 결과는 SDR 디스플레이 디바이스에 제시되는 최종 이미지가 일관되지 않고 부자연스러운 휘도 값이 포함되어 있어도 정확하게 보일 수 있지만, 동일한 이미지가 HDR 디스플레이 디바이스에서는 매우 부자연스럽거나 일관되지 않게 보일 수 있다는 것이다.

이러한 문제를 해결하기 위해, 콘텐츠 제작자 및 생산자는 상이한 HDR 디스플레이에서 비디오 게임과 같은 콘텐츠를 검토하는 데 많은 추가 시간을 들여 일관되지 않고 부자연스러운 휘도 값을 식별한다. 일반적으로, 전체 검토 프로세스는 시간이 많이 걸린다. 예를 들어, 비디오 게임의 경우, 콘텐츠 제작자 및 생산자는 대부분의 게임 레벨을 행해야 하거나, 또는 영화의 경우, 대부분의 영화를 시청해야할 것이며, 비디오 게임 또는 영화는 특정 콘텐츠 제작자/생산자가 제공한 이미지가 생성된 이후까지도 전부 완료되지 않을 수도 있다. 이후 비디오 게임이나 영화용으로 생성된 콘텐츠는 상이한 휘도 값으로써 생성될 수 있다. 따라서, 실시예는 이러한 문제를 극복하는 보다 효율적인 HDR 콘텐츠 검토 및 휘도 보정을 가능하게 한다. 이제 예시적인 실시예에 따라 비디오 게임 콘텍스트에서 HDR 콘텐츠 검토 프로세스의 하이 레벨 개요가 논의된다.

HDR 콘텐츠 검토 프로세스는 그래픽 아티스트, 게임 개발자 또는 다른 콘텐츠 제작자가 HDR 콘텐츠를 생성하는 것으로 시작된다. 전형적으로, 콘텐츠 제작자는 HDR 휘도 값으로 렌더링될 장면에서 하나 이상의 대상을 선택하고 런타임에 적용될 휘도 값을 정의한다. 장면에서 HDR 대상 생성이 완료된 후, 새로 생성된 HDR 콘텐츠로 비디오 게임을 실행할 수 있다. 비디오 게임 내의 런타임에, 콘텐츠 생성 중에 정의된 휘도 값을 장면의 HDR 대상에 적용(필요에 따라 추가 시각 효과를 렌더링하는 데 사용할 수도 있음)하여 최종 HDR 게임 이미지(즉, 스크린에 표시되는 최종 이미지)를 렌더링할 수 있다. 자동화된 실시간 HDR 콘텐츠 검토기의 실시예는 최종 HDR 게임 이미지를 수신할 수 있으며 다음과 같이 동작할 수 있다.

일 실시예에서, 최종 HDR 게임 이미지는 적절하게 훈련된 기계 학습 모델에 입력되어 최종 HDR 게임 이미지에서 밝은 영역의 위치, 크기 및 휘도 값을 식별한다. 실시예에서, 동일한 기계 학습 모델은 그러한 밝은 영역을 분류한다. 즉, 모델은 각각의 밝은 영역이 사전식별된 카테고리(예컨대, 불, 태양, 달, 헤드라이트 등)와 관련하여 무엇을 묘사하는지를 결정한다. 그런 다음 자동화된 실시간 HDR 콘텐츠 검토기의 실시예는 각각의 밝은 영역에 대해 결정된 휘도 값을 결정된 분류에 대응하는 사전정의된 휘도 값과 비교할 수 있다. 예를 들어, 일 실시예에서, 다양한 HDR 대상 분류에 대한 사전정의된 휘도 값의 목록이 자동화된 실시간 HDR 콘텐츠 검토기에 제공될 수 있다. 각각의 대상에 대해 결정된 휘도 값과 해당 분류의 대상에 대해 사전정의된 휘도 값 사이의 불일치는 렌더링된 대상이 부자연스럽거나 일관되지 않은 휘도 값을 가질 수 있음을 나타낸다.

실시예는 부자연스럽고 일관되지 않은 HDR 대상에 시각적 표시기가 중첩되어 최종 HDR 게임 이미지가 렌더링될 수 있게 된다. 그 후, 실시예는 HDR 이미지 처리를 중지하고 다음 동작 코스(예를 들어, 대상 휘도 값의 수동 보정)를 결정하기 위해 콘텐츠 제작자에게 제어를 반환할 수 있다. 그러나, 다른 실시예에서, 부자연스럽고 일관되지 않은 HDR 대상의 휘도 값은 HDR 대상 분류에 대응하는 사전정의된 값과 일치하도록 자동으로 조정될 수 있으며, (검토를 위해 그러한 대상에 플래깅하는 시각적 표시기와 함께) 최종 HDR 게임 이미지의 미리보기가 디스플레이에 렌더링된다. 그 후, 콘텐츠 제작자는 HDR 대상의 렌더링된 미리보기를 검사하고 자동 휘도 조정을 수락, 거부 또는 수정해야 하는지를 판정할 수 있다.

실시간 HDR 콘텐츠 검토기의 이들 및 추가 실시예는 다양한 방식으로 구현될 수 있다. 예를 들어, 도 1은 일 실시예에 따른 HDR 휘도 보정기(106)를 포함하는 예시적인 HDR 콘텐츠 검토 시스템(100)을 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 컴퓨팅 디바이스(102) 및 디스플레이 디바이스(108)를 포함한다. 컴퓨팅 디바이스(102)는 휘도 보정기(106)를 포함하는 컴퓨팅 디바이스에서 실행되는 콘텐츠 편집기 도구(104)를 포함한다. 다른 구조적 및 작동 실시예는 도 1의 시스템(100)에 관한 다음 논의에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

실시예의 일반적인 설명은 도 1의 시스템(100) 및 컴퓨팅 디바이스(102)의 콘텍스트에서 아래에 설명된다. 사용자에 의해 작동되는 컴퓨팅 디바이스(102)와 관련하여 설명되었지만, 실시예는 해당 시나리오 또는 컴퓨팅 하드웨어로 제한되지 않음을 이해해야 한다. 예를 들어, 실시예는 그래픽 처리 장치("GPU") 및 다른 유형의 컴퓨팅 하드웨어를 포함하지만 이에 제한되지 않는 다양한 하드웨어 환경에서 반 또는 완전히 자율적으로 동작할 수 있다. 본 명세서에서 실시예의 설명은 흔히 비디오 게임의 콘텍스트에서 처리되는 HDR 이미지 및 비디오의 관점에서 표현되지만, 실시예는 임의의 유형의 HDR 콘텐츠에서 휘도 값을 검토하고 보정하는 데 유용하게 사용될 수 있다는 점에도 유의해야 한다.

시스템(100)의 컴퓨팅 디바이스(102)는 이동식이든 고정식이든 임의의 유형의 컴퓨팅 디바이스, 예컨대, 데스크톱 컴퓨터, 서버, 비디오 게임 콘솔 등을 포함할 수 있다. 컴퓨팅 디바이스(102)는 임의의 유형의 모바일 컴퓨팅 디바이스(예를 들어, Microsoft® Surface® 디바이스, PDA(Personal Digital Assistant), 랩톱 컴퓨터, 노트북 컴퓨터, Apple iPad™와 같은 태블릿 컴퓨터, 넷북, 등), 이동 전화(예컨대, 휴대폰, Microsoft Windows® 폰과 같은 스마트폰, Apple iPhone®, Google® Android™ 운영 체제를 구현하는 폰 등), 착용형 컴퓨팅 디바이스(예컨대, Oculus VR, LLC 등의 Oculus Rift®, Google® Glass™와 같은 스마트 안경을 포함하는 헤드 장착형 디바이스), 데스크톱 컴퓨터 또는 PC(개인용 컴퓨터)와 같은 고정 컴퓨팅 디바이스, 게임 콘솔/시스템(예컨대, Microsoft Xbox®, Sony PlayStation®, Nintendo Wii® 또는 Switch® 등) 등일 수 있다.

일 실시예에서, 컴퓨팅 디바이스(102)에서 실행되는 콘텐츠 편집기 도구(104)는 콘텐츠 편집기, 게임 개발자, 또는 다른 자격을 갖춘 직원이 본 명세서에서 전술한 특성의 불일치 휘도 값에 대한 HDR 콘텐츠의 검토를 수행할 수 있게 한다. 일 실시예에서, 콘텐츠 편집기 도구(104)에 포함된 휘도 보정기(106)는 다음의 일반적인 방식으로 부정확한 휘도 값의 수동, 반자동 또는 완자동 검토 및 보정을 가능하게 한다.

초기 문제로서, 검토용 HDR 콘텐츠를 포함하는 비디오 또는 스틸 이미지는 디스플레이 디바이스(108) 상의 표시 및 검토를 위해 컴퓨팅 디바이스(102)의 콘텐츠 편집기 도구(104)에 제공될 수 있다. 예를 들어, HDR 이미지(110)는 로딩되거나 콘텐츠 편집기 도구(104)에 의해 액세스되고, 디스플레이 디바이스(108)에 렌더링될 수 있다. 콘텐츠 편집기 도구(104)의 휘도 보정기(106)에 의해 액세스 가능해지면, HDR 이미지(110)와 같은 HDR 비디오 및/또는 이미지는 아래에서 차례로 논의되는 바와 같이 다음의 일반적인 단계의 동작에 의해 실시예에서 검출되고 보정된 부정확한 휘도 값을 가질 수 있다:

● 밝은 영역 식별 및 분류

● 그러한 밝은 영역마다:

○ 해당 영역의 휘도 값을 결정

○ 결정된 휘도 값을 밝은 영역 분류에 대응하는 사전정의된 휘도 값과 비교

○ 선택적으로: 보정이 필요한 밝은 영역 위에 시각적 표시기를 렌더링

○ 선택적으로: 시각적 표시기를 포함하는 이미지/프레임의 스크린샷과 함께, 휘도 레벨이 부적절한 밝은 영역의 목록을 가진 로그 파일을 기록

○ 밝은 영역에 대해 수동 또는 자동으로 생성된 보정된 휘도 값을 수락

○ 보정된 휘도 값에 따라 밝은 영역 휘도를 수정

도 1의 휘도 보정기(106)의 실시예는 이러한 동작을 수행하기 위해 다양한 방식으로 구성될 수 있다. 예를 들어, 도 2는 휘도 보정기(106)의 실시예를 도시한다. 도 2에 도시된 바와 같이, 휘도 보정기(106)는 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210), 로거(214) 및 저장 구성요소(216)를 포함한다. 휘도 보정기(106)는 다음과 같이 더 상세히 설명된다.

실시예에서, HDR 이미지(110)는 이미지 분류기(204)에 의해 수신된다. 이미지 분류기(204)는 그 후 HDR 이미지(110)와 같은 이미지(비디오를 포함함)에 포함 된 밝은 영역을 식별하고 분류하도록 구성된다. 초기 문제로서, 이미지 분류기(204)의 실시예는 장면에 밝은 영역이 있는지 여부, 그 영역이 어디에 위치하는지, 영역의 크기 및 밝은 영역의 식별(예를 들어, 밝은 영역(112)과 같은 캠프파이어)을 결정해야 한다. 이미지 분류기(204)는 머신 비전(machine vision), 이미지 인식, 또는 이미지에서 대상을 식별하는 다른 알고리즘에 따라 그러한 식별 및 분류를 수행하는 것을 포함하는, 이러한 기능을 수행하기 위해 다양한 방식으로 구성될 수 있다. 이러한 알고리즘의 예는 컨볼루션 신경망, 모양 기반 방법(예컨대, 에지 매칭, 분할 및 정복 검색(divide-and-conquer search), 그레이스케일 매칭, 수용 필드 응답의 히스토그램, 대형 모델 기반), 특징 기반 방법(예컨대, 해석 트리, 포즈 일관성, 포즈 클러스터링, 불변성, 기하학적 해싱, SIFT(scale-invariant feature transform), SURF(speeded up robust features), 유전 알고리즘 등을 포함한다. 아래에서 더 자세히 설명되는 바와 같이, 기계 학습("ML") 알고리즘은 이러한 식별 및 분류 작업에 유용하게 사용될 수 있다. 실시예에서, 이미지 분류기(204)에 포함된 적절하게 훈련된 기계 학습 모델은 검사중인 이미지(예를 들어, HDR 이미지(110))를 제공받을 수 있고, 그들의 위치, 크기 및 분류를 포함하는 밝은 영역(220)의 목록을 생성할 수 있다. 실시예의 예시적인 HDR 및 SDR 이미지가 이제 간략하게 논의될 것이고, 도 2에 도시된 바와 같은 휘도 보정기(106)에 대한 논의가 아래에서 계속될 것이다.

예를 들어, 도 3은 동일한 분류를 갖는 콘텐츠 아이템(302 및 304)을 포함하는 예시적인 HDR 콘텐츠 이미지(300)를 도시한다. 특히, 콘텐츠 아이템(302 및 304)은 각각 콘텐츠 이미지(300)에서 밝은 영역이고 둘 다 "불"로 분류된다. 도 3에 도시된 바와 같이, 콘텐츠 항목(302)은 500 니트의 평균 불 HDR 명도를 갖도록 생성되었다. 반면에 콘텐츠 항목(304)은 1000 니트의 평균 불 HDR 명도를 갖도록 상이한 콘텐츠 제작자에 의해 생성되었다. 앞에서 논의된 바와 같이, 이러한 HDR 명도 값은 HDR 지원 디스플레이 디바이스에 기본적으로 표시될 때 콘텐츠의 각 부분에 대해 의도된 명도를 나타낸다. 500 니트와 1000 니트의 명도 차이가 너무 커서 HDR 디스플레이 디바이스에서 인간 뷰어가 이 차이를 알아차릴 수 있을 것이다. 전술한 바와 같이 각 콘텐츠 제작자의 SDR 디스플레이 사용으로 인해 이미지에서 콘텐츠 명도의 이러한 불일치가 발생할 수 있다.

예를 들어, 예시적인 실시예에 따라, SDR 톤 매핑이 적용된 후 SDR 이미지(400)로의 도 3의 예시적인 HDR 콘텐츠 이미지(300)의 SDR 렌더링을 도시하는 도 4를 고려한다. SDR 디스플레이 디바이스가 HDR 이미지에서 인코딩될 수있는 휘도 값의 전체 범위를 물리적으로 표시할 수 없으므로, 이미지의 휘도 값은 SDR 디스플레이 디바이스의 동적 범위에 맞게 스케일링되어야 한다. 이 스케일링 프로세스는일반적으로 톤 매핑으로 지칭된다. 도 4의 스케일링된 HDR 콘텐츠(402 및 404)는 SDR 톤 매핑 후 및 SDR 디스플레이 디바이스에 표시될 때 콘텐츠 아이템(302 및 304)이 어떤 모습일 수 있는지를 도시한다. 톤 매핑된 SDR 콘텐츠(402 및 404)는 실제로 시각적으로 다른 휘도 값을 갖지만(즉, SDR 콘텐츠(402)가 SDR 콘텐츠(404)보다 약간 덜 밝게 나타남), 차이는 SDR 디스플레이에서 눈에 띌 정도로 충분히 크지 않을 수 있거나, 동일한 분류의 콘텐츠에 대한 차이의 허용 가능한 범위 내에 있을 수 있다. 이러한 이유로, 콘텐츠 항목(302 및 304)의 제작자 중 하나 또는 둘 모두에게 휘도 값이 만족스럽고/거나 기본적으로 동일할 정도로 서로 충분히 비슷하게 보일 수 있다. 그러나, HDR 콘텐츠 항목(302, 304)이 각각 서로 실질적으로 다르게 나타나는 도 3에 도시된 바와 같이 표시될 때 문제가 발생한다.

이제 도 2에 도시된 휘도 보정기(106)에 대한 논의로 돌아가면, 이미지 분류기(204)가 HDR 이미지(110)에서 밝은 영역을 식별 및 분류하고, 각각의 밝은 영역의 (예를 들어, 가장 좌측 상단 픽셀 좌표, 중심 픽셀 좌표 등에 의한) 위치, 크기(예컨대, 픽셀 좌표의 2차원 배열로 식별되는 직사각형 또는 다른 모양) 및 (예컨대, 분류 이름, 분류 식별자 등에 의한) 분류를 나타내는 밝은 영역(220)으로 지칭되는 밝은 영역의 목록을 생성하도록 구성되어 있음을 상기하시오.

실시예에서, 밝은 영역(220)의 목록은 휘도 분석기(206)에 의해 수신된다. 밝은 영역(220)에 의해 표시된 각각의 밝은 영역은 휘도 분석기(206)에 의해 분석되어 밝은 영역에 대한 전체 휘도 값을 결정한다. 휘도 분석기(206)는 색상 값의 히스토그램 분석, 단색 값에 대한 연산, 평균 값 등을 포함하는 다양한 방식으로 이러한 분석을 수행하도록 구성될 수 있다. 예를 들어, 실시예는 밝은 영역의 피크 RGB(적-녹-청) 값(즉, R, G 또는 B 값 중 가장 큰 값) 또는 피크 평균값(즉, 픽셀마다 R+B+G/3 중 가장 큰 값)에 따라 전체 휘도 값을 설정할 수 있다. 이와 달리, 실시예는 밝은 영역의 휘도 값의 히스토그램을 플롯화하고 그 영역에 대한 휘도 값을 히스토그램의 중간값이 되도록 설정할 수 있다. 다른 실시예에서, 명도에 대한 인간 지각의 비선형성을 설명하기 위해 지각 조정 인자가 적용될 수도 있다.

각각의 밝은 영역에 대한 휘도 값을 결정한 후, 휘도 분석기(206)의 실시예는 각각의 결정된 휘도 값을 밝은 영역의 목록(220)에 반영된 밝은 영역 분류에 대응하는 사전정의된 휘도 값과 비교하도록 구성된다. 예를 들어, HDR 콘텐츠에서 접할 수 있는 밝은 영역의 각 등급에 대해 휘도 값이 사전정의될 수 있다. 특히, 게임 디자이너 또는 콘텐츠 편집자는 예를 들어, 불, 폭발 또는 태양에 대한 휘도 값을 각각 1000, 3000 또는 10000 니트로 사전정의할 수 있다. 따라서, 휘도 보정기(106)의 실시예는 HDR 이미지(110)의 밝은 영역(112)을 검출하고, 밝은 영역(112)을 불로 분류하며, 이의 휘도 값을 500 니트로 결정할 수 있다. 이 예에서, 500 니트의 값을 사전정의된 1000 니트의 값과 비교할 때, 휘도 분석기(206)의 실시예는 보정을 위해 그 밝은 영역에 대한 휘도를 결정한다. 밝은 영역(220)의 각각의 검출되고 분류된 밝은 영역에 대해 전술한 비교를 수행한 후, 휘도 분석기(206)는 이의 위치 및 치수와 함께 부정확한 밝은 영역(222)으로서 보정이 필요한 밝은 영역의 목록을 생성하도록 구성된다.

보정이 필요한 밝은 영역을 결정한 후, 실시예는 다수의 방식으로 보정을 수행할 수 있다. 예를 들어, 일 실시예에서, 이미지 렌더러(208)는 부정확한 밝은 영역(222)을 수신하고, 디스플레이 스크린에서(예를 들어, 도 1의 디스플레이 디바이스(108)에서), 밝은 영역 위에 (예를 들어, 도 1의 밝은 영역(112) 위에) 시각화를 렌더링하여 콘텐츠 제작자 또는 콘텐츠 편집자가 검토할 그러한 영역을 플래깅한다. 그러한 시각화는 밝은 영역 위의 반투명 강조 표시, 밝은 영역 주위에 적절히 채색된 경계 상자 등을 포함한 임의의 적합한 형태를 가질 수 있다. 일 실시예에서, 플래깅된 밝은 영역 위에 시각화를 렌더링하는 것에 더하여, 실시예는 임시 또는 제안된 휘도 조정을 밝은 영역에 자동으로 적용할 수도 있다. 이와 달리, 이미지 렌더러(208)는 제안된 휘도 값(224)을 휘도 조정기(210)에 제공하도록 구성될 수 있다.

실시예에서, 휘도 조정기(210)는 휘도 보정기(106)의 구성에 따라 상이한 방식으로 동작하도록 구성될 수 있다. 예를 들어, 휘도 조정기(210)는 각각의 밝은 영역에 대한 보정을 포함하는 보정된 이미지(226)를 생성하기 위해 임시 또는 제안된 휘도 값을 밝은 영역에 자동으로 및 영구적으로 적용하도록 구성될 수 있다. 이와 달리, 휘도 조정기(210)는 이전에 적용된 임시/제안된 휘도 값의 검토를 허용하고, 그러한 변경이 거부되거나 수락되는 것을 허용하도록 구성될 수 있다. 후자의 대안은 이미지 분류기(204)의 기계 학습 모델이 부정확한 휘도 값을 갖는 것으로 이미지의 일부를 잘못 식별하는 것과 같은 다양한 이유로, (예를 들어, 제안된 휘도 조정이 물리적으로 사실적인 휘도 값을 기반으로 하지만, 검토중인 HDR 이미지가 "만화"처럼 보이도록 의도된 경우) 이러한 임시/제안된 휘도 값이 왜 수락되어서는 안 되는지의 예술적 이유 등으로 수행될 수 있다. 휘도 조정기(210)의 다른 실시예에서, 제안된 휘도 값(224)은 미리보기로서 HDR 이미지에 적용되지 않을 수 있으며, 대신 콘텐츠 편집자 또는 개발자로부터 수동으로 입력된 휘도 보정 값을 수락할 때 제안된 휘도 값으로서 콘텐츠 편집자에 제시될 수 있다. 휘도 값을 자동으로 보정하든 아니면 수동 입력을 통해 보정하든, 휘도 조정기(210)는 보정된 휘도 값을 적용하여 보정된 이미지(226)를 렌더링하도록 구성된다.

다른 실시예에서, 휘도 보정기(106)는 자동화된 이미지 테스트 도구로서 동작하도록 구성될 수 있다. 이러한 실시예에서, 검토용 HDR 이미지는 휘도 조정기(106)에 대량으로 제공될 수 있으며, 각각의 이미지는 전술한 바와 같이 이미지 분류기(204)에 의해 처리되어 휘도 분석기(206)로의 입력을 위한 밝은 영역(220)의 목록을 생성하고, 이는 차례로 부정확한 밝은 영역(222)을 결정한다. 그러나, 이 실시예에서, 부정확한 밝은 영역(222)은 전술한 방식으로 이미지의 상호작용 검토를 위해 이미지 렌더러(208)에 제공되거나 제공되지 않을 수 있다. 또한, 휘도 분석기(206)는 보정이 필요한 그러한 밝은 영역의 로그(218)를 생성할 수 있다. 로그(218)는 각각의 밝은 영역에 관한 데이터 및 메타데이터(예를 들어, 위치, 크기, 분류, 결정된 명도)를 포함할 수 있고, 전술한 바와 같이 시각화를 갖는 이미지 렌더러(208)의 출력의 스크린샷을 포함할 수 있다. 일 실시예에서, 로거(214)는 휘도 분석기(206)로부터 로그(218)를 수신하고, 저장 구성요소(216)에 저장할 프로세스 로그(218)를 수신하도록 구성될 수 있다.

휘도 보정기(106)의 실시예에 대한 상기 설명은 다양한 유형의 목록의 관점에서 표현되었지만, 실시예는 리터럴 목록을 생성하거나 저장할 필요가 없으며, 각각의 전술한 목록과 관련하여 설명된 데이터를 나타내는 다른 유형의 데이터 구조 또는 수단이 이용될 수 있음을 이해해야 한다. 실시예에서, 예를 들어, 전술한 목록은 메모리에 있든 몇몇 방식으로 저장되든 임의의 수의 상이한 데이터 구조를 포함할 수 있다. 이러한 데이터 구조는 예를 들어, 어레이, 연관 어레이, 연결 목록, 레코드, 객체(객체 메소드를 포함함), 스택, 큐 또는 그래프를 포함할 수 있다.

휘도 보정기(106)는 그 기능을 수행하기 위해 다양한 방식으로 동작할 수 있다. 예를 들어, 도 5는 일 실시예에 따라, HDR 콘텐츠를 검토하고 보정하는 방법의 흐름도(500)를 도시한다. 도 5는 도 1 및 도 4를 계속 참조하여 설명된다. 그러나, 다른 구조적 및 동작 실시예는 흐름도(500) 및 도 1 및 도 4의 휘도 보정기(106)에 관한 다음 논의에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

도 5에 도시된 바와 같이, 흐름도(500)는 단계(502)에서 시작한다. 단계(502)에서, 이미지에서, 밝은 영역인 그 이미지의 일부가 식별된다. 예를 들어, 계속해서 도 2를 참조하면, 이미지 분류기(204)는 HDR 이미지(110)와 같은 이미지에서 이미지의 일부인 하나 이상의 밝은 영역을 식별할 수 있다. 위에서 설명된 바와 같이, 이미지 분류기(204)는 (본 명세서에서 아래에 더 상세히 논의되는) 적합하게 훈련된 기계 학습 모델을 사용하여 그러한 식별을 수행하도록 구성될 수 있다. 예를 들어, 이미지 분류기(204)는 이미지(300)에서 밝은 영역(302 및 304)을 식별할 수 있다.

단계(504)에서, 식별된 밝은 영역은 사전결정된 분류 세트의 할당된 분류로 분류된다. 예를 들어, 계속해서 도 2를 참조하면, 이미지 분류기(204)는 위에서 논의되고 아래에서 더 상세히 논의되는 바와 같이 HDR 이미지(110)에서 식별된 밝은 영역의 분류를 수행하도록 구성될 수 있다.

도 5의 흐름도(500)는 단계(506)로 계속된다. 단계(506)에서, 밝은 영역의 휘도 값이 결정된다. 예를 들어, 도 2의 이미지 분류기(204)는 휘도 분석기(206)에 밝은 영역(220) 내의 밝은 영역의 목록(그들의 위치, 크기 및 분류를 포함함)을 제공할 수 있다. 앞에서 논의된 바와 같이, 휘도 분석기(206)는 각각의 식별되고 분류된 밝은 영역에 대한 휘도 값을 결정하도록 구성된다.

단계(508)에서, 결정된 휘도 값은 할당된 분류에 대응하는 사전정의된 휘도 값과 비교된다. 예를 들어, 도 2를 참조하여 앞에서 논의된 바와 같이, 휘도 분석기(206)는 밝은 영역의 결정된 휘도 값을 할당된 분류에 대응하는 사전정의된 휘도 값과 비교하도록 구성될 수 있다. 즉, 앞에서 논의된 예에 따라, 휘도 분석기(206)는 "불"에 대해 결정된 휘도 값을 사전정의된 1000 니트의 값과 비교하도록 구성될 수 있다. 도 2에 도시된 바와 같이, 휘도 분석기(206)는 식별된 밝은 영역의 분류를 위한 사전결정된 휘도 값과 일치하지 않는(예를 들어, 정확하게 일치하지 않거나 또는 사전결정된 임계값 내) 휘도 값을 갖는 식별된 밝은 영역을 포함하는 부정확한 밝은 영역(222)을 생성한다.

도 5의 흐름도(500)는 단계(510)로 계속된다. 단계(510)에서, 결정된 휘도 값은 위 비교에 기초하여 밝은 영역에 대한 조정된 휘도 값으로 조정된다. 예를 들어, 도 2를 참조하여 앞에서 논의된 바와 같이, 휘도 조정기(210)는 휘도 분석기(206)에 의한 보정을 필요로 함에 따라 부정확한 밝은 영역(222)에서 식별된 밝은 영역의 휘도 값을 자동으로 또는 수동 지원으로 조정하도록 구성된다.

도 5의 흐름도(500)는 단계(512)로 종료된다. 단계(512)에서, 조정된 휘도 값을 갖는 밝은 영역이 있는 이미지가 렌더링된다. 예를 들어, 계속해서 도 2를 참조하면, 휘도 조정기(210)는 보정된 이미지(226)를 생성하기 위해 필요한 휘도 조정을 적용하도록 구성될 수 있으며, 이는 차례로 렌더링을 위해 이미지 렌더러(208)에 제공될 수 있다.

흐름도(500)의 단계(502-512)에 대한 전술한 논의에서, 때때로 이러한 단계가 상이한 순서로 또는 심지어 다른 단계와 동시에 수행될 수 있다는 것을 이해해야 한다. 예를 들어, 단계(502 및 504)의 식별 및 분류는 각각 동일한 기계 학습 모델에 의해 동시에 수행될 수 있다. 다른 동작 실시예는 관련 기술(들)의 숙련자에게 명백할 것이다. 또한, 휘도 보정기(106)의 동작에 대한 전술한 일반적인 설명은 예시용으로만 제공되고, 휘도 보정기(106)의 실시예는 상이한 하드웨어 및/또는 소프트웨어를 포함할 수 있고, 전술한 것과 상이한 방식으로 동작할 수 있음에도 유의해야 한다. 실제로, 흐름도(500)의 단계는 다양한 방식으로 수행될 수 있다.

예를 들어, 도 6은 일 실시예에 따라, 도 5의 흐름도(500)에 도시된 HDR 콘텐츠를 검토하고 보정하는 방법에 대한 개선의 흐름도를 도시한다. 도 6은 도 1, 4 및 5를 계속 참조하여 설명된다. 그러나, 다른 구조적 및 동작 실시예는 흐름도(600) 및 도 1, 4 및 5에 관한 다음 논의에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

도 6에 도시된 바와 같이, 흐름도(600)는 단계(602)에서 시작한다. 단계(602)에서, 결정된 휘도 값을 조정된 휘도 값으로 조정하기 전에, 결정된 휘도 값은 사전정의된 휘도 값과의 차이에 기초하여 부정확한 것으로 결정된다. 예를 들어, 계속해서 도 2를 참조하면, 분석기(206)는 단계(506)에서 결정된 휘도 값을 할당된 분류에 대응하는 사전정의된 휘도 값과 비교하도록 구성된다. 일 실시예에서, 휘도 분석기(206)는 주어진 밝은 영역에 대해 결정된 휘도 값과 할당된 분류에 대응하는 사전정의된 휘도 값 사이의 차이를 결정하도록 구성될 수 있다. 휘도 분석기(206)는, 예를 들어, 결정된 차이가 절대 또는 백분율 용어로 사전정의된 임계 값을 초과하는 경우, 결정된 차이를 사용하여 연관된 밝은 영역에 대한 휘도 값이 부정확하다고 결정할 수 있다.

단계(604)에서, 결정된 휘도 값을 조정하는 프로세스에서 식별된 밝은 영역에 대응하는 위치의 이미지 상에 시각적 표시기가 렌더링된다. 예를 들어, 계속해서 도 2를 참조하면, 이미지 렌더러(208)는 휘도 분석기(206)에 의해 식별된 부정확한 밝은 영역(222)에 대응하는 위치에서 시각적 표시기를 렌더링하도록 구성된다. 이러한 시각적 표시기는 예를 들어, 밝은 영역 주위의 경계 상자 또는 보정이 필요한 곳을 나타내는 몇몇 다른 수단을 포함할 수 있다.

흐름도(600)는 단계(606)에서 종료된다. 단계(606)에서, 결정된 휘도 값을 조정하는 프로세스에서 조정된 휘도 값으로서 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값(즉, 그래픽 아티스트, 게임 개발자, 다른 콘텐츠 제작자 또는 다른 사람으로부터 사용자 인터페이스에 대한 수동 입력을 통해 수락된 휘도 값)이 수신된다. 예를 들어, 도 2와 관련하여 앞에서 상세히 논의된 바와 같이, 휘도 보정기(106)의 휘도 조정기(210)는 각각의 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값 또는 자동으로 생성된 보정된 휘도 값을 수락하도록 구성된다. 일 실시예에서, 자동으로 생성된 보정된 휘도 값은 제안된 이미지 변경을 미리 보는 데 사용될 수 있으며, 그 다음에 이는 수동으로 수락, 거부 또는 변경될 수 있다.

도 7은 일 실시예에 따라, 식별된 밝은 영역에 대한 조정된 휘도 값을 자동으로 결정하는 방법의 흐름도(700)를 도시한다. 도 7은 도 1, 4 및 5를 계속 참조하여 설명된다. 그러나, 다른 구조적 및 동작 실시예는 흐름도(700) 및 도 1, 4 및 5에 관한 다음 논의에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

도 7의 흐름도(700)는 단계(702)를 포함한다. 단계(702)에서, 결정된 휘도 값을 조정된 휘도 값으로 조정하기 전에, 식별된 밝은 영역에 대한 조정된 휘도 값이 자동으로 결정된다. 예를 들어, 도 6의 흐름도(600)와 관련하여 위에서 상세히 논의된 바와 같이, 휘도 보정기(106)의 휘도 조정기(210)는 각각의 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값 또는 자동으로 생성된 보정된 휘도 값을 수락하도록 구성된다. 일 실시예에서, 자동으로 생성된 보정된 휘도 값은 제안된 이미지 변경을 미리 보는 데 사용될 수 있으며, 그 다음에 이는 수동으로 수락, 거부 또는 변경될 수 있다. 일 실시예에서, 자동으로 생성된 보정된 휘도 값이 생성되어 휘도 분석기(206)에 의해 사용되었던 사전정의된 휘도 값을 일치시켜서 밝은 영역이 보정(즉, 분류와 연관된 휘도 값)을 필요로 했다는 것을 결정할 수 있다.

전술한 바와 같이, 이미지 분류기(204)는 밝은 영역을 식별하고 분류하기 위해 다양한 알고리즘 중 임의의 것을 사용할 수 있다. 예를 들어, 도 8은 일 실시예에 따라, 기계 학습 모델이 밝은 영역을 식별하고 분류하기 위한 방법의 흐름도(800)를 도시한다. 도 8은 계속 도 1, 4 및 5를 참조하여 설명된다. 그러나, 다른 구조적 및 동작 실시예는 흐름도(800) 및 도 1, 4 및 5에 관한 다음 논의에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

도 8의 흐름도(800)는 단계(802)를 포함한다. 단계(802)에서, 표시된 이미지는 밝은 영역의 위치 및 크기를 식별하기 위해 기계 학습 모델에 제공되고, 기계 학습 모델은 밝은 영역을 식별하도록 훈련된다. 예를 들어, 계속해서 도 2를 참조하면, 이미지 분류기(204)는 본 명세서의 아래에서 더 상세히 논의되는 바와 같이 적합하게 훈련된 기계 학습 모델의 사용을 통해 HDR 이미지(110) 내의 밝은 영역의 위치 및 크기를 식별하도록 구성될 수 있다.

이미지 분류기(204)가 사용하기에 적합한 훈련된 기계 학습 모델은 다양한 방식으로 생성될 수 있다. 예를 들어, 이러한 모델을 생성하기 위해, TensorFlow™와 같은 기계 학습(ML) 애플리케이션에서 비디오 게임이 실행되어 비디오 게임의 비디오 스트림 (또는 비디오 스트림의 프레임의 몇몇 서브세트)을 포함하는 훈련 데이터를 생성할 수 있다. 이와 달리, HDR 콘텐츠를 포함하는 영화 또는 다른 콘텐츠는 기계 학습 모델을 훈련시키기 위해 ML 애플리케이션 내에서 재생될 수 있다. 훈련 단계는 라이브 게임 플레이 중에 또는 그로부터 발췌되거나 제공된 스틸 이미지에 기초하여 이미지 내의 밝은 영역을 식별하고 분류할 수 있는 기계 학습 모델을 생성한다. 이와 달리, 머신 러닝 모델은 비디오 게임으로부터 발췌되거나 또는 다양한 위치, 휘도 강도 및 분류의 밝은 영역을 포함하는 스틸 이미지에 대해 훈련될 수 있다.

ML 애플리케이션에 제공되는 비디오 스트림 및/또는 스틸 이미지는 전형적으로 각각의 프레임 또는 이미지에서 관심있는 영역(즉, ML 모델이 훈련되면 검출하고 분류할 수 있기를 원하는 HDR 콘텐츠의 등급)을 식별하는 다른 데이터 또는 메타데이터("훈련 표시")와 함께 제공된다. 예를 들어, 훈련 표시는 각각의 이미지/프레임 내에서 태양, 달, 불, 폭발, 반사 하이라이트, 헤드라이트, 테일라이트, 번호판 등과 같은 광원의 위치, 강도 및 분류를 식별할 수 있다. 요컨대, 상이한 유형의 대상에 대한 광원의 반사를 포함하는 게임 내의 모든 다양한 유형의 광원이 훈련 세트에 포함되어야 한다. 특정 게임 시나리오에 중요하다고 판단되는 이들 또는 다른 광원과 같은 광원은 예컨대, (예컨대, 사용자가 대상의 위치를 점으로 표시하거나 대상 주위에 상자를 그리는 등에 의해) 비디오 또는 이미지의 프레임에 위치를 표시함으로써 콘텐츠 제작자/게임 개발자 사용자에 의해 (또는 자동으로) 훈련 단계 동안 플래깅될 수 있다.

일 실시예에서, ML 애플리케이션은 기계 언어 모델을 훈련시키기 위해 대응하는 훈련 표시와 함께 훈련 비디오 및/또는 스틸 이미지를 수신하고 처리하도록 구성될 수 있다. ML 애플리케이션은 지도 벡터 머신(SVM), 선형 회귀, 로지스틱 회귀, 나이브 베이즈(naive Bayes), 선형 판별 분석, 의사결정 트리, k-최근접 이웃 알고리즘, 신경망 등과 같은 지도 ML 모델 생성 알고리즘을 포함하는 임의의 적합한 기술을 사용하여 모델을 생성할 수 있다. 일 실시예에서, 생성된 모델은 특정 등급의 밝은 영역이 비디오 프레임에서 식별되는지 또는 스틸 이미지에서 식별되는지를 나타내는 신뢰 레벨을 제공할 수 있다.

적합하게 훈련된 ML 모델을 획득한 후, 최종 HDR 게임 이미지에서 밝은 영역을 검출하고 분류하도록 (ML 모델을 통합하는) 이미지 분류기(204)의 실시예가 개발중인 장면, 비디오 또는 스틸 이미지(예컨대, HDR 이미지(110))와 함께 모델에 제공된다. 일 실시예에서, 그리고 앞에서 논의된 바와 같이, 이러한 검출되고 분류된 밝은 영역 전부의 목록(220)(밝은 영역의 분류(예를 들어, 불 대 태양 대 헤드라이트 등), 위치 및 크기에 관한 세부사항을 포함함)이 휘도 분석기(206)에 제공될 수 있다.

도 9는 일 실시예에 따라, 기계 학습 모델에 의해 식별된 밝은 영역을 분류하는 방법의 흐름도(900)를 도시한다. 도 9는 계속해서 도 1, 4 및 5를 참조하여 설명된다. 그러나, 다른 구조적 및 동작 실시예는 흐름도(900) 및 도 1, 4 및 5에 관한 다음 논의에 기초하여 관련 기술(들)의 숙련자에게 명백할 것이다.

도 9의 흐름도(900)는 단계(902)를 포함한다. 단계(902)에서, 식별된 밝은 영역은 기계 학습 모델에 의해 분류된다. 예를 들어, 바로 앞에서 논의된 바와 같이, 이미지 분류기(204)는 밝은 영역의 위치 및 크기의 식별을 수행할뿐만 아니라 유형(즉, 불 대 태양 대 헤드라이트 등)에 따라 그러한 영역을 분류하기 위해 적합하게 훈련된 기계 학습 모델을 통합할 수 있다.

III. 예시적인 컴퓨터 시스템 구현예

콘텐츠 편집기 도구(104), 휘도 보정기(106), 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210), 로거(214) 및 흐름도(500, 600, 700, 800 및/또는 900)는 하드웨어 또는 소프트웨어 및/또는 펌웨어와 결합된 하드웨어로 구현될 수 있다. 예를 들어, 콘텐츠 편집기 도구(104), 휘도 보정기(106), 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210), 로거(214) 및 흐름도(500, 600, 700, 800 및/또는 900)는 하나 이상의 프로세서에서 실행되고 컴퓨터 판독가능 저장 매체에 저장되도록 구성된 컴퓨터 프로그램 코드/명령어로서 구현될 수 있다. 이와 달리, 콘텐츠 편집기 도구(104), 휘도 보정기(106), 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210), 로거(214) 및 흐름도(500, 600, 700, 800 및/또는 900)는 하드웨어 로직/전기 회로로서 구현될 수 있다.

예를 들어, 일 실시예에서, 콘텐츠 편집기 도구(104), 휘도 보정기(106), 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210), 로거(214) 및 흐름도(500, 600, 700, 800 및/또는 900) 중 임의의 조합으로 하나 이상은 SoC에서 함께 구현될 수 있다. SoC는 프로세서(예컨대, 중앙 처리 장치(CPU), 마이크로제어기, 마이크로프로세서, 디지털 신호 프로세서(DSP) 등), 메모리, 하나 이상의 통신 인터페이스 및/또는 추가 회로 중 하나 이상을 포함하는 집적 회로 칩을 포함할 수 있고, 선택적으로 수신된 프로그램 코드를 실행하고/하거나 기능을 수행하는 내장형 펌웨어를 포함할 수 있다.

도 10은 실시예가 구현될 수 있는 컴퓨팅 디바이스(1000)의 예시적인 구현을 도시한다. 예를 들어, 콘텐츠 편집기 도구(104), 휘도 보정기(106), 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210) 및 로거(214)는 각각 컴퓨팅 디바이스(1000)의 하나 이상의 특징 및/또는 대안적인 특징을 포함하는 고정 또는 이동 컴퓨터 실시예의 컴퓨팅 디바이스(1000)와 유사한 하나 이상의 컴퓨팅 디바이스에서 구현될 수 있다. 본 명세서에 제공된 컴퓨팅 디바이스(1000)의 설명은 예시용으로 제공되며 제한하려는 것은 아니다. 실시예는 관련 기술(들)의 숙련자에게 알려진 바와 같이 추가 유형의 컴퓨터 시스템에서 구현될 수 있다.

도 10에 도시된 바와 같이, 컴퓨팅 디바이스(1000)는 프로세서 회로(1002)로 지칭되는 하나 이상의 프로세서, 시스템 메모리(1004) 및 시스템 메모리(1004)를 포함하는 다양한 시스템 구성요소를 프로세서 회로(1002)에 연결하는 버스(1006)를 포함한다. 프로세서 회로(1002)는 하나 이상의 물리적 하드웨어 전기 회로 디바이스 요소 및/또는 집적 회로 디바이스(반도체 재료 칩 또는 다이)에서 중앙 처리 장치(CPU), 마이크로제어기, 마이크로프로세서 및/또는 다른 물리적 하드웨어 프로세서 회로로서 구현된 전기 및/또는 광학 회로이다. 프로세서 회로(1002)는 운영 체제(1030)의 프로그램 코드, 애플리케이션 프로그램(1032), 다른 프로그램(1034) 등과 같은 컴퓨터 판독가능 매체에 저장된 프로그램 코드를 실행할 수 있다. 버스(1006)는 메모리 버스 또는 메모리 제어기, 주변 버스, 가속 그래픽 포트 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 프로세서 또는 로컬 버스를 포함하는 임의의 여러 유형의 버스 구조 중 하나 이상을 나타낸다. 시스템 메모리(1004)는 판독 전용 메모리(ROM)(1008) 및 랜덤 액세스 메모리(RAM)(1010)를 포함한다. 기본 입력/출력 시스템(1012)(BIOS)은 ROM(1008)에 저장된다.

컴퓨팅 디바이스(1000)는 또한 다음 드라이브 중 하나 이상을 갖는다: 하드 디스크로부터 판독하고 이에 기록하기 위한 하드 디스크 드라이브(1014), 착탈식 자기 디스크(1018)로부터 판독하거나 이에 기록하기 위한 자기 디스크 드라이브(1016), 및 CD ROM, DVD ROM 또는 다른 광학 매체와 같은 착탈식 광학 디스크(1022)로부터 판독하거나 이에 기록하기 위한 광학 디스크 드라이브(1020). 하드 디스크 드라이브(1014), 자기 디스크 드라이브(1016) 및 광학 디스크 드라이브(1020)는 각각 하드 디스크 드라이브 인터페이스(1024), 자기 디스크 드라이브 인터페이스(1026) 및 광학 드라이브 인터페이스(1028)에 의해 버스(1006)에 연결된다. 드라이브 및 관련 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터용 다른 데이터의 비휘발성 저장 장치를 제공한다. 하드 디스크, 착탈식 자기 디스크 및 착탈식 광학 디스크가 설명되지만, 플래시 메모리 카드, 디지털 비디오 디스크, RAM, ROM 및 다른 하드웨어 저장 매체와 같은 다른 유형의 하드웨어 기반 컴퓨터 판독가능 저장 매체가 데이터를 저장하는 데 사용될 수 있다.

다수의 프로그램 모듈이 하드 디스크, 자기 디스크, 광학 디스크, ROM 또는 RAM에 저장될 수 있다. 이들 프로그램은 운영 체제(1030), 하나 이상의 애플리케이션 프로그램(1032), 다른 프로그램(1034) 및 프로그램 데이터(1036)를 포함한다. 애플리케이션 프로그램(1032) 또는 다른 프로그램(1034)은 예를 들어, 콘텐츠 편집기 도구(104), 휘도 보정기(106), 이미지 분류기(204), 휘도 분석기(206), 이미지 렌더러(208), 휘도 조정기(210), 로거(214) 및 흐름도(500, 600, 700, 800 및/또는 900(흐름도(500, 600, 700, 800 및/또는 900)의 임의의 적합한 단계를 포함함) 및/또는 본 명세서에 설명된 추가 실시예를 구현하기 위한 컴퓨터 프로그램 로직(예를 들어, 컴퓨터 프로그램 코드 또는 명령어)을 포함할 수 있다.

사용자는 키보드(1038) 및 포인팅 디바이스(1040)와 같은 입력 디바이스를 통해 컴퓨팅 디바이스(1000)에 커맨드 및 정보를 입력할 수 있다. 다른 입력 디바이스(도시 생략)는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 터치 스크린 및/또는 터치 패드, 음성 입력을 수신하는 음성 인식 시스템, 제스처 입력을 수신하는 제스처 인식 시스템 등을 포함할 수 있다. 이들 및 다른 입력 디바이스는 흔히 버스(1006)에 연결된 직렬 포트 인터페이스(1042)를 통해 프로세서 회로(1002)에 연결되지만, 병렬 포트, 게임 포트 또는 범용 직렬 버스(USB)와 같은 다른 인터페이스에 의해 연결될 수 있다.

디스플레이 스크린(1044)도 비디오 어댑터(1046)와 같은 인터페이스를 통해 버스(1006)에 연결된다. 디스플레이 스크린(1044)은 컴퓨팅 디바이스(1000)의 외부에 있거나 컴퓨팅 디바이스(1000) 내에 통합될 수 있다. 디스플레이 스크린(1044)은 정보를 표시할 수 있을뿐만 아니라, (예를 들어, 터치, 손가락 제스처, 가상 키보드 등에 의해) 사용자 커맨드 및/또는 다른 정보를 수신하기 위한 사용자 인터페이스이기도 하다. 디스플레이 스크린(1044)에 더하여, 컴퓨팅 디바이스(1000)는 스피커 및 프린터와 같은 다른 주변 출력 디바이스(도시 생략)를 포함할 수 있다.

컴퓨팅 디바이스(1000)는 어댑터 또는 네트워크 인터페이스(1050), 모뎀(1052), 또는 네트워크를 통해 통신을 수립하는 다른 수단을 통해 네트워크(1048)(예를 들어, 인터넷)에 연결된다. 내부 또는 외부일 수 있는 모뎀(1052)은도 10에 도시된 바와 같이 직렬 포트 인터페이스(1042)를 통해 버스(1006)에 연결될 수 있거나, 또는 병렬 인터페이스를 포함하는 다른 인터페이스 유형을 사용하여 버스(1006)에 연결될 수 있다.

본 명세서에서 사용되는 "컴퓨터 프로그램 매체", "컴퓨터 판독가능 매체" 및 "컴퓨터 판독가능 저장 매체"라는 용어는 하드 디스크 드라이브(1014)와 연관된 하드 디스크, 착탈식 자기 디스크(1018), 착탈식 광학 디스크(1022), RAM, ROM, 플래시 메모리 카드, 디지털 비디오 디스크, zip 디스크, MEM, 나노기술 기반 저장 디바이스 및 추가 유형의 물리적/유형의 하드웨어 저장 매체와 같은 다른 물리적 하드웨어 매체와 같은 물리적 하드웨어 매체를 지칭하는 데 사용된다. 이러한 컴퓨터 판독가능 저장 매체는 통신 매체와 구별되고 이와 중복되지 않는다(통신 매체를 포함하지 않음). 통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 반송파와 같은 변조된 데이터 신호로 구현한다. 용어 "변조 된 데이터 신호"는 신호에 정보를 인코딩하는 방식으로 설정되거나 변경된 특성 중 하나 이상을 갖는 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체 및 유선 매체를 포함한다. 실시예는 또한 컴퓨터 판독가능 저장 매체에 관한 실시예와 별개이고 중복되지 않는 그러한 통신 매체에 관한 것이다.

전술한 바와 같이, 컴퓨터 프로그램 및 모듈(애플리케이션 프로그램(1032) 및 기타 프로그램(1034)을 포함함)은 하드 디스크, 자기 디스크, 광학 디스크, ROM, RAM 또는 기타 하드웨어 저장 매체에 저장될 수 있다. 이러한 컴퓨터 프로그램은 또한 네트워크 인터페이스(1050), 직렬 포트 인터페이스(1042) 또는 임의의 다른 인터페이스 유형을 통해 수신될 수 있다. 이러한 컴퓨터 프로그램은 애플리케이션에 의해 실행되거나 로딩될 때 컴퓨팅 디바이스(1000)가 본 명세서에 설명된 실시 예의 특징을 구현할 수 있게 한다. 따라서, 이러한 컴퓨터 프로그램은 컴퓨팅 디바이스(1000)의 제어기를 나타낸다.

실시예는 또한 임의의 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 또는 명령어를 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 이러한 컴퓨터 프로그램 제품은 하드 디스크 드라이브, 광학 디스크 드라이브, 메모리 디바이스 패키지, 휴대용 메모리 스틱, 메모리 카드 및 기타 유형의 물리적 저장 하드웨어를 포함한다.

IV. 추가 예시적인 실시예

본 명세서에서 발명이 설명된다. 방법은 이미지에서 이미지의 일부인 밝은 영역을 식별하는 단계와, 식별된 밝은 영역을 사전결정된 분류 세트의 할당된 분류로 분류하는 단계와, 식별된 밝은 영역의 휘도 값을 결정하는 단계와, 결정된 휘도 값을 할당된 분류에 대응하는 사전정의된 휘도 값과 비교하는 단계와, 비교에 기초하여 상기 식별된 밝은 영역의 휘도 값을 조정된 휘도 값으로 조정하는 단계와, 조정된 휘도 값을 갖는 식별된 밝은 영역으로 이미지를 렌더링하는 단계를 포함한다.

전술한 방법의 일 실시예에서, 비교하는 단계는 사전정의된 휘도 값과의 차이에 기초하여 상기 결정된 휘도 값이 부정확하다고 결정하는 단계를 포함하고, 조정하는 단계는, 식별된 밝은 영역에 대응하는 위치에서 이미지 상에 시각적 표시기를 렌더링하는 단계와, 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값을 조정된 휘도 값으로서 수신하는 단계를 더 포함한다.

전술한 방법의 추가 실시예에서, 조정하는 단계는 식별된 밝은 영역에 대한 조정된 휘도 값을 자동으로 결정하는 단계를 포함한다.

전술한 방법의 일 실시예에서, 조정하는 단계는 식별된 밝은 영역의 휘도 값을, 할당된 분류를 갖는 이미지 내의 제2 밝은 영역에 대한 동일한 휘도 값인 조정된 휘도 값으로 조정하는 단계를 포함한다.

전술한 방법의 다른 실시예에서, 렌더링하는 단계는, 표시된 이미지 내의 시각 효과를 설명하기 위해 상기 조정된 휘도 값에 선형 스케일을 적용하여 스케일링되고 조정된 휘도 값을 생성하는 단계와, 스케일링되고 조정된 휘도 값을 갖는 식별된 밝은 영역으로 표시된 이미지를 렌더링하는 단계를 포함한다.

전술한 방법의 추가 실시예에서, 식별하는 단계는 표시된 이미지를 기계 학습 모델에 제공하여 밝은 영역의 위치 및 크기를 식별하는 단계를 포함하고, 기계 학습 모델은 밝은 영역을 식별하도록 훈련된다.

전술한 방법의 일 실시예에서, 분류하는 단계는 식별된 밝은 영역을 기계 학습 모델에 의해 분류하는 단계를 포함한다.

전술한 방법의 다른 실시예에서, 방법은 조정된 휘도 값이 결정되는 이미지 내의 식별된 밝은 영역의 정보 및 적어도 하나의 다른 밝은 영역의 정보를 로깅하는 단계를 더 포함한다.

본 명세서에 시스템이 설명된다. 일 실시예에서, 시스템은 하나 이상의 프로세서 회로와, 하나 이상의 프로세서 회로에 연결되고, 하나 이상의 프로세서 회로에 의해 실행될 컴퓨터 프로그램 로직을 저장하는 하나 이상의 메모리 디바이스를 포함하되, 컴퓨터 프로그램 로직은, 표시된 이미지에서 표시된 이미지의 일부인 밝은 영역을 식별하고, 식별된 밝은 영역을 사전결정된 분류 세트의 할당된 분류로 분류하도록 구성된 이미지 분류기와, 식별된 밝은 영역의 휘도 값을 결정하고, 결정된 휘도 값과 할당된 분류에 대응하는 사전정의된 휘도 값 사이의 비교를 결정하도록 구성된 휘도 분석기와, 조정된 휘도 값을 갖는 식별된 밝은 영역으로 이미지를 렌더링하도록 구성된 이미지 렌더러와, 비교에 기초하여 식별된 밝은 영역의 휘도 값을 조정된 휘도 값으로 조정하도록 구성된 휘도 조정기를 포함하고, 이미지 렌더러는 또한 조정된 휘도 값을 갖는 식별된 밝은 영역으로 표시된 이미지를 렌더링하도록 구성된다.

전술한 시스템의 일 실시예에서, 비교를 결정하는 것은, 사전정의된 휘도 값과의 차이에 기초하여 결정된 휘도 값이 부정확하다고 결정하는 것을 포함하고, 휘도 조정기는 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값을 조정된 휘도 값으로서 수신함으로써 식별된 밝은 영역의 휘도 값을 조정하도록 구성된다.

전술한 시스템의 다른 실시예에서, 휘도 조정기는 식별된 밝은 영역에 대한 조정된 휘도 값을 자동으로 결정하도록 구성된다.

전술한 시스템의 추가 실시예에서, 휘도 조정기는 식별된 밝은 영역의 휘도 값을 할당된 분류를 갖는 이미지 내의 제2 밝은 영역에 대한 동일한 휘도 값인 조정된 휘도 값으로 조정하도록 구성된다.

전술한 시스템의 일 실시예에서, 이미지 렌더러는 또한 표시된 이미지 내의 시각 효과를 설명하기 위해 조정된 휘도 값에 선형 스케일을 적용하여 스케일링되고 조정된 휘도 값을 생성하고, 스케일링되고 조정된 휘도 값을 갖는 식별된 밝은 영역으로 표시된 이미지를 렌더링하도록 구성된다.

전술한 시스템의 다른 실시예에서, 식별하는 것은 표시된 이미지를 기계 학습 모델에 제공하여 밝은 영역의 위치 및 크기를 식별하는 것을 포함하고, 기계 학습 모델은 밝은 영역을 식별하도록 훈련된다.

전술한 시스템의 추가 실시예에서, 분류하는 것은 식별된 밝은 영역을 기계 학습 모델에 의해 분류하는 것을 포함한다.

전술한 시스템의 일 실시예에서, 시스템은 조정된 휘도 값이 결정되는 이미지 내의 식별된 밝은 영역의 정보 및 적어도 하나의 다른 밝은 영역의 정보를 로깅하도록 구성된 로거를 더 포함한다.

컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금 동작을 수행하게 하는 컴퓨터 프로그램 로직이 기록된 컴퓨터 판독가능 메모리 디바이스가 본 명세서에 설명된다. 컴퓨터 프로그램 제품의 일 실시예에서, 동작은 이미지에서 이미지의 일부인 밝은 영역을 식별하는 것과, 식별된 밝은 영역을 사전결정된 분류 세트의 할당된 분류로 분류하는 것과, 식별된 밝은 영역의 휘도 값을 결정하는 것과, 결정된 휘도 값을 할당된 분류에 대응하는 사전정의된 휘도 값과 비교하는 것과, 비교에 기초하여 식별된 밝은 영역의 휘도 값을 조정된 휘도 값으로 조정하는 것과, 조정된 휘도 값을 갖는 식별된 밝은 영역으로 이미지를 렌더링하는 것을 포함한다.

전술한 컴퓨터 판독가능 메모리 디바이스의 일 실시예에서, 비교하는 것은 사전정의된 휘도 값과의 차이에 기초하여 결정된 휘도 값이 부정확하다고 결정하는 것을 포함하고, 조정하는 것은, 식별된 밝은 영역에 대응하는 위치에서 이미지 상에 시각적 표시기를 렌더링하는 것과, 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값을 조정된 휘도 값으로서 수신하는 것을 더 포함한다.

전술한 컴퓨터 판독가능 메모리 디바이스의 다른 실시예에서, 조정하는 것은 식별된 밝은 영역에 대한 조정된 휘도 값을 자동으로 결정하는 것을 포함한다.

전술한 컴퓨터 판독가능 메모리 디바이스의 추가 실시예에서, 조정하는 것은 식별된 밝은 영역의 휘도 값을, 할당된 분류를 갖는 이미지 내의 제2 밝은 영역에 대한 동일한 휘도 값인 조정된 휘도 값으로 조정하는 것을 포함한다.

결론

개시된 출원 대상의 다양한 실시예가 앞에서 설명되었지만, 이들은 제한이 아니라 예로서만 제시된 것임을 이해해야 한다. 관련 기술(들)의 당업자는 첨부된 청구범위에 정의된 실시예의 사상 및 범위를 벗어나지 않고 형태 및 세부사항의 다양한 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 개시된 출원 대상의 폭과 범위는 전술한 예시적인 실시예 중 임의의 것에 의해 제한되어서는 안 되며, 다음 청구범위 및 그 균등물에 따라서만 정의되어야 한다.

Claims (15)

1. 이미지에서 상기 이미지의 일부인 밝은 영역을 식별하는 단계와,
   상기 식별된 밝은 영역을 사전결정된 분류 세트의 할당된 분류로 분류하는 단계와,
   상기 식별된 밝은 영역의 휘도 값을 결정하는 단계와,
   상기 결정된 휘도 값을 상기 할당된 분류에 대응하는 사전정의된 휘도 값과 비교하는 단계와,
   상기 비교에 기초하여 상기 식별된 밝은 영역의 휘도 값을 조정된 휘도 값으로 조정하는 단계와,
   상기 조정된 휘도 값을 갖는 상기 식별된 밝은 영역으로 상기 이미지를 렌더링하는 단계를 포함하는
   방법.
   
2. 제1항에 있어서,
   상기 비교하는 단계는,
   상기 사전정의된 휘도 값과의 차이에 기초하여 상기 결정된 휘도 값이 부정확하다고 결정하는 단계를 포함하고,
   상기 조정하는 단계는,
   상기 식별된 밝은 영역에 대응하는 위치에서 상기 이미지 상에 시각적 표시기를 렌더링하는 단계와,
   상기 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값을 상기 조정된 휘도 값으로서 수신하는 단계를 더 포함하는
   방법.
   
3. 제1항에 있어서,
   상기 조정하는 단계는,
   상기 식별된 밝은 영역에 대한 상기 조정된 휘도 값을 자동으로 결정하는 단계를 포함하는
   방법.
   
4. 제1항에 있어서,
   상기 조정하는 단계는,
   상기 식별된 밝은 영역의 휘도 값을, 상기 할당된 분류를 갖는 상기 이미지 내의 제2 밝은 영역에 대한 동일한 휘도 값인 조정된 휘도 값으로 조정하는 단계를 포함하는
   방법.
   
5. 제1항에 있어서,
   상기 렌더링하는 단계는,
   상기 표시된 이미지 내의 시각 효과를 고려하기 위해 상기 조정된 휘도 값에 선형 스케일을 적용하여 스케일링되고 조정된 휘도 값을 생성하는 단계와,
   상기 스케일링되고 조정된 휘도 값을 갖는 상기 식별된 밝은 영역으로 상기 표시된 이미지를 렌더링하는 단계를 포함하는
   방법.
   
6. 제1항에 있어서,
   상기 식별하는 단계는,
   상기 표시된 이미지를 기계 학습 모델에 제공하여 상기 밝은 영역의 위치 및 크기를 식별하는 단계를 포함하고, 상기 기계 학습 모델은 밝은 영역을 식별하도록 훈련되는
   방법.
   
7. 제6항에 있어서,
   상기 분류하는 단계는,
   상기 식별된 밝은 영역을 상기 기계 학습 모델에 의해 분류하는 단계를 포함하는
   방법.
   
8. 제1항에 있어서,
   조정된 휘도 값이 결정되는 상기 식별된 밝은 영역의 정보를 로깅하는 단계를 더 포함하는
   방법.
   
9. 시스템으로서,
   하나 이상의 프로세서 회로와,
   상기 하나 이상의 프로세서 회로에 연결되고, 상기 하나 이상의 프로세서 회로에 의해 실행될 컴퓨터 프로그램 로직을 저장하는 하나 이상의 메모리 디바이스를 포함하되,
   상기 컴퓨터 프로그램 로직은,
   표시된 이미지에서 상기 표시된 이미지의 일부인 밝은 영역을 식별하고, 상기 식별된 밝은 영역을 사전결정된 분류 세트의 할당된 분류로 분류하도록 구성된 이미지 분류기와,
   상기 식별된 밝은 영역의 휘도 값을 결정하고, 상기 결정된 휘도 값과 상기 할당된 분류에 대응하는 사전정의된 휘도 값 사이의 비교를 결정하도록 구성된 휘도 분석기와,
   상기 조정된 휘도 값을 갖는 상기 식별된 밝은 영역으로 상기 이미지를 렌더링하도록 구성된 이미지 렌더러와,
   상기 비교에 기초하여 상기 식별된 밝은 영역의 휘도 값을 조정된 휘도 값으로 조정하도록 구성된 휘도 조정기를 포함하고,
   상기 이미지 렌더러는 또한 상기 조정된 휘도 값을 갖는 상기 식별된 밝은 영역으로 상기 표시된 이미지를 렌더링하도록 구성되는
   시스템.
   
10. 제9항에 있어서,
    상기 비교를 결정하는 것은,
    상기 사전정의된 휘도 값과의 차이에 기초하여 상기 결정된 휘도 값이 부정확하다고 결정하는 것을 포함하고,
    상기 휘도 조정기는 상기 식별된 밝은 영역에 대해 수동으로 보정된 휘도 값을 상기 조정된 휘도 값으로서 수신함으로써 상기 식별된 밝은 영역의 휘도 값을 조정하도록 구성되는
    시스템.
    
11. 제9항에 있어서,
    상기 휘도 조정기는 상기 식별된 밝은 영역에 대한 상기 조정된 휘도 값을 자동으로 결정하도록 구성되는
    시스템.
    
12. 제9항에 있어서,
    상기 식별하는 것은 상기 표시된 이미지를 기계 학습 모델에 제공하여 상기 밝은 영역의 위치 및 크기를 식별하는 것을 포함하고, 상기 기계 학습 모델은 밝은 영역을 식별하도록 훈련되는
    시스템.
    
13. 제12항에 있어서,
    상기 분류하는 것은 상기 식별된 밝은 영역을 상기 기계 학습 모델에 의해 분류하는 것을 포함하는
    시스템.
    
14. 제9항에 있어서,
    조정된 휘도 값이 결정되는 상기 이미지 내의 상기 식별된 밝은 영역의 정보 및 적어도 하나의 다른 밝은 영역의 정보를 로깅하도록 구성된 로거를 더 포함하는
    시스템.
    
15. 컴퓨터 프로그램 로직이 기록된 컴퓨터 판독가능 메모리 디바이스로서,
    프로세서가 제1항 내지 제8항 중 어느 한 항의 단계를 수행할 수 있게 하는 컴퓨터 프로그램 로직을 포함하는
    컴퓨터 판독가능 메모리 디바이스.

Images