KR20240034010A - 전자 장치 및 그 영상 처리 방법 - Google Patents

전자 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
KR20240034010A
KR20240034010A KR1020220113029A KR20220113029A KR20240034010A KR 20240034010 A KR20240034010 A KR 20240034010A KR 1020220113029 A KR1020220113029 A KR 1020220113029A KR 20220113029 A KR20220113029 A KR 20220113029A KR 20240034010 A KR20240034010 A KR 20240034010A
Authority
KR
South Korea
Prior art keywords
information
focus map
input image
value
image quality
Prior art date
Application number
KR1020220113029A
Other languages
English (en)
Inventor
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220113029A priority Critical patent/KR20240034010A/ko
Priority to PCT/KR2023/010352 priority patent/WO2024053849A1/ko
Publication of KR20240034010A publication Critical patent/KR20240034010A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 디스플레이, 적어도 하나의 명령을 저장하는 메모리 및, 디스플레이 및 메모리와 연결되어 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는, 적어도 하나의 명령어를 실행함으로써, 입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득하고, 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 포커스 맵에 포함된 정보에 기초하여 포커스 맵의 영역 별 신뢰도 정보를 획득할 수 있다. 하나 이상의 프로세서는, 적어도 하나의 화질 처리 타입 각각에 따른 포커스 맵의 민감도 정보를 식별하고, 포커스 맵, 포커스 맵의 영역 별 신뢰도 정보 및 민감도 정보에 기초하여 입력 영상을 적어도 하나의 화질 처리 타입에 따라 화질 처리하여 디스플레이 상에 표시할 수 있다.

Description

전자 장치 및 그 영상 처리 방법 { Electronic apparatus and image processing method }
본 개시는 전자 장치 및 그 영상 처리 방법에 관한 것으로, 더욱 상세하게는 포커스 맵을 이용하여 영역 별 화질 처리를 수행하는 전자 장치 및 그 영상 처리 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기들이 개발 및 보급되고 있다. 특히, 티브이(TV)나 모바일 등의 디스플레이 기기 들의 개발 및 보급이 활발하게 진행되고 있다.
디스플레이 기기에서 입력 영상의 화질 개선을 위해 중요 관심 객체 영역을 다른 영역과 구분하여 선별적으로 화질 처리를 수행하는 것이 중요하다.
일 실시 예에 따른 전자 장치에 있어서, 디스플레이, 적어도 하나의 명령을 저장하는 메모리 및 상기 디스플레이 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 명령어를 실행함으로써, 입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득하고, 상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득할 수 있다. 상기 하나 이상의 프로세서는, 적어도 하나의 화질 처리 타입 각각에 따른 상기 포커스 맵의 민감도 정보를 식별하고, 상기 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하고, 상기 화질 처리된 영상을 표시하도록 상기 디스플레이를 제어할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 제1 타입의 화질 처리에 대해 상기 포커스 맵의 민감도 정보를 상대적으로 낮게 식별하고 상기 포커스 맵에 포함된 값이 커지도록 스케일링하고, 제2 타입의 화질 처리에 대해 상기 포커스 맵의 민감도 정보를 상대적으로 높게 식별하고 상기 포커스 맵에 포함된 값이 작아지도록 스케일링하며, 상기 스케일링된 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리할 수 있다. 상기 제1 타입의 화질 처리는, 노이즈 저감(noise reduction) 처리 또는 디테일 인핸스(detail enhance) 처리 중 적어도 하나를 포함할 수 있다. 상기 제2 타입의 화질 처리는, 콘트라스트비 인핸스 처리, 컬러 인핸스 처리 또는 밝기 처리 중 적어도 하나를 포함할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 입력 영상을 다운스케일링하고, 상기 다운스케일링된 영상을 복수의 영역으로 식별하여 영역 맵을 획득하고, 상기 복수의 영역 각각에 대해 복수의 상이한 특성에 따른 복수의 중요도 값을 획득하고, 상기 복수의 중요도 값에 기초하여 상기 포커스 맵을 획득할 수 있다. 상기 복수의 상이한 특성은, 색상 차이 정보, 스킨(skin) 컬러 정보, 얼굴 확률 정보 또는 고주파 정보 중 적어도 하나를 포함할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 입력 영상의 밝기 정보를 상기 포커스 맵의 크기로 다운스케일링하고, 상기 포커스 맵에 포함된 값의 역의 값 및 상기 다운스케일링된 밝기 정보에 기초하여 상기 입력 영상의 배경 밝기 값을 식별하고, 상기 입력 영상의 배경 밝기 값에 기초하여 제1 신뢰도 게인 값을 획득할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 입력 영상의 배경 밝기 값이 임계 밝기 이하인 경우 상기 입력 영상에 포함된 관심 영역 및 배경 영역 간 화질 처리 게인 차이 값이 작아지도록 상기 제1 신뢰도 게인 값을 획득할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 입력 영상의 콘트라스트 정보를 상기 포커스 맵의 크기로 다운스케일링하고, 상기 포커스 맵에 포함된 값의 역의 값 및 상기 다운스케일링된 콘트라스트 정보에 기초하여 상기 입력 영상의 로컬 콘트라스트(local contrast) 정보를 식별하고, 상기 입력 영상의 로컬 콘트라스트 정보에 기초하여 제2 신뢰도 게인 값을 획득할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 제1 신뢰도 게인 값 및 상기 제2 신뢰도 게인 값에 기초하여 신뢰로 레벨을 식별하고, 상기 포커스 맵의 민감도 정보에 따라 식별된 상기 적어도 하나의 화질 처리 타입에 대응되는 픽셀 게인 값 및 상기 신뢰도 레벨에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 특정 타입의 화질 처리에 대해 픽셀 영역 별로 맵핑된 픽셀 게인 값에 상기 신뢰도 레벨을 적용하여 상기 픽셀 게인 값을 업데이트하고, 상기 업데이트된 픽셀 게인 값에 기초하여 상기 입력 영상에 대해 상기 특정 타입의 화질 처리를 수행할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 입력 영상에 포함된 픽셀에 대해 기 설정된 윈도우를 적용하여 적어도 하나의 로컬 콘트라스트 값을 식별하고, 상기 적어도 하나의 로컬 콘트라스트 값 중 최대 값을 상기 입력 영상에 포함된 픽셀에 대응되는 로컬 콘트라스트(local contrast) 정보를 식별할 수 있다.
일 예에 따른 상기 하나 이상의 프로세서는, 상기 포커스 맵에 시간 필터링(temporal filtering) 또는 공간 필터링(spatial filtering) 중 적어도 하나를 적용하여 필터링된 포커스 맵을 획득하고, 상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 필터링된 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득할 수 있다.
일 실시 예에 따른 전자 장치의 영상 처리 방법은, 입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득하는 단계, 상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계, 적어도 하나의 화질 처리 타입 각각에 따른 상기 포커스 맵의 민감도 정보를 식별하는 단계, 상기 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하는 단계 및, 상기 화질 처리된 영상을 디스플레이하는 단계를 포함할 수 있다.
전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
상기 동작은, 입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득하는 단계, 상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계, 적어도 하나의 화질 처리 타입 각각에 따른 상기 포커스 맵의 민감도 정보를 식별하는 단계 및, 상기 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하는 단계를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 2a는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 일 구현 예의 세부 구성를 나타내는 도면이다.
도 3은 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 기능 모듈들의 구성을 설명하기 위한 도면이다.
도 5 및 도 6은 일 실시 예에 따른 포커스 맵 획득 방법을 설명하기 위한 도면들이다.
도 7 및 도 8은 일 실시 예에 따른 신뢰도 정보 획득 방법을 설명하기 위한 도면들이다.
도 9는 일 실시 예에 따른 화질 처리 강도에 따라 화질 처리하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따라 각 화질 처리 타입에 따른 화질 처리 강도를 산출하는 방법을 설명하기 위한 도면이다.
도 11a 및 도 11b는 일 실시 예에 따른 포커스 맵에 대한 민감도에 따라 포커스 맵을 스케일링하는 방법을 설명하기 위한 도면들이다.
도 12는 일 실시 예에 따른 포커스 맵 기반 픽셀 게인 산출 방법을 설명하기 위한 도면이다.
도 13은 일 실시 예에 따른 화질 처리의 상세 동작을 설명하기 위한 도면이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
전자 장치(100)는 도 1에 도시된 바와 같이 TV로 구현될 수 있으나, 이에 한정되는 것은 아니며 set-top box, 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이, 카메라 등과 같이 영상 처리 및/또는 디스플레이 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
전자 장치(100)는 다양한 압축 영상 또는 다양한 해상도의 영상을 수신할 수 있다. 예를 들어, 영상 처리 장치(100)는 MPEG(Moving Picture Experts Group)(예를 들어, MP2, MP4, MP7 등), JPEG(joint photographic coding experts group), AVC(Advanced Video Coding), H.264, H.265, HEVC(High Efficiency Video Codec) 등으로 압축된 형태로 영상을 수신할 수 있다. 또는 전자 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, Ultra HD 영상 중 어느 하나의 영상을 수신할 수 있다.
일 예에 따라 관심 영역(Saliency Region) 검출을 통해 관심 객체 중심의 화질 처리 시 예기치 못한 부작용이 발생할 수 있다. 예를 들어, 관심 객체와 배경 간 정확한 경계가 식별되지 못하여 관심 객체 경계에서 일부 배경 영역이 함께 강조되어 할로(Halo) 부작용이 발생될 수 있다.
이하에서는, 관심 객체 영역 중심으로 화질 처리가 강조되고 배경 영역에서는 지나친 화질 처리가 되지 않도록 하는 다양한 실시 예에 대해 설명하도록 한다.
도 2a는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면, 전자 장치(100)는 디스플레이(110), 메모리(120) 및 하나 이상의 프로세서(130)를 포함한다.
디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다.
메모리(120)는 프로세서(130)와 전기적으로 연결되며, 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100')에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100')에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100')의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100')의 확장 기능을 위한 데이터의 경우 전자 장치(100')에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100')에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라 메모리(120)는 전자 장치(100')를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.
일 예에 따라 메모리(120)는 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 수신된 영상, 즉 입력 영상, 다양한 데이터, 정보 등을 저장할 수 있다.
일 예에 따라 메모리(120)는 복수의 레이어를 포함하는 신경망 모델(또는 신경망 모델)에 관한 정보를 저장할 수 있다. 여기서, 신경망 모델에 관한 정보를 저장한다는 것은 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(예를 들어, 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다.
일 예에 따라 메모리(120)는 화질 처리에 필요한 다양한 정보, 예를 들어 Noise Reduction, Detail Enhancement, Tone Mapping, Contrast Enhancement, Color Enhancement 또는 Frame rate Conversion 중 적어도 하나를 수행하기 위한 정보, 알고리즘, 화질 파라미터 등을 저장할 수 있다. 또한, 메모리(110)는 영상 처리에 의해 생성된 최종 출력 영상을 저장할 수도 있다.
일 실시 예에 따르면, 메모리(120)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(120)는 상이한 타입의 데이터를 각각 저장하거나, 상이한 단계에서 생성되는 데이터를 각각 저장하는 복수의 메모리를 포함하도록 구현될 수도 있다.
상술한 실시 예에서는 다양한 데이터가 프로세서(130)의 외부 메모리(120)에 저장되는 것으로 설명하였으나, 상술한 데이터 중 적어도 일부는 전자 장치(100') 또는 프로세서(130) 중 적어도 하나의 구현 예에 따라 프로세서(130) 내부 메모리에 저장될 수도 있다.
하나 이상의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
하나 이상의 프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 디스플레이(110) 및 메모리(도 2b, 150)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다.
하나 이상의 프로세서(130)는 CPU (Central Processing Unit), GPU (Graphics Processing Unit), APU (Accelerated Processing Unit), MIC (Many Integrated Core), DSP (Digital Signal Processor), NPU (Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 하나 이상의 프로세서(130)는 전자 장치(100)의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서(130)는 메모리(120)에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 메모리(120)에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 일 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제 1 동작, 제 2 동작, 제 3 동작이 수행될 때, 제 1 동작, 제 2 동작, 및 제 3 동작 모두 제 1 프로세서에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 제 1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제 3 동작은 제 2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
하나 이상의 프로세서(130)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 하나 이상의 프로세서(130)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 일 실시예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 일 실시예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 일 실시예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 일 실시예에 따른 방법에 의해 제 1 동작, 제 2 동작, 및 제 3 동작이 수행될 때, 제 1 동작, 제2 동작, 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행될 수도 있고, 제 1 동작 및 제 2 동작은 멀티 코어 프로세서에 포함된 제 1 코어에 의해 수행되고 제 3 동작은 멀티 코어 프로세서에 포함된 제 2 코어에 의해 수행될 수도 있다.
본 개시의 실시 예들에서, 프로세서는 하나 이상의 프로세서 및 기타 전자 부품들이 집적된 시스템 온 칩(SoC), 단일 코어 프로세서, 멀티 코어 프로세서, 또는 단일 코어 프로세서 또는 멀티 코어 프로세서에 포함된 코어를 의미할 수 있으며, 여기서 코어는 CPU, GPU, APU, MIC, DSP, NPU, 하드웨어 가속기 또는 기계 학습 가속기 등으로 구현될 수 있으나, 본 개시의 실시 예들이 이에 한정되는 것은 아니다. 이하 하나 이상의 프로세서(130)는 설명의 편의를 위하여 프로세서(130)로 명명하도록 한다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 일 구현 예의 세부 구성을 나타내는 도면이다.
도 2b에 따르면, 전자 장치(100')는 디스플레이(110), 메모리(120), 하나 이상의 프로세서(130), 통신 인터페이스(140), 사용자 인터페이스(150), 스피커(160) 및 카메라(170)를 포함한다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(140)는 외부 장치와 통신을 수행할 수 있다. 통신 인터페이스(140)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 입력 영상을 수신할 수 있다. 여기서, 입력 영상은 SD(Standard Definition), HD(High Definition), Full HD 또는 Ultra HD 영상 중 어느 하나의 디지털 영상이 될 수 있으나 이에 한정되는 것은 아니다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로 구현될 수 있다. 일 실시 예에 따라 사용자 인터페이스(150)는 리모콘 송수신부로 구현되어 원격 제어 신호를 수신할 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 와이파이 통신 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.
스피커(160)는 음향 신호를 출력한다. 예를 들어, 스피커(160)는 프로세서(130)에서 처리된 디지털 음향 신호를 아날로그 음향 신호로 변환하고 증폭하여 출력할 수 있다. 예를 들어, 스피커(190)는 적어도 하나의 채널을 출력할 수 있는, 적어도 하나의 스피커 유닛, D/A 컨버터, 오디오 앰프(audio amplifier) 등을 포함할 수 있다. 일 예에 따라 스피커(160)는 다양한 멀티 채널 음향 신호를 출력하도록 구현될 수 있다. 이 경우, 프로세서(130)는 입력 영상의 인핸스 처리에 대응되도록 입력된 음향 신호를 인핸스 처리하여 출력하도록 스피커(160)를 제어할 수 있다.
카메라(170)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(170)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다.
전자 장치 (100')는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다. 튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다. 복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 3은 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 3에 도시된 일 실시 예에 따르면, 프로세서(130)는 입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득할 수 있다(S310).
여기서, 영역은 적어도 하나의 픽셀을 포함하는 픽셀 영역일 수 있다. 예를 들어, 하나의 픽셀이 하나의 영역일 수 있으나 반드시 이에 한정되는 것은 아니다. 여기서, 포커스 맵은 관심 영역 및 비관심 영역을 식별하는 맵으로 일 예에 따라 0~255 값을 가지도록 구현될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 포커스 맵에 포함된 각 영역은 관심 영역에 가까울수록 255 값을 가지며 비관심 영역에 가까울수록 0 값을 가질 수 있다.
이어서, 프로세서(130)는 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및, 포커스 맵에 포함된 정보에 기초하여 포커스 맵의 영역 별 신뢰도 정보를 획득할 수 있다(S320).
여기서, 콘트라스트는 일 영역 및 다른 영역 간 상대적 차이를 의미하며, 색상 또는 밝기 중 적어도 하나에 대한 차이로 결정될 수 있다. 예를 들어, 일 영역 및 다른 영역 간 차이가 클수록 콘트라스트 값은 클 수 있다. 포커스 맵의 영역 별 신뢰도 정보는 포커스 맵에 포함된 각 영역에 대한 신뢰도 값을 포함하며 포커스 맵을 이용한 화질 처리시 관심 객체 영역과 배경 영역 간 경계의 부정확성으로 이한 부작용을 완화하기 위한 정보일 수 있다.
이어서, 프로세서(130)는 적어도 하나의 화질 처리 타입 각각에 따른 포커스 맵의 민감도 정보를 식별할 수 있다(S330).
여기서, 적어도 하나의 화질 처리 타입은, 노이즈 저감(noise reduction) 처리, 디테일 인핸스(detail enhance) 처리, 콘트라스트비 인핸스 처리, 컬러 인핸스 처리 또는 밝기 처리 중 적어도 하나를 포함할 수 있다.
일 예에 따라 각 화질 처리 타입에 따라 포커스 맵에 대한 민감도가 상이할 수 있다. 예를 들어, 노이즈 저감 처리, 디테일 인핸스 처리는 콘트라스트비 인핸스 처리, 컬러 인핸스 처리, 밝기 처리에 비해 포커스 맵에 대한 민감도가 상대적으로 낮을 수 있다. 여기서, 각 화질 처리는 별개의 IP(Intellectual Property) chip에서 수행될 수 있으나, 이에 한정되는 것은 아니며, 복수의 화질 처리가 하나의 IP chip에서 수행되거나, 하나의 화질 처리가 복수의 IP chip에서 수행될 수도 있다.
이어서, 프로세서(130)는 포커스 맵, 포커스 맵의 영역 별 신뢰도 정보 및 민감도 정보에 기초하여 입력 영상을 적어도 하나의 화질 처리 타입에 따라 화질 처리할 수 있다(S340).
일 예에 따라 프로세서(130)는 특정 화질 처리 타입에 대한 포커스 맵의 민감도 정보에 기초하여 포커스 맵에 포함된 값을 스케일링하고, 스케일링된 포커스 맵에 대응되는 픽셀 게인 값에 포커스 맵의 신뢰도 게인을 적용하여 특정 화질 처리에 대응되는 최종 게인 값을 획득할 수 있다.
이후, 프로세서(130)는 화질 처리된 영상을 표시하도록 디스플레이(110)를 제어할 수 있다(S350).
도 4는 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 기능 모듈들의 구성을 설명하기 위한 도면이다.
도 4에 도시된 각 기능 모듈들은 적어도 하나의 하드웨어 또는/및 적어도 하나의 소프트웨어의 조합으로 이루어질 수 있다.
도 4에 도시된 바와 같이, 포커스 맵 획득 모듈(301)은 입력 영상(10)에서 중요 영역을 검출하여 포커스 맵을 획득할 수 있다.
포커스 맵 신뢰도 획득 모듈(302)은 포커스 맵에 대한 신뢰도 레벨을 획득할 수 있다. 예를 들어, 포커스 맵 신뢰도 획득 모듈(302)은 관심 영역 또는 비관심 영역의 화질 처리 시에 포커스 맵에 대한 신뢰도 레벨을 획득할 수 있다.
픽셀 게인 제어 모듈(303)은 각 화질 처리 모듈(304)에서 이용되는 화질 처리 게인을 제어할 수 있다. 예를 들어 픽셀 게인 제어 모듈(303)은 관심 영역의 경우 화질 처리 게인을 높이고 배경 영역의 경우 화질 처리 게인을 낮출 수 있다.
화질 처리 모듈(304)은 관심 객체 중심의 영역 단위 화질 처리를 수행할 수 있다. 일 예에 따라 화질 처리 모듈(304)은 노이즈 저감 처리 모듈, 디테일 향상 처리 모듈, 해상도 향상 처리 모듈, 명암비/컬러 향상 처리 모듈 및 밝기 제어 모듈을 포함할 수 있다. 다만, 이는 일 예일 뿐이며 다른 화질 처리 모듈이 추가되거나, 일부 화질 처리 모듈이 제거될 수도 있다.
도 5 및 도 6은 일 실시 예에 따른 포커스 맵 획득 방법을 설명하기 위한 도면들이다.
도 5에 도시된 일 실시 예에 따르면, 프로세서(130)는 입력 영상을 다운스케일링할 수 있다(S510). 예를 들어, 다운스케일링 방식으로는 Sub-Sampling을 포함한 다양한 종래의 방식이 이용될 수 있다.
예를 들어, 도 6에 도시된 바와 같이 프로세서(130)는 입력 영상(10)의 해상도(WixHi)(예를 들어, 1920x1080)를 해상도(WpxHp)(예를 들어, 240x135)로 다운스케일링할 수 있다. 프로세서(130)는 이후 영역 분할 등의 후속 처리에서 메모리 용량 및 처리 속도 등의 효율성을 증가시키기 위함이다(501).
또한, 프로세서(130)는 입력 영상(10)의 색좌표 변환이 필요한 경우 색좌표 변환을 수행할 수 있다. 영역 분할 처리의 경우 RGB 칼라 값을 활용할 수 있으므로 만약 입력 영상(10)이 YUV 영상이면 RGB 영상으로 변환할 수 있다(501). 일 예에 따라 다운 스케일링 및 색좌표 변환의 선후는 변경가능하다.
이어서, 프로세서(130)는 다운스케일링된 영상을 복수의 영역으로 식별하여 영역 맵을 획득할 수 있다(S520).
예를 들어, 도 6에 도시된 바와 같이 프로세서(130)는 다운스케일링된 영상을 복수의 영역으로 식별할 수 있다(502). 예를 들어, 관심 영역, 비관심 영역, 객체 영역, 배경 영역 등을 고려하여 다운스케일링된 영상을 의미를 가지는 복수의 영역으로 식별할 수 있다.
이어서, 프로세서(130)는 복수의 영역 각각에 대해 복수의 상이한 특성에 따른 복수의 중요도 값을 획득할 수 있다(S530). 여기서, 복수의 상이한 특성은, 색상 차이 정보, 스킨(skin) 컬러 정보, 얼굴 확률 정보 또는 고주파 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 도 6에 도시된 바와 같이 프로세서(130)는 각 영역의 중요도 값을 계산하기 위해 영역 간 색상 차 비교, 영역 내 피부색 비율, 얼굴 검출 결과를 활용한 영역 내 얼굴 확률, 영역 별 고주파 성분(High Frequency)의 크기 등에 기초하여 중요도 값을 산출하고 이를 가중 평균하여 영역 별 중요도 값을 산출할 수 있다(503).
이 후, 프로세서(130)는 복수의 중요도 값에 기초하여 포커스 맵을 획득할 수 있다(S540).
예를 들어, 도 6에 도시된 바와 같이 프로세서(130)는 영역 맵(Region Map) 및 영역 별 중요도 값에 기초하여 포커스 맵을 생성할 수 있다(504).
또한, 프로세서(130)는 포커스 맵에 대해 영역 별 영상 처리 시 영상 경계 혹은 인접한 영상 프레임 사이에 중요도 값의 급격한 변화를 방지하기 위한 시간상 평활화(또는 시간 필터링(temporal filtering)) 또는 공간상 평활화(또는 공간 필터링(spatial filtering))를 수행할 수 있다(505).
예를 들어, 프로세서(130)는 포커스 맵에 공간 평활화를 위해 소정의 윈도우 크기(예를 들어 3x3) 가우시안 필터나 평균 필터를 적용할 수 있다. 일 예에 따라 프로세서(130)는 가우시안 마스크를 포커스 맵에 포함된 각 포커스 맵 값에 적용하여 평활화 처리할 수 있다. 구체적으로, 프로세서(130)는 포커스 맵에 포함된 각 포커스 맵 값이 가우시안 마스크의 중심에 위치하도록 가우시안 마스크를 이동시키면서 각 픽셀 값에 대해 필터링을 수행할 수 있다.
프로세서(130)는 포커스 맵에 시간 평활화 즉, 프레임 간 평활화를 위해 IIR(infinite impulse response) 필터를 적용하여 프레임들 간 급격한 변화를 방지할 수 있다. 일 예에 따라 프로세서(130)는 포커스 맵에 대한 평활화 수행시 포커스 맵(Focus Map)의 해상도(WoxHo)를 추가적으로 다운스케일링(예를 들어 60x40)할 수 있다.
다만, 상술한 실시 예에 한정되는 것은 아니며 학습된 신경망 모델에 입력 영상을 입력하여 포커스 맵을 획득할 수도 있다. 예를 들어, 신경망 모델은 관심 영역에 대한 정보 및 관심 영역에 대한 정보에 대응되는 복수의 이미지를 이용하여 신경망 모델에 포함된 레이어의 파라미터를 학습할 수 있다. 여기서, 복수의 이미지는 별개의 정지 영상 이미지, 동영상을 구성하는 연속된 복수의 이미지 등 다양한 타입의 이미지를 포함할 수 있다.
도 7 및 도 8은 일 실시 예에 따른 신뢰도 정보 획득 방법을 설명하기 위한 도면들이다.
일 실시 예에 따르면, 프로세서(130)는 입력 영상의 밝기 정보 또는 콘트라스트 정보 중 적어도 하나에 기초하여 포커스 맵의 신뢰도 정보를 획득할 수 있다.다만, 경우에 따라 밝기 정보, 콘트라스트 정보 외에 다른 정보가 포커스 맵의 신뢰도 정보를 획득하는데 이용될 수도 있다.
일 예에 따라 포커스 맵의 신뢰도 정보는 포커스 맵을 이용한 화질 처리 시 관심 객체 영역과 배경 간의 경계 부정확성으로 이한 부작용을 완화하기 위한 신뢰도 레벨(또는 신뢰도 게인)을 포함할 수 있다.
도 7에 도시된 일 실시 예에 따르면, 프로세서(130)는 입력 영상의 밝기 정보를 포커스 맵의 크기로 다운스케일링할 수 있다(S710).
예를 들어, 도 8에 도시된 바와 같이 입력 영상의 Y 정보(또는 Y 신호) (WixHi)를 포커스 맵과 동일한 사이즈(WoxHo)로 다운스케일링할 수 있다(801).
프로세서(130)는 포커스 맵에 포함된 값의 역의 값 및 다운스케일링된 밝기 정보에 기초하여 입력 영상의 배경 밝기 값을 식별할 수 있다(S720).
예를 들어, 도 8에 도시된 바와 같이 포커스 맵의 역의 값을 가중치로 하여 배경 영역에 가중을 둔 밝기 값을 산출할 수 있다(802).
배경 영역에 가중을 둔 밝기 값은 입력 영상의 평균 밝기 값과 유사할 수 있다. 해당 밝기 값에 따라 입력 영상이 전반적으로 어두울 경우 명암비 및/또는 밝기 제어 처리시 게인을 감소시켜 주어 관심 객체와 배경 영역 간에 영상 처리 게인 차이가 작아지도록 할 수 있다.
프로세서(130)는 입력 영상의 배경 밝기 값에 기초하여 제1 신뢰도 게인 값(또는 밝기 게인 값)을 획득할 수 있다(S730). 일 예에 따라 프로세서(130)는 입력 영상의 배경 밝기 값이 임계 밝기 이하인 경우 입력 영상에 포함된 관심 영역 및 배경 영역 간 화질 처리 게인 차이 값이 작아지도록 제1 신뢰도 게인 값을 획득할 수 있다.
일 예에 따라 제1 신뢰도 게인 값은 하기 수학식 1에 따라 산출될 수 있다.
Figure pat00001
프로세서(130)는 입력 영상의 콘트라스트 정보를 포커스 맵의 크기로 다운스케일링할 수 있다(S740).
일 예에 따라 도 8을 참고하면, 프로세서(130)는 입력 영상에 포함된 픽셀에 대해 기 설정된 윈도우를 적용하여 적어도 하나의 로컬 콘트라스트 값을 식별할 수 있다(803).
예를 들어, 입력 영상 해상도에서 각 픽셀 중심으로 특정 윈도우 크기(예를 들어, 9x9) 이내의 픽셀들의 최대, 최소 값의 차이가 해당 픽셀의 로컬 콘트라스트로 산출될 수 있다.
일 실시 예에 따라 프로세서(130)는 입력 영상에 포함된 픽셀에 대응되는 로컬 콘트라스트 값이 복수 개인 경우, 이 중 최대 값을 입력 영상에 포함된 픽셀에 대응되는 로컬 콘트라스트로 식별할 수 있다.
일 예에 따라 프로세서(130)는 로컬 콘트라스트 정보 중 임계 값 이상의 콘트라스트 값을 제거하여 입력 영상의 로컬 콘트라스트(local contrast) 정보로 식별할 수 있다(804).
일 예에 따라 콘트라스트 정보가 포커스 맵의 해상도로 다운스케일링되는 경우 운스케일된 해상도의 픽셀 위치에 대응되는 입력 해상도의 여러 개의 로컬 컨트라스트의 값이 존재하면, 이 중 최대값을 LC(Local Contrast) 맵으로 매핑할 수 있다. 또한, LC 맵에서 콘트라스트 값이 어느 임계 값 이상인 에지 성분에 대해서 제거하여 LC 맵을 업데이트할 수도 있다.
프로세서(130)는 포커스 맵에 포함된 값의 역의 값 및 다운스케일링된 콘트라스트 정보에 기초하여 입력 영상의 로컬 콘트라스트(local contrast) 정보를 식별할 수 있다(S750). 프로세서(130)는 입력 영상의 로컬 콘트라스트 정보에 기초하여 제2 신뢰도 게인 값을 획득할 수 있다(S760).
일 예에 따라 프로세서(130)는 도 8에 도시된 바와 같이 LC 맵과 포커스 맵 정보에 기초하여 제2 신뢰도 게인 값(또는 LC 게인 값)을 획득할 수 있다. 이와 같이 LC 게인 값을 이용하면 배경의 콘트라스트가 단순하거나 패턴 영상에서 명암비와 밝기 제어시 관심 객체와 배경 영역의 경계에서의 부작용을 방지할 수 있게 된다.
일 예에 따라 제2 신뢰도 게인 값은 하기 수학식 1에 따라 산출될 수 있다.
Figure pat00002
이 후, 프로세서(130)는 제1 신뢰도 게인 값 및 제2 신뢰도 게인 값에 기초하여 포커스 맵에 대한 신뢰도 레벨(또는 신뢰도 게인 값)을 획득할 수 있다. 일 예에 따라 도 8에 도시된 바와 같이 제1 신뢰도 게인 값 및 제2 신뢰도 게인 값을 먹싱하여 신뢰도 레벨(또는 신뢰도 게인)을 획득할 수 있다.
도 9는 일 실시 예에 따른 화질 처리 강도에 따라 화질 처리하는 방법을 설명하기 위한 도면이다.
도 9에 도시된 일 실시 예에 따르면, 프로세서(130)는 제1 타입의 화질 처리를 수행하는 경우(S910:Y), 포커스 맵의 민감도를 상대적으로 낮게 식별하고(S920) 포커스 맵에 포함된 값이 커지도록 스케일링할 수 있다(S930).
여기서, 제1 타입의 화질 처리는 노이즈 저감(noise reduction) 처리 또는 디테일 인핸스(detail enhance) 처리 중 적어도 하나를 포함할 수 있다. 이는 해당 화질 처리들에 대해서는 포커스 맵에 의한 관심 객체 영역 및 배경 영역의 화질 처리 민감도가 상대적으로 작기 때문이다.
프로세서(130)는 제2 타입의 화질 처리를 수행하는 경우(S940:Y), 포커스 맵의 민감도를 상대적으로 높게 식별하고(S920) 포커스 맵에 포함된 값이 작아지도록 스케일링할 수 있다(S930).
제2 타입의 화질 처리는, 콘트라스트비 인핸스 처리, 컬러 인핸스 처리 또는 밝기 처리 중 적어도 하나를 포함할 수 있다. 이는 해당 화질 처리들에 대해서는 포커스 맵에 의한 관심 객체 영역 및 배경 영역의 화질 처리 민감도가 상대적으로 크기 때문이다.
이 후, 프로세서(130)는 스케일링된 포커스 맵, 포커스 맵의 영역 별 신뢰도 정보 및 민감도 정보에 기초하여 입력 영상을 적어도 하나의 화질 처리 타입에 따라 화질 처리할 수 있다.
도 10은 일 실시 예에 따라 각 화질 처리 타입에 따른 화질 처리 강도를 산출하는 방법을 설명하기 위한 도면이다.
도 1O에 도시된 실시 예에 따르면, 프로세서(130)는 화질 처리 타입에 따라 포커스 맵의 민감도 정보를 획득하고(1010), 포커스 맵을 스케일링할 수 있다(1020).
상술한 바와 같이 화질 처리 타입(예를 들어, 노이즈 저감, 디테일 향상, 해상도 향상, 명암비/컬러 향상 및 밝기 제어)에 따라 포커스 맵에 의한 관심 객체 영역 및 배경 영역의 화질 처리 민감도가 다르므로 화질 처리 타입에 따른 포커스 맵 민감도를 계산할 수 있다. 일 예에 따라 프로세서(130)는 포커스 맵의 민감도 정보에 기초하여 영역 별 화질 처리 게인의 계산에 활용할 포커스 맵의 값의 크기를 업데이트(또는 스케일링)할 수 있다.
이어서, 프로세서(130)는 스케일링된 포커스 맵에 기초하여 처리 대상 픽셀의 위치에 대응되는 포커스 맵 값을 식별하고(1O30), 화질 처리를 위한 픽셀 게인을 획득할 수 있다(1040). 예를 들어, 처리 대상 픽셀의 위치가 (x,y)인 경우, 해당 픽셀 위치에 대응되는 포커스 맵 값을 식별하고 화질 처리를 위한 픽셀 게인 G(1)(x, y)을 획득할 수 있다.
이어서, 프로세서(130)는 포커스 맵의 신뢰도 게인(또는 신뢰도 레벨)이 획득되면(1050), 화질 처리를 위한 픽셀 게인 G(1)(x, y)에 신뢰도 게인(gainc)을 적용하여 업데이트된 픽셀 게인 G(2)(x, y)을 획득할 수 있다. 예를 들어, 프로세서(130)는 화질 처리를 위한 픽셀 게인 G(1)(x, y)에 신뢰도 게인(gainc)을 곱하여 크기가 스케일링된 픽셀 게인 G(2)(x, y)을 획득할 수 있다.
도 11a 및 도 11b는 일 실시 예에 따른 포커스 맵에 대한 민감도에 따라 포커스 맵을 스케일링하는 방법을 설명하기 위한 도면들이다.
일 예에 따르면, 명암비 처리 및 밝기 제어에 비해 노이즈 저감 처리나 선명도 개선 처리의 경우 포커스맵에 대한 민감도가 상대적으로 작을 수 있다.
이에 따라 프로세서(130)는 노이즈 저감 처리나 선명도 개선 처리의 경우 도 11a에 도시된 바와 같은 포커스 맵을 도 11b에 도시된 바와 같이 전반적으로 큰 값으로 스케일링된 포커스 맵을 이용할 수 있다. 이는 노이즈 저감 처리나 선명도 개선 처리의 경우 관심 영역의 효과를 증대하기 위함이다. 도 11a의 우측은 포커스 맵을 스케일링 하기 전 특정 화소의 단면을 나타내고, 도 11b는 포커스 맵의 스케일링 후 특정 화소의 단면을 나타낸다.
도 12는 일 실시 예에 따른 포커스 맵 기반 픽셀 게인 산출 방법을 설명하기 위한 도면이다.
일 예에 따르면, 프로세서(130)는 포커스 맵의 값에 따라 입력 영상에 포함된 각 입력 픽셀에 대해 게인 값을 맵핑할 수 있다.
일 예에 따라 도 12의 상측 도면에서 포커스 맵의 값 Map(x,y)이 0으로 갈수록 배경 영역에 맵핑되고 255로 갈수록 관심 객체 영역으로 맵핑될 수 있다.
도 12의 상측 도면은 신뢰도 게인 적용 전 포커스 맵에 따라 각 픽셀에 적용될 수 있는 화질 처리 게인 값으로, 처리 대상 픽셀이 관심 객체 영역에 포함되면 기준 값 보다 큰 게인 값이 매핑될 수 있고, 반대로 배경 영역에 포함되면 기준 값보다 작은 게인 값이 매핑될 수 있다.
도 12의 하측 도면은 포커스 맵의 신뢰도 정보에 따라 화질 처리 게인 값이 업데이트된 실시 예를 나타낸다. 도 12의 하측 도면에 따르면, 기준값(defValue) 대비 포커스 맵 값의 차이 정보(Diff)가 포커스 맵의 신뢰도 정보에 따른 게인 값(GainC)에 의해 조절될 수 있다. 포커스 맵의 신뢰도 값이 낮으면 신뢰도 게인(GainC)이 작아져서 관심 객체와 배경 영역 사이에 화질 처리 게인 차이가 작아지고, 반대의 경우는 화질 처리 게인 차이가 커질 수 있다.
일 예에 따라 포커스 맵의 신뢰도 값에 따른 화질 처리 게인 값의 업데이트는 하기 수학식 3과 같이 나타내어질 수 있다.
Figure pat00003
여기서, G(1)(x, y)는 화질 처리를 위한 픽셀 게인, G(2)(x, y)는 포커스 맵의 신뢰도 값에 따라 스케일링된 픽셀 게인을 나타낸다.
도 13은 일 실시 예에 따른 화질 처리의 상세 동작을 설명하기 위한 도면이다.
도 13에 도시된 일 예에 따르면, 프로세서(130)는 화질 처리된 픽셀 값과 입력 픽셀 값 간 차이를 게인 값으로 조정하여 영역 별 화질 처리를 수행할 수 있다. 예를 들어, 게인 값은 0~1 사이의 값일 수 있으나, 이에 한정되는 것은 아니며, 게인 값이 특정 정수 크기 단위(예를 들어, 0~255)인 경우 게인 값을 곱해준 후 적절한 스케일링을 수행할 수 있다.
일 예에 따라 화질 처리 동작은 하기 수학식 4과 같이 나타내어질 수 있다.
Figure pat00004
여기서, p(x, y)는 입력 픽셀 값, f(p(x, y))는 화질 처리된 픽셀 값, o(x, y)는 출력 픽셀 값일 수 있다.
상술한 다양한 실시 예들에 따르면, 관심 객체 영역 중심으로 화질 처리를 강조하고 배경 영역에서는 지나친 화질 처리를 방지하여 부작용을 방지할 수 있게 된다. 예를 들어, 관심 영역의 객체 및 배경 간 경계가 정확히 구분되지 않은 경우에 발생될 수 있는 할로 등과 같은 부작용을 방지할 수 있게 된다. 또한, 입력 영상 특성 및/또는 화질 처리 기술의 타입에 기초하여 영역 별 화질 처리 게인(Gain)을 적응적으로 산출하여 화질 개선 효과를 극대화할 수 있게 된다.
한편, 상술한 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들 중 적어도 일부는 딥 러닝 기반의 인공 지능 모델 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 디스플레이
120: 메모리 130: 하나 이상의 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 디스플레이 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서;를 포함하며,
    상기 하나 이상의 프로세서는,
    상기 적어도 하나의 명령어를 실행함으로써,
    입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득하고,
    상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득하고,
    적어도 하나의 화질 처리 타입 각각에 따른 상기 포커스 맵의 민감도 정보를 식별하고,
    상기 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하고,
    상기 화질 처리된 영상을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    제1 타입의 화질 처리에 대해 상기 포커스 맵의 민감도 정보를 상대적으로 낮게 식별하고 상기 포커스 맵에 포함된 값이 커지도록 스케일링하고,
    제2 타입의 화질 처리에 대해 상기 포커스 맵의 민감도 정보를 상대적으로 높게 식별하고 상기 포커스 맵에 포함된 값이 작아지도록 스케일링하며,
    상기 스케일링된 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하며,
    상기 제1 타입의 화질 처리는,
    노이즈 저감(noise reduction) 처리 또는 디테일 인핸스(detail enhance) 처리 중 적어도 하나를 포함하고,
    상기 제2 타입의 화질 처리는,
    콘트라스트비 인핸스 처리, 컬러 인핸스 처리 또는 밝기 처리 중 적어도 하나를 포함하는. 전자 장치.
  3. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상을 다운스케일링하고,
    상기 다운스케일링된 영상을 복수의 영역으로 식별하여 영역 맵을 획득하고,
    상기 복수의 영역 각각에 대해 복수의 상이한 특성에 따른 복수의 중요도 값을 획득하고,
    상기 복수의 중요도 값에 기초하여 상기 포커스 맵을 획득하며,
    상기 복수의 상이한 특성은,
    색상 차이 정보, 스킨(skin) 컬러 정보, 얼굴 확률 정보 또는 고주파 정보 중 적어도 하나를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상의 밝기 정보를 상기 포커스 맵의 크기로 다운스케일링하고,
    상기 포커스 맵에 포함된 값의 역의 값 및 상기 다운스케일링된 밝기 정보에 기초하여 상기 입력 영상의 배경 밝기 값을 식별하고,
    상기 입력 영상의 배경 밝기 값에 기초하여 제1 신뢰도 게인 값을 획득하는, 전자 장치.
  5. 제4항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상의 배경 밝기 값이 임계 밝기 이하인 경우 상기 입력 영상에 포함된 관심 영역 및 배경 영역 간 화질 처리 게인 차이 값이 작아지도록 상기 제1 신뢰도 게인 값을 획득하는, 전자 장치.
  6. 제4항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상의 콘트라스트 정보를 상기 포커스 맵의 크기로 다운스케일링하고,
    상기 포커스 맵에 포함된 값의 역의 값 및 상기 다운스케일링된 콘트라스트 정보에 기초하여 상기 입력 영상의 로컬 콘트라스트(local contrast) 정보를 식별하고,
    상기 입력 영상의 로컬 콘트라스트 정보에 기초하여 제2 신뢰도 게인 값을 획득하는, 전자 장치.
  7. 제6항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 제1 신뢰도 게인 값 및 상기 제2 신뢰도 게인 값에 기초하여 신뢰로 레벨을 식별하고,
    상기 포커스 맵의 민감도 정보에 따라 식별된 상기 적어도 하나의 화질 처리 타입에 대응되는 픽셀 게인 값 및 상기 신뢰도 레벨에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하는, 전자 장치.
  8. 제7항에 있어서,
    상기 하나 이상의 프로세서는,
    특정 타입의 화질 처리에 대해 픽셀 영역 별로 맵핑된 픽셀 게인 값에 상기 신뢰도 레벨을 적용하여 상기 픽셀 게인 값을 업데이트하고,
    상기 업데이트된 픽셀 게인 값에 기초하여 상기 입력 영상에 대해 상기 특정 타입의 화질 처리를 수행하는, 전자 장치.
  9. 제6항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상에 포함된 픽셀에 대해 기 설정된 윈도우를 적용하여 적어도 하나의 로컬 콘트라스트 값을 식별하고,
    상기 적어도 하나의 로컬 콘트라스트 값 중 최대 값을 기상기 입력 영상에 포함된 픽셀에 대응되는 로컬 콘트라스트 정보로 식별하는, 전자 장치.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 포커스 맵에 시간 필터링(temporal filtering) 또는 공간 필터링(spatial filtering) 중 적어도 하나를 적용하여 필터링된 포커스 맵을 획득하고,
    상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 필터링된 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는, 전자 장치.
  11. 전자 장치의 영상 처리 방법에 있어서,
    입력 영상에 포함된 영역 별 중요도 정보에 기초하여 포커스 맵(focus map)을 획득하는 단계;
    상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계;
    적어도 하나의 화질 처리 타입 각각에 따른 상기 포커스 맵의 민감도 정보를 식별하는 단계;
    상기 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하는 단계; 및
    상기 화질 처리된 영상을 디스플레이하는 단계;를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 화질 처리하는 단계는,
    제1 타입의 화질 처리에 대해 상기 포커스 맵의 민감도 정보를 상대적으로 낮게 식별하고 상기 포커스 맵에 포함된 값이 커지도록 스케일링하는 단계;
    제2 타입의 화질 처리에 대해 상기 포커스 맵의 민감도 정보를 상대적으로 높게 식별하고 상기 포커스 맵에 포함된 값이 작아지도록 스케일링하는 단계; 및
    상기 스케일링된 포커스 맵, 상기 포커스 맵의 영역 별 신뢰도 정보 및 상기 민감도 정보에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하는 단계;를 포함하며,
    상기 제1 타입의 화질 처리는,
    노이즈 저감(noise reduction) 처리 또는 디테일 인핸스(detail enhance) 처리 중 적어도 하나를 포함하고,
    상기 제2 타입의 화질 처리는,
    콘트라스트비 인핸스 처리, 컬러 인핸스 처리 또는 밝기 처리 중 적어도 하나를 포함하는, 영상 처리 방법.
  13. 제11항에 있어서,
    상기 포커스 맵을 획득하는 단계는,
    상기 입력 영상을 다운스케일링하고, 상기 다운스케일링된 영상을 복수의 영역으로 식별하여 영역 맵을 획득하는 단계; 및
    상기 복수의 영역 각각에 대해 복수의 상이한 특성에 따른 복수의 중요도 값을 획득하고, 상기 복수의 중요도 값에 기초하여 상기 포커스 맵을 획득하는 단계;를 포함하며,
    상기 복수의 상이한 특성은,
    색상 차이 정보, 스킨(skin) 컬러 정보, 얼굴 확률 정보 또는 고주파 정보 중 적어도 하나를 포함하는, 영상 처리 방법.
  14. 제11항에 있어서,
    상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계는,
    상기 입력 영상의 밝기 정보를 상기 포커스 맵의 크기로 다운스케일링하는 단계;
    상기 포커스 맵에 포함된 값의 역의 값 및 상기 다운스케일링된 밝기 정보에 기초하여 상기 입력 영상의 배경 밝기 값을 식별하는 단계; 및
    상기 입력 영상의 배경 밝기 값에 기초하여 제1 신뢰도 게인 값을 획득하는 단계;를 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 제1 신뢰도 게인 값을 획득하는 단계는,
    상기 입력 영상의 배경 밝기 값이 임계 밝기 이하인 경우 상기 입력 영상에 포함된 관심 영역 및 배경 영역 간 화질 처리 게인 차이 값이 작아지도록 상기 제1 신뢰도 게인 값을 획득하는, 전자 장치.
  16. 제14항에 있어서,
    상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계는,
    상기 입력 영상의 콘트라스트 정보를 상기 포커스 맵의 크기로 다운스케일링하는 단계;
    상기 포커스 맵에 포함된 값의 역의 값 및 상기 다운스케일링된 콘트라스트 정보에 기초하여 상기 입력 영상의 로컬 콘트라스트(local contrast) 정보를 식별하는 단계; 및
    상기 입력 영상의 로컬 콘트라스트 정보에 기초하여 제2 신뢰도 게인 값을 획득하는 단계;를 포함하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계는,
    상기 제1 신뢰도 게인 값 및 상기 제2 신뢰도 게인 값에 기초하여 신뢰로 레벨을 식별하고,
    상기 화질 처리하는 단계는,
    상기 포커스 맵의 민감도 정보에 따라 식별된 상기 적어도 하나의 화질 처리 타입에 대응되는 픽셀 게인 값 및 상기 신뢰도 레벨에 기초하여 상기 입력 영상을 상기 적어도 하나의 화질 처리 타입에 따라 화질 처리하는, 영상 처리 방법.
  18. 제17항에 있어서,
    상기 화질 처리하는 단계는,
    특정 타입의 화질 처리에 대해 픽셀 영역 별로 맵핑된 픽셀 게인 값에 상기 신뢰도 레벨을 적용하여 상기 픽셀 게인 값을 업데이트하는 단계; 및
    상기 업데이트된 픽셀 게인 값에 기초하여 상기 입력 영상에 대해 상기 특정 타입의 화질 처리를 수행하는 단계;를 포함하는, 영상 처리 방법.
  19. 제16항에 있어서,
    상기 입력 영상의 로컬 콘트라스트 정보를 식별하는 단계
    상기 입력 영상에 포함된 픽셀에 대해 기 설정된 윈도우를 적용하여 적어도 하나의 로컬 콘트라스트 값을 식별하는 단계; 및
    상기 적어도 하나의 로컬 콘트라스트 값 중 최대 값을 상기 적어도 하나의 로컬 콘트라스트 값 중 최대 값을 상기 입력 영상에 포함된 픽셀에 대응되는 로컬 콘트라스트 정보로 식별하는 단계;를 포함하는, 영상 처리 방법.
  20. 제11항에 있어서,
    상기 포커스 맵에 시간 필터링(temporal filtering) 또는 공간 필터링(spatial filtering) 중 적어도 하나를 적용하여 필터링된 포커스 맵을 획득하는 단계;를 더 포함하며,
    상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는 단계는,
    상기 입력 영상의 밝기 정보 또는 콘트라스트(contrast) 정보 중 적어도 하나 및 상기 필터링된 포커스 맵에 포함된 정보에 기초하여 상기 포커스 맵의 영역 별 신뢰도 정보를 획득하는, 영상 처리 방법.
KR1020220113029A 2022-09-06 2022-09-06 전자 장치 및 그 영상 처리 방법 KR20240034010A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220113029A KR20240034010A (ko) 2022-09-06 2022-09-06 전자 장치 및 그 영상 처리 방법
PCT/KR2023/010352 WO2024053849A1 (ko) 2022-09-06 2023-07-19 전자 장치 및 그 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220113029A KR20240034010A (ko) 2022-09-06 2022-09-06 전자 장치 및 그 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20240034010A true KR20240034010A (ko) 2024-03-13

Family

ID=90191520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220113029A KR20240034010A (ko) 2022-09-06 2022-09-06 전자 장치 및 그 영상 처리 방법

Country Status (2)

Country Link
KR (1) KR20240034010A (ko)
WO (1) WO2024053849A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
KR101556684B1 (ko) * 2014-03-03 2015-10-01 서울대학교산학협력단 뎁스 맵 생성 방법 및 이를 이용하는 장치
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210066653A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
WO2024053849A1 (ko) 2024-03-14

Similar Documents

Publication Publication Date Title
US11003951B2 (en) Image processing apparatus and image processing method thereof
US9652829B2 (en) Video super-resolution by fast video segmentation for boundary accuracy control
US11024016B2 (en) Image processing apparatus and image processing method thereof
JP6978542B2 (ja) 電子装置及びその制御方法
KR102580519B1 (ko) 영상처리장치 및 기록매체
US11893748B2 (en) Apparatus and method for image region detection of object based on seed regions and region growing
KR20200114951A (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20240034010A (ko) 전자 장치 및 그 영상 처리 방법
US11436442B2 (en) Electronic apparatus and control method thereof
US11373340B2 (en) Display apparatus and controlling method thereof
US11741570B2 (en) Image processing device and image processing method of same
US10949704B2 (en) Electronic apparatus and control method thereof
KR20210108027A (ko) 전자 장치 및 그 제어 방법
KR20180028758A (ko) 디스플레이장치 및 그 제어방법
KR20190090262A (ko) 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US20230386057A1 (en) Electronic apparatus and image processing method thereof
KR20230164980A (ko) 전자 장치 및 그 영상 처리 방법
US20220375048A1 (en) Electronic apparatus and image processing method thereof
KR20220158525A (ko) 전자 장치 및 그 영상 처리 방법
CN118020285A (zh) 显示装置及其操作方法