KR102525159B1 - 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 - Google Patents

전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR102525159B1
KR102525159B1 KR1020180031348A KR20180031348A KR102525159B1 KR 102525159 B1 KR102525159 B1 KR 102525159B1 KR 1020180031348 A KR1020180031348 A KR 1020180031348A KR 20180031348 A KR20180031348 A KR 20180031348A KR 102525159 B1 KR102525159 B1 KR 102525159B1
Authority
KR
South Korea
Prior art keywords
image
filters
artificial intelligence
intelligence model
input image
Prior art date
Application number
KR1020180031348A
Other languages
English (en)
Other versions
KR20190109820A (ko
Inventor
이천
강성호
권형달
임윤재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180031348A priority Critical patent/KR102525159B1/ko
Priority to PCT/KR2019/002592 priority patent/WO2019182269A1/ko
Priority to US16/979,303 priority patent/US20200401889A1/en
Publication of KR20190109820A publication Critical patent/KR20190109820A/ko
Application granted granted Critical
Publication of KR102525159B1 publication Critical patent/KR102525159B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 기계 학습 알고리즘을 활용하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다.
전자 장치가 개시된다. 본 전자 장치는 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델, 그리고 입력된 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 인공지능 모델을 통해 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행하는 프로세서를 포함한다.

Description

전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 { ELECTRONIC APPARATUS FOR IMAGE PROCESSING, METHOD THEREOF, AND COMPUTER-READABLE MEDIUM }
본 개시는 이미지를 처리하는 전자 장치에 관한 것으로, 구체적으로는, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 DNN(Deep Neural Network) 기반으로 학습된 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 이미지 처리를 수행하는 전자 장치에 관한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
이미지를 처리하는 전자 장치에 있어, 종래 하드웨어를 기반으로 한 화질 개선 알고리즘의 적용은 노이즈, 선명도, 명암비 등 각종 화질 요소별로 별도의 화질 개선 알고리즘이 하드웨어적으로 적용되어 화질 개선이 수행되었다.
그러나, 일반적으로 화질 개선 기술은 각종 화질 요소별로 독립적으로 개발되는 것이 보통인 반면, 소비자 제품인 전자 장치의 하드웨어는 제품 생산 과정에서 대부분의 구성이 결정되기 때문에, 종래의 하드웨어 기반 화질 개선 알고리즘은 각 화질 요소별로 새로운 기술을 즉각적으로 소비자 제품(전자 장치)에 도입하기 어렵다는 문제가 있었다.
또한, 종래의 이미지 분석 및 필터 구성을 포함한 전자 장치의 칩은, 화질 개선 기술이 발달할수록 칩의 사이즈가 커짐에 따라 높은 비용이 든다는 문제가 있었다.
종래 화질 모드별 고정값을 세팅하는 기술은 일반적으로 화질 모드를 선명한 모드(dynamic mode), 영화 모드(movie mode) 및 표준 모드(standard mode) 등으로 구분하여 모드에 따라 구분되는 화질 개선 효과를 사용자에게 제공해왔다. 종래 화질 모드 구분의 일 예로, 멀리서도 색감과 디테일이 눈에 잘 띄도록 화질 개선이 강하게 되어 스포츠나 고화질의 다큐멘터리 영상에 적합한 선명한 모드, 영화 제작자의 의도를 보장하는 화질을 제공하고자 화질 개선을 거의 하지 않는 영화 모드, 선명한 모드와 영화 모드의 중간 정도의 화질 개선이 제공되어 일반적으로 많이 사용되는 표준 모드 등으로 화질 모드가 구분될 수 있었다.
다만, 종래의 기술은 영상에 따라 적합한 화질 모드가 준비되어 있음은 별론, 사용자가 영상의 특성을 직접 파악하고 어떤 모드로 화질 개선을 수행할지를 직접 선택 및 명령해야 한다는 불편이 있었다.
인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식 및 판단의 정확성이 향상되는 시스템이다.
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성될 수 있다.
요소기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 등 여러 가지를 포함한다.
특히, 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다.
본 개시의 목적은 서로 다른 필터링을 수행하는 각각의 필터에 대한 분석 및 제어부들을 학습이 가능한 인공지능 모델로 통합함으로써, 화질 개선 기술을 손쉽게 업데이트 할 수 있으면서도 이미지 처리를 위한 칩의 복잡도가 완화되어 비용이 절감되는 전자 장치를 제공함에 있다.
본 개시는 이미지 처리 필터의 종류, 성능 등 정해진 하드웨어 환경에 가장 적합한 파라미터를 스스로 찾아나가는 전자 장치를 제공함은 물론, 이미지 처리를 위한 하드웨어 구성이 변경되더라도 변경된 하드웨어 구성에 적합한 제어 변수를 제공하도록 학습되는 인공지능 모델을 포함하는 전자 장치를 제공함에도 그 목적이 있다.
또한, 본 개시는 DNN(Deep Neural Network) 기반의 화질 개선 칩을 이용하여 영상을 분석하고, 영상의 장면에 적합한 고정 화질 세팅 파라미터 및 가변 세팅 파라미터를 추론(inference) 및 적용하여, 실시간으로 개선된 최적의 화질을 사용자에게 제공하는 전자 장치를 제공함에 그 목적이 있다.
이상의 목적을 달성하기 위한 본 개시에 따른 전자 장치는 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장된 저장부, 상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 프로세서를 포함한다.
이때, 상기 복수의 필터는, 상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개를 포함할 수 있다.
한편, 상기 인공지능 모델은, 이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것일 수 있다.
이때, 상기 인공지능 모델은, 상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것일 수 있다.
이 경우, 상기 프로세서는, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 연관관계에 기초하여, 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수도 있다.
한편, 상기 인공지능 모델은, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 추가로 학습될 수 있다.
또는, 상기 인공지능 모델은, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 추가로 학습될 수도 있다.
그리고, 상기 프로세서는, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행할 수 있다.
한편, 상기 전자 장치는 DNN 가속기를 더 포함하고, 상기 인공지능 모델은, 상기 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 것일 수 있다.
또한, 상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정될 수 있다.
한편, 본 개시에 따른 전자 장치의 이미지 처리 방법은 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델이 학습되는 단계, 상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계를 포함한다.
이때, 상기 복수의 필터는, 상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개을 포함할 수 있다.
한편, 상기 인공지능 모델이 학습되는 단계는, 상기 인공지능 모델이 이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습될 수 있다.
이때, 상기 인공지능 모델이 학습되는 단계는, 상기 인공지능 모델이 상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습될 수 있다.
이 경우, 상기 파라미터를 결정하는 단계는, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 연관관계에 기초하여, 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수도 있다.
그리고, 상기 인공지능 모델은, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 추가로 학습될 수 있다.
또는, 상기 인공지능 모델은, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 추가로 학습될 수도 있다.
한편, 상기 이미지 처리를 수행하는 단계는, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행할 수 있다.
또한, 상기 인공지능 모델이 학습되는 단계는, 상기 인공지능 모델이 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습될 수 있다.
그리고, 상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정되는 것일 수 있다.
한편, 본 개시에 따른 비일시적 컴퓨터 판독 가능 매체에는, 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금, DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델이 학습되는 단계, 상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계를 포함하는 동작을 수행하도록 하는 컴퓨터 명령어가 저장되어 있다.
본 개시에 따른 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체는 서로 다른 필터링을 수행하는 각각의 필터에 대한 분석부를 하나의 인공지능 모델로 통합함으로써, 전자 장치의 화질 개선 기술을 손쉽게 업데이트할 수 있도록 함은 물론, 전자 장치의 하드웨어 환경 및 사용자의 콘텐츠 소비 환경에 기초하여 점진적이고 능동적인 화질 개선 효과를 제공할 수 있다.
또한, 본 개시에 따른 전자 장치는 이미지 처리용 필터의 각 분석부를 하드웨어적으로 구성하는 종래의 기술에 비해, 이미지 처리를 위한 칩의 복잡도가 완화되어 전자 장치의 하드웨어 구성 비용을 절감할 수 있다.
도 1은 화질 개선을 위한 종래의 이미지 처리 방법과 본 개시에 따른 이미지 처리 방법을 비교하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 전자 장치에 이용되는 DNN(Deep Neural Network)의 일 예를 설명하기 위한 도면,
도 4 내지 도 5는 본 개시의 일 실시 예에 따른 전자 장치가 이미지를 처리함에 있어, 인공지능 모델의 학습 대상을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 전자 장치에 있어, 복수의 필터 중 하나의 필터가 입력된 이미지를 필터링하는 일 예를 설명하기 위한 도면,
도 7은 본 개시의 다양한 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도,
도 8은 본 개시의 일 실시 예에 따른 전자 장치가 음성 신호를 처리함에 있어, 인공지능 모델의 학습 대상을 설명하기 위한 도면, 그리고
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 이미지 처리 방법을 설명하기 위한 순서도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 이용하여 본 개시에 대해 구체적으로 설명한다.
도 1은 화질 개선을 위한 종래의 기술과 본 개시에 따른 기술을 비교하기 위한 도면이다. 도 1의 (a)는 종래의 이미지 처리 방법, 도 1의 (b)는 본 개시에 따른 이미지 처리 방법에 대한 도면이다.
도 1의 (a)에는 입력된 이미지에 대한 화질 개선의 일반적이고 개략적인 과정이 도시되어 있다.
도 1의 (a)를 참고하면, 종래 일반적인 이미지 처리 방법은 입력된 이미지를 이미지 신호로 변환한 뒤, 변환된 이미지 신호가 하드웨어로 구성된 복수의 이미지 처리를 거치게 된다.
구체적으로는, 변환된 이미지 신호가 노이즈 분석 및 노이즈 제거 필터링, 선명도 분석 및 선명도 개선 필터링, 명암비 분석 및 명암비 개선 필터링을 거치게 되며 이러한 과정들을 수행하는 종래의 칩은 그 복잡도가 커 사이즈가 커짐에 따라 고가인 경우가 많았다.
또한, 종래의 칩은 일반적으로 여러 가지 기능을 종합적으로 수행하도록 설계되었으므로, 노이즈 제거, 선명도 개선, 명암비 개선 각각에 대한 독립적인 기능 개선이나 업데이트가 실시간으로 반영되기에는 어려웠다.
반면, 도 1의 (b)를 참고하면, 본 개시의 일 실시 예에 따른 전자 장치는 노이즈 제거, 선명도 개선, 명암비 개선에 사용되는 각각의 필터를 모두 제어하기 위한 하나의 통합된 인공지능 모델을 별도로 포함할 수 있다.
이 경우, 본 개시에 따른 이미지 처리 방법은 입력된 이미지를 이미지 신호로 변환한 뒤, 변환된 이미지 신호가 적어도 하나의 필터(도 1의 (b)의 경우 노이즈 제거 필터)에 입력됨과 동시에 인공지능 모델에도 입력된다.
그 후, 인공지능 모델은 입력된 이미지, 즉 변환된 이미지 신호를 분석하고, 분석한 결과를 기초로 노이즈 제거 필터, 선명도 개선 필터, 명암비 개선 필터 각각을 제어할 수 있다.
이를 통해, 노이즈 제거 필터, 선명도 개선 필터, 명암비 개선 필터는 인공지능 모델의 제어에 기초하여 입력된 이미지의 화질 개선을 위한 필터링을 수행할 수 있다.
즉, 도 1의 (b)에 따른 전자 장치는, 이미지 처리를 위한 각각의 필터는 하드웨어로 구현되지만, 각 필터를 제어하기 위한 제어 로직(Logic)만은 학습이 가능한 인공지능 모델로 구현됨으로써 전자 장치가 경량화될 수 있다.
이하, 본 개시의 일 실시 예에 따른 전자 장치의 구성과 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다. 전자 장치(100)는 TV, 셋톱박스(Set-Top Box), 휴대폰, 모니터 등으로 구현될 수 있다.
도 2에 의하면, 전자 장치(100)는 저장부(110) 및 프로세서(120)를 포함한다.
저장부(110)는 비휘발성 메모리(ex. ROM, 하드디스크, SSD(Solid state drive), 플래시 메모리), RAM과 같은 휘발성 메모리 등으로 구현될 수 있다.
저장부(110)에는 전자 장치(100)가 수행할 수 있는 각종 태스크 내지는 어플리케이션에 대한 정보, 프로세서(120)의 작업 수행과 관련된 데이터가 저장되어 있을 수 있다.
저장부(110)에는 프로세서(120)가 수행하는 이미지 처리 또는 음성 처리와 관련된 데이터가 저장되어 있을 수도 있다.
구체적으로, 저장부(110)에는 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장되어 있을 수 있다.
이미지 처리에 이용되는 복수의 필터는, 전자 장치(100)에 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 등으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니고 전자 장치(100)를 통해 제어하고자 하는 이미지 처리용 필터들의 구성을 어떻게 결정하고 설계하느냐에 따라 필터의 종류가 다양할 수 있다.
복수의 필터에 대한 파라미터는, 복수의 필터 각각이 입력된 이미지를 필터링하는 정도를 의미하는 것으로서, 복수의 필터 각각에 대한 제어 변수를 의미한다.
일 예로, Red 색상을 개선하기 위한 필터가 전자 장치(100)에 입력된 이미지에 대한 필터링을 수행함에 있어, 입력된 이미지에 포함된 Red 색상의 출력을 증가시키는 정도가, Red 색상을 개선하기 위한 필터에 대한 파라미터일 수 있다.
즉, 전자 장치(100)는 복수의 필터 각각에 대한 파라미터를 입력되는 이미지별로 다르게 결정한 결과, 복수의 필터 각각이 수행하는 필터링의 정도를 제어할 수 있다.
파라미터는 일단 설정되면 일정 기간 동안 세팅 값이 변하지 않는 고정 파라미터와, 실시간으로 세팅 값이 변하는 가변 파라미터로 구분될 수 있다.
일 예로, 이미지 처리를 위한 필터들에 있어서, 고정 파라미터는 장면의 종류에 변화가 생기면 세팅값이 변경된 후 고정되는 것으로서 명암비 개선 비율, 색상 개선 강도 등에 대한 파라미터가 고정 파라미터에 포함될 수 있다. 반면, 가변 파라미터는 장면의 종류와는 연동하지만 실시간으로 연속적으로 변경되는 것으로서 노이즈 제거 정도, 선명도 개선 정도 등에 대한 파라미터가 가변 파라미터에 포함될 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(120)는 전자 장치(100)에 입력된 이미지 또는 음성을 변환 내지 처리하기 위해 전자 장치(100)의 각 구성을 제어할 수 있다.
이를 위해, 프로세서(120)는 주문형 집적 회로(application specific integrated circuit, ASIC), 임베디드 프로세서, 마이크로프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware finite state machine, FSM), 디지털 신호 프로세서(digital signal processor, DSP), 중 적어도 하나로 구현될 수 있다. 도시하진 않았으나, 프로세서(120)는 각 구성들과 통신을 위한 버스(bus)와 같은 인터페이스를 더 포함할 수 있다.
프로세서(120)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 SoC(system on chip)로 구현될 수도 있다.
일 예로, 프로세서(120)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(120)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
프로세서(120)는 입력된 이미지를 처리하기 위해 저장부(110)에 저장된 정보를 이용하거나 또는 이미지 처리와 관련된 새로운 정보를 저장부에 저장할 수도 있다.
프로세서(120)는 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 저장부(110)에 저장할 수 있다. 구체적으로는, 학습된 인공지능 모델을 바탕으로 조건에 따라 수행할 동작을 결정할 수 있다.
인공지능 모델은 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 인공지능 모델은, 예를 들어 신경망(Neural Network)을 기반으로 하는 모델일 수 있다.
인공지능 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 일 예로, 인공지능 모델은 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.
예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
DNN은 입력층(Input Layer) 및 출력층(Output Layer) 사이에 여러 개의 은닉층(Hidden Layer)들로 이루어진 인공신경망을 의미한다.
즉, DNN은 입력으로부터 출력으로 이어지기까지의 수많은 요소 간의 복잡한 비선형 관계들을 모델링할 수 있다. DNN은 비교적 적은 수의 유닛(또는 노드)만으로도 복잡한 데이터를 모델링할 수 있다는 장점이 있다.
DNN의 Layer 구조는 기존의 Convolutional Layer를 이용한 이미지 분류의 Layer 구조와 유사하게 설계될 수 있다.
예를 들어, DNN의 은닉층 구조에는 이미지 분류를 위한 CNN(Convolutinal Neural Network) 구조를 이용하고, 출력층에 포함된 노드의 수는 도출해내고자 하는 파라미터의 수에 맞도록 설계할 수 있다.
일 예로, DNN은 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능을 학습시키기 위하여, 도 3과 같이 개략적으로 구성될 수 있다.
도 3을 참조하면, 인공지능 모델이 기반으로 하는 DNN에 있어, 입력층(Input Layer)에는 전자 장치(100)에 입력된 이미지가 입력될 수 있다. 이때, 입력된 이미지의 각각의 픽셀이 이미지 신호로 변환되어 수치화된 값이 입력층의 각 노드에 입력될 수도 있다.
도 3에 의하면, 전자 장치(100)의 인공지능 모델이 기반으로 하는 DNN은, 은닉층이 Customized Convolutional Layer로 구성되고, Customized Convolutional Layer와 출력층 사이에 Fully Connected Layer가 포함되도록 설계될 수 있다.
또한, 만약 입력 데이터가 하나의 이미지가 아니고 복수의 이미지가 시간축으로 입력되는 비디오에 해당할 경우, DNN 구조는 RNN(Recurrent Neural Network) 구조로 설계될 수도 있다.
프로세서(120)는 음성 정보와 관련된 학습 데이터 및 영상 정보와 관련된 학습 데이터를 이용하여 인공지능 모델을 생성 또는 학습시킬 수 있다.
지도 학습 방식을 통하여 인공지능 모델을 학습시키는 경우, 프로세서(120)는, 사용자 의도에 따른 조건 및 조건에 따라 실행할 액션을 학습 데이터로서 이용할 수 있다.
또는, 상술한 조건에 따라 검출할 이벤트 및 상술한 액션에 따라 실행할 기능이 학습 데이터로서 추가되거나, 상술한 이벤트를 검출할 검출 자원 및 상술한 기능을 실행할 실행 자원이 학습 데이터로서 추가될 수 있다.
한편, 프로세서(120)는 조건과 관련된 학습 데이터 및 조건에 대응되는 액션과 관련된 학습 데이터를 이용하여 인공지능 모델을 생성 및 학습시킬 수도 있다.
또는, 프로세서(120)는 이벤트와 관련된 학습 데이터 및 기능과 관련된 학습 데이터를 이용하여 인공지능 모델을 생성 및 학습시킬 수 있다.
한편, 인공지능 모델은 미리 구축되어, 프로세서(120)를 이용한 학습에 의해 업데이트되는 모델일 수 있다. 이 경우, 인공지능 모델은 기본 학습 데이터(예를 들어, 샘플 이미지 등)를 입력 받아 미리 구축된 상태일 수 있다.
프로세서(120)는 인공지능 모델의 학습을 위해 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩을 포함할 수 있다.
인공지능을 위한 전용 하드웨어 칩의 일 예로, 프로세서(120)는 인공 지능 학습을 위한 DNN 가속기를 포함하거나 및/또는 제어할 수 있다. DNN 가속기는 DNN 기반의 인공지능 모델의 학습을 보다 가속화할 수 있도록 설계된 전용 하드웨어 칩이다.
인공지능 모델의 학습을 위해, 프로세서(120)는 저장부(110)에 저장된 인공지능 학습용 소프트웨어 모듈 또는 컴퓨터 판독 가능 기록 매체에 저장된 인공지능 학습용 소프트웨어 모듈을 이용할 수도 있다.
한편, 인공지능 모델의 학습은 전자 장치(100)의 프로세서(120)에 의해 이루어지지 않을 수도 있다. 예를 들어, 외부 장치(도시되지 않음)에서 DNN을 기반으로 학습된 인공지능 모델이 전자 장치(100)의 저장부(110)에 저장되고, 프로세서(120)가 저장된 인공지능 모델을 이용할 수도 있다.
이 경우, 전자 장치(100)는 외부 장치로부터 인공지능 모델의 추가 학습에 필요한 데이터를 입력받아, 저장된 인공지능 모델을 추가로 학습시키는 방법으로 인공지능 모델을 업데이트 할 수 있다.
또는, 전자 장치(100)는 저장부(110)에 저장된 학습된 인공지능 모델에 비해 더많이 학습된 인공지능 모델을 외부 장치로부터 받아 저장부(110)에 저장하는 방식으로 인공지능 모델에 대한 업데이트를 수행할 수도 있다. 이때, 전자 장치(100)는 기존의 인공지능 모델에 대한 데이터의 일부 또는 전부를 삭제할 수도 있다.
프로세서(120)는 학습된 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행할 수 있다.
이를 위해, 인공지능 모델은 학습용 이미지, 그리고 학습용 이미지를 타겟 이미지로 변환하기 위한 필터링에 있어 요구되는 복수의 필터 각각에 대한 학습용 파라미터를 바탕으로 학습될 수 있다.
도 4는 인공지능 모델이 각각의 학습 이미지를 더 높은 품질의 타겟 이미지로 변환하기 위한 학습 파라미터의 일 예를 도시한 것이다.
도 4를 참조하면, 학습 대상인 이미지 중 이미지 1은 비교적 노이즈가 많은 이미지로서 노이즈가 없는 타겟 이미지로 변환하기 위해 노이즈 제거 필터에 대한 파라미터를 높이는(도 4에서는 '32') 것이 바람직하다는 것을 확인할 수 있다.
반면, 이미지 2는 객체의 경계가 불분명하기 때문에 경계를 분명히 해주는 선명도 개선이 필요한 이미지이다. 따라서, 이미지 2에 대해서는 선명도 개선 필터에 대한 파라미터를 높이는(도 4에서는 '20') 것이 바람직하다는 것을 확인할 수 있다.
또한, 이미지 3은 밝은 부분과 어두운 부분의 구분이 뚜렷하지 않기 때문에, 밝은 부분은 더 밝게 하고 어두운 부분은 더 어둡게 할 필요가 있는 이미지이다. 따라서, 이미지 3에 대해서는 명암비 개선 필터에 대한 파라미터를 높이는(도 4에서는 '25') 것이 바람직하다는 것을 확인할 수 있다.
이렇듯, 인공지능 모델은 각각의 학습 이미지 및 각각의 학습 이미지에 대응되는 파라미터의 적합한 수치(학습 파라미터)에 대한 데이터를 학습하고, 입력된 이미지의 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하는 데에 학습된 데이터를 사용할 수 있다.
구체적으로, 인공지능 모델은 학습 이미지 중 이미지 1은 노이즈가 많은 이미지이고, 노이즈가 많은 이미지 1에 대해서는 노이즈 제거 필터에 대한 파라미터를 증가시켰다는 점을 학습한 결과를 토대로, 입력된 이미지에 노이즈가 많다면 입력된 이미지를 처리하기 위한 노이즈 제거 필터의 파라미터를 비교적 높게 결정할 수 있다.
이를 위해, 인공지능 모델은 입력된 이미지의 여러 가지 특성을 정의하고 이를 복수의 필터 각각의 파라미터와 연관시킬 필요가 있다. 이러한 연관 관계는 인공지능 모델이 학습의 기반으로 하는 DNN의 각 요소별 연관 관계의 집합을 통해서 학습될 수 있다.
이때, 이미지의 특성은 이미지의 내용 또는 이미지를 변환시킨 이미지 신호의 특성에 해당할 수 있다.
이미지의 내용은 이미지의 카테고리 및 세부 카테고리들을 포함할 수 있는데, 이미지의 카테고리는 영상 및 사진을 포함할 수 있고, 세부 카테고리는 예를 들어 이미지가 영상 카테고리인 경우 광고 영상, 뉴스 영상, 영화, 스포츠 영상 등일 수 있다. 또한, 세부 카테고리가 영화인 경우, 그보다 더욱 하위 개념의 액션 영화, SF 영화, 멜로 영화 등으로 정의될 수도 있다.
또한, 이미지의 내용은 이미지상에 특정 대상이 포함되는지 여부에 대한 정보가 포함될 수 있다. 구체적으로, 이미지의 내용은 선정성 또는 자극성이 심한 대상이 이미지상에 포함되는지 여부에 대한 정보를 포함할 수 있다.
이미지의 특성 중 이미지의 내용에 기초하여 필터의 파라미터를 결정하는 일 예로, 프로세서(120)는 인공지능 모델을 통해 이미지의 카테고리를 인지하고 인지된 카테고리에 따른 화질 값, 즉 파라미터를 세팅할 수 있다. 이때, 인지된 카테고리에 따른 파라미터 세팅 값은 기존에 학습된 것일 수 있다.
만약, 세부 카테고리가 영화인 경우라면, 프로세서(120)는 영화 모드에 대응되는 화질을 제공하기 위해 색감 또는 명암비에 대한 파라미터 값을 최소화하는 한편 영화가 끝날 때까지 유지(고정 파라미터)할 수 있다. 또한, 프로세서(120)는 노이즈 또는 선명도 개선에 대한 파라미터 값은 실시간으로 변경하여(가변 파라미터) 이미지에 적용할 수 있다.
만약, 세부 카테고리가 스포츠 영상이고 구체적으로 축구 영상인 경우라면, 프로세서(120)는 선명한 모드에 따른 화질을 제공하기 위해 색감 또는 명암비에 대한 파라미터 값을 높게 설정하는 한편 영상이 끝날 때까지 유지(고정 파라미터)할 수 있다. 또한, 잔디와 관객 등 선명하게 잘 보이도록 처리할 필요가 있는 텍스처가 이미지상에 포함되는지 여부에 따라, 프로세서(120)는 선명도에 대한 파라미터 값을 실시간으로 또는 이미지 영역별로 변경(가변 파라미터)할 수도 있다.
다른 예로, 프로세서(120)는 인공지능 모델을 통해, 잔인하거나 선정적인 내용 등 자극적인 내용을 포함하고 있는 입력된 이미지의 내용을 고려하여, 모자이크 필터가 수행하는 모자이크 필터링에 대한 파라미터 값을 비교적 높게 결정할 수 있다.
한편, 이미지 신호의 특성은 주파수 특성을 포함할 수 있고, 일 예로 주파수 신호에 있어 유독 변화가 심한 부분을 노이즈 특성에 대응되는 것으로 볼 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 각각의 필터에 대한 파라미터는 필터별로 하나만 존재하는 것은 아닐 수 있다. 일반적으로 각각의 필터는 필터링을 수행하기 위해 여러 가지 요소를 제어하는 경우가 다수이다.
따라서, 인공지능 모델은 학습용 이미지를 타겟 이미지로 변환하기 위해 학습용 이미지에 대한 필터링 시 요구되는 복수의 필터 각각에 대하여, 하나의 파라미터가 아닌 복수의 파라미터를 바탕으로 학습될 수 있다.
도 5는 인공지능 모델이 각각의 학습 이미지를 더 높은 품질의 타겟 이미지로 변환하기 위한 학습 파라미터의 또다른 예를 도시한 것이다.
도 5와 같은 학습 데이터를 통해, 인공지능 모델은 각각의 학습 이미지를 처리함에 있어, 각각의 필터에 포함된 복수의 파라미터에 대한 적절한 수치 값(학습 파라미터)을 학습할 수 있다.
한편, 도 4 및 도 5에 표시되는 학습 데이터들은 사용자에 의해 전자 장치(100)에 입력되어 인공지능 모델의 학습에 이용될 수 있다.
이때, 학습 데이터들은 다른 외부의 이미지 처리 장치(도시되지 않음)가 이미지를 분석하는 방법에 대한 데이터에 기초한 것일 수 있다.
도 4 및 도 5에 표시되는 학습 이미지는 고화질의 원본 데이터에 해당하는 이미지일 수 있다. 또는, 학습 이미지는 원본 데이터가 아닌 원본 데이터를 후처리하여 방송, 스트리밍 서비스 등을 통해 전자 장치(100)에 제공되는 변형 데이터에 해당하는 이미지일 수 있다.
그리고, 프로세서(120)는 인공지능 모델을 통해 입력된 이미지에 대응되는 이미지 신호의 특성 및 학습된 연관관계에 기초하여, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수 있다.
간단한 예로, 특정한 특성 A를 갖는 학습 이미지에 대해서 필터 B에 대한 파라미터의 값을 '10'으로 한 학습 파라미터 값을 인공지능 모델이 학습한 경우, 프로세서(120)는 입력된 이미지가 동일한 특성 A를 갖는다면 입력된 이미지를 처리함에 있어 필터 B의 파라미터 값을 '10'으로 결정할 수 있다.
다만, 인공지능 모델이 학습하는 이미지의 특성 및 파라미터의 연관관계는 상술한 예와 같이 한 가지 특성 및 파라미터의 일대일 관계만으로 단순하게 정의되지는 않을 가능성이 높다. 일반적으로, 프로세서(120)는 학습된 인공지능 모델에 정의된 이미지의 수많은 특성들과 복수 파라미터들 간의 복잡한 연관관계에 기초하여, 입력된 이미지를 처리하기 위한 복수의 필터들에 대한 파라미터를 결정하게 된다.
한편, 도 6은 프로세서(120)가 입력된 이미지에 대한 필터 A(610)의 파라미터를 결정한 결과, 결정된 파라미터를 기초로, 필터 A(610)가 입력된 이미지의 처리를 수행하는 일 예를 설명하기 위한 도면이다.
도 6을 참조하면, 입력된 이미지의 이미지 신호(Iin)가 입력되면 이미지 신호(Iin)는 필터 A(610)가 수행할 수 있는 최대치(αmax) 로 필터링되어 "Ifiltered"가 된다.
한편, 도 6에서 프로세서(120)는 학습된 인공지능 모델(620)을 통해 입력된 이미지에 대한 필터 A(610)를 위한 파라미터 αgain 을 결정한다.
이후, 필터 게인 제어부(630)에 Iin 과 Ifiltered를 연산한 결과인 Idiff (= Iin - Ifiltered)가 입력된 결과, Idiff 와 αgain을 이용하여 I'diff (= αgain /αmax * Idiff)가 얻어질 수 있다.
그리고, I'diff와 Iin을 연산한 결과 필터 A의 필터링이 수행된 출력 이미지 신호(Iout = Iin - I'diff)가 얻어질 수 있다.
도 6의 과정이 병렬적으로 각각의 필터에 대하여 수행될 수 있다. 다만, 이는 하나의 예일 뿐 파라미터 기반의 필터링 제어가 반드시 이에 한정되는 것만은 아니다.
한편, 프로세서(120)는 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대해 순차적으로 필터링을 수행할 수도 있다.
즉, 프로세서(120)가 결정된 파라미터를 기초로 각각의 필터를 제어하는 한편, 입력된 이미지는 프로세서(120)에 의해 제어되는 필터 각각을 순서대로 거치면서, 입력된 이미지에 대한 순차적인 이미지 처리가 각각의 필터별로 수행될 수 있다.
한편, 인공지능 모델은 입력되는 이미지 및 결정된 파라미터를 기초로 추가로 학습될 수도 있다. 즉, 입력되는 이미지 및 결정된 파라미터도 각각 학습 이미지 및 학습 파라미터로 사용될 수 있다.
또한, 인공지능 모델은 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대해 추가로 학습될 수도 있다.
사용자의 콘텐츠 소비 환경은 입력되는 이미지의 평균적인 해상도, 이미지가 입력되는 네트워크 환경 등을 포함할 수 있다.
일 예로, 만약 입력되는 이미지의 평균적인 해상도가 매우 낮은 경우라면, 프로세서(120)는 입력되는 이미지의 저 해상도 특성을 학습한 인공지능 모델을 통해, 입력되는 이미지를 처리하는 선명도 개선 필터의 파라미터를 평균적으로 더욱 높게 결정할 수 있다.
도 7은 본 개시의 다양한 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 7에 의하면, 전자 장치(100)는 저장부(110), 프로세서(120), 입력부(130), 영상 분석부(140), 신호 처리부(150), 통신부(160), 사용자 입력부(170), 출력부(180) 등을 포함한다.
입력부(130)는 외부 장치(도시되지 않음)로부터 유선 또는 무선의 방식으로 데이터 및 신호를 입력받을 수 있다.
입력부(130)는 외부 장치로부터 이미지 신호 또는 음성 신호를 입력받을 수 있다.
일 예로, 전자 장치(100)가 TV이고, 외부 장치가 셋톱 박스인 경우라면, 입력부(130)는 외부 장치가 방송국(미도시) 등으로부터 수신한 실시간 방송 콘텐츠를 수신하거나, VOD 서비스를 통해 제공되는 콘텐츠를 수신할 수 있다.
이를 위해, 입력부(130)는 HDMI(High-Definition Multimedia Interface) 단자, 컴포넌트 단자, 또는 USB 단자 중 적어도 하나를 포함하여 외부 장치와 연결되거나, 인터넷 등과 같은 네트워크에 연결되기 위한 통신 모듈을 포함하여, 네트워크를 통해 외부 장치와 연결될 수 있다.
입력부(130)는 외부로부터 사용자의 음성을 입력받을 수도 있다. 이를 위해 입력부(130)는 음성을 신호 형태로 변환하기 위한 마이크(도시되지 않음)를 포함할 수도 있다.
영상 분석부(140)는 입력된 이미지의 특성을 분석하기 위한 구성이다. 영상 분석부(140)는 입력된 이미지 신호의 특성을 분석하여 요소별로 수치화할 수 있다.
프로세서(120)는 영상 분석부(140)에서 분석된 이미지 신호의 특성에 기초하여 인공지능 모델을 학습시킬 수 있다. 또한, 프로세서(120)는 영상 분석부(140)에서 분석된 입력된 이미지 신호의 특성 및 인공지능 모델에 기초하여, 입력된 이미지 신호를 처리하기 위한 복수의 필터에 대한 파라미터를 결정할 수도 있다.
신호 처리부(150)는 입력부(130)를 통해 입력된 이미지 및 복수의 필터에 의하여 이미지 처리된 이미지에 대한 신호 처리를 수행할 수 있다. 또한, 신호 처리부(150)는 입력부(130)를 통해 입력된 음성에 대해서도 신호 처리를 수행할 수 있다.
구체적으로, 신호 처리부(130)는 이미지 신호 또는 음성 신호에 대한 디코딩, 스케일링 및 프레임 레이트 변환 등의 동작을 수행할 수 있다.
통신부(160)는 전자 장치(100)가 유선 또는 무선의 방식으로 외부 장치(도시되지 않음)와 데이터를 송수신할 수 있게 한다.
일 예로, 통신부(160)는 외부 서버(도시되지 않음) 또는 방송국(도시되지 않음)으로부터 이미지 또는 음성에 대한 데이터를 수신할 수 있다.
또한, 통신부(160)는 전자 장치(100)에서 처리가 완료된 이미지 또는 음성에 대한 데이터를 외부 서버 또는 방송국으로 다시 전송할 수도 있다.
인공지능 모델의 학습이 외부장치(도시되지 않음)에서 이루어지는 경우, 통신부(160)는 학습된 인공지능 모델에 대한 데이터를 외부 장치로부터 수신할 수도 있다. 이때, 프로세서(120)는 수신된 인공지능 모델에 대한 데이터를 저장부(110)에 저장하고, 인공지능 모델을 이용할 수 있다.
통신부(160)는 입력된 이미지에 대한 전자 장치(100)의 화질 개선 기능을 업데이트 하기 위해, 화질 개선에 대한 기술 및 알고리즘에 대한 데이터를 외부 서버로부터 수신할 수 있다. 프로세서(120)는 수신된 기술 및 알고리즘에 기초하여 인공지능 모델을 학습시킬 수 있다.
사용자 입력부(170)는 사용자의 전자 장치(100)에 대한 다양한 명령을 입력받는다.
사용자 입력부(170)는 다양한 원격 제어 신호를 수신할 수 있다. 또한, 사용자 입력부(170)는 사용자가 발화의 형태로 전자 장치(100)를 제어할 수 있도록 사용자의 음성을 수신하는 마이크(도시되지 않음)를 포함할 수 있다.
또한, 사용자 입력부(170)는 입력 패널로 구현될 수도 있다. 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 입력 패널은 출력부(180)의 디스플레이(도시되지 않음)와 일체형으로 구현될 수 있다.
그리고, 원격 제어 신호나 음성 또는 터치 등 사용자의 명령을 입력받은 사용자 입력부(170)가 해당 명령을 프로세서(120)로 전달하면, 프로세서(120)는 그 명령에 대응되는 전자 장치(100)의 기능을 수행할 수 있다.
출력부(180)는 입력된 이미지 또는 입력된 이미지가 복수의 필터를 통해 필 터링된 이미지를 디스플레이하기 위한 디스플레이(미도시), 입력된 음성 및 입력된 음성이 다른 복수의 필터를 통해 필터링된 음성을 출력하는 오디오 출력부(미도시)를 포함할 수 있다.
이 경우, 디스플레이(미도시)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이 등으로 구현되고, 오디오 출력부(미도시)는 스피커(미도시) 또는 외부 출력단자(미도시) 등으로 구현될 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)에 포함된 저장부(110)에는, DNN(Deep Neural Network)에 기반하여 음성 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장되어 있을 수 있다.
이때, DNN의 Layer 구조는 RNN을 기반으로 한 Layer 구조를 포함할 수 있다. 이를 통해, 음성 신호가 시간에 따라 변화하는 데이터라는 점이 인공지능 모델의 학습에 적절히 반영될 수 있다.
또한, 프로세서(120)는 인공지능 모델을 통해, 입력된 음성에 대한 음성 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 음성에 대한 필터링을 수행하여, 입력된 음성에 대한 음성 처리를 수행할 수도 있다.
이때, 복수의 필터는, 입력된 음성에 대한 노이즈 필터, 저대역 필터, 중대역 필터, 고대역 필터 등으로 구현될 수 있다. 다만, 음성의 품질 개선을 위한 필터이면 무엇이든 가능하므로, 복수의 필터가 반드시 이러한 필터들에만 한정되지는 않는다.
이 경우, 인공지능 모델은, 학습 대상인 음성 및 학습 대상인 음성을 타겟 품질의 음성으로 변환하기 위해 학습 대상인 음성에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것일 수 있다.
구체적으로, 인공지능 모델은, 학습 대상인 음성에 대응되는 음성 신호의 특성과, 학습 대상인 음성에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것일 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)가 음성 신호를 처리함에 있어, 인공지능 모델의 학습 대상을 설명하기 위한 도면이다.
도 8을 참조하면, 각 학습 음성의 특성에 맞도록 각각의 필터를 제어하기 위한 적합한 파라미터 값(학습 파라미터)을 확인할 수 있다. 도 8과 같은 학습 대상을 기반으로, 프로세서(120)는 인공지능 모델을 학습시킬 수 있다.
이후, 프로세서(120)는 인공지능 모델을 통해 입력된 음성에 대한 음성 처리에 이용되는 노이즈 필터, 저대역 필터, 중대역 필터, 고대역 필터 등에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터들을 통해 입력된 음성에 대한 필터링을 수행하여, 입력된 음성에 대한 음성 처리를 수행할 수 있다.
도 8에서 프리셋 파라미터는, 입력된 음성의 특성 중 하나 이상의 요소에 따라, 복수의 필터에 대한 파라미터를 종합적으로 제어하기 위한 모드를 나타내는 파라미터이다.
예를 들어, 프리셋 파라미터의 각 값은 입력된 음성이 음악 작품인 경우 음악 작품의 장르에 따라 1: 클래식 모드, 2: 락 모드, 3: 발라드 모드, 4: 힙합 모드 등으로 설정되어, 입력된 음악 작품의 장르에 따라 가장 적합한 음성 처리를 수행하기 위해, 기설정된 복수 필터에 대한 파라미터 값들이 각 모드별로 종합적으로 학습될 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 이미지 처리 방법을 설명하기 위한 순서도이다.
이미지 처리 방법에 있어, 먼저 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델이 학습된다. (S910)
이때, 복수의 필터는 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 등일 수 있다.
복수의 필터에 대한 파라미터는 복수의 필터 각각이 입력된 이미지를 필터링하는 정도를 나타내는 변수일 수 있다. 각 필터에 대하여 적용 가능한 파라미터 값의 폭은, 각 필터의 하드웨어적 성능에 기반하여 정해질 수 있다.
이때, 인공지능 모델은 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 것일 수 있다.
한편, 인공지능 모델은 학습 이미지 및 학습 이미지를 타겟 이미지로 변환하기 위해 학습 이미지에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것일 수 있다.
학습 이미지와 학습 이미지의 처리에 사용되는 학습 파라미터에 대한 정보는 인공지능 모델이 입력된 이미지에 대한 파라미터를 결정함에 있어 모방해야 할 정해진 답이라고 할 수 있고, 이러한 데이터를 Ground Truth Data라고 한다. 인공지능 모델의 학습에 Ground Truth Data를 직접적으로 이용함으로써, 인공지능 모델의 학습에 있어 시간과 에너지를 아낄 수 있다는 장점이 있다.
구체적으로, 인공지능 모델은 학습 이미지에 대응되는 이미지 신호의 특성과 학습 이미지에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것일 수 있다.
또는, 인공지능 모델은, 학습 이미지 및 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경을 통해 추가로 학습된 것일 수도 있다.
그 후, 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정한다. (S920)
이때, 입력된 이미지에 대응되는 이미지 신호의 특성 및 연관관계에 기초하여, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수도 있다.
그리고, 인공지능 모델은 학습 이미지 및 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 입력되는 이미지 및 결정된 파라미터를 통해 추가로 학습될 수도 있다.
다음으로, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행한다. (S930)
이때, 결정된 파라미터를 바탕으로, 복수의 필터를 통해 입력된 이미지에 대해 순차적으로 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행할 수도 있다.
도 9에서 설명한 이미지 처리 방법은, 도 2 및 도 7에서 도시 및 설명한 구성을 가지는 전자 장치(100)에서 수행될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 도 9에서 설명한 이미지 처리 방법을 수행하기 위한 프로그램이 설치된 다양한 종류의 전자 장치에서 상술한 바와 같이 복수의 필터에 대한 파라미터를 결정하여 이미지를 처리할 수 있다.
이러한 프로그램은 기록 매체에 저장된 상태로 배포될 수도 있다. 이 경우, 기록 매체가 연결 또는 탑재된 장치에 의해 상술한 이미지 처리 방법이 구현될 수도 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치
110: 저장부
120: 프로세서
130: 입력부
140: 영상 분석부
150: 신호 처리부
160: 통신부
170: 사용자 입력부
180: 출력부

Claims (21)

  1. 전자 장치에 있어서,
    DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장된 저장부; 및
    상기 인공지능 모델을 통해, 입력된 이미지의 카테고리를 식별하고,
    상기 식별된 카테고리에 기초하여 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고,
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 인공지능 모델을 통해, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 복수의 필터 각각에 대한 파라미터의 연관관계에 기초하여 상기 파라미터를 결정하는, 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 필터는,
    상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개을 포함하는, 전자 장치.
  3. 제1항에 있어서,
    상기 인공지능 모델은,
    이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것인, 전자 장치.
  4. 제3항에 있어서,
    상기 인공지능 모델은,
    상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것인, 전자 장치.
  5. 삭제
  6. 제3항에 있어서,
    상기 인공지능 모델은,
    상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 추가로 학습되는, 전자 장치.
  7. 제3항에 있어서,
    상기 인공지능 모델은,
    상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 추가로 학습되는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행하는, 전자 장치.
  9. 제1항에 있어서,
    DNN 가속기;를 더 포함하고,
    상기 인공지능 모델은, 상기 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 것인, 전자 장치.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정되는, 전자 장치.
  11. 전자 장치의 이미지 처리 방법에 있어서,
    DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델이 학습되는 단계;
    상기 인공지능 모델을 통해, 입력된 이미지의 카테고리를 식별하는 단계;
    상기 식별된 카테고리에 기초하여 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계; 및
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계;를 포함하며,
    상기 파라미터를 결정하는 단계는,
    상기 인공지능 모델을 통해, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 복수의 필터 각각에 대한 파라미터의 연관관계에 기초하여 상기 파라미터를 결정하는, 이미지 처리 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 복수의 필터는,
    상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개을 포함하는, 이미지 처리 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 인공지능 모델이 학습되는 단계는,
    상기 인공지능 모델이 이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습되는, 이미지 처리 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 인공지능 모델이 학습되는 단계는,
    상기 인공지능 모델이 상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습되는, 이미지 처리 방법.
  15. 삭제
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 인공지능 모델은,
    상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 추가로 학습되는, 이미지 처리 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 인공지능 모델은,
    상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 추가로 학습되는, 이미지 처리 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 이미지 처리를 수행하는 단계는,
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는, 이미지 처리 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 인공지능 모델이 학습되는 단계는,
    상기 인공지능 모델이 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습되는, 이미지 처리 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정되는, 이미지 처리 방법.
  21. 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금,
    DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델이 학습되는 단계;
    상기 인공지능 모델을 통해, 입력된 이미지의 카테고리를 식별하는 단계;
    상기 식별된 카테고리에 기초하여 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계; 및
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계;를 포함하며,
    상기 파라미터를 결정하는 단계는,
    상기 인공지능 모델을 통해, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 복수의 필터 각각에 대한 파라미터의 연관관계에 기초하여 상기 파라미터를 결정하는 동작을 수행하도록 하는 컴퓨터 명령어가 저장된 비일시적 컴퓨터 판독 가능 매체.
KR1020180031348A 2018-03-19 2018-03-19 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 KR102525159B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180031348A KR102525159B1 (ko) 2018-03-19 2018-03-19 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
PCT/KR2019/002592 WO2019182269A1 (ko) 2018-03-19 2019-03-06 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
US16/979,303 US20200401889A1 (en) 2018-03-19 2019-03-06 Electronic device, image processing method of electronic device, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180031348A KR102525159B1 (ko) 2018-03-19 2018-03-19 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Publications (2)

Publication Number Publication Date
KR20190109820A KR20190109820A (ko) 2019-09-27
KR102525159B1 true KR102525159B1 (ko) 2023-04-25

Family

ID=67987331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031348A KR102525159B1 (ko) 2018-03-19 2018-03-19 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Country Status (3)

Country Link
US (1) US20200401889A1 (ko)
KR (1) KR102525159B1 (ko)
WO (1) WO2019182269A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
CN112752011B (zh) * 2019-10-29 2022-05-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子装置和存储介质
KR20210062485A (ko) 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210067699A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102303727B1 (ko) * 2020-04-28 2021-09-27 주식회사 딥인스펙션 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템
KR102548993B1 (ko) * 2020-12-02 2023-06-27 주식회사 텔레칩스 다양한 영상 모드를 지원하는 이미지 스케일링 시스템 및 그 방법
KR20220098504A (ko) * 2021-01-04 2022-07-12 오드컨셉 주식회사 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치
US11778305B2 (en) * 2021-06-18 2023-10-03 Qualcomm Incorporated Composite image signal processor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
JP5361283B2 (ja) * 2008-08-21 2013-12-04 キヤノン株式会社 色処理装置およびその方法
US8718407B2 (en) * 2011-11-18 2014-05-06 Stmicroelectronics (Canada), Inc. High-quality single-frame superresolution training and reconstruction engine
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
KR102415503B1 (ko) * 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP6750854B2 (ja) * 2016-05-25 2020-09-02 キヤノン株式会社 情報処理装置および情報処理方法
KR102638876B1 (ko) * 2016-07-28 2024-02-22 삼성전자주식회사 전자 장치 및 그 제어 방법
US10813595B2 (en) * 2016-12-09 2020-10-27 General Electric Company Fully automated image optimization based on automated organ recognition
US11094029B2 (en) * 2017-04-10 2021-08-17 Intel Corporation Abstraction layers for scalable distributed machine learning

Also Published As

Publication number Publication date
KR20190109820A (ko) 2019-09-27
US20200401889A1 (en) 2020-12-24
WO2019182269A1 (ko) 2019-09-26

Similar Documents

Publication Publication Date Title
KR102525159B1 (ko) 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
US11825033B2 (en) Apparatus and method with artificial intelligence for scaling image data
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
JP7466289B2 (ja) 映像処理装置及びその動作方法
KR102425578B1 (ko) 객체를 인식하는 방법 및 장치
CN110088799B (zh) 图像处理设备和图像处理方法
KR102476239B1 (ko) 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR20190105745A (ko) 전자 장치 및 그 제어 방법
KR20210062477A (ko) 전자 장치 및 그 제어 방법
WO2023137915A1 (zh) 基于特征融合的行为识别方法、装置、设备及存储介质
KR102562052B1 (ko) 전자 장치 및 그 제어 방법
US10997947B2 (en) Electronic device and control method thereof
KR20230009806A (ko) 영상 처리 장치 및 그 동작 방법
US11184670B2 (en) Display apparatus and control method thereof
US20230419721A1 (en) Electronic device for improving quality of image and method for improving quality of image by using same
KR102246110B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20200052462A (ko) 전자 장치 및 그 제어 방법
CN112102175B (zh) 图像对比度的增强方法、装置、存储介质及电子设备
KR20220012785A (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
CN111814818B (zh) 显示设备及其图像处理方法
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
Scheerlinck How to see with an event camera
US20200186703A1 (en) Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
US20240095883A1 (en) Image processing device, electronic device having the same, and operating method thereof
KR102675806B1 (ko) 영상 처리 장치 및 그 영상 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant