KR20210050684A - 이미지 처리 시스템 - Google Patents

이미지 처리 시스템 Download PDF

Info

Publication number
KR20210050684A
KR20210050684A KR1020190135041A KR20190135041A KR20210050684A KR 20210050684 A KR20210050684 A KR 20210050684A KR 1020190135041 A KR1020190135041 A KR 1020190135041A KR 20190135041 A KR20190135041 A KR 20190135041A KR 20210050684 A KR20210050684 A KR 20210050684A
Authority
KR
South Korea
Prior art keywords
image
neural network
post
processing system
processed
Prior art date
Application number
KR1020190135041A
Other languages
English (en)
Inventor
김태현
김진수
배종현
홍성주
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020190135041A priority Critical patent/KR20210050684A/ko
Priority to US17/065,241 priority patent/US11599981B2/en
Priority to JP2020170849A priority patent/JP2021072106A/ja
Priority to DE102020213289.5A priority patent/DE102020213289A1/de
Priority to CN202011145264.8A priority patent/CN112750067A/zh
Publication of KR20210050684A publication Critical patent/KR20210050684A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

이미지 처리 시스템은, 제1뉴럴(neural) 네트웍을 포함하고, 상기 제1뉴럴 네트웍을 이용해 입력 이미지를 처리해 후처리 이미지를 생성하는 이미지 시그널 프로세서; 및 제2뉴럴 네트웍을 포함하고, 목표 이미지와 상기 후처리 이미지를 입력받아 상기 제2뉴럴 네트웍을 이용해 상기 목표 이미지와 상기 후처리 이미지를 진짜 이미지와 가짜 이미지로 분류하는 분류기를 포함하고, 상기 제2뉴럴 네트웍은 상기 목표 이미지를 진짜 이미지로 분류하고 상기 후처리 이미지를 가짜 이미지로 분류하도록 트레이닝되고, 상기 제1뉴럴 네트웍은 상기 후처리 이미지가 상기 제2뉴럴 네트웍에 의해 진짜 이미지로 분류될 수 있도록 트레이닝될 수 있다.

Description

이미지 처리 시스템 {IMAGE PROCESSING SYSTEM}
본 특허문헌은 이미지를 처리하는 이미지 처리 시스템에 관한 것이다.
도 1은 종래의 이미지 처리 시스템의 구성도이다.
이미지 센서(110)는 이미지를 생성하고, 이미지 센서(110)에 의해 생성된 이미지는 이미지 시그널 프로세서(ISP: Image Signal Processor)(120)에 의해 처리될 수 있다. 이미지 시그널 프로세서(120)는 사람의 눈으로 보기에 심미적으로 최적화된 이미지를 생성하기 위해 이미지를 처리할 수 있다. 이미지 시그널 프로세서(120)에 의해 처리된 이미지는 영상장치(예, 모니터)(130)를 통해 사람의 눈(Human Eye)으로 제공될 수 있다.
최근에는 인공지능(AI: Artificial Intelligence)의 한 분야로 컴퓨터 비전(computer vision)이 사용되고 있는데, 컴퓨터 비전은 이미지를 분석해, 물체의 감지(detection), 인식(recognition), 분류(segmentation), 위치(location) 파악 등의 역할을 수행할 수 있다. 컴퓨터 비전에는 이미지 시그널 프로세서(120)에 의해 처리된 이미지가 제공되는데, 종래의 이미지 시그널 프로세서(120)는 사람의 눈으로 보게 될 것을 전제로 심미적인 기능에 특화되어 이미지를 처리해왔으므로, 컴퓨터 비전에는 적합하지 않다. 오히려 이미지 시그널 프로세서의 이미지 처리에 의해 컴퓨터 비전에서는 더욱 더 이미지의 분석이 어려워질 수도 있다.
따라서, 사람의 눈을 위한 것이 아닌 컴퓨터 비전에 특화된 이미지 시그널 프로세서의 개발이 요구되고 있다.
본 발명의 실시예들은, 컴퓨터 비전에 특화된 이미지 시그널 프로세서를 제공할 수 있다.
본 발명의 일실시예에 따른 이미지 처리 시스템은, 제1뉴럴(neural) 네트웍을 포함하고, 상기 제1뉴럴 네트웍을 이용해 입력 이미지를 처리해 후처리 이미지를 생성하는 이미지 시그널 프로세서; 및 제2뉴럴 네트웍을 포함하고, 목표 이미지와 상기 후처리 이미지를 입력받아 상기 제2뉴럴 네트웍을 이용해 상기 목표 이미지와 상기 후처리 이미지를 진짜 이미지와 가짜 이미지로 분류하는 분류기를 포함하고, 상기 제2뉴럴 네트웍은 상기 목표 이미지를 진짜 이미지로 분류하고 상기 후처리 이미지를 가짜 이미지로 분류하도록 트레이닝되고, 상기 제1뉴럴 네트웍은 상기 후처리 이미지가 상기 제2뉴럴 네트웍에 의해 진짜 이미지로 분류될 수 있도록 트레이닝될 수 있다.
본 발명의 다른 실시예에 따른 이미지 처리 시스템은, 입력 이미지를 생성하는 이미지 센서; 상기 입력 이미지를 컴퓨터 비전에 의해 분석이 잘되도록 처리해 후처리 이미지를 생성하는 이미지 시그널 프로세서; 및 상기 후처리 이미지를 분석하는 컴퓨터 비전(computer vision)을 포함할 수 있다.
본 발명의 일실시예에 따른 이미지 처리 시스템의 트레이닝 방법은, 제1뉴럴 네트웍을 이용해 입력 이미지를 처리해 후처리 이미지를 생성하는 단계; 제2뉴럴 네트웍을 이용해 목표 이미지와 상기 후처리 이미지를 진짜 이미지와 가짜 이미지로 분류하는 단계; 및 상기 분별 결과에 응답해, 상기 제1뉴럴 네트웍과 상기 제2뉴럴 네트웍 중 하나의 뉴럴 네트웍을 트레이닝하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따르면, 이미지 시그널 프로세서가 컴퓨터 비전의 성능을 높일 수 있다.
도 1은 종래의 이미지 처리 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 이미지 처리 시스템(200)의 구성도.
도 3은 본 발명의 다른 실시예에 따른 이미지 처리 시스템(300)의 구성도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 본 발명을 설명함에 있어서, 본 발명의 요지와 무관한 구성은 생략될 수 있다. 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
도 2는 본 발명의 일실시예에 따른 이미지 처리 시스템(200)의 구성도이다.
도 2를 참조하면, 이미지 처리 시스템(200)은 이미지 센서(210), 클래식 이미지 시그널 프로세서(220), 이미지 시그널 프로세서(230), 분류기(240), 목표 이미지 생성기(250) 및 컴퓨터 비전(260)을 포함할 수 있다.
이미지 센서(210)는 렌즈(미도시)를 통해 들어온 빛을 디지털 신호로 변환해 이미지(I)를 생성할 수 있다.
클래식 이미지 시그널 프로세서(220)는 이미지 센서(210)에서 생성된 이미지(I)를 처리할 수 있다. 클래식 이미지 시그널 프로세서(220)는 사람의 눈으로 보기에 심미적으로 최적화된 이미지를 생성하기 위해 이미지(I)를 처리할 수 있다. 여기서 '클래식'이라는 용어는 클래식 이미지 시그널 프로세서(220)가 이미지(I)를 심미적으로 처리하기 위한 기존의 이미지 시그널 프로세스와 동일한 역할을 수행하는 이미지 시그널 프로세서이기 때문에 병기되었다. 클래식 이미지 시그널 프로세서(220)는 심미적인 처리를 하기 위한 것이므로, 컴퓨터 비전(260)에는 필요하지 않을 수도 있다. 따라서 이미지 처리 시스템(200)에서 클래식 이미지 시그널 프로세서(220)가 생략될 수도 있다.
이미지 시그널 프로세서(230)는 이미지(X)가 컴퓨터 비전(260)에 의해 분석이 잘되도록 처리해 후처리 이미지(Ycopy)를 생성할 수 있다. 이미지 시그널 프로세서(230)는 사람의 눈으로 보기 좋을 수 있도록 심미적인 처리를 하는 것이 아니라, 컴퓨터 비전(260)에 의해 분석이 잘되도록 후처리 이미지를 생성할 수 있다. 예를 들어, 컴퓨터 비전(260)이 물체의 감지(detection) 역할을 수행한다면 이미지(X)보다 이미지(Ycopy)가 컴퓨터 비전(260)에 의해 더 감지가 잘되도록 이미지 프로세싱을 할 수 있으며, 컴퓨터 비전(260)이 물체를 인식(recognition)하는 역할을 수행한다면 이미지(X)보다 이미지(Ycopy)가 컴퓨터 비전(260)에 의해 더 인식이 잘되도록 이미지 프로세싱을 할 수 있다. 이미지 시그널 프로세서(230)는 뉴럴 네트웍(neural network)을 포함해 구성될 수 있으며, 이 뉴럴 네트웍은 컴퓨터 비전(260)에 의해 분석이 잘되도록 이미지 프로세싱을 하도록 트레이닝(training), 즉 러닝(learning), 될 수 있다.
분류기(discriminator, 240)와 목표 이미지 생성기(250)는 이미지 시그널 프로세서(230)의 트레이닝(러닝)을 위한 구성들일 수 있다. 분류기(240)는 뉴럴 네트웍을 포함해 구성될 수 있으며, 이 뉴럴 네트웍은 이미지 시그널 프로세서(230)에서 생성된 이미지(Ycopy)는 가짜 이미지로 분류하고, 목표 이미지 생성기(250)에서 생성된 목표 이미지(Yreal)는 진짜 이미지로 분류하도록 트레이닝될 수 있다. 목표 이미지 생성기(250)는 이미지 시그널 프로세서(230)가 생성하야 하는 목표에 해당하는 목표 이미지(Yreal)를 생성할 수 있다.
컴퓨터 비전(260)은 이미지 시그널 프로세서(230)에 의해 처리된 이미지를 입력받아 이미지를 분석할 수 있다. 컴퓨터 비전은 물체의 감지(detection), 인식(recognition), 분류(segmentation), 위치(location) 파악 등의 다양한 역할 중 하나 이상의 분석 동작을 수행할 수 있다.
이제 이미지 시그널 프로세서(230), 분류기(240) 및 목표 이미지 생성기(250)를 이용한 이미지 시그널 프로세서(230)의 트레이닝 동작에 대해 자세히 알아보기로 한다.
목표 이미지 생성기(250)는 이미지 시그널 프로세서(230)가 생성해야 할 정답 이미지인 목표 이미지(Yreal)를 생성할 수 있다. 즉, 이미지 시그널 프로세서(230)는 최대한 목표 이미지(Yreal)와 유사하게 이미지(Ycopy)를 생성해야 한다. 목표 이미지 생성기(250)는 패스트 그래디언트 사인 방법(fast gradient sign method)을 이용해 목표 이미지(Yreal)를 생성할 수 있다. 딥 러닝(deep learning) 기반의 컴퓨터 비전에서는 입력 이미지를 이용해서 테스트한 결과가 실제 정답과 얼마나 다른지를 나타내는 로스(loss) 값을 가지고 있다. 따라서 이미지(X)를 컴퓨터 비전(260)에 입력시켰을때 컴퓨터 비전으로부터는 이미지(X)를 처리한 결과가 정답으로부터 얼마나 틀렸는지를 나타내는 로스 값을 구할 수 있으며, 로스 값이 감소하는 방향, 즉 gradient의 역 방향, 으로 이미지(X)를 업데이트하면 목표 이미지(Yreal)를 구할 수 있다. 이를 수식으로 나타내면 하기의 수학식 1이 될 수 있다.
[수학식 1]
Figure pat00001
여기서 X는 클래식 이미지 시그널 프로세서(220)의 출력 이미지(X)이고, ytrue는 이미지 X가 컴퓨터 비전(260)에 입력되었을 때 도출되어야 하는 정답이다.
Figure pat00002
는 딥 러닝 기반의 컴퓨터 비전(260)에 설정되어 있는 로스 값으로
Figure pat00003
는 입력 X가 컴퓨터 비전(260)으로 입력되었을 때 판단한 결과 x와 정답 ytrue가 얼마나 다른지를 나타낸다. 이러한 로스의 방향을 구해서 해당방향이 줄어드는 방향으로 이미지(X)를 업데이트 해나가는 것이 바로
Figure pat00004
를 나타내며, 여기서 ε값은 얼만큼 업데이트를 할지에 대한 설정 값이다. 이를 이용해 X 값을 업데이트하면 클래식 이미지 시그널 프로세서(220)에서 생성된 이미지 X 보다 더욱 컴퓨터 비전에 적합한 목표 이미지(Ytrue)를 생성할 수 있다.
이미지 시그널 프로세서(230)와 분류기(240)의 트레이닝에는 목표 이미지(Yreal)가 필요하므로, 목표 이미지(Yreal)가 생성된 이후에 이미지 시그널 프로세서(230)와 분류기(240)의 트레이닝 동작이 수행될 수 있다.
분류기(240)는 목표 이미지(Yreal)와 이미지 시그널 프로세서(230)의 출력 이미지(Ycopy)를 입력받고 이 이미지들(Yreal, Ycopy)을 진짜 이미지와 가짜 이미지로 분류할 수 있다. 분류기(240)는 목표 이미지(Yreal)를 진짜 이미지로 분류하고 이미지(Ycopy)를 가짜 이미지로 분류하도록 트레이닝(러닝) 될 수 있다.
구체적으로 분류기(240)는 하기의 수학식 2를 푸는 방식으로 트레이닝될 수 있다.
[수학식 2]
Figure pat00005
위의 수식에서 D(x)는 분류기(240)의 모델이고, 해당 이미지가 진짜 이미지로 판별되면 D(x)=1 해당 이미지가 가짜라고 판별되면 D(x)=0이 될 수 있다. 수학식 2에서 D(x) 부분은 목표 이미지(Yreal)에 대한 분류 결과를 나타내고, D(G(z)) 부분은 이미지 시그널 프로세서(230)의 출력 이미지(Ycopy)에 대한 분류 결과를 나타낼 수 있다. X~Pdata(x) 는 목표 이미지(Yreal) 에 대한 확률분포에서 샘플링한 데이터를 의미하고 Z~Pz(z) 는 일반적으로 가우시안분포를 사용하는 임의의 노이즈에서 샘플링한 데이터를 의미한다. 분류기(240)는 목표 이미지(Yreal)를 진짜로 분류하고 이미지(Ycopy)를 가짜로 분류하도록 트레이닝되어야 하므로, 수학식 2는 log(1) + log(1-0)이 되도록 트레이닝되어야 하며, 이는 결국 수학식 2를 최대화하는 방식으로 트레이닝을 진행하는 것이다.
이미지 시그널 프로세서(230)는 이미지(Ycopy)를 목표 이미지(Yreal)와 최대한 비슷하게 생성하도록 트레이닝(러닝)될 수 있다. 즉, 이미지 시그널 프로세서(230)는 분류기(240)에 의해 이미지(Ycopy)가 진짜 이미지(Yreal)로 분류되도록 하는 방향으로 이미지(Ycopy)를 생성하도록 트레이닝될 수 있다. 구체적으로 이미지 시그널 프로세서는 하기의 수학식 3을 푸는 방식으로 트레이닝될 수 있다.
[수학식 3]
Figure pat00006
앞서 설명한 바와 같이, D(G(z)) 부분은 이미지 시그널 프로세서(230)의 출력 이미지(Ycopy)에 대한 분류기(240)의 분류 결과를 나타낼 수 있다. 이미지 시그널 프로세서(230)는 이미지(Ycopy)가 분류기(240)에 의해 진짜로 분류될 수 있도록 트레이닝되어야 하므로, log(1-D(G(z))) = log(1-1) = log(0)이 될 수 있도록 트레이닝될 수 있다. 즉, 이미지 시그널 프로세서(230)는 수학식 3을 최소화하는 방향으로 트레이닝될 수 있다.
분류기(240)와 이미지 시그널 프로세서(230)는 서로 적대적인 트레이닝 동작을 수행한다. 분류기(240)는 이미지 시그널 프로세서(230)가 처리한 이미지(Ycopy)를 가짜 이미지로 분류할 수 있도록 트레이닝되고, 이미지 시그널 프로세서(230)는 분류기(240)를 속여 분류기(240)가 이미지(Ycopy)를 진짜 이미지로 분류하도록 트레이닝되기 때문이다. 분류기(240)와 이미지 시그널 프로세서(230)의 트레이닝은 번갈아가며 다수회 수행될 수 있다. 예를 들어, 먼저 분류기(240)를 100회 트레이닝시킨 후, 이미지 시그널 프로세서(230)를 100회 트레이닝시키고, 다시 분류기(240)를 100회 트레이닝 시키고, 이미지 시그널 프로세서(230)를 100회 트레이닝 시키는 등 트레이닝 동작을 반복해 수행할 수 있다. 트레이닝이 반복될수록 분류기(240)는 이미지(Ycopy)와 목표 이미지(Yreal)를 더욱 잘 구별하게되고, 이미지 시그널 프로세서(230)는 이미지(Ycopy)를 목표 이미지(Yreal)와 더욱 비슷하게 생성하게 된다. 즉, 트레이닝 동작이 반복될 수록 이미지 시그널 프로세서(230)는 정답에 해당하는 목표 이미지(Yreal)와 유사하게 이미지(Ycopy)를 생성하도록 이미지 프로세싱 동작을 수행하게 될 수 있으며, 이 이미지(Ycopy)는 이미지(X)보다 컴퓨터 비전(260)에 의해 더 잘 분석될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 이미지 처리 시스템(300)의 구성도이다.
도 3을 참조하면, 이미지 처리 시스템(300)은 이미지 센서(210), 클래식 이미지 시그널 프로세서(220), 이미지 시그널 프로세서(230) 및 컴퓨터 비전(260)을 포함할 수 있다.
도 3의 실시예에서는 도 2의 실시예 대비 분류기(240)와 목표 이미지 생성기(250)가 생략되었다. 이는 분류기(240)와 목표 이미지 생성기(250)는 이미지 시그널 프로세서(230)의 트레이닝(러닝)을 위해서만 사용되고, 이미지 처리 시스템(300)의 이미지 처리에는 사용되지 않기 때문이다. 이미지 처리 시스템(300)이 도 3과 같이 구성되는 경우에도 제조 과정 등에서는 이미지 시그널 프로세서(230)가 분류기(240)와 목표 이미지 생성기(250)를 이용해 트레이닝되어야 한다.
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 전문가라면 본 발명의 기술사상의 범위 내에서 다양한 실시예가 가능함을 알 수 있을 것이다.
200: 이미지 처리 시스템
210: 이미지 센서
220: 클래식 이미지 시그널 프로세서
230: 이미지 시그널 프로세서
240: 분류기
250: 목표 이미지 생성기
260: 컴퓨터 비전

Claims (19)

  1. 제1뉴럴(neural) 네트웍을 포함하고, 상기 제1뉴럴 네트웍을 이용해 입력 이미지를 처리해 후처리 이미지를 생성하는 이미지 시그널 프로세서; 및
    제2뉴럴 네트웍을 포함하고, 목표 이미지와 상기 후처리 이미지를 입력받아 상기 제2뉴럴 네트웍을 이용해 상기 목표 이미지와 상기 후처리 이미지를 진짜 이미지와 가짜 이미지로 분류하는 분류기를 포함하고,
    상기 제2뉴럴 네트웍은 상기 목표 이미지를 진짜 이미지로 분류하고 상기 후처리 이미지를 가짜 이미지로 분류하도록 트레이닝되고,
    상기 제1뉴럴 네트웍은 상기 후처리 이미지가 상기 제2뉴럴 네트웍에 의해 진짜 이미지로 분류될 수 있도록 트레이닝되는
    이미지 처리 시스템.
  2. 제 1항에 있어서,
    상기 제2뉴럴 네트웍과 상기 제1뉴럴 네트웍은 서로 번갈아가며 다수회 트레이닝되는
    이미지 처리 시스템.
  3. 제 1항에 있어서,
    상기 목표 이미지는 컴퓨터 비전(computer vision)에 의해 분석되기 좋게 가공된 이미지인
    이미지 처리 시스템.
  4. 제 3항에 있어서,
    상기 목표 이미지를 생성하기 위한 목표 이미지 생성기
    를 더 포함하는 이미지 처리 시스템.
  5. 제 4항에 있어서,
    상기 목표 이미지 생성기는
    상기 컴퓨터 비전에 상기 입력 이미지를 입력시켰을 때 얻어지는 로스(loss) 값을 줄이는 방향으로 상기 입력 이미지를 업데이트하며 생성하는
    이미지 처리 시스템
  6. 제 4항에 있어서,
    상기 후처리 이미지를 입력받아 영상을 분석하는 컴퓨터 비전
    을 더 포함하는 이미지 처리 시스템.
  7. 제 6항에 있어서,
    상기 입력 이미지를 생성하기 위한 이미지 센서
    를 더 포함하는 이미지 처리 시스템.
  8. 제 7항에 있어서,
    상기 입력 이미지가 상기 이미지 시그널 프로세서로 입력되기 이전에, 상기 입력 이미지의 이미지 품질을 높이기 위한 클래식 이미지 시그널 프로세서
    를 더 포함하는 이미지 처리 시스템.
  9. 입력 이미지를 생성하는 이미지 센서;
    상기 입력 이미지를 컴퓨터 비전에 의해 분석이 잘되도록 처리해 후처리 이미지를 생성하는 이미지 시그널 프로세서; 및
    상기 후처리 이미지를 분석하는 컴퓨터 비전(computer vision)
    을 포함하는 이미지 처리 시스템.
  10. 제 9항에 있어서,
    상기 입력 이미지가 상기 이미지 시그널 프로세서로 입력되기 이전에, 상기 입력 이미지의 이미지 품질을 높이기 위한 클래식 이미지 시그널 프로세서
    를 더 포함하는 이미지 처리 시스템.
  11. 제 9항에 있어서,
    상기 이미지 시그널 프로세서는 제1뉴럴 네트웍을 포함하고, 상기 제1뉴럴 네트웍은 상기 후처리 이미지가 상기 컴퓨터 비전에 의해 분석이 잘되는 방향으로 상기 후처리 이미지를 처리하도록 트레이닝되는
    이미지 처리 시스템.
  12. 제 9항에 있어서,
    상기 이미지 시그널 프로세서는 상기 후처리 이미지를 생성하기 위한 제1뉴럴 네트웍을 포함하고,
    상기 제1뉴럴 네트웍은
    제2뉴럴 네트웍을 포함하고, 목표 이미지와 상기 후처리 이미지를 입력받아 상기 제2뉴럴 네트웍을 이용해 상기 목표 이미지와 상기 후처리 이미지를 진짜 이미지와 가짜 이미지로 분류하는 분류기를 이용해 트레이닝되는
    이미지 처리 시스템.
  13. 제 12항에 있어서,
    상기 제2뉴럴 네트웍은 상기 목표 이미지를 진짜 이미지로 분류하고 상기 후처리 이미지를 가자 이미지로 분류하도록 트레이닝되고,
    상기 제1뉴럴 네트웍은 상기 후처리 이미지가 상기 제2뉴럴 네트웍에 의해 진짜 이미지로 분류될 수 있도록 트레이닝되는
    이미지 처리 시스템.
  14. 제 13항에 있어서,
    상기 제2뉴럴 네트웍과 상기 제1뉴럴 네트웍은 서로 번갈아가며 다수회 트레이닝되는
    이미지 처리 시스템.
  15. 제 13항에 있어서,
    상기 목표 이미지는 상기 컴퓨터 비전에 의해 분석되기 좋게 가공된 이미지인
    이미지 처리 시스템.
  16. 제1뉴럴 네트웍을 이용해 입력 이미지를 처리해 후처리 이미지를 생성하는 단계;
    제2뉴럴 네트웍을 이용해 목표 이미지와 상기 후처리 이미지를 진짜 이미지와 가짜 이미지로 분류하는 단계; 및
    상기 분별 결과에 응답해, 상기 제1뉴럴 네트웍과 상기 제2뉴럴 네트웍 중 하나의 뉴럴 네트웍을 트레이닝하는 단계
    를 포함하는 이미지 처리 시스템의 트레이닝 방법.
  17. 제 16항에 있어서,
    상기 트레이닝하는 단계에서 상기 제2뉴럴 네트웍이 트레이닝되는 경우에,
    상기 제2뉴럴 네트웍은 상기 목표 이미지를 진짜 이미지로 분류하고 상기 후처리 이미지를 가짜 이미지로 분류하도록 트레이닝되는
    이미지 처리 시스템의 트레이닝 방법.
  18. 제 17항에 있어서,
    상기 트레이닝하는 단계에서 상기 제1뉴럴 네트웍이 트레이닝되는 경우에,
    상기 제1뉴럴 네트웍은 상기 후처리 이미지가 상기 제2뉴럴 네트웍에 의해 진짜 이미지로 분류될 수 있도록
    이미지 처리 시스템의 트레이닝 방법.
  19. 제 18항에 있어서,
    상기 생성하는 단계, 상기 분류하는 단계 및 상기 트레이닝하는 단계는 다수회 반복 수행되는
    이미지 처리 시스템의 트레이닝 방법.
KR1020190135041A 2019-10-29 2019-10-29 이미지 처리 시스템 KR20210050684A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190135041A KR20210050684A (ko) 2019-10-29 2019-10-29 이미지 처리 시스템
US17/065,241 US11599981B2 (en) 2019-10-29 2020-10-07 Image processing system
JP2020170849A JP2021072106A (ja) 2019-10-29 2020-10-09 イメージ処理システム
DE102020213289.5A DE102020213289A1 (de) 2019-10-29 2020-10-21 Bildverarbeitungssystem
CN202011145264.8A CN112750067A (zh) 2019-10-29 2020-10-23 图像处理系统及其训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135041A KR20210050684A (ko) 2019-10-29 2019-10-29 이미지 처리 시스템

Publications (1)

Publication Number Publication Date
KR20210050684A true KR20210050684A (ko) 2021-05-10

Family

ID=75378970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135041A KR20210050684A (ko) 2019-10-29 2019-10-29 이미지 처리 시스템

Country Status (5)

Country Link
US (1) US11599981B2 (ko)
JP (1) JP2021072106A (ko)
KR (1) KR20210050684A (ko)
CN (1) CN112750067A (ko)
DE (1) DE102020213289A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161839A (ko) * 2021-05-31 2022-12-07 한국전자기술연구원 Gan 구조를 활용한 영상 영역 분할 방법 및 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169662B2 (en) 2015-06-15 2019-01-01 Google Llc Remote biometric monitoring system
US10460231B2 (en) 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
DE112017002653T5 (de) 2016-05-24 2019-03-21 Olympus Corporation Bildsignalverarbeitungsvorrichtung, Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsprogramm
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
KR101961177B1 (ko) 2016-07-22 2019-03-22 한국과학기술원 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치
WO2018053340A1 (en) 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
KR101791573B1 (ko) 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
US10803378B2 (en) 2017-03-15 2020-10-13 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
US11055989B2 (en) * 2017-08-31 2021-07-06 Nec Corporation Viewpoint invariant object recognition by synthesization and domain adaptation
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification
US10467501B2 (en) * 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
WO2019092672A2 (en) * 2017-11-13 2019-05-16 Way2Vat Ltd. Systems and methods for neuronal visual-linguistic data retrieval from an imaged document
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
US10944767B2 (en) * 2018-02-01 2021-03-09 International Business Machines Corporation Identifying artificial artifacts in input data to detect adversarial attacks
US10748314B2 (en) * 2018-02-15 2020-08-18 Microsoft Technology Licensing, Llc Controllable conditional image generation
US10552714B2 (en) * 2018-03-16 2020-02-04 Ebay Inc. Generating a digital image using a generative adversarial network
US20190297326A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Video prediction using spatially displaced convolution
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN108764091B (zh) * 2018-05-18 2020-11-17 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN108932527A (zh) * 2018-06-06 2018-12-04 上海交通大学 使用交叉训练模型检测对抗样本的方法
CN109036389A (zh) * 2018-08-28 2018-12-18 出门问问信息科技有限公司 一种对抗样本的生成方法及装置
CN109685200B (zh) * 2018-11-19 2023-04-25 华东师范大学 基于生成对抗网络的雾计算工业协议构建方法及构建系统
EP3938799A2 (en) * 2019-03-14 2022-01-19 Hyperfine, Inc. Deep learning techniques for generating magnetic resonance images from spatial frequency data
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术（北京）有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
CN110322396B (zh) * 2019-06-19 2022-12-23 怀光智能科技（武汉）有限公司 一种病理切片颜色归一化方法及系统
US11126891B2 (en) * 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model

Also Published As

Publication number Publication date
CN112750067A (zh) 2021-05-04
US11599981B2 (en) 2023-03-07
DE102020213289A1 (de) 2021-04-29
JP2021072106A (ja) 2021-05-06
US20210125320A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN107423701B (zh) 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108960080B (zh) 基于主动防御图像对抗攻击的人脸识别方法
US8306327B2 (en) Adaptive partial character recognition
JP4767595B2 (ja) 対象物検出装置及びその学習装置
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN110348475A (zh) 一种基于空间变换的对抗样本增强方法和模型
KR101268520B1 (ko) 영상 인식 장치 및 방법
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
KR101515308B1 (ko) 얼굴 자세 추정 장치 및 그 방법
KR20210050684A (ko) 이미지 처리 시스템
JP6600288B2 (ja) 統合装置及びプログラム
Navada et al. Design of Mobile Application for Assisting Color Blind People to Identify Information on Sign Boards.
Reshna et al. Recognition of static hand gestures of Indian sign language using CNN
eddine Agab et al. Dynamic hand gesture recognition based on textural features
KR102576747B1 (ko) 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법
KR100472953B1 (ko) Ｓｖｍ을 이용한 얼굴 영역 검출 방법
KR100621883B1 (ko) 학습에 기반을 둔 적응형 실시간 얼굴검출방법
Brahmankar et al. Indian sign language recognition using canny edge detection
Jadhav et al. GoogLeNet application towards gesture recognition for ASL character identification
CN110458219A (zh) 一种基于stft-cnn-rvfl的φ-otdr振动信号识别算法
CN117197877B (zh) 一种基于区域加权光流特征的微表情识别方法及系统
Bhanumathi et al. Underwater Fish Species Classification Using Alexnet
EP4198818A1 (en) Method to design a privacy preserving object detection process, object detector and object detection system
KR20110067480A (ko) 얼굴 검출을 위한 특징점 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination