KR102205591B1 - Image enhancement apparatus and image enhancement method - Google Patents

Image enhancement apparatus and image enhancement method Download PDF

Info

Publication number
KR102205591B1
KR102205591B1 KR1020190120038A KR20190120038A KR102205591B1 KR 102205591 B1 KR102205591 B1 KR 102205591B1 KR 1020190120038 A KR1020190120038 A KR 1020190120038A KR 20190120038 A KR20190120038 A KR 20190120038A KR 102205591 B1 KR102205591 B1 KR 102205591B1
Authority
KR
South Korea
Prior art keywords
module
image
terminal
image processing
control
Prior art date
Application number
KR1020190120038A
Other languages
Korean (ko)
Inventor
장동식
김현조
Original Assignee
주식회사 아로아소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아로아소프트 filed Critical 주식회사 아로아소프트
Application granted granted Critical
Publication of KR102205591B1 publication Critical patent/KR102205591B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

Disclosed are an image improvement device, an image improvement method, and a recording medium capable of improving an image by setting an image processing sequence or control variables of various image processing modules in accordance with user context information. According to an embodiment of the present invention, the image improvement device comprises: a situation recognition module recognizing situation information related to a terminal; an image improvement module having a plurality of different image processing modules for improving an image generated by the terminal; and a control module controlling at least one of an image processing sequence of the plurality of different image processing modules and control variables of a plurality of different image processing units based on the situation information related to the terminal.

Description

이미지 개선 장치 및 이미지 개선 방법{Image enhancement apparatus and image enhancement method}Image enhancement apparatus and image enhancement method

본 발명은 이미지 개선 장치 및 이미지 개선 방법에 관한 것으로, 보다 상세하게는 사용자의 상황 정보에 따라 다양한 이미지 처리 모듈의 이미지 처리 순서 또는 제어 변수들을 설정하여 이미지를 개선할 수 있는 이미지 개선 장치 및 이미지 개선 방법에 관한 것이다.The present invention relates to an image improvement device and an image improvement method, and more particularly, an image improvement device and image improvement capable of improving an image by setting an image processing sequence or control variables of various image processing modules according to user's situation information. It's about how.

모바일 기기의 내장 카메라는 이제 단순한 사진 촬영용이 아닌 텍스트 추출, 개체 인식, 마커 인식 등을 통해 마케팅 전략과 증강현실과 같은 다양한 용도로 동원되고 있다. 그러나 모바일 카메라는 구조상의 문제로 광학 줌에 한계가 존재, 디지털 줌을 사용하게 되며 사용자가 피사체와의 거리에 따라 모바일 기기로 줌을 사용할때 디지털 줌이 사용된다. 디지털 줌은 광학 줌과는 달리 렌즈와는 별개로 CCD(Charge Coupled Device)에서 이미지를 확대하여 보여주는 기능이다. 광학 줌은 카메라의 렌즈를 직접 움직여 사물의 확대나 축소를 하는것으로 실제로 더 가까이 보이고, 디지털 줌은 가까이에서 찍은 것처럼 보이게 한다는 점이 다르다. 그로 인해 광학줌은 렌즈가 직접 움직이므로 화질이 떨어지지 않지만 디지털 줌은 화면이 확대, 축소되므로 화질이 떨어지는 단점이 있다. 디지털 줌으로 인해 노이즈 발생 혹은 흔들림으로 인한 블러 현상과 같은 화질 저하가 발생하며 이는 단순 이미지 품질 저하에서 그치지 않고 마커, 개체 등 목표 대상의 인식률을 떨어뜨리는 결과를 초래할 수 있다.Built-in cameras for mobile devices are now being used for various purposes such as marketing strategies and augmented reality through text extraction, object recognition, and marker recognition, not just for taking pictures. However, mobile cameras have limitations in optical zoom due to structural problems, and digital zoom is used, and digital zoom is used when the user zooms with a mobile device according to the distance to the subject. Unlike optical zoom, digital zoom is a function that enlarges and displays an image in a CCD (Charge Coupled Device) separate from a lens. Optical zoom is actually zooming in or out of an object by moving the camera's lens, and digital zoom makes it look like it was taken from close. As a result, the optical zoom does not degrade the image quality because the lens moves directly, but the digital zoom has the disadvantage of lowering the image quality because the screen is enlarged or reduced. Due to digital zoom, image quality deterioration such as noise generation or blur due to shaking occurs, and this can result in lower recognition rate of target objects such as markers and objects, not just image quality deterioration.

본 발명은 사용자의 상황 정보에 따라 다양한 이미지 처리 모듈의 이미지 처리 순서 또는 제어 변수들을 설정하여 이미지를 개선할 수 있는 이미지 개선 장치 및 이미지 개선 방법, 기록 매체를 제공하기 위한 것이다.The present invention is to provide an image enhancement apparatus, an image enhancement method, and a recording medium capable of improving an image by setting image processing sequences or control variables of various image processing modules according to user context information.

본 발명의 실시예에 따른 이미지 개선 장치는, 단말기와 관련된 상황 정보를 인식하는 상황 인식 모듈; 상기 단말기에 의해 생성된 이미지를 개선하는 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈; 및 상기 단말기와 관련된 상황 정보를 기반으로, 상기 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 제어 모듈을 포함한다.An image improvement apparatus according to an embodiment of the present invention includes: a context recognition module for recognizing context information related to a terminal; An image enhancement module including a plurality of different image processing modules for improving the image generated by the terminal; And a control module configured to control at least one of an image processing sequence of the plurality of different image processing modules and a control variable of the plurality of different image processing units, based on context information related to the terminal.

상기 상황 인식 모듈은 상기 이미지의 촬영 시간을 인식하는 촬영 시간 인식 모듈, 상기 단말기의 주변 밝기를 인식하는 조명 인식 모듈, 상기 단말기의 위치를 인식하는 위치 인식 모듈, 상기 단말기의 이동 상황을 인식하는 이동 상황 인식 모듈 및 상기 단말기의 사용자를 인식하는 사용자 인식 모듈 중의 적어도 하나를 포함할 수 있다.The context recognition module includes a shooting time recognition module that recognizes the shooting time of the image, a lighting recognition module that recognizes the surrounding brightness of the terminal, a location recognition module that recognizes the location of the terminal, and a movement that recognizes the moving situation of the terminal. It may include at least one of a context recognition module and a user recognition module that recognizes a user of the terminal.

상기 복수개의 상이한 이미지 처리 유닛은 상기 이미지에서 노이즈를 제거하는 노이즈 제거 모듈, 상기 이미지에서 블러를 처리하는 블러 처리 모듈 및 상기 이미지의 선명도를 개선하는 선명도 개선 모듈을 포함할 수 있다.The plurality of different image processing units may include a noise removal module that removes noise from the image, a blur processing module that processes blur in the image, and a sharpness improvement module that improves sharpness of the image.

상기 제어 모듈은 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서를 결정할 수 있다.The control module may determine an image processing order of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal.

상기 제어 모듈은 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 제어 변수들을 결정할 수 있다.The control module may determine control variables of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal.

상기 제어 변수들은 상기 노이즈 제거 모듈의 비국부 평균 노이즈 제거와 관련된 제1 제어 변수들, 상기 블러 처리 모듈의 블라인드 디콘볼루션과 관련된 제2 제어 변수들 및 상기 선명도 개선 모듈의 이미지 선명도와 관련된 제3 제어 변수들을 포함할 수 있다.The control variables include first control variables related to non-local average noise removal of the noise removal module, second control variables related to blind deconvolution of the blur processing module, and a third related to image sharpness of the sharpness improvement module. May contain control variables.

상기 제1 제어 변수들은 상기 비국부 평균 노이즈 제거와 관련된 노이즈 추정 표준 편차 및 패치 사이의 거리의 함수로 패치 가중치의 감쇠를 제어하는 상수를 포함할 수 있다.The first control variables may include a constant for controlling attenuation of a patch weight as a function of a noise estimation standard deviation related to the non-local average noise removal and a distance between patches.

상기 제2 제어 변수들은 상기 블라인드 디콘볼루션의 최대 반복 횟수 및 최소 반복 횟수를 포함할 수 있다.The second control variables may include a maximum number of repetitions and a minimum number of repetitions of the blind deconvolution.

상기 제3 제어 변수들은 상기 이미지의 엣지에서의 어두운 부분과 밝은 부분의 밝기 차이 값, 샤프닝 효과를 적용할 엣지 경계 폭, 샤프닝 효과를 적용할 색조 값의 거리를 포함할 수 있다.The third control variables may include a brightness difference value between a dark portion and a bright portion of the edge of the image, a width of an edge boundary to which a sharpening effect is applied, and a distance of a color tone value to which a sharpening effect is applied.

상기 제어 변수들은 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서에 따라 상이하게 설정될 수 있다.The control variables may be set differently according to an image processing order of the noise removal module, the blur processing module, and the sharpness improvement module.

본 발명의 실시예에 따른 이미지 개선 장치는, 상기 이미지에서 객체 정보를 인식하는 이미지 정보 인식 모듈; 및 상기 상황 정보, 상기 이미지 개선 모듈의 이미지 처리 순서 정보와 제어 변수 정보 및 상기 객체 정보를 기반으로, 상기 상황 정보와 상기 이미지 처리 순서 정보 및 상기 제어 변수 정보 간의 관계를 학습하는 학습 모듈을 더 포함할 수 있다.An image improvement apparatus according to an embodiment of the present invention includes an image information recognition module for recognizing object information from the image; And a learning module for learning a relationship between the context information, the image processing sequence information, and the control variable information, based on the context information, image processing order information of the image improvement module, control variable information, and the object information. can do.

본 발명의 실시예에 따른 이미지 개선 방법은, 상황 인식 모듈에 의해, 단말기와 관련된 상황 정보를 인식하는 단계; 제어 모듈에 의해, 상기 단말기와 관련된 상황 정보를 기반으로, 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 단계; 및 상기 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈에 의해, 상기 이미지 처리 순서 및 상기 제어 변수 중의 적어도 하나에 따라 상기 단말기에 의해 생성된 이미지를 개선하는 단계를 포함한다.An image improvement method according to an embodiment of the present invention includes the steps of recognizing, by a context recognition module, context information related to a terminal; Controlling, by a control module, at least one of an image processing sequence of a plurality of different image processing modules and a control variable of the plurality of different image processing units based on context information related to the terminal; And improving the image generated by the terminal according to at least one of the image processing sequence and the control variable, by an image enhancement module having the plurality of different image processing modules.

상기 단말기와 관련된 상황 정보를 인식하는 단계는, 상기 이미지의 촬영 시간, 상기 단말기의 주변 밝기, 상기 단말기의 위치, 상기 단말기의 이동 상황 및 상기 단말기의 사용자 정보 중의 적어도 하나를 포함하는 상기 상황 정보를 인식할 수 있다.Recognizing the context information related to the terminal includes the context information including at least one of a photographing time of the image, a brightness around the terminal, a location of the terminal, a movement status of the terminal, and user information of the terminal. I can recognize it.

상기 제어하는 단계는 상기 단말기와 관련된 상황 정보에 따라 노이즈 제거 모듈, 블러 처리 모듈 및 선명도 개선 모듈의 이미지 처리 순서를 결정하는 단계를 포함할 수 있다.The controlling may include determining an image processing sequence of a noise removal module, a blur processing module, and a sharpness improvement module according to context information related to the terminal.

상기 제어하는 단계는 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 제어 변수들을 결정하는 단계를 포함할 수 있다.The controlling may include determining control variables of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal.

상기 제어하는 단계는 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈의 비국부 평균 노이즈 제거와 관련된 제1 제어 변수들, 상기 블러 처리 모듈의 블라인드 디콘볼루션과 관련된 제2 제어 변수들 및 상기 선명도 개선 모듈의 이미지 선명도와 관련된 제3 제어 변수들을 결정하는 단계를 포함할 수 있다.The controlling may include first control variables related to non-local average noise removal of the noise removal module, second control variables related to blind deconvolution of the blur processing module, and the sharpness according to context information related to the terminal. And determining third control variables related to image sharpness of the enhancement module.

상기 제어하는 단계는 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서에 따라 상기 제어 변수들을 상이하게 설정할 수 있다.In the controlling step, the control variables may be set differently according to an image processing sequence of the noise removal module, the blur processing module, and the sharpness improvement module.

본 발명의 실시예에 따른 이미지 개선 방법은, 이미지 정보 인식 모듈에 의해, 상기 이미지에서 객체 정보를 인식하는 단계; 및 학습 모듈에 의해, 상기 상황 정보, 상기 이미지 개선 모듈의 이미지 처리 순서 정보와 제어 변수 정보 및 상기 객체 정보를 기반으로, 상기 상황 정보와 상기 이미지 처리 순서 정보 및 상기 제어 변수 정보 간의 관계를 학습하는 단계를 더 포함할 수 있다.An image improvement method according to an embodiment of the present invention includes, by an image information recognition module, recognizing object information from the image; And learning a relationship between the context information, the image processing sequence information, and the control variable information based on the context information, the image processing sequence information and the control variable information and the object information of the image enhancement module. It may further include a step.

본 발명의 실시예에 따르면, 상기 이미지 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.According to an embodiment of the present invention, a computer-readable recording medium in which a program for executing the image enhancement method is recorded is provided.

본 발명의 실시예에 의하면, 사용자의 상황 정보에 따라 다양한 이미지 처리 모듈의 이미지 처리 순서 또는 제어 변수들을 설정하여 이미지를 개선할 수 있는 이미지 개선 장치 및 이미지 개선 방법, 기록 매체가 제공된다.According to an embodiment of the present invention, an image enhancement apparatus, an image enhancement method, and a recording medium capable of improving an image by setting an image processing sequence or control parameters of various image processing modules according to user context information are provided.

도 1은 본 발명의 실시예에 따른 이미지 개선 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 이미지 개선 장치를 구성하는 이미지 개선 모듈의 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 이미지 개선 방법의 순서도이다.
도 5는 도 3의 단계 S130의 순서도이다.1 is a block diagram of an image improving apparatus according to an embodiment of the present invention.
2 is a block diagram of an image enhancement module constituting an image enhancement apparatus according to an embodiment of the present invention.
3 and 4 are flow charts of an image enhancement method according to an embodiment of the present invention.
5 is a flowchart of step S130 of FIG. 3.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.In the present specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. The'~ unit' used in the present specification is a unit that processes at least one function or operation, and may mean, for example, software, FPGA, or hardware components. The functions provided by the'~ unit' may be performed separately by a plurality of elements or may be integrated with other additional elements. The'~ unit' in the present specification is not necessarily limited to software or hardware, and may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 이미지 개선 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 이미지 개선 장치(100)는 이미지 생성 모듈(120), 상황 인식 모듈(120), 제어 모듈(130), 이미지 개선 모듈(140), 이미지 정보 인식 모듈(150), 학습 모듈(160) 및 데이터베이스(170)를 포함할 수 있다. 실시예에서, 이미지 생성 모듈(120), 상황 인식 모듈(120), 제어 모듈(130), 이미지 개선 모듈(140), 이미지 정보 인식 모듈(150), 학습 모듈(160) 및 데이터베이스(170)는 사용자의 단말기에 제공될 수 있다.1 is a block diagram of an image improving apparatus according to an embodiment of the present invention. Referring to FIG. 1, an image improvement apparatus 100 according to an embodiment of the present invention includes an image generation module 120, a context recognition module 120, a control module 130, an image improvement module 140, and image information recognition. It may include a module 150, a learning module 160, and a database 170. In an embodiment, the image generation module 120, the context recognition module 120, the control module 130, the image improvement module 140, the image information recognition module 150, the learning module 160 and the database 170 It can be provided to the user's terminal.

이미지 생성 모듈(120)은 대상체를 촬영하여 대상체에 대한 이미지를 생성할 수 있다. 이미지 생성 모듈(120)은 사용자의 단말기에 내장되는 디지털 카메라를 포함할 수 있다.The image generating module 120 may generate an image of the object by photographing the object. The image generating module 120 may include a digital camera embedded in a user's terminal.

상황 인식 모듈(120)은 단말기와 관련된 상황 정보를 인식할 수 있다. 상황 인식 모듈(120)은 사용자의 단말기에서 촬영된 이미지의 메타 데이터 분석 및 추가적인 정보를 받아 해당 이미지가 촬영된 상황 데이터를 추출할 수 있다.The context recognition module 120 may recognize context information related to the terminal. The context recognition module 120 may analyze metadata of an image captured by the user's terminal and receive additional information and extract context data in which the corresponding image is captured.

상황 인식 모듈(120)은 이미지 촬영 시간, 주변 밝기, 사용자의 성향, 장소 등 디바이스에서 촬영되는 이미지에 영향을 주는 요소에 대한 정보를 저장할 수 있다. 상황 인식 모듈(120)은 이미지 정보 인식 모듈의 결과와 결합하여 이미지 개선 모듈의 변수와 조합 생성을 선택하는 기준을 제공할 수 있다.The context recognition module 120 may store information on factors that affect an image captured by a device, such as an image capture time, ambient brightness, a user's tendency, and a location. The context recognition module 120 may provide a criterion for selecting a variable and a combination of the image enhancement module in combination with the result of the image information recognition module.

실시예에서, 상황 인식 모듈(120)은 이미지의 촬영 시간을 인식하는 촬영 시간 인식 모듈, 단말기의 주변 밝기를 인식하는 조명 인식 모듈, 단말기의 위치를 인식하는 위치 인식 모듈, 단말기의 이동 상황을 인식하는 이동 상황 인식 모듈, 단말기의 사용자를 인식하는 사용자 인식 모듈 중의 적어도 하나를 포함할 수 있다.In an embodiment, the context recognition module 120 recognizes a shooting time recognition module that recognizes the shooting time of an image, a lighting recognition module that recognizes the surrounding brightness of the terminal, a location recognition module that recognizes the location of the terminal, and the moving situation of the terminal. It may include at least one of a moving situation recognition module and a user recognition module for recognizing a user of the terminal.

제어 모듈(130)은 단말기와 관련된 상황 정보를 기반으로 이미지 개선 모듈(140)을 제어할 수 있다.The control module 130 may control the image enhancement module 140 based on context information related to the terminal.

이미지 개선 모듈(140)은 이미지 생성 모듈(120)에 의해 생성된 이미지를 개선하는 복수개의 상이한 이미지 처리 모듈을 구비할 수 있다.The image improvement module 140 may include a plurality of different image processing modules that improve the image generated by the image generation module 120.

제어 모듈(130)은 단말기와 관련된 상황 정보를 기반으로, 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어할 수 있다.The control module 130 may control at least one of an image processing sequence of a plurality of different image processing modules and a control variable of a plurality of different image processing units based on context information related to the terminal.

도 2는 본 발명의 실시예에 따른 이미지 개선 장치를 구성하는 이미지 개선 모듈의 구성도이다. 도 1 및 도 2를 참조하면, 이미지 개선 모듈(140)의 복수개의 상이한 이미지 처리 유닛은 이미지에서 노이즈를 제거하는 노이즈 제거 모듈(142), 이미지에서 블러를 처리하는 블러 처리 모듈(144) 및 이미지의 선명도를 개선하는 선명도 개선 모듈(146)을 포함할 수 있다.2 is a block diagram of an image enhancement module constituting an image enhancement apparatus according to an embodiment of the present invention. 1 and 2, a plurality of different image processing units of the image enhancement module 140 include a noise removal module 142 that removes noise from an image, a blur processing module 144 that processes blur from an image, and an image. It may include a sharpness improvement module 146 that improves the sharpness of.

노이즈 제거 모듈(142)은 촬영 당시의 빛의 상태나 촬영 장비의 영향으로 인해 촬영된 영상 혹은 이미지에 발생하는 노이즈(Noise) 및 화질 저하 현상을 보정하는 비국부 평균(Non-Local Means) 노이즈 제거 프로세스를 포함할 수 있다.The noise removal module 142 removes non-local mean noise that corrects noise and image quality deterioration occurring in the captured image or image due to the light condition at the time of shooting or the effect of the shooting equipment. It can include a process.

비국부 평균 노이즈 제거 프로세스는 각 픽셀마다 대상 픽셀과 얼마나 유사한지에 따른 가중치가 부여되며, 이 가중치가 적용된 전체 영상의 픽셀의 평균값을 취하여 노이즈를 제거한다.In the non-local average noise removal process, each pixel is weighted according to how similar it is to the target pixel, and noise is removed by taking the average value of the pixels of the entire image to which the weight is applied.

비국부 평균 노이즈 제거 프로세스는 대상 픽셀을 둘러싼 픽셀 그룹의 평균값을 취하는 국부 평균(Local Means) 노이즈 제거 프로세스에 비하여 필터링 후 선명도가 높고 영상의 세부 정보 손실이 감소하는 이점이 있다.The non-local average noise removal process has an advantage in that the clarity after filtering is high and the loss of detailed information of an image is reduced compared to a local mean noise removal process that takes an average value of a group of pixels surrounding a target pixel.

또한, 비국부 평균 노이즈 제거 프로세스는 주변 화소들의 기하학적 모양도 비교하여 유사도에 따라서 가중치를 계산하기 때문에 영상의 기하학적인 모양을 유지하면서 잡음을 제거할 수 있다.In addition, since the non-local average noise removal process compares geometric shapes of neighboring pixels and calculates weights according to similarities, noise can be removed while maintaining the geometric shape of an image.

블러 처리 모듈(144)은 초점 수차 또는 모션 블러로 인한 흐릿한 흔적을 제거하여 왜곡된 정보를 복원하는 이미지 처리를 수행할 수 있다. 블러 처리 모듈(144)은 블라인드 디콘볼루션(Blind deconvolution)에 의해 블러 처리를 수행할 수 있다. 블라인드 디콘볼루션은 블러 커널(Blur kernel)을 알 수 없는 상태에서 모션블러가 생긴 블러된 이미지로부터 원래의 이미지를 복원하는 방법이다.The blur processing module 144 may perform image processing for restoring distorted information by removing blurry traces due to focal aberration or motion blur. The blur processing module 144 may perform blur processing by blind deconvolution. Blind deconvolution is a method of restoring the original image from a blurred image with motion blur in a state where the blur kernel is unknown.

모션 블러는 B = K * L + N (B: 블러된 이미지, K: 모션 블러 커널, L: Latent 이미지, N: 노이즈, *: 컨볼루션 연산) 으로 모델링될 수 있다. 블라인드 디콘볼루션은 엣지의 날카로움의 복원과 부드러운 부분의 노이즈 억제를 통해 L과 K를 반복적으로 최적화한다.Motion blur can be modeled as B = K * L + N (B: blurred image, K: motion blur kernel, L: Latent image, N: noise, *: convolution operation). Blind deconvolution repeatedly optimizes L and K by restoring the sharpness of the edge and suppressing the noise of the soft part.

보통 이미지는 강한 엣지를 포함하고 있기 때문에, 엣지 복원을 통해 블러 커널을 쉽게 추정할 수 있다. 블라인드 디콘볼루션의 최종 결과는 반복 수행의 최종 결과로 획득한 최종 커널 K를 이용하여 논블라인드 디콘볼루션(non-blind deconvolution)을 수행하여 얻을 수 있다.Since the normal image contains strong edges, it is easy to estimate the blur kernel through edge restoration. The final result of blind deconvolution can be obtained by performing non-blind deconvolution using the final kernel K obtained as the final result of repetitive execution.

선명도 개선 모듈(146)은 경계선 부분의 대비 효과를 두드러지게 만들어 이미지를 더욱 선명하게 보이게 할 수 있다. 선명도 개선 모듈(146)은 언샵 마스크(UnSharp Mask)에 의해 샤프닝(Sharpening) 처리를 수행할 수 있다. 언샵 마스크는 Amount, Radius, Threshold 의 세 개의 변수를 통해 이미지의 선명도를 조정하는 이미지 처리 기술이다.The sharpness improvement module 146 may make the image appear more clearly by making the contrast effect of the boundary portion stand out. The sharpness improvement module 146 may perform a sharpening process using an UnSharp Mask. Unsharp mask is an image processing technique that adjusts the sharpness of an image through three variables: Amount, Radius, and Threshold.

Amount는 백분율로 표시되며, 엣지에서 어두운 부분과 밝은 부분의 밝기 차이를 제어한다. Radius는 샤프닝 효과를 적용할 폭을 결정하는 값으로, 엣지의 경계를 어디까지 할 것인지를 제어한다. Threshold는 샤프닝 효과를 적용할 밝기 차이 혹은 색조 값의 거리를 제어한다.Amount is expressed as a percentage, and controls the difference in brightness between dark and light areas at the edge. Radius is a value that determines the width to which the sharpening effect is applied, and controls how far the edge boundary is. Threshold controls the distance between the brightness difference or hue value to apply the sharpening effect.

제어 모듈(130)은 단말기와 관련된 상황 정보에 따라 노이즈 제거 모듈(142), 블러 처리 모듈(144) 및 선명도 개선 모듈(146)의 이미지 처리 순서를 결정할 수 있다.The control module 130 may determine an image processing order of the noise removal module 142, the blur processing module 144, and the sharpness improvement module 146 according to context information related to the terminal.

제어 모듈(130)은 단말기와 관련된 상황 정보에 따라 노이즈 제거 모듈(142)의 제1 제어 변수들, 블러 처리 모듈(144)의 제2 제어 변수들 및 선명도 개선 모듈(146)의 제3 제어 변수들을 결정할 수 있다.The control module 130 includes first control variables of the noise removal module 142, second control variables of the blur processing module 144, and a third control variable of the sharpness improvement module 146 according to context information related to the terminal. You can decide.

제1 제어 변수들은 노이즈 제거 모듈(142)의 비국부 평균 노이즈 제거와 관련된 제어 변수들을 포함할 수 있다. 제2 제어 변수들은 블러 처리 모듈(144)의 블라인드 디콘볼루션과 관련된 제어 변수들을 포함할 수 있다. 제3 제어 변수들은 선명도 개선 모듈(146)의 이미지 선명도와 관련된 제어 변수들을 포함할 수 있다.The first control variables may include control variables related to non-local average noise removal of the noise removal module 142. The second control variables may include control variables related to the blind deconvolution of the blur processing module 144. The third control variables may include control variables related to image sharpness of the sharpness improvement module 146.

실시예에서, 제1 제어 변수들은 비국부 평균 노이즈 제거와 관련된 노이즈 추정 표준 편차(sigma; estimated noise standard deviation) 및 패치 사이의 거리의 함수로 패치 가중치의 감쇠를 제어하는 상수 h(h가 클수록 유사하지 않은 패치들 사이에서 더 매끄러워짐)를 포함할 수 있다.In an embodiment, the first control variables are a constant h that controls the attenuation of the patch weight as a function of the estimated noise standard deviation (sigma) associated with the non-local average noise removal and the distance between the patches (the larger h is similar Smoother between patches that are not.

실시예에서, 제2 제어 변수들은 블라인드 디콘볼루션의 최대 반복 횟수 및 최소 반복 횟수를 포함할 수 있다. 실시예에서, 제3 제어 변수들은 이미지의 엣지에서의 어두운 부분과 밝은 부분의 밝기 차이 값, 샤프닝 효과를 적용할 엣지 경계 폭, 샤프닝 효과를 적용할 색조 값의 거리를 포함할 수 있다.In an embodiment, the second control variables may include a maximum number of repetitions and a minimum number of repetitions of the blind deconvolution. In an embodiment, the third control variables may include a brightness difference value between a dark portion and a bright portion at an edge of an image, a width of an edge boundary to which a sharpening effect is applied, and a distance of a hue value to which a sharpening effect is applied.

이미지 개선 모듈(140)의 제어 변수들은 노이즈 제거 모듈(142), 블러 처리 모듈(144) 및 선명도 개선 모듈(146)의 이미지 처리 순서에 따라 상이하게 설정될 수 있다.The control variables of the image enhancement module 140 may be set differently according to the image processing order of the noise removal module 142, the blur processing module 144, and the sharpness improvement module 146.

이미지 정보 인식 모듈(150)은 이미지에서 객체 정보를 인식할 수 있다. 이미지 정보 인식 모듈(150)은 이미지에서, 텍스트, 마커, 사물 등의 객체 정보를 추출할 수 있다. 실시예에서, 이미지 정보 인식 모듈(150)은 이미지 개선 모듈(140)을 통해 하나의 이미지로부터 다양한 이미지 처리 순서와 제어 변수들에 의해 이미지 처리되어 이미지 개선된 이미지들 각각에 대해 객체 정보를 추출한 후, 상황 데이터와 함께 학습 모듈(160) 및 데이터베이스(170)에 저장할 수 있다.The image information recognition module 150 may recognize object information from an image. The image information recognition module 150 may extract object information such as text, a marker, or an object from an image. In an embodiment, the image information recognition module 150 extracts object information for each of the image-improved images by processing an image from one image through the image enhancement module 140 by various image processing sequences and control variables. , It may be stored in the learning module 160 and the database 170 together with the context data.

학습 모듈(160)은 상황 데이터와 이미지 개선 모듈(140)의 이미지 처리 순서 및 제어 변수들의 다양한 조합에 따른 인식률을 비교함으로써 상황 별로 최적의 이미지 처리 순서 및 제어 변수들을 도출할 수 있으며, 추후 비슷한 촬영 상황에서 최적의 이미지 처리 순서 및 제어 변수들에 따라 이미지 개선 모듈(140)을 제어하여 이미지 개선 품질을 향상시킬 수 있다.The learning module 160 can derive the optimal image processing order and control variables for each situation by comparing the recognition rate according to various combinations of the image processing order and control variables of the situation data and the image improvement module 140, and can derive similar photographing in the future. The image enhancement quality may be improved by controlling the image enhancement module 140 according to an optimal image processing sequence and control variables in a situation.

학습 모듈(160)은 단말기와 관련된 상황 정보, 이미지 개선 모듈(140)의 이미지 처리 순서 정보와 제어 변수 정보 및 이미지 정보 인식 모듈(150)에 의해 인식된 객체 정보를 기반으로, 단말기와 관련된 상황 정보와 이미지 처리 순서 정보 및 제어 변수 정보 간의 관계를 학습할 수 있다. 학습 모듈(160)에 의해 학습된 단말기와 관련된 상황 정보와 이미지 처리 순서 정보 및 제어 변수 정보 간의 관계 정보는 데이터베이스(170)에 저장될 수 있다.The learning module 160 is based on context information related to the terminal, image processing order information and control variable information of the image enhancement module 140, and object information recognized by the image information recognition module 150, based on the context information related to the terminal. And the relationship between image processing order information and control variable information can be learned. Relationship information between context information related to the terminal, image processing order information, and control variable information learned by the learning module 160 may be stored in the database 170.

제어 모듈(130)은 데이터베이스(170)에 저장된 단말기와 관련된 상황 정보와 이미지 처리 순서 정보 및 제어 변수 정보 간의 관계 정보를 기반으로, 단말기와 관련된 상황 정보에 따라 이미지 개선 모듈(140)의 복수의 상이한 이미지 처리 모듈들의 이미지 처리 순서 및 제어 변수들을 제어할 수 있다.The control module 130 is based on the relationship information between the terminal-related context information, the image processing order information, and the control variable information stored in the database 170, and a plurality of different images of the image improvement module 140 The image processing order and control variables of the image processing modules can be controlled.

본 발명의 실시예에 의하면, 사용자의 이미지 촬영 주변 상황에 맞는 최적화된 이미지 복원 기술의 조합 및 변수 값들을 찾아내는 학습을 진행하여 상황별 이미지 개선 정보를 저장하고, 비슷한 상황에서 이미지 복원 요청시 이미 학습 되어있는 정보를 바탕으로 이미지 처리에 효율적이며 상황별로 최적화된 이미지 복원 및 개선 처리를 제공할 수 있다.According to an embodiment of the present invention, learning to find a combination of an optimized image restoration technique and variable values suitable for a situation around a user's image capturing is performed to store image improvement information for each situation, and already learn when an image restoration request is made in a similar situation. Based on the information, it is efficient for image processing and can provide image restoration and improvement processing optimized for each situation.

본 발명의 실시예에 의하면, 마커, 개체 등 목표 대상의 인식률을 높일 수 있으며, 특히 마커를 변경하거나 대상 화면과의 거리가 변화했을 때 그에 따른 인식률 저하를 개선할 수 있다. 또한, 원본 소스가 아닌 카메라에서 받아들인 결과를 품질 개선하는 형태의 기술이므로, 원본 소스의 직접적인 편집 없이 인식률 개선 효과를 얻을 수 있다.According to an embodiment of the present invention, it is possible to increase the recognition rate of a target object such as a marker or an object, and in particular, when a marker is changed or a distance to a target screen is changed, a corresponding decrease in the recognition rate can be improved. In addition, since it is a technology that improves the quality of the result received from the camera rather than the original source, the recognition rate improvement effect can be obtained without direct editing of the original source.

또한, 본 발명의 실시예에 의하면, 사용자의 상황에 따른 이미지 개선 사전 학습을 통해 상황별 최적화된 복원 기술을 제공하며, 처리 속도에 있어서도 기존 이미지 복원 기술 보다 빠른 이점이 있다. 또한, 본 발명의 실시예에 의하면, 이미지 정보 인식 모듈을 사용하여 이미지의 복원 여부 및 성능이 측정 가능하여 사람의 개입 없이 이미지 품질 향상의 여부 및 최적의 변수값과 조합을 찾아낼 수 있다.In addition, according to an embodiment of the present invention, a restoration technique optimized for each situation is provided through pre-learning of image improvement according to a user's situation, and there is an advantage in processing speed that is faster than that of the existing image restoration technology. In addition, according to an embodiment of the present invention, it is possible to measure whether an image is restored or not and performance by using the image information recognition module, so that whether or not an image quality is improved and an optimal variable value and combination can be found without human intervention.

도 3 및 도 4는 본 발명의 실시예에 따른 이미지 개선 방법의 순서도이다. 먼저, 도 1 및 도 3을 참조하면, 상황 인식 모듈(120)은 단말기와 관련된 상황 정보를 인식할 수 있다(S110). 상황 인식 모듈(120)은 사용자의 단말기에서 촬영된 이미지의 메타 데이터 분석 및 추가적인 정보를 받아 해당 이미지가 촬영된 상황 데이터를 추출할 수 있다. 상황 인식 모듈(120)은 이미지 촬영 시간, 주변 밝기, 사용자의 성향, 장소 등 디바이스에서 촬영되는 이미지에 영향을 주는 요소에 대한 정보를 저장할 수 있다.3 and 4 are flow charts of an image enhancement method according to an embodiment of the present invention. First, referring to FIGS. 1 and 3, the context recognition module 120 may recognize context information related to a terminal (S110). The context recognition module 120 may analyze metadata of an image captured by the user's terminal and receive additional information and extract context data in which the corresponding image is captured. The context recognition module 120 may store information on factors that affect an image captured by a device, such as an image capture time, ambient brightness, a user's tendency, and a location.

제어 모듈(130)은 단말기와 관련된 상황 정보를 기반으로 이미지 개선 모듈(140)을 제어할 수 있다. 제어 모듈(130)은 단말기와 관련된 상황 정보를 기반으로, 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어할 수 있다(S120, S130).The control module 130 may control the image enhancement module 140 based on context information related to the terminal. The control module 130 may control at least one of an image processing sequence of a plurality of different image processing modules and a control variable of a plurality of different image processing units based on context information related to the terminal (S120, S130).

이미지 개선 모듈(140)은 복수개의 상이한 이미지 처리 모듈에 의해 이미지 생성 모듈(120)에 의해 생성된 이미지를 개선할 수 있다(S140). 이때, 단말기와 관련된 상황 정보를 기반으로 제어 모듈(130)에 의해 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서와 제어 변수들의 최적의 조합으로 설정되므로, 이미지 개선 모듈(140)에 의한 이미지 개선 효과를 사용자의 다양한 상황에 따라 극대화할 수 있다. 이때, 이미지 개선 모듈(140)의 제어 변수들은 노이즈 제거 모듈(142), 블러 처리 모듈(144) 및 선명도 개선 모듈(146)의 이미지 처리 순서에 따라 상이하게 설정될 수 있다.The image improvement module 140 may improve an image generated by the image generation module 120 by a plurality of different image processing modules (S140). At this time, since the control module 130 sets the image processing order of a plurality of different image processing modules and the optimal combination of control variables based on the context information related to the terminal, the image improvement effect by the image improvement module 140 is It can be maximized according to various situations of users. In this case, the control variables of the image enhancement module 140 may be set differently according to the image processing order of the noise removal module 142, the blur processing module 144, and the sharpness improvement module 146.

도 1 및 도 4를 참조하면, 이미지 정보 인식 모듈(150)은 이미지에서 객체 정보를 인식할 수 있다(S150). 이미지 정보 인식 모듈(150)은 이미지에서, 텍스트, 마커, 사물 등의 객체 정보를 추출할 수 있다.1 and 4, the image information recognition module 150 may recognize object information from an image (S150). The image information recognition module 150 may extract object information such as text, a marker, or an object from an image.

실시예에서, 이미지 정보 인식 모듈(150)은 이미지 개선 모듈(140)을 통해 하나의 이미지로부터 다양한 이미지 처리 순서와 제어 변수들에 의해 이미지 처리되어 이미지 개선된 이미지들 각각에 대해 객체 정보를 추출한 후, 상황 데이터와 함께 학습 모듈(160) 및 데이터베이스(170)에 저장할 수 있다.In an embodiment, the image information recognition module 150 extracts object information for each of the image-improved images by processing an image from one image through the image enhancement module 140 by various image processing sequences and control variables. , It may be stored in the learning module 160 and the database 170 together with the context data.

학습 모듈(160)은 상황 데이터와 이미지 개선 모듈(140)의 이미지 처리 순서 및 제어 변수들의 다양한 조합에 따른 인식률을 비교함으로써 상황 별로 최적의 이미지 처리 순서 및 제어 변수들을 도출할 수 있으며, 추후 비슷한 촬영 상황에서 최적의 이미지 처리 순서 및 제어 변수들에 따라 이미지 개선 모듈(140)을 제어하여 이미지 개선 품질을 향상시킬 수 있다(S160).The learning module 160 can derive the optimal image processing order and control variables for each situation by comparing the recognition rate according to various combinations of the image processing order and control variables of the situation data and the image improvement module 140, and can derive similar photographing in the future. The image enhancement quality may be improved by controlling the image enhancement module 140 according to an optimal image processing order and control variables in a situation (S160).

학습 모듈(160)은 단말기와 관련된 상황 정보, 이미지 개선 모듈(140)의 이미지 처리 순서 정보와 제어 변수 정보 및 이미지 정보 인식 모듈(150)에 의해 인식된 객체 정보를 기반으로, 단말기와 관련된 상황 정보와 이미지 처리 순서 정보 및 제어 변수 정보 간의 관계를 학습할 수 있다. 학습 모듈(160)에 의해 학습된 단말기와 관련된 상황 정보와 이미지 처리 순서 정보 및 제어 변수 정보 간의 관계 정보는 데이터베이스(170)에 저장될 수 있다.The learning module 160 is based on context information related to the terminal, image processing order information and control variable information of the image enhancement module 140, and object information recognized by the image information recognition module 150, based on the context information related to the terminal. And the relationship between image processing order information and control variable information can be learned. Relationship information between context information related to the terminal, image processing order information, and control variable information learned by the learning module 160 may be stored in the database 170.

제어 모듈(130)은 데이터베이스(170)에 저장된 단말기와 관련된 상황 정보와 이미지 처리 순서 정보 및 제어 변수 정보 간의 관계 정보를 기반으로, 단말기와 관련된 상황 정보에 따라 이미지 개선 모듈(140)의 복수의 상이한 이미지 처리 모듈들의 이미지 처리 순서 및 제어 변수들을 제어할 수 있다.The control module 130 is based on the relationship information between the terminal-related context information, the image processing order information, and the control variable information stored in the database 170, and a plurality of different images of the image improvement module 140 The image processing order and control variables of the image processing modules can be controlled.

도 5는 도 3의 단계 S130의 순서도이다. 도 1 및 도 5를 참조하면, 제어 모듈(130)은 사용자의 단말기와 관련된 상황 정보에 따라 노이즈 제거 모듈(142)의 비국부 평균 노이즈 제거와 관련된 제1 제어 변수들을 설정할 수 있다(S132).5 is a flowchart of step S130 of FIG. 3. 1 and 5, the control module 130 may set first control variables related to the non-local average noise removal of the noise removal module 142 according to context information related to the user's terminal (S132).

또한, 제어 모듈(130)은 사용자의 단말기와 관련된 상황 정보에 따라 블러 처리 모듈(144)의 블라인드 디콘볼루션과 관련된 제2 제어 변수들을 설정할 수 있다(S134).In addition, the control module 130 may set second control variables related to the blind deconvolution of the blur processing module 144 according to context information related to the user's terminal (S134).

또한, 제어 모듈(130)은 사용자의 단말기와 관련된 상황 정보에 따라 선명도 개선 모듈(146)의 이미지 선명도와 관련된 제3 제어 변수들을 결정할 수 있다(S136).Also, the control module 130 may determine third control variables related to image sharpness of the sharpness improvement module 146 according to context information related to the user's terminal (S136).

제어 모듈(130)은 사용자의 상황 정보 뿐 아니라, 노이즈 제거 모듈(142), 블러 처리 모듈(144) 및 선명도 개선 모듈(146)의 이미지 처리 순서에 따라서도 이미지 개선 모듈(140)의 제1 제어 변수들, 제2 제어 변수들 및 제3 제어 변수들을 상이하게 설정할 수 있다.The control module 130 is the first control of the image enhancement module 140 according to the image processing order of the noise removal module 142, the blur processing module 144, and the sharpness improvement module 146, as well as the user's context information. The variables, the second control variables, and the third control variables may be set differently.

보다 구체적으로, 제어 모듈(130)은 사용자의 상황 정보에 따라 비국부 평균 노이즈 제거와 관련된 노이즈 추정 표준 편차(sigma; estimated noise standard deviation) 및 패치 사이의 거리의 함수로 패치 가중치의 감쇠를 제어하는 상수를 포함하는 제1 제어 변수들을 설정할 수 있다(S132).More specifically, the control module 130 controls the attenuation of the patch weight as a function of the estimated noise standard deviation (sigma) and the distance between the patches related to the non-local average noise removal according to the user's situation information. First control variables including constants may be set (S132).

또한, 제어 모듈(130)은 사용자의 상황 정보에 따라 블라인드 디콘볼루션의 최대 반복 횟수 및 최소 반복 횟수를 포함하는 제2 제어 변수들을 설정할 수 있다(S134).In addition, the control module 130 may set second control variables including the maximum number of repetitions and the minimum number of repetitions of the blind deconvolution according to the user's context information (S134).

또한, 제어 모듈(130)은 사용자의 상황 정보에 따라 이미지의 엣지에서의 어두운 부분과 밝은 부분의 밝기 차이 값, 샤프닝 효과를 적용할 엣지 경계 폭, 샤프닝 효과를 적용할 색조 값의 거리를 포함하는 제3 제어 변수들을 설정할 수 있다(S136).In addition, the control module 130 includes a brightness difference value between a dark part and a bright part at the edge of the image, the edge boundary width to which the sharpening effect is applied, and the distance of the tonal value to which the sharpening effect is applied according to the user's context Third control variables may be set (S136).

다시 도 1을 참조하면, 이미지 정보 인식 모듈(150)은 이미지에서 객체 정보를 인식할 수 있다. 이미지 정보 인식 모듈(150)은 이미지에서, 텍스트, 마커, 사물 등의 객체 정보를 추출할 수 있다.Referring back to FIG. 1, the image information recognition module 150 may recognize object information from an image. The image information recognition module 150 may extract object information such as text, a marker, or an object from an image.

실시예에서, 이미지 정보 인식 모듈(150)은 이미지 개선 모듈(140)을 통해 하나의 이미지로부터 다양한 이미지 처리 순서와 제어 변수들에 의해 이미지 처리되어 이미지 개선된 이미지들 각각에 대해 객체 정보를 추출한 후, 상황 데이터와 함께 학습 모듈(160) 및 데이터베이스(170)에 저장할 수 있다.In an embodiment, the image information recognition module 150 extracts object information for each of the image-improved images by processing an image from one image through the image enhancement module 140 by various image processing sequences and control variables. , It may be stored in the learning module 160 and the database 170 together with the context data.

본 발명의 실시예에 의하면, 사용자의 이미지 촬영 주변 상황에 맞는 최적화된 이미지 복원 기술의 조합 및 변수 값들을 찾아내는 학습을 진행하여 상황별 이미지 개선 정보를 저장하고, 비슷한 상황에서 이미지 복원 요청시 이미 학습 되어있는 정보를 바탕으로 이미지 처리에 효율적이며 상황별로 최적화된 이미지 복원 및 개선 처리를 제공할 수 있다.According to an embodiment of the present invention, learning to find a combination of an optimized image restoration technique and variable values suitable for a situation around a user's image capturing is performed to store image improvement information for each situation, and already learn when an image restoration request is made in a similar situation. Based on the information, it is efficient for image processing and can provide image restoration and improvement processing optimized for each situation.

본 발명의 실시예에 의하면, 마커, 개체 등 목표 대상의 인식률을 높일 수 있으며, 특히 마커를 변경하거나 대상 화면과의 거리가 변화했을 때 그에 따른 인식률 저하를 개선할 수 있다. 또한, 원본 소스가 아닌 카메라에서 받아들인 결과를 품질 개선하는 형태의 기술이므로, 원본 소스의 직접적인 편집 없이 인식률 개선 효과를 얻을 수 있다.According to an embodiment of the present invention, it is possible to increase the recognition rate of a target object such as a marker or an object, and in particular, when a marker is changed or a distance to a target screen is changed, a corresponding decrease in the recognition rate can be improved. In addition, since it is a technology that improves the quality of the result received from the camera rather than the original source, the recognition rate improvement effect can be obtained without direct editing of the original source.

또한, 본 발명의 실시예에 의하면, 사용자의 상황에 따른 이미지 개선 사전 학습을 통해 상황별 최적화된 복원 기술을 제공하며, 처리 속도에 있어서도 기존 이미지 복원 기술 보다 빠른 이점이 있다. 또한, 본 발명의 실시예에 의하면, 이미지 정보 인식 모듈을 사용하여 이미지의 복원 여부 및 성능이 측정 가능하여 사람의 개입 없이 이미지 품질 향상의 여부 및 최적의 변수값과 조합을 찾아낼 수 있다.In addition, according to an embodiment of the present invention, a restoration technique optimized for each situation is provided through pre-learning of image improvement according to a user's situation, and there is an advantage in processing speed that is faster than that of the existing image restoration technology. In addition, according to an embodiment of the present invention, it is possible to measure whether an image is restored or not and performance by using the image information recognition module, so that whether or not an image quality is improved and an optimal variable value and combination can be found without human intervention.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments are, for example, a processor, a controller, an Arithmetic Logic Unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). Array), Programmable Logic Unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.The processing device may execute an operating system and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, those of ordinary skill in the art may use a processing device that includes a plurality of processing elements and/or multiple types of processing elements It will be understood that it can include.

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other Processing configurations are possible, such as a Parallel Processor. The software may include a computer program, code, instruction, or a combination of one or more of them, and configure the processing unit to operate as desired, or process it independently or collectively. You can command the device.

소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and ROM, RAM, and flash memory. Hardware devices specially configured to store and execute program instructions such as, etc. are included. Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved. Therefore, other implementations, other embodiments, and equivalents to the claims fall within the scope of the following claims.

100: 이미지 개선 장치
110: 이미지 생성 모듈
120: 상황 인식 모듈
130: 제어 모듈
140: 이미지 개선 모듈
142: 노이즈 제거 모듈
144: 블러 처리 모듈
146: 선명도 개선 모듈
150: 이미지 정보 인식 모듈
160: 학습 모듈
170: 데이터베이스100: image enhancement device
110: image generation module
120: context awareness module
130: control module
140: image enhancement module
142: noise reduction module
144: blur processing module
146: sharpness improvement module
150: image information recognition module
160: learning module
170: database

Claims (19)

단말기와 관련된 상황 정보를 인식하는 상황 인식 모듈;
상기 단말기에 의해 생성된 이미지를 개선하는 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈; 및
상기 단말기와 관련된 상황 정보를 기반으로, 상기 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 제어 모듈을 포함하고,
상기 복수개의 상이한 이미지 처리 유닛은 상기 이미지에서 노이즈를 제거하는 노이즈 제거 모듈, 상기 이미지에서 블러를 처리하는 블러 처리 모듈 및 상기 이미지의 선명도를 개선하는 선명도 개선 모듈을 포함하고,
상기 제어 모듈은 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서를 결정하는 이미지 개선 장치.A context recognition module for recognizing context information related to a terminal;
An image enhancement module including a plurality of different image processing modules for improving the image generated by the terminal; And
And a control module for controlling at least one of a control variable of the plurality of different image processing units and an image processing sequence of the plurality of different image processing modules, based on the context information related to the terminal,
The plurality of different image processing units include a noise removal module that removes noise from the image, a blur processing module that processes blur in the image, and a sharpness improvement module that improves sharpness of the image,
The control module determines an image processing sequence of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal. 제1항에 있어서,
상기 상황 인식 모듈은 상기 이미지의 촬영 시간을 인식하는 촬영 시간 인식 모듈, 상기 단말기의 주변 밝기를 인식하는 조명 인식 모듈, 상기 단말기의 위치를 인식하는 위치 인식 모듈, 상기 단말기의 이동 상황을 인식하는 이동 상황 인식 모듈 및 상기 단말기의 사용자를 인식하는 사용자 인식 모듈 중의 적어도 하나를 포함하는 이미지 개선 장치.The method of claim 1,
The context recognition module includes a shooting time recognition module that recognizes the shooting time of the image, a lighting recognition module that recognizes the surrounding brightness of the terminal, a location recognition module that recognizes the location of the terminal, and a movement that recognizes the moving situation of the terminal An image enhancement apparatus comprising at least one of a context recognition module and a user recognition module for recognizing a user of the terminal. 삭제delete 삭제delete 제1항에 있어서,
상기 제어 모듈은 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 제어 변수들을 결정하는 이미지 개선 장치.The method of claim 1,
The control module determines control variables of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal. 제5항에 있어서,
상기 제어 변수들은 상기 노이즈 제거 모듈의 비국부 평균 노이즈 제거와 관련된 제1 제어 변수들, 상기 블러 처리 모듈의 블라인드 디콘볼루션과 관련된 제2 제어 변수들 및 상기 선명도 개선 모듈의 이미지 선명도와 관련된 제3 제어 변수들을 포함하는 이미지 개선 장치.The method of claim 5,
The control variables include first control variables related to non-local average noise removal of the noise removal module, second control variables related to blind deconvolution of the blur processing module, and a third related to image sharpness of the sharpness improvement module. An image enhancement device comprising control variables. 제6항에 있어서,
상기 제1 제어 변수들은 상기 비국부 평균 노이즈 제거와 관련된 노이즈 추정 표준 편차 및 패치 사이의 거리의 함수로 패치 가중치의 감쇠를 제어하는 상수를 포함하고,
상기 제2 제어 변수들은 상기 블라인드 디콘볼루션의 최대 반복 횟수 및 최소 반복 횟수를 포함하고,
상기 제3 제어 변수들은 상기 이미지의 엣지에서의 어두운 부분과 밝은 부분의 밝기 차이 값, 샤프닝 효과를 적용할 엣지 경계 폭, 샤프닝 효과를 적용할 색조 값의 거리를 포함하는 이미지 개선 장치.The method of claim 6,
The first control variables include a constant for controlling attenuation of the patch weight as a function of a distance between patches and a noise estimation standard deviation related to the non-local average noise removal,
The second control variables include a maximum number of repetitions and a minimum number of repetitions of the blind deconvolution,
The third control variables include a brightness difference value between a dark portion and a bright portion at the edge of the image, an edge boundary width to which a sharpening effect is applied, and a distance between a color tone value to which a sharpening effect is applied. 단말기와 관련된 상황 정보를 인식하는 상황 인식 모듈;
상기 단말기에 의해 생성된 이미지를 개선하는 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈; 및
상기 단말기와 관련된 상황 정보를 기반으로, 상기 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 제어 모듈을 포함하고,
상기 복수개의 상이한 이미지 처리 유닛은 상기 이미지에서 노이즈를 제거하는 노이즈 제거 모듈, 상기 이미지에서 블러를 처리하는 블러 처리 모듈 및 상기 이미지의 선명도를 개선하는 선명도 개선 모듈을 포함하고,
상기 제어 모듈은 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 제어 변수들을 결정하고,
상기 제어 변수들은 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서에 따라 상이하게 설정되는 이미지 개선 장치.A context recognition module for recognizing context information related to a terminal;
An image enhancement module including a plurality of different image processing modules for improving the image generated by the terminal; And
And a control module for controlling at least one of a control variable of the plurality of different image processing units and an image processing sequence of the plurality of different image processing modules, based on the context information related to the terminal,
The plurality of different image processing units include a noise removal module that removes noise from the image, a blur processing module that processes blur in the image, and a sharpness improvement module that improves sharpness of the image,
The control module determines control variables of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal,
The control parameters are set differently according to an image processing order of the noise removal module, the blur processing module, and the sharpness improvement module. 단말기와 관련된 상황 정보를 인식하는 상황 인식 모듈;
상기 단말기에 의해 생성된 이미지를 개선하는 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈;
상기 단말기와 관련된 상황 정보를 기반으로, 상기 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 제어 모듈;
상기 이미지에서 객체 정보를 인식하는 이미지 정보 인식 모듈; 및
상기 상황 정보, 상기 이미지 개선 모듈의 이미지 처리 순서 정보와 제어 변수 정보 및 상기 객체 정보를 기반으로, 상기 상황 정보와 상기 이미지 처리 순서 정보 및 상기 제어 변수 정보 간의 관계를 학습하는 학습 모듈을 포함하는 이미지 개선 장치.A context recognition module for recognizing context information related to a terminal;
An image enhancement module including a plurality of different image processing modules for improving the image generated by the terminal;
A control module for controlling at least one of an image processing sequence of the plurality of different image processing modules and a control variable of the plurality of different image processing units, based on context information related to the terminal;
An image information recognition module for recognizing object information from the image; And
An image comprising a learning module for learning a relationship between the context information, the image processing sequence information, and the control variable information, based on the context information, image processing order information and control variable information of the image enhancement module, and the object information Improvement device. 상황 인식 모듈에 의해, 단말기와 관련된 상황 정보를 인식하는 단계;
제어 모듈에 의해, 상기 단말기와 관련된 상황 정보를 기반으로, 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 단계; 및
상기 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈에 의해, 상기 이미지 처리 순서 및 상기 제어 변수 중의 적어도 하나에 따라 상기 단말기에 의해 생성된 이미지를 개선하는 단계를 포함하고,
상기 복수개의 상이한 이미지 처리 유닛은 상기 이미지에서 노이즈를 제거하는 노이즈 제거 모듈, 상기 이미지에서 블러를 처리하는 블러 처리 모듈 및 상기 이미지의 선명도를 개선하는 선명도 개선 모듈을 포함하고,
상기 제어하는 단계는 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서를 결정하는 단계를 포함하는 이미지 개선 방법.Recognizing, by the context recognition module, context information related to the terminal;
Controlling, by a control module, at least one of an image processing sequence of a plurality of different image processing modules and a control variable of the plurality of different image processing units based on context information related to the terminal; And
And improving the image generated by the terminal according to at least one of the image processing sequence and the control variable, by an image enhancement module having the plurality of different image processing modules,
The plurality of different image processing units include a noise removal module that removes noise from the image, a blur processing module that processes blur in the image, and a sharpness improvement module that improves sharpness of the image,
The controlling step includes determining an image processing sequence of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal. 제10항에 있어서,
상기 단말기와 관련된 상황 정보를 인식하는 단계는,
상기 이미지의 촬영 시간, 상기 단말기의 주변 밝기, 상기 단말기의 위치, 상기 단말기의 이동 상황 및 상기 단말기의 사용자 정보 중의 적어도 하나를 포함하는 상기 상황 정보를 인식하는 이미지 개선 방법.The method of claim 10,
Recognizing the context information related to the terminal,
An image enhancement method for recognizing the context information including at least one of a photographing time of the image, an ambient brightness of the terminal, a location of the terminal, a movement status of the terminal, and user information of the terminal. 삭제delete 삭제delete 제10항에 있어서,
상기 제어하는 단계는 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 제어 변수들을 결정하는 단계를 포함하는 이미지 개선 방법.The method of claim 10,
The controlling step includes determining control parameters of the noise removal module, the blur processing module, and the sharpness improvement module according to context information related to the terminal. 제14항에 있어서,
상기 제어하는 단계는 상기 단말기와 관련된 상황 정보에 따라 상기 노이즈 제거 모듈의 비국부 평균 노이즈 제거와 관련된 제1 제어 변수들, 상기 블러 처리 모듈의 블라인드 디콘볼루션과 관련된 제2 제어 변수들 및 상기 선명도 개선 모듈의 이미지 선명도와 관련된 제3 제어 변수들을 결정하는 단계를 포함하는 이미지 개선 방법.The method of claim 14,
The controlling may include first control variables related to non-local average noise removal of the noise removal module, second control variables related to blind deconvolution of the blur processing module, and the sharpness according to context information related to the terminal. And determining third control variables related to image sharpness of the enhancement module. 제15항에 있어서,
상기 제1 제어 변수들은 상기 비국부 평균 노이즈 제거와 관련된 노이즈 추정 표준 편차 및 패치 사이의 거리의 함수로 패치 가중치의 감쇠를 제어하는 상수를 포함하고,
상기 제2 제어 변수들은 상기 블라인드 디콘볼루션의 최대 반복 횟수 및 최소 반복 횟수를 포함하고,
상기 제3 제어 변수들은 상기 이미지의 엣지에서의 어두운 부분과 밝은 부분의 밝기 차이 값, 샤프닝 효과를 적용할 엣지 경계 폭, 샤프닝 효과를 적용할 색조 값의 거리를 포함하는 이미지 개선 방법.The method of claim 15,
The first control variables include a constant for controlling attenuation of the patch weight as a function of a distance between patches and a noise estimation standard deviation related to the non-local average noise removal,
The second control variables include a maximum number of repetitions and a minimum number of repetitions of the blind deconvolution,
The third control variables include a brightness difference value between a dark portion and a bright portion at the edge of the image, an edge boundary width to which a sharpening effect is applied, and a distance between a color tone value to which a sharpening effect is applied. 제14항에 있어서,
상기 제어하는 단계는 상기 노이즈 제거 모듈, 상기 블러 처리 모듈 및 상기 선명도 개선 모듈의 이미지 처리 순서에 따라 상기 제어 변수들을 상이하게 설정하는 이미지 개선 방법.The method of claim 14,
In the controlling, the control parameters are differently set according to an image processing order of the noise removal module, the blur processing module, and the sharpness improvement module. 상황 인식 모듈에 의해, 단말기와 관련된 상황 정보를 인식하는 단계;
제어 모듈에 의해, 상기 단말기와 관련된 상황 정보를 기반으로, 복수개의 상이한 이미지 처리 모듈의 이미지 처리 순서 및 상기 복수개의 상이한 이미지 처리 유닛의 제어 변수 중의 적어도 하나를 제어하는 단계;
상기 복수개의 상이한 이미지 처리 모듈을 구비하는 이미지 개선 모듈에 의해, 상기 이미지 처리 순서 및 상기 제어 변수 중의 적어도 하나에 따라 상기 단말기에 의해 생성된 이미지를 개선하는 단계;
이미지 정보 인식 모듈에 의해, 상기 이미지에서 객체 정보를 인식하는 단계; 및
학습 모듈에 의해, 상기 상황 정보, 상기 이미지 개선 모듈의 이미지 처리 순서 정보와 제어 변수 정보 및 상기 객체 정보를 기반으로, 상기 상황 정보와 상기 이미지 처리 순서 정보 및 상기 제어 변수 정보 간의 관계를 학습하는 단계를 포함하는 이미지 개선 방법.Recognizing, by the context recognition module, context information related to the terminal;
Controlling, by a control module, at least one of an image processing sequence of a plurality of different image processing modules and a control variable of the plurality of different image processing units based on context information related to the terminal;
Improving an image generated by the terminal according to at least one of the image processing sequence and the control variable, by an image enhancement module having the plurality of different image processing modules;
Recognizing object information in the image, by an image information recognition module; And
Learning a relationship between the context information, the image processing sequence information, and the control variable information based on the context information, the image processing sequence information of the image improvement module, the control variable information, and the object information, by a learning module Image improvement method comprising a. 제10항, 제11항, 제14항 내지 제18항 중 어느 한 항의 이미지 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium having a program recorded thereon for executing the image enhancement method of any one of claims 10, 11, and 14 to 18.
KR1020190120038A 2019-09-20 2019-09-27 Image enhancement apparatus and image enhancement method KR102205591B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190116330 2019-09-20
KR20190116330 2019-09-20

Publications (1)

Publication Number Publication Date
KR102205591B1 true KR102205591B1 (en) 2021-01-21

Family

ID=74237580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190120038A KR102205591B1 (en) 2019-09-20 2019-09-27 Image enhancement apparatus and image enhancement method

Country Status (1)

Country Link
KR (1) KR102205591B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196524A1 (en) * 2008-02-05 2009-08-06 Dts Digital Images, Inc. System and method for sharpening of digital images
KR20110096426A (en) * 2010-02-22 2011-08-30 한국외국어대학교 연구산학협력단 Digital camera apparatus for supporting deblurring and method thereof
KR101692831B1 (en) * 2016-04-01 2017-01-05 (주)디라직 Active-type system for optimizing image quality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196524A1 (en) * 2008-02-05 2009-08-06 Dts Digital Images, Inc. System and method for sharpening of digital images
KR20110096426A (en) * 2010-02-22 2011-08-30 한국외국어대학교 연구산학협력단 Digital camera apparatus for supporting deblurring and method thereof
KR101692831B1 (en) * 2016-04-01 2017-01-05 (주)디라직 Active-type system for optimizing image quality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Vitomir Struc ET AL:"Illumination Invariant Face Recognition by Non-Local Smoothing", European Workshop on Biometrics and Identity Management, BioID 2009: Biometric ID Management and Multimodal Communication, pp.1-8, 16-18 Sept. 2009(2009.09.16.) 1부.* *

Similar Documents

Publication Publication Date Title
US10666873B2 (en) Exposure-related intensity transformation
Hu et al. Deblurring low-light images with light streaks
Zhu et al. Estimating spatially varying defocus blur from a single image
KR101096825B1 (en) Digital image enhancement
US9344636B2 (en) Scene motion correction in fused image systems
WO2015184408A1 (en) Scene motion correction in fused image systems
KR101590868B1 (en) A image processing method an image processing apparatus a digital photographing apparatus and a computer-readable storage medium for correcting skin color
US20120249836A1 (en) Method and apparatus for performing user inspired visual effects rendering on an image
KR102410834B1 (en) Method of removing reflection area, eye-tracking method and apparatus thereof
WO2016101742A1 (en) Light field collection control methods and apparatuses, light field collection devices
KR20210089166A (en) Bright Spot Removal Using Neural Networks
JP2011061809A (en) System, method, and apparatus for exposure control
KR20190053602A (en) Face verifying method and apparatus
US10992845B1 (en) Highlight recovery techniques for shallow depth of field rendering
CN112272832A (en) Method and system for DNN-based imaging
KR20220058143A (en) Method and apparatus for udc image restoration
US9338354B2 (en) Motion blur estimation and restoration using light trails
Huang et al. AdvBokeh: Learning to adversarially defocus Blur
CN112819699A (en) Video processing method and device and electronic equipment
JP2020031422A (en) Image processing method and device
US20170293818A1 (en) Method and system that determine the suitability of a document image for optical character recognition and other image processing
KR102205591B1 (en) Image enhancement apparatus and image enhancement method
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
Xue Blind image deblurring: a review
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant