KR20230126854A - 어텐션 기반의 이미지 모아레 제거 장치 - Google Patents
어텐션 기반의 이미지 모아레 제거 장치 Download PDFInfo
- Publication number
- KR20230126854A KR20230126854A KR1020220024183A KR20220024183A KR20230126854A KR 20230126854 A KR20230126854 A KR 20230126854A KR 1020220024183 A KR1020220024183 A KR 1020220024183A KR 20220024183 A KR20220024183 A KR 20220024183A KR 20230126854 A KR20230126854 A KR 20230126854A
- Authority
- KR
- South Korea
- Prior art keywords
- moiré
- network
- image
- attention
- pattern
- Prior art date
Links
- 230000006870 function Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000005070 sampling Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 어텐션 기반의 이미지 모아레 제거 장치에 관한 것으로, 모아레 패턴과 관련 있는 특징맵 채널을 다루는 채널 집중 모듈; 상기 모아레 패턴과 관련 있는 특징맵 픽셀을 다루는 픽셀 집중 모듈; 및 상기 채널 집중 모듈과 픽셀 집중 모듈을 통해 매 다운 샘플링 층마다 추가로 적용하여 모아레 패턴에 대한 특징을 추출하는 다중 스케일 통합 네트워크;를 포함하는 것을 특징으로 한다.
Description
본 발명은 어텐션 기반의 이미지 모아레 제거 장치에 관한 것으로, 더욱 상세하게는 대조학습 기반의 기계학습 방법을 통한 이미지 모아레 패턴을 제거할 수 있는 장치에 관한 것이다.
대부분의 기존 모아레 패턴 제거 기법들은 모아레 패턴이 있는 이미지들을 화질 개선하기 위해 이미지의 모아레 패턴들의 모양, 주파수 성질들을 분석하고 해당 패턴 제거에 특화된 네트워크를 학습한다.
하지만, 모아레 패턴의 복잡성으로 인해 패턴을 분석하기가 쉽지 않고, 이미지 속 물체들이 모아레 패턴과 비슷한 문양(물결, 줄무늬)을 가지는 경우, 물체의 문양을 모아레 패턴으로 오인식하여 물체의 문양이 제거되어 화질 저하가 발생하는 문제점이 있다.
반대로 모아레 패턴이 물체의 문양과 비슷할 경우, 모아레 패턴을 물체의 문양으로 오인식하여 모아레 패턴이 제거되지 않아 화질 저하가 발생하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 모아래 패턴이 있는 이미지와 모아레 패턴이 없는 이미지를 함께 비교하여 그 차이를 좀 더 명확하게 보게 함으로써 네트워크가 복잡한 모아레 패턴 분석을 학습할 수 있도록 수행하는 대조 학습 방식으로 이미지 모아레 패턴을 제거할 수 있는 어텐션 기반의 이미지 모아레 제거 장치를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 어텐션 기반의 이미지 모아레 제거 장치는 모아레 패턴과 관련 있는 특징맵 채널을 다루는 채널 집중 모듈; 상기 모아레 패턴과 관련 있는 특징맵 픽셀을 다루는 픽셀 집중 모듈; 및 상기 채널 집중 모듈과 픽셀 집중 모듈을 통해 매 다운 샘플링 층마다 추가로 적용하여 모아레 패턴에 대한 특징을 추출하는 다중 스케일 통합 네트워크;를 포함하는 것을 특징으로 한다.
상기 네트워크에서 이미지 모아레 제거를 위해 대조 학습으로 모아레 패턴 분석하는 것을 특징으로 한다.
상기 대조 학습을 위한 목적함수는 수학식 1을 통해 디모아레링 학습을 하는 것을 특징으로 한다.
[수학식 1]
여기서, 첫번째 항은 네트워크 출력값과 모아레가 없는 clean image간의 L1 loss이고, 두번째 항이 대조학습을 위한 목적함수이며, G는 미리 학습된 VGG-16 네트워크이다. 분자는 모아레가 없는 clean image J를 네트워크 G를 이용해 추출한 특징과 네트워크로 부터 출력된 화질 개선 이미지를 네트워크 G를 이용해 추출한 특징간의 거리를 의미하며, 분모는 모아레가 있는 image I를 네트워크 G를 이용해 추출한 특징과 네트워크로부터 출력된 화질 개선 이미지를 네트워크 G를 이용해 추출한 특징 간의 거리를 의미한다.
이상과 같이, 본 발명에 따르면 이미지 모아레 패턴 제거를 위한 대조 학습 방식을 통해 성능 향상과 추가적인 데이터나 네트워크 없이 모아레 패턴 분석을 학습할 수 있다.
또한, 본 방법에 따르면 복잡한 모아레 패턴에 대한 특징을 잘 추출하기 위한 어텐션 기반의 모듈을 통해 모아레 패턴에 관련된 특징만 집중하여 다룰 수 있도록 함으로써 효율적으로 화질을 개선할 수 있다.
도 1은 본 발명에 따른 어텐션 기반의 이미지 특징 추출 모듈을 나타낸 개략도이다.
도 2는 본 발명에 따른 어텐션 기반의 이미지 모아레 제거 장치를 나타낸 구성도이다.
도 2는 본 발명에 따른 어텐션 기반의 이미지 모아레 제거 장치를 나타낸 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
그러면 본 발명의 일실시예에 따른 어텐션 기반의 이미지 모아레 제거 장치에 대하여 자세히 설명하기로 한다.
도 1은 본 발명에 따른 어텐션 기반의 이미지 특징 추출 모듈을 나타낸 개략도이다.
도 1을 참조하면, 본 발명에 따른 어텐션 기반의 이미지 특징 추출 모듈은 채널 집중(channel attention) 모듈(110)과 픽셀 집중(pixel attention) 모듈(120)이 쌓인 구조이다. 즉, 상기 채널 집중 모듈(110)을 통해 모아레 패턴과 관련 있는 채널을 더 집중하여 다루게 되고, 상기 픽셀 집중 모듈(120)을 통해 모아레 패턴과 관련 있는 픽셀을 더 집중하여 다루게 된다.
이와 같이, 상기 채널 집중 모듈(110)을 적용한 후 픽셀 집중 모듈(120)을 적용하는 모듈을 하나의 새로운 모듈로 구성함으로써 앞서 추출된 특징맵(feature map)의 모든 픽셀과 채널별로 모아레 패턴에 중요한 부분만 집중할 수 있어 여러 채널에 걸쳐 나타나는 복잡한 모아레 패턴의 분석이 가능하다.
도 2는 본 발명에 따른 어텐션 기반의 이미지 모아레 제거 장치를 나타낸 구성도이다.
도 2를 참조하면, 본 발명에 따른 어텐션 기반의 이미지 모아레 제거 장치는 기존의 기법은 한 이미지에 한 가지의 모아레 패턴만을 분석하는데, 이는 한 이미지에 2가지 이상의 모아레 패턴들이 다양하게 나타나는 경우 오히려 오작동을 유발한다. 그렇기 때문에 기존의 기법에서 한 이미지에 한 가지의 모아레 패턴을 분석하는 네트워크를 제거하고, 이미지 모아레 제거를 위해 대조 학습(contrastive learning)으로 모아레 패턴 분석하는 네트워크를 구성할 수 있다.
예컨대, 다중 스케일 통합(multi scale aggregation) 네트워크(100)에 상기에 제안된 특징 집중(feature attention) 모듈을 매 다운 샘플링 층마다 추가로 적용하여 복잡한 모아레 패턴에 대한 특징을 추출할 수 있다, 이로써 성능을 향상할 수 있다.
한편, 대조 학습을 위한 목적함수는 다음과 같다.
먼저, 디모아레링 학습을 위해 사용한 목적함수는 수학식 1과 같다.
여기서, 첫번째 항은 네트워크 출력값과 모아레가 없는 clean image간의 L1 loss이다. 두번째 항이 대조학습을 위한 목적함수이다. G는 미리 학습된 VGG-16 네트워크이다. 분자는 모아레가 없는 clean image J를 네트워크 G를 이용해 추출한 특징(feature)과 네트워크로 부터 출력된 화질 개선 이미지를 네트워크 G를 이용해 추출한 특징간의 거리를 의미한다. 분모는 모아레가 있는 image I를 네트워크 G를 이용해 추출한 특징(feature)과 네트워크로 부터 출력된 화질 개선 이미지를 네트워크 G를 이용해 추출한 특징 간의 거리를 의미한다. 이러한 과정을 통하여 본 목적 함수는 모아레가 있는 이미지와는 유사하지 않으며, 모아레가 없는 이미지와는 유사한 이미지에 대한 특징을 갖는다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 다중 스케일 통합 네트워크
110: 채널 집중 모듈
120: 픽셀 집중 모듈
110: 채널 집중 모듈
120: 픽셀 집중 모듈
Claims (3)
- 모아레 패턴과 관련 있는 특징맵 채널을 다루는 채널 집중 모듈;
상기 모아레 패턴과 관련 있는 특징맵 픽셀을 다루는 픽셀 집중 모듈; 및
상기 채널 집중 모듈과 픽셀 집중 모듈을 통해 매 다운 샘플링 층마다 추가로 적용하여 모아레 패턴에 대한 특징을 추출하는 다중 스케일 통합 네트워크;를 포함하는 것을 특징으로 하는 어텐션 기반의 이미지 모아레 제거 장치. - 제1항에 있어서,
상기 네트워크에서 이미지 모아레 제거를 위해 대조 학습으로 모아레 패턴 분석하는 것을 특징으로 하는 어텐션 기반의 이미지 모아레 제거 장치. - 제2항에 있어서,
상기 대조 학습을 위한 목적함수는 수학식 1을 통해 디모아레링 학습을 하는 것을 특징으로 하는 어텐션 기반의 이미지 모아레 제거 장치.
[수학식 1]
여기서, 첫번째 항은 네트워크 출력값과 모아레가 없는 clean image간의 L1 loss이고, 두번째 항이 대조학습을 위한 목적함수이며, G는 미리 학습된 VGG-16 네트워크이다. 분자는 모아레가 없는 clean image J를 네트워크 G를 이용해 추출한 특징과 네트워크로 부터 출력된 화질 개선 이미지를 네트워크 G를 이용해 추출한 특징간의 거리를 의미하며, 분모는 모아레가 있는 image I를 네트워크 G를 이용해 추출한 특징과 네트워크로부터 출력된 화질 개선 이미지를 네트워크 G를 이용해 추출한 특징 간의 거리를 의미한다.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220024183A KR102626327B1 (ko) | 2022-02-24 | 2022-02-24 | 어텐션 기반의 이미지 모아레 제거 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220024183A KR102626327B1 (ko) | 2022-02-24 | 2022-02-24 | 어텐션 기반의 이미지 모아레 제거 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230126854A true KR20230126854A (ko) | 2023-08-31 |
| KR102626327B1 KR102626327B1 (ko) | 2024-01-16 |
Family
ID=87847748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220024183A KR102626327B1 (ko) | 2022-02-24 | 2022-02-24 | 어텐션 기반의 이미지 모아레 제거 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102626327B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160138885A (ko) * | 2015-05-26 | 2016-12-06 | 한화테크윈 주식회사 | 영상 처리 장치, 영상 처리 방법, 및 촬영 장치 |
-
2022
- 2022-02-24 KR KR1020220024183A patent/KR102626327B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160138885A (ko) * | 2015-05-26 | 2016-12-06 | 한화테크윈 주식회사 | 영상 처리 장치, 영상 처리 방법, 및 촬영 장치 |
Non-Patent Citations (2)
| Title |
|---|
| Bin He ET AL, Mop Moire Patterns Using MopNet, 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Feb. 2020(2020.02.27.) 1부.* * |
| Xu Qin ET AL, FFA-Net: Feature Fusion Attention Network for Single Image Dehazing, AAAI2020, 5 Dec. 2019(2019.12.05.) 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102626327B1 (ko) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10168526B2 (en) | Cell contour formation apparatus and method of the same, and non-transitory computer readable storage medium storing a cell contour formation program | |
| Mehri et al. | Texture feature benchmarking and evaluation for historical document image analysis | |
| KR20130105952A (ko) | 차량 번호판 인식 방법과 그 장치 | |
| US11816824B2 (en) | Computer implemented process to enhance edge defect detection and other defects in ophthalmic lenses | |
| JP2008251029A (ja) | 文字認識装置、ナンバープレート認識システム | |
| Gour et al. | Fingerprint feature extraction using midpoint ridge contour method and neural network | |
| CN115270184A (zh) | 视频脱敏、车辆的视频脱敏方法、车载处理系统 | |
| CN107145888A (zh) | 视频字幕实时翻译方法 | |
| Chakraborty et al. | Review of various image processing techniques for currency note authentication | |
| US11501543B2 (en) | System and method for automatic real-time localization of license plate of vehicle from plurality of images of the vehicle | |
| KR20230126854A (ko) | 어텐션 기반의 이미지 모아레 제거 장치 | |
| CN112508828A (zh) | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 | |
| US6009194A (en) | Methods, systems and computer program products for analyzing information in forms using cell adjacency relationships | |
| KR100449486B1 (ko) | 수직선 인접 그래프를 이용한 문서 인식 시스템 및 방법 | |
| RU2336655C1 (ru) | Способ выделения областей объекта и фона на цифровых изображениях | |
| Vizváry et al. | Image quality detection using the Siamese convolutional neural network | |
| CN114373178A (zh) | 一种图片文字检测与识别方法及系统 | |
| CN112487904A (zh) | 一种基于大数据分析的视频图像处理方法及系统 | |
| CN114596242A (zh) | 缺陷检测方法、装置、电子设备及计算机可读存储介质 | |
| EP4414692A1 (en) | Artificial intelligence-based material defect detection system and method considering type and distribution of real defect images | |
| RU2364936C1 (ru) | Способ формирования представления (шаблона) отпечатка пальца человека | |
| CN116563915B (zh) | 一种基于深度学习算法的人脸状态识别方法及装置 | |
| Wu et al. | Steganalysis using unsupervised end-to-end CNN fused with residual image | |
| CN114792318B (zh) | 一种基于图像处理的纺织品摩尔纹消除方法及系统 | |
| CN113807392B (zh) | 一种基于多预处理特征融合的篡改图像鉴别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |