KR102617103B1 - 단말기에서 모아레 패턴을 제거하는 장치 및 방법 - Google Patents
단말기에서 모아레 패턴을 제거하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102617103B1 KR102617103B1 KR1020220055061A KR20220055061A KR102617103B1 KR 102617103 B1 KR102617103 B1 KR 102617103B1 KR 1020220055061 A KR1020220055061 A KR 1020220055061A KR 20220055061 A KR20220055061 A KR 20220055061A KR 102617103 B1 KR102617103 B1 KR 102617103B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- channel image
- moiré
- sample
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000001914 filtration Methods 0.000 claims abstract description 42
- 239000000284 extract Substances 0.000 claims abstract description 10
- 230000009131 signaling function Effects 0.000 claims abstract description 6
- 238000001228 spectrum Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
단말기에서 모아레 패턴을 제거하는 장치 및 방법은, 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 이미지 생성부; 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 모아레 검출 및 필터 생성부; 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 모아레 필터링부; 및 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 이미지 출력부를 포함한다.
Description
본 발명은 단말기에 관한 것으로, 특히, 단말기에서 모아레 패턴을 제거하는 장치 및 방법에 관한 것이다.
현대 사회에서 사람들이 일상생활에서 살아가는데 다양한 종류의 디스플레이 기기가 사용된다. 예를 들면, 디스플레이 기기는 텔레비전, 모니터 및 휴대 단말기 중 적어도 하나를 포함할 수 있다.
한편, 디스플레이 기기는 특정 정보를 표시한다. 이러한 특정 정보를 저장하는 방법은 단말기에 구비된 카메라를 이용하여 디스플레이 기기의 특정 정보를 촬영하여 이미지를 생성하고, 생성된 이미지를 저장하는 것이다.
그러나 디스플레이 장치를 단말기의 카메라로 촬영하는 경우, 이미지에 모아레(moire)가 나타날 수 있다. 여기서, 모아레는 피사체의 주파수가 카메라의 표본화 주파수의 1/2보다 큰 경우, 영상의 저주파 대역으로 침범하여 저주파성 패턴을 생성하는 현상을 의미하고, 모아레 간섭에 의해 발생하는 패턴을 모아레 패턴라고 한다. 이러한 모아레 패턴이 이미지에 포함되는 경우, 사용자는 이미지에 포함된 특정 정보를 정확하게 해석하기 어려운 문제점이 있었다.
따라서, 이러한 문제점을 해결하기 위한 방안의 필요성이 대두하였다.
본 발명의 일 실시 예는 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있도록 단말기에서 이미지에 포함된 모아레 패턴을 제거하는 장치 및 방법을 제안한다.
본 발명의 일 실시 예에 따른, 단말기에서 모아레 패턴을 제거하는 장치는 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 이미지 생성부; 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 모아레 검출 및 필터 생성부; 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 모아레 필터링부; 및 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 이미지 출력부를 포함한다.
본 발명의 일 실시 예에 따른, 단말기에서 모아레 패턴을 제거하는 방법은 이미지 생성부가, 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 과정, 모아레 검출 및 필터 생성부가, 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 과정, 모아레 필터링부가, 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및 이미지 출력부가, 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 과정을 포함한다.
본 발명의 일 실시 예는 단말기에서 이미지에 포함된 모아레 패턴을 제거하여 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있다.
그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉, 본 발명의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 시료 영역을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 보상용 필터를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 모아레 패턴이 포함된 제1이미지와 모아레 패턴이 제거된 제2이미지를 도시한 도면이다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 모아레 패턴을 제거하는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 보상용 필터를 생성하는 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 시료 영역을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 보상용 필터를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 모아레 패턴이 포함된 제1이미지와 모아레 패턴이 제거된 제2이미지를 도시한 도면이다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 모아레 패턴을 제거하는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 보상용 필터를 생성하는 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명의 실시 예에서 단말기는 카메라를 구비하는 임의의 장치일 수 있으며, 단말기는 휴대 단말기, 이동 단말기, 통신 단말기, 휴대용 통신 단말기, 휴대용 이동 단말기 등으로 칭할 수 있다.
예를 들어, 단말기는 스마트폰, 휴대폰, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩톱 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants), 디지털 카메라 등 일수 있다. 단말기는 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말로서 구현될 수 있다. 또한, 단말기는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다.
본 발명의 일 실시 예에 따른 단말기는 디스플레이 기기의 화면을 촬영하기 위한 디지털 카메라와 모아레 패턴을 제거하기 위한 모아레 패턴 제거 장치를 포함한다.
디지털 카메라(미도시)는 사용자의 요청에 따라 디스플레이 기기에 표시된 이미지를 촬영하여 촬영된 이미지의 다수의 채널 이미지들을 생성하고, 생성된 다수의 채널 이미지들을 모아레 패턴 제거 장치로 출력한다. 예를 들면, 디지털 카메라는 소형 또는 중형 카메라일 수 있다.
모아레 패턴 제거 장치는 다수의 채널 이미지들을 이용하여 촬영된 이미지에 포함된 모아레 패턴을 제거한다.
도 1은 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치의 블록 구성도이다.
도 1을 참조하면, 모아레 패턴 제거 장치는 이미지 생성부(101)와 이미지 회전 각도 검출부(103)와 이미지 회전부(105)와 이미지 보간부(107)와 세부 정보 검출부(109)와 모아레 검출 및 필터 생성부(111)와 모아레 필터링부(113)를 포함한다. 그리고 모아레 패턴 제거 장치는 세부 정보 복원부(115)와 블러 보상부(117)와 이미지 복원부(119)와 이미지 출력부(121)를 포함한다.
각 구성요소를 살펴보면, 이미지 생성부(101)는 디지털 카메라(미도시)로부터 다수의 채널 이미지들을 입력받으며, 입력된 채널 이미지들을 다수의 채널 이미지 데이터들로 변환하고, 변환된 채널 이미지 데이터들을 배열로 저장한다. 그리고 이미지 생성부(101)는 저장된 채널 이미지 데이터들을 회전 각도 검출부(103)로 출력한다.
예를 들면, 다수의 채널 이미지는 삼자극치 X, Y 및 Z 채널 이미지들일 수 있다. 예를 들면, X 채널 이미지는 붉은색, 녹색 및 푸른색 채널 이미지들 중에서 한 채널 이미지일 수 있다. Y 채널 이미지는 X 채널 이미지를 제외한 붉은색, 녹색 및 푸른색 채널 이미지들 중에서 한 채널 이미지일 수 있다. Z 채널 이미지는 X 및 Y 채널 이미지들을 제외한 붉은색, 녹색 및 푸른색 채널 이미지들 중에서 한 채널 이미지일 수 있다. 예를 들면, X 채널 이미지는 붉은색 채널 이미지일 수 있다. Y 채널 이미지는 녹색 채널 이미지일 수 있다. Z 채널 이미지는 푸른색 채널 이미지일 수 있다.
예를 들면, 다수의 채널 이미지 데이터들은 다수의 채널 이미지에 대응되며, 삼자극치 X, Y 및 Z 채널 이미지 데이터들일 수 있다.
이미지 회전 각도 검출부(103)는 이미지 생성부(101)로부터 채널 이미지 데이터들을 입력받고, 입력된 채널 이미지 데이터들 중에서 한 채널 이미지 데이터에서 촬영된 이미지에 포함된 시료(디스플레이 기기의 화면)의 기울기를 확인한다. 예를 들면, 한 채널 이미지 데이터는 Y 채널 이미지 데이터일 수 있다. 그리고 이미지 회전 각도 검출부(103)는 확인된 기울기를 원위치 시키기 위한 회전 파라미터를 계산한다.
또한, 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들에서 시료 영역을 각각 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성한다. 예를 들면, 시료 영역은 디스플레이 기기의 화면 영역을 나타낼 수 있다. 예를 들면, 시료 영역은 도 2에 도시된 바와 같이, 촬영된 이미지(201)에 포함된 디스플레이 기기의 화면 영역을 나타낼 수 있다. 예를 들면, 시료 영역 채널 이미지 데이터들 각각은 채널 이미지 데이터에서 시료 영역만큼 추출(crop)하여 생성된 것일 수 있다. 또한, 이미지 회전 각도 검출부(103)는 시료 영역 채널 이미지 데이터들과 회전 파라미터를 이미지 회전부(105)로 출력한다.
이미지 회전부(105)는 이미지 회전 각도 검출부(103)로부터 시료 영역 채널 이미지 데이터들과 회전 파라미터를 입력 받는다. 그리고 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들 각각에 회전 파라미터를 적용하여 시료 영역 채널 이미지 데이터들 각각을 회전시킴으로써 다수의 회전 시료 영역 채널 이미지 데이터들을 생성한다. 또한, 이미지 회전부(105)는 회전 시료 영역 채널 이미지 데이터들을 이미지 보간부(107)로 출력한다.
한편, 회전 파라미터가 미리 지정된 회전 각도 미만인 경우, 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들을 회전시키지 않은 채 시료 영역 채널 이미지 데이터들을 이미지 보간부(107)로 출력한다. 예를 들면, 미리 지정된 회전 각도는 자유롭게 선정 가능하며, 일반적인 용도로 0.5 내지 1도 중 한 각도일 수 있다.
이미지 보간부(107)는 이미지 회전부(105)로부터 회전 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 이미지 보간부(107)는 경계선보상(Watershed) 알고리즘을 이용하여 회전 시료 영역 채널 이미지 데이터들 중에서 한 회전 시료 영역 채널 이미지 데이터에서 경계선을 검출하기 위한 경계선 파라미터를 생성한다. 예를 들면, 한 회전 시료 영역 채널 이미지 데이터는 Y 채널에 대한 회전 시료 영역 채널 이미지 데이터일 수 있다.
또한, 이미지 보간부(107)는 나머지 회전 시료 영역 채널 이미지 데이터들 각각에 경계선 파라미터를 적용하여 회전 시료 영역 채널 이미지 데이터들에 포함된 특정 영역을 확인하고, 확인된 특정 영역의 위치 정보를 생성한다. 예를 들면, 특정 영역은 카메라 영역, 불량화소 영역, 불량 라인 영역 및 무라(MURA) 영역 중 적어도 하나를 포함할 수 있다. 예를 들면, 무라 영역은 빛이 새어나와 번지는 현상으로 국부영역 밝기변동이 발생한 영역을 나타낼 수 있다.
또한, 이미지 보간부(107)는 특정 영역의 위치 정보를 이용하여 회전 시료 영역 채널 이미지 데이터들에서 특정 영역의 주변에 위치하는 회전 시료 영역 채널 이미지 데이터들의 일부 이미지 데이터들을 확인한다. 또한, 이미지 보간부(107)는 회전 시료 영역 채널 이미지 데이터들의 일부 이미지 데이터들을 이용하여 회전 시료 영역 채널 이미지 데이터들 각각에 포함된 특정 영역을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성한다.
또한, 이미지 보간부(107)는 보간 시료 영역 채널 이미지 데이터들을 모아레 검출 및 필터 생성부(111)와 세부 정보 검출부(109)로 출력한다. 또한, 이미지 보간부(107)는 특정 영역의 위치 정보 및 회전 시료 영역 채널 이미지 데이터들 중에서 특정 영역에 포함된 채널 이미지 데이터들을 이미지 복원부(119)로 출력한다. 예를 들면, 특정 영역 정보는 특정 영역의 위치 정보 및 회전 시료 영역 채널 이미지 데이터들 중에서 특정 영역에 포함된 채널 이미지 데이터들을 포함할 수 있다.
세부 정보 검출부(109)는 이미지 보간부(107)로부터 보간 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 세부 정보 검출부(109)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 검출하여 저장한다. 예를 들면, 세부 정보는 디스플레이 기기의 화면 상에 발생한 스크래치와 같은 미세하고 세세한 성분에 해당하는 채널 이미지 데이터들과 해당 성분이 위치하는 위치 정보를 포함할 수 있다. 이러한 세부 정보는 모아레 패턴을 제거하기 위해 필터링을 수행할 시에 왜곡될 수 있는 성분을 보존하기 위해 생성된다. 또한, 세부 정보 검출부(109)는 보간 시료 영역 채널 이미지 데이터들과 세부 정보를 모아레 필터링부(113)로 출력하고, 세부 정보를 세부 정보 복원부(115)로 출력한다.
한편, 모아레 패턴을 모델화하여 함수로 수식화한 모아레 모델 함수는 다음과 같은 수학식 1로 나타날 수 있다.
,
=
예를 들면, m(x)는 공간 영역에서의 모아레 모델 함수를 나타낼 수 있다. 는 시료 영역 내 공간 좌표를 나타낼 수 있다. 는 구형파인 이상적인 모아레 패턴의 한 주기의 기본 함수를 나타낼 수 있다. 는 가우시안 블러인 광학적 초점 흐림(defocus) 등에 따른 실제 모아레 패턴을 나타낼 수 있다. 는 모아레 패턴의 반복적 특성을 기술한 임펄스 함수를 나타낼 수 있다. 은 모아레 패턴의 기본주기의 1/2을 나타낼 수 있다. 는 2 일 수 있다. *은 컨볼루션(convolution)이다.
그리고 모아레 모델 함수에 고속 푸리에 변환(Fast Fourier Transform, 이하 'FFT'라 한다)을 수행하면, 모아레 모델 함수의 주파수 영역 변환된 모아레 스펙트럼이 도출된다. 모아레 스펙트럼은 다음과 같은 수학식 2로 나타날 수 있다.
예를 들면, M(f)는 모아레 모델 함수의 주파수 영역 변환된 모아레 스펙트럼을 나타낼 수 있다.
즉, 모아레 스펙트럼은 k*f2(k의 정수배) 위치에서 
주기의 싱크 함수 형태가 반복적으로 나타나며, 모아레 스펙트럼은 모아레 기본 주파수 
에 의한 싱크 함수와 초점 흐림 정도(G(f))에 의해 진폭이 결정된다.
이러한 점을 고려하여, 모아레 검출 및 필터 생성부(111)는 이미지 보간부(107)로부터 보간 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 모아레 검출 및 필터 생성부(111)는 보간 시료 영역 채널 이미지 데이터들 각각에서 중심에 위치하는 관심 영역(Rectangle Of Interest, 이하 'ROI'라 한다)을 추출하여 다수의 채널들에 대응하는 다수의 중심 영역 채널 이미지 데이터들을 생성한다. 예를 들면, 중심 영역 채널 이미지 데이터들은 X, Y, Z 채널 이미지들에 대응하는 X, Y, Z 중심 영역 채널 이미지 데이터들일 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 중심 영역 채널 이미지 데이터들 각각에 FFT를 수행하여 다수의 주파수 영역의 모아레 스펙트럼들을 도출한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 검출속도를 향상하기 위하여 XYZ 중 특정 채널 하나, 예를 들어, Y를 선정할 수 있으며, 선정 영역에 대해 수평라인별로 고속퓨리에 변환 후, 라인스펙트럼 평균을 구하여 모든 채널 영상의 수직 수평 방향 모아레 검출에 공통으로 사용할 수 있다. 즉, 모아레 검출 및 필터 생성부(111)는 주파수 영역의 모아레 스펙트럼들을 평균화하여 다수의 채널들의 모아레 평균 스펙트럼을 도출한다.
그리고 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼을 이용하여 피크 스펙트럼을 생성한다. 이때, 모아레 검출 및 필터 생성부(111)는 원본 영상의 DC 성분에 의한 피크 성분 오검출을 방지하기 위해, DC 성분을 인접한 저주파 스펙트럼 값으로 강제로 대치한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼에, 스펙트럼 잡음 제거를 위한 선처리 메디안 필터링(Median Filtering)을 수행하여 피크 추출이 용이한 피크 스펙트럼을 도출할 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 피크 스펙트럼에서 피크(Peak) 값을 가지는 신호(이하 '피크점'라 한다)을 확인한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 피크 스펙트럼(301)에서 피크점(303)의 위치를 확인할 수 있다. 만일, 피크 스펙트럼에 피크점이 존재하지 않으면, 모아레 검출 및 필터 생성부(111)는 시료 영역 채널 이미지 데이터들에 모아레 신호가 존재하지 않는다고 결정하고, 시료 영역 채널 이미지 데이터들을 이미지 출력부(121)로 출력한다. 이후에, 이미지 출력부(121)는 시료 영역 채널 이미지 데이터들을 이용하여 한 이미지를 생성하고, 표시부(미도시)를 통해 생성된 이미지를 출력한다.
이와 달리, 모아레 검출 및 필터 생성부(111)는 피크점이 존재하면, 피크점의 위치를 이용하여 모아레 패턴을 보상하기 위한 보상용 필터를 디자인한다.
좀 더 자세히 설명하면, 모아레 검출 및 필터 생성부(111)는 피크 스펙트럼에서 피크점을 확인한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 피크 스펙트럼(301)에서 피크점(303)을 확인할 수 있다. 그리고 모아레 주파수의 하모닉 주파수 특성을 고려하여 고조파 형태로 보상용 필터를 디자인하기 위해 검출된 한 개 이상의 피크점들간의 공통적 위치 차이를 정수배만큼 곱하여 새로운 최종 피크점들의 위치를 결정한다.
최종 피크점은 시료 영역의 중심 영역(즉, 시료 영역의 일부 화소)에서 추출하였으므로, 모아레 검출 및 필터 생성부(111)는 단말기의 시료 영역의 전체 화소에 적용할 필터의 대역폭과 시료 영역에서 다수의 피크점이 위치하는 영역(이하, '피크 영역'이라 한다)들을 고려하여 표본화 주파수의 1/2 대역폭 필터를 생성한다 (필터의 리니어 스케일링(linear scaling)). 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 전체 화소에 적용할 필터의 대역폭과 다수의 피크 영역들을 고려하여 표본화 주파수의 1/2 대역폭 필터(305)를 생성할 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 시료 영역의 크기에 맞추어 보상용 필터를 디자인하기 위해 생성된 필터를 기반으로 스케일링 및 중심 영역에서 반복되어 나아가는 싱크 함수 형태의 특성을 고려하여 보상용 필터를 생성한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 중심 영역을 기준으로 생성된 필터를 스케일링하고, 스케일링된 필터를 좌, 우로 반복시켜 표본화 주파수 대역까지 보상용 필터를 디자인할 수 있다.
이후에, 모아레 검출 및 필터 생성부(111)는 생성된 보상용 필터를 모아레 필터링부(113)로 출력한다.
모아레 필터링부(113)는 세부 정보 검출부(109)로부터 보간 시료 영역 채널 이미지 데이터들과 세부 정보를 입력받고, 모아레 검출 및 필터 생성부(111)로부터 보상용 필터를 입력 받는다. 그리고 모아레 필터링부(113)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 제외하여 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 각각의 주파수 영역에서 보상용 필터를 적용하여 필터링된 시료 영역 채널 이미지 데이터들을 생성한다.
좀 더 자세히 설명하면, 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 중 한 보간 일부 시료 영역 채널 이미지 데이터를 수평 방향으로 FFT를 수행하여 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수평 방향의 주파수 필터를 적용하여 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 역고속 푸리에 변환(Inverse Fast Fourier Transform, 이하 'IFFT'라 한다)을 수행하여 수평 방향의 공간 영역에서 필터링된 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다.
그리고 모아레 필터링부(113)는 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 수직 방향으로 FFT를 수행하여 수직 방향의 주파수 영역에서 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 방향의 주파수 영역에서 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수직 방향의 주파수 필터를 적용하여 수직 방향의 주파수 영역에서 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 IFFT를 수행하여 수직 방향의 공간 영역에서 필터링된 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 예를 들면, 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터는 보간 일부 시료 영역 채널 이미지 데이터에서 모아레 패턴이 필터링된 보간 일부 시료 영역 채널 이미지 데이터일 수 있다.
모아레 필터링부(113)는 이러한 동작을 반복적으로 수행하여 다수의 보간 시료 영역 채널 이미지 데이터들에 대응하는 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 모아레 필터링부(113)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 세부 정보 복원부(115)로 출력한다.
세부 정보 복원부(115)는 모아레 필터링부(113)로부터 필터링된 시료 영역 채널 이미지 데이터들을 입력받고, 세부 정보 검출부(109)로부터 세부 정보를 입력 받는다. 그리고 세부 정보 복원부(115)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들 각각에 세부 정보를 복원하여 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 세부 정보 복원부(115)는 필터링된 보간 시료 영역 채널 이미지 데이터들을 블러 보상부(117)로 출력한다. 즉, 세부 정보 복원부(115)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들 각각에서 모아레 필터링부(113)에서 제거된 세부 정보를 복원한다.
블러 보상부(117)는 세부 정보 복원부(115)로부터 필터링된 보간 시료 영역 채널 이미지 데이터들을 입력 받는다. 그리고 블러 보상부(117)는 미리 지정된 임계값을 이용하여 필터링된 보간 시료 영역 채널 이미지 데이터들 각각에서 초점 흐림으로 인해 불선명(blur)한 에지(edge) 부분을 보정하여 개선된 보간 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 블러 보상부(117)는 개선된 보간 시료 영역 채널 이미지 데이터들을 이미지 복원부(119)로 출력한다.
이미지 복원부(119)는 세부 정보 복원부(115)로부터 개선된 보간 시료 영역 채널 이미지 데이터들을 입력받고, 이미지 보간부(107)로부터 특정 영역의 위치 정보 및 특정 영역에 포함된 채널 이미지 데이터들을 입력 받는다. 그리고 이미지 복원부(119)는 특정 영역의 위치 정보 및 특정 영역에 포함된 채널 이미지 데이터들을 이용하여 개선된 보간 시료 영역 채널 이미지 데이터들 각각에 특정 영역을 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 이미지 복원부(119)는 개선된 시료 영역 채널 이미지 데이터들을 이미지 출력부(121)로 출력한다. 즉, 이미지 복원부(119)는 개선된 보간 시료 영역 채널 이미지 데이터들 각각에서 이미지 보간부(107)에서 보간된 특정 영역을 복원한다.
이미지 출력부(121)는 이미지 복원부(119)로부터 개선된 시료 영역 채널 이미지 데이터들을 입력받고, 개선된 시료 영역 채널 이미지 데이터들을 이용하여 한 이미지를 생성한 후, 표시부(미도시)를 통해 생성된 이미지를 출력한다.
이러한 구성을 통해, 모아레 패턴 제거 장치는 촬영한 이미지에서 디스플레이 기기의 화면을 추출하여 제1시료 영역 이미지를 생성하고, 생성된 시료 영역 이미지에서 모아레 패턴을 제거하여 제2시료 영역 이미지를 생성하여 표시한다. 예를 들면, 모아레 패턴 제거 장치는, 도 4에 도시된 바와 같이, 제1시료 영역 이미지(401)에서 모아레 패턴을 제거하여 제2시료 영역 이미지(403)를 생성한 후, 표시할 수 있다.
본 발명의 일 실시 예는 단말기의 촬상에서 촬상된 이미지에 포함된 모아레 패턴을 제거하여 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있다.
도 5a 및 5b는 본 발명의 일 실시 예에 따른 모아레 패턴 제거 장치에서 모아레 패턴을 제거하는 흐름도이다.
도 5a 및 5b를 참조하면, 모아레 패턴 제거 장치의 이미지 생성부(101)는, 501 단계에서, 디지털 카메라(미도시)로부터 입력된 채널 이미지들을 다수의 채널 이미지 데이터들로 변환하고, 변환된 채널 이미지 데이터들을 배열로 저장한다.
503 단계에서, 모아레 패턴 제거 장치의 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들에서 시료 영역을 각각 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성한다. 예를 들면, 시료 영역은, 도 2에 도시된 바와 같이, 촬영된 이미지(201)에 포함된 디스플레이 기기의 화면 영역을 나타낼 수 있다.
505 단계에서, 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들 중에서 한 채널 이미지 데이터를 이용하여 회전 파라미터를 계산한다. 예를 들면, 이미지 회전 각도 검출부(103)는 채널 이미지 데이터들 중에서 한 채널 이미지 데이터에서 촬영된 이미지에 포함된 시료(디스플레이 기기의 화면)의 기울기를 확인한다. 그리고 이미지 회전 각도 검출부(103)는 확인된 기울기만큼 촬영된 이미지를 회전시키기 위한 회전 파라미터를 계산한다.
507 단계에서, 모아레 패턴 제거 장치의 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들 각각에 회전 파라미터를 적용하여 시료 영역 채널 이미지 데이터들 각각을 회전시킴으로써 다수의 회전 시료 영역 채널 이미지 데이터들을 생성한다. 이때, 회전 파라미터가 미리 지정된 회전 각도 미만인 경우, 이미지 회전부(105)는 시료 영역 채널 이미지 데이터들을 회전시키지 않고, 509 단계를 진행한다.
509 단계에서, 모아레 패턴 제거 장치의 이미지 보간부(107)는 회전 시료 영역 채널 이미지 데이터들을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성한다.
좀 더 자세히 설명하면, 이미지 보간부(107)는 경계선보상(Watershed) 알고리즘을 이용하여 회전 시료 영역 채널 이미지 데이터들 중에서 한 회전 시료 영역 채널 이미지 데이터에서 경계선을 검출하기 위한 경계선 파라미터를 생성한다.
그리고 이미지 보간부(107)는 나머지 회전 시료 영역 채널 이미지 데이터들 각각에 경계선 파라미터를 적용하여 회전 시료 영역 채널 이미지 데이터들에 포함된 특정 영역을 확인하고, 확인된 특정 영역의 위치 정보를 생성한다. 예를 들면, 특정 영역은 카메라 영역, 불량화소 영역, 불량 라인 영역 및 무라(MURA) 영역 중 적어도 하나를 포함할 수 있다.
또한, 이미지 보간부(107)는 특정 영역의 위치 정보를 이용하여 회전 시료 영역 채널 이미지 데이터들에서 특정 영역의 주변에 위치하는 회전 시료 영역 채널 이미지 데이터들의 일부 채널 이미지 데이터들을 확인한다. 또한, 이미지 보간부(107)는 회전 시료 영역 채널 이미지 데이터들의 일부 채널 이미지 데이터들을 이용하여 회전 시료 영역 채널 이미지 데이터들 각각에 포함된 특정 영역을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성한다.
511 단계에서, 모아레 패턴 제거 장치의 세부 정보 검출부(109)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 검출하여 저장한다.
513 단계에서, 모아레 패턴 제거 장치의 모아레 검출 및 필터 생성부(111)는 보간 시료 영역 이미지 데이터들을 이용하여 보상용 필터를 생성한다. 이제부터, 5 6을 참조하여 모아레 검출 및 필터 생성부(111)의 동작을 자세히 설명하고자 한다.
도 6을 참조하면, 모아레 검출 및 필터 생성부(111)는, 601 단계에서, 보간 시료 영역 채널 이미지 데이터들 각각에서 중심에 위치하는 ROI를 추출하여 다수의 채널들에 대응하는 다수의 중심 영역 채널 이미지 데이터들을 생성한다.
603 단계에서, 모아레 검출 및 필터 생성부(111)는 중심 영역 채널 이미지 데이터들 각각에 FFT를 수행하여 모아레 평균 스펙트럼을 추출한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 중심 영역 채널 이미지 데이터들의 라인별로 FFT를 수행하여 주파수 영역에서의 중심 영역 채널 이미지 데이터들에 대응하는 다수의 모아레 스펙트럼들을 도출할 수 있다. 그리고 모아레 검출 및 필터 생성부(111)는 모아레 스펙트럼들을 평균화하여 모아레 평균 스펙트럼을 도출할 수 있다. 이때, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼에서 주파수 영역의 잡음 표준 편차를 계산한다.
605 단계에서, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼을 이용하여 피크 스펙트럼을 생성한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는 모아레 평균 스펙트럼에, 스펙트럼 잡음 제거를 위한 선처리로 메디안 필터링(Median Filtering) 혹은 유사한 평균 필터링을 수행하여 피크 추출이 용이한 평활화 된 스펙트럼을 구하고, 이를 통해 피크 스펙트럼을 도출할 수 있다.
607 단계에서, 모아레 검출 및 필터 생성부(111)는 잡음 표준 편차를 이용하여 피크 스펙트럼에서 피크점을 결정한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 피크 스펙트럼(301)에서 피크점(303)을 확인할 수 있다.
609 단계에서, 모아레 검출 및 필터 생성부(111)는 피크점을 이용하여 보상용 필터를 디자인한다.
좀 더 자세히 설명하면, 모아레 주파수의 하모닉 주파수 특성을 고려하여 고조파 형태로 보상용 필터를 디자인하기 위해 검출된 한 개 이상의 피크점들간의 공통적 위치 차이를 정수배만큼 곱하여 새로운 최종 피크점들의 위치를 결정한다.
최종 피크점은 시료 영역의 중심 영역에서 추출하였으므로, 모아레 검출 및 필터 생성부(111)는 시료 영역의 전체 화소에 적용할 필터의 대역폭과 시료 영역에 포함된 다수의 피크 영역들을 고려하여 필터를 생성한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 전체 화소에 적용할 필터의 대역폭과 다수의 피크 영역들의 위치들을 고려하여 필터(305)를 생성할 수 있다.
그리고 모아레 검출 및 필터 생성부(111)는 시료 영역의 크기에 맞추어 보상용 필터를 디자인하기 위해 생성된 필터를 기반으로 스케일링 및 중심 영역에서 반복되어 나아가는 싱크 함수 형태의 보상용 필터를 디자인한다. 예를 들면, 모아레 검출 및 필터 생성부(111)는, 도 3에 도시된 바와 같이, 시료 영역의 중심 영역을 기준으로 생성된 필터를 스케일링하고, 스케일링된 필터를 좌, 우로 반복시켜 보상용 필터를 디자인할 수 있다.
다시 도 5로 돌아와서, 515 단계에서, 모아레 패턴 제거 장치의 모아레 필터링부(113)는 세부 정보가 제외된 보간 일부 시료 영역 채널 이미지 데이터들에 보상용 필터를 적용하여 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 이때, 모아레 필터링부(113)는 보간 시료 영역 채널 이미지 데이터들에서 세부 정보를 제외하여 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다. 그리고 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 각각의 주파수 영역에서 보상용 필터를 적용하여 필터링된 시료 영역 채널 이미지 데이터들을 생성한다.
좀 더 자세히 설명하면, 모아레 필터링부(113)는 보간 일부 시료 영역 채널 이미지 데이터들 중 한 보간 일부 시료 영역 채널 이미지 데이터를 수평 방향으로 FFT를 수행하여 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향 주파수 영역의 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수평 방향의 주파수 필터를 적용하여 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수평 방향의 주파수 영역에서 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 IFFT를 수행하여 수평 방향의 공간 영역에서 필터링된 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다.
그리고 모아레 필터링부(113)는 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 수직 방향으로 FFT를 수행하여 수직 방향의 주파수 영역에서 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 방향 주파수 영역의 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 보상용 필터의 수직 방향의 주파수 필터를 적용하여 수직 방향의 주파수 영역에서 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다. 그리고 모아레 필터링부(113)는 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터에 IFFT를 수행하여 수직 방향의 공간 영역에서 필터링된 수직 및 수평 방향 필터링된 보간 일부 시료 영역 채널 이미지 데이터를 생성한다.
모아레 필터링부(113)는 이러한 동작을 반복적으로 수행하여 다수의 보간 시료 영역 채널 이미지 데이터들에 대응하는 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성한다.
517 단계에서, 모아레 패턴 제거 장치의 세부 정보 복원부(115)는 필터링된 보간 일부 시료 영역 채널 이미지 데이터들 각각에 세부 정보를 복원하여 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성한다.
519 단계에서, 모아레 패턴 제거 장치의 블러 보상부(117)는 미리 지정된 임계값을 이용하여 필터링된 보간 시료 영역 채널 이미지 데이터들 각각에서 초점 흐림으로 인해 불선명한 에지 부분을 보정하여 개선된 보간 시료 영역 채널 이미지 데이터들을 생성한다.
521 단계에서, 모아레 패턴 제거 장치의 이미지 복원부(119)는 특정 영역의 위치 정보 및 특정 영역에 포함된 채널 이미지 데이터들을 이용하여 개선된 보간 시료 영역 채널 이미지 데이터들 각각에 특정 영역을 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성한다.
523 단계에서, 모아레 패턴 제거 장치의 이미지 출력부(121)는 개선된 시료 영역 채널 이미지 데이터들을 이용하여 한 이미지를 생성하고, 표시부(미도시)를 통해 생성된 이미지를 출력한다.
이러한 과정을 통해, 본 발명의 일 실시 예는 단말기에서 이미지에 포함된 모아레 패턴을 제거하여 사용자가 이미지에 포함된 특정 정보를 정확하게 해석할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
예를 들면, 모아레 패턴 제거 장치에서, 이미지 생성부는 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성할 수 있다. 그리고 모아레 검출 및 필터 생성부는, 상기 시료 영역 채널 이미지 데이터들에 포함된, 상기 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성할 수 있다. 또한, 모아레 필터링부는, 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성할 수 있다. 이후에, 이미지 출력부는, 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력할 수 있다.
101: 이미지 생성부
103: 이미지 회전 각도 검출부
105: 이미지 회전부
107: 이미지 보간부
109: 세부 정보 검출부
111: 모아레 검출 및 필터 생성부
113: 모아레 필터링부
115: 세부 정보 복원부
117: 블러 보상부
119: 이미지 복원부
121: 이미지 출력부
103: 이미지 회전 각도 검출부
105: 이미지 회전부
107: 이미지 보간부
109: 세부 정보 검출부
111: 모아레 검출 및 필터 생성부
113: 모아레 필터링부
115: 세부 정보 복원부
117: 블러 보상부
119: 이미지 복원부
121: 이미지 출력부
Claims (12)
- 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 이미지 생성부;
상기 시료 영역 채널 이미지 데이터들에 포함된, 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 모아레 검출 및 필터 생성부;
상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 모아레 필터링부; 및
상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 이미지 출력부를 포함하고,
상기 모아레 검출 및 필터 생성부는, 상기 시료 영역 채널 이미지 데이터들에서 중심에 위치하는 관심 영역을 추출하여 다수의 중심 영역 채널 이미지 데이터들을 생성하며, 상기 중심 영역 채널 이미지 데이터들에 각 수직 수평 라인별로 1차원 고속 푸리에 변환을 수행하여 주파수 영역의 다수의 모아레 스펙트럼들을 생성하고, 상기 모아레 스펙트럼들을 평균화 하여 모아레 평균 스펙트럼을 생성하며, 상기 모아레 평균 스펙트럼에서 잡음 표준 편차를 계산하고, 상기 모아레 평균 스펙트럼에 선처리 메디안 필터링을 수행하여 피크 스펙트럼을 생성하며, 상기 잡음 표준 편차를 이용하여 상기 피크 스펙트럼에서 복수의 피크점들을 확인하고, 상기 피크점들 중에서 인접한 피크점들 간의 공통적 위치 차이를 정수배하여 피크점의 최종 위치를 계산하며, 상기 피크점의 최종 위치와 상기 보상용 필터의 대역폭과 상기 시료 영역에 포함된, 상기 피크점이 존재하는 다수의 피크 영역들을 고려하여 필터를 생성하고, 상기 시료 영역의 중심 영역을 기준으로 상기 필터가 좌, 우로 반복되게 진행하는 상기 보상용 필터를 생성하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 장치.
- 삭제
- 제1항에 있어서,
상기 시료 영역 채널 이미지 데이터들 중에서 한 시료 영역 채널 이미지 데이터를 이용하여 상기 이미지의 회전 각도를 나타내는 회전 파라미터를 계산하는 이미지 회전 각도 검출부; 및
상기 회전 파라미터를 이용하여 상기 시료 영역 채널 이미지 데이터들을 회전시키는 이미지 회전부를 더 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
- 제1항에 있어서,
미리 지정된 보간법을 통해 상기 시료 영역 채널 이미지 데이터들을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성하는 이미지 보간부; 및
상기 보간 시료 영역 채널 이미지 데이터들에서 모아레 피크제거 필터링 시 왜곡되는 영상의 세밀 정보를 보존하기 위해 영상의 세부 정보를 검출하는 세부 정보 검출부를 더 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
- 제4항에 있어서,
상기 모아레 필터링부는, 상기 보간 시료 영역 채널 이미지 데이터들에서 상기 세부 정보를 제외하여 다수의 보간 일부 시료 영역 채널 이미지 데이터들을 생성하고, 상기 보간 일부 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 장치.
- 제5항에 있어서,
상기 필터링된 보간 일부 시료 영역 채널 이미지 데이터들에 상기 세부 정보를 복원하여 다수의 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성하는 세부 정보 복원부;
상기 필터링된 보간 시료 영역 채널 이미지 데이터들에서 카메라 렌즈나 초점 미흡에 따른 블러를 보상하여 다수의 개선된 보간 시료 영역 채널 이미지 데이터들을 생성하는 블러 보상부; 및
상기 개선된 보간 시료 영역 채널 이미지 데이터들에 특정 영역 정보를 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성하는 이미지 복원부를 더 포함하는 단말기에서 모아레 패턴을 제거하는 장치.
- 이미지 생성부가, 디스플레이 기기의 화면을 포함하는 제1이미지를 다수의 채널 이미지 데이터들로 변환하고, 상기 채널 이미지 데이터들에서 상기 화면의 영역을 나타내는 시료 영역을 추출하여 다수의 시료 영역 채널 이미지 데이터들을 생성하는 과정,
모아레 검출 및 필터 생성부가, 상기 시료 영역 채널 이미지 데이터들에 포함된, 모아레 패턴을 나타내는 모아레 신호 함수의 하모닉 특성을 고려하여 보상용 필터를 생성하는 과정,
모아레 필터링부가, 상기 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
이미지 출력부가, 상기 필터링된 시료 영역 채널 이미지 데이터들을 이용하여 상기 모아레 패턴이 제거된 제2이미지를 생성하고, 표시부를 통해 상기 제2이미지를 출력하는 과정을 포함하고,
상기 보상용 필터를 생성하는 과정은,
상기 시료 영역 채널 이미지 데이터들에서 중심에 위치하는 관심 영역을 추출하여 다수의 중심 영역 채널 이미지 데이터들을 생성하는 과정,
상기 중심 영역 채널 이미지 데이터들에 수평 수직 방향의 라인 영상 데이터에 1차원 고속 푸리에 변환을 수행하여 주파수 영역의 다수의 모아레 스펙트럼들을 생성하는 과정,
상기 모아레 스펙트럼들을 평균화하여 모아레 평균 스펙트럼을 생성하며, 상기 모아레 평균 스펙트럼에서 잡음 표준 편차를 계산하는 과정,
상기 모아레 평균 스펙트럼에 선처리 메디안 필터링을 수행하여 피크 스펙트럼을 생성하는 과정,
상기 잡음 표준 편차를 이용하여 상기 피크 스펙트럼에서 복수의 피크점들을 확인하고, 상기 피크점들 중에서 인접한 피크점들 간의 공통적 위치 차이를 정수 배하여 피크점들의 최종 위치를 계산하는 과정,
상기 피크점의 최종 위치와 상기 보상용 필터의 대역폭과 상기 시료 영역에 포함된, 상기 피크점이 존재하는 다수의 피크 영역들을 고려하여 필터를 생성하는 과정, 및
상기 시료 영역의 중심 영역을 기준으로 상기 필터가 좌, 우로 반복되게 진행하는 상기 보상용 필터를 생성하는 과정을 포함하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 방법.
- 삭제
- 제7항에 있어서,
상기 시료 영역 채널 이미지 데이터들을 생성하는 과정 이후에, 이미지 회전 각도 검출부가, 상기 시료 영역 채널 이미지 데이터들 중에서 한 시료 영역 채널 이미지 데이터를 이용하여 상기 이미지의 회전 각도를 나타내는 회전 파라미터를 계산하는 과정, 및
이미지 회전부가, 상기 회전 파라미터를 이용하여 상기 시료 영역 채널 이미지 데이터들을 회전시키는 과정을 더 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
- 제7항에 있어서,
상기 시료 영역 채널 이미지 데이터들을 생성하는 과정 이후에, 이미지 보간부가, 미리 지정된 보간법을 통해 상기 시료 영역 채널 이미지 데이터들을 보간하여 다수의 보간 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
세부 정보 검출부가, 상기 보간 시료 영역 채널 이미지 데이터들에서 모아레 피크제거 필터링 시 왜곡되는 영상의 세밀 정보를 보존하기 위해 영상의 세부 정보를 검출하는 과정을 더 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
- 제10항에 있어서,
상기 필터링된 시료 영역 채널 이미지 데이터들을 생성하는 과정은,
상기 보간 시료 영역 채널 이미지 데이터들에서 상기 세부 정보를 제외하여 다수의 보간 일부 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
상기 보간 일부 시료 영역 채널 이미지 데이터들에 상기 보상용 필터를 적용하여 다수의 필터링된 보간 일부 시료 영역 채널 이미지 데이터들을 생성하는 과정을 포함하는 것을 특징으로 하는 단말기에서 모아레 패턴을 제거하는 방법.
- 제11항에 있어서,
세부 정보 복원부가, 상기 필터링된 보간 일부 시료 영역 채널 이미지 데이터들에 상기 세부 정보를 복원하여 다수의 필터링된 보간 시료 영역 채널 이미지 데이터들을 생성하는 과정,
블러 보상부가, 상기 필터링된 보간 시료 영역 채널 이미지 데이터들에서 카메라 렌즈나 초점 미흡에 따른 블러를 보상하여 다수의 개선된 보간 시료 영역 채널 이미지 데이터들을 생성하는 과정, 및
이미지 복원부가, 상기 개선된 보간 시료 영역 채널 이미지 데이터들에 특정 영역 정보를 복원하여 다수의 개선된 시료 영역 채널 이미지 데이터들을 생성하는 과정을 더 포함하는 단말기에서 모아레 패턴을 제거하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220055061A KR102617103B1 (ko) | 2022-05-03 | 2022-05-03 | 단말기에서 모아레 패턴을 제거하는 장치 및 방법 |
| PCT/KR2022/010438 WO2023214616A1 (ko) | 2022-05-03 | 2022-07-18 | 단말기에서 모아레 패턴을 제거하는 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220055061A KR102617103B1 (ko) | 2022-05-03 | 2022-05-03 | 단말기에서 모아레 패턴을 제거하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230155312A KR20230155312A (ko) | 2023-11-10 |
| KR102617103B1 true KR102617103B1 (ko) | 2023-12-27 |
Family
ID=88646534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220055061A KR102617103B1 (ko) | 2022-05-03 | 2022-05-03 | 단말기에서 모아레 패턴을 제거하는 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102617103B1 (ko) |
| WO (1) | WO2023214616A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010263441A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009094467A (ja) * | 2007-09-18 | 2009-04-30 | Fujifilm Corp | 画像表示装置、モアレ抑止フイルム、光学フィルタ、プラズマディスプレイフィルタ、画像表示パネル |
| KR101441583B1 (ko) * | 2008-01-21 | 2014-09-19 | 삼성전자 주식회사 | 디지털 이미징 기기의 모아레 제거장치 및 방법 |
| KR20110029001A (ko) * | 2009-09-14 | 2011-03-22 | 삼성전자주식회사 | 베이어 영상에서의 이미지 처리 방법 및 장치 |
| JP6628987B2 (ja) * | 2015-06-16 | 2020-01-15 | ハンファテクウィン株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
| KR102584523B1 (ko) * | 2016-11-16 | 2023-10-05 | 한화비전 주식회사 | 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치 |
| KR102327758B1 (ko) * | 2020-10-22 | 2021-11-18 | 동국대학교 산학협력단 | 다중 도메인 딥러닝을 이용한 영상 내 모아레 무늬 제거 장치 및 방법 |
-
2022
- 2022-05-03 KR KR1020220055061A patent/KR102617103B1/ko active IP Right Grant
- 2022-07-18 WO PCT/KR2022/010438 patent/WO2023214616A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010263441A (ja) * | 2009-05-07 | 2010-11-18 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| Dae-Chul KIM ET AL, Moire Reduction Using Inflection Point and Color Variation in Digital Camera of No Optical Low Pass Filter, IEICE Transactions on Information and Systems, Volume E98.D, Issue 12, Dec. 2015(2015.12.31.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230155312A (ko) | 2023-11-10 |
| WO2023214616A1 (ko) | 2023-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wronski et al. | Handheld multi-frame super-resolution | |
| EP2372647B1 (en) | Image Blur Identification by Image Template Matching | |
| JP3915563B2 (ja) | 画像処理装置および画像処理プログラム | |
| US7092016B2 (en) | Method and system for motion image digital processing | |
| WO2011010475A1 (en) | Multi-frame approach method and system for image upscaling | |
| CN108846818B (zh) | 去除摩尔纹的方法、装置、终端及计算机可读存储介质 | |
| WO2009097552A1 (en) | Image data fusion systems and methods | |
| KR101583155B1 (ko) | 어안렌즈 영상 보정 방법 및 그 장치 | |
| JP2008518318A (ja) | ボケた画像部分の画質を向上する方法 | |
| Gourrame et al. | A zero-bit Fourier image watermarking for print-cam process | |
| Trentacoste et al. | Blur‐aware image downsampling | |
| JP2009530975A (ja) | 以前に圧縮された画像における合成の検出 | |
| Maalouf et al. | Colour image super-resolution using geometric grouplets | |
| JP2008059551A (ja) | 画像処理システムおよび画像処理プログラム | |
| JP2011035514A (ja) | 画像処理装置および方法、並びにプログラム | |
| KR102617103B1 (ko) | 단말기에서 모아레 패턴을 제거하는 장치 및 방법 | |
| Ko et al. | Low cost blur image detection and estimation for mobile devices | |
| EP2743885B1 (en) | Image processing apparatus, image processing method and program | |
| US7742660B2 (en) | Scale-space self-similarity image processing | |
| Guarnera et al. | Adaptive color demosaicing and false color removal | |
| Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm | |
| Wei et al. | Estimation of rescaling factor and detection of image splicing | |
| Bhagat et al. | Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques | |
| Wang et al. | Fast image super-resolution using connected component enhancement | |
| KR101332030B1 (ko) | 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |