KR20140099183A - 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상형성장치 - Google Patents
이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상형성장치 Download PDFInfo
- Publication number
- KR20140099183A KR20140099183A KR1020140003340A KR20140003340A KR20140099183A KR 20140099183 A KR20140099183 A KR 20140099183A KR 1020140003340 A KR1020140003340 A KR 1020140003340A KR 20140003340 A KR20140003340 A KR 20140003340A KR 20140099183 A KR20140099183 A KR 20140099183A
- Authority
- KR
- South Korea
- Prior art keywords
- text
- color
- screen shot
- image
- unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 67
- 238000004891 communication Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004833 X-ray photoelectron spectroscopy Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명은 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상 형성 장치에 관한 것으로서, 본 발명의 실시예에 따른 이미지 처리 장치는, 그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 분할부, 분할한 텍스트 부분에서 텍스트와 텍스트를 제외한 배경의 컬러를 각각 추정하는 컬러 평가부, 분할한 텍스트 부분에서 텍스트의 윤곽을 벡터화하는 벡터화부, 추정한 배경의 컬러로 분할한 텍스트 부분을 채워서 스크린샷을 수정하는 텍스트 리터칭부, 및 추정한 텍스트의 컬러, 벡터화한 윤곽의 벡터 정보 및 및 수정한 스크린샷을 이용해 메타파일을 생성하는 메타파일 생성부를 포함할 수 있다.
Description
본 발명은 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상 형성 장치에 관한 것으로서, 더 상세하게는 가령 디지털 신호처리 분야에서 스크린샷(screenshot)의 래스터 이미지를 스크린샷 분할 및 벡터화를 통해 메타파일로 변환하려는 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상 형성 장치에 관한 것이다.
스크린샷의 래스터 이미지에 대한 텍스트 정보의 벡터화는 본질적으로 프린팅 및 가시화 등의 텍스트 품질을 증가시킨다. 스크린샷의 부분 벡터화는 번거로운 작업을 해결하기 위한 균형 있는 접근 방법이며, 검출된 그림(figures) 영역과 텍스트 영역이 서로 다른 방법들에 의해 처리된다는 점에서 그러하다. 텍스트 부분은 심볼들과 주변 배경의 컬러에 대한 정보를 갖는 일련의 직선 및 곡선들로 변환된다. 초기 스크린샷 정보의 나머지 부분은 래스터 이미지로서 저장된다.
US 특허 8,270,722에 개시된 방법은 선택된 심볼들과 그래픽 영역들의 벡터화로 이미지를 처리한다. 발명의 목적은 텍스트 영역과 그래픽 영역의 두 영역을 포함하는 이미지를 최상의 품질 상태에서 최상의 정도로 압축하는 것이다. 만약 텍스트의 영역에서 심볼 픽셀들이 그래픽 영역에 의해 중첩되면, 그래픽 영역을 먼저 벡터화하고, 만약 중첩이 없으면 텍스트 영역을 먼저 벡터화한다.
또한 US 특허 7,873,218에 개시된 방법은 대략 베지어(Bezier) 곡선들을 사용해 윤곽 데이터에서 이진 이미지의 변환을 위한 심볼들로 대략 구성된다. 그 방법은 심볼 영역들을 추출하고, 추출한 심볼 영역들에서 심볼을 추출하기 위해 래스터 이미지를 분할하는 것을 포함한다. 벡터화 과정은 이미지 중에서 텍스트가 아닌(non-text) 부분들에서 독립적으로 실행된다.
위에 언급된 방법들은 벡터화 방식에 의해 시각적인 그림의 품질을 개선하지만, 다수의 특성들, 즉 심볼들의 저해상도, 텍스트 심볼들의 안티앨리어싱(antialiasing) 효과 적용 등을 처리하는 스크린샷의 래스터 이미지 벡터화에 직접적으로 적용할 수 없게 된다.
US 특허 7,079,686에 개시된 방법은 이미지를 확장하기 위해 문서의 이미지에서 픽셀들을 분류하는 것에 근거한 접근 방법을 기술하고 있다. 특성들에 대한 벡터는 이미지들의 각 픽셀마다 생성된다. 각 픽셀은 특성들에 대한 적절한 벡터에 의존하는 텍스트 또는 그림으로 분류된다. 나아가 처리는 텍스트의 픽셀들에서 경계들의 선명도를 증가시키는 필터와, 그림의 픽셀들을 위한 안티앨리어싱 필터로 구성되는 픽셀 레벨에서의 개선을 포함할 수 있다.
나아가 US 특허 7,177,049에 개시된 방법은 디지털 이미지들의 처리를 나타내는데, 여기서 텍스트 품질의 개선 과정은 기결정된 마스크 내의 어둡고 밝은 픽셀들 사이의 명암 재분배로 인해 텍스트의 선명도 및 대조비가 증가하도록 화이트 배경상에서의 블랙 텍스트를 처리하는 것을 포함하고 있다.
위에 기술된 방법들은 오로지 프린팅 전의 이미지 강화 특히 텍스트 영역들에 방향을 맞추고 있다. 그런데 종래의 이러한 방법들은 스캔 이미지들을 현상하기 위한 스크린샷들에 적합하지 않은 문제가 있다.
이에 최근 들어 스크린샷에서 매끄러운 텍스트(혹은 안티앨리어싱된 텍스트)를 생성하기 위한 방법이 절실히 요구되고 있다.
본 발명의 실시예는, 가령 디지털 신호처리 분야에서 스크린샷의 래스터 이미지를 스크린샷 분할 및 벡터화를 통해 메타파일로 변환하려는 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상 형성 장치를 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 이미지 처리 장치는, 그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 분할부, 상기 분할한 텍스트 부분에서 상기 텍스트와 상기 텍스트를 제외한 배경의 컬러를 각각 추정하는 컬러 평가부, 상기 분할한 텍스트 부분에서 상기 텍스트의 윤곽을 벡터화하는 벡터화부, 상기 추정한 배경의 컬러로 상기 분할한 텍스트 부분을 채워서 상기 스크린샷을 수정하는 텍스트 리터칭부, 및 상기 추정한 텍스트의 컬러, 상기 벡터화한 윤곽의 벡터 정보 및 상기 수정한 스크린샷을 이용해 메타파일을 생성하는 메타파일 생성부를 포함한다.
상기 분할부는 복수의 텍스트 부분들에 대한 맵을 생성하고, 상기 생성한 맵에 대한 맵 데이터를 상기 벡터화부에 제공하며, 상기 복수의 텍스트 부분들은 동일 크기의 래스터 이미지일 수 있다.
상기 분할부는, 상기 스크린샷에서 임의의 픽셀에 대하여 인접 픽셀보다 밝고 어두운 정도를 나타내는 수평 그라디언트값이 주변에 비해 큰 복수의 픽셀들을 검출하고, 상기 검출한 복수의 픽셀들을 각 부분으로 조합하며, 상기 각 부분의 히스토그램을 분석한 분석 결과에 따라 상기 텍스트 부분을 검출할 수 있다.
상기 복수의 픽셀들은, 상기 스크린샷에 대한 그라디언트의 검출 결과 그라디언트가 존재하는 제로 아닌 연계 픽셀들의 맨 끝점들을 선택함으로써 검출될 수 있다.
상기 분할부는 상기 분석 결과, 계조값이 0인 칼럼의 수가 임계값보다 크면 상기 텍스트 부분으로 판단하고, 상기 임계값보다 작으면 그래픽 부분으로 판단할 수 있다.
상기 컬러 평가부는, 상기 히스토그램 상에서 최좌측 또는 최우측에 위치하는 칼럼을 상기 배경 및 상기 텍스트의 컬러로 추정할 수 있다.
상기 벡터화부는 상기 텍스트의 윤곽을 벡터화하기 위하여 상기 텍스트 부분을 하프톤 이미지로 변환하고, 상기 변환한 하프톤 이미지를 이진화하며, 상기 이진화한 이미지에서 심볼들의 윤곽을 추적하고, 상기 추적한 윤곽을 직선 및 곡선들로 이루어진 일련의 세분화 부분으로 폴리곤(polygon) 근사화를 수행할 수 있다.
또한 본 발명의 실시예에 따른 이미지 처리 방법은, 그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 단계, 상기 분할한 텍스트 부분에서 상기 텍스트와 상기 텍스트를 제외한 배경의 컬러를 추정하는 단계, 상기 분할한 텍스트 부분에서 상기 텍스트의 윤곽을 벡터화하는 단계, 상기 추정한 배경의 컬러로 상기 분할한 텍스트 부분을 채워서 상기 스크린샷을 수정하는 단계, 및 상기 추정한 텍스트의 컬러, 상기 벡터화한 윤곽의 벡터 정보 및 및 상기 수정한 스크린샷을 이용해 메타파일을 생성하는 단계를 포함한다.
상기 분할하는 단계는, 복수의 텍스트 부분에 대한 맵을 생성하고, 상기 생성한 맵에 대한 맵 데이터를 상기 벡터화를 위해 제공하는 단계를 포함하며, 상기 복수의 텍스트 부분들은 동일 크기의 래스터 이미지일 수 있다.
상기 분할하는 단계는, 상기 스크린샷에서 임의의 픽셀에 대하여 인접 픽셀보다 밝고 어두운 정도를 나타내는 수평 그라디언트값이 주변에 비해 큰 복수의 픽셀들을 검출하는 단계, 상기 검출한 복수의 픽셀들을 각 부분으로 조합하는 단계, 및 상기 각 부분의 히스토그램을 분석한 분석 결과에 따라 상기 텍스트 부분을 분할하는 단계를 포함할 수 있다.
상기 복수의 픽셀들은, 상기 스크린샷에 대한 그라디언트의 검출 결과 그라디언트가 존재하는 제로 아닌 연계 픽셀들의 맨 끝점들을 선택함으로써 검출될 수 있다.
상기 분할하는 단계는, 상기 분석 결과, 계조값이 0인 칼럼의 수가 임계값보다 크면 상기 텍스트 부분으로 판단하고, 상기 임계값보다 작으면 그래픽 부분으로 판단할 수 있다.
상기 컬러를 추정하는 단계는, 상기 히스토그램 상에서 최좌측 또는 최우측에 위치하는 칼럼을 상기 배경 및 상기 텍스트의 컬러로 추정할 수 있다.
상기 벡터화하는 단계는, 상기 텍스트 부분을 하프톤 이미지로 변환하는 단계, 상기 변환한 하프톤 이미지를 이진화하는 단계, 상기 이진화한 이미지에서 심볼들의 윤곽을 추적하는 단계, 및 상기 추적한 윤곽을 직선 및 곡선들로 이루어진 일련의 세분화 부분으로 폴리곤 근사화를 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 판독가능 기록매체는, 이미지 처리 방법을 실행하기 위한 컴퓨터 판독가능 기록매체에 있어서, 그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 단계, 상기 분할한 텍스트 부분에서 상기 텍스트와 상기 텍스트를 제외한 배경의 컬러를 추정하는 단계, 상기 분할한 텍스트 부분에서 상기 텍스트의 윤곽을 벡터화하는 단계, 상기 추정한 배경의 컬러로 상기 분할한 텍스트 부분을 채워서 상기 스크린샷을 수정하는 단계, 및 상기 추정한 텍스트의 컬러, 상기 벡터화한 윤곽의 벡터 정보 및 및 상기 수정한 스크린샷을 이용해 메타파일을 생성하는 단계를 실행할 수 있다.
또한 본 발명의 실시예에 따른 화상형성장치는, 주변의 단말장치에 연결되어 동작하는 화상형성장치에 있어서, 상기 단말장치로부터 그래픽 및 텍스트를 포함하는 스크린샷을 수신하는 통신 인터페이스부, 상기 수신한 스크린샷에서 텍스트 부분의 텍스트를 벡터화하여 벡터 정보를 생성하고, 상기 텍스트 부분의 배경 컬러를 이용해 상기 텍스트 부분이 분할된 상기 스크린샷을 수정하며, 상기 생성한 벡터 정보, 상기 수정한 스크린샷 및 상기 텍스트 부분의 텍스트 컬러를 이용해 메타파일을 생성하는 이미지 생성부, 및 사용자의 요청에 따라 상기 생성한 메타파일을 인쇄하는 인쇄부를 포함할 수 있다.
상기 이미지 생성부는, 상기 스크린샷에서 상기 텍스트 부분을 분할하고, 상기 분할된 텍스트 부분을 상기 배경 컬러로 채워 상기 스크린샷을 수정할 수 있다.
상기 이미지 생성부는, 상기 텍스트 부분에서 상기 텍스트 및 상기 텍스트 이외의 배경에 대한 히스토그램을 분석해 상기 배경 컬러 및 상기 텍스트 컬러를 추정하고, 상기 스크린샷의 수정 및 상기 메타파일의 생성시 상기 추정한 배경 컬러 및 상기 텍스트 컬러를 이용할 수 있다.
도 1은 본 발명의 실시예에 따른 스크린샷 변환방법과 종래의 방법을 비교하여 나타낸 도면,
도 2는 스크린샷의 메타파일로의 변환 방법을 나타내는 흐름도,
도 3은 스크린샷의 메타파일로의 변환 시스템을 나타내는 블록다이어그램,
도 4는 매끄러운 텍스트를 갖는 부분들의 검출 방법을 나타내는 도면,
도 5는 매끄러운 텍스트의 특징들에 대한 계산 과정을 설명하기 위한 도면,
도 6은 심볼들의 벡터화 과정을 나타내는 흐름도,
도 7은 심볼의 벡터화를 설명하기 위한 도면,
도 8은 분할된 텍스트의 맵 생성 과정을 나타내는 도면,
도 9는 본 발명의 실시예에 따른 스크린샷 변환의 결과를 나타내는 도면,
도 10은 본 발명의 실시예에 따른 이미지 변환 시스템을 나타내는 도면,
도 11은 도 10의 단말 장치의 세부 구조를 나타내는 블록다이어그램, 그리고
도 12는 도 10의 화상형성장치의 세부 구조를 나타내는 블록다이어그램이다.
도 2는 스크린샷의 메타파일로의 변환 방법을 나타내는 흐름도,
도 3은 스크린샷의 메타파일로의 변환 시스템을 나타내는 블록다이어그램,
도 4는 매끄러운 텍스트를 갖는 부분들의 검출 방법을 나타내는 도면,
도 5는 매끄러운 텍스트의 특징들에 대한 계산 과정을 설명하기 위한 도면,
도 6은 심볼들의 벡터화 과정을 나타내는 흐름도,
도 7은 심볼의 벡터화를 설명하기 위한 도면,
도 8은 분할된 텍스트의 맵 생성 과정을 나타내는 도면,
도 9는 본 발명의 실시예에 따른 스크린샷 변환의 결과를 나타내는 도면,
도 10은 본 발명의 실시예에 따른 이미지 변환 시스템을 나타내는 도면,
도 11은 도 10의 단말 장치의 세부 구조를 나타내는 블록다이어그램, 그리고
도 12는 도 10의 화상형성장치의 세부 구조를 나타내는 블록다이어그램이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 스크린샷 변환 방법을 종래의 방법과 비교하여 나타낸 도면이다.
스크린샷(혹은 캡쳐 이미지)(103)은 비디오 메모리를 매개로 디스플레이 화면에서 갭쳐되어 중간 버퍼에 복사(혹은 저장)된다. 그러한 복사의 결과는 래스터 이미지의 형태로서 현재 디스플레이에 가시화된 프레임을 나타낸다.
여기서, 디스플레이는 디지털 컴퓨팅 장치, 예컨대, PC(101), 랩탑, 스마트 폰(102), 태블릿 PC 등의 가시화 장치(unit of visualization)를 포함한다. 스크린샷의 특징은 스크린샷에 나타낸 텍스트 정보가 안티앨리어싱 기술에 의해 정상적으로 가시화된다는 것이다. 여기서, 안티앨리어싱 기술이란 객체들의 가장자리에서 래스터화에 의해 나타난 재그들(jags)을 제거해 심볼들의 경계를 시각적으로 매끄럽게 만들 목적으로 사용된 것을 의미한다. 이 경우, 이미지의 경계 픽셀과 인접한 픽셀들은 그 경계를 시각적으로 흐릿하게 하기 위해 이미지 컬러와 배경 컬러 사이의 중간값을 갖게 된다.
디스플레이 상에서 텍스트를 가시화하기 위해 사용된 안티앨리어싱 기술은 디스플레이된 심볼들의 크기 및 표시 해상도(representation resolution)에 직접적으로 의존하고 있으므로, 심볼들의 화소 표시는 스케일 증가/감소로 재구성된다. 게다가, 유사 안티앨리어싱은 텍스트 프린팅에 사용된 비슷한 기술들과 본질적으로 다르다. 래스터 이미지 형태의 스크린샷은 어떤 파일/포맷(104)으로 저장되는데, 이에 따라 표시 또는 프린팅에 안티앨리어싱 기술을 적용하는 것은 정확히 불가능하게 된다. 다시 말해 안티앨러싱 기술을 적용하게 되면 텍스트의 외견에 시각적으로 원치 않는 왜곡이 발생한다. 이에 따라 기존의 접근 방법은 다음과 같은 결점을 갖는다고 볼 수 있다.
스크린샷이 래스터 이미지 형태의 파일로 저장될 때, 파일 크기를 무시하고 심볼 윤곽의 표시를 스케일링하거나 매끄럽게 하기 때문에 디스플레이 상에 텍스트 정보가 정상적으로 표시되지 않게 된다. 즉 텍스트의 래스터 이미지의 스케일링은 들쑥날쑥한(jagged) 가장자리 및 경계가 흐릿한 형태의 혼란 변수가 생기게 된다.
또한 디스플레이 상에서 가시화된 텍스트에 해당되는 심볼들의 안티앨리어싱의 부정적 효과가 나타난다. 특히 프린팅이나 가시화 재스케일링시 원 컬러 및 심볼들의 형태에 왜곡이 발생한다.
본 발명의 실시예에 따른 이미지 처리 방법(105)은 텍스트 및 텍스트 아닌 영역으로 스크린샷 분할(혹은 세분화) 및 텍스트 영역의 벡터화에 근거하고 있다. 이러한 접근 방법은 텍스트 정보의 품질을 손상하지 않으면서 수정된 스케일로 메타파일을 디스플레이하고 프린팅하는 것을 가능하게 한다. 여기서, 메타파일이란 이미지를 벡터 형식으로 정의한 파일을 의미한다. 즉 메타파일은 선과 면을 벡터 좌표로 정의한다. 이로 인해 확대 및 축소가 있어도 이미지가 깨지지 않게 된다.
도 2는 스크린샷의 메타파일로의 변환 과정을 나타내는 흐름도이다.
가령, 본 발명의 실시예에 따른 이미지 처리 장치는 도 2에 도시된 바와 같이 스크린샷을 메타파일로 변환하는 과정을 수행할 수 있을 것이다.
본 발명의 실시예에 따른 이미지 처리 장치는 먼저 스크린샷에서 텍스트 부분들을 분할(혹은 검출)하고, 분할한 텍스트 부분들에 대한 맵을 생성한다(S201). 본 발명의 실시예에서 가정한(given) 텍스트 부분들은 하나 또는 여러 개의 문자에 상응하는 일련의 심볼들(a sequence of symbols)과 주변 배경의 일부를 포함하고, 맵은 동일 크기의 래스터 이미지이며, 텍스트 영역에 관련되든 관련되지 않든 각 픽셀은 인코딩된 초기 스크린샷이다.
이어 이미지 처리 장치는 구체화된 텍스트 부분의 심볼들과 배경의 컬러를 추정(혹은 평가)한다(S202). 본 발명의 실시예에서, 스크린샷은 컬러 공간 RGB로 나타내며, 따라서 각 픽셀은 R, G 및 어두운 B 컬러의 3가지 컬러 성분에 의해 표현된다. 3가지 컬러 성분들에 대한 각각의 추정은 이러한 성분들의 히스토그램들에 의해 분리해서 이루어진다. 가장 큰 값(총 값)을 갖는 히스토그램의 최우측 또는 최좌측 칼럼(칼럼들의 그룹)은 심볼의 컬러에 반대되는 배경 컬러에 상응한다.
또한 이미지 처리 장치는 텍스트의 벡터화를 수행한다(S203). 텍스트의 맵에서 심볼들의 윤곽 벡터화는 직선 및 곡선들로 이루어진 일련의 세분화 부분들(segments)로 변환하는 것에 의해 이루어진다. 이에 관련된 과정은 도 6 및 도 7을 참조하여 이후에 좀더 살펴보도록 한다.
이미지 처리 장치는 스크린샷 상의 텍스트를 수정한다(S204). 스크린샷은 분할된 텍스트 영역들을 적절한 배경 컬러로 채우는 것에 의해 수정된다. 배경은 복잡하기 때문에, 텍스트 영역을 채우기 위해 더 완벽한 방법이 사용될 수 있다. 예를 들어, <<inpainting>> technique, i.e. painting (Bertalmio M., Sapiro G., V., Ballester C. Image inpainting//In Proc. ACM Conf. Comp. Graphics (SIGGRAPH), pages 417-424, 2000)에 기술된 방법이 적합할 수 있다.
이후, 이미지 처리 장치는 메타파일을 생성한다(S205). 메타파일은 상세한(혹은 특정) 순서로 저장된 메타파일의 적절한 기록들에 기원(혹은 근거)하여 생성된다. 여기서 기록들은 벡터 정보, 좌표값 등을 포함할 수 있다. 메타파일은 PDF(Portable Document Format), XPS(X-ray Photoelectron Spectroscopy), PS 및 EMF(Enhanced Metafile) 등의 포맷으로 나타낼 수 있다.
스크린샷의 수정 이미지는 래스터 이미지로서 메타파일 내에 저장된다. 심볼들은 벡터 뷰(vector view) 내에 저장되는데, 여기서 벡터 뷰는 직선 및 곡선들로 이루어진 폐쇄된(혹은 닫힌) 일련의 근사화한 세분화 부분들에 대한 파라미터들과, 채워진 컬러에 대한 정보를 판단하는 메타파일의 적정 그래픽 명령들에 의한 것이다. 메타파일의 크기를 최적화하기 위하여, 손실 없는 압축 알고리즘이 메타파일의 벡터를 기록하는 데에 적용될 수 있으며, 손실 있는 또는 손실 없는 압축 알고리즘이 래스터 이미지들에 적용될 수 있다. 본 발명의 실시예에 따른 이미지 처리 방법은 시각 정보의 각 유형이 최적의 방식으로 저장될 때, 뷰 포인트 <<visual quality/size>>에서 메타파일을 효과적으로 저장하게 된다. 나아가 본 발명의 실시예에 따른 이미지 처리 방법은 확장된 스케일에서 프린팅 또는 가시화할 때, 스크린샷에서 매끄러운 텍스트가 왜곡되는 것을 방지하도록 한다. 이것은 스크린샷의 매끄러운 심볼들이 벡터 및 그와 유사한 것들(vector analogues)로 대체되기 때문에 가능하게 되는 것이다.
도 3은 스크린샷의 메타파일로의 변환 시스템을 나타내는 블록다이어그램이고, 도 4는 매끄러운 텍스트를 갖는 부분들의 검출 과정을 나타내는 도면이며, 도 5는 매끄러운 텍스트의 특성들에 대한 계산 과정을 설명하기 위한 도면이다.
여기서, 변환 시스템이란 본 발명의 이미지 처리 장치에 해당될 수 있다. 또한 본 발명의 실시예에 따른 이미지 처리 장치는 독립적인 장치로서 구성될 뿐 아니라, 랩탑 및 스마트폰 등의 영상표시장치에 포함되어 구성될 수 있다.
도 3을 참조하면, 본 발명의 실시예에 따른 이미지 처리 장치(300)는 분할부(301), 컬러 평가부(302), 텍스트 리터칭부(303), 벡터화부(304) 및 메타파일 생성부(305)의 일부 또는 전부를 포함한다.
여기서, 분할부(301)는 검출부 또는 세분화부 등으로 명명될 수 있으며, 일부 또는 전부를 포함한다는 것은 분할부(301)와 같은 일부 구성요소가 생략되거나, 텍스트 리터칭부(303)와 같은 일부 구성요소가 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명하고자 한다.
분할부(301)는 텍스트를 분할하고, 분할한 텍스트를 라벨링한 맵(labeled map)을 생성하며, 텍스트를 포함하는 부분들의 좌표들을 결정한다. 스크린샷의 초기 래스터 이미지는 분할부(301)로 입력된다. 분할된 텍스트의 맵은 텍스트 리터칭부(303) 및 벡터화부(304)로 전송되고, 텍스트 부분들의 좌표들, 혹은 그에 대한 정보는 컬러 평가부(302)로 전송된다.
컬러 평가부(302)는 각 부분의 배경 컬러 및 텍스트의 컬러를 결정한다. 물론 텍스트 부분들의 좌표 및 초기 스크린샷은 컬러 평가부(302)로 입력된다. 배경 컬러에 대한 정보는 텍스트 리터칭부(303)로 전송되고, 텍스트 컬러 정보는 메타파일 생성부(305)로 전송된다.
벡터화부(304)는 폐쇄된 일련의 직선 및 곡선들의 세분화 부분들로, 세분화된 텍스트의 맵 상에서 심볼들의 윤곽을 근사화하는 근사화 동작을 수행한다.
분할부(301)로부터의 맵이 텍스트 리터칭부(303) 및 벡터화부(304)로 입력된다. 텍스트 부분들의 좌표들, 직선 및 곡선들로 이루어진 일련의 세분화 부분들은 메타파일 생성부(305)로 전송된다.
텍스트 리터칭부(303)는 적절한 배경 컬러로 텍스트가 있는 부분들의 영역을 색칠하는 것에 의해 스크린샷의 초기 래스터 이미지를 수정한다. 이를 위해 각 텍스트 부분의 배경 컬러에 대한 정보는 텍스트 리터칭부(303)에 입력된다. 수정된 스크린샷은 메타파일 생성부(305)에 전송되는데, 여기서 메타파일 생성부(305)는 수정된 스크린샷, 적절한 심볼 컬러로 채워진 직선 및 곡선들로 이루어진 폐쇄된 일련의 세분화 부분들과 같은 기록들에 기원해 메타파일을 생성하게 된다.
위에 기술한 변환 시스템의 모든 구성요소들, 즉 분할부(301), 컬러 평가부(302), 텍스트 리터칭부(303), 벡터화부(304) 및 메타파일 생성부(305)는 SoC, FPGA 또는 ASIC의 형태로 실행될 수 있다. 각 구성요소의 기능은 위의 상세설명 및 기존 방법들에 대한 설명으로부터 충분히 이해될 수 있을 것이다. 그러나, 컴퓨팅 시스템은 별도로 도시하지는 않았지만, 추가적인 특징을 가질 수도 있을 것이다.
텍스트 검출을 위하여 2가지 접근 방법이 가능할 수 있다. 첫 번째 방법은 더 빠른 방법으로, 디스플레이들에 전형적인 매끄러운 텍스트 검출 방법이다. 두 번째는 더 흔한 방법으로, 매끄러운 텍스트와 안티앨리어싱 없는 텍스트를 둘 다 검출하기에 적합한 방법이다. 텍스트 부분들의 검출에 관련한 첫째 방법은 다음과 같은 단계를 포함한다.
- 수평방향에서 큰 도함수(derivative)의 인접 픽셀들을 검출
- 부분들에서의 인접 픽셀들을 조합
- 매끄러운 텍스트를 검출하기 위해 부분들의 히스토그램 분석
- 매끄러운 텍스트의 특성을 갖는 부분들을 선택
도 4는 세부(subsequent) 분석을 위해 스크린샷에서의 매끄러운 텍스트 부분들의 검출에 대한 첫 번째 접근 방법을 나타내고 있다. 도 4를 참조하면, 스크린샷 중 하나의 작은 부분(401)이 수평 그라디언트의 검출 결과를 보여준다. 계산된 수평 그라디언트(
)(403)의 일반적 의미는 어떤 지점(point)의 픽셀이 인접 픽셀들보다 밝고 어두운 정도(혹은 밝고 /어두운 인접 픽셀들)인 양(
) 및 음(
) 그라디언트들(gradients)의 결합이다. 이를 수식으로 나타내면 <수학식 1>과 같다.
여기서, Ii,j는 포인트 i,j에서 이미지 명암, △는 현 임계치(threshold)를 나타낸다.
이진 이미지(402)는 그라디언트의 검출 결과인데, 제로 아닌 요소들은 그라디언트의 존재를 보여준다. 수평 구조 요소(403)를 갖는 확장(혹은 다일러테이션(dilatation)) 절차는 이진 이미지(402)상에서 인접 요소들의 연결이 취약하기 때문에 수행된다. 이때 수평 구조 요소(403)는 지배적인 박스를 결정하는 방법에 의해 이루어질 수도 있을 것이다. 여기서, 지배적이란 임의의 박스에 대하여 기설정된 방식에 따라 연계 박스를 선택하는 것으로 이해될 수 있을 것이다. 분리된 부분들(404)은 제로 아닌 연계 픽셀들의 맨 끝점들을 선택하여 결정된다.
나아가, 매끄러운 텍스트의 특성 검출 및 심볼들을 포함한 부분들의 선택을 위해 각 선택된 부분의 히스토그램을 분석하게 된다.
도 5는 매끄러운 텍스트의 특성들 즉 히스토그램의 제로 아닌 b+ 칼럼 및 제로인 bo 칼럼 수를 검출하기 위해 컬러 공간 RGB의 모든 세 가지 컬러 성분(적, 녹, 어두운 청)에 대한 히스토그램 분석을 보여주고 있다.
텍스트 아닌(non-text) 데이터를 포함하는 부분(504)의 히스토그램은 도 5의 (a)에서와 같이 컬러의 각 성분이 완전히 급격한 분포(501~503)를 띤다. 매끄러운 텍스트를 포함하는 부분(508)의 히스토그램은 도 5의 (b)에서와 같이 배경 및 텍스트의 컬러 사이에 균일하게 분포(505~507)된 여러 개의 b+(예를 들어, MS Clear Type의 기술을 위하여 b+=7이라는 것을 실험적으로 얻을 수 있다) 비제로 칼럼들만으로 구성된다. 도 5의 (c)를 참조하면, 본 발명의 실시예에서, 만약 bo가 6보다 크면 해당 부분은 텍스트로 분류되고, 그렇지 않으면 텍스트가 아닌 것, 가령 이미지(혹은 그림)로 분류된다(509).
텍스트를 갖는 부분들의 검출을 위한 두 번째 접근 방법은 다음의 단계들을 포함한다.
- 이미지를 중첩되는 사각 블록들로 구분
- 각 블록의 특성들을 계산
- 각 블록을 분류
- 텍스트 부분들에서 인접 블록들을 조합(혹은 결합)
본 발명의 바람직한 실시예에 따르면, 블록 사이즈는 7×7 또는 9×9 픽셀들을 갖는다. 블록들의 중첩은 1, 2 또는 3 픽셀이 된다. 각 블록은 다음의 특성들이 계산된다.
- 각 채널에서 히스토그램이 제로가 아닌 칼럼들 b+ 및 제로 칼럼들 bo의 수
- 블록의 평균 명암(luminance): 
, 여기서, Ii(r,c)는 라인 r과 칼럼 c에서 픽셀의 명암(luminance), N은 블록의 픽셀들의 수를 나타낸다.
- 블록의 평균 명암의 평균 차
- 블록 Ii와 4 방향(in quadryply)에서 연결되어 인접한 블록들 Ik의 평균 명암의 평균 차이: 
- 블록들에 의한 수직 
와 수평 
도함수(derivatives)들의 평균값: 
- 블록의 균일성: 
, 여기서 Nd는 정규화된 접근 행렬(normalized access matrix), d는 공간 접속을 결정한다.
- 임계치보다 큰 그라디언트를 갖는 픽셀들의 퍼센트: 
, 여기서 
는 제곱된 수평 또는 수직 도함수들의 합의 제곱 루트로 계산된다.
- 임계치 128로 이진화해서 얻어진 이진 이미지 
에 형태학적 개방(morphological opening) 동작을 적용한 결과로서 얻어진 이미지 
에서 픽셀들의 명암 변화 퍼센트; 
두 개의 부분 집합 즉 텍스트와 그림(혹은 그래픽)의 분류를 위하여 위에 열거된 특성들에 다음의 방법들 중 하나가 사용될 수 있다.
boosting of committee of random forest (Yoav Freund and Robert E. Schapire. 1997. A decision-theoretic generalisation of on-line learning and an application to boosting. J. Comput. Syst. Sci. 55, 1 (August 1997), 119-139.),
random forest (Leo Breiman. 2001. Random Forests. Mach. Learn. 45, 1 (October 2001), 5-32.),
machine of reference vectors (Corinna Cortes and Vladimir Vapnik. 1995. Support-Vector Networks. Mach. Learn. 20, 3 (September 1995), 273-297.),
method of K-nearest neighbors (D. Coomans, D.L. Massart, Alternative k-nearest neighbour rules in supervised pattern recognition: Part 1. k-Nearest neighbour classification by using alternative voting rules, Analytica Chimica Acta, Volume 136, 1982, Pages 15-27).
도 6은 심볼들의 벡터화 과정을 나타내는 흐름도이고, 도 7은 심볼의 벡터화를 설명하기 위해 도식화하여 나타낸 도면이며, 도 8은 분할된 텍스트의 맵 생성 과정을 나타내는 도면이다.
도 6 내지 도 8은 실제로, 도 2의 S203 단계의 세부 과정으로 이해될 수 있을 것이다. 이와 같은 동작은 이미지 처리 장치의 동작에 해당될 수 있지만, 도 3의 벡터화부(304)의 동작에 해당될 수 있다. 또한 이들은 독립된 장치로서 동작할 수도 있을 것이다.
먼저, 스크린샷에서 텍스트를 포함하는 부분들을 검출한 후에, 컬러 부분들은 하프톤 이미지들로 변환(S601)하고, 계수 k만큼 증가시킨다.
본 발명의 바람직한 실시예에 따르면, 스크린샷에서 심볼의 초기 해상도가 낮으면, 2중 선형 보간법(bilinear interpolation)이 적용된다(S602). 예를 들어, 스크린 해상도 1920×80 픽셀들에서, 100% 스케일을 가정하면 12번째 사이즈의 Times New Roman 글씨체의 라인 심볼의 높이는 7~8 픽셀이 된다. 게다가 강화된 해상도의 하프톤 부분들은 이진화될 수 있다(S603).
본 발명의 실시예에 따라 바람직하게는 오수(Otsu)의 방법이 부분들의 임계치를 판단하기 위해 사용될 수 있다(N.Otsu, "A threshold selection method from grey level histogram", IEEE Transactions on System Man Cybernetics, vol. 9 no. 1, 1979, pp. 62-66.). 모든 이진화된 부분들은 세분화된 텍스트의 맵 생성을 위하여 스크린샷의 좌표들에 따라서 결합된다. 본 발명의 실시예에서는 계수 k로서 3이 사용될 수 있다.
또한 각 텍스트 부분의 내·외부 윤곽들은 해당 부분의 윤곽들에 대한 궤적(trajectory)을 얻기 위해 추적된다(S604). S604 단계에서, 윤곽은 하나의 픽셀과 같은 최소 길이의 선형 부분들로 연결된 폐쇄된 일련의 점들(혹은 상측들)을 나타낸다. 추적 절차는 기설정된 방향으로 윤곽을 따라 초기 상측에서 시작하지만, 초기 상측으로 다시 이르지 않게 될 것이다.
이어, 상측들의 수는 폴리곤(polygon)에 의한 윤곽 궤적의 근사로 인해 감소된다(S605). 가령 윤곽에서 꼭지점들(vertexes)의 수가 감소된다. 폴리곤은 직선 및 곡선들로 이루어진 폐쇄된 일련의 세분화 부분들에 의한 근사화로 인해 S606 단계에서 매끄러운 윤곽으로 변환된다. 규빅 베지어(Cubic Bezier) 곡선들은 본 발명의 실시예에서 선호될 수 있다(Piegl, L. Fundamental Developments of Computer Aided Geometric Design. San Diego, CA: Academic Press, 1993). 일반적으로, 선형 세분화(혹은 부분들)에 의한 근사는 부분들에 대한 끝들의 좌표 판단에 근거한다. 굽은 부분들에 의한 근사는 부분들의 끝과 적절한 기준(혹은 참조) 점들의 판단을 요구한다. 예를 들어, 도 7을 참조하면, 다항식(polynomials)의 가장자리들(701-706) 사이의 각(703)은 점 702 및 704에 의한 제한된 큐빅 베지어 곡선 705에 의해 근사화될 수 있다. 심볼 707의 근사 예는 708에 나타내어진다.
도 2의 S201, S203 및 S204에 따라 초기 래스터 뷰에서 벡터 뷰까지 스크린샷의 텍스트 변환은 도 8에 나타내어진다. 매끄러운 텍스트 부분(S801)은 해상도의 개선이 증가되고(S802), 이진 이미지로 변환된다(S803). 벡터화된 결과 부분은 S804에 나타내어진다.
도 9는 본 발명의 실시예에 따른 스크린샷 변환 결과를 나타내는 도면이다.
도 9의 (a)는 초기 스크린 샷에 해당되고, 도 9의 (b)는 프린트된 스크린샷 부분이다. 또한 도 9의 (c)는 2중 보간법에 의해 강화된 해상도의 스크린샷을 프린트해서 얻어진 것이고, 도 9의 (d)는 본 발명의 실시예에 의해 처리된 후의 프린트된 스크린샷 부분을 나타낸다.
도 10은 본 발명의 실시예에 따른 이미지 변환 시스템을 나타내는 도면이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 변환 시스템(990)은 단말장치(1000) 및 화상형성장치(1100)의 일부 또는 전부를 포함할 수 있다.
여기서, 일부 또는 전부를 포함한다는 것은 화상형성장치(1100)와 같은 일부 구성요소가 생략될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
단말장치(1000)는 데스크탑 및 랩탑 컴퓨터, 그리고 휴대폰 등을 포함할 수 있다. 여기서, 단말장치(1000)는 디스플레이에 표시되는 영상을 캡쳐하여 캡쳐한 영상, 즉 스크린샷을 내부에서 메타파일로 변환하여 저장할 수 있다. 그리고, 저장한 메타파일을 사용자의 요청에 따라 불러내어 화상형성장치(1100)에서 출력할 수 있다. 따라서, 화상형성장치(1100)로 전송된 데이터는 메타파일 관련 데이터인 것이 바람직하다.
반면, 단말장치(1000)가 스크린샷을 래스터 이미지의 형태로 화상형성장치(1100)로 전송해 주는 경우, 화상형성장치(1100)는 수신한 스크린샷을 변환하여 메타파일을 생성한 후 내부에 저장할 수 있다. 스크린샷의 메타파일로의 변환과 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.
도 11은 도 10의 단말장치의 세부 구조를 나타내는 블록다이어그램이다.
도 11을 도 10과 함께 참조하면, 본 발명의 실시예에 따른 단말장치(1000)는 통신 인터페이스부(1010), 사용자 인터페이스부(1020), 제어부(1030), 저장부(1040) 및 이미지 생성부(1050)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 예를 들어 도 12에서 화상형성장치(1100)가 이미지 생성부(1160)를 포함하는 경우, 그리고 단말장치(1000)와 연동하는 경우, 이미지 생성부(1050)는 생략될 수 있는데, 이와 같이 일부 구성요소가 생략되거나, 일부 구성요소가 다른 구성요소에 통합되어 구성되는 것을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(1010)는 화상형성장치(1100)와 통신을 수행한다. 예를 들어, 통신 인터페이스부(1010)는 이미지 생성부(1050)에서 생성된 스크린샷에 대한 메타파일을 제어부(1030)의 제어 하에 화상형성장치(1100)로 전송할 수 있다.
사용자 인터페이스부(1020)는 버튼부 또는 디스플레이부를 포함한다. 사용자 인터페이스부(1020)는 스크린샷을 생성하기 위한 사용자 명령을 수신한다. 이때 사용자 명령은 터치스크린 방식의 디스플레이부를 통해 입력될 수 있다. 또한 사용자 인터페이스부(1020)는 저장부(1040)에 저장된 스크린샷에 대한 메타파일을 불러내어 화면에 표시하거나, 화상형성장치(1100)로 전송하는 명령을 수신할 수 있다.
제어부(1030)는 단말장치(1000) 내의 통신 인터페이스부(1010), 사용자 인터페이스부(1020), 저장부(1040) 및 이미지 생성부(1050)를 전반적으로 제어하는 역할을 수행한다. 예를 들어, 제어부(1030)는 스크린샷을 생성하기 위한 사용자 명령이 있는 경우, 화면에 표시된 영상에 대한 스크린샷을 메타파일로 변환하고, 변환한 메타파일을 저장부(1040)에 저장하도록 제어한다. 또한 또 다른 사용자 명령이 있는 경우, 저장한 메타파일을 불러내어 화면에 표시하거나, 화상형성장치(1100)로 전송하도록 제어할 수 있다.
저장부(1040)는 이미지 생성부(1050)에서 생성된 스크린샷에 대한 메타파일을 제어부(1030)의 제어하에 저장한다. 그리고, 제어부(1030)의 요청에 따라 저장된 메타파일을 출력한다.
이미지 생성부(1050)는 화면에 표시된 영상에 대한 스크린샷의 메타파일을 생성한다. 이와 관련해서는 앞서 충분히 설명한 바 있으므로 더 이상의 설명은 생략하도록 한다. 이때 이미지 생성부(1050)는 가령 도 3에서와 같은 세부 구성을 가질 수 있으며, 도 3의 기능블록들과 동일한 기능을 수행하기 위한 프로그램 또는 알고리즘을 저장하고 이를 실행할 수 있을 것이다.
도 12는 도 10의 화상형성장치의 세부 구조를 나타내는 블록다이어그램이다.
도 12를 도 10과 함께 참조하면, 본 발명의 실시예에 따른 화상형성장치(1100)는 통신 인터페이스부(1110), 사용자 인터페이스부(1120), 저장부(1130), 제어부(1140), 인쇄부(1150) 및 이미지 생성부(1160)의 일부 또는 전부를 포함한다.
여기서, 일부 또는 전부를 포함한다는 것은 화상형상장치(1100)가 단말장치(1000)와 연동하고, 도 11의 단말장치(1000)가 이미지 생성부(1050)를 포함함으로써 화상형성장치(1100)가 단순히 인쇄 기능만을 수행하는 경우, 해당 이미지 생성부(1160)는 생략될 수 있는데, 이와 같이 일부 구성요소가 생략되거나, 저장부(1130)와 같은 일부 구성요소가 이미지 생성부(1160)과 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(1110)는 단말장치(1000)와 통신을 수행한다. 예를 들어, 통신 인터페이부(1110)는 제어부(1140)의 제어 하에 인쇄부(1150)로 전달하기 위한 스크린샷에 대한 메타파일을 수신할 수 있다. 또는 통신 인터페이스부(1110)는 이미지 생성부(1160)에서 메타파일을 생성하기 위한 스크린샷에 대한 래스터이미지를 수신할 수 있다. 이의 과정에서 통신 인터페이스부(1110)는 가령 인코딩된 이미지 데이터를 디코딩하는 동작을 추가로 수행할 수도 있을 것이다.
인쇄부(1150)는 사용자의 요청에 따라 이미지를 인쇄한다. 예를 들어, 인쇄부(1150)는 제어부(1140)의 제어하에 전달된 메타파일을 인쇄하는 것이 바람직하다. 이때 메타파일은 단말장치(1000)에서 제공되거나, 이미지 생성부(1160)에서 제공될 수 있다.
그 이외에 사용자 인터페이스부(1120), 저장부(1130), 제어부(1140) 및 이미지 생성부(1160)는 도 11의 사용자 인터페이스부(1020), 제어부(1030), 저장부(1040) 및 이미지 생성부(1050)와 크게 다르지 않으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시예에 따른 단말장치(1000) 및 화상형성장치(1100)의 이미지 생성 방법(또는 구동방법)은 별도의 도면으로 나타내지는 않았지만, 도 11 및 도 12를 참조한 설명한 내용들로 충분히 유추될 수 있으므로 더 이상의 설명은 생략하도록 한다.
또한 본 발명의 실시예에 따른 이미지 생성 방법 및 시스템은 블랙-화이트 컬러 프린터 및 MFP를 위한 프린터 드라이버 또는 지원 소프트웨어에서 실행될 수 있다. 나아가 본 발명의 실시예에 따른 방법은 프린팅을 위한 소프트웨어 애플리케이션의 형태로 실행될 수도 있을 것이다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
301: 분할부 302: 컬러 평가부
303: 텍스트 리터칭부 304: 벡터화부
305: 메타파일 생성부 1000: 단말장치
1100: 화상형성장치 1010, 1110: 통신 인터페이스부
1020, 1120: 사용자 인터페이스부 1030, 1140: 제어부
1040, 1130: 저장부 1050, 1160: 이미지 생성부
303: 텍스트 리터칭부 304: 벡터화부
305: 메타파일 생성부 1000: 단말장치
1100: 화상형성장치 1010, 1110: 통신 인터페이스부
1020, 1120: 사용자 인터페이스부 1030, 1140: 제어부
1040, 1130: 저장부 1050, 1160: 이미지 생성부
Claims (18)
- 그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 분할부;
상기 분할한 텍스트 부분에서 상기 텍스트와 상기 텍스트를 제외한 배경의 컬러를 각각 추정하는 컬러 평가부;
상기 분할한 텍스트 부분에서 상기 텍스트의 윤곽을 벡터화하는 벡터화부;
상기 추정한 배경의 컬러로 상기 분할한 텍스트 부분을 채워서 상기 스크린샷을 수정하는 텍스트 리터칭부; 및
상기 추정한 텍스트의 컬러, 상기 벡터화한 윤곽의 벡터 정보 및 및 상기 수정한 스크린샷을 이용해 메타파일을 생성하는 메타파일 생성부;를
포함하는 이미지 처리 장치. - 제1항에 있어서,
상기 분할부는 복수의 텍스트 부분들에 대한 맵을 생성하고, 상기 생성한 맵에 대한 맵 데이터를 상기 벡터화부에 제공하며,
상기 복수의 텍스트 부분들은 동일 크기의 래스터 이미지인 것을 특징으로 하는 이미지 처리 장치. - 제1항에 있어서,
상기 분할부는, 상기 스크린샷에서 임의의 픽셀에 대하여 인접 픽셀보다 밝고 어두운 정도를 나타내는 수평 그라디언트값이 주변에 비해 큰 복수의 픽셀들을 검출하고, 상기 검출한 복수의 픽셀들을 각 부분으로 조합하며, 상기 각 부분의 히스토그램을 분석한 분석 결과에 따라 상기 텍스트 부분을 검출하는 것을 특징으로 하는 이미지 처리 장치. - 제3항에 있어서,
상기 복수의 픽셀들은, 상기 스크린샷에 대한 그라디언트의 검출 결과 그라디언트가 존재하는 제로 아닌 연계 픽셀들의 맨 끝점들을 선택함으로써 검출되는 것을 특징으로 하는 이미지 처리 장치. - 제3항에 있어서,
상기 분할부는 상기 분석 결과, 계조값이 0인 칼럼의 수가 임계값보다 크면 상기 텍스트 부분으로 판단하고, 상기 임계값보다 작으면 그래픽 부분으로 판단하는 것을 특징으로 하는 이미지 처리 장치. - 제3항에 있어서,
상기 컬러 평가부는, 상기 히스토그램 상에서 최좌측 또는 최우측에 위치하는 칼럼을 상기 배경 및 상기 텍스트의 컬러로 추정하는 것을 특징으로 하는 이미지 처리 장치. - 제1항에 있어서,
상기 벡터화부는 상기 텍스트의 윤곽을 벡터화하기 위하여 상기 텍스트 부분을 하프톤 이미지로 변환하고, 상기 변환한 하프톤 이미지를 이진화하며, 상기 이진화한 이미지에서 심볼들의 윤곽을 추적하고, 상기 추적한 윤곽을 직선 및 곡선들로 이루어진 일련의 세분화 부분으로 폴리곤(polygon) 근사화를 수행하는 것을 특징으로 하는 이미지 처리 장치. - 그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 단계;
상기 분할한 텍스트 부분에서 상기 텍스트와 상기 텍스트를 제외한 배경의 컬러를 추정하는 단계;
상기 분할한 텍스트 부분에서 상기 텍스트의 윤곽을 벡터화하는 단계;
상기 추정한 배경의 컬러로 상기 분할한 텍스트 부분을 채워서 상기 스크린샷을 수정하는 단계; 및
상기 추정한 텍스트의 컬러, 상기 벡터화한 윤곽의 벡터 정보 및 및 상기 수정한 스크린샷을 이용해 메타파일을 생성하는 단계;를
포함하는 이미지 처리 방법. - 제8항에 있어서,
상기 분할하는 단계는,
복수의 텍스트 부분에 대한 맵을 생성하고, 상기 생성한 맵에 대한 맵 데이터를 상기 벡터화를 위해 제공하는 단계를 포함하며,
상기 복수의 텍스트 부분들은 동일 크기의 래스터 이미지인 것을 특징으로 하는 이미지 처리 방법. - 제8항에 있어서,
상기 분할하는 단계는,
상기 스크린샷에서 임의의 픽셀에 대하여 인접 픽셀보다 밝고 어두운 정도를 나타내는 수평 그라디언트값이 주변에 비해 큰 복수의 픽셀들을 검출하는 단계;
상기 검출한 복수의 픽셀들을 각 부분으로 조합하는 단계; 및
상기 각 부분의 히스토그램을 분석한 분석 결과에 따라 상기 텍스트 부분을 분할하는 단계;
를 포함하는 것을 특징으로 하는 이미지 처리 방법. - 제10항에 있어서,
상기 복수의 픽셀들은, 상기 스크린샷에 대한 그라디언트의 검출 결과 그라디언트가 존재하는 제로 아닌 연계 픽셀들의 맨 끝점들을 선택함으로써 검출되는 것을 특징으로 하는 이미지 처리 방법. - 제10항에 있어서,
상기 분할하는 단계는, 상기 분석 결과, 계조값이 0인 칼럼의 수가 임계값보다 크면 상기 텍스트 부분으로 판단하고, 상기 임계값보다 작으면 그래픽 부분으로 판단하는 것을 특징으로 하는 이미지 처리 방법. - 제10항에 있어서,
상기 컬러를 추정하는 단계는, 상기 히스토그램 상에서 최좌측 또는 최우측에 위치하는 칼럼을 상기 배경 및 상기 텍스트의 컬러로 추정하는 것을 특징으로 하는 이미지 처리 방법. - 제8항에 있어서,
상기 벡터화하는 단계는,
상기 텍스트 부분을 하프톤 이미지로 변환하는 단계;
상기 변환한 하프톤 이미지를 이진화하는 단계;
상기 이진화한 이미지에서 심볼들의 윤곽을 추적하는 단계; 및
상기 추적한 윤곽을 직선 및 곡선들로 이루어진 일련의 세분화 부분으로 폴리곤(polygon) 근사화를 수행하는 단계;를
포함하는 이미지 처리 방법. - 이미지 처리 방법을 실행하기 위한 컴퓨터 판독가능 기록매체에 있어서,
그래픽 및 텍스트가 포함된 스크린샷에서 텍스트 부분을 분할하는 단계;
상기 분할한 텍스트 부분에서 상기 텍스트와 상기 텍스트를 제외한 배경의 컬러를 추정하는 단계;
상기 분할한 텍스트 부분에서 상기 텍스트의 윤곽을 벡터화하는 단계;
상기 추정한 배경의 컬러로 상기 분할한 텍스트 부분을 채워서 상기 스크린샷을 수정하는 단계; 및
상기 추정한 텍스트의 컬러, 상기 벡터화한 윤곽의 벡터 정보 및 및 상기 수정한 스크린샷을 이용해 메타파일을 생성하는 단계;를
실행하는 컴퓨터 판독가능 기록매체. - 주변의 단말장치에 연결되어 동작하는 화상형성장치에 있어서,
상기 단말장치로부터 그래픽 및 텍스트를 포함하는 스크린샷을 수신하는 통신 인터페이스부;
상기 수신한 스크린샷에서 텍스트 부분의 텍스트를 벡터화하여 벡터 정보를 생성하고, 상기 텍스트 부분의 배경 컬러를 이용해 상기 텍스트 부분이 분할된 상기 스크린샷을 수정하며, 상기 생성한 벡터 정보, 상기 수정한 스크린샷 및 상기 텍스트 부분의 텍스트 컬러를 이용해 메타파일을 생성하는 이미지 생성부; 및
사용자의 요청에 따라 상기 생성한 메타파일을 인쇄하는 인쇄부;
를 포함하는 화상형성장치. - 제16항에 있어서,
상기 이미지 생성부는, 상기 스크린샷에서 상기 텍스트 부분을 분할하고, 상기 분할된 텍스트 부분을 상기 배경 컬러로 채워 상기 스크린샷을 수정하는 것을 특징으로 하는 화상형성장치. - 제16항에 있어서,
상기 이미지 생성부는, 상기 텍스트 부분에서 상기 텍스트 및 상기 텍스트 이외의 배경에 대한 히스토그램을 분석해 상기 배경 컬러 및 상기 텍스트 컬러를 추정하고, 상기 스크린샷의 수정 및 상기 메타파일의 생성시 상기 추정한 배경 컬러 및 상기 텍스트 컬러를 이용하는 것을 특징으로 하는 화상형성장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013104245/08A RU2534005C2 (ru) | 2013-02-01 | 2013-02-01 | Способ и система преобразования моментального снимка экрана в метафайл |
| RU2013104245 | 2013-02-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140099183A true KR20140099183A (ko) | 2014-08-11 |
| KR101887929B1 KR101887929B1 (ko) | 2018-08-13 |
Family
ID=51354900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140003340A KR101887929B1 (ko) | 2013-02-01 | 2014-01-10 | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상형성장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101887929B1 (ko) |
| RU (1) | RU2534005C2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019054593A1 (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 다비오 | 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105338399A (zh) * | 2015-10-29 | 2016-02-17 | 小米科技有限责任公司 | 图像获取方法及装置 |
| CN110930302B (zh) * | 2018-08-30 | 2024-03-26 | 珠海金山办公软件有限公司 | 一种图片处理方法、装置、电子设备及可读存储介质 |
| CN110727495B (zh) * | 2019-10-18 | 2022-12-23 | 深圳市比量科技传媒有限公司 | 一种界面元素的自动分段截图方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1063780A (ja) * | 1996-08-26 | 1998-03-06 | Nippon Digital Kenkyusho:Kk | パターン認識における多角形近似法および文字認識装置 |
| JP2010136192A (ja) * | 2008-12-05 | 2010-06-17 | Canon Inc | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP2012003480A (ja) * | 2010-06-16 | 2012-01-05 | Nippon Hoso Kyokai <Nhk> | テロップ文字領域検出装置、及びプログラム |
| JP5047051B2 (ja) * | 2008-05-02 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像符号化方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6169607B1 (en) * | 1996-11-18 | 2001-01-02 | Xerox Corporation | Printing black and white reproducible colored test documents |
| JP2004527933A (ja) * | 2001-01-09 | 2004-09-09 | メシュリム、ジッシャ、ゴルドクラング | 装飾画像をテキスト及び／もしくは絵模様で代替する改善された装置及び方法 |
| JP2003324604A (ja) * | 2002-05-07 | 2003-11-14 | Sharp Corp | 画像処理装置、画像形成装置、画像処理方法、プログラム、および記録媒体 |
| JP4857173B2 (ja) * | 2007-04-25 | 2012-01-18 | 日立オムロンターミナルソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US8135230B2 (en) * | 2007-07-30 | 2012-03-13 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
| US20090148043A1 (en) * | 2007-12-06 | 2009-06-11 | International Business Machines Corporation | Method for extracting text from a compound digital image |
| US8565554B2 (en) * | 2010-01-09 | 2013-10-22 | Microsoft Corporation | Resizing of digital images |
| CN102194114B (zh) * | 2011-06-25 | 2012-11-07 | 电子科技大学 | 一种基于边缘梯度方向金字塔直方图的虹膜识别方法 |
| RU2469400C1 (ru) * | 2011-11-17 | 2012-12-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ преобразования растрового изображения в метафайл |
-
2013
- 2013-02-01 RU RU2013104245/08A patent/RU2534005C2/ru not_active IP Right Cessation
-
2014
- 2014-01-10 KR KR1020140003340A patent/KR101887929B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1063780A (ja) * | 1996-08-26 | 1998-03-06 | Nippon Digital Kenkyusho:Kk | パターン認識における多角形近似法および文字認識装置 |
| JP5047051B2 (ja) * | 2008-05-02 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像符号化方法 |
| JP2010136192A (ja) * | 2008-12-05 | 2010-06-17 | Canon Inc | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP2012003480A (ja) * | 2010-06-16 | 2012-01-05 | Nippon Hoso Kyokai <Nhk> | テロップ文字領域検出装置、及びプログラム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019054593A1 (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 다비오 | 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치 |
| KR20190029975A (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 다비오 | 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치 |
| CN109863547A (zh) * | 2017-09-13 | 2019-06-07 | 达飞奥 | 用于使用机器学习和图像处理来构建地图的设备 |
| US11238647B2 (en) | 2017-09-13 | 2022-02-01 | Dabeeo Inc. | Apparatus for building map using machine learning and image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101887929B1 (ko) | 2018-08-13 |
| RU2013104245A (ru) | 2014-08-10 |
| RU2534005C2 (ru) | 2014-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10509959B2 (en) | Method and device for segmenting lines in line chart | |
| JP5616308B2 (ja) | 文字の形状特徴を使用した文字比較による文書改変検知方法 | |
| US11587216B2 (en) | Detection and identification of objects in images | |
| KR20030011632A (ko) | 자기 적응형 2치화를 이용한 이미지 처리 방법 및 장치 | |
| KR101887929B1 (ko) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상형성장치 | |
| US10846889B2 (en) | Color handle generation for digital image color gradients using machine learning | |
| KR20200015095A (ko) | 영상 처리 장치 및 그 동작방법 | |
| CN113158977B (zh) | 改进FANnet生成网络的图像字符编辑方法 | |
| JP2004166007A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| US20230162413A1 (en) | Stroke-Guided Sketch Vectorization | |
| US20230005107A1 (en) | Multi-task text inpainting of digital images | |
| US11410278B2 (en) | Automatic artifact removal in a digital image | |
| US20230005108A1 (en) | Method and system for replacing scene text in a video sequence | |
| JP5335581B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4441300B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
| JP4873554B2 (ja) | 画像配信装置および画像配信方法 | |
| EP4047547A1 (en) | Method and system for removing scene text from images | |
| US11200708B1 (en) | Real-time color vector preview generation | |
| CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
| US9648208B2 (en) | Method and apparatus and using an enlargement operation to reduce visually detected defects in an image | |
| US9225876B2 (en) | Method and apparatus for using an enlargement operation to reduce visually detected defects in an image | |
| JP6003574B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5672168B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20120159292A1 (en) | Method of processing an object-based image file with content type dependent image processing algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |