KR20210081267A

KR20210081267A - 화상 처리 장치, 저장 매체, 및 화상 처리 방법

Info

Publication number: KR20210081267A
Application number: KR1020200178033A
Authority: KR
Inventors: 사토루 야마나카
Original assignee: 캐논 가부시끼가이샤
Priority date: 2019-12-23
Filing date: 2020-12-18
Publication date: 2021-07-01
Also published as: US20210192262A1; JP7433887B2; JP2021099752A; US11935314B2

Abstract

본 개시내용에서, 후보 영역은 입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 판정되고, 후보 영역에 포함된 특정 색과 상이한 미리 결정된 색을 갖는 화소에 기초하여 후보 영역으로부터 처리 대상인 영역을 판정한다. 또한, 입력 화상을 2치화함으로써 획득된 제1 2치 화상에서, 처리 대상인 것으로 판정된 영역에 포함되며 특정 색을 갖는 화소에 대응하는 화소를 백색 화소로 변환함으로써 특정 색을 갖는 화소에 대응하는 화소가 백색 화소로 변환되는 제2 2치 화상이 생성된다.

Description

화상 처리 장치, 저장 매체, 및 화상 처리 방법{APPARATUS FOR PROCESSING IMAGE, STORAGE MEDIUM, AND IMAGE PROCESSING METHOD}

본 발명은 특정 색을 갖는 화소가 입력 화상으로부터 제거된 상태에서 2치 화상을 생성하기 위한 기술에 관한 것이다.

스캐너에 의해 판독된 폼 화상(form image)으로부터 문자 정보가 추출되고 추출된 문자 정보에 대해 문자 인식(이하, OCR이라고 칭함)이 수행되어 회계 서비스의 효율성을 향상시키는 시스템이 개발되고 있다. 폼으로부터 추출해야 할 문자 정보는 날짜, 총액, 및 회사명을 포함하고, 각 정보의 아이템명, 단위, 및 포맷에 기초하여 아이템 값을 추정함으로써 획득된다. 그러나, 일부 경우들에서는 추출 대상으로서의 문자가 문자 이외의 화상과 겹치기 때문에, 예를 들어, 폼 화상이 예를 들어, 문자와 겹치는 인감(seal) 또는 스탬프의 자국(impression)(이하, 자국은 간단히 인감이라고 칭함)을 포함하는 경우에 문자 정보가 추출될 수 없다.

또한, 일본 특허 출원 공개 제2005-92543호에 따르면, 인감과 중복되는 문자를 인식하기 위해 이하의 방법이 사용된다. 구체적으로, 인감의 색과 동일한 색 그룹 내의 색을 갖는 적색 화소가 추출되어 적색 화소들의 블록을 연결 성분으로서 추출한다. 연결 성분의 외접된 직사각형이 획득되고, 외접된 직사각형의 크기 또는 외접된 직사각형 내의 적색 화소의 밀도가 검출되고, 외접된 직사각형은 크기 또는 밀도에 기초하여 인감 영역으로서 추출된다. 또한, 인감에 대응하는 화소들은 인감이 부착된 부분에서 문자를 인식하는 것을 용이하게 하기 위해 인감 영역의 적색 화소들을 백색 화소들(이하, 때때로 백색 화소들로의 변환이라고 칭함)로 변환함으로써 제거된다.

그러나, 일본 특허 출원 공개 제2005-92543호에 기재된 방법은 이하의 과제를 갖는다. 인감(적색)에 대한 것과 동일한 색 그룹 내의 문자열이 복수의 라인 위에 폼 내에 존재하고, 복수의 라인 내의 문자열을 포함하는 영역의 크기 및 화소 밀도가 인감의 것에 가까운 경우에, 문자열 영역은 인감으로서 잘못 검출되어 제거될 수 있다(백색 화소들로 변환될 수 있다). 또한, 폼이 인감에 가까운 크기, 밀도 및 색을 갖는 문자 또는 적색(인감에 대한 것과 동일한 색 그룹) 경계에 의해 둘러싸인 적색 문자를 포함하는 경우에, 이러한 문자는 유사하게 제거될 수 있다.

본 개시내용에 따른 장치는: 적어도 하나의 메모리; 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는: 입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 후보 영역을 판정하고; 후보 영역에 포함된 특정 색과 상이한 미리 결정된 색을 갖는 화소에 기초하여 후보 영역으로부터 처리 대상인 영역으로 판정하고; 입력 화상을 2치화함으로써 획득된 제1 2치 화상에서, 처리 대상인 것으로 판정된 영역에 포함되고 특정 색을 갖는 화소에 대응하는 화소를 백색 화소로 변환함으로써, 특정 색을 갖는 화소에 대응하는 화소가 백색 화소로 변환되는 제2 2치 화상을 생성한다.

이하에서 첨부 도면들과 관련하여 예시적인 실시예들을 설명함으로써 본 발명의 추가 특징들을 명확히 파악할 수 있을 것이다.

도 1은 제1 예시적인 실시예에 따른 정보 처리 시스템을 도시한다.
도 2는 제1 예시적인 실시예에 따른 화상 처리를 도시하는 흐름도이다.
도 3은 입력 화상의 일례를 도시한다.
도 4a는 입력 화상 내의 적색 화소에 기초하여 생성되는 적색 추출 화상의 일례를 도시한다.
도 4b는 적색 추출 화상에 대해 실행되는 모폴로지 처리의 결과로서 획득되는 영역 판정 화상의 일례를 도시한다.
도 5는 인감 유사성에 대한 조건을 충족하는 직사각형 정보를 선택하는 처리를 도시하는 흐름도이다.
도 6은 입력 화상에 대하여 2치화 처리를 행함으로써 획득된 2치 화상의 일례를 도시한다.
도 7은 2치 화상으로부터 문자와 겹치는 인감을 제거하는 처리를 도시하는 흐름도이다.
도 8은 적색 화소 제거 화상의 일례를 도시한다.
도 9는 문자와 겹치는 인감을 포함하는 영역으로 판정되는 영역에서 적색 화소들을 제거함으로써(적색 화소들을 백색 화소들로 변환함으로써) 획득되는 인감-제거된 2치 화상의 일례를 도시한다.
도 10은 제2 예시적인 실시예에 따른 화상 처리를 도시하는 흐름도이다.
도 11은 제2 예시적인 실시예에 따른 입력 화상의 해석 결과의 빈도 분포를 도시한다.

(제1 예시적인 실시예)

도 1은 제1 예시적인 실시예에 따른 정보 처리 시스템을 도시한다. 정보 처리 시스템은 복합기(MFP)(100)와 정보 처리 장치(110)를 포함한다. MFP(100)는 색 문서를 판독할 수 있는 스캐너(101), 프린터(102), 및 통신 유닛(103)을 포함한다. 스캐너(101)는 문서를 스캐닝하고 스캐닝된 화상을 생성한다. 프린터(102)는 화상을 형성한다. 통신 유닛(103)은 네트워크를 통해 외부 장치와 통신한다.

정보 처리 장치(110)는 중앙 처리 장치(CPU)(111), 판독 전용 메모리(ROM)(112), 랜덤 액세스 메모리(RAM)(113), 하드 디스크 드라이브(HDD)(114), 디스플레이 유닛(115), 입력 유닛(116), 및 통신 유닛(117)을 포함한다. CPU(111)는 ROM(112)에 저장된 제어 프로그램을 판독하고, 각종 처리를 실행한다. RAM(113)은 CPU(111)의 주 메모리 및 작업 영역 등의 일시 저장 영역으로서 사용된다. HDD(114)는 각종 데이터, 프로그램들 등을 저장한다. 후술하는 정보 처리 장치(110)의 기능들 및 처리는 CPU(111)가 ROM(112) 또는 HDD(114)에 저장된 프로그램을 판독하고, 그 프로그램을 실행함으로써 실현된다. 즉, 프로그램은 컴퓨터가 후술하는 기능들 및 처리를 실행하는 각각의 처리 유닛로서 기능하게 하기 위한 컴퓨터 실행가능 프로그램이다.

통신 유닛(117)은 네트워크를 통해 외부 장치와 통신 처리를 수행한다. 디스플레이 유닛(115)은 각종 정보를 표시한다. 입력 유닛(116)은 키보드와 마우스를 포함하고 사용자에 의해 수행된 각종 조작들을 수신한다. 디스플레이 유닛(115)과 입력 유닛(116)은 터치 패널에서와 같이 일체로 제공될 수 있다. 또한, 디스플레이 유닛(115)은 화상을 투영하도록 구성된 투영 디스플레이일 수 있고, 입력 유닛(116)은 카메라를 사용함으로써 투영된 화상에 대한 손가락 끝의 위치를 인식할 수 있다.

본 예시적인 실시예에 따르면, MFP(100)의 스캐너(101)는 리포트 등의 문서를 스캔하고, 입력 화상을 생성한다. 입력 화상은 통신 유닛(103)을 통해 정보 처리 장치(110)에 송신된다. 정보 처리 장치(110)는 통신 유닛(117)을 통해 입력 화상을 수신하고, 입력 화상을 HDD(114) 등의 저장 유닛 내에 저장한다. 본 예시적인 실시예는 인감 자국(이하, 간단히 인감이라고 칭함)의 색이 적색이고, 적색 인감을 포함하는 화상이 입력 화상으로서 수신된다는 가정하에 설명할 것이다.

도 2는 본 예시적인 실시예에 따른 인감과 겹치는 문자에 대하여 행해지는 화상 처리를 도시하는 흐름도이다. 단계 S201에서, CPU(111)는 입력 화상(폼 화상)의 색 정보를 해석하고, 적색 화소를 흑색 화소로서 표현하고, 다른 화소들을 백색 화소들로서 표현하는 2치 화상을 생성한다. 도 3은 입력 화상의 일례로서 폼 화상(300)를 도시한다. 폼 화상(300) 내의 문자 영역(301)은 적색 인감과 겹치는 흑색 문자들을 포함하고, 적색 문자 영역(302)은 적색 문자들을 포함한다. 도 4a는 도 3의 폼 화상(300)으로부터의 적색 화소들로 결정되는 적색 화소들에 기초하여 생성되는 적색 추출 화상(400)을 도시한다. 적색 추출 화상(400)은 추출 대상으로서의 적색 화소들이 흑색 화소들로서 표현되고, 다른 화소들이 백색 화소들로서 표현되는 2치 화상이다. 도 4a의 적색 추출 화상(400)에서, 문자 영역(301)과 겹치는 적색 인감 화상이 영역(401)에 나타나고, 적색 문자 영역(302)에 존재하는 적색 문자들의 화상이 영역(402)에 나타난다. 여기서, 인감 화상은 예를 들어, 사용자가 스탬프, 인감 등을 누름으로써 발생된 화상이다. 도 4a의 예에서, 문자열 "VOID"가 영역(401)에서 인감 화상으로서 나타나 있다. 인감 화상은 이 예에 한정되지 않고, 다른 언어의 문자열 및 도형일 수 있다. 적색 인감 화상의 적어도 일부가 문서 내의 흑색 문자열과 겹치는 것으로 가정한다.

다음으로, 단계 S202에서, CPU(111)는 적색 추출 화상(400)에 대해 모폴로지 처리를 실행하고, 적색 추출 화상(400)에서 서로 가깝게 존재하는 흑색 화소들을 연결하고, 따라서 영역 판정 화상(410)을 생성하는 처리를 수행한다. 그 후, CPU(111)는 영역 판정 화상(410)을 RAM(113)에 저장한다. 본 예시적인 실시예에 따르면, 영역 판정 화상(410)은 적색 추출 화상(400) 내의 흑색 화소들에 대해 한 번 내지 복수회 팽창 처리 및 수축 처리를 수행함으로써 생성된다. 예를 들면, 흑색 화소가 그 주변부에서 한 화소씩 팽창되는 팽창 처리를 복수회 수행하여, 문자의 흑색 화소들이 서로 연결되게 한다. 그 후, 수축 처리는 문자의 흑색 화소들이 연결된 후에 복수회 수행된다. 이러한 방식으로, 이웃하는 흑색 화소들이 서로 연결되는 영역 판정 화상이 획득된다. 도 4a의 적색 추출 화상(400)에 대해 모폴로지 처리를 수행하여, 이웃하는 흑색 화소들이 서로 연결되는 영역 판정 화상(410)이 도 4b에 도시된 바와 같이 획득될 수 있게 한다. 예를 들어, 도 4a의 영역(401)에 포함된 흑색 화소들은 서로 연결되고 도 4b의 영역(411)에서 하나의 흑색 화소 블록이 된다. 또한, 도 4a의 영역(402)에 포함된 흑색 화소들은 서로 연결되고, 도 4b의 영역(412)에서 하나의 흑색 화소 블록이 된다. 영역(402) 내의 문자들의 라인 공간이 좁아서, 문자 라인들도 서로 연결되고 영역(412)에서와 같이 하나의 흑색 화소 블록을 형성한다.

다음으로, 단계 S203에서, CPU(111)는 영역 판정 화상(410)으로부터 각각의 흑색 화소 블록을 외접하는 직사각형에 관한 직사각형 정보를 취득하고, 이 직사각형 정보를 RAM(113)(rects)에 저장한다. 본 명세서에서 직사각형 정보는 위치 및 크기를 포함하는 정보를 나타낸다. 보다 구체적으로, 영역 판정 화상(410)의 최상위 좌측 지점, 우측 방향, 및 하측 방향을 각각 원점, X축 양의 방향, 및 Y축 양의 방향으로 정의하면, 각각의 직사각형 정보는 각각의 흑색 화소 블록의 좌측 상부 좌표 위치(흑색 화소 블록의 최좌측 x 좌표 및 최상위 y 좌표) 및 각각의 직사각형의 크기(폭 및 높이)에 의해 표현된다.

다음으로, 단계 S204에서, CPU(111)는 단계 S203에서 RAM(113)에 저장된 직사각형 정보의 인감 유사성을 평가하고, 인감 후보로서 판정된 직사각형 정보를 RAM(113) 내의 상이한 영역(rects')에 저장한다. 도 5는 인감 유사성에 대한 조건을 충족하는 직사각형 정보를 선택하기 위한 처리를 상세히 도시한 흐름도이다. CPU(111)는 각각의 직사각형 정보에 대해 단계 S501 내지 단계 S505의 동작들을 수행한다.

단계 S501은 루프 처리의 시작을 나타내는 루프 한계(loop limit)이고, 단계 S505는 루프 처리의 종료를 나타내는 루프 한계이다. 루프 처리는 단계 S502 내지 단계 S504의 동작들이 모든 직사각형 정보에 대해 수행될 때까지 반복적으로 실행된다.

단계 S502에서, CPU(111)는 단계 S203에서 획득된 직사각형 정보들 중 하나를 처리 대상으로서 간주하고, 처리 대상으로서의 직사각형 정보의 크기(폭 및 높이)가 미리 결정된 조건(인감 후보에 대한 조건)을 충족하는지의 여부를 평가한다. 본 예시적인 실시예에서는, 폭과 높이의 임계값이 30개의 화소이고, 직사각형 정보의 크기가 임계값보다 큰 경우에는 조건이 충족된다. 즉, 직사각형 정보가 임계값보다 큰 경우(단계 S502에서 예), 처리는 단계 S503으로 진행한다. 직사각형 정보가 임계값 이하인 경우(단계 S502에서 아니오), 처리는 단계 S505로 진행한다. 인감 유사성이 평가될 수 있는 한, 다른 임계값이 사용될 수 있다. 예를 들어, 하한 임계값 뿐만 아니라 상한 임계값도 설정될 수 있다. 이러한 경우에, 직사각형 정보의 크기가 하한 임계값으로부터 상한 임계값까지의 범위 내에 있는지에 기초하여 판정한다.

다음으로, 단계 S503에서, CPU(111)는 직사각형 정보가 나타내는 영역 내의 화소 밀도를 처리 대상으로서 산출하고, 화소 밀도가 임계값보다 큰지의 여부를 평가한다. 본 예시적인 실시예에 따른 화소 밀도는 적색 추출 화상(400)에서 각각의 직사각형 정보에 의해 나타나는 영역 내의 흑색 화소들의 수를 카운트하고 직사각형 영역의 크기에 대한 카운트된 흑색 화소들의 수의 비율을 산출함으로써 획득된다. 본 예시적인 실시예에서, 임계값은 0.18이다. 화소 밀도가 임계값보다 큰 경우(단계 S503에서 예), 처리는 단계 S504로 진행한다. 화소 밀도가 임계값 이하인 경우(단계 S503에서 아니오), 처리는 단계 S505로 진행한다. 본 예시적인 실시예에 따르면, 임계값은 0.18로서 기술되었지만, 이 값에 한정되지 않는다.

다음으로, 단계 S504에서, CPU(111)는 단계 S502 및 단계 S503에서의 조건들을 충족하는 직사각형 정보가 인감 후보라고 판정하고 직사각형 정보를 RAM(113) 내의 상이한 영역(rects')에 저장한다. 단계 S504에서의 동작은 상이한 영역에 직사각형 정보를 저장하는 것이 아니라, 인감 후보에 대한 조건들을 충족하는 직사각형 정보를 다른 직사각형 정보와 구별하는 것에 관한 것이다. 따라서, 예를 들어, 직사각형 정보는 라벨링에 의해 구별될 수 있다.

단계 S505에서, CPU(111)는 루프 처리를 종료하기 위한 조건이 충족되는지의 여부(모든 직사각형 정보가 평가되었는지의 여부)를 판정하고, 아직 평가되지 않은 직사각형 정보가 존재하는 경우에, 단계 S502 내지 단계 S504의 동작들은 다음 직사각형 정보를 처리 대상으로 설정하여 반복된다. 모든 직사각형 정보에 대한 평가가 완료된 경우에, 도 5의 처리(즉, 단계 S204에서의 동작)가 종료되고, 처리는 도 2의 단계 S205로 진행한다. 본 예시적인 실시예에 따르면, 도 5에 도시된 바와 같이 각각의 직사각형 정보의 크기 및 화소 밀도를 사용하여 평가를 행한다. 대안적으로, 인감 유사성이 평가될 수 있는 한, 다른 평가 지표가 사용될 수 있다. 예를 들어, 직사각형의 종횡비, 적색 추출 화상(400) 내의 흑색 화소에 관한 윤곽 정보, 광학 문자 인식(OCR) 결과의 확실성을 나타내는 값 등과 조합하여 평가를 행할 수 있다.

다음으로, 단계 S205에서, CPU(111)는 폼 화상(300)를 2치화하여 획득된 2치 화상을 RAM(113)에 저장한다. 본 명세서에서 2치화 처리는 화상을 두 그라데이션의 백색과 흑색으로 변환하는 것이다. 임계값보다 어두운 색을 갖는 화소는 흑색 화소로 변환되고, 임계값보다 밝은 색을 갖는 화소는 백색 화소로 변환된다. 즉, 흑색 문자에 포함된 흑색 화소들 및 적색 문자 및 인감에 포함된 적색 화소들은 2치화 후의 2치 화상에서 흑색 화소들로 변환된다. 도 6은 도 3의 폼 화상(300)에 대해 수행되는 2치화의 결과인 2치 폼 화상(600)을 도시한다. 본 예시적인 실시예에 따르면, 전체 폼 화상(300)의 휘도 히스토그램이 산출되고, 배경의 백색 화소에 대응하는 피크에 기초하여 임계값을 결정함으로써 2치 화상이 생성되는 방법이 사용된다. 대안적으로, 후속 OCR을 가능하게 하는 정확도로 흑백 2치 화상으로의 변환이 실현되는 다른 방법이 사용될 수 있다.

다음으로, 단계 S206에서, CPU(111)는 2치 폼 화상(600)으로부터 문자와 겹치는 인감을 제거한다. 도 7은 본 예시적인 실시예에 따른 2치 화상으로부터 문자와 겹치는 인감을 제거하는 처리를 도시하는 흐름도이다. 단계 S701에서, CPU(111)는 2치 폼 화상(600)으로부터 적색 추출 화상(400) 내의 흑색 화소들과 동일한 위치들에 있는 화소들을 제거함으로써(백색 화소들로의 변환함으로써) 획득되는 적색 화소 제거 화상(800)(도 8 참조)을 생성한다. 적색 화소 제거 화상(800)은 입력 화상 내의 적색 화소들이 백색 화소들로 변환되고, 나머지 색들(즉, 적색과 배경 상의 백색 이외의 미리 결정된 색들, 예를 들어, 문자 색인 흑색)을 갖는 화소들이 흑색 화소들로 변환되는 2치화 처리를 통해 획득된 화상과 등가이다.

다음으로, CPU(111)는 단계 S204에서 CPU(111)가 인감 유사성에 대한 조건들이 충족된다고 판정한 각각의 직사각형 정보(인감의 후보 영역인 것으로 판정된 직사각형 정보)에 기초하여 단계 S702 내지 단계 S706의 동작들을 수행한다. 단계 S702는 루프 처리의 시작을 나타내는 루프 한계이고, 단계 S706은 루프 처리의 종료를 나타내는 루프 한계이다. 단계 S703 내지 단계 S705의 동작들은 처리 대상으로서 단계 S204에서 선택된 직사각형 정보에 대해 순서대로 반복적으로 수행된다.

단계 S703에서, CPU(111)는 적색 화소 제거 화상(800)에서 처리 대상으로서의 직사각형 정보에 대응하는 영역(801 또는 802) 내의 흑색 화소들의 수를 카운트한다.

다음으로, 단계 S704에서, CPU(111)는 카운트된 흑색 화소들의 수가 임계값보다 큰지의 여부를 평가한다. 직사각형 영역 내의 흑색 화소들의 수가 임계값보다 큰 경우(단계 S704의 예), CPU(111)는 그 영역이 문자와 겹치는 인감을 포함하는 영역이라고 판정하고, 처리는 단계 S705로 진행한다. 흑색 화소들의 수가 임계값 이하인 경우(단계 S704에서 아니오), CPU(111)는 그 영역이 인감이 문자와 겹치는 영역이 아니라고 판정하고 처리는 단계 S706으로 진행한다. 도 8의 예에서, 영역(801)은 임계값보다 큰 흑색 화소들을 포함하고, 따라서 인감이 문자와 겹치는 영역인 것으로 판정된다. 대조적으로, 영역(802)은 0개의 흑색 화소를 포함하고, 따라서 영역(802)은 문자와 겹치는 인감을 포함하는 영역이 아닌 것으로 판정된다. 본 예시적인 실시예에 따르면, 흑색 화소들의 수는 영역이 문자와 겹치는 인감을 포함하는 영역인지의 여부를 판정하기 위한 기준으로서 사용된다. 대안으로서, 흑색 화소 블록의 크기, 흑색 화소 밀도, 및 종횡비는 예를 들어, 영역에 문자가 존재하는지의 여부를 판정하는데 사용될 수 있다. 또 다른 대안으로서, 각각의 직사각형 영역에서 OCR을 수행하여 문자의 확실성을 디지털화하고 그 디지털화된 값이 임계값을 초과하는지의 여부를 평가함으로써 문자형 흑색 화소 블록이 영역에 존재하는지의 여부가 판정되는 방법이 사용될 수 있다.

다음으로, 단계 S705에서, CPU(111)는 문자와 겹치는 인감을 포함하는 영역인 것으로 판정된 직사각형 정보를 RAM(113) 내의 상이한 영역(rects")에 저장하여, 직사각형 정보가 다른 것들로부터 구별될 수 있게 한다. 단계 S705의 동작은 문자와 겹치는 인감을 포함하는 영역인 것으로 판정된 직사각형 정보를 다른 직사각형 정보와 구별하는 것에 관한 것이다. 따라서, 직사각형 정보는 미리 결정된 라벨의 적용에 의해 구별될 수 있다.

다음으로, 단계 S706에서, CPU(111)는 루프 처리를 종료하기 위한 조건이 충족되는지의 여부(단계 S204에서 인감 후보들로서 선택된 모든 직사각형 정보가 평가되었는지의 여부)를 판정하고, 아직 평가되지 않은 직사각형 정보가 존재하는 경우에, 단계 S703 내지 단계 S705의 동작들은 다음 직사각형 정보를 처리 대상으로서 설정하여 반복된다. 단계 S204에서 인감 후보들로서 선택된 모든 직사각형 정보에 대한 평가가 완료된 경우에, 처리는 단계 S707로 진행한다.

다음으로, 단계 S707에서, CPU(111)는 2치 폼 화상(600)에서, 단계 S705에서 문자와 겹치는 인감을 포함하는 영역(즉, 단계 S705에서 "rects"로서 저장된 영역 정보에 대응하는 영역)인 것으로 판정된 영역에 포함되고 적색 추출 화상(400)의 흑색 화소(즉, 폼 화상(300)의 적색 화소)에 대응하는 위치에 위치하는 화소를 백색 화소로 변환하고, 따라서 도 9에서 인감이 제거된 2치 화상(이하, 인감-제거된 2치 화상(900)으로 지칭됨)을 생성한다. 단계 S704에서, 문자와 겹치는 인감을 포함하는 영역인 것으로 판정된 직사각형 영역(801)에 대응하는 영역(901)에서, 인감의 화소들(적색 화소들)이 제거되고, 따라서 문자들이 남는다. 대조적으로, 단계 S704에서, 문자와 겹치는 인감을 포함하는 영역이 되지 않을 것으로 판정된 영역(802)에 대응하는 영역(902)에서, 적색 화소들은 제거되지 않는다. 따라서, 적색 문자들에 대응하는 화소들은 제거되지 않고 존재한다. 인감-제거된 2치 화상(900)을 생성하는 방법으로서, 동일한 화상이 생성될 수 있는 한, 전술한 방법들과 상이한 절차들이 사용될 수 있다. 예를 들어, 인감-제거된 2치 화상(900)은 적색 화소 제거 화상(800)으로부터, 문자와 겹치는 인감을 포함하는 영역인 것으로 판정된 영역(801)에 대응하는 부분 화상을 추출하고 추출된 부분 화상을 2치 폼 화상(600) 내의 영역(601) 상에 덮어쓰기함으로써 생성될 수 있다.

다음으로, 단계 S207에서, CPU(111)는 인감-제거된 2치 화상(900)을 사용하여 문자 영역 추출 처리(각 문자 화상을 분할하기 위한 문자 분할 처리)를 실행하고, 각 문자 화상에 대해 OCR 처리를 실행하고, 인감-제거된 2치 화상(900)에 포함되는 각 문자 화상에 대한 인식 결과를 출력한다. 영역 추출 처리 및 OCR 처리의 알고리즘들에 대해서는 임의의 방법이 사용될 수 있다.

상술한 예시적인 실시예에서는, 인감의 색이 적색으로 설명되었지만, 적색에 한정되지 않는다. 예를 들어, 청색 인감 등이 처리 대상인 경우에, 청색 화소는 적색 화소 대신에 판정 대상일 수 있다. 또한, 본 예시적인 실시예에 따른 인감은 각종 인감 및 스탬프의 자국을 포함한다.

제1 예시적인 실시예에 따르면, 인감 후보가 될 것으로 판정된 영역들 중에서, 인감의 색과 다른 색 그룹 내의 색을 갖는 미리 결정된 수 이상의 화소(예를 들어, 흑색 화소들)를 포함하는 영역 내의 영역으로부터, 인감의 색과 동일한 색 그룹 내의 색을 갖는 화소들(적색 화소들)을 삭제한다(백색 화소들로 변환한다). 대조적으로, 인감의 색과 동일한 색 그룹 내의 색을 갖는 화소들(적색 화소들)은 인감 후보인 것으로 판정되고 인감의 색과 상이한 색 그룹 내의 색을 갖는 미리 결정된 수 이상의 화소(예를 들어, 흑색 화소들)를 그 내부에 포함하지 않는 영역에서 삭제되지 않는다. 따라서, 인감의 색과 동일한 색 그룹 내의 색을 갖는 문자가 인감으로서 잘못 인식되어 제거되는 것을 방지할 수 있다.

(제2 예시적인 실시예)

제2 예시적인 실시예에서는, 제1 예시적인 실시예와의 차이점이 설명될 것이고, 특별히 특정되지 않은 구성들 및 절차들은 제1 예시적인 실시예에 따른 것들과 유사하다. 제1 예시적인 실시예에서는, 인감의 색이 적색인 가정에 대해 처리가 수행되었다. 제2 예시적인 실시예에 따르면, 인감의 색은 입력 화상을 해석함으로써 특정되고, 특정된 색에 기초하여 처리가 수행된다.

도 10은 제2 예시적인 실시예에 따른 처리를 도시하는 흐름도이다. 단계 S1001에서, CPU(111)는 먼저 입력 화상에 포함된 색을 해석한다. 본 예시적인 실시예에 따르면, CPU(111)는 동일한 색을 갖는 것으로 판정된 화소들에 동일한 라벨이 적용되는 방식으로 입력 화상에 포함된 각 화소에 라벨을 적용하는 라벨링 처리를 행한다. 그 후, CPU(111)는 각 라벨마다, 대응하는 라벨이 적용되는 화소들의 수를 카운트하고, 입력 화상에 포함된 각각의 색의 빈도 분포를 산출한다. 도 11은 입력 화상의 색 정보를 해석함으로써 동일한 색을 갖는 것으로 판정된 화소들의 각 그룹의 출현 빈도의 집계 결과를 도시한다. 폼과 같은 통상의 비지니스 문서에서, 가장 빈도가 높은 색은 배경 색이므로, 라벨(1101)에 대응하는 색(예를 들어, 백색)은 도 11의 예에서 배경 색인 것으로 간주된다. 다음으로 가장 빈도가 높은 색은 텍스트에서 종종 사용되는 색이므로, 라벨(1102)에 대응하는 색(예를 들어, 흑색)은 텍스트의 문자 색인 것으로 간주된다. 제2 예시적인 실시예에서는, 가장 빈도가 낮은 색을 인감 등에 사용하는 색인 것으로 간주하고, 따라서 라벨(1103)에 대응하는 색을 인감에 대응하는 특정 색으로 간주한다. 또한, 특정 색 라벨을 적용한 화소가 흑색 화소로서 표현되고, 다른 화소들이 백색 화소들로서 표현되는 2치 화상(특정 화소 추출 화상)이 생성된다.

도 11에서의 해석 결과의 예에서, 특정 색 라벨은 라벨(1103)이다. 입력 화상이 상이한 색을 갖는 복수의 인감을 포함하는 경우에, 라벨링 처리의 결과로서 복수의 색 라벨이 출현된다. 복수의 색 라벨 각각의 출현 빈도는 배경 색 및 텍스트의 주요 색의 출현 빈도보다 낮다. 이러한 경우에, 출현 빈도가 낮은 색 라벨들은 모두 특정 색들로서 간주되고, 특정 색 라벨들에 적용되는 화소들은 흑색 화소들로서 표현되고 다른 화소들은 백색 화소들로서 표현되는 2치 화상(특정 화소 추출 화상)이 생성된다.

다음으로, 단계 S1002에서, CPU(111)는 특정 화소 추출 화상에 대해 모폴로지 처리를 실행하고, 특정 화소 추출 화상에서 서로 가깝게 존재하는 흑색 화소들을 연결하고, 따라서 영역 판정 화상을 생성하는 처리를 수행한다. 단계 S1003에서, CPU(111)는 제1 예시적인 실시예의 단계 S203에서의 동작에서와 같이, 영역 판정 화상으로부터 각 흑색 화소 블록을 외접하는 직사각형에 관한 직사각형 정보를 획득하고, 이 직사각형 정보를 RAM(113)에 저장한다.

다음으로, 단계 S1004에서, CPU(111)는 단계 S1003에서 획득된 직사각형 정보에 대한 인감 유사성을 평가하고, 인감 후보인 것으로 판정된 직사각형 정보를 선택한다. 단계 S1004의 선택 동작에서, 제1 예시적인 실시예에 따른 단계 S204와 유사한 동작이 실행되고, 따라서 직사각형 정보가 인감 후보로서 선택될 수 있다. 단계 S1005 내지 단계 S1007에서, 제1 예시적인 실시예에서의 단계 S205 내지 단계 S207과 유사한 동작들이 실행되고, 따라서 인감의 특정 색을 제거하는 처리는 문자와 겹치는 인감을 포함하는 영역인 것으로 판정된 영역에서 실행된다.

본 예시적인 실시예에 따르면, 적색 이외의 색이 인감의 색으로 사용되는 경우, 인감의 색은 입력 화상의 해석을 통해 자동으로 특정되고 제거될 수 있다.

(제3 예시적인 실시예)

제3 예시적인 실시예에서는, 제1 예시적인 실시예와의 차이점이 설명될 것이고, 특별히 특정되지 않은 구성들 및 절차들은 제1 예시적인 실시예의 것들과 유사하다.

제1 예시적인 실시예에 따르면, 도 7의 단계 S704에서 단계 S703에서 카운트한 흑색 화소들의 수가 임계값 이하인 것으로 판정한 경우에, CPU(111)는 단계 S706으로 처리를 진행한다. 제3 예시적인 실시예에서는, 도 7의 단계 S704에서, 단계 S703에서 카운트한 흑색 화소들의 수가 임계값 이하인 것으로 판정한 경우에, 단계 S707에서 생성된 인감-제거된 2치 화상(900)에서, 카운트한 흑색 화소들에 대응하는 화소들이 제거된다(백색 화소들로 변환된다).

본 예시적인 실시예에 따르면, 인감의 색과 동일한 색 그룹 내의 색을 갖는 문자 영역으로부터 노이즈가 제거될 수 있어, 인감과 겹치는 문자뿐만 아니라 인감의 색과 동일한 색 그룹 내의 색을 갖는 문자에 대해서도 OCR 정확도가 향상될 수 있다.

(제4 예시적인 실시예)

제4 예시적인 실시예에서는, 제1 예시적인 실시예와의 차이점이 설명될 것이고, 특별히 특정되지 않은 구성들 및 절차들은 제1 예시적인 실시예에 따른 것들과 유사하다.

제4 예시적인 실시예에 따르면, 영역이 단계 S704에서, 문자와 겹치는 인감을 포함하는 영역인 것으로 판정된 경우에, CPU(111)는 단계 S703에서 카운팅된 영역의 흑색 화소 블록에 관한 외접된 직사각형 정보를 획득한다.

제1 예시적인 실시예에 따른 단계 S707에서, 문자와 겹치는 인감을 포함하는 영역에 포함되고 적색 화소에 대응하는 위치에 위치하는 화소는 2치 폼 화상(600)에서 백색 화소로 변환된다. 제4 예시적인 실시예에 따르면, 단계 S703에서 획득된 흑색 화소 블록에 대한 외접된 직사각형보다 큰 몇개의 화소들인 영역에 포함되고 적색 화소에 대응하는 위치에 위치하는 화소는 2치 폼 화상(600)에서 백색 화소로 변환된다. 즉, 인감의 것과 유사한 색 그룹을 갖는 적색 화소는 인감이 문자와 겹치는 영역에 문자 화소가 존재하는 위치의 주변으로부터 제거된다.

제4 예시적인 실시예에 따르면, 적색 화소가 인감 후보 영역에서 텍스트의 흑색 문자의 주변으로부터 제거됨으로써, 인감의 것과 유사한 색 그룹을 갖는 적색 문자가 인감 후보 영역에 포함되면, 적색 문자는 제거되지 않고 남겨진다.

(제5 예시적인 실시예)

제1 예시적인 실시예에 따르면, 정보 처리 장치(110)는 도 2 등에 도시된 각각의 흐름도에 기술된 처리를 실행한다. 그러나, 본 발명은 상술한 구성에 한정되지 않고, 다른 장치에 의해 처리가 수행될 수 있다. 예를 들어, 상술한 각각의 흐름도에서의 화상 처리 방법은 스캐너(101)를 포함하는 MFP(100)에서 실행될 수 있거나, 또는 네트워크를 통해 연결된 서버 또는 클라우드에 의해 실행될 수 있다.

(다른 실시예들)

본 발명의 실시예(들)는 또한 저장 매체(이는 더 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'로서 지칭될 수도 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독하고 실행하여, 하나 이상의 상기 실시예(들)의 기능을 수행하고, 및/또는 하나 이상의 상기 실시예(들)의 기능을 수행하기 위한 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어, 하나 이상의 상기 실시예(들)의 기능을 수행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어를 판독하고 실행함으로써 및/또는 하나 이상의 상기 실시예(들)의 기능을 수행하기 위해 하나 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 수행된 방법에 의해 실현될 수도 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 장치(CPU), 마이크로 처리 장치(MPU))를 포함할 수 있으며, 컴퓨터 실행가능 명령어를 판독하고 실행하기 위해 개별 컴퓨터 또는 개별 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어들은 예를 들어, 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는 예를 들어, 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)™), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.

(기타의 실시예)

본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.

또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시예들을 참조하여 본원 개시내용을 설명하였지만, 개시내용이 개시된 예시적인 실시예들로 제한되지 않는다는 것을 이해할 수 있을 것이다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.

Claims

장치로서,
적어도 하나의 메모리; 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 후보 영역을 판정하는 제1 판정 단계;
상기 후보 영역에 포함된 특정 색과 상이한 미리 결정된 색을 갖는 화소에 기초하여 상기 후보 영역으로부터 처리 대상인 영역을 판정하는 제2 판정 단계; 및
상기 입력 화상을 2치화함으로써 획득된 제1 2치 화상에서, 상기 처리 대상인 것으로 판정된 영역에 포함되고 상기 특정 색을 갖는 화소에 대응하는 화소를 백색 화소로 변환함으로써, 상기 특정 색을 갖는 화소에 대응하는 화소가 백색 화소로 변환되는 제2 2치 화상을 생성하는 생성 단계를 수행하는 장치.
제1항에 있어서,
상기 제1 판정 단계는 상기 입력 화상에 포함된 상기 특정 색을 갖는 화소에 기초하여 제3 2치 화상을 생성하고, 상기 제3 2치 화상에 기초하여 상기 후보 영역을 판정하는 장치.
제1항에 있어서,
상기 제1 판정 단계는 상기 입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 제3 2치 화상을 생성하고, 상기 제3 2치 화상에 대해 모폴로지 처리(morphology processing)를 수행하며, 상기 모폴로지 처리 후에 획득된 2치 화상에 기초하여 상기 후보 영역을 판정하는 장치.
제1항에 있어서,
상기 제1 판정 단계는 상기 입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 제3 2치 화상을 생성하고, 상기 제3 2치 화상에 대해 모폴로지 처리를 수행하며, 상기 모폴로지 처리 후에 획득된 2치 화상에 기초하여 판정된 영역들에서 미리 결정된 조건을 충족하는 영역을 판정하는 장치.
제4항에 있어서,
상기 미리 결정된 조건은 인감 유사성을 평가하기 위한 조건인 장치.
제4항에 있어서,
상기 미리 결정된 조건은 영역의 크기 및 상기 영역 내의 흑색 화소들의 화소 밀도 중 적어도 어느 하나를 포함하는 장치.
제1항에 있어서,
상기 특정 색은 인감 또는 스탬프의 색인 장치.
제1항에 있어서,
상기 특정 색은 적색인 장치.
제1항에 있어서,
상기 특정 색은 상기 입력 화상을 해석함으로써 특정된 색인 장치.
제1항에 있어서,
상기 특정 색은 상기 입력 화상 내의 동일한 색을 갖는 각 화소에 적용되는 라벨이 적용된 화소에 기초하여 산출된 빈도 분포에 기초하여 특정된 색인 장치.
제1항에 있어서,
상기 미리 결정된 색을 갖는 화소는 텍스트 내의 문자 색을 갖는 화소인 장치.
제1항에 있어서,
상기 처리 대상으로서의 영역은 상기 제1 2치 화상에서, 상기 제3 2치 화상에서의 흑색 화소들과 동일한 위치의 화소를 백색 화소로 변환함으로써 생성된 제4 2치 화상에서의 후보 영역에 대응하는 영역 내의 흑색 화소들의 수를 카운트한 결과에 기초하여 판정되는 장치.
제12항에 있어서,
상기 카운트된 상기 후보 영역에 대응하는 영역 내의 흑색 화소들 수가 임계값보다 큰 경우에, 상기 후보 영역은 상기 처리 대상으로서의 영역인 것으로 판정되는 장치.
제13항에 있어서,
상기 카운트된 상기 후보 영역에 대응하는 영역 내의 흑색 화소들의 수가 상기 임계값 이하인 경우에, 상기 흑색 화소들에 대응하는 화소들을 백색 화소들로 변환하는 처리가 수행되는 장치.
제1항에 있어서,
상기 제2 2치 화상은 상기 입력 화상을 2치화함으로써 획득된 상기 제1 2치 화상에서 상기 처리 대상인 것으로 판정된 영역 내의 상기 미리 결정된 색을 갖는 화소가 존재하는 위치의 주변에서만 상기 특정 색을 갖는 화소에 대응하는 화소를 백색 화소로 변환함으로써 생성되는 장치.
제1항에 있어서,
상기 적어도 하나의 프로세서는 상기 제2 2치 화상에 대해 문자 인식 처리를 추가로 수행하는 장치.
비일시적 컴퓨터 판독가능 저장 매체에 저장된 프로그램으로서,
프로세서로 하여금:
입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 후보 영역을 판정하는 제1 판정 단계;
상기 후보 영역에 포함된 특정 색과 상이한 미리 결정된 색을 갖는 화소에 기초하여 상기 후보 영역으로부터 처리 대상인 영역을 판정하는 제2 판정 단계; 및
상기 입력 화상을 2치화함으로써 획득된 제1 2치 화상에서, 상기 처리 대상인 것으로 판정된 영역에 포함되고 상기 특정 색을 갖는 화소에 대응하는 화소를 백색 화소로 변환함으로써, 상기 특정 색을 갖는 화소에 대응하는 화소가 백색 화소로 변환되는 제2 2치 화상을 생성하는 생성 단계를 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체에 저장된 프로그램.
화상을 처리하기 위한 방법으로서,
입력 화상에 포함된 특정 색을 갖는 화소에 기초하여 후보 영역을 판정하는 제1 판정 단계;
상기 후보 영역에 포함된 특정 색과 상이한 미리 결정된 색을 갖는 화소에 기초하여 상기 후보 영역으로부터 처리 대상인 영역을 판정하는 제2 판정 단계; 및
상기 입력 화상을 2치화함으로써 획득된 제1 2치 화상에서, 상기 처리 대상인 것으로 판정된 영역에 포함되고 상기 특정 색을 갖는 화소에 대응하는 화소를 백색 화소로 변환함으로써, 상기 특정 색을 갖는 화소에 대응하는 화소가 백색 화소로 변환되는 제2 2치 화상을 생성하는 생성 단계를 포함하는 방법.