KR101457741B1

KR101457741B1 - 썸네일 기반의 이미지 품질 검사

Info

Publication number: KR101457741B1
Application number: KR1020107023380A
Authority: KR
Inventors: 사마다니 라민; 다니엘 트레터; 키스 무어
Original assignee: 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date: 2008-03-20
Filing date: 2008-03-20
Publication date: 2014-11-03
Also published as: CN102113306A; WO2009116962A1; US20110087998A1; JP5044041B2; US8977076B2; EP2269367A1; KR20110002037A; JP2011517888A; EP2269367A4

Abstract

제 1 픽셀 해상도를 갖는 입력 이미지(7)는 이미지 캡쳐 시스템(2)으로부터 취득된다. 입력 이미지(7)의 적어도 하나의 각 시각적 품질 특징의 개개의 특성이 결정된다. 출력 썸네일 이미지(9)는 입력 이미지(7)로부터 생성된다. 출력 썸네일 이미지(9)는 각 시각적 품질 특징의 개개의 특성을 반영한다. 출력 썸네일 이미지(9)는 제 1 픽셀 해상도보다 낮은 제 2 픽셀 해상도를 갖는다. 출력 썸네일 이미지(9)는 이미지 캡쳐 시스템(2)의 동작과 함께 출력된다.

Description

썸네일 기반의 이미지 품질 검사{THUMBNAIL BASED IMAGE QUALITY INSPECTION}

본 출원은 2006년 12월 1일에 출원된 미국 출원 제11/607,181호에 관련되어 있으며, 이는 본 명세서에서 참조로 포함되어 있다.

촬상 장치(예컨대, 복사기, 스캐너, 디지털 스틸 카메라, 디지털 비디오 카메라, 팩스 머신)는, 종이 문서로부터의 디지털 문서 생성, 사전에 인쇄된 사진의 고품질의 디지털 렌디션(digital rendition), 및 광문자 인식을 포함한, 다수의 애플리케이션에 있어서 문서의 이미지를 캡쳐하는데 사용된다. 후속 처리에서의 시간 낭비 및 오류를 피하기 위해서, 스캔의 품질을 (바람직하게는 이미지가 캡쳐될 때에) 검증하는 것이 종종 중요하다. 이와 관련하여, 캡쳐된 이미지를 특정한 목적지(예를 들면, 프린터, 저장 매체, 및 네트워크)로 출력하기 전에 캡쳐된 문서 이미지의 프리뷰 이미지를 표시하는 시스템이 개발되었다. 이들 시스템에 의해, 사용자는, 통상, 복수의 이미지 캡쳐 설정을 조정하고, 변경된 이미지 캡쳐 설정에 따라 문서의 다른 이미지를 캡쳐할 수 있다. 그러나, 이들 시스템에서, 이미지 품질을 검사하는 프로세스는 어렵다. 예컨대, 높은 픽셀 해상도로 캡쳐된 이미지의 품질을 결정하기 위해서, 조작자 또는 사용자는, 통상, 이미지 내의 다양한 시각적 특징(visual features)의 품질이 적절히 평가될 수 있기 전에, 이미지 파일을 열어서 이미지의 줌인된 상이한 영역을 통해서 보여준다. 특히 이들 시스템에서 통상적으로 이용가능한 제한된 관찰 영역을 감안하면, 이러한 프로세스는 힘들고 시간이 걸린다.

일 측면에서, 본 발명은, 제 1 해상도를 갖는 입력 이미지를 이미지 캡쳐 시스템으로부터 취득하는 방법을 특징으로 한다. 입력 이미지의 적어도 하나의 각 시각적 품질 특징(visual quality feature)의 개개의 특성(chracterization)이 결정된다. 출력 썸네일 이미지가 입력 이미지로부터 생성된다. 출력 썸네일 이미지는 각 시각적 품질 특징의 개개의 특성을 반영한다. 출력 썸네일 이미지는 제 1 픽셀 해상도보다 낮은 제 2 픽셀 해상도를 갖는다. 출력 썸네일 이미지는 이미지 캡쳐 시스템의 동작과 함께 출력된다.

또한, 본 발명은 기계에 의해 상기한 방법을 실시할 수 있는 기계 판독가능한 명령을 저장하는 기계 판독가능한 매체 및 시스템을 특징으로 한다.

본 발명의 다른 특징 및 이점은, 도면 및 청구항을 포함한 이하의 설명으로부터 명백해질 것이다.

도 1은 이미지 처리 시스템 및 디스플레이의 실시형태를 포함하는 이미지 품질 검사 시스템의 실시예의 블록도,
도 2는 이미지 처리 방법의 실시예의 흐름도,
도 3(a)는 종래기술의 썸네일 생성 프로세스에 따라 생성되는 스캐닝된 문서의 썸네일 이미지,
도 3(b)는 도 2의 방법 실시예에 따라 생성되는 스캐닝된 문서의 썸네일 이미지,
도 3(c)는 도 2의 방법 실시예에 따라 생성되는 스캐닝된 문서의 썸네일 이미지,
도 4는 도 1의 이미지 처리 시스템의 실시형태의 블록도,
도 5는 이미지 처리 방법의 실시예의 흐름도,
도 6은 도 4에 도시된 이미지 처리 시스템의 실시형태의 블록도,
도 7은 도 6에 도시된 이미지 처리 시스템의 실시형태에 의해 생성된 정보의 흐름도,
도 8은 이미지 처리 방법의 실시예의 흐름도,
도 9는 이미지 처리 방법의 실시예의 흐름도,
도 10은 도 9의 이미지 처리 방법의 실시예에 의해 생성된 정보의 흐름도,
도 11은 이미지 처리 방법의 실시예의 흐름도,
도 12는 도 11의 이미지 처리 방법의 실시예 의해 생성된 정보의 흐름도,
도 13은 이미지 처리 방법의 실시예의 흐름도,
도 14는 도 13의 이미지 처리 방법의 실시예에 의해 생성된 정보의 흐름도,
도 15는 도 1의 이미지 처리 시스템의 실시예의 블록도,
도 16은 이미지 처리 방법의 실시예의 흐름도,
도 17은 도 16의 방법 실시예에 따라 콘텐츠 타입별로 분할된 이미지의 개략도,
도 18은 도 16의 방법 실시예에 따라 썸네일 이미지의 분할된 영역의 복수의 썸네일 이미지와, 썸네일 이미지의 렌더링을 표현하는 디스플레이의 실시형태의 개략도,
도 19는 도 1의 이미지 처리 시스템의 실시형태의 개략도,
도 20은 도 1의 이미지 처리 시스템의 실시형태의 개략도.

이하의 설명에서는, 동일한 참조 번호는 동일한 요소를 식별하는데 사용된다. 또한, 도면은 예시적인 실시예의 주요한 특징들을 도식적인 방식으로 나타내는 것을 목적으로 한다. 도면은 실제의 실시예의 모든 특징 또는 그 묘사된 요소의 상대적인 치수를 묘사하는 것을 목적으로 하지 않으며, 또한 실제 축적대로 그려져 있지 않다.

I. 도입

여기서 상세하게 설명되는 실시예는, 입력 이미지의 시각적 품질 특징의 개선된 표현을 제공하는 포토리얼리스틱(photorealistic) 이미지 썸네일을 생성할 수 있다. 이와 같이, 이들 실시예에 의해, 사용자는 입력 이미지의 품질을 정확하게 알아낼 수 있다. 이 정보는, 예컨대, 원래 이미지 파일을 열어서 원래 이미지의 상이한 줌인된 영역을 통해 보여주는 시간이 걸리고 힘든 작업을 수행하지 않고서, 입력 이미지가 캡쳐될 때의 문서 이미지의 품질을, 문서 이미지의 간단한 검사에 의해 빠르게 결정하는데 사용될 수 있다. 또한, 이들 실시예에 의해, 사용자는 문서의 다른 이미지를 캡쳐하기 전에 다양한 이미지 캡쳐 설정들에 대해 요구되는 조정을 쉽게 결정할 수 있다.

여기서 사용되는 바와 같이, "포토리얼리스틱 썸네일 이미지"란, 대응하는 입력 이미지의 배치, 비율 및 국소적인 상세를 반영한 입력 이미지의 저감된 해상도의 버전을 지칭한다. 포토리얼리스틱 썸네일 이미지는, 고해상도의 시각 요소를 반드시 객관적으로 재현하지 않고서, 대응하는 입력 이미지의 상이한 시각 요소의 시각적인 외관을 주관적으로 전달하는 재현 요소 또는 합성 요소 중 어느 하나를 포함할 수 있다. 반대로, "비포토리얼리스틱(non-photorealistic) 썸네일 이미지"란, 정보를 전달하는 방식에 있어서 관찰자의 관심을 집중시키도록 입력 이미지의 시각 요소의 국소적인 상세를 의도적으로 또한 모식적으로 변경하는 입력 이미지의 저감된 해상도의 버전을 지칭한다.

"문서"란, 물리적 저장 매체(예를 들면, 전자 메모리 디바이스, 또는, 용지 등의 인쇄 매체)에 기록 또는 저장된 개별적인 개체로서 설계 및 표현되는 정보의 집합을 의미한다.

"시각적 품질 특징(visual quality feature)"이란, 인지된 시각적 품질에 영향을 미치거나, 그 특징을 포함한 이미지의 영역 또는 범위에 영향을 미치는 이미지의 속성 또는 특징을 의미한다. 예시적인 시각적 품질 특징은, 블러링(blur), 노이즈, 텍스처, 채도 및 스펙큘러 하이라이트(specular highlights)를 포함하지만, 이에 한정되는 것은 아니다.

"픽셀 해상도"란, 이미지 내의 픽셀수를 지칭한다. 픽셀수는, 예컨대, 이미지에 대응하는 픽셀 어레이의 수평 치수와 수직 치수의 곱으로서 또는 전체 픽셀수로서 표현될 수 있다.

"컴퓨터"는 임시로 또는 영구적으로 기계 판독가능한 매체 상에 저장되는 기계 판독가능한 명령(예를 들면, 소프트웨어)에 따라 데이터를 처리하는 기계이다. 특정한 작업을 수행하는 이러한 명령의 집합은 프로그램 또는 소프트웨어 프로그램으로 불리운다.

"기계 판독가능한 매체"란, 기계(예를 들면, 컴퓨터)에 의해 판독가능한 정보를 운반할 수 있는 임의의 매체를 지칭한다. 이러한 명령 및 데이터를 분명히 실현하기에 적합한 저장 디바이스는, 예컨대 EPROM, EEPROM, 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스, 내장 하드디스크, 이동가능한 하드디스크와 같은 자기 디스크, 자기광 디스크, DVD-ROM/RAM, 및 CD-ROM/RAM을 포함한 비휘발성 컴퓨터 판독가능한 메모리의 모든 형태를 포함하지만, 이에 한정되는 것은 아니다.

II . 이미지 품질 검사 시스템의 실시형태의 개요

A. 도입

도 1은 이미지 캡쳐 시스템(2), 입력 이미지 처리 시스템(3), 및 디스플레이(4)를 포함하는 이미지 품질 검사 시스템(1)의 실시형태를 나타낸다. 입력 이미지 처리 시스템(3)은 시각적 품질 특징 특성 모듈(5) 및 출력 썸네일 생성기 모듈(6)을 포함한다. 일부 실시예에서, 이미지 캡쳐 시스템(2), 입력 이미지 처리 시스템(3), 및 디스플레이(4)는 단일의 별도의 전자 디바이스에 구비되어 있다. 다른 실시예에서, 이미지 캡쳐 시스템(2), 입력 이미지 처리 시스템(3), 및 디스플레이(4)는 2개 이상의 분리된 별도의 디바이스에 구비되어 있다.

동작시에, 이미지 캡쳐 시스템(2)은 문서(8)의 하드카피로부터 입력 이미지(7)를 생성하고, 입력 이미지 처리 시스템(3)은 입력 이미지(7)를 처리하여, 디스플레이(4) 상에 랜더링되는 출력 썸네일 이미지(9)를 생성한다. 입력 이미지(7)는 제 1 픽셀 해상도를 갖고, 출력 썸네일 이미지(9)는 입력 이미지(7)의 픽셀 해상도보다 낮은 제 2 픽셀 해상도를 갖는다.

도 2는 입력 이미지 처리 시스템(3)에 의해 구현되는 방법의 실시예를 나타낸다. 이 방법에 의하면, 시각적 품질 특징 특성 모듈(5)은 이미지 캡쳐 시스템(2)으로부터 입력 이미지(7)를 취득한다(도 2, 블록 11). 시각적 품질 특징 특성 모듈(5)은 입력 이미지(7)의 적어도 하나의 각 시각적 품질 특징의 개개의 특성을 결정한다(도 2, 블록 13). 출력 썸네일 생성기 모듈(6)은 입력 이미지(7)로부터 출력 썸네일 이미지(9)를 생성한다(도 2, 블록 15). 출력 썸네일 이미지(9)는 각 시각적 품질 특징의 개개의 특성을 반영한다. 출력 썸네일 이미지(9)는 이미지 캡쳐 시스템(2)의 동작과 함께 출력된다(도 2, 블록 19).

나타내어진 실시예에서, 출력 썸네일 이미지(9)는, 이미지 캡쳐 시스템(2)의 동작과 함께 디스플레이(4) 상의 프리뷰 윈도우(17)에서 랜더링함으로써 출력된다. 다른 실시예에서, 출력 썸네일 이미지(9)는, 입력 이미지(7) 또는 그 입력 이미지(7)에 관한 다른 데이터(예를 들면, 입력 이미지(7)를 생성하는데 사용되는 이미지 캡쳐 파라미터)와 관련하여(예를 들면, 연관되어) 기계 판독가능한 매체 상의 데이터베이스에 저장함으로써 출력된다. 다른 실시예에서, 출력 썸네일 이미지(9)는, 인쇄 매체(예를 들면, 용지) 상에 랜더링함으로써 출력된다.

도 3(a)는, 스캐닝된 문서의 원래 이미지의 다운 샘플링(예를 들면, 평균화된 다운 샘플링)을 포함하는 종래기술의 썸네일 생성 프로세스에 따라 생성되는 스캐닝된 문서의 원래 이미지의 예시적인 썸네일 이미지(21)를 나타낸다. 이 예에서, 썸네일 이미지(21)는 원래의 스캐닝된 문서 이미지에서의 실제로 인지가능한 블러링을 반영하지 않는다.

도 3(b)는 도 2의 방법 실시예에 따라 생성되는 썸네일 이미지(23) 이외에, 썸네일 이미지(21)가 도출되는 원래의 스캐닝된 문서 이미지의 출력 썸네일 이미지(23)를 도시한다. 이 경우에, 썸네일 이미지(23)는, 도 3(a)에 도시된 썸네일 이미지(21)보다 원래의 스캐닝된 문서 이미지에서의 실제로 인지가능한 블러링을 보다 잘 반영한다.

도 3(c)는 도 2의 방법 실시예에 따라 생성되는 썸네일 이미지(25) 이외에, 썸네일 이미지(21)가 도출되는 원래의 스캐닝된 문서 이미지의 출력 썸네일 이미지(25)를 도시한다. 이 경우에, 썸네일 이미지(25)는, 도 3(a)에 도시된 썸네일 이미지(21)보다 원래의 스캐닝된 문서 이미지에서의 실제로 인지가능한 블리드 스루(bleed-through)(썸네일 이미지(25)의 백색 배경 영역 내의 흐린 대각선(27) 참조)를 보다 잘 반영한다.

입력 이미지(7)의 시각적 품질의 개선된 표현을 제공함으로써, 여기서 설명되는 실시예에 의해, 사용자는 원래 이미지 파일을 열어서 원래 이미지의 상이한 줌인된 영역을 통해서 보여주는 시간이 걸리고 힘든 작업을 수행하지 않고서 원래 스캐닝된 이미지의 품질을 빠르고 정확하게 알아낼 수 있다. 이와 같이, 사용자는 입력 이미지(7)에 대해서 사전 특성된 문서 처리 워크플로우(예를 들면, 입력 이미지에 대한 OCR 분석을 수행, 입력 이미지를 보관, 예를 들어 전자 메일에 의해 네트워크 목적지로 입력 이미지의 복사본 전달, 또는 입력 이미지 인쇄)로 진행할지 또는, 상이한 캡쳐 설정을 이용하여 이미지 캡쳐 시스템(2)에 의해 캡쳐된 문서의 다른 이미지로 원래 스캐닝된 문서 이미지가 대체되어야 할지를 쉽게 결정할 수 있다.

B. 이미지 캡쳐 시스템

이미지 캡쳐 시스템(2)은 문서(8)로부터 전자 이미지 데이터를 생성할 수 있는 소정 형태의 디바이스 또는 시스템 구성요소에 의해 구현될 수 있다. 이미지 캡쳐 시스템(2)의 예시적인 구현예는 디지털 이미지 스캐너, 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 복사기(또는 단순히 "복사기"), 팩스 머신, 및 이들 디바이스 중 어느 하나의 구성요소를 포함하지만, 이에 한정되는 것은 아니다.

C. 디스플레이

디스플레이(4)는 출력 썸네일 이미지(9)를 사용자에게 시각적으로 표현할 수 있는 소정 형태의 디바이스로 구현될 수 있다. 예컨대, 디스플레이(4)는 LCD(liquid crystal display), 플라즈마 디스플레이, EL 디스플레이(elcetro-luminescent display), FED(field emission display) 등의 플랫 패널 디스플레이일 수 있다. 일부 실시예에서, 디스플레이(4)는 독립형 컴퓨터 모니터 디스플레이에 의해 구현된다. 다른 실시예에서, 디스플레이(4)는 대형 시스템(예를 들면, 이미지 캡쳐 시스템(2)의 구현예)의 디스플레이 구성요소에 의해 구현된다.

D. 입력 이미지 처리 시스템

입력 이미지 처리 시스템(3)은, 임의의 특정한 하드웨어, 펌웨어, 또는 소프트웨어 구성에 한정되지 않는 하나 이상의 별도의 모듈(또는 데이터 처리 구성요소)에 의해 구현될 수 있다. 도시된 실시예에서, 시각적 품질 특징 특성 모듈(5) 및 출력 썸네일 생성기 모듈(6)은, 디지털 전자 회로(예를 들면, 디지털 신호 프로세서(DSP)와 같은 특수 용도의 집적 회로) 또는 컴퓨터 하드웨어, 펌웨어, 디바이스 드라이버, 또는 소프트웨어를 포함하는 임의의 컴퓨팅 또는 데이터 처리 환경에서 구현될 수 있다. 일부 실시예에서, 다수 모듈(5-6)의 기능이 단일의 처리 구성요소로 결합된다. 일부 실시예에서, 하나 이상의 각 모듈(5-6)의 개개의 기능이 다수의 처리 구성요소의 개개인 집합에 의해 수행된다. 일부 구현예에서, 입력 이미지 처리 시스템(3)에 의해 실행되는 방법을 구현하기 위한 컴퓨터 프로세스 명령뿐만 아니라, 입력 화상 처리 시스템(3)이 생성하는 데이터도, 하나 이상의 기계 판독가능한 매체에 저장된다.

III . 입력 이미지 처리 시스템의 제 1 실시형태

도 4는 시각적 특징 분석 모듈(16), 해상도 저감 모듈(18), 썸네일 이미지 생성 모듈(20)을 포함하는 입력 이미지 처리 시스템(3)의 실시형태(10)를 나타낸다. 동작시에, 입력 이미지 처리 시스템(10)은 입력 이미지(7)를 처리하여, 출력되는(예를 들면, 비휘발성 컴퓨터 판독가능한 매체에 저장되거나, 비휘발성 컴퓨터 판독가능한 매체에 저장되거나, 디스플레이(9) 상에 랜더링되거나, 용지와 같은 인쇄 매체에 랜더링되는) 썸네일 이미지(9)를 생성한다.

입력 이미지 처리 시스템(10)은 임의의 특정한 하드웨어, 펌웨어, 또는 소프트웨어 구성에 한정되지 않는 하나 이상의 디스크리트 모듈(discrete modules)(또는 데이터 처리 구성요소)에 의해 구현될 수 있다. 나타내어진 실시예에서, 모듈(16-20)은 디지털 전자 회로(예를 들면, 디지털 신호 프로세서(DSP)와 같은 특수 용도의 집적 회로), 또는, 컴퓨터 하드웨어, 펌웨어, 디바이스 드라이버, 또는 소프트웨어를 포함한 임의의 컴퓨팅 또는 데이터 처리 환경에서 구현될 수 있다. 일부 실시예에서, 다수의 모듈(16-20)의 기능은, 단일의 처리 구성요소에 결합된다. 일부 실시예에서, 하나 이상의 각 모듈(16-20)의 개개의 기능은 복수의 처리 구성요소의 개개의 집합에 의해 수행된다. 일부 구현예에서는, 입력 이미지 처리 시스템(10)에 의해 실행되는 방법을 구현하기 위한 컴퓨터 프로세스 명령뿐만 아니라, 입력 이미지 처리 시스템(10)이 생성하는 데이터도, 하나 이상의 기계 판독가능한 매체에 저장된다.

도 5는 입력 이미지 처리 시스템(10)에 의해 구현되는 방법의 실시예를 나타낸다.

이 방법에 의하면, 시각적 특징 분석 모듈(16)은 입력 이미지(7)의 국소 입력 이미지 영역의 개개의 시각적 특징(26)을 분석하여 결과를 생성한다(도 5, 블록 28). 일반적으로, 시각적 특징을 분석한 결과는, 국소 입력 이미지 영역의 하나 이상의 시각적 성질 또는 속성(예를 들면, 블러링, 노이즈, 텍스처, 채도, 또는 스펙큘러 하이라이트의 양 또는 레벨)을 특성하거나, 측정하거나, 또는 지정하는 파라미터의 값일 수도 있고, 또는 국소 입력 이미지 영역의 그러한 시각적 성질 또는 속성을 포현하는 모델일 수도 있다.

시각적 특징(26)을 분석한 결과에 근거하여, 해상도 저감 모듈(18)은, 입력 이미지(7)로부터, 국소 입력 이미지 영역 중 대응하는 영역의 저감된 해상도의 시각적 표현(30)을 도출한다(도 5, 블록 32). 저감된 해상도의 시각적 표현(30)은 통상적으로 국소 입력 이미지 영역 중 대응하는 영역에서의 하나 이상의 시각적 특징을 모델링한다. 일부 경우에, 이들 모델은 시각적 특징과 근본적인 이미지 표현과의 조합에 대응한다. 다른 경우에는, 이들 모델은 시각적 특징 자체의 표현에 대응하고, 이 경우, 통상적으로 입력 이미지(7)의 근본적인 저감된 해상도의 표현과 조합되어야 하는 변동 또는 변경으로서 지정된다.

썸네일 이미지 생성 모듈(20)은 저감된 해상도의 시각적 표현(30)으로부터 썸네일 이미지(9)를 생성한다(도 5, 블록 34). 썸네일 이미지(9)는 입력 이미지(7)의 픽셀 해상도보다 낮은 픽셀 해상도를 갖는다. 썸네일 이미지(14)는 입력 이미지(7)의 배치, 비율 및 국소적인 상세를 반영한다.

썸네일 이미지 생성 모듈(20)은 썸네일 이미지(9)를 출력한다(도 5, 블록 36). 예컨대, 일부 실시예에서, 썸네일 이미지 생성 모듈(20)은 썸네일 이미지(9)의 적어도 일부를 기계 판독가능한 데이터 저장 매체 상에 저장함으로써 썸네일 이미지(9)를 출력한다. 기계 판독가능한 데이터 저장 매체는 통상적으로 컴퓨터 판독가능한 저장 매체 등의 전자 메모리 디바이스이다. 일부 실시예에서, 썸네일 이미지 생성 모듈(20)은 기계 판독가능한 데이터 저장 매체에 전체 썸네일 이미지(9)를 한번에 저장한다. 다른 실시예에서는, 썸네일 이미지 생성 모듈(20)은, 처리 리소스와 메모리 리소스의 한쪽 또는 양쪽이 엄격하게 제약되는 내장된 프린터 환경 등의 내장된 환경에 의해 부여되는 제약 조건을 충족시키기 위해서, 기계 판독가능한 데이터 저장 매치에 라인마다 썸네일 이미지(9)를 저장한다. 일부 실시예에서, 썸네일 이미지 생성 모듈(20)은 썸네일 이미지(9)를 랜더링함으로써 썸네일 이미지(9)를 출력한다. 예컨대, 일부 실시예에서, 썸네일 이미지 생성 모듈(20)은 디스플레이(4) 상에 썸네일 이미지(9)를 랜더링한다(도 1 참조). 다른 실시예에서는, 썸네일 이미지 생성 모듈(20)은 인쇄 매체(예를 들면, 1장의 용지) 상에 썸네일 이미지(9)를 랜더링한다.

시각적 특징 분석 모듈(16)에 의해 분석되는 국소 입력 이미지 영역의 시각적 특징은, 입력 이미지(7)의 하나 이상의 시각적 속성 또는 성질에 대응한다. 일부 실시예에서, 입력 이미지 처리 시스템(10)은, 입력 이미지(7)의 복수의 시각적 속성 또는 성질을 동시에 분석하고, 또한 시각적 속성 또는 성질을 분석한 결과로부터 국소 입력 이미지 영역의 저감된 해상도의 시각적 표현을 도출하는 단일의 처리 파이프라인을 통해서 입력 이미지(7)를 처리한다. 다른 실시예에서, 입력 이미지 처리 시스템(10)은 각각의 시각적 속성 또는 성질에 대해서 별도의 처리 파이프라인을 통해서 입력 이미지(7)를 처리한다.

도 6은, 시각적 특징 분석 모듈(16)이 N개의 국소 입력 이미지 영역 분석 모듈(42)(N은 최소 2의 정수값을 가짐)을 포함하는 입력 이미지 처리 시스템(10)의 실시예(40)를 나타내고, N개의 국소 입력 이미지 영역 분석 모듈(42)의 각각은 국소 입력 이미지 영역의 각 시각적 속성 또는 성질을 분석한 개개의 결과(44)를 생성한다. 또한, 입력 이미지 처리 시스템(40)은 N개의 해상도 저감 처리 파이프라인(46)을 포함하고, N개의 해상도 저감 처리 파이프라인(46)의 각각은, 국소 입력 이미지 영역의 시각적 특징을 분석한 대응하는 결과(44)로부터, 저감된 해상도의 시각적 표현의 각 집합(48)을 도출한다. 일부 실시예에서, 저감된 해상도의 시각적 표현의 개개의 집합(48)은, 저감된 해상도의 합성 이미지 또는 맵의 형태로 썸네일 이미지 생성 모듈(20)로 전달된다. 다른 실시예에서는, 저감된 해상도의 시각적 표현은, 국소 입력 이미지 영역 중 개개의 영역에 각각 대응하는 별도의 개별적인 서브 이미지 또는 서브 맵으로서, 썸네일 이미지 생성 모듈로 전달된다.

도 7은, 입력 이미지(7)로부터 썸네일 이미지(9)를 생성하는 프로세스의 실시예 중에, 여러 단계에서 입력 이미지 처리 시스템(40)에 의해 생성되는 정보의 흐름도를 나타낸다. 이 프로세스에 의하면, 해상도 저감 처리 파이프라인(46)의 각각은, 국소 입력 이미지 영역의 시각적 특징을 분석한 결과(44)로부터, 국소 입력 이미지 영역의 저감된 해상도의 시각적 표현의 개개의 집합(48)을 도출한다. 해상도 저감 처리 파이프라인(46)은, 저감된 해상도의 시각적 표현의 집합(48)을, 저감된 해상도의 시각적 표현의 집합(48)을 결합하여 썸네일 이미지(9)를 생성하는 썸네일 이미지 생성 모듈(20)로 전달한다. 이 프로세스에서, 썸네일 이미지 생성 모듈(20)은 하나 이상의 합성 연산(예를 들면, 하나 이상의 오버레이(overlay) 합성 연산과 가산 합성 연산)을 사용할 수 있다. 저감된 해상도의 시각적 표현의 집합(48)을 결합하기 위해 이미지 생성 모듈(20)에 의해 사용될 수 있는 소정 형태의 합성 연산에 관한 추가적인 상세는, Porter 및 Duff저 "Compositing Digital Images", Computer Graphics, Vol.18, No.3, pp.253-259(1984년 7월)에서 발견될 수 있다.

IV . 입력 이미지 처리 시스템의 구성요소의 예시적인 실시형태

상기한 바와 같이, 입력 이미지 처리 시스템(10)의 실시형태는, 입력 이미지(7)의 국소 영역의 하나 이상의 시각적 속성 또는 성질에 대응하는 시각적 특징을 모델링하는 저감된 해상도의 시각적 표현으로부터, 썸네일 이미지(9)를 생성할 수 있다. 입력 이미지 처리 시스템(10)에 의해 모델링되는 예시적인 시각적 속성 또는 성질은, 블러링, 노이즈, 텍스처, 채도, 및 스펙큘러 하이라이트를 포함하지만, 이것에 한정되는 것은 아니다.

A. 국소 입력 이미지 영역에서의 블러링의 모델링

도 8은 입력 이미지 처리 시스템(10)이 입력 이미지(7)의 국소 영역에서의 블러링을 모델링하는 방법의 실시예를 나타낸다.

도 8의 블러링 모델링 방법에 의하면, 시각적 특징 분석 모듈(16)은 국소 입력 이미지 영역의 각각에 대해 대응하는 블러링 파라미터값을 결정한다(도 8, 블록 50). 일부 실시예에서, 블러링 파라미터값은, 국소 입력 이미지 영역에서의 블러링의 특정한 모델 또는 시각적 표현에 따라, 국소 입력 이미지 영역에서의 블러링의 양과 상관된다. 다른 실시예에서, 블러링 파라미터값은, 국소 입력 이미지 영역에서의 특정한 모델 또는 시각적 표현에 따라, 국소 입력 이미지 영역에서의 블러링의 양의 직접적 또는 간접적인 척도를 제공한다.

해상도 저감 모듈(18)은, 대응하는 블러링 파라미터값에 근거하여, 국소 입력 이미지 영역에서의 블러링을 표현하는 각 저감된 해상도의 블러링 모델을 결정한다(도 8, 블록 52). 일부 실시예에서, 블러링 모델은, 대응하는 블러링 파라미터값에 의해 결정되는 각각의 양에 의해 블러링되는 저감된 해상도의 베이스 이미지의 각 영역에 대응한다. 다른 실시예에서는, 블러링 모델은, 각 블러링 필터에 의해 필터링되는 국소 입력 이미지 영역의 다운 샘플링된 버전에 대응하고, 블러링 필터에 의해 생성된 블러링의 양은 대응하는 블러링 파라미터값에 의해 설정된다.

일부 실시예에서, 썸네일 이미지 생성 모듈(20)은 저감된 해상도의 블러링 모델로부터 썸네일 이미지(9)를 합성할 수 있고, 저감된 해상도의 블러링 모델의 각각은 썸네일 이미지(9)의 각 국소 영역에 대응한다. 이들 실시예의 구성 및 동작에 관한 추가적인 상세에 대해서는, 2006년 12월 1일에 출원되어 현재 계류중인 미국 특허 출원 제11/607,181호에서의 도 6-8에 관련된 기재에서 설명되어 있다.

B. 국소 입력 이미지 영역에서의 노이즈 모델링

도 9는 입력 이미지 처리 시스템(10)이 입력 이미지(7)의 국소 영역에서의 노이즈를 모델링하는 방법의 실시예를 나타낸다. 도 10은 이 노이즈 모델링 방법의 여러 단계에서 생성된 정보의 흐름도를 나타낸다.

도 9의 노이즈 모델링의 방법에 의하면, 시각적 특징 분석 모듈(16)은 입력 이미지(7)에서의 노이즈를 표현하는 입력 이미지 노이즈 모델(84)을 결정한다(도 9, 블록 86). 일부 실시예에서, 시각적 특징 분석 모듈(16)은 입력 이미지(7)에서의 노이즈 분산의 추정치로부터 입력 이미지 노이즈 모델(84)을 도출한다. 이들 실시예의 일부에서, 입력 이미지 노이즈 모델은, 입력 이미지(7)의 고역 통과 필터링된 버전을 계산하고, 그 결과의 고역 통과 필터링된 이미지에 소프트 임계값(soft threshold)을 적용함으로써 생성되고, 상기 임계값은 입력 이미지(7)에서의 노이즈의 전역적인 추정치에 근거하여 설정된다.

해상도 저감 모듈(18)은 입력 이미지 노이즈 모델(84)로부터 저감된 해상도의 노이즈 모델(88)을 생성한다(도 9, 블록 90). 일부 실시예에서, 해상도 저감 모듈(18)은, 입력 이미지 노이즈 모델(84)을 썸네일 이미지(9)의 목표 픽셀 해상도 레벨로 다운 샘플링함으로써, 저감된 해상도의 노이즈 모델(88)을 생성한다. 이들 실시예의 일부에서, 해상도 저감 모듈(18)은 지터를 갖는 그리드(jittered grid) 상에서 입력 이미지 노이즈 모델(84)을 서브 샘플링하여, 저감된 해상도의 노이즈 모델(88)을 생성한다(Robert L. Cook 저, "Stochastic Sampling in Computer Graphics", ACM Transactions on Graphics(TOG), Volume 5, Issue 1, pp.51-72(1986년 1월) 참고).

썸네일 이미지 생성 모듈(20)은 저감된 해상도의 노이즈 모델(88)에 근거하여 썸네일 이미지(9)를 생성한다(도 9, 블록 92). 도시된 실시예에서, 썸네일 이미지 생성 모듈(20)은 저감된 해상도의 노이즈 모델(88)을 베이스 이미지(94)와 결합하여, 썸네일 이미지(9)를 생성한다. 일부 실시예에서, 썸네일 이미지 생성 모듈(20)은 저감된 해상도의 노이즈 모델(88)에서의 픽셀의 값을 베이스 이미지(94)의 대응하는 픽셀의 값에 더한다.

일부 실시예에서, 베이스 이미지(94)는 입력 이미지(7)를 저역 통과 필터링하고 썸네일 이미지(9)의 목표 픽셀 해상도로 다운 샘플링함으로써 생성되는 표준 썸네일 이미지에 대응한다. 다른 실시예에서, 베이스 이미지(94)는, 여기서 설명되는 실시예에 따라, 입력 이미지(7)의 국소 영역 중 대응하는 영역의 하나 이상의 저감된 해상도의 시각적 표현을 포함하는 입력 이미지(7)의 저감된 해상도 버전에 대응한다. 예컨대, 하나의 예시적인 실시예에서, 베이스 이미지(94)는 도 8에 도시된 저감된 해상도의 블러링 이미지(82)에 대응한다.

입력 이미지에서의 노이즈와 유사한 외관을 갖는 노이즈를 생성하는 다른 방법은, 입력 이미지로부터 분산 및 공간 공분산(spatial covariance) 등의 노이즈 모델 파라미터를 추정하는 단계와, 그 후 필터링된 의사 난수(pseudo-random)를 사용함으로써 이들 특징 파라미터를 갖는 노이즈 프로세스를 시뮬레이션하는 단계를 포함한다.

일부 실시예에서, 블리드 스루는, 블리드 스루를 포함하는 입력 이미지의 집합으로부터 생성된 썸네일의 분석에 근거하여, 노이즈 모델링 파라미터가 선택되는 상기한 노이즈 모델링 방법 중 하나의 변경된 버전을 사용하고, 또한, 입력 이미지에 포함된 블리드 스루를 가장 잘 묘사하는 출력 썸네일 이미지를 생성하는 노이즈 모델링 파라미터의 집합을 선택하여 모델링된다.

C. 국소 입력 이미지 영역에서의 텍스처 모델링

입력 이미지는 종종 높은 공간 해상도의 텍스처를 포함한다. 그러한 높은 공간 주파수 때문에, 낮은 해상도의 썸네일에서의 텍스처 구조를 정확히 반영할 수 없다. 한편, 텍스처의 국소적인 에너지의 변동과 같은 텍스처의 일부 특정한 측면은, 낮은 해상도의 썸네일에서 반영될 수 있다.

입력 이미지 처리 시스템(10)의 일부 실시예에서, 시각적 특징 분석 모듈(16)은, 이미지 맵으로서 표현될 수 있는 국소적인 텍스처 모델을 생성한다. 텍스처 모델을 생성하기 위한 하나의 방법은, 먼저, 입력 이미지에 대해 국소 에지 검출기를 적용하고, 입력 이미지의 국소 영역 내의 에지 밀도를 결정함으로써, 텍스처 콘텐츠의 영역을 찾는 것이다. 높은 에지 밀도의 영역은 매우 텍스처화되었다고 생각된다. 이 에지 밀도 맵은, 입력 이미지의 고역 통과 필터링된 버전과 곱해져서, 고주파수의 텍스처에 가까운 텍스처 모델로 된다. 이 맵은 해상도 저감 모듈(18)에 입력되어, 입력 이미지의 텍스처 에너지를 반영하는 낮은 해상도의 텍스터 모델을 생성한다. 이들 실시예의 일부에서, 낮은 해상도의 텍스처 에너지 모델은, 지터를 갖는 그리드 상에서 이미지 맵을 서브 샘플링함으로써 생성된다. 일부 실시예에서, 낮은 해상도의 텍스처 모델은, 그 낮은 해상도의 텍스처 모델을 베이스 이미지에 가산하는 썸네일 생성 모듈(20)에 입력된다. 일부 실시예에서, 베이스 이미지는, 입력 이미지(7)를 저역 통과 필터링하고 썸네일 이미지(9)의 목표 픽셀 해상도로 다운 샘플링함으로써 생성되는 표준 썸네일 이미지에 대응한다. 다른 실시예에서, 베이스 이미지는, 여기서 설명되는 실시예에 따라, 입력 이미지(7)의 국소 영역 중 대응하는 영역의 하나 이상의 저감된 해상도의 시각적 표현을 포함하는 입력 이미지(7)의 저감된 해상도 버전에 대응한다.

D. 국소 입력 이미지 영역에서의 채도 모델링

도 11은 입력 이미지 처리 시스템(10)이 입력 이미지(7)의 국소 영역에서의 채도를 모델링하는 방법의 실시예를 나타낸다. 도 12는 이러한 채도 모델링 방법의 여러 단계에서 생성되는 정보의 흐름도를 나타낸다.

도 11의 채도 모델링 방법에 의하면, 시각적 특징 분석 모듈(16)은 입력 이미지(7)에서의 채도를 표현하는 입력 이미지 채도 모델(96)을 결정한다(도 11, 블록 98). 채도의 외관은 그것이 출현하는 공간 패턴에 의존한다(예컨대, Poirson 외 저, "Pattern-Color Separable Pathways Predict Sensitivity to Simple Colored Patterns", Vision Reasearch, Vol.36, No.4, pp.515-526(1996년) 참고). 일부 실시예에서, 입력 이미지 채도 모델(96)의 채도는 Poiron 외에 의해 설명된 모델에 의해 결정될 수 있고, 입력 이미지 채도 모델(96)의 크로미넌스 이득(chrominance gains)에 대한 파라미터는 색상 외관을 변경하도록 조정될 수 있다.

해상도 저감 모듈(18)은 입력 이미지 채도 모델(96)로부터 저감된 해상도의 채도 모델(100)을 생성한다(도 11, 블록 102). 일부 실시예에서, 해상도 저감 모듈(18)은, 입력 이미지 채도 모델(96)을 썸네일 이미지(9)의 목표 픽셀 해상도 레벨로 다운 샘플링함으로써, 저감된 해상도의 채도 모델(100)을 생성한다.

썸네일 이미지 생성 모듈(20)은 저감된 해상도의 채도 모델(100)에 근거하여 썸네일 이미지(9)를 생성한다(도 11, 블록 104). 도시된 실시예에서, 썸네일 이미지 생성 모듈(20)은 저감된 해상도의 채도 모델(100)과 베이스 이미지(106)를 결합하여, 썸네일 이미지(9)를 생성한다. 일반적으로, 썸네일 이미지 생성 모듈(20)은, 베이스 이미지(106)의 픽셀 값을 변경하는 방법으로, 저감된 해상도의 채도 모델(100)과 베이스 이미지(106)를 결합하여, 베이스 이미지(106)의 국소 영역이, 저감된 해상도의 채도 모델(100)의 대응하는 영역의 채도 척도와 근사한 채도 척도를 갖는다.

일부 실시예에서, 베이스 이미지(106)는, 입력 이미지(7)를 저역 통과 필터링하고 썸네일 이미지(9)의 목표 픽셀 해상도로 다운 샘플링함으로써 생성되는 표준 썸네일 이미지에 대응한다. 다른 실시예에서, 베이스 이미지(106)는, 여기서 설명되는 실시예에 따라, 입력 이미지(7)의 국소 영역 중 대응하는 영역의 하나 이상의 저감된 해상도의 시각적 표현을 포함하는 입력 이미지(7)의 저감된 해상도 버전에 대응한다. 예컨대, 하나의 예시적인 실시예에서, 베이스 이미지(106)는 도 8에 도시된 저감된 해상도의 블러링 이미지(82)에 대응한다. 다른 예시적인 실시예에서, 베이스 이미지(106)는 도 10에 도시된 썸네일 이미지(9)의 버전에 대응한다.

E. 국소 입력 이미지 영역에서의 스펙큘러 하이라이트 모델링

도 13은 입력 이미지 처리 시스템(10)이 입력 이미지(7)의 국소 영역에서의 스펙큘러 하이라이트를 모델링하는 방법의 실시예를 나타낸다. 도 14는 이러한 시펙큘러 하이라이트 모델링 방법의 여러 단계에서 생성되는 정보의 흐름도를 나타낸다. 장면의 3차원 기하 구조로 인한 정반사(specular reflections)가 문서의 스캐닝시에 발생하지 않더라도, 문서는 종종 원래 장면의 정반사성(specularity)을 묘사한다. 이 반사성은, 종종 필터링에 후속한 서브 샘플링을 이용하여 생성되는 표준 썸네일에서 손실된다.

도 13의 스펙큘러 하이라이트 모델링 방법에 의하면, 시각적 특징 분석 모듈(16)은 입력 이미지(7)에서의 스펙큘러 하이라이트를 표현하는 입력 이미지 스펙큘러 하이라이트 모델(108)을 결정한다(도 13, 블록 110). 일반적으로, 시각적 특징 분석 모듈(16)은, 일부 형태의 스펙큘러 하이라이트 검출 방법에 따라, 스펙큘러 하이라이트를 포함하는 입력 이미지(7)의 국소 영역을 검출할 수 있다. 일부 실시예에서, 명백한 하이라이트 색상에 대한 이미지 색상 히스토그램을 자동으로 검사함으로써 스펙큘러 영역을 우선 분할하고, 그 다음에 모폴로지 연산자(morphological operator)를 적용하여 스펙큘러 영역을 적응적으로 증대시킴으로써, 입력 이미지 스펙큘러 하이라이트 모델을 도출하고, 그 후 스펙큘러 영역은 썸네일에서 보다 시각적으로 된다. 일부 실시예에서, 결과적인 입력 이미지 스펙큘러 하이라이트 모델(108)은, 스펙큘러 하이라이트를 포함하는 입력 이미지(7)의 국소 영역을 식별하는 마스크에 대응한다.

해상도 저감 모듈(18)은 입력 이미지의 스펙큘러 하이라이트 모델(108)로부터 저감된 해상도의 스펙큘러 하이라이트 모델(112)을 생성한다(도 13, 블록 114). 일부 실시예에서, 해상도 저감 모듈(18)은, 입력 이미지의 스펙큘러 하이라이트 모델(108)을 썸네일 이미지(9)의 목표 픽셀 해상도 레벨로 다운 샘플링함으로써, 저감된 해상도의 스펙큘러 하이라이트 모델(112)을 생성한다.

썸네일 이미지 생성 모듈(20)은 저감된 해상도의 스펙큘러 하이라이트 모델(112)에 근거하여 썸네일 이미지(9)를 생성한다(도 13, 블록 116). 도시된 실시예에서, 썸네일 이미지 생성 모듈(20)은 저감된 해상도의 스펙큘러 하이라이트 모델(112)과 베이스 이미지(118)를 결합하여, 썸네일 이미지(9)를 생성한다. 일반적으로, 썸네일 이미지 생성 모듈(20)은, 베이스 이미지(118)의 픽셀 값을 변경하는 방법으로, 베이스 이미지(118)와 저감된 해상도의 스펙큘러 하이라이트 모델(112)을 결합함으로써, 썸네일 이미지(9)의 국소 영역이, 저감된 해상도의 스펙큘러 하이라이트 모델(112)의 대응하는 영역에서의 스펙큘러 하이라이트와 유사한 스펙큘러 하이라이트를 갖는다. 일부 실시예에서, 썸네일 이미지 생성 모듈(20)은, 스펙큘러 하이라이트 모델(112)에 따라, 하나 이상의 합성 연산을 사용하여 인공적인 스펙큘러 하이라이트를 베이스 이미지(118)에 가산할 수 있다.

일부 실시예에서, 베이스 이미지(118)는, 입력 이미지(7)를 저역 통과 필터링하고 썸네일 이미지(9)의 목표 픽셀 해상도로 다운 샘플링함으로써 생성되는 표준 썸네일 이미지에 대응한다. 다른 실시예에서, 베이스 이미지(118)는, 여기서 설명되는 실시예에 따라, 입력 이미지(7)의 국소 영역 중 대응하는 영역의 하나 이상의 저감된 해상도의 시각적 표현을 포함하는 입력 이미지(7)의 저감된 해상도 버전에 대응한다. 예컨대, 하나의 예시적인 실시예에서, 베이스 이미지(118)는 도 8에 도시된 저감된 해상도의 블러링 이미지(82)에 대응한다. 다른 예시적인 실시예에서, 베이스 이미지(118)는 도 10에 도시된 썸네일 이미지(9)의 버전에 대응한다. 다른 예시적인 실시예에서, 베이스 이미지(118)는 도 12에 도시된 썸네일 이미지(9)의 버전에 대응한다.

V. 입력 이미지 처리 시스템의 제 2 실시형태

도 15는 입력 이미지 처리 시스템(3)의 실시형태(120)를 나타낸다. 입력 이미지 처리 시스템(120)은, 시각적 품질 특징 특성 모듈(5), 출력 썸네일 생성기 모듈(6)의 실시형태(121), 및 문서 분할 모듈(122)을 포함한다.

도 16은 입력 이미지 처리 시스템(120)에 의해 구현되는 방법의 실시예를 나타낸다.

본 실시예에 의하면, 문서 분할 모듈(122)은 콘텐츠 타입별로 입력 이미지(124)를 영역으로 분할한다(도 16, 블록 126). 이 프로세스에서, 문서 분할 모듈(122)은 입력 이미지(124)의 콘텐츠를 분석해서, 상이한 콘텐츠 타입의 영역(예를 들면, 텍스처 영역, 사진 이미지 영역 및 그래픽 영역)을 식별한다. 문서 분할 모듈(122)은 매우 다양한 상이한 방법 중 어느 하나로 입력 이미지(124)를 상이한 콘텐츠 영역으로 분할할 수 있다. 이에 앞서, 문서 분할 모듈(122)은 통상적으로 입력 이미지(124)를 분석하여, 포함하는 정보의 특정한 형태를 식별한다. 이 프로세스에서, 텍스트 영역의 경계 및 다른 콘텐츠 데이터 형태(예를 들면, 사진, 라인 아트(line art), 및 그래픽)을 결정하기 위해서 픽셀의 행을 면밀히 조사한다. 문서 분할 모듈(122)은, 이를 위해서, 문서를 관통하는 연속적인 수직 및 수평 컷을 이용하는 "주사 컷(projection cut)" 프로세스("블록 분할" 프로세스라고도 불림), "연결형 구성요소/스미어링(smearing)" 프로세스(예컨대, K.Y.Wong 외 저, "Document Analysis System", IBM J.Res.Development, vol.6, pp.647-656, 1982년 11월 참조), 및 "임계값, 스미어, 및 연결형 구성요소" 프로세스(예컨대, Pavlidis 외 저, "Page Segmentation and Classification", CVGIP: Graphical Models and Image Processing, vol.54, no.6, 1992년 11월, pp.484-496 참조)를 포함한, 다양하고 상이한 형태의 문서 분석 프로세스를 사용할 수 있다. 도시된 실시예에서, 문서 분할 모듈(122)은, 도 17에서 표현된 입력 이미지(124)의 확대도에서 도시된 바와 같이, 예시적인 입력 이미지(124)에서 라인 아트(또는 그래픽) 영역(136), 사진 영역(134), 및 텍스트 영역(138)을 검출하였다. 문서 분할 모듈(122)은, 통상, 식별된 영역마다의 경계("경계 박스(bounding boxes)"라고도 불림)를 결정하고, 그 경계 박스를 시각적 품질 특징 특성 모듈(5)로 전달한다.

시각적 품질 특징 특성 모듈(5) 및 출력 썸네일 생성기 모듈(6)은, 상기한 하나 이상의 썸네일 이미지 생성 방법에 따라, 분할된 영역의 각각을 처리하여, 하나 이상의 분할된 영역의 각각에 대해서 각 영역의 썸네일 이미지를 생성한다(도 16, 블록 128). 각 영역의 썸네일 이미지는 입력 이미지(124)의 픽셀 해상도보다 낮은 픽셀 해상도를 갖는다. 일부 실시예에서, 각 영역의 썸네일을 생성하는데 사용되는 썸네일 이미지 생성 프로세스의 각각의 타입 및 파라미터는, 대응하는 입력 이미지 영역의 검출된 콘텐츠에 의존한다. 또한, 시각적 품질 특징 특성 모듈(5) 및 출력 썸네일 생성기 모듈(6)은, 통상, 전체 입력 이미지(124)에 대한 베이스 썸네일 이미지를 생성한다.

출력 썸네일 생성기 모듈(6)은, 각 영역의 썸네일 이미지에 근거하여, 합성된 출력 썸네일 이미지(130)를 생성한다(도 16, 블록 132). 출력 썸네일 생성기 모듈(121)은 합성된 출력 썸네일 이미지(130)를 상이한 여러 방식으로 생성할 수 있다. 일부 실시예에서, 출력 썸네일 생성기 모듈(121)은, 입력 이미지(124) 전체에 대해서 생성된 베이스 썸네일 이미지의 대응하는 영역에 걸쳐서, 각 영역의 썸네일 이미지를 오버레이한다. 다른 실시예에서, 출력 썸네일 생성기 모듈(121)은 하나 이상의 합성 연산(예컨대, 하나 이상의 오버레이 합성 연산 및 가산 합성 연산)을 이용하여, 입력 이미지(124) 전체에 대해서 생성된 베이스 썸네일 이미지와 영역 썸네일을 결합할 수 있다. 저감된 해상도의 시각적 표현의 집합(48)을 결합하도록 이미지 생성 모듈(20)에 의해 사용될 수 있는 합성 연산의 형태에 관한 추가적인 상세는, Porter 및 Duff 저, "Compositing Digital Images", Computer Graphics, vol.18, No.3, pp.253-259(1984년 7월)에서 발견될 수 있다.

일부 실시예에서, 단일의 합성된 출력 썸네일 이미지(130)는 디스플레이(4) 상에서 랜더링된다. 다른 실시예에서, 하나 이상의 합성된 썸네일 이미지(130)와 각 영역의 썸네일 이미지는 디스플레이 상에서 랜더링된다. 도 18은 디스플레이 상의 합성된 썸네일 이미지(130)와 각 영역의 썸네일 이미지의 예시적인 표현을 나타낸다. 이 실시예에서, 각 하이퍼링크는, 각 영역의 썸네일 이미지(140, 142, 144)와 합성된 출력 썸네일 이미지(130)의 대응하는 영역을 연관시킨다. 하이퍼링크의 그래픽 표현(예컨대, 그래픽 마우스오버(graphical mouseover) 효과 또는 하이라이트된 영역 경계)은 합성된 출력 썸네일 이미지(130)의 대응하는 영역 상에 랜더링된다. 각 영역의 썸네일 이미지(140-144)는, 연관된 하이퍼링크의 그래픽 표현에 대응하는 사용자 선택에 따라, 디스플레이(4) 상에 랜더링된다. 일부 실시예에서, 각 영역의 썸네일 이미지(140-144)의 표현은 사용자에 의해 능동적으로 닫혀질 때까지 계속해서 지속되거나 또는 사전 결정된 지연 기간 후에 사라질 수 있다.

VI . 입력 이미지 처리 시스템의 제 3 실시형태

도 19는 이미지 캡쳐 시스템(2)이 문서 스캐너(152)(예컨대, 미국 캘리포니아 팰러앨토의 휴렛 패커드로부터 입수가능한 Scanjet(등록상표) 스캐너)에 의해 실행되고, 입력 이미지 처리 시스템(3)이 컴퓨터 시스템(154)에 내장되며, 컴퓨터(154) 내의 디스플레이 제어기에 의해 제어되는 컴퓨터 디스플레이 모니터(156)에 의해 디스플레이(4)가 실행되는 이미지 품질 검사 시스템(1)의 실시형태(150)를 나타낸다.

컴퓨터 시스템은, 처리 유닛(CPU)(155), 시스템 메모리(155), 및 처리 유닛을 컴퓨터 시스템의 다양한 구성요소에 연결하는 시스템 버스를 구비한다. 처리 유닛(155)은, 통상, 하나 이상의 프로세서를 구비하고, 각 프로세서는 상업적으로 입수가능한 다양한 프로세서 중 어느 형태이더라도 좋다. 시스템 버스는, 메모리 버스, 주변 장치 버스, 또는 로컬 버스일 수 있고, 또한 PCI, VESA, 마이크로채널, ISA, 및 EISA를 포함한 다양한 버스 프로토콜 중 어느 것과도 호환될 수 있다. 또한, 컴퓨터 시스템(154)은, 시스템 버스에 연결되는 장기 저장 메모리(예컨대, 하드 드라이브, 플로피 드라이브, CD ROM 드라이브, 자기 테이프 드라이브, 플래시 메모리 디바이스, 및 디지털 비디오 디스크)를 구비하고, 또한, 데이터, 데이터 구조, 컴퓨터 실행가능한 명령을 위한 비휘발성 또는 장기적인 저장소를 제공하는 하나 이상의 컴퓨터 판독가능한 미디어 디스크를 포함한다.

시스템 메모리(157)는, 통상, 컴퓨터 시스템에 대한 시동 루틴을 포함하는 BIOS(basic input/ouput system)를 저장한 ROM(read only memory) 및 RAM(random access memory)을 구비한다. 또한, 시스템 메모리(157)는, 입력 이미지 처리 시스템(3), GUI 드라이버, 및, 입력 이미지(7)와 출력 썸네일 이미지(9)에 대응하는 이미지 파일, 중간 처리 데이터, 그 밖의 데이터를 포함하는 데이터베이스의 실시형태를 저장한다. 일부 실시예에서, 컴퓨터 시스템(154)은, 입력 이미지 처리 시스템(3)을 구비하고, 문서 스캐너(152)의 동작을 제어하여 디스플레이 모니터(156) 상에서 이미지 데이터를 나타내도록 구성된 스캐닝 애플리케이션 프로그램을 추가적으로 포함한다.

사용자는 하나 이상의 입력 디바이스(예컨대, 키보드(158), 컴퓨터 마우스(160), 마이크로폰, 조이스틱, 및 터치 패드)를 사용하여 컴퓨터 시스템과 상호 동작할 수 있다. 또한 컴퓨터 시스템(154)은 통상적으로 스피커 및 프린터와 같은 주변 출력 디바이스를 포함한다. 하나 이상의 리모트 컴퓨터는 네트워크 인터페이스 카드(NIC)를 통해서 컴퓨터 시스템(154)에 연결될 수 있다.

컴퓨터 디스플레이 모니터(156) 상에서 사용자에게 표시되는 그래픽 사용자 인터페이스(GUI)(162)를 통해서 정보를 표현할 수 있다. GUI(162)는, 통상, 스캐닝 소프트웨어 툴(예컨대, 미국 캘리포니아 팰로앨토의 휴렛 패커드로부터 입수가능한 HP PrecisionScan(등록상표) 스캐닝 소프트웨어)에 내장된다. GUI(162)는, 촬상 모듈의 하나 이상의 이미지 캡쳐 파라미터를 변경할 수 있도록 하는 하나 이상의 사용자 선택가능한 툴을 포함한, 문서 스캐너(152)의 동작 제어를 위한 선택사항을 표시하는 메뉴(166) 및 툴바(168)를 포함한다. 또한 GUI(162)는 사용자 선택가능한 제어 버튼(170)을 포함한다. 제어 버튼(170)의 사용자 선택에 따라, 컴퓨터 시스템(154)은 사전 특성된 문서 처리 워크플로우(예컨대, 입력 이미지(7)에 대한 OCR 분석을 수행, 기계 판독가능한 매체 상에 저장된 데이터베이스에 입력 이미지(7)를 보관, 입력 이미지(7)를 인쇄, 또는 이미지의 복사본을 예를 들어 전자 메일에 의해 네트워크 목적지로 송부)의 실행을 진행시킨다.

도시된 실시예에서, GUI(162)는 문서 스캐너(152)에 의해 캡쳐되는 스캐닝된 이미지를 관찰하기 위해서 프리뷰 윈도우(164)도 포함한다. 스캐닝된 이미지의 썸네일 버전은 프리뷰 윈도우(164)에서 표현된다. 상기한 바와 같이, 이들 썸네일 이미지는 대응하는 스캐닝된 이미지의 시각적 품질의 개선된 표현을 제공한다. 이와 같이, 사용자는 원래 이미지 파일을 열어서 원래 이미지의 상이한 줌인된 영역을 통해 보여주는 시간이 걸리고 힘든 작업을 수행하지 않고서 원래 스캐닝된 이미지의 품질을 정확하고 빠르게 알아낼 수 있다. 그 결과, 사용자는, 입력 이미지에 대해 사전 특성된 문서 처리 워크플로우(예컨대, 입력 이미지에 대한 OCR 분석 수행, 입력 이미지 보관, 또는 입력 이미지 인쇄)로 진행시킬지, 또는, 상이한 캡쳐 설정을 이용하여 문서 스캐너(152)에 의해 캡쳐된 문서의 다른 이미지로 원래 문서 스캐닝된 이미지를 대체시켜야 될지를 결정할 수 있다.

IX . 입력 이미지 처리 시스템의 제 4 실시형태

도 20은 복사기 시스템(180)에 의해 실행되는 이미지 품질 검사 시스템(1)의 실시형태를 나타낸다. 복사기 시스템(180)은, 입력 이미지 처리 모듈(3), 디스플레이(4)를 포함하는 제어 패널(181), 스캐닝 모듈(182), 인쇄 모듈(184), 데이터 처리 모듈(188), 투명판(190), 및 출력 트레이(192)를 구비한다.

스캐닝 모듈(182)은 복사 머신, 문서 스캐너, 팩스 머신 등의 어느 하나의 표준 이미지 캡쳐 서브시스템에 의해 실행될 수 있다. 스캐닝 모듈(182)은, 통상, 하나 이상의 이미지 센서, 하나 이상의 렌즈, 및 판(190) 상에 위치한 물체를 조명하기 위한 하나 이상의 광원을 구비한다.

인쇄 모듈(184)은 복사 머신, 문서 인쇄기, 팩스 머신 등 중 어느 하나의 표준 인쇄 서브시스템에 의해 실행될 수 있다. 인쇄 모듈(184)은, 통상, 인쇄 매체(예컨대, 용지)에 마킹제(예컨대, 토너 또는 잉크)를 도포하는 인쇄 엔진을 구비한다.

데이터 처리 모듈(188)은 프로세서 및 기계 판독가능한 메모리를 구비한다. 도시된 실시예에서, 입력 이미지 처리 모듈(3)은, 기계 판독가능한 메모리 상에 저장되어 프로세서에 의한 실행을 위해 검색되는 기계 판독가능한 명령을 포함하는 컴퓨터 소프트웨어 또는 펌웨어에서 구현된다. 입력 이미지 처리 모듈(3)은, 통상, GUI를 포함하는 스캐닝 소프트웨어 툴에 내장되어 있다. GUI는, 통상, 촬상 모듈의 하나 이상의 이미지 캡쳐 파라미터를 변경할 수 있도록 하는 하나 이상의 사용자 선택가능한 툴을 포함한 복사기 시스템(180)의 동작을 제어하기 위한 선택사항을 표시한다. 또한, GUI는, 통상, 사용자 선택가능한 워크플로우 제어 버튼을 구비한다. 워크플로우 제어 버튼의 사용자 선택에 따라, 복사기 시스템(180)은 사전 특성된 문서 처리 워크플로우(예컨대, 스캐닝된 입력 이미지 인쇄)의 실행으로 진행시킨다. 또한, GUI는, 스캐닝 모듈(182)에 의해 캡쳐된 스캐닝된 이미지를 관찰하기 위해서 프리뷰 윈도우를 구비한다. 스캐닝 모듈(182)에 의해 캡쳐되는 스캐닝된 이미지의 썸네일 버전은 프리뷰 윈도우에서 표시된다. 상기한 바와 같이, 이들 썸네일 이미지는 대응하는 스캐닝된 이미지의 시각적 품질의 개선된 표현을 제공한다. 이와 같이, 사용자는 원래 이미지 파일을 열어서 원래 이미지의 상이한 줌인된 영역을 통해 보여주는 시간이 걸리고 힘든 작업을 수행하지 않고서 원래 스캐닝된 이미지의 품질을 정확하고 빠르게 알아낼 수 있다. 그 결과, 사용자는, 입력 이미지에 대해 사전 특성된 문서 처리 워크플로우(예컨대, 스캐닝된 입력 이미지 인쇄)로 진행시킬지, 또는, 상이한 캡쳐 설정을 이용하여 스캐닝 모듈(182)에 의해 캡쳐되는 문서의 다른 이미지로 원래 스캐닝된 문서 이미지를 대체시켜야 될지를 결정할 수 있다.

X. 결론

본 명세서에서 설명되는 실시예는, 입력 이미지의 시각적 품질 특징의 개선된 표현을 제공하는 포토리얼리스틱 이미지 썸네일을 생성할 수 있다. 이와 같이, 이들 실시예에 의해, 사용자는 입력 이미지의 품질을 정확하게 알아낼 수 있다. 이 정보는, 예컨대, 원래 이미지 파일을 열어서 원래 이미지의 상이한 줌인된 영역을 통해 보여주는 시간이 걸리고 힘든 작업을 수행하지 않고서, 문서 이미지의 썸네일의 단순한 검사에 의해 입력 이미지가 캡쳐될 때에 문서 이미지의 품질을 빠르게 결정하는데 사용될 수 있다. 또한, 이들 실시예에 의해, 사용자는, 문서의 다른 이미지를 캡쳐하기 전에, 다양한 이미지 캡쳐 설정에 대해 요구되는 조정을 용이하게 결정할 수 있다.

다른 실시예는 청구항의 범위 내에 포함되어 있다.

Claims

이미지 캡쳐 시스템으로부터 제 1 픽셀 해상도를 갖는 입력 이미지를 획득하는 단계와,
콘텐츠 타입에 따라 상기 입력 이미지를 영역으로 분할하는 단계와,
상기 입력 이미지의 분할된 영역 각각에 대하여,
상기 분할된 영역의 적어도 하나의 시각적 품질 특징(visual quality feature) 각각에 대한 특성(chracterization)을 결정하는 단계와,
상기 제 1 픽셀 해상도보다 낮은 개개의 픽셀 해상도를 갖고 또한 상기 결정된 시각적 품질 특징 각각에 대한 특성을 반영하는 개개의 영역 썸네일 이미지를 상기 분할된 영역으로부터 생성하는 단계와,
상기 영역 썸네일 이미지에 기초하여 출력 썸네일 이미지를 생성하는 단계와,
상기 이미지 캡쳐 시스템의 동작과 관련하여 상기 출력 썸네일 이미지를 출력하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 생성하는 단계는, 상기 입력 이미지의 배치, 비율, 및 국소적인 상세를 반영하도록 상기 출력 썸네일 이미지를 생성하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 결정하는 단계는, 상기 입력 이미지의 하나 이상의 국소 영역의 각각으로부터 시각적 품질 특징 각각에 대한 특성을 도출하는 단계-상기 각 특성은 상기 국소 영역 중 개개의 영역에서 상기 각각의 시각적 품질 특징의 각 저감된 해상도의 시각적 표현에 대응함-를 포함하고,
상기 생성하는 단계는, 상기 저감된 해상도의 시각적 표현으로부터 상기 출력 썸네일 이미지를 생성하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 결정하는 단계는, 상기 입력 이미지의 하나 이상의 국소 영역마다 개개의 블러링(blur) 파라미터값을 결정하는 단계와, 상기 국소 영역마다, 상기 개개의 블러링 파라미터값에 근거하여 상기 개개의 픽셀 해상도로 각 블러링 모델을 결정하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 결정하는 단계는, 상기 개개의 픽셀 해상도로 상기 입력 이미지에서의 노이즈를 특성화하는(characterizing) 노이즈 모델을 결정하는 단계를 포함하고,
상기 생성하는 단계는, 상기 입력 이미지의 서브 샘플링에 근거하여 상기 개개의 픽셀 해상도로 베이스 이미지를 생성하는 단계와, 상기 베이스 이미지와 상기 노이즈 모델의 조합에 근거하여 상기 출력 썸네일 이미지를 생성하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 결정하는 단계는, 상기 입력 이미지에서의 블리드 스루(bleed-through)를 특성화하는 노이즈 모델을 선택하는 단계를 포함하고,
상기 생성하는 단계는, 상기 선택된 노이즈 모델에 근거하여 상기 출력 썸네일 이미지를 생성하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서, 상기 분할하는 단계는
텍스트 콘텐츠 영역, 사진 콘텐츠 영역 및 그래픽 콘텐츠 영역으로부터 선택된 상이한 콘텐츠 타입의 입력 이미지 영역을 식별하는 단계와,
식별된 영역 각각이 상기 분할된 영역이 되도록 분할하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
하나 이상의 상기 분할된 영역의 각각에 대하여,
상기 영역 썸네일 이미지와 상기 출력 썸네일 이미지의 대응하는 영역을 연관시키는 개개의 하이퍼링크를 생성하는 단계
를 더 포함하고,
상기 출력하는 단계는, 상기 출력 썸네일 이미지의 대응하는 영역 상에 상기 하이퍼링크 각각의 그래픽 표현을 랜더링하는 단계와, 상기 하이퍼링크 중 하나의 그래픽 표현에 대한 사용자 선택에 따라, 상기 선택된 하이퍼링크와 연관된 영역 썸네일 이미지를 랜더링하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 1 항에 있어서,
상기 출력하는 단계는, 상기 이미지 캡쳐 시스템의 동작과 관련하여, 디스플레이 상의 프리뷰 윈도우에서 상기 출력 썸네일 이미지를 랜더링하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 9 항에 있어서,
상기 랜더링 단계는, 상기 이미지 캡쳐 시스템의 하나 이상의 이미지 캡쳐 파라미터를 변경할 수 있도록 하는 하나 이상의 사용자 선택가능한 툴을 표현하는 그래픽 사용자 인터페이스의 프리뷰 윈도우에서 상기 출력 썸네일 이미지를 랜더링하는 단계를 포함하는
컴퓨터로 구현되는 방법.
제 10 항에 있어서,
상기 랜더링 단계는, 사용자 선택가능한 버튼을 상기 그래픽 사용자 인터페이스에서 표현하는 단계를 포함하고,
상기 버튼의 사용자 선택에 따라, 사전 특성된 문서 처리 워크플로우로 진행시키는 단계를 더 포함하는
컴퓨터로 구현되는 방법.
디스플레이와,
메모리와,
상기 메모리와 디스플레이에 연결되는 처리 유닛을 포함하되, 상기 처리 유닛은 이미지 캡쳐 시스템으로부터 제 1 픽셀 해상도를 갖는 입력 이미지를 취득하는 동작과, 콘텐츠 타입에 따라 상기 입력 이미지를 영역으로 분할하는 동작과, 상기 입력 이미지의 분할된 영역 각각에 대하여, 상기 분할된 영역의 적어도 하나의 시각적 품질 특징 각각에 대한 특성을 결정하는 동작과, 상기 제 1 픽셀 해상도보다 낮은 개개의 픽셀 해상도를 갖고 또한 상기 결정된 시각적 품질 특징 각각에 대한 특성을 반영하는 개개의 영역 썸네일 이미지를 상기 분할된 영역으로부터 생성하는 동작과, 상기 영역 썸네일 이미지에 기초하여 출력 썸네일 이미지를 생성하는 동작과, 상기 이미지 캡쳐 시스템의 동작과 관련하여 상기 출력 썸네일 이미지를 출력하는 동작을 수행하도록 동작가능한
장치.
제 12 항에 있어서,
상기 생성하는 동작에서, 상기 처리 유닛은, 상기 입력 이미지의 배치, 비율, 및 국소적인 상세를 반영하도록 상기 출력 썸네일 이미지를 생성하도록 동작가능한
장치.
제 12 항에 있어서,
상기 결정하는 동작에서, 상기 처리 유닛은, 상기 입력 이미지의 하나 이상의 각 국소 영역으로부터 시각적 품질 특징의 각각에 대한 특성을 도출하도록 동작 가능하고, 상기 각 특성은 상기 국소 영역 중 개개의 영역에서 상기 각각의 시각적 품질 특징의 각 저감된 해상도의 시각적 표현에 대응하고,
상기 생성하는 동작에서, 상기 처리 유닛은, 상기 저감된 해상도의 시각적 표현(30)으로부터 상기 출력 썸네일 이미지를 생성하도록 동작 가능한
장치.
제 12 항에 있어서,
상기 결정하는 동작에서, 상기 처리 유닛은, 상기 입력 이미지의 하나 이상의 국소 영역마다 개개의 블러링 파라미터 값을 결정하도록 동작 가능하고,
상기 국소 영역마다, 상기 처리 유닛은, 상기 개개의 블러링 파라미터값에 근거하여 상기 개개의 픽셀 해상도로 각 블러링 모델을 결정하도록 동작 가능한
장치.
제 12 항에 있어서,
상기 결정하는 동작에서, 상기 처리 유닛은, 상기 개개의 픽셀 해상도로 상기 입력 이미지에서의 노이즈를 특성화하는 노이즈 모델을 결정하도록 동작 가능하고,
상기 생성하는 동작에서, 상기 처리 유닛은, 상기 입력 이미지의 서브 샘플링에 근거하여 상기 개개의 픽셀 해상도로 베이스 이미지를 생성하고, 또한, 상기 노이즈 모델과 상기 베이스 이미지의 조합에 근거하여 상기 출력 썸네일 이미지를 생성하도록 동작 가능한
장치.
삭제
제 12 항에 있어서,
상기 하나 이상의 상기 분할된 영역의 각각에 있어서, 상기 처리 유닛은,
상기 영역 썸네일 이미지와 상기 출력 썸네일 이미지의 대응하는 영역을 연관시키는 개개의 하이퍼링크를 생성하고,
상기 출력하는 동작에서, 상기 처리 유닛은, 상기 출력 썸네일 이미지의 대응하는 영역 상에 상기 하이퍼링크 각각의 그래픽 표현을 랜더링하고, 상기 하이퍼링크 중 하나의 그래픽 표현에 대한 사용자 선택에 따라, 상기 선택된 하이퍼링크와 연관된 영역 썸네일 이미지를 랜더링하도록 동작 가능한
장치.
제 12 항에 있어서,
상기 출력하는 동작에서, 상기 처리 유닛은 상기 이미지 캡쳐 시스템의 동작과 관련하여 디스플레이 상의 프리뷰 윈도우에서 상기 출력 썸네일 이미지(9)를 랜더링하도록 동작 가능한
장치.
컴퓨터에 의해 이하의 동작을 수행할 수 있는 컴퓨터 판독가능한 명령을 저장하는 컴퓨터 판독가능한 매체로서,
상기 동작은,
이미지 캡쳐 시스템로부터 제 1 픽셀 해상도를 갖는 입력 이미지를 취득하는 것,
콘텐츠 타입에 따라 상기 입력 이미지를 영역으로 분할하는 것,
상기 입력 이미지의 분할된 영역 각각에 대하여, 상기 분할된 영역의 적어도 하나의 시각적 품질 특징 각각에 대한 특성을 결정하는 것,
상기 분할된 영역의 콘텐츠 타입에 기초하여, 상기 제 1 픽셀 해상도보다 낮은 개개의 픽셀 해상도를 갖고 또한 상기 결정된 시각적 품질 특징 각각에 대한 특성을 반영하는 개개의 영역 썸네일 이미지를 상기 분할된 영역으로부터 생성하는 것,
상기 영역 썸네일 이미지에 기초하여 출력 썸네일 이미지를 생성하는 것,
상기 이미지 캡쳐 시스템의 동작과 관련하여 상기 출력 썸네일 이미지를 출력하는 것을 포함하는
컴퓨터 판독가능한 매체.
제 1 항에 있어서,
상기 입력 이미지의 각 분할된 영역에 대하여, 상기 생성하는 단계는 상기 분할된 영역의 콘텐츠 타입에 기초하여 이루어지는
컴퓨터로 구현되는 방법.