KR20170008177A - 정보 처리 장치, 정보 처리 방법, 컴퓨터 판독가능 기록매체 - Google Patents

Abstract

정보 처리 방법은 원고의 화상을 촬영하여 얻어진 입력 화상에서의 대상 화소의 화소값과 상기 대상 화소와 동일 좌표에 있는 그림자 성분 화상에서의 대응 화소의 화소값 간의 적어도 하나의 차분값을 산출하는 단계를 포함한다. 상기 그림자 성분 화상은 상기 입력 화상의 그림자 성분들을 나타낸다. 상기 그림자 성분들은 화상 촬영 환경에 의존한다. 이 방법은 보정율에 기초하여 상기 입력 화상에서의 상기 대상 화소의 화소값을 보정하여 상기 대상 화소에서의 그림자 성분을 보정하는 단계를 더 포함한다. 상기 보정율은 상기 입력 화상에서 상기 대상 화소와 관련된 적어도 하나의 차분값에 의존한다.

Description

정보 처리 장치, 정보 처리 방법, 컴퓨터 판독가능 기록매체{INFORMATION PROCESSING APPARATUS, METHOD FOR PROCESSING INFORMATION, AND COMPUTER READABLE RECORDING MEDIUM}

본 개시내용은 촬영된 화상에서 그림자를 제거하기 위한 기술에 관한 것이다.

최근 들어, 스마트폰이나 태블릿 퍼스널 컴퓨터(PC)와 같은, 고급 정보 처리 기능을 갖는 휴대 단말기가 점점 더 유행하고 있다. 이들 휴대 단말기는 카메라를 구비하고 화상 촬영 기능을 갖고 있다. 이러한 휴대 단말기의 카메라 기능을 사용해서 종이 매체상의 원고의 화상을 촬영하고, 휴대 단말기의 메모리에 촬영된 화상의 데이터를 저장하는 것이 점점 더 흔해지고 있다. 게다가, 원고를 복사하기 위해서 휴대 단말기와 프린터를 조합하여 사용하는 일이 증가하고 있다. 예를 들어, 촬영된 화상의 화상 데이터를 휴대 단말기로부터 프린터로 송신하고 프린터에 의해 화상이 프린트된다. 유저가 스캐너 기능과 프린트 기능을 구비한 복합기를 가지고 있지 않다면, 유저는 상기한 방식으로 휴대 단말기와 프린터를 이용하여 원고를 복사할 수 있다.

유저가 휴대 단말기의 카메라 기능을 사용해서 원고의 화상을 촬영하는 경우, 원고에 인접한 물체나 유저가 원고에 그림자를 비칠 수 있다. 유저가 그림자가 있는 원고를 촬영하면, 촬영된 화상에는 그림자가 있을 수 있다. 그림자로 인한 촬영된 화상의 불균일한 밝기를 이하에서는 "그림자"라고 언급한다. 그림자가 있는 화상에서 원고의 가독성은 낮다. 이는 프린트된 화상의 화질 저하로 이어진다.

일본 특허 공개 제2012-95002호 공보는 카메라로 촬영된 원고 화상에서 그림자를 보정하는 방법을 개시하고 있다. 일본 특허 공개 제2012-95002호 공보에 기술된 바와 같이, 촬영된 화상의 그림자 성분을 추정하고, 그 추정한 그림자 성분에 관한 정보에 기초하여 촬영된 화상으로부터 그림자 성분을 제거한다. 이 방법에 따르면, 촬영된 화상의 그림자 성분을 보정하기 위해, 촬영된 화상에 포함되는 낮은 채도 값과 낮은 명도 값을 가진 영역을 문자로서 검출한다. 문자는 적은 양의 보정을 받는다. 이는 문자가 밝아지도록 문자가 보정될 수 있는 가능성을 제거하거나 감소시킨다.

그러나, 일본 특허 공개 제2012-95002호 공보의 방법에 따르면, 문자로서 검출되지 않은 영역에 있는 오브젝트는 오브젝트의 색에 관계없이 그림자 성분 제거를 위한 보정을 겪는다. 유감스럽게도, 그림자 성분 제거 보정이 과도하게 수행되어, 오브젝트의 색이 밝아져버린다.

본 개시내용은 원고의 화상을 촬영하여 얻어진 입력 화상에서의 대상 화소(target pixel)의 화소값과 상기 대상 화소와 동일 좌표에 있는 그림자 성분 화상에서의 대응 화소의 화소값 간의 적어도 하나의 차분값을 산출하는 단계를 포함하는 정보 처리 방법을 제공한다. 상기 그림자 성분 화상은 상기 입력 화상의 그림자 성분들을 나타낸다. 상기 그림자 성분들은 화상 촬영 환경에 의존한다. 이 방법은 보정율에 기초하여 상기 입력 화상에서의 상기 대상 화소의 화소값을 보정하여 상기 대상 화소에서의 그림자 성분을 보정하는 단계를 더 포함한다. 상기 보정율은 상기 입력 화상에서 상기 대상 화소와 관련된 적어도 하나의 차분값에 의존한다.

본 개시내용의 다른 양태들에 따르면, 하나 이상의 정보 처리 방법, 하나 이상의 정보 처리 장치, 하나 이상의 컴퓨터 프로그램 및 하나 이상의 기억 매체가 본 명세서에서 논의된다. 본 개시내용의 추가 특징들은 (첨부된 도면들을 참조하여) 예시적인 실시 형태들에 대한 하기의 설명으로부터 명백해질 것이다.

도 1은 본 개시내용의 일 실시 형태에서의 시스템의 예시적인 구성의 개략도이다.
도 2a 및 도 2b는 휴대 단말기의 외관들이다.
도 3은 휴대 단말기의 예시적인 구성의 블록도이다.
도 4는 프린터의 예시적인 구성의 블록도이다.
도 5a 내지 도 5c는 본 개시내용에서의 프로세스를 예시하는 도면들이다.
도 6의 (a) 내지 (c)는 제1 실시 형태에서의 전체 프로세스를 예시하는 흐름도들이다.
도 7은 제1 실시 형태에서의 축소 화상 보정 프로세스를 예시하는 흐름도이다.
도 8a 및 도 8b는 보정율 조정을 위한 예시적인 룩업 테이블들(LUT들)을 도시한다.
도 9는 제1 실시 형태에서의 특이 화소들의 보정의 예를 도시한다.
도 10은 제2 실시 형태에서의 프로세스의 흐름도를 도시한다.
도 11a 및 도 11b는 제2 실시 형태에서의 보정율 조정을 위한 예시적인 LUT들을 도시한다.
도 12는 제3 실시 형태에서의 프로세스의 흐름도를 도시한다.
도 13은 제3 실시 형태에서의 게인 조정값들을 예시하는 예시적인 그래프이다.

제1 실시 형태

이하에서는 본 개시내용의 제1 실시 형태를 도면들을 참조하여 설명한다.

도 1은 제1 실시 형태에서의 시스템의 전체 구성을 도시한다. 무선 라우터(102)와 프린터(103)가 LAN(local area network)(110)에 접속되어 있다. 휴대 단말기(101)는 무선 라우터(102) 및 LAN(110)을 통해 프린터(103)에 접속될 수 있다. 본 실시 형태에서는 정보 처리 장치의 예로서 휴대 단말기(101)가 설명되는데, 정보 처리 장치는, 예를 들어, PC, 프린터, 또는 복사기일 수도 있다. 복사기에서는, 카메라 대신에 스캐너를 사용해서 원고를 스캔함으로써 화상을 얻는다.

<휴대 단말기의 구성>

도 2a 및 도 2b는 본 실시 형태에서의 휴대 단말기(101)의 외관들이다. 휴대 단말기(101)는 여러 종류 중 어느 하나일 수 있다. 도 2a는 휴대 단말기(101)의 전방 표면을 도시한다. 휴대 단말기(101)는 이 전방 표면에 배열된 터치 패널 디스플레이(201) 및 조작 버튼(202)을 포함한다. 구체적으로, 터치 패널 디스플레이(201)는, 예를 들어, 조작에 필요한 정보, 버튼, 화상을 표시하기 위한 표시 장치와, 사람 손가락 등의 접촉에 응답하여 입력을 수신하기 위한 위치 입력 장치의 조합된 장치이다. 도 2b는 휴대 단말기(101)의 후방 표면을 도시한다. 휴대 단말기(101)는 이 후방 표면에 배치된 화상 촬영 유닛(203)을 포함한다. 본 실시 형태는 화상 촬영 유닛(203)을 포함하는 카메라 기능을 갖는 임의의 휴대 단말기에 적용 가능하다. 구체적으로, 본 실시 형태는 카메라 기능을 가진 스마트폰이나 휴대 전화 및 통신 기능을 가진 디지털 카메라에 적용 가능하다. 또한, 본 실시 형태는 비접촉 방식으로 원고의 화상을 촬영하는 원고 카메라에 적용 가능하다.

도 3은 이 실시 형태에서의 휴대 단말기(101)의 예시적인 구성을 도시하는 블록도이다. 도 3에서, 중앙 처리 유닛(CPU)(301), 랜덤 액세스 메모리(RAM)(302), 및 판독 전용 메모리(ROM)(303)가 데이터 버스(311)를 통하여 서로 프로그램과 데이터를 송수신한다. 데이터 버스(311)는 저장 유닛(304), 데이터 송수신 유닛(305), 촬상 유닛(306), 표시 유닛(307), 조작 유닛(308), 화상 처리 유닛(309), 및 모션 센서(310)에 접속된다. CPU(301), RAM(302), ROM(303), 저장 유닛(304), 데이터 송수신 유닛(305), 촬상 유닛(306), 표시 유닛(307), 조작 유닛(308), 화상 처리 유닛(309), 및 모션 센서(310)는 서로 프로그램과 데이터를 송수신한다.

저장 유닛(304)은, 플래시 메모리이며, 화상 데이터와 다양한 프로그램을 저장한다. 데이터 송수신 유닛(305)은 무선 LAN 컨트롤러를 포함하고 무선 라우터(102)을 통해 프린터(103)에 데이터를 송수신하고 그로부터 데이터를 수신한다. 촬상 유닛(306)은, 전술한 화상 촬영 유닛(카메라)(203)에 대응하며, 원고의 화상을 촬영하여 화상 데이터를 얻는다. 얻어진 화상 데이터는 저장 유닛(304)이나 RAM(302)을 통하여 화상 처리 유닛(309)이나 CPU(301)로 처리된다. 처리된 화상 데이터는 CPU(301)에 의해 후처리를 받는다. 예를 들어, 화상 데이터는 표시 유닛(307)에 송신될 수 있고 데이터에 기초한 화상이 표시 유닛(307)에 의해 표시된다. 화상 데이터는 저장 유닛(304)에 저장될 수 있다. 화상 데이터는 데이터 송수신 유닛(305)을 통하여 외부 장치에 송신될 수 있다.

표시 유닛(307)은 전술한 터치 패널 디스플레이(201)에 포함된다. 표시 유닛(307)은 카메라 기능을 사용하여 화상으로서 촬영될 원고의 라이브 뷰 화상, 본 실시 형태의 화상 처리 결과, 처리에 관한 통지에 필요한 정보, 및 조작에 필요한 정보를 표시한다. 조작 유닛(308)은 터치 패널 디스플레이(201)에 포함되는 터치 패널, 및 조작 버튼(202)을 포함한다. 조작 유닛(308)은 유저 조작을 접수하고 조작에 관한 정보를 조작에 관련된 유닛들에 송신한다. 모션 센서(310)는 3축 가속도 센서, 전자 컴퍼스, 3축 각속도 센서를 포함한다. 모션 센서(310)는 공지된 기술을 이용하여 휴대 단말기(101)의 자세나 이동을 검지할 수 있다.

CPU(301)는 ROM(303)이나 저장 유닛(304)에 저장된 프로그램을 실행함으로써, 이 휴대 단말기(101) 내의 구성 요소들을 제어한다.

<프린터의 구성>

도 4는 본 실시 형태에서의 프린터(103)의 예시적인 구성을 설명하는 도면이다. 프린터(103)는 컨트롤러(400), 조작 유닛(409), 외부 메모리(410), 프린터 유닛(411)을 포함한다. 컨트롤러(400)는, 예를 들어, 제어 프로그램에 따라서 시스템 버스(408)에 접속되는 프린터 인터페이스(I/F) 유닛(404)을 통해 프린터 유닛(411)에 화상 신호를 출력한다. 제어 프로그램은 ROM(407)이나 외부 메모리(410)에 저장된다. ROM(407)은 또한, 예를 들어, CPU(405)의 제어 프로그램을 저장한다. CPU(405)는 네트워크 I/F 유닛(401) 및 LAN(110)을 통해 휴대 단말기(101)와 통신할 수 있다. 이에 의해 프린터(103)는 프린터 내의 정보를 휴대 단말기(101)에 송신하고, 예를 들어, 휴대 단말기(101)로부터 휴대 단말기(101)로 얻어진 화상 데이터를 수신할 수 있다. RAM(406)은, 예를 들어, CPU(405)의 주 메모리, 작업 영역으로서 기능한다.

휴대 단말기(101)로부터 송신된, 촬영된 화상을 나타내는, 처리된 화상 데이터는 네트워크 I/F 유닛(401)을 통해 컨트롤러(400)에 송신된다. 그 후, 페이지 기술 언어(PDL) 데이터 처리 유닛(402)이 PDL 해석 및 렌더링을 행하고, 화상 처리 유닛(403)이 프린트 출력 화상 처리를 행하고, 프린터 유닛(411)이 처리된 화상 데이터에 기초한 화상을 프린트한다.

<처리의 상세 설명>

도 6의 (a), (b), (c)는 본 실시 형태에 있어서의 입력 화상을 보정하는 처리를 설명하는 흐름도들이다. 도 6의 (a) 내지 (c)의 처리는 휴대 단말기(101)(정보 처리 장치)에 의해 실행된다. 도 6의 (a) 내지 (c)의 처리를 위한 프로그램이 ROM(303)에 저장된다. CPU(301)는 저장된 프로그램을 판독하고 이 프로그램을 RAM(302)에서 실행함으로써, 도 6의 (a) 내지 (c)의 흐름도들에 도시된 처리가 실행된다.

도 6의 (a)는 입력 화상의 보정을 위한 전체 처리의 흐름도를 도시한다. 휴대 단말기(101)의 화상 촬영 유닛(203)을 포함하는 카메라 기능에 의해 촬영된 원고 화상이나, 저장 유닛(304)에 저장된 화상이나, 외부 장치로부터 수신된 화상이 입력 화상으로서 얻어지면 처리가 시작된다. 이 처리는 입력 화상이 원고를 포함한다는 가정하에 수행된다. 입력 화상이 원고 이외의 배경 영역을 포함하는 경우에는, 원고 영역을 검출할 수 있고, 검출한 원고 영역이 직사각형 영역이 되도록 원고 영역은 사영 변환(projective transformation)을 받을 수 있고, 결과적인 영역은 입력 화상으로 처리될 수 있다. 도 5a는 입력 화상의 예이다. 도 5a에 도시된 바와 같이, 입력 화상은 문자열의 배경에 그림자가 있다.

스텝 S610에서, 화상 처리 유닛(309)은 입력 화상을 처리하여, 화상 촬영 환경에 의존하는, 입력 화상의 그림자 성분들을 추정한다. 이 그림자 추정은 도 6의 (b) 및 도 7의 흐름도를 참조하여 나중에 상세히 설명된다. 도 5b는 도 5a의 입력 화상의 추정된 그림자 성분들의 예를 도시한다. 도 5b에 도시된 바와 같이, 문자 영역 이외의 그림자 성분들만이 추정된다.

스텝 S620에서, 화상 처리 유닛(309)은 추정된 그림자 성분들에 관한 정보를 기초하여 입력 화상으로부터 그림자 성분들을 제거한다. 이 그림자 제거는 도 6의 (c)의 흐름도를 참조하여 나중에 상세히 설명된다. 도 5c는 도 5a의 입력 화상에서 추정된 그림자 성분들에 관한 정보(도 5b)에 기초하여 그림자 성분들을 제거함으로써 얻어진 화상의 예를 도시한다. 그림자 성분들이 정확하게 추정되므로, 도 5c에 도시된 바와 같이 어떤 문제도 없이 그림자가 제거될 수 있다.

도 6의 (b)는 그림자 추정 처리를 설명하는 흐름도이다.

스텝 S611에서, 화상 처리 유닛(309)은 입력 화상을 복수의 블록으로 분할한다. 이 분할에서, 각 블록은 임의의 형상을 가지며 임의의 수의 화소를 포함할 수 있다. 예를 들어, 각 블록은 블록의 종방향으로 배열된 화소의 수가 블록의 횡방향으로 배열된 화소의 수와 동일하도록 정사각형일 수 있다. 입력 화상의 종방향 및 횡방향 각각에서의 블록의 수는 블록들의 수가 8 내지 64 범위가 되도록 결정될 수 있다. 블록들의 수는 고정일 수 있거나 입력 화상 조건들에 따라 변할 수 있다.

스텝 S612에서, 화상 처리 유닛(309)은 분할에 의해 얻어진 블록들 각각의 대표 화소값을 산출한다. 대표 화소값은 RGB 신호(적색, 녹색, 청색의 3색 채널로 표현되는 화상 데이터)의 화소값이다. 대표 화소값을 결정하기 위해, 블록에 포함되는 입력 화소들로부터 높은 휘도값들을 가진 화소들이 선택하고 선택된 화소들이 이용된다. 이 경우 휘도값은, 예를 들어, RGB 색 공간으로부터 변환된 YCbCr 색 공간에서의 Y 신호이다. L*a*b* 색 공간의 L 신호나 YUV 색 공간의 Y 신호를 휘도값으로서 이용할 수도 있다. 본 명세서에서 사용되는 용어 "종이 백색 영역(paper white region)"은 원고의 여백 영역이 되는 영역을 지칭하고 여기서 백지(blank sheet)가 배경으로 노출된다. 블록이 종이 백색 영역을 포함하는 경우, 대표 화소값은 그림자 성분 추정값을 나타낸다. 종이 백색 영역은 이상적으로 백색이다(8비트 신호의 경우, R = 255, G = 255, B = 255). 카메라를 통하여 원고의 화상을 촬영하여 얻어진 입력 화상에서, 종이 백색 영역에 그림자가 있다면, 그 영역은 백색이 아닐 것이다. 즉, 종이 백색 영역의 화소값들은 그림자 성분들을 나타내는 것으로 생각된다. 종이 백색 이외의 영역에 그림자가 있다면, 그 영역은 종이 백색 영역보다 어두울 것이다. 블록이 종이 백색 영역을 포함하는 경우에는, 블록 내의 비교적 높은 휘도값들을 가진 영역이 종이 백색 영역으로 추정될 것이다. 이 영역 내의 대표 화소값을 산출하는 것은 그 블록의 그림자 성분들을 추정할 수 있다. 블록이 종이 백색 영역을 포함하지 않는 경우에는, 블록의 대표 화소값은 그림자가 있는 가장 밝은 오브젝트 영역의 화소값일 것이다.

각 블록의 대표 화소값의 산출 방법의 예들로는, 각 블록의 입력 화소들의 휘도값들을 산출하고 최고 휘도값을 블록의 대표 화소값으로 설정하는 방법, 높은 휘도값에서 가장 낮은 휘도값으로 순서대로 각 블록의 미리 정해진 수의 화소를 선택하고, 이들 화소의 평균 휘도값을 산출하고, 평균 휘도값을 대표 화소값으로 설정하는 방법, 및 각 블록 내의 최고 휘도값으로부터 미리 정해진 범위 내의 휘도값들을 갖는 화소들을 선택하거나 또는 휘도값 히스토그램을 이용해서 화소들을 선택하고, 선택된 화소들의 화소값들의 평균값을 산출하고, 그 평균값을 대표 화소값으로 설정하는 방법 등이 있다. 각 블록 내의 그림자 성분들을 추정하는 방법으로서는, 각 블록 내의 RGB 신호들을 클러스터링하고, 각각의 클러스터의 클러스터 대표값을 산출하고, 최대 휘도값을 갖는 클러스터 대표값을 대표 화소값으로 설정하는 방법이 이용될 수도 있지만, 이 방법의 계산량은 많다.

전술한 방식으로 모든 블록의 대표 화소값들이 얻어진 후에, 화상 처리 유닛(309)은 스텝 S613에서 블록들의 대표 화소값들로 구성되는 RGB 화상을 생성한다. 블록들의 대표 화소값들로 구성되는 이 화상은 입력 화상을 축소하여 얻어진 축소 화상이고 이 축소 화상의 화소의 수는 전술한 분할에서의 블록의 수로 결정된다. 이 축소 화상은 그림자 추정 처리를 받을 기점 화상(base image)이 된다. 스텝 S700에서, 화상 처리 유닛(309)은 상기 기점 화상인 축소 화상에서 그림자 성분들을 남기기 위한 보정 처리를 수행한다. 이 축소 화상 보정 처리는 도 7을 참조하여 나중에 더 상세히 설명된다. 스텝 S614에서, 화상 처리 유닛(309)은 보정 처리를 받은 축소 화상을 확대하여 입력 화상과 동일 사이즈를 가진 그림자 맵을 생성한다. 이 그림자 추정 처리는 종료된다.

도 6의 (c)는 상기 그림자 맵을 이용해서 입력 화상으로부터 그림자를 제거하는 처리를 설명하는 흐름도이다.

스텝 S621에서, 화상 처리 유닛(309)은 입력 화상의 밝기 성분으로서 대표 휘도값을 산출한다. 축소 화상의 화소들로부터 산출된 휘도값들의 평균값 또는 중앙값이 대표 휘도값으로서 결정된다. 화상-배경 추정값이 되는, 이 대표 휘도값은 입력 화상으로부터보다 축소 화상으로부터 더 정확하게 추정될 수 있는데, 그 이유는 축소 화상이 입력 화상보다 오브젝트의 영향을 덜 받기 때문이다. 또한, 축소 화상에 대한 계산량은 입력 화상에 대한 계산량보다 작다.

스텝 S622에서, 화상 처리 유닛(309)은 저장 유닛(304)에 저장된 테이블을 참조하여, 대표 휘도값과 관련된 보정율 A를 결정한다. 이 보정율 A는 화상 전체에 적용되는 수치이다. 낮은 대표 휘도값은 입력 화상이 배경이나 원고에 포함된 오브젝트로 인한 그림자 성분들보다 어둡고, 원고가 종이 백색 영역을 전혀 또는 거의 포함하지 않을 수 있다는 것을 의미한다. 그러한 경우에는, 원고의 오브젝트나 배경의 화소값이 그림자 성분의 추정값으로서 이용될 수 있고, 이에 따라 그림자 성분 추정의 정밀도가 저하될 수 있고, 더 어두운 그림자 성분들(그림자 맵)이 추정될 수 있다. 그러한 그림자 맵을 이용하여 보정이 수행되는 경우에는, 과보정이 야기될 수 있다. 이러한 이유로, 대표 화소값이 낮은 경우에, 보정율은 저하된다. 이는 과보정을 방지한다.

도 8a는 스텝 S622에서 참조되는 테이블을 나타내는 예시적인 그래프를 도시한다. 그래프의 종축은 그림자 제거 처리에서 추정된 그림자 성분들에 적용될 보정율을 나타낸다. 예를 들어, 입력 화상의 대표 휘도값이 32, 즉 입력 화상이 매우 어두운 경우, 보정율은 0%이다. 이는 그림자 맵의 상태에 관계없이 보정(그림자 제거)이 수행되지 않는 것을 의미한다. 전술한 바와 같이, 대표 휘도값이 매우 낮은 경우에는, 추정된 그림자 성분들(그림자 맵)이 어두운 배경의 그림자 성분들을 포함할 수 있다. 이 경우, 그림자 제거 처리는 수행되지 않으므로, 어두운 배경이 백색으로 되는 것 같은 보정이 방지된다.

스텝 S623에서, 화상 처리 유닛(309)은 입력 화상에 포함되는 대상 화소의 값과 이 대상 화소와 동일 좌표에 있는 그림자 맵의 화소 값과의 차분을, 그 차분이 입력 화상의 각 화소에 대하여 얻어지도록 산출한다. 본 실시 형태에서는, 차분 산출을 위한 입력 화상과 그림자 맵이 RGB 화상 형식이라고 가정한다. 그 차분은 R, G, B 채널들 각각에 대해 산출된다. 예를 들어, 입력 화상 내의 특정 좌표에서의 (대상 화소의) 화소값이 (Rin(적색 성분), Gin(녹색 성분), Bin(청색 성분))으로 나타내어지고 그림자 맵에서 동일한 좌표에서의 화소값이 (Rmap(적색 성분), Gmap(녹색 성분), Bmap(청색 성분))으로 나타내어진다고 가정한다. 구해지는 차분은 |Rin - Rmap|, |Gin - Gmap|, |Bin - Bmap|이다. 기호 |*|는 절댓값을 나타낸다. 하나의 차분값만이 사용되므로, R, G, B 성분들의 차분값들 중 가장 큰 값이 선택되고, 선택된 차분값이 대상 화소와 관련된 차분값으로 사용된다. 차분값의 구하는 방법으로서는, 입력 화상과 그림자 맵의 RGB 값들이 L*a*b* 색 공간에 대한 값들로 변환될 수 있고, 각 화소에 대해 색차 ΔE가 구해질 수 있지만, 계산량이 많다. L*a*b* 색 공간의 휘도 차 ΔL을 각 화소마다 얻을 수 있다.

스텝 S624에서, 화상 처리 유닛(309)은 저장 유닛(304)에 저장된 테이블을 참조하여, 차분값과 관련된 보정율 B, 또는 대상 화소에 대한 보정율 B를 결정한다. 이 보정율 B는 화소마다 구해진 차분값과 관련하여 결정되고 해당 화소에 적용되는 수치이다. 도 8b는 스텝 S624에서 참조되는 테이블을 나타내는 예시적인 그래프를 도시한다. 도 8a와 마찬가지로, 그래프의 종축은 그림자 제거 처리에서 추정된 그림자 성분에 적용될 보정율을 나타낸다. 예를 들어, 입력 화상의 특정 화소와 그림자 맵의 대응하는 화소의 차분값이 128인 경우, 보정율은 80%이다. 입력 화상과 그림자 맵의 차분값이 128인 경우, 해당 화소는 원고 내의 오브젝트에 포함된다고 추정되는데, 그 이유는 입력 화소의 화소값이 추정된 그림자 성분의 화소값과 크게 상이하기 때문이다. 추정된 그림자 성분이 단순히 보정된다면, 오브젝트의 색이 손상될 가능성이 높다. 따라서 그림자 성분에 대한 보정율은 80%로 설정된다. 예를 들어, 입력 화상의 화소와 그림자 맵의 대응하는 화소의 차분값이 0인 경우, 보정율은 100%이다. 이 경우, 입력 화상의 화소값과 대응하는 추정된 그림자 성분의 화소값 간의 차분이 없다고, 즉 해당 화소가 원고의 종이 백색 부부분에 포함된다고 추정된다. 그림자 성분에 대한 보정율은 100%로 설정된다.

도 8b는 입력 화상의 화소의 화소값과 그림자 맵의 대응하는 화소의 화소값의 차분값이 증가할수록, 보정율은 감소하는 관계를 도시한다. 그 관계는 차분값이 증가할수록, 보정율이 선형적으로 감소하도록 선형적일 수도 있다.

스텝 S625에서, 화상 처리 유닛(309)은 입력 화상, 그림자 맵, 보정율 A 및 B를 사용하여 입력 화상의 각 화소의 그림자 성분을 제거하는(백색으로 만드는) 보정을 행한다. 그림자 성분을 제거하는 보정을 위해, 입력 화상의 화소들에 대한 보정율과 그림자 맵의 화소값들을 이용하여, 입력 화상의 화소값들이 보정된다. 채널마다 8비트 화상 데이터에 대하여 계산이 수행된다고 가정하면, 입력 화상에 포함되는 화소 k에 대한 보정율에 기초한 그림자 맵 화소 성분값들은 다음의 수학식 1 및 수학식 2로 표현된다.

이 값들을 이용하여 화소 k의 화소 성분값들은 다음과 같이 변환된다.

이 수학식들을 이용한 상기 처리는 화소 성분값들 R'map(k), G'map(k), B'map(k)보다 높은(밝은) 화소 성분값들이 255를 나타내게 한다. 입력 화상의 각 화소가 이 처리를 받고, 그림자 제거된 화상이 출력된다.

도 7은 축소 화상 보정 처리(S700)의 상세를 설명하는 흐름도이다.

스텝 S701에서, 화상 처리 유닛(309)은 축소 화상에 제1 색 범위 내의 화소값을 갖는 화소의 유무를 판정한다. 본 명세서에 사용되는 용어 "제1 색 범위"는 다양한 조건들에서 백지의 화상을 촬영하여 얻어지는 화소값들에 의해 나타내어지는 것으로 생각되는 색들의 범위, 또는 종이 백색 부분을 나타내는 것으로 생각되는 색들의 범위를 지칭한다. 색 범위의 설정 방법과 관련해서, 예를 들어, YCbCr 색 공간을 이용하는 경우에는, 제1 색 범위는 무채색을 나타내는 값 (Cb, Cr) = (0, 0)으로부터, 특정 임계값으로 정의되는, 미리 정해진 거리 이내에 있다. 제1 색 범위 이내에 (무채색으로부터 임계 거리 이내에 있는 Cb, Cr 값을 갖는) 적어도 하나의 화소가 있다면, 화상 처리 유닛(309)은 스텝 S701에서 "예"라고 판정한다. 제1 색 범위 이내에 화소가 없다면, 화상 처리 유닛(309)은 스텝 S701에서 "아니요"라고 판정한다.

스텝 S702에서, 화상 처리 유닛(309)은 축소 화상의 색 성분 대표값을 산출한다. 본 명세서에 사용되는 용어 "색 성분 대표값"은 백지의 화상을 촬영하여 얻어지는 색 성분값으로서 입력 화상으로부터 추정되는 값을 지칭한다. 이 값은 그림자 색 성분을 나타내고 또한 나중에 수행될, 그림자 제거 처리에 의해 백색으로 변환될 색을 나타낸다. 색 성분 대표값은 상기 제1 색 범위 내의 화소값들에 기초하여 산출된다. 이 경우, 제1 색 범위 내의 색 성분값들의 평균이 색 성분 대표값으로서 정의된다.

스텝 S704에서, 스텝 S702에서 산출된 색 성분 대표값으로부터 제1 임계값 이상 상이한 색 성분값들을 가진 화소들의, 축소 화상의 화소들에 대한 비율이 산출된다. 즉, 입력 화상에 대한 종이 백색 영역이 아닌 영역의 비율이 구해진다. 색 성분들에 대한 거리에 관련하여, Cb-Cr 공간에서의 거리가 사용될 수 있다.

스텝 S705에서, 화상 처리 유닛(309)은 스텝 S704에서 산출된 비율이 제2 임계값 이상인지의 여부를 판정한다. 스텝 S705에서 아니요인 경우, 또는 입력 화상에 대한 종이 백색 영역의 비율이 미리 정해진 값을 초과하는 경우에는, 입력 화상은 배경이 백색인 원고의 화상을 촬영하여 얻어진다고 추정될 수 있다. 따라서, 화상 처리 유닛(309)은 입력 화상의 기본색이 백색이라고 결정한다(S706). 스텝 S705에서 예인 경우, 또는 입력 화상에 대해 종이 백색 영역이 아닌 영역의 비율이 미리 정해진 값 이상인 경우에는, 화상으로서 촬영된 원고는 백색 배경을 갖지 않는다고, 예를 들어, 원고는 색지상에 있거나 광범위하게 하나 이상의 유채색 오브젝트를 포함한다고 추정될 수 있다. 따라서, 화상 처리 유닛(309)은 입력 화상의 기본색은 백색이 아니라고 결정한다(S707).

이하에서는 화상 처리 유닛(309)이 스텝 S701에서 "아니요"라고 판정하는 경우를 설명한다. 스텝 S703에서, 화상 처리 유닛(309)은 색 성분 대표값을 무채색((Cb, Cr) = (0, 0))으로 정의한다. 그 이유는 다음과 같다. 백지의 화상을 촬영하여 얻어지는 색 성분값은 입력 화상으로부터 추정될 수 없기 때문에, 그림자 제거 처리에 의한 색 성분 변환은 수행되지 않는다. 또한, 이 경우 입력 화상은 종이 백색 영역을 포함하지 않는다. 스텝 S707에서, 화상 처리 유닛(309)은 입력 화상의 기본색은 백색이 아니라고 결정한다.

스텝 S708에서, 화상 처리 유닛(309)은 축소 화상의 모든 화소의 색 성분값들을 참조하고, 스텝 S702에서 산출된 색 성분 대표값으로부터 미리 정해진 임계값(제3 임계값) 이상 상이한 색 성분값을 가진 화소를 특이 화소로서 결정한다. 본 명세서에 사용되는 용어 "특이 화소(specific pixel)"는 축소 화상에서 종이 백색 영역 이외의 영역을 나타내는 화소를 지칭한다. 특이 화소는 이웃 종이 백색 영역을 나타내는 것으로 추정되는 화소를 이용하여 그 값이 치환되어야 하는 화소이다. 이 스텝에서, 대표값로부터 크게 상이한 색 성분값들을 가진 영역, 즉, 백지와는 명백하게 상이한 색을 가진 영역이 특이 화소들의 그룹으로 식별된다.

스텝 S709에서, 화상 처리 유닛(309)은 이 시점에서의 축소 화상의 평균 휘도값을 산출한다.

스텝 S710에서, 화상 처리 유닛(309)은 축소 화상의 모든 화소의 휘도 성분값들을 참조하여, 스텝 S709에서 산출된 평균 휘도값으로부터, 제4 임계값 이상 상이한 휘도값을 가진 화소가 오브젝트의 에지에 포함되는지 여부를 판정한다. 그러한 화소가 에지에 포함되는지 여부는 공지된 에지 판정 방법들 중 임의의 것을 이용하여 판정될 수 있다. 이 판정에서, 에지로서 판정되는 화소는 그의 이웃 화소들보다 어둡기 때문에 "어두운 에지" 화소이다(어두운 에지 판정). 그의 이웃 화소들보다 밝기 때문에 "밝은 에지" 화소로서 판정되는(밝은 에지 판정) 화소에 대해서는, 밝은 에지 화소는 무시된다. 그 이유는 종이 백색 영역일 가능성이 낮은 영역은 종이 백색 영역보다도 어두운 것으로 생각되기 때문이다. 평균 휘도값으로부터 제4 임계값 이상 상이한 휘도값을 가진 그리고 어두운 에지 화소로서 판정되는 화소는 특이 화소로서 판정된다. 스텝 S710에서의 특이 화소는 평균 휘도값 및 그것의 이웃 화소들의 휘도값들과 상이한 휘도값을 가진 그리고 종이 백색 영역일 가능성이 낮은 에지 화소이다. 그 이유는 종이 백색 영역은 평균 휘도값과의 차분이 작을 가능성이 높고, 또한 그림자 성분밖에 존재하지 않기 때문에 급격한 휘도 변화가 없을 가능성이 높기 때문이다. 제4 임계값은 0일 수 있고 대상 화소가 에지에 포함되는지에만 기초하여 특이 화소 판정이 수행될 수도 있다.

스텝 S711에서, 화상 처리 유닛(309)은 스텝 S708 및 스텝 S710에서 판정된 특이 화소의 유무를 판정한다. 예이면, 즉 특이 화소가 있다고 판정되면, 처리는 스텝 S712로 진행한다.

스텝 S712에서, 화상 처리 유닛(309)은 특이 화소의 휘도값을 그것의 이웃 화소들로부터 구한 휘도값으로 치환한다. 이 처리는 종이 백색 영역에 포함되지 않은 것으로 판정된 특이 화소의 휘도값을 종이 백색 영역에 포함되는 것으로 추정된 그것의 이웃 화소들로부터 산출된 휘도값으로 치환하는 것을 의미한다. 실제로는, 예를 들어, 처리 대상 화소보다 미리 정해진 값 이상 높은 휘도값들을 가진 그리고 대상 화소에 인접하는 복수의 화소로부터 특이 화소들이 아닌 화소들을 선택하고, 선택된 화소들의 휘도값들의 평균을 산출하고, 그 평균을 대상 화소에 대한 휘도값으로서 결정하는 방법이 이용될 수 있다. 선택될 인접 화소가 존재하지 않는 경우에는, 치환되지 않은 미처리 특이 화소가 남을 것이다. 이 처리는 미처리 특이 화소가 없을 때까지 반복된다(스텝 S713). 조건에 따라서는 특이 화소가 남을 수 있다. 그러한 경우에는, 처리가 미리 정해진 횟수 반복된 후에, 남은 특이 화소가 처리될 수 있도록 치환 조건들이 변경될 수도 있다. 예를 들어, 모든 인접한 화소들의 휘도값들의 평균이 처리 대상 화소에 대한 휘도값으로 이용될 수도 있다.

상기 스텝들에서는, 색이 백지와는 명백하게 상이한 영역 및 에지 영역의 화소들의 휘도값들의 치환이 완료된다. 입력 화상이 비교적 큰 면적을 가진 오브젝트를 포함하는 경우에는, 에지에 있는 화소들만이 치환되고 오브젝트 내부의 화소들은 미처리된 채로 남는다. 처리는 스텝 S709로 복귀한다. 스텝 S709 및 S710에서는, 에지에 대한 특이 화소 판정이 다시 수행된다. 스텝 S712에서, 판정된 특이 화소의 휘도값이 치환된다. 이 스텝들을 반복함으로써, 오브젝트에 대응하는 화소들은 오브젝트 주위의 종이 백색 영역에 관한 정보에 기초하여 치환된다. 스텝 S710에서의 특이 화소 판정에 대해, 치환되어야 할 특이 화소가 없다면, 스텝 S711에서 아니요라고 판정된다. 처리는 스텝 S714로 진행한다. 대안으로, 특이 화소의 수가 미리 정해진 값보다 낮은 경우에, 스텝 S711에서 아니요라고 판정될 수도 있다.

특이 화소 판정을 받은 화소 영역들에 포함되는 그리고 종이 백색 영역일 가능성이 높은 영역은 스텝 S710에서의 특이 화소 판정에 대한 대상에서 제외될 수 있고, 따라서 처리 속도를 증가시킬 수 있다. 본 명세서에 사용되는 용어 "종이 백색 영역일 가능성이 높은 영역"은 치환에 의해 설정된 휘도값들이 평균 휘도값으로부터 미리 정해진 범위 이내에 있도록 올바르게 치환되었을 가능성이 높은 영역을 지칭한다. 이러한 처리는, 처리 속도를 증가시키는 것 외에, 노이즈 화소들에 의해 야기되는 그림자 추정 오차가 반복 처리로 인해 넓은 영역에 걸쳐 퍼지는 것을 방지할 수 있다.

도 9는 예시적인 처리 흐름을 도시한다. 도 9의 파트 A는 스텝 S709에의 최초 입력 화상을 도시한다. 이 입력 화상은 직사각형의 오브젝트 영역을 포함하고, 이 영역에서는 화소값들이 올바른 그림자 성분 추정값들을 나타내지 않는다. 색이 없는 부분은 종이 백색 영역에 대응하고, 이 영역에서는 올바른 그림자 성분들이 추정된다. 도 9의 파트 B는 스텝 S709 및 스텝 S710에서의 특이 화소 판정의 결과를 도시한다. 파트 B에서, 사선이 있는 부분은 특이 화소들로서 판정된 부분들이다. 직사각형 영역의 에지 부분에 있는 화소들이 특이 화소들로 판정된다. 도 9의 파트 C는 스텝 S712에서 특이 화소들을 특이 화소들 주위의 종이 백색 영역의 화소들로 치환한 결과를 도시한다. 직사각형의 오브젝트 영역은 남아있지만, 이 영역은 도 9의 파트 C로부터 알 수 있는 바와 같이 사이즈가 축소된다. 도 9의 파트 C의 화상은 스텝 S709에서 제2 입력 화상에 대응한다. 도 9의 파트 D는 스텝 S709 및 스텝 S710에서의 제2 특이 화소 판정의 결과를 도시한다. 도 9의 파트 E는 스텝 S712에서 특이 화소들을 특이 화소들 주위의 종이 백색 영역의 화소들로 2회째 치환한 결과를 도시한다. 도 9의 파트 E로부터 알 수 있는 바와 같이, 직사각형 영역은 사이즈가 더 축소된다. 도 9의 파트 E는 스텝 S709에서의 제3 입력 화상에 대응한다. 도 9의 파트 F는 스텝 S709 및 S710에서의 제3 특이 화소 판정의 결과를 도시한다. 도 9의 파트 G는 스텝 S712에서 특이 화소들을 특이 화소들 주위의 종이 백색 영역의 화소들로 3회째 치환한 결과를 도시한다. 도 9의 파트 G로부터 알 수 있는 바와 같이, 직사각형 영역은 사라졌다. 도 9의 파트 G의 화상은 스텝 S709에서의 제4 입력 화상에 대응하지만, 스텝 S709 및 S710에서 특이 화소 판정이 수행되지 않고, 스텝 S711에서 특이 화소의 수는 0으로 결정되고, 처리는 스텝 S714로 분기하고, 그 후 반복 처리가 종료한다. 이러한 반복 처리에 의해, 큰 오브젝트 영역에서도 문제없이 이웃 화소들을 이용하여 치환이 가능하다.

스텝 S714에서, 화상 처리 유닛(309)은 기본색 정보에 기초하여 휘도 성분에 대한 게인 조정값을 결정한다. 예를 들어, 기본색이 백색이라고 가정하면, 종이 백색 영역의 면적은 크고 그림자 성분들을 입력 화상에 기초하여 정확하게 추정할 수 있다. 추정된 그림자 성분들은 각각의 블록들의 대표값들로 나타내어지기 때문에, 일부 블록들은 더 어두운 그림자를 포함할 수 있다. 따라서 그림자 휘도 성분 분포에 따른 그림자 제거를 강화하기 위해(화상을 더 밝게 하기 위해) 게인 조정값이 결정된다. 기본색이 백색이 아닐 경우에는, 종이 백색 영역이 전혀 또는 거의 존재하지 않는다. 그림자 추정의 정밀도가 낮으므로, 추정된 그림자 성분들은 배경이나 오브젝트 색을 포함할 가능성이 높다. 추정된 그림자 성분들이 단순히 제거된다면, 과보정이 야기될 것이다. 따라서 그림자의 휘도 성분 분포에 기초한 그림자 제거를 적당히 수행하여 과도한 변환을 방지하도록 게인 조정값이 결정한다. 스텝 S715에서, 화상 처리 유닛(309)은 축소 화상에 포함되는 화소들 각각의 휘도값에 스텝 S714에서 결정된 게인 조정값을 승산함으로써, 각 화소의 휘도 성분값을 변환한다.

스텝 S716에서, 화상 처리 유닛(309)은 화소들 각각의 색 성분값을 스텝 S702 또는 스텝 S703에서 결정된 색 성분 대표값으로 치환한다.

상기 처리는 축소 화상으로부터 오브젝트 요소를 제거하여 그림자 성분 분포가 변환된 화상을 생성한다. 마지막으로 생성되는 화상은 RGB 화상이다. 처리 동안에 휘도 성분들 및 색 성분들이 수정 및 치환되기 때문에, 화상은 YCbCr 화상으로 변환될 수 있고, 이 YCbCr 화상은 도 7의 처리를 받을 수 있고, 처리된 화상은 마지막으로 RGB 화상으로 변환될 수 있다. 대안으로, 각 스텝에서 화소 단위로 RGB 값들로부터 YCbCr 값들이 계산될 수 있다. YCbCr 값들이 수정되는 경우에는, 수정된 값들을 RGB 값들로 변환할 수도 있다.

제1 실시 형태에 따르면, 입력 화상의 화소와 그림자 성분 화상(그림자 맵)의 대응하는 화소 간의 값의 차분이 증가할수록, 그림자 성분 제거를 위한 보정량은 감소한다. 이는 촬영된 화상에 포함되는 오브젝트 내의 그림자 성분들의 과보정을 방지한다.

제2 실시 형태

상기 제1 실시 형태의 방법에 따르면, 그림자 맵과 입력 화상 간의 화소값의 차분들에 기초하여 보정량들을 조정하는 것에 의해, 그림자 제거시의 과보정이 방지된다. 제1 실시 형태의 그림자 제거는 입력 화상의 그림자를 적절한 방식으로 밝게 한다. 그에 반해서, 제2 실시 형태의 방법에 따르면, 입력 화상에 포함되는 원고의 검은 문자의 가독성을 개선하기 위해, 무채색들에 가까운 색 성분을 갖는 화소값에 대한 보정율을 조정하고, 그 화소값이 입력 화소값이 나타내는 것보다 더 어두운 색을 나타내도록 화소값을 변환한다. 제1 실시 형태와 동일한 구성 요소들에 대한 설명은 생략한다.

도 10은 제2 실시 형태에 따른 처리를 설명하는 흐름도이다. 이 처리는 제1 실시 형태에서의 그림자 제거 처리(도 6의 (c))를 대신하여 수행된다.

스텝 S1001에서, 화상 처리 유닛(309)은 RGB 입력 화상을 L*a*b* 화상으로 변환한다. 스텝 S1002에서, 화상 처리 유닛(309)은 입력 화상의 대표 휘도값을 산출한다. 이 값은 스텝 S1001에서 L*a*b* 화상으로 변환한 결과로부터 산출될 수 있다. 대안으로, 이 값은 제1 실시 형태와 동일한 방식으로 축소 화상으로부터 산출될 수도 있다. 스텝 S1003에서, 화상 처리 유닛(309)은 스텝 S1002에서 산출된 대표 휘도값에 대한 보정율 A를 결정한다. 이 보정율 A는 제1 실시 형태과 동일한 방식으로, 예를 들어, 도 8a의 그래프로 표현되는 테이블에 기초해서 결정된다.

스텝 S1004에서, 화상 처리 유닛(309)은 RGB 그림자 맵을 L*a*b* 화상으로 변환한다. 스텝 S1005 및 후속 스텝들은 미처리 화소가 없을 때까지 각 화소마다 실행된다. 스텝 S1005에서, 화상 처리 유닛(309)은 미처리 화소의 유무를 판정한다. 미처리 화소가 없으면, 처리는 종료된다. 미처리 화소가 있으면, 처리는 미리 화소에 대한 변환 처리로 진행한다.

스텝 S1006에서, 화상 처리 유닛(309)은 입력 화상의 특정 좌표에서의 화소값(Lin, ain, bin)과 그림자 맵 화상의 동일 좌표에서의 화소값(Lmap, amap, bmap) 간의 색차 ΔE를 수학식 3을 이용하여 산출한다.

스텝 S1007에서, 화상 처리 유닛(309)은 처리 대상 화소의 화소값으로부터 채도 C*를 수학식 4를 이용하여 산출한다.

스텝 S1008에서, 화상 처리 유닛(309)은 스텝 S1006에서 산출된 색차 ΔE 및 스텝 S1007에서 산출된 채도 C*에 기초하여 보정율 B를 결정한다. 보정율 B는 제1 실시 형태에서 설명된 도 8b에 기초하고 처리 대상 화소의 채도 C*와 관련된 오프셋값으로 조정된다. 도 11a는 채도 C*와 오프셋값 간의 관계를 도시하는 그래프이다. 도 11a는 채도 C*가 낮을수록(무채색에 가까울수록) 마이너스 오프셋값이 더 커지는, 즉, 보정율을 더 저하되는 조정을 도시한다. 도 11b는 3종류의 채도에 대한 보정율 B를 도시하는 그래프이다. 통상의 화소 보정율(normal pixel correction rate)은 충분히 큰 채도값 C*를 가진 화소에 대한 보정율이다. 이 보정율은 도 8b의 것과 동일하다. 무채색에 가까운 화소 보정율(nearby achromatic color pixel correction rate)은 채도값 C* = 16을 가진 화소에 대한 보정율이다. 무채색 화소 보정율(achromatic color pixel correction rate)은 채도값 C* = 0을 가진, 즉, 무채색을 나타내는 화소에 대한 보정율이다.

스텝 S1009에서, 화상 처리 유닛(309)은 스텝 S1003 및 스텝 S1008에서 결정된 보정율을 이용해서 다이내믹 레인지 보정을 수행한다. 처리 대상 화소가 무채색을 나타내고 보정율 B가 마이너스라고 가정하여, 이하에서는 입력 화소값보다도 낮도록(또는 더 어두운 색을 나타내도록) 출력 화소값이 보정되는 이유를 설명한다. 제1 실시 형태에서의 변환식에서 R 채널을 예로서 이용할 경우, 보정율을 이용하여 보정되는 그림자 맵에서의 화소 k의 값은 다음과 같이 표현된다.

값 B(k)는 마이너스이기 때문에, 값 R'map(k)는 255보다 크다. 이 값은 수학식 6을 이용하여 입력 화상의 화소 k의 화소값을 산출하는 데 이용된다.

따라서, Rout(k) < Rin(k)이다. 결과적으로, 입력 화소값보다 출력 화소값이 더 어두운 색을 나타내도록 변환이 수행된다.

상기와 같이, 보정량은 입력 화소값의 채도에 기초하여 조정될 수 있다. 가독성을 손상시키지 않고, 예를 들어, 원고의 검은 문자들의 과보정을 방지하면서 그림자 제거 처리를 수행할 수 있다.

제3 실시 형태

제1 실시 형태에서는, 축소 화상의 휘도 성분들에 의한 특이 화소 보정 후에 그림자 제거의 강도를 조정하기 위해 사용되는 게인 조정값으로서 2개의 미리 설정된 계수가 제공된다. 이 계수들 중 어느 것이든 기본색이 백색인지의 여부에 기초하여 사용된다. 제3 실시 형태는 그림자 제거의 정밀도를 증가시키기 위해 더 많은 게인 조정값들을 설정하기 위한 방법을 제공한다. 제1 실시 형태와 동일한 구성 요소들에 대한 설명은 생략한다.

도 12는 제3 실시 형태에서의 처리를 설명하는 흐름도이다. 이 처리는 제1 실시 형태에서의 기본색 정보에 기초하여 게인 조정값을 결정하는 처리(S714)에 대응한다. 스텝 S714 이외의 스텝들은 도 7의 흐름도의 스텝들과 동일하다.

게인 조정값은 스텝 S713까지의 처리에서 축소 화상의 휘도값들을 처리함으로써 구해진 그림자 분포를 나타내는 화상(휘도 성분 분포 화상)의 밝기를 조정하기 위해 사용된다. 게인 조정값이 1인 경우, 휘도 성분 분포 화상은 변화하지 않는다. 게인 조정값이 1 미만인 경우, 휘도 성분 분포 화상은 어두워진다. 그 후의 그림자 제거 처리에서는, 입력 화상이 1의 게인 조정값을 이용하여 얻어지는 것보다 더 밝은 화상으로 변환된다. 게인 조정값이 1보다 큰 경우, 휘도 성분 분포 화상은 밝아진다. 그 후의 그림자 제거 처리에서는, 입력 화상이 1의 게인 조정값을 이용하여 얻어지는 것보다 더 어두운 화상으로 변환된다.

스텝 S1201에서, 화상 처리 유닛(309)은 기본색 정보를 참조한다. 처리는 기본색 정보에 따라서 분기한다. 기본색이 백색일 경우, 처리는 스텝 S1202로 진행하여, 화상 처리 유닛(309)은 통상의 게인 조정값을 설정한다. 통상의 게인 조정값은 백지의 촬영된 화상에서의 그림자 성분들이 정확하게 추정된다는 가정하에 조정이 수행되지 않는 경우에 사용되고, 전형적으로 1로 정의된다. 추정되는 그림자 성분은 각 블록마다 구해지기 때문에, 이 경우 통상의 게인 조정값은 블록에 포함될 수 있는 더 어두운 그림자를 제어하기 위해 1보다 약간 작은 값, 예를 들어, 0.95로 설정된다.

기본색이 백색이 아니고 색 성분 대표값이 산출되지 않은 경우에, 처리는 스텝 S1204로 진행한다. 화상 처리 유닛(309)은 백색 영역이 없는 게인 조정값(non-white-region gain adjustment value)을 설정한다. 백색 영역이 없는 게인 조정값은 입력 화상이 원고의 종이 백색 영역이라고 추정되는 영역을 포함하지 않는 경우에 사용된다. 종이 백색 영역이 존재하지 않기 때문에, 이 시점까지의 처리에서 형성된 휘도 성분 분포 화상은 그림자로서 제거되어서는 안 되는 색들에 대응하는 휘도 성분들을 포함한다. 그러나, 화상 촬영시에 야기된 그림자에 의해 영향을 받은 휘도 성분들을 그림자로서 제거되어서는 안 되는 색들에 대응하는 휘도 성분들로부터 분리하는 것은 곤란하다. 따라서 미리 정해진 게인 조정값에 의해 휘도 성분 분포 화상을 조정하여, 그림자 제거의 강도를 저하시킨다. 미리 정해진 게인 조정값은, 예를 들어, 1.10로 설정된다.

기본색이 백색이 아니고 색 성분 대표값이 산출되는 경우에, 처리는 스텝 S1203으로 진행한다. 화상 처리 유닛(309)은 백색 영역이 작은 게인 조정값(small-white-region gain adjustment value)을 설정한다. 이 경우, 입력 화상은 원고의 종이 백색 영역이라고 추정되는 작은 영역을 포함한다. 따라서 이 영역에서의 그림자에 의해 영향을 받은 휘도 성분들의 추정의 정밀도는 높다. 그러나, 대부분의 다른 영역들은 그림자로서 제거되어서는 안 되는 색들에 대응하는 휘도 성분들을 포함한다. 백색 영역이 작은 게인 조정값이 백색 영역이 없는 게인 조정값으로 고정될 수도 있지만, 백색 영역이 작은 게인 조정값을 작은 종이 백색 영역에 관한 휘도 성분 정보에 따라 입력 화상의 화소값에 기초하여 변화시킴으로써, 보다 적절히 그림자 제거의 강도를 조정한다.

도 13은 이 경우의 게인 조정값들을 도시하는 그래프이다. 값 Lw는 상기 작은 종이 백색 영역에 관한 휘도 성분 정보로부터 산출된 휘도 성분들의 대표값이다. 예를 들어, 값 Lw는 종이 백색 영역에 포함되는 것으로 판정된 화소들의 휘도 성분들의 평균값으로 정의된다. 더 구체적으로, 이 값은 도 7의 스텝 S701에서 이용된 제1 색 범위 내에 있는 그리고 백지의 화상 촬영시에 야기된 전형적인 그림자의 어두움을 나타내는 것으로 생각되는 휘도값들을 가진 화소들의 휘도값들의 평균값으로 정의된다. 값 Lc는 종이 백색 영역 이외의 영역들로부터 산출된 휘도 성분들의 대표값이다. 예를 들어, 상기 제1 색 범위 밖의 화소들의 휘도값들이 이용된다. 이들 중에, 상위 미리 정해진 비율(예를 들어, 30%)의 밝은 화소들의 휘도값들이 선택된다. 이들 휘도값들의 평균이 대표값 Lc로서 정의된다. 화소가 종이 백색 영역의 대표값 Lw보다 높은 휘도값을 가질 경우, 이 화소에서의 그림자가 정확하게 추정될 수 있다고 가정한다. 이 화소는 통상의 게인 조정값과 동일한 0.95의 게인 조정값으로 조정된다. 종이 백색 영역 이외의 영역들의 대표값 Lc보다 낮은 휘도값을 가진 화소는 그림자가 아닌 색에 대응하는 휘도 성분이 포함하는 것으로 추정될 수 있다. 이 화소는 백색 영역이 없는 게인 조정값과 동일한 1.10으로 조정될 수 있다. 대안으로, 값 Lc에 대한 영역과 상이한 위치에 있는, 작은 종이 백색 영역의 대표값 Lw가 얻어지기 때문에, 값 Lc가 더 밝게, 또는 값 Lw에 더 가깝게 조정되도록 게인 조정값이 Lw/Lc로서 정의될 수도 있다. 값 Lc 내지 값 Lw의 범위에 있는 휘도값을 가진 화소에 대한 게인 조정값은 휘도값에 기초하여 0.95 내지 Lw/Lc의 범위에서 변경된다. 도 13에서, 게인 조정값은 선형적으로 변경된다. 휘도값 Lx에 대한 게인 조정값 Gx는 수학식 7로 주어진다.

이상과 같이, 입력 화상은 다음과 같은 3가지 유형으로 분류된다: 입력 화상이 많은 종이 백색 영역을 포함하는 제1 유형, 입력 화상이 작은 종이 백색 영역을 포함하는 제2 유형, 및 입력 화상이 종이 백색 영역을 포함하지 않는 제3 유형. 추정된 그림자 성분의 밝기는 입력 화상의 유형에 대해 조정된다. 따라서, 그림자 성분들의 제거의 강도가 적절하게 제어될 수 있다. 결과적으로 화상 촬영시에 야기된 그림자를 입력 화상으로부터 제거하는 정밀도가 증가하게 된다.

본 개시내용에 따르면, 촬영된 화상의 그림자 성분들이 보정될 때, 촬영된 화상에 포함되는 오브젝트 내의 그림자 성분들이 과도하게 보정되는 것을 방지할 수 있다.

다른 실시 형태들

본 개시내용의 실시 형태(들)는 상기 실시 형태(들) 중 하나 이상의 실시 형태의 기능들을 수행하기 위해 기억 매체(더 완전하게는 '비일시적 컴퓨터 판독 가능 기억 매체'라고도 불릴 수 있음)에 기록된 컴퓨터 실행 가능 명령어들(예를 들어, 하나 이상의 프로그램)을 판독하여 실행하는 그리고/또는 상기 실시 형태(들) 중 하나 이상의 실시 형태의 기능들을 수행하기 위한 하나 이상의 회로(예를 들어, ASIC(application specific integrated circuit)를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고, 예를 들어, 상기 실시 형태(들) 중 하나 이상의 실시 형태의 기능들을 수행하기 위해 상기 기억 매체로부터 컴퓨터 실행 가능 명령어들을 판독하여 실행하는 것에 의해 그리고/또는 상기 실시 형태(들) 중 하나 이상의 실시 형태의 기능들을 수행하도록 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해서도 실현될 수 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 처리 유닛(MPU))를 포함할 수 있고, 상기 컴퓨터 실행 가능 명령어들을 판독하여 실행하는 개별 컴퓨터들 또는 개별 컴퓨터 프로세서들의 네트워크를 포함할 수 있다. 컴퓨터 실행 가능 명령어들은, 예를 들어, 네트워크 또는 기억 매체로부터 컴퓨터로 제공될 수 있다. 기억 매체는, 예를 들어, 하드 디스크, 랜덤-액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템들의 저장소, 광 디스크(콤팩트 디스크(CD), 디지털 다용도 디스크(DVD), 또는 블루레이 디스크(BD)™ 등), 플래시 메모리 장치, 메모리 카드, 및 기타 유사한 것 중 하나 이상을 포함할 수 있다.

(기타의 실시예)

본 발명은, 상기의 실시 형태의 하나 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통하여 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서 하나 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다. 또한, 하나 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

본 개시내용은 예시적인 실시 형태들을 참조하여 설명되었지만, 본 개시내용은 개시된 예시적인 실시 형태들에 제한되지 않는다는 것을 이해해야 한다. 다음의 청구항들의 범위는 모든 그러한 수정들 및 등가 구조들 및 기능들을 포괄하도록 가장 넓게 해석해야 한다.

Claims (10)

1. 정보 처리 방법으로서,
   원고 화상을 촬영하여 얻어진 입력 화상에서의 대상 화소(target pixel)의 화소값과 상기 대상 화소와 동일한 좌표에 있는 그림자 성분 화상에서의 대응하는 화소의 화소값 간의 하나 이상의 차분값을 산출하는 산출 단계 - 상기 그림자 성분 화상은 상기 입력 화상의 그림자 성분들을 나타내고, 상기 그림자 성분들은 화상 촬영 환경에 의존함 -; 및
   상기 입력 화상에서의 상기 대상 화소와 관련된 하나 이상의 차분값에 의존하는 보정율에 기초하여 상기 입력 화상에서의 상기 대상 화소의 화소값을 보정하여 상기 대상 화소에서의 그림자 성분을 보정하는 보정 단계를 포함하는, 정보 처리 방법.
2. 제1항에 있어서,
   상기 하나 이상의 차분값이 증가함에 따라, 상기 보정율이 감소하는, 정보 처리 방법.
3. 제1항에 있어서,
   상기 산출 단계에서, 상기 산출된 하나 이상의 차분값은, 상기 입력 화상에서의 상기 대상 화소의 적색 성분과 상기 그림자 성분 화상에서의 상기 대응하는 화소의 적색 성분 간의 차분값, 상기 입력 화상에서의 상기 대상 화소의 녹색 성분과 상기 그림자 성분 화상에서의 상기 대응하는 화소의 녹색 성분 간의 차분값, 및 상기 입력 화상에서의 상기 대상 화소의 청색 성분과 상기 그림자 성분 화상에서의 상기 대응하는 화소의 청색 성분 간의 차분값을 포함하는 복수의 산출된 차분값을 포함하는, 정보 처리 방법.
4. 제3항에 있어서,
   상기 보정 단계에서, 상기 입력 화상에서의 상기 대상 화소의 화소값은, 상기 적색, 녹색, 및 청색 성분들의 상기 산출된 차분값들 중 가장 큰 차분값에 의존하는 보정율에 기초하여 보정되는, 정보 처리 방법.
5. 제1항에 있어서,
   상기 보정 단계에서, 상기 입력 화상의 그림자 성분들은 상기 그림자 성분들이 백색이 되도록 보정되는, 정보 처리 방법.
6. 제1항에 있어서,
   상기 보정 단계에서, 상기 그림자 성분들은 상기 입력 화상의 밝기에 의존하는 보정율에 기초하여 보정되는, 정보 처리 방법.
7. 제6항에 있어서,
   상기 입력 화상의 밝기가 감소함에 따라, 상기 보정율이 감소하는, 정보 처리 방법.
8. 제1항에 있어서,
   상기 입력 화상에서의 화소값은 상기 화상 촬영 환경에 의존하는 그림자 성분을 포함하는, 정보 처리 방법.
9. 정보 처리 장치로서,
   원고 화상을 촬영하여 얻어진 입력 화상에서의 대상 화소의 화소값과 상기 대상 화소와 동일한 좌표에 있는 그림자 성분 화상에서의 대응하는 화소의 화소값 간의 하나 이상의 차분값을 산출하도록 구성된 산출 유닛 - 상기 그림자 성분 화상은 상기 입력 화상의 그림자 성분들을 나타내고, 상기 그림자 성분들은 화상 촬영 환경에 의존함 -; 및
   상기 입력 화상에서의 상기 대상 화소와 관련된 하나 이상의 차분값에 의존하는 보정율에 기초하여 상기 입력 화상에서의 상기 대상 화소의 화소값을 보정하여 상기 대상 화소에서의 그림자 성분을 보정하도록 구성된 보정 유닛을 포함하는, 정보 처리 장치.
10. 컴퓨터로 하여금 제1항에 따른 정보 처리 방법을 실행하게 하는 프로그램을 저장하는 컴퓨터 판독가능 기록매체.

Images