KR100919341B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

사용자가 동작 유닛(302)을 동작시킴으로서 촬영할 시, 화상 감지기(102)에 의해 포착된 화상은 메모리(201)에서 촬영된 화상으로서 저장된다. 변색 보정용 모드를 설정할 시, CPU(204)는 변색된 사진 인쇄물 화상들인 영역들을 촬영된 화상으로부터 추출하기 위해 화상 처리 장치(203)에게 명령한다. 화상 처리 장치(203)는 촬영된 화상의 에지들을 검출함으로써 이진 화상을 발생시킨다.

동작 유닛, 메모리, 변색 보정, 화상, 에지, 디스플레이, CPU, 사진 인쇄물, 화상 처리 장치

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은 촬영된 화상으로부터 소정의 영역(사진 인쇄물 등)을 추출하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

최근에, 디지털 카메라가 촬영 장치로서 각광받음에 따라, 디지털 사진 또한 향상되고 있다.

디지털 사진은 다양한 이점을 가진다. 예를 들면, 사진을 손쉽게 저장할 수 있으면, 인쇄하기도 편리하고 그리고 연속적으로 또는 무작위로 다양한 방식으로 볼 수 있다. 그런 이점으로부터, 은염막들(silver salt films)을 이용하여 획득된 일반적인 디지털 사진이 널리 사용된다. 최근에 디지털 카메라가 각광받음에 따라, 많은 사람들은 그러한 일반적인 사진을 얻을 수 있다. 일반적인 사진은 인쇄 종이 및 현상된 필름에 관한 사진을 포함한다. 이하에서, 이러한 것들은 통상 "사진 인쇄물들(photographic prints)" 이라 칭한다.

사진 인쇄물들은, 예를 들면, 평상형 스캐너가 사진 인쇄물들을 스캔함에 따라 디지털화될 수 있다. 일반적으로, 사진 인쇄물들의 본래 색상은 시간이 지남에 따라 화학적으로 변질됨으로서 퇴색(변색(color fading))된다. 이러한 이유로, 일 부 스캐너들은 화상 처리 장치를 가지며, 상기 화상 처리 장치는 퇴색을 보정하기 위해 변색 보정을 실행하며 스캐너에 장착된다.

변색 보정을 실행하는 일반적 화상 처리 장치 예는 일본 특허 공개공보 제 2002-101313 호에 개시된다. 이 특헌 문헌에 기술된 일반적 화상 처리 장치는 획득된 화상의 변색된 색상의 레벨을 검출하고, 검출결과에 따라 변색 보정을 실행한다. 레벨 검출은 단순히 화상만을 획득함으로써 변색 보정을 적합하게 실행할 수 있도록 하게 한다.

레벨 검출은 변색 보정의 피사체가 되는 화상들에게만 적용하기 위해 필요하다. 이와 달리, 화상에서 생긴 변색 정도를 정확하게 확인하는 것은 불가능하다. 일반적으로, 평상형 스캐너는 스캐닝대(scanning table)에 직접적으로 위치한 또는 공급장치 상에 위치하는 스캐닝 물체를 스캔하도록 한다. 그러므로, 변색 보정이 적용되는 사진 인쇄물만 손쉽게 스캔할 수 있다.

한편, 사진 인쇄물들은 일반적으로 앨범 등(여기서, 사진 인쇄물을 적어도 하나의 투명한 측면이 있는 파일에 넣어두는 방법을 포함함)에 부착된다. 앨범에 부착된 사진 인쇄물들은 공급장치 상에 위치될 수 없다. 게다가, 사진 인쇄물들을 스캐닝대에 적합하게 설정되기에는 어려움이 따른다. 앨범에 부착된 타겟 사진 인쇄물만 스캔하는 것은 통상적으로 불가능하다. 이 이유로, 앨범에 부착된 사진 인쇄물은 스캔될 시 앨범으로부터 일반적으로 제거된다. 결과적으로, 스캐너가 사진 인쇄물을 스캔할 시, 각 사진 인쇄물마다 이와 같은 번거로움을 해결해야한다. 즉, 사진 인쇄물이 앨범으로부터 제거되어 스캐닝대에 위치되고, 그리고 스캐닝이 완료 된 후, 스캐닝대의 사진 인쇄물은 앨범에 다시 부착되어야 한다.

사진 인쇄물들은 앨범으로부터 제거될 시에 손상될 수 있다. 예를 들면, 앨범에서 사진 인쇄물들이 사진 인쇄물들을 씌우는 투명 시트에 부착되어 있을 경우, 사진 인쇄물이 손상될 가능성이 크다. 그러므로, 앨범으로부터 사진 인쇄물들을 제거할 필요없이 사진 인쇄물들을 스캔하는 것이 바람직할 수 있다.

일본 특허 출원 공개공보 제 2002-354331 호에 기술된 발명을 사용하여, 사진 인쇄물들을 앨범으로부터 제거할 필요없이 사진 인쇄물들을 스캔할 수 있다. 그러나, 사용자가 디지털 카메라와 같은 휴대용 촬영 장치를 사용할 수 있다는 점에서 더 편리하고 바람직하다. 휴대용 촬영 장치에 있어서, 임의의 위치에서도 피사체를 촬영할 수 있다. 임의의 위치관계 수단에서 피사체가 촬영될 수 있는 이점이 있는 반면, 사진 인쇄물들을 실제 촬영한 촬영 조건(촬영 장치 및 피사체와의 위치적 관계 등)이 어떠한지 알기가 힘들다. 이는 특정 사진 인쇄물을 인지하는 것을 어렵게 한다.

본 발명의 목적은 촬영된 화상으로부터 변색된 소정의 화상 영역을 추출하는 화상 처리 장치 및 화상 처리 방법을 제공함에 있다.

본 발명의 실시예에 따라서, 화상 처리 장치는: 사진을 포함하는 피사체 화상을 촬영하는 촬상 유닛; 촬상 유닛에 의해 촬영된 피사체 화상내에 사진의 에지들을 검출하는 에지 검출 유닛; 및 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 화상 처리 유닛을 포함하며; 상기 에지 검출 유닛은 상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행함을 특징으로 한다.

본 발명의 또 다른 실시예에 따라서, 화상 처리 방법은: 사진을 포함하는 피사체 화상을 촬영하는 단계; 촬영된 피사체 화상내에 사진의 에지들을 검출하는 단계; 및 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 단계를 포함하며; 상기 검출하는 단계는 상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행하는 단계를 포함함을 특징으로 한다.

본 발명의 또 다른 실시예에 따라서, 촬상 유닛을 포함하는 컴퓨터로 하여금 다음 작동을 실행하도록 하기 위한 컴퓨터 판독가능한 프로그램을 저장한 컴퓨터 판독가능한 기록매체로서: 사진을 포함하는 피사체 화상을 촬영하는 단계; 촬영된 상기 피사체 화상 내의 사진의 에지들을 검출하는 단계; 상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행하는 단계; 및 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 단계를 실행할 수 있게 구성되는 컴퓨터 판독가능한 기록매체가 제공된다.

도 1은 제 1 실시예에 따라서 화상 처리 장치를 포함하는 촬영 장치를 설명하기 위한 도면이다;

도 2는 제 1 실시예에 따라서 화상 처리 장치를 포함하는 촬영 장치의 구성을 설명하기 위한 도면이다;

도 3a, 3b, 3c, 3d, 3e, 3f 및 3g는 에지(edge) 검출 방법을 설명하기 위한 도면이다;

도 4는 라벨을 부여하는(labeling) 방법에 의해 라벨 할당을 설명하기 위한 도면이다;

도 5a, 5b, 5c, 5d, 5e 및 5f는 피사체가 촬영될 시 액정 디스플레이 상에 표시된 다양한 화상을 설명하기 위한 도면이다;

도 6a 및 6b는 허프 변환(hough transform)을 설명하기 위한 도면이다;

도 7은 사진 인쇄물과 사진 인쇄물의 투영된 화상 사이의 관계를 설명하기 위한 도면이다;

도 8a 및 8b는 퇴색으로 인한 변색을 설명하기 위한 도면이다;

도 9는 카메라 기본 처리의 순서도이다;

도 10은 에지 검출 처리의 순서도이다;

도 11은 라벨을 부여하여 주변의 에지 제거를 처리하는 순서도이다;

도 12는 변색 레벨 검출 처리의 순서도이다;

도 13은 변색 보정 안내 표시 처리의 순서도이다;

도 14는 변색 보정 처리의 순서도이다;

도 15는 변색 보정 안내 표시 처리 변형의 순서도이다; 그리고

도 16은 제 2 실시예에 따라 라벨을 부여하여 주변의 에지 제거를 처리하는 순서도이다.

이하에서, 본 발명의 실시예들은 도면들을 참조하여 자세하게 설명한다.

<제 1 실시예 >

도 1은 제 1 실시예에 따라서 화상 처리 장치를 포함하는 촬영 장치를 설명하기 위한 도면이다. 촬영 장치(1)는 디지털 카메라 또는 카메라 기능이 내장된 셀룰라 폰과 같은 휴대용 장치라 가정한다. 피사체(2)는 상술한 바와 같이, 현상된 필름들 또는 인쇄물 종이들 상의 사진들인 사진 인쇄물 또는 인쇄물들(3)을 저장하는 앨범이다. 이하에서, 참조 번호(2)는 피사체인 앨범만을 칭한다.

도 2는 촬영 장치(1)의 구조를 설명하기 위한 도면이다. 도 2에 도시된 바와 같이, 촬영 장치(1)는 촬영 대상 피사체를 촬영하여 획득된 화상을 디지털화해서 얻어진 화상 데이터를 발생시키는 화상 데이터 발생 유닛(21); 화상 데이터에 관한 화상 처리를 실행하는 데이터 처리 유닛(22); 및 사용자에 따라 정보를 변화시키는 사용자 인터페이스 유닛(23)을 포함한다.

화상 데이터 발생 유닛(21)은 광학 렌즈 장치(101) 및 화상 감지기(102)를 포함한다. 광학 렌즈 장치(101)는 화상 감지기(102) 상의 피사체 화상을 형성시키고, 초점 포인트, 노출 및 화이트 밸런스와 같은 촬영에 관한 설정 파라미터를 조정할 수 있는 광학 시스템으로 구성된다. 화상 감지기(102)는 광학 렌즈 장치(101)에 의해 초점이 포착된/화상화된 피사체의 화상을 디지털 화상 데이터로 변환시킨다. 화상 감지기(102)는 CCD 등으로 구성된다.

화상 데이터 발생 유닛(21)은 고-해상도 화상 촬영 및 저-해상도 화상 촬영을 실행한다(촬영 프리뷰(preview)). 저-해상도 화상 촬영에서, 화상 해상도는 예를 들면, 비교적 낮은 XGA(확장된 그래픽 어레이: 1024 × 768 도트) 정도이다. 그러나, 30 fps(프레임/초) 정도의 속도에서 비디오를 기록하거나 또는 화상을 판독할 수 있다. 반면, 고-해상도 화상 촬영에서, 촬영은 예를 들면 촬영될 수 있는 최대 픽셀 수(도트)에서 실행된다. 촬영이 최대 픽셀 수에서 실행되기 때문에, 촬영 속도 및 화상 판독 속도는 저-해상도 화상 촬영 경우에 비해 느리다.

데이터 처리 유닛(22)은 화상 감지기(102)로부터 출력된 화상 데이터를 저장하는 메모리(201); 메모리(201)에 저장된 화상 데이터를 나타내는 비디오 출력 장치(202); 화상 데이터에 관한 화상 처리를 실행하는 화상 처리 유닛(203); 촬영 장치(1) 전체를 제어하는 CPU(204); 및 CPU(204)에 의해 실행된 프로그램들(프로그램 코드들)을 저장하는 프로그램 코드 저장 장치(이하에서 "코드 저장 장치"라 칭함)를 포함한다. 저장 장치(205)는 예를 들면, ROM 또는 플래시 메모리이다. 본 발명에 따른 화상 처리장치는 화상 처리 유닛(203)으로 실현된다.

사용자 인터페이스 유닛(23)은 액정 디스플레이 유닛(301), 다양한 동작부분을 포함하는 동작 유닛(302), 개인용 컴퓨터(PC) 및 외부 저장 장치(304)와 같은 외부 장치로/로부터의 입력/출력을 실행하는 PC 인터페이스 장치(303) 및 외부 저장 장치(304)를 포함한다.

동작 유닛(302)은 동작부로서, 도시되어 있지는 않지만 예를 들면, 전원 키이, 모드 전환 스위치들, 셔터 키이, 메뉴 키이, 화살표 키이, 초점 키이 및 줌 키이를 포함한다. 모든 전환 스위치들은 기록(촬영)/재생 모드를 전환하는 스위치, 그리고 일반/변색 보정에서 하위-모드들을 전환하는 스위치(구별하기 위해 후자를 "하위-모드 전환 스위치"라 칭함)를 포함한다. 미도시이지만, 하위-CPU도 스위치 상태의 변화를 검출하고 변환에 상응하는 검출 신호를 CPU(204)로 전송한다. 외부 저장 장치(304)는 예를 들면, 장치(1) 또는 하드 디스크 장치로부터 탈착 가능한 휴대용 저장 매체(예를 들면, 플래시 메모리)이다.

CPU(204)는 코드 저장 장치(205)에 저장된 프로그램들을 로딩하고 실행하여 촬영 장치(1)를 전체 제어한다. CPU(204)는 동작 유닛(302)으로부터 입력된 명령 신호에 따른 필요에 의해 화상 데이터 발생 유닛(21)의 광학 렌즈 장치(101) 또는 화상 감지기(102)를 제어함으로써, 초점 포인트, 화이트 밸런스 등을 조정하거나, 노출 시간을 변환시킨다.

기록 모드가 설정될 시, CPU(204)는 촬영 전에도 화상 감지기(102)가 화상 데이터를 출력하도록 하게 한다. 비디오 출력 장치(202)는 메모리(201)에 저장된 화상 데이터로부터 표시하기 위한 RGB 신호를 발생시키고, 그리고 발생된 신호를 액정 디스플레이 유닛(301)으로 출력한다. 이 방식으로, 액정 디스플레이 유닛(301)은 촬영한 피사체 또는 촬영된 화상을 나타낼 수 있다. 비디오 출력 장치(202)로부터의 RGB 신호들은 단자들(미도시)을 통해 외부 장치로 출력되어, 텔레비전, PC, 프로젝터 등에 의해 나타낼 수 있다.

CPU(204)가 외부 저장 장치(304)내의 파일 포맷에 화상 데이터를 저장시키는 방식으로 메모리(201)에 저장된 화상 데이터는 보존된다. 외부 저장 장치(304)에 저장된 화상 데이터는 PC 인터페이스 장치(303)를 통해 출력될 수 있다. PC 인터페이스 장치(303)는 예를 들면, USB와 호환된다.

필요에 따라 CPU(204)는 화상 데이터를 인가하기 위해 화상 처리를 실행하는 화상 처리 유닛(203)에게 명령한다. 화상 데이터가 외부 저장 장치(304)에 보존될 시, CPU(204)는 화상 처리 유닛(203)이 압축처리를 실행하도록 하게 한다. 재생 모드가 설정될 시, 동작 유닛(302)에 의한 동작에 따라서 CPU(204)는 외부 저장 장치(304)에 보존된 압축 처리에 의해 암호화된 화상 데이터를 메모리(201)로 로드(load)한다. 그 후, CPU(204)는 화상 처리 유닛(203)이 액정 디스플레이 유닛(301) 상에 화상 데이터를 나타내기 위해 압축해제 처리를 실행하도록 하게 한다.

상술한 바와 같이, 기록 모드에서, 일반 모드 또는 변색 보정 모드는 하위-모드로 설정될 수 있다. 일반 모드는 그 자체로서 촬영된 화상을 로딩하는 모드이다. 변색 보정 모드는 피사체를 가지는 화상 영역을 자동적으로 추출하여 변색 보정을 실행하는 모드이며, 여기서 상기 피사체는 본래 색상이 변색(퇴색)되었다고 가정한다. 변색 보정 모드는 사진 인쇄물들(3)이 앨범(2) 등(즉, 앨범(2) 등에서 사진 인쇄물들을 제거하지 않음)에 부착된 상태에서 적합하게 디지털화될 수 있도록 하게 한다. 변색 보정 모드가 설정될 시, CPU(204)는 화상 처리 유닛(203)이 다음의 화상 처리를 실행하도록 하게 한다. 화상 처리의 피사체는 촬영에 의해 획득된 화상 데이터이다. 이하에서, "촬영에 의해 얻어진 화상 데이터"는 촬영 전에 메모리(201)에 저장된 화상 데이터로와 구별하기 위해 "촬영된 화상 데이터" 또는 "본래 화상 데이터"라 칭한다. 데이터에 의해 표현된 화상은 "촬영된 화상" 또는 "본래 화상"이라 칭한다.

화성 처리는 크게 (1) 에지(edge) 검출, (2) 비스듬한 촬영 보정, (3) 에지-검출된 영역에 관한 변색 레벨 검출 및 (4) 변색 보정을 포함한다. 에지 검출 처리는 피사체(2)의 촬영된 화상에 포함된 사진 인쇄물(3) 화상(사진 인쇄 화상)의 에지(경계선)를 검출하기 위함이다. 사진 인쇄물 화상은 일반적으로 카메라에 관한 위치적 관계 또는 사진 인쇄물(3)의 상태로 인하여 많게 또는 적게 왜곡된다. 사진 인쇄물(3)이 완벽하게 평평할지라도 인쇄물 화상은 표면이 광학 렌즈 장치(101)에 의해 구성된 광학 시스템의 광학 축에 대해 위치적 관계가 수직(이하에서 "이상적 위치 관계"라 칭함)으로 되지 않는 한, 즉 사진 인쇄물(3)이 비스듬한 방향으로부터 촬영될 시 왜곡된다. 비스듬한 촬영 보정 처리는 왜곡을 보정하기 위함이다.

화학적 변화는 보존 조건, 즉, 습도, 온도, 자외선 등의 조건에 따라서 사진 인쇄물(3)에서 발생하여 사진 인쇄물(3)은 퇴색으로 인해 본래의 색상이 바래져서 변색된다. 에지-검출된 영역에 관한 변색 레벨 검출 처리는 비스듬한 촬영 보정 처리가 된 사진 인쇄물 화상(에지-검출된 영역)에 관한 변색 레벨(색상이 바래진 레벨)을 검출하기 위함이다. 변색 보정 처리는 변색 레벨 검출 처리에 의해 정해진 변색 레벨에 따라서, 변색을 본래 색상으로 적당하게 변화시키기 위해 사진 인쇄물 화상에 대해 변색 보정을 실행하기 위함이다.

다음으로, 상술된 바와 같이, 화상 처리 장치에 의해 실행된 다양한 화상 처리를 자세하게 설명한다. 화상 처리 장치는 작동 영역으로서 촬영된 화상 데이터가 저장된 메모리(201)를 사용하여 다양한 화상 처리를 실행한다. 화상 처리를 실행하는 프로그램들은 화상 처리 유닛(203) 또는 CPU(204)에 의해 접속된 코드 저장 장치(205)에 포함된 비휘발성 메모리에 저장된다. 여기서, 후자를 가정한다. 이 경우에, CPU(204)는 코드 저장 장치(205)로부터 다양한 화상 처리에 대한 프로그램을 로드하여, 필요한 경우에 상기 프로그램을 화상 처리 유닛(203)으로 전송한다.

도 3a 내지 3g는 에지 검출 처리에서 에지 검출 방법을 설명하기 위한 도면 이다.

도 3a에서 도시된 프리뷰(preview) 화상은 앨범(2)에서 사진 인쇄물(3)을 촬영하여 화상 데이터가 메모리(201)에 저장되어 있는 촬영된 화상이다. 도 3b에서 도시된 이진 에지 화상은 프리뷰 화상에 관한 에지 검출을 실행하여 생성된다. 생성은 예를 들면 로버트 필터(Roberts filter)라 일컫는 에지 검출용 필터를 사용하여 실행된다.

이 로버트 필터에서, 2 개의 차이값 △1 과 △2는 타겟 픽셀과 타겟 픽셀에 근접한 3 개의 픽셀로 구성된 4 개의 근접 픽셀 상에 2 개 형태의 가중치를 부여하여 판별되고, 차이 값들은 에지를 강조하도록 하기 위해 타겟 픽셀의 픽셀값을 계산하기 위해 평균화된다. 타겟 픽셀이 위치한 좌표는 (x, y)이고, 픽셀 값은 f(x, y), g(x, y)라 가정하에, 로버트 필터에 의한 필터링 처리 후는 [수학식 1]과 같이 표기된다.

[수학식 1]에 의해 획득된 픽셀 값 g(x, y)는 소정의 임계값(TH)에 따라 이진화된다. 임계값(TH)은 고정된 값으로 판별될 수 있다. 그러나, 필요에 따라 가변 임계 방법 또는 식별 분석 방법과 같은 방법에 의해 판별된다. 픽셀 값 g(x, y)는 임계값(TH)을 사용하여 [수학식 2]에 의해 이진 픽셀값 h(x, y)로 변환된다. 촬영된 화상 상에 추출된 에지를 표현하는 이진화된 화상(이진 에지 화상)(h)은 도 3b에 도시된 바와 같이, 변환에 의해 생성된다(발생된다).

사진 인쇄물(3)이 위치되는 곳의 색상(배경)은 사진 인쇄물(3)의 주변 색상과 유사할 가능이 있다. 특히, 그러한 경우에 있어서, 예를 들면, 푸른 하늘 배경을 가진 사진 인쇄물(3)은 청색 시트에 고정된다. 그러한 경우에 있어서도, 예를 들면 [수학식 3]에 의해 화상 데이터의 포맷이 YUV인 경우 사진 인쇄물(3)과 청색 시트 사이의 차이를 강조할 수 있다. [수학식 3]에 따라, 휘도값 (Y)뿐만 아니라, 각 색상 성분의 U 및 V 차이 값은 각각 판별되고 평균화된다. 그 후, 평균값은 계수 n으로 곱해지고, 휘도값(Y)에 관해 판별된 평균값에 가산된다.

[수학식 3]은 이하에서 제시된 바와 같이, 3 성분의 제곱의 합이다. 로버트 필터를 가진 변환은 에지 추출을 위해 실행된다. 로버트 필터를 가진 변환은 에지를 추출하기에 충분하기 때문에, 픽셀 값 g(x, y)는 3 성분의 제곱 합들 중에서 최대값 하나만을 사용하여 계산될 수 있다.

상술된 강조는 화상데이터가 또 다른 포맷에 있을 경우에도 실행될 수 있다. 화상 데이터가 RGB를 가진 색상을 표현하기 위해 포맷내에 있을 시, 픽셀 값 g(x, y)은 각 RGB 성분에 관한 [수학식 1]에 의해 각각 판별되고, 강조를 할 수 있게 그 중 최대값 하나가 적용된다. 이는 화상 데이터가 CMY 또는 CMYK를 가진 색상을 표현하기 위한 포맷내에 있는 경우와 동일하다.

앨범(2)에 부착된 사진 인쇄물(3)을 촬영하기 위해, 원하는 사진 인쇄물(3)만 촬영하기에는 어렵다. 디지털 카메라에 의해 촬영된 화상은 원하는 사진 인쇄물(3) 주위에서 여분의 외부 영역을 포함한다. 가장 심한 경우에 있어, 사진 인쇄물(3) 근처에서 다른 사진 인쇄물(3)이 있을 시, 도 3b에 도시된 바와 같이 사진 인쇄물(3)은 다른 사진 인쇄물들과 함께 촬영될 수 있다. 그러나, 사용자는 바람직한 디지털화를 실행하기 위해 사진 인쇄물(3)이 디지털화가 잘 되도록 촬영을 하므로(이하에서, 다른 사진 인쇄물과 구별할 경우, 편의상 "원하는 사진 인쇄물"이라 하고 그에 해당하는 화상을 "원하는 사진 인쇄물 화상"이라 칭함), 나타내어 있지 않는 부분을 발생시키지 않도록 하면서 원하는 사진 인쇄물(3)을 더 커지게 한다. 때문에, 도 3b에 도시된 바와 같이, 전체 원하는 사진 인쇄물(3)은 촬영된 화상의 중심 근처에 나타나며, 그리고 다른 사진 인쇄물들(3)이 나타날지라고, 최적 경우에 있어서 그 주변 부분만 나타날 수 있다.

에지들은 도 3b에 도시된 바와 같이 원하는 사진 인쇄물 화상내에 존재할 수도 있다. 원하는 사진 인쇄물 화상내에서 에지의 검출오류가 없도록, 외부 에지가 높은 우선성을 가지고 검출되는 것이 바람직하다. 이것을 "외부 에지 우선성"이라 일컫는다.

그러나, 촬영된 화상 주변에 포함된 다른 사진 인쇄물들이 있는 경우, 외부 에지 우선성을 사용함은, 도 3c에 도시된 바와 같이, 원하는 사진 인쇄물 화상의 에지에 대해 다른 사진 인쇄물 화상들의 에지들이 오류가 있게 검출될 수도 있다. 그러한 오류적 검출을 피하기 위해, 본 실시예에서의 가중치는 에지가 촬영된 화상의 에지와 접촉된 여부에 따라 에지를 동작시키기 위해 실행된다. 이하에서 이를 "최대 외부 에지"라 일컫는다. 특히, 최대 외부 에지와 접촉된 에지는 이진 에지 화상으로부터 제거된다. 도 3b에 도시된 에지 화상은 최대 외부 에지 제거에 의해 도 3d에 도시된 바와 같이 갱신된다. 그러한 방식으로, 다른 사진 인쇄물 화상들이 존재할지라도, 다른 사진 인쇄물 화상들의 에지들은 제거되고, 결국 도 3f에 도시된 바와 같이 원하는 사진 인쇄물 화상이 존재하는 영역을 확실하게 검출할 수 있게 된다.

최대 외부 에지와 접촉한 에지의 제거는 라벨을 부여하는 방법을 사용하여 실행될 수 있다. 서로 접촉되고 최대 외부 에지와 접촉된 적어도 하나의 픽셀을 가진 픽셀들은 제거된다.

이진 에지 화상과 같은 이진 화상의 경우에서, 도 4에 도시된 바와 같이, 타겟 픽셀 F(x,y)가 에지 상에 있을시, 타겟 픽셀과 접촉된 8 개의 주변 픽셀은 조사되고, 그리고 타겟 픽셀 F(x,y)의 것과 동일한 라벨은 타겟 픽셀 F(x,y)과 연결된 픽셀들이 할당되는 방식으로, 라벨을 부여하게 된다. 이 방식으로 라벨들을 할당함으로써, 동일 라벨은 에지를 구성하기 위해 서로 연결된 픽셀들 모두에게 할당한다. 이러한 이유로, 최대 외부 에지와 접속된 에지들은 최대 외부 에지와 접속한 에지를 구성하는 픽셀들에게 라벨들의 할당을 취소하여 제거된다. 또한, 라벨 할당 이 취소된 픽셀들 값은 0이 된다.

원하는 사진 인쇄물 화상의 에지를 형성하는 직선 검출은 상기 제거 처리에 의해 갱신된 이진 에지 화상(이하에서는 "에지 화상"이라 칭함)에 관해 실행된다. 검출은 허프 변환을 사용하여 실행된다.

허프 변환은 도 6a 및 6b에서 도시된 바와 같이, X-Y 평면 상에 직선을 구성하는 점의 수가 [수학식 4]로 표기된 ρ-θ 평면 상에 "표시"되어, ρ-θ 평면 상에 표시 수로 변화된 변환 기술이다.

ρ= x·cosθ + y·sinθ

각도(θ)는 각 점의 좌표(x,y)에서 0°에서 360°까지 변하게 될 시, 동일 직선은 ρ-θ 평면 상에 동일 점으로 나타나게 된다. 이는 원점으로부터 거리(ρ)만큼 분리된 좌표점을 통과한 직선이 있을시 직선을 구성하는 각각의 점의 표시들은 ρ-θ 평면 상에 동일점에 대해 실행되기 때문이다. 그러므로, 다수의 표시가 획득된 ρ-θ 좌표에 기반하여 직선(위치)을 정하는 것이 가능하다. 획득된 표시 수와 직선 길이로 간주될 수 있는 직선에 관한 픽셀 수는 같다. 때문에, 다수의 표시를 가진 ρ-θ 좌표는 단직선 또는 곡선으로 간주되고, 그리고 사진 인쇄물 화상의 최대 외부 에지를 나타내는 후보들이 매겨지게 된다.

조사 피사체로 역할을 하는 에지 화상에서, 좌표계의 원점으로서 화상의 중심을 고려하면, [수학식 4]의 우항에 있는 2 개의 기호 모두는 양과 음 값을 취한다. 이러한 이유로, 거리(ρ)의 값은 각도(θ)가 0°≤ θ＜ 180°인 범위 내에서 양이되고, 그리고 각도(θ)가 180°≤ θ＜ 0°(360°)인 범위 내에서는 음이 된다.

상술한 바와 같이, 변색 보정 보드는 이미 존재하는 사진 인쇄물(3)의 디지털화를 위해 사용된다고 가정한다. 상술된 바와 같이, 사진 인쇄물(3)은 화상이 촬영된 화상 중심 근처로 가는 조건하에서 짧아지게 되는 경우를 가정한다. 그러한 방식으로 촬영하는 경우에 있어서, 사진 인쇄물 화상의 중심(직사각형 화상 영역)은 촬영된 화상의 중심(원점) 근처에 위치되고, 그리고 각 경계들(측들)은 원점의 상, 하, 좌 및 우편 상에 존재한다. 따라서, ρ-θ 평면 상에서 획득된 표시 수는 각도(θ)에 관한 검출 범위를, 0°≤θ＜180°와 180°≤θ＜0°(360°)의 범위로 분할하는 것보다 [수학식 5], [수학식 6]에 따른 범위내의 각도(θ)에 관한 검출 범위로 분할함으로써 더 효과적으로 검출될 수 있다.

상 및 하의 경계들(측들)

45°≤θ＜135°(또는 225°≤θ＜315°)

좌 및 우의 경계들(측들)

135°≤θ＜225°(또는 315°≤θ＜405°)

각도(θ) 범위와 거리(ρ) 양 또는 음 값에 대한 제한에 따라서, 경계들의 상 및 하 또는 좌 및 우는 정해질 수 있고, 그리고 교차점들은 사진 인쇄물 화상 꼭지점이 되기 위해 계산될 수 있다. 상술된 바와 같이 가정된 촬영 조건으로부터, 사진 인쇄물 화상의 경계들은 원점과 가깝게 있지 않을 수 있다. 이러한 이유로, 다수의 표시들을 가진 직선들에 대한 후보들 중에서 경계들과 상응하는 후보자들을 정함에 있어서, 거리(ρ)는 간주된다.

사진 인쇄물 화상인 화상 영역이 4 개의 경계를 정함으로써 에지-검출된 영역이 정해지게 된다. 에지-검출된 영역이 정해진 후, 비스듬한 촬영 보정 처리는 영역에 적용된다. 보정 처리에서, 정해진 영역(사진 인쇄물 화상)은 왜곡을 보정하기 위해 촬영된 화상으로부터 추출된다(오려지게 된다). 보정은 투영(projective) 변환으로 실행된다. 본 발명의 실시예에서, 변환은 3-차원 카메라 파라미터들의 사용 없이, 2-차원 아핀(affine) 변환을 사용함으로써 실행된다. 아핀 변환은 일반적으로, 화상들에 대해 공간 변환에 널리 적용된다.

아핀 변환에서, 이동, 스케일링(scaling), 회전 등의 동작은 변환 전에 좌표(u,v)에 대한 다음 [수학식 7]에 따라서 실행되고, 변환 후의 좌표(x,y)는 판별된다.

결과 좌표(x,y)는 [수학식 8]과 같이 계산된다.

[수학식 8]은 투영 변환을 실행하는 식이고, 그리고 좌표(x,y)는 z' 값에 따라 0으로 되돌아 간다. 즉, z'에 포함된 파라미터들은 투영에 대한 효과를 가진다. 파라미터들은 a13, a23, a33이다. 또한, 다른 파라미터들이 파라미터 a33에 의해 표준화되기 때문에, 파라미터 a33 값은 1이 될 수 있다. [수학식 7]의 우항에서 3 × 3 매트릭스의 각 파라미터들은 에지-검출된 영역의 에지(4개의 꼭지점)와 촬영시의 초점길이에 기초하여 계산될 수 있다.

도 7은 촬영된 화상의 사진 인쇄물 화상과 사진 인쇄물의 화상 사이의 관계를 설명하기 위한 도면이다.

도 7에서, U-V-W 좌표계는 화상 데이터 발생 유닛(21)에 의한 촬영을 통해 획득된 촬영된 화상(본래 화상)의 3-차원 좌표계이다. A(A_u,A_v,A_w)벡터 및 B(B_u,B_v,B_w)벡터는 3-차원 U-V-W 좌표계 상의 사진 인쇄물(3)을 나타내는 벡터들이다. 또한, S(S_u,S_v,S_w)는 U-V-W 좌표계의 원점과 사진 인쇄물(3) 사이의 거리를 나타낸다.

도 7에서 도시된 촬영된 화상의 가상 투영 스크린(이하에서 "가상 스크린"으로 칭함)은 촬영 장치(1)에 의해 투영된 화상을 가상적으로 나타낸다. 이는 사진 인쇄물 화상의 투영을 실행한다. 가상 스크린이 X-Y 좌표계라 하고, 가상 스크린 상에 투영된 사진 인쇄물(3) 화상은 촬영된 사진 인쇄물 화상과 상응한다고 가정한다. 여기서, 가상 스크린이 W=0을 통과한 평면으로부터 거리(d) 만큼 이격되고 평면에 대해 수직이 되도록 배치된다고 가정한다.

사진 인쇄물(3) 상의 임의의 점 P(u, v, w)와 원점이 직선에 의해 연결되고, 그리고 상기 직선과 가상 스크린이 교차가 이루어진 교차점의 X-Y 좌표는 p(x,y)라 가정한다. 이 경우에서, 좌표(p)는 투영 변환을 이용한 [수학식 9]로 표기된다.

도 7에 도시된 바와 같이, [수학식 9]로부터 다음에 제시된 관계식은, 4 개의 꼭지점(P0, P1, P2 및 P3)과 가상 스크린 상에 투영된 투영점(p0, p1, p2 및 p3) 사이의 관계로부터 획득될 수 있다.

이 경우에, 투영 계수(α 및 β)는 [수학식 11]과 같다.

다음으로, 투영 변환을 설명한다. 사진 인쇄물(3) 상에 임의의 점 P(x,y)은 벡터 S, A 및 B를 사용하여 다음 [수학식 12]와 같이 나타낼 수 있다.

P = S + m·A + n·B

여기서, m(0≤m≤1)은 벡터 A의 계수이고, n(0≤n≤1)은 벡터 B의 계수이다.

[수학식 10]은 이 [수학식 12]로 대용되며, 좌표 값(x 및 y)은 다음 [수학식 13]과 같다.

이 [수학식 13]에서 제시된 관계가 [수학식 7]에 적용될 시, 좌표(x', y', z')는 다음 [수학식 14]와 같이 표기된다.

좌표(x', y', z')는 m 및 n의 값을 이 [수학식 14]에 대입하여 판별되고, 촬영된 화상 상에 상응하는 좌표(x, y)는 [수학식 8]과 유사한 식으로 획득된다. 상응하는 좌표(x, y)는 정수 값이 아닐 수 있기 때문에, 픽셀 값들은 화상 보간 기술등을 사용하여 판별된다.

계수들(m 및 n)은 보정된 화상 p(u, v)을 출력하기 위해 화상 크기(0≤u＜umax, 0≤v＜vmax)를 설정하고, 화상 크기에 적합하도록 사진 인쇄물의 크기를 조정하여 판별될 수 있다. 이 방법을 사용할 시, 계수들(m 및 n)은 [수학식 15]에 의해 계산될 수 있다.

그러나, 생성된 보정 화상(P)의 가로세로비와 사진 인쇄물(3)의 가로세로비는 촬영 등과 같은 시점에서 일어나는 왜곡의 영향하에 반드시 서로 일치하는지 않는다. 여기서 보정된 화상(p)과 계수들(m 및 n) 사이의 관계는 [수학식 9]와 [수학식 10]으로부터 다음 [수학식 16]과 같이 표기된다.

카메라 파라미터들 중 하나인 렌즈 초점 거리(f)를 이미 알고 있는 경우, 가로세로비(k)는 [수학식 16]에 의해 획득될 수 있다. 따라서, 보정된 화상(p)의 화상 크기가 (0≤u＜umax, 0≤v＜vmax)인 경우, 다음 [수학식 17]의 사용에 의해 계수들(m 및 n)을 판별하여 사진 인쇄물(3)의 것과 동일한 가로세로비(k)를 획득할 수 있다.

(1) vmax/umax≤k 이면,

(0≤u＜umax)

(2) vmax/umax 〉k 이면,

(0≤v＜vmax)

촬영 장치(1)가 고정된 초점을 가진 경우, 렌즈 초점길이 값은 기설정될 수 있다. 촬영 장치(1)가 고정 초점을 가지지 못한 경우, 즉 줌 등으로 된 경우, 초점 길이의 값은 줌 확대에 따라 변한다. 이러한 이유로, 이 경우에 있어서, 줌 확대와 초점 길이 사이의 관계를 보여주는 테이블은 미리 준비되며, 촬영 시점에서의 줌 확대에 상응하는 초점 길이는 상기 테이블로부터 판별된다.

도 7에서 도시된 꼭지점들(p0, p1, p2 및 p3) 각 좌표들은 에지 검출 처리에 의해 정해지게 된다. 이 좌표들이 정해지게 되어, 투영 계수들(α 및 β)은 [수학식 11]을 이용하여 계산될 수 있고, 그리고 계수들(m 및 n)은 [수학식 16] 및 [수학식 17]로부터 판별될 수 있다. 그러므로, [수학식 14]가 정해지게 되고, [수학식 14]를 사용하여 보정된 화상(p)(보정 후의 사진 인쇄물 화상; 이하에서 "보정 사진 인쇄물 화상"이라 칭함)을 발생시킬 수 있다. 보정 화상(p)의 화상 크기는 umax, vmax 및 가로세로비(k)와 상응된다. 화상 크기는 형상과 위치로 정해진다. 투영 변환(아핀 변환)이 화상 크기의 전제로 실행되기 때문에, 보정 화상(p)은, 변환 동작 및 보정 왜곡에 대한 스케일링 동작이외에 회전동작 및 이동 동작이 본래 화상(사진 인쇄물 화상)으로 적용되는 방법으로 획득된다. 이러한 다양한 동작들이 필요에 따라 실행됨은 물론이다.

휴대용 촬영 장치(1)에 의해 적당한 방법으로 원하는 사진 인쇄물(3)만 촬영하기에는 매우 어려울 수 있다. 원하는 사진 인쇄물(3)을 디지털화하려는 많은 사용자들은 포함되지 않은 부분들을 제거하지 않을 수 있다. 이 경우에, 사진 인쇄물(3)(앨범, 다른 사진 인쇄물(3) 등)외의 다른 사항들은 원하는 사진 인쇄물(3)을 디지털화하기 위한 촬영에 있어 많은 경우가 포함될 수 있다.

이 가정하에, 본 실시예에서, 원하는 사진 인쇄물(3)만 촬영된 화상에서 원 하는 사진 인쇄물만 자동적으로 추출하여 디지털화된다. 상술된 바와 같이, 어떻게 촬영이 실행될지 아는 것은 어렵다. 촬영은 적당한 방법으로 반드시 실행될 필요는 없다. 그러므로, 이상적인 촬영된 인쇄물(보정 화상(p))은 실제 사진 인쇄물 화상으로부터 자동적으로 획득된다. 그러한 동작이 촬영된 화상에 관해 실행됨으로써, 사진 인쇄물(3)을 적합하게 디지털화하기 위해 촬영에 필요한 조건들은 줄어들게 된다. 그 결과, 촬영 장치(1)를 사용하는 사용자가 디지털화하기 위해 사진 인쇄물(3)을 손쉽게 촬영할 수 있다.

사진 인쇄물 화상(에지-검출된 영역)은 에지(경계선)를 검출하여 추출된다. 에지를 검출하여 정해진 복수의 에지-검출된 영역들은 촬영된 화상에 존재할 수 있다. 예를 들면, 복수의 사진 인쇄물 화상들이 고려된 경우와, 하나 이상의 사진 인쇄물 화상들이 고려된 경우와, 그리고 원하는 사진 인쇄물과는 다른 하나 이상의 직사각형 형상들의 화상들이 고려된 경우이다. 이러한 이유로, 본 실시예에서, 검출된 에지(에지-검출된 영역들)는 표시되고(도 5b 및 5c), 사용자는 보정 화상(p)이 발생된 에지-검출된 영역을 선택할 수도 있다.

변색은 사진 인쇄물(3)(피사체)에서 일어나기 때문에, 변색 보정은 비스듬한 촬영 보정 처리에 의해 발생되는 보정된 사진 인쇄물 화상에서만 적용된다.

보정된 사진 인쇄물 화상은 원하는 사진 인쇄물 화상에 관하여 왜곡 보정 등을 적용하여 획득된다. 그러므로, 변색 레벨 검출 처리에 있어서, 변색 레벨은 원하는 사진 인쇄물 화상(에지-검출된 영역)을 검출한다. 본 실시예에서, 검출은 예를 들면, 원하는 사진 인쇄물 화상을 구성하는 각 픽셀들에 대한 RGB 성분마다 히 스토그램 테이블을 준비함으로써 실행된다. 검출은 보정된 사진 인쇄물 화상에 적용될 수 있다. 히스토그램 테이블들(HT[f(x, y)])은 각 f(x, y)에 관한 증가량으로 구현된다. 여기서, f(x, y)는 좌표(x, y)에 관한 각 픽셀 값을 나타낸다.

히스토그램 테이블(R 성분) :

HTr[fr(x, y)] ← HTr[fr(x, y)] + 1

히스토그램 테이블(G 성분) :

HTg[fg(x, y)] ← HTg[fg(x, y)] + 1

히스토그램 테이블(B 성분) :

HTb[fb(x, y)] ← HTb[fb(x, y)] + 1

(외부 영역X≤ x＜maxX-외부영역X, 외부 영역Y≤ y＜maxY-외부영역Y)

여러 사진 인쇄물(3)은 여백을 가진다. 여백에는 화상이 없기 때문에, 여백은 본 실시예에서 조사 피사체로부터 배제된다. 사진 인쇄물 화상인 에지-검출된 영역의 수직 및 수평 방향에서 픽셀들의 각 수는 maxY 및 maxX라 하고, 여백을 무시하는 수직 및 수평 방향에서 픽셀들의 각 수는 외부영역Y 및 외부영역X 라 가정한다. X축 방향으로, 조사 범위는 외부영역X ≤ x ＜maxX-외부영역X 이고, 그리고 Y축 방향으로 조사 범위는 외부영역Y ≤ y ＜maxY-외부영역Y 이다. 픽셀들의 각 수(maxY, maxX, 외부영역Y 및 외부영역X)는 에지-검출된 영역으로부터 획득될 수 있다. 픽셀들의 이러한 수는 에지-검출된 영역이 왜곡없이 직사각형 형상에 있는 전제하에 획득되고, 4 개의 경계선은 X-축에 대해 수평 또는 수직이 된다(즉, 화상은 회전되지 않는다). 실제 조사 범위는 왜곡 또는 회전, 그리고 레벨의 존재 여부 에 따라 변화한다.

도 8a 및 8b는 퇴색으로 인한 변색을 설명하기 위한 도면이다. 도 8a는 변색이 안 된 화상에서 각 성분들의 히스토그램 테이블의 예를 도시한 것이다. 도 8b는 변색이 된 화상에서 각 성분들의 히스토그램 테이블의 예를 도시한 것이다. 각 히스토그램 테이블들에서, 가로축은 RGB 값을, 세로축은 픽셀들의 수이다.

도 8a 및 8b에서 도시된 바와 같이, RGB 값의 범위는 변색으로 인해 점점 좁아지게 된다. 이로써, 본 실시예에 따라 픽셀들의 수가 임계치를 초과할 시, 최대 및 최소 측에서의 RGB 값들은 각 히스토그램 테이블들(HTr[j], HTg[j] 및 HTb[j])을 참조하여 정해지게 된다. 여기서, 각 RGB 성분마다 정해진 최대값 측들에서의 값들은 상부 한계들(maxR, maxG 및 maxB)이라 칭하고, 최소값 측들에서의 값들은 하부 한계들(minR, minG 및 minB)이라 칭한다. 각 성분의 상부 한계들 및 하부 한계들은 다음과 같이 판별된다. 즉, j 값이 8 비트로 표기될 시, 즉 j 값이 0 내지 255의 범위 내에 있을 시, 예를 들면, j 값이 0부터 순차적으로 증가되는 동안 픽셀들의 상응하는 수가 임계값을 초과하는지를 하나씩 판별한다. 임계값은 판별된 임의의 값일 수 있다. 그러나, 임계값은 판별된 임의의 비율에 픽셀들의 총 수를 곱하여 획득된 값일 수 있다. 상부 한계들 및 하부 한계들은 이하에서 일반적으로 변색 파라미터들로 언급된다.

성분 값이 존재하는 범위가 변색으로 인해 점점 좁아지기 때문에, 변색 보정은 범위를 확장시키도록 실행된다. 이 목적으로, 보정 테이블은 이하에서 제시한 바와 같이, RGB의 각 성분마다 준비된다.

각 보정 테이블들(STr[j], STg[j] 및 STb[j])에서, 보정된 성분 값들은 성분 값 j에 의해 지정된 레코드들(records)에 저장된다. 결국, 변색 보정은 j 값에 의해 지정 레코드들에 저장된 성분값으로 변화게 되도록 실행된다. 좌표(x,y) 상의 각 RGB 픽셀값이 fr(x, y), fg(x, y) 및 fb(x, y)로 각각 나타나게 되고, 그리고 변색 보정에 의해 다음과 같이 변화하게 된다. 여기서, fr(x, y), fg(x, y) 및 fb(x, y)는 보정된 픽셀의 RGB 성분들 각각을 나타낸다. 변화하게 되면, 도 8b에서 도시된 각 성분들의 히스토그램 테이블은 도 8a에 도시된 것으로 변하게 된다.

보상된 픽셀 값(R 성분):

fr(x, y) = STr[fr(x, y)]

보상된 픽셀 값(G 성분):

fg(x, y) = STg[fg(x, y)]

보상된 픽셀 값(B 성분):

fb(x, y) = STb[fb(x, y)]

일반적으로 변색이 사진 인쇄물 상에서 일어나지만, 실제로 촬영된 사진 인쇄물(3) 상에서는 일어나지 않는다. 그러므로, 본 실시예에서는 변색이 각 성분마다 검출된 상부 한계들 및 하부 한계들(변색 파라미터들)에 따라 일어난지가 판별된다. 다음 [수학식 20]으로, 변색비는 변색 레벨을 나타내는 정보에 의해 계산되고, 판별은 계산된 변색비가 소정의 임계값 이하인지에 따라 실행된다. 게다가, 변색비가 임계값 이하인 경우에는 변색이 일어났다고 판별한다.

퇴색비 : ((maxR-minR) + (maxG-minG) + (maxB-minB))/(256×3)

변색이 일어난 여부의 판별은 각 성분마다 실행될 수 있다. 예를 들면, 이하에서 제시된 바와 같이, 판별은 상부 한계와 하부 한계 사이의 차이가 임계값(TH 범위) 미만인지에 따라 실행될 수 있다. 이 경우에서, 각 성분의 판별 결과에 따라 변색 보정의 실행 여부가 판별될 수 있다.

변색이 촬영 사진 인쇄물(3) 상에 일어난 경우에도, 필요에 따라 보정된 사진 인쇄물 화상에 관한 변색 보정을 실행함으로써, 보정된 사진 인쇄물 화상의 색상이 본래의 색상(변색이 일어나기 전의 색상) 또는 본래의 색상과 가까워지도록 자동적으로 보정된다. 필요에 따라 그러한 변색 보정이 수행된 보정된 사진 인쇄물 화상은 사진 인쇄물(3)의 디지털화 결과로서 저장되기 위해 피사체로서 간주된다. 그러므로, 촬영 장치(1)로 사진 인쇄물(3)을 촬영함으로써 사용자가 사진 인쇄물(3)만을 저장하기 위해 사진 인쇄물(3)을 최적의 형태로 디지털화할 수 있다. 촬영 장치(1)로 사진 인쇄물(3)을 촬영해야 하기 때문에, 즉, 촬영되어 저장된 화상에 관한 화상 처리를 추가적으로 실행할 필요성이 없기 때문에, 사진 인쇄물(3)의 디지털화를 최적화하여 손쉽게 실행할 수 있다.

변색 보정 모드가 설정될 시 촬영을 함으로써, CPU(204)는 화상 처리 유닛(203)이 메모리(201)에 저장된 촬영된 화상 데이터에 관해서 상술된 다양한 화상 처리를 실행하도록 하게 한다. 이하에서, CPU(204)의 제어하에 촬영 장치(1)의 동작을 도 9 내지 13에서 도시된 다양한 순서도를 참조하여 자세하게 설명한다.

도 9는 카메라 기본 처리의 순서도이다. 도 9는 변색 보정 모드가 설정될 시 모드가 취소될 때까지 CPU(204)에 의해 실행된 기본 처리의 순서를 보여준다. 우선, 기본 처리를 도 9를 참조하여 자세하게 설명한다. 기본 처리는 CPU(204)가 프로그램 코드 저장 장치(205)에 저장된 프로그램을 로드하고 실행시키도록 실현된다.

우선, 단계 S11에서, 주변 회로는 초기화되고, 다음 단계 S12에서 데이터 초기화 및 프리뷰 화상을 나타내기 위한 설정이 실행된다. 이 시점에서, 화상 처리용 프로그램은 화상 처리 유닛(203)으로 전송되기 위해 코드 저장 장치(205)로부터 로드된다. 때문에, 화상 처리 유닛(203)은 다양한 화상 처리가 실행될 수 있도록 설정된다.

단계 S12에 이은 단계 S13에서, 셔터 키이의 동작은 프리뷰 화상을 갱신하는 동안 대기된다. 셔터 키이의 동작이 동작 유닛(302)에 전달된 경우, 단계 S14로 진행한다. 모드 전환 스위치 또는 하위-모드 전화 스위치의 동작이 동작 유닛(302)에 전달된 경우, 동작된 스위치에 의해 정해진 모드가 설정된다. 모드에 대한 처리가 시작된 후, 그 진행은 종료된다.

단계 S14에서, 이 시점에서 광학 렌즈 장치(101)와 화상 감지기(102)는 설정된 조건하에서 촬영을 실행하기 위해 실행된다. 조건은 카메라 파라미터들(f)을 포함한다. 다음 단계 S15에서, 촬영을 함으로써 화상 처리 유닛(203)은 메모리에 저장된 촬영된 화상 데이터에 관해 에지 검출 처리를 적용시키기 위해 명령을 받는다.

단계 S15에 이은 단계 S16에서, 비디오 출력 장치(202)는 도 5a에 도시된 바와 같이 액정 디스플레이 유닛(301) 상에 촬영된 화상 데이터에 기초하여 프리뷰 화상을 나타내기 위해 명령을 받는다. 다음 단계 S17에서, 화상 처리 유닛(203)이 에지 검출 처리를 실행하도록 함으로써 검출된 에지는 프리뷰 화상 상에 중첩되도록 나타낸다. 에지는 CPU(204)가 검출된 부분의 화상 데이터를 촬영된 화상 데이터내의 에지로서 변화시키는 방법으로 나타나게 된다.

도 5b는 에지 검출의 실패 경우, 즉 검출이 실패된 경우의 표시 예를 도시한 것이다. 도 5c는 에지 검출이 성공한 경우, 즉 검출이 성공된 경우의 표시 예를 도시한 것이다. 각 도 5b와 5c에 도시된 실패와 성공의 경우 둘 다는 서로 인접하도록 앨범(2)에 부착된 사진 인쇄물(3)이 촬영될 시 발생된 경우이다. 도 5b에 도시 된 실패의 경우에서, 검출은 인접한 사진 인쇄물의 에지가 전체적으로 나타난 사진 인쇄물(3)의 에지 선으로 검출됨으로써 실패된다. 도 5c에 도시된 성공의 경우에, 검출은 다른 사진 인쇄물들(3)의 에지들을 정확하게 구별됨으로써 성공된다.

상술된 바와 같이, 에지 검출은 최대 외부 에지와 접촉된 에지들이 제거된 에지 화상(도 3d)에 관해 실행된다. 상술된 바와 같이, 많은 경우에 있어서, 원하는 사진 인쇄물(3)에 인접한 다른 사진 인쇄물들(3)이 전체적으로 나타날지라도 일부만을 나타내도록 촬영될 수 있다. 그러므로, 다른 사진 인쇄물(3)과 앨범의 (장착)배경 사이의 경계가 검출될 수 없을 시에만 도 5b에서 도시된 바와 같이 실패가 일어나게 된다. 에지 화상은 경계를 포함하는 에지를 강조하기 위해 발생되기 때문에, 도 5b에 도시된 바와 같이 실패가 거의 일어나지 않는다.

에지가 나타난 후에 실행된 단계 S18에서, 동작 유닛(302)을 동작시킴으로써 에지(에지-검출된 영역)를 선택하는 사용자를 위해 대기된다. 선택은 예를 들어, 화살표 키이 동작으로 실행된다. 에지가 선택된 경우, 동작 유닛(302)으로부터 사용자의 동작을 통보받음으로써 다음 단계 S19로 진행한다. 자세한 설명이 생략되었지만, 에지-검출된 영역의 추출이 실패할 가능성이 있기 때문에, 이 단계에서 촬영된 화상을 버리도록 명령할 수 있다. 사용자가 버리도록 명령한 경우, 단계 S13으로 되돌아 간다.

단계 S19에서, 사용자는 발생되는 변색의 보정 여부에 관한 질의를 받고, 질의를 참조하여 사용자가 변색을 보정하도록 지시한 여부가 판별된다. 사용자가 동작 유닛(302)을 동작시킴으로써 보정을 실행하도록 명령한 경우, 판별 결과는 '예' 이며, 단계 S22로 진행한다. 이와 달리, 판별 결과가 '아니오'이면, 단계 S20으로 진행한다.

단계 S20에서, 최종적으로 획득된 화상 데이터(촬영된 화상 데이터, 변색 보정이 안 된 보정 화상(p), 또는 변색 보정이 된 보정 화상(p))는 외부 저장 장치(304)로 파일 포맷으로 저장된다. 단계 S20에 이은 단계 S21에서, 저장된 화상은 주어진 시간 동안 액정 디스플레이 유닛(301) 상에 표시된다. 그 후, 단계 S13으로 되돌아가고 다음 촬영을 준비한다.

한편, 단계 S22에서, 화상 처리 유닛(203)은 에지-검출된 영역(사진 인쇄물 화상)에 관해 비스듬한 촬영 보정 처리를 실행하기 위해 명령을 받는다. 보정 처리에서, 투영 계수들(α 및 β)은 [수학식 11]을 사용하여 계산되고, 계수들(m 및 n)은 [수학식 16] 및 [수학식 17]로부터 계산된다. 결과에 따라, [수학식 14]는 계산되고, 보정 화상(p)은 [수학식 14]를 사용하여 발생된다. 보정 화상(p)(보정된 사진 인쇄물 화상)이 발생된 후 단계 S23으로 진행한다. 발생된 보정 화상(p)은 메모리(201)의 소정의 영역에 저장된다.

단계 S23에서, 화상 처리 유닛(203)은 에지-검출된 영역 상에 변색 레벨을 검출하는 변색 레벨 검출 처리를 실행하기 위해 지시된다. 다음 단계 S24에서, 화상 처리 유닛(203)은 검출 결과에 따라 변색 보정 처리를 실행한 후, 단계 S20으로 진행한다.

상술된 바와 같이, [수학식 20]에 의해 계산된 변색비는 임계값 이하인 경우, 변색이 일어났다고 간주된다. 이러한 이유로, 변색 보정 처리에서, 변색이 일 어나지 않았다고 간주될 경우 보정 화상(p)에 관한 변색 보정 동작은 실행되지 않는다. 때문에 단계 S20로 진행될 시, 변색 보정이 안 된 보정 화상(p) 또는 변색 보정이 된 보정 화상(p)은 저장된다.

단계 S23에서, 화상 처리 유닛(203)은 에지-검출된 영역에 관해 변색을 검출하기 위해 변색 레벨 검출 처리를 실행하기 위해 지시된다. 다음 단계 S24에서, 변색 보정 안내 표시 처리는 검출 결과의 통보를 사용자에게 알려주기 위해 실행된다. 안내 표시 처리에서, 후자에서 설명된 바와 같이, 사용자는 변색 보정의 실행 여부를 최종적으로 선택한다. 때문에 단계 S25에서 사용자가 변색 보정을 실행하기 위해 명령했는지가 판별된다. 사용자가 변색 보정을 실행하기 위해 명령한 경우, 판결 결과는 "예"이다. 화상 처리 유닛(203)이 단계 S26에서 변색 보정 처리를 실행하고 단계 S20으로 진행한다. 반면, 판별 결과가 "아니오" 이면 단계 S20으로 진행한다.

변색 보정 안내 표시 처리에서, 변색 레벨의 검출 결과에 따라서, [수학식 20]에 의해 계산된 변색비는 예를 들면 도 5d에 도시된 바와 같이 나타난다. 때문에, 사용자는 변색 보정이 필요한가를 판별해야 한다. 사용자가 변색 보정을 실행하기 위해 지시한 경우, 변색 보정이 된 보정 화상(p)은 예를 들면, 도 5e에 도시된 바와 단계 S21에서 나타난다. 변색 레벨 결과에 따라서, RGB(변색 파라미터들; [수학식(21)]) 성분마다 검출된 상부 한계들 및 하부 한계들은 예를 들면, 도 5f에 도시된 바와 같이 나타낼 수 있다.

이하에서, 카메라 기본 처리에서 화상 처리 유닛(203)에 의해 실행되는 화상 처리를 자세하게 설명한다.

도 10은 단계 S15에서 화상 처리 유닛(203)에 의해 실행된 에지 검출 처리의 순서도이다. 다음으로, 에지 검출 처리를 도 10을 참조하여 자세히 설명한다. 화상 처리 유닛(203)에 의해 다양한 화상 처리들은, 화상 처리 유닛(203)이 CPU(204)에 의해 전송되는 코드 저장 장치(205)로부터 로드된 화상 처리에 대한 프로그램들을 실행하도록 하기 위해 실현된다.

우선, 단계 S30에서, 이진 에지 화상(h)은 [수학식 1] 및 임계값을 사용하여 촬영된 화상으로부터 생성된다. 다음 단계 S31에서, 라벨을 부여함으로써, 주변의 에지 제거 처리는 에지 화상으로부터 최대 외부 에지와 접촉하는 주변 에지를 제거하기 위해 실행된다. 제거 처리를 실행함으로써, 도 3b에서 도시된 바와 같이 에지 화상은 도 3d에 도시된 바와 같이 갱신된다.

단계 S32에서, 허프 변형은, 도 6a에 도시된 바와 같이 X-Y 평면 상에 직선(에지-선)을 구성하는 점의 수가 도 6b에 도시된 바와 같이 [수학식 4]에 의해 ρ-θ 평면 상에 "표시"되고, 그리고 ρ-θ 평면 상에 표시된 수로 변환됨으로써 실행된다. 다음 단계 S33에서, 거리(ρ)의 양 및 음 값 각각에 대해 다수의 표시들을 가진 복수의 좌표들은 45°≤θ＜225°범위에서, 더 자세하게 [수학식 5] 및 [수학식 6]에 각각 도시된 범위에서 에지선의 좌표를 나타내는 정보로서 획득된다(정해진다). 이 방식으로 정해짐으로써, 원점의 상, 하, 좌 및 우에 위치된 에지선들(경계선들)은 후보들로서 각각 정해지게 된다. 그 후 단계 S34로 진행한다.

단계 S34에서, 후보 테이블은 정해진 좌표들이 표시의 최대 수로부터 내림순 으로 배열되게 준비된다. 다음 단계 S35에서, 좌표계의 순서는 중심으로부터 최대 크기(절대 값)의 거리(ρ)를 따라 분류된다. 단계 S36에서, 상, 하, 좌 및 우에 각각 위치된 좌표들(후보들)은 후보 테이블을 참조하여 하나씩 선택되고, 2 개의 후보가 서로 교차한 교차점의 좌표들은 4 개의 후보 중에서 꼭지점들의 좌표들로서 각각 계산된다. 2 개의 후보 말부와 교차점 사이의 거리가 소정의 범위내에 있지 않는 경우, 이러한 후보들은 서로 교차되지 않아 꼭지점들을 구성하는 결합 대상으로부터 배제된다고 판별된다. 총 4 개의 꼭지점의 좌표가 계산된 후, 단계 S37로 진행되어, 계산된 꼭지점의 좌표 모두가 촬영된 화상내에 있는지가 판별된다. 적어도 하나의 꼭지점이 촬영된 화상내에 있지 않은 경우, 판결 결과는 "아니오"이고, 단계 S40으로 진행한다. 촬영된 화상내에 존재하지 않는 꼭지점의 좌표를 계산하기 위해 사용된 좌표들은 원점으로부터, 도시된 바와 같이 동일 방향에 위치된 다른 후보들로 각각 변화된 후, 단계 S36으로 되돌아 간다. 때문에, 에지-검출된 영역을 구성하는 후보로 간주되지 않은 후보는 제거된다. 이와 달리, 판별 결과가 "예"이면 단계 S38로 진행한다.

4 개의 꼭지점 모두가 촬영된 화상에 존재한다는 조건하에 설명한다. 그러므로, 본 실시예에서, 도 3g에서 도시된 바와 같이, 촬영한 사진 인쇄물(3)이 전체적으로 나오지 않는 것을 잘못된 점으로 판별되고 사용자는 그러한 촬영을 실행하지 않도록 요구받는다. 잘못된 점으로 판별된 이유는 사용자에 의해 원하는 사진 인쇄물(3)이 촬영에 적합하게 이루어지기 위함이다.

단계 S38에서, 후보 테이블에 저장된 모든 좌표들(후보들) 상에 4 개의 꼭지 점의 좌표 계산이 완료된지가 판별된다. 후보 테이블에서 간주된 좌표가 없을 시, 판별 결과는 "예"이고 단계 S39로 진행한다. 촬영된 화상내에 모두 존재하는 4 개의 꼭지점의 좌표는 보존되고 CPU(204)로 출력된 후, 일련의 처리가 종료된다. 반면, 판별 결과가 "아니오"이면, 단계 S40으로 진행한다. 4 개의 후보자들 중 하나가 후보테이블을 참조하여 다른 후보로 변화된 후, 단계 S36으로 되돌아 간다.

상술한 바와 같이, 적합한 디지털화의 목적에 대해, 많은 경우에 있어서, 나타나지 않는 부분이 발생되지 않도록 하면서 현저하게 잘 나타나도록 디지털화하기 위해 원하는 사진 인쇄물(3)을 촬영할 수 있다. 그러므로, 최대 외부 에지 우선성이 사용된다. 이는 후보테이블이 단계 S34에서와 같이 준비되고, 그리고 좌표가 단계 S35와 같이 분류되기 때문이다.

복수의 4 개의 꼭지점 결합이 촬영된 화상에 모두 존재할 수 있다. 예를 들면, 하얀 여백을 가진 사진 인쇄물(3)은 촬영되고, 하얀 여백의 외측과 내측둘 다 이진 에지 화상내의 에지들로서 나타나게 된다. 이러한 이유로, 본 실시예에서는, 단계 S39에서 복수의 4 개의 꼭지점의 결합들이 있을시, 원점에서 가장 먼 복수의 4 개의 꼭지점 결합이 에지-검출된 영역으로서 간주되고(도 3f 및 5c), 그리고 이러한 좌표의 통보가 CPU(204)로 전송되도록 구성된다. CPU(204)는 예를 들면, 메모리(201)에 저장된 촬영 화상을 다른 영역에 복사하고, 4 개 꼭지점의 통보된 좌표로부터 정해지게 되는 에지들을 나타내는 화상을 복사된 촬영 화상 상에 겹쳐기입하고, 그 후 촬영 화상을 비디오 출력 장치(202) 상에 나타내게 한다. 그 결과, CPU(204)는 도 5b 또는 도 5c에 도시된 바와 같이, 액정 디스플레이 유닛(301) 상 에 화상으로 나타난다.

단계 S39에서, 4 개의 꼭지점에 의해 정해진 에지-검출된 영역에 수직 또는 수평 영역으로의 픽셀 수(maxY 및 maxX)는 예를 들면, 변색 보정에 대해 저장되기 위해 메겨지거나 또는 계산된다. 또한, 4 개의 꼭지점 모두가 4 개의 꼭지점에 의해 정해진 영역내에 4 개의 꼭지점 근처에서 위치된 또 다른 결합이 있는지가 판별된다. 그러한 결합이 확인될 때, 하얀 여백으로 판별되고, 그리고 세로 방향 및 가로 방향(외부영역Y 및 외부영역X)에서 각 픽셀 수는 저장되기 위해 메겨지거나 계산된다. 따라서, 하얀 여백이 있는 경우, 변색 보정은 내부 영역에서만 실행될 수 있다.

도 11은 단계 S31에서 실행된 라벨을 부여함으로써 주변 에지 제거 처리의 순서도이다. 다음으로, 도 11에서 도시된 순서도를 참조하여 자세하게 설명한다.

우선, 단계 S60에서, 에지 화상의 각 픽셀들에 할당된 라벨들을 저장하는 라벨 정보 영역(도 3b)은 예를 들면, 메모리(201)에 설정되고, 그 영역은 초기화된다. 다음 단계 S61에서, 에지 화상의 픽셀 모두에 관하여 에지를 구성하는 픽셀들 중 연결 상태가 조사되고, 그리고 연결된 픽셀들 모두, 즉 동일 에지선을 구성하는 픽셀들 모두에게 동일 라벨이 할당된다. 할당이 완료될 경우, 즉 라벨 정보 영역에 저장되기 위한 모든 라벨들이 저장된 경우, 단계 S62로 진행한다.

단계 S62에서, 최대 외부 에지에 접촉된 에지를 구성하는 픽셀에 할당된 라벨은 라벨 정보 영역을 참조하여 획득된다(정해지게 된다). 단계 S63에서, 획득된 라벨이 할당된 모든 픽셀들은 제거된다. 제거는 라벨 정보 영역부터 라벨을 제거시 킴으로써, 그리고 제거된 라벨이 할당된 픽셀의 값들을 0으로 설정함으로써 실행된다. 이 방식으로, 에지를 제거시키기 위한 모든 픽셀들을 제거시킴으로써 도 3d와 같이 갱신된 후 진행은 종료된다.

도 12는 도 9에서 도시된 카메라 기본처리의 단계 S23에서 화상 처리 유닛(203)에 의해 실행되기 위한 변색 검출 처리의 순서도이다. 다음으로, 검출 처리를 도 12를 참조하여 자세하게 설명한다.

우선, 단계 S45에서, 히스토그램 테이블들(HTr, HTg 및 HTb)은 에지 검출 처리를 실행하여 정해지고 사용자에 의해 선택된 에지-검출된 영역(원하는 사진 인쇄물 화상)에 관한 RGB 성분마다 발생된다([수학식 15]). 발생은 에지 검출 처리를 실행한 결과에 기초하여 정해진 픽셀들의 수(maxY, maxX, 외부영역Y 및 외부영역X)를 사용하여 실행된다. 발생 후 단계 S46으로 진행한다.

단계 S46에서, 값들의 상부 한계들(최대값들) 및 하부 한계들(최소값들)은 발생된 히스토그램 테이블들(HTr, HTg 및 HTb)을 참조하여 각 RGB 성분마다 판별된다(정해진다). 다음 단계 S47에서, 변색비는 각 RGB 성분마다 판별된 상부 한계들(최대값들) 및 하부 한계들(최소값들)의 사용에 의해 [수학식 20]으로부터 계산되고, 계산된 변색비는 각 RGB 성분마다 판별된 상부 한계들(최대값들) 및 하부 한계들(최소값들)(변색 파라미터들)과 함께 보존된다. 그 후 진행은 종료된다.

도 13은 도 9에서 도시된 카메라 기본 처리에서 단계 S73으로 실행된 변색 보정 안내 표시의 순서도이다. 화상 처리 유닛(203)이 변색비 등의 통보를 준 후 표시 처리는 CPU(204)에 의해 실행된 하위-루틴(routine) 처리이다.

본 실시예에서, 사용자는 변색비를 실행하기 위해 선택할 뿐만 아니라, 변색 보정이 실행된 레벨을 임의로 지정할 수도 있다. 동작 유닛(302)을 동작하여 레벨을 변화시키기 위해 요구될 경우, 상기 지정이 실행되어 도 7f에 도시된 바와 같이, 상부 한계들 및 하부 한계들은 각 RGB 성분마다 나타나게 되고, 상부 한계들 및 하부 한계들은 변하게 된다.

우선, 단계 S80에서, 통보된 변색비와 임계값을 비교하여 변색이 발생된 여부가 판별된다. 상술된 바와 같이, 변색비가 임계값 이하인 경우, 변색이 일어난 것으로 판별되어, 이로써 판별 결과는 "예"이며, 단계 S81로 진행한다. 반면, 판별 결과가 "아니오"이면, 변색 보정 플래그가 단계 S88에서 OFF로 된 후, 진행은 종료된다. 변색 보정 플래그는 변색보정이 요구된지를 판별하기 위해 가변되고, OFF는 보정이 요구되지 않은 대체 값에 상응한다. 보정이 요구되지 않는 것으로 판별된 경우, 판별 결과는 도 9에 도시된 바와 같이 단계 S25에서 "아니오"가 된다.

단계 S81에서, 변색 보정 플래그는 ON 된다. 다음 단계 S82에서, 화상 처리 유닛(203)으로부터 통보를 받은 상부 한계들 및 하부 한계들은 각 RGB 성분마다 변색 파라미터들로 설정된다. 그 후, 단계 S83으로 진행하여, 보정 화상(p)(보정된 사진 인쇄물 화상)은 프리뷰 화상으로서 나타나게 된다. 다음 단계 S84에서, 화상 지시 변색비는 중첩된 방식으로 나타나게 된다. 결과적으로, 도 5d에 도시된 바와 같이 화상은 액정 디스플레이 유닛(301) 상에 나타나게 된다. 상술된 바와 같이, 보정 화상(p)은 메모리(201)에 설정된 영역에 저장된다. 따라서 표시는 예를 들면, 보정 화상(p)을 또 다른 영역으로 복사하고 보정 화상(p)을 나타내기 위해 비디오 출력 장치(202)를 명령함으로써 실행된다. 변색비를 지시하는 바아들(bars)은 예를 들면 화상들을 복사된 보정 화상(p)에 겹쳐기입함으로써 나타나게 된다.

단계 S84에 이은 단계 S85에서, 사용자가 변색보정을 실행하기 위한 명령 여부가 판별된다. 사용자가 동작 유닛(302)을 동작시킴으로써 변색 보정을 실행하도록 지시한 경우, 판별 결과는 "예"이며 진행은 종료된다. 이 경우에, 변색 보정 플래그가 ON이기 때문에, 도 9에 도시된 단계 S25에서 판별 결과는 "예"이다. 반면, 판별 결과가 "아니오"이면 단계 S86으로 진행한다.

단계 S86에서, 사용자가 변색 보정을 취소하기 위한 명령 여부가 판별된다. 사용자가 동작 유닛(302)을 동작시킴으로써 변색 보정을 취소하도록 지시한 경우, 판별 결과는 "예"이다. 변색 보정 플래그가 단계 S88에서 OFF로 된 후, 진행은 종료된다. 이 경우에, 변색 보정 플래그가 OFF이기 때문에, 도 9에 도시된 단계 S25에서 판별 결과는 "아니오"이다. 반면, 판별 결과가 "아니오"이면 단계 S87로 진행한다.

단계 S87에서, 변색 파라미터들을 변화시키는 처리, 즉, 각 RGB 성분마다 상부 한계들 및 하부 한계들은 동작 유닛(302)의 동작에 따라 실행된다. 변화는 액정 디스플레이 유닛(302) 상에 나타나게 된 화상을 동작시킴으로써 실행된다. 사용자가 변화된 내용을 적용하기 위해 지시한 경우, 각 RGB 성분마다 현재 나타난 상부 한계들 및 하부 한계들은 변화된 변색 파라미터들로 설정된 후, 변화된 변색 파라미터들로부터 계산된 변색비가 새롭게 나타나는 단계 S84로 되돌아간다. 따라서, 변색비에 의해 변화된 변색 파라미터들을 확인할 수 있다.

도 14는 도 9에서 도시된 카메라 기본 처리의 단계 S24에서 화상 처리 유닛(203)에 의해 실행되기 위한 변색 보정 처리의 순서도이다. 보정 처리를 도 14를 참조하여 자세하게 설명한다.

상술한 바와 같이, 변색 보정 처리에서, 보정 화상(p)에 관한 변색 보정에 대한 동작은, 변색비가 임계값보다 크게 될 경우, 즉 변색이 일어나지 않을 경우 실행된다. 도 14는 변색 보정을 실행하거나 실행하지 않기 위한 판별에 관한 처리를 생략하며, 그리고 변색 보정을 실행하기 위한 판별 후에 실행된 처리만을 선택적으로 도시한 것이다.

우선, 단계 S50에서, 보정 테이블들(STr, STg, STb)은 변색 파라미터들의 사용에 의해 [수학식 18]로부터 각 RGB 성분마다 준비된다. 다음 단계 S51에서, [수학식 19]에 표기된 바와 같이, 보정 화상(p)을 구성하는 각 픽셀들의 각 RGB 성분 값들은 값들에 의해 정해진 보정 테이블들(STr, STg, STb)의 레코드들에 저장된 값으로 대체된다. 이 방식으로 변색비가 모든 픽셀들에 관해 실행된 후, 흐름은 종료된다.

주목할 점은, 본 실시예에서, 사용자는 추출된 에지-검출된 영역에서 변색 보정에 대한 피사체를 선택할 수 있으며, 그리고 변색 보정을 실행하거나 실행하지 않을 수 있다. 그러나, 이러한 것들 중 적어도 하나는 생략된다. 즉, 변색 보정에 대한 피사체가 되기 위한 에지-검출된 영역의 선택과, 변색 보정을 실행하거나 실행하지 않기 위한 선택 중 적어도 하나는 자동적으로 수행된다. 사용자가 변색 파라미터들을 임의로 변하게 할 수 있지만, 그러나 변화를 실행하는 것은 불가능하 다.

에지-검출된 영역은 사진 인쇄물(3)의 에지 형상이 선형인 가정하에 기초하여 추출된다. 사진 및 책(잡지 등 포함) 상에 인쇄된 많은 사진들(예를 들면, 그라비어 인쇄물(gravure))은 선형 에지를 가진다. 신문 및 책의 공간과 페이지들은 통상 같은 모양을 가진다. 이 상황을 고려하면, 사진 인쇄물(3)은 인쇄된 사진들, 종이 공간들, 또는 페이지들일 수 있다. 그러한 피사체들이 사진 인쇄물들(3)로서 촬영될 경우, 이러한 것들은 데이터베이스 상에 저장되기 위해 디지털화될 수 있다. 시간이 지남에 따라 변색될지라도, 이러한 것들은 보정을 실행하여 더 적합한 상태로 저장될 수 있다. 따라서 본 발명은 디지털화된 후, 다양한 인쇄 부재들을 보존하기에 매우 효과적이다. 변색 보정된 보정 화상(p)은 보존되기 위함이다. 그러나, 변색 보정의 결과가 변색 파라미터들의 내용에 따라 어떻게 변화될지를 측정하기에는 어렵다. 그와 같은 경우, 변색 파라미터들이 임의로 변화될지라도, 사용자에 대한 최적 변색 보정은 보존된 보정 화상(p)에 관해 실행될 수 없다. 그러므로, 최적으로서 간주된 변색 보정이 적용된 보정 화상(p)을 보존하기 위해서, 사진 인쇄물(3)의 촬영은 반복적으로 실행될 수 있다. 매우 난해한 같은 사진 인쇄물들(3)의 반복적인 촬영은 피해야만 한다. 반복적인 촬영은 예를 들면, 도 13 내지 도 15에서 도시된 변색 보정 안내 표시 처리를 변화시킴으로써 피할 수 있다.

도 15에서, 단계 S90 내지 S92에서의 처리와 단계 S95 내지 S97에서의 처리는 단계 S80 내지 S82에서의 처리와 단계 S85 내지 S87에서의 처리와 동일하다. 이러한 이유로, 도 13과 다른 부분만 설명한다.

도 15에서, 현재 변색 파라미터들에 따른 변색보정은 단계 S93에서 보정 화상(p)에 관해 실행된다. 변색 보정 후 보정 화상(p)은 다음 단계 S94에서 액정 디스플레이 유닛(301) 상에 프리뷰 화상으로서 나타나게 된다. 사용자가 단계 S97에서 변색 파라미터들을 변화시킨 후, 단계 S93으로 진행하고, 변화된 변색 파라미터들에 따른 변색 보정된 보정 화상(p)은 새롭게 나타나게 된다. 때문에, 사용자는 변색 보정이 프리뷰 화상으로서 나타낸 보정 화상(p)으로 적합하게 실행될 수 있는지를 확인할 수 있다. 이것은 사용자가 사진 인쇄물(3)의 반복적인 촬영없이 최적 변색 보정이 된 보정 화상(p)을 보존할 수 있도록 할 수 있다.

<제 2 실시예 >

제 1 실시예에서, 가중치는 최대 외부에 접촉된 모든 에지들이 제거될 수 있도록 실행된다. 그러나, 모든 이러한 에지들이 제거될 경우, 도 3e에서 도시된 바와 같이, 원하는 사진 인쇄물 화상의 에지가 최대 외부 에지로부터 확장된 또 다른 사진 인쇄물 화상의 에지와 접촉할 시에 제거되지 않아야 하는 사진 인쇄물 화상 에지는 제거될 수 있다. 원하는 사진 인쇄물의 에지가 제거된 경우, 인쇄물 화상이 존재하는 에지-검출된 영역을 정확하게 검출하는 것은 불가능하다. 복수의 사진 인쇄물(3)이 도 3e에 도시된 바와 같이 앨범(2)에 고정되어 있지않는 경우에는 바람직하지 않다. 제 2 실시예는 제거되지 않아야 하는 에지가 제거되기 위한 에지와 접촉하기 때문에 발생된 결함을 가능한 피하는 것을 목적으로 한다. 제 2 실시예에 따라서, 에지-검출된 영역을 정확하게 검출할 수 있다.

제 2 실시예에 따른 화상 처리 장치를 포함하는 촬영 장치의 구성은 제 1 실 시예와 기본적으로 동일하다. 동작들은 거의 동일하거나 기본적으로 같다. 이러한 이유로, 제 1 실시예와 다른 부분만 제 1 실시예에서 지명된 참조 숫자를 사용하여 설명한다.

제 2 실시예에서, 상술된 결함을 피하기 위해, 최대 외부 에지와 접촉한 에지는 예를 들면, 베이어 패턴(Bayer pattern)과 같은 에지를 구성하는 픽셀들의 x-y 좌표들의 값에 따라 제거된다. 즉, 제거 피사체가 되는 좌표들은 미리 판별되고, 그리고 소정의 좌표들을 가지고 최대 외부 에지와 접촉하는 에지를 구성하는 픽셀들은 제거된다. 이 같은 방식으로, 가중치는 최대 외부 에지와 접촉하는 에지를 일부 제거함으로써 실행된다. 일부 제거는 또 다른 방법을 사용하여 실행될 수 있다.

최대 외부 에지와 접촉하는 에지선을 부분적으로 제거함으로써, 일부 제거된 에지선의 표시수는 감소된다. 그 결과, 원하는 사진 인쇄물의 에지선에 대한 후보들에 따른 중요레벨은 낮아진다. 그러나, 원하는 사진 인쇄물 화상의 에지선은 4 개의 꼭지점의 좌표, 즉, 다른 3 개의 에지선을 고려하여 정해지게 된다. 원하는 사진 인쇄물 화상의 하나 이상의 에지 선이 일부 제거될지라도, 다른 에지선들과 결합에 의해 판별된 4 개의 꼭지점 좌표는 원하는 사진 인쇄물 화상의 화상 영역을 나타내는 좌표들로서 다른 것보다 더 적합하게 된다. 그러므로, 원하는 사진 인쇄물 화상의 모든 에지선들이 일부 제거될지라도, 모든 에지선들이 원하는 사진 인쇄물 화상의 에지선들로 정해지게 되는 확률은 높게 유지된다. 그 결과, 일부 제거가 실행될지라도, 제 1 실시예와 비교하여 원하는 사진 인쇄물 화상의 에지선들을 더 확실하게 검출할 수 있다. 원하는 사진 인쇄물 화상은 도 3e에 도시된 바와 같은 에지 화상으로부터 도 3f에 도시된 바와 같이 확실하게 정확하게 검출될 수 있다.

제 2 실시예에서, 도 11에 도시된 바와 같이 라벨을 부여한 주변 에지 제거 처리는 제 1 실시예와는 다르다. 이러한 이유로, 제 2 실시예의 제거 처리는 도 16에서 도시된 순서도를 참조하여 자세하게 설명한다.

도 16의 단계 S70 내지 S72의 처리는 도 11의 단계 S60 내지 S62의 처리와 기본적으로 동일하다. 그러므로, 단계 S73 내지 S77만을 설명한다.

단계 S73에서, 단계 S72에서 획득된 라벨들 중 하나가 할당된 픽셀들의 좌표들은 예를 들면, 라벨 정보 영역을 참조하여 획득된다. 다음 단계 S74에서, 좌표들이 제거(삭제)되기 위한 피사체 좌표들인지가 판별된다. 제거 피사체가 된 좌표들은 예를 들면, x 좌표가 짝수, y 좌표가 홀수인 좌표들이다. 좌표들이 제거용 피사체인 좌표들인 경우, 판별 결과는 "예"이고, 이러한 픽셀들이 단계 S76에서 제거된 후, 단계 S75로 진행한다. 반면, 판별 결과가 "아니오"면, 단계 S75로 진행한다.

단계 S75에서, 단계 S72에서 획득된 라벨들 중 하나가 할당된 픽셀의 일부 제거가 완료된지가 판별된다. 다음으로, 피사체가 되는 픽셀이 없는 경우, 판별 결과는 "예"이고 진행은 종료된다. 반면, 판별 결과가 "아니오"면, 다음 피사체가 되는 픽셀들의 좌표들은 단계 S73과 동일한 방식으로 단계 S77에서 획득되고, 단계 S74로 되돌아 간다.

주목할 점은, 제 2 실시예에서, 최대 외부 에지와 접촉하는 에지의 일부 제거는 에지에 대한 후보들이 검출되기 전에 실행된다는 것이다. 그러나, 후보들이 검출된 후에, 제거는 검출 결과를 고려하여 실행될 수 있다.

일부 경우에서, 에지 화상에 관하여, 원하는 사진 인쇄물 화상의 상, 하, 조 및 우의 4 개의 경계선 모두 또는 일부는 서로 연결된다. 서로 연결된 경계선들 중 일부가 최대 외부 에지로부터 확장된 에지와 접촉할 경우, 모든 경계선들은 일부 제거된다. 그러나, 검출 후보의 결과를 고려하여, 최대 외부 에지로부터 확장한 에지와 접촉하는 경계선에 제한된 제거를 일부 실행할 수 있다. 이 방식으로, 제거용 피사체가 되는 경계선들을 국한함으로써, 다른 에지들에서 표시 수의 감소를 피할 수 있다. 이것은 원하는 사진 인쇄물 화상의 에지를 확실하고 정확하게 할 수 있도록 하게 한다.

상술된 실시예에 따른 촬영 장치는 휴대용 촬영 장치(1) 상에 장착된 화상 처리 유닛(203)에 적용된다. 이는 적은 장치로 사진 인쇄물(3)을 적합하게 디지털화할 수 있고, 촬영 장치(1)가 촬영 장치(1)에 장착된 화상 처리 유닛(203)을 가질 수 있기 때문이다. 그러나, 화상 처리 장치는 촬영 장치와는 다른 개인용 컴퓨터 등과 같은 데이터 처리 장치 상에서도 실현될 수 있다. 그러한 촬영 처리 장치를 실현시키기 위해, 코드 저장 장치(205)에 저장된 화상 처리용 프로그램 모두 또는 일부는 배포되는 저장 매체 상에 저장될 수 있다. 또는 이러한 것들은 네트워크를 구성하는 통신 매체를 통해서도 배포될 수 있다. 본 실시예들에 따른 화상 처리 장치를 포함하는 촬영 장치를 실현시키기 위해, CPU(204)에 의해 실행된 프로그램들을 따라 배포될 수 있다.

실시예는, 도 3a에서 도시된 바와 같이 앨범(2)이 인쇄물들(3)을 포함하여, 디지털 카메라에 의해 촬영된 촬영 화상이 인쇄물들(3)을 포함하지만, 본 발명은 상술된 실시예에 국한되지는 않는다. 본 발명은 디지털 카메라에 의해 촬영된 화상이 원하는 사진 인쇄물(3)과 원하는 사진 인쇄물(3) 주위의 여분의 외부영역을 포함하는 예에 적용될 수 있다.

Claims (15)

1. 삭제
2. 사진을 포함하는 피사체 화상을 촬영하는 촬상 유닛;

   상기 촬상 유닛에 의해 촬영된 상기 피사체 화상내에 사진의 에지들을 검출하는 에지 검출 유닛; 및

   검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 화상 처리 유닛을 포함하며;

   상기 에지 검출 유닛은 상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행함을 특징으로 하는 화상 처리 장치.
3. 사진을 포함하는 피사체 화상을 촬영하는 촬상 유닛;

   상기 촬상 유닛에 의해 촬영된 상기 피사체 화상 내의 사진의 에지들을 검출하는 에지 검출 유닛; 및

   검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 화상 처리 유닛을 포함하며;

   상기 화상 처리 유닛은 상기 검출된 에지에 의해 둘러싸인 화상의 영역에서 변색 레벨을 검출하고, 검출된 상기 변색 레벨을 표시하고, 그리고 검출된 레벨에 기초하여 변색 보정을 실행함을 특징으로 하는 화상 처리 장치.
4. 제 3 항 있어서,

   상기 화상 처리 유닛은 표시된 레벨을 변화시키고 변화된 레벨에 기초하여 변색 보정을 실행하는 사용자 동작 부재를 포함함을 특징으로 하는 화상 처리 장치.
5. 제 3 항에 있어서,

   화상 처리 장치는 디스플레이 유닛을 가진 디지털 카메라에 설치되고, 상기 화상 처리 유닛은 상기 디스플레이 유닛 상에 변색 보정된 영역의 화상을 표시함을 특징으로 하는 화상 처리 장치.
6. 삭제
7. 사진을 포함하는 피사체 화상을 촬영하는 단계(S14);

   촬영된 상기 피사체 화상 내의 사진의 에지들을 검출하는 단계(S15); 및

   검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 단계(S26)를 포함하며;

   상기 검출하는 단계(S15)는 상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행하는 단계(S22)를 포함함을 특징으로 하는 화상 처리 방법.
8. 사진을 포함하는 피사체 화상을 촬영하는 단계(S14);

   촬영된 상기 피사체 화상 내의 사진의 에지들을 검출하는 단계(S15); 및

   검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 단계(S26)를 포함하며;

   상기 변색 보정을 실행하는 단계(S26)는 상기 검출된 에지에 의해 둘러싸인 화상의 영역에서 변색 레벨을 검출하는 단계(S23)와, 검출된 상기 변색 레벨을 표시하는 단계(S24)와, 그리고 검출된 레벨에 기초하여 변색 보정을 실행하는 단계를 포함함을 특징으로 하는 화상 처리 방법.
9. 제 8 항 있어서,

   상기 변색 보정을 실행하는 단계(S26)는 사용자가 표시된 레벨을 변화시키도록 하는 단계(S25)와, 변화된 레벨에 기초하여 변색 보정을 실행하는 단계를 포함을 특징으로 하는 화상 처리 방법.
10. 제 8 항에 있어서,

    상기 변색 보정을 실행하는 단계(S26)는 변색 보정된 영역의 화상을 표시하는 단계(S94)를 포함함을 특징으로 하는 화상 처리 방법.
11. 삭제
12. 촬상 유닛을 포함하는 컴퓨터로 하여금 다음 작동을 실행하도록 하기 위한 컴퓨터 판독가능한 프로그램을 저장한 컴퓨터 판독가능한 기록매체로서:

    사진을 포함하는 피사체 화상을 촬영하는 단계;

    촬영된 상기 피사체 화상 내의 사진의 에지들을 검출하는 단계;

    상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행하는 단계; 및

    검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 단계를 실행할 수 있게 구성되는 컴퓨터 판독가능한 기록매체.
13. 촬상 유닛을 포함하는 컴퓨터로 하여금 다음 작동을 실행하도록 하기 위한 컴퓨터 판독가능한 프로그램을 저장한 컴퓨터 판독가능한 기록매체로서:

    사진을 포함하는 피사체 화상을 촬영하는 단계;

    촬영된 상기 피사체 화상 내의 사진의 에지들을 검출하는 단계;

    상기 검출된 에지에 의해 둘러싸인 화상의 영역에 관해 회전 동작과 변환 동작 중 적어도 하나를 실행하는 단계; 및

    검출된 에지에 의해 둘러싸인 화상의 영역에 관해 변색 보정을 실행하는 단계를 실행할 수 있게 구성되며;

    상기 변색 보정을 실행하는 단계는 상기 검출된 에지에 의해 둘러싸인 화상의 영역에서 변색 레벨을 검출하는 단계와, 검출된 상기 변색 레벨을 표시하는 단계와, 그리고 검출된 레벨에 기초하여 변색 보정을 실행하는 단계를 포함하는 컴퓨터 판독가능한 기록매체.
14. 제 13 항 있어서,

    상기 변색 보정을 실행하는 단계는 사용자가 표시된 레벨을 변화시키도록 하는 단계와, 변화된 레벨에 기초하여 변색 보정을 실행하는 단계를 포함하는 컴퓨터 판독가능한 기록매체.
15. 제 13 항에 있어서,

    상기 변색 보정을 실행하는 단계는 변색 보정된 영역의 화상을 표시하는 단계를 포함하는 컴퓨터 판독가능한 기록매체.

Images