KR101032058B1 - 화상 처리 장치 및 컴퓨터 판독 가능 매체 - Google Patents

Abstract

본 발명의 화상 처리 장치는,

화상 내에서 세로 방향 선분과 가로 방향 선분을 검출하는 선분 검출 유닛과,

상기 선분 검출 유닛에 의해 검출된 세로 방향 선분과 가로 방향 선분으로부터, 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 대변 후보 작성 유닛과,

상기 세로 방향 대변 후보와 가로 방향 대변 후보와의 조합을 복수개 작성하고, 각 조합의 세로 방향 대변 후보와 가로 방향 대변 후보와의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 상기 직사각형 후보로서 작성하는 직사각형 후보 작성 유닛과,

상기 직사각형 후보에 대한 세로 방향 대변 후보 및 가로 방향 대변 후보의 정합성(alignment)에 기초하여, 상기 직사각형 후보 각각에 대한 확실도(likelihood)를 산출하는 채점 유닛을 구비한다.

Description

화상 처리 장치 및 컴퓨터 판독 가능 매체{IMAGE PROCESSING APPARATUS AND COMPUTER READABLE MEDIUM}

본 발명은 피사체(subject)의 윤곽(contour)을 포함하는 사각형(quadrangle) 영역(area)을 화상 내에서 추출하는 화상 처리 장치 및 컴퓨터 프로그램에 관한 것이다.

종래부터, 촬영 화상 내에 포함되는 피사체 화상에 대하여 좌표 변환 등의 화상 처리를 실행할 수 있도록 하기 위하여, 피사체의 윤곽을 포함하는 사각형 영역을 화상 내에서 추출하는 기능, 이른바 윤곽 사각형 추출 기능을 구비한 촬상 장치(Image capturing device)가 알려져 있다. 이와 같은 촬상 장치는, 휴 변환(Hough transform)을 이용하여 피사체의 윤곽을 나타내는 에지 화소(edge pixels)를 포함하는 에지 화상(edge image)으로부터 피사체의 윤곽을 구성하는 복수의 직선(straight line)을 검출하고, 검출된 복수의 직선 중에서 사각형 영역을 형성하는 직선을 특정함으로써, 사각형 영역을 추출한다. 이와 같은 촬상 장치의 일례는, 일본 특허출원 공개번호 2005-267457호 공보에 개시(開示)되어 있다.

종래의 촬상 장치는, 에지 화상(edge image) 내에서 직선 상에 존재하는 에지 화소(edge pixel) 수를, 검출된 복수의 직선마다 산출하고, 산출된 화소수의 크기에 기초하여 사각형 영역을 형성하는 직선을 특정(select)한다. 그러나, 이와 같은 구성에 의하면, 추출하는 사각형 영역의 크기(size)가 분명하지 않은 경우나 1개의 화상 내에 복수의 피사체 화상(subject image)이 존재하는 경우에는, 부적절한(inadequate) 사각형 영역이 추출되는 경우가 있다.

또한, 종래의 촬상 장치는, 촬영 화상 중에 피사체 화상이 복수개 포함되는 경우, 사각형 영역의 크기 등의 평가값이 높은 순서로 복수의 사각형 영역의 후보[이하, 직사각형 후보(rectangle candidate)로 약기(略記)함]를 표시 화면 상에 표시하고, 사용자는, 표시 화면 상에 표시된 복수의 직사각형 후보 중에서 화상 처리 시에 이용하는 직사각형 후보를 선택한다. 그러나, 이와 같은 종래의 촬상 장치의 구성에 의하면, 상이한 피사체 화상 사이에서 직사각형 후보의 표시가 자주 바뀌거나 이미 직사각형 후보가 선택된 피사체 화상에 관한 별도의 직사각형 후보가 표시되거나 하여, 사용자가 직사각형 후보를 자연스럽게(smoothly) 선택할 수 없었다.

본 발명의 일 측면에 의하면,

화상 내에서 세로 방향 선분과 가로 방향 선분을 검출하는 선분 검출 유닛과, 상기 선분 검출 유닛에 의해 검출된 세로 방향 선분과 가로 방향 선분으로부 터, 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변(對邊) 후보와 가로 방향 대변 후보를 작성하는 대변 후보 작성 유닛과, 상기 세로 방향 대변 후보와 가로 방향 대변 후보의 조합을 복수개 작성하고, 각 조합의 세로 방향 대변 후보와 가로 방향 대변 후보의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 상기 직사각형 후보로서 작성하는 직사각형 후보 작성 유닛과, 상기 직사각형 후보와 세로 방향 대변 후보 및 가로 방향 대변 후보를 구성하는(constituting) 선분(line segments)과의 관계(relationship)에 기초하여 상기 직사각형 후보 각각에 대한 확실도(likelihood)을 산출하는 채점 유닛을 구비하는 것을 특징으로 하는 화상 처리 장치이다.

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 설명한다. 그러나 청구된 발명의 범위를 도면에 도시된 예시나 이하의 기재에 의해 한정되어서는 안된다.

[제1 실시예]

이하, 본 발명의 제1 실시예가 되는 디지털 스틸 카메라의 구성에 대하여 상세하게 설명한다.

처음에, 도 1의 (A) 및 도 1의 (B)를 참조하여, 본 발명의 제1 실시예가 되는 디지털 스틸 카메라(digital camera)(1)의 전체적인 구성에 대하여 설명한다.

본 발명의 제1 실시예가 되는 디지털 스틸 카메라(1)는, 도 1의 (A)에 나타낸 바와 같이, 실질적으로 직사각형 형상의 박판형(flat box shape) 본체(body)(이 하, "본체"로 약기함)(2)의 앞면(front face)에 촬영 렌즈(3), 셀프 타이머 램프(timer indicator)(4), 파인더 윈도우(5), 스트로보 발광부(6), 및 마이크로폰부(microphone)(7)를 구비한다. 본체(2)의 상면(top face)의 (사용자에게 있어서) 우단측(右端側)에는 전원 키(power switch)(8) 및 셔터 키(shutter button)(9)가 설치되어 있다. 촬영 렌즈(3)는, 초점 거리를 무단계로 변화시키는 줌 기능 및 AF(Auto Focus) 기능을 가지고, 전원 오프 시 및 재생 모드 시에는 본체(2) 내부로 들어간다. 전원 키(8)는 전원을 온/오프(on/off)할 때마다 조작하는 키이며, 셔터 키(9)는 촬영 모드 시에 촬영 타이밍을 지시하는 키이다.

본체(2)의 배면(back face)에는, 도 1의 (B)에 나타낸 바와 같이, 촬영 모드(R) 키(recording mode key)(10), 재생 모드(P) 키(playing mode key)(11), 전자 뷰파인더(EVF)(12), 스피커부(13), 매크로 키(14), 스트로보 키(15), 메뉴(MENU) 키(16), 링 키(17), 세트(SET) 키(18), 및 액정 표시부(display unit)(19)가 설치되어 있다. 촬영 모드 키(10)는, 전원 오프 상태로부터 조작함으로써 자동적으로 전원 온하여 정지 화상의 촬영 모드로 이행시키는 한편, 전원 온 상태로부터 반복적으로 조작함으로써 정지 화상과 동 영상의 촬영 모드를 순환적으로 설정한다. 제1 실시예에서는, 정지 화상의 촬영 모드에는, 소정의 노광 시간에 통상적인 촬영 동작을 행하는 1장 촬영 모드(single shot mode)와, 1장 촬영 모드보다 짧은 노광 시간에 피사체를 연속적으로 촬영하고, 복수의 화상 프레임을 합성하여 1장의 화상을 생성하는 연사 촬영 모드(multi shot mode)가 포함된다.

재생 모드 키(11)는, 전원 오프 상태로부터 조작함으로써 자동적으로 전원 온으로 하여 재생 모드로 이행한다. EVF(12)는, 액정 화면을 사용한 접안형(接眼型)파인더이며, 촬영 모드 시에는 스루 화상(live view image)을 액정 화면에 표시하는 한편, 재생 모드 시에는 선택된 화상 등을 재생 표시한다. 매크로 키(14)는, 정지 화상의 촬영 모드에서 통상 촬영과 매크로 촬영을 전환할 때 조작한다. 스트로보 키(15)는, 스트로보 발광부(6)의 발광 모드를 전환할 때 조작한다. 메뉴 키(16)는, 각종 메뉴 항목 등을 선택할 때 조작한다. 링 키(17)는, 상하 좌우 방향에 대한 항목 선택(item selection)용 키가 일체로(monolithically) 형성된 것이며, 이 링 키(17)의 중앙에 위치하는 세트 키(18)는, 그 시점에서 선택되어 있는 항목을 설정할 때 조작한다.

액정 표시부(19)는, 백라이트가 부착된 컬러 액정 패널로 구성되며, 촬영 모드 시에는 스루 화상의 모니터 표시를 행하는 한편, 재생 모드 시에는 선택한 화상 등을 재생 표시한다. 그리고, 액정 표시부(19)는, 액정 패널 대신, 다른 표시 디바이스를 포함할 수도 있다. 도시하지 않지만, 디지털 스틸 카메라(1)의 바닥면에는, 기록 매체로서 사용되는 메모리 카드를 착탈하기 위한 메모리 카드 슬롯이나, 외부의 퍼스널 컴퓨터 등과 접속하기 위한 시리얼 인터페이스 커넥터로서 USB(Universal Serial Bus) 커넥터 등이 설치되어 있다.

다음으로, 도 2 및 도 3을 참조하여, 제1 실시예가 되는 디지털 스틸 카메라(1)의 촬상계 및 제어계의 구성에 대하여 설명한다.

제1 실시예가 되는 디지털 스틸 카메라(1)에서는, 촬영 모드 시에, 모터(M)(31)의 구동에 의해 초점 위치나 조리개 위치로 이동하는, 촬영 렌즈(3)를 구 성하는 렌즈 광학계(32)의 촬영 광축 후방에 배치된 촬상 소자인 CCD(33)가, 타이밍 발생기(TG)(34)에서 수직 드라이버(35)에 의해 주사 구동되고, 일정 주기 마다 결상된 광상에 대응하는 광전 변환 출력을 1 화면 분 출력한다. 이 광전 변환 출력은, 아날로그 형태의 신호 상태에서 RGB의 각 원색 성분마다 적절하게 게인 조정된 후에 샘플 홀드 회로(S/H)(36)에서 샘플 홀딩되고, A/D 변환기(37)에서 디지털 데이터로 변환되며, 컬러 처리 회로(38)에서 화소 보간 처리 및 γ 보정 처리를 포함하는 컬러 처리가 행해지고 디지털 값의 휘도 신호 Y 및 색차 신호 Cb, Cr이 생성되고, DMA(Direct Memory Access) 컨트롤러(39)에 출력된다.

DMA 컨트롤러(39)는, 컬러 처리 회로(38)가 출력하는 휘도 신호 Y 및 색차 신호 Cb, Cr을, 동일하게 컬러 처리 회로(38)로부터의 복합 동기 신호, 메모리 기록 이네이블 신호, 및 클록 신호를 사용하여 일단 DMA 컨트롤러(39) 내부의 버퍼에 1회 기록하고, DRAM 인터페이스(I/F)(40)를 통하여 버퍼 메모리로서 사용되는 DRAM(41)에 DMA 전송한다. 제어부(42)는, CPU, CPU에서 실행되는 컴퓨터 프로그램을 고정적으로 기억한 ROM, 및 작업용 메모리로서 사용되는 RAM 등에 의해 구성되며, 디지털 스틸 카메라(1) 전체의 동작을 제어한다.

제어부(42)는, DRAM(41)에의 휘도 Y 및 색차 신호 Cb, Cr의 DMA 전송 종료 후에, 이 휘도 Y 및 색차 신호 Cb, Cr을 DRAM 인터페이스(40)를 통하여 DRAM(41)으로부터 읽어내고, VRAM 컨트롤러(43)를 통하여 VRAM(44)에 기록한다. 디지털 비디오 인코더(45)는, 상기 휘도 Y 및 색차 신호 Cb, Cr을 VRAM 컨트롤러(43)를 통하여 VRAM(44)으로부터 정기적으로 읽어내고, 이들 데이터에 기초하여 비디오 신호를 발 생하여 EVF(12)와 액정 표시부(19)에 출력한다. EVF(12)와 액정 표시부(19)는, 디지털 비디오 인코더(45)로부터의 비디오 신호에 기초한 표시를 행함으로써, 그 시점에서 VRAM 컨트롤러(43)로부터 취득하고 있는 화상 정보에 기초한 화상을 실시간으로 표시한다.

이와 같이 EVF(12)와 액정 표시부(19)에는 그 시점에서의 화상이 모니터 화상으로서 실시간으로 표시되는, 이른바 스루 화상의 표시 상태에서, 정지 화상 촬영을 행하고자하는 타이밍에서 셔터 키(9)를 조작하면 트리거 신호를 발생한다. 제어부(42)는, 이 트리거 신호에 따라 그 시점에서 CCD(33)로부터 취득하고 있는 1 화면 분의 휘도 Y 및 색차 신호 Cb, Cr를 DRAM(41)으로 DMA 전송하는 것을 중지하고, 다시 적정 노출 조건이 되었을 때, 이 적정 노출 조건에 따른 조리개값 및 셔터 속도로 CCD(33)를 구동하여 1 화면 분의 휘도 Y 및 색차 신호 Cb, Cr을 얻어서 DRAM(41)으로 전송하고, 그 후에 이 경로를 사용 중지하고, 기록 보존의 상태로 천이한다.

전술한 기록 보존의 상태에서는, 제어부(42)가 DRAM(41)에 기록되어 있는 휘도 및 색차 신호를 DRAM 인터페이스(40)를 통하여 Y, Cb, Cr의 각 컴퍼넌트 별로 읽어내어 화상 처리부(47)에 기록하고, 이 화상 처리부(47)에서 ADCT(Adaptive Discrete Cosine Transform: 적응 이산 코사인 변환)하고, 엔트로피 부호화 방식(entropy coding method)의 일종인 허프만 코딩(Huffman coding) 등의 처리에 의해 데이터를 압축한다. 그리고, 얻어진 부호 데이터를 화상 처리부(47)로부터 읽어내고, 디지털 스틸 카메라(1)의 기록 매체로서 착탈 가능하게 장착되는 메모리 카드(48) 또는 디지털 스틸 카메라(1)에 고정적으로 내장되는 내장 메모리(도시하지 않음) 중 어느 한쪽에 기록한다. 그리고, 휘도 Y 및 색차 신호 Cb, Cr의 압축 처리 및 메모리 카드(48) 또는 내장 메모리에서의 전체 압축 데이터의 기록이 종료됨에 수반하여, 제어부(42)는 CCD(33)로부터 DRAM(41)까지의 경로를 재기동한다.

제어부(42)에는, 키 입력부(user interface)(49), 음성 처리부(50), 및 스트로보 구동부(51)가 접속된다. 키 입력부(49)는, 전술한 전원 키(8), 셔터 키(9), 촬영 모드 키(10), 재생 모드 키(11), 매크로 키(14), 스트로보 키(15), 메뉴키(116), 링 키(17), 세트 키(18) 등으로 구성되며, 이들 키 조작에 따른 신호는 직접 제어부(42)에 송출된다. 음성 처리부(50)는, PCM 음원 등의 음원 회로를 구비하고, 음성 녹음 시에는 마이크로폰부(7)로부터 입력된 음성 신호를 디지털화하여, 소정의 데이터 파일 형식, 예를 들면, MP3(MPEG-1 audio layer 3) 규격에 따라 데이터를 압축하여 음성 데이터 파일을 작성하여 메모리 카드(48) 또는 내장 메모리에 송출하는 한편, 음성 재생 시에는 메모리 카드(48) 또는 내장 메모리로부터 송출되어 온 음성 데이터 파일의 압축을 풀어서 아날로그화하여, 스피커부(SP)(13)를 구동하여, 확성 방음(擴聲放音)시킨다. 스트로보 구동부(51)는, 정지 화상 촬영 시에 도시하지 않은 스트로보용 대용량 컨덴서를 충전한 후, 제어부(42)로부터의 제어에 기초하여 스트로보 발광부(6)를 섬광 구동한다.

이와 같은 구성을 가지는 디지털 스틸 카메라(1)는, 이하에 나타내는 윤곽 사각형 추출 처리를 실행함으로써, 피사체의 윤곽을 포함하는 사각형 영역을 추출한다. 이하, 도 3에 나타낸 흐름도를 참조하여, 이 윤곽 사각형 추출 처리를 실행 할 때의 디지털 스틸 카메라(1)의 동작에 대하여 설명한다.

사용자가, 링 키(117) 및 세트 키(18)를 조작함으로써, 장면별 촬영 모드 중에서 "명함이나 서류를 찍습니다", "화이트 보드 등을 찍습니다"의 모드를 선택하고, 촬영을 행한다. 이들 모드에서는 피사체의 정면화(正面化) 보정[스큐 보정(skewing correction)]을 행하며, 이와 같은 모드로 촬영된 화상이 화상 처리부(47)에 받아들여지고, 윤곽 사각형 추출 처리의 실행이 가능하게 된 타이밍에서 도 3에 나타낸 흐름도가 개시되어, 윤곽 사각형 추출 처리는 단계 S1의 처리로 진행한다. 그리고, 이하에 나타내는 디지털 스틸 카메라(1)의 동작은, 제어부(42) 내의 CPU가 ROM에 기억되어 있는 컴퓨터 프로그램을 RAM에 로드하고, RAM에 로드된 컴퓨터 프로그램을 실행함으로써, 화상 처리부(47)에 의해 행해지는 화상 처리를 제어함으로써 실현된다.

단계 S1의 처리에서는, 화상 처리부(47)가, 입력된 촬영 화상에 대하여 왜곡 수차의 보정 처리를 실행함으로써, 렌즈 광학계(32)의 렌즈 특성에 의해 왜곡된 촬영 화상을 보정한다. 이로써, 단계 S1의 처리는 완료되고, 윤곽 직사각형 추출 처리는 단계 S2의 처리로 진행한다.

단계 S2의 처리에서는, 화상 처리부(47)가, 왜곡 수차가 보정된 후의 촬영 화상의 크기(화상 사이즈)를 소정의 크기로 축소한다. 구체적으로는, 화상 처리부(47)는, 왜곡 수차가 보정된 후의 촬영 화상의 크기를 산출하고, 산출된 크기에 기초하여 촬영 화상의 크기가 세로×가로: 320×240 (화소)의 크기로 되도록 촬영 화상의 세로 방향 및 가로 방향의 길이를 축소한다. 이로써, 단계 S2의 처리는 완 료되고, 윤곽 사각형 추출 처리는 단계 S3의 처리로 진행한다.

단계 S3의 처리에서는, 화상 처리부(47)가, 촬영 화상의 색 정보의 표시 형식을 비트맵 형식으로부터 YUV(Y: 휘도 신호, U: 휘도 신호와 청색 성분의 차, V: 휘도 신호와 적색 성분의 차) 형식으로 변환한다. 이로써, 단계 S3의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S4의 처리로 진행한다.

단계 S4의 처리에서는, 화상 처리부(47)가, 촬영 화상의 화상 데이터를 메디안(중앙값, Median) 필터로 처리함으로써 촬영 화상의 화상 데이터로부터 노이즈 성분을 제거한다. 본 실시예에서의 메디안 필터는, 3×3 (화소)의 국소 영역에서의 화소값을 작은 차례로 배열하고, 중앙에 위치하는 화소값을 영역 중앙 화소의 화소값으로 하는 것이다. 이로써, 단계 S4의 처리는 완료되고, 윤곽 직사각형 추출 처리는 단계 S5의 처리로 진행한다.

단계 S5의 처리에서는, 화상 처리부(47)가, 도 4의 (A), 도 4의 (B) 및 도 4의 (C)에 나타낸 바와 같이, 노이즈 성분이 제거된 화상 데이터로부터 세로(수직, x) 방향 및 가로(수평, y) 방향의 에지를 각각 추출한 에지 화상(edge images)을 추출한다. 본 실시예에서는, 화상 처리부(47)는, 도 5에 나타낸 바와 같은 공간 1차 미분(spatial first-order derivative)을 계산하여 윤곽을 검출하는 소벨(Sobel) 필터를 사용하여 세로(수직) 방향 및 가로(수평) 방향 각각의 에지 화상(vertical edge image, horizontal edge image)을 추출한다. 이로써, 단계 S5의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S6의 처리로 진행한다.

단계 S6의 처리에서는, 화상 처리부(47)가, 도 6의 (A) 및 도 6의 (B)에 나 타낸 바와 같이, 단계 S5의 처리에 의해 추출된 세로 방향 및 가로 방향의 에지 화상 각각에 대하여 세선(thinning) 및 2치화 처리(binarization)를 행한다. 구체적으로는, 화상 처리부(47)는, 세로 방향의 에지 화상(vertical edge imdge)에 포함되는 에지 화소(edge pixels) 중, 조건{좌표 위치 x-1의 화소값 < 좌표 위치 x의 화소값 ≥ 좌표 위치 x+1의 화소값}을 만족시키는 좌표 위치 x의 화소를 검출한다. 또한, 마찬가지로, 화상 처리부(47)는, 가로 방향의 에지 화상(horizontal edge image)에 포함되는 에지 화소(edge pixels) 중, 조건{좌표 위치 y-1의 화소값 < 좌표 위치 y의 화소값 ≥ 좌표 위치 y+1의 화소값}을 만족시키는 좌표 위치 y의 화소를 검출한다. 그리고, 화상 처리부(47)는, 에지 화상을 구성하는 화소 중, 추출된 좌표 위치 x 및 좌표 위치 y의 화소값을 255, 그 이외의 좌표 위치의 화소값을 0으로 설정한다. 이에 따라, 단계 S6의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S7의 처리로 진행한다.

단계 S7의 처리에서는, 화상 처리부(47)가, 세로 방향 및 가로 방향의 에지 화상 각각에 대하여 라베링 처리를 행함으로써, 도 7의 (A) 및 도 7의 (B)에 나타낸 바와 같은 피사체의 윤곽을 형성하는 세로 방향 및 가로 방향의 선분(line segment) 정보를 작성한다. 본 실시예에서는, 화상 처리부(47)는, 가로 방향의 에지 화상에 대해서는, x=0의 좌표 위치로부터 y 방향으로 인접하는 화소도 참조하면서, x 방향으로 스캐닝함으로써 에지 화상에 포함되는 에지 화소를 검출한다. 그리고, 에지 화소가 검출된 경우, 화상 처리부(47)는, 검출된 에지 화소의 화소값이 255이면서, 다른 화소와 연결되어 있는지의 여부를 판별하고, 화소값이 255이면서, 다른 화소와 연결되어 있지 않은 경우, 검출된 에지 화소를 포함하는 선분의 트레이싱(tracing)을 x 방향으로 개시한다. 구체적으로는, 화상 처리부(47)는, 트레이싱 개시 위치의 좌표(x, y)의 우측 가로에 위치하는 3점 (x+1, y-1), (x+1, y), (x+1, y+1)에 대하여 트레이싱을 실행한다.

그리고, 화상 처리부(47)는, 이하에 나타내는 3개의 조건 중, 어느 하나의 조건이 만족된 경우, 그 선분에 고유 번호를 부여(라베링)하고 그 선분의 트레이싱을 종료하고, 트레이스를 계속하는 경우에는 맨 마지막에 검출된 에지 화소가 있던 x 좌표 위치를 다음 트레이싱 개시 위치로 설정한다.

조건 1: 3점 중, 적어도 1점이 이미 라베링되어 있음.

조건 2: 3점 중, 2점 이상이 에지 화상을 구성하는 화소임.

조건 3: 트레이싱 중에 에지 화상을 구성하는 화소가 3점 중에 2회 검출되지 않았음.

한편, 세로 방향의 에지 화상에 대해서는, 화상 처리부(47)는, y=0의 좌표 위치로부터 x 방향으로 스캐닝함으로써 에지 화상에 포함되는 에지 화소를 검출하고, 가로 방향의 에지 화상에 대하여 행한 처리와 동일한 처리를 행한다. 그리고, 화상 처리부(47)는, 트레이싱에 의해 라베링된 각각의 선분(line segment)의 시점(start point) 및 종점(end point)의 좌표, 기울기(시점과 종점으로부터 구해짐), 선분을 구성하는 각 점의 선분의 기울기에 대한 오차[가로 선이면 x 방향의 절편, 세로 선이면 y 방향의 절편(displacement)]의 평균, 및 오차가 최대로 되는 좌표 위치와 그 값을 선분 정보로서 산출한다. 이로써, 단계 S7의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S8의 처리로 진행한다.

단계 S8의 처리에서는, 화상 처리부(47)가, 단계 S7의 처리에 의해 작성된 선분 정보를 참조하여, 선분의 기울기에 대한 오차의 최대값이 소정값 이상인 점을 포함하는 선분이 있는지의 여부를 판별하고, 오차의 최대값이 소정값 이상인 점을 포함하는 선분이 있는 경우, 도 8에 나타낸 바와 같이 그 점(도 8에 나타낸 예에서는 점 P)에서 선분을 2개의 선분으로 분할한다. 그리고, 분할점은, 분할 후에 길이가 짧아지는 선분 측에 속하면 된다. 또한, 화상 처리부(47)는, 선분의 길이가 제1 임계값 이상인 경우나 분할 후의 선분의 길이가 제2 임계값 이하로 되는 경우 등에는 선분을 분할하지 않는다. 그리고, 화상 처리부(47)는, 분할된 선분이 있을 경우에는 선분 정보를 갱신한다. 이로써, 단계 S8의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S9의 처리로 진행한다.

단계 S9의 처리에서는, 화상 처리부(47)가, 단계 S8의 처리에 의해 갱신된 선분 정보를 참조하여, 길이가 소정값 이상의 선분을 긴 순서대로 접속원(connection source) 선분으로서 소정 수만큼 추출하고, 도 9에 나타낸 바와 같이 이하의 3개의 조건을 만족시키는 선분[접속처(connection destination) 선분]에 접속원 선분을 접속한다. 그리고, 화상 처리부(47)는, 접속처 선분과 접속원 선분을 접속한 후, 접속처 선분과 접속원 선분을 접속함으로써 형성된 선분의 시점과 종점의 좌표 위치를 최소 자승법(least squares method)에 의해 산출한다. 이로써, 단계 S9의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S10의 처리로 진행한다.

조건 1: 접속원 선분과 접속처 선분이 소정값 이상 이격되어 있지 않음.

조건 2: 접속원 선분이 접속처 선분에 완전히는 포함되지 않음.

조건 3: 접속원 선분의 시점 또는 종점을 접속처 선분까지 연장했을 때 연장된 부분과 접속원 선분의 시점 및 종점의 위치와의 오차가 소정값 미만임.

단계 S10의 처리에서는, 화상 처리부(47)는, 도 10의 (A) 및 도 10의 (B)에 나타낸 바와 같이, 단계 S8 및 단계 S9의 분할 처리 및 접속 처리가 행해진 세로 방향 및 가로 방향 각각의 선분(line segment)으로부터 사각형(quadrangle)의 대변 후보(서로 마주보는 한 쌍의 에지 선, 여기서는 "대변 후보"로 약기함)를 작성한다(도 10의 (A) 및 도 10의 (B)에 나타낸 예에서는, 가로 방향의 대변 후보를 선분 H1와 선분 H2의 쌍, 세로 방향의 대변 후보를 선분 V1와 선분 V2의 쌍으로 나타내고 있다). 구체적으로는, 화상 처리부(47)는, 선분 사이의 거리가 소정값 이상, 또한 한쪽 선분의 길이에 대한 다른 쪽 선분의 비율이 소정 범위 내(예를 들면, 1/3∼3배)인 선분의 쌍을 세로 방향 및 가로 방향 각각에 대하여 대변 후보로서 복수개 작성한다. 이로써, 단계 S10의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S11의 처리로 진행한다.

단계 S11의 처리에서는, 화상 처리부(47)가, 도 11에 나타낸 바와 같이, 단계 S10의 처리에 의해 작성된 세로 방향 및 가로 방향 각각의 대변 후보의 조합을 작성한다. 그리고, 화상 처리부(47)는, 각 조합에 대하여, 대변 후보의 4개의 교점을 산출한다. 이 때, 화상 처리부(47)는, 선분의 경사 정보만을 사용하고, 선분의 연장선 상에 교점이 있으면 되는 것으로 한다. 즉, 검출된 교점 상에서 실제로 는 선분이 교차하고 있지 않은 경우도 포함된다. 그리고, 화상 처리부(47)는, 산출된 4개의 교점을 꼭지점으로 하는 도 12에 나타낸 바와 같은 직사각형 후보 S를 복수개 작성한다. 이로써, 단계 S11의 처리는 완료되고, 윤곽 사각형 추출 처리는 단계 S12의 처리로 진행한다.

단계 S12의 처리에서는, 화상 처리부(47)가, 단계 S11의 처리에 의해 작성된 직사각형 후보 S의 외주의 길이 L1을 산출한다. 외주의 길이 L1은, 직사각형 후보 S를 구성하는 4개의 꼭지점 사이의 거리를 합계하여 산출할 수 있다. 또한, 화상 처리부(47)는, 도 13에 나타낸 바와 같이, 세로 방향 및 가로 방향의 선분(line segments) L에서의 직사각형 후보 S의 외주 상에 위치하는 부분의 길이의 총계(total)를 길이 L2로서 산출한다. 그리고, 화상 처리부(47)는, 이하에 나타내는 수식 1을 사용하여, 직사각형 후보 S의 외주의 길이 L1에 대한 선분 L의 길이의 총계 L2의 비율을 각 직사각형 후보 S의 점수(score)[직사각형 영역의 확실도(likelihood)]로서 산출한다(스코어링 처리). 수식 1에서, 계수 P는, 직사각형 후보 S를 구성하는 4개의 꼭지점(corner points)을 넘은 선분(예를 들면, 도 13에 나타낸 영역 R1, R2, 직사각형 후보 S의 외주부를 넘어 돌출하고 있는 선분)이 있는 경우에 직사각형 후보 S의 점수를 감점하기 위한 패널티 계수를 의미하고, 예를 들면 선분이 4개의 꼭지점을 넘은 곳이 없으면 1.0, 한 군데이면 0.8, 두 군데이면 0.64 등과 같이 설정된다. 그리고, 패널티 계수는, 전술한 예로 한정되지 않고, 예를 들면 피사체가 정형이며, 세로와 가로의 비율을 사전에 알고 있는 경우에는, 이 비율로부터 벗어날수록, 패널티 계수의 값을 무겁게(1 이하로) 하거나, 피사체 의 외주의 길이를 알고 있는 경우에는, 그 외주와의 오차가 커질수록, 패널티 계수의 값을 무겁게(1 이하로) 하는 등, 각종 응용이 가능하다. 이로써, 단계 S12의 처리는 완료되고, 윤곽 직사각형 추출 처리는 단계 S13의 처리로 진행한다.

[수식 1]

score = L2/L1×100×p

단계 S13의 처리에서는, 화상 처리부(47)가, 도 14의 (A)∼(D)에 나타낸 바와 같이, 단계 S12의 처리에 의해 산출된 점수가 높은 순서, 즉 확실도가 높은 순서로 직사각형 후보 S1∼S4 중 1개를 촬영 화상에 중첩시켜서(overlap) 액정 표시부(19)에 표시한다. 구체적으로는, 화상 처리부(47)는, 도 15에 나타낸 바와 같이, 사용자의 링 키(117) 조작에 맞추어서 확실도가 높은 순서로 직사각형 후보 S1∼S4를 순회적으로(circularly) 액정 표시부(19)에 표시한다. 그리고, 도 15에 나타낸 예에서는, 확실도가 높은 순서로 직사각형 후보를 액정 표시부(19)에 표시했지만, 점수에 따라 직사각형 후보를 색으로 분류하여 액정 표시부(19)에 동시에 표시해도 된다.

또한, 촬영 화상 내에 복수의 피사체가 있는 경우를 위해, 예를 들면 ON/OFF 전환 가능한 복수의 보정 모드를 준비하고, 복수의 직사각형 후보에 대한 선택을 행할 것인지의 여부를 사용자가 선택할 수 있도록 해 두면 된다. 구체적으로는, 복수의 보정 모드가 OFF의 경우, 화상 처리부(47)는, 예를 들면, 도 16에 나타낸 바와 같이, 사용자의 링 키(17) 조작에 맞추어서 확실도가 높은 순서로 직사각형 후보를 순회적(cyclically)으로 액정 표시부(19)에 표시하고, 사용자에 의해 선택 된 직사각형 후보로 에워싸인 영역의 화소에 대하여 좌표 변환 등의 화상 처리를 행한 후에, 윤곽 사각형 추출 처리를 완료한다. 또한, 복수의 보정 모드가 ON일 경우, 화상 처리부(47)는, 예를 들면 도 17에 나타낸 바와 같이, 사용자의 링 키(17) 조작에 맞추어서 확실도가 높은 순서로 직사각형 후보를 순회적으로 액정 표시부(19)에 표시하고[도 17의 섹션 (a) 및 (b)], 사용자에 의해 선택된 직사각형 후보로 에워싸인 영역의 화소에 대하여 좌표 변환 등의 화상 처리를 행한 후[도 17의 섹션 (c)], 사용자에 의해 선택되지 않은 직사각형 후보를 선택 가능하게 하여 더욱 새로운 화상 처리를 행할 수 있도록 한다[도 17의 섹션 (d), (e), (f)]. 이로써, 사용자는 복수의 피사체에 대하여 순차적으로(sequentially) 정확한 직사각형 후보를 선택하여 화상 보정을 행할 수 있게 된다. 이상으로 단계 S13의 처리는 완료되어, 일련의 윤곽 사각형 추출 처리는 종료한다.

이상의 설명으로부터 명백한 바와 같이, 제1 실시예가 되는 윤곽 사각형 추출 처리에 의하면, 화상 처리부(47)가, 촬영 화상으로부터 세로 방향과 가로 방향의 선분 정보를 검출하고, 검출된 세로 방향과 가로 방향의 선분 정보로부터 직사각형 영역을 구성하는 세로 방향과 가로 방향의 대변 후보(facing-lines candidate)를 작성한다. 또한, 화상 처리부(47)는, 세로 방향의 대변 후보와 가로 방향의 대변 후보의 조합(pairs of the facing-lines candidate for vertical edge lines and the facing-lines candidate for horizontal edge lines)을 복수개 작성하고, 각 조합(pairs)에 대하여 세로 방향의 대변 후보와 가로 방향의 대변 후보의 교점을 꼭지점으로 하는 직사각형 영역을 직사각형 후보 S로서 작성한다. 그리고, 화상 처리부(47)는, 직사각형 후보 S의 외주의 길이 L1에 대한 직사각형 후보 S의 외주 상에 위치하는 선분 L의 길이의 총계 L2의 비율을 각 직사각형 후보 S의 점수로서 산출하고, 산출 결과에 따라 촬영 화상과 함께 직사각형 후보 S를 표시한다. 따라서, 이와 같은 윤곽 직사각형 추출 처리에 의하면, 추출된 직사각형 후보 S의 확실도를 고려하고, 거기에 더하여 직사각형 후보 S를 사용자에게 제시할 수 있다. 따라서, 전술한 윤곽 사각형 추출 처리를 행하는 디지털 스틸 카메라(1)에 의하면, 사용자에 대하여 직사각형 후보 S를 자연스럽게(smoothly) 선택하게 할 수 있다. 그리고, 전술한 설명에서는, 윤곽 사각형 추출 처리를 행함으로써 생성한 복수의 직사각형 후보 S를 사용자에게 제시하는 방법으로서, 색 분류에 의한 중첩 표시에 의한 제시, 순회적인 순차 표시에 의한 제시를 예로 들어 설명하였으나, 복수의 직사각형 후보 S의 사용자에 대한 제시 방법은 특별히 한정되지 않는다. 또한, 윤곽 사각형 추출 처리에 의해 생성된 복수의 직사각형 후보 S 모두를 사용자에 대하여 제시하지 않고, 산출된 점수가 높은 순서로, 제시 대상이 되는 직사각형 후보 S의 수를 제한해도 된다. 이 경우, 사용자에게 제시하는 직사각형 후보 S의 수를 줄일 수가 있어서, 사용자에 의한 선택 조작이 번잡하게 되는 것을 방지할 수 있다.

또한, 전술한 설명에서는, 윤곽 사각형 추출 처리에 의해 생성된 복수의 직사각형 후보 S를 사용자에게 제시한 후에, 후단에서(at subsequent stage) 화상 처리의 대상이 되는 직사각형 후보 S를 사용자에게 선택하게 하는 예를 설명하였으나, 후단에서 화상 처리의 대상으로 하는 직사각형 후보 S를, 산출된 점수에 기초하여 자동적으로(automatically) 선택하도록 해도 된다. 이 경우, 사용자에게 선 택 조작을 요구할 필요가 없어져서, 사용자 조작을 간략화하면서(simplifying user opertion), 후단에서의 화상 처리와 더불어 일련의 처리를 원활하게 진행할 수 있다.

또한, 윤곽 사각형 추출 처리 후단에서, 선택된 직사각형 후보 S 내의 화소에 대하여 행하는 화상 처리로서는, 좌표 변환에 의한 스큐 보정 처리, 화상 추출 처리, 확대·축소 처리, 콘트라스트 조정 처리, 레벨 보정 처리 등의 각종 화상 처리, 또는 이들 화상 처리를 조합하여 행하면 된다.

[제2 실시예]

다음으로, 본 발명에 따른 제2 실시예에 대하여 설명한다. 전술한 제1 실시예에서는, 단계 S11의 처리에 의해 복수의 직사각형 후보 S를 생성한 후에, 각 직사각형 후보 S를 스코어링하고(단계 S12), 스코어링한 결과에 기초하여 복수의 직사각형 후보 S를 순차적으로 사용자에게 제시했다(단계 S13). 제2 실시예는, 제1 실시예에서의 단계 S12 및 S13의 처리 대신, 이하에 설명하는 바와 같이 복수의 직사각형 후보 S를 그룹으로 분류한다는 점에서 제1 실시예와 상이하다.

제1 실시예에서 설명한 예는, 화상 내에 포함되는 피사체, 즉 직사각형 후보 S를 선택함으로써 화상 처리의 대상으로 하는 화상 내의 영역의 수가, 1개 내지 수개의 경우에 바람직한 예이다. 한편, 제2 실시예에서 설명하는 예는, 수개 이상의 유사한 피사체를 포함하는 화상에 대하여 적용하는 경우(case, situation)에 바람직한 예이다. 이와 같은 경우의 구체적인 예로서는, 예를 들면, 사진 앨범(photo album)을 내려다보며 촬영한(taking an overview image of) 후에 촬영 화상으로부 터 각 사진을 추출하는 경우, 복수의 메모가 부착된 게시판을 촬영한(taking a snapshot of a bulletin board having a pluraliy of memos pinned down) 후에 각 메모를 추출하는 경우 등이다.

제2 실시예에 따른 디지털 스틸 카메라(1)는, 제1 실시예에서 설명한 윤곽 사각형 추출 처리(단계 S1∼S11)에 의해 1개의 촬영 화상 내에 복수의 직사각형 후보 S가 생성된 후에, 이하의 그룹 분류 처리를 실행함으로써, 중심 좌표(무게 중심 좌표, 여기서는 "중심 좌표"로 약기함) 및 크기(size)에 기초하여 복수의 직사각형 후보 S를 그룹으로 분류한다. 이하, 도 18에 나타내는 흐름도를 참조하여, 이 그룹 분류 처리를 실행할 때의 디지털 스틸 카메라(1)의 동작에 대하여 설명한다.

도 18에 나타낸 흐름도는, 상기 윤곽 사각형 추출 처리가 완료한 타이밍에서 개시되고, 그룹 분류 처리는 단계 S21의 처리로 진행한다. 그리고, 이하에 나타내는 디지털 스틸 카메라(1)의 동작은, 제어부(42) 내의 CPU가 ROM에 기억되어 있는 컴퓨터 프로그램을 RAM에 로드하고, RAM에 로드된 컴퓨터 프로그램을 실행함으로써, 화상 처리부(47)에 의해 행해지는 화상 처리를 제어함으로써 실현된다.

단계 S21의 처리에서는, 화상 처리부(47)가, 각 직사각형 후보 S의 중심 좌표를 산출한다. 구체적으로는, 화상 처리부(47)는, 처음에 도 19의 (A) 및 19의 (B)에 나타낸 바와 같이 직사각형 후보 S의 4개의 꼭지점의 좌표 (Ax, Ay), (Bx, By), (Cx, Cy), (Dx, Dy)를 산출하고, 이하에 나타내는 수식 2 및 3을 사용하여 직사각형 후보 S를 구성하는 삼각형 ABD 및 삼각형 BDC의 중심 좌표(G1 및 G2)[도 19의 (A) 참조]를 산출한다. 다음으로, 화상 처리부(47)는, 이하에 나타내는 수식 4 및 5를 사용하여 직사각형 후보 S를 구성하는 삼각형 ABC 및 삼각형 ACD의 중심 좌표(G3 및 G4)[도 19의 (B) 참조]를 산출한다. 그리고, 화상 처리부(47)는, 중심 G1과 중심 G2를 연결하는 직선과 중심 G3와 중심 G4를 연결하는 직선을 산출하고, 이하에 나타내는 수식 6에 의해 나타내어지는 2개의 직선의 교점 K(Kx, Ky)를 직사각형 후보 S의 중심 좌표로서 산출한다. 보다 구체적으로는, 지금 윤곽 사각형 추출 처리에 의해 도 20의 (A)에 나타낸 바와 같이 1개의 촬영 화상 내에 5개의 직사각형 후보 S1∼S5가 생성된 경우, 화상 처리부(47)는, 도 20의 (B)에 나타낸 바와 같이 직사각형 후보 S1∼S5의 4개의 꼭지점 좌표와 중심 좌표를 산출한다. 이로써, 단계 S21의 처리는 완료되고, 그룹 분류 처리는 단계 S22의 처리로 진행한다.

[수식 2]

G1 = ((Ax + Bx + Dx)/3, (Ay + By + Dy)/3)

[수식 3]

G2 = ((Bx + Dx + Cx)/3, (By + Dy + Cy)/3)

[수식 4]

G3 = ((Ax + Bx + Cx)/3, (Ay + By + Cy)/3)

[수식 5]

G4 = ((Ax + Cx + Dx)/3, (Ay + Cy + Dy)/3)

[수식 6]

단계 S22의 처리에서는, 화상 처리부(47)가, 단계 S21의 처리에 의해 산출된 각각의 직사각형 후보 S의 중심 좌표에 대하여, XY 방향의 좌표값의 차분의 절대값의 합계값이 소정의 임계값 α인 중심 좌표의 그룹이 있는지의 여부를 판별한다. 구체적으로는, 직사각형 후보 S1의 중심 좌표(X1, Y1)에 대하여 처리를 실행할 경우, 화상 처리부(47)는, 수식 |X1-X2| + |Y1-Y2| ≤ α를 만족시키는 중심 좌표(X2, Y2)의 그룹이 있는지의 여부를 판별한다. 그리고, 판별 결과, XY 방향의 좌표값의 차분의 절대값의 합계값이 소정의 임계값 α 이하인 중심 좌표의 그룹(중심 좌표의 위치가 가까운 직사각형 후보의 그룹)이 있는 경우, 화상 처리부(47)는, 단계 S23의 처리로서 그 중심 좌표를 해당하는 중심 좌표의 그룹에 등록한 후, 그룹 분류 처리를 단계 S25의 처리로 진행한다. 한편, XY 방향의 좌표값의 차분의 절대값의 합계값이 소정의 임계값 α 이하인 중심 좌표의 그룹이 없는 경우에는, 화상 처리부(47)는, 단계 S24의 처리로서, 새로운 중심 좌표의 그룹을 작성하고, 작성된 새로운 중심 좌표의 그룹에 그 중심 좌표를 등록한 후, 그룹 분류 처리를 단계 S25의 처리로 진행한다. 그리고, 그룹 분류 방법으로서는 각종 방법을 고려 할 수 있지만, 예를 들면, 중심 좌표의 속성 정보에 그룹 고유의 식별 정보를 부여하는 방법 등을 고려할 수 있다.

단계 S25의 처리에서는, 화상 처리부(47)가, 단계 S21의 처리에 의해 산출된 모든 중심 좌표에 대하여 상기 단계 S22의 처리를 실행했는지의 여부를 판별한다. 그리고, 판별 결과, 단계 S21의 처리에 의해 산출된 모든 중심 좌표에 대하여 상기 단계 S22의 처리를 실행하고 있지 않은 경우, 화상 처리부(47)는 그룹 분류 처리를 단계 S22의 처리로 리턴시킨다. 한편, 단계 S21의 처리에 의해 산출된 모든 중심 좌표에 대하여 상기 단계 S22의 처리를 실행한 경우에는, 화상 처리부(47)는 그룹 분류 처리를 단계 S26의 처리로 진행시킨다.

단계 S26의 처리에서는, 화상 처리부(47)가, 이하의 수식 7을 사용하여 각각의 직사각형 후보 S의 외주의 길이 L을 산출한다. 구체적으로는, 지금 도 20의 (A)에 나타낸 바와 같이 5개의 직사각형 후보 S1∼S5가 생성된 경우, 화상 처리부(47)는, 도 20의 (B)에 나타낸 바와 같이 직사각형 후보 S1∼S5 각각에 대하여 외주의 길이 L을 산출한다. 이로써, 단계 S26의 처리는 완료되고, 그룹 분류 처리는 단계 S27의 처리로 진행한다.

[수식 7]

단계 S27의 처리에서는, 화상 처리부(47)가, 각각의 중심 좌표의 그룹에 대 하여, 단계 S26의 처리에 의해 산출된 외주의 길이 L이 소정의 임계값(±β)의 범위 내에 없는 직사각형 후보 S가 포함되어 있는지의 여부를 판별한다. 그리고, 판별 결과, 그와 같은 직사각형 후보 S가 포함되어 있는 경우, 화상 처리부(47)는, 단계 S28의 처리로서, 새로운 중심 좌표의 그룹(중심 좌표의 위치는 가깝지만 크기가 상이한 직사각형 후보의 그룹)을 작성하고, 작성한 새로운 중심 좌표의 그룹에 그 직사각형 후보 S에 대응하는 중심 좌표를 등록한 후, 그룹 분류 처리를 단계 S29의 처리로 진행한다. 한편, 그와 같은 직사각형 후보 S가 포함되어 있지 않은 경우에는, 화상 처리부(47)는 그룹 분류 처리를 단계 S29의 처리로 진행시킨다.

단계 S29의 처리에서는, 화상 처리부(47)가, 모든 중심 좌표의 그룹에 대하여 상기 단계 S27의 처리를 실행했는지의 여부를 판별한다. 그리고, 판별 결과, 모든 중심 좌표의 그룹에 대해서는 상기 단계 S27의 처리를 실행하고 있지 않은 경우, 화상 처리부(47)는 그룹 분류 처리를 단계 S27의 처리로 리턴시킨다. 한편, 모든 중심 좌표의 그룹에 대하여 상기 단계 S27의 처리를 실행한 경우에는, 화상 처리부(47)는 일련의 그룹 분류 처리를 종료한다.

이 그룹 분류 처리에 의해, 1개의 촬영 화상 내에 포함된 모든 직사각형 후보 S는, 그 중심 좌표(center position)와 크기(size)에 기초하여 그룹으로 분류된다.

그리고, 전술한 설명에서는, 직사각형 후보 S의 외주의 길이 L을 산출하고, 직사각형 후보 S의 그룹 분류를 행할 때 사용하기 위하여 각각의 직사각형 후보 S의 크기(size)를 나타내는 정보로서, 외주의 길이 L을 이용하는 경우의 예를 설명 하였다. 그러나, 화상 처리부(47)는, 외주의 길이 L 대신, 예를 들면 직사각형 후보 S의 4변의 길이의 평균값 Z, 직사각형 후보 S의 내부 면적, 또는 직사각형 후보 S의 대각선 길이의 평균값 등을, 크기를 나타내는 정보로서 이용하여, 직사각형 후보 S의 그룹 분류를 행해도 된다.

디지털 스틸 카메라(1)는, 전술한 그룹 분류 처리 완료 후, 이하의 직사각형 후보 선택 처리를 실행함으로써, 1개의 촬영 화상 내에 직사각형 후보 S가 복수개 존재하는 경우라도 사용자가 원하는 직사각형 후보 S를 자연스럽게(smoothly) 선택할 수 있게 한다. 이하, 도 21에 나타내는 흐름도를 참조하여, 이 선택 처리를 실행할 때의 디지털 스틸 카메라(1)의 동작에 대하여 설명한다.

도 21에 나타낸 흐름도는, 상기 그룹 분류 처리가 완료한 타이밍에서 개시되고, 선택 처리는 단계 S31의 처리로 진행한다. 그리고, 이하에서는, 상기 윤곽 사각형 추출 처리에 의해, 도 22에 나타낸 바와 같이 A, B1, B2, C1, C2, D1, D2, E1, E2, F1, F2, G1, G2, H1, H2, I1, I2의 17개의 직사각형 후보가 추출되고, 상기 그룹 분류 처리에 의해 이들 직사각형 후보가 도 23, 도 24 및 도 25에 나타낸 바와 같이 중심 좌표(X, Y)와 크기(4변의 길이의 평균값) Z와의 조합에 의해 그룹으로 분류된 예를 사용하여 선택 처리를 구체적으로 설명한다. 또한, 이하에 나타내는 디지털 스틸 카메라(1)의 동작은, 제어부(42) 내의 CPU가 ROM에 기억되어 있는 컴퓨터 프로그램을 RAM에 로드하고, RAM에 로드된 컴퓨터 프로그램을 실행함으로써 실현된다.

단계 S31의 처리에서는, 제어부(42)가, 링 키(17)가 조작되었는지의 여부를 판별한다. 그리고, 링 키(17)가 조작된 타이밍에서 선택 처리를 단계 S32의 처리로 진행시킨다.

단계 S32의 처리에서는, 제어부(42)가, 선택된 직사각형 후보 S를 시인(視認) 가능하게 하기 위해 링 키(117)에 의해 선택된 직사각형 후보 S(보정 후보)를 강조 표시(highlight)한다. 구체적으로는, 링 키(17)에 의해 도 22에 나타내는 가장 큰 직사각형 후보 A가 선택된 경우, 제어부(42)는 직사각형 후보 A의 프레임의 색을 흰색으로부터 녹색으로 변경함으로써 직사각형 후보 A를 강조 표시(highlight)한다. 이로써, 단계 S32의 처리는 완료되고, 선택 처리는 단계 S33의 처리로 진행한다.

단계 S33의 처리에서는, 제어부(42)가, 사용자가 세트 키(18)를 누름 조작함으로써 단계 S32의 처리에 의해 선택된 직사각형 후보 S를 보정 후보로서 결정했는지의 여부를 판별한다. 판별 결과, 세트 키(18)가 누름 조작되지 않은 경우, 제어부(42)는 선택 처리를 단계 S31의 처리로 리턴시킨다. 한편, 세트 키(18)가 누름 조작된 경우에는, 제어부(42)는 선택 처리를 단계 S34의 처리로 진행시킨다.

그리고, 도 22에 나타낸 예에서는, 직사각형 후보 A가 선택되어 있는 상태에서 사용자가 세트 키(18)가 아닌 링 키(17)를 아래 방향으로 조작한 경우, 제어부(42)는, 도 24 및 25에 나타내는 그룹 분류의 결과에 기초하여, 직사각형 후보의 크기가 직사각형 후보 A의 크기에 가까운 그룹(환언하면, Z 축 상에서 가장 직사각형 후보 A에 가까운 위치에 있는 그룹)에 속하는 직사각형 후보 B1을 강조 표시한다. 그리고, 직사각형 후보 B1이 강조 표시되고 있는 상태에서, 사용자가 링 키(17) 아래 방향으로 더 조작한 경우, 제어부(42)는, XY 평면 내에서 직사각형 후보 B1과 같은 그룹에 속하고 있는 직사각형 후보 B2를 강조 표시한다.

한편, 직사각형 후보 B1이 강조 표시되고 있는 상태에서, 사용자가 링 키(17)를 우측 방향으로 조작한 경우에는, 제어부(42)는, Z 축 상에서 직사각형 후보 B1과 같은 그룹에 속하면서, 또한 XY 평면에서 우측 주위로 인접한 그룹(중심 좌표 위치가 가까운 그룹)에 속하는 직사각형 후보 C1을 강조 표시한다. 또한, 직사각형 후보 B1이 강조 표시되고 있는 상태에서, 사용자가 링 키(17)를 좌측 방향으로 조작한 경우에는, 제어부(42)는, Z 축 상에서 직사각형 후보 B1과 같은 그룹에 속하면서, 또한 XY 평면에서 좌측 주위로 인접한 그룹(중심 좌표 위치가 가까운 그룹)에 속하는 직사각형 후보 F1을 강조 표시한다.

또한, 직사각형 후보 C1이 강조 표시되고 있는 상태에서, 사용자가 링 키(17)를 우측 방향으로 조작한 경우에는, 제어부(42)는, Z 축 상에서 직사각형 후보 C1과 같은 그룹에 속하면서, 또한 XY 평면에서 우측 주위로 인접한 그룹에 속하는 직사각형 후보 G1을 강조 표시한다. 그리고, 제어부(42)는, Z 축 상에서 1개의 그룹으로부터 다른 그룹으로 천이하는 경우에는 소정의 오프셋을 가한 후, 다음 그룹 내의 직사각형 후보를 강조 표시한다. 이는, 사용자가 직사각형 후보의 크기를 바꾸어서 찾고자 할 때 크기가 거의 동일하며 장소가 다른 것을 보정 후보로서 강조 표시해도 의미가 없기 때문이다. 구체적으로는, 제어부(42)는, 직사각형 후보 B2 다음은 그보다 약간 작은 보정 후보 C1, C2나 보정 후보 G1, G2가 아닌 직사각형 후보 E1을 강조 표시한다. 이상의 상태 천이의 일례를 도시하면, 도 26에 나타 낸 바와 같이 된다.

단계 S34의 처리에서는, 화상 처리부(47)가, 단계 S33의 처리에 의해 결정된 직사각형 후보를 직사각형 영역으로 하는 투영 변환 행렬을 산출하고, 산출된 투영 변환 행렬을 직사각형 후보와 이 직사각형 후보에 의해 에워싸인 화소값에 적용함으로써 직사각형 화상을 생성한다. 이로써, 단계 S34의 처리는 완료되고, 선택 처리는 단계 S35의 처리로 진행한다.

단계 S35의 처리에서는, 화상 처리부(47)가, 단계 S33의 처리에 의해 결정된 직사각형 후보가 속하는 중심 좌표 그룹에 포함되는 모든 중심 좌표에 대응하는 직사각형 후보의 표시를 소거한다. 이로써, 단계 S35의 처리는 완료되고, 선택 처리는 단계 S36의 처리로 진행한다.

단계 S36의 처리에서는, 제어부(42)가, 사용자가 키 입력부(49)를 조작함으로써 선택 조작의 종료를 지시했는지의 여부를 판별한다. 판별 결과, 선택 조작의 종료를 지시하고 있지 않은 경우, 제어부(47)는 선택 처리를 단계 S31의 처리로 리턴시킨다. 한편, 선택 조작의 종료가 지시된 경우에는, 제어부(42)는 일련의 선택 처리를 종료한다.

이상의 설명으로부터 명백한 바와 같이, 제2 실시예가 되는 디지털 스틸 카메라(1)에 의하면, 화상 처리부(47)가, 복수의 직사각형 후보 S를 중심 좌표와 크기에 기초하여 그룹으로 분류하고, 복수의 직사각형 후보 S 중에서 화상 처리에 사용하는 직사각형 후보 S가 선택됨에 따라, 그룹 분류 처리의 결과에 기초하여, 선택된 직사각형 후보 S가 속하는 그룹 내에 포함되는 직사각형 후보 S의 표시를 소 거한다. 이와 같은 구성에 의하면, 중심 위치나 크기가 미묘하게 상이한(differs in small degree) 직사각형 후보 S가 복수개 존재하는 경우라도, 사용자는 원하는 직사각형 후보를 자연스럽게 선택할 수 있다.

이상의 설명에서는, 본 발명에 따른 제1 및 제2 실시예로서 디지털 스틸 카메라(1)를 설명하였으나, 동영상을 촬상하는 디지털 비디오 카메라, 촬상 부분을 가지지 않는 화상 처리 장치 등에 본 발명을 적용할 수도 있다. 즉, 외부의 촬상 장치에서 촬상된 화상을 메모리 카드, USB 케이블 등에 의해 입력하여, 상기 실시예에 나타낸 일련의 윤곽 사각형 추출 처리를 행하도록 해도 된다. 또한, 상기 실시예에서는 직사각형 후보를 채점이 높은 순서로 제시하여, 사용자가 선택하도록 한 후에 좌표 변환에 의한 보정을 행했지만, 직사각형 후보를 채점이 높은 것부터 좌표 변환에 의해 보정해 나가서, 그 보정 결과를 차례로 제시하여, 가장 바람직한 것을 사용자가 선택하도록 해도 된다.

본 발명은 전술한 실시예로 한정하지 않고, 구성 요소가 본 발명의 취지와 범위를 일탈하지 않고 변경될 수 있는 상태로 구체화될 수 있음을 이해해야 한다. 본 발명은, 구성 요소의 적절한 조합에 의해 다양하게 실시될 수 있다. 예를 들면, 일부 구성 요소가 실시예의 전체 구성 요소로부터 삭제될 수도 있다. 또한, 다른 실시예에 있어서의 구성 요소는 조합에 의해 적절하게 사용될 수도 있다.

도 1은 본 발명의 제1 실시예가 되는 디지털 스틸 카메라의 구성을 나타내 사시도이며, 도 1의 (A)는 주로 앞면의 구성, 도 1의 (B)는 주로 배면의 구성을 나타낸 사시도이다.

도 2는 도 1에 나타낸 디지털 스틸 카메라의 제어계의 구성을 나타낸 블록도이다.

도 3은 제1 실시예에 따른 윤곽 직사각형 추출 처리의 흐름을 나타낸 흐름도이다.

도 4의 (A)∼도 4의 (C)는, 도 3의 단계 S5의 처리에 의해 추출되는 에지 화상의 일례를 나타낸 도면이다.

도 5는 도 3의 단계 S5의 에지 화상 추출 처리에서 사용되는 소벨 필터의 구성을 설명하기 위한 도면이다.

도 6의 (A) 및 도 6의 (B)는, 도 3의 단계 S6의 세선· 2치화 처리 후의 에지 화상의 일례를 나타낸 도면이다.

도 7의 (A) 및 도 7의 (B)는, 도 3의 단계 S7의 라베링 처리에 의해 얻어진 선분 정보의 일례를 나타낸 도면이다.

도 8은 도 3의 단계 S8의 선분 분할 처리를 설명하기 위한 개념도이다.

도 9는 도 3의 단계 S9의 선분 접속 처리를 설명하기 위한 개념도이다.

도 10의 (A) 및 도 10의 (B)는, 도 3의 단계 S10의 페어링 처리에 의해 얻어진 가로 방향 및 세로 방향의 대변 후보의 일례를 나타낸 도면이다.

도 11은 도 10에 나타낸 가로 방향 및 세로 방향의 대변 후보의 조합의 일례를 나타낸 도면이다.

도 12는 도 11에 나타낸 가로 방향 및 세로 방향의 대변 후보의 조합으로부터 얻어진 직사각형 후보의 일례를 나타낸 도면이다.

도 13은 도 3에 나타낸 단계 S12의 스코어링 처리를 설명하기 위한 도면이다.

도 14의 (A)∼도 14의 (D)는, 도 3에 나타낸 단계 S12의 처리에 의해 산출된 점수 순서로 표시된 직사각형 후보의 일례를 나타낸 도면이다.

도 15는 사용자의 조작에 따라 표시되는 직사각형 후보가 점수 순서로 천이하는 상태를 나타낸 도면이다.

도 16은 촬영 화상 중에 피사체가 복수개 포함되는 경우의 직사각형 후보의 표시예를 나타낸 도면이다.

도 17은 표시된 직사각형 후보에 기초하여 피사체 화상에 대하여 화상 처리를 행할 때의 처리의 흐름을 나타낸 도면이다.

도 18은 본 발명의 제2 실시예에 따른 그룹 분류 처리의 흐름을 나타낸 흐름도이다.

도 19의 (A) 및 도 19의 (B)는, 도 18에 나타낸 단계 S21의 처리를 설명하기 위한 직사각형 후보의 일례를 나타낸 도면이다.

도 20의 (A)는 복수의 직사각형 후보의 일례를 나타낸 도면이며, 도 20의 (B)는, 각각의 직사각형 후보에 대하여 산출된 꼭지점 좌표, 중심 좌표, 및 외주의 길이를 나타낸 도면이다.

도 21은 제2 실시예에 따른 직사각형 후보 선택 처리의 흐름을 나타낸 흐름도이다.

도 22는 복수의 직사각형 후보의 일례를 나타낸 도면이다.

도 23은 도 22에 나타낸 복수의 직사각형 후보를 중심 좌표로 그룹 분류한 결과를 나타낸 도면이다.

도 24는 도 22에 나타낸 복수의 직사각형 후보를 중심 위치의 x 좌표와 크기로 그룹 분류한 결과를 나타낸 도면이다.

도 25는 도 22에 나타낸 복수의 직사각형 후보를 중심 위치의 y 좌표와 크기로 그룹 분류한 결과를 나타낸 도면이다.

도 26은 선택 조작 상태 천이의 일례를 나타낸 도면이다.

Claims (14)

1. 화상 내에서 세로 방향 선분과 가로 방향 선분을 검출하는 선분 검출 유닛;

   상기 선분 검출 유닛에 의해 검출된 상기 세로 방향 선분과 상기 가로 방향 선분으로부터, 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 대변 후보 작성 유닛;

   상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 조합을 복수개 작성하고, 각각의 조합의 세로 방향 대변 후보와 가로 방향 대변 후보의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 직사각형 후보로서 작성하는 직사각형 후보 작성 유닛; 및

   상기 직사각형 후보와 세로 방향 대변 후보 및 가로 방향 대변 후보를 구성하고 있는 선분(line segments)과의 관계(relationship)에 기초하여 상기 직사각형 후보 각각에 대한 확실도(likelihood)를 산출하는 채점 유닛

   을 포함하고,

   상기 채점 유닛은, 상기 직사각형 후보의 외주의 길이에 대한 상기 직사각형 후보의 외주 상에 위치하는 상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 길이의 비율에 기초하여, 상기 확실도를 산출하는, 화상 처리 장치.
2. 제1항에 있어서,

   상기 채점 유닛은, 상기 세로 방향 대변 후보 또는 상기 가로 방향 대변 후보에 포함되는 선분이 상기 직사각형 후보로부터 외측 방향으로 돌출되어 상기 4개의 꼭지점을 지나서 연장되어 있는 경우, 상기 확실도를 소정 포인트 감점하는, 화상 처리 장치.
3. 화상 내에서 세로 방향 선분과 가로 방향 선분을 검출하는 선분 검출 유닛;

   상기 선분 검출 유닛에 의해 검출된 상기 세로 방향 선분과 상기 가로 방향 선분으로부터, 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 대변 후보 작성 유닛;

   상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 조합을 복수개 작성하고, 각각의 조합의 세로 방향 대변 후보와 가로 방향 대변 후보의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 직사각형 후보로서 작성하는 직사각형 후보 작성 유닛; 및

   상기 직사각형 후보와 세로 방향 대변 후보 및 가로 방향 대변 후보를 구성하고 있는 선분(line segments)과의 관계(relationship)에 기초하여 상기 직사각형 후보 각각에 대한 확실도(likelihood)를 산출하는 채점 유닛

   을 포함하고,

   상기 대변 후보 작성 유닛은, 상기 세로 방향 선분 또는 상기 가로 방향 선분에 포함되는 제1 선분 및 제2 선분을 상기 세로 방향 대변 후보 및 상기 가로 방향 대변 후보의 하나로서 설정함으로써 상기 세로 방향 대변 후보 및 상기 가로 방향 대변 후보를 작성하고,

   상기 제1 선분과 상기 제2 선분 사이의 거리는, 소정의 임계값보다 크며,

   상기 제1 선분과 상기 제2 선분의 길이의 비가 소정 범위 내에 있는, 화상 처리 장치.
4. 제1항 또는 제3항에 있어서,

   상기 채점 유닛에 의해 산출된 상기 확실도에 기초하여, 상기 직사각형 후보를 상기 화상에 중첩하여 표시하도록 하는 표시 디바이스를 제어하는 표시 제어 유닛을 더 포함하는 화상 처리 장치.
5. 제4항에 있어서,

   상기 표시 제어 유닛은, 상기 채점 유닛에 의해 산출된 상기 확실도가 높은 순서로 상기 직사각형 후보를 표시하도록 상기 표시 디바이스를 제어하는, 화상 처리 장치.
6. 화상 내에서 세로 방향 선분과 가로 방향 선분을 검출하는 선분 검출 유닛;

   상기 선분 검출 유닛에 의해 검출된 상기 세로 방향 선분과 상기 가로 방향 선분으로부터, 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 대변 후보 작성 유닛;

   상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 조합을 복수개 작성하고, 각각의 조합의 세로 방향 대변 후보와 가로 방향 대변 후보의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 직사각형 후보로서 작성하는 직사각형 후보 작성 유닛;

   상기 직사각형 후보와 세로 방향 대변 후보 및 가로 방향 대변 후보를 구성하고 있는 선분(line segments)과의 관계(relationship)에 기초하여 상기 직사각형 후보 각각에 대한 확실도(likelihood)를 산출하는 채점 유닛; 및

   상기 채점 유닛에 의해 산출된 상기 확실도에 기초하여, 상기 직사각형 후보를 상기 화상에 중첩하여 표시하도록 하는 표시 디바이스를 제어하는 표시 제어 유닛

   을 포함하고,

   상기 표시 제어 유닛은, 상기 채점 유닛에 의해 산출된 상기 확실도에 기초하여 복수의 상기 직사각형 후보를 색으로 분류하여 표시하도록 상기 표시 디바이스를 제어하는, 화상 처리 장치.
7. 제1항 또는 제3항에 있어서,

   상기 화상을 촬영하는 촬상 디바이스를 더 포함하는 화상 처리 장치.
8. 화상 내의 복수의 사각형 영역을 직사각형 후보로서 작성하는 직사각형 후보 작성 유닛;

   상기 직사각형 후보를, 각각의 중심 좌표(center position)와 크기(size)에 기초하여 그룹으로 분류하는 그룹 분류 유닛;

   상기 화상 상에 상기 직사각형 후보를 중첩 표시하는 표시 유닛;

   상기 표시 유닛에 의해 표시된 상기 직사각형 후보 중에서 선택 직사각형 후보를 선택하는 제1 조작 유닛;

   상기 선택 직사각형 후보를, 이후의 처리에서 사용하는 결정 직사각형 후보로서 결정하는 제2 조작 유닛; 및

   상기 제2 조작 유닛이 상기 결정 직사각형 후보를 상기 그룹 내에서 결정하면, 상기 선택 직사각형 후보가 속하는 그룹 내에 포함되는 상기 직사각형 후보의 표시를 중지하도록 상기 표시 유닛을 제어하는 표시 제어 유닛

   을 포함하는 화상 처리 장치.
9. 제8항에 있어서,

   상기 제1 조작 유닛은 제1 조작 방향과 제2 조작 방향을 가지고,

   상기 표시 제어 유닛은,

   상기 제1 조작 유닛이 상기 제1 조작 방향으로 조작된 경우, 현재 선택 표시되고 있는 직사각형 후보가 속하는 제1 그룹에 속하는 다른 직사각형 후보를 순차적으로 선택 상태로 표시하도록 상기 표시 유닛을 제어하고, 상기 제1 조작 유닛이 상기 제2 조작 방향으로 조작된 경우, 상기 제1 그룹과는 상이한 제2 그룹에 속하는 직사각형 후보를 선택 상태로 표시하도록 상기 표시 유닛을 제어하는, 화상 처리 장치.
10. 제9항에 있어서,

    상기 표시 제어 유닛은, 상기 제1 조작 유닛이 상기 제2 조작 방향으로 조작된 경우, 현재 상기 선택 상태로 표시되어 있는 상기 직사각형 후보의 크기보다 소정값 이상 큰 직사각형 후보가 속하는 상기 제2 그룹의 직사각형 후보를 선택 상태로 표시하는, 화상 처리 장치.
11. 제8항에 있어서,

    상기 화상을 촬상하는 촬상 디바이스를 더 포함하는 화상 처리 장치.
12. 화상으로부터 세로 방향 선분과 가로 방향 선분을 검출하는 단계;

    상기 세로 방향 선분과 상기 가로 방향 선분으로부터 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 단계;

    상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보와의 조합을 복수개 작성하고, 각각의 조합에 대하여 상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 직사각형 후보로서 작성하는 단계; 및

    상기 직사각형 후보와 상기 세로 방향 대변 후보 및 상기 가로 방향 대변 후보를 구성하는 선분의 관계에 기초하여 각각의 상기 직사각형 후보의 확실도를 산출하는 단계

    를 포함하고,

    상기 확실도를 산출하는 단계에서, 상기 직사각형 후보의 외주의 길이에 대한 상기 직사각형 후보의 외주 상에 위치하는 상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 길이의 비율에 기초하여, 상기 확실도를 산출하는,

    화상 처리를 컴퓨터에 실행시키는 소프트웨어 프로그램이 저장된, 컴퓨터 판독 가능 매체.
13. 화상으로부터 세로 방향 선분과 가로 방향 선분을 검출하는 단계;

    상기 세로 방향 선분과 상기 가로 방향 선분으로부터 상기 화상 내에서 사각형 영역을 구성하는 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 단계;

    상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보와의 조합을 복수개 작성하고, 각각의 조합에 대하여 상기 세로 방향 대변 후보와 상기 가로 방향 대변 후보의 교점을 4개의 꼭지점으로 하는 상기 사각형 영역을 직사각형 후보로서 작성하는 단계; 및

    상기 직사각형 후보와 상기 세로 방향 대변 후보 및 상기 가로 방향 대변 후보를 구성하는 선분의 관계에 기초하여 각각의 상기 직사각형 후보의 확실도를 산출하는 단계

    를 포함하고,

    상기 세로 방향 대변 후보와 가로 방향 대변 후보를 작성하는 단계에서는, 상기 세로 방향 선분 또는 상기 가로 방향 선분에 포함되는 제1 선분 및 제2 선분을 상기 세로 방향 대변 후보 및 상기 가로 방향 대변 후보의 하나로서 설정함으로써 상기 세로 방향 대변 후보 및 상기 가로 방향 대변 후보를 작성하고,

    상기 제1 선분과 상기 제2 선분 사이의 거리는, 소정의 임계값보다 크며,

    상기 제1 선분과 상기 제2 선분의 길이의 비가 소정 범위 내에 있는,

    화상 처리를 컴퓨터에 실행시키는 소프트웨어 프로그램이 저장된, 컴퓨터 판독 가능 매체.
14. 화상 내의 복수의 사각형 영역을 직사각형 후보로서 작성하는 단계;

    상기 직사각형 후보를 각각의 중심 좌표와 크기에 기초하여 그룹으로 분류하는 단계;

    상기 화상 상에 상기 직사각형 후보를 중첩 표시하는 단계; 및

    표시된 상기 직사각형 후보 중에서 이후의 처리에서 사용하는 직사각형 후보가 선택되면, 선택된 직사각형 후보가 속하는 그룹 내에 포함되는 다른 직사각형 후보의 표시를 중지하는 단계

    를 포함하는 화상 처리를 컴퓨터에 실행시키는 소프트웨어 프로그램이 저장된, 컴퓨터 판독 가능 매체.

Images