KR20160028490A - 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 - Google Patents

Abstract

복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 화상 처리 장치는, 상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하도록 구성된 대상 화상 생성 유닛과, 상기 대상 화상 생성 유닛에 의해 생성된 복수의 대상 화상 각각에 대하여, 특징량을 산출하도록 구성된 특징량 산출 유닛과, 상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상 중에서 주목하는 대상 화상에 대하여, 상기 특징량에 따라 이음 위치를 결정하도록 구성된 이음 위치 결정 유닛을 포함한다.

Description

화상 처리 장치, 화상 처리 방법, 및 촬상 시스템{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGING SYSTEM}

본 발명은 개괄적으로 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템에 관한 것이며, 보다 구체적으로는 복수의 입력 화상을 서로 연결시키는 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템에 관한 것이다.

어안 렌즈(fisheye lens)나 초광각 렌즈 등의 광각 렌즈를 복수개 사용하여 전방향(이하, "전체 천구(entire celestial sphere)"라고 함) 화상을 한번에 촬상하는 전체 천구 촬상 시스템이 알려져 있다. 전체 천구 촬상 시스템은 렌즈로부터의 상을 센서면에 사영하여, 그 화상을 화상 처리에 의해 서로 연결시킴으로써 전체 천구 화상을 생성한다. 예컨대, 180°를 넘는 화각을 갖는 2개의 광각 렌즈를 이용하여, 전체 천구 화상을 생성할 수 있다.

화상 처리에 있어서, 렌즈 광학계에 의해 촬상된 부분 화상에 대해, 소정의 사영 모델에 기초해서, 또 이상적인 모델로부터의 왜곡을 고려하여, 왜곡 보정 및 사영 변환을 행한다. 그리고, 부분 화상에 포함되는 중복 부분을 이용해서 부분 화상을 서로 연결시켜, 단일의 전체 천구 화상을 생성한다. 화상을 서로 연결시키는 처리에 있어서, 부분 화상 사이의 중복 부분에서의 패턴 매칭을 이용해, 중복된 피사체의 이음 위치(joint position)가 검출된다.

그러나, 종래의 패턴 매칭을 이용한 이음 위치 검출 기술에서는, 매칭되는 영역이 평탄한 화상(flat image)이거나, 동일한 패턴이 반복되어 특징이 적은 경우, 적절한 이음 위치를 검출하는 것이 어려웠다. 이 때문에, 부분 화상을 양호하게 서로 연결시킬 수 없어, 얻어지는 전체 천구 화상의 품질이 저하될 수 있었다.

복수의 카메라를 이용하여 촬상된 복수의 부분 화상을 서로 연결시키는 다양한 기술이 알려져 있다. 예컨대, 일본 특허 공개 2001-148779호(특허문헌 1)는, 패턴 매칭을 행할 때에, 부적절한 매칭 영역이 사용되는 것에서 기인하는 패턴 매칭의 오류를 회피하여, 고정밀도로 화상을 합성하는 것을 목적으로 한 화상 처리 장치를 개시하고 있다. 특허문헌 1의 종래 기술은, 매칭 영역 추출 유닛에 의해서 추출된 매칭 영역이 적절한지 판정하여, 매칭 영역이 부적절하다면 다시 추출을 행하도록 구성되어 있다. 또한, 패턴 매칭 유닛에 의한 매칭 결과가 적절한지 판정하여, 매칭 결과가 적절하지 않다면, 매칭 영역을 다시 추출하도록 구성되어 있다.

화상 합성의 정밀도를 높이기 위해서, 특허문헌 1의 종래 기술은 매칭 영역으로서 부적절한 영역, 예컨대, 전체 백색 픽셀이나 흑색 픽셀의 영역, 또는 세로 방향, 가로 방향, 또는 경사 방향으로 연속되는 직선을 포함하는 역역을, 패턴 매칭을 수행하기 전에 미리 제거하다.

그러나, 특허문헌 1의 종래 기술은, 매칭 영역이 부적절한 경우에는 매칭 영역을 다시 추출하는 기술이다. 그렇기 때문에, 부적절하다고 판단된 매칭 영역에 대해 적절한 이음 위치를 결정하는 것은 여전히 어렵다.

일본 특허 공개 2001-148779호

본 발명은 상기 종래기술의 만족스럽지 못한 점을 감안하여 이루어진 것이며, 복수의 입력 화상 사이의 이음 위치를 검출할 때에 적절한 이음 위치를 검출할 수 있는 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 시스템을 제공하는 것을 목적으로 한다.

본 발명의 적어도 하나의 실시형태에 따르면, 복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 화상 처리 장치는, 입력 화상 중 제1 입력 화상으로부터, 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하도록 구성된 대상 화상 생성 유닛과, 상기 대상 화상 생성 유닛에 의해 생성된 대상 화상 각각에 대하여, 특징량을 산출하도록 구성된 특징량 산출 유닛과, 상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상들 중에서 주목하는 대상 화상에 대하여, 상기 특징량에 따라 이음 위치를 결정하도록 구성된 이음 위치 결정 유닛을 포함한다.

본 발명의 적어도 하나의 실시형태에 따르면, 복수의 입력 화상 사이의 이음 위치를 검출할 때에 적절한 이음 위치를 검출할 수 있다.

도 1은 본 발명의 제1 실시형태에 따른 전체 천구 촬상 시스템을 도시하는 단면도이다.
도 2는 제1 실시형태에 따른 전체 천구 촬상 시스템의 하드웨어 구성도이다.
도 3은 제1 실시형태에 따른 전체 천구 촬상 시스템에서의 화상 처리 전체의 흐름도이다.
도 4는 제1 실시형태에 따른 전체 천구 촬상 시스템에서 구현되는 전체 천구 화상 합성 처리의 주요 블록의 기능 블록도이다.
도 5는 제1 실시형태에 따른 전체 천구 촬상 시스템에 의해 실행되는 전체 천구 화상 합성 처리의 전체적인 흐름도이다.
도 6은 어안 렌즈를 이용한 전체 천구 촬상 시스템에서의 사영 관계를 설명하는 도면이다.
도 7은 제1 실시형태에서 사용되는 전체 천구 화상 포맷의 화상 데이터의 데이터 구조를 설명하는 도면이다.
도 8은 위치 검출용 왜곡 보정 유닛 및 화상 합성용 왜곡 보정 유닛이 참조하는 변환 데이터를 설명하는 도면이다.
도 9는 위치 검출 처리시에 2개의 어안 렌즈로 화상이 촬상되는 경우 2개의 부분 화상의 구면 좌표계에의 매핑을 설명하는 도면이다.
도 10은 제1 실시형태에 따른 이음 위치 검출 유닛의 기능 블록도이다.
도 11은 특정 실시형태에 따른 템플릿 특징량 산출 유닛의 블록도이다.
도 12는 제1 실시형태에 따른 전체 천구 촬상 시스템에 의해 실행되는 이음 위치 검출 처리의 흐름도이다.
도 13은 제1 실시형태에 따른 템플릿 생성 유닛에 의한 템플릿 화상의 생성 방법을 설명하는 도면이다.
도 14는 제1 실시형태에 따른 템플릿 화상의 순서화를 설명하는 도면 (A)와, 제1 실시형태에 따른 임시 위치 산출 유닛에 의해 실행되는 순서화에 기초한 템플릿 화상의 임시 위치의 산출 방법을 설명하는 도면 (B, C)를 포함한다.
도 15는 제1 실시형태에 따른 탐색 범위 설정 유닛에 의해 실행되는 탐색 범위의 설정 방법을 설명하는 도면을 포함한다.
도 16은 템플릿 화상을 설명하는 도면 (A)와, 패턴 매칭에 의해 탐색 범위에서 템플릿 화상을 탐색하는 처리를 설명하는 도면 (B)를 포함한다.
도 17은 오프셋 함수의 그래프 (A)와, 보정전의 스코어 및 보정후의 스코어를 탐색 위치로 플롯팅한 그래프를, 보정전의 스코어에 기초하는 매칭 위치 및 보정후의 스코어에 기초하는 매칭 위치와 함께 도시하는 도면 (B, C)를 포함한다.
도 18은 제1 실시형태에 따른 이음 위치 검출 유닛에 의해 생성되는 검출 결과 데이터의 데이터 구조를 도시하는 도면이다.
도 19는 제1 실시형태의 이음 위치 검출 유닛에 의한 검출 결과 데이터를 생성하는 처리를 설명하는 도면이다.
도 20은 제1 실시형태에 따른 전체 천구 촬상 시스템에 의해 실행되는 화상 합성용 변환 테이블의 생성 처리의 흐름도이다.
도 21은 화상 합성 처리시에 2개의 어안 렌즈로 화상이 촬상되는 경우 2개의 부분 화상의 구면 좌표계에의 매핑을 설명하는 도면이다.
도 22는 제2 실시형태에 따른 전체 천구 촬상 시스템의 개략도이다.
도 23은 제2 실시형태에 따른 전체 천구 촬상 시스템에 의해 실행되는 천구 화상 합성 처리의 전체적인 흐름도이다.
도 24는 제1 실시형태에 따른 전체 천구 촬상 시스템에 의해 실행되는 매칭 계산 처리를 설명하는 도면 (A) 및 스코어 보정 처리를 설명하는 도면 (B)를 포함한다.

이하, 도면을 참조하여 본 발명의 제1 실시형태에 관해서 설명한다. 본 발명의 실시형태는, 이하에 설명하는 실시형태에 한정되는 것이 아님에 주목해야 한다. 본 실시형태에서는, 화상 처리 장치 및 촬상 시스템의 일례로서, 광학계에 2개의 어안 렌즈를 구비한 촬상 유닛과, 2개의 어안 렌즈에 의해 촬상된 2개의 부분 화상에 왜곡 보정 및 사영 변환을 실시하고 이들 화상을 서로 연결시켜, 전체 천구 화상을 생성하는 화상 처리 기능을 포함하는 전체 천구 촬상 시스템(10)을 이용하여 설명한다.

[전체 구성]

이하, 도 1 내지 도 3을 참조하면서, 본 실시형태에 따른 전체 천구 촬상 시스템(10)의 전체 구성에 관해서 설명한다. 도 1은 본 실시형태에 따른 전체 천구 촬상 시스템(이하, 간단히 촬상 시스템이라고 함)(10)의 단면도이다. 도 1에 도시하는 촬상 시스템(10)은 촬상 유닛(12)과, 촬상 유닛(12), 컨트롤러, 배터리 등의 부품을 유지하는 하우징(14)과, 하우징(14)에 설치된 셔터 버튼(18)을 포함한다. 도 1에 도시하는 촬상 유닛(12)은 2개의 결상 광학계(20A, 20B)와, CCD(Charge Coupled Device) 센서나 CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 2개의 고체 촬상 소자(22A, 22B)를 포함한다. 결상 광학계(20)와 고체 촬상 소자(22)를 1개씩 조합한 것을 촬상 광학계라고 칭한다. 결상 광학계(20) 각각은, 예컨대 6그룹 7개 어안 렌즈로서 구성될 수 있다. 어안 렌즈는 도 1에 도시하는 예에서는, 180°(=360°/n, 여기서 n=2)보다 큰 전체 화각을 가지며, 바람직하게는 185° 보다 큰 화각을 가지며, 보다 바람직하게는 190° 보다 큰 화각을 갖는다.

결상 광학계(20A, 20B)의 광학 소자(렌즈, 프리즘, 필터 및 개구 조리개)는 고체 촬상 소자(22A, 22B)에 대하여 위치 결정된다. 그 위치 결정은 결상 광학계(20A, 20B)의 광학 소자의 광축이 대응하는 고체 촬상 소자(22)의 수광 영역의 중심부에 직교하여 위치하도록, 또한, 수광 영역이 대응하는 어안 렌즈의 결상면이 되도록 행해진다. 고체 촬상 소자(22) 각각은 수광 영역이 면적을 차지하는 2차원의 고체 촬상 소자이며, 조합되는 결상 광학계(20)에 의해 집광된 광을 화상 신호로 변환한다.

도 1에 도시하는 예에 있어서, 결상 광학계(20A, 20B)는 동일 사양을 가지며, 각각의 광축이 서로 일치하도록 하여, 상호 역방향으로 조합된다. 고체 촬상 소자(22A, 22B)는 수광된 광 분포를 화상 신호로 변환하여, 그 신호를 컨트롤러(도시 생략)의 화상 처리 유닛에 출력한다. 상세한 것은 후술하는 화상 처리 유닛이 고체 촬상 소자(22A, 22B)로부터 입력되는 부분 화상을 서로 연결시키고 합성하여, 입체각(solid angle) 4π 라디안의 화상(이하 "전체 천구 화상"이라고 함)을 생성한다. 전체 천구 화상은 촬상 지점에서 볼 수 있는 모든 방향으로 촬상된 화상이다. 도 1에 도시하는 예에서는, 전체 천구 화상이 생성되지만, 수평 방향으로만 360° 뷰(view)를 촬상하는 소위 "파노라마 화상"일 수도 있다.

또한, 고체 촬상 소자(22A, 22B)의 주사 방향을 상호 일치시킴으로써 촬상 화상을 서로 연결시킬 수 있음을 주목해야 한다. 즉, 고체 촬상 소자(22A-22B)에 대해 서로 연결되는 부분에서 주사 방향과 순서를 상호 일치시키는 것은, 피사체, 특히 카메라의 경계에 있는 이동 피사체를 서로 연결시키는데 효과적이다. 예컨대, 고체 촬상 소자(22A)에 의해 촬상된 촬상 화상의 좌상측 부분과, 고체 촬상 소자(22B)에 의해 촬상된 촬상 화상의 좌하측 부분이 화상으로서 서로 연결되는 부분으로 일치하면, 고체 촬상 소자(22A)는 고체 촬상 소자(22A)의 상측에서 하측으로, 우측에서 좌측으로 화상을 주사한다, 한편, 고체 촬상 소자(22B)는 고체 촬상 소자(22B)의 하측에서 상측으로, 우측에서 좌측으로 화상을 주사한다. 이와 같이, 서로 연결되는 화상의 부분에 기초하여, 고체 촬상 소자의 주사 방향을 서로 일치하게 제어함으로써, 화상을 보다 쉽게 서로 연결시킬 수 있다는 효과를 얻을 수 있다.

전술한 바와 같이, 어안 렌즈는 180°를 넘는 전체 화각을 갖는다. 그렇기 때문에, 전체 천구 화상을 생성하기 위해서, 각 촬상 광학계에서의 촬상 화상의 중복 부분을 동일 화상을 나타내는 기준 데이터로서 화상이라고 칭한다. 생성된 전체 천구 화상은, 촬상 유닛(12) 내에 배치되거나 또는 촬상 유닛(12)과 접속되는, 예컨대 디스플레이 장치, 프린트 장치, SD(등록상표) 카드, 또는 Compat Flash(등록 상표) 메모리 등의 외부 기억 매체에 출력된다.

도 2는 본 실시형태에 따른 전체 천구 촬상 시스템(10)의 하드웨어 구성도이다. 촬상 시스템(10)은 디지털 스틸 카메라 프로세서(이하, 간단히 프로세서라고 함)(100)와, 렌즈 배럴 유닛(102)과, 프로세서(100)에 접속되는 여러 가지 구성요소로 구성된다. 렌즈 배럴 유닛(102)은 전술한 바와 같은 2세트의 렌즈 광학계(20A, 20B)와 고체 촬상 소자(22A, 22B)를 포함한다. 고체 촬상 소자(22)는 후술하는 바와 같이 프로세서(100) 내의 CPU(130)로부터의 제어 커맨드에 의해 제어된다.

프로세서(100)는 ISP(Image Signal Processor)(108)과, DMAC(Direct Memory Access Controller)(110)와, 메모리 액세스를 조정하기 위한 아비터(ARBMEMC)(112)와, 메모리 액세스를 제어하는 MEMC(Memory Controller)(114)와, 왜곡 보정/화상 합성 블록(118)을 포함한다. ISP(108A, 108B)는 각각, 고체 촬상 소자(22A, 22B)에 의해 신호 처리가 실시된 입력 화상 데이터에 대하여, 화이트 밸런스 설정 및 감마 설정을 실시한다. MEMC(114)에는 SDRAM(116)이 접속된다. SDRAM(116)는 ISP(108A, 180B) 및 왜곡 보정/화상 합성 블록(118)에서 처리를 실시할 때에 데이터를 일시적으로 저장한다. 왜곡 보정/화상 합성 블록(118)은 2개의 촬상 광학계로부터 취득된 2개의 부분 화상에 대하여, 3축 가속도 센서(120)로부터의 정보를 이용해서, 왜곡 보정과 상하(top-bottom) 보정을 실시하여, 화상을 합성한다.

프로세서(100)는 또한, DMAC(122)과, 화상 처리 블록(124)과, CPU(130)와, 화상 데이터 전송 유닛(126)과, SDRAMC(128)와, 메모리 카드 제어 블록(140)과, USB 블록(146)과, 주변장치 블록(150)과, 음성 유닛(152)과, 시리얼 블록(158)과, LCD(Liquid Crystal Display) 드라이버(162)와, 브릿지(168)를 포함한다.

CPU(130)는 촬상 시스템(10)의 유닛의 동작을 제어한다. 화상 처리 블록(124)은 리사이즈 블록(132), JPEG 블록(134), 및 H.264 블록(136)을 이용해서 화상 데이터에 대하여 각종 화상 처리를 실시한다. 리사이즈 블록(132)은 화상 데이터의 사이즈를 보간 처리에 의해 확대 또는 축소시키는 블록이다. JPEG 블록(134)은 JPEG 압축 및 신장을 행하는 코덱 블록이다. H.264 블록(136)은 H.264 등의 동화상 압축 및 신장을 행하는 코덱 블록이다. 화상 데이터 전송 유닛(126)은 화상 처리 블록(124)에서 화상 처리된 화상을 전송한다. SDRAMC(128)는 프로세서(100)에 접속되는 SDRAM(138)를 제어하여, 프로세서(100)에서 화상 데이터에 각종 처리를 실시할 때에, SDRAM(138)에 화상 데이터를 일시적으로 저장하게 한다.

메모리 카드 제어 블록(140)은 메모리 카드 슬롯(142)에 삽입된 메모리 카드 및 플래시 ROM(144)에 대해 기록/판독을 제어한다. 메모리 카드 슬롯(142)은 메모리 카드를 촬상 시스템(10)에 대해 착탈 가능하게 장착하기 위한 슬롯이다. USB 블록(146)은 USB 커넥터(148)를 통해 접속되는 퍼스널 컴퓨터 등의 외부 기기와의 USB 통신을 제어한다. 주변장치 블록(150)에는, 전원 스위치(166)가 접속된다. 음성 유닛(152)은 사용자가 음성 신호를 입력하는 마이크(156)와, 기록된 음성 신호를 출력하는 스피커(154)에 접속되어, 음성 입출력을 제어한다. 시리얼 블록(158)은 퍼스널 컴퓨터 등의 외부 기기와의 시리얼 통신을 제어하고, 무선 NIC(Network Interface Card)(160)와 접속된다. LCD 드라이버(162)는 LCD 모니터(164)를 구동하는 드라이브 회로이며, LCD 모니터(164) 상에 각종 상태를 표시하도록 신호를 변환한다.

플래시 ROM(144)에는, CPU(130)가 해독 가능한 코드로 기술된 제어 프로그램, 및 각종 파라미터가 저장된다. 전원 스위치(166)의 조작에 의해 전원이 온상태가 되면, 제어 프로그램이 메인 메모리에 로드된다. CPU(130)는 메인 메모리에서 판독된 프로그램에 따라서, 장치의 유닛의 동작을 제어하고, 제어에 필요한 데이터를 SDRAM(138)과 로컬 SRAM(도시 생략)에 일시적으로 저장한다.

도 3은 본 실시형태에 따른 전체 천구 촬상 시스템(10)에서의 전체 화상 처리의 흐름도이다. 먼저, 단계 S101A, S101B에서는, 고체 촬상 소자(22A, 22B) 각각에 의해서, 화상이 촬상된다. 단계 S102A, S102B에서는, 도 2에 도시한 ISP(108) 각각이, 고체 촬상 소자(22A, 22B)로부터 출력된 베이어 RAW의 화상에 대하여, 광 블랙 보정 처리, 결함 픽셀 보정 처리, 선형 보정 처리, 셰이딩 처리 및 영역 분할 평균 처리를 실시한다. 단계 S103A, S103B에서는, 화상이 메모리에 저장된다. 단계 S104A, S104B에서는, 도 2에 도시한 ISP(108) 각각이, 또한 화상에 대해 화이트 밸런스 처리, 감마 보정 처리, 베이어 보간 처리, YUV 변환 처리, 엣지 강조 처리 및 색상 보정 처리를 실시하고, 그 화상은 단계 S105A, 105B에서, 메모리에 저장된다.

2개의 고체 촬상 소자(22A, 22B)에서의 처리가 완료되면, 단계 S106에서, 처리가 실시된 부분 화상에 대하여, 왜곡 보정 및 합성 처리가 행해진다. 단계 S107에서는, 적절하게 태그가 붙여져서, 전체 천구 화상이 내장 메모리 또는 외부 스토리지에 파일로 저장된다. 또한, 왜곡 보정 및 합성 처리 과정에서는, 필요하다면, 3축 가속도 센서(120)로부터 정보를 취득하여 기울기 및 상하 보정이 실시될 수도 있다. 또한, 저장되는 화상 파일은 필요하다면 압축 처리가 행해질 수도 있다.

[전체 천구 화상 합성 기능]

이하, 도 4 내지 도 21을 참조하여, 본 실시형태에 따른 촬상 시스템(10)의 전체 천구 화상 합성 기능에 관해서 상세하게 설명한다. 도 4는 본 실시형태에 따른 전체 천구 촬상 시스템(10)에서 구현되는 전체 천구 화상 합성 처리의 주요 블록의 기능 블록도(200)이다. 왜곡 보정/화상 합성 블록(118)은 도 4에 도시한 바와 같이, 위치 검출용 왜곡 보정 유닛(202)과, 이음 위치 검출 유닛(204)과, 테이블 수정 유닛(206)과, 테이블 생성 유닛(208)과, 화상 합성용 왜곡 보정 유닛(210)과, 화상 합성 유닛(212)을 포함하여 구성된다.

또한, 왜곡 보정/화상 합성 블록(118)은 2개의 고체 촬상 소자(22A, 22B)로부터, ISP(108A, 108B) 각각에 의해 화상 신호 처리가 실시된, 2개의 부분 화상을 입력으로서 수신한다. 고체 촬상 소자(22A 또는 22B)로부터의 화상을 구별하기 위하여 "0" 및 "1"의 번호를 붙이고, 고체 촬상 소자(22A)를 소스로 갖는 화상을 "부분 화상 0"이라고 하고, 고체 촬상 소자(22B)를 소스로 갖는 화상을 "부분 화상 1"이라고 칭한다. 또한, 왜곡 보정/화상 합성 블록(118)에는, 각각의 렌즈 광학계의 설계 데이터 등에 기초하여, 소정의 사영 모델에 따라서 제조자 등이 미리 작성한 위치 검출용 변환 테이블(220)이 제공된다.

위치 검출용 왜곡 보정 유닛(202)은 이음 위치 검출 처리의 선처리로서, 입력된 부분 화상 0 및 부분 화상 1에 대하여, 위치 검출용 변환 테이블(220)을 이용해 왜곡 보정을 실시하여, 위치 검출용 보정 화상(이하, 간단히 "보정 화상"이라고 함) 0 및 위치 검출용 보정 화상 1을 생성한다. 입력 부분 화상 0-1은 수광 영역이 면적 영역을 차지하는 2차원의 고체 촬상 소자에 의해 각각 촬상된 것으로서, 평면 좌표계(x, y)로 표현되는 화상 데이터이다. 한편, 위치 검출용 변환 테이블(220)을 이용하여 왜곡 보정이 실시된 보정 화상은 입력 화상과는 상이한 좌표계로 표현되는 화상 데이터로서, 보다 구체적으로는, 구면 좌표계(동경 벡터를 1로 하고, 2개의 편각 θ, φ을 갖는 극좌표계)로 표현되는 전체 천구 화상 포맷의 화상 데이터이다.

도 6은 어안 렌즈를 이용한 촬상 시스템에서의 사영 관계를 설명하는 도면이다. 본 실시형태에 있어서, 어안 렌즈로 촬상된 화상은, 촬상 지점으로부터의 반구의 방위를 포함한다. 또한, 하나의 어안 렌즈는, 도 6에 도시하는 바와 같이, 광축에 대한 입사 각도(φ)에 대응하는 상 높이(h)를 갖는 화상을 생성한다. 상 높이(h)와 입사 각도(φ) 간의 관계는 소정의 사영 모델에 따른 사영 함수에 의해 결정된다. 사영 함수가 어안 렌즈의 특성에 종속되지만, "등거리 사영 방식"이라고 불리는 사영 모델의 어안 렌즈의 경우, f가 초점 거리를 나타내는 이하의 식 (1)로 표현된다.

다른 사영 모델은 중심 사영 방식(h=f·tanφ), 입체 사영 방식(h=2f·tan(φ/2)), 등입체각 사영 방식(h=2f·sin(φ/2)), 및 정사영 방식(h=f·sinφ)을 포함한다. 이들 방식 중 어느 것에서도, 광축으로부터의 입사 각도(φ) 및 초점 거리(f)에 대응하여 결상의 상 높이(h)가 결정된다. 또한, 본 실시형태에 있어서, 화상 대각선보다 이미지 서클 직경이 작은, 소위 "원주 어안 렌즈"의 구성을 채용하여, 취득된 부분 화상은 도 6의 (B)에 도시하는 바와 같이, 촬상 범위의 대략 반구가 투영되는 이미지 서클을 전체적으로 포함하는 평면 화상이다.

도 7은 본 실시형태에 이용되는 전체 천구 화상 포맷의 화상 데이터의 데이터 구조를 설명하는 도면이다. 도 7에 도시한 바와 같이, 전체 천구 화상 포맷의 화상 데이터는, 소정의 축에 대한 각도에 대응하는 세로 각도(φ)와, 그 축 주위의 회전각에 대응하는 수평 각도(θ)를 좌표로 한 픽셀 어레이로 표현된다. 수평 각도(θ)는 0 내지 360°(또는 -180° 내지 +180)의 범위로 표현되고, 수직 각도(φ)는 0 내지 180°(또는 -90° 내지 +90°)의 범위로 표현된다. 각 쌍의 좌표값(θ, φ)은, 촬상 지점을 중심으로 한 전방향(omniazimuth)을 나타내는 구면 상의 점과 연관되며, 그 전방향은 전체 천구 화상 상에 매핑된다. 어안 렌즈에 의해 촬상된 화상의 평면 좌표와, 전체 천구 화상 포맷의 구면 상의 좌표 사이의 관계는 도 6에서 설명한 바와 같은 사영 함수를 이용하여 서로 연관될 수 있다.

도 8은 위치 검출용 왜곡 보정 유닛(202) 및 화상 합성용 왜곡 보정 유닛(210)이 참조하는 변환 데이터를 설명하는 도면이다. 각각의 변환 테이블(220, 224)은, 평면 좌표계로 표현되는 부분 화상으로부터, 구면 좌표계로 표현되는 화상에의 사영을 규정한다. 변환 테이블(220, 224)은, 도 8의 (A) 내지 도 8의 (B)에 도시하는 바와 같이, 각 어안 렌즈마다, 보정후 화상의 좌표값(θ, φ)을 그 좌표값(θ, φ)에 매핑되는 보정전의 부분 화상의 좌표값(x, y)과 연관시키는 정보를, 각 쌍의 좌표값(θ, φ)(θ=0, …, 360°, φ=0, …, 180°)에 대하여 유지한다. 도 8의 예에서는, 1 픽셀이 φ 방향 및 θ 방향의 양방향으로 1/10°의 각도를 담당한다. 따라서, 각 변환 테이블(220, 224)은 각 어안 렌즈에 관해서, 3600×1800 대응관계의 정보를 갖는다.

이음 위치 검출에 사용되는 위치 검출용 변환 테이블(220)은 사전에 제조자 등이 렌즈 설계 데이터 등에 기초하여, 도 6에서 설명한 렌즈의 사영 관계를 이용해, 방사 왜곡 및 편심 왜곡으로 인한 이상적인 렌즈 모델로부터의 왜곡을 보정하기 위해 계산되어 테이블 형식으로 작성된 것이다. 이에 비해, 화상 합성용 변환 테이블(224)은 상세한 것은 후술하겠지만, 위치 검출용 변환 테이블(220)로부터 소정의 변환 처리에 의해 생성되는 것이다. 본 실시형태에서는, 변환 데이터를, 좌표값의 대응 관계가 테이블 형태로 기술되는 데이터로 상정한다. 그러나, 다른 실시형태에서는, 변환 데이터로서, 평면 좌표계로 표현되는 부분 화상(x, y)으로부터 구면 좌표계로 표현되는 화상(θ, φ)에의 사영을 규정하는 하나 이상의 함수의 계수 데이터를 이용할 수도 있다.

다시 도 4를 참조하면, 위치 검출용 왜곡 보정 유닛(202)은, 위치 검출용 변환 테이블(220)을 참조하여, 부분 화상 0 및 부분 화상 1을 변환하고, 위치 검출용 보정 화상 0 및 위치 검출용 보정 화상 1을 생성한다. 보다 구체적으로, 위치 검출용 왜곡 보정 유닛(202)은 변환후의 보정 화상의 전체 좌표(θ, φ)에 관해서, 위치 검출용 변환 테이블(220)을 참조하여, 각 좌표(θ, φ)에 매핑되는 변환전의 부분 화상의 좌표(x, y)를 구하여, 그 좌표(x, y)의 부분 화상에서의 픽셀 값을 참조한다. 이런 식으로, 보정 화상이 생성된다.

도 9는 위치 검출 처리시에, 2개의 어안 렌즈에 의해 화상이 촬상되는 경우, 2개의 부분 화상의 구면 좌표계에의 매핑을 설명하는 도면이다. 위치 검출용 왜곡 보정 유닛(202)에 의한 처리의 결과로서, 어안 렌즈로 촬상된 2개의 부분 화상 0-1은, 도 9에 도시하는 바와 같이, 전체 천구 화상 포맷 상에 전개된다. 어안 렌즈 0에 의해 촬상된 부분 화상 0은 통상 전체 천구 중 대략 상반구에 매핑되고, 어안 렌즈 1에 의해 촬상된 부분 화상 1은 전체 천구 중 대략 하반구에 매핑된다. 전체 천구 포맷으로 표현된 보정 화상 0 및 보정 화상 1은 어안 렌즈의 전체 화각이 180°를 넘기 때문에, 각각의 반구로부터 비어져 나온다. 그 결과, 보정 화상 0 및 보정 화상 1을 중합시키면, 화상 간에 촬상 범위가 중복되는 중복 영역이 발생한다.

상세하게는 후술하겠지만, 위치 검출용 왜곡 보정 유닛(202)에 의한 보정 후에, 이음 위치 검출 유닛(204)에 의해, 중복 영역에서 화상 사이의 이음 위치가 검출된다. 본 실시형태에서의 위치 검출용 변환 테이블(220)은 도 9에 도시하는 바와 같이, 2개의 렌즈 광학계의 광축을 구면의 2개의 극(φ= 0°, 180°)에 투영하고, 화상 사이의 중복 영역을 구면의 적도 근방(φ= 90°±((전체 화각-180°)/2))에 투영하도록 작성된다. 구면 좌표계에서는, 수직 각도(φ)가 0° 또는 180°에서의 극에 근접할수록 왜곡이 커져 이음 위치 검출 정밀도가 열화된다. 한편, 전술한 사영을 이용함으로써, θ 방향으로 이동할 경우의 왜곡량이 작은 수직 각도 90° 부근에, 중복 영역을 위치시켜서 이음 위치 검출을 행하여, 이음 위치 검출 정밀도를 향상시킬 수 있다. 또한, 왜곡이 큰 렌즈 광학계로 촬상된 화상의 경우에도, 고정밀도로 이음 위치를 검출할 수 있다.

다시 도 4를 참조하면, 이음 위치 검출 유닛(204)은 위치 검출용 왜곡 보정 유닛(202)에 의해 변환된 보정 화상 0, 1을 입력으로서 수신하고, 패턴 매칭 처리를 이용해, 입력 보정 화상 0, 1 사이의 이음 위치를 검출하여, 검출 결과 데이터(222)를 생성한다.

패턴 매칭을 수행할 때에, 통상, 매칭되는 영역이 평탄 화상을 갖거나, 적은 특징으로 동일한 패턴이 반복되는 영역이면, 고정밀도로 이음 위치를 검출하는 것이 어렵다. 그래서, 본 실시형태에 따른 이음 위치 검출 유닛(204)은 매칭되는 영역의 화상이 갖는 특징의 정도를 나타내는 특징량을 측정하고, 이 측정된 특징량을 이용하여, 대상 영역의 이음 위치를 결정하는 구성을 채택한다. 이것은 얻어지는 전체 천구 화상의 품질 향상을 도모한다.

도 10은 도 4에 도시한 본 실시형태에 따른 이음 위치 검출 유닛(204)의 기능 블록도이다. 상세하게는, 도 10에 도시하는 이음 위치 검출 유닛(204)은 템플릿 생성 유닛(232), 템플릿 특징량 산출 유닛(234), 템플릿 순서화 유닛(236), 임시 위치 산출 유닛(238), 탐색 범위 설정 유닛(240), 매칭 계산 유닛(242), 스코어 보정 유닛(244), 이음 위치 결정 유닛(246), 및 검출 결과 생성 유닛(248)을 포함하여 구성된다. 이하, 템플릿 매칭에 의한 이음 위치 검출 처리에 관해서 설명하지만, 설명의 편의상, 위치 검출용 보정 화상 1이 템플릿용 화상이고, 위치 검출용 보정 화상 0이 탐색용 화상인 것으로 상정한다.

템플릿 생성 유닛(232)은 템플릿 매칭에 있어서의 템플릿용 화상으로서 위치 검출용 보정 화상 1을 이용하여, 위치 검출용 보정 화상 1로부터, 탐색용 화상 내에서 탐색되는 복수의 화상(이하, 템플릿 화상이라고 함)을 생성한다. 템플릿 매칭에 의한 이음 위치 검출 처리에 있어서, 위치 검출용 보정 화상 1의 부분인 템플릿 화상의 각각에 대하여, 위치 검출용 보정 화상 0에서의 이음 위치가 구해진다. 여기서는 보정 화상 0, 1 사이의 중복 영역에서의 이음 위치를 목적으로 하고 있다. 따라서, 위치 검출용 보정 화상의 중복 영역으로부터 복수의 템플릿 화상이 생성된다.

템플릿 특징량 산출 유닛(234)은 템플릿 생성 유닛(232)에 의해 생성된 복수의 템플릿 화상 각각에 대하여 특징량을 산출한다. 여기서, 특징량이란, 템플릿 화상이 갖는 특징의 정도를 정량적으로 나타내는 값이다. 본 실시형태에 있어서, 특징량이 많다는 것은, 화상에 특징이 많다는 것을 의미하는 반면, 특징량이 적다는 것은, 화상에 특징이 적어 무개성인 것을 의미한다. 특징량으로서는, 템플릿 화상으로부터 추출되는 엣지량, 템플릿 화상으로부터 산출되는 분산 및 표준 편차 중 하나가 이용될 수 있지만, 이들에 특히 한정되지는 않는다.

도 11은 특정 실시형태에 따른 템플릿 특징량 산출 유닛의 블록도를 포함한다. 도 11의 (A) 내지 (C)는 엣지량을 지표로 이용하는 일 실시형태에 따른 템플릿 특징량 산출 유닛(234A)의 구성을 도시한다. 한편, 도 11의 (D)는 표준 편차 또는 분산을 지표로 이용하는 일 실시형태에 따른 템플릿 특징량 산출 유닛(234B)의 구성을 도시한다.

템플릿 화상의 특징량으로서 엣지량을 이용하는 경우, 도 11의 (A)에 도시하는 바와 같은 엣지 강조를 수행하는데 엣지 강조 블록을 이용할 수 있다. 도 11의 (A)에 도시하는 엣지 강조 블록은 엣지 검출 필터 유닛(250)과, 게인 승산 유닛(252)과, LPF(Low-Pass Filter) 유닛(254)을 포함하여 구성된다. 엣지 강조 블록에서는, 엣지 검출 필터 유닛(250)에서 추출된 엣지량이 게인 승산 유닛(252)에서 게인과 곱해져, 엣지량이 조정된 신호가 생성된다. 그리고, 조정된 신호와, LPF 유닛(254)에서 입력 신호에 LPF 처리를 실시하여 노이즈 제거된 신호를 가산기(256)에서 더하여 얻어진 신호가 엣지 강조된 신호로서 출력된다.

본 실시형태에서는, 엣지만 추출되면 된다. 이 때문에, 예컨대 도 11의 (C)에 도시하는 LPF 계수를 이용하여, LPF 처리가 실시된 후의 신호를 제로로 설정하고, 도 11의 (B)에 도시하는 엣지 검출 필터링 계수를 이용하여 엣지 검출 필터 유닛(250)에서 추출된 엣지량이 출력될 수 있다. 도 11의 (A)에 도시하는 엣지 강조 블록에 템플릿 화상을 입력함으로써, 각 픽셀의 엣지량이 출력된다. 템플릿 화상의 특징량으로서는, 템플릿의 전체 픽셀의 엣지량의 합계를 이용할 수도 있고, 또는 엣지량의 평균을 이용할 수도 있다. 템플릿 화상의 엣지 합계량이 크다는 것은, 화상에 휘도가 불연속으로 변하는 개소가 많이 포함되는 것을 의미한다. 따라서, 평탄한 화상은 통상 엣지량이 작고, 특징량이 적다.

템플릿 화상의 특징량으로서 표준 편차(또는 분산)를 이용하는 경우는, 도 11의 (D)에 도시하는 구성을 이용할 수 있다. 도 11의 (D)에 도시하는 표준 편차(또는 분산) 계산 유닛(258)은 템플릿 화상의 표준 편차 σ(또는 분산 σ²)를 이하의 식 (2)에 의해 구하는데, 이 식에서는, N(= W 픽셀×H 픽셀)이 템플릿 화상 내의 총 픽셀수이고, T(i, j)가 템플릿 화상의 좌표(i, j)에서의 휘도이다. 템플릿 화상의 표준 편차(또는 분산)가 크다는 것은 히스토그램에 있어서 휘도의 분포가 넓은 것을 의미한다. 따라서, 평탄한 화상은 통상 화상의 휘도의 분포가 좁고, 특징량이 적다.

이상의 예에서는 템플릿 화상의 특징량으로서, 표준 편차 또는 분산을 이용하지만, 템플릿 화상으로부터 얻어지는 농도 히스토그램의 첨도(kurtosis)(평균값 주위에서의 히스토그램의 분포의 집중도를 표시), 왜곡도(히스토그램의 형태가 대칭 형태로부터 왜곡되고 있는 정도를 표시) 등의 농도 히스토그램에 기초하는 지표, 차분 통계량에 기초하는 콘트라스트 등의 다른 통계적인 지표를 비롯한 기타 지표들도 템플릿 화상을 특징화하는데 이용되도록 계산될 수 있음을 알아야 한다. 상기 설명에서는, 휘도를 이용하여 특징량을 계산하지만, RGB의 각 색상마다 특징량을 계산하여, 그 합을 템플릿 화상의 특징량으로서 계산하는데 이용할 수도 있다. 엣지량, 표준 편차, 및 분산도 대상 화상으로부터 적은 연산 비용으로 그리고 양호한 검출 결과로 간단히 산출될 수 있기 때문에, 특징량으로서 이용되기에 바람직하다. 그러나, 이들에 한정되는 것이 아니라, 화상이 갖는 특징의 정도를 나타낸다면 어떤 지표도 이용할 수 있다.

다시 도 10을 참조하면, 템플릿 순서화 유닛(236)은 템플릿 특징량 산출 유닛(234)에서 산출된 특징량에 기초하여, 복수의 템플릿 화상의 처리 순서를 결정하여, 템플릿 화상들 사이의 특징량의 상대적인 관계를 규정한다.

임시 위치 산출 유닛(238)은 생성된 복수의 템플릿 화상 중에서 주목하는 템플릿 화상을 선택하여, 후술하는 바와 같이 템플릿 매칭 처리의 기준으로서 이용되는 주목 템플릿 화상의 임시 위치를 산출한다. 여기서, 주목 템플릿 화상과, 그 위치 검출용 보정 화상 1의 주변에 있는 각각의 주변 템플릿 화상 사이의 특징량의 상대적인 관계에 기초하여 임시 위치가 산출된다.

템플릿 매칭은 탐색용 화상 내에서 탐색되는 템플릿 화상 중 하나를 탐색하는 처리이다. 템플릿 화상에 대응할 수 있는 영역이 어느 정도 식별된다면, 그 탐색용 화상 내의 탐색 범위가 제한될 수 있다. 탐색 범위 설정 유닛(240)은 주목 템플릿 화상과 각각의 주변 템플릿 화상 사이의 특징량의 상대적인 관계에 기초하여, 템플릿 매칭에 대한 탐색 범위를 설정한다. 통상, 임시 위치 산출 유닛(238)에 의해 산출된 임시 위치 주변에서, 위치 검출용 화상 0 내에서 소정의 탐색 범위가 설정된다. 또한, 다른 주변 템플릿 화상에 관해 이미 결정된 이음 위치에 기초하여, 탐색 범위가 더욱 좁혀질 수 있다.

매칭 계산 유닛(242)은 주목 템플릿 화상에 관해서, 통상 템플릿 매칭 방식을 이용해서 산출된 임시 위치에 기초하여, 주목 템플릿 화상과, 위치 검출용 보정 화상 내의 부분들과의 매칭을 계산한다. 매칭 계산시에, 탐색 범위 설정 유닛(240)에 의해 설정된 임시 위치를 중심으로 한 탐색 범위에서, 템플릿 화상을 이동시키면서, 각 위치에서의 화상의 유사도에 기초한 평가값인 매칭 스코어가 계산된다.

주목 템플릿 화상에 관해서, 스코어 보정 유닛(244)은 매칭 계산 유닛(242)에 의해 산출된 화상의 유사도에 기초한 스코어에 대하여, 산출된 임시 위치 주변의 스코어를 우선순위화하도록 오프셋 보정을 행한다. 이런 식으로, 스코어는 템플릿 화상들 사이의 특징량의 상대적인 관계에 기초하여 산출된 임시 위치를 고려하여 계산된다.

이음 위치 결정 유닛(246)은 주목 템플릿 화상에 대하여, 위치 검출용 보정 화상 0 내에서의 보정된 스코어가 최대화되는 위치에 이음 위치를 결정한다. 여기서 결정되는 이음 위치는 주목 템플릿 화상보다 특징량이 더 많은 주변 템플릿 화상의 이음 위치의 영향을 받는다.

임시 위치 산출 유닛(238), 탐색 범위 설정 유닛(240), 매칭 계산 유닛(242), 스코어 보정 유닛(244), 및 이음 위치 결정 유닛(246)에 의한 처리가 복수의 템플릿 화상에 대해 실행될 경우, 템플릿 화상 각각에 대응하는 위치 검출용 보정 화상 0 내에서의 이음 위치가 구해진다. 검출 결과 생성 유닛(248)은 구해진 템플릿 화상에 대응하는 이음 위치의 데이터 세트에 기초해서, 전체 천구 포맷의 픽셀(θ, φ)의 이음 위치를 계산하여, 검출 결과 데이터(222)를 생성한다.

다시 도 4를 참조하면, 테이블 수정 유닛(206)은 검출 결과 데이터(222)에 기초하여, 사전 준비된 위치 검출용 변환 테이블(220)에 대하여 수정을 실시하고 그것을 테이블 생성 유닛(208)에 전송한다. 테이블 생성 유닛(208)은 테이블 수정 유닛(206)에 의해 수정된 변환 데이터로부터, 회전 좌표 변환에 기초하여, 화상 합성용 변환 테이블(224)을 생성한다.

화상 합성용 왜곡 보정 유닛(210)은 화상 합성 처리의 선처리로서, 원래의 부분 화상 0 및 부분 화상 1에 대하여, 화상 합성용 변환 테이블(224)을 이용해서 왜곡 보정을 실시하고, 화상 합성용 보정 화상 0 및 화상 합성용 보정 화상 1을 생성한다. 생성되는 화상 합성용 보정 화상은, 위치 검출용 보정 화상과 마찬가지로, 구면 좌표계로 표현된다. 한편, 좌표축은 회전 좌표 변환에 의해, 위치 검출용 보정 화상과는 상이하게 정의된다. 화상 합성 유닛(212)은 구해진 화상 합성용 보정 화상 0 및 화상 합성용 보정 화상 1을 합성하여, 전체 천구 화상 포맷의 합성 화상을 생성한다. 이음 위치 검출 유닛(204), 테이블 수정 유닛(206), 테이블 생성 유닛(208), 화상 합성용 왜곡 보정 유닛(210), 및 화상 합성 유닛(212)에 의해 실행되는 처리에 대해서는, 처리 흐름의 설명과 함께 자세하게 후술한다.

도 4에 도시하는 기능 블록(200)은 표시 화상 생성 유닛(214)을 더 포함할 수 있다. 생성된 합성 화상은 전체 천구 화상 포맷으로 표현된다. 그렇기 때문에, 그대로 LCD 디스플레이 등의 평면 표시 장치에 표시되면, 수직 각도 0° 또는 180°에 근접할 때에 화상이 더욱 왜곡되어 표시되게 된다. 표시 화상 생성 유닛(214)은 전체 천구 화상을 평면 표시 장치에 투영하기 위한 화상 처리를 실행하는 유닛이다. 표시 화상 생성 유닛(214)은 예컨대, 전체 천구 화상 포맷의 합성 화상에 대해, 구면 좌표계로부터 특정 방향 및 특정 화각을 갖는 평면 좌표계로 변환하여, 사용자가 지정하는 일정한 화각을 갖는 특정 시야 방향의 화상으로서 투영하는 처리를 실행할 수 있다.

[전체 천구 화상 합성 처리의 흐름]

이하, 도 5, 도 12, 및 도 20을 참조하여, 본 실시형태에 따른 전체 천구 화상 합성 처리의 흐름을 설명한다. 도 5는 본 실시형태에 따른 촬상 시스템(10)에 의해 실행되는 전체 천구 화상 합성 처리의 전체적인 흐름도이다. 도 5에 도시하는 처리는, 예컨대 셔터 버튼(18)이 눌러져 2개의 촬상 광학계에 의한 촬상이 지시될 때에, CPU(130)에서 발행된 커맨드에 응답하여 단계 S200에서 시작된다.

단계 S201에서, 촬상 시스템(10)은 위치 검출용 왜곡 보정 유닛(202)으로 하여금, 2개의 고체 촬상 소자(22A, 22B)에 의해서 취득된 부분 화상 0 및 부분 화상 1에 대하여, 위치 검출용 변환 테이블(220)을 이용하여 왜곡 보정을 실시하게 한다. 이에, 위치 검출용 보정 화상 0 및 위치 검출용 보정 화상 1이 취득된다. 즉, 도 9에 도시하는 전체 천구 화상 포맷의 보정 화상이 취득된다. 단계 S202에서, 촬상 시스템(10)은 이음 위치 검출 유닛(204)으로 하여금, 위치 검출용 보정 화상 0 및 위치 검출용 보정 화상 1의 중복 영역에서 화상들 사이의 이음 위치 검출을 실행하게 한다.

도 12는 본 실시형태에 따른 촬상 시스템(10)에 의해 실행되는 이음 위치 검출 처리의 흐름도이다. 도 12에 도시하는 처리는 도 5에 도시한 단계 S202에서 호출되고, 단계 S300에서 시작된다. 단계 S301에서, 촬상 시스템(10)은 템플릿용 화상에 대한, 탐색되는 탐색용 화상, 템플릿의 블록 사이즈, 템플릿의 생성 개시 좌표, 생성 간격, 및 전체 블록수의 초기 설정을 실행한다.

도 13은 본 실시형태에 따른 템플릿 생성 유닛(232)에 의한 템플릿 화상의 생성 방법을 설명하는 도면이다. 본 실시형태에 있어서, 템플릿용 화상(300)은 위치 검출용 보정 화상 1의 중복 영역의 부분의 화상이며, 탐색용 화상(310)은 위치 검출용 보정 화상 0의 중복 영역의 부분의 화상이다. 블록 사이즈는 템플릿 화상을 구성하는 픽셀수이며, 생성 간격은 인접한 템플릿 화상이 생성되는 간격이다. 생성 개시 좌표는 최초 템플릿 화상이 추출되는 좌표이다. 블록 사이즈 및 생성 간격은, 서로 연결시키는 화상에 대한 원하는 정밀도 및 처리량을 고려해서 결정될 수 있음을 알아야 한다.

블록 사이즈가 W 픽셀×H 픽셀이고, 생성 개시 좌표가 (sx, sy)이며, 생성 간격이 "step" 픽셀이라면, 도 13에 도시하는 바와 같이 복수의 템플릿 화상(302-1 내지 302-#)이 생성된다. 생성되는 템플릿의 블록수(#)는 템플릿 생성용 화상(300)의 수평 방향 사이즈(본 실시형태에서는 전체 천구 포맷의 폭 = 3600 픽셀)를 생성 간격 "step"으로 나누어 얻어진 정수값이다.

여기서 생성되는 복수의 템플릿 화상(302-1 내지 302-#)에 대하여, 탐색용 화상(310) 내의 대응 부분(314)이 소정의 탐색 범위(312) 내에서 탐색된다. 전체 천구 화상 포맷의 θ 좌표의 양단(0° 및 360°)이 서로 연결되는 것임을 알아야 한다. 그렇기 때문에, 템플릿 화상의 생성 및 템플릿 매칭 실행시에, 우측단을 넘는 부분은 좌측단으로서 취급되고, 좌측단을 넘는 부분은 우측단으로서 취급될 수 있다.

도 12를 참조하면, 단계 S302에서, 현재의 좌표(sx, sy)에 기초하여 템플릿 화상이 생성된다. 제1회 루프에서는, 단계 S301에서 초기 설정된 생성 개시 좌표(sx, sy)에서 (W 픽셀×H 픽셀)의 블록 사이즈를 갖는 영역이 추출되어 템플릿 화상이 생성된다. 제1 템플릿 화상이 생성된 후에는, 제2회 루프 이후의 템플릿 생성을 위해 좌표가 (sx+step, sy)로 갱신되고, 마찬가지로, 갱신된 좌표에서의 블록 사이즈를 갖는 영역이 지정되어, 다음 템플릿 화상이 생성된다. 템플릿 화상이 생성되면, 생성된 템플릿 화상에 대하여, 도 13에 모식적으로 도시하는 바와 같은 템플릿 번호(이하, 간단히 "번호"라고 함)가 부여된다. 한정되는 것은 아니지만, 본 실시형태에서는 템플릿 화상이 중복 영역에서 θ 방향으로 1열마다, 1주분 생성되는 것으로 한다.

단계 S303에서, 촬상 시스템(10)은 단계 S302에서 생성된 템플릿 화상으로부터 특징량을 산출한다. 단계 S304에서, 촬상 시스템(10)은 생성되는 전체 블록이 최리되었는지의 여부를 판정한다. 단계 S304에서, 생성되는 전체 블록이 처리되지 않았다고 판정되면(NO), 처리는 단계 S302로 다시 루핑되어, 다음 템플릿 화상을 생성하고 그것의 특징량을 산출한다. 한편, 단계 S304에서, 생성되는 전체 블록이 처리되었다고 판정되면(YES), 처리는 단계 S305로 분기된다.

단계 S305에서, 촬상 시스템(10)은 전체 템플릿 화상의 처리 순서를 특징량의 내림차순으로 결정한다. 이에 따라, 단계 S306 이후의 처리 순서가 규정된다. 도 14의 (A)는 본 실시형태에 따른 템플릿 화상의 순서화를 설명하는 도면이다. 도 14의 (A)에 도시하는 바와 같이, 각 번호의 템플릿 화상에 대하여, 특징량의 내림차순으로 템플릿 순서가 주어진다. 도 12에 도시하는 단계 S306 내지 단계 S311의 처리는 단계 S305에서 결정된 순서에 기초한 템플릿 화상에 대해, 순위가 가장 높은 템플릿 화상부터 시작하여, 실행된다.

도 12를 참조하면, 단계 S306에서, 촬상 시스템(10)은 처리 대상인 주목 템플릿 화상에 대하여, 임시 위치를 산출한다. 도 14의 (B)는 본 실시형태에 따른 임시 위치 산출 유닛(238)에 의해 실행되는, 순서화에 기초한 템플릿 화상의 임시 위치의 제1 산출 방법을 설명하는 도면이다. 제1 산출 방법에서는, 먼저 주목 템플릿 화상의 주변에 위치하는 주변 템플릿 화상에 대하여 설정되어 있는 이음 위치가 취득된다.

본 실시형태에서는, 템플릿 화상이 중복 영역에서 θ 방향으로 1열마다 생성되며, 좌측부터 순서대로 템플릿 번호가 부여되기 때문에, 번호로 인접 관계가 구별될 수 있다. 도 14의 (B)에 도시하는 예에서는, 주목 템플릿 화상(도면에서는 번호 3이 부여된 것)의 전후에 위치하는 템플릿 화상(도면에서는 번호 2와 번호 4가 부여된 것)의 이음 위치가 취득된다. 템플릿 화상 각각에는, 도 12의 단계 S305에서 템플릿 순서가 부여되고, 도 12의 단계 S306 내지 단계 S311의 이음 위치를 검출하는 처리는 순위가 가장 높은 템플릿부터 시작하여 실행된다. 이 때문에, 주목 템플릿 화상보다도 특징량이 많고, 순위가 더 높은 템플릿 화상에 대해서는, 이미 이음 위치가 결정되었다.

따라서, 도 14의 (B)의 예에서는, 주목 템플릿 화상(번호 3)이 제3 순위를 갖기 때문에, 제1 및 제2 템플릿 순위의 템플릿 화상(번호 4 및 번호 1이 부여된 것)의 이음 위치가 이미 결정되었다. 한편, 도 14의 (B)에서 반전표시되어 있는 제4 내지 제6 템플릿 화상(번호 2, 번호 5 및 번호 6이 부여된 것)에 대해서는 이음 위치가 결정되지 않았으며, 초기 이음 위치(0, 0)이 설정되는 것을 알아야 한다. 주목 템플릿 화상(번호 3)의 이음 위치도 현시점에서는 초기이음 위치(0, 0)으로 설정되는 것을 알아야 한다. 이음 위치는 보정 화상 1의 중복 영역 내의 템플릿 화상의 좌표와, 보정 화상 0의 중복 영역 내의 대응하는 영역의 좌표 사이의 변이량을 나타낸다. 이음 위치(0, 0)는 템플릿 화상이 보정 화상 1 내의 좌표 위치 그대로 이어지는 것을 의미한다.

따라서, 도 14의 (B)의 예에서는, 주변 템플릿 화상의 이음 위치로서, 주목 템플릿 화상(도면에서는 번호 3)의 우측의 템플릿 화상(도면에서는 번호 4)의 결정된 이음 위치와, 좌측의 템플릿 화상(도면에서는 번호 2)의 초기 이음 위치가 취득된다.

다음으로, 취득된 주변 템플릿 화상의 이음 위치를 평균 처리하여, 그 평균값을 주목 템플릿의 임시 위치로 설정할 수 있다. 이 때, 평균값으로 단순한 산술 평균이 계산될 수 있다. 바람직하게는, 결정된 이음 위치와, 미결정 이음 위치(초기 이음 위치)에 각각 다른 가중치를 부여하여, 가중 평균이 계산될 수 있다. 구체적으로, 결정된 이음 위치의 가중치가 더 큰 영향을 갖도록 더 크게 설절될 수 있다.

주목 템플릿 화상(번호 i)의 임시 위치(tx_i, ty_i)는 이하의 식 (3)에 의해 계산될 수 있다. 이하의 식 (3)에서, (x_i-1, y_i-1)은 좌측의 템플릿 화상(번호 i-1)의 이음 위치를 나타내며, w_-는 그것의 가중치를 나타내고, (x_i+1, y_{i + 1})은 우측의 템플릿 화상(i+1)의 이음 위치를 나타내며, w₊는 그것의 가중치를 나타낸다. w_- 및 w₊ 은 인접한 템플릿 화상의 이음 위치가 미결정인지 결정된 것인지의 여부를 나타내는 가중치이다.

도 14의 (B)의 예에 있어서, 예컨대, 가중 계수 w_H가 "0.7"이고, 결정되지 않은 가중 계수 w_L이 "0.3"이며, 결정된 템플릿 번호 4의 이음 위치가 (2, -2)이고, 결정되지 않은 템플릿 번호 2의 이음 위치가 초기값(0, 0)이라고 하면, 식 (3)에 의해 주목 템플릿 화상(번호 3)의 임시 위치는 (1.4, -1.4)이 된다.

도 14의 (C)는 본 실시형태에 따른 임시 위치 산출 유닛(238)에 의해 실행되는, 순서화에 기초한 템플릿 화상의 임시 위치의 제2 산출 방법을 설명하는 도면이다. 도 14의 (C)에 도시하는 제2 산출 방법에 있어서, 먼저 주목 템플릿 화상의 각 주변 템플릿 화상에 대해, 주목 템플릿 화상과의 거리 및 설정되어 있는 이음 위치가 취득된다. 이음 위치가 결정되지 않은 것들에 대해서는, 전술한 바와 같이 초기 이음 위치(0, 0)가 취득된다. 템플릿 화상들 사이의 거리는 간단히 블록수 단위로 측정될 수 있다. 도 14의 (C)에서는, 예컨대, 주목 템플릿이 템플릿 번호 3을 갖는다. 이에, 번호 2및 번호 4의 템플릿 화상에 대해서는 거리 1을, 번호 1 및 번호 5의 템플릿 화상에 대해서는 거리 2를, 번호 6의 템플릿 화상에 대해서는 거리 3을 갖는다.

다음으로, 취득된 주변 템플릿 화상의 이음 위치는 거리를 가중치로서 이용하여 평균 처리되어, 그 평균치가 주목 템플릿 화상의 임시 위치로서 설정된다. 거리에 기초한 가중화에서는, 거리가 가까울수록 더 큰 값을 갖는 함수를 이용할 수도 있다. 예컨대, 거리의 역수(1/거리)를 가중치로서 이용할 수도 있다.

주목 템플릿 화상(번호 i)의 임시 위치를 (tx_i, ty_i)로, 템플릿 화상(번호 j=1 내지 N)의 이음 위치를 (x_j, y_j), 거리를 D_ij라고 하면, 이하의 식 (4)에 의해, 임시 위치(t_xi, t_yi)를 계산할 수 있다. 도 14의 (C)에 도시하는 제2 산출 방법에 따르면, 바로 인접한 것 이외의 템플릿 화상의 이음 위치도 고려한다. 이에, 주변 화상과의 연속성을 보다 양호하게 유지할 수 있다. 또, 주목 템플릿 화상의 모든 주변 템플릿 화상에 대해 거리 및 이음 위치를 취득하는 것으로 했지만, 소정 거리 이상을 갖는 템플릿 화상은 배제될 수도 있음을 알아야 한다.

상기 설명에서는, 인접 템플릿 화상의 이음 위치가 결정되었는지 미결정인지의 여부를 나타내거나 또는 템플릿 화상들 사이의 거리를 나타내기 위해 가중치가 이용된다. 그러나, 계산 방법은 전술한 것들에 한정되지 않으며, 이들은 예시일 뿐이다. 다른 실시형태는 인접 템플릿 화상의 이음 위치가 결정되었는지 또는 결정되지 않았는지의 여부와 템플릿 화상들 사이의 거리에 따라 가중화를 실행할 수도 있다.

다시 도 12를 참조하면, 단계 S307에서, 촬상 시스템(10)은 템플릿 매칭이 실행되어야 하는 탐색 영역의 탐색 범위를 설정한다. 도 15는 본 실시형태에 따른 탐색 범위 설정 유닛(240)에 의해 실행되는 탐색 범위의 설정 방법을 설명하는 도면이다. 템플릿 매칭은 탐색용 화상 내에서 주목 템플릿 화상에 관해 소정 사이즈를 갖는 탐색 영역을 추출한다. 탐색용 화상인 위치 검출용 화상 0과, 템플릿용 화상인 위치 검출용 화상 1은 사전 정의된 위치 검출용 변환 테이블에 의해서 생성되었기 때문에, 소정 레벨의 정밀도로 중합된다. 이에, 템플릿 화상에 대응하는 부분은 보정 화상 0 내의 대응 좌표의 근방에서 발견되는 것으로 예측되고, 이 좌표를 기준으로 이용하여 탐색 영역이 추출된다. 탐색 범위는 템플릿 매칭이 실행되는 범위이다. 탐색 범위의 화상과의 매칭은 템플릿 화상의 위치를 탐색 범위 내에서 종횡으로 이동시킴으로써 실행된다. 이에, 탐색 범위가 클수록 처리 시간이 길어진다.

도 15의 (A)는 통상의 탐색 범위 설정 방법을 설명하며, 이 방법에서는 초기 위치(○(332): 템플릿 화상의 좌표와 일치)를 중심으로 한 탐색 영역(330)을 그대로 탐색 범위(360A)로 한다. 이 경우, 탐색 영역(330)이 탐색 범위(360A)와 같고, 탐색 영역(330)에 대해 전부 매칭 계산이 실행되어야 한다.

이에 비해, 도 15의 (B)는 산출된 임시 위치에 기초하여 탐색 범위를 설정하는 방법을 설명한다. 통상, 결정된 임시 위치(도면에 ●으로 표시)(334)는 특징이 있는 템플릿의 영향 때문에 초기 위치(도면에 ○으로 표시)(332)로부터 이동한다. 이에, 탐색 영역은 임시 위치(334)(●)를 중심으로 하여 이동하여(350), 원래의 탐색 영역(330)과 중복되는 영역을 탐색 범위(360B)로 설정함으로써, 탐색 범위를 좁히고, 처리 시간을 단축할 수 있다.

도 15의 (C)는 인접한 템플릿 화상의 결정된 이음 위치에 기초하여 탐색 범위를 설정하는 방법을 설명한다. 도 15의 (B)에 도시하는 방법과 마찬가지로, 탐색 영역을 결정된 임시 위치(●)를 중심으로 하여 이동시켜(350), 원래의 탐색 영역(330)과 중복된 영역을 구한다. 다음으로, 인접한 템플릿 화상의 결정된 이음 위치를 참조하여, 더욱 좁혀진 탐색 범위(360C)가 결정된다. 예컨대, 양측에서의 인접 템플릿 화상의 이음 위치가 결정되면, 주목 템플릿의 이음 위치는 그들 사이의 범위 내에 있을 수 있다. 따라서, 도 15의 (C)와 같이 양측에서의 템플릿 화상의 수직 방향의 이음 위치(336U, 336L)를 이용해서, 수직 방향으로 탐색 범위를 제한하여, 처리 시간이 더욱 단축된다.

다시 도 12를 참조하면, 단계 S308에서, 촬상 시스템(10)은, 단계 S307에서 설정된 탐색 범위 내에서, 템플릿 화상을 세로 방향 및 가로 방향으로 이동시킴으로써 매칭을 계산하여, 유사도 스코어를 구한다.

이하, 도 16을 참조하여, 템플릿 매칭의 일례로서, 제로 평균 정규화상호 상관(Zero-mean Normalized Cross-Correlation)법에 관해서 설명한다. 도 16은 템플릿 화상을 설명하는 도면 (A)와, 패턴 매칭에 의해 탐색 범위에서 템플릿 화상을 탐색하는 처리를 설명하는 도면 (B)를 포함한다. 여기서, N은 템플릿의 총 픽셀수를 나타내고(=W 픽셀×H 픽셀), (kx, ky)는 탐색 범위 내의 탐색 위치를 나타낸다. 탐색 위치(kx, ky)를 기준 좌표(0, 0)으로 설정한 경우에 좌표(i, j)에서의 템플릿 화상의 휘도를 T(i, j)으로 표시하고, 탐색용 화상의 휘도를 S(kx+i, ky+j)으로 표시하면, ZNCC법에 의한 매칭 스코어 M(kx, ky)는 이하의 식 (5)에 의해 구해질 수 있다. 도 16에서는, 탐색 위치(kx, ky)를 템플릿 화상의 상좌측에 설정하고 있지만, 좌표는 특히 한정되지 않고, 템플릿 화상의 중심에 설정될 수도 있음을 알아야 한다.

스코어 M(kx, ky)가 1이면, 완전 매칭이고, 스코어가 -1이면, 네거티브-포지티브 반전이다. 스코어 M(kx, ky)이 높은 것은, 템플릿 화상과의 유사도가 높은 것을 나타낸다. 도 16의 (B)에 도시하는 바와 같이, 탐색 범위 내에서 템플릿 화상을 종횡으로 이동시킴으로써, 템플릿 매칭이 실행되고, 각 탐색 위치에서의 매칭 스코어 M(kx, ky)가 산출된다.

전술한 ZNCC법은 화상의 게인의 변동을 흡수할 수 있고, 화상의 평균 휘도의 변동을 흡수할 수 있다는 것을 알아야 한다. 이러한 점에서는 ZNCC법이 바람직하겠지만, 스코어 M(kx, ky)의 산출 방법이 ZNCC법에 한정되지는 않는다. 다른 실시형태에서는 SSD(Sum of Squared Difference)법, SAD((Sum of Absolute Difference)법, ZSSD(Zero-mean Sum of Squared Difference)법, ZSAD(Zero-mean Sum of Absolute Difference)법, NCC(Normalized Cross-Correlation)법 등을 채택할 수도 있다.

다시 도 12를 참조하면, 단계 S309에서, 촬상 시스템(10)은 단계 S308에서 계산된 각 위치에서의 유사도에 기초해서 매칭 스코어 M(kx, ky)에 대해 오프셋 보정을 실시하여, 보정된 최종적인 스코어를 계산한다. 단계 S310에서, 촬상 시스템(10)은, 단계 S309에서 계산된 각 위치에서의 보정된 스코어에 기초하여, 주목 템플릿 화상에 대한 이음 위치를 결정한다.

도 17의 (A)는 탐색 위치(kx, ky)에 대하여, 매칭 스코어에 대한 오프셋 함수를 플롯팅한 그래프를 도시한다. 단계 S309에서, 매칭 스코어 M(kx, ky)에 대하여, 도 17의 (A)에 도시하는 바와 같이 오프셋 함수(kx, ky)에 의해 임시 위치와의 거리에 따른 오프셋값을 가산한다. 도 17의 (A)에 도시하는 오프셋 함수는, 임시 위치에서 오프셋값이 최대이고 임시 위치와의 거리가 멀수록 단조 감소하는 함수이다. 오프셋 함수는 매칭 스코어 M의 가능한 값의 범위에 기초하여 정의될 수 있다. 도 17의 (B)와 도 17의 (C)는 보정전 스코어에 기초한 매칭 위치 및 보정후 스코어에 기초한 매칭 위치와 함께, 탐색 위치를 플롯팅한 보정전 및 보정후 스코어의 그래프를 도시한다. 도 17의 (B)는 특징량이 많은 템플릿 화상의 예를 도시하는 반면, 도 17의 (C)는 특징량이 적은 템플릿 화상의 예를 도시하고 있다.

도 17의 (B)에 도시하는 바와 같이, 오프셋 보정에 의해, 최종적인 매칭 스코어가 임시 위치를 중심으로 하여 상승한다. 그러나, 템플릿 화상의 특징량이 많은 경우는, 위치의 변화로 인해 유사도가 크게 변동하기 때문에, 유사도에 의한 매칭 스코어에 강하게 영향을 미친다. 이 때문에, 오프셋 보정에 관계없이, 유사도에 기초한 매칭 스코어가 최대가 되는 위치가 대체로 매칭 위치로서 결정된다. 즉, 유사도의 매칭 스코어의 피크로서 명확하게 유지될 정도로 특징량이 크면, 유사도가 우세적으로 이음 위치를 결정한다.

한편, 도 17의 (C)에 도시하는 바와 같이, 템플릿 화상의 특징량이 적은 경우는, 통상의 매칭 스코어는 명확한 피크가 없고, 유사도에 기초하는 매칭 스코어보다도, 임시 위치와의 거리가 더 큰 영향을 갖는다. 이 때문에, 오프셋 함수가 최대값을 갖는 임시 위치 근방의 위치가 대체로 매칭 위치로서 결정된다. 즉, 특징량이 적은 경우에는, 임시 위치가 우세적으로 이음 위치를 결정한다.

매칭 위치가 결정되면, 이음 위치는 주목 템플릿 화상(번호 i)이 위치 검출용 보정 화상 0 좌표에 그대로 중합된 위치로부터의 변이량(Δθ_i, Δφ_i)으로서 구해진다.

오프셋 보정에 의해, 유사도에 기초한 스코어에 명확한 피크가 있고, 유사도가 크다면, 그 위치가 이음 위치로서 설정된다. 특징도 없고 명확한 피크도 없다면, 임시 위치 부근의 위치가 이음 위치로서 설정되며, 인접블록과의 연속성이 유지되고, 이음 위치가 임시 위치로부터 크게 떨어진 위치에 설정될 우려가 감소한다.

다시 도 12를 참조하면, 단계 S311에서, 촬상 시스템(10)은, 템플릿 화상의 모든 블록이 처리되었는지의 여부를 판정한다. 단계 S311에서, 모든 블록이 처리되지 않았다고 판정되면(NO), 처리는 S306으로 다시 루핑되어, 모든 블록에 대한 처리가 완료되게 한다. 한편, 단계 S311에서, 모든 블록이 처리되었다고 판정되면(YES), 처리는 단계 S312로 진행된다.

단계 S306 내지 단계 S311의 처리에 의해, 생성된 복수의 템플릿 화상(번호 i, 여기서 i=1 내지 #) 각각마다 이음 위치(Δθ_i, Δφ_i)가 구해진다. 단계 S312에서, 촬상 시스템(10)은 구해진 템플릿 화상에 대응하는 이음 위치의 데이터 세트에 기초하여, 전체 천구 포맷의 각 픽셀(θ, φ)마다 이음 위치(Δθ, Δφ)를 계산하여, 검출 결과 데이터(222)를 생성한다. 단계 S313에서, 촬상 시스템(10)은 이음 위치 검출 처리를 종료하고, 도 5에 도시하는 처리에 되돌아간다.

도 18은 본 실시형태에 따른, 이음 위치 검출 유닛(204)에 의해 생성되는 검출 결과 데이터의 데이터 구조를 도시하는 도면이다. 도 19는 본 실시형태에 따라 위치 검출 유닛(204)에 의해 검출 결과 데이터를 생성하는 처리를 설명하는 도면이다. 단계 S312에 의해, 도 18에 도시하는 바와 같이, 모든 좌표에 대해, 변이량(Δθ, Δφ)과 연관된 변환후의 좌표(θ, φ)를 유지하는 검출 결과 데이터(222)가 구해진다. 이 경우, 좌표(θ, φ)에 대응하는 변이량(Δθ, Δφ)은, 이음 위치 검출 처리에 의해 구해진 템플릿 블록(i)의 변이량(Δθ_i, Δφ_i)을, 템플릿 블록의 중심 좌표의 값으로서 설정하고 보간함으로써 계산될 수 있다.

구체적으로, 먼저, 도 19의 (A)에 도시하는 바와 같이, 수평 방향의 θ 좌표가 템플릿 블록의 중심 좌표와 같고, 상단(φ= 0) 및 하단(높이가 1800 픽셀인 경우, φ=179)에 위치하는 좌표에 대해서는 변이량(Δθ, Δφ)이 (0, 0)으로 설정된다. 변이량이 설정되지 않은 좌표의 경우에는, 도 19의 (B)에 도시하는 바와 같이, 변이량이 설정되어 있는 4점(도면에는 A 내지 D로 표시)에 의해 격자가 형성되고, 그 격자 속에서 2차원 선형 보간에 의해 변이량이 산출된다. 점 Q를, 4점 격자를 θ축 방향으로 dθ:1-dθ에 의해, φ축 방향으로 dφ:1-dφ에 의해 내분하는 점이라고 하면, 점 Q에서의 변이량(Δθ_Q, Δφ_Q)은, 근방의 4점의 변이량((Δθ_A, Δφ_A), …, (Δθ_D, Δφ_D))을 이용하여, 이하의 식 (6)에 의해 계산될 수 있다.

본 실시형태에서는, 전체 천구 포맷의 상단(φ= 0) 및 하단(본 예에서는 φ=1799)에 변이량(0, 0)이 설정된다. 그러나, 좌표(θ, φ)에서의 변이량(Δθ, Δφ)의 계산 방법은 상기한 바에 특히 한정되지 않는다. 여기에서는 부분 화상 0, 1을 모순 없이 서로 연결시키는 것이면 충분하다. 따라서, 다른 실시형태는 보다 내측에 위치하는 좌표에 변이량(0, 0)을 설정하여 2차원 선형 보간을 실행할 수도 있다. 이 경우, 그 내측 좌표의 φ 방향으로 외측에 있는 모든 좌표가 변이량(0, 0)을 갖도록 설정될 수 있다.

다시 도 5를 참조하면, 단계 S203에서, 촬상 시스템(10)은 테이블 수정 유닛(206)으로 하여금 검출 결과 데이터(222)를 이용해서, 위치 검출용 변환 테이블(220)을 수정하여 구면 좌표계 내에서의 화상의 위치를 조정하게 한다. 단계 S202의 이음 위치 검출 처리에 의해, 도 18에 도시한 바와 같이, 전체 천구 화상 포맷의 각 좌표 쌍마다, 변이량이 구해진다. 단계 S203에서, 구체적으로는, 부분 화상 0의 왜곡 보정에 이용된 검출용 왜곡 보정 테이블 0은, 입력 좌표(θ, φ)가, 수정전 (θ+Δθ, φ+Δφ)과 연관된 (x, y)과 연관되도록 수정된다. 부분 화상 1의 왜곡 보정에 이용된 검출용 왜곡 보정 테이블 1은 그 연관에 대해 변경될 필요가 없다.

단계 S204에서, 촬상 시스템(10)은 테이블 생성 유닛(208)으로 하여금, 수정된 위치 검출용 변환 테이블(220)로부터, 회전 좌표 변환을 실시함으로써, 화상 합성용 변환 테이블(224)을 생성하게 한다.

도 20은 본 실시형태에 따른 촬상 시스템(10)에 의해 실행되는 화상 합성용 변환 테이블의 생성 처리의 흐름도이다. 도 21은 화상 합성 처리시에 2개의 어안 렌즈에 의해 화상이 촬상되는 경우의 촬상된 2개의 부분 화상의 구면 좌표계에의 매핑을 설명하는 도면이다. 도 20에 도시하는 처리는, 도 5에 도시한 단계 S204에서 호출되고, 단계 S400에서 시작된다. 단계 S401 내지 단계 S4606의 루프에서는, 테이블 생성 유닛(208)이, 화상 합성용 왜곡 보정 테이블에 입력되는 화상 합성용 구면 좌표계의 좌표값의 각 쌍(θ_g, φ_g)마다, 단계 S402 내지 S405의 처리를 실행한다. 설정되는 좌표의 범위는 수평 각도의 전체 범위(0 내지 360°) 및 수직 각도의 전체 범위(0 내지 180°)로 정해진다. 입력되는 전체 좌표에 대해 변환 처리를 실행하기 위해서, 여기에서는 좌표들이 순서대로 배열된다.

단계 S402에서, 테이블 생성 유닛(208)은 회전 좌표 변환에 의해 좌표(θ_g, φ_g)에 대응하는 구면 좌표계의 좌표(θ_d, φ_d)를 계산한다. 회전 좌표 변환에 의해, 도 9에 도시한 바와 같은, 축은, 렌즈 광학계의 하나의 광축을 중심으로 한 수평 각도(θ_d) 및 수직 각도(φ_d)의 좌표 축에 의해 정의된 것으로부터, 도 21에 도시하는 바와 같은, 광축에 수직인 축을 기준으로 한 수평 각도(θ_g) 및 수직 각도(φ_g)로 정의되는 축으로 변환된다. 좌표(θ_g, φ_g)에 대응하는 좌표(θ_d, φ_d)는 회전 좌표 변환에 기초하여, 동경 을 1로 하여, 화상 합성용 구면 좌표계의 좌표(θ_g, φ_g)에 대응하는 3차원 직교 좌표(x_g, y_g, z_g) 및 위치 검출용 구면 좌표계의 좌표(θ_d, φ_d)에 대응하는 3차원 직교 좌표(x_d, y_d, z_d)를 이용해서, 이하의 식 (7)에 의해 계산될 수 있다. 식 (7)에서, 계수 β는 3차원 직교 좌표에서의 x축 주위의 회전 좌표 변환을 규정하는 회전각으로서, 본 실시형태에서는 90°이다.

위치 검출용 변환 테이블(220)에서는, 광축이 구면의 극에 투영되고, 화상들 사이의 중복 부분이 구면의 적도 근방에 투영된다. 이에, 전체 천구 화상 포맷의 상하 방향과, 촬상된 장면의 천정 방향이 일치하지 않는다. 이에 반해, 회전 좌표 변환에 의하면, 화상 합성용 변환 테이블(224)에서는, 광축이 구면의 적도 상에 투영되어, 전체 천구 화상 포맷의 상하 방향과, 촬상된 장면의 천정 방향이 일치한다.

단계 S403 내지 단계 S405의 루프에서는, 화상 0 및 화상 1에 대해, 테이블 생성 유닛(208)이 단계 S404의 처리를 실행한다. 단계 S404에서, 테이블 생성 유닛(208)은 화상 0, 1에 대해, (θ_{d ,} φ_d)와 연관될 수 있는 부분 화상 0, 1의 좌표(x, y)를 수정된 이음 위치 검출용 변환 테이블을 참조하여 구한다. 변환 테이블(220, 224)은 θ_d 및 φ_d 양쪽에 대해, 픽셀 단위로 좌표(x, y)를 유지하고 있지만, 변환에 의해 산출되는 좌표(θ_d, φ_d)는 통상 소수점 값으로 취득된다. 간단하게는, 부분 화상 0, 1의 좌표(x, y)는, 테이블 내의 산출된 좌표(θ_{d ,} φ_d)의 최근방에 존재하는 좌표와 연관된 좌표(x, y)에 설정될 수 있다. 또한, 바람직한 실시형태에서는, 테이블에 존재하는 것들 중, 최근방 좌표 및 그 주위의 좌표와 연관되는 복수의 좌표(x, y)를 참조하여, 산출된 좌표(θ_d, φ_d)로부터의 거리에 따라서 가중 보간을 실행함으로써, 연관되는 부분 화상 0, 1의 좌표(x, y)를 계산할 수도 있다.

단계 S403 내지 단계 S405의 루프에서, 양 화상 0, 1에 대해 계산이 행해지고, 단계 S402 내지 단계 S406의 루프에서, 입력되는 모든 좌표값에 대한 계산이 완료될 경우, 처리는 단계 S407에서 종료된다. 이에 따라, 화상 합성용 변환 테이블(224)의 전체 데이터가 생성된다.

다시 도 5를 참조하면, 단계 S205에서, 촬상 시스템(10)은 화상 합성용 왜곡 보정 유닛(210)으로 하여금, 화상 합성용 변환 테이블(224)을 이용해서, 원래의 부분 화상 0 및 부분 화상 1에 대하여 왜곡 보정을 실행하여, 화상 합성용 보정 화상 0 및 화상 합성용 보정 화상 1을 취득하게 한다. 이에 따라, 화상 합성용 왜곡 보정 유닛(210)에 의한 처리의 결과로서, 어안 렌즈에 의해 촬상된 2개의 부분 화상 0, 1은 도 21에 도시하는 바와 같이, 전체 천구 화상 포맷 상에 전개된다. 어안 렌즈 0에 의해 촬상된 부분 화상 0은 통상 전체 천구의 좌반구에 매핑되고, 어안 렌즈 1에 의해 촬상된 부분 화상 1은 전체 천구의 우반구에 매핑된다.

도 9와 도 21을 비교하면 명확하게 이해되는 바와 같이, 전체 천구 포맷에 대하여, 다른 위치에 부분 화상 0 및 부분 화상 1이 매핑되고, 장면의 천정 방향이 화상의 상하 방향인 φ 방향과 일치한다. 부분 화상 0, 1의 중심부가 보다 왜곡이 적은 적도 상에 매핑되고, 보정 화상 0 및 보정 화상 1 사이의 중복 영역은 도 9에 도시하는 바와 다르게, 수직 각도 0°와 180, 수평 각도 0°와 180° 근방 영역 상에 매핑된다.

단계 S206에서, 화상 합성 유닛(212)은 화상 합성용 보정 화상 0 및 화상 합성용 보정 화상 1을 합성한다. 합성 처리에 있어서, 화상들 사이의 중복 영역에 대해, 블렌드 처리 등이 실행된다. 화상의 한쪽에만 픽셀값이 존재하는 영역의 경우에는, 그 픽셀값이 그대로 채택되게 된다. 합성 처리에 의해, 어안 렌즈에 의해 촬상된 2개의 부분 화상으로부터 단일의 전체 천구 화상이 생성된다.

이상 설명한 바와 같이, 본 실시형태에서는, 매칭에 대해 처리되는 템플릿 화상이 갖는 특징의 정도를 나타내는 특징량이 측정되고, 이 측정된 특징량을 이용하여, 템플릿 화상의 이음 위치가 결정된다. 이에, 특징량이 많은 영역들이 우선적으로 서로 연결되어 얻어지는 전체 천구 화상의 품질이 향상된다. 즉, 특징량이 많은 영역들이 우선적으로 서로 연결되고, 그들의 이음 위치는 특징량이 적은 영역들을 서로 연결시킬 때에 참조된다. 그렇기 때문에, 화상이 평탄하거나, 동일한 패턴이 적은 특징으로 반복되는 영역의 화상이더라도, 고정밀도로 이음 위치를 검출할 수 있어, 얻어지는 전체 천구 화상의 품질이 향상된다. 또한, 동일한 패턴이 반복되는 경우에 대한 유사도를 이용해서 이음 위치의 복수의 후보만 존재한다면, 인접 특징 영역의 이음 위치를 참조하여, 이음 위치가 고유하게 결정될 수 있다.

또한, 특징이 적은 부적절한 매칭 영역을 배제하여 계산 처리가 채용되지 않기 때문에, 알고리즘이 간소화될 수 있다. 또, 전체 천구 촬상 시스템(10)은 전방향 촬상 범위를 취급한다. 그렇기 때문에, 중복 영역이, 하늘 등의 평탄하고 서로 연결시키기에 적합하지 않는 장면을 포함하는 경우가 종종 있다. 본 실시형태에 따른 복수의 화상의 서로 연결시키는 처리는, 이러한 성질을 갖는 전체 천구 화상들을 서로 연결시키는 데에 적합하게 이용될 수 있다.

[제2 실시형태]

이전 실시형태와의 상이한 부분에 집중하여, 본 발명의 제2 실시형태에 대해 설명한다.

제2 실시형태는 이전 실시형태에 관한 도 10에 도시하는 구성에 포함되는 것과 상이한 매칭 계산 유닛(242)을 갖는다. 주목 템플릿 화상에 대해, 매칭 계산 유닛(242)은 통상 템플릿 매칭 방법을 이용해서, 산출된 임시 위치에 기초하여 주목 템플릿 화상과 위치 검출용 보정 화상의 부분과의 매칭을 통상 계산한다. 매칭 계산시에, 탐색 범위 설정 유닛(240)에 의해 설정된 임시 위치를 중심으로 한 탐색 범위에서 템플릿 화상을 이동시키고, 위치에서의 화상의 유사도에 기초한 평가값인 매칭 스코어가 계산된다. 또한, 본 실시형태에서는, 템플릿 화상의 특징량의 범위에 대해 복수의 평가 방법이 제공된다. 그런 다음, 본 실시형태의 매칭 계산 유닛(242)은 유닛(242)은 템플릿 특징량 산출 유닛(234)에 의해 산출된 특징량에 따라 매칭 평가 방법을 전환하여 매칭 스코어를 계산한다.

주목 템플릿 화상에 대해, 스코어 보정 유닛(244)은 산출된 임시 위치 주변에서 스코어를 더 높게 하기 위해, 매칭 계산 유닛(242)에 의해 계산된 화상의 유사도에 기초한 스코어에 대해 오프셋 보정을 실행한다. 스코어의 범위는 이용되는 평가 방법에 따라 다를 수 있음을 알아야 한다. 따라서, 스코어 보정 유닛(244)은 매칭 계산 유닛(242)에 의해 이용되는 평가 방법에 따라 오프셋 보정 방법을 전환한다. 이런 식으로, 템플릿 화상들 사이의 특징량의 상대적인 관계에 기초해서 계산된 임시 위치를 스코어 계산시에 고려하여, 매칭 평가 방법에 적절한 스코어 보정이 행해질 수 있다.

다음으로, 도 24를 이용하여 본 실시형태에 따른 매칭 계산 처리에 대해 상세하게 설명한다. 도 24의 (A)는 본 실시형태에 따른 촬상 시스템(10)에 의해 실행되는 매칭 계산 처리를 상세하게 설명하는 흐름도이다. 도 24의 (A)에 도시하는 처리는, 도 12에 도시한 단계 S308에서 호출되고, 단계 S600에서 시작된다. 단계 S601에서, 촬상 시스템(10)은 주목 템플릿 화상의 특징량이 소정의 임계치 이상인지를 판정한다. 또한, 본 실시형태에 있어서, 소정의 임계치는 그 임계치보다 큰지 작은지에 따라 특징량을 구분하도록 정해진다. 단계 S601에서, 주목 템플릿 화상의 특징량이 소정의 임계치 이상이라고 판정되면(YES), 처리는 단계 S602로 분기된다.

단계 S602에서, 촬상 시스템(10)은 특징량이 많은 화상에 적합한 평가 방법으로 매칭 스코어를 계산한다. 처리는 단계 S604에서 종료되고, 도 12에 도시한 처리가 재개된다. 한편. 단계 S601에서, 주목 템플릿 화상의 특징량이 소정의 임계치 이상이 아니다고 판정되면(NO), 처리는 단계 S603으로 분기된다. 단계 S603에서, 촬상 시스템(10)은 특징량이 적은 화상에 적합한 평가 방법으로 매칭 스코어를 계산한다. 처리는 단계 S604에서 종료되고, 도 12에 도시한 처리가 재개된다.

이하, ZNCC(Zero-mean Normalized Cross-Correlation)법과 ZSSD(Zero-mean Sum of Squared Differences)법에 대해, 앞에서 보인 도 16을 참조하여 템플릿 매칭의 예로서 설명한다. 도 16은 템플릿 화상을 설명하는 도면 (A)와 패턴 매칭에 의해 탐색 범위에서 템플릿 화상을 탐색하는 처리를 설명하는 도면 (B)를 포함한다. 여기서, N은 템플릿의 총 픽셀수를 나타내고(=W 픽셀×H 픽셀), (kx, ky)는 탐색 범위 내의 탐색 위치를 나타낸다. 탐색 위치(kx, ky)를 기준 좌표(0, 0)으로 설정한 경우에 좌표(i, j)에서의 템플릿 화상의 휘도를 T(i, j)으로 표시하고, 탐색용 화상의 휘도를 S(kx+i, ky+j)으로 표시하면, ZNCC법에 의한 매칭 스코어 M(kx, ky)는 이하의 식 (8)에 의해 구해질 수 있다. 도 16에서는, 탐색 위치(kx, ky)를 템플릿 화상의 상좌측에 설정하고 있지만, 좌표는 특히 한정되지 않고, 템플릿 화상의 중심에 설정될 수도 있음을 알아야 한다.

매칭 스코어 ZNCC(kx, ky)는 유사도를 나타낸다. 그것이 1이면, 완전 매칭이고, 스코어가 -1이면, 네거티브-포지티브 반전이다. 스코어 ZNCC(kx, ky)이 높은 것은, 템플릿 화상과의 유사도가 높은 것을 나타낸다. 도 16의 (B)에 도시하는 바와 같이, 탐색 범위 내에서 템플릿 화상을 종횡으로 이동시킴으로써, 템플릿 매칭이 실행되고, 각 탐색 위치에서의 매칭 스코어 ZNCC(kx, ky)가 산출된다.

이에 반해, ZSSD법에 의한 차이도 ZSSD(kx, ky)는 이하의 식 (9)에 의해 구해질 수 있다. ZSSD법은 동일한 위치의 픽셀의 휘도차의 2승의 합을 구한다. 이에, ZSSD법에 의해 구해진 값은 소위 차이를 나타내며, 이 값이 크다는 것은 유사도가 낮다는 것을 의미한다. 그 때문에, 스코어를 유사도에 기초하게 하기 위해서는, 네거티브 부호를 붙여, -ZSSD(kx, ky)를 매칭 스코어로서 이용한다.

픽셀값이 8비트 값이라고 하면, 매칭 스코어 -ZSSD(kx, ky)는 -(255×255) 내지 0의 범위의 값을 취할 수 있고, 그 값이 0이면, 완전 매칭이다. 매칭 스코어 -ZSSD(kx, ky)가 높다는 것은 템플릿 화상과의 유사도가 높은 것을 나타낸다.

전술한 ZNCC법은 화상의 게인의 변동을 흡수할 수 있고, 화상의 평균 휘도의 변동을 흡수할 수 있으며, 유사도를 매칭하기 위한 강건성(robustness)을 가지므로, ZNCC법은 바람직하다. ZNCC법은 화상의 휘도가 충분히 넓은 분포를 갖고 특징량이 많은 경우에 특히 이용될 수 있다. 이에 비해, ZSSD법은 화상의 평균 휘도의 변동을 흡수할 수 있다는 점에서 SSD(Sum of Squared Differences)법보다 우수하다. ZSSD는 SSD법보다 연산 비용이 크지만, ZNCC법보다는 연산이 간단하다. ZSSD법은 특히 특징량이 적은 흐릿한 화상(fuzzy image)에 대해서 바람직하게 이용될 수 있다. ZSAD(Zero-mean Sum of Absolute Differences)법이 ZSSD법 대신에 이용될 수 있음을 알아야 한다.

다시 도 12를 참조하면, 단계 S309에서, 촬상 시스템(10)은 보정된 최종 스코어를 계산하기 위해 단계 S308에서 각 산출된 위치에서의 유사도에 기초하여 매칭 스코어 ZNCC(kx, ky) 또는 -ZSSD(kx, ky)에 대해 오프셋 보정을 실시한다.

도 24의 (B)는 본 실시형태에 따른 촬상 시스템(10)에 의해 실행되는 스코어 보정 처리를 상세하게 설명하는 흐름도이다. 도 14의 (B)에 도시하는 처리는 도 12에 도시한 단계 S309에서 호출되고, 단계 S700에서 시작된다. 단계 S701에서, 촬상 시스템(10)은, 주목 템플릿 화상의 특징량이 소정의 임계치 이상인지의 여부를 판정한다. 단계 S701에서, 주목 템플릿 화상의 특징량이 소정의 임계치 이상이다고 판정되면(YES), 처리는 단계 S702로 분기된다. 이 경우에, 스코어 산출에 ZNCC법이 이용된다. 따라서, 단계 S702에서, 촬상 시스템(10)은 ZNCC법용의 오프셋 함수를 이용하여 오프셋을 계산한다. 처리는 단계 S704에서 종료되고, 도 12에 도시한 처리가 재개된다.

한편, 단계 S701에서, 주목 템플릿 화상의 특징량이 소정의 임계치 이상이 아니다고 판정되면(NO), 처리는 단계 S703으로 분기된다. 이 경우에, 스코어의 산출에 ZSSD법이 이용된다. 그렇기 때문에, 단계 S703에서, 촬상 시스템(10)은 ZSSD법용의 오프셋 함수를 이용해서 오프셋을 계산한다. 처리는 단계 S704에서 종료되고, 도 12에 도시한 처리가 재개된다.

단계 S310에서, 촬상 시스템(10)은, 단계 S309에서 산출된 각 위치에서의 보정된 스코어에 기초하여, 주목 템플릿 화상에 대한 이음 위치를 결정한다.

도 17의 (A)는 탐색 위치(kx, ky)에 대하여, 매칭 스코어에 대한 오프셋 함수를 플롯팅한 그래프를 도시한다. 단계 S309의 처리에서, 매칭 스코어 M(kx, ky)에 대하여, 도 17의 (A)에 도시하는 바와 같이 오프셋 함수(kx, ky)에 의한 임시 위치와의 거리에 따른 오프셋값을 가산한다. 도 17의 (A)에 도시하는 오프셋 함수는, 임시 위치에서 오프셋값이 최대이고 임시 위치와의 거리가 멀수록 단조 감소하는 함수이다. 오프셋 함수는 매칭 스코어 M의 가능한 값의 범위에 기초하여 정의될 수 있다. 도 17의 (B)와 도 17의 (C)는 보정전 스코어에 기초한 매칭 위치 및 보정후 스코어에 기초한 매칭 위치와 함께, 탐색 위치를 플롯팅한 보정전 및 보정후 스코어의 그래프를 도시한다. 도 17의 (B)는 특징량이 만은 템플릿 화상의 예를 도시하는 반면, 도 17의 (C)는 특징량이 적은 템플릿 화상의 예를 도시하고 있다.

이상 설명한 바와 같이, 본 실시형태에서는, 매칭에 대해 처리되는 템플릿 화상이 갖는 특징의 정도를 나타내는 특징량이 측정되고, 이 측정된 특징량을 이용하여, 템플릿 화상의 이음 위치가 결정된다. 이에, 적절한 평가 방법으로 영역들이 서로 연결되어 얻어지는 전체 천구 화상의 품질이 향상된다. 보다 구체적으로, 매칭 스코어를 구하기 위한 평가 방법이 영역의 특징에 따라 전환된다. 이에, 특징량이 많은 영역 및 특징량이 적은 영역에 적절한 평가 방법에 기초하여 이음 위치가 각각 결정될 수 있다. 이에, 이음 위치 검출 오류가 저감될 수 있고, 위치 매칭의 정밀도가 향상될 수 있다. 또한, 화상이 평탄하거나, 동일한 패턴이 적은 특징으로 반복되는 영역의 화상이더라도, 고정밀도로 이음 위치를 검출할 수 있어, 얻어지는 전체 천구 화상의 품질이 향상된다. 또한, 특징이 적은 부적절한 매칭 영역을 배제하여 계산 처리가 채용되지 않기 때문에, 알고리즘이 간소화될 수 있다.

ZNDD법을 ZSSD법과 비교하면, ZNCC가 일반적으로 정밀도가 더 높다. 그러나, 전술한 실시형태에서는, 기본적으로는 ZNCC법을 이용하면서 특징이 약한 영역을 갖는 화상, 특히 평탄한 화상에는 ZSSD법을 이용하도록 제어된다. 약한 특징의 화상에, ZNCC법 대신에 ZSSD법을 사용하는 효과에 대해 후술한다.

예를 들어, 창공이나 흰 벽 등의 평탄한 화상에 대하여 매칭 평가가 실행되는 것을 상정한다. 이러한 평탄한 화상은 통상 촬상시에 혼합된 노이즈를 포함한다. 노이즈를 갖는 평탄한 화상들 간에 매칭 평가를 실행할 때에, 소위 "상관값"의 일종을 부여하는 ZNCC법과 비교하여, 픽셀의 오차의 합인 오차값을 부여하는 ZSSD법은 노이즈가 있는 화상들 사이에서 매칭 평가값으로서 바람직한 값인 단조로운 오차를 계산한다. 전술한 실시형태에서는, 매칭 평가값으로서 평탄한 화상에 대해 바람직한 값을 갖기를 원하기 때문에, 특징량이 적은 템플릿 화상에 대해, 상관값을 부여하는 ZNCC법보다는, 오차값을 부여하는 ZSSD법이 이용된다.

전체 천구 촬상 시스템(10)은 전방향 촬상 범위를 취급한다. 그렇기 때문에, 중복 영역이, 하늘 등의 평탄하고 서로 연결시키기에 적합하지 않는 장면을 포함할 가능성이 높다. 본 실시형태에 따른 복수의 화상을 서로 연결시키는 처리는, 이러한 성질을 갖는 전체 천구 화상들을 서로 연결시키는 데에 바람직하게 이용될 수 있다.

[제3 실시형태]

전술한 실시형태에서는, 화상 처리 장치 및 촬상 시스템의 예에 대해, 전체 천구의 정지 화상을 내장된 촬상 광학계에 의해 촬상하여, 내부의 왜곡 보정/화상 합성 블록에 의해 최종 화상을 합성하는 촬상 시스템(10)을 이용하여 설명하였다. 그러나, 화상 처리 장치 및 촬상 시스템의 구성은 상기한 바에 특히 한정되지 않는다. 전체 천구를 동화상 촬영하는 전체 천구 동화상 촬상 시스템으로서, 또는 복수의 촬상 광학계에 의해 촬상된 복수의 부분 화상(정지 화상 또는 동화상)을 입력으로서 수신할 때에, 전체 천구 화상(정지 화상 또는 동화상)을 생성하는 카메라 프로세서로서, 구성될 수도 있다. 한편, 촬상에만 이용되는 전체 천구 촬상 장치로 촬상된 복수의 부분 화상(정지 화상 또는 동화상)을 입력으로서 수신하여, 전체 천구 화상(정지 화상 또는 동화상)을 합성하는 퍼스널 컴퓨터, 워크스테이션, 또는 물리적 컴퓨터 시스템 상의 가상 머신 등의 정보 처리 장치나, 스마트폰 또는 태블릿 등의 휴대용 정보 단말이 상기 화상 처리 장치로서 구성될 수도 있다. 또한, 전술한 바와 같은 카메라 프로세서, 정보 처리 장치, 휴대용 정보 단말 등의 화상 처리 장치와, 이 화상 처리 장치와 분리된 촬상 광학계를 포함하는 촬상 시스템이 구성될 수도 있다.

이하, 도 22 내지 도 23을 참조하면서, 복수의 부분 화상을 촬상하는 전체 천구 촬상 장치와, 이 복수의 부분 화상을 입력으로서 수신할 때에, 합성된 전체 천구 화상을 생성하는 외부의 컴퓨터 장치를 포함하는, 제3 실시형태에 따른 전체 천구 촬상 시스템에 대해 설명한다. 도 22는 제3 실시형태에 따른 전체 천구 촬상 시스템(400)의 개관을 도시한다.

제3 실시형태에 따른 도 22에 도시하는 전체 천구 촬상 시스템(400)은 촬상에만 이용되는 전체 천구 촬상 장치(410)와, 이 전체 천구 촬상 장치(410)와 접속되어, 화상 처리에만 이용되는 컴퓨터 장치(430)를 포함하여 구성된다. 도 22에는 주요 구성만을 도시하며, 상세한 것은 생략되어 있음을 알아야 한다. 또한, 도 1 내지 도 21을 참조하여 설명한 실시형태와 같은 기능을 갖는 요소에는 동일한 부호가 부여된다. 또, 도 22 내지 도 23에 도시하는 예에서의 전체 천구 촬상 시스템(400)은, 전체 천구 화상을 합성하는 화상 처리가 컴퓨터 장치(430) 상에서만 실행된다는 점을 제외하고, 도 1 내지 도 21을 참조하여 설명한 실시형태와 실질적으로 같은 구성을 갖는다. 이에, 이하에서는 다른 점만 주로 설명한다.

도 22에 도시하는 예에서는, 전체 천구 촬상 장치(410)가 디지털 스틸 카메라 프로세서(100)와, 렌즈 배럴 유닛(102)과, 프로세서(100)에 접속되는 3축 가속도 센서(120)를 포함한다. 렌즈 배럴 유닛(102)은 도 2에 도시한 것과 같은 구성을 갖고, 프로세서(100)도 도 2에 도시한 것과 같은 구성을 갖는다.

프로세서(100)는 ISP(108)과, USB 블록(146)과, 시리얼 블록(158)을 포함하며, USB 커넥터(148)를 통해 접속되는 컴퓨터 장치(430)와의 USB 통신을 제어한다. 시리얼 블록(158)은 네트워크를 통해 접속되는 컴퓨터 장치(430)와의 무선 통신을 제어하는 무선 NIC(160)와 접속된다.

도 22에 도시하는 컴퓨터 장치(430)는 데스크탑 퍼스널 컴퓨터, 워크스테이션 등의 범용 컴퓨터로 구성될 수 있다. 컴퓨터 장치(430)는 프로세서, 메모리, ROM, 스토리지 등의 하드웨어 구성요소를 포함한다. 도 22에 도시하는 예에서, 컴퓨터 장치(430)는 USB 인터페이스(432)와, 무선 NIC(434)를 포함하고, USB 버스 또는 네트워크를 통해, 전체 천구 촬상 장치(410)와 접속된다.

컴퓨터 장치(430)는 또한, 화상 합성에 관한 처리 블록인, 위치 검출용 왜곡 보정 유닛(202)과, 이음 위치 검출 유닛(204)과, 테이블 수정 유닛(206)과, 테이블 생성 유닛(208)과, 화상 합성용 왜곡 보정 유닛(210)과, 화상 합성 유닛(212)을 포함하여 구성된다. 본 실시형태에 있어서, 렌즈 배럴 유닛(102)의 복수의 촬상 광학계에 의해 촬상된 2개의 부분 화상과, 전체 천구 촬상 장치(410)의 위치 검출용 변환 테이블이 USB 버스 또는 네트워크를 통해 외부의 컴퓨터 장치(430)에 전송된다.

컴퓨터 장치(430)에 있어서, 위치 검출용 왜곡 보정 유닛(202)은 전체 천구 촬상 장치(410)로부터 전송된 부분 화상 0, 1에 대하여, 화상과 함께 전송된 위치 검출용 변환 테이블을 이용해 왜곡 보정을 실시하여, 위치 검출용 보정 화상 0, 1을 생성한다. 이음 위치 검출 유닛(204)은 변환된 보정 화상 0, 1 사이의 이음 위치를 검출하여, 검출 결과 데이터를 생성한다. 테이블 수정 유닛(206)은 검출 결과 데이터에 기초하여, 전송된 위치 검출용 변환 테이블을 수정한다. 테이블 생성 유닛(208)은 수정된 변환 데이터에 대해 회전 좌표 변환을 실시하여, 화상 합성용 변환 테이블을 생성한다.

화상 합성용 왜곡 보정 유닛(210)은 화상 합성 처리의 선처리로서, 원래의 부분 화상 0 및 부분 화상 1에 대하여, 화상 합성용 변환 테이블을 이용해 왜곡 보정을 실시하고, 화상 합성용 보정 화상 0, 1을 생성한다. 화상 합성 유닛(212)은 취득된 화상 합성용 보정 화상 0, 1을 합성하고, 전체 천구 화상 포맷의 합성 화상을 생성한다.

도 22에 도시하는 기능 블록(430)은 표시 화상 생성 유닛(214)을 더 포함할 수 있다. 표시 화상 생성 유닛(214)은 전체 천구 화상을 평면 표시 장치에 투영하기 위한 화상 처리를 실행한다. 본 실시형태에 따른 컴퓨터 장치(430)는, ROM이나 HDD으로부터 프로그램을 판독하여, RAM이 제공하는 작업 공간에 전개함으로써, CPU의 제어 하에서, 전술한 기능 유닛과 후술하는 처리를 구현한다.

도 23은 제3 실시형태에 따른 전체 천구 촬상 시스템(400)에 의해 전체적으로 실행되는 전체 천구 화상 합성 처리의 흐름도이다. 도 23은 전체 천구 촬상 장치(410)가 촬상 화상을 취입한 후, 그 화상이 컴퓨터 장치(430)에 저장되기까지의 흐름을 설명한다.

도 23에 도시하는 처리는, 예컨대, 2개의 촬상 광학계가 촬상을 실행하게 하는 커맨드인, 전체 천구 촬상 장치(410)의 셔터 버튼의 누름에 응답하여, 단계 S500에서 시작된다. 먼저, 전체 천구 촬상 장치(410) 내에서의 처리가 실행된다.

단계 S501에서, 전체 천구 촬상 장치(410)는 2개의 고체 촬상 소자(22A, 22B)에 의해서 부분 화상 0 및 부분 화상 1을 촬상한다. 단계 S502에서, 전체 천구 촬상 장치(410)는 USB 버스 또는 네트워크를 통해, 부분 화상 0 및 부분 화상 0을 컴퓨터 장치(430)에 전송한다. 또한, 위치 검출용 변환 테이블도 USB 버스 또는 네트워크를 통해 컴퓨터 장치(430)에 전송된다. 이 때, 기울기 보정이 컴퓨터 장치(430)에 의해 실행되면, 3축 가속도 센서(120)에 의해 취득된 기울기 정보도 컴퓨터 장치(430)에 전송된다.

전체 천구 촬상 장치(410)의 위치 검출용 변환 테이블은 전체 천구 촬상 장치(410)와 컴퓨터 장치(430)가 최초로 상호 인식할 때에 전송될 수 있음을 알아야 한다. 즉, 위치 검출용 변환 테이블은 한번 컴퓨터 장치(430)에 전송되면 충분하며, 매회 변환 테이블을 전송할 필요는 없다. 위치 검출용 변환 테이블은, 예컨대 SDRAM(도시 생략)에 저장되어 판독되고 전송된다. 여기까지의 단계가 전체 천구 촬상 장치(410) 내의 처리로 실행된다. S503 이후의 단계는 화상 및 테이블이 전송된 컴퓨터 장치(430) 상에서의 처리로 실행된다.

단계 S503에서, 컴퓨터 장치(430)는 위치 검출용 왜곡 보정 유닛(202)으로 하여금, 전송된 부분 화상 0 및 부분 화상 1에 대하여, 위치 검출용 변환 테이블을 이용해서 왜곡 보정을 실사하여 위치 검출용 보정 화상 0, 1을 취득하게 한다. 이 때, 컴퓨터 장치(430)에 의해, 전송된 기울기 정보에 기초하여 기울기 보정이 실행되면, 보정은 위치 검출용 변환 테이블에 대하여 수직 방향으로 미리 실시될 수도 있다. 단계 S504에서 컴퓨터 장치(430)는 이음 위치 검출 유닛(204)으로 하여금 위치 검출용 보정 화상 0, 1의 중복 영역에서, 화상들 간의 이음 위치 검출을 실행하여 검출 결과 데이터를 취득하게 한다. 단계 S505에서, 컴퓨터 장치(430)는 테이블 수정 유닛(206)으로 하여금, 검출 결과 데이터를 이용해, 전송된 위치 검출용 변환 테이블을 수정하여 구면 좌표계 내에서의 화상의 위치를 조정하게 한다. 단계 S506에서, 컴퓨터 장치(430)는 테이블 생성 유닛(208)으로 하여금, 수정된 위치 검출용 변환 테이블로부터, 회전 변환에 의해 좌표 변환으로, 화상 합성용 변환 테이블을 생성하게 한다.

단계 S507에서, 컴퓨터 장치(430)는 화상 합성용 왜곡 보정 유닛(210)으로 하여금, 화상 합성용 변환 테이블을 이용해, 원래의 부분 화상 0, 1에 대하여 왜곡 보정을 실시하여, 화상 합성용 보정 화상 0, 1을 취득하게 한다. 단계 S508에서, 컴퓨터 장치(430)는 화상 합성 유닛(212)으로 하여금 화상 합성용 보정 화상 0, 1을 합성하게 한다. 상기 합성 처리에 의해, 어안 렌즈에 의해 촬상된 2개의 부분 화상으로부터, 전체 천구 화상이 생성된다. 그리고, 단계 S509에서, 컴퓨터 장치(430)는 단계 S508에서 생성된 전체 천구 화상을 외부 스토리지에 저장하고, 처리는 단계 S510에서 종료된다.

도 23에 도시한 본 실시형태에 따른 흐름도의 동작도 컴퓨터 상의 프로그램에 의해 실행될 수 있다. 즉, 전체 천구 촬상 장치(410)의 동작을 제어하는 CPU, 컴퓨터 장치(430)의 동작을 제어하는 CPU가, 각각, ROM, RAM 등의 기록 매체에 저장된 프로그램을 판독하여, 메모리 상에 로딩함으로써, 전술한 전체 천구 화상 합성 처리의 각 부분을 구현한다. 도 22와 도 23은 분리되어 구성된 전체 천구 화상 촬상 시스템을 예시하는 것이며, 도 22와 도 23에 구체적으로 도시된 것들에 한정되지 않는다. 전체 천구 화상 촬상 시스템을 구현하기 위한 기능 유닛은 하나 이상의 촬상 장치, 하나 이상의 컴퓨터 시스템 상에 다양하게 실현되도록 분산될 수 있다.

전술한 실시형태에 따르면, 복수의 입력 화상 사이의 이음 위치를 검출할 때에, 적절한 이음 위치를 검출할 수 있는 화상 처리 장치, 화상 처리 방법, 프로그램, 및 촬상 시스템을 제공하는 것이 가능하다.

전술한 실시형태에서는, 복수의 부분 화상이 상이한 렌즈 광학계를 이용하여 사실상 동시에 촬상된다. 그러나, 다른 실시형태에서는, 상이한 촬상 방향(방위)을 향하는 소정의 촬상 지점으로부터 상이한 타이밍에 복수의 부분 화상이 동일한 렌즈 광학계에 의해 촬상되어 중합될 수도 있다. 또한, 전술한 실시형태에서는, 180°를 넘는 화각을 갖는 렌즈 광학계에 의해 촬상된 2개의 부분 화상이 중합되어 합성된다. 한편, 다른 실시형태에서는 하나 이상의 렌즈 광학계에 의해 촬상된 3개 이상의 부분 화상이 중합되어 합성될 수 있다. 또, 전술한 실시형태에서는, 실시형태를 설명하기 위해 어안 렌즈를 이용한 촬상 시스템을 일례로 하였지만, 그 실시형태는 초광각 렌즈를 이용한 전체 천구 촬상 시스템에 이용될 수도 있다. 또한, 전술한 바람직한 적합한 실시형태에서는, 전체 천구 화상의 중합에 대해 설명하지만, 이 용도에만 한정되지 않는다. 실시형태는 복수의 화상의 이음 위치를 검출해야 하는 어떠한 화상 처리에도 적용될 수 있다.

또한, 기능 유닛은 어셈블러, C, C++, C#, Java(등록 상표) 등의 레거시 프로그래밍 언어나 객체 지향 프로그래밍 언어로 작성된 컴퓨터 실행 가능한 프로그램에 의해 구현되며, ROM, EEPROM, EPROM, 플래시 메모리, 플렉시블 디스크, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, 블루레이 디스크, SD 카드, MO 등의 머신 판독 가능한 기록 매체에 저장되어, 매체 또는 전기통신 회선을 통해 배포될 수 있다. 또한, 기능 유닛의 일부 또는 전부는, 예컨대 필드 프로그래머블 게이트 어레이(FPGA) 등의 프로그래머블 디바이스(PD), 또는 ASIC(주문형 반도체)에 의해 구현될 수 있고, PD 상에 구현되도록 PD에 기능 유닛을 다운로드하는 회로 구성 데이터(비트 스트림 데이터)를 생성하기 위한 HDL(Hardware Description Language), VHDL(Very High Speed Integrated Circuits Hardware Description Language), Verilog-HDL 등에 의해 기술된 데이터로서 기록 매체에 의해 배포될 수 있다.

또한, 본 발명은 이들 실시형태와 전술한 예에 한정되는 것이 아니라, 본 발명의 범주에서 벗어나지 않고서 다양한 변형 및 수정이 이루어질 수 있다.

본 출원은 일본 특허청에 2013년 8월 28일자로 출원된 일본 우선권 출원 제2013-177176호와 2013년 8월 28일자로 출원된 일본 우선권 출원 제2013-177197호에 기초하여 이들의 우선권의 이익을 청구하며, 이들 우선권의 전체 내용은 본 명세서 내에 참조로 포함된다.

Claims (19)

1. 복수의 입력 화상 사이의 복수의 이음 위치(joint position)를 검출하는 화상 처리 장치에 있어서,
   상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화들 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하도록 구성된 대상 화상 생성 유닛과,
   상기 대상 화상 생성 유닛에 의해 생성된 복수의 대상 화상 각각에 대하여, 특징량을 산출하도록 구성된 특징량 산출 유닛과,
   상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상 중에서 주목하는 대상 화상에 대하여, 상기 특징량에 따라 이음 위치를 결정하도록 구성된 이음 위치 결정 유닛
   을 포함하고,
   상기 이음 위치 결정 유닛은,
   상기 주목하는 대상 화상과, 주변 대상 화상 중 하나 이상의 화상 사이의 특징량의 상대적인 관계에 기초하여, 상기 주목하는 대상 화상에 대한 임시 위치를 산출하도록 구성된 임시 위치 산출 유닛과,
   상기 임시 위치 산출 유닛에 의해 산출된 상기 주목하는 대상 화상에 대한 임시 위치에 기초하여, 상기 주목하는 대상 화상과 상기 제2 입력 화상의 부분과의 매칭을 계산하도록 구성된 매칭 계산 유닛
   을 포함하는 것인 화상 처리 장치.
2. 제1항에 있어서, 상기 이음 위치 결정 유닛은, 상기 주목하는 대상 화상의 특징량보다 더 많은 특징량을 갖는 주변 대상 화상의 이음 위치에 따라, 상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상 중에서 주목하는 대상 화상에 대하여 상기 제2 입력 화상과의 이음 위치를 결정하는 것인 화상 처리 장치.
3. (삭제)
4. 제1항에 있어서,
   상기 특징량에 기초하여 상기 대상 화상을 처리하는 순서를 결정하도록 구성된 처리 순서화 유닛을 더 포함하고,
   상기 순서는 상기 특징량의 상대적인 관계를 규정하며,
   상기 임시 위치 산출 유닛은, 이음 위치가 결정되고 상기 주목하는 대상 화상보다 특징량이 더 많은, 상기 주변 대상 화상 중 한 화상의 이음 위치와, 이음 위치가 결정되지 않고 상기 주목하는 대상 화상보다 특징량이 적은, 상기 주변 대상 화상 중 다른 화상의 초기 이음 위치를 이용하여, 상기 주목하는 대상 화상에 대한 임시 위치를 산출하는 것인 화상 처리 장치.
5. 제1항 내지 제4항에 있어서, 상기 임시 위치 산출 유닛은, 상기 주목하는 대상 화상에 대한 특징량의 상대적인 관계에 따라 상기 주변 대상 화상 중 하나 이상의 화상에 가중치를 주는 것과, 상기 주목하는 대상 화상과의 거리에 따라 상기 주변 대상 화상 중 하나 이상의 화상에 가중치를 주는 것 중 한쪽 또는 양쪽을 실행함으로써, 상기 주목하는 대상 화상에 대한 임시 위치를 산출하는 것인 화상 처리 장치,
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 매칭 계산 유닛에 의해 계산된 유사도에 기초한 평가값을, 상기 임시 위치를 중심으로 하여 더 큰 값을 갖게 보정하도록 구성된 평가값 보정 유닛을 더 포함하는 화상 처리 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 주목하는 대상 화상과 하나 이상의 주변 대상 화상 사이의 특징량의 상대적인 관계에 기초하여 상기 제2 입력 화상 내에서 매칭에 대한 탐색 범위를 설정하는 탐색 범위 설정 유닛을 더 포함하는 화상 처리 장치.
8. 제2항 내지 제7항 중 어느 한 항에 있어서, 상기 특징량은 상기 대상 화상의 엣지량, 분산 및 표준 편차 중 적어도 하나인 것인 화상 처리 장치.
9. 제1항에 있어서,
   상기 특징량 산출 유닛에 의해 산출된 특징량에 따른 평가 방법을 이용하여, 상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상 중에서 주목하는 대상 화상과, 상기 제2 입력 화상의 부분과의 매칭을 계산하도록 구성된 매칭 계산 유닛을 더 포함하는 화상 처리 장치.
10. 제9항에 있어서,
    상기 매칭 계산 유닛에 이용된 평가 방법에 따른 보정 방법을 이용하여, 상기 매칭 계산 유닛에 의해 계산된 각각의 위치에서의 평가값을 보정하도록 구성된 평가값 보정 유닛을 더 포함하는 화상 처리 장치.
11. 제10항에 있어서,
    상기 주목하는 대상 화상과 상기 주변 화상 중 하나 이상의 화상 사이의 특징량의 상대적인 관계에 기초하여 상기 주목하는 대상 화상에 대한 임시 위치를 산출하도록 구성된 임시 위치 산출 유닛을 더 포함하고,
    상기 평가값 보정 유닛은 상기 매칭 계산 유닛에 의해 계산된 유사도에 기초한 평가값을, 상기 임시 위치를 중심으로 하여 더 큰 값을 갖도록 보정하는 것인 화상 처리 장치.
12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 특징량은 상기 대상 화상의 엣지량, 분산 및 표준 편차 중 적어도 하나인 것인 화상 처리 장치.
13. 제1항에 있어서, 상기 특징량에 따른 평가 방법으로서, 상기 특징량이 기준치보다 더 많은 경우에는 보정값을 부여하는 평가 방법이 이용되거나, 상기 특징량이 기준치보다 적을 경우에는 오차값을 부여하는 다른 평가 방법이 이용되는 것인 화상 처리 장치.
14. 제9항에 있어서,
    사영 모델에 기초하여 촬상 화상들의 촬상 범위가 중복되는 중복 영역을 구면의 적도 근방에 투영하는 변환 데이터를 이용해서, 복수의 촬상 화상을 상기 촬상 화상의 촬상시에 이용된 좌표계와는 상이한 좌표계로 변환하여, 상기 입력 화상을 생성하도록 구성된 변환 유닛과,
    상기 이음 위치 결정 유닛에 의한 이음 위치 검출 결과에 기초하여, 상기 변환 데이터를 수정하도록 구성된 수정 유닛과,
    상기 수정 유닛에 의해 수정된 변환 데이터에 회전 좌표 변환을 적용하여, 화상 합성을 위해 상기 촬상 화상에 적용되는 변환을 규정하는 화상 합성용 변환 데이터를 생성하도록 구성된 데이터 생성 유닛
    을 더 포함하는 화상 처리 장치.
15. 컴퓨터에 의해 실행되는, 복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 화상 처리 방법에 있어서,
    상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하는 단계와,
    각각의 상기 대상 화상에 대해, 특징량을 산출하는 단계와,
    특징량을 갖는 대상 화상 중에서 주목하는 대상 화상보다 더 많은 특징량을 갖는 대상 화상 각각에 대해 이음 위치를 결정하는 단계와,
    주목하는 대상 화상에 대하여, 상기 주목하는 대상 화상보다 더 많은 특징량을 갖는 대상 화상의 이음 위치에 따라, 상기 제2 입력 화상과의 이음 위치를 결정하는 단계
    를 포함하고,
    상기 이음 위치를 결정하는 단계는,
    상기 주목하는 대상 화상과, 주변 대상 화상 중 하나 이상의 화상 사이의 특징량의 상대적인 관계에 기초하여, 상기 주목하는 대상 화상에 대한 임시 위치를 산출하는 단계와,
    상기 주목하는 대상 화상에 대한 임시 위치에 기초하여, 상기 주목하는 대상 화상과 상기 제2 입력 화상의 부분과의 매칭을 계산하는 단계
    는 포함하는 것인 화상 처리 방법.
16. 프로그램이 저장되어 있는 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은 컴퓨터로 하여금, 복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 처리를 실행하게 하고, 상기 처리는,
    상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하는 단계와,
    각각의 상기 대상 화상에 대해, 특징량을 산출하는 단계와,
    특징량을 갖는 대상 화상 중에서 주목하는 대상 화상보다 더 많은 특징량을 갖는 대상 화상 각각에 대해 이음 위치를 결정하는 단계와,
    주목하는 대상 화상에 대하여, 상기 주목하는 대상 화상보다 더 많은 특징량을 갖는 대상 화상의 이음 위치에 따라, 상기 제2 입력 화상과의 이음 위치를 결정하는 단계
    를 포함하고,
    상기 이음 위치를 결정하는 단계는,
    상기 주목하는 대상 화상과, 주변 대상 화상 중 하나 이상의 화상 사이의 특징량의 상대적인 관계에 기초하여, 상기 주목하는 대상 화상에 대한 임시 위치를 산출하는 단계와,
    상기 주목하는 대상 화상에 대한 임시 위치에 기초하여, 상기 주목하는 대상 화상과 상기 제2 입력 화상의 부분과의 매칭을 계산하는 단계
    는 포함하는 것인 컴퓨터 판독 가능한 기록 매체.
17. 컴퓨터에 의해 실행되는, 복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 화상 처리 방법에 있어서,
    상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하는 단계와,
    각각의 상기 대상 화상에 대해, 특징량을 산출하는 단계와,
    산출된 특징량에 따른 평가 방법을 이용하여, 상기 대상 화상 중에서 주목하는 대상 화상과, 상기 제2 입력 화상의 부분과의 매칭을 계산하는 단계
    를 포함하는 화상 처리 방법.
18. 프로그램이 저장되어 있는 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은 컴퓨터로 하여금, 복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 처리를 실행하게 하고, 상기 처리는,
    상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하는 단계와,
    각각의 상기 대상 화상에 대해 특징량을 산출하는 단계와,
    산출된 특징량에 따른 평가 방법을 이용하여, 상기 대상 화상 중에서 주목하는 대상 화상과, 상기 제2 입력 화상의 부분과의 매칭을 계산하는 단계
    를 포함하는 것인 컴퓨터 판독 가능한 기록 매체.
19. 복수의 입력 화상 사이의 복수의 이음 위치를 검출하는 화상 처리 시스템에 있어서,
    촬상 유닛과,
    상기 촬상 유닛에 의해 촬상된 복수의 각각의 방위에 대한 복수의 촬상 화상으로부터 상기 입력 화상을 취득하도록 구성된 취득 유닛과,
    상기 입력 화상 중 제1 입력 화상으로부터, 상기 입력 화상 중 제2 입력 화상 내에서 탐색되는 복수의 대상 화상을 생성하도록 구성된 대상 화상 생성 유닛과,
    상기 대상 화상 생성 유닛에 의해 생성된 복수의 대상 화상 각각에 대하여, 특징량을 산출하도록 구성된 특징량 산출 유닛과,
    상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상 중에서 주목하는 대상 화상에 대하여, 상기 주목하는 대상 화상보다 더 많은 특징량을 갖는 주변 대상 화상의 이음 위치에 따라, 상기 제2 입력 화상과의 이음 위치를 결정하도록 구성된 이음 위치 결정 유닛
    을 포함하고,
    상기 이음 위치 결정 유닛은, 상기 주목하는 대상 화상의 특징량보다 더 많은 특징량을 갖는 주변 대상 화상의 이음 위치에 따라, 상기 특징량 산출 유닛에 의해 특징량이 산출된 대상 화상 중에서 주목하는 대상 화상에 대하여 상기 제2 입력 화상과의 이음 위치를 결정하도록 구성되며,
    상기 이음 위치를 결정하는 것은,
    상기 주목하는 대상 화상과, 상기 주변 대상 화상 중 하나 이상의 화상 사이의 특징량의 상대적인 관계에 기초하여, 상기 주목하는 대상 화상에 대한 임시 위치를 산출하는 것과,
    상기 주목하는 대상 화상에 대한 임시 위치에 기초하여, 상기 주목하는 대상 화상과 상기 제2 입력 화상의 부분과의 매칭을 계산하는 것
    을 포함하는 것인 화상 처리 시스템.

Images