KR20180113601A

KR20180113601A - 화상 처리 시스템, 화상 처리 방법 및 프로그램

Info

Publication number: KR20180113601A
Application number: KR1020187027055A
Authority: KR
Inventors: 마사토 다카다; 마코토 쇼하라; 히데카즈 스즈키; 고우이 사가와
Original assignee: 가부시키가이샤 리코
Priority date: 2016-03-22
Filing date: 2016-12-27
Publication date: 2018-10-16
Also published as: CN108886562A; EP3435652A1; WO2017163527A1; CN108886562B; EP3435652A4; JP6687103B2; JPWO2017163527A1; US20190020818A1; US10750087B2

Abstract

복수의 촬상 화상을 생성하는 촬상 장치와, 상기 촬상 장치에 접속되는 적어도 하나의 정보 처리 장치를 구비하는 화상 처리 시스템이 제공된다. 상기 정보 처리 장치는, 상기 촬상 장치로부터, 상기 복수의 촬상 화상 중 적어도 제1 촬상 화상 및 제2 촬상 화상을 각각 입력하고, 상기 제1 촬상 화상을 변환하는 데 이용되는 제1 변환 데이터 및 상기 제2 촬상 화상을 변환하는 데 이용되는 제2 변환 데이터를 각각 취득하고, 상기 제1 변환 데이터 및 상기 제2 변환 데이터에 기초하여 제1 촬상 화상 및 제2 촬상 화상을 변환함으로써 생성되는 각각의 변환 화상을 서로 연결하여 출력 화상을 생성한다.

Description

화상 처리 시스템, 화상 처리 방법 및 프로그램

본 발명은, 화상 처리 시스템, 화상 처리 방법 및 프로그램에 관한 것이다.

복수의 화상을 연결하여 하나의 화상을 생성하는 방법이 알려져 있다.

예컨대, 화상 처리 장치가, 먼저, 복수의 화상 사이의 연결 위치를 검출하고, 검출 결과에 기초하여 변환 데이터를 수정하는 것이 알려져 있다. 다음으로, 화상 처리 장치는, 수정된 변환 데이터를 회전 좌표 변환하여, 화상 합성용 변환 데이터를 생성한다. 이와 같이 하여, 화상 처리 장치는, 왜곡이 큰 렌즈 광학계를 이용하는 경우에도, 촬상된 복수의 화상을 고정밀도로 서로 연결하는 방법을 실행한다(예컨대, 특허문헌 1 참조).

그러나, 종래의 방법을 이용하여 복수의 화상을 서로 정밀도 좋게 연결하는 것이 어려운 경우가 있다.

본 발명의 하나의 측면은, 복수의 화상을 서로 정밀도 좋게 연결하는 것을 목적으로 한다.

본 발명의 일 실시형태에 따르면, 복수의 촬상 화상을 생성하는 촬상 장치와, 상기 촬상 장치에 접속되는 적어도 하나의 정보 처리 장치를 구비하는 화상 처리 시스템이 제공된다. 상기 정보 처리 장치는, 상기 촬상 장치로부터, 상기 복수의 촬상 화상 중 적어도 제1 촬상 화상 및 제2 촬상 화상을 각각 입력하는 입력부와, 상기 제1 촬상 화상을 변환하는 데 이용되는 제1 변환 데이터 및 상기 제2 촬상 화상을 변환하는 데 이용되는 제2 변환 데이터를 각각 취득하는 취득부와, 상기 제1 변환 데이터에 기초한 제1 촬상 화상 및 상기 제2 변환 데이터에 기초한 제2 촬상 화상을 변환함으로써 생성되는 변환 화상들을 서로 연결하여 출력 화상을 생성하는 생성부를 구비한다.

본 발명의 일 양태에 따르면, 복수의 화상을 보다 정밀도 좋게 서로 연결할 수 있다.

도 1은 본 발명의 일 실시형태에 따른 촬상 장치의 일례를 설명하는 제1 외관도이다.
도 2는 본 발명의 일 실시형태에 따른 촬상 장치의 일례를 설명하는 제2 외관도이다.
도 3은 본 발명의 일 실시형태에 따른 촬상 장치의 하드웨어 구성의 일례를 설명하는 블록도이다.
도 4는 본 발명의 일 실시형태에 따른 어안 렌즈의 일례를 설명하는 제1 다이어그램이다.
도 5는 본 발명의 일 실시형태에 따른 어안 렌즈의 일례를 설명하는 제2 다이어그램이다.
도 6은 본 발명의 일 실시형태에 따른 중복 영역의 일례를 설명하는 제1 디이어그램이다.
도 7은 본 발명의 일 실시형태에 따른 중복 영역의 일례를 설명하는 제2 다이어그램이다.
도 8은 본 발명의 일 실시형태에 따른 중복 영역의 일례를 설명하는 제3 다이어그램이다.
도 9는 본 발명의 일 실시형태에 따른 중복 영역의 일례를 설명하는 제4 다이어그램이다.
도 10은 본 발명의 일 실시형태에 따른 화상 처리 시스템에 있어서의 정보 처리 장치의 소프트웨어 구성의 일례를 설명하는 블록도이다.
도 11은 본 발명의 일 실시형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도이다.
도 12는 본 발명의 일 실시형태에 따른 화상 처리 시스템에 있어서의 정보 처리 장치에 의해 실시되는 전체 처리의 일례를 도시하는 플로우차트이다.
도 13은 본 발명의 일 실시형태에 따른 출력 화상의 일례를 설명하는 다이어그램이다.
도 14는 본 발명의 일 실시형태에 따른 촬상 화상의 일례를 설명하는 다이어그램이다.
도 15는 본 발명의 일 실시형태에 따른 변환 데이터를 이용한 변환 공정의 일례를 설명하는 다이어그램이다.
도 16은 본 발명의 일 실시형태에 따른 회전 변환 공정의 일례를 설명하는 다이어그램이다.
도 17은 본 발명의 일 실시형태에 따른 정보 처리 장치에 의한 연결 공정(stitching process)의 일례를 설명하는 플로우차트이다.
도 18은 본 발명의 일 실시형태에 따른 정보 처리 장치에 의한 연결 위치 검출 공정의 일례를 설명하는 플로우차트이다.
도 19는 본 발명의 일 실시형태에 따른 연결 위치 검출 공정에 있어서의 패턴 매칭의 일례를 설명하는 제1 다이어그램이다.
도 20은 본 발명의 일 실시형태에 따른 연결 위치 검출 공정에 있어서의 패턴 매칭의 일례를 설명하는 제2 다이어그램이다.
도 21은 본 발명의 일 실시형태에 따른 출력 화상 생성 공정의 일례를 설명하는 다이어그램이다.
도 22는 본 발명의 일 실시형태에 따른 화상 처리 시스템의 기능 구성의 일례를 설명하는 기능 블록도이다.

이하, 본 발명의 실시형태에 관해서 설명한다. 우선, 본 발명의 실시형태에 따른 화상 처리 시스템에 구비되는 촬상 장치를 설명한다.

<천구 카메라의 예>

도 1 및 도 2는, 본 발명의 일 실시형태에 따른 촬상 장치의 일례를 설명하는 외관도이다. 예컨대, 촬상 장치는, 도 1 및 도 2에 도시하는 바와 같은 천구 카메라(1; omnidirectional camera)일 수 있다. 이하, 천구 카메라(1)를 촬상 장치로서 이용하는 예를 설명한다. 천구 카메라(1)는, 촬상 위치로부터 360° 등과 같이 넓은 범위를 촬상하는 장치이다.

구체적으로는, 도 1은, 촬상 장치의 일례를 설명하는 외관도이다. 도 1에 도시하는 바와 같이, 천구 카메라(1)는, 렌즈(1H1)와, 렌즈(1H2)와, 제1 촬상 소자(1H3)와, 제2 촬상 소자(1H4)와, 스위치(1H5)를 갖는다. 천구 카메라(1)는, 예컨대 촬상 소자 및 렌즈를 각각 구비하는 3개 이상의 광학계를 구비할 수도 있다. 이하, 천구 카메라(1)가 2개의 촬상 소자 및 2개의 렌즈를 구비하는 구성을 예로 설명한다.

렌즈(1H1) 및 렌즈(1H2)는, 예컨대, 180° 이상의 화각을 갖는 소위 어안 렌즈 또는 광각 렌즈일 수 있다.

제1 촬상 소자(1H3) 및 제2 촬상 소자(1H4)는, 렌즈(1H1) 및 렌즈(1H2)에 의해서 입사하는 광을 전기 신호로 변환하여 촬상 화상을 촬상한다. 즉, 제1 촬상 소자(1H3) 및 제2 촬상 소자(1H4)는, 예컨대, CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있다. 이하, 제1 촬상 소자(1H3)가 촬상한 화상에 기초하여 천구 카메라(1)가 출력하는 촬상 화상을 "제1 촬상 화상”이라 한다. 다른 한편으로, 제2 촬상 소자(1H4)가 촬상한 화상에 기초하여 천구 카메라(1)가 출력하는 촬상 화상을 "제2 촬상 화상”이라 한다. 제1 촬상 화상 및 제2 촬상 화상은, 예컨대 제1 및 제2 촬상 소자(1H3, 1H4)에 의한 촬상 후, 화상 보정 등의 화상 처리가 실시된 화상일 수도 있다.

스위치(1H5)는, 천구 카메라(1)에 각종 처리를 시작하게 하는 트리거(trigger)를 구성하는 조작을 사용자가 실시할 수 있게 하기 위한 장치이다. 스위치(1H5)의 사용 방법은 후술한다.

도 2는, 본 발명의 일 실시형태에 따른 중복 영역(2)의 일례를 설명하는 다이어그램이다. 도 2에 도시하는 바와 같이, 중복 영역(2)은, 예컨대, 제1 촬상 소자(1H3) 및 제2 촬상 소자(1H4)가 중복하여 촬상한 영역에 대응할 수 있다. 즉, 중복 영역(2)에 있는 피사체는, 제1 촬상 화상 및 제2 촬상 화상의 양자 모두에서 촬상된다.

스위치(1H5)를 누르면, 천구 카메라(1)는, 제1 촬상 소자(1H3) 및 제2 촬상 소자(1H4)에 노광을 실시하여 촬상한다.

이하에서 설명하는 전체 구성의 예에서는, 천구 카메라(1)가 네트워크 I/F(interface) 등을 구비하고, 천구 카메라(1)가 PC(Personal Computer) 등의 정보 처리 장치에 접속된다. 즉, 본 발명의 일 실시형태에 따른 화상 처리 시스템은, 천구 카메라(1)와, 정보 처리 장치를 갖는다. 예컨대, 화상 처리 시스템에서는, 천구 카메라(1)에 의해서 생성되는 복수의 촬상 화상이 정보 처리 장치에 송신되고, 정보 처리 장치가 천구 카메라(1)로부터 송신되는 각각의 촬상 화상을 화상 처리할 수 있다. 천구 카메라(1)는, 예컨대, 이하와 같은 하드웨어 구성을 가질 수 있다.

<천구 카메라의 하드웨어 구성의 예>

도 3은, 본 발명의 일 실시형태에 따른 촬상 장치의 하드웨어 구성의 일례를 설명하는 블록도이다. 예컨대, 도 1 및 도 2에 도시하는 하드웨어에 더하여, 천구 카메라(1)는, 컨트롤러(1H10)와, SDRAM(Synchronous Dynamic Random Access Memory; 1H6)와, 스토리지(1H7)를 갖는다.

컨트롤러(1H10)는, SRAM(Static Random Access Memory; 1H11)과, ROM(Read-Only Memory; 1H12)과, 화상 처리 회로(1H13)를 갖는다. 또한, 컨트롤러(1H10)는, SDRAM I/F(1H14)와, 스토리지 I/F(1H15)와, CPU(Central Processing Unit; 1H16)를 갖는다. 제1 촬상 소자(1H3) 및 제2 촬상 소자(1H4)는, 화상 처리 회로(1H13)에 접속된다. 또한, SDRAM(1H6)은, SDRAM I/F(1H14)에 접속된다. 또한, 스토리지(1H7)는, 스토리지 I/F(1H15)에 접속된다. 또한, 스위치(1H5)는, CPU(1H16)에 접속된다.

SRAM(1H11) 및 ROM(1H12)은, 기억 장치이다. SRAM(1H11)은, CPU(1H16)가 사용하는 프로그램 및 중간 데이터를 포함한 각종 데이터를 기억한다.

화상 처리 회로(1H13)는, 촬상되는 화상을 입력하고, 입력 화상에 대해 화이트 밸런스(white balance) 등의 화상 보정 처리를 한다. 화상 처리 회로(1H13)는, 예컨대 ASIC(Application Specific Integrated Circuit) 또는 PLD(Programmable Logic Device)에 의해 구현될 수 있다.

SDRAM I/F(1H14)는, SDRAM(1H6)에 대하여 데이터를 입출력하기 위한 인터페이스이다. 또한, SDRAM(1H6)은, 각종 데이터를 기억하는 기억 장치이다. SDRAM I/F(1H14)는, 예컨대 CPU(1H16) 및 화상 처리 회로(1H13)가 이용하는 화상 데이터 등의 각종 데이터를 입출력한다.

스토리지 I/F(1H15)는, 스토리지(1H7)에 대하여 데이터를 입출력하기 위한 인터페이스이다. 또한, 스토리지(1H7)는, 각종 데이터를 기억하는 기억 장치이다. 스토리지 I/F(1H15)는, 예컨대, 화상 처리 회로(1H13)에 의해 화상 처리된 화상을 나타내는 데이터를 스토리지(1H7)에 기억시킨다.

CPU(1H16)는, 처리를 실현하기 위한 연산을 하는 연산 장치 및 천구 카메라(1)의 하드웨어를 제어하는 제어 장치이다. 천구 카메라(1)는, 예컨대, 처리의 전부 또는 일부를 처리하는 내부 또는 외부 연산 장치를 갖는 하드웨어 구성을 가질 수도 있다.

또한, 천구 카메라(1)의 렌즈, 즉 도 1에 도시하는 렌즈(1H1) 및 렌즈(1H2)는, 예컨대, 이하와 같은 구성을 가질 수 있다.

도 4 및 도 5는, 본 발명의 일 실시형태에 따른 어안 렌즈의 일례를 설명하는 다이어그램이다. 구체적으로는, 도 4는, 본 발명의 일 실시형태에 따른 어안 렌즈를 이용하는 구성에 있어서의 입사 각도와 상고(image height)의 관계의 일례를 도시하는 단면도이다. 다른 한편으로, 도 5는, 본 발명의 일 실시형태에 따른 어안 렌즈를 이용하는 구성에 있어서의 입사 각도와 상고의 관계의 일례를 도시하는 평면도이다. 도 5에서는, 검게 칠한 범위가, 광이 입사하지 않는 범의 일례를 도시한다. 이하, 렌즈(1H1) 및 렌즈(1H2)가 어안 렌즈인 경우를, 렌즈(1H1)를 예로 하여 설명한다.

렌즈(1H1)를 이용하여, 천구 카메라(1)의 촬상 위치로부터 반구의 범위를 덮는 화상을 촬상할 수 있다. 렌즈(1H1)에 입사하는 광의 입사 각도를 입사 각도(α)로 나타내고, 화상의 중심으로부터 입사 각도(α)의 광이 결상하는 위치까지의 거리를 상고(h)로 나타내고, 입사 각도(α)와 상고(h)의 관계를 도시하는 함수를 사영 함수[f(α)]라 한다. 사영 함수[f(α)]는, 렌즈(1H1)의 성질 및 사양에 따라 렌즈마다 다르다. 예컨대, 렌즈(1H1)가 등거리 사영 방식의 렌즈인 경우에, 사영 함수[f(α)]는, 상고(h)와 입사 각도(α)의 비례 관계를 나타내는 함수로 된다. 이하, 렌즈(1H1)가 등거리 사영 방식의 렌즈인 경우의 예를 설명한다.

<중복 영역의 예>

도 6 내지 도 9는, 본 발명의 일 실시형태에 따른 중복 영역의 일례를 설명하는 다이어그램이다. 도 6 내지 도 9에서는, 제1 화상(3) 및 제2 화상(4)이 제1 및 제2 촬상 소자(1H3, 1H4)에 의해서 촬상된 화상들에 대응하는 경우를 예로 설명한다. 또한, 도 5에서와 같이, 도 6 내지 도 9의 검게 칠한 범위는, 광이 입사하지 않는 범위의 일례를 나타낸다. 또한, 제1 화상(3) 및 제2 화상(4)은, 각각 중복 영역(2)(도 2)을 나타내는 화소를 갖는다. 예컨대, 도 6 내지 도 9에 도시하는 바와 같이, 중복 영역(2)은, 90° 이상의 입사 각도(α)로 촬상될 수 있다. 구체적으로는, 제1 화상(3)에서는, 중복 영역(2)은, 예컨대 도 6에 도시하는 바와 같은 제1 범위(31)에 대응할 수 있다. 마찬가지로, 제2 화상(4)에서는, 중복 영역(2)은, 예컨대 도 7에 도시하는 바와 같은 제2 범위(41)에 대응할 수 있다. 이와 같이, 중복 영역(2)은, 예컨대, 각 화상에 있어서, 입사 각도(α)가 90°에 대응하는 화소의 외측의 범위에서 촬상되는 촬상 범위에 대응할 수 있다.

이하, 제1 화상(3)은, 중복 영역(2)을 나타내는 제1 화소를 갖는 것으로 한다. 예컨대, 제1 화소는, 제1 범위(31) 내의 화소일 수 있다. 마찬가지로, 제2 화상(4)은, 중복 영역(2)을 나타내는 제2 화소를 갖는 것으로 한다. 예컨대, 제2 화소는, 제2 범위(41) 내의 화소일 수 있다. 예컨대, 상기 화상들을 연결할 때에, 제1 화소 및 제2 화소를 이용하여 연결 위치를 계산할 수 있다. 화상들의 연결 위치 계산하는 데에 이용되는 범위는, 제1 범위(31) 및 제2 범위(41)의 전체 범위가 아닐 수도 있다. 구체적으로는, 예컨대, 이하의 범위를 이용하여 화상들의 연결 위치를 계산할 수도 있다.

도 8 및 도 9는, 본 발명의 일 실시형태에 따른 촬상 화상에 있어서의 각종 처리에 사용되는 중복 영역의 일례를 설명하는 다이어그램이다. 도 8 및 도 9에 도시하는 바와 같이, 화상들의 연결 위치를 계산하는 데에 사용되는 범위는, 제1 범위(31) 및 제2 범위(41) 중 일부일 수 있다. 예컨대, 제1 사용 범위(32)는 제1 범위(31)의 일부이다. 제1 사용 범위(32)는, 화상들을 서로 연결하는 연결 위치의 계산 등과 같은 처리에 사용될 수 있는 제1 범위(31)의 일부의 예이다. 마찬가지로, 제2 사용 범위(42)는 제2 범위(41)의 일부이다. 제2 사용 범위(42)는 화상들을 서로 연결하는 위치의 계산 등과 같은 처리에 사용될 수 있는 제2 범위(41)의 일부의 예이다. 또한, 상기 화상은 각각, 상고(h)가 높아질수록, 즉 화상의 외측 범위에 위치하는 화상일수록 왜곡 및 수차 등이 악화되는 경우가 많다.

이와 관련하여, 제1 사용 범위(32) 및 제2 사용 범위(42)는, 제1 범위(31) 및 제2 범위(41)에 있어서 상고(h)가 낮은 범위의 부분으로 한정되는 것이 바람직하다. 즉, 정보 처리 장치 등은, 왜곡 및 수차 등이 적은 제1 사용 범위(32) 및 제2 사용 범위(42)를 이용하여, 정밀도 좋게 각 화상을 서로 연결하는 위치를 계산할 수 있다.

이하에서, 촬상 장치의 예인 천구 카메라(1)에 네트워크, 케이블 등을 통해 접속되는 정보 처리 장치를 설명한다. 예컨대, 본 발명의 일 실시형태에 따른 화상 처리 시스템(10)은, 이하와 같은 소프트웨어 구성의 정보 처리 장치 및 촬상 장치를 구비할 수 있다.

<소프트웨어 구성의 예>

도 10은, 본 발명의 일 실시형태에 따른 화상 처리 시스템에 있어서의 정보 처리 장치의 소프트웨어 구성의 일례를 설명하는 블록도이다. 이하에서, 도 10에 도시하는 것과 같은 소프트웨어 구성의 정보 처리 장치의 예로서 PC(50)를 설명한다. 구체적으로는, PC(50)는, 예컨대, OS(Operating System)에 의해서 구성되는 커넬부(Kernel unit; KN)를 갖는다. 또한, PC(50)는, PC(50)에 미리 인스톨되는 화상 처리 애플리케이션 소프트웨어에 의해 구성되는 애플리케이션부(AP)를 구비할 수 있다. 또한, PC(50)는, PC(50)에 미리 인스톨되는 소위 뷰어 애플리케이션 소프트웨어에 의해 구성되는 화상 출력부(VE)를 구비할 수 있다.

예컨대, 커넬부(KN)는, 예컨대, USB(Universal Serial Bus) 드라이버에 의해서 구성될 수 있다. 즉, 화상 처리 시스템(10)에서, 커넬부(KN)는, USB 등의 인터페이스에 의해서 천구 카메라(1)와 PC(50)를 서로 접속시켜, PC(50) 및 천구 카메라(1)의 사이에서 데이터를 입출력할 수 있게 한다. 또한, 커넬부(KN)는, 천구 카메라(1)로부터 입력되는 데이터를 애플리케이션부(AP)에 보낸다.

애플리케이션부(AP)는, 천구 카메라(1)로부터 커넬부(KN)에 입력하는 촬상 화상을 화상 처리하고, 화상 출력부(VE)가 사용자(UR)에게 표시하는 출력 화상을 생성한다. 촬상 화상에 대해 실행한 화상 처리의 상세는, 후술한다.

화상 출력부(VE)는, 애플리케이션부(AP)가 생성하는 출력 화상을 사용자(UR)에게 표시한다. 또한, 화상 출력부(VE)는, GUI(Graphical User Interface) 등을 매개로 사용자(UR)의 조작을 입력할 수도 있다. 예컨대, 화상 출력부(VE)는, 화상 연결 등의 화상 처리에 관련한 설정치를 사용자가 신속하게 설정하게 할 수 있다. 또한, 화상 출력부(VE)는, 입력된 설정치를 애플리케이션부(AP)에 보낼 수 있다. 이와 같이 하여, 애플리케이션부(AP)가 화상 처리에 이용하는 설정치가 입력될 수도 있다. 화상 처리에 관련한 설정치 등의 상세는, 후술한다. 또한, 설정치를 입력하기 위한 GUI는, 화상 출력부(VE)가 표시하는 것에 한정되지 않는다. 즉, GUI는, 예컨대 다른 소프트웨어에 의해 표시될 수도 있다.

<정보 처리 장치의 하드웨어 구성의 예>

도 11은, 본 발명의 일 실시형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도이다. 예컨대, PC(50)는, 이하와 같은 하드웨어 구성의 컴퓨터일 수 있다.

도 11에 있어서, PC(50)는, CPU(Central Processing Unit; 50H1), ROM(Read-Only Memory; 50H2) 및 RAM(Random Access Memory; 50H3)를 갖는다. 또한, PC(50)는, 외부 I/F(50H4), 통신 장치(50H6), 입력 장치(50H7), 출력 장치(50H8) 및 기억 장치(50H9)를 갖는다.

CPU(50H1)는, 처리를 실현하기 위한 연산 및 데이터의 가공을 실행하는 연산 장치 및 PC(50)의 하드웨어를 제어하는 제어 장치이다.

ROM(50H2)은, 펌 웨어 등의 프로그램을 기억하는 기억 장치이다.

RAM(50H3)은, 연산 등을 실행하기 위한 작업 영역으로서 사용되는 기억 장치이다.

외부 I/F(50H4)는, 접속되는 USB 메모리 등의 기록 매체(50H5)에 대하여 파일 등을 입출력하는 인터페이스이다. 예컨대, 외부 I/F(50H4)는, 커넥터, 케이블 및 드라이버 등일 수 있다.

통신 장치(50H6)는, 네트워크 등을 통해 프린터(PR1) 등의 외부 장치와 통신하는 장치이다. 예컨대, 통신 장치(50H6)는, 커넥터, 케이블 및 드라이버 등일 수 있다.

입력 장치(50H7)는, 사용자에 의한 조작 및 PC(50)에 접속되는 외부 장치로부터의 데이터를 입력하는 인터페이스이다. 예컨대, 입력 장치(50H7)는, 키보드, 마우스 또는 이들의 조합일 수 있다. 또한, 입력 장치(50H7)는, 예컨대 키보드 또는 촬상 장치 등의 외부 장치를 PC(50)에 접속시키는 커넥터 및 드라이버 등일 수 있다.

출력 장치(50H8)는, 사용자에게 정보를 표시하고 PC(50)에 접속되는 외부 장치에 데이터를 출력하는 인터페이스이다. 예컨대, 출력 장치(50H8)는, 디스플레이 등일 수 있다. 또한, 출력 장치(50H8)는, 예컨대 디스플레이를 PC(50)에 접속시키는 커넥터 및 드라이버 등을 포함할 수 있다.

기억 장치(50H9)는, 입력 데이터 및 프로그램 등을 기억한다. 기억 장치(50H9)는, 주 기억 장치 및 보조 기억 장치 등을 포함할 수 있다.

정보 처리 장치의 하드웨어 구성은, 도시하는 구성으로 한정되지 않는다. 예컨대, 하드웨어 구성은, 연산 장치, 제어 장치 또는 기억 장치 등을 내부 또는 외부에 더 구비할 수도 있다. 또한, 정보 처리 장치는, 하나의 장치 대신에, 복수의 장치로 구성될 수도 있다.

<전체 처리의 예>

도 12는, 본 발명의 일 실시형태에 따른 화상 처리 시스템에 있어서의 정보 처리 장치에 의한 전체 처리의 일례를 도시하는 플로우차트이다. 예컨대, 화상 처리 시스템에 있어서, PC는, 천구 카메라(1)로부터 입력되는 촬상 화상에 대하여 이하와 같은 처리를 행할 수 있다.

스텝 S101에서, PC는 변환 데이터를 취득한다. PC는 촬상 소자마다 변환 데이터를 취득한다. 즉, 도 1에 도시하는 천구 카메라(1)가 PC에 접속되는 경우에, PC는, 2개의 촬상 소자(1H3, 1H4) 각각에 대한 변환 데이터를 취득한다. 이하, 도 1에 도시하는 바와 같이 제1 촬상 소자(1H3)에 대한 변환 데이터를 "제1 변환 데이터”라고 한다. 마찬가지로, 도 1에 도시하는 바와 같이 제2 촬상 소자(1H4)에 대한 변환 데이터를 "제2 변환 데이터”라고 한다. 즉, 이 예에서는, PC는, 천구 카메라(1)로부터 제1 변환 데이터와 제2 변환 데이터를 각각 취득한다.

또한, 제1 변환 데이터 및 제2 변환 데이터는 천구 카메라마다 다르기 때문에, 다른 천구 카메라가 PC에 접속되면, PC는, 새롭게 접속된 천구 카메라로부터 제1 변환 데이터 및 제2 변환 데이터를 취득한다.

이하, 제1 변환 데이터에 기초하는 변환에 의해서 생성되는 화상, 즉 제1 촬상 화상을 변환하여 생성하는 화상을 "제1 변환 화상”이라고 한다. 다른 한편으로서, 제2 변환 데이터에 기초하는 변환에 의해서 생성되는 화상, 즉 제2 촬상 화상을 변환하여 생성하는 화상을 "제2 변환 화상”이라고 한다.

변환 데이터는, 천구 카메라 등의 특정의 촬상 장치와 관련하여 기억될 수도 있다. 즉, PC는, 촬상 장치마다, 제1 변환 데이터 및 제2 변환 데이터를 취득하고 기억할 수 있다. 예컨대, 변환 데이터는, 각각의 천구 카메라를 고유하게 식별할 수 있는 ID(Identification) 또는 식별 번호 등의 식별 데이터를 구비할 수도 있다. 천구 카메라가 PC에 접속되면, PC는, 접속된 천구 카메라의 식별 번호를 취득하고, 접속된 천구 카메라의 취득 식별 번호를 PC에 기억된 이전에 취득한 변환 데이터에 포함되는 식별 데이터(식별 번호)와 대조한다.

접속된 천구 카메라의 식별 번호와 동일한 식별 번호와 관련한 변환 데이터를 PC에 기억하고 있는 경우에, PC는, 관련 식별 데이터에 의해 특정되는 변환 데이터를 사용할 수 있다. 즉, PC는, 변환 데이터에 포함된 식별 데이터에 기초하여, 각 촬상 장치에 대한 변환 데이터를 사용할 수 있다.

예컨대, 변환 데이터는, 하기 표 1에 의해 표시되는 것과 같은 LUT(Look Up Table) 형식의 데이터일 수 있다.

변환후 좌표		변환전 좌표
θ(화소)	φ(화소)	x(화소)	y(화소)
0	0
1	0
2	0
…	…	…	…
3597	1799
3598	1799
3599	1799

상기 표 1에 나타내는 바와 같이, 변환 데이터는, 변환 전의 좌표와 변환 후의 좌표를 연관시키는 데이터이다. 또한, 변환 데이터는 천구 카메라마다 다르다. 천구 카메라의 파라미터는 장치마다 다르다. 그 때문에, 파라미터의 영향을 받는 변환 데이터도 천구 카메라마다 다르다. 구체적으로는, 변환 데이터는, 소위 메쉬 파일 등일 수 있다. 즉, 변환 데이터는, 예컨대, OpenGL(등록상표)에 있어서 텍스쳐 매핑할 때에 이용되는 데이터일 수 있다. 또한, 촬상 화상이 변환 데이터에 기초하여 변환되면, 촬상 화상은, 출력 화상의 일부로서 배치되고, 또한 왜곡 보정 등의 화상 처리가 행해진다. 변환 데이터를 이용한 화상 처리의 상세는, 후술하는 스텝 S103로 참고로 설명한다.

도 12를 다시 참조하면, 스텝 S102에서, PC는, 복수의 촬상 화상을 입력한다. 즉, 스텝 S102에서, PC에 접속되는 천구 카메라로부터 복수의 촬상 화상을 입력한다. 구체적으로는, 도 1의 천구 카메라(1)가 연결되어 있는 예에서는, PC는, 2개의 촬상 화상을 입력한다. 즉, 도 1의 천구 카메라(1)가 연결되어 있는 예에서는, PC는 제1 촬상 화상 및 제2 촬상 화상을 입력한다.

스텝 S103에서, PC는, 입력 촬상 화상의 변환 화상을 서로 연결하여 출력 화상을 생성한다. 우선, 스텝 S103에서, PC는, 변환 데이터에 기초하여 입력 촬상 화상을 변환하여 변환 화상을 생성한다. 구체적으로는, PC는, 예컨대 이하와 같은 변환 공정을 실행할 수 있다.

도 13 및 도 14는, 본 발명의 일 실시형태에 따른 출력 화상 및 촬상 화상의 일례를 설명하는 다이어그램이다. 예컨대, 도 12의 스텝 S103에서, PC는, 도 13에 도시한 바와 같은 형식의 출력 화상(IMGOUT)을 생성하여 출력할 수 있다. 즉, 출력 화상(IMGOUT)은, 예컨대, 정거 원통 화상일 수 있다. 다른 한편으로, 도 12의 스텝 S102에서, PC는, 예컨대 도 14에 도시하는 형식의 복수의 촬상 화상을 입력할 수 있다. 도 13 및 도 14로부터 알 수 있는 바와 같이, 촬상 화상 및 출력 화상의 각 화소는, 소정의 축에 대한 각도(이하, "수직 각도(φ)”라고 함)와, 수직 각도(φ)에 직교하는 각도(이하, "수평 각도(θ)”라고 함)를 나타내는 좌표치들에 의해 특정된다. 이하, 수평 각도(θ)는, 0° 내지 360°의 범위인 것으로 한다. 그러나, 수평 각도(θ)는, 예컨대 -180° 내지 180°의 범위일 수도 있다. 또한, 수직 각도(φ)는, 0° 내지 180°의 범위인 것으로 한다. 그러나, 수직 각도(φ)는, 예컨대 -90° 내지 90°의 범위일 수도 있다. 각 촬상 화상의 각 화소가 상기 표1에 나타내는 바와 같은 변환 데이터를 기초로 변환되면, 변환 화상이 생성된다. 생성된 변환 화상을 서로 연결하면, 출력 화상이 생성된다. 구체적으로는, 예컨대 이하와 같은 변환 공정이 행해진다.

도 15는, 본 발명의 일 실시형태에 따른 변환 데이터를 이용한 변환 공정의 일례를 설명하는 다이어그램이다. 구체적으로, 출력 화상(IMGOUT)의 예를 도 15의 (A)에 도시한다. 다른 한편으로, 촬상 화상의 예를 도 15의 (B)에 도시한다. 먼저, PC는, 상기 표 1에 나타내는 변환 데이터에 기초하여 촬상 화상을 변환한다. 도 15에 도시하는 바와 같이, 상기 표 1에 나타내는 변환 데이터에 기초하여, 촬상 화상의 각 화소는, PC에 의해서 출력 화상(IMGOUT) 상의 대응 좌표에 맵핑된다. 즉, 상기 표 1에 나타내는 변환 데이터는, 평면 좌표계(x, y)에 의해 규정되는 촬상 화상의 화소를 구면 좌표계(θ, φ)에 사영시키기 위한 데이터이다. 변환 데이터에는, 예컨대 도 4 및 도 5를 참고로 설명하는 것과 같은 사영 관계가 렌즈의 사양 등에 의해서 반영된다. 즉, 변환 데이터에 기초하여 화상 변환을 실시하면, 화상의 왜곡, 수차 등이 보정될 수 있다. 본 발명의 일 실시형태에 따른 변환 공정은, 예컨대 이하와 같은 회전 변환을 실행하는 것을 포함할 수도 있다.

도 16은, 본 발명의 일 실시형태에 따른 회전 변환 공정의 일례를 설명하는 다이어그램이다. 이하에서는, 도 16의 (A) 및 (B)에서 도시하는 것과 같은 촬상 화상에 기초하여 도 16의 (C)에 도시하는 것과 같은 출력 화상(IMGOUT)이 출력되는 예를 설명한다. 도시된 예에서와 같이, 제1 촬상 소자(1H3)(도 1) 및 제2 촬상 소자(1H4)(도 1)의 방위에 따라, 하나의 촬상 화상이 다른 촬상 화상에 대하여 거꾸로(업사이드 다운) 될 수 있다. 즉, 촬상 화상들의 상하 방향이, 예컨대 반대로 될 수도 있다. 이러한 경우에, 촬상 화상들은, 하나의 촬상 화상에서 촬영된 피사체가 다른 촬상 화상에서 촬영된 피사체에 대하여 뒤집힌(업사이드 다운) 소위 "업사이드 다운)" 상태로 있을 수 있다. 이 경우에, PC는, 촬상 화상의 "업사이드 다운" 방위를 보정하는 회전 변환을 실시할 수도 있다. 구체적으로, 이 예에서, PC는, 도 16의 (B)에 도시하는 촬상 화상의 상하를 반전시키는 회전 변환을 더욱 실행하여, 도 16의 (C)에 도시한 바와 같은 출력 화상(IMGOUT)을 생성할 수도 있다.

그리고, PC는, 변환 데이터에 기초하여 생성된 변환 화상을 서로 연결하여 출력 화상을 생성하고, 생성된 출력 화상을 출력할 수 있다. 예컨대, 연결 조작은, 이하에서 설명하는 바와 같은 처리 조작을 포함할 수 있다.

도 17은, 본 발명의 일 실시형태에 따른 정보 처리 장치에 의한 연결 공정의 일례를 설명하는 플로우차트이다. 도 17의 공정은, 예컨대, 도 12의 스텝 S103의 공정에 대응할 수 있다.

스텝 S201에서, PC는 연결 위치를 검출한다. 예컨대, 변환된 각 촬상 화상의 연결 위치는, 도 2에 도시하는 중복 영역(2)에서 촬상되는 피사체를 도시하는 화소를 검출함으로써 결정될 수 있다. 구체적으로는, 연결 위치의 검출은, 예컨대, 이하와 같은 공정 처리로 실현될 수 있다.

도 18은, 본 발명의 일 실시형태에 따른 정보 처리 장치에 의한 연결 위치 검출 공정의 일례를 설명하는 플로우차트이다. 예컨대, 도 17의 스텝 S201에서, 도 18의 연결 위치 검출 공정을 실행하여, 제1 변환 화상과 제2 변환 화상을 서로 연결하는 연결 위치를 검출한다. 도시하는 예에서는, 제1 변환 화상의 중복 영역(2)(도 2)이 갖는 화소(θ, φ)마다, 스텝 S301 및 스텝 S302를 반복한다. 이 예에서는, 중복 영역(2)이 갖는 화소(θ, φ)는, 구면 좌표계(θ, φ)에 있어서의 수평 각도(θ)(도 13)가 "0°”내지 "360°”인 것으로 한다. 또한, 중복 영역(2)이 갖는 화소(θ, φ)는, 구면 좌표계(θ, φ)에 있어서의 수직 각도(φ)(도 13)가 "φs” 내지 "φe”인 것으로 한다. "φs” 및 "φe”는, 렌즈의 전체 화각에 기초하여 미리 정의되는 중복 영역(2)의 개시 각도 및 종료 각도를 나타낸다. 즉, "φs” 및 "φe”는, 중복 영역(2)이 갖는 화소(θ, φ)를 이하와 같이 패턴 매칭하는 데에 사용되는 미리 설정되는 값이다.

스텝 S301에서, PC는, 패턴 매칭에 있어서 검색되는 화상(이하, "패턴 화상”이라 함)을 설정한다. 예컨대, 이하와 같은 패턴 화상이 설정될 수 있다.

도 19 및 도 20은, 본 발명의 일 실시형태에 따른 연결 위치 검출 공정에 있어서의 패턴 매칭의 일례를 설명하는 다이어그램이다. 이하, 도 19에 도시하는 바와 같은 패턴 화상(300)이 설정되는 예를 설명한다. 구체적으로는, 예컨대, 도 19에 있어서 "☆”로 표시되는 화소를 중심 화소로 하는 "11× 11 화소”의 화상이, 제1 변환 화상의 중복 영역(2)(도 2)으로부터 추출되고, 패턴 화상(300)으로서 설정된다. 구면 좌표계(θ, φ)에 있어서, 수평 각도(θ)의 양단(즉, "0°” 및 "360°”)가 서로 연결되기 때문에, 일단의 화소가 타단의 화소에 연결되는 것으로 한다.

도 18을 다시 참조하면, 스텝 S302에서, PC는, 연결 위치를 검출한다. 예컨대, 연결 위치는, 스텝 S301에서 설정되는 패턴 화상에 기초하여, 이하와 같이 검출될 수 있다.

도 20은, 제2 변환 화상의 중복 영역(2)에 있어서의 패턴 매칭에 의해 연결 위치를 검출하는 검출 방법의 예를 도시한다. 예컨대, 연결 위치는, 도 20에 도시하는 바와 같이, "시프트(Δθ, Δφ)”에 의해 표시될 수 있다. 구체적으로, 먼저, PC는, 제2 변환 화상의 중복 영역(2) 내에 있어서, 도 19의 패턴 화상(300)을 수평 각도(θ) 및 수직 각도(φ)(도 20에서는, 가로 및 세로 방향)의 방향으로 이동시킬 수 있다. 그리고, PC는, 예컨대 템플릿 매칭에 이용되는 유사도(similarity)를 계산하여 패턴 화상(300)과 제2 변환 화상의 화소들 사이의 유사도를 측정하고, 높은 유사도를 얻을 수 있는 위치와, 패턴 화상(300)의 현재 위치(도 20에 있어서 그대로의 위치) 사이의 거리를 계산할 수 있다. 유사도는, 예컨대, SAD(Sum of Absolute Difference)법 또는 SSD(Sum of Squared Difference)법을 이용하여 계산할 수 있다. 대안으로, 유사도는, 예컨대, POC(Phase-Only Correlation)법 또는 ZNCC(Zero-mean Normalized Cross-Correlation)법을 이용하여 계산될 수도 있다. 시프트(Δθ, Δφ)는 이와 같이 하여 계산되는 거리를 나타낸다. 즉, 도 20에서, "그대로의 위치”에 있는 패턴 화상(300)이 시프트(Δθ, Δφ)로 표시하는 거리만큼 이동하면, 패턴 화상(300)은, 제2 변환 화상의 중복 영역(2)이 나타내는 화상과 매치할 수 있다. 이와 같이 하여, 이 예에서, PC는, 계산되는 시프트(Δθ, Δφ)가 나타내는 위치를 연결 위치로서 검출할 수 있다.

도 17을 다시 참조하면, 스텝 S202에서, PC는, 변환 화상을 서로 연결하여 출력 화상을 생성한다. 예컨대, PC는, 이하와 같이, 제1 변환 화상과 제2 변환 화상을 서로 연결하여 출력 화상을 생성할 수 있다.

도 21은, 본 발명의 일 실시형태에 따른 출력 화상 생성 공정의 일례를 설명하는 다이어그램이다. 이하에서는, PC가 도 21에 도시하는 것과 같은 제1 촬상 화상(IMG1)과 제2 촬상 화상(IMG2)을 각각 변환하고 연결하여 출력 화상(IMGOUT)을 생성하는 경우를 설명한다.

도 21에 있어서, 제1 촬상 화상(IMG1) 및 제2 촬상 화상(IMG2)은, 대응하는 변환 데이터에 기초하여 제1 변환 화상(IMGC1) 및 제2 변환 화상(IMGC2)으로 각각 변환된다. 제1 변환 화상(IMGC1) 및 제2 변환 화상(IMGC2)은 출력 화상(IMGOUT)의 일부를 형성하도록 배치된다.

도 21에 도시하는 바와 같이, 출력 화상(IMGOUT)이 나타내는 화상 중, 제1 촬상 화상(IMG1) 또는 제2 촬상 화상(IMG2)에만 화소가 존재하는 영역에 대응하는 화상을 나타내기 위하여, 제1 촬상 화상(IMG1) 또는 제2 촬상 화상(IMG2)이 갖는 화소가 사용된다. 다른 한편으로, 출력 화상(IMGOUT)이 나타내는 화상 중, 제1 촬상 화상(IMG1) 및 제2 촬상 화상(IMG2)의 양방에 화소가 존재하는 영역에 대응하는 화상, 즉 중복 영역(2)을 나타내기 위하여, 제1 촬상 화상(IMG1) 및 제2 촬상 화상(IMG2)이 갖는 화소를 블렌드 처리 등의 처리를 행하여 사용한다. 화소들은, 예컨대 출력 화상(IMGOUT)의 화소로서 채용될 때에, 보정될 수도 있다.

전술한 바와 같이 시프트를 계산하여 연결 위치를 검출하는 경우에, 예컨대, PC는, 중복 영역(2)에 있어서 제1 변환 화상(IMGC1) 및 제2 변환 화상(IMGC2)의 화소들이 연결 위치에서 연결되도록 제1 변환 화상(IMGC1) 및 제2 변환 화상(IMGC2)을 배치한다. 연결 위치는, 예컨대 사용자의 조작에 의해서 조정될 수도 있다.

도 10에 도시한 바와 같은 구성을 갖는 화상 처리 시스템(10)에 있어서는, PC(50)는 변환 데이터를 포함한다. 이 때문에, 촬상 화상을 변환한 후, PC(50)는 출력 화상을 생성하는 데에 있어서 변환 화상을 연결할 부위를 조정할 수 있다. 천구 카메라(1) 등의 복수의 광학계를 갖는 촬상 장치는, 다른 광학계를 갖기 때문에, 각각의 촬상 화상에 있어서 시차가 있는 경우가 많다. 그 결과, 예컨대, 각각의 촬상 화상에 촬상되는 피사체까지의 거리에 따라 연결 위치가 변경될 수 있다. 구체적으로는, 하나의 촬상 화상에서 촬상되는 피사체까지의 거리는 무한대이고 다른 촬상 화상에서 촬상되는 피사체까지의 거리는 근접한 것으로 한다. 이 경우에는, 연결 위치가, 양 촬상 화상에서의 촬상 거리가 무한대인 경우와 다른 경우가 많다. 따라서 바람직한 실시형태에서는, 연결 위치를 조정할 수 있다.

연결 위치를 조정하기 위해서는, 예컨대, 우선, 사용자가, 출력되는 출력 화상(IMGOUT)을 보고, 변환 화상 중 하나를 이동시키는 이동량을 입력한다. 이하에서는, 도 21에 도시하는 바와 같이, 제2 변환 화상(IMGC2)의 위치를 이동시켜 연결 위치를 조정하는 예를 설명한다. 여기서, 조정은, 제1 변환 화상(IMGC1)의 위치를 이동시킴으로써 이루어질 수도 있다.

예컨대, 도 21에 도시하는 예에 있어서, 이동량은, 제2 변환 화상(IMGC2)의 위치를 이동시키는 수직 각도(φ) 방향의 이동량(이하, "제1 이동량(P1)”이라 함)과, 제2 변환 화상(IMGC2)의 위치를 이동시키는 수평 각도(θ) 방향의 이동량(이하, "제2 이동량(P2)”이라 함)을 나타내는 값을 포함할 수 있다. PC는, 제1 이동량(P1) 및 제2 이동량(P2) 중 적어도 하나를 입력한다. 예컨대, PC의 화상 출력부(VE)(도 10)가 이동량을 입력하는 스크롤 바 등의 GUI를 표시하고, 사용자(UR)가 표시되는 GUI를 통해 조작을 입력하면, PC는 이동량을 입력할 수 있다. 다음으로, PC는, 입력 이동량이 나타내는 위치에, 제2 변환 화상(IMGC2)을 배치할 수 있다. 이와 같이 하면, PC는, 시차 등이 있더라도, 정밀도 좋게 화상을 서로 연결할 수 있다.

바람직한 실시형태에 있어서, 적어도 제2 이동량(P2)이 입력되어 연결 위치가 조정된다. 그 이유는, 시차 등의 존재에 기인하여 수평 각도(θ) 방향의 어긋남이 보다 생기기 쉽게 때문이다. 즉, PC는 제2 이동량(P2)의 입력에 기초하여 변환 화상들 간의 중첩량을 조정하는 것이 보다 바람직하다. 이와 같이 하여, PC에 제2 이동량(P2)이 입력되어, 수평 각도(θ) 방향의 조정이 행하여지면, PC는, 시차 등이 있더라도, 보다 정밀도 좋게 화상을 서로 연결할 수 있다.

<기능 구성의 예>

도 22는, 본 발명의 일 실시형태에 따른 화상 처리 시스템(10)의 기능 구성의 일례를 설명하는 기능 블록도이다. 예컨대, 화상 처리 시스템(10)은, 촬상 장치의 예인 천구 카메라(1)와, 정보 처리 장치의 예인 PC(50)을 구비할 수 있다. 도시하는 예에서, PC(50)는, 입력부(10F1)와, 취득부(10F2)와, 생성부(10F3)를 갖는다.

입력부(10F1)는, 천구 카메라(1)로부터, 적어도 제1 촬상 화상 및 제2 촬상 화상을 포함하는 촬상 화상을 입력한다. 입력부(10F1)는, 예컨대, 통신 장치(50H6)(도 11) 및/또는 입력 장치(50H7)(도 11)에 의해서 실현될 수도 있다.

취득부(10F2)는, 제1 촬상 화상을 변환하는 데 이용되는 제1 변환 데이터 및 제2 촬상 화상을 변환하는 데 이용되는 제2 변환 데이터를 취득한다. 취득부(10F2)는, 예컨대, 통신 장치(50H6)(도 11) 및/또는 입력 장치(50H7)(도 11)에 의해서 실현될 수도 있다.

생성부(10F3)는, 제1 변환 데이터에 기초하여 제1 촬상 화상을 변환하고 제2 변환 데이터에 기초하여 제2 촬상 화상을 변환함으로써 생성되는 변환 화상들을 서로 연결하여 출력 화상을 생성한다. 생성부(10F3)는, 예컨대, CPU(50H1)(도 11)에 의해서 실현될 수도 있다.

화상 처리 시스템(10)에서, PC(50)의 취득부(10F2)는, 미리 천구 카메라(1)로부터 제1 변환 데이터 및 제2 변환 데이터를 취득한다. 그 때문에, PC(50)는, 입력부(10F1)에 의해서 입력되는 제1 촬상 화상 및 제2 촬상 화상을 미리 취득한 변환 데이터를 이용하여 변환할 수 있다. 이어서, PC(50)의 생성부(10F3)는, 변환 화상을 서로 연결하여 출력 화상을 생성할 수 있다. 변환 데이터는, 각 촬상 장치의 파라미터 등을 반영한 데이터이다. 그 때문에, 변환 데이터는 촬상 장치마다 다르다. 이에 따라, 각 촬상 장치의 파라미터 등에 따라 변환을 실행하기 위해서 촬상 장치마다 변환 데이터를 취득할 수 있도록 도 22에 도시하는 바와 같이 PC(50)를 구성함으로써, PC(50)는, 각 촬상 화상을 적절하게 변환하고 보다 정밀도 좋게 복수의 변환 화상을 서로 연결할 수 있고, 이에 따라 출력 화상을 생성할 수 있다. 그리고, 화상 처리 시스템(10)은, 사용자(UR)에게 출력 화상을 출력할 수 있다.

본 발명에 따른 실시형태는, 펌 웨어를 포함하는 프로그램에 의해서 실현될 수도 있다. 즉, 정보 처리 장치 또는 하나 이상의 정보 처리 장치를 갖는 화상 처리 시스템에 화상 처리 방법을 실행시키기 위한 프로그램에 의해서, 본 발명에 따른 실시형태를 실현할 수도 있다. 또한, 프로그램은, 기록 매체, 네트워크 등을 통해 정보 처리 장치 등에 인스톨될 수 있다. 기록매체는, 예컨대 광학 디스크 등의 컴퓨터 판독 가능한 기록 매체일 수 있다. 또한, 컴퓨터 판독 가능한 기록 매체는, 예컨대 USB(Universal Serial Bus) 메모리 등의 휴대형 기록 매체 또는 플래시 메모리 등의 반도체 메모리일 수도 있다.

이상, 본 발명을 특정의 실시형태를 참고로 설명했지만, 본 발명은 특정의 실시형태로 한정되지 않는다. 즉, 특허청구의 범위에 기재된 본 발명의 요지의 범위 내에서, 여러 가지의 변형 및 변경이 가능하다.

본 국제 출원은, 2016년 3월 22일에 출원된 일본 특허 출원 2016-57354에 기초하여 우선권을 주장하는 것으로, 그 전체 내용은 여기에 참고로 원용된다.

1 천구 카메라
10 화상 처리 시스템
50 PC
IMG1 제1 촬상 화상
IMG2 제2 촬상 화상
IMGC1 제1변환 화상
IMGC2 제2변환 화상
IMGOUT 출력 화상
선행기술문헌
특허문헌
특허문헌 1: 일본 특허 제5842886호 공보

Claims

복수의 촬상 화상을 생성하는 촬상 장치와,
상기 촬상 장치에 접속되는 적어도 하나의 정보 처리 장치
를 구비하는 화상 처리 시스템으로서,
상기 정보 처리 장치는,
상기 촬상 장치로부터, 상기 복수의 촬상 화상 중 적어도 제1 촬상 화상 및 제2 촬상 화상을 입력하는 입력부와,
상기 제1 촬상 화상을 변환하는 데 이용되는 제1 변환 데이터 및 상기 제2 촬상 화상을 변환하는 데 이용되는 제2 변환 데이터를 취득하는 취득부와,
상기 제1 변환 데이터에 기초하여 제1 촬상 화상을 변환하고 상기 제2 변환 데이터에 기초하여 제2 촬상 화상을 변환함으로써 생성된 변환 화상들을 서로 연결하여 출력 화상을 생성하는 생성부
를 구비하는 것인 화상 처리 시스템.
제1항에 있어서, 상기 취득부는, 복수의 촬상 장치의 각 촬상 장치마다 상기 제1 변환 데이터 및 상기 제2 변환 데이터를 취득하는 것인 화상 처리 시스템.
제1항에 있어서, 상기 제1 변환 데이터 및 상기 제2 변환 데이터는, 상기 촬상 장치를 특정할 수 있는 식별 데이터를 포함하고,
상기 촬상 장치에 대응하는 식별 데이터를 갖는 상기 제1 변환 데이터 및 상기 제2 변환 데이터를 이용하여, 상기 제1 촬상 화상 및 상기 제2 촬상 화상을 변환하는 것인 화상 처리 시스템.　
제1항에 있어서, 상기 변환 화상을 서로 연결하는 연결 위치를 조정하는 것인 화상 처리 시스템.
제1항에 있어서, 상기 변환 화상 중 적어도 하나를 이동시키는 이동량을 입력하고, 상기 변환 화상을 서로 연결하는 연결 위치를 상기 입력 이동량에 기초하여 조정하는 것인 화상 처리 시스템.
제5항에 있어서, 상기 변환 화상 중 적어도 하나를 이동시키는 입력 이동량에 기초하여, 상기 변환 화상의 중첩되는 양을 조정하는 것인 화상 처리 시스템.
제1항에 있어서, 상기 촬상 장치는, 어안 렌즈 또는 광각 렌즈를 구비하는 것인 화상 처리 시스템.
제1항에 있어서, 상기 제1 변환 데이터 및 상기 제2 변환 데이터는, 상기 제1 촬상 화상 및 상기 제2 촬상 화상을 상기 출력 화상의 일부에 배치하고, 상기 제1 촬상 화상 및 상기 제2 촬상 화상에 왜곡 보정을 실시하는 데이터인 것인 화상 처리 시스템.
복수의 촬상 화상을 생성하는 촬상 장치와, 상기 촬상 장치에 접속되는 적어도 하나의 정보 처리 장치를 구비하는 화상 처리 시스템이 실행하는 화상 처리 방법으로서,
상기 정보 처리 장치가, 상기 촬상 장치로부터, 상기 복수의 촬상 화상 중 제1 촬상 화상 및 제2 촬상 화상을 입력하는 입력 단계와,
상기 정보 처리 장치가, 상기 제1 촬상 화상을 변환하는 데 이용되는 제1 변환 데이터 및 상기 제2 촬상 화상을 변환하는 데 이용되는 제2 변환 데이터를 취득하는 취득 단계와,
상기 정보 처리 장치가, 상기 제1 변환 데이터에 기초하여 제1 촬상 화상을 변환하고 상기 제2 변환 데이터에 기초하여 제2 촬상 화상을 변환함으로써 생성되는 변환 화상들을 서로 연결하여 출력 화상을 생성하는 생성 단계
를 포함하는 화상 처리 방법.
복수의 촬상 화상을 생성하는 촬상 장치와, 상기 촬상 장치에 접속되는 적어도 하나의 정보 처리 장치를 포함하는 컴퓨터에 의해 실행되는 매체에 저장된 프로그램으로서, 상기 프로그램은, 실행 시에, 컴퓨터로 하여금 화상 처리 방법을 실행하게 하며, 상기 화상 처리 방법은,
상기 컴퓨터가, 상기 촬상 장치로부터, 상기 복수의 촬상 화상 중 제1 촬상 화상 및 제2 촬상 화상을 입력하는 입력 단계와,
상기 컴퓨터가, 상기 제1 촬상 화상을 변환하는 데 이용되는 제1 변환 데이터 및 상기 제2 촬상 화상을 변환하는 데 이용되는 제2 변환 데이터를 취득하는 취득 단계와,
상기 컴퓨터가, 상기 제1 변환 데이터에 기초하여 제1 촬상 화상을 변환하고 상기 제2 변환 데이터에 기초하여 제2 촬상 화상을 변환함으로써 생성되는 변환 화상들을 서로 연결하여 출력 화상을 생성하는 생성 단계
를 포함하는 것인 매체에 저장된 프로그램.