KR20160144486A

KR20160144486A - 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템

Info

Publication number: KR20160144486A
Application number: KR1020167031787A
Authority: KR
Inventors: 히데아키 야마모토
Original assignee: 가부시키가이샤 리코
Priority date: 2014-05-15
Filing date: 2015-05-13
Publication date: 2016-12-16
Also published as: JP5843033B1; CN106464804A; KR102009122B1; US20200296282A1; CN110430355B; KR101888470B1; CN106464804B; KR20190093703A; EP3143761A4; US20160073024A1; US10681268B2; EP3143761B1; CN110430355A; WO2015174547A1; KR20180091122A; EP3143761A1; JP2016149733A

Abstract

촬상 시스템은 촬상부, 검출부, 기록부, 보정부 및 동화상 생성부를 포함한다. 촬상부는 복수의 프레임의 화상을 촬상한다. 검출부는 기준 방향에 대한 상기 촬상부의 기울기를 검출한다. 기록부는 상기 검출부에 의해 검출된 기울기의 시계열 데이터를 기록한다. 보정부는 상기 기록부에 의해 기록된 상기 기울기의 시계열 데이터를 기초로, 상기 촬상부에 의해 촬상된 상기 복수의 프레임 각각의 화상에 대하여 기울기 보정을 행한다. 동화상 생성부는 상기 보정부에 의해 보정된 상기 복수의 프레임 각각의 화상을 기초로 동화상 데이터를 생성한다.

Description

촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템{IMAGING SYSTEM, IMAGING APPARATUS, COMPUTER PROGRAM, AND SYSTEM}

본 발명은 촬상 시스템에 관한 것으로, 보다 상세하게는 화상을 생성하기 위한 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템에 관한 것이다.

최근, 한 번의 촬영으로 반구(hemispherical) 또는 전구(full spherical)의 시야로 정지 화상을 촬상할 수 있는 카메라가 실용화되고 있다. 또한, 전방위의 정지 화상을 촬영할 수 있는 휴대 가능한 크기의 카메라도 사용될 수 있다. 이러한 휴대 가능한 크기의 카메라는 본체를 기울일 수 있어서 카메라 본체가 기울어진 상태에서의 촬영에 대응하여 촬상된 정지 화상을 기울기 보정한 후 표시하는 기능을 갖춘 카메라도 알려져 있다.

정지 화상의 기울기를 보정하는 기술로서는 일본 특허 공개 제2013-214947호 공보(특허 문헌 1)가 알려져 있다. 특허 문헌 1은 정확한 수직 방향을 갖는 정지 화상을 얻을 목적으로 2개의 어안 렌즈(fisheye lens)를 갖는 정지 화상 촬영 장치의 구성을 개시하고 있는데, 해당 구성은 수직 방향으로부터의 기울기를 얻기 위해 장치 내에 내장된 가속도 센서가 검출한 기울기 각도에 따라 어안 화상을 표준 화상으로 변환시키기 위한 파라미터를 산출하는 구성이다.

정지 화상용 카메라 외에도, 초광각 렌즈를 사용하여 넓은 범위를 동화상으로서 보존 가능한 카메라도 개발되어 있다.

종래 기술에 따라 동화상을 촬상하는 카메라 중에서는 손동작과 연관된 흔들림을 감소시키는 기능을 탑재한 카메라가 알려져 있다. 그러나, 카메라 본체가 기울어진 상태에서 동화상을 촬상시, 수직 방향과 동화상 촬상 장치의 천정 방향(zenith direction)이 상이하여 문제점이 야기된다. 구체적으로, 카메라 본체가 기울어진 상태로 촬상한 동화상을 관찰자가 관찰시, 수직 방향을 원래 방향과 일치되게 유지한 채로 시야를 변경하는 경우, 복잡한 회전이 발생하여 관찰자에 대해 공간 어지럼증(3D sickness)과 같은 불쾌감을 줄 수 있다. 특허 문헌 1의 종래 기술은 정지 화상을 취급하는 기술이고, 정확한 수직 방향의 동화상을 형성할 수 있는 기술은 아니다. 이 문제점에 기인하여, 카메라의 기울어짐 상태와 무관하게 정확한 수직 방향의 전방위 동화상을 생성하는 기술의 개발이 요망된다.

본 발명은 상기 종래 기술에서 개선이 필요한 전술한 관점을 감안하여 이루어진 것으로, 본 발명은 기준 방향에 대한 촬상 장치의 기울기를 검출할 수 있고 검출된 기울기에 따라서 기울기 보정된 동화상 데이터를 생성할 수 있는 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템을 제공하는 것을 목적으로 한다.

일 실시예에 따르면, 촬상 시스템은 촬상부와, 검출부와, 기록부와, 보정부와, 동화상 생성부를 포함한다. 상기 촬상부는 복수의 프레임의 화상을 촬상한다. 상기 검출부는 기준 방향에 대한 상기 촬상부의 기울기를 검출한다. 상기 기록부는 상기 검출부에 의해 검출된 기울기의 시계열 데이터를 기록한다. 상기 보정부는 상기 기록부에 의해 기록된 기울기의 시계열 데이터를 기초로, 상기 촬상부에 의해 촬상된 프레임 각각의 화상에 대하여 기울기 보정을 행한다. 상기 동화상 생성부는 상기 보정부에 의해 보정된 프레임 각각의 화상을 기초로 동화상 데이터를 생성한다.

도 1은 본 발명의 실시 형태에 따른 전방위 동화상 촬상 시스템을 구성하는 전방위 카메라의 단면도이다.
도 2a 및 도 2b는 본 실시 형태에 따른 전방위 동화상 촬상 시스템의 하드웨어 구성도이다.
도 3은 본 실시 형태에 따른 전방위 동화상 촬상 시스템에 실현되는 전방위 동화상 촬상 및 기록 기능과 관련된 주요한 기능 블록도이다.
도 4는 본 실시 형태에 따른 전방위 동화상 촬상 시스템을 구성하는 전방위 카메라에 의해 행해지는 촬상 처리를 나타낸 흐름도이다.
도 5a 및 도 5b는 본 실시 형태에서 어안 렌즈를 이용한 전방위 카메라에서의 투영 관계를 설명하는 도면이다.
도 6은 본 실시 형태의 전방위 카메라의 기울기를 설명하는 개략도이다.
도 7은 본 실시 형태에 따른 전방위 동화상 촬상 시스템을 구성하는 화상 처리 장치에 의해 행해지는 기록 처리를 도시하는 흐름도이다.
도 8은 본 발명의 바람직한 실시 형태에서 보정시 동화상을 구성하는 일부의 프레임의 화상만을 RAM에 로딩하는 구성을 설명하는 도면이다.
도 9는 본 실시 형태에 따른 전방위 동화상 촬상 시스템을 구성하는 화상 처리 장치에 의해 행해지는 변환 처리를 나타낸 흐름도이다.
도 10a는 전방위 화상 포맷을 평면으로 나타낸 경우를 설명하는 도면이다.
도 10b는 전방위 화상 포맷을 구면으로 나타낸 경우를 설명하는 도면이다.
도 11은 본 실시 형태에서 전방위 카메라의 촬상 소자로 취득한 화상과 화상 처리 장치에 의해 생성된 화상을 설명하는 도면이다.
도 12a 및 도 12b는 본 실시 형태에서 전방위 화상을 위한 변환 테이블을 설명하는 도면이다.
도 13은 본 실시 형태에서 전방위 화상을 위한 변환 테이블에 대한 수정 처리의 동작 흐름을 설명하는 흐름도이다.
도 14a는 카메라 좌표계를 이용한 전방위 화상의 수직 보정 연산을 설명하는 도면이다.
도 14b는 글로벌 좌표계(global coordinate system)를 이용한 전방위 화상의 수직 보정 연산을 설명하는 도면이다.
도 15는 기울기 보정 전의 동화상의 프레임을 설명하는 도면이다.
도 16은 기울기 보정 후의 동화상의 프레임을 설명하는 도면이다.

이하, 실시 형태를 설명한다. 그러나, 본 발명은 아래 설명될 실시 형태에 한정되지 않는다. 촬상 장치 및 촬상 시스템의 일례로서, 광학계에 2개의 어안 렌즈를 포함하는 촬상체를 갖춘 전방위 카메라 및 상기 전방위 카메라와 해당 전방위 카메라로부터 분리된 화상 처리 장치를 구비하는 전방위 동화상 촬상 시스템을 이용하여 다음의 실시 형태를 설명한다.

전체 구성

이하, 도 1, 도 2a 및 도 2b를 참조로 본 실시 형태에 따른 전방위 동화상 촬상 시스템의 전체 구성을 설명한다. 도 1은 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)을 구성하는 전방위 카메라(110)의 단면도이다. 도 1에 도시된 전방위 카메라(110)는 촬상체(12)와, 상기 촬상체(12)와 컨트롤러 및 배터리 등의 부품을 유지하는 하우징(14)과, 상기 하우징(14) 상에 설치된 셔터 버튼(18)을 포함한다.

도 1에 도시된 촬상체(12)는 2개의 결상 광학계(20A, 20B)와, CCD(Charge Coupled Device) 센서나 CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 2개의 촬상 소자(22A, 22B)를 포함한다. 결상 광학계(20) 각각은 예컨대 6군 7요소(seven elements in six groups)로 된 어안 렌즈로서 구성되어 있다. 도 1에 나타낸 실시 형태에서 상기 어안 렌즈는 180도(=360도/n; 광학계의 수 n=2)보다 큰 전체 화각(full angle of view)을 가지며, 바람직하게는 185도 이상의 화각, 보다 바람직하게는 190도 이상의 화각을 가진다. 결상 광학계(20) 중 하나와 촬상 소자(22) 중 하나를 조합한 이러한 광각 조합을 광각 촬상 광학계로 부른다.

2개의 결상 광학계(20A, 20B)의 광학 소자[렌즈, 프리즘, 필터 및 구경 조리개(aperture stop)]는 촬상 소자(22A, 22B)와 위치 관계를 갖도록 설정된다. 보다 구체적으로는 결상 광학계(20A, 20B) 각각의 광학 소자의 광축이 대응하는 하나의 촬상 소자(22)의 수광 영역에 직교하는 수광 영역의 중심부에 위치하도록, 그리고 수광 영역이 대응하는 하나의 어안 렌즈의 결상면이 되도록 위치 결정이 이루어진다.

도 1에 도시된 실시 형태에서는 결상 광학계(20A, 20B)는 동일 사양을 가지며, 각각의 광축이 합치하도록 상호 역방향으로 조합된다. 촬상 소자(22A, 22B)는 접수광의 광 분포를 화상 신호로 변환하여, 컨트롤러 상의 화상 처리부로 순차적으로 화상 프레임을 출력한다. 상세한 것은 후술하지만, 각각의 촬상 소자(22A, 22B)에 의해 촬상된 화상은 화상 처리 장치(150)로 전송되어 합성됨으로써 4π 스테라디안(steradian)의 입체각에 걸쳐 화상(이하 "전방위 화상"으로 부른다)을 생성한다. 전방위 화상은 촬영 지점에서 바라볼 수 있는 모든 방향을 촬영하는 것에 의해 얻어진다. 전방위 화상의 연속하는 프레임으로부터 전방위 동화상이 얻어진다. 여기 설명되는 실시 형태는 전방위 화상 및 전방위 동화상을 생성하는 것으로 가정하여 설명되지만, 실시 형태는 수평면으로만 360도 촬영하는 것으로 얻어지는 소위 파노라마 화상 및 소위 파노라마 동화상을 생성할 수 있다.

도 2a는 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)을 구성하는 전방위 카메라(110)의 하드웨어 구성을 나타낸다. 전방위 카메라(110)는 중앙 처리부(CPU)(112), ROM(Read Only Memory)(114), 화상 처리 블록(116), 동화상 압축 블록(118), DRAM(Dynamic Random Access Memory) 인터페이스(120)를 통해 접속되는 DRAM(132) 및 외부 센서 인터페이스(124)를 통해 접속되는 가속도 센서(136)를 포함한다.

CPU(112)는 전방위 카메라(110)의 각부의 동작 및 전체 동작을 제어한다. ROM(114)은 CPU(112)가 해독 가능한 코드로 기술된 제어 프로그램과 각종 파라미터를 저장한다. 화상 처리 블록(116)은 2개의 촬상 소자(130A, 130B)(도 1의 촬상 소자(22A, 22B)에 대응함)에 접속되어, 각각의 촬상 소자(130A, 130B)가 촬상한 화상의 화상 신호를 접수한다. 화상 처리 블록(116)은 예컨대, 화상 신호 프로세서(Image Signal Processor: ISP)를 포함하여, 예컨대 촬상 소자(130)로부터 접수된 화상 신호에 대해 쉐이딩(shading) 보정, Bayer 보간, 화이트·밸런스 보정 및 감마 보정을 행한다.

동화상 압축 블록(118)은 MPEG-4 AVC/H.264 포맷 등의 동화상 압축 및 신장을 위한 코덱 블록이다. DRAM(132)은 각종 신호 처리 및 화상 처리를 적용시 데이터를 일시 저장하는 스토리지 영역을 제공한다. 가속도 센서(136)는 3축의 가속도 성분을 검출한다. 검출된 가속도 성분은 수직 방향을 검출하여 전방위 화상에 대해 천정 보정을 행하는 데 이용된다.

전방위 카메라(110)는 외부 스토리지 인터페이스(122)와, USB(Universal Serial Bus) 인터페이스(126)와, 시리얼 블록(128)을 더 포함한다. 외부 스토리지 인터페이스(122)는 외부 스토리지(134)에 접속된다. 외부 스토리지 인터페이스(122)는 메모리 카드 슬롯에 삽입된 메모리 카드 등의 외부 스토리지(134)에 대한 독출 및 기록을 제어한다. USB 인터페이스(126)는 USB 커넥터(138)에 접속된다. USB 인터페이스(126)는 USB 커넥터(138)를 통해 접속되는 개인용 컴퓨터 등의 외부 기기와의 USB 통신을 제어한다. 시리얼 블록(128)은 개인용 컴퓨터 등의 외부 기기와의 시리얼 통신을 제어하여, 무선 네트워크 인터페이스 카드(Network Interface Card: NIC)(140)에 접속된다.

전원 스위치의 조작에 의해서 전원이 온 상태가 되면, 상기 제어 프로그램이 주 메모리에 로딩된다. CPU(112)는 주 메모리로 로딩된 프로그램을 따라 장치 각부의 동작을 제어하고, 제어에 필요한 데이터를 메모리 내에 일시 저장한다. 이 동작은 후술되는 전방위 카메라(110)의 기능부 및 처리를 실현한다.

도 2b는 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)을 구성하는 화상 처리 장치(150)의 하드웨어 구성을 나타낸다. 도 2b에 도시된 화상 처리 장치(150)는 CPU(152)와, RAM(154)과, HDD(Hard Disk Drive)(156)와, 마우스와 키보드 등의 입력 장치(158)와, 외부 스토리지(160)와, 디스플레이(162)와, 무선 NIC(164)와, USB 커넥터(166)를 포함한다.

CPU(152)는 화상 처리 장치(150)의 각부의 동작 및 전체 동작을 제어한다. RAM(154)은 CPU(152)의 작업 영역을 제공한다. HDD(156)는 CPU(152)가 해독 가능한 코드로 기술된, 운영 시스템 및 본 실시 형태에 따른 화상 처리 장치(150)의 처리를 실행하는 애플리케이션 등의 제어 프로그램을 저장한다.

입력 장치(158)는 마우스, 키보드, 터치패드 및 터치스크린 등의 입력 장치이며, 사용자 인터페이스를 제공한다. 외부 스토리지(160)는 메모리 카드 슬롯 등에 장착된 착탈 가능한 기록 매체이며, 동화상 형식의 화상 데이터와 정지 화상 데이터 등의 각종 데이터를 기록한다. 디스플레이(162)는 사용자 조작에 응답하여 재생된 전방위 동화상을 스크린 상에 표시한다. 무선 NIC(164)는 전방위 카메라(110) 등의 외부 기기와의 무선 통신의 접속을 구성한다. USB 커넥터(166)는 전방위 카메라(110) 등의 외부 기기와 USB 접속을 행한다.

화상 처리 장치(150)에 전원이 인가되어 전원이 온 상태가 되면, ROM 또는 HDD(156)로부터 제어 프로그램이 독출되어 RAM(154)에 로딩된다. CPU(152)는 RAM(154) 내로 독출된 제어 프로그램을 따라 장치 각부의 동작을 제어함과 동시에, 제어에 필요한 데이터를 메모리 내에 일시 저장한다. 이 동작은 후술되는 화상 처리 장치(150)의 기능부 및 처리를 실현한다.

전방위 동화상 촬상 및 기록 기능

이하, 도 3~16을 참조로 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)이 제공하는 전방위 동화상 촬상 및 기록 기능을 설명한다. 도 3은 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)에 실현되는 전방위 동화상 촬상 및 기록 기능에 관련된 주요한 기능 블록(200)을 나타낸다.

도 3에 도시된 바와 같이, 전방위 카메라(110)의 기능 블록(210)은 촬상부(212)와, 동화상 압축부(214)와, 기울기 검출부(216)와, 기울기 기록부(218)와, 출력부(220)를 포함하고; 화상 처리 장치(150)의 기능 블록(250)은 독출부(252)와, 화상 복원부(254)와, 기울기 취득부(256)와, 기울기 보정부(258)와, 동화상 생성부(264)를 포함한다.

우선, 전방위 카메라(110)의 기능 블록을 설명한다. 촬상부(212)는 전술한 2개의 광각 촬상 광학계를 포함하여, 2개의 촬상 소자(130A, 130B)를 제어하여 연속하는 프레임을 순차적으로 촬상한다. 촬상 소자(130) 각각에 의해 촬상되는 화상은 시야에 있어서 전체 천구(celestial sphere) 중 대략 반구를 포함하는 어안 화상이며, 전방위 화상의 부분 화상을 구성한다. 이하, 촬상 소자(130) 각각이 촬상한 화상을 부분 화상으로서 지칭할 수 있다.

동화상 압축부(214)는 동화상 압축 블록(118)을 포함하여, 촬상부(212)가 촬상한 연속 프레임을 소정의 동화상 형식의 화상 데이터로 압축한다. 동화상 압축 형식의 예는 한정되는 것은 아니지만, H.264/MPEG-4 AVC(Advanced Video Coding), H.265/HEVC(High Efficiency Video Coding), Motion JPEG(Joint Photographic Experts Group), Motion JPEG 2000 등의 다양한 동화상 압축 형식을 포함한다.

Motion JPEG 계 형식은 연속 정지 화상으로서 동화상을 표현하는 형식이다. 이들 방식 중 하나를 채용함으로써 고품질인 동화상을 얻을 수 있다. H.264/MPEG-4 AVC와 H.265/HEVC 형식은 시간축을 따른 압축을 행할 수 있기 때문에 높은 처리 효율을 제공하여 외부 스토리지로의 기록시의 지연의 요건을 완화할 수 있다. 휴대되는 전방위 카메라(110)는 소형화 및 저비용화가 요구되므로 고성능인 하드웨어를 탑재하는 것이 곤란할 수 있다. 따라서, 바람직한 실시 형태는 시간축을 따른 압축과 비트 전송률의 감소를 허용하는 H.264/MPEG-4 AVC 형식 또는 H.265/HEVC 형식을 적합하게 채용할 수 있다.

여기 설명되는 실시 형태에서는 촬상부(212)가 2개의 촬상 소자(130A, 130B)에서 동일한 타이밍에 촬상된 2개의 어안 화상을 각각 독립적으로 출력하고, 동화상 압축부(214)가 상기 독립된 2개의 어안 화상의 프레임으로부터 2개의 동화상 형식의 화상 데이터를 각각 독립적으로 생성한다. 화상 데이터의 표현 형식은 특정하게 한정되지 않는다. 다른 실시 형태에서는 촬상부(212)가 2개의 촬상 소자(130A, 130B)에서 촬상된 2개의 어안 화상을 결합하여 구성된 단일의 화상을 출력할 수 있고, 동화상 압축부(214)는 이 2개의 어안 화상을 포함하는 화상의 프레임을 동화상 형식의 화상 데이터로 압축할 수 있다.

기울기 검출부(216)는 가속도 센서(136)를 포함하여, 소정의 기준 방향에 대한 전방위 카메라(110)의 기울기를 검출한다. 상기 소정의 기준 방향은 전형적으로는 수직 방향이며, 중력 가속도가 작용하는 방향이다. 기울기 검출부(216)는 3축 가속도 센서(136)의 가속도 성분의 신호를 기울기 기록부(218)로 출력한다. 기울기 기록부(218)는 기울기 검출부(216)로부터 접수되는 가속도 성분의 신호를 동화상 형식의 화상 데이터의 프레임과 동기로 샘플링하여, 소정의 기준 방향에 대한 기울기 각도를 구한다. 이후, 기울기 기록부(218)는 기울기 각도를 동화상 형식의 화상 데이터의 프레임률(frame rate)과 동일한 속도의 시계열 데이터로서 기록한다.

전술한 실시 형태에서는 동화상 형식의 화상 데이터의 프레임에 대하여 기울기 각도가 일대일 대응하고 프레임과 기울기 각도는 서로 동기되어 저장되는 것으로 가정하여 설명하고 있다. 그러나, 기울기 각도를 저장하는 속도는 반드시 프레임률과 동일할 필요는 없으며, 동일하지 않은 경우는 프레임률과 일대일 대응하는 기울기 각도를 얻도록 프레임률로 재샘플링하는 것만이 필요하다.

전술된, 동화상 압축부(214)가 생성한 동화상 형식의 화상 데이터 및 기울기 기록부(218)가 기록한 기울기 각도 데이터인 2개의 개별 데이터는 DRAM(132)에 의해 일시적으로 유지된다. 출력부(220)는, DRAM(132)에 유지되어 있는 동화상 형식의 화상 데이터 및 기울기 각도 데이터인 2개의 개별 데이터 각각의 크기가 적절한 기록 크기에 도달시, 2개의 동화상 파일(230) 및 기울기 각도 파일(240)로서의 화상 데이터 및 기울기 각도 데이터의 2개의 개별 데이터를 외부 스토리지(134)로 기록(writing)한다. 촬영이 종료되면, 상기 2개의 동화상 파일(230) 및 기울기 각도 파일(240)이 폐쇄되고, 이에 따라, 전방위 카메라(110)에 의해 수행된 처리가 종료된다.

외부 스토리지(134)는 전방위 카메라(110)로부터 취출되어, 화상 처리 장치(150)에 장착된다. 계속해서, 화상 처리 장치(150)를 설명한다. 독출부(252)는 화상 처리 장치(150)에 장착된 외부 스토리지(160)로부터 전방위 카메라(110)가 기록한 2개의 동화상 파일(230) 및 기울기 각도 파일(240)을 독출한다. 독출된 2개의 동화상 파일(230)은 화상 복원부(254)로 보내진다. 독출된 기울기 각도 파일(240)은 기울기 취득부(256)로 보내진다. 외부 스토리지(134)를 착탈시키는 대신에, 화상 처리 장치(150)는 전방위 카메라(110)에 구비된 USB 인터페이스를 통해 전방위 카메라(110)에 구비된 외부 스토리지(134)로부터 전방위 카메라(110)가 기록한 2개의 동화상 파일(230) 및 기울기 각도 파일(240)을 독출할 수 있다.

화상 복원부(254)는 독출된 동화상 파일(230) 각각에 대응하는 소정의 코덱을 이용하여 독출된 동화상 파일(230) 각각을 디코딩하여 동화상을 구성하는 정지 화상의 프레임을 복원하여 기울기 보정부(258)로 입력한다. 기울기 취득부(256)는 독출된 기울기 각도 파일(240)로부터, 화상 복원부(254)에 의해 복원되는 각 프레임에 대응하는 기울기 각도를 취득하여, 해당 기울기 각도를 기울기 보정부(258)로 입력한다.

기울기 보정부(258)는 기울기 취득부(256)로부터 접수된 프레임 각각에 대응하는 기울기 각도를 기초로 화상 복원부(254)에 의해 복원된 정지 화상의 프레임 각각의 기울기를 보정하고, 어안 화상을 전방위 화상으로 변환시킨다. 기울기 보정부(258)는 보다 상세하게는 변환 테이블 수정부(260)와 전방위 화상 생성부(262)를 포함한다.

화상 처리 장치(150)는 2개의 촬상 소자(130A, 130B)에서 촬상된 2개의 어안화상(동화상 파일의 프레임으로서 화상 처리 장치로 전송됨)을 구면 좌표계의 것으로 변환하는 것에 의해 전방위 화상을 생성하기 위한 변환 테이블을 사전에 준비하고 있다. 변환 테이블은 각각의 렌즈 광학계의 설계 데이터 등을 기초로 소정의 투영 모델에 따라 제조원 등에 의해 미리 작성된 데이터이며, 전방위 카메라(110)의 바로 상측 방향이 연직선과 일치한다는 가정하에 어안 화상을 전방위 화상으로 변환시키기 위해 마련된 데이터이다. 여기 설명되는 실시 형태에서, 전방위 카메라(110)가 기울어져 있지만 바로 상측 방향이 연직선과 일치하지 않도록 된 경우는 기울기에 따라 변환 데이터를 수정하는 것으로 천정 보정을 반영한다.

동화상 형식의 화상 데이터 각각에 포함되는 부분 화상은 수광 영역이 소정의 면적을 제공하는 2차원 촬상 소자에 의해 촬상된 것으로, 평면 좌표계(x, y)로 표현된 화상 데이터(도 5b 및 도 11에 나타낸 제1 부분 화상 및 제2 부분 화상 참조)이다. 이들 화상에 대해, 변환 테이블을 이용하여 천정 보정이 행해진 후의 보정 화상은 구면 좌표계(반경을 1로 하고 2개의 편각 θ, φ을 갖는 극좌표계)로 표현된 전방위 화상 형식의 화상 데이터(도 10a와 도 10b 및 도 11에 나타낸 전방위 화상 참조)이다.

변환 테이블은 동화상 파일 내에 저장되어 동화상 파일의 독출시 취득되거나 전방위 카메라(110)로부터 화상 처리 장치(150)로 미리 다운로드 될 수 있다. 대안적으로, 변환 테이블은: 전 개체 전방위 카메라의 공통의 기본이 되는 변환 테이블을 화상 처리 장치에 사전에 준비하는 경우; 동화상 파일 내에 전방위 카메라(110)의 개체 특유의 변환 테이블을 얻기 위한 차분 데이터를 기록(writing)하는 경우; 및 동화상 파일의 독출과 동시에 고유의 변환 테이블을 복원하는 경우 등을 통해 얻을 수 있다.

변환 테이블 수정부(260)는 취득된 기울기 각도에 따라 화상의 천정 방향(관측자의 바로 상측 지점을 가리키는 방향)이 검출된 연직선(중력이 작용하는 수직 방향으로 형성된 직선)과 일치하도록 전술한 변환 테이블에 대해 수정을 행한다. 따라서, 수정된 변환 테이블을 이용하여 어안 화상을 전방위 화상으로 변환하는 것에 의해, 기울기에 따라서 천정 방향과 연직선을 정렬하는 보정이 반영되는 형태로 전방위 화상이 생성된다. 전방위 화상 생성부(262)는 변환 테이블 수정부(260)에 의해 수정된 변환 테이블을 이용하여, 복원된 프레임 각각에 대응하는 2개의 부분화상을 천정 보정을 반영한 전방위 화상으로 변환하여, 전방위 화상의 프레임 각각을 동화상 생성부(264)로 출력한다. 변환 테이블 수정부(260) 및 전방위 화상 생성부(262)는 보정 후의 프레임 각각의 화상의 천정 방향과 연직선이 일치하도록 화상을 보정한다.

동화상 생성부(264)는 기울기 보정부(258)에 의해 보정된 프레임 각각의 전방위 화상을 기초로 프레임을 소정의 동화상 압축 형식으로 인코딩하여 최종적인 동화상 데이터를 생성하고, 해당 최종적인 동화상 데이터를 동화상 파일(270)로서 기록(writing)한다. 동화상 파일(270)은 전방위 화상의 동화상 데이터이다. 동화상 압축형식은 전술한 형식을 포함하는 임의의 형식일 수 있다.

동화상 파일의 시청시, 생성된 동화상 데이터를 기초로, 표시 애플리케이션상에서 전체 천구에서 지정된 특정한 시야의 화상이 재생되고 표시된다. 이 생성된 동화상 데이터에서는 화상의 천정 방향이 연직선에 대해 고정되어 있다. 이에 따라, 동화상 데이터를 시청 중에 표시 시야를 변경하는 경우, 그 시야의 변경을 따른 회전만이 일어날 뿐이다. 결국, 시야 변경과 기울기의 변화를 수반하는 복잡한 회전이 감소됨으로써 공간 어지러움 등의 불쾌감의 가능성을 경감할 수 있다.

이하, 도 4 및 도 7을 참조로 본 실시 형태에 따른 전방위 카메라(110)에 의해 수행된 처리 및 화상 처리 장치(150)에 의해 수행된 처리의 상세를 설명한다. 도 4는 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)을 구성하는 전방위 카메라(110)에 의해 수행되는 촬상 처리를 나타낸 흐름도이다. 도 4에 나타낸 처리는 전방위 카메라(110)의 동화상 촬영 버튼을 눌러 촬상을 시작하는 것과 같은 지시에 응답하여 S100 단계로부터 시작된다. S101 단계에서는 전방위 카메라(110)는 촬상부(212)에 의해 촬상 소자(130A, 130B)로부터 1 프레임분의 2개의 화상 데이터가 독출된다.

도 5a 및 도 5b는 어안 렌즈 중 하나를 이용한 전방위 카메라(110)에 있어서의 투영 관계를 설명하는 도면이다. 본 실시 형태에서, 하나의 어안 렌즈로 촬영된 화상은 촬영 지점으로부터 대략 반구의 배향 범위를 촬영한 것에 의해 얻어진 화상이다. 도 5a에 나타낸 바와 같이, 어안 렌즈는 광축에 대한 입사 각도(φ)에 대응하는 화상 높이(h)를 갖는 화상을 생성한다. 화상 높이(h)와 입사 각도(φ) 간의 관계는 소정의 투영 모델에 따른 투영 함수로 결정된다. 투영 함수는 어안 렌즈의 특성에 따라 변한다. 등거리 투영 방식이라고 불리는 투영 모델에 기초한 어안 렌즈의 경우, 투영 함수는 다음의 수학식 1에 의해 표현되는 데, 여기서 f는 촛점 거리이다.

전술한 투영 모델의 다른 예는 중심 투영 방식(h=f·tanφ), 입체 투영 방식(h=2f·tan(φ/2)), 등 입체각 투영 방식(h=2f·sin(φ/2)) 및 직교 투영 방식(h=f·sinφ)을 포함한다. 어느 방식에 있어서도, 광축에 대한 입사 각도(φ)와 촛점 거리(f)에 대응하여, 형성된 화상의 화상 높이(h)가 결정된다. 본 실시 형태는 화상 대각선보다도 화상 서클 직경이 작은 소위 원형 어안 렌즈의 구성을 채용한다. 도 5b에 나타낸 바와 같이, 상기 렌즈로부터 얻어지는 부분 화상은 대략 반구인 촬영 범위를 투영하는 것에 의해 얻어지는 화상 서클 전체를 포함하는 평면 화상이다.

여기 설명되는 실시 형태에서, 1 프레임분의 2개의 화상 데이터는 2개의 촬상 소자(130A, 130B)에 의해 촬상되고 대략 반구인 촬영 범위를 투영하는 것으로 얻어진 전체 화상 서클을 포함하는 2개의 평면 화상(도 11의 제1 부분 화상 및 제2 부분 화상)이다.

다시 도 4를 참조하면, S102 단계에서, 전방위 카메라(110)는 촬상부(212)에 의해 촬상된 1 프레임분의 2개의 화상 데이터에 대하여 화상 처리를 행하여, 그 결과물을 DRAM(132)에 저장한다. 우선, 전방위 카메라(110)는 촬상 소자(130)로부터 취득한 Bayer 원 화상(raw image)에 대하여, 예컨대 광 블랙 보정 처리, 결함 화소 보정 처리, 선형 보정 처리 및 쉐이딩 처리를 적용한다. 이후, 전방위 카메라(110)는 화이트 밸런스 처리, 감마 보정 처리, Bayer 보간 처리, YUV 변환 처리, 엣지 강조 처리 및 컬러 보정 처리를 적용한다.

S103 단계에서, 전방위 카메라(110)의 기울기 기록부(218)는 촬상한 프레임과 동기로 기울기 각도를 검출하여 메모리에 저장한다.

도 6은 본 실시 형태의 전방위 카메라(110)의 기울기를 설명하는 개략도이다. 도 6에서, 수직 방향은 글로벌 좌표계의 x, y, z의 3차원 직교 좌표축의 z-축과 일치한다. 이 방향이 도 6에 나타낸 전방위 카메라(110)의 바로 상측 방향과 일치하면, 카메라가 기울어지지 않은 상태를 의미한다. 이 방향이 상기 바로 상측 방향과 일치하지 않은 경우, 전방위 카메라(110)는 기울어진 상태가 된다.

구체적으로, 중력 벡터로부터의 기울기 각도[이하, 기울기 각도(β)로 지칭됨]와 xy-평면에서의 경사 각도(α)[이하, 경사 각도(α)로 지칭됨]가 가속도 센서의 출력을 이용하여 하기 수학식 (2)로부터 얻어진다. 해당 수학식에서 Ax는 가속도 센서(136)의 카메라 좌표계의 x0-축 방향 성분의 값이고, Ay는 가속도 센서(136)의 카메라 좌표계의 y0-축 방향 성분의 값이고, Az는 가속도 센서(136)의 카메라 좌표계의 z0-축 방향 성분의 값이다. S103 단계에서는 가속도 센서(136)의 각 축방향 성분의 값으로부터 기울기 각도(α, β)가 얻어져서 그 결과치가 저장된다.

다시 도 4를 참조하면, S104 단계에서, 전방위 카메라(110)는 획득된 1 프레임분의 2개의 화상 데이터를 동화상 압축부(214)로 제공하여 동화상 형식의 화상 데이터를 메모리 내에 기록한다. S105 단계에서, 전방위 카메라(110)는 동화상을 기록할 필요가 있는 지 여부를 판정한다. 소정의 기록 크기에 도달하여 동화상을 기록할 필요가 있다고 판정된 경우(S105 단계에서 'Yes'), 처리는 S106 단계로 분기된다. S106 단계에서, 전방위 카메라(110)의 출력부(220)가 DRAM(132)에 저장된 동화상 형식의 2개의 화상 데이터를 외부 스토리지(134)에 동화상 파일로서 기록한다. 소정의 기록 크기에 도달하지 않아서 동화상을 기록할 필요가 없다고 판정된 경우(S105 단계에서 'No'), 처리는 바로 S107 단계로 진행된다.

S107 단계에서, 전방위 카메라(110)는 기울기 각도 데이터를 기록할 필요가 있는 지 여부를 판정한다. 소정의 기록 크기에 도달되어 기울기 각도 데이터를 기록할 필요가 있다고 판정된 경우(S107 단계에서 'Yes'), 처리는 S108 단계로 분기된다. S108 단계에서, 전방위 카메라(110)의 출력부(220)가 DRAM(132)에 저장된 기울기 각도 데이터를 외부 스토리지(134)에 기울기 각도 파일로서 기록한다. 소정의 기록 크기에 도달되지 않아서 기울기 각도 데이터를 기록할 필요가 없다고 판정된 경우(S107 단계에서 'No'), 처리는 바로 S109 단계로 진행된다.

S109 단계에서, 전방위 카메라(110)는 촬영의 종료 여부를 판정한다. 사용자가 촬영 종료를 지시하지 않아서 촬영이 종료되지 않은 것으로 판정된 경우(S109 단계에서 'No'), 처리는 S101 단계로 되돌려져서 다음 차수의 프레임이 처리된다. 사용자로부터 촬영 종료의 지시가 접수되어 촬영이 종료된 것으로 판정된 경우(S109 단계에서 'Yes'), 처리는 S110 단계로 진행된다.

S110 단계에서, 전방위 카메라(110)는 화상 처리 장치(150)가 화상을 변환하는데 필요한 부가 정보를 동화상 파일 내에 기록하고, S111 단계에서, 전방위 카메라(110)에 의해 수행되는 촬상 처리가 종료된다. 화상을 변환하는 데 필요한 부가 정보는 화상 처리 장치(150)가 동화상을 촬상한 특정 전방위 카메라(110)에 적합한 변환 테이블을 복원하기 위한 데이터이다. 부가 정보는 변환 테이블 자체, 또는 기준 변환 테이블에 대응하는 각 개체의 전방위 카메라의 변환 테이블에 대한 차분 데이터일 수 있거나, 사전 정의된 복수의 변환 테이블 중에서 관련 변환 테이블을 특정하는 식별 정보일 수 있다.

도 7은 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)을 구성하는 화상 처리 장치(150)에 의해 행해지는 기록 처리를 나타낸 흐름도이다. 화상 처리 장치(150) 상에서 전방위 동화상 생성용의 애플리케이션에서는, 동화상 파일 및 기울기 각도 파일이 지정되고; 인코딩 및 기록를 개시하라는 지시가 행해지고; 그 지시에 응답하여 S200 단계로부터 도 7에 나타낸 기록 처리가 시작된다.

S201 단계에서는 화상 처리 장치(150)의 독출부(252)가 외부 스토리지(160)로부터 2개의 동화상 파일을 독출하고, 화상 복원부(254)가 소정 프레임 수의 2개의 화상 데이터를 복원한다. S202 단계에서는 화상 처리 장치(150)의 독출부(252)가 외부 스토리지(160)로부터 기울기 각도 파일을 독출하고, 기울기 취득부(256)가 상기 복원한 소정 프레임 수의 프레임 각각에 대응하는 기울기 각도를 취득한다.

동화상 파일(230)을 구성하는 모든 프레임이 RAM(154) 내에 로딩되면, 메모리가 과도하게 소비된다. 이를 방지하기 위해, 바람직한 실시 형태로, 보정시, 동화상 파일 전체를 구성하는 프레임 중에서 기점이 되는 프레임에 기초하는 일부의 프레임의 화상 데이터 및 기울기 각도 데이터만을 RAM(154) 내에 로딩하도록 구성할 수 있다. MPEG-4/AVC 형식과 같이, 시간 축을 따른 압축을 허용하는 형식을 채용하는 경우, 프레임은 도 8에 나타낸 바와 같이 화상 집합(Group of Pictures: GOP)의 단위 또는 GOP의 경우와 동일한 개념에 따라 참조되는 다른 단위로 메모리 내에 효율적으로 로딩된다.

GOP는 I 픽처(picture), P 픽처 및 B 픽처를 포함한다. I 픽처는 재생의 기점이 되는 픽처이며, 프레임내 예측 부호화에 의해 부호화되는 픽처이다. P 픽처는 선행하는 I 픽처 또는 P 픽처로부터 프레임내 예측에 의해 부호화되는 픽처이다. B 픽처는 선행(순방향) 또는 후행(역방향), 또는 선행 및 후행(양방향)의 픽처를 이용하여 프레임내 예측에 의해 부호화되는 픽처이다. GOP는 적어도 하나의 I 픽처를 포함하기 때문에, GOP의 단위로 프레임을 로딩함으로써 최소한의 프레임을 로딩하는 것에 의해 소정 프레임 수의 정지 화상을 복원할 수 있다.

다시 도 7을 참조하면, S203 단계에서, 화상 처리 장치(150)는 동화상 파일로부터 부가 정보를 독출하고, 해당 동화상 파일을 촬상한 특정 전방위 카메라(110) 고유의 변환 테이블을 준비한다. S204 단계에서, 화상 처리 장치(150)는 취득된 기울기 각도 및 독출된 부가 정보를 기초로 동화상 파일 각각으로부터 복원된 소정 프레임 수의 화상 데이터 각각에 대해 변환 처리를 실시한다.

도 9는 본 실시 형태에 따른 전방위 동화상 촬상 시스템(100)을 구성하는 화상 처리 장치(150)에 의해 행해지는 변환 처리를 나타낸 흐름도이다. 도 9에 나타낸 변환 처리는 도 7에 나타낸 S204 단계에서 호출되고, S300 단계로부터 시작된다. S301~S307 단계의 루프에서는 프레임마다의 기준으로 S302~S306 단계의 처리가 실행된다.

S302 단계에서, 화상 처리 장치(150)는 프레임에 대응하는 기울기 각도(α, β)를 설정한다. S303 단계에서, 화상 처리 장치(150)의 변환 테이블 수정부(260)는 취득된 기울기 각도(α, β)에 따라 변환 테이블을 수정한다. 변환 테이블의 수정 처리는 나중에 상술된다.

S304 단계에서, 화상 처리 장치(150)는 복원한 해당 프레임의 2개의 화상 데이터를 접수한다. S305 단계에서, 화상 처리 장치(150)의 전방위 화상 생성부(262)는 수정된 변환 테이블을 이용하여, 복원된 해당 프레임의 2개의 화상 데이터(각각 어안 화상을 포함)를 변환하여, 보정된 2개의 화상 데이터(2개의 어안 화상 각각에 대응하는 각 반구를 커버하는 2개의 전방위 화상)를 생성한다. S306 단계에서, 화상 처리 장치(150)는 프레임의 보정된 2개의 화상 데이터(각각 대응하는 반구를 커버)를 조합하여 최종적인 화상 데이터(전방위 화상)를 생성한다.

도 10a는 전방위 화상 형식을 평면으로 나타낸 경우를 설명하는 도면이고, 도 10b는 전방위 화상 형식을 구면으로 나타낸 경우를 설명하는 도면이다. 도 10a에 나타낸 바와 같이, 전방위 화상의 형식은 평면으로 로딩시 수평 각도 범위가 0~360도이고 수직 각도 범위가 0~180도인 각도 좌표에 대응하는 화소 값을 갖는 화상을 나타낸다. 각도 좌표는 도 10b에 나타낸 구면 상의 각 좌표점과 대응하며, 지구 상의 위도 경도 좌표와 유사하다.

어안 렌즈로 촬영된 화상의 평면 좌표 값과 전방위 화상의 구면 좌표 값 사이의 관계는 도 5a 및 도 5b를 이용하여 설명된 바와 같은 투영 함수 f(h=f(θ))를 이용하는 것에 의해 서로 연관될 수 있다. 따라서, 어안 렌즈로 촬영된 2개의 부분 화상을 변환하여 결합함으로써, 도 10a 및 도 10b에 나타낸 바와 같은 전방위 화상을 작성할 수 있다.

다음에는 실제로 어안 렌즈로 촬영된 화상을 이용하여 전방위 화상을 생성하는 과정을 설명한다. 도 11은 본 실시 형태에 따른 전방위 카메라(110)에서 2개의 어안 렌즈를 통해 촬상 소자(130A, 130B)에 의해 취득된 화상과 본 실시 형태에 따른 화상 처리 장치(150)에서 상기 취득된 화상을 변환 테이블을 이용하여 변환한 후 2개의 변환된 화상을 함께 합성하는 것에 의해 생성된 화상을 설명하는 도면이다.

도 11에서, 2개의 어안 렌즈를 통해 촬상 소자(130A, 130B)에 의해 촬영된 부분 화상은 도 9를 참조로 설명한 S305 단계에서의 처리, 즉, 수정 후의 변환 테이블을 이용한 화상 변환 처리에 의해 우선 2개의 전방위 화상으로 변환된다. 이 시점에서, 화상은 전방위 화상 형식에 합치한 표현 형식, 즉, 도 10a 및 도 10b에 대응하는 표현 형식으로 표현된다.

도 9에 나타낸 S306 단계에서의 처리, 즉, 2개의 화상의 변환 후의 화상 합성 처리에 의해 도 11에 나타낸 최종적인 전방위 화상이 생성된다. 구체적으로, 각각 대응하는 반구를 커버하는 2개의 전방위 화상은 중복하고 있는 부분을 단서로 이용하여 서로 중복 및 합성되어 최종적인 전방위 화상이 생성된다.

도 11은 부분 화상에서의 화소의 위치와 전방위 화상 상의 대응하는 화소의 위치 사이의 대응 관계도 나타내고 있다. 전방위 카메라(110)가 정확하게 수직 방향으로 배치되어 기울어지지 않은 상태로 촬영을 행함으로써 전방위 카메라(110)의 바로 상측 방향이 연직선 상에 있는 경우, 단순히 왜곡 보정을 행하는 것을 통해 도 11에 나타낸 바와 같이 촬영자가 인식하는 천정과 수평선이 일치하는 것 같은 화상을 얻을 수 있다. 이 때, 수평선은 부분 화상 각각의 중심에 위치하여, 전방위 화상에 있어서도 지구의 적도에 대응하는 위치에 배치되게 된다.

다시 도 9를 참조하면, 처리가 S301~S307 단계의 루프에서 벗어난 후, S308 단계에서 본 처리가 종료되며, 처리는 도 7에 나타낸 호출 처리로 복귀한다.

다시 도 7을 참조하면, S205 단계에서, 화상 처리 장치(150)의 동화상 생성부(264)가 변환된 소정 프레임 수의 화상 데이터를 인코딩하여, 기울기 보정된 동화상 데이터를 생성하고, 해당 동화상 데이터를 전방위 화상의 동화상 파일(270)에 기록한다. S206 단계에서, 화상 처리 장치(150)는 독출된 동화상 파일(230)의 최후의 프레임에 도달되었는 지 여부를 판정한다. 최후의 프레임에 도달되지 않은 것으로 판정된 경우(S206 단계에서, 'No'), 처리는 S201 단계로 되돌려져서 다음 차수의 프레임 군이 처리된다. 최후의 프레임에 도달된 것으로 판정된 경우(S206 단계에서 'Yes'), 처리는 S207 단계로 분기되어 기록 처리가 종료된다.

S204 단계와 S205 단계 사이에, 시간 방향의 노이즈를 억제하는 화상 처리, 예컨대 모기 소리와 블록 노이즈 등의 동화상 압축 코덱으로부터 연유되는 노이즈와 윤곽의 흐려짐을 억제하는 화상 보정 처리, 색조의 수정 처리 등의 처리를 실행하는 것이 바람직하다. 이에 따라, 최종적인 화상의 화질 향상을 기대할 수 있다.

이하, 도 12a~14b를 참조로 본 실시 형태에 따른 전방위 화상의 변환 테이블을 기록된 전방위 카메라(110)의 기울기 각도에 따라 수정하는 처리를 설명한다.

도 12a 및 도 12b는 본 실시 형태에 있어서의 전방위 화상의 변환 테이블을 설명하는 도면이다. 도 12a는 변환 전후의 화상 좌표값의 행렬을 나타낸 변환 테이블을 설명하는 도면이다. 도 12b는 변환 후 화상의 좌표값과 변환 전 화상의 좌표값 사이의 관계를 설명하는 도면이다.

도 12a에 나타낸 바와 같이, 도 9에 나타낸 S303 단계에서 설명한 화상 변환에 이용되는 변환 테이블은 변환 후 화상의 좌표값인 (θ, φ)(pix: "화소"를 나타냄)와 변환 후 화상의 것과 대응하는 변환 전 화상의 좌표값(x, y)(pix)의 데이터 세트를, 변환 후 화상의 좌표값 각각에 대하여 포함한다. 여기 설명되는 실시 형태에서, 변환 테이블은 테이블 형의 데이터 구조를 갖는 것으로 예시된다. 그러나, 변환 테이블은 반드시 테이블 형의 데이터 구조일 필요는 없다. 즉, 변환 테이블은 변환 데이터인 것만이 요구된다.

도 12a에 나타낸 변환 테이블에 따라 촬상된 부분 화상(변환 전 화상)으로부터 변환 후 화상을 생성할 수 있다. 구체적으로, 도 12b에 나타낸 바와 같이 변환 전후의 변환 테이블(도 12a)의 대응 관계로부터, 변환 후 화상의 각 화소를, 좌표값(θ, φ)(pix)에 대응하는 변환 전 화상의 좌표값(x, y)(pix)의 화소치를 참조함으로써 생성할 수 있다.

수정 처리 전의 변환 테이블은 전방위 카메라(110)의 바로 상측 방향이 연직선 상에 일치한다는 가정하에 왜곡 보정이 반영된다. 변환 테이블이 기울기 각도에 따라 수정된 후에는 전방위 카메라(110)의 바로 상측 방향을 연직선 상에 일치시키는 천정 보정이 변환 테이블에 반영된다.

도 13은 본 실시 형태에서 전방위 화상에 대한 변환 테이블의 수정 처리의 동작 흐름을 설명하는 흐름도이다. 도 13에 나타낸 수정 처리는 도 9에 나타낸 S303 단계에서 호출되고, S400 단계로부터 시작된다.

도 13에서, S401 단계에서, 화상 처리 장치(150)의 변환 테이블 수정부(260)는 처리 대상인 프레임에 대응하는 기울기 각도(α, β)를 취득한다. S402 단계에서, 화상 처리 장치(150)의 변환 테이블 수정부(260)는 변환 테이블에 입력 값(θ1, φ1)을 설정한다. 도 13에서, 좌표계에 따른 파라미터 값(θ, φ)은 카메라 좌표계의 경우 (θ0, φ0)로 지시되고, 글로벌 좌표계의 경우는 (θ1, φ1)로 지시됨으로써 서로 구별된다. 즉, S402 단계에서는 글로벌 좌표계의 파라미터(θ1, φ1)가 설정된다.

S403 단계에서, 화상 처리 장치(150)의 변환 테이블 수정부(260)는 수직 보정 연산을 수행하여 글로벌 좌표계의 입력 값(θ1, φ1)을 카메라 좌표계의 (θ0, φ0)로 변환한다.

수직 보정 연산을 설명한다. 도 14a는 전방위 화상의 수직 보정 연산을 카메라 좌표계를 이용하여 설명하는 도면이고, 도 14b는 전방위 화상의 수직 보정 연산을 글로벌 좌표계를 이용하여 설명하는 도면이다.

도 14a 및 도 14b에서, 글로벌 좌표계에서의 3차원 직교 좌표와 구면 좌표를 각각 (x1, y1, z1), (θ1, φ1)으로 표기하고, 카메라 좌표계에서의 3차원 직교 좌표와 구면 좌표를 각각 (x0, y0, z0), (θ0, φ0)로 표기한다.

수직 보정 연산은 하기 수학식 (3)~(8)을 이용하여, 구면 좌표(θ1, φ1)를 구면 좌표 (θ0, φ0)로 변환한다. 우선, 기울기를 보정하기 위해서는 3차원 직교 좌표를 이용하여 회전 변환을 적용할 필요가 있다. 따라서, 하기 수학식 3~5를 이용하여, 구면 좌표 (θ1, φ1)을 3차원 직교 좌표 (x1, y1, z1)로 변환한다.

다음에, 기울기 각도(α, β)를 이용하여, 상기 회전 좌표 변환(상기 수학식 6)을 수행하여 글로벌 좌표계(x1, y1, z1)를 카메라 좌표계 (x0, y0, z0)로 변환한다. 다시 말하면, 상기 수학식 6은 기울기 각도(α, β)의 정의를 부여한다.

수학식 6은 글로벌 좌표계를 우선 z-축을 중심으로 α만큼 회전시킨 후 x-축을 중심으로 β만큼 회전시켜 카메라 좌표계가 되는 것을 의미한다. 마지막으로, 상기 수학식 7 및 8은 카메라 좌표계에 있어서의 3차원 직교 좌표 (x0, y0, z0)를 구면 좌표(θ0, φ0)로 변환하는 데 이용된다.

다음에, 수직 보정 연산의 다른 실시 형태를 설명한다. 다른 실시 형태의 수직 보정 연산은 하기 수학식 9~16을 이용하여 구면 좌표 (θ1, φ1)을 구면 좌표 (θ0, φ0)로 변환할 수 있다. 다른 실시 형태는 수직 보정 연산을 고속화할 수 있다. 상기 변환 수학식 3~8은 상기 수학식 9~16으로 수정 표현된다.

즉, z-축을 중심으로 하는 회전(α, γ)은 구면 좌표 (θ, φ) 중의 θ의 회전에 상응한다. 따라서, 직교 좌표계로의 변환이 없이 간단한 가감산으로 회전 변환을 달성할 수 있다. 결국, x-축을 중심으로 하는 β의 회전에 의한 회전 변환만이 직교 좌표계를 이용한 변환을 포함한다. 이것은 연산 속도를 더 고속화시키게 된다.

전술한 실시 형태에서는 수직 보정 연산에 의해 좌표 변환을 행한다. 그러나, 또 다른 실시 형태에서는 변환 테이블을 각각이 기울기 각도(α, β)에 따라 다른 테이블과 다른 값이 되도록 복수의 변환 테이블을 저장하는 것에 의해 수직 보정 연산의 처리를 생략함으로써 더 속도를 높일 수 있다. 즉, 기울기 각도(α, β)는 원리적으로는 3차원의 실수 벡터로 표현되지만, 특정한 (α, β)에 대해서만 변환 테이블을 준비하고, 검출된 기울기 각도(α, β)에 가장 가까운 값을 갖는 테이블을 채용하는 것으로써, 모든 경우에 대해 변환이 수행될 수 있다. 대안적으로, 검출된 기울기 각도(α, β)에 가까운 값을 갖는 테이블을 복수 개 추출하여, 근접도에 따라 값을 가중하거나 차분을 취하는 보간 연산을 하는 것도 유효하다. 이에 따라, 비교적 단순한 연산인 보간 연산만으로 변환 테이블의 보정을 행할 수 있어서, 연산에 필요한 처리량을 줄일 수 있다.

다시 도 13을 참조하면, 계속해서, S404 단계에서 화상 처리 장치(150)의 변환 테이블 수정부(260)는 카메라 좌표계의 변환된 좌표 (θ0, φ0)를 수정 전의 변환 테이블을 이용하여 변환 전 화상의 좌표값 (x, y)로 변환한다. 이 동작은 카메라가 기울어지지 않은 조건하에서 작성된 정확한 전방위 화상이 생성되기 위한 변환 테이블이 사전에 준비된 것을 전제로 한다.

S405 단계에서, 화상 처리 장치(150)의 변환 테이블 수정부(260)는 글로벌 좌표계의 입력 값 (θ1, φ1)과 최종적으로 산출된 수정 전의 좌표값 (x, y)를 수정 후의 변환 테이블의 대응하는 좌표의 세트로서 저장한다.

S406 단계에서, 화상 처리 장치(150)는 미처리의 입력값 (θ1, φ1), 즉, 대응하는 수정 전의 좌표값 (x, y)가 산출되어 있지 않은 글로벌 좌표계의 입력값 (θ1, φ1)이 남아 있는 지 여부를 판정한다. 상기 값이 남아 있는 것으로 판정된 경우(S406 단계에서 'Yes'), 처리는 다음 값으로서 글로벌 좌표계의 입력값 (θ1, φ1)을 설정하도록 S402 단계로 되돌아간다.

상기 값이 남아 있지 않다고 판정된 경우(S406 단계에서 'No'), 처리는 S407 단계로 분기되어 본 처리를 종료하여, 도 9에 나타낸 호출 처리로 복귀한다. 이 경우, 글로벌 좌표계의 입력값 (θ1, φ1)의 좌표값을 갖는 전방위 화상 형식의 각 화소에 대응하는 보정 전의 좌표값 (x, y)의 산출이 완료된다.

이하, 도 11, 도 15 및 도 16을 참조로 기울기를 보정하는 특정 처리에 의해 얻어지는 동화상의 프레임을 설명한다. 도 15는 기울기 보정 전의 동화상의 프레임(수정되어 있지 않은 변환 테이블을 이용하여 변환된 전방위 화상)을 나타낸 도면이고, 도 16은 기울기 보정 후의 동화상의 프레임(수정된 변환 테이블을 이용하여 변환된 전방위 화상)을 나타낸 도면이다. 도 11은 전방위 카메라(110)가 기울어지지 않은 상태로 바로 상측 방향과 연직선이 일치하고 있는 경우를 예시하여, 도 15 및 도 16은 전방위 카메라(110)가 기울어진 상태로 바로 상측 방향과 연직선이 일치하지 않는 경우를 예시한다.

전술한 바와 같이, 전방위 카메라(110)가 정확하게 수직 방향으로 배치되는 경우, 화상은 도 11에 나타낸 바와 같이 촬영자가 인식하는 천정 및 수평선이 실제와 일치하도록 촬상될 수 있다. 전방위 카메라(110)는 고정 장치 상에 장착되어 수준기(level) 등을 이용하여 조정하고 촬상할 수 있는 경우에는 정확하게 수직 방향으로 배향되어 촬영이 가능하다.

그러나, 일반적으로, 사람이 휴대한 카메라로 촬상을 행하는 경우에는 수평및 수직 방향으로 정확히 표현되도록 촬상하는 것이 곤란한다. 카메라 본체가 기울어진 채로 촬상되면, 기울기 보정 없이는 도 15에 나타낸 바와 같이 개별 화상의 천정 방향이 서로 상이하여 수평선이 왜곡되어 버린다. 이 때, 부분 화상의 중심선은 전방위 화상의 적도와 일치하지만, 촬영자가 인식하는 수평선은 전방위 화상에 있어서 곡선으로서 왜곡되어 버린다. 도 15에 나타낸 바와 같이 보정을 행하지 않는 채로 동화상을 시청하면, 시청 중에 시야를 변경한 경우, 수직 방향과 전방위 카메라(110)의 중심축 사이의 어긋남에 의한 영향으로, 공간 어지럼증 같은 불쾌감이 유발된다.

이에 대해, 본 실시 형태는 수직 상측 방향과 상향 천정 방향이 일치하도록 모든 프레임의 화상을 변환한 뒤에 화상 데이터를 인코딩함으로써, 도 16에 나타낸 바와 같은 프레임을 얻을 수 있다. 즉, 촬영자가 인식하는 수평선이 부분 화상에서 곡선으로 표현되지만 전방위 화상에 있어서 적도에 일치하도록 된다. 이와 같은 화상의 변환으로, 시청시에 시야를 변경하는 경우에 사용자에게 공간 어지럼증 같은 불쾌감을 주지 않는 전방위 동화상의 작성이 가능하게 된다.

전술한 실시 형태에 따르면, 기준 방향에 대한 촬상부의 기울기를 검출하여, 검출된 기울기에 따라 기울기 보정된 동화상 데이터를 생성할 수 있는 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템을 제공할 수 있다.

본 실시 형태에 따른 전방위 동화상 촬상 및 기록 기능은 동화상의 각 프레임을 기록하는 것과 동일한 빈도로 전방위 카메라(110)의 기울기 각도와 동화상의 각 프레임이 연관되는 기울기 각도 데이터를 별개 파일로서 저장한다. 기울기 각도 파일의 데이터가 프레임과 동기되는 동안, 기울기는 기울기 각도 파일의 데이터를 참조하면서 각 프레임에서 보정됨으로써 동화상이 표시되고 다시 인코딩된다. 결국, 수직 방향이 정확한 전방위 동화상 데이터를 얻을 수 있어서, 사용자가 시야를 변경할 때 공간 어지럼증과 같은 불쾌감 또는 위화감을 유발하지 않는전방위 동화상 데이터를 제공할 수 있다.

정지 화상의 경우, 표시 애플리케이션에 의해, 기울기 보정이 필요치 않도록 화상 표시시에 기울기 각도의 보정을 고려하여 시야를 형성하는 것으로 문제점이 해결될 수 있다. 그러나, 동화상 데이터의 경우, 표시 화상은 전형적으로 15~30 프레임/초로 항시 변동되므로, 시청시의 문제점의 해소가 곤란하다. 전술한 바와 같이, 미리 기울기 각도를 보정한 전방위 동화상을 인코딩하여, 동화상 파일을 생성함으로써 시청자에 대하여 공간 어지럼증과 같은 불쾌감을 주지 않고 적합하게 전방위 동화상의 표시가 가능해진다.

전술한 실시 형태는 180도를 초과한 화각을 갖는 렌즈 광학계를 통해 촬상된 2개의 부분 화상을 중합시켜 합성을 행한다. 그러나, 다른 실시 형태는 하나 이상의 렌즈 광학계를 통해 촬상된 3개 이상의 부분 화상을 중합시켜 합성하도록 적용할 수 있다. 전술한 실시 형태는 어안 렌즈를 이용한 촬상 시스템을 일례로 설명하였지만, 상기 실시 형태는 초광각 렌즈를 이용한 전방위 동화상 촬상 시스템에 적용될 수 있다.

전술한 실시 형태에서는 촬상된 복수의 프레임의 화상을 일단 동화상 형식의 화상 데이터로 압축하고, 해당 압축된 동화상 형식의 화상 데이터와 기울기의 시계열 데이터를 전방위 카메라(110)로부터 출력하도록 구성된다. 화상 처리 장치(150)는 출력된 동화상 형식의 화상 데이터와 기울기의 시계열 데이터를 독출하고, 독출된 동화상 형식의 화상 데이터로부터 프레임 각각의 화상을 복원하고, 복원된 프레임 각각의 화상에 대하여 기울기 보정을 행한다.

그러나, 다른 실시 형태는 프레임을 동화상 형식의 화상 데이터로 압축하지 않고 연속하는 정지 화상의 프레임을 그룹으로서 직접 출력할 수 있다. 구체적으로, 다른 실시 형태에서, 전방위 카메라(110)는 복수의 프레임의 화상과 기울기의 시계열 데이터를 출력한다. 화상 처리 장치(150)는 전방위 카메라(110)로부터 출력된 복수의 프레임의 화상과 기울기의 시계열 데이터를 독출하고, 독출된 복수의 프레임 각각의 화상에 대하여 기울기 보정을 행할 수 있다.

또한, 전술한 실시 형태에서는 외부 스토리지를 통해, 전방위 카메라(110)로부터 화상 처리 장치(150)로 동화상 파일 및 기울기 각도 파일을 전달한다. 그러나, 동화상 데이터 및 기울기 각도 데이터의 전달 방법은 한정되지 않는다. 전방위 카메라(110)는 전술한 USB 접속이나 무선 LAN 접속 등의 통신 도구를 통해 동화상 데이터와 기울기 각도 데이터를 화상 처리 장치(150)로 전송할 수 있다.

또한, 전술한 실시 형태에서는 전방위 카메라(110)의 촬상 소자(130A, 130B) 각각에 의해 촬상된 화상으로부터 동화상 형식의 화상 데이터가 작성되고, 화상 처리 장치(150)가 화상들을 합성하고 있다. 그러나, 본 발명은 이에 한정되지 않는다. 구체적으로, 전술한 바와 같이 전방위 카메라(110)는 촬상 소자(130A, 130B)에 의해 촬상된 화상을 미리 합성하고, 그 합성 화상으로부터 동화상 형식의 화상 데이터를 생성하고, 그 생성된 데이터를 화상 처리 장치(150)가 처리할 수 있다. 이 경우, 화상 처리 장치는 화상을 합성할 필요가 없다.

또한, 전술한 실시 형태는 전방위 동화상 촬상 시스템이 전방위 카메라(110)와 화상 처리 장치(150)를 별개의 부재로서 포함하는 것으로 설명하고 있다. 그러나, 본 발명은 이에 한정되지 않는다. 즉, 전방위 동화상 촬상 시스템은 전방위 카메라(110)와 화상 처리 장치(150)를 일체로 포함할 수 있다. 이 경우, CPU(112)와 CPU(152)를 공통의 CPU로 구성할 수 있다. 데이터 전송용의 버스(142)와 버스(168)는 각각 하나의 선으로 구성되고, 각 하드웨어 부재가 그 공통 버스를 통해 연결된다. 이 구성은 외부 스토리지나 유선 또는 무선의 통신 도구를 사용하여 데이터를 전송할 필요성을 제거한다. 또한, 이 경우, 동화상 파일과 기울기 각도 파일을 별도로 기록할 필요가 없다. 대신에, 기울기 각도와 이에 대응하는 화상이 얻어졌을 때, 기울기 각도에 따라 기울기가 보정된 화상 데이터를 생성할 수 있고, 화상 데이터로부터 동화상 데이터를 생성하여, DRAM(132), RAM(154), HDD(156)에 기록하거나, 디스플레이(162)에 표시할 수 있다.

또한, 전술한 실시 형태에서는 수직 방향과 전방위 카메라(110)의 바로 상측 방향이 일치할 때, 화상이 기울어지지 않은 것으로 판정된다. 그러나, 본 발명은 이 기준에 한정되지 않는다. 수직 방향 대신에, 예컨대, 수평 방향이나 기타 원하는 방향을 기준 방향으로서 설정하고, 그 기준 방향에 대한 전방위 카메라(110)나 촬상 소자(130A, 130B) 등의 소정의 물체의 기울기를 기초로 화상의 기울기를 보정할 수 있다. 전술한 실시 형태는 기울기의 검출을 위해 가속도 센서를 사용했지만, 가속도 센서와 지자기 센서의 조합 등의 다른 기울기 센서를 사용하여 전방위 카메라(110)나 전방위 카메라(110)에 고정된 촬상 소자(130A, 130B), 또는 센서 자체 등의 기울기를 검출할 수 있다.

전술한 기능부는 어셈블리 언어, C, C++, C#, Java(등록상표) 등의 레거시 프로그래밍 언어 또는 객체 지향적 프로그래밍 언어로 기술된 컴퓨터-실행 가능한 프로그램에 의해 실현될 수 있다. 프로그램은 ROM, EEPROM, EPROM, 플래시 메모리, 플렉시블 디스크, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, 블루레이 디스크, SD 카드, MO 디스크 등 컴퓨터-판독 가능한 기록 매체에 저장되거나, 전기 통신회선을 통하여 배포될 수 있다. 상기 기능부의 일부 또는 전부는 예컨대 필드-프로그램화 가능한 게이트 어레이(FPGA) 등의 프로그래밍 가능한 디바이스(PD) 상에, 또는 주문형 집적 회로(ASIC)로서 실현될 수 있다. 상기 기능부를 PD 상에 실현하기 위해, PD에 다운로드 될 회로 구성 데이터(비트-스트림 데이터)를, 예컨대 HDL(Hardware Description Language), VHDL(Very High Speed Integrated Circuits Hardware Description Language), 또는 Verilog-HDL 등으로 기술된 데이터를 저장하는 기록 매체를 이용하여 배포할 수 있다.

전술한 구성은 기준 방향에 대한 촬상부의 기울기를 검출하고, 검출된 기울기에 따라 기울기 보정된 동화상 데이터를 생성할 수 있다.

본 발명은 완전하고 분명한 개시를 위해 특정 실시 형태를 참조로 설명하였지만, 첨부된 특허청구범위는 그렇게 한정되지 않으며 당업자가 떠올릴 수 있으면서 여기 언급된 기본적인 개시 내용에 정당하게 속할 수 있는 모든 변형 및 대안적 구성을 구현하는 것으로 해석되어야 한다.

12 촬상체
14 하우징
18 셔터 버튼
20 결상 광학계
22 촬상 소자
100 전방위 동화상 촬상 시스템
110 전방위 카메라
112 CPU
114 ROM
116 화상 처리 블록
118 동화상 압축 블록
120 DRAM 인터페이스
122 외부 스토리지 인터페이스
124 외부 센서 인터페이스
126 USB 인터페이스
128 시리얼 블록
130 촬상 소자
132 DRAM
134 외부 스토리지
136 가속도 센서
138 USB 커넥터
140 무선 NIC
142 버스
150 화상 처리 장치
152 CPU
154 RAM
156 HDD
158 입력 장치
160 외부 스토리지
162 디스플레이
164 무선 NIC
166 USB 커넥터
168 버스
200 기능 블록
210 기능 블록
212 촬상부
214 동화상 압축부
216 기울기 검출부
218 기울기 기록부
220 출력부
230 동화상 파일
240 기울기 각도 파일
250 기능 블록
252 독출부
254 화상 복원부
256 기울기 취득부
258 기울기 보정부
260 변환 테이블 수정부
262 전방위 화상 생성부
264 동화상 생성부
270 동화상 파일
참조 문헌
특허 문헌
특허 문헌 1: 일본 특허 공개 제2013-214947호 공보

Claims

촬상 시스템으로서:
복수의 프레임의 화상을 촬상하는 촬상부;
기준 방향에 대한 상기 촬상부의 기울기를 검출하는 검출부;
상기 검출부에 의해 검출된 기울기의 시계열 데이터를 기록하는 기록부;
상기 기록부에 의해 기록된 상기 기울기의 시계열 데이터를 기초로, 상기 촬상부에 의해 촬상된 상기 프레임들 각각의 화상에 대하여 기울기 보정을 행하는 보정부;
상기 보정부에 의해 보정된 상기 프레임들 각각의 화상을 기초로 동화상 데이터를 생성하는 동화상 생성부
을 포함하는 것을 특징으로 하는 촬상 시스템.
제1항에 있어서:
상기 촬상부에 의해 촬상된 상기 프레임들의 화상을 동화상 형식으로 압축하는 동화상 압축부;
상기 동화상 압축부에 의해 압축된 상기 동화상 형식의 화상 데이터와 상기 기록부에 의해 기록된 상기 기울기의 시계열 데이터를 출력하는 출력부;
상기 출력부에 의해 출력된 상기 동화상 형식의 화상 데이터와 상기 기울기의 시계열 데이터를 독출하는 독출부;
상기 독출부에 의해 독출된 상기 동화상 형식의 화상 데이터로부터 상기 프레임들 각각의 화상을 복원하는 복원부를 더 포함하고,
상기 보정부는 상기 독출부에 의해 독출된 상기 기울기의 시계열 데이터를 기초로 상기 복원부에 의해 복원된 상기 프레임들 각각의 화상에 대하여 기울기 보정을 행하는 것을 특징으로 하는 촬상 시스템.
제1항에 있어서:
상기 촬상부에 의해 촬상된 상기 프레임들의 화상과 상기 기록부에 의해 기록된 상기 기울기의 시계열 데이터를 출력하는 출력부;
상기 출력부에 의해 출력된 상기 프레임들의 화상과 상기 기울기의 시계열 데이터를 독출하는 독출부를 더 포함하고,
상기 보정부는 상기 독출부에 의해 독출된 상기 기울기의 시계열 데이터를 기초로 상기 독출부에 의해 독출된 상기 프레임들 각각의 화상에 대하여 기울기 보정을 행하는 것을 특징으로 하는 촬상 시스템.
제2항 또는 제3항에 있어서, 상기 촬상부, 상기 검출부, 상기 기록부 및 상기 출력부는 촬상 장치에 구비되고, 상기 독출부, 상기 보정부 및 상기 동화상 생성부는 상기 촬상 장치와 분리된 화상 처리 장치에 구비되는 것을 특징으로 하는 촬상 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 촬상부는 제1 광각 촬상 광학계와 제2 광각 촬상 광학계를 포함하고,
상기 촬상부가 촬상하는 상기 프레임들의 화상은 상기 제1 광각 촬상 광학계에 의해 촬상된 제1 부분 화상과 상기 제2 광각 촬상 광학계에 의해 촬상된 제2 부분 화상을 포함하고,
상기 보정부는:
상기 제1 부분 화상 및 상기 제2 부분 화상을 구면 좌표계의 데이터로 변환하도록 제공된 변환 데이터를 상기 기울기에 따라 수정하는 수정부;
상기 수정부에 의해 수정되는 상기 변환 데이터를 이용하여, 상기 제1 부분 화상 및 상기 제2 부분 화상을 상기 구면 좌표계의 데이터로 변환하여 전방위 화상을 생성하는 전방위 화상 생성부를 포함하고,
상기 동화상 데이터는 상기 전방위 화상의 동화상 데이터인 것을 특징으로 하는 촬상 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 보정부는, 상기 기울기 보정을 수행할 때, 전체 동화상 데이터를 구성하는 상기 프레임들 중의 기점 프레임을 기초로 하는 일부의 프레임의 화상을 메모리 내에 로딩하는 것을 특징으로 하는 촬상 시스템.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 기준 방향은 수직 방향이며, 상기 보정부는, 보정부에 의해 보정된 상기 프레임들 각각의 화상의 천정 방향(zenith direction)이 연직선과 일치하도록 상기 기울기 보정을 수행하는 것을 특징으로 하는 촬상 시스템.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 검출부는 가속도 센서를 포함하는 것을 특징으로 하는 촬상 시스템.
화상을 촬상하는 촬상 장치로서:
복수의 프레임의 화상을 촬상하는 촬상부;
기준 방향에 대한 상기 촬상부의 기울기를 검출하는 검출부;
상기 검출부에 의해 검출된 상기 기울기의 시계열 데이터를 기록하는 기록부;
상기 촬상부에 의해 촬상된 상기 프레임들 각각의 화상을 출력하는 제1 출력부;
상기 기록부에 의해 기록된 상기 기울기의 시계열 데이터를 출력하는 제2 출력부
을 포함하며,
상기 제1 출력부에 의해 출력되는 상기 프레임들 각각의 화상은 상기 제2 출력부에 의해 출력되는 상기 기울기의 시계열 데이터를 기초로 기울기 보정되는 것을 특징으로 하는 촬상 장치.
화상을 생성하는 화상 처리 장치를 구현하는 컴퓨터 프로그램으로서:
컴퓨터로 하여금,
촬상 장치에 의해 촬상된 복수의 프레임의 화상을 포함하는 화상 데이터를 독출하는 제1 독출부;
상기 화상 데이터에 대응하고 상기 촬상 장치에 의해 기록된, 상기 촬상 장치의 기준 방향에 대한 기울기의 시계열 데이터를 독출하는 제2 독출부;
상기 제2 독출부에 의해 독출된 상기 기울기의 시계열 데이터를 기초로 상기 제1 독출부에 의해 독출된 상기 화상 데이터에 포함되는 상기 프레임들 각각의 화상에 대하여 기울기 보정을 행하는 보정부;
상기 보정부에 의해 보정된 상기 프레임들 각각의 화상을 기초로 동화상 데이터를 생성하는 동화상 생성부
로서 기능하게 하는 것을 특징으로 하는 컴퓨터 프로그램.
촬상 장치로서:
대상을 촬상하여 대상의 복수의 화상을 출력하는 촬상부;
상기 대상을 촬상할 때에 기울기를 검출하는 검출부;
상기 화상으로부터 동화상을 생성하는 동화상 생성부;
상기 기울기에 대한 정보 및 상기 동화상을 출력하는 출력부
을 포함하는 것을 특징으로 하는 촬상 장치.
제11항에 있어서, 상기 출력부는, 상기 동화상을 구성하는 상기 화상과 각각의 화상의 촬상 시의 상기 기울기에 대한 정보를 서로 연관되도록 출력하는 것을 특징으로 하는 촬상 장치.
제11항 또는 제12항에 있어서, 상기 촬상부를 복수 개 포함하고,
상기 동화상 생성부는 상기 촬상부 각각으로부터 출력되는 복수의 화상의 동화상을 생성하며;
상기 출력부는 상기 동화상을 출력하는 것을 특징으로 하는 촬상 장치.
대상을 촬상하여 대상의 복수의 화상을 출력하는 촬상부;
상기 대상을 촬상할 때의 기울기를 검출하는 검출부;
상기 기울기에 따라 상기 화상을 변환시키는 화상 변환부;
상기 변환된 화상으로부터 동화상을 생성하는 동화상 생성부
을 포함하는 것을 특징으로 하는 시스템.
제14항에 있어서, 상기 촬상부를 복수 개 포함하고,
상기 화상 변환부는 상기 촬상부로부터 출력되는 화상을 변환시키며;
상기 동화상 생성부는, 상기 변환된 화상들 중에서, 상기 촬상부에 의해 동일한 타이밍으로 촬상된 화상들을 하나의 화상으로 합성하는 것에 의해 각각 얻어진 화상으로부터 동화상을 생성하는 것을 특징으로 하는 시스템.