KR20200087816A

KR20200087816A - 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체

Info

Publication number: KR20200087816A
Application number: KR1020207017126A
Authority: KR
Inventors: 가쿠 가와사키
Original assignee: 가부시키가이샤 리코
Priority date: 2017-12-18
Filing date: 2018-11-12
Publication date: 2020-07-21
Also published as: EP3729364A1; CN111480176A; US20200366839A1; JP7031280B2; WO2019123890A1; WO2019123890A9; JP2019110434A; CN111480176B; US11019262B2

Abstract

화상 처리 장치는 저장 유닛, 보정 유닛 및 출력 유닛을 포함한다. 상기 저장 유닛은 상기 화상 처리 장치와 통신 가능한 촬상 장치에 의해 촬상된 복수개 프레임을 포함하는 동화상 데이터, 기준 방향에 대한 상기 촬상 장치의 경사각의 시계열 데이터, 및 상기 촬상 장치의 각속도의 시계열 데이터를 저장한다. 상기 보정 유닛은 상기 각속도의 시계열 데이터에 기초하여 정해진 주파수 범위의 상기 기준 방향 주위의 회전 왜곡을 감소시키도록 상기 동화상 데이터의 각 프레임의 화상을 회전시킨다. 상기 출력 유닛은 회전된 상기 각 프레임의 화상의 화상 데이터를 상기 화상 처리 장치와 통신 가능한 외부 장치로 출력한다.

Description

화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체

본 개시 내용은 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체에 관한 것이다.

근년에 반구형 또는 전방향 시야각으로 정지 화상이나 동화상을 촬상할 수 있는 휴대용 카메라가 널리 사용되고 있다. 이와 같은 휴대용 카메라는 촬상시에 카메라 자세(각도)를 정확하게 제어하기 어렵다. 이와 같은 상황을 고려하여, 카메라 본체가 기울어진 상태에서 촬상된 화상의 기울기를 보정할 수 있는 카메라가 공지되어 있다.

화상 기울기 보정 기술은 예컨대 일본 특허 공개 공보 제2013-214947호에 개시되어 있다. 일본 공개 특허 공보 제2013-214947호는 내부에 배치된 수직 방향에 대한 촬상 장치의 경사각을 검출하는 가속 센서에 의해 검출된 경사각에 따라 어안 화상을 정칙 화상으로 변환하기 위한 변환 파라미터를 산출하는 2 개의 어안 렌즈를 갖는 촬상 장치가 개시되어 있다. 그러나, 일본 공개 특허 공보 제2013-214947호에 개시된 보정 장치에서는 수직 방향 주위의 화상 회전 왜곡은 보정하지 못한다. 이는 일본 공개 특허 공보 제2013-214947호의 장치에서는 가속 센서를 사용한 기울기 보정 만이 이루어지기 때문이다.

또한, 일본 공개 특허 공보 제2017-147682호는 촬상 유닛, 전방향 프레임 데이터를 생성하는 화상 합성 유닛, 촬상 유닛의 자세 정보를 검출하는 자세 검출 유닛, 자세 정보에 기초하여 전방향 프레임 데이터의 좌표를 변환하기 위한 보정량 데이터를 생성하는 보정량 산출 유닛, 및 전방향 화상을 취득하도록 전방향 프레임 데이터를 보정량 데이터와 연관시키는 연관 유닛을 포함하는 전방향 촬상 시스템을 개시한다. 일본 공개 특허 공보 제2017-147682호의 전방향 촬상 시스템에서는 보정량 산출 유닛은 전방향 프레임 데이터에 대하여 글로벌 좌표의 수직 방향을 기준으로 한 경사 보정 및 수평면 진동의 미소 진동 성분 제거에 사용되는 보정량 데이터를 생성하여 이 보정량 데이터를 연관 유닛으로 송신한다.

그러나, 일본 공개 특허 공보 제2017-147682호에 개시된 기술은 촬상시에 촬상 유닛의 자세 정보가 검출되어 보정량 데이터가 산출되기 때문에 촬상시의 부하를 불리하게 증가시킨다. 또한, 글로벌 좌표계의 수평면 내의 미소 진동 성분 제거에 사용된 보정량 데이터 만이 전방향 프레임 데이터와 관련하여 저장되기 때문에, 미소 진동 성분에 관한 정보는 일본 공개 특허 공보 제2017-147682호의 시스템에서는 이용할 수 없다.

일본 공개 특허 공보 제2013-214947호 일본 공개 특허 공보 제2017-147682호

손으로 카메라를 잡고 정지 위치와 자세로 화상을 촬영하는 것은 어렵다. 카메라 본체를 기울여서 화상을 촬영하면 화상 천정이 오정렬되어 천정 보정을 수행하지 않는 한, 수평선이 왜곡된다. 예를 들어 카메라 흔들림으로 인해 카메라 본체가 회전하면 회전 보정을 수행하지 않는 한, 수평선을 따라 화상이 흐려지게 된다.

상기를 고려하여 저장 유닛, 보정 유닛 및 출력 유닛을 포함하는 화상 처리 장치가 제공된다. 바람직하게는, 저장 유닛은 화상 처리 장치와 통신 가능한 촬상 장치에 의해 촬상된 복수개 프레임을 포함하는 동화상 데이터, 촬상 장치의 기준 방향에 대한 경사각의 시계열 데이터, 및 촬상 장치의 각속도의 시계열 데이터를 저장한다. 보정 유닛은 각속도의 시계열 데이터에 기초하여 정해진 주파수 범위의 기준 방향 주위의 회전 왜곡을 감소시키도록 동화상 데이터의 각 프레임의 화상을 회전시킨다. 출력 유닛은 회전된 각 프레임의 화상의 화상 데이터를 화상 처리 장치와 통신 가능한 외부 장치로 출력한다.

이에 따라, 정해진 기준 방향 주위의 화상 회전 흐림이 효과적으로 보정된다.

본 개시 내용의 상기 양태와 기타 양태, 특징 및 장점은 첨부 도면과 관련하여 고려될 때 다음의 상세한 설명을 참조함으로써 보다 잘 이해될 것이다. 첨부 도면은 본 개시 내용을 도시하기 위한 것으로, 본 개시 내용의 범위를 제한하는 것으로 해석되어서는 안된다. 첨부 도면은 명시적으로 언급되지 않는 한, 축척대로 그려진 것으로 간주되어서는 안된다.
도 1은 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템을 구성하는 전방향 카메라의 단면도이다.
도 2a와 2b(도 2)는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템의 하드웨어 구성 블록도이다.
도 3은 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템에 의해 구현되는 전방향 동화상 보정 기능의 기능 구성 블록도이다.
도 4a는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템의 데이터 흐름도이다.
도 4b는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템에 의해 생성된 전방향 화상의 평면 데이터 구조도이다.
도 4c는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템에 의해 생성된 전방향 화상의 구면 데이터 구조도이다.
도 5는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템의 전방향 화상의 천정 보정 및 회전 보정의 예시도이다.
도 6a 및 6b(도 6)는 본 개시 내용의 일 실시예에 따른 천정 보정 및 회전 보정을 수행하여 취득된 전방향 화상의 예시도이다.
도 7은 도 1의 전방향 카메라에 의해 수행되는 전방향 동화상 보정 처리의 흐름도이다.
도 8a 및 8b(도 8)는 본 개시 내용의 일 실시예에 따른 회전 보정에 사용되는 정면 벡터 산출 방법의 예시도이다.

도면에 예시된 바람직한 실시예를 설명함에 있어서, 명확성을 위하여 특정 용어가 사용된다. 그러나, 본 특허 명세서의 개시 내용은 이와 같이 선택된 특정 용어로 제한되도록 의도되지 않으며, 각각의 특정 요소는 동일한 기능을 갖고 유사한 방식으로 동작하며 유사한 결과를 달성하는 모든 기술적 등가물을 포함하는 것으로 이해되어야 한다. 이하의 실시예에서 화상 처리 장치 및 화상 처리 시스템은 전방향 카메라 및 전방향 동화상 시스템을 이용하여 설명한다. 이하, 도 1 및 도2를 참조하여 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템(1000)의 전체 구성에 대하여 설명한다.

도 1은 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템(1000)을 구성하는 전방향 카메라(110)의 단면도이다. 도 1의 전방향 카메라(110)는 촬상 본체(12), 촬상 본체(12)와 제어기(중앙 처리 장치(CPU(112)))나 배터리와 같은 구성 요소를 보유하는 하우징(14), 및 하우징(14) 상에 제공된 셔터 버튼(18)을 포함한다. 도 1의 촬상 본체(12)는 2 개의 결상 광학계(20A 및 20B) 및 2 개의 이미지 센서(22A 및 22B)를 포함한다. 이미지 센서(22A 및 22B)의 예로서는 전하 결합 장치(CCD) 및 상보형 금속 산화물 반도체(CMOS)를 포함한다. 이하, 결상 광학계(20A, 20B)를 총칭하여 결상 광학계(20)라고도 한다. 또한, 이미지 센서(22A, 22B)를 통칭하여 이미지 센서(22)라고도 한다. 결상 광학계(20A 및 20B)의 각각은 예컨대 6 개의 그룹의 7 개 렌즈로 이루어진 어안 렌즈로서 구성된다. 도 1에 도시된 실시예에서는 상기 어안 렌즈는 180도(= 360도/n (여기서, n은 광학계 수를 나타내고, n은 2 임))보다 큰 전체 화각을 갖는다. 바람직하게는, 도 1의 어안 렌즈의 화각은 190도 이상이다. 이와 같은 광각 결상 광학계(20(20A 및 20B)) 중 하나는 광각 촬상 광학계(20 및 22)를 구성하기 위하여 이미지 센서(22(22A 및 22B)) 중 대응하는 하나와 결합된다.

2 개의 결상 광학계(20A 및 20B)의 광학 소자(렌즈, 프리즘, 필터 및 조리개)의 상대 위치는 이미지 센서(22A 및 22B)를 참조하여 정의된다. 보다 구체적으로, 이들 소자는 결상 광학계(20A 및 20B) 각각의 광학 소자의 광 축이 이미지 센서(22) 중 대응하는 하나의 수광 영역의 중심 부분과 직교하도록, 또한 수광 영역이 어안 렌즈 중 대응하는 하나의 결상면으로 되도록 배치된다.

도 1에 도시된 실시예에서 결상 광학계(20A 및 20B)는 동일한 사양을 갖고, 광 축이 서로 일치하도록 서로 반대 방향으로 결합된다. 이미지 센서(22A 및 22B)는 수광된 광 분포를 화상 신호로 변환하고, 화상 프레임을 제어기(CPU(112))의 화상 처리 유닛(화상 처리 블록(116))으로 순차적으로 출력한다. 이후에 상세히 설명되는 바와 같이, 각각의 이미지 센서(22A 및 22B)에 의해 촬상된 화상은 4π 스테라디안의 입체각으로 화상을 생성하기 위하여 합성된다(이하, 이와 같은 화상은 "전방형 화상"으로 지칭됨). 전방향 화상은 촬상 지점으로부터 볼 수 있는 모든 방향의 화상이다. 이와 같이 취득된 전방향 화상의 연속 프레임은 전방향 동화상을 형성한다. 이하의 실시예에서는 전방향 화상 및 전방향 동화상이 생성되는 경우에 대하여 설명한다. 일부 실시예에서는 전원(full-circle) 화상이나 전원 동화상, 파노라마 화상이나 파노라마 동화상이 생성될 수 있다. 여기서 파노라마 화상이나 파노라마 동화상은 수평면으로만 360도 촬상하여 얻을 수 있다.

도 2a는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템(1000)을 구성하는 전방향 카메라(110)의 하드웨어 구성을 나타낸다. 전방향 카메라(110)는 설명하는 일 실시예에 따른 화상 처리 장치 또는 촬상 장치에 대응한다.

전방향 카메라(110)는 CPU(112)(제1 CPU), 판독 전용 메모리(ROM)(114), 화상 처리 블록(116), 동화상 압축 블록(118), 동적 랜덤 액세스 메모리(DRAM) 인터페이스(120)를 통해 연결되는 DRAM(132) 및 센서 인터페이스(124)를 통해 연결되는 센서(136)를 포함한다.

CPU(112)는 전방향 카메라(110)의 구성 요소의 동작을 제어한다. ROM(114)은 CPU(112)에 의해 판독 가능한 코드로 기술된 제어 프로그램 및 다양한 종류의 파라미터를 저장한다. 화상 처리 블록(116)은 제1 이미지 센서(130A) 및 제2 이미지 센서(130B)(각각 도 1의 이미지 센서(22A 및 22B)에 대응)에 연결되고, 이미지 센서(130A 및 130B)에 의해 촬상된 화상의 화상 신호를 수신한다. 화상 처리 블록(116)은 예컨대 화상 신호 처리기(ISP)를 포함하고, 예컨대 쉐이딩 보정, 베이어 보간, 화이트 밸런스 보정 및 감마 보정을 이미지 센서(130A 및 130B)로부터 수신한 화상 신호에 수행한다.

동화상 압축 블록(118)은 MPEG-4 AVC/H.264 포맷의 영상과 같은 영상을 압축 및 확장하기 위한 코덱 블록이다. DRAM(132)은 다양한 유형의 신호 처리 및 화상 처리 수행 시의 데이터를 일시적으로 저장하기 위한 저장 영역을 제공한다.

센서(136)는 3 축 가속 성분 및 3 축 각속도 성분을 검출하기 위한 센서이다. 검출된 가속 성분 및 각속도 성분은 중력 방향으로의 전방향 화상의 천정 보정 및 중력 방향 주위의 회전 보정을 수행하기 위하여 사용된다. 센서(136)는 예컨대 방위각을 얻기 위한 지자기 센서와 같은 센서를 더 포함할 수 있다.

전방향 카메라(110)는 스토리지 인터페이스(122), 범용 직렬 버스(USB) 인터페이스(126), 및 직렬 블록(128)을 더 포함한다. 스토리지 인터페이스(122)는 외부 스토리지(134)에 연결된다. 스토리지 인터페이스(122)는 메모리 카드 슬롯에 삽입된 메모리 카드와 같은 상기 외부 스토리지(134)에 대한 판독 및 기록을 제어한다. USB 인터페이스(126)는 USB 커넥터(138)에 연결된다. USB 인터페이스(126)는 USB 커넥터(138)를 통해 스마트 폰과 같은 외부 장치와의 USB 통신을 제어한다. 직렬 블록(128)은 스마트 폰과 같은 외부 장치와의 직렬 통신을 제어하고, 무선 네트워크 인터페이스 카드(NIC)(140)에 연결되어 있다.

전원 스위치의 조작에 의해 전원이 켜지면, 상술한 제어 프로그램이 메인 메모리(DRAM(132))에 로드된다. CPU(112)는 메인 메모리로 판독된 프로그램에 따라 장치 부품의 동작을 제어하고 제어에 필요한 데이터를 메모리에 일시적으로 저장한다. 이 동작은 후술하는 바와 같이 전방향 카메라(110)의 기능 유닛 및 처리를 구현한다.

도 2b는 본 실시예에 따른 전방향 동화상 시스템(1000)의 정보 단말기(150)의 하드웨어 구성을 나타낸다. 정보 단말기(150)는 본 개시 내용의 일 실시예에 따른 정보 처리 장치의 일례이다.

도 2b에 나타낸 정보 단말기(150)는 CPU(152), RAM(154), 내부 스토리지(156), 입력 장치(158), 스토리지(160), 디스플레이(162), 무선 NIC(164) 및 USB 커넥터(166)를 포함한다.

CPU(152)는 정보 단말기(150)의 각 부분의 동작 및 전체 동작을 제어한다. RAM(154)은 CPU(152)의 작업 영역을 제공한다. 내부 스토리지(156)는 CPU(152)에 의해 해독 가능한 코드로 기술된 작동 시스템과 같은 제어 프로그램과 본 실시예에 따른 정보 단말기(150)를 처리하는 애플리케이션을 저장한다.

입력 장치(158)는 터치 스크린과 같은 입력 장치이며, 사용자 인터페이스를 제공한다. 입력 장치(158)는 예컨대 전방향 동화상의 보정과 같은 다양한 명령을 조작자로부터 접수한다. 스토리지(160)는 예를 들어 정보 단말기(150)의 메모리 카드 슬롯에 삽입되는 착탈식 기록 매체이며, 비디오 형식의 화상 데이터 및 정지 화상 데이터와 같은 다양한 유형의 데이터를 기록한다. 디스플레이(162)는 사용자 조작에 응답하여 보정된 전방향 동화상을 화면에 표시한다. 무선 NIC(164)는 전방향 카메라(110)와 같은 외부 장치와의 무선 통신 연결을 제공한다. USB 커넥터(166)는 전방향 카메라(110)와 같은 외부 장치에 USB 연결을 제공한다.

정보 단말기(150)의 전원이 켜지면, 제어 프로그램이 내부 스토리지(156)로부터 판독되어 RAM(154)에 로드된다. CPU(152)는 RAM(154)으로 판독된 제어 프로그램에 따라 장치의 각 부분의 동작을 제어하고 제어에 필요한 데이터를 일시적으로 메모리에 저장한다. 이 동작은 후술하는 바와 같이 정보 단말기(150)의 기능 유닛 및 처리를 구현한다.

이하, 도 3 내지 도 6을 참조하여 본 실시예에 따른 전방향 동화상 시스템(1000)의 전방향 동화상 보정 기능에 대하여 설명한다.

도 3은 본 개시 내용의 본 실시예에 따른 전방향 동화상 시스템(1000)에서 구현되는 전방향 동화상 보정 기능과 관련된 기능 블록을 도시한 것이다. 도 3에 도시된 바와 같이, 전방향 카메라(110)의 기능 블록(210)은 전방향 동화상 촬상 유닛(212), 저장 유닛(214), 보정 유닛으로서의 전방향 동화상 보정 유닛(220), 수신 유닛(230) 및 출력 유닛으로서의 화상 출력 유닛(232)을 포함한다. 또한, 정보 단말기(150)의 기능 블록(250)은 명령 수신 유닛(252) 및 표시 유닛(254)을 포함한다.

우선, 전방향 카메라(110)의 기능 블록(210)을 설명한다. 전방향 동화상 촬상 유닛(212)은 2 개의 이미지 센서(130A 및 130B)를 사용하여 연속적인 프레임을 순차적으로 촬상하고, 전방향 동화상 데이터(240)를 저장 유닛(214)에 기록한다. 또한, 전방향 동화상 촬상 유닛(212)은 센서(136)를 사용하여 3 축 방향의 가속 성분 및 3 축 방향의 각속도 성분을 측정하고, 측정된 정보를 전방향 동화상 데이터(240)의 메타 데이터로서 기록한다.

저장 유닛(214)은 전방향 동화상 촬상 유닛(212)에 의해 기록된 하나 이상의 동화상 데이터(240)를 저장한다. 저장 유닛(214)은 외부 스토리지(134)나 도 2에 나타낸 기타 스토리지의 저장 영역 일부로서 기능한다. 도 3에 도시된 바와 같이, 전방향 동화상 데이터(240)는 전방향 카메라(110)에 의해 촬상된 동화상 데이터인 전방향 프레임 데이터(242), 촬상 중의 전방향 카메라(110)의 기준 방향에 대한 전방향 카메라(110)의 경사각의 시계열 데이터인 천정 보정 데이터(244), 및 촬상 동작 중의 전방향 카메라(110)의 각속도의 시계열 데이터인 각속도 데이터(246)를 포함한다.

전방향 프레임 데이터(242)는 촬상 동작의 시작부터 종료까지의 기간의 각 전방향 동화상을 구성하는 복수개 프레임을 포함한다. 즉, 전방향 프레임 데이터(242)는 전방향 동화상 데이터(240)를 구성하는 동화상 데이터이다.

이하, 도 4a, 4b 및 4c를 참조하여 전방향 화상을 생성하는 방법 및 생성된 전방향 화상에 대하여 설명한다. 도 4a는 전방향 화상의 생성 시의 각 화상의 데이터 구조 및 화상의 데이터 흐름을 도시한 것이다. 우선, 각각의 이미지 센서(130A 및 130B)에 의해 직접 촬상된 화상은 전 구형의 반구를 대략 시야로 포착한 화상이다. 결상 광학계(20)를 통과한 광은 정해진 투영 시스템에 따라 이미지 센서(130)의 수광 영역에 집속되어 화상 형성된다. 이미지 센서(130)는 수광 영역의 평면 영역을 규정하는 2 차원 이미지 센서이다. 따라서, 이미지 센서(130)에 의해 형성된 화상은 평면 좌표계로 나타내어지는 화상 데이터이다. 이와 같이 형성된 화상은 도 4a에서 어안 화상 A 및 어안 화상 B로 도시된 바와 같이, 각각의 촬상 영역이 투영되는 화상 원 전체를 포함하는 전형적인 어안 화상이다.

복수개 이미지 센서(130)에 의해 촬상된 각 프레임의 복수개 어안 화상은 왜곡 보정 및 합성 처리가 수행되어 각 프레임에 대응한 전방향 화상(구면 화상)을 형성한다. 합성 처리에서는 상보형 반구 부분을 구성하는 전방향 화상이 각각의 평면 어안 화상으로부터 생성된다. 그 다음, 각각의 반구 부분을 포함하는 2 개의 전방향 화상이 반구 부분의 중첩 영역 매칭에 의해 결합되고, 전방향 화상이 합성됨으로써 전 구형을 포함하는 완전 구면(전방향) 화상이 생성된다.

도 4b는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템에서 사용되는 전방향 화상의 화상 데이터의 평면 데이터 구조를 도시한다. 도 4c는 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템에서 사용되는 전방향 화상의 화상 데이터의 구면 데이터 구조를 도시한다. 도 4b에서 전방향 화상의 화상 데이터는 특정 축을 기준으로 한 각도에 대응하는 수직각(φ) 및 축을 중심으로 회전하는 각도에 대응하는 수평각(θ)을 좌표로 한 화소 값의 배열로 표현된다. 수직각(φ)의 범위는 0 ° 내지 180 °(또는 - 90 ° 내지 + 90 °)이고, 수평각(θ)의 범위는 0 °내지 360 °(또는 - 180 ° 내지 + 180 °)이다.

도 4c에 도시된 바와 같이, 전방향 포맷(화상 데이터의 구면 데이터 구조)의 각각의 좌표 값(θ, φ)은 촬상 위치로부터의 전 방위를 나타내는 구면의 점과 관련된다. 따라서 전 방위는 전방향 화상의 점과 대응된다. 어안 렌즈에 의해 촬상된 어안 화상의 평면 좌표는 전방향 화상의 구면의 좌표와 대응되고, 이는 정해진 변환 테이블에 포함된다. 변환 테이블은 각각의 렌즈 광학계의 설계 데이터에 기초하여 정해진 투영 모델에 따라 예컨대 제조자에 의해 미리 준비된 데이터를 포함한다. 변환 테이블의 데이터는 어안 화상의 전방향 화상으로의 변환에 사용된다.

전술한 설명에서는 전방향 프레임 데이터(242)가 전방향 동화상을 구성하는 것으로 가정되지만, 이에 제한되는 것은 아니고, 도 4c에 도시된 합성된 전방향 화상의 포맷으로 각 프레임이 기록될 필요는 없다. 일부 실시예에서는 전방향 프레임 데이터(242)는 재생용으로 전방향 동화상을 구성할 수 있는 한, 임의의 다른 형태이다.

예컨대, 각 프레임의 어안 화상이 왜곡 보정 및 합성 처리가 되어 재생되는 전방향 화상을 생성한다고 가정하면, 이미지 센서(130A 및 130B)에 의해 직접 촬상된 2 개의 어안 화상의 동화상 데이터(도 4a의 어안 화상 A 및 어안 화상 B에 대응하는 각각의 동화상 데이터)가 전방향 프레임 데이터(242)로서 기록된다. 또는, 2 개의 어안 화상 A 및 어안 화상 B가 결합하여 형성된 결합 화상의 동화상 데이터(즉, 어안 화상 A과 어안 화상 B가 나란히 결합하여 형성된 하나의 화상의 동화상 데이터)는 전방향 프레임 데이터(242)로서 기록되어도 된다. 이하의 설명에서 전방향 프레임 데이터(242)는 설명의 편의를 위하여 왜곡 보정되어 합성된 전방향 화상 포맷으로 각 프레임의 화상을 포함하는 것으로 가정한다.

또한, 전방향 프레임 데이터(242)는 동화상 데이터에 한정되지 않고, 동화상이 재생될 수 있는 한 임의의 형태로 기록되어도 된다. 예컨대, 전방향 프레임 데이터(242)는 복수개 프레임이 H.264/MPEG-4 AVC(Advanced Video Coding) 또는 H.265/HEVC(High Efficiency Video Coding)과 같은 특정 코덱으로 압축된 동화상 데이터로서 기록된다. 또한, JPEG(Joint Photographic Experts Group)는 동화상을 연속적인 정지 화상으로 표현하는 포맷이지만, 동화상 데이터는 복수개 프레임의 정지 화상의 연속적인 계열로서 기록되어도 된다.

이하의 설명은 도 3을 참조하여 이루어진다. 천정 보정 데이터(244)는 촬상 동작 개시부터 종료까지의 기간의 전방향 카메라(110)의 기준 방향에 대한 전방향 카메라(110)의 경사각의 시계열 데이터이다. 시계열 데이터는 전방향 화상의 각 프레임과 관련하여 기록된다. 전방향 카메라(110)의 기준 방향은 전형적으로 중력 가속이 적용되는 중력 방향이다. 중력 방향에 대한 경사각은 센서(136)에 포함된 가속 센서에 의해 측정된 신호에 따라 생성된다. 경사각은 전형적으로 가속 차원 값의 벡터로서 구성된다. 가속 센서는 중력과 관성력을 구별하지 않기 때문에, 바람직하게는 센서(136)의 가속 센서로부터 취득된 경사각은 각속도 센서에 의해 측정된 신호에 따라 보정되어도 된다.

본 개시 내용의 실시예에서는 경사각이 일대일로 프레임에 대응하고, 경사각과 프레임은 동기적으로 기록된다. 그러나, 기록되는 경사각의 레이트는 프레임 레이트와 동일하지 않을 수 있다. 경사각의 레이트가 프레임 레이트와 동일하지 않은 경우, 프레임 레이트에서 리샘플링을 수행함으로써 프레임에 일대일로 대응하는 경사각을 얻을 수 있다.

각속도 데이터(246)는 각속도 센서에 의해 측정된, 촬상 동작의 개시부터 종료까지의 기간의 전방향 카메라(110)의 각속도 센서의 3 개 축을 중심으로 생성된 각속도의 시계열 데이터이다. 각속도는 프레임과 관련하여 기록하지 않아도 된다. 전형적으로는, 프레임 레이트보다 빠른 각속도가 각속도 데이터(246)에 기록된다. 이 경우에는 타임 스탬프를 사용함으로써 프레임과 경사각 간의 관계를 나중에 얻을 수 있다. 또는, 각속도는 각각 전방향 동화상의 프레임과 관련하여 기록하여도 된다.

전방향 동화상 보정 유닛(220)은 저장 유닛(214)에 저장된 전방향 동화상 데이터(240)를 판독하고, 전방향 프레임 데이터(242)의 각 프레임에 천정 보정 및 회전 보정을 수행한다(즉, 전방향 동화상 보정 유닛(220)은 각 프레임 화상을 회전시킨다). 이와 같이 보정된 전방향 동화상 데이터는 기타 유닛으로 출력된다.

이하, 도 5 및 도 6을 참조하여 천정 보정 및 회전 보정에 대하여 설명한다. 도 5는 본 개시 내용의 일 실시예에 따른 전방향 화상에 적용되는 천정 보정 및 회전 보정의 예시도이다. 도 6a 및 6b는 본 개시 내용의 일 실시예에 따른 천정 보정 및 회전 보정을 수행한 전방향 화상을 도시한 도면이다. 도 6a는 천정 보정 전의 동화상의 프레임을 도시한 도면이고, 도 6b는 천정 보정 후의 동화상의 프레임을 도시한 도면이다.

전술한 바와 같이, 전방향 화상 포맷의 화상 데이터는 특정 축(z0)을 기준으로 하는 각도에 대응하는 수직각(φ) 및 축을 중심으로 하는 회전각에 대응하는 수평각(θ)을 좌표로 하는 화소 값의 배열로 표현된다. 보정이 이루어지지 않으면, 특정 축(z0)은 전방향 카메라(110)를 참조하여 정의된다. 예컨대, 축(z0)은 수평각(θ) 및 수직각(φ)을 정의하는 중심 축(z0)으로 정의되며, 도 1의 전방향 카메라(110)의 촬상 본체(12) 쪽이 상부이고, 전방향 카메라(110)의 반대쪽이 하부인 하우징(14)의 중심을 하부에서 상부로 통과한다. 또한, 예컨대, 결상 광학계(20A 및 20B) 중 하나의 광학 소자의 광 축 방향이 대응하는 화상 센서(22)의 중심에 수평각(θ)으로 위치되도록 전방향 화상의 수평각(θ)이 정의된다.

천정 보정(롤 방향 및 피치 방향의 보정)은 도5의 좌측 예시도에 도시된 바와 같이 기준 방향(Z)(중력 방향)에 대하여 실제로 기울어진 중심 축(z0)으로 촬상된 전방향 화상(도 6a)을 도 5의 우측 예시도에 도시된 바와 같이 기준 방향(Z)과 일치한 중심 축(z0)으로 촬상된 전방향 화상(도 6b)으로 보정하는 보정 처리이다. 회전 보정은 기준 방향(Z)과 중심 축(z0)이 일치하도록 천정 보정이 이루어진 전방향 화상의 기준 방향(Z) 주위(도 6a 및 6b의 수평각(θ) 방향)의 회전 왜곡을 감소시키는 보정(편요 방향의 보정)이다.

이하, 도 3을 참조하여 전방향 동화상 보정 유닛(220)의 동작을 상세하게 설명한다. 보다 구체적으로, 전방향 동화상 보정 유닛(220)은 카메라 정면 산출 유닛(222)(제1 산출 유닛), 보정각 산출 유닛(224)(제2 산출 유닛), 보정각 조정 유닛(226)(제3 산출 유닛) 및 화상 회전 유닛(228)을 포함한다.

카메라 정면 산출 유닛(222)은 천정 보정 데이터(244) 및 각속도 데이터(246)에 기초하여 전방향 카메라(110)의 정면 방향(결상 광학계(20A 및 20B) 중 하나의 광축 방향))의 시계열 값을 산출한다. 보다 구체적으로, 카메라 정면 산출 유닛(222)은 우선 천정 보정 데이터(244)에 포함된 선두 프레임의 경사각 값(T(0))에 기초하여 선두 프레임 촬상시(제1 시점)의 전방향 카메라(110)의 정면 방향(V(0))(제1 정면 방향)을 산출한다. 선두 프레임에 대한 정면 방향(V(0))을 취득한 후, 카메라 정면 산출 유닛(222)은 초기 값(V(0))을 기점으로 하여 각속도 데이터(246)의 각속도 자이로(Gyro)(n)에 기초하여 각각의 프레임에 대응하는 다수의 시점에 걸쳐 전방향 카메라(110)의 정면 방향(V(n))의 시계열 값을 산출한다. 정면 방향(V(n))은 선두 프레임에 대한 정면 방향(V(0))을 기점으로 하여 각 축의 각속도에 대응하는 무한 소회전을 적산함으로써 얻어진다. 산출된 정면 방향(V(n))의 시계열 값은 보정각 산출 유닛(224)으로 전송된다.

보정각 산출 유닛(224)은 천정 보정 데이터(244)의 경사각 데이터(T(m))에 기초하여 각 프레임 촬상 시의 전방향 카메라(110)의 정면 방향(V(n)으로부터 각 대응하는 프레임 촬상 시의 기준 방향(Z) 주위의 회전 보정각(Angle(n))을 산출한다. 산출된 보정각(Angle(n))은 보정각 조정 유닛(226)으로 전송된다.

보정각 조정 유닛(226)은 성공적으로 자연적인 보정 동작을 달성하기 위하여 각 프레임에 대하여 산출된 보정각(Angle(n))을 조정한다. 취득된(산출된) 보정각(Angle(n))은 통상적으로 정해진 범위 내이다(예컨대, -180도부터 +180도까지). 따라서, 보정각(Angle(n))은 시계열 값으로 볼 때 +180도 근처에서 -180도 근처(또는 -180도 근처에서 +180도 근처)로 변할 수 있다. 이와 같은 상황을 고려하여, 보정각 조정 유닛(226)은 연속적으로 얻어진 보정각 간의 보정각(Angle(n))의 변화량에 기초하여 보정각(Angle(n))이 상한 근처에서 하한 근처로(하한 근처에서 상한 근처로) 변화한 것을 검출한다. 즉, 보정각 조정부(226)는 보정각 범위의 극단으로부터 다른 극단에 걸친 보정각(Angle(n))의 변화를 검출한다. 이와 같은 검출에 기초하여, 보정각 조정 유닛(226)은 각 프레임의 보정각(Angle(n))에 대하여 조정 값을 가산 또는 감산한다. 이와 같은 구성에 의해, 보정각의 범위가 확장되고 시계열 보정각 연속성이 유지된다. 또한, 보정각 조정 유닛(226)(필터링 유닛)은 정해진 주파수 범위의 주파수 성분, 바람직하게는 고주파 성분만을 통과시키도록 확장된 범위의 보정각에 대하여 필터링 처리를 수행한다. 필터링 처리된 보정각(AngleOut(n))은 화상 회전 유닛(228)으로 전송된다.

화상 회전 유닛(228)은 천정 보정 데이터(244)에 기초하여 전방향 프레임 데이터(242)의 복수개의 프레임 각각에 대하여 전방향 화상의 천정 보정을 수행한다. 동시에, 본 실시예에 따른 화상 회전 유닛(228)은 복수개 프레임에 대하여 산출된 보정각(AngleOut(n))에 기초하여 정해진 주파수 범위의 기준 방향(Z) 주위의 회전 왜곡이 감소되도록 화상을 회전시킨다.

전방향 프레임 데이터(242) 중의 각 프레임의 화상이 합성된 전방향 화상 포맷의 화상인 경우, 화상 회전 유닛(228)은 각 프레임에 대하여 전방향 화상의 회전 좌표 변환을 수행한다. 전방향 프레임 데이터(242) 중의 각 프레임이 합성 전의 복수개 어안 화상을 포함하는 경우, 화상 회전 유닛(228)은 각 프레임에 대하여 천정 보정 및 회전 보정을 수행하고, 또한 복수개 어안 화상을 전방향 화상으로 변환시킨다.

수신 유닛(230)은 전방향 카메라(110)와 통신 가능한 정보 단말기(150)로부터 다양한 요구를 수신한다. 정보 단말기(150)로부터 전방향 동화상의 보정 요구(예컨대, 재생을 위한 보정된 전방향 동화상의 출력 요구)를 수신하면, 수신 유닛(230)은 전방향 동화상 보정 유닛(220)으로 요구를 전달한다. 전방향 동화상 보정 유닛(220)은 보정된 화상 데이터를 출력하기 위하여 전방향 동화상 보정 요구에 따라 지정된 전방향 동화상 데이터(240)에 대한 천정 보정 및 회전 보정을 시작한다. 출력 유닛(232)은 전방향 동화상 보정 유닛(220)에 의해 천정 보정 및 회전 보정이 수행된 복수개 프레임에 기초하여 전방향 동화상의 화상 데이터를 요구 출처의 정보 단말기(150)로 출력한다. 이 경우, 화상 데이터는 복수개 프레임의 각각의 보정된 전방향 화상에 기초하여 정해진 동화상 압축 포맷으로 인코딩되고, 최종 동화상 데이터 또는 정지 화상의 계열로서 출력될 수 있다.

정보 단말기(150)는 전방향 카메라(110)와 통신하여 전방향 화상을 표시 재생하기 위한 애플리케이션이 설치된 스마트 폰, 태블릿 컴퓨터 및 개인용 컴퓨터와 같은 단말 장치이다. 정보 단말기(150)는 애플리케이션을 통해 조작자로부터 다양한 명령을 수신하고 전방향 카메라(110)에 다양한 요구를 발행한다. 정보 단말기(150)의 명령 수신 유닛(252)은 조작자에 의해 지정된 전방향 동화상의 보정 명령(예컨대, 보정하면서 동화상을 재생하라는 명령)을 접수한 것에 응답하여 전방향 카메라(110)에 대하여 특정의 보정된 전방향 동화상의 동화상 데이터 출력 요구를 발행한다. 정보 단말기(150)의 표시 유닛(254)은 전방향 카메라(110)로부터 출력되는 전방향 동화상의 화상 데이터에 기초하여 전방향 동화상을 정보 단말기(150)의 디스플레이(162)와 같은 표시 장치에 표시한다.

참고로 정보 단말기(150)는 보정된 화상 데이터에 기초하여 임의의 원하는 유형의 화상을 표시할 수 있다. 예컨대, 전방향 화상을 표시 장치에 표시하여도 되고, 또는 전방향 화상을 구형 물체 상에 붙여 넣고 정해진 위치에서 정해진 시야각의 카메라로 구형 물체를 관찰 시에 포착되는 화상을 프레임으로서 동화상 표시하여도 된다.

본 실시예에서는 천정 보정 및 회전 보정 처리는 실제로 정보 단말기(150)가 아닌 전방향 카메라(110)의 자원을 이용하여 수행되고, 보정 결과는 정보 단말기(150)로 출력되어 보정된 화상이 표시된다. 이 구성에 의해, 정보 단말기(150)의 처리 성능에 관계 없이, 화상에 천정 보정 및 회전 보정을 수행하면서 안정적으로 동화상 재생을 수행할 수 있다.

본 개시 내용의 실시예에서는 전방향 동화상의 화상 데이터를 정보 단말기(150)로 전송하는 경우에 대하여 설명하였지만, 이에 제한되는 것은 아니다. 전방향 카메라(110)가 표시 장치를 포함하는 경우, 전방향 카메라(110)의 표시 장치는 전방향 동화상을 표시하여도 된다. 또는, 전방향 동화상의 화상 데이터는 다른 파일로 저장하여도 된다.

이하, 도 7 및 도 8을 참조하여 본 개시 내용의 일 실시예에 따른 회전 보정에 대하여 보다 구체적으로 설명한다. 도 7은 본 개시 내용의 일 실시예에 따른 전방향 동화상 시스템(1000)을 구성하는 전방향 카메라(110)가 수행하는 전방향 동화상 보정 처리의 흐름도이다. 도 8a 및 8b는 본 개시 내용의 일 실시예에 따른 회전 보정을 위한 정면 벡터 산출 방법을 설명하기 위한 예시도이다.

도 7에 도시된 처리에서 전방향 카메라(110)는 전방향 카메라(110)와 외부적으로 통신하는 정보 단말기(150)로부터 보정된 특정 전방향 동화상의 동화상 데이터 출력 요구를 수신한 것에 응답하여 처리를 시작한다.

단계 S101에서 전방향 카메라(110)는 수신된 요구에 의해 지정된 전방향 동화상 데이터(240)를 판독한다. 이 경우, 전방향 카메라(110)에 의해 판독된 전방향 동화상 데이터(240)는 전방향 동화상 데이터(240)를 구성하는 전방향 프레임 데이터(242) 및 천정 보정 데이터(244)와 각속도 데이터(246)를 포함하는 메타 데이터를 포함한다.

단계 S102에서 전방향 카메라(110)는 천정 보정 데이터(244) 중 선두 프레임의 경사각 벡터(T(0))에 기초하여 선두 프레임(선두(제1) 프레임 촬상 시)의 전방향 카메라(110)의 정면 방향(V(0))을 산출한다. 우선, 선두 프레임의 경사각 벡터(T(0))와 중력 벡터(G=(0, 0, 1))의 4원수(Q(0))가 생성된다. 경사각 벡터(T(0))는 선두(제1) 프레임의 글로벌 좌표계와 전방향 카메라(110)의 로컬 좌표계 간의 회전 변위를 나타낸다. 4원수(Q(0))의 회전축(A(0))과 회전각(θ(0))은 다음 수학 식 (1) 및 (2)로 나타내어진다. 또한, 4원수(Q(0))는 도 8a에 도시된 바와 같이, 회전축(A(0))을 중심으로 한 회전각(θ(0))의 회전을 나타낸다.

도 8a에 도시된 바와 같이, 전방향 카메라(110)의 정면 방향 벡터의 초기 값(V(0))을 얻기 위하여, 취득된 4원수(Q(0))로 글로벌 정면 벡터(0, 1, 0)를 회전시킨다. 이 경우, 전방향 카메라(110)의 중심 축(z0)이 글로벌 좌표계의 Z축(중력 방향)과 일치하고, 전방향 카메라(110)의 정면 방향(광학계 중 하나의 광축)이 글로벌 좌표계의 Y축과 일치하다고 가정하여 기울어진 상태의 전방향 카메라(110)의 정면을 나타내는 정면 방향 벡터의 초기 값(V(0))이 얻어진다.

단계 S103에서 전방향 카메라(110)는 각속도 데이터(246)에 기초하여 각 프레임에 대응하는 복수개 시점에 걸쳐 전방향 카메라(110)의 정면 방향 벡터(V(n))의 시계열 값을 산출한다. 각 시점의 정면 방향 벡터(V(n))는 각속도 데이터(246)의 샘플링 처리 간의 시간차를 산출하고 3 개의 축 주위의 각속도((Gyro)(n))에 대응하는 무한 소회전을 각 샘플링마다 적산함으로써 얻어진다. 전방향 카메라(110)의 부하로 인해 샘플링 간격이 달라질 수 있지만, 샘플링 간의 시간차는 타임 스탬프로부터 적절히 얻을 수 있다. 단계 S103에서는 도 8b에 도시된 바와 같이, 정면 방향 벡터(V(n))의 시계열 값은 선두(제1) 프레임 촬상 시점의 정면 방향 벡터(V(0))를 기점으로 하여 산출된다.

단계 S104 내지 S110의 루프에서는 회전 보정을 위한 보정각을 산출하면서 각 프레임마다 천정 보정 및 회전 보정을 수행한다.

단계 S105에서는 전방향 카메라(110)는 관심 프레임에 대응하는 카메라 정면 방향 벡터(V(n))를 검색하고 천정 보정 데이터(244)에 기초하여 회전 보정에 대한 보정각을 산출한다. 전형적으로, 각속도 데이터(246)는 프레임 레이트와 다른 샘플링 레이트를 구비하고, 여기서는 타임 스탬프에 가깝고 천정 보정 데이터(244)의 관심 프레임에 대응하는 정면 방향 벡터(V)가 검색된다.

이 경우, 정면 방향 벡터(V(n))는 m번째 프레임에 해당한다고 가정한다. 우선, m번째 프레임의 경사각 벡터(T(m))로부터 4원수(Q(m))를 구한다. 4원수(Q(m))의 회전축(A(m)) 및 회전각(θ(m))은 상기 수학 식 (1) 및 수학 식 (2)와 마찬가지로 다음의 수학 식 (3) 및 (4)로 나타내어진다.

또한, 도 8b에 도시된 바와 같이, 4원수(Q(m))로 m번째 프레임에 대응하는 정면 방향 벡터(V(n))를 회전시켜 정면 방향 벡터(V‘(n))를 얻는다. 그 결과, 천정 보정 후의 카메라 정면 벡터(V(n))가 향하는 방향이 얻어진다. 또한, 얻어진 벡터(V‘(n))에 기초하여 다음 수학 식을 이용하여 글로벌 좌표의 XY 평면 내에서 보정각(Angle(n))을 구한다.

이 경우에, 상기 수학 식 (5) 중의 함수 atan2(x 좌표 및 y 좌표)는 역탄젠트를 -180도 내지 180도 (-π 내지 π) 범위로 반환하는 함수이다.

단계 S106에서 전방향 카메라(110)는 고역 통과 필터의 전처리로서, 단계 S105에서 취득된 보정각을 보정각의 연속성이 유지되도록 조정하고, 이에 따라 조정 후의 보정각(AngleIn(n))을 산출한다.

전술한 실시 예에서 보정각(Angle(n))은 역탄젠트에 의해 -180° 내지 +180°의 범위의 값으로서 취득된다. 이 경우, 보정각(Angle(n))은 시계열 값으로 볼 때 +180° 근처에서 -180° 근처로(또는 반대 방향으로 -180° 근처에서 +180° 근처로) 변할 수 있다. 단계 S106에서는 다음의 의사 코드에 의해 나타내는 바와 같이, 전방향 카메라(110)(가산 감산 유닛)는 연속적으로 얻어진 보정각(Angle(n))의 보정각 간의 변화량에 기초하여 보정각(Angle(n))의 상한 근처에서 하한 근처로(하한 근처에서 상한 근처로) 범위가 변화한 것을 검출한다. 즉, 범위의 극단에서 다른 극단으로 보정각(Angle(n))이 변화한 것이 검출된다. 이와 같은 검출에 기초하여 각 프레임에 대한 보정각(Angle(n))으로부터 가산 감산 유닛에 의해 조정 값이 가산되거나 감산된다. 다음의 의사 코드에서 "임계 값"은 상한 근처에서 하한 근처로(하한 근처에서 상한 근처로)의 보정각의 범위 변화를 검지하기 위한 보정각(Angle(n))의 변화량에 대한 임계 값이다. 다음 수학 식의 마지막 코드 "Angle(0)"은 상기 수학 식 (5)에서 얻은 보정각의 초기 값이다. 이 보정각(Angle(0))에 따라 보정이 수행된다. 다음의 의사 코드에서 "(n_-1) "은 n이 대응하는 프레임의 바로 앞 프레임에 대응한다.

단계 S107에서 전방향 카메라(110)는 관심 프레임의 조정된 보정각(AngleIn(n))에 대하여 고주파 성분을 통과시키는 고역 통과 필터링 처리를 수행한다. 따라서, 필터링 처리 후의 필터링된 보정각(AngleOut(n))이 얻어진다. 필터링된 보정각(AngleOut(n))은 다음 수학 식으로 구한다. 다음 수학 식에서 기호 "P"는 샘플링 주기이고, 기호 "Hc"는 차단 주파수이다. 다음 수학 식에서 (n₊₁)은 "n"에 대응하는 프레임의 바로 다음 프레임에 대응한다.

단계 S108에서 전방향 카메라(110)는 천정 보정 외에도 산출된 보정각 및 천정 보정 데이터(244) 중의 대응하는 경사 벡터(T(m))에 기초하여 고주파 성분으로 인한 기준 방향 주위의 회전 왜곡을 감소시키도록 전방향 프레임 데이터(242) 중의 관심 프레임에 대한 회전 보정을 수행한다. 단계 S109에서 전방향 카메라(110)는 회전 변환된 전방향 화상의 프레임을 출력한다.

전방향 동화상 데이터(240)에 포함된 프레임 전체에 대하여 단계 S105 내지 S109의 처리가 수행되면, 단계 S104 내지 단계 S110의 루프가 종료되고, 보정 처리가 종료된다.

전방향 카메라(110)가 수직 방향으로(전방향 카메라(110)가 기준 방향(중력 방향)을 기준으로 기울어지지 않게) 적절하게 배치되면, 도 6b에 도시된 바와 같이, 촬상자에 의해 인식되는 천정과 수평선이 일치하도록 전방향 화상을 촬상할 수 있다. 그러나 일반적으로 카메라를 손으로 잡고 정확한 위치와 자세로 화상을 촬상하기는 어렵다. 카메라 본체가 기울어진 상태에서 화상이 촬상되면, 도 6a에 나타낸 바와 같이, 천정 보정이 수행되지 않는 한, 화상의 천정이 오정렬되어 수평선이 왜곡된다. 예컨대, 카메라 흔들림으로 인해 카메라 본체가 회전되면, 회전 보정을 수행하지 않는 한, 화상이 수평선을 따라 흐려진다.

그러나, 본 개시 내용에 따른 실시예에서는 전방향 카메라(110)의 중심 축(z0)이 중력 방향과 같은 기준 방향(Z)과 일치하도록, 또한 기준 방향(Z) 주위의 화상 회전 왜곡이 감소되도록, 프레임 전체의 화상에 대하여 변환 처리(보정 처리)를 수행한다. 이와 같은 구성에 의해 시청자는 불편함을 느끼지 않고 보정된 전방향 동화상을 볼 수 있다.

상술한 바와 같이, 전술한 실시예에 따른 구성은 규정된 기준 방향 주위의 화상 회전 흐림을 효과적으로 보정할 수 있는 화상 처리 장치, 화상 처리 장치를 포함하는 화상 처리 시스템 및 캐리어 수단을 제공할 수 있다.

특히, 회전 보정은 촬상시 메타 데이터로 저장된 각속도 데이터를 이용하여 수행되므로, 촬상 중의 부하를 줄일 수 있다. 또한, 회전 보정을 할 것인지, 미소 성분만을 방지하도록 회전 보정을 할 것인지를 재생시에 결정할 수 있다.

전술한 실시예에서는 화상 처리 장치의 예로서 전방향 카메라(110)가 설명되었다. 전방향 카메라(110)의 자원을 이용하여 천정 보정 및 회전 보정의 실질적인 처리를 수행하는 구성에 의해 동화상 재생 장치의 처리 성능에 관계없이, 화상에 천정 보정 및 회전 보정을 수행하면서 동화상을 안정적으로 재생할 수 있다. 그러나, 화상 처리 장치는 전방향 카메라(110)와 같은 촬상 장치가 아니어도 된다. 일부 다른 실시예에서는 전방향 카메라(110)와 다른 개인용 컴퓨터와 같은 정보 처리 장치를 화상 처리 장치로서 사용하여도 된다.

상술한 실시예에서는 각각 180도보다 큰 화각을 갖는 렌즈 광학계에 의해 촬상된 2 개의 부분 화상이 중첩되어 합성되는 경우를 설명하였지만, 이에 제한되는 것은 아니다. 일부 다른 실시예에서는 하나 이상의 렌즈 광학계에 의해 촬상된 3 개 이상의 부분 화상이 서로 중첩되어 합성될 수 있다. 또한, 상술한 실시예에 따른 구성은 어안 렌즈가 장착된 촬상 시스템에 적용된다. 또는, 본 개시 내용의 실시예에 따른 구성은 초광각 렌즈가 장착된 전방향 동화상 시스템에 적용 가능하다.

또한, 전술한 실시예에서는 전방향 동화상 시스템(1000) 중의 전방향 카메라(110)와 정보 단말기(150)가 분리되는 경우를 설명하였지만, 이에 제한되지 않는다. 일부 실시예에서는 전방향 동화상 시스템(1000) 중의 전방향 카메라(110)와 정보 단말기(150)가 결합되어도 된다.

또한, 전술한 실시예에서 전방향 카메라(110)는 중력 방향과 전방향 카메라(110)의 중심 축이 일치될 때 기울어지지 않는다. 그러나, 이에 제한되는 것은 아니다. 예컨대, 중력 방향 대신에, 수평 방향 또는 다른 원하는 방향이 기준 방향으로 설정될 수 있고, 전방향 카메라(110) 또는 이미지 센서(130A 또는 130B)와 같은 규정된 물체의 기준 방향에 대한 기울기에 기초하여 화상 기울기를 보정하여도 된다.

전술한 기능 블록은 어셈블러 언어, C와 같은 프로그래밍 언어 및 C++, C#, Java(등록 상표)와 같은 오브젝 지향 프로그래밍 언어로 작성된 컴퓨터 실행 가능한 프로그램에 의해 구현된다. 프로그램은 ROM, 전기적 소거 및 프로그램 가능한 판독 전용 메모리(EEPROM), 전기적 프로그램 가능한 판독 전용 메모리(EPROM), 플래시 메모리, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), CD-RW(Compact Disc Rewritable), DVD(Digital Versatile Disk)-ROM, DVD-RAM, DVD-RW, Blu-ray 디스크, SD(Secure Digital) 카드 및 광 자기 디스크(MO)와 같은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있고, 통신선을 통해 분배될 수 있다. 전술한 기능 유닛의 전부 또는 일부는 예컨대, FPGA(Field Programmable Gate Array)와 같은 프로그램 가능한 장치 또는 ASIC(application specific integrated circuit)로서 구현될 수 있다. 프로그램 가능한 장치에서 이와 같은 기능 유닛을 구현하기 위하여, 프로그램 가능한 장치로 다운로드하는 회로 구성 데이터(비트 스트림 데이터)는 예컨대, 하드웨어 기술 언어(HDL), 고속 집적 회로 하드웨어 기술 언어(VHDL) 또는 Verilog HDL로 기록된 데이터를 저장하는 기록 매체를 이용하여 분배될 수 있다.

상기 교시에 비추어 수많은 추가 수정 및 변형이 가능하다. 그러므로, 본 특허 명세서의 개시 내용은 첨부된 청구 범위의 범주 내에서 본 명세서에서 구체적으로 설명된 것과 다르게 실시될 수 있음을 이해해야 한다. 본 발명은 임의의 편리한 형태, 예컨대 전용 하드웨어, 또는 전용 하드웨어와 소프트웨어의 혼합물을 이용하여 구현될 수 있다. 본 발명은 하나 이상의 네트워크 처리 장치에 의해 구현된 컴퓨터 소프트웨어로서 구현될 수 있다. 처리 장치는 범용 컴퓨터, 개인 휴대 정보 단말기, 이동 전화(예컨대 WAP 또는 3G 호환 전화) 등과 같은 적절히 프로그램된 장치로 구성될 수 있다. 본 발명은 소프트웨어로서 구현될 수 있기 때문에, 본 발명의 각 양태 및 모든 양태는 프로그램 가능한 장치에서 구현 가능한 컴퓨터 소프트웨어를 포함한다. 컴퓨터 소프트웨어는 임의의 종래의 캐리어 매체(캐리어 수단)를 사용하여 프로그램 가능한 장치에 제공될 수 있다. 캐리어 매체는 컴퓨터 코드를 전달하는 전기, 광학, 마이크로파, 음향 또는 무선 주파수 신호와 같은 일시적인 캐리어 매체로 구성될 수 있다. 이와 같은 일시적인 매체의 예로는 인터넷과 같은 IP 네트워크를 통해 컴퓨터 코드를 전달하는 TCP/IP 신호이다. 캐리어 매체는 또한 플로피 디스크, 하드 디스크, CD ROM, 자기 테이프 장치 또는 솔리드 스테이트 메모리 장치와 같은 프로세서 판독 가능한 코드를 저장하기 위한 저장 매체를 포함할 수 있다. 이상, 본 개시 내용의 실시예에 대하여 설명하였지만, 본 개시 내용은 상술한 실시예에 한정되는 것이 아니라, 본 개시 내용의 범위 내에서 다양한 변형이 가능하다. 상기 교시에 비추어 수많은 추가 수정 및 변형이 가능하다. 그러므로, 첨부된 청구 범위의 범주 내에서 실시예는 본 명세서에서 구체적으로 설명된 것과 다르게 실시될 수 있음을 이해해야 한다. 예컨대, 상이한 예시적인 실시예들의 요소들 및/또는 특징들은 서로 결합될 수 있고, 또한/또는 본 개시 내용 및 첨부된 청구 범위의 범주 내에서 서로 대체될 수 있다.

설명된 실시예들의 각 기능은 하나 이상의 처리 회로 또는 회로에 의해 구현될 수 있다. 프로세서는 회로를 포함하므로 프로세싱 회로는 프로그램된 프로세서를 포함한다. 프로세싱 회로는 또한 ASIC(application specific integrated circuit), DSP(digital signal processor), FPGA(field programmable gate array) 및 인용된 기능을 수행하도록 배열된 종래의 회로 구성 요소와 같은 장치를 포함한다.

도시된 장치는 본 명세서에 개시된 실시예를 구현하기 위한 각종 컴퓨팅 환경 중 하나의 예시일 뿐이다. 예컨대, 일부 실시예에서는 본 명세서에 개시된 처리를 총괄적으로 수행하기 위하여, 촬상 장치는 네트워크, 공유 메모리 등을 포함하는 임의의 유형의 통신 링크를 통해 서로 통신하도록 구성된 예컨대 서버 클러스터와 같은 복수개 컴퓨팅 장치를 포함한다. 유사하게, 화상 처리 장치는 서로 통신하도록 구성된 복수개 컴퓨팅 장치를 포함할 수 있다.

또한, 촬상 장치 및 화상 처리 장치는 예컨대 도 7에 개시된 처리 단계를 다양한 조합으로 공유하도록 구성될 수 있다. 예컨대, 보정 유닛에 의해 수행되는 처리는 화상 처리 장치에 의해 수행될 수 있다. 유사하게, 보정 유닛의 기능은 화상 처리 장치에 의해 수행될 수 있다. 또한, 촬상 장치 및 화상 처리 장치의 도시된 요소들은 단일 서버 장치에 결합되거나, 전술한 임의의 도면에 도시된 것 이외의 조합으로 복수개 기계 간에서 분할되어도 된다.

본 특허 출원은 일본 특허 출원 번호 2017-242107을 기초로 우선권을 주장하며, 그 전체 내용은 본 명세서에 참조로서 통합되어 있다.

12 촬상 본체
14 하우징
18 셔터 버튼
20 결상 광학계
22, 130 이미지 센서
110, 130 전방향 카메라
112, 152 CPU
114 ROM
116 화상 처리 블록
118 동화상 압축 블록
120, 126 인터페이스
122 스토리지 인터페이스
124 센서 인터페이스
126 USB 인터페이스
128 직렬 블록
132 DRAM
134 외부 스토리지
136 센서
138, 166 USB 커넥터
150 정보 단말기
154 RAM
156 내부 스토리지
158 입력 장치
160 스토리지
162 디스플레이
164 무선 NIC
210, 250 기능 블록
212 전방향 동화상 촬상 유닛
214 저장 유닛
220 전방향 동화상 보정 유닛
222 카메라 정면 산출 유닛
224 보정각 산출 유닛
226 보정각 조정 유닛
228 화상 회전 유닛
230 수신 유닛
232 화상 출력 유닛
240 전방향 동화상 데이터
242 전방향 프레임 데이터
244 천정 보정 데이터
246 각속도 데이터
252 명령 수신 유닛
254 표시 유닛

Claims

화상 처리 장치에 있어서,
상기 화상 처리 장치와 통신 가능한 촬상 장치에 의해 촬상된 복수개 프레임을 포함하는 동화상 데이터, 기준 방향에 대한 상기 촬상 장치의 경사각의 시계열 데이터, 및 상기 촬상 장치의 각속도의 시계열 데이터를 저장하는 저장 유닛;
상기 각속도의 시계열 데이터에 기초하여 정해진 주파수 범위의 상기 기준 방향 주위의 회전 왜곡을 감소시키도록 상기 동화상 데이터의 각 프레임의 화상을 회전시키는 보정 유닛; 및
회전된 상기 각 프레임의 화상의 화상 데이터를 상기 화상 처리 장치와 통신 가능한 외부 장치로 출력하는 출력 유닛을 구비하는 것인 화상 처리 장치.
제1항에 있어서,
상기 보정 유닛은 상기 외부 장치로부터 각 프레임의 화상의 회전된 동화상에 대한 출력 요구를 수신한 것에 응답하여 상기 동화상 데이터의 상기 각 프레임의 화상의 회전을 시작하고, 회전된 각 프레임의 화상의 화상 데이터를 출력하는 것인 화상 처리 장치.
제1항 또는 제2항에 있어서,
상기 보정 유닛에 의해 회전되는 화상은 전방향 화상이고,
상기 보정 유닛은 상기 화상 회전시에 상기 경사각의 시계열 데이터에 기초하여 상기 동화상 데이터의 각 프레임의 전방향 화상에 대한 천정 보정을 수행하는 것인 화상 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
제1 시점의 상기 경사각의 시계열 데이터 값에 기초하여 상기 제1 시점의 상기 촬상 장치의 제1 정면 방향을 산출하는 제1 산출 유닛;
상기 각속도의 시계열 데이터에 기초하여 상기 복수개 프레임에 대응하는 복수개 시점에 걸쳐 상기 촬상 장치의 정면 방향의 시계열 값을 산출하는 제2 산출 유닛; 및
상기 경사각의 시계열 데이터에 기초하여 상기 복수개 시점의 각 시점의 정면 방향으로부터 상기 화상을 회전시킬 때의 상기 복수개 시점의 각 시점의 보정각을 산출하는 제3 산출 유닛을 더 포함하는 것인 화상 처리 장치.
제4항에 있어서,
상기 정해진 주파수 범위의 고주파 성분을 통과시키도록 산출된 상기 복수개 시점의 각 시점의 보정각에 대하여 필터링 처리를 수행하는 필터링 유닛을 더 포함하는 것인 화상 처리 장치.
제4항 또는 제5항에 있어서,
상기 보정각 범위의 극단에서 다른 극단으로 보정각이 변화한 것을 검출하고, 상기 보정각에 대하여 조정 값을 가감하는 가산 감산 유닛을 더 포함하는 것인 화상 처리 장치.
제4항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 시점의 제1 정면 방향을 기점으로 하여 상기 각속도의 시계열 데이터의 각 축의 각속도에 대응하는 무한 소회전을 적산함으로써 복수개 시점의 각 시점의 정면 방향이 얻어지는 것인 화상 처리 장치.
화상 처리 시스템에 있어서,
상기 화상 처리 시스템과 통신 가능한 촬상 장치에 의해 촬상된 복수개 프레임을 포함하는 동화상 데이터, 상기 촬상 장치의 기준 방향에 대한 경사각의 시계열 데이터, 및 상기 촬상 장치의 각속도의 시계열 데이터를 저장하는 저장 유닛;
상기 각속도의 시계열 데이터에 기초하여 정해진 주파수 범위의 상기 기준 방향 주위의 회전 왜곡을 감소시키도록 상기 동화상 데이터의 각 프레임의 화상을 회전시키는 보정 유닛; 및
회전된 상기 각 프레임의 화상의 화상 데이터를 상기 화상 처리 시스템과 통신 가능한 외부 장치로 출력하는 출력 유닛을 구비하는 것인 화상 처리 시스템.
제8항에 있어서,
상기 저장 유닛, 상기 보정 유닛 및 상기 출력 유닛을 포함하는 상기 촬상 장치; 및
상기 촬상 장치와 통신 가능한 정보 처리 장치를 더 구비하고,
상기 정보 처리 장치는
회전된 동화상에 대한 출력 요구를 수신하는 수신 유닛;
상기 촬상 장치로부터 출력되는 화상 데이터를 표시하는 표시 유닛을 구비하고,
상기 보정 유닛은 상기 외부 장치로부터 각 프레임의 화상의 회전된 동화상에 대한 출력 요구를 수신한 것에 응답하여 상기 동화상 데이터의 각 프레임의 화상의 회전을 시작하고, 회전된 각 프레임의 화상의 화상 데이터를 출력하는 것인 화상 처리 시스템.　
화상 처리 방법에 있어서,
화상 처리 장치와 통신 가능한 촬상 장치에 의해 촬상된 복수개 프레임을 포함하는 동화상 데이터, 상기 촬상 장치의 기준 방향에 대한 경사각의 시계열 데이터, 및 상기 촬상 장치의 각속도의 시계열 데이터를 저장하는 단계;
상기 각속도의 시계열 데이터에 기초하여 정해진 주파수 범위의 상기 기준 방향 주위의 회전 왜곡을 감소시키도록 상기 동화상 데이터의 각 프레임의 화상을 회전시키는 단계; 및
회전된 상기 각 프레임의 화상의 화상 데이터를 상기 화상 처리 장치와 통신 가능한 외부 장치로 출력하는 단계를 포함하는 것인 화상 처리 방법.
화상 처리 장치와 통신 가능한 촬상 장치에 의해 촬상된 복수개 프레임을 포함하는 동화상 데이터, 상기 촬상 장치의 기준 방향에 대한 경사각의 시계열 데이터, 및 상기 촬상 장치의 각속도의 시계열 데이터를 저장하는 단계;
상기 각속도의 시계열 데이터에 기초하여 정해진 주파수 범위의 상기 기준 방향 주위의 회전 왜곡을 감소시키도록 상기 동화상 데이터의 각 프레임의 화상을 회전시키는 단계; 및
회전된 상기 각 프레임의 화상의 화상 데이터를 상기 화상 처리 장치와 통신 가능한 외부 장치로 출력하는 단계를 컴퓨터에 실행시키기 위한 컴퓨터 판독 가능한 코드를 저장하는 기록 매체.